新書推薦:
《
我从何来:自我的心理学探问
》
售價:NT$
545.0
《
失败:1891—1900 清王朝的变革、战争与排外
》
售價:NT$
390.0
《
送你一匹马(“我不求深刻,只求简单。”看三毛如何拒绝内耗,为自己而活)
》
售價:NT$
295.0
《
秦汉史讲义
》
售價:NT$
690.0
《
万千心理·我的精神分析之道:复杂的俄狄浦斯及其他议题
》
售價:NT$
475.0
《
荷马:伊利亚特(英文)-西方人文经典影印21
》
售價:NT$
490.0
《
我的心理医生是只猫
》
售價:NT$
225.0
《
股权控制战略:如何实现公司控制和有效激励(第2版)
》
售價:NT$
449.0
|
內容簡介: |
视频理解是计算机视觉和深度学习的一个重要分支。本书对视频理解的3个重要领域进行介绍,对于每个领域,本书不仅解释了相关算法的原理,还梳理了算法演进的脉络。全书共分6章,第1章简要介绍视频行业的发展历程;第2章回顾经典图像分类模型和RNN;第3章和第4章介绍动作识别的重要算法;第5章介绍时序动作定位的重要算法;第6章介绍视频Embedding的重要算法。后总结了常用的一些视频处理工具。
|
關於作者: |
张皓,毕业于南京大学计算机系周志华教授领导的机器学习与数据挖掘研究所(LAMDA),导师为吴建鑫教授,研究方向为深度学习和计算机视觉,曾获国家奖学金、江苏省三好学生等荣誉。发表论文累计被引超过 190 次,合译《模式识别》一书,曾获 2016 年 CVPR 视频表象性格分析竞赛世界冠军。现任腾讯在线视频研究员,专注于腾讯视频等场景下的相关视频理解任务。曾任腾讯优图实验室研究员,为“微信看一看”等场景提供相关视频理解能力。知乎\张皓”关注深度学习和计算机视觉,担任多个自媒体作者或专栏作者。
|
目錄:
|
第1章 绪论1
1.1 引言1
1.2 本书内容5
1.2.1 图像分类7
1.2.2 动作识别9
1.2.3 时序动作定位12
1.2.4 视频 Embedding14
1.3 本章小结15
第2章 经典网络结构回顾16
2.1 经典图像分类网络16
2.1.1 LetNet-516
2.1.2 AlexNet18
2.1.3 VGGNet22
2.1.4 GoogLeNet24
2.1.5 Inception V2/V327
2.1.6 ResNet28
2.1.7 preResNet31
2.1.8 WRN32
2.1.9 随机深度网络33
2.1.10 DenseNet35
2.1.11 ResNeXt36
2.1.12 SENet39
2.1.13 MobileNet41
2.1.14 MobileNet V2/V344
2.1.15 ShuffleNet46
2.1.16 ShuffleNet V249
2.2 RNN、LSTM和GRU51
2.2.1 RNN51
2.2.2 梯度爆炸与梯度消失52
2.2.3 LSTM55
2.2.4 GRU58
2.3 本章小结60
第3章 基于2D卷积的动作识别62
3.1 平均汇合62
3.2 NetVLAD和NeXtVLAD64
3.2.1 VLAD65
3.2.2 NetVLAD66
3.2.3 NeXtVLAD71
3.2.4 NetFV和其他策略75
3.3 利用RNN融合各帧特征77
3.3.1 2D卷积 RNN的基本结构78
3.3.2 对RNN结构进行改造80
3.4 利用3D卷积融合各帧特征81
3.4.1 什么是3D卷积82
3.4.2 ECO85
3.5 双流法87
3.5.1 什么是光流87
3.5.2 双流法的基本网络结构89
3.5.3 双流法的网络结构优化91
3.6 时序稀疏采样95
3.6.1 TSN95
3.6.2 TSN的实现98
3.6.3 ActionVLAD99
3.6.4 StNet100
3.6.5 TRN102
3.7 利用iDT轨迹104
3.7.1 DT和iDT104
3.7.2 TDD107
3.8 本章小结108
第4章 基于3D卷积的动作识别110
4.1 3D卷积基础网络结构110
4.1.1 C3D110
4.1.2 Res3D/3D ResNet113
4.1.3 LTC116
4.2 I3D118
4.2.1 5类动作识别网络118
4.2.2 2D卷积扩展为3D卷积119
4.2.3 5类网络对比121
4.3 3D卷积的低秩近似123
4.3.1 低秩近似的基本原理124
4.3.2 FSTCN125
4.3.3 P3D127
4.3.4 R(2 1)D129
4.3.5 S3D132
4.4 TSM135
4.5 3D卷积 RNN137
4.6 ARTNet139
4.7 Non-Local141
4.7.1 Non-Local 操作141
4.7.2 Non-Local 动作识别网络144
4.8 SlowFast148
4.8.1 Slow分支和Fast分支149
4.8.2 网络结构设计151
4.9 3D卷积神经网络超参数设计152
4.9.1 多网格训练152
4.9.2 X3D154
4.10 本章小结157
第5章 时序动作定位159
5.1 基于滑动窗的算法160
5.1.1 S-CNN161
5.1.2 TURN166
5.1.3 CBR169
5.2 基于候选时序区间的算法171
5.2.1 Faster R-CNN 回顾172
5.2.2 R-C3D175
5.2.3 TAL-Net178
5.3 自底向上的时序动作定位算法183
5.3.1 BSN183
5.3.2 TSA-Net187
5.3.3 BMN191
5.4 对时序结构信息建模的算法197
5.4.1 TAG 候选时序区间生成算法198
5.4.2 SSN 网络结构199
5.5 逐帧预测的算法202
5.5.1 CDC层203
5.5.2 CDC 网络结构206
5.6 单阶段算法208
5.6.1 SSAD208
5.6.2 SS-TAD212
5.6.3 GTAN214
5.7 本章小结217
第6章 视频Embedding219
6.1 基于视频内容的无监督 Embedding220
6.1.1 编码-解码网络221
6.1.2 视频序列验证222
6.1.3 视频和音频信息224
6.1.4 视频和文本信息225
6.2 Word2Vec229
6.2.1 CBOW和Skip-Gram229
6.2.2 分层 Softmax234
6.2.3 负采样239
6.3 Item2Vec247
6.3.1 Item2Vec 基本形式247
6.3.2 Item2Vec的改进249
6.4 基于图的随机游走252
6.4.1 DeepWalk252
6.4.2 Node2Vec254
6.5 结合一二阶相似度257
6.5.1 LINE258
6.5.2 SDNE262
6.6 基于图的邻居结点265
6.6.1 GCN265
6.6.2 GraphSAGE269
6.6.3 GAT272
6.7 基于多种信息学习视频Embedding274
6.7.1 召回模型276
6.7.2 训练278
6.8 本章小结280
附录A 视频处理常用工具281
A.1 FFmpeg281
A.2 OpenCV284
A.3 Decord291
A.4 Lintel294
参考文献296
|
|