基本信息

• 商品名稱：深度學習視頻理解
• 作者：張皓
• 代碼：128
• 出版社：電子工業
• 書號：9787121419805

其他參考信息

• 出版時間：2021-09-01
• 印刷時間：2021-09-01
• 版次：1
• 印次：1
• 開本：
• 包裝：平裝
• 頁數：0
• 字數：357千字

內容提要

視頻理解是計算機視覺和深度學習的一個重要分支。本書對視頻理解的3個重要領域進行介紹，對於每個領域，本書不僅解釋了相關算法的原理，還梳理了算法演進的脈絡。全書共分6章，第1章簡要介紹視頻行業的發展歷程；第2章回顧經典圖像分類模型和RNN；第3章和第4章介紹動作識別的重要算法；第5章介紹時序動作定位的重要算法；第6章介紹視頻Embedding的重要算法。 總結了常用的一些視頻處理工具。

作者簡介

張皓，畢業於南京大學計算機繫周志華教授領導的機器學習與數據挖掘研究所（LAMDA），導師為吳建鑫教授，研究方向為深度學習和計算機視覺，曾獲 獎學金、江蘇省三好學生等榮譽。發表論文累計被引超過 190 次，合譯《模式識別》一書，曾獲 2016 年 CVPR 視頻表像性格分析競賽世界 。現任騰訊在線視頻研究員，專注於騰訊視頻等場景下的相關視頻理解任務。曾任騰訊優圖實驗室研究員，為“微信看一看”等場景提供相關視頻理解能力。知乎\\\\\\"張皓”關注深度學習和計算機視覺，擔任多個自媒體作者或專欄作者。

目錄

第1章 緒論1
1.1 引言1
1.2 本書內容5
1.2.1 圖像分類7
1.2.2 動作識別9
1.2.3 時序動作定位12
1.2.4 視頻 Embedding14
1.3 本章小結15
第2章 經典網絡結構回顧16
2.1 經典圖像分類網絡16
2.1.1 LetNet-516
2.1.2 AlexNet18
2.1.3 VGGNet22
2.1.4 GoogLeNet24
2.1.5 Inception V2/V327
2.1.6 ResNet28
2.1.7 preResNet31
2.1.8 WRN32
2.1.9 隨機深度網絡33
2.1.10 DenseNet35
2.1.11 ResNeXt36
2.1.12 SENet39
2.1.13 MobileNet41
2.1.14 MobileNet V2/V344
2.1.15 ShuffleNet46
2.1.16 ShuffleNet V249
2.2 RNN、LSTM和GRU51
2.2.1 RNN51
2.2.2 梯度 與梯度消失52
2.2.3 LSTM55
2.2.4 GRU58
2.3 本章小結60
第3章 基於2D卷積的動作識別62
3.1 平均彙合62
3.2 NetVLAD和NeXtVLAD64
3.2.1 VLAD65
3.2.2 NetVLAD66
3.2.3 NeXtVLAD71
3.2.4 NetFV和其他策略75
3.3 利用RNN融合各幀特征77
3.3.1 2D卷積 + RNN的基本結構78
3.3.2 對RNN結構進行改造80
3.4 利用3D卷積融合各幀特征81
3.4.1 什麼是3D卷積82
3.4.2 ECO85
3.5 雙流法87
3.5.1 什麼是光流87
3.5.2 雙流法的基本網絡結構89
3.5.3 雙流法的網絡結構優化91
3.6 時序稀疏采樣95
3.6.1 TSN95
3.6.2 TSN的實現98
3.6.3 ActionVLAD99
3.6.4 StNet100
3.6.5 TRN102
3.7 利用iDT軌跡104
3.7.1 DT和iDT104
3.7.2 TDD107
3.8 本章小結108
第4章 基於3D卷積的動作識別110
4.1 3D卷積基礎網絡結構110
4.1.1 C3D110
4.1.2 Res3D/3D ResNet113
4.1.3 LTC116
4.2 I3D118
4.2.1 5類動作識別網絡118
4.2.2 2D卷積擴展為3D卷積119
4.2.3 5類網絡對比121
4.3 3D卷積的低秩近似123
4.3.1 低秩近似的基本原理124
4.3.2 FSTCN125
4.3.3 P3D127
4.3.4 R(2+1)D129
4.3.5 S3D132
4.4 TSM135
4.5 3D卷積 + RNN137
4.6 ARTNet139
4.7 Non-Local141
4.7.1 Non-Local 操作141
4.7.2 Non-Local 動作識別網絡144
4.8 SlowFast148
4.8.1 Slow分支和Fast分支149
4.8.2 網絡結構設計151
4.9 3D卷積神經網絡超參數設計152
4.9.1 多網格訓練152
4.9.2 X3D154
4.10 本章小結157
第5章 時序動作定位159
5.1 基於滑動窗的算法160
5.1.1 S-CNN161
5.1.2 TURN166
5.1.3 CBR169
5.2 基於候選時序區間的算法171
5.2.1 Faster R-CNN 回顧172
5.2.2 R-C3D175
5.2.3 TAL-Net178
5.3 自底向上的時序動作定位算法183
5.3.1 BSN183
5.3.2 TSA-Net187
5.3.3 BMN191
5.4 對時序結構信息建模的算法197
5.4.1 TAG 候選時序區間生成算法198
5.4.2 SSN 網絡結構199
5.5 逐幀預測的算法202
5.5.1 CDC層203
5.5.2 CDC 網絡結構206
5.6 單階段算法208
5.6.1 SSAD208
5.6.2 SS-TAD212
5.6.3 GTAN214
5.7 本章小結217
第6章 視頻Embedding219
6.1 基於視頻內容的無監督 Embedding220
6.1.1 編碼-解碼網絡221
6.1.2 視頻序列驗證222
6.1.3 視頻和音頻信息224
6.1.4 視頻和文本信息225
6.2 Word2Vec229
6.2.1 CBOW和Skip-Gram229
6.2.2 分層 Softmax234
6.2.3 負采樣239
6.3 Item2Vec247
6.3.1 Item2Vec 基本形式247
6.3.2 Item2Vec的改進249
6.4 基於圖的隨機遊走252
6.4.1 DeepWalk252
6.4.2 Node2Vec254
6.5 結合一二階相似度257
6.5.1 LINE258
6.5.2 SDNE262
6.6 基於圖的鄰居結點265
6.6.1 GCN265
6.6.2 GraphSAGE269
6.6.3 GAT272
6.7 基於多種信息學習視頻Embedding274
6.7.1 召回模型276
6.7.2 訓練278
6.8 本章小結280
附錄A 視頻處理常用工具281
A.1 FFmpeg281
A.2 OpenCV284
A.3 Decord291
A.4 Lintel294
參考文獻296