本書以具體的實際案例為場景，從架構和實踐兩個方面，將基礎理論和實際應用相結合，隨書提供配套豐富的源代碼和課件下載，幫助讀者快速實現入門到進階。書中內容講述了深度學習架構與實踐，共分為兩個部分，第1部分（即第1~6章）為基礎理論，主要對深度學習的理論知識進行了詳細的講解；第2部分（即第7~12章）為應用實踐，以具體的實際案例為場景，通過理論和實踐相結合的講解方式使讀者能夠對深度學習技術有更好的理解。本書可以為讀者提供一條輕松、快速入門深度學習的路徑，有側重地闡明深度學習的經典知識和核心要點，從架構等

●前言
緒論1
第1章 深度學習的架構8
1.1如何區分人工智能、機器學習、深度學習8
1.1.1人工智能：從概念提出到走向繁榮8
1.1.2機器學習：一種實現人工智能的方法9
1.1.3深度學習：一種實現機器學習的技術9
1.1.4人工智能、機器學習和深度學習的關繫9
1.2深度學習的發展歷史及研究現狀10
1.2.1深度學習的發展歷史10
1.2.2深度學習的研究現狀11
1.3深度學習的基本內容及理論基礎13
1.3.1深度學習的基本內容13
1.3.2深度學習的理論基礎15
1.4深度學習的發展趨勢與未來15
1.4.1深度學習的發展趨勢15
1.4.2深度學習的未來16
第2章 深度學習相關數學基礎17
2.1線性代數17
2.1.1標量、向量、矩陣和張量17
2.1.2矩陣和向量相乘18
2.1.3單位矩陣和逆矩陣19
2.1.4線性相關和生成子空間19
2.1.5範數21
2.1.6特殊類型的矩陣和向量22
2.1.7特征分解23
2.1.8奇異值分解24
2.1.9Moore-Penrose偽逆25
2.1.10跡運算25
2.1.11行列式26
2.1.12主成分分析26
2.2概率論與信息論29
2.2.1隨機試驗、頻率與概率、隨機變量29
2.2.2隨機變量的分布情況30
2.2.3二維隨機變量31
2.2.4期望、方差、協方差、相關繫數33
2.2.5常用的概率分布34
2.2.6常用函數的有用性質37
2.2.7連續型變量的技術細節39
2.2.8信息論40
2.2.9結構化概率模型41
2.3擬合、梯度下降與傳播43
2.3.1過擬合和欠擬合43
2.3.2隨機梯度下降44
2.3.3正向傳播與反向傳播47
第3章 神經網絡的架構48
3.1神經網絡48
3.2深度神經網絡的概念與結構49
3.2.1深度神經網絡的概念49
3.2.2深度神經網絡的結構49
3.3深度神經網絡的分類50
3.3.1前饋深度網絡50
3.3.2反饋深度網絡51
3.3.3雙向深度網絡51
3.4自動編碼器與玻爾茲曼機51
3.4.1自動編碼器51
3.4.2玻爾茲曼機52
第4章 卷積神經網絡53
4.1卷積神經網絡的概念53
4.2卷積神經網絡的基本結構54
4.2.1卷積層55
4.2.2池化層56
4.2.3全連接層56
4.3非線性層與激活函數57
4.3.1Sigmoid激活函數57
4.3.2Tanh函數59
4.3.3Relu函數60
4.4感受野與權值共享61
4.4.1局部感受野61
4.4.2權值共享61
4.5卷積神經網絡與反卷積神經網絡62
4.5.1卷積神經網絡及其特點62
4.5.2反卷積神經網絡及其特點63
4.6卷積神經網絡的訓練63
第5章 循環神經網絡64
5.1RNN的概念64
5.2RNN的結構64
5.3RNN的訓練65
5.3.1反向傳播算法的原理65
5.3.2反向傳播算法的步驟65
5.4RNN的實現71
5.4.1梯度爆炸與梯度消失71
5.4.2基於RNN的語言模型例子71
5.4.3語言模型訓練過程73
5.5RNN的發展74
5.5.1雙向循環神經網絡74
5.5.2長短時記憶結構75
第6章 生成對抗網絡776.1GAN的概念77
6.1.1對抗思想與GAN77
6.1.2似然估計及化問題79
6.1.3GAN的訓練過程81
6.2GAN的原理82
6.2.1生成器82
6.2.2判別器83
6.3GAN的應用84
6.4GAN的發展85
6.4.1GAN的優缺點85
6.4.2GAN的未來發展方向86
第7章 Python相關基礎877.1Python程序結構87
7.1.1循環結構87
7.1.2分支結構89
7.2NumPy操作90
7.2.1NumPy的主要特點91
7.2.2ndarray91
7.2.3NumPy-數據類型94
7.2.4NumPy-數組屬性94
7.2.5NumPy-數組創建例程96
7.2.6NumPy-切片和索引98
7.2.7NumPy-字符串函數99
7.2.8NumPy-算數函數100
7.2.9NumPy-算數運算100
7.2.10NumPy-統計函數101
7.2.11NumPy-排序、搜索和計數函數102
7.2.12NumPy-字節交換103
7.2.13NumPy-副本和視圖103
7.2.14NumPy-矩陣庫104
7.2.15NumPy-線性代數105
7.3函數105
7.3.1Python中函數的應用105
7.3.2Python函數的定義107
7.3.3Python函數的調用108
7.3.4為函數提供說明文檔109
7.4第三方資源110
第8章 TensorFlow、Theano、Caffe的框架與安裝113
8.1TensorFlow的框架與安裝113
8.1.1TensorFlow的簡介113
8.1.2TensorFlow的架構113
8.1.3TensorFlow的特點114
8.1.4TensorFlow的安裝114
8.2Theano的框架與安裝118
8.2.1Theano的簡介118
8.2.2Theano的安裝119
8.3Caffe的架構與安裝121
8.3.1Caffe的簡介121
8.3.2Caffe的安裝122
第9章 TensorFlow、Theano、Caffe的原理及應用124
9.1TensorFlow的原理及應用124
9.1.1TensorFlow的工作原理124
9.1.2TensorFlow的簡單應用126
9.1.3TensorFlow的復雜應用129
9.2Theano的基本語法及應用145
9.2.1Theano的基本語法145
9.2.2Theano在Windows下的常用實例149
9.2.3用Theano來編寫一個簡單的神經網絡154
9.3Caffe的結構、寫法及應用157
9.3.1Caffe的結構157
9.3.2Caffe的寫法157
9.3.3Caffe的訓練與測試167
第10章 手寫數字識別實例177
10.1字符識別的意義177
10.2字符識別的設計與實現177
10.2.1實驗簡介177
10.2.2實驗環境搭建178
10.3單層神經網絡搭建178
10.3.1網絡搭建過程178
10.3.2梯度下降180
10.4多層神經網絡搭建183
10.4.1Sigmoid激活函數184
10.4.2Relu激活函數184
10.4.3衰減學習率187
10.4.4添加dropout解決過擬合現像188
10.5卷積神經網絡190
第11章 自動生成圖像描述實例195
11.1自動生成圖像描述的目標195
11.2自動生成圖像描述的設計198
11.3語言生成模型201
11.4自動生成圖像描述的實現203
11.5實驗結果及分析221
第12章 唇語識別實例225
12.1唇語識別技術的目標225
12.2特征提取225
12.2.1CNN的唇部視覺特征提取225
12.2.2RNN的時序特征提取226
12.2.3特征分類算法SVM、KNN、Softmax228
12.3唇語識別模型網絡架構230
12.3.1抽取視頻幀算法與視頻唇部區域定位230
12.3.2圖像特征提取網絡架構233
12.3.3基於注意力機制的時間特征提取架構234
12.3.4唇語識別模型與整體識別流程235
12.4實驗結果及分析239
12.4.1數據集與預處理239
12.4.2實驗結果239
12.4.3可視化分析242
參考文獻246

本書講述了深度學習架構與實踐，共分為兩個部分，第1部分（即第1～6章）為基礎理論，主要對深度學習的理論知識進行了詳細的講解；第2部分（即第7～12章）為應用實踐，以具體的實際案例為場景，通過理論和實踐相結合的講解方式使讀者能夠對深度學習技術有更好的理解。本書可以為讀者提供一條輕松、快速入門深度學習的路徑，有側重地闡明深度學習的經典知識和核心要點，從架構和實踐兩個方面，讓讀者對深度學習的繫統架構和若干領域的應用實踐有清晰和深入的掌握。本書適合計算機軟件相關專業的高年級本科生或研究生，以及所有想要學習深度學習或從事計算機視覺算法開發的讀者閱讀。