目錄

Machine Learning: An Algorithmic Perspective, Second Edition

*2版前言

*1版前言

*1章緒論1

1.1如果數據有質量，地球將成為黑洞1

1.2學習3

1.2.1機器學習3

1.3機器學習的類別4

1.4監督學習5

1.4.1回歸5

1.4.2分類6

1.5機器學習過程7

1.6關於編程的注意事項8

1.7本書的學習路線 9

拓展閱讀10

*2章預備知識11

2.1專業術語11

2.1.1權重空間11

2.1.2維度災難12

2.2知你所知：測試機器學習算法13

2.2.1過擬合14

2.2.2訓練集、測試集和驗證集14

2.2.3混淆矩陣15

2.2.4精度指標16

2.2.5受試者工作特征曲線17

2.2.6不平衡數據集17

2.2.7度量精度18

2.3數據與概率的轉換19

2.3.1*小化風險20

2.3.2樸素貝葉斯分類21

2.4基本統計概念22

2.4.1平均值22

2.4.2方差與協方差22

2.4.3高斯分布24

2.5權衡偏差與方差24

拓展閱讀26

習題26

第3章、神經網絡和線性判別27

3.1大腦27

3.1.1Hebb法則27

3.1.2McCulloch和Pitt28

3.1.3McCulloch和Pitt模型的局限性29

3.2神經網絡30

3.3感知器31

3.3.1學習速率η32

3.3.2輸入偏置32

3.3.3感知器學習算法33

3.3.4感知器學習示例34

3.3.5具體實現35

3.4線性可分性39

3.4.1感知器收斂定理40

3.4.2XOR函數41

3.4.3有用的領悟42

3.4.4另一個示例：皮馬印第安人數據集43

3.4.5數據預處理44

3.5線性回歸45

3.5.1示例46

拓展閱讀47

習題48

第4章多層感知器49

4.1前向50

4.1.1偏置50

4.2後向：誤差的反向傳播50

4.2.1多層感知器算法53

4.2.2初始化權重55

4.2.3不同的輸出激活函數56

4.2.4順序和批量訓練57

4.2.5局部*小57

4.2.6利用衝量58

4.2.7小批量和隨機梯度下降58

4.2.8其他改善方法59

4.3實踐中的MLP59

4.3.1訓練數據的量59

4.3.2隱藏層的數目59

4.3.3什麼時候停止學習60

4.4MLP應用示例61

4.4.1回歸問題61

4.4.2使用MLP分類63

4.4.3分類示例：iris數據集64

4.4.4時間序列預測66

4.4.5數據壓縮：自動關聯網絡68

4.5MLP使用指南69

4.6反向傳播的推導70

4.6.1網絡輸出70

4.6.2網絡誤差70

4.6.3激活函數的要求71

4.6.4誤差的後向傳播72

4.6.5輸出激活函數74

4.6.6誤差函數的另一種形式75

拓展閱讀75

習題76

第5章徑向基函數和樣條函數77

5.1感受野77

5.2徑向基函數網絡79

5.2.1訓練RBF網絡80

5.3插值和基函數82

5.3.1基和基擴展83

5.3.2三次樣條函數84

5.3.3用樣條擬合數據84

5.3.4平滑樣條85

5.3.5更高維度86

5.3.6邊界之外86

拓展閱讀87

習題87

第6章維度約簡88

6.1線性判別分析89

6.2主成分分析91

6.2.1PCA算法與多層感知器的關繫94

6.2.2核PCA94

6.3因素分析96

6.4獨立成分分析97

6.5局部線性嵌入98

6.6ISOMAP算法100

6.6.1多維標度法101

拓展閱讀102

習題103

第7章概率學習104

7.1高斯混合模型104

7.1.1期望*大化算法105

7.1.2信息準則107

7.2*近鄰法108

7.2.1近鄰平滑109

7.2.2有效的距離計算：KD-Tree110

7.2.3距離度量112

拓展閱讀114

習題114

第8章支持向量機115

8.1*優分割115

8.1.1間隔和支持向量116

8.1.2約束優化問題117

8.1.3非線性可分問題的松弛變量119

8.2核120

8.2.1選擇核121

8.2.2示例：XOR122

8.3支持向量機算法122

8.3.1實現123

8.3.2示例125

8.4支持向量機的拓展126

8.4.1多類分類126

8.4.2支持向量機回歸127

8.4.3其他優勢128

拓展閱讀128

習題128

第9章優化和搜索130

9.1下山法130

9.1.1泰勒展開132

9.2*小二乘優化133

9.2.1Levenberg-Marquardt算法133

9.3共軛梯度法137

9.3.1示例139

9.3.2共軛梯度和MLP139

9.4搜索：三種基本方法141

9.4.1窮舉法141

9.4.2貪婪搜索142

9.4.3爬山法142

9.5開發和探索143

9.6模擬退火法143

9.6.1算法比較144

拓展閱讀145

習題145

*10章進化學習146

10.1遺傳算法147

10.1.1字符串表示147

10.1.2評價適應度148

10.1.3種群148

10.1.4產生後代：選擇父母149

10.2產生後代：遺傳算子150

10.2.1交叉150

10.2.2變異151

10.2.3精英法、比賽法和小生境151

10.3使用遺傳算法153

10.3.1圖著色153

10.3.2間斷平衡154

10.3.3示例：背包問題155

10.3.4示例：四峰問題155

10.3.5遺傳算法的缺陷156

10.3.6用遺傳算法訓練神經網絡156

10.4遺傳程序157

10.5與采樣結合的進化學習158

拓展閱讀159

習題160

*11章強化學習161

11.1概述161

11.2示例：迷路162

11.2.1狀態和動作空間163

11.2.2胡蘿卜和棍子：獎賞函數164

11.2.3165

11.2.4動作選擇165

11.2.5策略166

11.3馬爾可夫決策過程166

11.3.1馬爾可夫性166

11.3.2馬爾可夫決策過程中的概率167

11.4值167

11.5回到迷路的示例：利用強化學習170

11.6sarsa和Q-learning的不同171

11.7強化學習的用處172

拓展閱讀172

習題173

*12章樹的學習174

12.1使用決策樹174

12.2構建決策樹175

12.2.1快速入門：信息論中的熵175

12.2.2ID3176

12.2.3基於Python的樹和圖的實現178

12.2.4決策樹的實現178

12.2.5處理連續變量180

12.2.6計算復雜度180

12.3分類和回歸樹181

12.3.1基尼不純度181

12.3.2樹回歸182

12.4分類示例182

拓展閱讀184

習題184

*13章委員會決策：集成學習186

13.1boosting187

13.1.1AdaBoost187

13.1.2掘根190

13.2bagging190

13.2.1subagging191

13.3隨機森林192

13.3.1與boosting方法比較193

13.4組合分類器的不同方法194

拓展閱讀195

習題196

*14章無監督學習197

14.1k-means算法197

14.1.1處理噪點200

14.1.2k-means神經網絡200

14.1.3歸一化201

14.1.4一個更好的權重更新規則202

14.1.5示例：iris數據203

14.1.6使用競爭學習來聚類203

14.2向量量化204

14.3自組織特征映射204

14.3.1SOM算法206

14.3.2近鄰連接207

14.3.3自組織208

14.3.4網絡維度和邊界條件208

14.3.5SOM應用示例209

拓展閱讀211

習題211

*15章馬爾可夫鏈蒙特卡羅方法213

15.1采樣213

15.1.1隨機數213

15.1.2高斯隨機數214

15.2蒙特卡羅216

15.3建議分布216

15.4馬爾可夫鏈蒙特卡羅219

15.4.1馬爾可夫鏈219

15.4.2Metropolis-Hastings算法220

15.4.3模擬退火222

15.4.4Gibbs采樣223

拓展閱讀224

習題225

*16章圖模型226

16.1貝葉斯網絡227

16.1.1示例：考試恐懼227

16.1.2近似推斷230

16.1.3創建貝葉斯網絡232

16.2馬爾可夫隨機場233

16.3隱馬爾可夫模型234

16.3.1前向算法236

16.3.2Viterbi算法238

16.3.3Baum-Welch或前向後向算法239

16.4跟蹤方法242

16.4.1卡爾曼濾波242

16.4.2粒子濾波247

拓展閱讀249

習題250

*17章對稱權重與深度置信網絡251

17.1積極學習:Hopfield網絡252

17.1.1聯想記憶252

17.1.2實現聯想記憶252

17.1.3能量函數255

17.1.4Hopfield網絡的容量256

17.1.5連續Hopfield網絡257

17.2隨：玻爾茲曼機257

17.2.1受限玻爾茲曼機259

17.2.2CD算法的推導262

17.2.3監督學習265

17.2.4RBM作為定向置信網絡267

17.3深度學習268

17.3.1深度置信網絡270

拓展閱讀273

習題273

*18章高斯過程274

18.1高斯過程回歸275

18.1.1添加噪聲276

18.1.2高斯過程回歸的實現（一）278

18.1.3學習參數279

18.1.4高斯過程回歸的實現（二）280

18.1.5選擇（一組）協方差函數282

18.2高斯過程分類282

18.2.1拉普拉斯近似283

18.2.2計算後驗283

18.2.3高斯過程分類的實現285

拓展閱讀286

習題287

附錄Python入門288