深度強化學習（Deep Reinforcement Learning
，DRL）是深度學習算法和強化學習算法的巧妙結合
，它是一種新興的通用人工智能算法技術，也是機器
學習的前沿技術，DRL算法潛力無限，AlphaGo是目前
該算法相當成功的使用案例。DRL算法以馬爾科夫決
策過程為基礎，是在深度學習強大的非線性函數的擬
合能力下構成的一種增強算法。深度強化學習算法主
要包括基於動態規劃（DP）的算法以及基於策略優化
的算法，本書的目的就是要把這兩種主要的算法（及
設計技巧）講解清楚，使算法研究人員能夠熟練地掌
握。
彭偉編著的《揭秘深度強化學習》共10章，首先
以AlphaGo在圍棋大戰的偉大事跡開始，引起對人工
智能發展和現狀的介紹，進而介紹深度強化學習的基
本知識。然後分別介紹了強化學習（重點介紹蒙特卡
洛算法和時序差分算法）和深度學習的基礎知識、功
能神經網絡層、卷積神經網絡（CNN）、循環神經網
絡（RNN），以及深度強化學習的理論基礎和當前主
流的算法框架。最後介紹了深度強化學習在不同領域
的幾個應用實例。引例、基礎知識和實例相結合，方
便讀者理解和學習。
《揭秘深度強化學習》內容豐富，講解全面、語
言描述通俗易懂，是深度強化學習算法入門的優選。
本書適合計算機專業本科相關學生、人工智能領域的
研究人員以及所有對機器學習和人工智能算法感興趣
的人員。

第1章 深度強化學習概覽
1.1 什麼是深度強化學習？
1.1.1 俯瞰強化學習
1.1.2 來一杯深度學習
1.1.3 Hello，深度強化學習
1.2 深度強化學習的學習策略
1.3 本書的內容概要
參考文獻
第2章 強化學習基礎
2.1 真相——經典的隱馬爾科夫模型（HMM）
2.1.1 HMM引例
2.1.2 模型理解與推導
2.1.3 隱馬爾科夫應用舉例
2.2 逢考必過—馬爾科夫決策過程（MDP）
2.2.1 MDP生活化引例
2.2.2 MDP模型
2.2.3 MDP模型引例
2.2.4 模型理解
2.2.5 探索與利用
2.2.6 值函數和動作值函數
2.2.7 基於動態規劃的強化問題求解
2.3 糟糕，考試不給題庫—無模型強化學習
2.3.1 蒙特卡洛算法
2.3.2 時序差分算法
2.3.3 異步強化學習算法
2.4 學霸來了——強化學習之模仿學習
2.4.1 模仿學習（Imitation Learning）
2.4.2 逆強化學習
本章總結
參考文獻
第3章 深度學習基礎
3.1 深度學習簡史
3.1.1 神經網絡發展史
3.1.2 深度學習的分類
3.1.3 深度學習的應用
3.1.4 深度學習存在的問題
3.2 深度學習基礎概念
3.2.1 深度學**體感知
3.2.2 神經網絡的基本組成
3.2.3 深度學習訓練
3.2.4 梯度下降法
3.2.5 反向傳播算法（BP）
3.3 數據預處理
3.3.1 主成分分析（PCA）
3.3.2 獨立成分分析（ICA）
3.3.3 數據白化處理
3.4 深度學習硬件基礎
3.4.1 深度學習硬件基礎
3.4.2 GPU簡介
3.4.3 CUDA編程