●出版者的話
譯者序
前言
作者簡介
第一部分 介紹
第1章 強化學習概述
1.1 強化學習綜述
1.1.1 引言
1.1.2 與其他機器學習方法的比較
1.1.3 強化學習示例
1.1.4 強化學習應用
1.2 強化學習的發展歷史
1.2.1 傳統的強化學習
1.2.2 深度強化學習
1.3 強化學習的仿真工具
1.4 本章小結
第2章 信息物理繫統和網絡安全概述
2.1 引言
2.2 信息物理繫統研究示例
2.2.1 資源分配
2.2.2 數據傳輸與管理
2.2.3 能源控制
2.2.4 基於模型的軟件設計
2.3 網絡安全威脅
2.3.1 網絡安全的對手
2.3.2 網絡安全的目標
2.4 本章小結
2.5 練習
第二部分 強化學習在信息物理繫統中的應用
第3章 強化學習問題
3.1 多臂 問題
3.1.1 ε-greedy算法
3.1.2 softmax算法
3.1.3 UCB算法
3.2 上下文 問題
3.3 完整的強化學習問題
3.3.1 強化學習的要素
3.3.2 馬爾可夫決策過程介紹
3.3.3 值函數
3.4 本章小結
3.5 練習
第4章 基於模型的強化學習
4.1 引言
4.2 動態規劃
4.2.1 策略迭代法
4.2.2 價值迭代法
4.2.3 異步動態規劃
4.3 部分可觀察馬爾可夫決策過程
4.4 連續馬爾可夫決策過程
4.4.1 惰性近似
4.4.2 函數近似
4.5 本章小結
4.6 練習
第5章 無模型強化學習
5.1 引言
5.2 強化學習預測
5.2.1 蒙特卡羅學習
5.2.2 時序差分學習
5.3 強化學習控制
5.3.1 蒙特卡羅控制
5.3.2 基於時序差分的控制
5.3.3 策略梯度
5.3.4 actor-critic
5.4 高級算法
5.4.1 期望Sarsa
5.4.2 雙Q-learning
5.5 本章小結
5.6 練習
第6章 深度強化學習
6.1 引言
6.2 深度神經網絡
6.2.1 卷積神經網絡
6.2.2 循環神經網絡
6.3 深度學習在值函數上的應用
6.4 深度學習在策略函數上的應用
6.4.1 DDPG
6.4.2 A3C
6.5 深度學習在強化學習模型上的應用
6.6 深度強化學習計算效率
6.7 本章小結
6.8 練習
第三部分 案例研究
第7章 強化學習與網絡安全
7.1 傳統的網絡安全方法
7.1.1 傳統的網絡安全技術
7.1.2 新興網絡安全威脅
7.2 強化學習在網絡安全中的應用
7.2.1 移動群智感知中的虛假感知攻擊
7.2.2 認知無線電網絡中的安全強化
7.2.3 移動邊緣計算中的安全問題
7.2.4 網絡安全分析師的動態調度
7.3 本章小結
7.4 練習
第8章 案例研究：智能電網中的在線網絡攻擊檢測
8.1 引言
8.2 繫統模型和狀態估計
8.2.1 繫統模型
8.2.2 狀態估計
8.3 問題描述
8.4 解決方案
8.5 仿真結果
8.5.1 仿真設計與參數設置
8.5.2 性能評估
8.6 本章小結
第9章 案例研究：擊敗中間人攻擊
9.1 引言
9.2 強化學習方法
9.2.1 狀態空間
9.2.2 行動空間
9.2.3 獎勵
9.3 實驗和結果
9.3.1 模型訓練
9.3.2 在線實驗
9.4 討論
9.4.1 基於探測器的檢測繫統
9.4.2 運用SDN/OpenFlow使模型實用
9.5 本章小結
參考文獻
索引
