●譯者序
前言
致謝
第1章 引言
1.1 優化算法的歷史
1.2 優化過程
1.3 基本優化問題
1.4 約束
1.5 極值點
1.6 局部極小值的條件
1.6.1問題
1.6.2問題
1.7 等高線圖
1.8 概述
1.9 小結
1.10 練習
第2章 導數和梯度
2.1 導數
2.2 多維導數
2.3 數值微分
2.3.1 有限差分法
2.3.2 復數步長法
2.4 自動微分
2.4.1 前向累積
2.4.2 反向累積
2.5 小結
2.6 練習
第3章 包圍
3.1 單模態
3.2 確定初始包圍
3.3 斐波那契搜索
3.4 黃金分割搜索
3.5 二次擬合搜索
3.6 Shubert-Piyavskii方法
3.7 二分法
3.8 小結
3.9 練習
第4章 局部下降
4.1 下降方向迭代
4.2 線搜索
4.3 近似線搜索
4.4 信賴域方法
4.5 終止條件
4.6 小結
4.7 練習
第5章 一階方法
5.1 梯度下降
5.2 共軛梯度
5.3 動量
5.4 Nesterov動量
5.5 Adagrad方法
5.6 RMSProp
5.7 Adadelta
5.8 Adam
5.9 超梯度下降
5.10 小結
5.11 練習
第6章 二階方法
6.1 牛頓法
6.2 割線法
6.3 擬牛頓法
6.4 小結
6.5 練習
第7章 直接方法
7.1 循環坐標搜索
7.2 鮑威爾搜索法
7.3 胡可-吉夫斯搜索法
7.4 廣義模式搜索法
7.5 尼爾德-米德單純形法
7.6 分割矩形法
7.6.1 單變量DIRECT
7.6.2 多變量DIRECT
7.6.3 實施
7.7 小結
7.8 練習
第8章 隨機方法
8.1 噪聲下降
8.2 網格自適應直接搜索
8.3 模擬退火
8.4 交叉熵法
8.5 自然進化策略
8.6 自適應協方差矩陣
8.7 小結
8.8 練習
第9章 種群方法
9.1 初始化
9.2 遺傳算法
9.2.1 染色體
9.2.2 初始化
9.2.3 選擇
9.2.4 交叉
9.2.5 變異
9.3 微分進化
9.4 粒子群優化
9.5 螢火蟲算法
9.6 布谷鳥搜索
9.7 混合方法
9.8 小結
9.9 練習
第10章 約束
10.1 約束優化
10.2 約束類型
10.3 消除約束的轉換
10.4 拉格朗日乘數法
10.5 不等式約束
10.6 對偶性
10.7 懲罰方法
10.8 增廣拉格朗日法
10.9 內點法
10.10 小結
10.11 練習
第11章 線性約束優化
11.1 問題表述
11.1.1 一般形式
11.1.2 標準形式
11.1.3 等式形式
11.2 單純形算法
11.2.1 頂點
11.2.2 一階必要條件
11.2.3 優化階段
11.2.4 初始化階段
11.3 對偶驗證
11.4 小結
11.5 練習
第12章 多目標優化
12.1 帕累托很優
12.1.1 優勢位置
12.1.2 帕累托邊界
12.1.3 帕累托邊界生成
12.2 約束方法
12.2.1 目標約束法
12.2.2 詞典約束法
12.3 權重法
12.3.1 加權和法
12.3.2 目標編程
12.3.3 加權指數和
12.3.4 加權最小-優選值法
12.3.5 指數加權準則
12.4 多目標種群方法
12.4.1 子種群
12.4.2 非支配排名
12.4.3 帕累托過濾器
12.4.4 生態位技術
12.5 偏好誘導
12.5.1 模型識別
12.5.2 配對查詢選擇
12.5.3 設計選擇
12.6 小結
12.7 練習
第13章 抽樣計劃
13.1 全因子
13.2 隨機抽樣
13.3 均勻投影計劃
13.4 分層抽樣
13.5 空間填充指標
13.5.1 差異
13.5.2 成對距離
13.5.3 Morris-Mitchell標準
13.6 空間填充子集
13.7 準隨機序列
13.7.1 加性遞歸
13.7.2 哈爾頓序列
13.7.3 Sobol序列
13.8 小結
13.9 習題
第14章 代理模型
14.1 擬合代理模型
14.2 線性模型
14.3 基函數
14.3.1 多項式基函數
14.3.2 正弦基函數
14.3.3 徑向基函數
14.4 擬合噪聲目標函數
14.5 模型選擇
14.5.1 保留法
14.5.2 交叉驗證
14.5.3 自舉法
14.6 小結
14.7 練習
第15章 概率代理模型
15.1 高斯分布
15.2 高斯過程
15.3 預測
15.4 梯度測量
15.5 噪聲測量
15.6 擬合高斯過程
15.7 小結
15.8 練習
第16章 代理優化
16.1 基於預測的探索
16.2 基於誤差的探索
16.3 置信下界的探索
16.4 改進探索的概率
16.5 預期改進探索
16.6 安全優化
16.7 小結
16.8 練習
第17章 不確定性下的優化
17.1 不確定性
17.2 基於集合的不確定性
17.2.1 極小極大方法
17.2.2 信息差距決策理論
17.3 概率不確定性
17.3.1 期望值
17.3.2 方差
17.3.3 統計可行性
17.3.4 風險價值
17.3.5 條件風險價值
17.4 小結
17.5 練習
……

本書全面深入地介紹了實用算法優化的相關內容，講述了解決各種問題的計算方法，包括搜索高維空間、處理存在多個競爭目標的問題以及兼顧指標中的不確定性。全書主要涵蓋以下主題：多維導數及其生成，局部下降和一階、二階方法，將隨機性引入優化過程的隨機方法，目標函數和約束都為線性時的線性約束優化，基於種群的方法，代理模型、概率代理模型以及使用代理模型進行優化的方法，不確定性下的優化，不確定性傳播，表達式優化，多學科優化。附錄簡要介紹了本書使用的Julia編程語言、評估算法性能的測試函數、與導數和優化方法相關的數學概念。
本書適合高等院校數學、統計學、計算機科學等專業的本科生和研究生學習，也可用作相關領域的參考資料。

(美)米凱爾·J.科申德弗,(美)蒂姆·A.惠勒 著 吳春國 等 譯