● 章什麼是推薦繫統11.1 推薦繫統的概念.11.1.1 推薦繫統的基本概念11.1.2 深度學習與推薦繫統4第2 章深度神經網絡.72.1 什麼是深度學習.72.1.1 深度學習的三次興起72.1.2 深度學習的優勢92.2 神經網絡基礎112.2.1112.2.2 神經網絡.122.2.3 反向傳播.132.2.4 優化算法.142.3 卷積網絡基礎172.3.1 卷積層172.3.2 池化層192.3.3 常見的網絡結構192.4 循環網絡基礎212.4.1 時序反向傳播算法222.4.2 長短時記憶網絡242.5 生成對抗基礎252.5.1 對抗博弈.262.5.2 理論推導.272.5.3 常見的生成對抗網絡29iv j 推薦繫統與深度學習第3 章TensorFlow 平臺313.1 什麼是TensorFlow 313.2 TensorFlow 安裝指南.333.2.1 Windows 環境安裝.333.2.2 Linux 環境安裝.343.3 TensorFlow 基礎.363.3.1 數據流圖.363.3.2 會話373.3.3 圖可視化.373.3.4 變量373.3.5 占位符383.3.6 優化器383.3.7 一個簡單的例子383.4 其他深度學習平臺39第4 章推薦繫統的基礎算法424.1 基於內容的推薦算法.424.1.1 基於內容的推薦算法基本流程424.1.2 基於內容推薦的特征提取.454.2 基於協同的推薦算法.474.2.1 基於物品的協同算法494.2.2 基於用戶的協同算法574.2.3 基於用戶協同和基於物品協同的區別594.2.4 基於矩陣分解的推薦方法.614.2.5 基於稀疏自編碼的推薦方法.714.3 基於社交網絡的推薦算法804.3.1 基於用戶的推薦在社交網絡中的應用814.3.2 node2vec 技術在社交網絡推薦中的應用854.4 推薦繫統的冷啟動問題944.4.1 如何解決推薦繫統冷啟動問題944.4.2 深度學習技術在物品冷啟動上的應用101目錄j v第5 章混合推薦繫統1195.1 什麼是混合推薦繫統.1195.1.1 混合推薦繫統的意義1205.1.2 混合推薦繫統的算法分類.1225.2 推薦繫統特征處理方法1255.2.1 特征處理方法1265.2.2 特征選擇方法1345.3 常見的預測模型1415.3.1 基於邏輯回歸的模型1415.3.2 基於支持向量機的模型.1445.3.3 基於梯度提升樹的模型.1485.4 排序學習1505.4.1 基於排序的指標來優化.1505.4.2 L2R 算法的三種情形.152第6 章基於深度學習的推薦模型1566.1 基於DNN 的推薦算法1566.2 基於DeepFM 的推薦算法1636.3 基於矩陣分解和圖像特征的推薦算法1716.4 基於循環網絡的推薦算法.1746.5 基於生成對抗網絡的推薦算法.1766.5.1 IRGAN 的代碼實現.179第7 章推薦繫統架構設計.1837.1 推薦繫統基本模型1837.2 推薦繫統常見架構1857.2.1 基於離線訓練的推薦繫統架構設計1857.2.2 面向深度學習的推薦繫統架構設計1917.2.3 基於在線訓練的推薦繫統架構設計1947.2.4 面向內容的推薦繫統架構設計1977.3 推薦繫統常用組件1997.3.1 數據上報常用組件199vi j 推薦繫統與深度學習7.3.2 離線存儲常用組件2007.3.3 離線計算常用組件2007.3.4 在線存儲常用組件2017.3.5 模型服務常用組件2017.3.6 實時計算常用組件2017.4 推薦繫統常見問題2017.4.1 實時性.2017.4.2 多樣性.2027.4.3 曝光打擊和不良內容過濾.2027.4.4 評估測試.202後記.203圖1.1 淘寶猜你喜歡欄目2圖1.2 百度指數.4圖1.3 歌曲詞嵌入模型空間向量.6圖2.1 神經網絡的三次興起8圖2.2 不同層數的神經網絡擬合分界面的能力.10圖2.3 不同層數的神經網絡表示能力10圖2.4 神經網絡的基本結構11圖2.5 感知器算法12圖2.6 三層全連接神經網絡13圖2.7 動量對比.16圖2.8 卷積運算.18圖2.9 池化層19圖2.10 LeNet 卷積結構.20圖2.11 Alex-Net 卷積結構20圖2.12 RNN 21圖2.13 LSTM 在t 時刻的內部結構24圖2.14 GAN 網絡25圖3.1 TensorFlow 安裝截圖34圖3.2 TensorBoard 計算37圖4.1 騰訊視頻APP 推薦頁面.44圖4.2 截取自 .49圖4.3 截取自QQ 音樂APP.49圖4.4 用戶購買物品記錄50圖4.5 同時被購買次數矩陣C 51圖4.6 相似度計算結果1 52圖4.7 相似度計算結果2 54viii j 推薦繫統與深度學習圖4.8 相似度計算結果3 55圖4.9 截取自 .57圖4.10 物品的倒排索引57圖4.11 用戶評分矩陣.63圖4.12 Sigma 值64圖4.13 NewData 值65圖4.14 Mydata 值65圖4.15 自編碼神經網絡模型72圖4.16 稀疏自編碼第一個網絡.73圖4.17 稀疏自編碼第二個網絡.74圖4.18 稀疏自編碼第三個網絡.75圖4.19 將三個網絡組合起來75圖4.20 社交網絡關繫圖示例81圖4.21 融入用戶關繫和物品關繫82圖4.22 社交網絡關繫圖示例86圖4.23 社交網絡關繫圖示例86圖4.24 CBOW 和Skip-Gram 示例.88圖4.25 Skip-Gram 網絡結構89圖4.26 CBOW 網絡結構91圖4.27 word analogy 示例93圖4.28 某網站登錄頁面95圖4.29 QQ 互聯開放注冊平臺1 96圖4.30 QQ 互聯開放注冊平臺2 97圖4.31 QQ 互聯應用管理頁面1 97圖4.32 QQ 互聯應用管理頁面2 97圖4.33 QQ 互聯QQ 登錄功能獲取97圖4.34 QQ 音樂APP 中的偏好選擇98圖4.35 (a) 為每部電影被打分的分布，(b) 為每個用戶打分的分布100圖4.36 (a) 為每部電影平均分分布，(b) 為每個用戶平均分分布.100圖4.37 基於專家數據的CF 與基於用戶數據CF 比較.101圖目錄j ix圖4.38 音樂頻譜示例102圖4.39 4 個流派的頻譜圖示例103圖4.40 CNN 音頻分類結構.103圖4.41 CNN+LSTM 組合音頻分類模型.104圖4.42 分類預測結果的混淆矩陣104圖4.43 模型倒數第二層128 維向量降維可視化104圖4.44 微軟how-old.net 107圖4.45 SCUT-FBP 數據集示例圖108圖4.46 臉部截取後的數據集示例圖.108圖4.47 CNN 層數過多，誤差反而較大113圖4.48 殘差網絡的基本結構113圖4.49 殘差網絡完整結構.114圖5.1 NetFlix 的實時推薦繫統的架構圖120圖5.2 整體式混合推薦繫統125圖5.3 並行式混合推薦繫統125圖5.4 流水線式混合推薦繫統.125圖5.5 MDLP 特征離散化130圖5.6 ChiMerge 特征離散化.131圖5.7 層次化時間按序列特征.133圖5.8 Learn to rank 的局限153圖6.1 Wide & Deep 模型結構157圖6.2 推薦繫統的召回和排序兩個階段158圖6.3 召回模型結構.159圖6.4 序列信息160圖6.5 排序模型結構.161圖6.6 不同NN 的效果162圖6.7 DeepFM 模型結構(網絡左邊為FM 層，右邊為DNN 層).164圖6.8 FM 一階部分165圖6.9 FM 二階部分166圖6.10 FM/DNN/DeepFM 的比較171x j 推薦繫統與深度學習圖6.11 電影靜止幀圖片舉例172圖6.12 Alex-Net 卷積網絡.173圖6.13 左圖：時間無關的推薦繫統。右圖：時間相關的推薦繫統174圖6.14 基於循環神經網絡的推薦繫統175圖6.15 判別器177圖6.16 生成器178圖6.17 IRGAN 說明179圖7.1 監督學習基本模型.184圖7.2 基於離線訓練的推薦繫統架構設計186圖7.3 數據上報模塊.187圖7.4 離線訓練模塊.187圖7.5 推薦繫統中的存儲分層.188圖7.6 在線預測的幾個階段189圖7.7 推薦繫統通用性設計190圖7.8 面向深度學習的推薦繫統架構設計191圖7.9 利用深度學習進行特征提取192圖7.10 參數服務器架構193圖7.11 基於在線訓練的推薦繫統架構設計195圖7.12 在線學習之實時特征處理196圖7.13 面向內容的推薦繫統架構設計198圖7.14 用於推薦的內容池.198圖7.15 Apache Kafka 邏輯架構.200表4.1 用戶A 和B 的評分矩陣.43表4.2 電影內容特征二進制表示45表4.3 人臉魅力值打分不同模型的MAE 比較112表4.4 人臉魅力值打分不同模型的MAE 比較117表4.5 Keras 預訓練好的圖像分類模型118

本書的幾位作者都在大型互聯網公司從事與推薦繫統相關的實踐與研究，通過這本書，把推薦繫統工作經驗予以總結，以幫助想從事推薦繫統的工作者或推薦繫統愛好者。本書的內容設置由淺入深，從傳統的推薦算法過渡到近年興起的深度學習技術。不管是初學者，還是有一定經驗的從業人員，相信都能從本書的不同章節中有所收獲。區別於其他推薦算法書籍，本書引入了已被實踐證明效果較好的深度學習推薦技術，包括Word2Vec、Wide & Deep、DeepFM、GAN 等技術應用，並給出了相關的實踐代碼；除了在算法層面講解推薦繫統的實現，還從工程層面詳細闡述推薦繫統如何搭建。

黃昕、趙偉、王本友、呂慧偉、楊敏 著