第1章 引言
1.1 信息檢索與搜索引擎
1.2 搜索引擎的歷史
1.3 搜索引擎的分類
1.4 搜索引擎的基本架構
1.4.1 主要性能需求
1.4.2 總體架構
1.5 搜索引擎的主要組件及其功能
1.5.1 網絡爬蟲
1.5.2 解析器
1.5.3 索引器
1.5.4 檢索器
1.5.5 用戶交互接口
1.6 開源搜索引擎
本章小結
習題
第2章 信息采集
2.1 網絡爬蟲的概述
2.1.1 網絡爬蟲的功能特點
2.1.2 網絡爬蟲通用架構
2.1.3 網絡爬蟲分類
2.2 分布式網絡爬蟲架構
2.2.1 主從分布式結構爬蟲(master-slave)
2.2.2 對等分布式結構爬蟲(peer to peer)
2.3 信息采集涉及的協議
2.3.1 URL規範和HTTP協議
2.3.2 User Agent
2.3.3 Robots協議
2.4 頁面遍歷
2.4.1 寬度優先遍歷策略
2.4.2 深度優先遍歷策略
2.4.3 重要度優先遍歷策略
2.5 頁面*新
2.5.1 網頁*新策略
2.5.2 爬蟲*新方式
2.6 深網抓取
2.7 開源網絡爬蟲
本章小結
習題
第3章 文本處理
3.1 文本信息提取
3.1.1 網頁數據獲取
3.1.2 非網頁的數據獲取
3.2 統計語言模型
3.2.1 N元模型(N-gram)的基本概念
3.2.2 數據平滑方法
3.3 英文分詞
3.3.1 詞素切分
3.3.2 詞干提取
3.3.3 去除停用詞