●項目1
數據采集與預處理準備1
學習目標1
項目描述1
任務1認識數據采集技術，熟悉數據采集平臺1
任務描述1
任務目標2
知識準備2
任務實施10
任務2認識數據預處理技術13
任務描述13
任務目標13
知識準備13
任務實施19
項目2
網絡爬蟲實踐24
學習目標24
項目描述24
任務1使用urllib爬取北京公交線路信息24
任務描述24
任務目標25
知識準備25
任務實施48
任務2使用Selenium爬取淘寶網站信息58
任務描述58
任務目標58
知識準備58
任務實施69
任務3使用Scrapy爬取北京公交信息75
任務描述75
任務目標75
知識準備75
任務實施78
任務4創新與拓展86
任務描述86
任務目標86
項目3
日志數據采集實踐87
學習目標87
項目描述87
任務1Flume的安裝和配置87
任務描述87
任務目標88
知識準備88
任務實施95
任務2Flume采集數據上傳到集群105
任務描述105
任務目標106
知識準備106
任務實施110
任務3創新與拓展118
任務描述118
任務目標118
項目4
數據預處理實踐119
學習目標119
項目描述119
任務1用Pig進行數據預處理119
任務描述119
任務目標120
知識準備120
任務實施134
任務2用Kettle進行數據預處理137
任務描述137
任務目標137
知識準備137
任務實施139
任務3用Pandas進行數據預處理150
任務描述150
任務目標150
知識準備150
任務實施153
任務4用OpenRefine進行數據預處理155
任務描述155
任務目標155
知識準備155
任務實施157
任務5用Flume Interceptor對日志信息進行數據預處理162
任務描述162
任務目標163
知識準備163
任務實施167
任務6創新與拓展176
任務描述176
任務目標176

本書以任務驅動為主線，圍繞企業級應用進行項目任務設計，主要內容包括數據采集與預處理準備、網絡爬蟲實踐、日志數據采集實踐和數據預處理實踐，全面地講述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技術，以及urllib、Selenium基本庫和BeautifulSoup解析庫的相關知識與應用案例。
本書內容實用，可操作性強，語言精練、通俗易懂，可作為高等院校計算機應用技術、大數據技術與應用、軟件技術、雲計算技術與應用等計算機相關專業的教材，也可作為大數據分析、雲計算應用領域技術人員的參考用書。