大數據技術讓我們以一種前所未有的方式，對海
量數據進行分析，從中獲得有巨大價值的產品和服務
，最終形成變革之力。肖睿、丁科、吳剛山主編的《
基於Hadoop與Spark的大數據開發實戰(新技術技能人
纔培養繫列教程)/大數據開發實戰繫列》圍繞Hadoop
和Spark兩個主流大數據技術進行講解，主要內容包
括Hadoop環境配置、Hadoop分布式文件繫統（HDFS）
、Hadoop分布式計算框架MapReduce、Hadoop資源調
度框架YARN與Hadoop新特性、Hadoop分布式數據庫
HBase、數據倉庫Hive、大數據離線處理輔助繫統、
Spark Core、Spark SQL、Spark Streaming等知識
。
本書緊密結合實際應用，運用大量案例說明和實
踐，提煉含金量十足的開發經驗。另外，本書配以多
元的學習資源和支持服務，包括視頻教程、案例素材
下載、學習交流社區、討論組等學習內容，為讀者帶
來全方位的學習體驗。
本書適合作為計算機、大數據相關專業的教材使
用，也適合具有一定Linux、Java開發經驗，並且想
從事大數據開發的人員使用，也可作為大數據分析與
運維人員的參考用書。

序言
前言
關於引用作品的版權聲明
第1章 Hadoop初體驗
任務1 初識大數據
1.1.1 大數據基本概念
1.1.2 大數據帶來的挑戰
任務2 初識Hadoop
1.2.1 Hadoop概述
1.2.2 Hadoop生態圈
1.2.3 Hadoop應用案例
任務3 安裝Hadoop平臺
1.3.1 安裝虛擬機
1.3.2 安裝Linux繫統
1.3.3 安裝Hadoop偽分布式環境
本章總結
本章練習
第2章 Hadoop分布式文件繫統
任務1 HDFS入門
2.1.1 認識HDFS
2.1.2 HDFS基礎
2.1.3 HDFS架構
任務2 HDFS基本操作
2.2.1 使用HDFS shell訪問
2.2.2 使用Java API訪問
任務3 HDFS運行原理
2.3.1 HDFS讀寫流程
2.3.2 HDFS副本機制
2.3.3 HDFS負載均衡
2.3.4 HDFS機架感知
任務4 HDFS**知識
2.4.1 Hadoop序列化機制
2.4.2 SequenceFile
2.4.3 MapFile
本章總結
本章練習
第3章 Hadoop分布式計算框架
任務1 認識MapReduce編程模型
3.1.1 MapReduce基礎
3.1.2 MapReduce編程模型
3.1.3 MapReduce詞頻統計編程實例
任務2 MapReduce應用開發
3.2.1 MapReduce輸入/輸出類型
3.2.2 MapReduce輸入格式
3.2.3 MapReduce輸出格式
3.2.4 Combiner操作
3.2.5 Partitioner操作
3.2.6 自定義RecordReader
任務3 MapReduce**應用
3.3.1 使用MapReduce實現join操作