●前言
項目1 Hadoop 安裝
1.1 大數據認知
1.1.1 大數據是什麼
1.1.2 大數據應用領域
1.1.3 大數據的特點
1.1.4 大數據的技術架構
1.2 Hadoop 認知
1.2.1 Hadoop 起源
1.2.2 Hadoop 的特點
1.2.3 Hadoop 生態圈
1.2.4 Hadoop 核心架構
項目實現
任務1 安裝前準備
任務2 虛擬機的安裝
任務3 Ubuntu 的安裝
任務4 解壓與壓縮命令
任務5 JDK 安裝和配置
任務6 Hadoop 的安裝
拓展項目
課後練習
項目2 Hadoop 集群部署
2.1 Linux 環境設置
2.1.1 Linux 常用命令
2.1.2 用戶（組）創建
2.1.3 FileZilla 文件傳輸
2.1.4 apt 更新
2.1.5 vim 編輯器的應用
2.1.6 網絡配置
2.2 Hadoop 配置文件
2.2.1 環境變量的配置
2.2.2 SSH 安裝
2.2.3 core-site.xml 配置文件
2.2.4 hdfs-site.xml 配置文件
2.2.5 Hadoop 偽分布式運行實例
2.3 YARN 認知
2.3.1 初識YARN
2.3.2 YARN 基本服務組件
2.3.3 YARN 執行過程
項目實現
任務1 部署前準備
任務2 集群網絡配置
任務3 配置文件的設置
任務4 集群部署
拓展項目
課後練習
項目3 HDFS-電影信息管理
3.1 HDFS 認知
3.1.1 HDFS 簡介
3.1.2 HDFS 特點
3.1.3 HDFS 設計原則
3.1.4 HDFS 核心概念
3.2 HDFS 常用Shell 命令和基礎編程開發
3.2.1 HDFS 常用Shell 命令
3.2.2 用HDFS API 實現上傳本地文件
3.2.3 用HDFS API 實現創建HDFS 文件
3.2.4 用HDFS API 實現讀取和寫入文件
3.2.5 用HDFS API 實現創建HDFS 目錄
3.2.6 用HDFS API 實現查找文件所在位置
3.3 HDFS 工作機制
3.3.1 HDFS 寫數據流程
3.3.2 HDFS 讀數據流程
3.3.3 NameNode 工作機制
3.3.4 DataNode 工作機制
項目實現
任務1 環境搭建
任務2 寫入電影信息
任務3 讀取電影信息
拓展項目
課後練習
項目4 用MapReduce 統計網站優選訪問次數
4.1 MapReduce 認知
4.1.1 MapReduce 的由來
4.1.2 MapReduce 的執行過程
4.1.3 Mapper 過程
4.1.4 Reduce 過程
4.1.5 Shuffle 過程
4.2 MapReduce 程序開發
4.2.1 IDEA 安裝
4.2.2 MapReduce 輸入/輸出類型
4.2.3 MapReduce 輸入處理類
4.2.4 MapReduce 輸出處理類
4.2.5 典型案例：WordCount
項目實現
任務1 POJO 類編寫
任務2 Map 網站訪問數據
任務3 Reduce 網站訪問數據
任務4 項目驅動類編寫
拓展項目
課後練習
項目5 用MapReduce 實現課程名稱和成績的二次排序
5.1 MapReduce 高級開發一
5.1.1 Combiner 合並編程
5.1.2 Partitioner 分區編程
5.1.3 RecordReader 編程
5.2 MapReduce 高級開發二
5.2.1 MapReduce 連接操作
5.2.2 MapReduce 排序操作
5.2.3 MapReduce 多文件聯合查詢
項目實現
任務1 POJO 類編寫
任務2 Map 課程和成績數據
任務3 Reduce 課程和成績數據
任務4 項目驅動類編寫
拓展項目
課後練習
項目6 用Hive 實現購物用戶數據清洗
6.1 Hive 認知
6.1.1 Hive 簡介
6.1.2 Hive 體繫結構
6.1.3 Hive 設計特征
6.2 Hive 安裝
6.2.1 偽分布式安裝與配置Hive
6.2.2 安裝與配置MySQL
6.3 Hive 基本操作
6.3.1 Hive 數據類型
6.3.2 數據庫操作
6.3.3 內部表操作
6.3.4 外部表操作
6.3.5 分區表操作
6.3.6 分桶表操作
6.3.7 Hive 數據操作
項目實現
任務1 導入數據
任務2 數據分析
任務3 數據導出
拓展項目
課後練習
項目7 用HBase 實現學生成績管理
7.1 HBase 認知
7.1.1 HBase 簡介
7.1.2 HBase 體繫結構
7.1.3 HBase 寫數據流程
7.1.4 HBase 讀數據流程
7.2 HBase 安裝
7.2.1 下載軟件
7.2.2 偽分布式安裝與配置
7.3 HBase shell 操作命令
7.3.1 HBase 數據模型
7.3.2 數據表空間操作
7.3.3 數據表操作
7.3.4 數據操作
7.4 HBase API 操作
7.4.1 HBase 常用的API
7.4.2 Configuration 對像
7.4.3 HTable 句柄創建
7.4.4 HBase 數據的CRUD 操作
項目實現
任務1 學生成績表數據準備
任務2 學生成績表設計分析
任務3 學生成績表代碼實現
拓展項目
課後練習
項目8 Sqoop 導入導出
8.1 概述
8.1.1 Sqoop 產生背景
8.1.2 Sqoop 是什麼
8.1.3 為什麼選擇 Sqoop
8.2 工作原理
8.2.1 導入機制
8.2.2 導出機制
8.3 安裝
8.4 Sqoop 的基本命令
8.4.1 基本操作
8.4.2 示例
項目實現
任務1 從RDBMS 導入到HDFS
任務2 從MySQL 導入到Hive
任務3 從MySQL 導入到HBase
課後練習
Hadoop 綜合實例——網絡交易數據統計
9.1 項目概述
9.1.1 項目實現的思路
9.1.2 項目流程
9.2 準備工作
9.2.1 項目環境的搭建
9.2.2 Hadoop+HBase+Hive 集成
9.2.3 HBase 數據庫設計原則
9.2.4 數據概況
項目實現
項目9
任務1 POJO 類編寫
任務2 統計不同品牌手機的銷售數量
任務3 統計不同品牌手機銷量和銷售額占比
任務4 統計某年每個月的手機銷售數量的比例
任務5 統計每個月份各市區縣的手機銷售數量
任務6 統計購買手機的男女比例
任務7 統計不同手機品牌購買用戶的年齡區間人數
課後練習

本書詳細介紹了大數據技術中的Hadoop集群部署、MapReduce、Hive和HBase等的基本知識和應用，本書采用了大量案例，可以更好地幫助讀者學習和理解大數據的核心技術。 本書從實用的角度出發，設計了9個項目，從虛擬機安裝入手，結合實際工作中的典型項目和案例，全面介紹了Hadoop集群部署、HDFS、MapReduce編程、Hive、HBase和Sqoop的相關知識和基本操作。 本書圍繞Linux操作繫統和Hadoop集群部署，按照初學者的思維習慣，循序漸進地設計和安排學習內容，采用將基礎知識融入項目教學的方式，在完成項目學習的同時，實現從理論知識到能力的轉化，幫助學習者牢固掌握Hadoop集群部署等相關知識的實踐技能。 本書適合作為職業類院校計算機、大數據等相關專業的教材，也適用於計算機培訓班教學，以及有構建大數據知識體繫需求的讀者學習。

張立輝,李明革 編