《企業級大數據平臺構建：架構與實現》是一部
教你如何從0到1架構與實現一個企業級大數據平臺的
著作，是作者在大數據和繫統架構領域工作超過
20000小時的經驗總結。
作者朱凱從橫向視角出發，手把手教你如何拉通
Hadoop體繫技術棧，以此搭建一個真實可用、安全可
靠的大數據平臺。通過閱讀本書，大家一定能找到靈
感和思路來應對實際工作中面對的問題。
本書在邏輯上分為三大部分：
背景篇（第1～2章）：簡單闡述了企業級大數據
平臺的重要性，並指出了作為一個企業級大數據平臺
應當具備的能力。接著拋磚引玉介紹了通過Hadoop生
態體繫去構建一個企業級大數據平臺可以使用的技術
棧的核心概念，如HDFS、HBase、Spark等。
方法篇（第3～6章）：詳細講解了集群服務、安
全網關、服務授權、Kerberos認證、單點登錄和集群
用戶整合等各個方面的背景知識與配置整合步驟。
擴展篇（第7～8章）：介紹了如何用編寫
Restful服務的形式進一步擴展平臺功能的一些思路
，以便提高平臺的易用性和可用性。

推薦序 思者常新，厚積薄發
前言
第1章 淺談企業級大數據平臺的重要性
1.1 缺乏統一大數據平臺的問題
1.1.1 資源浪費
1.1.2 數據孤島
1.1.3 服務孤島
1.1.4 安全存疑
1.1.5 缺乏可維護性和可擴展性
1.1.6 缺乏可復制性
1.2 構建統一大數據平臺的優勢
1.3 企業級大數據平臺需要具備的基本能力
1.3.1 集群管理與監控
1.3.2 數據接入
1.3.3 數據存儲與查詢
1.3.4 數據計算
1.3.5 平臺安全與管理
1.4 平臺輔助工具
1.5 本章小結
第2章 企業級大數據平臺技術棧介紹
2.1 HDFS
2.1.1 概述
2.1.2 RAID技術
2.1.3 核心設計目標
2.1.4 命名空間
2.1.5 數據模型
2.1.6 Namenode和Datanode
2.1.7 使用場景
2.2 Zookeeper
2.2.1 概述
2.2.2 核心特性
2.2.3 命名空間
2.2.4 數據模型
2.2.5 節點狀態監聽
2.2.6 原子消息廣播協議
2.2.7 使用場景
2.3 HBase
2.3.1 概述
2.3.2 數據模型
2.3.3 Regions
2.3.4 HBase Master
2.3.5 Region Server
2.3.6 MemStore與HFile
2.3.7 使用場景
2.4 YARN
2.4.1 概述
2.4.2 資源模型和Container
2.4.3 ResourceManager
2.4.4 ApplicationMaster
2.4.5 NodeManager
2.4.6 單一集群架構
2.4.7 工作流程
2.4.8 使用場景
2.5 Spark
2.5.1 概述
2.5.2 數據模型
2.5.3 編程模型和作業調度
2.5.4 依賴
2.5.5 容錯
2.5.6 集群模式
2.5.7 使用場景
2.6 本章小結
第3章 使用Ambari安裝Hadoop集群
3.1 概述
3.2 集群設計
3.2.1 主控節點
3.2.2 存儲與計算節點
3.2.3 安全認證與管理節點
3.2.4 協同管理與其他節點
3.3 Ambari的安裝、配置與啟動
3.3.1 安裝前的準備
3.3.2 安裝Ambari-Server
3.3.3 Ambari-Server目錄結構
3.3.4 配置Ambari-Server
3.3.5 啟動Ambari-Server
3.4 新建集群
3.4.1 設置集群名稱並配置HDP安裝包
3.4.2 配置集群
3.5 Ambari控制臺功能簡介
3.5.1 集群服務管理
3.5.2 集群服務配置
3.5.3 輔助工具
3.6 本章小結
第4章 構建企業級平臺安全方案
4.1 淺談企業級大數據平臺面臨的安全隱患
4.1.1 缺乏統一的訪問控制機制
4.1.2 缺乏統一的資源授權策略
4.1.3 缺乏Hadoop服務安全保障
4.2 初級安全方案
4.2.1 訪問控制
4.2.2 數據授權與管理
4.3 本章小結
第5章 Hadoop服務安全方案
5.1 Kerberos協議簡介
5.2 使用FreeIPA安裝Kerberos和LDAP
5.2.1 安裝FreeIPA
5.2.2 IPA-Server管理控制臺功能介紹
5.2.3 IPA CLI功能介紹
5.3 開啟Ambari的Kerberos安全選項
5.3.1 集成前的準備
5.3.2 集成IPA
5.3.3 測試Kerberos認證
5.4 本章小結
第6章 單點登錄與用戶管理
6.1 集成單點登錄
6.1.1 CAS簡介
6.1.2 安裝CAS-Server
6.1.3 集成Knox網關與CAS-Server
6.1.4 集成Ranger與CAS-Server
6.1.5 集成Ambari與CAS-Server
6.2 實現統一的用戶管理繫統
6.3 使用Java程序調用腳本
6.4 創建Ranger擴展用戶
6.5 本章小結
第7章 搭建平臺管理端RESTful服務
7.1 搭建RESTful服務框架
7.2 用戶查詢
7.2.1 引入LDAP模塊
7.2.2 配置LDAP
7.2.3 實現持久層
7.2.4 實現服務層
7.2.5 實現RESTful服務
7.2.6 整合用戶管理
7.3 RESTful服務安全認證
7.3.1 用戶登錄服務
7.3.2 使用JWT認證
7.3.3 創建用戶登錄RESTful服務
7.3.4 認證過濾器
7.3.5 測試服務安全認證
7.4 數據倉庫數據查詢
7.4.1 創建JDBC連接
7.4.2 Kerberos登錄
7.4.3 使用JDBC協議查詢
7.4.4 實現服務層與RESTful服務
7.4.5 測試查詢
7.5 數據倉庫元數據查詢
7.5.1 使用query服務查詢數倉元數據
7.5.2 引入JdbcTemplate模塊
7.5.3 增加Hive元數據庫配置
7.5.4 實現元數據持久層
7.5.5 實現元數據服務層與RESTful服務
7.5.6 測試元數據查詢
7.6 本章小結
第8章 Spark任務與調度服務
8.1 提交Spark任務的3種方式
8.1.1 使用Spark-Submit腳本提交
8.1.2 使用Spark Client提交
8.1.3 使用YARN RESTful API提交
8.2 查詢Spark日志
8.3 任務調度
8.3.1 引入Quartz模塊
8.3.2 增加Quartz配置
8.3.3 編寫調度任務
8.3.4 改進空間
8.4 本章小結
附錄A Hadoop簡史
附錄B Hadoop生態其他常用組件一覽
附錄C 常用組件配置說明

1.4 平臺輔助工具 大數據平臺作為一個技術支撐平臺，它面向的用 戶群體至少包括應用開發、平臺運維和數據分析這三 類用戶群體。這三類用戶因為自身的工作職責不同導 致其關注平臺的視角也會不同。應用開發的職責是基 於技術平臺開發應用，基於平臺編寫程序，所以他們 *關注的是開發SDK、程序調試跟蹤的方式；平臺運 維的職責是保障大數據平臺的正常穩定運行，所以他 們關注的是平臺的各種監控指標。而數據分析的職責 是基於平臺數據做數據分析，所以他們關注的是如何 使用機器學習相關算法，用*快的速度驗證自己的想 法並得出反饋。
通過前面的介紹，我們可以知道大數據平臺的基 本能力從底層技術角度已經覆蓋了這三類用戶的需求 ，但是這樣將赤裸裸的底層技術直接拿出來給用戶使 用，對於用戶來說體驗真是太糟糕了。所以大數據平 臺需要一層紐帶將原始的底層技術能力和終端活生生 的人聯繫起來。這層紐帶便是由眾多輔助平臺使用的 工具所組成的，它們可以大幅度降低大數據平臺的使 用門檻，並增強平臺的易用性和友好性。
1.開發套件 相比於傳統的軟件編程方式，大數據領域的程序 開發會復雜很多。為了迎合分治思想，同時能夠使程 序以*大的並行度執行，我們的程序都會以多線程的 方式分布式地運行在多臺服務器之上，這就使程序的 開發和調試難度陡增。除此之外，在程序的設計思路 上，大數據領域也和傳統領域有著顯著的不同，例如 大數據領域的存儲技術可以突破傳統關繫型數據庫的 諸多限制，使得一張單表擁有上千列和數億行成為可 能。這就使得我們可以使用與以往軟件**不同的設 計思路去實現一些功能。
所以大數據平臺應該擁有與之適配的一套SDK開 發套件，將底層的復雜邏輯進行封裝從而對上層應用 屏蔽，同時提供一套簡單易用的開發接口和一繫列輔 助開發和調試的工具。
2.任務管理與調度 得益於單一集群架構，集群內的所有服務器資源 現在可以由一個統一的資源調度繫統進行整合使用。
因此，我們開發的數據導人、離線計算等程序都需要 以任務的形式提交到調度繫統。於是便有了對各種任 務進行提交、狀態跟蹤、日志查詢和執行周期性調度 等需求。
所以大數據平臺應該能提供一個可視化的任務管 理與繫統對內部對所有應用任務進行控制和監管。
3.自助式數據探索分析 數據分析、數據挖掘可以說是一個循環往復的過 程。不斷地通過拋出假設、建立模型、驗證假設、修 正模型這樣一個循環過程漸進明細。這些步驟通常需 要專業的大數據開發工程師以代碼編程的形式進行實 現。然而，我們必須面對這樣一個不幸的事實，專業