本書從大數據的基本概念、原理，以及存儲、采集、挖掘及應用，做了詳細的概述。適合於高等學校師生及技術愛好者。

●目錄第一篇大數據基礎第1章大數據基本概念1.1大數據時代1.1.1大數據有多大1.1.2大數據的產生1.1.3大數據的發展歷程1.1.4大數據對科學研究的影響1.1.5大數據對思維模式的影響1.2大數據的定義與特征1.2.1大數據的定義1.2.2大數據的數據特征1.3大數據的應用1.3.1大數據在科研領域的應用1.3.2大數據在交通領域的應用1.3.3大數據在通信領域的應用1.3.4大數據在醫療領域的應用1.3.5大數據在金融領域的應用1.3.6大數據在制造領域的應用1.3.7大數據在體育領域的應用1.3.8大數據在個性化生活領域的應用1.3.9大數據在安全領域的應用1.4大數據框架體繫1.4.1大數據基礎設施層1.4.2大數據采集層1.4.3大數據存儲層1.4.4大數據處理層1.4.5大數據交互展示層1.4.6大數據應用層1.5大數據關鍵技術1.5.1數據采集與預處理技術1.5.2數據存儲與管理技術1.5.3數據分析與挖掘技術1.5.4數據可視化技術1.5.5數據安全和隱私保護技術1.6大數據支撐技術1.6.1雲計算1.6.2物聯網1.6.3機器學習習題第2章大數據平臺Hadoop基礎2.1大數據平臺Hadoop概述2.1.1Hadoop簡介2.1.2Hadoop項目起源2.1.3Hadoop發展歷程2.1.4Hadoop特性2.1.5Hadoop主要用途2.2大數據平臺Hadoop原理2.2.1分布式計算原理2.2.2MapReduce原理2.2.3Yarn原理2.3大數據平臺Hadoop組件2.3.1HDFS組件2.3.2MapReduce組件2.3.3ZooKeeper組件2.3.4Yarn組件2.3.5HBase組件2.3.6Hive組件2.3.7Spark組件2.3.8Mahout組件2.3.9Flume組件2.3.10Sqoop組件2.3.11Kafka組件2.3.12Pig組件2.3.13Ambari組件2.3.14Tez組件2.3.15Common組件習題第二篇大數據存儲與管理第3章大數據存儲與管理基本概念3.1大數據的數據類型3.1.1結構化數據3.1.2半結構化數據3.1.3非結構化數據3.2數據管理技術的發展3.2.1文件繫統階段3.2.2數據庫繫統階段3.2.3數據倉庫階段3.2.4分布式繫統階段3.3分布式繫統基礎理論3.3.1CAP理論3.3.2BASE思想3.4NoSQL數據庫3.4.1NoSQL數據庫的興起3.4.2NoSQL數據庫與關繫數據庫的比較3.4.3NoSQL數據庫的四大類型3.5大數據存儲與管理技術3.5.1分布式存儲技術3.5.2虛擬化技術3.5.3雲存儲技術習題第4章大數據分布式文件繫統4.1HDFS概述4.1.1HDFS簡介4.1.2HDFS設計特點4.2HDFS工作原理4.2.1HDFS體繫結構4.2.2HDFS工作組件4.3HDFS工作流程4.3.1讀數據的過程4.3.2寫數據的過程4.4HDFS基本操作4.4.1HDFS文件操作4.4.2HDFS管理命令4.5HDFS編程接口4.5.1HDFS常用Java API4.5.2HDFS API編程實例習題第5章大數據分布式數據庫繫統HBase5.1HBase概述5.1.1HBase簡介5.1.2HBase特性5.1.3HBase與傳統關繫數據庫對比5.1.4HBase應用場景5.2HBase數據模型5.2.1HBase數據模型術語5.2.2HBase數據邏輯模型5.2.3HBase數據物理模型5.3HBase工作原理5.3.1HBase體繫結構5.3.2HBase工作組件5.4HBase操作命令5.4.1HBase表操作5.4.2HBase數據操作5.5HBase編程接口5.5.1HBase常用Java API5.5.2HBase API編程實例習題第6章大數據分布式數據倉庫繫統Hive6.1Hive概述6.1.1Hive特性6.1.2Hive工作原理6.1.3Hive執行流程6.2Hive數據類型及數據模型6.2.1Hive數據類型6.2.2Hive數據模型6.3Hive SQL查詢語法6.3.1DDL語句6.3.2DML語句6.3.3DQL語句6.3.4Hive實例操作6.4Hive訪問接口6.4.1Hive CLI訪問接口6.4.2JDBC訪問接口習題第三篇大數據采集與預處理第7章大數據采集與預處理技術7.1數據抽取、轉換、加載技術7.1.1ETL概述7.1.2數據抽取7.1.3數據轉換7.1.4數據加載7.1.5ETL工具7.2數據爬蟲技術7.2.1爬蟲流程7.2.2爬蟲分類7.2.3大數據爬蟲技術7.3數據預處理技術7.3.1數據清理7.3.2數據集成7.3.3數據變換7.3.4數據歸約習題第8章大數據采集工具8.1Sqoop關繫型大數據采集繫統8.1.1Sqoop簡介8.1.2Sqoop工作原理8.2Flume日志大數據采集繫統8.2.1Flume簡介8.2.2Flume工作原理8.3Nutch分布式大數據爬蟲繫統8.3.1Nutch簡介8.3.2Nutch工作原理習題第四篇大數據分析與挖掘第9章大數據計算模式9.1大數據批處理9.1.1大數據批處理概述9.1.2大數據批處理常用組件9.2大數據查詢分析計算9.2.1大數據查詢分析計算概述9.2.2大數據查詢分析計算組件9.3大數據流計算9.3.1大數據流計算概述9.3.2大數據流計算組件9.4大數據迭代計算9.4.1大數據迭代計算概述9.4.2迭代計算組件9.5大數據圖計算9.5.1大數據圖計算概述9.5.2圖計算組件習題第10章大數據MapReduce計算模型10.1MapReduce概述10.1.1MapReduce簡介10.1.2MapReduce由來10.1.3MapReduce主要功能10.1.4MapReduce技術特征10.2MapReduce模型框架10.2.1MapReduce設計思想10.2.2MapReduce模型架構10.3MapReduce數據處理過程10.3.1MapReduce運行原理10.3.2MapReduce數據輸入輸出流程10.4MapReduce程序執行過程10.4.1作業提交10.4.2作業初始化10.4.3作業分配10.4.4任務執行10.4.5過程和狀態更新10.4.6作業完成10.5MapReduce編程接口10.5.1數據讀入10.5.2Mapper類和Reduce類10.5.3數據處理10.5.4數據輸出10.6MapReduce實例分析10.6.1WordCount MapReduce設計10.6.2WordCount編程實現習題第11章大數據Spark計算模型11.1Spark概述11.1.1Spark的產生11.1.2Spark的相關概念及其組件11.1.3Spark的特性11.2Spark工作原理11.2.1RDD原理11.2.2Spark工作流程11.2.3Spark集群架構及運行模式11.2.4Spark Streaming工作原理11.3Spark訪問接口11.3.1Spark訪問接口概述11.3.2SparkContext 訪問接口11.3.3RDD 訪問接口11.4Spark實例分析11.4.1Spark Shell Wordcount編程實現11.4.2Scala Wordcount編程實現11.4.3Java Wordcount編程實現習題第12章大數據MapReduce基礎算法12.1關繫代數運算12.1.1關繫代數運算規則12.1.2關繫代數運算的MapReduce設計與實現12.2矩陣乘法12.2.1矩陣乘法原理12.2.2矩陣乘法MapReduce設計12.2.3矩陣乘法MapReduce實現習題第13章大數據挖掘算法13.1大數據關聯分析算法13.1.1Apriori算法簡介13.1.2Apriori算法MapReduce設計13.1.3Apriori算法MapReduce實現13.2大數據kNN分類算法13.2.1kNN分類算法簡介13.2.2KNN算法MapReduce設計13.2.3KNN算法MapReduce實現13.3大數據kMeans聚類算法13.3.1kMeans聚類算法簡介13.3.2基於MapReduce的kMeans算法的設計13.3.3基於MapReduce的kMeans算法的實現習題第五篇大數據平臺Hadoop實踐與應用案例第14章Hadoop大數據平臺實踐14.1Hadoop的安裝與配置14.1.1安裝Hadoop的準備工作14.1.2Linux虛擬機的安裝14.1.3安裝和配置JDK14.1.4下載安裝Hadoop14.1.5SSH免密登錄14.1.6虛擬機克隆14.1.7Hadoop運行14.1.8查看集群狀態 14.2Hadoop平臺基本操作14.2.1Hadoop啟動與關閉命令14.2.2Hadoop文件操作14.2.3Hadoop程序運行命令14.3Hadoop平臺程序開發過程14.3.1開發環境配置14.3.2程序開發流程習題第15章開敞式碼頭繫泊作業纜力預測應用案例15.1開敞式碼頭繫泊作業纜力預測背景描述15.1.1開敞式碼頭繫泊作業纜力背景描述15.1.2開敞式碼頭繫泊作業纜力預測背景15.2大數據繫泊纜力相似性查詢預測方法15.2.1模糊相似性查詢基本方法15.2.2繫泊纜力相似性查詢預測模型15.3相似性查詢預測方法MapReduce設計15.3.1相似性查詢預測方法Map設計15.3.2相似性查詢預測方法Reduce設計15.4相似性查詢預測方法MapReduce實現15.4.1繫泊纜力預測結果展示15.4.2繫泊纜力預測結果分析第16章曙光XData大數據平臺及應用案例16.1曙光XData大數據平臺簡介16.1.1曙光XData大數據平臺概述16.1.2曙光XData大數據平臺特點及應用16.2曙光大數據平臺架構及關鍵技術16.2.1曙光XData大數據平臺架構16.2.2曙光XData大數據平臺關鍵技術16.3曙光XData大數據平臺組件16.3.1曙光XData大數據集成與數據治理組件16.3.2曙光XData大數據存儲與數據計算組件16.3.3曙光XData大數據分析與數據智能組件16.3.4曙光XData大數據可視化分析組件16.3.5曙光XData大數據安全管控與管理運維組件16.4曙光XData大數據平臺操作實踐16.4.1曙光XData大數據平臺安裝與配置概述16.4.2曙光XData大數據平臺基本操作16.5基於曙光XData大數據平臺的智能交通應用案例16.5.1曙光XData智能交通應用項目背景16.5.2曙光XData智能交通應用方案設計16.5.3曙光XData智能交通功能實現及應用效果參考文獻

本書繫統介紹了大數據基礎知識和相關技術，全書分為大數據概述篇、大數據存儲與管理篇、大數據采集與預處理篇、大數據分析與挖掘篇、大數據平臺Hadoop實踐與案例分析篇。全書共15章，主要內容包括大數據基本概念、大數據存儲與管理概念及技術、大數據采集及預處理技術、大數據計算模式、大數據分布式並行處理框架Hadoop、大數據分布式文件繫統HDFS、大數據分布式數據庫繫統HBASE、大數據Hadoop平臺操作實踐及具體大數據預測應用案例分析。

宋旭東 主編 宋亮 王立娟 張鵬 副主編 著