如何用形象的比喻描述大數據的技術生態？Hadoop、Hive、Spark 之間是什麼關係？對於大部分人來說都是傻傻分不清楚。 今年來大數據、人工智慧獲得了IT界大量的關註。如果一個企業不玩大數據，都不好意思說自己是在IT圈混的。我敢打賭，你在中關村西二旗地鐵站溜一圈，保準你會聽到如下名詞：Had ...
如何用形象的比喻描述大數據的技術生態？Hadoop、Hive、Spark 之間是什麼關係？對於大部分人來說都是傻傻分不清楚。
今年來大數據、人工智慧獲得了IT界大量的關註。如果一個企業不玩大數據，都不好意思說自己是在IT圈混的。我敢打賭，你在中關村西二旗地鐵站溜一圈，保準你會聽到如下名詞：Hadoop、Spark、MapReduce、NoSQL、離線計算、實時計算、實時推送等等一大串名稱。
程式猿們就是有這麼實在，坐在地鐵上還能那麼投入的討論技術問題。那麼，這些聽起來高大上的技術，究竟都是乾什麼用的呢？他們之間的有什麼區別和聯繫？
通常，一個技術的興起，都是由現實需求驅動的。瞭解了我們面臨的問題，就能更好的理解各個大數據技術的使用場景，各類大數據技術的區別也就顯而易見了。
今天這一份書單，我們就將從Hadoop生態圈開始入手，推薦幾本關於Hadoop生態圈的優質書籍！
Hadoop技術棧系列書單
Hadoop權威指南：大數據的存儲與分析(第4版)
本書結合理論和實踐，由淺入深，全方位介紹了Hadoop這一高性能的海量數據處理和分析平臺。
全書5部分24章，第Ⅰ部分介紹Hadoop基礎知識，主題涉及Hadoop、MapReduce、Hadoop分散式文件系統、YARN、Hadoop的I/O操作。第Ⅱ部分介紹MapReduce,主題包括MapReduce應用開發；MapReduce的工作機制、MapReduce的類型與格式、MapReduce的特性。第Ⅲ部分介紹Hadoop的運維，主題涉及構建Hadoop集群、管理Hadoop。第Ⅳ部分介紹Hadoop相關開源項目，主題涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三個案例，分別來自醫療衛生信息技術服務商塞納(Cerner)、微軟的人工智慧項目ADAM(一種大規模分散式深度學習框架)和開源項目Cascading(一個新的針對MapReduce的數據處理API)。
本書是一本專業、全面的Hadoop參考書和工具書，闡述了Hadoop生態圈的新發展和應用，程式員可以從中探索海量數據集的存儲和分析，管理員可以從中瞭解Hadoop集群的安裝和運維。
作者簡介
TomWhite是傑出的Hadoop專家之一。自2007年2月以來，TomWhite一直是ApacheHadoop的提交者(committer)，也是Apache軟體基金會的成員。Tom是Cloudera的軟體工程師，他是Cloudera的首批員工，對Apache和Cloudera做出了舉足輕重的貢獻。
譯者簡介
王海博士，解放軍理工大學通信工程學院教授，博導，教研中心主任，長期從事無線自組網網路的設計與研發工作，主持國家自然科學基金、國家863計劃課題等多項課題，近5年獲軍隊科技進步二等獎1項，三等獎6項，作為di一發明人申請國家發明專利十餘項，發表學術論文50餘篇。
劉喻博士，長期從事軟體開發、軟體測試和軟體工程化管理工作，目前任教於清華大學軟體所。
呂粵海，長期從事軍事通信網路技術研究與軟體開發工作，先後通過華為光網路高級工程師認證、思科網路工程師認證。
深度剖析Hadoop HDFS
本書基於Hadoop 2.7.1版本進行分析，全面描述了HDFS 2.X的核心技術與解決方案，書中描述了HDFS記憶體存儲、異構存儲等幾大核心設計，包括源碼細節層面的分析，對於HDFS中比較特殊的幾個場景過程也做了細粒度的分析。
閱讀本書可以幫助讀者從架構設計與功能實現角度瞭解HDFS 2.X，同時還能學習HDFS 2.X框架中優秀的設計思想、設計模式、Java語言技巧等。這些對於讀者全面提高自己分散式技術水平有很大的幫助。
本書分為三大部分：核心設計篇、細節實現篇、解決方案篇，“核心設計篇”包括HDFS的數據存儲原理、HDFS的數據管理與策略選擇機制、HDFS的新穎功能特性；“細節實現篇”包括HDFS的塊處理、流量處理等細節，以及部分結構分析；“解決方案篇”包括HDFS的數據管理、HDFS的數據讀寫、HDFS的異常場景等。本書適合於雲計算相關領域研發人員、雲計算相關運維工程師、高年級研究生或本科、熱衷於分散式計算研究的人。
作者簡介
林意群，唯品會上海研發中心數據應用部研發工程師，Apache Hadoop Committer，主要專註於HDFS模塊的研究。對大數據處理、分散式計算興趣濃厚，在實際工作中努力鑽研，分享了大量技術文章，貢獻了很多實踐經驗。
HBase不睡覺書
HBase是Apache旗下一個高可靠性、高性能、面向列、可伸縮的分散式存儲系統。利用HBase技術可在廉價的PC伺服器上搭建大規模的存儲化集群，使用HBase可以對數十億級別的大數據進行實時性的高性能讀寫，在滿足高性能的同時還保證了數據存取的原子性。
本書共分為9章，由淺入深地講解HBase概念、安裝、配置、部署，讓讀者對HBase先有一個感性認識，再從應用角度介紹了高級用法、監控和性能調優。既兼顧了初學者，也適用於想要深入學習HBase的讀者。
本書適合於以前沒有接觸過HBase，或者瞭解HBase，並希望能夠深入掌握的讀者，適合HBase應用開發人員和系統管理人員學習使用。
作者簡介
楊曦，就職於矽谷某上市公司，對大數據、雲計算等技術有較深研究以及豐富的項目實踐經驗。熱衷編寫開源項目、撰寫技術博客以及折騰各種技術項目。
Hive實戰
Hive“出身名門”，是最初由Facebook公司開發的數據倉庫工具。它簡單且容易上手，是深入學習Hadoop技術的一個很好的切入點。
本書由資料庫專家和大數據專家共同撰寫，具體內容包括：Hive的安裝和配置，其核心組件和架構，Hive數據操作語言，如何載入、查詢和分析數據，Hive的性能調優以及安全性，等等。本書旨在為讀者打牢基礎，從而踏上專業的大數據處理之旅。
作者簡介
斯科特·肖（Scott Shaw）
Hortonworks公司解決方案工程師，曾為微軟公司的商業智能項目擔任顧問，擁有近20年的數據管理經驗。作為演講者和培訓師，他致力於普及分散式計算、大數據概念、商業智能、Hive和Hadoop。
安德烈亞斯·弗朗索瓦·弗穆爾恩（Andreas Fran?ois Vermeulen）
集數據科學家、數據倉庫架構師、博士研究員、企業顧問等角色於一身，曾獲“英國數據科學技術先鋒”稱號，廣泛涉足數據工程、商業智能、雲架構、深度學習等多個領域。
安庫爾·古普塔（Ankur Gupta）
Hortonworks公司解決方案工程師，曾在Oracle公司擔任顧問，有多年從事數據架構師和Oracle資料庫管理員的經驗，著有Oracle GoldenGate 11g Complete Cookbook。
