一.什麼是hadoop？

1.Hadoop是Apache旗下的一套開源軟體平臺，是用來分析和處理大數據的軟體平臺。

2.Hadoop提供的功能：利用伺服器集群，根據用戶的自定義業務邏輯， 對海量數據進行分散式處理。
3.Hadoop的核心組件：由底層往上分別是 HDFS、Yarn、MapReduce。
4.廣義上來說，Hadoop通常指的是指一個更廣泛的概念->Hadoop生態 圈。
5.雲計算是分散式計算、並行計算、網格計算、多核計算、網路存儲、虛 擬化、負載均衡等傳統電腦技術和互聯網技術融合發展的產物。藉助 IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS（軟體即服務）等業 務模式，把強大的計算能力提供給終端用戶。
6.現階段，雲計算的兩大底層支撐技術為虛擬化和大數據技術。
7.HADOOP則是雲計算的PaaS層的解決方案之一，並不等同於PaaS，更 不等同於雲計算本身。
8.HADOOP應用於數據服務基礎平臺建設。
9.HADOOP用於用戶畫像。
10.HADOOP用於網站點擊流日誌數據挖掘

二.Hadoop的生態圈和核心組件

核心組件：HDFS（分散式文件系統）、YARN（集群資源管理系統）、MapReduce(分散式計算框架)

1.HDFS: 分散式文件存儲系統(Hadoop Distributed File System)

HDFS是塊級別的分散式文件存儲系統。是hadoop中數據存儲管理的基礎,具有高度容錯性，能檢測和應對硬體故障。

包含四個部分：HDFS Client、NameCode(nn)、DataNode(dn)、Secondary NameCode(2nn)

NameCode(nn)：元數據節點，存儲文件的元數據。如文件名、文件目錄結構，文件屬性（生成時間、副本數、文件許可權），以及每個文件的塊列表和塊所在得到DataNode等；管理HDFS的名稱空間和數據塊映射信息，配置副本策略，處理客戶端請求；

它是描述數據的數據，相當於圖書館的檢索系統。

DataNode(dn)：數據節點，在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

存儲實際的數據，彙報存儲信息給namenode，相當於書櫃。

Secondary NameCode(2nn)：用來監控HDFS狀態的輔助後臺程式，每隔一段時間獲取HDFS元數據的快照。輔助namenode，分擔其工作量：定期合併fsimage和fsedits，推送給namenode

2. Yarn：分散式資源管理器 (Yet Another Resource Negotiator，另一種資源協調者)

Yarn顧名思義 管理資源的 那麼具有足夠的通用性，可以支持其他的分散式計算模式。

Yarn還能很方便的管理諸如Hive、Hbase、Pig、Spark/Shark等應用。

Yarn可以使各種應用互不幹擾的運行在同一個Hadoop系統中，實現整個集群資源的共用。

包含兩個進程：Nodemanager,ResourceManager

3. MapReduce：分散式計算框架

mapreduce是一種採用分而治之的分散式計算框架，用於處理數據量大的計算。

如一複雜的計算任務，單台伺服器無法勝任時，可將此大任務切分成一個個小的任務，小任務分別在不同的伺服器上並行的執行；最終再彙總每個小任務的結果

MapReduce由兩個階段組成：

　　Map階段（切分成一個個小的任務）

　　Reduce階段（彙總小任務的結果）

用戶只需實現map()和reduce()兩個函數，即可實現分散式計算

執行流程圖如下：

jobtracker

master節點，只有一個，管理所有作業，任務/作業的監控，錯誤處理等，將任務分解成一系列任務，並分派給tasktracker。

tacktracker

slave節點，運行 map task和reducetask；並與jobtracker交互，彙報任務狀態。

map task

解析每條數據記錄，傳遞給用戶編寫的map（）並執行，將輸出結果寫入到本地磁碟（如果為map—only作業，則直接寫入HDFS）。

reduce task

從map 它深刻地執行結果中，遠程讀取輸入數據，對數據進行排序，將數據分組傳遞給用戶編寫的reduce函數執行

原理圖如下：

總體來說：是個總分總的結構，先分解成多個小任務，在map階段處理完成後，彙總成少數個小任務server在Reduce階段處理進行排序 分組等操作。

Map階段解說：先把一個大任務分解split成多個小任務

(1) 讀取HDFS中的文件。每一行解析成一個<k,v>。每一個鍵值對調用一次map函數。<0,hello you> <1,hello me>

(2)覆蓋map()，接收(1)產生的<k,v>，進行處理，轉換為新的<k,v>輸出。 　<hello,1> <you,1> <hello,1> <me,1>

(3)對(2)輸出的<k,v>進行分區。預設分為一個區。

(4)對不同分區中的數據進行排序（按照k）、分組。分組指的是相同key的value放到一個集合中。　排序後：<hello,1> <hello,1> <me,1> <you,1> 分組後：<hello,{1,1}><me,{1}><you,{1}>

(5)（可選）對分組後的數據進行歸約。

Rduce階段解說：把map階段的結果進行彙總

（1）多個map任務的輸出，按照不同的分區，通過網路copy到不同的reduce節點上。
（2）對多個map的輸出進行合併、排序。覆蓋reduce函數，接收的是分組後的數據，實現自己的業務邏輯，<hello,2> <me,1> <you,1> 處理後，產生新的<k,v>輸出。
（3）對reduce輸出的<k,v>寫到HDFS中。

參考文獻：

https://www.jianshu.com/p/f1e785fffd4d,

https://blog.csdn.net/qq_39783601/article/details/104928348，

https://blog.csdn.net/zcb_data/article/details/80402411,

https://www.cnblogs.com/ahu-lichang/p/6645074.html.