MapReduce計算流程 MapReduce計算流程 1 首先是通過程式員所編寫的MR程式通過命令行本地提交或者IDE遠程提交 2 一個MR程式就是一個Job,Job信息會給Resourcemanger,向Resourcemanger註冊信息 3 在註冊通過後,Job會拷貝相關的資源信息(從HDF ...
-
MapReduce計算流程
2 一個MR程式就是一個Job,Job信息會給Resourcemanger,向Resourcemanger註冊信息
-
3 在註冊通過後,Job會拷貝相關的資源信息(從HDFS中)
4 緊接著會向Resourcemanger提交完整的Job信息(包括資源信息)
5a Resourcemanger 會通過提交的Job信息,計算出Job所需的資源,為Job分配Container資源
5b 計算資源會分發給對應的NodeManger,NodeManager會創建一個MRAppMaster
6 MRAppMaster初始化Job
7 獲取輸入切片信息
8 MRAppMaster向ResourceManager 請求資源
9a 啟動計算資源(連接到對應的資源所在NodeManager)
9b 啟動YARN Child
10 從文件系統中獲取完整的Job信息
11 啟動對應的Maptask或者ReduceTask 進程,執行計算。