YARN也採用了Master/Slave結構，其中，Master實現為ResourceManager，負責整個集群資源的管理與調度；Slave實現為NodeManager，負責單個節點的資源管理與任務啟動 ResourceManager是整個YARN集群中最重要的組件之一，它的設計直接決定了系統的可 ...
YARN也採用了Master/Slave結構，其中，Master實現為ResourceManager，負責整個集群資源的管理與調度；Slave實現為NodeManager，負責單個節點的資源管理與任務啟動 ResourceManager是整個YARN集群中最重要的組件之一，它的設計直接決定了系統的可擴展性、可用性和容錯性等特點，它的功能較多，包括ApplicationMaster管理（啟動、停止等）、NodeManager管理、Application管理、狀態機管理等
ResourceManager負責集群中所有資源的統一管理和分配，它接收來自各個節點的資源彙報信息，並把這些信息按照一定的策略分配給各個應用程式 ResourceManager基本職能 ResourceManager需通過兩個RPC協議與NodeManager和AppMaster交互,具體如下 :
- ResourceTracker : NodeManager通過該RPC協議向ResourceManager註冊、彙報節點健康狀況和Container運行狀態，並領取ResourceManager下達的命令，這些命令包括重新初始化、清理Container等，在該RPC協議中，ResourceManager扮演RPCServer的角色，而NodeManager扮演RPCClient的角色，換句話說，NodeManager與ResourceManager之間採用了“pull模型”,NodeManager總是周期性地主動向ResourceManager發起請求,並通過領取下達給自己的命令
- ApplicationMasterProtocol ：應用程式的ApplicationMaster通過該RPC協議向ResourceManager註冊、申請資源和釋放資源。在該協議中，ApplicationMaster扮演RPC Client的角色，而ResourceManager扮演RPC Server的角色，換句話說，ResourceManager與ApplicationMaster之間採用了“pull模型”
- ApplicationClientProtocol ：應用程式的客戶端通過該RPC協議向ResouceManager提交應用程式、查詢應用程式狀態和控制應用程式等。在該協議中，應用程式客戶端扮演RPC Client的角色，而ResourceManager扮演RPC Server的角色
- 與客戶端交互，處理來自客戶端的請求
- 啟動和管理AppicationMaster，併在它運行失敗時重新啟動它
- 管理NodeManager，接收來自NodeManager的資源彙報信息，並向NodeManager下達管理指令
- 資源管理與調度，接收來自AppMaster的資源申請請求，併為之分配資源
- 用戶交互模塊。ResourceManager分別針對普通用戶、管理員和Web提供了三種對外服務，具體實現分別對應ClientRMService、AdminService和WebApp
- ClientRMService。ClientRMService是為普通用戶提供的服務，它處理來自客戶端各種RPC請求，比如提交應用程式、終止應用程式、獲取應用程式運行狀態等
- AdminService。ResourceManager為管理員提供了一套獨立的服務介面，以防止大量的普通用戶請求使管理員發送的管理命令餓死，管理員可通過這些介面管理集群，比如動態更新節點列表、更新ACL列表、更新隊列信息等
- WebApp。為了更加友好地展示集群資源使用情況和應用程式運行狀態等信息，YARN對外提供了一個WEB界面，這一部分是YARN仿照Haml開發的一個輕量級嵌入式Web框架
- NM管理模塊。該模塊主要涉及以下組件 ：
- NMLivelinessMonitor。監控NM是否活著，如果一個NodeManager在一定時間內未彙報心跳信息，則認為它死掉了，需將其從集群中移除
- NodesListManager。維護正常節點和異常節點列表，管理exclude(類似於黑名單)和include(類似於白名單)節點列表，這兩個列表均是在配置文件中設置的，可以動態載入
- ResourceTrackerService。處理來自NodeManager的請求，主要包括註冊和心跳兩種請求，其中，註冊時NodeManager啟動時發生的行為，請求包中包含節點ID、可用的資源上限等信息；而心跳時周期性行為，包含各個Container運行狀態，運行的Application列表、節點資源狀況等信息，作為請求的應答，ResourceTrackerService可為NodeManager返回待釋放的Container列表、Application列表等信息
- AM管理模塊。該模塊主要涉及以下組件 ：
- AMLivelinessMonitor。監控AM是否活著，如果一個ApplicationMaster在一定時間內未彙報心跳信息，則認為它死掉了，它上面所有正在運行的Container將被置為失敗狀態，而AM本身會被重新分配到另外一個節點上執行
- ApplicationMasterLauncher。與某個NodeManager通信，要求它為某個應用程式啟動ApplicationMaster
- ApplicationMasterService。處理來自ApplicationMaster的請求，主要包括註冊和心跳兩種請求，其中，註冊是ApplicationMaster啟動時發生的行為，註冊請求包中包含ApplicationMaster啟動節點；對外RPC埠號和trackingURL等信息；而心跳而是周期性行為，彙報信息包含所需資源描述、待釋放的Container列表、黑名單列表等，而AMS則為之返回新分配的Container、失敗的Container、待搶占的Container列表等信息
- Application管理模塊。該模塊主要涉及以下組件 ：
- ApplicationACLsManager。管理應用程式訪問許可權，包含兩部分許可權 ：查看許可權和修改許可權。查看許可權主要用於查看應用程式基本信息，而修改許可權則主要用於修改應用程式優先順序、殺死應用程式等
- RMAppManager。管理應用程式的啟動和關閉
- ContainerAllocationExpirer。當AM收到RM新分配的一個Container後，必須在一定的時間內在對應的NM上啟動該Container，否則RM將強制回收該Container，而一個已經分配的Container是否該被回收則是由ContainerAllocationExpirer決定和執行的
- 狀態機管理模塊。ResourceManager使用有限狀態機維護有狀態對象的生命周期，狀態機的引入使得YARN設計架構更加清晰。ResourceManager共維護了四類狀態機，分別是RMApp、RMAppAttempt、RMContainer和RMNode
- RMApp。RMApp維護了一個應用程式的整個運行周期，包括從啟動到運行結束整個過程。由於一個Application的生命周期可能會啟動多個Application運行實例，因此可認為，RMApp維護的是同一個Application啟動的所有運行實例的生命周期
- RMAppAttempt。一個應用程式可能啟動多個實例，即一個實例運行失敗後，可能再次啟動一個重新運行，而每次啟動稱為一個運行嘗試，用“RMAppAttempt”描述，RMAppAttempt維護了一次運行嘗試的整個生命周期
- RMContainer。RMContainer維護了一個Container的運行周期，包括從創建到運行結束整個過程。RM將資源封裝成Container發送給應用程式的ApplicationMaster，而ApplicationMaster則會在Container描述的運行環境中啟動任務，因此，從這個層面上講，Container和任務的生命周期是一致的
- RMNode。RMNode維護了一個NodeManager的生命周期，包括啟動到運行結束整個過程
- 安全管理模塊。ResourceManager自帶了非常全面的許可權管理機制，主要由ClientTOAMSecretManager、ContainerTokenSecretManager、ApplicationTokenSecretManager等模塊完成
- 資源分配模塊。該模塊主要涉及一個組件 -- ResourceScheduler。ResourceScheduler是資源調度器，它按照一定的約束條件將集群中的資源分配給各個應用程式，當前主要考慮記憶體和CPU資源。ResourceScheduler是一個插拔式模塊，YARN自帶了一個批處理資源調度器 -- FIFO和兩個多用戶調度器 -- Fair Scheduler和Capacity Scheduler
我每天會寫文章記錄大數據技術學習之路,另外我自己整理了些大數據的學習資料,目前全部放在我的公眾號"SmallBird技術分享",加入我們一起學習交流,並且回覆'分享'會有大數據資源驚喜等著你~
