前面幾篇文章對 Yarn 基本架構、程式基礎庫、應用設計方法等進行了介紹。之後幾篇將開始對 Yarn 核心組件進行剖析。 ResourceManager（RM）是 Yarn 的核心管理服務，負責集群管理、任務調度、狀態機管理等，本篇將對 RM 總體架構進行介紹。 ...
前面幾篇文章對 Yarn 基本架構、程式基礎庫、應用設計方法等進行了介紹。之後幾篇將開始對 Yarn 核心組件進行剖析。
ResourceManager（RM）是 Yarn 的核心管理服務，負責集群管理、任務調度、狀態機管理等，本篇將對 RM 總體架構進行介紹。
一、RM 基本職能
主要包含以下幾個功能：
- Client 交互：處理來自 Client 的請求；
- 管理 ApplicationMaster：啟動、管理、重啟等；
- 管理 Nodemanager：接收 NM 彙報的資源信息，並下達管理指令；
- 資源管理與調度：接收 AM 的資源請求，並分配資源。
如上圖所示，RM 中各組件通過對應 RPC 與各 Client 進行通信：
- ResourceTrackerProtocol: NodeManager（NM）通過該 RPC 協議向 RM 註冊、彙報節點健康狀況和 Container 運行狀態，並領取 RM 下達的命令。NM 與 RM 之間採用了「pull模型」，NM 總是周期性地主動向 RM 發起請求（心跳），並領取下達給自己的命令。
- ApplicationMasterProtocol: 應用程式的 ApplicationMaster 通過該 RPC 協議向 RM 註冊、申請資源和釋放資源。（AM 與 RM 交互參考上一篇文章「3-3 Yarn Application Master 編寫」）
- ApplicationClientProtocol: 應用程式的客戶端通過該 RPC 協議向 ResourceManager 提交應用程式、查詢應用程式狀態和控制應用程式（比如殺死應用程式）等。（AppClient 與 RM 交互參考文章「3-2 Yarn Client 編寫」
從以上介紹中可以看出，與 RM 通過 RPC 通信的組件都採用「Pull 模型」，各個「Client」通過心跳定期向 RM 彙報，在心跳返回值中領取 RM 下達的指令。
二、RM 內部架構
本節將深入 RM 內部，看其內部組織結構和主要模塊，架構圖如下所示：
一）用戶交互模塊
RM 分別針對普通用戶、管理員和 Web 提供了三種對外服務：
- ClientRMService: 為普通用戶提供的服務，它處理來自客戶端各種RPC請求，比如提交應用程式、終止應用程式、獲取應用程式運行狀態等；
- AdminService: RM 為管理員提供了一套獨立的服務介面，以防止管理員發送的管理命令餓死，管理員可通過這些介面管理集群，比如動態更新節點列表、更新ACL列表、更新隊列信息等；
- WebApp: 更加友好地展示集群資源使用情況和應用程式運行狀態等信息。
二） NM 管理模塊
- NMLivelinessMonitor: 監控 NM 是否活著，長時間（預設為10min）內未彙報心跳信息，則認為其掛了；
- NodesListManager: 維護正常節點和異常節點列表，管理exclude（類似於黑名單）和include（類似於白名單）節點列表，這兩個列表均是在配置文件中設置的，可以動態載入；
- ResourceTrackerService: 處理來自 NM 的請求，主要包括註冊和心跳兩種請求。
三） AM 管理模塊
- AMLivelinessMonitor: 監控AM是否活著，長時間未彙報心跳，它上面所有正在運行的 Container 將被置為失敗狀態，而 AM 本身會被重新分配到另外一個節點上執行（AM 重試次數預設是2）；
- ApplicationMasterLauncher: 與某個 NM 通信，要求它為某個應用程式啟動 ApplicationMaster；
- ApplicationMasterService（AMS）: 處理來自 AM 的請求，主要包括註冊和心跳兩種請求。其中心跳彙報信息包含所需資源描述、待釋放的Container列表、黑名單列表等，而 AMS 則為之返回相應的 Container 信息。
四） Application 管理模塊
- ApplicationACLsManage: 管理應用程式訪問許可權，包含兩部分許可權：查看許可權和修改許可權；
- RMAppManager: 管理應用程式的啟動和關閉；
- ContainerAllocationExpirer: 當 AM 收到 RM 新分配的一個 Container 後，必須在一定的時間內啟動該 Container，否則將被回收。
五）狀態機管理模塊
RM 共維護四類狀態機：
- RMApp: 維護一個 Application 的整個運行周期，可能會包括多次 Attempt；
- RMAppAttempt: 一個實例運行失敗後，可能再次啟動一個重新運行，而每次啟動稱為一次運行嘗試用 「RMAppAttempt」描述，RMAppAttempt 維護了一次運行嘗試的整個生命周期；
- RMContainer: 維護一個 Container 的運行周期。RM 將資源封裝成 Container 發送給應用程式的 AM，而AM 則會在 Container 中啟動任務；
- RMNode: 維護一個 NM 的生命周期，包括啟動到運行結束整個過程。
六）安全管理模塊
RM 有非常全面的許可權管理機制，主要包括：
- ClientToAMSecretManager
- ContainerTokenSecretManager
- ApplicationTokenSecretManager
七）資源分配模塊
該模塊主要涉及一個組件「ResourceScheduler」。其是資源調度器，按照一定的約束條件（比如隊列容量限制等）將集群中的資源分配給各個應用程式。
ResourceScheduler 是一個插拔式模塊，自帶三個調度器，用戶可以自己定製：
- FIFO：先進先出，單用戶
- Fair Scheduler:公平調度器(FairScheduler基本上具備其它兩種的所有功能)
- Capacity Scheduler:容量調度器
此部分將在後面文章中更詳細的介紹。
三、RM事件與事件處理器
Yarn採用了事件驅動機制，而RM是的實現則是最好的例證。所有服務和組件均是通過中央非同步調度器組織在一起的，不同組件之間通過事件交互，從而實現了一個非同步並行的高效系統。
下麵是詳細的表格：
四、小結
在 YARN 中，ResourceManager 負責集群中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源彙報信息，並把這些信息按照一定的策略分配給各個應用程式。
本篇對 ResourceManager 總體架構進行了介紹。對其基本職能、內部結構、處理的事件進行了梳理。後續文章中將會對每個部分深入源碼進行更深入討論。
參考文章：
《Hadoop 技術內幕 - 深入解析 Yarn 結構設計與實現原理》第五章
