本篇將對 RM 中管理 Application Master 的部分進行深入的講解。 下麵將會介紹 RM 與 AM 整體通信執行流程，並對 RM 中涉及的對應服務進行具體講解。 為了更好的學習本篇知識，建議先熟悉以下知識點，不瞭解的部分可翻到前面對應的文章進行學習： ...
上一篇文章對 ResourceManager 整體架構和功能進行了講述。本篇將對 RM 中管理 Application Master 的部分進行深入的講解。
下麵將會介紹 RM 與 AM 整體通信執行流程，並對 RM 中涉及的對應服務進行具體講解。
為了更好的學習本篇知識，建議先熟悉以下知識點，不瞭解的部分可翻到前面對應的文章進行學習：
- RPC（2-2 Yarn 基礎庫 - 底層通信庫 RPC）
- 事件處理器（2-3 Yarn 基礎庫 - 服務庫與事件庫）
- AM 程式執行流程（3-3 Yarn Application Master 編寫）
一、AM 執行流程
客戶端提交任務到 RM 後，啟動 AM 到任務完成的流程如下所示：
各個步驟具體執行操作請對應下麵各服務講解。
二、AM 管理主要組成
ApplictionMaster 管理部分主要由三個服務構成，它們共同管理應用程式的 AM 的生存周期。
（以下服務均能根據名稱找到源碼中對應的類，可以看其具體的實現邏輯）
一）ApplicationMasterLauncher
- 「服務&事件處理器」處理 AM 的 LAUNCH 和 CLEANUP 事件
- 從源碼中可以看到：EventHandler 的
handle方法收到 AM 事件後創建 Runnable 對象，之後會放到masterEvents阻塞隊列中，launcherHandlingThread不斷從隊列中取出事件，提交到線程池launcherPool中處理。（流程圖如下所示）
二）AMLivelinessMonitor
- 檢查服務活性（是否有心跳）
- 繼承自抽象類
AbstractLivelinessMonitor，在抽象類中已經實現好 live 檢查邏輯，在一段時間內未彙報心跳信息，則任務其掛了。AMLivelinessMonitor只需定義當 AM 被認為掛了（expire）時，需要處理的邏輯。 - 當失敗時會發一個
RMAppAttemptEventEXPIRE 事件。
抽象類 AbstractLivelinessMonitor 簡要介紹：
public abstract class AbstractLivelinessMonitor<O> extends AbstractService {
// 裡面最重要的檢查函數
// 定期遍歷記錄的 list，看是否有超時的
// 檢查周期預設為超時時間的 1/3
private class PingChecker implements Runnable {
@Override
public void run() {
while (!stopped && !Thread.currentThread().isInterrupted()) {
synchronized (AbstractLivelinessMonitor.this) {
Iterator<Map.Entry<O, Long>> iterator =
running.entrySet().iterator();
//avoid calculating current time everytime in loop
long currentTime = clock.getTime();
while (iterator.hasNext()) {
Map.Entry<O, Long> entry = iterator.next();
if (currentTime > entry.getValue() + expireInterval) {
iterator.remove();
expire(entry.getKey());
LOG.info("Expired:" + entry.getKey().toString() +
" Timed out after " + expireInterval/1000 + " secs");
}
}
}
try {
Thread.sleep(monitorInterval);
} catch (InterruptedException e) {
LOG.info(getName() + " thread interrupted");
break;
}
}
}
}
三）ApplicationMasterService
- 是 RM RPC 服務端
ApplicationMasterProtocol的實現類。 - 接收處理來自 AM 的請求：主要包括註冊、心跳、清理三類。
- 心跳通過
ApplicationMasterProtocol#allocate方法定期調用實現，主要作用：- 請求資源
- 獲取新分配的資源
- 定期告訴 RM 其還活著（心跳）
三、小結
本篇主要介紹了 RM 中對 AM 的管理部分。首先介紹了 RM 相關組件與 AM 交互流程，之後對各服務執行邏輯、RPC 調用等進行了詳細的介紹。本篇中僅對 ApplicationMasterLauncher 組件進行了詳細講解，並繪圖說明，其餘部分各位同學感興趣可自行梳理。
在學習這部分知識時，建議對照源碼進行梳理，可以更好的瞭解其中的流程。
