【深入淺出 Yarn 架構與實現】3-3 Yarn Application Master 編寫

来源:https://www.cnblogs.com/shuofxz/archive/2022/11/18/16904865.html
-Advertisement-
Play Games

本篇文章繼續介紹 Yarn Application 中 ApplicationMaster 部分的編寫方法。 一、Application Master 編寫方法 上一節講了 Client 提交任務給 RM 的全流程,RM 收到任務後,由 ApplicationsManager 向 NM 申請 Con ...


本篇文章繼續介紹 Yarn Application 中 ApplicationMaster 部分的編寫方法。

一、Application Master 編寫方法

上一節講了 Client 提交任務給 RM 的全流程,RM 收到任務後,由 ApplicationsManager 向 NM 申請 Container,並根據 Client 提供的 ContainerLaunchContext 啟動 ApplicationMaster
本篇代碼已上傳 Github:
Github - MyApplicationMaster

一)整體流程

1&2、啟動 NMClient 和 RMClient

在 AM 中需要分別啟動 NMClient 和 RMClient 進行通信。
兩個客戶端中都註冊了我們自定義的 eventHandler,將會在後面進行介紹。
在 amRMClient 中會定義 AM 向 RM 定時發送心跳的間隔。(在 RM 中會有心跳容忍時間,註意不要超過 RM 配置的時間)

// logInformation();
Configuration conf = new Configuration();

// 1 create amRMClient
// 第一個參數是心跳時間 ms
amRMClient = AMRMClientAsync.createAMRMClientAsync(1000, new RMCallbackHandler());
amRMClient.init(conf);
amRMClient.start();

// 2 Create nmClientAsync
amNMClient = new NMClientAsyncImpl(new NMCallbackHandler());
amNMClient.init(conf);
amNMClient.start();

3、向 RM 註冊 ApplicationMaster

// 3 register with RM and this will heart beating to RM
RegisterApplicationMasterResponse response = amRMClient
                .registerApplicationMaster(NetUtils.getHostname(), -1, "");

4、申請 Containers

首先需要從 response 中確認資源池剩餘資源,然後再根據需求申請 container

// 4 Request containers
response.getContainersFromPreviousAttempts();

// 4.1 check resource
long maxMem = response.getMaximumResourceCapability().getMemorySize();
int maxVCores = response.getMaximumResourceCapability().getVirtualCores();

// 4.2 request containers base on avail resource
for (int i = 0; i < numTotalContainers.get(); i++) {
    ContainerRequest containerAsk = new ContainerRequest(
            //100*10M + 1vcpu
            Resource.newInstance(100, 1), null, null,
            Priority.newInstance(0));
    amRMClient.addContainerRequest(containerAsk);
}

5、運行任務

將在 RMCallbackHandler 中的 onContainersAllocated 回調函數中處理,併在其中調用 NMCallbackHandler 的方法,執行對應的 task。
RMCallbackHandlerNMCallbackHandler將在後面進行詳細介紹。)

// RMCallbackHandler
public void onContainersAllocated(List<Container> containers) {
    for (Container c : containers) {
        log.info("Container Allocated, id = " + c.getId() + ", containerNode = " + c.getNodeId());
        // LaunchContainerTask 實現在下麵
        exeService.submit(new LaunchContainerTask(c));
    }
}

private class LaunchContainerTask implements Runnable {
    @Override
    public void run() {
        // ……
        // 發送事件交給 nm 處理
        amNMClient.startContainerAsync(container, ctx);
    }
}

6、結束任務

當全部子任務完成後,需要做收尾工作,將 amNMClientamRMClient 停止。

while(numTotalContainers.get() != numCompletedContainers.get()){
    try{
        Thread.sleep(1000);
        log.info("waitComplete" +
                ", numTotalContainers=" + numTotalContainers.get() +
                ", numCompletedConatiners=" + numCompletedContainers.get());
    } catch (InterruptedException ex){}
}
log.info("ShutDown exeService Start");
exeService.shutdown();
log.info("ShutDown exeService Complete");
amNMClient.stop();
log.info("amNMClient stop Complete");
amRMClient.unregisterApplicationMaster(FinalApplicationStatus.SUCCEEDED, "dummy Message", null);
log.info("unregisterApplicationMaster Complete");
amRMClient.stop();
log.info("amRMClient stop Complete");

二)NMClient 和 RMClient Callback Handler 編寫

1、RMCallbackHandler

本質是個 eventHandler,對事件庫不熟悉的同學可以翻之前的文章「2-3 Yarn 基礎庫 - 服務庫與事件庫」進行學習。
其會處理 Container 啟動、停止、更新等事件。
收到不同的事件時,會執行相應的回調函數。這裡僅給出兩個函數的實現。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我們是袋鼠雲數棧 UED 團隊,致力於打造優秀的一站式數據中台產品。我們始終保持工匠精神,探索前端道路,為社區積累並傳播經驗價值。 本文作者:琉易 https://liuxianyu.cn 本次分享基於『袋鼠雲數棧UED團隊』新發佈的 UED Landing 頁 實踐得來,UED Landing 頁 ...
  • 提到緩存,作為服務端的開發人員並不陌生,無論是本地緩存還是分散式緩存,其目的都是為了提高系統響應速度的同時減輕資料庫的查詢壓力;在緩存開發中有個問題必需要解決,那就是“緩存一致性問題”! 緩存一致性 軟體開發中的緩存一致性是指緩存中的數據要和資料庫(或者數據提供方)的數據保持一致 關於緩存 我們必需 ...
  • 設計模式 設計模式這一概念最早起源於建築領域,是Christopher Alexander在其著作《建築模式語言》中首次提及, 而後經過歲月的洗禮與沉澱,由我們的前輩們引入到軟體設計領域, 其作為一種設計問題的思想,經過眾多軟體開發前輩們經過反覆的實踐和踩坑之後得到的經驗,逐漸趨於成熟和完善。應用這 ...
  • 5.6 介面開發-根據文件id打包下載附件 第2-1-2章 傳統方式安裝FastDFS-附FastDFS常用命令 第2-1-3章 docker-compose安裝FastDFS,實現文件存儲服務 第2-1-5章 docker安裝MinIO實現文件存儲服務-springboot整合minio-mini ...
  • web工程路徑 配置tomcat運行快捷鍵 tomcat啟動的預設快捷鍵時shift+f10,可以自定義配置:file-setting-keymap-搜索run,找到右邊寫有shift+f10的選項,右擊選擇add keyboard shortcut 直接按下自定義快捷鍵,會自動識別 如果自定義快捷 ...
  • 同步與非同步 用來表達任務的提交方式 同步: 提交完任務之後原地等待任務的返回結果 期間不做任何事 非同步: 提交完任務之後不願地等待任務的返回結果 直接去做其他事 有結果自動通知 阻塞與非阻塞 用來表達任務的執行狀態 阻塞 程式處於阻塞態 非阻塞 程式處於就緒態、運行態 綜合使用 同步阻塞 提交任務之 ...
  • JSP頁面的基本結構 在傳統的html頁面文件中加入Java程式片和JSP標記就構成了一個JSP頁面,一個JSP頁面可由5種元素構成: 普通的HTML標記和JavaScript標記 JSP標記,如指令標記、動作標記 變數和方法的聲明 Java程式片 Java表達式 執行過程 當Tomcat伺服器上的 ...
  • 🏵️前言 以下我要講解的是Python中一些重要的內置函數,其中比較重要的會詳細講解,比較簡單的會直接結合代碼進行剖析 🍁一、globals()和locals()內置函數 基於字典的形式獲取局部變數和全局變數 globals()——獲取全局變數的字典 locals()——獲取執行本方法所在命名空 ...
一周排行
    -Advertisement-
    Play Games
  • PasteSpider是什麼? 一款使用.net編寫的開源的Linux容器部署助手,支持一鍵發佈,平滑升級,自動伸縮, Key-Value配置,項目網關,環境隔離,運行報表,差量升級,私有倉庫,集群部署,版本管理等! 30分鐘上手,讓開發也可以很容易的學會在linux上部署你得項目! [從需求角度介 ...
  • SQLSugar是什麼 **1. 輕量級ORM框架,專為.NET CORE開發人員設計,它提供了簡單、高效的方式來處理資料庫操作,使開發人員能夠更輕鬆地與資料庫進行交互 2. 簡化資料庫操作和數據訪問,允許開發人員在C#代碼中直接操作資料庫,而不需要編寫複雜的SQL語句 3. 支持多種資料庫,包括但 ...
  • 在C#中,經常會有一些耗時較長的CPU密集型運算,因為如果直接在UI線程執行這樣的運算就會出現UI不響應的問題。解決這類問題的主要途徑是使用多線程,啟動一個後臺線程,把運算操作放在這個後臺線程中完成。但是原生介面的線程操作有一些難度,如果要更進一步的去完成線程間的通訊就會難上加難。 因此,.NET類 ...
  • 一:背景 1. 講故事 前些天有位朋友在微信上丟了一個崩潰的dump給我,讓我幫忙看下為什麼出現了崩潰,在 Windows 的事件查看器上顯示的是經典的 訪問違例 ,即 c0000005 錯誤碼,不管怎麼說有dump就可以上windbg開幹了。 二:WinDbg 分析 1. 程式為誰崩潰了 在 Wi ...
  • CSharpe中的IO+NPOI+序列化 文件文件夾操作 學習一下常見的文件、文件夾的操作。 什麼是IO流? I:就是input O:就是output,故稱:輸入輸出流 將數據讀入記憶體或者記憶體輸出的過程。 常見的IO流操作,一般說的是[記憶體]與[磁碟]之間的輸入輸出。 作用 持久化數據,保證數據不再 ...
  • C#.NET與JAVA互通之MD5哈希V2024 配套視頻: 要點: 1.計算MD5時,SDK自帶的計算哈希(ComputeHash)方法,輸入輸出參數都是byte數組。就涉及到字元串轉byte數組轉換時,編碼選擇的問題。 2.輸入參數,字元串轉byte數組時,編碼雙方要統一,一般為:UTF-8。 ...
  • CodeWF.EventBus,一款靈活的事件匯流排庫,實現模塊間解耦通信。支持多種.NET項目類型,如WPF、WinForms、ASP.NET Core等。採用簡潔設計,輕鬆實現事件的發佈與訂閱。通過有序的消息處理,確保事件得到妥善處理。簡化您的代碼,提升系統可維護性。 ...
  • 一、基本的.NET框架概念 .NET框架是一個由微軟開發的軟體開發平臺,它提供了一個運行時環境(CLR - Common Language Runtime)和一套豐富的類庫(FCL - Framework Class Library)。CLR負責管理代碼的執行,而FCL則提供了大量預先編寫好的代碼, ...
  • 本章將和大家分享在ASP.NET Core中如何使用高級客戶端NEST來操作我們的Elasticsearch。 NEST是一個高級別的Elasticsearch .NET客戶端,它仍然非常接近原始Elasticsearch API的映射。所有的請求和響應都是通過類型來暴露的,這使得它非常適合快速上手 ...
  • 參考delphi的代碼更改為C# Delphi 檢測密碼強度 規則(仿 google) 仿 google 評分規則 一、密碼長度: 5 分: 小於等於 4 個字元 10 分: 5 到 7 字元 25 分: 大於等於 8 個字元 二、字母: 0 分: 沒有字母 10 分: 全都是小(大)寫字母 20 ...