YARN

来源:https://www.cnblogs.com/cjsblog/archive/2017/12/30/8150644.html
-Advertisement-
Play Games

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html Apache Hadoop YARN YARN的主要功能包括:資源管理和任務調度及監控,它們各自都是獨立的守護進程。要實現這個目標,必須有一個全局 ...


http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

Apache Hadoop YARN

YARN的主要功能包括:資源管理和任務調度及監控,它們各自都是獨立的守護進程。要實現這個目標,必須有一個全局的資源管理器和每個應用都有一個ApplicationMaster(AM)。應用可以是單個job,也可以是DAG jobs。

ResourceManager和NodeManager組成數據計算框架。ResourceManager對系統中所有應用的資源擁有最終仲裁權。NodeManager對容器負責,監控它們的資源使用情況,並且將其報告給ResourceManager。

每個應用都有一個ApplicationMaster,它負責向ResourceManager申請資源,並且和NodeManager一起指向和監控任務。

在這幅圖中,有兩個客戶端都提交了任務,可以看到NodeManager向ResourceManager報告,ApplicationMaster向Resource申請資源並且監控任務執行。

 

ResourceManager有兩個主要的組件:Scheduler和ApplicationManager

Scheduler負責分配資源

ApplicationManager負責接受提交的任務,並且分配第一個container為了執行特定的ApplicationMaster。每個應用的ApplicationMaster負責向Scheduler申請適量的資源,並且跟蹤資源的狀態和監控進度。

 

總結一下:

1、ResourceManager包括Scheduler和ApplicationManager

2、ResourceManager負責集群中所有應用的資源分配(資源包括記憶體、CPU、磁碟、網路等等)

3、Scheduler只是一個單純的調度器,負責給不同的應用分配資源

4、每個應用都有一個ApplicationMaster,它負責向ResourceManager申請資源,並且跟蹤資源的使用情況還有任務的執行情況

5、NodeManager負責運行並且管理本節點的容器(資源)。AppMaster指定容器來運行任務。(也就是說任務是在容器中運行的)

 

所以,任務的執行是這樣的:

1、客戶端提交任務到ResourceManager

2、ApplicationManager接收任務,並且指定一個NodeManager給它分配第一個資源(container)用戶執行ApplicationMaster

3、NodeManager啟動一個ApplicationMaster

4、AppicationMaster向ResourceManager申請資源(PS:其實是向Scheduler申請),並且監控資源的使用情況,監控任務的執行進度

5、任務開始執行

 

總的來說,AppMaster負責協調並監控資源,NodeManager負責管理本地資源,啟動/停止任務

 

參考

http://blog.csdn.net/liuwenbo0920/article/details/43304243

http://blog.csdn.net/paicMis/article/details/53890676

https://www.cnblogs.com/chushiyaoyue/p/5784871.html

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • python ./setup.py install --record install.txt cat install.txt | xargs rm -rf ...
  • 硬體:pixhawk 2.4.8 代碼:2017/12/30 PX4 firemare px4fmuv2 MCU: STM32F427VIT6, STN32F103C8T6. 感測器: MPU6000; L3GD20; LSM303D; MS5611, 省略了一個L3GD20焊盤. CAN口用的是M ...
  • fxml文件使用SceneBuilder打開報錯 解決方法:Window-->Preferences-->JavaFX-->browse 路徑是可執行的JavaFX Scene Builder文件,例如:C:\Program Files (x86)\Oracle\JavaFX Scene Build ...
  • 作者 彭東林 QQ 405728433 平臺 Linux-4.10.17 Qemu-2.8 + vexpress-a9 DDR:1GB 參考 Linux 虛擬記憶體和物理記憶體的理解 Linux進程分配記憶體的兩種方式--brk() 和mmap() Linux中的mmap的使用 程式(進程)記憶體分佈 解析 ...
  • 部署Flask項目到騰訊雲伺服器CentOS7 安裝git 安裝依賴包 支持SSL傳輸協議 解壓功能 C語言解析XML文檔的 安裝gdbm資料庫 實現自動補全功能 sqlite資料庫: 安裝python3.6 下載python 創建目錄 下載編譯python的c和c++: 配置: 編譯: 備份(重命 ...
  • 學習目標: -current_date 當前時間 TZ_OFFSET -current_timestamp 含小數秒當前時間 FROM_TZ -localtimestamp 含小數秒本地時間 TO_TIMESTAMP -dbtimezone 資料庫時區 TO_TIMSTAMP_TZ -session ...
  • 1、創建存儲過程 調用上述存儲過程(CALL語句調用一個先前用CREATE PROCEDURE創建的程式) 註意: 指定參數為IN, OUT, 或INOUT 只對PROCEDURE是合法的。(FUNCTION參數總是被認為是IN參數)指定參數為IN, OUT, 或INOUT 只對PROCEDURE是 ...
  • 真是醉了,最近筆記本壞了沒辦法,只好給自己的平板裝資料庫,而且平板沒有網線介面,只有用校園網下,500KB,很酸爽。。。 上午上了一下午,然後又解了個壓,解壓解了半小時,平板的配置是真的低。。。 又安裝了一下午,好不容易裝起來了,又發現唉,同志,恢複數據吧。。 實在很煩了,就休息了一下子,晚上8點才 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...