YARN

来源:https://www.cnblogs.com/cjsblog/archive/2017/12/30/8150644.html
-Advertisement-
Play Games

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html Apache Hadoop YARN YARN的主要功能包括:資源管理和任務調度及監控,它們各自都是獨立的守護進程。要實現這個目標,必須有一個全局 ...


http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

Apache Hadoop YARN

YARN的主要功能包括:資源管理和任務調度及監控,它們各自都是獨立的守護進程。要實現這個目標,必須有一個全局的資源管理器和每個應用都有一個ApplicationMaster(AM)。應用可以是單個job,也可以是DAG jobs。

ResourceManager和NodeManager組成數據計算框架。ResourceManager對系統中所有應用的資源擁有最終仲裁權。NodeManager對容器負責,監控它們的資源使用情況,並且將其報告給ResourceManager。

每個應用都有一個ApplicationMaster,它負責向ResourceManager申請資源,並且和NodeManager一起指向和監控任務。

在這幅圖中,有兩個客戶端都提交了任務,可以看到NodeManager向ResourceManager報告,ApplicationMaster向Resource申請資源並且監控任務執行。

 

ResourceManager有兩個主要的組件:Scheduler和ApplicationManager

Scheduler負責分配資源

ApplicationManager負責接受提交的任務,並且分配第一個container為了執行特定的ApplicationMaster。每個應用的ApplicationMaster負責向Scheduler申請適量的資源,並且跟蹤資源的狀態和監控進度。

 

總結一下:

1、ResourceManager包括Scheduler和ApplicationManager

2、ResourceManager負責集群中所有應用的資源分配(資源包括記憶體、CPU、磁碟、網路等等)

3、Scheduler只是一個單純的調度器,負責給不同的應用分配資源

4、每個應用都有一個ApplicationMaster,它負責向ResourceManager申請資源,並且跟蹤資源的使用情況還有任務的執行情況

5、NodeManager負責運行並且管理本節點的容器(資源)。AppMaster指定容器來運行任務。(也就是說任務是在容器中運行的)

 

所以,任務的執行是這樣的:

1、客戶端提交任務到ResourceManager

2、ApplicationManager接收任務,並且指定一個NodeManager給它分配第一個資源(container)用戶執行ApplicationMaster

3、NodeManager啟動一個ApplicationMaster

4、AppicationMaster向ResourceManager申請資源(PS:其實是向Scheduler申請),並且監控資源的使用情況,監控任務的執行進度

5、任務開始執行

 

總的來說,AppMaster負責協調並監控資源,NodeManager負責管理本地資源,啟動/停止任務

 

參考

http://blog.csdn.net/liuwenbo0920/article/details/43304243

http://blog.csdn.net/paicMis/article/details/53890676

https://www.cnblogs.com/chushiyaoyue/p/5784871.html

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • python ./setup.py install --record install.txt cat install.txt | xargs rm -rf ...
  • 硬體:pixhawk 2.4.8 代碼:2017/12/30 PX4 firemare px4fmuv2 MCU: STM32F427VIT6, STN32F103C8T6. 感測器: MPU6000; L3GD20; LSM303D; MS5611, 省略了一個L3GD20焊盤. CAN口用的是M ...
  • fxml文件使用SceneBuilder打開報錯 解決方法:Window-->Preferences-->JavaFX-->browse 路徑是可執行的JavaFX Scene Builder文件,例如:C:\Program Files (x86)\Oracle\JavaFX Scene Build ...
  • 作者 彭東林 QQ 405728433 平臺 Linux-4.10.17 Qemu-2.8 + vexpress-a9 DDR:1GB 參考 Linux 虛擬記憶體和物理記憶體的理解 Linux進程分配記憶體的兩種方式--brk() 和mmap() Linux中的mmap的使用 程式(進程)記憶體分佈 解析 ...
  • 部署Flask項目到騰訊雲伺服器CentOS7 安裝git 安裝依賴包 支持SSL傳輸協議 解壓功能 C語言解析XML文檔的 安裝gdbm資料庫 實現自動補全功能 sqlite資料庫: 安裝python3.6 下載python 創建目錄 下載編譯python的c和c++: 配置: 編譯: 備份(重命 ...
  • 學習目標: -current_date 當前時間 TZ_OFFSET -current_timestamp 含小數秒當前時間 FROM_TZ -localtimestamp 含小數秒本地時間 TO_TIMESTAMP -dbtimezone 資料庫時區 TO_TIMSTAMP_TZ -session ...
  • 1、創建存儲過程 調用上述存儲過程(CALL語句調用一個先前用CREATE PROCEDURE創建的程式) 註意: 指定參數為IN, OUT, 或INOUT 只對PROCEDURE是合法的。(FUNCTION參數總是被認為是IN參數)指定參數為IN, OUT, 或INOUT 只對PROCEDURE是 ...
  • 真是醉了,最近筆記本壞了沒辦法,只好給自己的平板裝資料庫,而且平板沒有網線介面,只有用校園網下,500KB,很酸爽。。。 上午上了一下午,然後又解了個壓,解壓解了半小時,平板的配置是真的低。。。 又安裝了一下午,好不容易裝起來了,又發現唉,同志,恢複數據吧。。 實在很煩了,就休息了一下子,晚上8點才 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...