大數據-hadoop-MapReduce計算流程

来源:https://www.cnblogs.com/blogs-gxData/archive/2019/09/21/11562824.html
-Advertisement-
Play Games

MapReduce計算流程 MapReduce計算流程 1 首先是通過程式員所編寫的MR程式通過命令行本地提交或者IDE遠程提交 2 一個MR程式就是一個Job,Job信息會給Resourcemanger,向Resourcemanger註冊信息 3 在註冊通過後,Job會拷貝相關的資源信息(從HDF ...


  • MapReduce計算流程

  1  首先是通過程式員所編寫的MR程式通過命令行本地提交或者IDE遠程提交

  2 一個MR程式就是一個Job,Job信息會給Resourcemanger,向Resourcemanger註冊信息

  • 3  在註冊通過後,Job會拷貝相關的資源信息(從HDFS中)

    4 緊接著會向Resourcemanger提交完整的Job信息(包括資源信息)

    5a  Resourcemanger 會通過提交的Job信息,計算出Job所需的資源,為Job分配Container資源

    5b 計算資源會分發給對應的NodeManger,NodeManager會創建一個MRAppMaster

    6  MRAppMaster初始化Job

    7 獲取輸入切片信息

    8 MRAppMaster向ResourceManager 請求資源

    9a 啟動計算資源(連接到對應的資源所在NodeManager)

    9b 啟動YARN Child

    10 從文件系統中獲取完整的Job信息

    11 啟動對應的Maptask或者ReduceTask 進程,執行計算。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JavaScript 變數 概述 把一個具體的值存入到變數中。那麼此時這個變數就代表著我們這個具體的值。我們如果想要重新的使用這個值,不再需要重新的計算或者其他操作,直接使用變數就可以得到之前存儲的這個值。 簡單的說,變數就是一個保存數據的容器,調用變數就是調用保存在這個容器中的值。 變數之所以叫做 ...
  • <input type="file" id='file'> <div> <img src="" alt="" id='preview'> </div> <script> let file = document.querySelector('#file'); let preview = documen ...
  • 工作中遇到需要根據不同數據來處理模板word的情況,網上搜索了一番之後,找到了一個叫做docxtemplater的庫,使用起來非常便攜,也十分滿足此次的需求。 這次就來記錄一下docxtemplater的使用。 docxtemplater官網:https://docxtemplater.readth ...
  • 文章原創於公眾號:程式猿周先森。本平臺不定時更新,喜歡我的文章,歡迎關註我的微信公眾號。 其實在JavaScript的發展中,它主要是在瀏覽器前端中被應用廣泛。因為在實際應用中, JavaScript的表現能力主要取決於宿主環境的API支持程度, 在最早期,只有對BOM, DOM的支持,隨著HTML ...
  • 場景 Ubuntu Server 上使用Docker Compose 部署Nexus(圖文教程): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/101111611 在上面已經實現部署Nexus後,初次登錄的預設賬戶密碼: adm ...
  • 場景 Docker-Compose簡介與Ubuntu Server 上安裝Compose: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/100902301 Docker Compose基本使用-使用Compose啟動Tomcat ...
  • 場景 Docker-Compose簡介與Ubuntu Server 上安裝Compose: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/100902301 Docker Compose基本使用-使用Compose啟動Tomcat ...
  • 代理模式(Proxy): 代理模式就是給某一個對象提供一個代理,並由代理對象控制對原有對象的引用。在一些情況下,一個客戶不想或者不能直接引用一個對象,而代理對象可以在客戶端和目標對象之間起到中介的作用。例如windows桌面端的快捷方式就是一個代理。 代理模式按照使用目的可以分為: 1)遠程代理:為 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...