MapReduce簡介以及詳細配置

来源:http://www.cnblogs.com/langgj/archive/2017/03/24/6612406.html
-Advertisement-
Play Games

1.MapReduce(一個分散式運算框架)將數據分為數據塊,發送到不同的節點,並行方式處理。 2.NodeManager和DataNode在一個節點上,程式與數據在一個節點。 3.內容分為兩個部分 1) Map 讀取文件,將數據分塊,輸入輸出都是<key,value> 2) Reduce 輸入輸出 ...


1.MapReduce(一個分散式運算框架)將數據分為數據塊,發送到不同的節點,並行方式處理。

2.NodeManager和DataNode在一個節點上,程式與數據在一個節點。

3.內容分為兩個部分

1) Map

讀取文件,將數據分塊,輸入輸出都是<key,value>

2) Reduce

輸入輸出都是<key,value>,輸入的key是Map輸出的key,輸入的value是map輸出的所有key一樣的value

4.修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml 

這個文件在Hadoop中沒有,需要複製一份,cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

          <property>

               <name>mapreduce.framework.name</name>

               <value>yarn</value>

    </property>

5.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml

    <property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

    </property>

6.啟動集群sbin/start-all.sh

一塊啟動了HDFS與MapReduce,依次執行了sbin/start-dfs.sh與sbin/start-yarn.sh

7.打開jps查看進程

32033 Jps

31718 SecondaryNameNode

31528 DataNode

31852 ResourceManager

31437 NameNode

31949 NodeManager

8.HDFS與MapReduce啟動成功,關閉集群:sbin/stop-all.sh

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 多表查詢 1. 分類: * 合併結果集(瞭解) * 連接查詢 * 子查詢合併結果集 * 要求被合併的表中,列的類型和列數相同 * UNION,去除重覆行 * UNION ALL,不去除重覆行 連接查詢 1. 分類 * 內連接 * 外連接 > 左外連接 > 右外連接 > 全外連接(MySQL不支持) ...
  • 1.刪除註冊表:在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager中找到 PendingFileRenameOperations 項目,並刪除它。 ...
  • mysql 常用指令及中文亂碼解決 Mysql 系統管理指令 登陸本地 Mysql mysql -u username -p # 回車輸入密碼 或者 mysql -u username -p passswd; 登陸遠程 Mysql mysql -h address -u username -p # ...
  • 轉載自http://www.jb51.net/article/30811.htm 謝謝! 方法一: 1、打開查詢分析器,輸入命令 BACKUP LOG database_name WITH NO_LOG 2、再打開企業管理器--右鍵要壓縮的資料庫--所有任務--收縮資料庫--收縮文件--選擇日誌文件 ...
  • 安裝 啟動Mysql服務 設置開機啟動 ...
  • Spark SQL支持兩種RDDs轉換為DataFrames的方式 使用反射獲取RDD內的Schema 當已知類的Schema的時候,使用這種基於反射的方法會讓代碼更加簡潔而且效果也很好。 通過編程介面指定Schema 通過Spark SQL的介面創建RDD的Schema,這種方式會讓代碼比較冗長。 ...
  • 外鍵加索引!外鍵加索引!外鍵加索引! 重要的事情說三遍。 最近在.Net開發中通過Remoting向服務端發送一個請求後,就開始在資料庫里通過存儲過程來進行大量的DML操作,其中大量數據來源於DBLINK,建立物化視圖後效率提升了不少。但是用戶還是會抱怨速度太慢,經常還會蹦出一個異常,如下圖: 起初 ...
  • SaaS是Software-as-a-Service(軟體即服務)的簡稱,這邊具體的解釋不介紹。 多租戶的系統可以應用這種模式的思想,將思想融入到系統的設計之中。 一、多租戶的系統,目前在資料庫存儲上,一般有三種解決方案: 1.獨立資料庫 2.共用資料庫,隔離數據架構 3.共用資料庫,共用數據架構 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...