hadoop2.2.0偽分散式搭建3--安裝Hadoop

来源:http://www.cnblogs.com/ganchuanpu/archive/2016/11/19/6079650.html
-Advertisement-
Play Games

3.1上傳hadoop安裝包 3.2解壓hadoop安裝包 mkdir /cloud #解壓到/cloud/目錄下 tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/ 3.3修改配置文件(5個) 第一個:hadoop-env.sh #在27行修改 export JAVA ...


3.1上傳hadoop安裝包

3.2解壓hadoop安裝包
mkdir /cloud
#解壓到/cloud/目錄下
tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/

3.3修改配置文件(5個)
第一個:hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/java/jdk1.7.0_55

第二個:core-site.xml

<configuration>
	<!-- 指定HDFS老大(namenode)的通信地址 -->
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://itcast01:9000</value>
	</property>
	<!-- 指定hadoop運行時產生文件的存儲路徑 -->
	<property>
			<name>hadoop.tmp.dir</name>
			<value>/cloud/hadoop-2.2.0/tmp</value>
	</property>
</configuration>

 

 

第三個:hdfs-site.xml

<configuration>
	<!-- 設置hdfs副本數量 -->
	<property>
			<name>dfs.replication</name>
			<value>1</value>
	</property>
</configuration>

  

第四個:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

<configuration>
	<!-- 通知框架MR使用YARN -->
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>
</configuration>

第五個:yarn-site.xml

<configuration>
	<!-- reducer取數據的方式是mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

 

 

3.4將hadoop添加到環境變數
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/cloud/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile


3.5格式化HDFS(namenode)第一次使用時要格式化
hadoop namenode -format

3.6啟動hadoop
先啟動HDFS
sbin/start-dfs.sh

再啟動YARN
sbin/start-yarn.sh

3.7驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.1.44:50070 (HDFS管理界面)
在這個文件中添加linux主機名和IP的映射關係
C:\Windows\System32\drivers\etc\hosts
192.168.1.119 itcast

http://192.168.1.44:8088 (MR管理界面)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.路徑最好不要是自己拼寫的路徑/mnt/shell/emulated/0/wifidog.conf 最好是通過方法獲取的路徑,不然可能導致命令無效 (掛載點的原因) public static final String SDCARD_ROOT=Environment.getExternalStor ...
  • 前言 啦啦啦~大家好,又見面啦~ 本篇博文講和大家一起完成一個需要註冊、登錄的備忘錄的,一起學習 SharedPreferences 的基本使用,學習 Android 中常見的文件操作方法,複習 Android 界面編程。 直接進入正題~ 基礎知識 1.SharedPreferences 的使用 使 ...
  • 繼前一篇大體上翻譯了Email的Action配置,本篇繼續看一下Shell的相關配置。 Shell Action Shell Action可以執行Shell腳本命令,工作流會等到shell完全執行完畢後退出,再執行下一個節點。為了運行shell,必須配置 以及 ,並且設置 來執行shell. She ...
  • 1.0點擊VMware快捷方式,右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段:192.168.1.0 子網掩碼:255.255.255.0 -> apply -> ok 回到windows --> 打開網路和共 ...
  • 安裝clamav 之前還需要安裝zlib 要不然安裝過程中會報錯的.tar -zxvf zlib-1.2.3.tar.gzcd zlib-1.2.3./configuremakemake install (zlib 編譯安裝)因為我用源碼包安裝,需要手動創建clamav 用戶groupadd cla ...
  • [1]準備工作 [2]多表更新 [3]兩步更新 [4]連接 [5]無限級表 ...
  • Exercise 1:Linear Regression 實現一個線性回歸 關於如何實現一個線性回歸,請參考:http://www.cnblogs.com/hapjin/p/6079012.html Exercise 2:Logistic Regression 實現一個邏輯回歸 問題描述:用邏輯回歸 ...
  • 在做一個用到ucGUI的項目的時候要用到不定的漢字和英文字元,但是ucGUI本身又不支持讀取晶元外部flash的字型檔來顯示,於是查了下資料,如下: http://www.cnblogs.com/hiker-blogs/archive/2013/01/04/2843538.html 站在巨人的肩膀上, ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...