Centos 7.0 安裝 hadoop

来源:http://www.cnblogs.com/wx90/archive/2017/09/15/7525728.html
-Advertisement-
Play Games

一、安裝環境 硬體:虛擬機 操作系統:Centos 7.0 64位 IP:192.168.120.150 hadoop-2.7.0.tar.gz 鏈接:http://pan.baidu.com/s/1eRT0tk2 密碼:ymim jdk-8u45-linux-x64.tar.gz 鏈接:http: ...




一、安裝環境
硬體:虛擬機
操作系統:Centos 7.0 64位
IP:192.168.120.150

hadoop-2.7.0.tar.gz  鏈接:http://pan.baidu.com/s/1eRT0tk2 密碼:ymim

jdk-8u45-linux-x64.tar.gz 鏈接:http://pan.baidu.com/s/1eSaRUGa 密碼:f4ue

二、安裝JDK
1,下載jdk-8u45-linux-x64.tar.gz,解壓到/usr/java/jdk1.8.0_45。
2,在/root/.bash_profile中添加如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH

3,使環境變數生效,#source ~/.bash_profile
4,安裝驗證# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

三,配置SSH無密碼登陸

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

驗證ssh,# ssh localhost
不需要輸入密碼即可登錄。

如果你是集群的形式,那麼可以參考http://blog.csdn.net/se7en_q/article/details/47671425

四,安裝Hadoop2.7.0
1,下載Hadoop2.7.0
2,解壓安裝
1),複製 hadoop-2.7.0.tar.gz 到/usr/hadoop目錄下,
然後#tar -xzvf hadoop-2.7.0.tar.gz 解壓,解壓後目錄為:/usr/hadoop/hadoop-2.7.0
2),在/usr/hadoop/目錄下,建立tmp、hdfs/name、hdfs/data目錄,執行如下命令
#mkdir /usr/hadoop/tmp
#mkdir /usr/hadoop/hdfs
#mkdir /usr/hadoop/hdfs/data
#mkdir /usr/hadoop/hdfs/name

3),設置環境變數,#vi ~/.bash_profile

# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin

4),使環境變數生效,$source ~/.bash_profile

3,Hadoop配置
進入$HADOOP_HOME/etc/hadoop目錄,配置 hadoop-env.sh等。涉及的配置文件如下:
hadoop-2.7.0/etc/hadoop/hadoop-env.sh
hadoop-2.7.0/etc/hadoop/yarn-env.sh
hadoop-2.7.0/etc/hadoop/core-site.xml
hadoop-2.7.0/etc/hadoop/hdfs-site.xml
hadoop-2.7.0/etc/hadoop/mapred-site.xml
hadoop-2.7.0/etc/hadoop/yarn-site.xml

1)配置hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_45

2)配置yarn-env.sh

#export JAVA_HOME=/home/y/libexec/jdk1.7.0/
export JAVA_HOME=/usr/java/jdk1.8.0_45

3)配置core-site.xml
添加如下配置:

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI,文件系統://namenode標識:埠號</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/tmp</value>
    <description>namenode上本地的hadoop臨時文件夾</description>
</property>
</configuration>

4),配置hdfs-site.xml
添加如下配置

<configuration>
<!—hdfs-site.xml-->
<property>
    <name>dfs.name.dir</name>
    <value>/usr/hadoop/hdfs/name</value>
    <description>namenode上存儲hdfs名字空間元數據 </description>
</property>

<property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/hdfs/data</value>
    <description>datanode上數據塊的物理存儲位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數,配置預設是3,應小於datanode機器數量</description>
</property>
</configuration>

5),配置mapred-site.xml
添加如下配置:

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

6),配置yarn-site.xml
添加如下配置:

<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.120.150:8099</value>
</property>
</configuration>

4,Hadoop啟動
1)格式化namenode

cd hadoop/hadoop-2.7.0/sbin/

./hdfs namenode –format

2)啟動NameNode 和 DataNode 守護進程

.start-dfs.sh

3)啟動ResourceManager 和 NodeManager 守護進程

.sbin/start-yarn.sh


5,啟動驗證
1)執行jps命令,有如下進程,說明Hadoop正常啟動
# jps
71072 ResourceManager
71171 NodeManager
72690 Jps
6,登錄hadoop
http:192.168.120.150:8099


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本次來說說Linux crontab定時任務來執行shell腳本文件,以及怎麼通過shell腳本來執行sql語句; 其實crontab跟spring quartz定時任務是差不多的意思,在我看來是完全一樣的; 像這種適合的場景,一般用於簡單的對數據進行操作,適合沒有複雜邏輯的操作,比如本次因為活動需 ...
  • 問題描述:我在上傳圖片的位置不在Tomcat伺服器下,用戶無法訪問 解決方案:配置Tomcat虛擬路徑使用戶可以訪問圖片 配置Tomcat 找到Host節點,在Host節點下加入如下代碼: 例子: <Context path="/test" docBase="/usr/img" debug="0" ...
  • 前段時間看到wklken分享的k vim "配置" ,試用了下真的爽到飛起。 不過唯一不爽的是有一些快捷鍵一直記不住,現在整理些常用的快捷鍵,以備查閱。 F2 set nu/nonu F5 set paste/nopaste ctrl+n 相對行號絕對行號變換,預設用相對行號 NERDTree 展開 ...
  • 小編在這兒給大家介紹幾款linux管理面板,希望感興趣的童鞋可以去嘗試下。個人覺得寶塔和appnode這兩個面板不僅從功能和樣式都還是做的比較好的,但是部分功能是收費的,但是webmin絕對是一款免費的軟體。 ...
  • 背景 通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步、備份文件的任務。隨著業務和應用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有文件後,進行差量同步,如果文件量十分龐大,那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分, ...
  • 需求:ftp獲取遠程數據的文件,根據文件的創建時間點下載文件。 可以自行擴展根據文件的大小等其他需求。 知識點總結: 1、獲取文件的時間: 時間內容: Sep 8 16:03 2、時間格式轉換 轉換結果: 201709081603 3、指定文件名,正則匹配 註意awk裡面模式變數用' '括起來,.* ...
  • su switch user 用途:用於用戶之間的切換 格式: su USERNAME切換用戶後,同時切換到新用戶的工作環境中 su USERNAME切換用戶後,不改變原用戶的工作目錄,及其他環境變數 退出:exit或logout ctrl+D sudo sudo是一種許可權管理機制,依賴於/etc/ ...
  • 1. 簡介 ​ lua nginx module(ngx_lua module)把 Lua5.1 的解釋器 或 LuaJIT 2.0/2.1 的解釋器嵌入到 nginx 中,將強大的 Lua 線程(Lua threads)與 nginx 事務模型(Nginx event model)相結合,我們可以 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...