CentOS上安裝Hadoop2.7，添加數據節點，運行wordcount

安裝hadoop的步驟比較繁瑣，但是並不難。

在CentOS上安裝Hadoop2.7

1. 安裝 CentOS，註：圖形界面並無必要

2. 在CentOS里設置靜態IP，手工編輯如下4個文件

• /etc/hosts
• /etc/sysconfig/netwok
• /etc/hostname
• /etc/sysconfig/network-scripts/ifcfg-eno1677773

 3. 關閉防火牆

• Close firewalld
• systemctl stop firewalld.service #停止firewall
• systemctl disable firewalld.service #禁止firewall開機啟動

4. 設置ssh無密登錄

l   去掉/etc/ssh/sshd_config其中2行的註釋
#RSAAuthentication yes
#PubkeyAuthentication yes

l   輸入命令，ssh-keygen -t rsa，生成key，都不輸入密碼，一直回車，/root就會生成.ssh文件夾，每台伺服器都要設置

l   合併公鑰到authorized_keys文件，在Master伺服器，進入/root/.ssh目錄，通過SSH命令合併，
cat id_rsa.pub>> authorized_keys

l   把Master伺服器的authorized_keys、known_hosts複製到Slave伺服器的/root/.ssh目錄

5. 為提高軟體下載速度，可以把軟體安裝庫轉向阿裡雲

6. Install net-tools, yum, wget, vim

7. Install Java

• Yum list java*
• [root@beta-new1 www]# yum -y install java-1.8.0-openjdk.x86_64

8. Configure Java

• [root@localhost ~]# which java
   
  /usr/bin/java
   
  [root@localhost ~]# ls -lrt /usr/bin/java
   
  lrwxrwxrwx. 1 root root 22 Aug 17 15:12 /usr/bin/java -> /etc/alternatives/java
   
  [root@localhost ~]# ls -lrt /etc/alternatives/java
   
  lrwxrwxrwx. 1 root root 46 Aug 17 15:12 /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java

9. 從官網下載Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目錄下

10. 輸入命令解壓

• tar -xzvf hadoop-2.7.0.tar.gz

11. 在/home/hadoop目錄下創建數據存放的文件夾，tmp、hdfs、hdfs/data、hdfs/name

12. 修改Hadoop設置

• ／Hadoop2.7.3／etc／Hadoop／hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64

• ／Hadoop2.7.3／etc／Hadoop／slaves
• ／Hadoop2.7.3／etc／Hadoop／mapred-site.xml
• ／Hadoop2.7.3／etc／Hadoop／hdfs-site.xml
• ／Hadoop2.7.3／etc／Hadoop／core-site.xml

13. 在Master伺服器啟動hadoop

• 初始化

bin/hdfs namenode –format

l  全部啟動sbin/start-all.sh，也可以分開sbin/start-dfs.sh、sbin/start-yarn.sh

l  停止Hadoop服務

l  sbin/stop-all.sh

l  輸入命令jps，可以看到節點相關信息

14. 訪問Hadoop

• 瀏覽器打開http://192.168.0.182:8088/
• 瀏覽器打開http://192.168.0.182:50070/

添加新數據節點步驟

• 安裝CentOS，設置靜態IP（4個配置文件）
• 加入SSH免密碼登錄
• SCP把Hadoop文件複製到新機器
• 修改／Hadoop2.7.3／etc／Hadoop／slaves
• 重新初始化
• 重新啟動hadoop服務

運行WordCount程式

1、在HDFS中創建目錄input

hadoop fs -mkdir /input

2、將本地的 PESXXX.txt上傳到input中

hadoop fs -put PESXXX.txt /input

查看input目錄下的文件

hadoop fs -ls /input

查看PESXXX.txt文件內容

hadoop fs -cat /input/ PESXXX.txt

3、運行程式

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output/

4、查看結果

查看輸出目錄hadoop fs -ls /output

查看輸出結果hadoop fs -cat /output/part-r-0000

5、可在瀏覽器查看任務

http://192.168.1.15:8088

http://192.168.1.15:50070