Hadoop自學系列集(四) ---- Hadoop集群

　　久等了，近期公司比較忙，學習的時間都沒有啊，到今日才有時間呢！！！好了，下麵就跟著筆者開始配置Hadoop集群吧。

　　hosts文件和SSH免密碼登錄配置好了之後，現在進入Hadoop安裝目錄，修改一些配置文件，修改配置還是相對簡單的，一下是需要修改的文件內容(當然這裡只是學習時的配置，更加深入的配置筆者也不會了，嘿嘿嘿)，四台機相同配置，以下是一些修改的文件(紅色為修改部分)：

　　conf/hadoop-env.sh:

　　export JAVA_HOME=/usr/local/java/jdk1.6.0_45   ##原本是註釋的，解開註釋，修改一下路徑即可

　　conf/core-site.xml:

　　　<?xml version="1.0"?>

　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　<!-- Put site-specific property overrides in this file. -->

　　<configuration>
　　　　<property>

　　　　　　<!-- 用戶DFS命令模塊中指定預設的文件系統協議 -->
　　　　　　<name>fs.default.name</name>
　　　　　　<value>hdfs://hadoop.master:9000</value>
　　　　</property>
　　　　<property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/usr/local/temp</value>
　　　　</property>
　　</configuration>

　　conf/hdfs-site.xml：

　　<?xml version="1.0"?>

　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　<!-- Put site-specific property overrides in this file. -->

　　<configuration>
　　　　<property>
　　　　　　<!-- 預設Block副本數，設置為副節點個數，這裡為3個 -->
　　　　　　<name>dfs.replication</name>
　　　　　　<value>3</value>
　　　　</property>
　　</configuration>

　　conf/mapred-site.xml(配置JobTracker):

　　<?xml version="1.0"?>

　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　<!-- Put site-specific property overrides in this file. -->

　　<configuration>
　　　　<property>
　　　　　　<name>mapred.job.tracker</name>
　　　　　　<value>hadoop.master:9001</value>
　　　　</property>
　　</configuration>

　　conf/masters(填寫主節點主機名即可):

　　hadoop.master

　　conf/slaves(填寫從節點主機名，一行一個):

　　hadoop.slave1

　　hadoop.slave2

　　hadoop.slave3

　　至此，配置已經修改完了，接下來是啟動。在首次啟動之前，先格式化NameNode，之後啟動就不需要格式化了，命令如下：

　　hadoop namenode -format

　　接下來，啟動Hadoop集群：

　　start-all.sh

　　啟動後截圖如下：

　　在啟動過程中由於配置了SSH免密碼登錄，是不會詢問slaves機器上的密碼的。

　　集群測試：

　　接下來我們運行一下hadoop-example.jar中自帶的wordCount程式，用戶統計單詞出現次數，步驟如下：

　　1.新建一個test.txt,內容可自行填寫:

　　2.在HDFS系統中創建一個文件夾input，命令如下：

　　　　hadoop fs -mkdir /user/hadoop/input1

　　3.上傳剛剛創建的test.txt至HDFS系統中的input文件夾，命令如下：
　　　　hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/

　　4.查看文件是否已經上傳至HDFS中，命令如下:

　　　　hadoop fs -ls /user/hadoop/input1/

　　5.運行hadoop-example.jar，命令如下：

　　　　cd /usr/local/hadoop

　　　　hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1

　　6.過程截圖：

　　　7.運行完畢後，可以查看結果了，鍵入以下命令，結果截圖也在下麵：

　　　　hadoop fs -text /user/hadoop/output1/part-r-00000

　　　　OK！至此Hadoop集群就安裝結束了，而且也測試過了，就先寫到這裡了。