Hadoop分散式集群搭建

1、前期準備條件，三台主機：master，slave1，slave2

2、三台機器在集群中所擔任的角色：

    master:namenode,datanode,nodemanager,historyserver

    slave1:resoucemanaer,datanode,nodemanager

    slave2:secondaryname,datanode,nodemanager

3、指定Java的安裝路徑，配置*-env.sh文件（hadoop-env.sh/mapred-env.sh/yarn-env.sh）

    export JAVA_HOME=/opt/java/jdk1.7.0_80

4、配置core-site.xml

5、配置hdfs-site.xml

6、配置yarn-site.xml

7、配置mapred-site.xml

8、配置slaves

    master.cdh.com

    slave1.cdh.com

    slave2.cdh.com

9、分發到各個節點

    scp -r /opt/cdh5.14.2/hadoop-2.6.0/ slave1.cdh.com:/opt/cdh5.14.2/

10、格式化namenode

    在主節點執行就可以：# bin/hdfs namenode -format

11、在master主機上啟動:sbin/start-dfs.sh   sbin/start-yarn.sh

        發現唯獨配置在slave1上的resourcemanager沒有啟動。

        搜索後發現如下解釋：

                        修改yarn-site.xml：

12、在master主機上啟動:sbin/start-dfs.sh   sbin/start-yarn.sh

            master:

           slave1:

            slave2:

            在瀏覽器分別打開：http://master.cdh.com:50070     http://master.cdh.com:8088

            頁面如下：