Hadoop偽分散式搭建

搭建偽分散式環境，只需要一臺Linux伺服器，一般開發測試使用

在單機上模擬分散式環境

HDFS：主節點 NameNode

            從節點 DataNode   SecondaryNameNode

yarn： 主節點 ResourceManager  

           從節點 NodeManager

tools和training是自定義目錄

工具：SecureCRT6.5.0

1. 將Hadoop包上傳到Linux伺服器上，如~/tools目錄下

    

2. 解壓該壓縮包到~/training目錄下              

    

3. 在~/.bash_profile里設置環境變數，增加紅色框內容。 vi ~/.bash_profile，按 【i】 進入編輯模式，按【esc】退出編輯模式，輸入冒號：wq回車保存
    

    

4. 執行source ~/.bash_profile  使環境變數生效
5. 配置jdk路徑，找到Hadoop的配置文件hadoop-env.sh，vi  /root/training/hadoop-2.7.3/etc/hadoop/hadoop-env.sh回車，加入紅色部分，JAVA_HOME就是jdk的路徑

    

6. 接著配置hdfs-site.xml，加入紅色框內容

   <!--配置數據塊的冗餘度-->
   <property>
   <name>dfs.replication</name>
   <value>1</value>
   </property>

   

    

7. 配置core-site.xml，加入如下內容

   <!--配置NameNode地址-->
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://本機IP:9000</value>
   </property>

   <!--配置數據在Linux上保存的位置-->
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/root/training/hadoop-2.7.3/tmp</value>
   </property>

   

    

8. 配置mapred-site.xml，添加如下

   <!--MR運行的框架-->
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>                                           

    

9. 配置yarn-site.xml，添加如下

   <!--yarn的主節點 RM-->
   <property>
   <name>yarn.resouremanager.hostname</name>
   <value>IP地址</value>
   </property>

   <!--NodeManager運行MR程式方式-->
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>                                 

    

10. 啟動start-all.sh，表示啟動所有服務，但發現要輸入四次密碼

     

11. 停止所有服務，執行stop-all.sh，也要輸入四次密碼，從啟動到停止服務，一共輸入8次密碼。如果啟動多台伺服器，那豈不是很多密碼

    偽分散式環境到此就搭建配置完成。基於輸入多次密碼，可以配置免密登錄，下一節將會講解