首先先不看理論，搭建起環境之後再看； 搭建偽分散式是為了模擬環境，調試方便。 電腦是win10，用的虛擬機VMware Workstation 12 Pro，跑的Linux系統是centos6.5 ，裝的hadoop2.6.0，jdk1.8； 1.準備工作 準備工作：把JDK和Hadoop安裝包上傳 ...
首先先不看理論，搭建起環境之後再看；
搭建偽分散式是為了模擬環境，調試方便。
電腦是win10，用的虛擬機VMware Workstation 12 Pro，跑的Linux系統是centos6.5 ，裝的hadoop2.6.0，jdk1.8；
1.準備工作
準備工作：把JDK和Hadoop安裝包上傳到linux系統（hadoop用戶的根目錄）
系統環境：IP：192.168.80.99，
linux用戶：
root/123456，hadoop/123456
主機名：node
把防火牆關閉，root執行：service iptables stop
2.jdk安裝
1.在hadoop用戶的根目錄，Jdk解壓，（hadoop用戶操作）tar -zxvf jdk-8u65-linux-x64.tar.gz 解壓完成後，在hadoop用戶的根目錄有一個jdk1.8.0_65目錄
2.配置環境變數，需要修改/etc/profile文件（root用戶操作）切到root用戶，輸入su命令 vi /etc/profile 進去編輯器後，輸入i，進入vi編輯器的插入模式在profile文件最後添加
|
JAVA_HOME=/home/hadoop/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin |
編輯完成後，按下esc退出插入模式輸入：，這時在左下角有一個冒號的標識
q 退出不保存
wq 保存退出
q! 強制退出
3.把修改的環境變數生效（hadoop用戶操作）
執行source /etc/profile
4.執行 java -version 查看版本，如果成功證明jdk配置成功
3.Hadoop 安裝
1.在hadoop用戶的根目錄，解壓（hadoop用戶操作）
tar -zxvf hadoop-2.6.0.tar.gz
解壓完成在hadoop用戶的根目錄下有一個hadoop-2.6.0目錄
2.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh（hadoop用戶操作）
export JAVA_HOME=/home/hadoop/jdk1.8.0_65
3.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml，添加（hadoop用戶操作）
|
<property> <name>fs.defaultFS</name> <value>hdfs://node:9000</value> </property> |
4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml，添加（hadoop用戶操作）
|
<property> <name>dfs.replication</name> <value>1</value> </property> |
5.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml （hadoop用戶操作）,這個文件沒有，需要複製一份
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
添加
|
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> |
6.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml，添加（hadoop用戶操作）
|
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> |
7.修改主機名稱（root用戶操作），重啟生效
vi /etc/sysconfig/network
修改HOSTNAME的值為用戶名
8.修改/etc/hosts文件（root用戶操作）,添加： ip 主機名稱
192.168.44.199（用自己的ip，下邊講如何獲得） node
附：查看ip地址
編輯-->虛擬網路編輯器
net模式，選DHCP設置，得到ip地址起始
net設置，得到網關
點右邊小電腦，選擇 VPN Connections-->Configue VPN
選中eth0，點有右邊edit
選擇IP Settings ，根據自己的ip按圖修改，Address就是你的ip地址，在起始ip地址和結束ip地址之間選一個就行
9.格式化HDFS，在hadoop解壓目錄下，執行如下命令：（hadoop用戶操作）
bin/hdfs namenode -format
註意：格式化只能操作一次，如果因為某種原因，集群不能用， 需要再次格式化，需要把上一次格式化的信息刪除，在/tmp目錄里執行 rm –rf *
10.啟動集群，在hadoop解壓目錄下，執行如下命令：（hadoop用戶操作，截圖用機後來改過，主機為gp）
啟動集群：sbin/start-all.sh 需要輸入四次當前用戶的密碼(通過配置ssh互信解決，截圖用機已經配置過ssh不用輸密碼)
啟動後，在命令行輸入jps有以下輸出
關閉集群：sbin/stop-all.sh 需要輸入四次當前用戶的密碼(通過配置ssh互信解決，我的同上)
4.SSH互信配置（hadoop用戶操作）
rsa加密方法，公鑰和私鑰
1.生成公鑰和私鑰
在命令行執行ssh-keygen，然後回車，然後會提示輸入內容，什麼都不用寫，一路回車
在hadoop用戶根目錄下，有一個.ssh目錄
id_rsa 私鑰
id_rsa.pub 公鑰
known_hosts 通過SSH鏈接到本主機，都會在這裡有記錄
2.把公鑰給信任的主機(本機)
在命令行輸入ssh-copy-id 主機名稱
ssh-copy-id hadoop
複製的過程中需要輸入信任主機的密碼
3.驗證，在命令行輸入：ssh 信任主機名稱
ssh hadoop
如果沒有提示輸入密碼，則配置成功
至此，大功告成。
