Hadoop集群搭建安裝過程（三）（圖文詳解 盡情點擊！！！） 一、JDK的安裝 安裝位置都在同一位置（/usr/tools/jdk1.8.0_73） jdk的安裝在克隆三台機器的時候可以提前安裝，通過scp使安裝文件和環境配置（/etc/profile）都拷貝過去,並使三台機 器都通過（sourc ...
Hadoop集群搭建安裝過程（三）（圖文詳解---盡情點擊！！！）
一、JDK的安裝
安裝位置都在同一位置（/usr/tools/jdk1.8.0_73）
jdk的安裝在克隆三台機器的時候可以提前安裝，通過scp使安裝文件和環境配置（/etc/profile）都拷貝過去,並使三台機
器都通過（source /etc/profile）命令使之生效
下載JDK（本次安裝使用的版本是jdk1.8.0_73）
解壓JDK ： tar -zxvf /usr/tools/jdk-7u72-linux-x64.gz
配置環境變數, 編輯profile文件：
vi /etc/profile
在profile文件末尾添加以下代碼:
export JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
保存後，使剛纔編輯的文件生效：
source /etc/profile
測試是否安裝成功：java –version
二、安裝Hadoop
1、解壓hadoop-2.6.4.tar.gz安裝包
在sunshine主機上安裝hadoop
安裝位置自定，例如安裝在/usr/hadoop目錄下麵
下載hadoop包，放在/usr/hadoop目錄下，解壓hadoop
tar -zxvf /usr/hadoop/hadoop-2.6.4.tar.gz
在usr下麵生成hadoop-2.6.4目錄
2、配置環境變數：
vi /etc/profile
在末尾添加：
export HADOOP_HOME=/usr/ hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin（加上這個是為了使在下邊啟動hadoop時不一定必須在hadoop目錄下執行命令）
保存後使新編輯的profile生效：
source /etc/profile
3、配置Hadoop文件
需要配置的文件的位置為/hadoop-2.6.4/etc/hadoop，需要修改的有以下幾個文件：
hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves
其中hadoop-env.sh和yarn-env.sh裡面都要添加jdk的環境變數：
各個文件的修改如下所示：
hadoop-env.sh中配置：（如果文件內容太多，可以在進入文件後一般模式下使用"/"加上想要查詢的內容即可）
# The java implementation to use.
export JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73
(紅色為新添加的內容，其他的代碼是文件中原有的)
# The jsvc implementation to use. Jsvc is required to run secure datanodes
# that bind to privileged ports to provide authentication of data transfer
# protocol. Jsvc is not required if SASL is configured for authentication of
# data transfer protocol using non-privileged ports.
#export JSVC_HOME=${JSVC_HOME}
yarn-env.sh中配置：（如果文件內容太多，可以在進入文件後一般模式下使用"/"加上想要查詢的內容即可）
# User for YARN daemons
export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}
# resolve links - $0 may be a softlink
export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"
# some Java parameters
export JAVA_HOME=/opt/java/jdk1.7.0_72
(紅色為新添加的內容，其他的代碼是文件中原有的)
core-site.xml中配置：（如果文件內容太多，可以在進入文件後一般模式下使用"/"加上想要查詢的內容即可）
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/temp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
hdfs-site.xml中配置：
</configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.web.ugi</name>
<value>supergroup</value>
</property>
</configuration>
mapred-site.xml中配置：
（先將mapred-site.xml.template使用命令拷貝出一個命名為mapred-site.xml的文件，
使用cp mapred-site.xml.template mapred-site.xml）
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
yarn-site.xml中配置：
slaves中配置：
sunshine
sunshineMin
sunshineMax
4、拷貝hadoop安裝文件到子節點
主節點上執行：
scp -r /usr/hadoop-2.6.4 root@sunshineMin:/usr
scp -r /usr/hadoop-2.6.4 root@sunshineMax:/usr
5、拷貝profile到子節點
主節點上執行：
scp /etc/profile root@sunshineMin:/etc/
scp /etc/profile root@sunshineMax:/etc/
在兩個子節點上分別使新的profile生效：
source /etc/profile
6、格式化主節點的NameNode
主節點上進入hadoop安裝目錄下
然後執行：
./bin/hadoop namenode –format
提示：successfully formatted表示格式化成功
7、啟動hadoop
主節點上在hadoop目錄下執行：
./sbin/start-all.sh
主節點上jps進程有：
NameNode
SecondaryNameNode
ResourceManager
每個子節點上的jps進程有：
DataNode
NodeManager
如果這樣表示hadoop集群配置成功！
如果對您有幫助，請給予支持！！！
