3.1上傳hadoop安裝包 3.2解壓hadoop安裝包 mkdir /cloud #解壓到/cloud/目錄下 tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/ 3.3修改配置文件(5個) 第一個:hadoop-env.sh #在27行修改 export JAVA ...
3.1上傳hadoop安裝包
3.2解壓hadoop安裝包
mkdir /cloud
#解壓到/cloud/目錄下
tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/
3.3修改配置文件(5個)
第一個:hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/java/jdk1.7.0_55
第二個:core-site.xml
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://itcast01:9000</value> </property> <!-- 指定hadoop運行時產生文件的存儲路徑 --> <property> <name>hadoop.tmp.dir</name> <value>/cloud/hadoop-2.2.0/tmp</value> </property> </configuration>
第三個:hdfs-site.xml
<configuration> <!-- 設置hdfs副本數量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
第四個:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml
<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
第五個:yarn-site.xml
<configuration> <!-- reducer取數據的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
3.4將hadoop添加到環境變數
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/cloud/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
3.5格式化HDFS(namenode)第一次使用時要格式化
hadoop namenode -format
3.6啟動hadoop
先啟動HDFS
sbin/start-dfs.sh
再啟動YARN
sbin/start-yarn.sh
3.7驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.1.44:50070 (HDFS管理界面)
在這個文件中添加linux主機名和IP的映射關係
C:\Windows\System32\drivers\etc\hosts
192.168.1.119 itcast
http://192.168.1.44:8088 (MR管理界面)