hadoop環境搭建-偽分佈模式

Appache hadoop

版本：2.77   jdk:1.8  系統：centos7

註意不要在root下解壓，要單獨建一個用戶安裝hadoop及其組件。

一、先查看系統是否有自帶j

　　#dk: rpm -qa|grep java

　　通常是如下4個包：

　　rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

　　rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

　　rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

　　rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

 步驟三：驗證一下是還有jdk

　　#rpm -qa|grep java

　　#rpm -qa | grep jdk

　　#rpm -qa | grep gc

　　#java -version

　　沒有內容證明已經卸載乾凈了

二、安裝jkd&hadoop：創建hadoop安裝目錄：mkdir /soft

　　在soft下：

　　tar –zxvf jdk-7u80-linux-x64.tar.gz

　　tar -xzvf hadoop-2.7.3.tar.gz

　　建立符號鏈接：

　　ln –s jkd文件名 jdk  

　　ln –s hadoop-2.7.3 hadoop

　　配置hadoop&jdk環境變數：

　　su root

　　vi /etc/profile

　　使環境變數即刻生效

　　source /etc/profile

　　回到hadoop用戶，進入任意目錄下,測試是否ok

　　java –version

　　hadoop version

配置hadoop：

偽分佈模式：

編輯：core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

      <property>

            <name>fs.defaultFS</name>

            <value>hdfs://localhost/</value>

      </property>

</configuration>

編輯：httpfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

      <property>

            <name>dfs.replication</name>

            <value>1</value>

      </property>

</configuration>

編輯：mapred-site.xml (框架)–是由mapred-site.xml.template拷貝過來的模板

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->

<configuration>

      <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

      </property>

</configuration>

編輯：yarn-site.xml（底層）

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

      <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>localhost</value>

      </property>

      <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

      </property>

</configuration>

配置SSH:

1. 查看系統是否有安裝的ssh包

yum list installed | grep ssh

如果沒有要自行安裝ssh

1. 檢查是否啟動了sshd進程：ps –Af | grep sshd

1. 在client側生產公私密匙對：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
2. 追加公鑰到~/.ssh/authorized_keys文件中(文件名、位置固定)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

1. 修改authorized_keys的許可權為644：chmod 644 authoried_keys
2. 測試： ssh localhost