VMware虛擬機下安裝hadoop1.x

這是Hadoop學習全程記錄第1篇，在這篇里我將介紹一下如何在Linux下安裝Hadoop1.x。 

先說明一下我的開發環境： 

虛擬機：VMware8.0；

操作系統：CentOS6.4；

版本：jdk1.8；hadoop1.2.1

①下載hadoop1.2.1，網盤：鏈接：http://pan.baidu.com/s/1pKGWVG3 密碼：cbvh
下載jdk1.8，網盤：鏈接：http://pan.baidu.com/s/1o8brEh8 密碼：d64e

將 jdk-8u144-linux-x64.tar.gz 解壓至 /home/wyt/jdk8 文件夾下，將 hadoop-1.2.1.tar.gz 解壓至 /home/wyt/hadoop 文件夾下。

②配置jdk及hadoop環境變數：修改/etc/profile文件

vim /etc/profile
//輸入I，進入編輯模式

export JAVA_HOME=/home/wyt/jdk8
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export HADOOP_HOME=/home/wyt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin

//按Esc，按Shift，輸入：wq
source /etc/profile //保存並退出

③測試

java，javac，java -version
hadoop

④修改hadoop配置文件

<!-- hadoop-env.sh -->

export JAVA_HOME=/usr/java/jdk8

<!-- core-site.xml -->

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/hadoop/name</value>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

<!-- hdfs-site.xml -->

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

<!-- mapred-site.xml -->

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

併在hadoop安裝目錄下新建data、name、tmp文件夾。

⑤名稱節點格式化，並查看運行狀態

hadoop namenode -format
//cd 命令切換至 hadoop/bin/文件夾下，輸入 ls 命令查看
start-all.sh
jps //查看運行狀態，運行正常的話需要多次輸入密碼
//最後結果為：
//         Jps
//         JobTracker
//         NameNode
//         DataNode
//         SecondaryNameNode
//         NodeManager 

⑥測試hdfs

//常用hdfs命令：
hadoop fs -ls /查看目錄
hadoop fs -put a.txt /user/hadoop/放入
hadoop fs -cat /user/hadoop/a.txt 查看內容
hadoop fs -rmr /output：刪除文件/文件夾

附：linux常用命令：

cd ..          //返回上級目錄
cd ~         //返回Home目錄
cd /          //返回根目錄
cd var/     //進入var/文件夾下（使用tab）

su -         //超級管理員模式
ifconfig    //查看ip

附：其他常用linux操作軟體：

//windows與虛擬機centos文件傳輸：
filezilla；Xftp 5；或者安裝VMware Tools（可便捷使用剪切板及文件複製功能）
//脫離虛擬機centos輸入命令行：
Xshell 5