Win10下安裝Hadoop3.1.2詳解 嘗試在本地win10上安裝hadoop，在官網選擇了最新的hadoop版本，就是這裡開始給自己挖了坑，對著網上的博客一頓操作，發現節點一直啟動不成功。本著不放棄的原則，在不停的配置過程中繼續折騰，終於解決問題。 安裝環境 JDK 1.8 Windows10 ...
Win10下安裝Hadoop3.1.2詳解
嘗試在本地win10上安裝hadoop，在官網選擇了最新的hadoop版本，就是這裡開始給自己挖了坑，對著網上的博客一頓操作，發現節點一直啟動不成功。本著不放棄的原則，在不停的配置過程中繼續折騰，終於解決問題。
安裝環境
- JDK 1.8
- Windows10
- Hadoop3.1.2
JDK 安裝參考我之前Java的博客 ：JDK安裝詳解
這裡需要註意的如果jdk版本過高可能會帶來問題
安裝Hadoop
- 官網下載Hadoop3.1.2 ：下載地址
- 解壓到自定義的文件夾，我這裡選擇我的路徑
F:\Environment\hadoop-3.1.2\hadoop
- 配置環境變數
JAVA_HOME : F:\Environment\java\jdk1.8.0_181
HADOOP_HOME ： F:\Environment\hadoop-3.1.2\hadoop
path添加 ：
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin
%HADOOP_HOME%\bin
- 檢測是否安裝成功
java -version
hadoop - version
出現以上信息說明安裝成功 ！
修改配置文件
需要修改的文件在解壓後的目錄下，F:\Environment\hadoop-3.1.2\hadoop\etc\hadoop
hadoop-env.cmd
用Notepad++ 打開hadoop-env.cmd文件
找到**set JAVA_HOME=%JAVA_HOME%**一行，將其值修改為jdk所在目錄
如果目錄帶有空格，可以通過下麵兩種方式處理：
這裡以安裝目錄為C:\Program Files\Java\jdk1.8.0_181為例
因為Program Files中存在空格，若是直接使用會出現錯誤，可以下麵兩種方式之一進行處理：
只需要用PROGRA~1 代替Program Files，即改為C:\PROGRA~1\Java\jdk1.8.0_18
或是使用雙引號改為 “C:\Program Files”\Java\jdk1.8.0_181core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>
</configuration>hdfs-site.xml
需要再hadoop解壓的根目錄下創建一個data文件夾，併在data下創建namenode和datanode兩個子文件夾；
然後添加配置文件 ：
<configuration>
<!-- 這個參數設置為1，因為是單機版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/datanode</value>
</property>
</configuration>
配置文件修改完畢 ！
替換bin文件
下載的Hadoop不支持Windows系統，需要替換bin目錄下的文件方便在Windows上運行。這也是掉坑來的地方了！！！！
在網上下載到的hadooponwindows-master.zip 以及winutils中應該是只適合hadoop 3.0.0及其以下，嘗試過hadooponwindows-master.zip以及winutils中最高的版本3.0.0，啟動hadoop都會出現下麵的錯誤：Error starting NodeManager、UnsatisfiedError
折騰了好久（低版本的hadoop還沒下載完畢），終於找到3.1.0版本winutils,下載後直接替換掉hadoop目錄下bin文件即可：
複製yarn的jar包
可以看到resourcemanager.ResourceManager: Error starting ResourceManager啟動失敗的日誌
報了類TimelineCollectorManager找不到的錯誤。
解決方法:
F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn\timelineservice
將這個文件夾下的hadoop-yarn-server-timelineservice-3.1.2.jar 包
複製到這個路徑下 F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn 即可解決。格式化HDFS文件系統
hdfs namenode -format
如果這一步沒有什麼異常基本沒有問題了。
啟動
進入hadoop的sbin目錄
我這裡在 ： F:\Environment\hadoop-3.1.2\hadoop\sbin
# 啟動
# 會自動開啟四個新的命令行視窗，視窗沒列印異常即啟動成功
start-all
# 停止
stop-all
# 查看正在運行的實例進程及埠
jps 
這四個視窗不能關閉 ， 否則進程會結束
訪問管理GUI
啟動成功後，可以訪問GUI頁面
最後我們停止一下所有進程
結尾
運行結束後你會發現hadoop安裝的磁碟根目錄下多了一個tmp臨時文件目錄
裡面有一些 Hadoop的緩存文件 ， 可以酌情清理 ！
編輯不易 ， 轉載註明出處 ： 西部開源-秦疆 2019.07.06 00:47 更新
