1、準備文件並設置編碼格式為UTF-8並上傳Linux 2、新建一個Java Project 3、導入jar 4、編寫Map()和Reduce() 5、將代碼輸出成jar 6、在linux中啟動hdfs 7、修改兩個配置文件 8、在linux中啟動yarn 9、運行mapReduce 10、查看運行 ...
1、 準備文件並設置編碼格式為UTF-8並上傳Linux
1)設置編碼：首先打開文件點擊左上角 文件（F） 點擊另存為並將編碼（E）設置為UTF-8 然後保存(S)替換的原來的文件
2)用工具將文件上傳就Linux
3）將文件上傳至HDFS
2、 新建一個Java Project
JDK必須是1.7版本以後的否則不支持
3、 導入jar
導入好多jar包並Add to Build Path
4、 編寫Map()和Reduce()
5、將代碼輸出成jar
1） 將代碼輸出成jar
2） 將生成的jar上傳至Linux
6、在linux中啟動hdfs
1） 啟動hdfs
1） 將text文件上傳到HDFS
7、修改兩個配置文件
在<configuration>配置項中增加以下內容：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
在<configuration>配置項中增加以下內容：
(參數解釋：NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，才可運MapReduce程式)
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
8、在linux中啟動yarn
9、運行mapReduce
10、查看運行結果
