hadoop wordcout測試 安裝好hadoop 環境後,啟動HDFS等服務;輸密碼 1004 start-all.sh 查看啟動情況 1006 jps 1007 cd ~ 切換到用戶預設目錄 創建數據文件data.txt,輸送值 hello beijing hello China 1028 ...
hadoop wordcout測試
安裝好hadoop 環境後,啟動HDFS等服務;輸密碼
1004 start-all.sh
查看啟動情況
1006 jps
1007 cd ~ 切換到用戶預設目錄
創建數據文件data.txt,輸送值 hello beijing hello China
1028 vi data.txt
切到hadoop-2.4.1
1032 cd /usr/local/bin/hadoop-2.4.1/
在hdfs文件系統中新建data文件夾,用來放輸入及輸出的文件;
hdfs dfs -p /data/
將data.txt文件上傳到/data中為輸入文件
1039 hdfs dfs -put ~/data.txt /data
查看上傳到hdfs文件系統中的data.txt文件
1040 hdfs dfs -ls /
1041 hdfs dfs -ls /data
cd /usr/local/bin/hadoop-2.4.1/share/...hadoop-mapreduce-examples-2.4.1.jar文件所在目錄。
執行WORDCOUT命令,以下 /data/data.txt 為hdfs系統的輸入文件,/data/ouput為計算結果文件。
1071 hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /data/data.txt /data/ouput
當map 及preduce都100%計算完成時,查看計算結果
1082 hdfs dfs -ls /data/ouput
1083 hdfs dfs -cat /data/ouput/part-r-00000