本地模型運行 1:在windows的eclipse裡面直接運行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出數據可以放在本地路徑下(c:/wc/srcdata/) 輸入輸出數據也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdat ...
本地模型運行
1:在windows的eclipse裡面直接運行main方法,就會將job提交給本地執行器localjobrunner執行 ----輸入輸出數據可以放在本地路徑下(c:/wc/srcdata/) ----輸入輸出數據也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata) 2:在linux的eclipse裡面直接運行main方法,但是不要添加yarn相關的配置文件,也會提交給localjobrunner執行 ----輸入輸出數據可以放在本地路徑下(/home/hadoop/wc/srcdata/) ----輸入輸出數據也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata) 集群模式運行 1:將工程打成jar包,上傳到伺服器,然後用hadoop命令提交 hadoop jar wc.jar cn.intsmaze.hadoop.mr.wordcount.WCRunner 程式編寫好以後要打包成jar包放到hadoop集群上進行運行。這裡打包的jar包名為wc.jar。 先把文件上傳到linux目錄,然後在該目錄下使用指令將該jar分發到hadoop集群中並指定運行哪一個程式。hadoop jar wc.jar cn.intsmaze.hadoop.mr.WCRunner(指定運行java類的完整路徑)這個時候程式就執行了。 2:在linux的eclipse中直接運行main方法,也可以提交到集群中去運行,但是,必須採取以下措施: ----在工程src目錄下加入 mapred-site.xml 和 yarn-site.xml (這兩個文件在搭建hdfs時修改了的見hdfs文件夾下的搭建日誌) ----將工程打成jar包(wc.jar),同時在main方法中添加一個conf的配置參數
Configuration conf = new Configuration(); conf.set("mapreduce.job.jar","wc.jar");JAR包的位置要在運行程式的工程裡面。 3:在windows的eclipse中直接運行main方法,也可以提交給集群中運行,但是因為平臺不相容,需要做很多的設置修改(很麻煩忽略) ----要在windows中存放一份hadoop的安裝包(解壓好的) ----要將其中的lib和bin目錄替換成根據你的windows版本重新編譯出的文件 ----再要配置系統環境變數 HADOOP_HOME 和 PATH ----修改YarnRunner這個類的源碼