因公司項目需要,開始接觸大數據分析這塊知識。網上關於大數據這塊的知識還是比較多的。學習了一個禮拜了,再次記錄一下,自己的學習過程,希望可以幫助後學者少走一些彎路。 服務端的配置,由於公司項目經理已經配置好,我也就沒有過多的接觸,我所記錄的更多的是如果使用大數據。(JDK 和Eclipse不講了) 1 ...
因公司項目需要,開始接觸大數據分析這塊知識。網上關於大數據這塊的知識還是比較多的。學習了一個禮拜了,再次記錄一下,自己的學習過程,希望可以幫助後學者少走一些彎路。
服務端的配置,由於公司項目經理已經配置好,我也就沒有過多的接觸,我所記錄的更多的是如果使用大數據。(JDK 和Eclipse不講了)
1、下載Hadoop開發環境,下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz 。(下載之後裡面的bin文件夾下少兩個文件hadoop.dll和winutils.exe需下載下來放入裡面,地址:http://download.csdn.net/download/lyfzxf/9942732)下載之後需要配置環境變數。這個百度上都有,沒難度。
2、首先是安裝MyEclipse 插件,
插件下載地址:http://download.csdn.net/download/lyfzxf/9942700。下載之後直接放到eclipse下麵的plugins夾下就好
3、重啟eclipse 在Windows –Preferences 下麵會出現Hadoop Map/Reduce,點擊關聯到我們本地的Hadoop文件
配置後,打開Map/Reduce視圖模式
找到Map/Reduce Loacations操作欄,新建Location 並配置伺服器路徑
至此我們的配置就完成了,此時左邊的文件結構一欄會出現 DFS Locations一欄。下麵顯示的就是伺服器端的文件。我們可以通過滑鼠右鍵對其文件進行增刪。
也可以通過代碼對其進行增刪。我會在下篇博客介紹。