使用hadoop mapreduce分析mongodb數據

使用hadoop mapreduce分析mongodb數據

（現在很多互聯網爬蟲將數據存入mongdb中，所以研究了一下，寫此文檔）

版權聲明：本文為yunshuxueyuan原創文章。
如需轉載請標明出處： http://www.cnblogs.com/sxt-zkys/
QQ技術交流群：299142667

一、 mongdb的安裝和使用

1、 官網下載mongodb-linux-x86_64-rhel70-3.2.9.tgz

2、 解壓 （可以配置一下環境變數）

3、 啟動服務端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(後臺啟動)

第一種：不帶auth認證的

第二種：需要帶auth認證的（即需要用戶名和密碼的）

當指定用戶名和密碼在查看數據，發現就可以看得到了

4、 啟動客戶端

./mongo

5、客戶端shell命令

show dbs    顯示mongodb中有哪些資料庫

db    顯示當前正在用的資料庫

use db    你要使用的資料庫名

(註：若database不存在，則會創建一個，此時若不做任何操作直接退出，則MongoDB會刪除該資料庫)

db.auth(username,password)  username為用戶名,password為密碼 登陸你要使用的資料庫

db.getCollectionNames()  查看當前資料庫有哪些表

db.[collectionName].insert({...})  給指定資料庫添加文檔記錄

db.[collectionName].findOne()   查找文檔的第一條數據

db.[collectionName].find()   查找文檔的全部記錄

db.[collection].update({查詢條件},{$set:{更新內容}})   更新一條文檔記錄

db.[collection].drop()   刪除資料庫中的集合

db.dropDatabase()   刪除資料庫

二、 Mapreduce 分析mongodb的數據實例

1、 編寫mapreduce的代碼前，需要另外添加兩個jar包，還有需（jdk1.7以上）

2、 需求介紹與實現

原數據：

結果數據：

代碼編寫：

Job：

Mapper:

Reduce:

最終的結果數據：

三、 最後給大家推薦一個mongodb資料庫的管理工具，挺好用的

版權聲明：本文為yunshuxueyuan原創文章。
如需轉載請標明出處： http://www.cnblogs.com/sxt-zkys/
QQ技術交流群：299142667