1、MongoDB介紹 1.1 什麼是MongoDB ? MongoDB 是由C++語言編寫的,是一個基於分散式文件存儲的開源資料庫系統。 在高負載的情況下,添加更多的節點,可以保證伺服器性能。 MongoDB 旨在為WEB應用提供可擴展的高性能數據存儲解決方案。 MongoDB 將數據存儲為一個文 ...
1、MongoDB介紹
1.1 什麼是MongoDB ?
- MongoDB 是由C++語言編寫的,是一個基於分散式文件存儲的開源資料庫系統。
- 在高負載的情況下,添加更多的節點,可以保證伺服器性能。
- MongoDB 旨在為WEB應用提供可擴展的高性能數據存儲解決方案。
- MongoDB 將數據存儲為一個文檔,數據結構由鍵值(key=>value)對組成。MongoDB 文檔類似於 JSON 對象。欄位值可以包含其他文檔,數組及文檔數組。
1.2 主要特點
- MongoDB 是一個面向文檔存儲的資料庫,操作起來比較簡單和容易。
- 你可以在MongoDB記錄中設置任何屬性的索引 (如:FirstName="Sameer",Address="8 Gandhi Road")來實現更快的排序。
- 你可以通過本地或者網路創建數據鏡像,這使得MongoDB有更強的擴展性。
- 如果負載的增加(需要更多的存儲空間和更強的處理能力) ,它可以分佈在電腦網路中的其他節點上這就是所謂的分片。
- Mongo支持豐富的查詢表達式。查詢指令使用JSON形式的標記,可輕易查詢文檔中內嵌的對象及數組。
- MongoDb 使用update()命令可以實現替換完成的文檔(數據)或者一些指定的數據欄位 。
- Mongodb中的Map/reduce主要是用來對數據進行批量處理和聚合操作。
- Map和Reduce。Map函數調用emit(key,value)遍歷集合中所有的記錄,將key與value傳給Reduce函數進行處理。
- Map函數和Reduce函數是使用Javascript編寫的,並可以通過db.runCommand或mapreduce命令來執行MapReduce操作。
- GridFS是MongoDB中的一個內置功能,可以用於存放大量小文件。
- MongoDB允許在服務端執行腳本,可以用Javascript編寫某個函數,直接在服務端執行,也可以把函數的定義存儲在服務端,下次直接調用即可。
- MongoDB支持各種編程語言:RUBY,PYTHON,JAVA,C++,PHP,C#等多種語言。
- MongoDB安裝簡單。
1.3 MongoDB 概念解析
不管我們學習什麼資料庫都應該學習其中的基礎概念,在mongodb中基本的概念是文檔、集合、資料庫,下麵我們挨個介紹。
(1)下表將幫助您更容易理解Mongo中的一些概念:
SQL術語/概念 | MongoDB術語/概念 | 解釋/說明 |
---|---|---|
database | database | 資料庫 |
table | collection | 資料庫表/集合 |
row | document | 數據記錄行/文檔 |
column | field | 數據欄位/域 |
index | index | 索引 |
table joins | 表連接,MongoDB不支持 | |
primary key | primary key | 主鍵,MongoDB自動將_id欄位設置為主鍵 |
通過下圖實例,我們也可以更直觀的瞭解Mongo中的一些概念:
(2)下表列出了 RDBMS 與 MongoDB 對應的術語:
RDBMS | MongoDB |
---|---|
資料庫 | 資料庫 |
表格 | 集合 |
行 | 文檔 |
列 | 欄位 |
表聯合 | 嵌入文檔 |
主鍵 | 主鍵 (MongoDB 提供了 key 為 _id ) |
資料庫服務和客戶端 | |
Mysqld/Oracle | mongod |
mysql/sqlplus | mongo |
1.3.1 文檔
(1)介紹
文檔是一組鍵值(key-value)對(即BSON)。MongoDB 的文檔不需要設置相同的欄位,並且相同的欄位不需要相同的數據類型,這與關係型資料庫有很大的區別,也是 MongoDB 非常突出的特點。
一個簡單的文檔例子如下:
{"site":"www.along.com", "name":"阿龍"}
(2)需要註意的是:
- 文檔中的鍵/值對是有序的。
- 文檔中的值不僅可以是在雙引號裡面的字元串,還可以是其他幾種數據類型(甚至可以是整個嵌入的文檔)。
- MongoDB區分類型和大小寫。
- MongoDB的文檔不能有重覆的鍵。
- 文檔的鍵是字元串。除了少數例外情況,鍵可以使用任意UTF-8字元。
(3)文檔鍵命名規範:
- 鍵不能含有\0 (空字元)。這個字元用來表示鍵的結尾。
- .和$有特別的意義,只有在特定環境下才能使用。
- 以下劃線"_"開頭的鍵是保留的(不是嚴格要求的)。
1.3.2 集合
(1)介紹
集合就是 MongoDB 文檔組,類似於 RDBMS (關係資料庫管理系統:Relational Database Management System)中的表格。
集合存在於資料庫中,集合沒有固定的結構,這意味著你在對集合可以插入不同格式和類型的數據,但通常情況下我們插入集合的數據都會有一定的關聯性。
比如,我們可以將以下不同數據結構的文檔插入到集合中:
{"site":"www.baidu.com"} {"site":"www.google.com","name":"Google"} {"site":"www.along.com","name":"阿龍","num":5}
當第一個文檔插入時,集合就會被創建。
(2)合法的集合名
- 集合名不能是空字元串""。
- 集合名不能含有\0字元(空字元),這個字元表示集合名的結尾。
- 集合名不能以"system."開頭,這是為系統集合保留的首碼。
- 用戶創建的集合名字不能含有保留字元。有些驅動程式的確支持在集合名裡面包含,這是因為某些系統生成的集合中包含該字元。除非你要訪問這種系統創建的集合,否則千萬不要在名字里出現$。
如下實例:
db.col.findOne()
(3)capped collections
Capped collections 就是固定大小的collection。
它有很高的性能以及隊列過期的特性(過期按照插入的順序). 有點和 "RRD" 概念類似。
Capped collections 是高性能自動的維護對象的插入順序。它非常適合類似記錄日誌的功能和標準的 collection 不同,你必須要顯式的創建一個capped collection,指定一個 collection 的大小,單位是位元組。 collection 的數據存儲空間值提前分配的。
Capped collections 可以按照文檔的插入順序保存到集合中,而且這些文檔在磁碟上存放位置也是按照插入順序來保存的,所以當我們更新Capped collections 中文檔的時候,更新後的文檔不可以超過之前文檔的大小,這樣話就可以確保所有文檔在磁碟上的位置一直保持不變。
由於 Capped collection 是按照文檔的插入順序而不是使用索引確定插入位置,這樣的話可以提高增添數據的效率。MongoDB 的操作日誌文件 oplog.rs 就是利用 Capped Collection 來實現的。
要註意的是指定的存儲大小包含了資料庫的頭信息。
db.createCollection("mycoll", {capped:true, size:100000})
- 在 capped collection 中,你能添加新的對象。
- 能進行更新,然而,對象不會增加存儲空間。如果增加,更新就會失敗 。
- 使用 Capped Collection 不能刪除一個文檔,可以使用 drop() 方法刪除 collection 所有的行。
- 刪除之後,你必須顯式的重新創建這個 collection。
- 在32bit機器中,capped collection 最大存儲為 1e9( 1X109)個位元組。
1.3.3 資料庫
(1)介紹
在MongoDB中,多個文檔組成集合,多個集合可以組成資料庫。
一個mongodb中可以建立多個資料庫。
MongoDB的預設資料庫為"db",該資料庫存儲在data目錄中。
MongoDB的單個實例可以容納多個獨立的資料庫,每一個都有自己的集合和許可權,不同的資料庫也放置在不同的文件中。
(2)命令操作
① "show dbs" 命令可以顯示所有數據的列表。
> show dbs admin 0.000GB config 0.000GB local 0.000GB
② 執行 "db" 命令可以顯示當前資料庫對象或集合。
> db admin
③ 運行"use"命令,可以連接到一個指定的資料庫,如果資料庫不存在會創建資料庫。
> use local switched to db local > db local
(3)資料庫也通過名字來標識。資料庫名可以是滿足以下條件的任意UTF-8字元串。
- 不能是空字元串("")。
- 不得含有' '(空格)、.、$、/、\和\0 (空字元)。
- 應全部小寫。
- 最多64位元組。
(4)有一些資料庫名是保留的,可以直接訪問這些有特殊作用的資料庫。
- admin: 從許可權的角度來看,這是"root"資料庫。要是將一個用戶添加到這個資料庫,這個用戶自動繼承所有資料庫的許可權。一些特定的伺服器端命令也只能從這個資料庫運行,比如列出所有的資料庫或者關閉伺服器。
- local: 這個數據永遠不會被覆制,可以用來存儲限於本地單台伺服器的任意集合
- config: 當Mongo用於分片設置時,config資料庫在內部使用,用於保存分片的相關信息。
1.3.4 元數據
(1)資料庫的信息是存儲在集合中。它們使用了系統的命名空間:
dbname.system.*
(2)在MongoDB資料庫中名字空間 <dbname>.system.* 是包含多種系統信息的特殊集合(Collection),如下:
集合命名空間 | 描述 |
---|---|
dbname.system.namespaces | 列出所有名字空間。 |
dbname.system.indexes | 列出所有索引。 |
dbname.system.profile | 包含資料庫概要(profile)信息。 |
dbname.system.users | 列出所有可訪問資料庫的用戶。 |
dbname.local.sources | 包含複製對端(slave)的伺服器信息和狀態。 |
(3)對於修改系統集合中的對象有如下限制。
在{{system.indexes}}插入數據,可以創建索引。但除此之外該表信息是不可變的(特殊的drop index命令將自動更新相關信息)。
{{system.users}}是可修改的。 {{system.profile}}是可刪除的。
1.4 MongoDB 數據類型
下表為MongoDB中常用的幾種數據類型。
數據類型 | 描述 |
---|---|
String | 字元串。存儲數據常用的數據類型。在 MongoDB 中,UTF-8 編碼的字元串才是合法的。 |
Integer | 整型數值。用於存儲數值。根據你所採用的伺服器,可分為 32 位或 64 位。 |
Boolean | 布爾值。用於存儲布爾值(真/假)。 |
Double | 雙精度浮點值。用於存儲浮點值。 |
Min/Max keys | 將一個值與 BSON(二進位的 JSON)元素的最低值和最高值相對比。 |
Array | 用於將數組或列表或多個值存儲為一個鍵。 |
Timestamp | 時間戳。記錄文檔修改或添加的具體時間。 |
Object | 用於內嵌文檔。 |
Null | 用於創建空值。 |
Symbol | 符號。該數據類型基本上等同於字元串類型,但不同的是,它一般用於採用特殊符號類型的語言。 |
Date | 日期時間。用 UNIX 時間格式來存儲當前日期或時間。你可以指定自己的日期時間:創建 Date 對象,傳入年月日信息。 |
Object ID | 對象 ID。用於創建文檔的 ID。 |
Binary Data | 二進位數據。用於存儲二進位數據。 |
Code | 代碼類型。用於在文檔中存儲 JavaScript 代碼。 |
Regular expression | 正則表達式類型。用於存儲正則表達式。 |
下麵說明下幾種重要的數據類型。
1.4.1 ObjectId
(1)介紹
ObjectId 類似唯一主鍵,可以很快的去生成和排序,包含 12 bytes,含義是:
- 前 4 個位元組表示創建 unix 時間戳,格林尼治時間 UTC 時間,比北京時間晚了 8 個小時
- 接下來的 3 個位元組是機器標識碼
- 緊接的兩個位元組由進程 id 組成 PID
- 最後三個位元組是隨機數
(2)註意
MongoDB 中存儲的文檔必須有一個 _id 鍵。這個鍵的值可以是任何類型的,預設是個 ObjectId 對象
由於 ObjectId 中保存了創建的時間戳,所以你不需要為你的文檔保存時間戳欄位,你可以通過 getTimestamp 函數來獲取文檔的創建時間:
> var newObject = ObjectId() > newObject.getTimestamp() ISODate("2018-12-28T03:22:25Z")
(3)ObjectId 轉為字元串
> newObject.str 5c25972c9c9c7e85af88d54f
1.4.2 字元串
BSON 字元串都是 UTF-8 編碼。
1.4.3 時間戳
BSON 有一個特殊的時間戳類型用於 MongoDB 內部使用,與普通的 日期 類型不相關。 時間戳值是一個 64 位的值。其中:
- 前32位是一個 time_t 值(與Unix新紀元相差的秒數)
- 後32位是在某秒中操作的一個遞增的序數
在單個 mongod 實例中,時間戳值通常是唯一的。
在複製集中, oplog 有一個 ts 欄位。這個欄位中的值使用BSON時間戳表示了操作時間。
BSON 時間戳類型主要用於 MongoDB 內部使用。在大多數情況下的應用開發中,你可以使用 BSON 日期類型。
1.4.4 日期
表示當前距離 Unix新紀元(1970年1月1日)的毫秒數。日期類型是有符號的, 負數表示 1970 年之前的日期。
> var mydate1 = new Date() //格林尼治時間 > mydate1 ISODate("2018-12-28T03:12:02.646Z") > typeof mydate1 object > var mydate2 = ISODate() //格林尼治時間 > mydate2 ISODate("2018-12-28T03:12:15.669Z") > typeof mydate2 object
這樣創建的時間是日期類型,可以使用 JS 中的 Date 類型的方法。
返回一個時間類型的字元串:
> var mydate1str = mydate1.toString() > mydate1str Fri Dec 28 2018 11:12:02 GMT+0800 (CST) > typeof mydate1str string
或者
> Date() Fri Dec 28 2018 11:13:34 GMT+0800 (CST)
2、下載安裝、啟動MongoDB
2.1 下載MongoDB
MongoDB 提供了 linux 各發行版本 64 位的安裝包,你可以在官網下載安裝包。
下載地址:https://www.mongodb.com/download-center#community,選擇自己需要的版本
下載完安裝包,並解壓 tgz(以下演示的是 64 位 Linux上的安裝)
(1)解壓
[root@along ~]# cd /usr/local/ [root@along local]# tar -xzvf mongodb-linux-x86_64-4.0.5.tgz
(2)創建軟連接,方便以後更換版本
[root@along local]# ln -s mongodb-linux-x86_64-4.0.5 mongodb
(3)配置環境變數
[root@along local]# vim /etc/profile.d/mongodb.sh
[root@along local]# cat /etc/profile.d/mongodb.sh
export MONGODB_HOME=/usr/local/mongodb export PATH=$PATH:$MONGODB_HOME/bin
[root@along local]# source /etc/profile.d/mongodb.sh
2.2 編寫配置文件
(1)準備MongoDB所需的目錄
[root@along ~]# cd /usr/local/mongodb
[root@along mongodb]# mkdir etc data log
[root@along mongodb]# touch log/mongod.log
(2)編寫配置文件,借鑒gitlab
[root@along mongodb]# vim etc/mongodb.conf
# mongod.conf # for documentation of all options, see: # http://docs.mongodb.org/manual/reference/configuration-options/ # where to write logging data. systemLog: destination: file logAppend: true path: /usr/local/mongodb/mongod.log # Where and how to store data. storage: dbPath: /usr/local/mongodb/data journal: enabled: true # engine: # wiredTiger: # how the process runs processManagement: fork: true # fork and run in background pidFilePath: /usr/local/mongodb/mongod.pid # location of pidfile #timeZoneInfo: /usr/share/zoneinfo # network interfaces net: port: 27017 bindIp: 0.0.0.0 # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, alternatively, use the net.bindIpAll setting. security: authorization: enabled
2.3 啟動MongoDB
(1)使用命令啟動MongoDB
[root@along mongodb]# mongod -f etc/mongodb.conf
[root@along mongodb]# mongod --shutdown -f /etc/mongodb.conf ---關閉服務命令
[root@along mongodb]# ss -nutlp |grep 27017
tcp LISTEN 0 128 *:27017 *:* users:(("mongod",pid=12961,fd=11))
(2)將MongoDB設為開機自啟
[root@along ~]# vim /etc/init.d/mongodb
#!/bin/bash export MONGO_HOME=/usr/local/mongodb #chkconfig:2345 20 90 #description:mongod #processname:mongod case $1 in start) $MONGO_HOME/bin/mongod --config $MONGO_HOME/etc/mongodb.conf ;; stop) $MONGO_HOME/bin/mongod --shutdown --config $MONGO_HOME/etc/mongodb.conf ;; status) ps -ef | grep mongod ;; restart) $MONGO_HOME/bin/mongod --shutdown --config $MONGO_HOME/etc/mongodb.conf $MONGO_HOME/bin/mongod --config $MONGO_HOME/etc/mongodb.conf ;; *) echo "require start|stop|status|restart" ;; esac
[root@along ~]# chmod +x /etc/init.d/mongodb
[root@along ~]# chkconfig --add /etc/init.d/mongodb
可以使用systemctl 啟動關閉MongoDB伺服器
[root@along ~]# systemctl start mongodb
[root@along ~]# systemctl stop mongodb
2.4 登入MongoDB
[root@along ~]# mongo
MongoDB shell version v4.0.5 connecting to: mongodb://127.0.0.1:27017/?gssapiServiceName=mongodb Implicit session: session { "id" : UUID("b12b375a-ed71-4a65-8a05-e7792ca8cd82") } MongoDB server version: 4.0.5 >
3、MongoDB安全管理
上面我們所做的所有的操作都沒有涉及到用戶,我們在用Oracle、MySQL或者MSSQL時都有用戶名密碼需要登錄才可以操作,MongoDB中當然也有,但是需要我們手動添加。在添加之前,我們先來說說MongoDB中用戶管理的幾個特點:
- MongoDB中的賬號是在某一個庫裡邊進行設置的,我們在哪一個庫裡邊進行設置,就要在哪一個庫裡邊進行驗證。
- 創建用戶時,我們需要指定用戶名、用戶密碼和用戶角色,用戶角色表示了該用戶的許可權。
3.1 創建root管理員賬號
[root@along ~]# mongo
MongoDB shell version v4.0.5 connecting to: mongodb://127.0.0.1:27017/?gssapiServiceName=mongodb Implicit session: session { "id" : UUID("a36d4d10-be27-4848-981a-8fca29a57dea") } MongoDB server version: 4.0.5 > show dbs #查詢資料庫,因為沒有許可權,所以不顯示資料庫 --- 創建root管理員用戶 > use admin switched to db admin > db.createUser({user:"root",pwd:"along",roles:["root","userAdminAnyDatabase"]}) Successfully added user: { "user" : "root", "roles" : [ "root", "userAdminAnyDatabase" ] } --- 認證登錄root用戶,返回1認證登錄成功 > db.auth("root","along") 1 > show users #查看創建用戶 { "_id" : "admin.root", "user" : "root", "db" : "admin", "roles" : [ { "role" : "userAdminAnyDatabase", "db" : "admin" } ], "mechanisms" : [ "SCRAM-SHA-1", "SCRAM-SHA-256" ] } > show dbs #查詢資料庫 admin 0.000GB config 0.000GB local 0.000GB > exit bye
3.2 具體角色註解
user表示用戶名,pwd表示密碼,role表示角色,db表示這個用戶應用在哪個資料庫上。用戶的角色,有如下幾種:
角色名 | 意義 |
---|---|
Read | 允許用戶讀取指定資料庫 |
readWrite | 允許用戶讀寫指定資料庫 |
dbAdmin | 允許用戶在指定資料庫中執行管理函數,如索引創建、刪除,查看統計或訪問system.profile |
userAdmin | 允許用戶向system.users集合寫入,可以找指定資料庫里創建、刪除和管理用戶 |
clusterAdmin | 只在admin資料庫中可用,賦予用戶所有分片和複製集相關函數的管理許可權。 |
readAnyDatabase | 只在admin資料庫中可用,賦予用戶所有資料庫的讀許可權 |
readWriteAnyDatabase | 只在admin資料庫中可用,賦予用戶所有資料庫的讀寫許可權 |
userAdminAnyDatabase | 只在admin資料庫中可用,賦予用戶所有資料庫的userAdmin許可權 |
dbAdminAnyDatabase | 只在admin資料庫中可用,賦予用戶所有資料庫的dbAdmin許可權。 |
root | 只在admin資料庫中可用。超級賬號,超級許可權 |
3.3 再次登錄認證
(1)在登入後認證
[root@along ~]# mongo
> show dbs #沒有許可權報錯 2018-12-28T14:49:11.832+0800 E QUERY [js] Error: listDatabases failed:{ "ok" : 0, "errmsg" : "command listDatabases requires authentication", "code" : 13, "codeName" : "Unauthorized" } : _getErrorWithCode@src/mongo/shell/utils.js:25:13 Mongo.prototype.getDBs@src/mongo/shell/mongo.js:124:1 shellHelper.show@src/mongo/shell/utils.js:876:19 shellHelper@src/mongo/shell/utils.js:766:15 @(shellhelp2):1:1 > use admin #認證,因為在admin下麵添加的帳號,所以要到admin下麵驗證。 switched to db admin > db.auth("root","along") #認證成功 1 > show dbs admin 0.000GB config 0.000GB local 0.000GB
(2)在登錄時直接認證
[root@along ~]# mongo -u "root" -p "along" --port=27017
> show dbs admin 0.000GB config 0.000GB local 0.000GB
4、MongoDB增刪改查操作
4.1 資料庫的增刪改查
> use test #有則切換,無則新增 switched to db test > show dbs #查看所有資料庫 admin 0.000GB config 0.000GB local 0.000GB > db #查看當前庫 test > db.test.insert({"name":"along"}) #在test庫中插入一些數據,show dbs才能顯示test庫 WriteResult({ "nInserted" : 1 }) > show dbs admin 0.000GB config 0.000GB local 0