1 簡介 眾所周知(你不知也當你知), 是以文檔( )組織數據的。除了常用於存儲 數據,它也是可以存儲普通文件的。我們可以把一些文件以 的格式存入 ,十分方便,比較說圖片、文本文件等。但 的`BSON Document 16MB MongoDB GridFS 16MB GridFS`存儲。 2 基本 ...
1 簡介
眾所周知(你不知也當你知),MongoDB
是以文檔(Document
)組織數據的。除了常用於存儲Json
數據,它也是可以存儲普通文件的。我們可以把一些文件以BSOON
的格式存入MongoDB
,十分方便,比較說圖片、文本文件等。但MongoDB
的BSON Document
有大小限制,最大不能超過16MB
。這對我們存儲大文件是不方便的。還好,MongoDB
為我們提供了GridFS
文件存儲組件,讓我們可以存儲超過16MB
的文件,小文件當然也可以了。接下來讓我們一起學習一下這個GridFS
存儲。
2 基本原理與概念
GridFS
原理比較簡單,就是把大文件拆成小文件來存儲而已。當我們存入一個文件時,預設使用集合fs.files
和fs.chunks
來存儲文件。其中fs.files
存儲的是文件的信息,fs.chunks
用來存放文件內容,以BSON
格式存放。
fs.files
的一條記錄如下:
{
"_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
"length" : NumberLong(1048576),
"chunkSize" : 261120,
"uploadDate" : ISODate("2020-05-21T17:03:06.217Z"),
"filename" : "pkslow.txt",
"metadata" : {}
}
欄位解釋:
_id
:主鍵ID;
length
:文件大小;
chunkSize
:chunk的大小,決定要分幾個chunk來存放文件;
uploadDate
:文件上傳時間;
filename
:文件名;
metadata
:文件其它信息,可以自定義加上,這樣有利於後續的檢索和使用等。
fs.chunks
的一條記錄如下:
{
"_id" : ObjectId("5ec6b44af3760d5999bd1c94"),
"files_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
"n" : 2,
"data" : { "$binary" : "xxxxxxxxx", "$type" : "00" }
}
欄位解釋:
_id
:主鍵ID;
files_id
:所存內容對應的文件ID,可以看到與fs._id
的值是一樣的;
n
:第幾個chunk的索引,從0開始;
data
:文件內容;
從感觀上看了兩個集合的欄位,相信大家基本知道GridFS
是怎麼組織數據的了。當我們存入一個文件時,如果文件較小,小於chunkSize
,則會把文件信息存入fs.files
,只有一條記錄;文件內容會存入fs.chunks
,也只有一條記錄。如果存的文件大於chunkSize
,也會在fs.files
生成一條記錄,但在fs.chunks
中會生成多條記錄來存放文件內容。如下圖所示:
MongoDB
為我們建立了相關索引,可以加速查詢,如fs.files
的文件名和上傳時間;fs.chunks
的文件ID和n。
3 常用mongofiles命令
講了基本原理,我們來實際操作一下,使用MongoDB
給我們準備好的命令來做一些操作。當然,首先要有一個安裝好的資料庫,可以參考《用Docker安裝一個MongoDB最新版玩玩》。
我們都是使用mongofiles
命令進行操作的,需要指定比較多的參考,例如下麵的命令用於列出所有文件:
mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb list
為了不要每次都輸入這麼長的命令,我們加個別名:
alias mf='mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb'
列出文件:
mf list
存入文件:存入的文件名與本地文件名一樣。
mf put pksow.txt
讀取文件:
mf get pkslow.txt
查找文件:
mf search pkslow
刪除文件:
mf delete pkslow.txt
指定自定義文件名:
mf --local pkslow.txt put /com/pkslow.txt
4 總結
發揮你的想象力,GridFS
能做的事很多,存圖片、音頻、視頻等,有時我們只想查看大文件的部分內容,也能方便實現。
註:本文使用的MongoDB
版本為4.2.1
。
歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章!
歡迎關註微信公眾號<南瓜慢說>,將持續為你更新...
多讀書,多分享;多寫作,多整理。