如何安放你的大文件,MongoDB GridFS可以幫助你

来源:https://www.cnblogs.com/larrydpk/archive/2020/05/22/12934745.html
-Advertisement-
Play Games

1 簡介 眾所周知(你不知也當你知), 是以文檔( )組織數據的。除了常用於存儲 數據,它也是可以存儲普通文件的。我們可以把一些文件以 的格式存入 ,十分方便,比較說圖片、文本文件等。但 的`BSON Document 16MB MongoDB GridFS 16MB GridFS`存儲。 2 基本 ...


1 簡介

眾所周知(你不知也當你知),MongoDB是以文檔(Document)組織數據的。除了常用於存儲Json數據,它也是可以存儲普通文件的。我們可以把一些文件以BSOON的格式存入MongoDB,十分方便,比較說圖片、文本文件等。但MongoDBBSON Document有大小限制,最大不能超過16MB。這對我們存儲大文件是不方便的。還好,MongoDB為我們提供了GridFS文件存儲組件,讓我們可以存儲超過16MB的文件,小文件當然也可以了。接下來讓我們一起學習一下這個GridFS存儲。

2 基本原理與概念

GridFS原理比較簡單,就是把大文件拆成小文件來存儲而已。當我們存入一個文件時,預設使用集合fs.filesfs.chunks來存儲文件。其中fs.files存儲的是文件的信息,fs.chunks用來存放文件內容,以BSON格式存放。

fs.files的一條記錄如下:

{
    "_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
    "length" : NumberLong(1048576),
    "chunkSize" : 261120,
    "uploadDate" : ISODate("2020-05-21T17:03:06.217Z"),
    "filename" : "pkslow.txt",
    "metadata" : {}
}

欄位解釋:

_id:主鍵ID;

length:文件大小;

chunkSize:chunk的大小,決定要分幾個chunk來存放文件;

uploadDate:文件上傳時間;

filename:文件名;

metadata:文件其它信息,可以自定義加上,這樣有利於後續的檢索和使用等。

fs.chunks的一條記錄如下:

{
    "_id" : ObjectId("5ec6b44af3760d5999bd1c94"),
    "files_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
    "n" : 2,
    "data" : { "$binary" : "xxxxxxxxx", "$type" : "00" }
}

欄位解釋:

_id:主鍵ID;

files_id:所存內容對應的文件ID,可以看到與fs._id的值是一樣的;

n:第幾個chunk的索引,從0開始;

data:文件內容;

從感觀上看了兩個集合的欄位,相信大家基本知道GridFS是怎麼組織數據的了。當我們存入一個文件時,如果文件較小,小於chunkSize,則會把文件信息存入fs.files,只有一條記錄;文件內容會存入fs.chunks,也只有一條記錄。如果存的文件大於chunkSize,也會在fs.files生成一條記錄,但在fs.chunks中會生成多條記錄來存放文件內容。如下圖所示:

GridFS

MongoDB為我們建立了相關索引,可以加速查詢,如fs.files的文件名和上傳時間;fs.chunks的文件ID和n。

3 常用mongofiles命令

講了基本原理,我們來實際操作一下,使用MongoDB給我們準備好的命令來做一些操作。當然,首先要有一個安裝好的資料庫,可以參考《用Docker安裝一個MongoDB最新版玩玩》。

我們都是使用mongofiles命令進行操作的,需要指定比較多的參考,例如下麵的命令用於列出所有文件:

mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb list

為了不要每次都輸入這麼長的命令,我們加個別名:

alias mf='mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb'

列出文件:

mf list

存入文件:存入的文件名與本地文件名一樣。

mf put pksow.txt

讀取文件:

mf get pkslow.txt

查找文件:

mf search pkslow

刪除文件:

mf delete pkslow.txt

指定自定義文件名:

mf --local pkslow.txt put /com/pkslow.txt

4 總結

發揮你的想象力,GridFS能做的事很多,存圖片、音頻、視頻等,有時我們只想查看大文件的部分內容,也能方便實現。

註:本文使用的MongoDB版本為4.2.1


歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章!

歡迎關註微信公眾號<南瓜慢說>,將持續為你更新...

多讀書,多分享;多寫作,多整理。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 路由參數解耦 一般在組件內使用路由參數,大多數人會這樣做: export default { methods: { getParamsId() { return this.$route.params.id } } } 在組件中使用 $route 會使之與其對應路由形成高度耦合,從而使組件只能在某些特 ...
  • 一、簡介 1、項目介紹 (1)基本介紹 使用 vue 以及 element-ui 搭建一個 後臺管理系統的模板。 當然,這類模板網上有很多,可以直接下載使用。 寫這個項目的目的,純屬練手(寫的比較糙)。 【layuiAdmin 後臺管理模板:(付費)】 https://www.layui.com/a ...
  • 1、Token:token是客戶端頻繁向伺服器端請求數據,伺服器頻繁的去資料庫查詢用戶名和密碼進行對比,判斷用戶名和密碼正確與否,並作出相應的提示,在這樣的背景下,token便應運而生了。 2、使用token的目的:token的目的是為了減輕伺服器的壓力,減少頻繁的查詢資料庫。 3、在前端請求後臺的 ...
  • 今天我們來談談Web和前端開發過程中需要學習什麼?前端開發需要使用什麼開發工具?也簡單介紹前端開發前景和薪水。 前端工程師的主要職責: 前端工程師在不同的公司有不同的功能,但性質相似。 1、網站設計與網頁界面開發 2、做網站界面開發 3、Web界面開發,前端數據綁定,前臺邏輯 4、設計、開發、數據 ...
  • 【目錄】 一、jQuery操作標簽 二、jQuery綁定事件 一、jQuery操作標簽 1、操作類 class js版本 jQuery版本classList.add() addClass()classList.remove() removeClass()classList.contains() ha ...
  • 本篇文章 idea 來自 "用了這麼多年的泛型,你對它到底有多瞭解?" ,恰好當時看了「深入 Java 虛擬機的第三版」瞭解泛型的一些歷史,感覺挺有意思的,就寫了寫 Java 版的泛型。 作為一個 Java 程式員,日常編程早就離不開泛型。泛型自從 JDK1.5 引進之後,真的非常提高生產力。一個簡 ...
  • 本文記錄,如何使用 Word VBA,把文件中,長圖切割並拆分到多個頁中去。 問題背景: 最近在處理一個 Word 文檔,發現裡面有特別長的圖片,超過了頁面大小,導致列印的時候,根本無法列印整張圖片;然後發現,Word 中,根本沒有辦法,設置“圖片跨頁顯示”;而且在網上查了半天,也沒有好辦法;於是, ...
  • 從水仙花數引出自冪數,並做簡單的介紹,並不做深入的瞭解,同時使用C++代碼初略的實現9位數之內的自冪數輸出! ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...