MongoDB - 模式設計

来源:https://www.cnblogs.com/fatedeity/archive/2022/12/26/17004969.html
-Advertisement-
Play Games

雖然說 MongoDB 是無模式的,但實際上模式設計在 MongoDB 中也非常重要。在實際開發中,大多數性能問題都可以追溯到糟糕的模式設計。 ...


註意事項

模式設計,即在文檔中表示數據的方式,對於數據表示來說時非常關鍵的。

為 MongoDB 做模式設計時,在性能、可伸縮性和簡單性方面是重中之重,也需要考慮一些特別的註意事項。

限制條件

與常見的 SQL 相比而言,MongoDB 有自己的限制條件:

  • 文檔最大限製為 16M 大小
  • 從磁碟讀寫完整文檔
  • 更新會重寫整個文檔
  • 在文檔級別進行原子更新

訪問模式

設計模式時最需要關註的就是資料庫的讀操作,在資料庫運行過程中,應儘量減少查詢的數量,這就需要在設計時確保一起查詢的數據存儲在同一個文檔中。

其實,就是考慮是否是否可以將動態(讀/寫)數據和靜態(主要是讀)數據分離開,如未經常使用的數據應該移到不同的集合中。

在進行模式設計時,提高最常見查詢的優先順序會獲得最佳的性能。

關係類型

數據之間的關係影響著文檔之間應該是內嵌還是引用。

比如說,需要弄清楚如何在不執行其他查詢的情況下引用文檔,以及當關係發生變化時需要更新多少文檔。

關係基數對於文檔之間的關係非常重要,如一對一、一對多、多對多、一對百萬、多對百萬等等關係基礎,影響的程度差距非常大,應選取最佳格式去做建模。

在關係基數的基礎上,還需關註訪問的情況、重要數據更新與讀取的比例,這些充分考慮之後,將有助於確定應採用內嵌文檔還是引用文檔。

範式化和反範式化

基本概念

通常來說,多文檔之間的關係可以使用反範式化(內嵌)或範式化(引用)。

範式化是指在文檔中引用外部數據的標識,同一份數據只存在一個地方。

在查詢時,查詢完整的數據需要做 JOIN 的操作,需要查詢多次才可能獲取到所需內容;但是在更改時僅需修改一處地方,不需要擔心破壞數據的完整性。

反範式化是指將外部數據複製一份存儲在文檔中,也就是說同一份數據存在多處地方。

在查詢時,只需查詢一次即可得到所需內容,查詢效率比較可觀;而在更改時,需要更新多處地方,可能會出現數據不一致的情況,不能保證完整性。

範式化選擇

決定何時採用範式化以及何時採用反範式化是比較困難的:通常,範式化的寫入速度更快,而反範式化的讀取速度更快。

通過判斷以下因素可決策選擇使用範式化還是反範式化:

更適合範式化 更適合反範式化
較大子文檔 較小子文檔
數據經常變更 數據不經常變更
數據要強一致 數據最終一致即可
文檔數據大幅增加 文檔數據小幅增加
數據通常不包含在結果中 數據通常需要執行二次查詢才能獲得
快速寫入 快速讀取

模型設計小技巧

指導原則

通常來說,具有類似模式的文檔應該保存在同一個集合中。

對於集合來說,需要考慮的一個大問題是鎖機制(每個文檔都有一個讀/寫鎖)和存儲。

當使用 --directoryperdb 選項時,每個資料庫都可以保留在自己的目錄中,這允許你將不同的資料庫掛載到不同的捲中。

同一個應用程式連接的資料庫可以根據業務進行劃分,也許可以將高價值的業務數據存儲在 SSD 上,或者是使用 RAID10 進行存儲,而低價值的數據可以存儲在 RAID0 上。

刪除舊數據

有些數據只在短時間內比較重要,過了這段時間,保存這些數據只是再浪費存儲空間。

刪除舊數據有 3 種常見的方式:使用固定集合、使用 TTL 索引、使用多個集合。

最簡單的方式是使用固定集合:將集合大小設置成一個較大的值,並讓舊數據從固定集合的末尾被“刪除”。

第二種方式是使用 TTL 集合:TTL 集合可以更精確地控制刪除文檔的時間,但其在寫入量過大的集合中操作速度不夠快。

最後一種方式是使用多個集合:例如每個月的文檔都單獨使用一個集合。

一致性管理

MongoDB 支持多種一致性級別,從總是能夠讀取自己所寫的數據到讀取不確定的舊數據。

其內部實現是伺服器端為每一個資料庫連接都維護了請求隊列,同一個連接發來的請求都會被添加到隊列的末尾,連接中的任何後續請求都將依次得到處理。

這個管理方式涉及到多個客戶端連接會出現併發問題,在一個連接中插入文檔後,在另一個連接的後續查詢卻不一定會返回這個文檔(實際上已經插入成功)。

同樣的一致性問題在 MongoDB 擁有副本集時也會出現,副本節點的數據與主節點的數據總是會有時間差,高併發的請求同樣存在讀取到舊數據的風險。

MongoDB 提供了 readConcern 選項來控制被讀取數據的一致性和隔離性。它通常與 writerConcern 組合使用,以控製為應用程式提供的一致性和可用性保證:

如果 readConcern=local,從當前實例查詢並返回結果,不能保證數據已經寫入大多數副本集成員。預設在主庫讀,如果本次讀取使用了 causally consistent 則在從庫讀。

如果 readConcern=available,從當前實例查詢並返回結果,不能保證數據已經寫入大多數副本集成員。預設在從庫讀,並且此選項與 causally consistent 不能同時使用。

如果 readConcern=majority,查詢結果返回被副本集的大多數成員確認的數據,讀操作返回的文檔是持久化的。前提是 MongoDB 必須是 WiredTiger 存儲引擎。

如果 readConcern=linearizable,查詢可能會等待併發執行的寫操作傳播到大多數副本集成員,然後再返回結果。

如果 readConcern=snapshot,這是適用於多文檔事務中的操作,通常情況下使用較少。

模式遷移

隨著應用程式的增長和需求的變化,資料庫模式也可能需要隨之增長和改變。理想情況下,如果可以的話,應該考慮使用文檔版本控制模式。

最簡單的方式是根據應用程式的需要改進資料庫模式,以確保應用程式支持所有的舊版模式。但是這種方式可能會導致混亂,特別是當不同版本的模式存在衝突時。

為了以一種更結構化的方式處理不斷變化的需求,可以在每個文檔中包含一個 version 欄位,並使用它來確定應用程式將接受的文檔結構。

最後一種方式是在模式變更時遷移所有數據。但這通常不是一個好主意:會給系統帶來壓力,還必須確保所有文檔都被更新成功。

模式管理

MongoDB 3.2 引入了模式驗證,其可以在更新和插入操作期間對數據進行驗證。

MongoDB 3.6 又通過 $jsonSchema 運算符添加了 JSON 模式驗證,現在這是 MongoDB 中所有模式驗證的推薦方法。

只有當文檔被更改時,驗證功能才會檢查這些文檔,並且此功能是每個集合都需要單獨配置的。

要向現有集合添加驗證功能,可以在 collMod 命令中使用 validator 選項。在使用 db.createCollection() 時,可以通過指定 validator 選項將驗證添加到新集合中。

MongoDB 還提供了兩個額外的選項:

  • validationLevel: 決定了在更新過程中驗證規則對現有文檔檢查的嚴格程度
  • validationAction: 決定了是應該在發生錯誤時拒絕請求,還是允許請求併發出警告

當然,更詳細的相關內容可以查看 官方文檔

編寫代碼來處理數據完整性問題

為保證 MongoDB 數據的完整性,有可能需要在應用程式中增加必要的邏輯代碼進行處理,也需要增加定時任務來保持數據的一致性。

有可能需要有以下的任務:

  • 一致性修複程式:檢查計算和重覆數據以確保每個人都具有一致的值
  • 預填充器:創建將來需要的文檔
  • 聚合:保持內聯聚合為最新
  • 架構檢查器:確保當前使用的文檔集都具有一組欄位,可以自動更正它們
  • 定時備份:定期鎖定和轉儲資料庫

首發於「程式員翔仔」,點擊查看更多。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 哈嘍兄弟們,我是鄭再陽,馬上要成楊過了! 讀者:在下羊了個羊! 最近總是聽說哪裡哪裡陽了,哪個公司又團滅了,emmm~ 於是乎看了幾天後,終於輪到咱了,全公司同一天中招,直呼好家伙! 還好咱們備藥了,但是我就是不吃,哎就是玩,憑著強健的體魄,我硬是一顆藥沒吃挺過來了,吃藥的和沒吃藥的差不多,都是四天 ...
  • 準備工作開發環境 Python版本:3.7.8 相關模塊:requests模塊;tqdm模塊;pyfreeproxy模塊;pyechats模塊;以及一些python自帶的模塊。 效果預覽開始界面 游戲規則 wasd 控制人物的移動,空格啟動律師函炸毀全部籃球。 代碼實現 導入模塊 import py ...
  • P5721 【深基4.例6】數字直角三角形 1.題目描述 給出 n,請輸出一個直角邊長度是 n 的數字直角三角形。所有數字都是 2 位組成的,如果沒有 2 位則加上前導 00。 2.輸入格式 輸入一個正整數 n。 3.輸出格式 輸出如題目要求的數字直角三角形。 4.輸入輸出樣例 4.1輸入 5 4. ...
  • JZ57 和為S的兩個數字 題目 輸入一個升序數組 array 和一個數字S,在數組中查找兩個數,使得他們的和正好是S,如果有多對數字的和等於S,返回任意一組即可,如果無法找出這樣的數字,返回一個空數組即可。 方法1 暴力解題 思路 演算法實現 兩次迴圈,兩個值相加與sum進行比較,為true直接br ...
  • 一個簡單的C#實例。包括:GRPC文件的創建生成、服務端和客戶端函數類庫的封裝、創建服務端和客戶端調用測試。若有錯誤或更好的方法還請指正。 1、創建並生成GRPC服務文件 (1)打開vs2022,創建新項目控制台應用(其他應用好像不行)。 (2)需要安裝三個nuget包,如圖: (3)項目添加新建項 ...
  • 雲計算時代,資料庫上雲已成為產業數字化轉型的重要動力。近期,在2022騰訊全球數字生態大會雲原生資料庫技術探索專場上,騰訊雲分享了在雲原生資料庫領域的技術演進與探索,並就其在不同行業場景中的最佳實踐進行了詳細講解,為廣大企業運用雲原生資料庫實現業務創新提供了有效借鑒。 騰訊雲資料庫高級工程師潘怡飛在 ...
  • 摘要:Spring框架對JDBC的簡單封裝。提供了一個JDBCTemplate對象簡化JDBC的開發。 本文分享自華為雲社區《Spring JdbcTemplate使用解析》,作者: 共飲一杯無 。 Spring框架對JDBC的簡單封裝。提供了一個JDBC Template對象簡化JDBC的開發 步 ...
  • 大數據時代,NoSQL資料庫是企業構建數據能力的核心工具之一。近期,在2022騰訊全球數字生態大會NoSQL資料庫專場上,騰訊雲發佈了多項NoSQL產品能力升級,並重點講解了其背後的自研技術要點及實現細節,分享了騰訊雲NoSQL為廣大企業提供的高可靠、高效率、低成本的企業級特性及行業解決方案。 開場 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...