MongoDB - 模式設計

来源:https://www.cnblogs.com/fatedeity/archive/2022/12/26/17004969.html
-Advertisement-
Play Games

雖然說 MongoDB 是無模式的,但實際上模式設計在 MongoDB 中也非常重要。在實際開發中,大多數性能問題都可以追溯到糟糕的模式設計。 ...


註意事項

模式設計,即在文檔中表示數據的方式,對於數據表示來說時非常關鍵的。

為 MongoDB 做模式設計時,在性能、可伸縮性和簡單性方面是重中之重,也需要考慮一些特別的註意事項。

限制條件

與常見的 SQL 相比而言,MongoDB 有自己的限制條件:

  • 文檔最大限製為 16M 大小
  • 從磁碟讀寫完整文檔
  • 更新會重寫整個文檔
  • 在文檔級別進行原子更新

訪問模式

設計模式時最需要關註的就是資料庫的讀操作,在資料庫運行過程中,應儘量減少查詢的數量,這就需要在設計時確保一起查詢的數據存儲在同一個文檔中。

其實,就是考慮是否是否可以將動態(讀/寫)數據和靜態(主要是讀)數據分離開,如未經常使用的數據應該移到不同的集合中。

在進行模式設計時,提高最常見查詢的優先順序會獲得最佳的性能。

關係類型

數據之間的關係影響著文檔之間應該是內嵌還是引用。

比如說,需要弄清楚如何在不執行其他查詢的情況下引用文檔,以及當關係發生變化時需要更新多少文檔。

關係基數對於文檔之間的關係非常重要,如一對一、一對多、多對多、一對百萬、多對百萬等等關係基礎,影響的程度差距非常大,應選取最佳格式去做建模。

在關係基數的基礎上,還需關註訪問的情況、重要數據更新與讀取的比例,這些充分考慮之後,將有助於確定應採用內嵌文檔還是引用文檔。

範式化和反範式化

基本概念

通常來說,多文檔之間的關係可以使用反範式化(內嵌)或範式化(引用)。

範式化是指在文檔中引用外部數據的標識,同一份數據只存在一個地方。

在查詢時,查詢完整的數據需要做 JOIN 的操作,需要查詢多次才可能獲取到所需內容;但是在更改時僅需修改一處地方,不需要擔心破壞數據的完整性。

反範式化是指將外部數據複製一份存儲在文檔中,也就是說同一份數據存在多處地方。

在查詢時,只需查詢一次即可得到所需內容,查詢效率比較可觀;而在更改時,需要更新多處地方,可能會出現數據不一致的情況,不能保證完整性。

範式化選擇

決定何時採用範式化以及何時採用反範式化是比較困難的:通常,範式化的寫入速度更快,而反範式化的讀取速度更快。

通過判斷以下因素可決策選擇使用範式化還是反範式化:

更適合範式化 更適合反範式化
較大子文檔 較小子文檔
數據經常變更 數據不經常變更
數據要強一致 數據最終一致即可
文檔數據大幅增加 文檔數據小幅增加
數據通常不包含在結果中 數據通常需要執行二次查詢才能獲得
快速寫入 快速讀取

模型設計小技巧

指導原則

通常來說,具有類似模式的文檔應該保存在同一個集合中。

對於集合來說,需要考慮的一個大問題是鎖機制(每個文檔都有一個讀/寫鎖)和存儲。

當使用 --directoryperdb 選項時,每個資料庫都可以保留在自己的目錄中,這允許你將不同的資料庫掛載到不同的捲中。

同一個應用程式連接的資料庫可以根據業務進行劃分,也許可以將高價值的業務數據存儲在 SSD 上,或者是使用 RAID10 進行存儲,而低價值的數據可以存儲在 RAID0 上。

刪除舊數據

有些數據只在短時間內比較重要,過了這段時間,保存這些數據只是再浪費存儲空間。

刪除舊數據有 3 種常見的方式:使用固定集合、使用 TTL 索引、使用多個集合。

最簡單的方式是使用固定集合:將集合大小設置成一個較大的值,並讓舊數據從固定集合的末尾被“刪除”。

第二種方式是使用 TTL 集合:TTL 集合可以更精確地控制刪除文檔的時間,但其在寫入量過大的集合中操作速度不夠快。

最後一種方式是使用多個集合:例如每個月的文檔都單獨使用一個集合。

一致性管理

MongoDB 支持多種一致性級別,從總是能夠讀取自己所寫的數據到讀取不確定的舊數據。

其內部實現是伺服器端為每一個資料庫連接都維護了請求隊列,同一個連接發來的請求都會被添加到隊列的末尾,連接中的任何後續請求都將依次得到處理。

這個管理方式涉及到多個客戶端連接會出現併發問題,在一個連接中插入文檔後,在另一個連接的後續查詢卻不一定會返回這個文檔(實際上已經插入成功)。

同樣的一致性問題在 MongoDB 擁有副本集時也會出現,副本節點的數據與主節點的數據總是會有時間差,高併發的請求同樣存在讀取到舊數據的風險。

MongoDB 提供了 readConcern 選項來控制被讀取數據的一致性和隔離性。它通常與 writerConcern 組合使用,以控製為應用程式提供的一致性和可用性保證:

如果 readConcern=local,從當前實例查詢並返回結果,不能保證數據已經寫入大多數副本集成員。預設在主庫讀,如果本次讀取使用了 causally consistent 則在從庫讀。

如果 readConcern=available,從當前實例查詢並返回結果,不能保證數據已經寫入大多數副本集成員。預設在從庫讀,並且此選項與 causally consistent 不能同時使用。

如果 readConcern=majority,查詢結果返回被副本集的大多數成員確認的數據,讀操作返回的文檔是持久化的。前提是 MongoDB 必須是 WiredTiger 存儲引擎。

如果 readConcern=linearizable,查詢可能會等待併發執行的寫操作傳播到大多數副本集成員,然後再返回結果。

如果 readConcern=snapshot,這是適用於多文檔事務中的操作,通常情況下使用較少。

模式遷移

隨著應用程式的增長和需求的變化,資料庫模式也可能需要隨之增長和改變。理想情況下,如果可以的話,應該考慮使用文檔版本控制模式。

最簡單的方式是根據應用程式的需要改進資料庫模式,以確保應用程式支持所有的舊版模式。但是這種方式可能會導致混亂,特別是當不同版本的模式存在衝突時。

為了以一種更結構化的方式處理不斷變化的需求,可以在每個文檔中包含一個 version 欄位,並使用它來確定應用程式將接受的文檔結構。

最後一種方式是在模式變更時遷移所有數據。但這通常不是一個好主意:會給系統帶來壓力,還必須確保所有文檔都被更新成功。

模式管理

MongoDB 3.2 引入了模式驗證,其可以在更新和插入操作期間對數據進行驗證。

MongoDB 3.6 又通過 $jsonSchema 運算符添加了 JSON 模式驗證,現在這是 MongoDB 中所有模式驗證的推薦方法。

只有當文檔被更改時,驗證功能才會檢查這些文檔,並且此功能是每個集合都需要單獨配置的。

要向現有集合添加驗證功能,可以在 collMod 命令中使用 validator 選項。在使用 db.createCollection() 時,可以通過指定 validator 選項將驗證添加到新集合中。

MongoDB 還提供了兩個額外的選項:

  • validationLevel: 決定了在更新過程中驗證規則對現有文檔檢查的嚴格程度
  • validationAction: 決定了是應該在發生錯誤時拒絕請求,還是允許請求併發出警告

當然,更詳細的相關內容可以查看 官方文檔

編寫代碼來處理數據完整性問題

為保證 MongoDB 數據的完整性,有可能需要在應用程式中增加必要的邏輯代碼進行處理,也需要增加定時任務來保持數據的一致性。

有可能需要有以下的任務:

  • 一致性修複程式:檢查計算和重覆數據以確保每個人都具有一致的值
  • 預填充器:創建將來需要的文檔
  • 聚合:保持內聯聚合為最新
  • 架構檢查器:確保當前使用的文檔集都具有一組欄位,可以自動更正它們
  • 定時備份:定期鎖定和轉儲資料庫

首發於「程式員翔仔」,點擊查看更多。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 哈嘍兄弟們,我是鄭再陽,馬上要成楊過了! 讀者:在下羊了個羊! 最近總是聽說哪裡哪裡陽了,哪個公司又團滅了,emmm~ 於是乎看了幾天後,終於輪到咱了,全公司同一天中招,直呼好家伙! 還好咱們備藥了,但是我就是不吃,哎就是玩,憑著強健的體魄,我硬是一顆藥沒吃挺過來了,吃藥的和沒吃藥的差不多,都是四天 ...
  • 準備工作開發環境 Python版本:3.7.8 相關模塊:requests模塊;tqdm模塊;pyfreeproxy模塊;pyechats模塊;以及一些python自帶的模塊。 效果預覽開始界面 游戲規則 wasd 控制人物的移動,空格啟動律師函炸毀全部籃球。 代碼實現 導入模塊 import py ...
  • P5721 【深基4.例6】數字直角三角形 1.題目描述 給出 n,請輸出一個直角邊長度是 n 的數字直角三角形。所有數字都是 2 位組成的,如果沒有 2 位則加上前導 00。 2.輸入格式 輸入一個正整數 n。 3.輸出格式 輸出如題目要求的數字直角三角形。 4.輸入輸出樣例 4.1輸入 5 4. ...
  • JZ57 和為S的兩個數字 題目 輸入一個升序數組 array 和一個數字S,在數組中查找兩個數,使得他們的和正好是S,如果有多對數字的和等於S,返回任意一組即可,如果無法找出這樣的數字,返回一個空數組即可。 方法1 暴力解題 思路 演算法實現 兩次迴圈,兩個值相加與sum進行比較,為true直接br ...
  • 一個簡單的C#實例。包括:GRPC文件的創建生成、服務端和客戶端函數類庫的封裝、創建服務端和客戶端調用測試。若有錯誤或更好的方法還請指正。 1、創建並生成GRPC服務文件 (1)打開vs2022,創建新項目控制台應用(其他應用好像不行)。 (2)需要安裝三個nuget包,如圖: (3)項目添加新建項 ...
  • 雲計算時代,資料庫上雲已成為產業數字化轉型的重要動力。近期,在2022騰訊全球數字生態大會雲原生資料庫技術探索專場上,騰訊雲分享了在雲原生資料庫領域的技術演進與探索,並就其在不同行業場景中的最佳實踐進行了詳細講解,為廣大企業運用雲原生資料庫實現業務創新提供了有效借鑒。 騰訊雲資料庫高級工程師潘怡飛在 ...
  • 摘要:Spring框架對JDBC的簡單封裝。提供了一個JDBCTemplate對象簡化JDBC的開發。 本文分享自華為雲社區《Spring JdbcTemplate使用解析》,作者: 共飲一杯無 。 Spring框架對JDBC的簡單封裝。提供了一個JDBC Template對象簡化JDBC的開發 步 ...
  • 大數據時代,NoSQL資料庫是企業構建數據能力的核心工具之一。近期,在2022騰訊全球數字生態大會NoSQL資料庫專場上,騰訊雲發佈了多項NoSQL產品能力升級,並重點講解了其背後的自研技術要點及實現細節,分享了騰訊雲NoSQL為廣大企業提供的高可靠、高效率、低成本的企業級特性及行業解決方案。 開場 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...