MongoDB資料庫的設計規範

来源:https://www.cnblogs.com/xuliuzai/archive/2018/10/31/9884178.html
-Advertisement-
Play Games

MongoDB是非關係型資料庫的典型代表,DB-Engines Ranking 數據顯示,近年來,MongoDB在NoSQL領域一直獨占鰲頭。MongoDB是為快速開發互聯網應用 而設計的資料庫系統,其數據模型和持久化策略就是為了構建高讀/寫的性能,並且可以方面的彈性拓展。目前公司使用到的Mongo ...


MongoDB是非關係型資料庫的典型代表,DB-Engines Ranking 數據顯示,近年來,MongoDB在NoSQL領域一直獨占鰲頭。MongoDB是為快速開發互聯網應用 而設計的資料庫系統,其數據模型和持久化策略就是為了構建高讀/寫的性能,並且可以方面的彈性拓展。目前公司使用到的MongoDB的主要場景有 庫存中心(原料出入庫、商品出入庫、商品上下架變動、與其它系統平臺的交互報文等)、物流配送(訂單的物流信息、配送信息、地理位置信息等)、日誌中心(系統應用和APP的log信息、調用依賴信息等)、商品中心(商品數據、推送信息等)、運維管理平臺(收集記錄的變更信息等)等。隨著MongoDB的普及和使用量的快速增長,為了規範使用,便於管理和獲取更高的性能,整理此文檔。我們從 資料庫設計規範、集合設計規範、文檔設計規範、連接規範、操作規範等5個方面進行闡述和要求。

1. 資料庫設計規範

(1)資料庫名約定為小寫。

(2)資料庫名稱不能包含除’_’以外的特殊字元,例如:/ \ . “ $。

(3)資料庫名稱最多為64個字元。

(4)資料庫上線需經過DBA評審。

2. 集合設計規範

(1)集合名稱約定為小寫。

(2)集合名稱不能包含除’_’以外的特殊字元字元;集合名稱禁止以system.開頭。

(3)集合名稱的最大長度為64個字元,包括首碼的【database.】內容。

(4)集合名稱的命名規則和MySQL資料庫表的命名規則相同。

a)   同一模塊的集合儘可能使用相同的首碼名,集合名稱儘可能表達用途。

b)   數據表 <模塊標識>_<表標識> 例如: order_header , order_detail

c)   編碼表 base_<模塊標識>_<表標識>

d)   日誌表 log_<模塊標識>_<表標識>

(5)固定集合可以用於記錄日誌,其插入數據更快,可以實現在插入數據時,淘汰最早的數據。固定集合需要顯式創建,指定Size的大小,還能夠指定文檔的數量。集合不管先達到哪一個限制,之後插入的新文檔都會把最老的文檔移出。

(6)索引命名:idx_<構成索引的欄位名>。如果欄位名字過長,可採用欄位縮寫。

3. 文檔設計規範

(1)Key的命名規範:不能以$開頭;不能包含.(點號)。

(2)文檔中的_id鍵推薦使用預設值,禁止向_id中保存自定義的值。

        解讀:MongoDB文檔中都會有一個“_id”鍵,預設是個ObjectID對象(標識符中包含時間戳、機器ID、進程ID和計數器)。MongoDB在指定_id與不指定_id插入時速度相差很大,指定_id會減慢插入的速率。

(3)推薦使用短欄位名。

        解讀:與關係型資料庫不同,MongoDB集合中的每一個文檔都需要存儲欄位名,長欄位名會需要更多的存儲空間。

(4)禁止在同一個集合欄位中存儲多個數據類型的數據。

(5)如若將日期類型選擇為string,不同的日期格式的文檔,不支持等值查詢,不支持範圍查詢。

        解讀:創建一個測試集合product,分別向集合插入Date:"20180425"和Date:"2018-04-25"兩筆數據。等值查詢、範圍查詢($gte, $lte)只能查到日期格式相同的數據,都為一筆數據。

(6)MongoDB大小寫敏感,如果欄位無需大小寫敏感,為了提高查詢效率,應儘量在統一了大小寫之後再插入到資料庫中。

(7)MongoDB是文檔型資料庫,數據以BSON形式存儲在文檔中。MongoDB能夠支持最大16 MB的文檔大小。建議儘量不要存儲大型對象,將文檔控制在16 MB以內。

(8)通過$size查詢數組大小,但是$size運算符不使用索引和限制準確匹配(不能指定$Sized 範圍)。因此,如果需要基於數組的大小執行查詢,可以在文檔設計中增加size屬性。

        解讀:例如在商品評價中,其他人可以對評價進行投票。為了阻止用戶多次投票和對有幫助的評論進行排序,所以,評價文檔設計是:在一個數組欄位(voter_ids)保存了所有評論用戶的ID,而數組大小緩存在helpful_votes欄位里。

(9)分片鍵必須有索引,分片鍵大小限製為512byte,一旦集合已經分片,不可以直接修改分片鍵。不接受向已進行分片的collection上插入無分片鍵的文檔,也不支持空值插入。

(10)片鍵的設計原則:

           a)   所有的插入、更新、刪除將會均勻發送到集群的所有分片中。

           b)   所有的查詢將會在集群中的所有分片中均勻地分發。

           c)   所有的更新或者刪除操作將會只面向相關的分片,不會發送到一個沒有存儲被修改數據的分片上。

           d)   一個查詢將不會被髮送到沒有存儲被查詢數據的分片上。

4. 連接規範

(1)正確連接副本集,副本集提供了數據的保護、高可用和災難恢復的機制。如果主節點宕機,其中一個從節點會自動提升為從節點。

(2)合理控制連接池的大小,限制連接數資源,可通過Connection String URL中的maxPoolSize 參數來配置連接池大小。

(3)複製集讀選項

         預設情況下,複製集的所有讀請求都發到Primary,Driver可通過設置的Read Preference 來將讀請求路由到其他的節點。

a)   Primary:預設規則,所有讀請求發到Primary。

b)   PrimaryPreferred: Primary優先,如果Primary不可達,請求Secondary。

c)   Secondary:所有的讀請求都發到Secondary。

d)   SecondaryPreferred:Secondary優先,當所有的Secondary不可達時,請求Primary。

e)   Nearest:讀請求發送到最近的可達節點上(通過ping探測得出最近的節點)。 

5. 操作規範

(1)MongoDB資料庫更新文檔有兩種實現方式—文檔替換和目標欄位更新。既可以完整替換現有的文檔,也可以使用更新操作符來修改某個欄位。

        解讀:使用操作符,例如$set操作符和$push操作符,無論原始的大小,可以更新文檔里的指定欄位。頻繁文檔更新的場景下,使用目標更新可以在序列化和傳輸數據上花費更少的時間,獲得更好的性能。

(2)多文檔更新,在預設情況下,只會更新匹配查詢器的第一個文檔。要更新所有的匹配文檔,需要顯式指定多文檔更新模式--添加參數multi:true。

(3)在文檔級別更新是原子性的,這意味著一條更新10個文檔的語句可能在更新3個文檔後由於某些原因失敗。應用程式必鬚根據自己的策略來處理這些失敗。

(4)update結合upsert可以用來處理,當文檔存在時更新,文檔不存在時插入。如果查詢選擇器匹配,更新就正常執行;如果沒有匹配的文檔,就會插入新的文檔。新文檔的欄位是查詢選擇器和目標更新文檔的邏輯合併。

(5)複製集的數據安全及寫策略,Write Concern 用於控制寫入安全的級別。

        解答:Write Concern 是一個性能和數據一致性的權衡,應根據業務場景進行設定。對於強一致性場景,建議w>1或者等於majority。

(6)聚合框架是MongoDB的高級查詢語言,它允許通過轉換和合併由多個文檔中的數據來生成新的單個文檔里不存在的文檔信息。可以把MongoDB的聚合框架等價於SQL的Group By 語句。

(7)在聚合框架中,$project操作符允許過濾傳遞給管道下一個階段的欄位。限制每個文檔傳遞的大小,可以改善性能,尤其是在處理大文檔且只需要每個文檔一部分數據的場景下。

 

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

 本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 實驗機器: Kali虛擬機一臺(192.168.163.133) Windows XP虛擬機一臺(192.168.163.130) 如何用Kali虛擬機一步一步“黑掉”這個windowsXP虛擬機呢? 用到的軟體: SLmail程式(存在緩衝區溢出漏洞) ImmunityDebugger(調試工具) ...
  • linux的資料比較零散,經常是好不容易查到了,然後幾秒鐘就忘了,然後就怎麼都找不到了。看來學這個不能偷懶,必須要隨時隨地把資料給記錄下來。這就是這篇博文的意義。Xfce 一個圖形桌面環境。debian 一個linux發行版。引導提示符,按tab編輯命令行:desktop=xfceX Window ... ...
  • 下麵是我們在使用AlwaysOn過程中遇到的一個切換案例。這個案例發生在2014年8月,雖然時間相對久遠了,但是對我們學習理解AlwaysOn的FailOver原理和過程還是很有幫助的。本次FailOver的觸發原因是系統I/O問題。大家需要理解,操作系統I/O出現了問題不一定立即觸發SQL Ser ...
  • Alluxio的基本特性:透明數據緩存機制;抽象數據訪問API;和適用應用場景分析,主要包括複雜系統設計解耦和計算存儲分離應用場景的性能加速。 ...
  • Oracle條件查詢 參考網址:http://www.oraclejsq.com/article/010100259.html Oracle條件查詢時經常使用=、IN、LIKE、BETWEEN...AND來作為條件查詢的操作符。在Oracle select 查詢中where條件經常使用到這幾個操作符 ...
  • 今天小試了一把Percona Monitoring Plugins for Zabbix模板,自己辛辛苦苦寫的那一大堆Python腳本,貌似用這個模板全都覆蓋到了。 但是,我也發現最新的版本percona monitoring plugins_1.1.8也還是存在一個問題,那就是用於Mysql Re ...
  • 一. SDS概述 Redis 沒有直接使用C語言傳統的字元串表示,而是自己構建了一種名為簡單動態字元串(simple dynamic string, SDS)的抽象類型,並將SDS用作Redis的預設字元串表示。Redis只會使用C字元串作為字面量。在Redis里,使用SDS來表示字元串值,是一個可 ...
  • 在安裝和測試hive之前,我們需要把Hadoop的所有服務啟動 在安裝Hive之前,我們需要安裝mysql資料庫 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...