MongoDB分片,唯一索引與upsert

来源:https://www.cnblogs.com/wefeng/archive/2019/09/24/11580862.html
-Advertisement-
Play Games

分片,唯一索引和upsert,錶面上看似沒有直接聯繫的幾個東西,到底存在怎樣的瓜葛呢? ...


前言

分片,唯一索引和upsert,錶面上看似沒有直接聯繫的幾個東西,到底存在怎樣的瓜葛呢?

分片

為了保持水平擴展的有效性,分片功能必須保證各個片之間沒有直接關聯,不需要與其他分片交互就可以獨立做出決策。如果不能滿足這一點,隨著分片數量不斷增加,需要交互的分片越來越多,勢必會越來越慢,那麼就違背了分片的初衷了。比如JOIN就是一種典型的破壞分片獨立性的功能。在一個n個分片的集群中,為了得到笛卡爾積,每個分片必須與其他n-1個分片交互來得到結果。雖然不見得是線性的延遲增長(因為n-1個請求可以並行),但是可想而知對資源將是極大的消耗,並且隨著分片數量的增長影響會越來越顯著,最終會到達“增加一個分片可能對性能完全沒有幫助”,或者“增加一個分片反而降低性能”的地步。

唯一索引

唯一索引是另外一個顯著破壞分片獨立性的特性。前面對JOIN的分析完全適用於唯一索引,並且更糟的情況是唯一索引還有有更進一步的惡劣影響,那就是在寫入數據的時候必須占用一個跨分片的全局鎖,否則無法保證其唯一性,可想而知對性能有怎樣的影響。這也是MongoDB為什麼不打算去實現全局唯一索引的原因。

有一種特殊情況卻可以改變這種不利狀況,那就是唯一索引的鍵正好是片鍵的時候。片鍵一旦確定,文檔該去哪個分片就確定了,那麼只要保證該鍵在這一個片上唯一就可以了,不再需要去與其他分片協商。

upsert

從語義上講,我們使用upsert一般是希望一個鍵只出現一次的(不然每次insert就好了)。這一點恰恰是唯一索引要乾的事情,而唯一索引又存在上面的所說的問題,因此唯一有意義的情況則是upsert使用的條件正好是片鍵,且片鍵唯一。
滿足了上面這些條件就高枕無憂了嗎?並不是。在決定一個鍵是不是存在,到執行update/insert之間,是存在空隙的。即,檢測和執行並不在一個原子操作中,也不可能在一個原子操作中,否則將是一個很大粒度的鎖。再說,MongoDB對文檔級別並沒有真正通過加鎖來控制,而是通過“樂觀併發控制”(optimistic concurrency control)來進行的。
因此,出於效率考慮,不是原子操作是正確的選擇,而解決這個問題也不是特別麻煩的事情,實際上只需要在遇到duplicate key異常的時候重試該操作就可以了,因為重試的時候理論上就應該變成update而不再是insert,自然避免了問題。或者,在4.2中直接實現了這類錯誤的自動重試(SERVER-37124)。

參考資料


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • memory:表示可用可分配的記憶體; 結束完memblock演算法初始化前的準備工作,回到memblock演算法初始化及其演算法實現上面。memblock是一個很簡單的演算法。 memblock演算法的實現是,它將所有狀態都保存在一個全局變數__initdata_memblock中,演算法的初始化以及記憶體的申請 ...
  • 一、查看文件或目錄的許可權:ls -al 文件名/目錄名 1 keshengtao@LAPTOP-F9AFU4OK:~$ ls -al 2 total 16 3 drwxr-xr-x 1 keshengtao keshengtao 512 Sep 24 11:03 . 4 drwxr-xr-x 1 r ...
  • #學習Linux,從小白開始,知識是由淺到深,一步一步慢慢來。總有一天你就是大佬~ 首先學習下關於linux的發展和一些歷史,就像你想瞭解一個人,你得瞭解他的過去,才能足夠瞭解他。 先瞭解下開源共用精神。 複製自由:允許把軟體複製到任何人的電腦中,不限制複製數量 傳播自由:允許軟體以各種形式傳播 收 ...
  • 不管是重啟系統還是關閉系統,首先要運行 sync 命令,把記憶體中的數據寫到磁碟中。將數據由記憶體同步寫入到硬碟中。 一、shutdown命令 二、reboot命令 三、halt命令 四、poweroff命令(網上說是halt命令的鏈接,基本用法和 halt 差不多) 五、init命令 Linux系統有 ...
  •     查看內部命令和外部命令幫助 一、內部命令   可以用type來判斷該命令是內部命令還是外部命令,type後加要查看的命令. 示例寫法:type enable   有的命令既有內部命令也有外部命令但是系統會優先使用 ...
  • 網路上已經有許多在kernel中修改開機Logo的文章,本文就LK下實現開機logo進行簡述 需要用到ffmpeg工具,沒有安裝ffmpeg請參考這裡: "http://blog.csdn.net/redstarofsleep/article/details/45092145" 運行"ffmpeg ...
  • [TOC] 第十六章、資料庫之多表關係 欄位操作 多表關係 外鍵 一對一:無級聯關係 一對一:有級聯關係(外鍵加unique約束) 一對多 多對多 ...
  • 一直以為很瞭解sqlserver的加鎖過程,在分析一些特殊情況下的死鎖之後,尤其是併發單表操作發生的死鎖,對於加解鎖的過程,有了一些重新的認識,之前的知識還是有一些盲區在裡面的。delete加鎖與解鎖步驟是怎麼樣的?什麼時候對那些對象,加什麼類型的瑣,加鎖與索引的關係是怎麼樣的,什麼時候釋放鎖?整個 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...