你以為的MongoDB副本集的高可用是真的高可用了嗎?

来源:https://www.cnblogs.com/liyingxiao/archive/2018/09/25/9562407.html
-Advertisement-
Play Games

很久沒來更新博客,自感是一個只會搬磚的勞工,總搞些MySQL相關的資料庫實在無聊,且時不時遇到些不講道理的Dev吧,真的是心累至極,有種想回頭我也去乾開發的衝動,當個需求者有話語權要風得風,要雨得雨多帥。以上純屬個人小目標,萬一哪天實現了呢,豈不美滋滋,從此走上人生巔峰,頓覺做技術不再那麼枯燥了。 ...


  很久沒來更新博客,自感是一個只會搬磚的勞工,總搞些MySQL相關的資料庫實在無聊,且時不時遇到些不講道理的Dev吧,真的是心累至極,有種想回頭我也去乾開發的衝動,當個需求者有話語權要風得風,要雨得雨多帥。以上純屬個人小目標,萬一哪天實現了呢,豈不美滋滋,從此走上人生巔峰,頓覺做技術不再那麼枯燥了。

       最近接觸了另一種當下比較流行的MongoDB資料庫,不覺又get了一項新技能,可以與人“侃侃而談”了。談點兒個人感受吧,MongoDB是一個非常不錯的文檔型資料庫,一些覺得MySQL資料庫存儲json文檔維護成本高可以放到MongoDB;不藉助其他第三方工具實現高可用和分片功能,這類似與MySQL的MHA、MMM,實現了高可用的故障切換,保障了服務可用;另一大特性分片可以實現數據的分部均衡,大數據量的時候通過路由實現了伺服器的負載均衡,這個功能實現了網易前段時間開源的Cetus的功能,但自帶的工具相容性會好一些,維護起來也方便。

        我剛接觸MongoDB也覺得這種資料庫開發者很仁義,不僅提供了一個新型的場景資料庫,還想到了服務高可用,甚至延伸到了另一個階段數據量上來了,伺服器單集群或者機器性能不足的問題。可是真當遇到了,你真的會以為高可用就能高可用了嗎?如果你告訴我MongoDB自帶的投票機制可以,那待我分享下最近的兩次慘痛經歷,你還會相信絕對嗎?

        MongoDB的OOM問題:MongoDB是最近才交付給DB運維的資料庫,之前一直由op進行維護,可以講公司以及集團內部熟悉MongoDB的人幾乎沒有,so配置文件很粗糙,對於記憶體沒有做限制。終於有一天一個復用的MongoDB集群不堪忍受爆發了,大致是datavisor的任務多個進程,單進程占用了12G記憶體,MongoDB也沒有做記憶體限制,半夜3點、6點分別出現OOM宕機事故。可氣的是半夜宕機呀,誰能忍受。宕了一臺也就算了,集群另一臺也因為同樣的問題GG了,然後服務不可用。告警出現disaster級別,領導各種指導,一頓忙活(限制MongoDB記憶體,讓出資源給datavisor使用)終於解決了這個連續兩天集群宕機的故障。(MongoDB是一種較吃記憶體的數據,按照官方文檔的意思大概是物理記憶體的一半減少一個G就是MongoDB占用的記憶體,但是呢經過我的test發現事實並不是這樣)。

        不要問我為什麼MongoDB的集群OOM問題能查兩天,出現三次集群宕機的低級事故,下麵談下當今最火的數據倉庫給各位DBA帶來的暴擊傷害。

       MongoDB的網路限速處理:如果你的公司恰好有數據倉庫部門,業務數據量大或者抽取策略不合理,那麼我覺得你有必要考慮下MongoDB的網路限速,否則容易將核心業務交換機流量打滿,單個抽取的伺服器網卡流量打滿,被抽取的MongoDB機器出現故障切換後二次沒得切換出現集群崩塌的局面。

        以上兩點淺嘗輒止,簡短分析下,不詳細贅述了,說多了又該講講那些我anscript批量動網卡承擔的風險,加班加點排查問題,差點兒一覺醒來鍋從天降。總歸這些還是值得,讓我覺得高可用有時候並不能真的高可用,出現崩塌的時候又該何去何從,這是個問題。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Tcpdump抓包分析過程 一、TCP連接建立(三次握手) 過程 客戶端A,伺服器B,初始序號seq,確認號ack 初始狀態:B處於監聽狀態,A處於打開狀態 A -> B : seq = x (A向B發送連接請求報文段,A進入同步發送狀態SYN-SENT) B -> A : ack = x + 1, ...
  • 轉自:https://mp.weixin.qq.com/s?__biz=MzAxODI5ODMwOA==&mid=2666539134&idx=1&sn=5166f0aac718685382c0aa1cb5dbca45&scene=5&srcid=0527iHXDsFlkjBlkxHbM2S3E#r ...
  • 最近都在和Linux打交道,感覺還不錯。我覺得Linux相比windows比較麻煩的就是很多東西都要用命令來控制,當然,這也是很多人喜歡linux的原因,比較短小但卻功能強大。我將我瞭解到的命令列舉一下,僅供大家參考: 系統信息 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理 ...
  • End ...
  • 轉自: http://www.maomao365.com/?p=813 在製作 MSSQL同步工具的時候,發現由於主外鍵的約束,導致數據同步異常,所有我們需要把 讀資料庫裡面的主外鍵約束,進行批量刪除操作. 1 如何批量查詢資料庫的主外鍵? 在MSSQL2005以上版本中,系統提供一個系統視圖 sy ...
  • SQL語言對大小寫不敏感,但一般使用大。1.創建資料庫 CREATE DATABASE test; 2.授予許可權 CRANT ALL ON test.* to user(s); 3.使用指定資料庫 USE test; 4.刪除資料庫(可刪除資料庫里所有的表數據,並將其從系統中刪除) DROP DAT ...
  • 1.NosqL 非關係型資料庫,裡面包含Redis和MondoDB2.為什麼會用到關係型資料庫?因為當數據量太多,訪問人數過多的時候,在訪問關係型資料庫時會到硬碟里進行讀寫過多 這樣就會導致訪問速度很慢,伺服器壓力很大。3.這個時候,我們就可以使用非關係型資料庫,它相當於一個緩存區, 把一些經常用的 ...
  • 前幾天在看 2018 雲棲大會,來自中科院計算所的陳世敏研究員在“資料庫內核專場”做了一場《NVM在資料庫領域的研究和探索 》的報告演講。在30分鐘的演講中,其中有近10頁PPT的內容和B+Tree這種索引有關。 例如其中的兩頁 為此,將自己對索引相關的理解梳理如下: 1.什麼是索引? 索引是磁碟上 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...