易趣:使用MongoDB創建關鍵業務的多數據中心應用

来源:https://www.cnblogs.com/Tsoagta/archive/2018/02/01/8401265.html
-Advertisement-
Play Games

eBay:使用MongoDB創建關鍵業務的多數據中心應用 作為全球前十的零售品牌,eBay的活躍用戶有一億七千多萬,並擁有跨越全世界190個市場的10億購物清單,這樣的規模下,eBay絕對不允許出現宕機的情況。這也就是為什麼公司會依賴於MongoDB提供企業級平臺標準以及面向用戶的應用。 在今年的M ...


eBay:使用MongoDB創建關鍵業務的多數據中心應用

作為全球前十的零售品牌,eBay的活躍用戶有一億七千多萬,並擁有跨越全世界190個市場的10億購物清單,這樣的規模下,eBay絕對不允許出現宕機的情況。這也就是為什麼公司會依賴於MongoDB提供企業級平臺標準以及面向用戶的應用。

 

在今年的MongoDB World conference大會上,eBay的首席NoSQL DBA,Feng Qu,為大家展示了他以及他的團隊開發的用來支持企業級MongoDB部署的一整套架構—彈性應用的實用設計模式。

 

Qu先生首先探討了“可用性”這個概念在最近幾年的變化。在過去,網址進行周期性的定時停服維護是正常的,但是,最近幾年,隨著如今服務的全球化,用戶以及企業都不再接受這樣的停服操作。除此之外,大部分組織機構把他們的服務部署在商業硬體平臺而不是之前的Sun Solaris / Sparc 。商業硬體相對更加便宜,但是出現問題的頻率也相對較高。這些因素都實質上影響著軟體團隊對可用性的看法。這也eBay要創建“彈性設計模式”的初衷,就是要創建最佳的資料庫系統可以最大化平均失效時間(MTTF)同時最小化平均恢復時間(MTTR)。

 

開發人員創建應用的時候可以選擇五種企業認可的資料庫標準。除了MongoDB,還可以選擇oracle和MySQL這樣的關係型資料庫以及另外兩種nosql資料庫系統。Qu先生的團隊會為他們的選擇提一些意見,保證所選的資料庫系統可以支撐數據讀取模式、用戶壓力等等。

 

eBay目前運行著3000多非關係型資料庫實例,支撐著大量應用以及應用之間PB級別的數據傳輸。在過去,oracle是記錄系統,非關係型資料庫只維護一些臨時數據,現在非關係型資料庫的場景已經成熟,不僅擁有一致性、具體到點的備份以及及時恢復性,MongoDB在eBay中的有些場景中也可作為記錄系統。

 

儘管eBay的非關係型資料庫提供內置的故障彈性,他們也可以選擇不同的設計權衡來影響應用的表現。DBA在選擇時主要是考慮以下幾個方面:可用性、一致性、持久性、可恢復性、伸縮性以及性能。例如,使用點對點的無主設計的nosql資料庫在一個節點故障後必須啟動數據修複和重新平衡的過程,這些過程的代價很大。重新平衡的進程會嚴重影響系統的吞吐量和延遲,客戶端等待恢復的時候會造成連接堵塞,進而導致應用出現故障。為了避免這種情況,eBay在無主資料庫的上層增加了一個應用層面的分片,這個方法最初是為oracle設計的。DBA使用這種方式可以把一個大的集群分解成一系列的子集群,把重建的負荷放在個別節點上,隻影響個別查詢操作。正是為了應對不同類型的資料庫行為,eBay才建立的彈性設計模式。

Qu先生為我們展示了下圖的MongoDB彈性設計模式

 

 

在這種設計模式下,MongoDB複製集的7個節點分佈在eBay在美國的三個不同的數據中心。這種模式可以在主節點遇到故障時,資料庫集群可以保持可用性。可以為MongoDB的複製集成員分配優先順序,這個優先順序可以決定主節點遇到故障後哪個次節點可以被推舉為新的主節點。例如,可以設定在主節點故障後,位於DC1的節點可以優先被選舉為主節點。只有DC1中多有的節點都出現故障,DC2中的成員才可以被選舉為主節點,當然新的節點選舉的依據是,從原來節點中同步到最新的數據的節點才是主節點。這種模式的一個延伸做法是使用MongoDB的“大多數寫入關註”來保證跨數據中心的寫入持久性。

 

MongoDB的標準設計模式是eBay的“高密集、高可用讀取模式”的基礎,此模式用於支撐eBay的產品目錄模塊。為了應對產品目錄模塊的壓力,需要把MongoDB的複製集成員擴展到50個,為讀取擴展性以及彈性提供了分散式數據架構。

 

eBay開發了“高性能讀寫模式”以支撐高密度的寫入壓力,這種模式是把MongoDB集群的分片伺服器分佈在美國不同數據中心。

 

 

同樣,開發人員可以對這種模式具體的讀寫關註進行設置,調整系統持久性以及彈性以滿足不同應用的需求。

Qu先生指出,隨著MongoDB的功能的增強,MongoDB可以用來滿足更多的應用需求:

l  MongoDB3.4中引入的zone sharding功能可以使eBay支撐那些對分散式以及持續寫入可用性要求較高的應用。

l  即將在MongoDB3.6中發佈的可重寫操作,可以減少應用端的異常處理代碼

如果想深入瞭解eBay的設計模式,可以參考Feng Qu在MongoDB大會上的分享。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 每天背著電腦上下班,懶得帶滑鼠,公司給配的電腦的滑鼠竟然還是PS2介面的,無法用於筆記本,然後每天就只能用觸摸板了。雖然Thinkpad觸摸板還是不錯的,但畢竟還是不方便,這是要好好學一下快捷鍵了。自己會的快捷鍵太少,今天百度了一下才發現還有那麼多好用的快捷鍵,趕緊記錄下來。 常規快捷鍵 Win+E ...
  • 相容性非常強的兩個函數 SUMIF() 說相容性,當然得說SUMIF了。 來,我們先舉個例子。 現有一個表格,算起來只有"科目劃分"、"發生額"兩列內容,但是折成了很多列。 我們需要統計"郵寄費"的總發生額。 這可怎麼辦呀,總不能手動整成兩列吧? 這時候,SUMIF的相容性就顯現出來了。 還是像往常... ...
  • 用戶和組 用戶user 組group Linux 組的類別: 用戶和組的配置文件 passwd 文件格式 shadow 文件格式 密碼加密(/etc/shadow) 密碼的複雜性策略 密碼期限 group 文件格式(/etc/group) gshdow 文件格式(/etc/gshadow) 新建用戶 ...
  • 創建新用戶 創建一個叫xiaoming的用戶: [root@192 ~]# adduser xiaoming 為這個用戶初始化密碼,linux會判斷密碼複雜度,不過可以強行忽略: [root@192 ~]# passwd xiaoming更改用戶 xiaoming 的密碼 。新的 密碼:無效的密碼: ...
  • 相關實驗示例 創建文件系統 創建和刪除swap分區 以文件方式創建和刪除swap分區 實現配額 創建和刪除軟RAID 邏輯捲相關 創建iso文件 ...
  • 相關命令工具 lsof sync mknod losetup uuidgen free df du lscpu dd convert ...
  • ## 1.下載xl2tpd.tar.gz源碼包 ```wget http://pkgs.fedoraproject.org/repo/pkgs/xl2tpd/xl2tpd-1.3.8.tar.gz/d244fdcd88f64601b64b7302870afca8/xl2tpd-1.3.8.tar.g ...
  • package com.test.test; import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.sql.Connection;impor ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...