DB主從一致性架構優化4種方法

来源:http://www.cnblogs.com/Terry-Wu/archive/2017/08/21/7405962.html
-Advertisement-
Play Games

一、需求緣起 大部分互聯網的業務都是“讀多寫少”的場景,資料庫層面,讀性能往往成為瓶頸。如下圖:業界通常採用“一主多從,讀寫分離,冗餘多個讀庫”的資料庫架構來提升資料庫的讀性能。 這種架構的一個潛在缺點是,業務方有可能讀取到並不是最新的舊數據: (1)系統先對DB-master進行了一個寫操作,寫主 ...


一、需求緣起

大部分互聯網的業務都是“讀多寫少”的場景,資料庫層面,讀性能往往成為瓶頸。如下圖:業界通常採用“一主多從,讀寫分離,冗餘多個讀庫”的資料庫架構來提升資料庫的讀性能。


這種架構的一個潛在缺點是,業務方有可能讀取到並不是最新的舊數據:


(1)系統先對DB-master進行了一個寫操作,寫主庫

(2)很短的時間內併發進行了一個讀操作,讀從庫,此時主從同步沒有完成,故讀取到了一個舊數據

(3)主從同步完成

 有沒有辦法解決或者緩解這類“由於主從延時導致讀取到舊數據”的問題呢,這是本文要集中討論的問題。

二、方案一(半同步複製)

不一致是因為寫完成後,主從同步有一個時間差,假設是500ms,這個時間差有讀請求落到從庫上產生的。有沒有辦法做到,等主從同步完成之後,主庫上的寫請求再返回呢?答案是肯定的,就是大家常說的“半同步複製”semi-sync:


(1)系統先對DB-master進行了一個寫操作,寫主庫

(2)等主從同步完成,寫主庫的請求才返回

(3)讀從庫,讀到最新的數據(如果讀請求先完成,寫請求後完成,讀取到的是“當時”最新的數據)

方案優點:利用資料庫原生功能,比較簡單

方案缺點:主庫的寫請求時延會增長,吞吐量會降低

三、方案二(強制讀主庫)

如果不使用“增加從庫”的方式來增加提升系統的讀性能,完全可以讀寫都落到主庫,這樣就不會出現不一致了:


方案優點:“一致性”上不需要進行系統改造

方案缺點:只能通過cache來提升系統的讀性能,這裡要進行系統改造

四、方案三(資料庫中間件)

如果有了資料庫中間件,所有的資料庫請求都走中間件,這個主從不一致的問題可以這麼解決:


(1)所有的讀寫都走資料庫中間件,通常情況下,寫請求路由到主庫,讀請求路由到從庫

(2)記錄所有路由到寫庫的key,在經驗主從同步時間視窗內(假設是500ms),如果有讀請求訪問中間件,此時有可能從庫還是舊數據,就把這個key上的讀請求路由到主庫

(3)經驗主從同步時間過完後,對應key的讀請求繼續路由到從庫

方案優點:能保證絕對一致

方案缺點:資料庫中間件的成本比較高

五、方案四(緩存記錄寫key法)

既然資料庫中間件的成本比較高,有沒有更低成本的方案來記錄某一個庫的某一個key上發生了寫請求呢?很容易想到使用緩存,當寫請求發生的時候:


(1)將某個庫上的某個key要發生寫操作,記錄在cache里,並設置“經驗主從同步時間”的cache超時時間,例如500ms

(2)修改資料庫

 

而讀請求發生的時候:


(1)先到cache里查看,對應庫的對應key有沒有相關數據

(2)如果cache hit,有相關數據,說明這個key上剛發生過寫操作,此時需要將請求路由到主庫讀最新的數據

(3)如果cache miss,說明這個key上近期沒有發生過寫操作,此時將請求路由到從庫,繼續讀寫分離

方案優點:相對資料庫中間件,成本較低

方案缺點:為了保證“一致性”,引入了一個cache組件,並且讀寫資料庫時都多了一步cache操作

 

六、總結

為瞭解決主從資料庫讀取舊數據的問題,常用的方案有四種:

(1)半同步複製

(2)強制讀主

(3)資料庫中間件

(4)緩存記錄寫key

 

 

原文鏈接:https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651959442&idx=1&sn=feb8ff75385d8031386e120ef3535329&scene=21#wechat_redirect


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 代碼: AppDelegate.m ...
  • 1 概述 1 概述 本篇文章簡要對事物與鎖的分析比較詳細,因此就轉載了。 2 具體內容 2 具體內容 併發可以定義為多個進程同時訪問或修改共用數據的能力。處於活動狀態而互不幹涉的併發用戶進程的數量越多,資料庫系統的併發性就越好。當一個正在修改數據的進程阻止了其他進程讀取該數據,或者當一個正在讀取數據 ...
  • 1 概述 1 概述 本文將結合MSDN簡要概述JSON數據。 2 具體內容 2 具體內容 JSON 是一種流行的數據格式,用於在現代 Web 和移動應用程式中交換數據。 JSON 還可用於在 Microsoft Azure DocumentDB 等 NoSQL 資料庫中存儲非結構化數據。 許多 RE ...
  • 本文根據《MySQL必知必會》(Ben Forta著,2009)整理,基於MySQL4.1-5,可作為深入研究MySQL之前的漱口篇。(基本語句、正則表達式、聯結、全文本搜索、增刪改查、存儲過程、游標、觸發器、事務、索引)。 ...
  • 1 蠕蟲複製 蠕蟲複製:從已有的數據中去獲取數據,然後將數據又進行新增操作,數據成倍增加。 表創建高級操作:從已有創建新表(複製表結構) 蠕蟲複製:先查出數據,然後將查出的數據新增一遍。 蠕蟲複製的意義 從已有表拷貝數據到新表中 可以迅速的讓表中的數據膨脹到一定的數量級:測試表的壓力以及效率。 從已 ...
  • 圖資料庫初試之Neo4j 自從進入了移動互聯網時代,各種新事物出現的速度都好像坐上了宇宙飛船,幾乎隔幾天一個新概念。就拿資料庫而言,什麼Oracle、DB2、SQL Server、MySQL,這些你都得知道,然後是以MongoDB、HBase等為代表的NoSQL資料庫,這幾年圖資料庫也很快流行起來, ...
  • PG視圖分為兩種,一種是物化視圖,一種是一般視圖。本篇文章主要寫一般視圖哪些事兒。所謂一般視圖,通俗點說,就是由查詢語句定義的虛擬表。視圖中的數據可能來自一張或多張表。 1. 視圖創建語句 2. 創建視圖示例 ...
  • 最近的工作是基於 Apache HUE 做二次開發.剛接手 HUE 的代碼的時候,內心是崩潰的:開源的代碼,風格很多種, 代碼比較雜亂; 雖是基於 Django 開發的,但是項目的結構改變很大; 很多地方留下了坑; 前人基於此項目做了一些開發, 考慮欠佳, 雜亂中又增添了些雜亂...... 沒辦法, ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...