redis 資料庫主從不一致問題解決方案

来源:https://www.cnblogs.com/wadhf/archive/2019/11/15/11865681.html
-Advertisement-
Play Games

在聊資料庫與緩存一致性問題之前,先聊聊資料庫主庫與從庫的一致性問題。 問:常見的資料庫集群架構如何? 答:一主多從,主從同步,讀寫分離。 如上圖: (1)一個主庫提供寫服務 (2)多個從庫提供讀服務,可以增加從庫提升讀性能 (3)主從之間同步數據 畫外音:任何方案不要忘了本心,加從庫的本心,是提升讀 ...


 在聊資料庫與緩存一致性問題之前,先聊聊資料庫主庫與從庫的一致性問題。

 

問:常見的資料庫集群架構如何?

答:一主多從,主從同步,讀寫分離。

如上圖:

(1)一個主庫提供寫服務

(2)多個從庫提供讀服務,可以增加從庫提升讀性能

(3)主從之間同步數據

畫外音:任何方案不要忘了本心,加從庫的本心,是提升讀性能。

 

問:為什麼會出現不一致?

答:主從同步有時延,這個時延期間讀從庫,可能讀到不一致的數據。

如上圖:

(1)服務發起了一個寫請求

(2)服務又發起了一個讀請求,此時同步未完成,讀到一個不一致的臟數據

(3)資料庫主從同步最後才完成

畫外音:任何數據冗餘,必將引發一致性問題。

 

問:如何避免這種主從延時導致的不一致?

答:常見的方法有這麼幾種。

 

方案一:忽略

任何脫離業務的架構設計都是耍流氓,絕大部分業務,例如:百度搜索,淘寶訂單,QQ消息,58帖子都允許短時間不一致。

畫外音:如果業務能接受,最推崇此法。

 

如果業務能夠接受,別把系統架構搞得太複雜。

 

方案二:強制讀主

如上圖:

(1)使用一個高可用主庫提供資料庫服務

(2)讀和寫都落到主庫上

(3)採用緩存來提升系統讀性能

這是很常見的微服務架構,可以避免資料庫主從一致性問題。

 

方案三:選擇性讀主

強制讀主過於粗暴,畢竟只有少量寫請求,很短時間,可能讀取到臟數據。

 

有沒有可能實現,只有這一段時間,可能讀到從庫臟數據的讀請求讀主,平時讀從呢?

 

可以利用一個緩存記錄必須讀主的數據。

如上圖,當寫請求發生時:

(1)寫主庫

(2)將哪個庫,哪個表,哪個主鍵三個信息拼裝一個key設置到cache里,這條記錄的超時時間,設置為“主從同步時延”

畫外音:key的格式為“db:table:PK”,假設主從延時為1s,這個key的cache超時時間也為1s。

 

如上圖,當讀請求發生時:

這是要讀哪個庫,哪個表,哪個主鍵的數據呢,也將這三個信息拼裝一個key,到cache里去查詢,如果,

(1)cache里有這個key,說明1s內剛發生過寫請求,資料庫主從同步可能還沒有完成,此時就應該去主庫查詢

(2)cache里沒有這個key,說明最近沒有發生過寫請求,此時就可以去從庫查詢

以此,保證讀到的一定不是不一致的臟數據。

 

總結

資料庫主庫和從庫不一致,常見有這麼幾種優化方案:

(1)業務可以接受,系統不優化

(2)強制讀主,高可用主庫,用緩存提高讀性能

(3)在cache里記錄哪些記錄發生過寫請求,來路由讀主還是讀從


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前段時間跟大家探討了 Vim 的顏色方案的話題,取得了不錯的反響,大家可以點擊以下鏈接回顧那篇文章: "誰說 Vim 不好用?送你一個五彩斑斕的編輯器!" 今天我們來介紹 Vim 的分屏功能 。 為什麼需要分屏功能?其實需求場合有很多。比如,我現在屏幕很大,但我們的代碼一般是左對齊,右邊很空,這樣我 ...
  • 本文主要記錄了連接到MySQL資料庫時出現的問題以及解決辦法。 問題重現 ...
  • 筆者一直維護的穩定基礎服務測試環境不穩定了,這能忍!盤他,雖然不一定能完全盤的了。 背景: hrexternal 基礎服務對外提供公司員工獲取的多個介面,很多介面訪問頻率比較高,加了緩存,使用的是redis,但是redis最近2個月測試環境已經出問題了,時不時的報錯,之前流程平臺也報過錯,只不過是隨 ...
  • MySQL學習——管理用戶許可權 摘要:本文主要學習了使用DCL語句管理用戶許可權的方法。 瞭解用戶許可權 什麼是用戶 用戶,指的就是操作和使用MySQL資料庫的人。使用MySQL資料庫需要用戶先通過用戶名和密碼進行連接,然後才能進行操作,不同的用戶可以設置不同的許可權,讓某些用戶只能操作許可權範圍內的數據, ...
  • 1.什麼是Grafana? Grafana是一款採用go語言和Angular框架編寫的開源的可視化工具,主要用於大規模指標數據的可視化展示,提供包括折線圖,餅圖,儀錶盤等多種監控數據可視化UI,是網路架構和應用分析中最流行的時序數據可視化工具,支持多種不同的時序資料庫數據源。github地址:htt ...
  • 一.備份的原因 運維工作的核心簡單概括就兩件事: 1)第一個是保護公司的數據. 2)第二個是讓網站能7 24小時提供服務(用戶體驗)。 1)備份就是為了恢復。 2)儘量減少數據的丟失(公司的損失) 二.備份的類型 冷備份: 這些備份在用戶不能訪問數據時進行,因此無法讀取或修改數據。這些離線備份會阻止 ...
  • [20191115]oracle實例占用記憶體計算.txt--//以前學習oracle資料庫時,總想瞭解實例占用記憶體多少,我曾經在一些會議底下問過一位高手,對方說計算這個相對很難,許多東西是共用的.--//很難有一個好方法計算,不過當時給了一個命令pmap,可以查看進程的記憶體使用情況,我當時使用命令看 ...
  • 命名規範 1.庫名、表名、欄位名必須使用小寫字母,並採用下劃線分割。 a)MySQL有配置參數lower_case_table_names,不可動態更改,Linux系統預設為 0,即庫表名以實際情況存儲,大小寫敏感。如果是1,以小寫存儲,大小寫不敏感。如果是2,以實際情況存儲,但以小寫比較。 b)如 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...