redis 資料庫主從不一致問題解決方案

来源:https://www.cnblogs.com/wadhf/archive/2019/11/15/11865681.html
-Advertisement-
Play Games

在聊資料庫與緩存一致性問題之前,先聊聊資料庫主庫與從庫的一致性問題。 問:常見的資料庫集群架構如何? 答:一主多從,主從同步,讀寫分離。 如上圖: (1)一個主庫提供寫服務 (2)多個從庫提供讀服務,可以增加從庫提升讀性能 (3)主從之間同步數據 畫外音:任何方案不要忘了本心,加從庫的本心,是提升讀 ...


 在聊資料庫與緩存一致性問題之前,先聊聊資料庫主庫與從庫的一致性問題。

 

問:常見的資料庫集群架構如何?

答:一主多從,主從同步,讀寫分離。

如上圖:

(1)一個主庫提供寫服務

(2)多個從庫提供讀服務,可以增加從庫提升讀性能

(3)主從之間同步數據

畫外音:任何方案不要忘了本心,加從庫的本心,是提升讀性能。

 

問:為什麼會出現不一致?

答:主從同步有時延,這個時延期間讀從庫,可能讀到不一致的數據。

如上圖:

(1)服務發起了一個寫請求

(2)服務又發起了一個讀請求,此時同步未完成,讀到一個不一致的臟數據

(3)資料庫主從同步最後才完成

畫外音:任何數據冗餘,必將引發一致性問題。

 

問:如何避免這種主從延時導致的不一致?

答:常見的方法有這麼幾種。

 

方案一:忽略

任何脫離業務的架構設計都是耍流氓,絕大部分業務,例如:百度搜索,淘寶訂單,QQ消息,58帖子都允許短時間不一致。

畫外音:如果業務能接受,最推崇此法。

 

如果業務能夠接受,別把系統架構搞得太複雜。

 

方案二:強制讀主

如上圖:

(1)使用一個高可用主庫提供資料庫服務

(2)讀和寫都落到主庫上

(3)採用緩存來提升系統讀性能

這是很常見的微服務架構,可以避免資料庫主從一致性問題。

 

方案三:選擇性讀主

強制讀主過於粗暴,畢竟只有少量寫請求,很短時間,可能讀取到臟數據。

 

有沒有可能實現,只有這一段時間,可能讀到從庫臟數據的讀請求讀主,平時讀從呢?

 

可以利用一個緩存記錄必須讀主的數據。

如上圖,當寫請求發生時:

(1)寫主庫

(2)將哪個庫,哪個表,哪個主鍵三個信息拼裝一個key設置到cache里,這條記錄的超時時間,設置為“主從同步時延”

畫外音:key的格式為“db:table:PK”,假設主從延時為1s,這個key的cache超時時間也為1s。

 

如上圖,當讀請求發生時:

這是要讀哪個庫,哪個表,哪個主鍵的數據呢,也將這三個信息拼裝一個key,到cache里去查詢,如果,

(1)cache里有這個key,說明1s內剛發生過寫請求,資料庫主從同步可能還沒有完成,此時就應該去主庫查詢

(2)cache里沒有這個key,說明最近沒有發生過寫請求,此時就可以去從庫查詢

以此,保證讀到的一定不是不一致的臟數據。

 

總結

資料庫主庫和從庫不一致,常見有這麼幾種優化方案:

(1)業務可以接受,系統不優化

(2)強制讀主,高可用主庫,用緩存提高讀性能

(3)在cache里記錄哪些記錄發生過寫請求,來路由讀主還是讀從


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前段時間跟大家探討了 Vim 的顏色方案的話題,取得了不錯的反響,大家可以點擊以下鏈接回顧那篇文章: "誰說 Vim 不好用?送你一個五彩斑斕的編輯器!" 今天我們來介紹 Vim 的分屏功能 。 為什麼需要分屏功能?其實需求場合有很多。比如,我現在屏幕很大,但我們的代碼一般是左對齊,右邊很空,這樣我 ...
  • 本文主要記錄了連接到MySQL資料庫時出現的問題以及解決辦法。 問題重現 ...
  • 筆者一直維護的穩定基礎服務測試環境不穩定了,這能忍!盤他,雖然不一定能完全盤的了。 背景: hrexternal 基礎服務對外提供公司員工獲取的多個介面,很多介面訪問頻率比較高,加了緩存,使用的是redis,但是redis最近2個月測試環境已經出問題了,時不時的報錯,之前流程平臺也報過錯,只不過是隨 ...
  • MySQL學習——管理用戶許可權 摘要:本文主要學習了使用DCL語句管理用戶許可權的方法。 瞭解用戶許可權 什麼是用戶 用戶,指的就是操作和使用MySQL資料庫的人。使用MySQL資料庫需要用戶先通過用戶名和密碼進行連接,然後才能進行操作,不同的用戶可以設置不同的許可權,讓某些用戶只能操作許可權範圍內的數據, ...
  • 1.什麼是Grafana? Grafana是一款採用go語言和Angular框架編寫的開源的可視化工具,主要用於大規模指標數據的可視化展示,提供包括折線圖,餅圖,儀錶盤等多種監控數據可視化UI,是網路架構和應用分析中最流行的時序數據可視化工具,支持多種不同的時序資料庫數據源。github地址:htt ...
  • 一.備份的原因 運維工作的核心簡單概括就兩件事: 1)第一個是保護公司的數據. 2)第二個是讓網站能7 24小時提供服務(用戶體驗)。 1)備份就是為了恢復。 2)儘量減少數據的丟失(公司的損失) 二.備份的類型 冷備份: 這些備份在用戶不能訪問數據時進行,因此無法讀取或修改數據。這些離線備份會阻止 ...
  • [20191115]oracle實例占用記憶體計算.txt--//以前學習oracle資料庫時,總想瞭解實例占用記憶體多少,我曾經在一些會議底下問過一位高手,對方說計算這個相對很難,許多東西是共用的.--//很難有一個好方法計算,不過當時給了一個命令pmap,可以查看進程的記憶體使用情況,我當時使用命令看 ...
  • 命名規範 1.庫名、表名、欄位名必須使用小寫字母,並採用下劃線分割。 a)MySQL有配置參數lower_case_table_names,不可動態更改,Linux系統預設為 0,即庫表名以實際情況存儲,大小寫敏感。如果是1,以小寫存儲,大小寫不敏感。如果是2,以實際情況存儲,但以小寫比較。 b)如 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...