生產實踐:Redis與Mysql的數據強一致性方案

来源:https://www.cnblogs.com/waldron/archive/2023/11/24/17853511.html
-Advertisement-
Play Games

公眾號「架構成長指南」,專註於生產實踐、雲原生、分散式系統、大數據技術分享。 資料庫和Redis如何保持強一致性,這篇文章告訴你 目的 Redis和Msql來保持數據同步,並且強一致,以此來提高對應介面的響應速度,剛開始考慮是用mybatis的二級緩存,發現坑不少,於是決定自己搞 要關註的問題點 操 ...


公眾號「架構成長指南」,專註於生產實踐、雲原生、分散式系統、大數據技術分享。

資料庫和Redis如何保持強一致性,這篇文章告訴你

目的

Redis和Msql來保持數據同步,並且強一致,以此來提高對應介面的響應速度,剛開始考慮是用mybatis的二級緩存,發現坑不少,於是決定自己搞

要關註的問題點

操作數據必須是唯一索引

如果更新數據不是唯一索引,則資料庫更新後的值,與緩存不一致,而查詢還會走緩存,而查詢的值是臟值。

查詢唯一數據,數據值必須是全部欄位

假如:B交易查詢欄位不是全部欄位,進行查詢放入緩存,A交易進行查詢時,從緩存獲取,由於A交易需要全部欄位,所以就會出現不可預知的問題。

查詢緩存數據後,必須要在程式中再次進行條件判斷

因為在redis中,存儲的的key是唯一索引,所以當查詢數據後,只會命中唯一索引的數據,其他附帶查詢條件不生效。

例如:唯一索引為:user_id ,那麼執行
select * from t_user_auth_info where user_id=‘111’ and user_level=‘1’是,條件user_level是不會生效

高併發場景下要註意臟數據的控制

假設是以上流程圖,在更新操作,第一步刪除緩存後,線程切換到查詢線程,查詢操作判斷緩存中沒有數據,就會查詢資料庫,並把數據存入到緩存中,這時線程在切換到更新線程,進行資料庫的更新,這會就會造成,資料庫的數據與緩存有不一致性。

最終方案

基於以上問題,我們的最終流程圖如下

以上流程圖在進行更新操作時,增加刪除緩存lock,如果這會查詢操作判斷緩存中有數據,就直接返回數據,如果沒有再次判斷有沒有存在刪除緩存lock,如果有則走資料庫查詢,並返回,不放入緩存,如果沒有則查詢資料庫,並放入緩存,並返回。

註意: 登記緩存標識時,增加緩存lock失效時間,因為有可能刪除緩存和資料庫更新成功了,而刪除緩存lock失敗了,那這樣後續查詢就都走資料庫了,這個方案就失去意義了。

代碼實現方案

通過aop對db的操作方法,進行攔截,查詢方法採用一個切麵,刪除和更新方法採用一個切麵,然後再按照以上流程進行編寫,我們這邊是使用框架進行封裝,最後只需要開發人員配置以下xml即可

<cache-config>
	<cache-entity po="com.demo.po.AuthUser" key-prefix="SYSTEM_Person" po-throws="true" key-expire="" key-expire-time-unit="">
		<key-properties>userId</key-properties>		
	</cache-entity>
</cache-config>

如果需要具體實現方案,請聯繫作者


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 企業業務一直依賴於其收集的數據,但這些數據集正在不斷增長。即使需要提取的數據存儲量非常龐大,Redis Enterprise 7.2也能使應用程式能以最快的速度檢索和處理數據。利用自動分層技術,可以識別冷數據和熱數據,並分別存儲在記憶體和固態硬碟上,顯著提升了系統響應速度,優化記憶體占用的同時降低硬體成... ...
  • 本文是對這篇文章MySQL InnoDB Cluster - Navigating the Cluster[1]的翻譯,翻譯如有不當的地方,敬請諒解,請尊重原創和翻譯勞動成果,轉載的時候請註明出處。謝謝! 當我們管理InnoDB Cluster時,一件非常重要的事情就是瞭解集群處於什麼樣的狀態,特別 ...
  • 副本集概述 副本集(Replica Set)是一組帶有故障轉移的 MongoDB 實例組成的集群,由一個主(Primary)伺服器和多個從(Secondary)伺服器構成。通過Replication,將數據的更新由Primary推送到其他實例上,在一定的延遲之後,每個MongoDB實例維護相同的數據 ...
  • 最近接觸到了一個問題:耳機插入事件的由來,走讀了下IMS輸入系統服務的源碼。同時,IMS輸入系統服務在Android的開發過程中,也經常出現,有必要瞭解下相關原理。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 最近喜歡研究起了手錶,對勞力士這款“百事圈”實在是心水的不行啊! 心癢難耐無奈錢包不支持,作為一個前端程式員,買不起的東西該怎麼辦? 當然是自己做一個啊! 說乾就乾,熬夜自己做了個“百事圈”出來!源碼在最後! 先看成品 還是有那麼六七成相 ...
  • 沒有什麼是不可能的,只是需要找到正確的方法。 1. 什麼是狀態? 狀態就是組件內部特有數據的載體(組件數據掛載方式),改變數據頁面就會刷新,由組件自己設置和更改,也就是說由組件自己產生、維護,使用狀態的目的就是為了在不同的狀態下使組件的顯示不同(自己管理),這在 React 中稱為:條件渲染。 為什 ...
  • Node.js是一個基於ChromeV8引擎的JavaScript運行環境,使用了一個事件驅動、非阻塞式I/O模型,讓JavaScript 運行在服務端的開發平臺,它讓JavaScript成為與PHP、Python、Perl、Ruby等服務端語言平起平坐的腳本語言。Node中增添了很多內置的模塊,提... ...
  • Promise對象用於清晰的處理非同步任務的完成,返回最終的結果值,本次分享主要介紹Promise的基本屬性以及Promise內部的基礎實現,能夠幫我們更明確使用場景、更快速定位問題。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...