詳解緩存更新策略及如何選擇

来源:https://www.cnblogs.com/reim/archive/2023/05/12/17396087.html
-Advertisement-
Play Games

Java設計模式【單例模式】 單例模式 單例模式(Singleton Pattern)是一種創建型設計模式,其主要目的是確保一個類只有一個實例,並提供對該實例的唯一訪問點。 優缺點 優點: 提供了對唯一實例的受控訪問。 由於在系統記憶體中只存在一個對象,因此可以節約系統資源。 缺點: 單例類的擴展有很 ...


概述

緩存更新是指在數據發生變化時,保持緩存和資料庫的數據一致性的問題。如果緩存和資料庫的數據不一致,會導致用戶看到過期或者錯誤的數據,影響業務邏輯和用戶體驗。

為了實現緩存更新,我們可以採用以下四種方式其中的一種:

  • Cache Aside策略:應用程式直接與資料庫和緩存交互,並負責維護緩存的一致性

    • 查詢:先查詢緩存,如果緩存中沒有,則查詢資料庫,並將結果寫入緩存
    • 更新:先更新資料庫,然後刪除緩存或者更新緩存
  • Read/Write Through策略:應用程式只和緩存交互,而是使用緩存與資料庫交互

    • 查詢:先查詢緩存,如果緩存中沒有,則緩存從資料庫中載入數據,並寫入緩存
    • 更新:先更新緩存,再由緩存同步更新資料庫
  • Write Behind 策略:應用程式只和緩存交互。當有數據更新時,只更新緩存,不直接更新資料庫,改為非同步的方式更新資料庫

  • Refresh-Ahead策略:應用程式只和緩存交互,由後臺服務與資料庫交互

    • 查詢:只查詢緩存
    • 更新:由後臺服務自動從資料庫中查詢最新的數據,並將數據寫入緩存中,

    不同於以上三種,應用程式無需等待數據的刷新,也無需自己去觸發數據的刷新,而是後臺服務來完成這些操作

Cache Aside

Cache Aside策略上文已經介紹過了,它是通過應用層面來實現的,分為兩種場景:

  • Cache Aside查詢策略
  • Cache Aside更新策略

Cache Aside查詢策略

如下圖所示:通過代碼查詢緩存,緩存命中則返回,如果沒有命中則查詢資料庫並設置值

image

Cache Aside更新策略

如下圖所示:通過代碼更新緩存,先更新資料庫,後更新緩存

image

這種策略簡單易用,但是需要維護緩存和資料庫的一致性,可能出現緩存穿透或緩存雪崩的問題,一般採用延遲雙刪來保證最終一致性

延遲雙刪

延遲雙刪是一種保證數據一致性的常用策略,它的基本思想是在更新資料庫後,先刪除緩存,然後等待一段時間,再次刪除緩存。這樣做的目的是為了防止在資料庫和緩存主從同步的過程中,有其他請求查詢到舊的緩存數據,並寫回到緩存中,具體的流程如下:

  1. 更新資料庫數據
  2. 刪除緩存數據
  3. 休眠一段時間,時間依據數據的讀取耗費的時間而定。
  4. 再次刪除緩存數據

延遲雙刪的休眠時間是根據業務讀取數據平均耗時來設置的,目的是確保讀請求可以結束,寫請求可以刪除讀請求造成的臟數據的問題。一般來說,休眠時間可以設置為500毫秒左右,但具體還要根據實際情況調整。休眠時間設置過長會影響性能和實時性,設置過短會導致數據不一致的風險。

延遲雙刪的優點是簡單易實現,能夠提高數據的最終一致性。但是延遲雙刪的缺點也非常明顯:

  • 延遲雙刪不是強一致性,有等待環節,如果系統要求低延時,這種場景就不合適了
  • 延遲雙刪不適合“秒殺”這種頻繁修改數據和要求數據強一致的場景
  • 延遲雙刪的延時時間是一個預估值,不能確保資料庫和redis在這個時間段內都實時同步或持久化成功了
  • 延遲雙刪不能完全避免redis存在臟數據的問題,只能減輕這個問題,要想徹底解決,還需要用到同步鎖解決

Read/Write Through

Read/Write Through只與緩存做交互,分為兩種場景:

  • Read/Write Through查詢策略
  • Read/Write Through更新策略

Read/Write Through查詢策略

如下圖所示:先查詢緩存,如果緩存沒有,由緩存去資料庫查詢,而不是應用層,查詢後更新緩存

image

Read/Write Through更新策略

如下圖所示:先更新緩存,再由緩存同步更新資料庫

image

Write Behind

Write Behind 策略是指在寫入數據時,只更新緩存中的數據,然後建立一個非同步任務或者定時任務來批量更新資料庫中的數據。這樣,應用程式無需等待資料庫的響應,也無需自己去同步更新資料庫和緩存,而是交由緩存服務來完成這些操作,如下圖所示:

image

Refresh-Ahead

是指在讀取數據時,如果緩存中的數據即將過期,則由CDC服務自動從資料庫中查詢最新的數據,並將數據寫入緩存中,然後返回給應用程式。不同於以上三種,應用程式無需等待數據的刷新,也無需自己去觸發數據的刷新,而是交由CDC服務來完成這些操作。

Refresh-Ahead 模式的工作原理如下:

  • 當客戶端訪問緩存中的某個數據項時,首先檢查該數據項是否即將過期,如果是,則啟動一個後臺線程或服務去從數據源中獲取最新的數據,並替換掉緩存中的舊數據;同時返回給客戶端
  • 如果該數據還沒有即將過期,則直接返回給客戶端
  • 如果該數據項已經過期,則從數據源中獲取最新的數據,並替換掉緩存中的舊數據,並返回給客戶端新數據。

CDC

CDC,全稱為Change Data Capture。它是一種軟體設計模式,可以讓用戶檢測和管理數據源的增量變化,並將這些變化應用到企業的下游環節。CDC 技術可以實時捕獲數據的變化,只需要很少的資源,而不是全量數據批處理。CDC 可以幫助實現數據同步、數據倉庫載入、數據分析等場景。

image

CDC 的優點:

  • 提高數據訪問的性能和效率,因為它避免了重覆地查詢整個數據集,而只需要獲取增量數據
  • 提高數據一致性和可靠性,因為它可以及時地將數據源的變化同步到下游系統,避免了數據過期或丟失的風險
  • 提高數據分析和洞察的能力,因為它可以實時地反映數據的狀態
  • 提高數據集成和轉換的靈活性和可擴展性,因為它可以適應不同類型和結構的數據源和目標,支持多種場景和用例。

CDC 的應用場景:

  • 數據同步:可將數據源中的變化同步到其他資料庫或數據存儲中,例如緩存、搜索索引、備份等。
  • 數據倉庫載入:可將數據源中的變化載入到數據倉庫或數據湖中,支持離線或實時的數據分析和報告。
  • 數據分析:可將數據源中的變化發送到流式處理平臺或機器學習平臺中,支持實時或批量的數據處理和建模
  • 數據觸發:可將數據源中的變化作為觸發器,激活其他系統或服務中的業務流程或邏輯,例如通知、審計、驗證等

CDC 的實現方式有多種,其中比較成熟的開源項目就是Debezium。它為CDC提供了一套低延遲的數據流平臺支持多種資料庫。例如:MongoDB、MySQL、PostgreSQL、SQL Server、Oracle等等。使用Debezium監控數據源,並使用Kafka作為消息服務,將數據源的變化作為事件發送到緩存。這樣,緩存可以非同步地接收和處理數據變化,而不需要定期地查詢數據源

image

四種策略的選擇

我們介紹了四種常見的緩存更新策略:Cache AsideRead/Write ThroughWrite Behind CachingRefresh-Ahead。在實際應用時,應該結合具體業務和應用場景來選擇合適的緩存策略,接下來我們通過對比性能、數據一致性、冗餘數據、代碼複雜度、業務邏輯、可靠性這幾個點來說明:

策略 性能 一致性 冗餘數據 代碼複雜度 業務邏輯 可靠性
Cache Aside 較高 較低 較少 較高 較複雜 較低
Read/Write Through 較低 最高 較多 最高 最簡單 最高
Write Behind Caching 最高 最低 較少 較低 較簡單 較高
Refresh-Ahead 次高 次高 較多 最高 較複雜 最高

註意:
Refresh-Ahead策略是假定無CDC的情況下進行對比的

性能

  • Cache Aside 的性能較高,它只在緩存未命中時才訪問資料庫
  • Read/Write Through 的性能較低,它在每次讀寫時都需要訪問資料庫
  • Write Behind Caching 的性能最高,它只在緩存未命中時才訪問資料庫,而寫入操作是非同步的
  • Refresh-Ahead 的性能介於 Cache AsideWrite Behind Caching 之間,它只在即將過期時才訪問資料庫,並且寫入操作也是非同步的

數據一致性

  • Cache Aside 的數據一致性較低,它只在緩存未命中時才更新緩存,而寫入操作則是直接更新資料庫並將緩存中的數據刪除或更新
  • Read/Write Through 的數據一致性最高,它在每次讀寫時都更新資料庫和緩存
  • Write Behind Caching 的數據一致性最低,它只在緩存未命中時才更新緩存,而寫入操作則是先更新緩存,併在非同步更新資料庫,有較大的延遲。
  • Refresh-Ahead 的數據一致性介於 Read/Write ThroughCache Aside 之間,它保證了緩存中的數據總是最新的,但是有一定的延遲

冗餘數據

  • Cache Aside 的冗餘數據較少,它只將經常訪問的數據保存到緩存中
  • Read/Write Through 的冗餘數據較多,它需要將資料庫的所有數據都保存到緩存中
  • Write Behind Caching 的冗餘數據與 Cache Aside 相同,因為它也只將經常訪問的數據保存到緩存中
  • Refresh-Ahead 的冗餘數據與 Read/Write Through 相同,它也需要將資料庫的所有數據都保存到緩存中

代碼複雜度

  • Cache Aside 的代碼複雜度較高,它需要同時與緩存和資料庫交互,並處理可能出現的異常情況
  • Read/Write Through 的代碼複雜度最高,它需要實現資料庫的讀寫介面
  • Write Behind Caching 的代碼複雜度較低,它只需要實現簡單的緩存操作,併在非同步執行資料庫寫入操作
  • Refresh-Ahead 的代碼複雜度與 Read/Write Through 相同,他它需要實現資料庫的讀寫介面(關於這點可以使用Debezium)

業務邏輯

  • Cache Aside 的業務邏輯較複雜,它需要同時與緩存和資料庫交互,且返回的數據是最新的
  • Read/Write Through 的業務邏輯最簡單,它只與緩存交互,且返回的數據是最新的
  • Write Behind Caching 的業務邏輯較簡單,它也只與緩存交互,且返回的數據是最新的,由於是非同步更新,所以比Read/Write Through要複雜一些
  • Refresh-Ahead 的業務邏輯較複雜,它會同時與緩存和資料庫交互,需要處理可能出現的異常情況,且返回的數據有可能是舊的,也有可能是新的(關於這點也可以使用Debezium)

可靠性

  • Cache Aside 的可靠性較低,因為它將緩存作為資料庫的輔助層
  • Read/Write Through 的可靠性最高,因為它將緩存作為資料庫的代理層
  • Write Behind Caching 的可靠性較高,因為它將緩存作為資料庫前置層
  • Refresh-Ahead 的可靠性與 Read/Write Through 相同,因為它也將緩存作為資料庫的代理層

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ACID :如果一個資料庫支持事務的操作,那麼該資料庫必須要具備以下四個特性 1、原子性(Atomicity) 事務包含的所有操作要麼全部成功,要麼全部失敗回滾,因此事務的操作如果成功就必須要完全應用到資料庫,如果操作失敗則不能對資料庫有任何影響 2、一致性(Consistency) 事務必須使數據 ...
  • 這段時間,我們對產品本身以及客戶反饋的一些問題進行了持續的更新和優化,包括對離線平臺數據同步功能的更新,數據資產平臺血緣問題的優化等,力求滿足不同行業用戶的更多需求,為用戶帶來極致的產品使用體驗。 以下為袋鼠雲產品功能更新報告第五期內容,更多探索,請繼續閱讀。 離線開發平臺 1.支持工作流參數 背景 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者:Yejinrong/葉金榮 文章來源:GreatSQL社區原創 繼續吹MySQL 8.0~ 在以前,當需要對MySQL資料庫進行維護操作時,通常需 ...
  • (資料庫定時備份linux篇) 1 序言 相信大家都還記得這則新聞吧,歐洲雲計算巨頭 OVH 位於法國斯特拉斯堡的機房發生嚴重火災,大火徹底摧毀了五層高、占地 500 平方米的 SBG2 數據中心。 當地報紙稱 115 位消防員投入 6 個小時才將其撲滅。經過長達 6 個小時的持續燃燒,SBG2 內 ...
  • 摘要:本文以華為雲圖引擎 GES 為例,來介紹如何使用圖查詢語言 Cypher 表達一些需要做數據局部遍歷的場景。 本文分享自華為雲社區《使用 Cypher 子查詢進行圖探索 -- 以華為雲圖引擎 GES 為例》,作者:蜉蝣與海。 在圖資料庫/圖計算領域,很多查詢可以使用圖查詢語言Cypher、Gr ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 組件是前端框架的基本構建塊。把它們設計得更好會使我們的應用程式更容易改變和理解。在這節課中,分享一下在過去幾年中工作中學到的 9 個技巧。 1. 你可能不需要創建一個組件 在創建一個組件之前,看看它是為了可重用性和為某些UI添加一個狀態, ...
  • 準備工作: 1.首先進入https://ecs.console.aliyun.com/ 領取或者購買一臺簡單的ECS雲伺服器。 進入網站註冊登錄後拉到頁面最下麵或者頂部搜索免費雲伺服器領取立即試用 ,當然富哥花錢買一臺伺服器也行。 創建完了以後可以進入雲服務ECS工作台,然後就是以下界面 點擊右邊的 ...
  • JS的預解析是指在代碼執行之前,JavaScript引擎會先對代碼進行一次掃描,將變數聲明和函數聲明提升到當前作用域的頂部,以便在代碼執行時能夠正確地訪問這些變數和函數。這個過程也被稱為“提升”。 具體來說,在預解析過程中,JavaScript引擎會將函數聲明和變數聲明提升到當前作用域的頂部,而不管 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...