緩存擊穿、穿透、雪崩及常用解決方案

来源:https://www.cnblogs.com/reim/archive/2023/05/30/17442637.html
-Advertisement-
Play Games

技術架構師,將整間企業的IT開發流程至維運管理,視為一個大型系統進行規劃。並分為四個面向進行發展: - [開發平臺]:構建高度重用的共用模組和服務,並在多個專案項目和應用系統中使用,以提高開發效率並降低維護成本。 - [DevOps平臺]:建構連續集成、連續交付的工作環境,將開發與維運團隊更緊密地連 ...


緩存擊穿、穿透、雪崩及解決方案

Redis是一種高性能的鍵值型資料庫,它可以用來實現緩存功能,提高應用的響應速度和承載能力。但是,使用Redis緩存也會遇到一些常見的問題,比如緩存擊穿、緩存穿透、緩存雪崩。這些問題都會影響緩存的效率和穩定性,所以需要瞭解它們的原因和解決方案,保障Redis能夠正常運行。

擊穿、穿透、雪崩的意思

擊穿、穿透、雪崩這三個詞語很容易混淆,本文先對詞語進行理解,再講解技術

擊穿:擊穿拆開後,是擊和穿。擊意為敲打,或做類似敲打的動作穿意為穿透

擊是什麼?如下圖,攻擊的意思

image

穿是什麼?如下圖,穿透,造成的效果就是個

image

雪崩的意思很簡單,就是一個字,如下圖

image

白話講解一下,擊穿就是先擊後穿;穿透就是穿透,有個洞;雪崩就是多,很多很多

再從技術角度說明擊穿、穿透、雪崩

image

擊穿意為先擊後穿。熱點數據存在,且能夠擊中。但是由於熱點數據失效從而訪問資料庫

穿透意為直接穿。由於訪問不存在的數據,從而直接訪問資料庫

雪崩意為多,大量。大量緩存同時失效,從而直接訪問資料庫

緩存擊穿

緩存擊穿的定義:某個熱點數據在緩存中過期或失效時,大量的請求同時訪問該數據,導致資料庫壓力過大甚至崩潰的現象。通常會發生在數據更新頻率較高或者緩存設置了相同的過期時間的時候。

實際上可以這麼理解:應該有的數據但是沒讀到,從而擊穿了緩存,直接訪問資料庫

可採取的方案:

  • 不設置過期時間或設置較長的過期時間:這樣可以避免熱點數據同時失效,但是也會增加記憶體占用和數據不一致的風險
  • 定時更新。比如這個熱點數據的過期時間是 2 小時,那麼每到 1小時50 分鐘時,通過定時任務去更新這個熱點 key,並重新設置其過期時間
  • 互斥鎖:當緩存中沒有數據時,只允許一個線程去資料庫查詢並更新緩存,其他線程等待該線程完成後再從緩存中獲取數據。這樣可以減少對資料庫的併發訪問,但是也會降低系統的吞吐量和響應速度
  • 分散式鎖:當多個Redis節點存在時,可以使用分散式鎖來保證只有一個節點去資料庫查詢並更新緩存,其他節點等待該節點完成後再從緩存中獲取數據。這樣可以避免多個Redis節點同時訪問資料庫,但是也會增加系統的複雜度和延遲

緩存穿透

緩存穿透的定義:

用戶查詢一個不存在的數據,導致緩存中沒有該數據,每次都要去資料庫查詢,而資料庫中也沒有該數據,造成無效的查詢和資源浪費的現象。通常會發生在用戶惡意攻擊或者參數校驗不嚴格的時候

實際上可以這麼理解:不應該有的數據非要讀,從而穿透了緩存,直接訪問資料庫

可採取的方案:

  • 業務層校驗。用戶發過來的請求,根據請求參數進行校驗,對於明顯錯誤的參數,直接攔截返回。比如請求參數為主鍵自增 id ,那麼對於請求小於 0 的 id 參數, 明顯不符合業務邏輯。
  • 緩存空值:當資料庫中沒有查詢到數據時,仍然將空值或者預設值寫入緩存,並設置一個較短的過期時間。這樣可以減少對資料庫的訪問次數,但也會占用一定的記憶體
  • 使用布隆過濾器:布隆過濾器是一種概率型的數據結構,它可以判斷一個元素是否可能存在於一個集合中。可以將所有可能存在的數據的鍵值哈希到一個足夠大的點陣圖中,當用戶查詢一個數據時,先用布隆過濾器判斷該鍵值是否可能存在,如果不存在則直接返回,如果存在則再去緩存和資料庫中查詢。這樣可以有效地攔截不存在的數據請求,但是也會有一定的誤判率和記憶體開銷

緩存雪崩

緩存雪崩的定義:在某個時間點,大量的緩存數據同時失效或者緩存伺服器宕機,導致所有的請求都要去資料庫查詢,造成資料庫壓力過大甚至崩潰的現象。這種情況通常發生在緩存設置了相同或者相近的過期時間或者緩存伺服器遭遇意外故障的場景下。

實際上可以這麼理解:大量數據讀取,從而使緩存雪崩,直接訪問資料庫

為了防止緩存雪崩,可以採用以下幾種方法:

  • 設置不同的過期時間。可以給緩存設置不同或者隨機的過期時間,避免大量的緩存同時失效,造成資料庫壓力突增
  • 緩存預熱:對於即將來臨的大量請求,可以將數據提前緩存在Redis中,並設置不同的過期時間
  • 使用多級緩存:可以構建多級緩存架構,比如Nginx緩存+Redis緩存+本地緩存等,當某一級緩存出現問題時,可以從其他級別的緩存中獲取數據,增加系統的容錯能力
  • 使用限流熔斷:可以利用一些限流和熔斷組件,對請求進行限流和降級處理,當請求超過系統能承受的閥值時,直接拒絕或者返回預設值,保護資料庫不被打垮
  • 使用集群和負載均衡:可以將Redis部署成集群模式,並使用負載均衡組件,比如LVS、HAProxy等,對請求進行分發和轉發,提高Redis的可用性和併發能力

總結

本文介紹了緩存擊穿、緩存穿透和緩存雪崩三種問題及解決方案。通過本文,可以瞭解到:

  • 緩存擊穿:先擊後穿
  • 緩存擊穿的解決方案有:設置熱點數據永不過期、定時更新、分散式
  • 緩存穿透:將緩存穿了個洞
  • 緩存穿透的解決方案有:業務層校驗、緩存空值、布隆過濾器
  • 緩存雪崩:大量失效Key
  • 緩存雪崩的解決方案有:設置不同的過期時間、緩存預熱、多級緩存、限流熔斷、集群和負載均衡

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 截圖下方有顯示“共有記錄數”,截圖包含了表的所有欄位列。該數據提供ACCESS資料庫文件(擴展名是MDB)以及EXCEL文件(擴展名是XLS)。 共有23710條記錄,根據AUTHOR_ID關聯AUTHORS作者表中的ID欄位 包含6567個作者,根據ID關聯QUOTES表中的AUTHOR_ID欄位 ...
  • Health Kit文檔全新升級,開發場景更清晰,聚焦你關心的問題,快來一起嘗鮮! 文檔入口請戳:[文檔入口~](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides/description-000000155 ...
  • Flutter開發中三棵樹的重要性不言而喻,瞭解其原理有助於我們開發出性能更優的App,此文主要從源碼角度介紹Element樹的管理類BuildOwner。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 核心 使用CSS變數, 準備兩套CSS顏色, 一套是在 light模式下的顏色,一套是在dark模式下的顏色 dark模式下的 CSS 權重要比 light 模式下的權重高, 不然當我們給html添加自定義屬性[data-theme='d ...
  • # VuePress v2.0 項目創建 參考:[VuePress v2.0 文檔](https://v2.vuepress.vuejs.org/zh/guide/getting-started.html) ### 1.創建文件夾 我創建了一個文件夾,然後在文件夾中打開了powershell ``` ...
  • 有時候在系統中需要一次性下載多個文件,但逐個下載文件比較麻煩。這時候,最好的解決辦法是將所有文件打包成一個壓縮文件,然後下載這個壓縮文件,這樣就可以一次性獲取所有所需的文件了。 下麵是一個名為CompressUtil的工具類的代碼,它提供了一些方法來處理文件壓縮和下載操作: ```java impo ...
  • 在寫這篇文章的時候,查看了下electron最新穩定版本由幾天前24.4.0升級到了25了,不得不說electron團隊迭代速度之快! 前幾天有分享一篇electron24整合vite4全家桶技術構建桌面端vue3應用示常式序。 https://www.cnblogs.com/xiaoyan2017 ...
  • JavaScript的事件監聽是一種機制,用於在HTML文檔中的元素上註冊事件處理程式,以便在特定事件發生時執行相應的JavaScript代碼。 事件監聽的基本思想是將事件處理程式(也稱為事件回調函數)綁定到特定的事件上。所謂特定的事件是當用戶與頁面進行交互時,比如點擊按鈕、鍵盤輸入、滑鼠移動等,瀏 ...
一周排行
    -Advertisement-
    Play Games
  • 一、openKylin簡介 openKylin(開放麒麟) 社區是在開源、自願、平等和協作的基礎上,由基礎軟硬體企業、非營利性組織、社團組織、高等院校、科研機構和個人開發者共同創立的一個開源社區,致力於通過開源、開放的社區合作,構建桌面操作系統開源社區,推動Linux開源技術及其軟硬體生態繁榮發展。 ...
  • 簡介 Flurl是一個用於構建基於HTTP請求的C#代碼的庫。它的主要目的是簡化和優雅地處理網路請求(只用很少的代碼完成請求)。Flurl提供了一種簡單的方法來構建GET、POST、PUT等類型的請求,以及處理響應和異常。它還提供了一些高級功能,如鏈式調用、緩存請求結果、自動重定向等。本文將介紹Fl ...
  • 一:背景 1. 講故事 最近也挺奇怪,看到了兩起 CPU 爆高的案例,且誘因也是一致的,覺得有一些代表性,合併分享出來幫助大家來避坑吧,閑話不多說,直接上 windbg 分析。 二:WinDbg 分析 1. CPU 真的爆高嗎 這裡要提醒一下,別人說爆高不一定真的就是爆高,我們一定要拿數據說話,可以 ...
  • 剛開始寫文章,封裝Base基類的時候,添加了trycatch異常塊,不過當時沒有去記錄日誌,直接return了。有小伙伴勸我不要吃了Exception 其實沒有啦,項目剛開始,我覺得先做好整體結構比較好。像是蓋樓一樣。先把樓體建造出來,然後再一步一步的美化完善。 基礎的倉儲模式已經ok,Autofa ...
  • 框架目標 什麼是框架,框架能做到什麼? 把一個方向的技術研發做封裝,具備通用性,讓使用框架的開發者用起來很輕鬆。 屬性: 通用性 健壯性 穩定性 擴展性 高性能 組件化 跨平臺 從零開始-搭建框架 建立項目 主鍵查詢功能開發 綁定實體 一步一步的給大家推導: 一邊寫一邊測試 從零開始--搭建框架 1 ...
  • 大家好,我是沙漠盡頭的狼。 本方首發於Dotnet9,介紹使用dnSpy調試第三方.NET庫源碼,行文目錄: 安裝dnSpy 編寫示常式序 調試示常式序 調試.NET庫原生方法 總結 1. 安裝dnSpy dnSpy是一款功能強大的.NET程式反編譯工具,可以對.NET程式進行反編譯,代替庫文檔的功 ...
  • 在`Windows`操作系統中,每個進程的虛擬地址空間都被劃分為若幹記憶體塊,每個記憶體塊都具有一些屬性,如記憶體大小、保護模式、類型等。這些屬性可以通過`VirtualQueryEx`函數查詢得到。該函數可用於查詢進程虛擬地址空間中的記憶體信息的函數。它的作用類似於`Windows`操作系統中的`Task... ...
  • 背景介紹 1,最近有一個大數據量插入的操作入庫的業務場景,需要先做一些其他修改操作,然後在執行插入操作,由於插入數據可能會很多,用到多線程去拆分數據並行處理來提高響應時間,如果有一個線程執行失敗,則全部回滾。 2,在spring中可以使用@Transactional註解去控制事務,使出現異常時會進行 ...
  • 線程(thread)是操作系統能夠進行運算調度的最小單位。它被包含在進程之中,是進程中的實際 運作單位。一條線程指的是進程中一個單一順序的控制流,一個進程中可以併發多個線程,每條線 程並行執行不同的任務。 ...
  • 發現Java 21的StringBuilder和StringBuffer中多了repeat方法: /** * @throws IllegalArgumentException {@inheritDoc} * * @since 21 */ @Override public StringBuilder ...