緩存穿透、雪崩、擊穿等問題的解決辦法

来源:https://www.cnblogs.com/linjianhui/archive/2022/09/11/16685163.html
-Advertisement-
Play Games

緩存穿透是用戶訪問一個不存在的key,導致請求穿透到資料庫。 問題關鍵是程式上要識別出這個key是一個錯誤key,不是由系統生成的key。每次添加或刪除緩存時維護一個key欄位查詢過濾器,例如:布隆過濾器、HashSet。這樣在訪問緩存前,可以對key先進行查詢過濾,判斷key是否存在,再往下執行業 ...


  緩存穿透是用戶訪問一個不存在的key,導致請求穿透到資料庫。   問題關鍵是程式上要識別出這個key是一個錯誤key,不是由系統生成的key。每次添加或刪除緩存時維護一個key欄位查詢過濾器,例如:布隆過濾器、HashSet。這樣在訪問緩存前,可以對key先進行查詢過濾,判斷key是否存在,再往下執行業務邏輯。   另一種辦法是把空結果緩存,key不存在有兩種情況,一是資料庫存在,但key緩存過期了,或者還沒把數據設置緩存,二是資料庫沒記錄,key不存在。要把這兩種情況區分開,程式才不會誤判。對於第二種,要把key緩存起來,值設置為空字元串返回,過期時間不宜設置太長,例如10分鐘內,因為資料庫雖然現在沒記錄,但將來可能有,設置一定有效期是有必要的,既能夠保持數據最終一致,又能解決穿透問題。第一種是資料庫存在,key不存在,返回的是null,繼續往下執行業務邏輯。     緩存雪崩是指大範圍key在同一時間失效,請求同一時間落到資料庫。   在每個key設置基礎失效時間上加上一個隨機失效時間,例如5分鐘內的隨機數,這樣就可以把失效時間分散開,避免集中在一個時間點上失效。     緩存擊穿是一個熱點key突然緩存時間到期失效,大量請求落到資料庫。   既然問題是熱點key緩存到期失效引起的,如果程式能在key臨近到期時,主動去更新緩存延期,就能避免被擊穿。在設置緩存時可以把到期時間記錄到緩存里,每次讀緩存時取出到期時間,判斷距離當前時間還有多久失效,假如已到達設定的閾值(如:1分鐘),則拉取最新數據更新緩存。建議根據您的業務執行時間去設置閾值,保證在閾值內能執行完緩存更新。   上篇文章說到用緩存雙刪來更新緩存,但在緩存刪掉後,讀業務沒了緩存層,在瞬間將面臨大流量擊穿到資料庫。假如熱點key設置了兩份緩存分別是C1和C2,並且C2過期時間要比C1長,當C1緩存不存在時,用C2緩存來緩衝。雖然像解決了問題,但C1被刪了,只能通過後臺作業或者消費隊列去更新C1,這樣做緩存雙刪就失去原來的作用了。所以不能光用緩存來檔流量,也要在原來緩存層上加入限流,把流量層層削弱,讓少部分流量留入資料庫,不至於宕機。下篇將講講如何限流
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • MySQL學習筆記 數據結構圖 更改字元集 alter database dbName character set 'charsetName'; alter database dwg2pdf character set 'utf8'; alter table tableName convert to ...
  • MySQL的用戶賬號: 由兩部分組成:用戶名和主機名 格式:'user_name'@'host' host必須要用引號括起來 註意:host可以是一個主機名也可以是具體的ip地址、網段等。 當host為主機名時: #例如: user1@'web1.redhat.org' 當host是ip地址或者網段 ...
  • 介紹弱隔離級別 為什麼要有弱隔離級別 如果兩個事務操作的是不同的數據, 即不存在數據依賴關係, 則它們可以安全地並行執行。但是當出現某個事務修改數據而另一個事務同時要讀取該數據, 或者兩個事務同時修改相同數據時, 就會出現併發問題。 在應用程式的開發中,我們通常會利用鎖進行併發控制,確保臨界區的資源 ...
  • 第一篇博客:HTML:iframe簡要介紹 前端 我們在寫網頁的時間,有許多重覆的界面,樣式和設計都一模一樣,為了避免代碼冗餘,我們通常把那些界面重覆的寫一個網頁,然後在需要的網頁進行引用那些重覆的界面,這時就需用到iframe。 1、iframe 定義和用法 : 1.iframe一般用來包含別的頁 ...
  • 1 別人寫的 地址鏈接 視頻鏈接: https://www.bilibili.com/video/BV1TK4y1Q78s github鏈接: https://github.com/Lavender-z/demo 如果上不了,就下個dev-sidecar代理 效果 代碼註釋 <!DOCTYPE ht ...
  • Singleton Pattern 單例模式,作為創建型模式的一種,其保證了類的實例對象只有一個,並對外提供此唯一實例的訪問介面 概述 對於單例模式而言,其最核心的目的就是為了保證該類的實例對象是唯一的。為此一方面,需要將該類的構造函數設為private,另一方面,該類需要在內部完成實例的構造並對外 ...
  • 裝飾者模式是一種結構型模型,是動態的給對象增加職責,對於新增功能來說要比通過子類方式更加的靈活。他允許對一個對象進行添加新的功能,但不能改變結構。 ...
  • 一篇文章帶你掌握主流資料庫框架——MyBatis MyBatis 是一款優秀的持久層框架,它支持自定義 SQL、存儲過程以及高級映射。 在之前的文章中我們學習了MYSQL和JDBC,但是這些東西遠遠不足以支持我們書寫JavaWeb相關的內容 在學習MyBatis前,請先學習Java,Mysql,JD ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...