Redis使用場景

来源:https://www.cnblogs.com/PandaVerse/p/18399430
-Advertisement-
Play Games

Redis使用場景 目錄 緩存 緩存穿透 緩存擊穿 緩存雪崩 雙寫一致性 持久化 數據過期策略 數據淘汰策略 分散式鎖 實現原理(setnx、redission) 其他 哨兵模式、集群腦裂 分片集群、數據讀取規則 redis是單線程的卻很快 緩存 一、緩存穿透 定義:查詢一個不存在的數據,Mysql ...


Redis使用場景

目錄

緩存

  • 緩存穿透
  • 緩存擊穿
  • 緩存雪崩
  • 雙寫一致性
  • 持久化
  • 數據過期策略
  • 數據淘汰策略

分散式鎖

  • 實現原理(setnx、redission)

其他

  • 哨兵模式、集群腦裂
  • 分片集群、數據讀取規則
  • redis是單線程的卻很快

緩存

一、緩存穿透

定義:查詢一個不存在的數據,Mysql查詢不到數據也不會直接寫入緩存,導致每次請求都要查資料庫

兩個解決方案:

  1. 緩存空數據
    優點:簡單
    缺點:消耗記憶體,可能發生不一致問題

  2. 使用布隆過濾器(作用:攔截不存在的數據)
    優點:記憶體占用較少
    缺點:實現複雜,存在誤判

舉例說明:根據文章id查詢文章,請求路徑如下:
一個get請求: api/enws/getById/1

正常緩存流程:根據id到redis中爬取數據,若找到數據則返回結果;若redis中未找到,再到資料庫中查找,將結果返回,返回前需將資料庫中查到的數據存儲於redis中

緩存穿透是查詢一個不存在的數據,Mysql查詢不到數據也不會直接寫入緩存,導致每次請求都要查資料庫。導致這種情況一般是由於系統被惡意攻擊,請求路徑被獲取後製造假id(0、複數、很大的值),瘋狂衝擊資料庫,資料庫併發並不高,請求達到一定量就會造成宕機

關於布隆過濾器

二、緩存擊穿

定義:給某個key設置過期時間,當key過期時,剛好這個時間點key有大量的併發請求,這些併發請求可能瞬間把DB壓垮。

雖然我們再查詢時把數據同步到redis,但可能在緩存重建時,存入的是多個表彙總的結果,可能需要分組統計花費較長的時間,比如花費了50毫秒,這時若有大量請求資料庫是承受不住的。

兩個解決方案:

  1. 互斥鎖
  2. 邏輯過期

互斥鎖:強一致性、性能差
比如:跟錢相關的業務需要保證強一致性
互斥鎖文字描述:線程1請求查詢,在redis中未查詢到緩存數據,於是獲取互斥鎖,查詢資料庫重建緩存數據,寫入緩存,釋放鎖;線程1進行的同時線程2也請求查詢未命中,於是獲取互斥鎖但失敗了,只能休眠會再一直重試到緩存命中。
互斥鎖的作用:確保任意時刻只有一個線程可以訪問共用資源,從而避免數據競爭和不一致問題。

邏輯過期:高可用、性能優
比如:互聯網行業,更加註重用戶體驗
邏輯過期文字描述:線程1查詢緩存,發現邏輯時間已過期,獲取互斥鎖後,開啟新線程2查詢資料庫重建緩存數據、寫入緩存並重置邏輯過期時間、釋放鎖,同時線程1中繼續並返回過期數據。線程1進行的同時線程3也查詢發現邏輯時間過期,獲取互斥鎖失敗後返回過期數據。當線程4命中緩存並沒有過期,就可以獲得最新查詢數據了。

三、緩存雪崩

定義:指同一時段大量緩存key同時失效或Redis服務宕機,導致大量請求達到資料庫造成巨大壓力。

解決方案

  1. 給不同key的TTL添加隨機值(給不同key設置不同的過期時間)
  2. 利用redis集群服務的可用性,比如哨兵模式、集群模式(解決redis宕機問題)
  3. 給緩存業務添加降級限流策略,例如ngxin、spring cloud gateway
  4. 給業務添加多級緩存,例如Guava、Caffeine

降級可作為系統的保底策略,適用於穿透、擊穿、雪崩

四、雙寫一致性

定義:當修改了資料庫數據也要更新緩存的數據,保持緩存和資料庫的數據一致

  • 讀操作:緩存命中,直接返回;緩存未命中查詢資料庫,寫入緩存,設定超時時間
  • 寫操作:延遲雙刪

先刪除緩存,還是先修改資料庫?

先刪除緩存,再修改資料庫

  • 正常情況:

  • 出現臟數據情況:

修改資料庫數據前被其他線程寫入緩存,導致緩存與資料庫數據不一致

先修改操作資料庫,再刪除緩存

  • 正常情況:

  • 出現臟數據情況:

線程1得到的返回的結果寫入緩存,與線程2更新的資料庫數據對不上

所以不管先刪除緩存,還是先修改資料庫都會出現臟數據,應該採取延遲雙刪的方法,即刪除兩次緩存,可以降低臟數據的出現。延遲刪除是因為資料庫是主存模式,延遲刪除讓主節點把數據同步到從節點,但延遲刪除也只是控制了一部分臟數據的風險,由於延遲時間不好確認,也有臟數據的風險,做不到絕對的強一至。

如何保持強一致性?

  1. 可以採用分散式鎖(互斥鎖)

強一致,性能低

一般存入緩存的數據都是讀多寫少,用讀寫鎖來進行控制

  • 共用鎖:加鎖後其他線程可以共用讀操作
  • 排他鎖:加鎖後阻塞其他線程讀寫操作

具體代碼操作:

  • 讀操作
  • 寫操作
  1. 非同步通知保證數據的最終一致性

利用非同步通知解決數據同步問題

  • MQ

  • canal

它是基於mysql的主從同步實現
當有數據修改寫入資料庫後,資料庫一旦變化就會記錄到BINLOG日誌文件中,cannal通過binlog數據文件獲取變化,我們就可以在緩存服務獲取變化的數據,然後更新到緩存

五、持久化

兩種方式:RDB、AOF

  1. RDB(redis數據備份文件,也叫數據快照)

將記憶體中的數據存到磁碟中,當redis實例故障重啟後,從磁碟讀取快照文件,恢複數據

人工主動備份:

redis內部有觸發RBG的機制,可以在redis.conf文件中找到

  1. AOF(追加文件,redis處理的每一個命令都記錄在AOF文件,可看作是命令日誌文件)

六、數據過期策略

Redis過期刪除策略:惰性刪除 + 定期刪除兩種策略配合使用

  1. 惰性刪除

定義:訪問key時再判斷是否過期,過期則刪除,反之返回key

優點:對CPU友好
缺點:對記憶體不友好

  1. 定期刪除

定義:每隔一段時間,會從一定數量的資料庫中取出一定數量的隨機key進行檢查,並刪除其中的過期key(隨之時間推一會遍歷所有key,把所有過期key刪除)

  • 定期刪除分兩種模式:SLOW、FAST

SLOW模式是定時任務,執行頻率預設為10hz,每次不超過25ms,以通過修改配置文件redis.conf的hz選項來調整次數

FAST模式執行頻率不固定,但兩次間隔不低於2ms,每次耗時不好過1ms

優點:可通過限制刪除操作執行時長和頻率減少刪除操作對CPU的影響,另外定期刪除能有效釋放過期鍵占用的記憶體
缺點:難以確定刪除操作執行的時長和頻率

七、數據淘汰策略

定義:當redis記憶體不足想添加新key,會按照某種規則將記憶體數據刪除,這種數據刪除規則被成為記憶體的淘汰策略

  • redis支持8中不同策略來選擇刪除key
  1. noeviction:不淘汰任何key,但記憶體滿不語序寫入新數據,預設策略

使用建議

本文來自博客園,作者:竹林編夢,轉載請註明原文鏈接:https://www.cnblogs.com/PandaVerse/p/18399430


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 導讀:數據同步方式的重要性對於數據集成領域的興從業者不言而喻,選擇正確的數據同步方式能讓數據同步工作的成果事半功倍。目市面上的數據同步工具很多,提供的數據同步方式也有多種,不同的數據同步方式有什麼區別?如何選擇適合自己業務需求的數據同步方式呢?本文將對此進行深入分析,並深入剖析WhaleTunnel ...
  • 《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書,全書共分10章,第1章主要讓讀者認識數據資產,瞭解數據資產相關的基礎概念,以及數據資產的發展情況。第2~8章主要介紹大數據時代數據資產管理所涉及的核心技術,內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據許可權 ...
  • 介紹: MyBatis-Plus 是基於 MyBatis 框架的一個增強工具,主要目的是簡化 MyBatis 的開發過程,提供更加簡潔、方便的 CRUD 操作。它是在保留 MyBatis 強大功能的基礎上,通過封裝和優化一些常見操作來提高開發效率。 MyBatis-Plus 提供了許多開箱即用的功能 ...
  • 時空人工智慧 時空人工智慧是AI領域的新型創新應用技術,定義為以時空為‘索引’對多源異構數據進行時空化治理和融合,並借力知識工程和AI演算法進行智能化分析,從而挖掘知識和輔助決策。時空AI是地理空間智能、城市空間智能和時空大數據智能等的統一表示,包括從時空感知、認知到決策預知的多項核心技術。其應用生態 ...
  • 在用鍵值對RDD進行操作時,經常會遇到不知道如何篩選出想要數據的情況,這裡提供了一些解決方法 目錄1、對固定的Key數據進行查詢2、對不固定的Key數據進行模糊查詢 1、對固定的Key數據進行查詢 代碼說明: SparkConf:配置 Spark 應用程式的一些基本信息。 SparkContext: ...
  • 寫在前面 今天學習hadoop部分的知識。 Hadoop 概述 Hadoop 是一個適合海量數據的分散式存儲和分散式計算的平臺。Hadoop 的處理思想是“分而治之”。它起源於 Google 的三篇文章:Google FS(GFS),MapReduce,BigTable。Hadoop 主要包含三個核 ...
  • 本系列文章是 DolphinScheduler 由淺入深的教程,涵蓋搭建、二開迭代、核心原理解讀、運維和管理等一系列內容。適用於想對 DolphinScheduler瞭解或想要加深理解的讀者。 推薦閱讀: 海豚調度監控:使用圖關係解決核心鏈路告警問題,減輕任務運維負擔,用戶五星好評! 海豚調度 ...
  • 摘要:本文主要介紹基於源碼部署 Datavines 和執行檢查作業,內容主要分為以下幾個部分: 平臺介紹 快速部署 運行數據質量檢查作業 Datavines 的目標是成為更好的數據可觀測性領域的開源項目,為更多的用戶去解決元數據管理和數據質量管理中遇到的問題。在此我們真誠歡迎更多的貢獻者參與到社區建 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...