面試官:如何遍歷 Redis 中的海量數據?

来源:https://www.cnblogs.com/javastack/archive/2023/08/28/17661914.html
-Advertisement-
Play Games

來源:https://www.toutiao.com/article/6697540366528152077/ ## 前言 有時候我們需要知道線上的**redis的使用情況**,尤其需要知道一些**首碼的key值**,讓我們怎麼去查看呢?今天給大家分享一個小知識點! ## 事故產生 因為我們的用戶* ...


來源:https://www.toutiao.com/article/6697540366528152077/

前言

有時候我們需要知道線上的redis的使用情況,尤其需要知道一些首碼的key值,讓我們怎麼去查看呢?今天給大家分享一個小知識點!

事故產生

因為我們的用戶token緩存是採用了【user_token:userid】格式的key,保存用戶的token的值。我們運維為了幫助開發小伙伴們查一下線上現在有多少登錄用戶。

直接用了keys user_token*方式進行查詢,事故就此發生了。導致redis不可用,假死

分析原因

我們線上的登錄用戶有幾百萬,數據量比較多;keys演算法是遍歷演算法,複雜度是O(n),也就是數據越多,時間複雜度越高。

數據量達到幾百萬,keys這個指令就會導致 Redis 服務卡頓,因為 Redis 是單線程程式,順序執行所有指令,其它指令必須等到當前的 keys 指令執行完了才可以繼續

解決方案

那我們如何去遍歷大數據量呢?這個也是面試經常問的。我們可以採用redis的另一個命令scan。我們看一下scan的特點

1、複雜度雖然也是 O(n),但是它是通過游標分步進行的,不會阻塞線程

2、提供 count 參數,不是結果數量,是redis單次遍歷字典槽位數量(約等於)

3、同 keys 一樣,它也提供模式匹配功能;

4、伺服器不需要為游標保存狀態,游標的唯一狀態就是 scan 返回給客戶端的游標整數;

5、返回的結果可能會有重覆,需要客戶端去重覆,這點非常重要;

6、單次返回的結果是空的並不意味著遍歷結束,而要看返回的游標值是否為零

推薦一個開源免費的 Spring Boot 實戰項目:

https://github.com/javastacks/spring-boot-best-practice

一、scan命令格式

SCAN cursor [MATCH pattern] [COUNT count]

二、命令解釋:scan 游標 MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素數量

SCAN命令是增量的迴圈,每次調用只會返回一小部分的元素。所以不會讓redis假死

SCAN命令返回的是一個游標,從0開始遍歷,到0結束遍歷

三、舉例

redis > scan 0 match user_token* count 5 
 1) "6"
 2) 1) "user_token:1000"
 2) "user_token:1001"
 3) "user_token:1010"
 4) "user_token:2300"
 5) "user_token:1389"

從0開始遍歷,返回了游標6,又返回了數據,繼續scan遍歷,就要從6開始

redis > scan 6 match user_token* count 5 
 1) "10"
 2) 1) "user_token:3100"
 2) "user_token:1201"
 3) "user_token:1410"
 4) "user_token:5300"
 5) "user_token:3389"

總結

這個是面試經常會問到的,也是我們小伙伴在工作的過程經常用的,一般小公司,不會有什麼問題,但數據量多的時候,你的操作方式不對,你的績效就會被扣哦,哈哈。謝謝!!!

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 項目主體搭建 - 前端:`vue3`、`element-plus`、`ts`、`axios`、`vue-router`、`pinia` - 後端:`nodejs`、`koa`、`koa-router`、`koa-body`、`jsonwebtoken` - 部署:`nginx`、`pm2`、`x ...
  • 前端實現文件下載功能有多種方法,這裡就不一一介紹,這裡只介紹使用文件流下載的實現方法。 既然是文件流那就肯定需要給前端返回一堆二進位編碼,作為後端就可以返回一個OutPutStream 後端可以使用Java中servlet提供的HttpServletResponse,核心步驟是要設置響應的數據類型, ...
  • Printf() 函數可以使用多種格式化動詞對輸出進行格式化。下麵是可以與所有數據類型一起使用的一些通用格式化動詞: **通用格式化動詞:** 以下動詞適用於所有數據類型: |動詞|描述| |-|-| |`%v`|以預設格式列印值| |`%#v`|以 Go 語法格式列印值| |`%T`|列印值的類型 ...
  • `pandas`小技巧系列是介紹的是使用`pandas`分析數據時,最常用的一些操作技巧。 具體包括: 1. [創建測試數據](https://www.cnblogs.com/wang_yb/p/17552748.html) 學習pandas的過程中,為了嘗試pandas提供的各類功能強大的函數,常 ...
  • ## 1. 什麼是WebSocket? WebSocket 是一種在單個 TCP 連接上進行全雙工通信的協議,它允許在瀏覽器和伺服器之間進行實時的、雙向的通信。相對於傳統的基於請求和響應的 HTTP 協議,WebSocket 提供了一種更有效、更實時的通信方式,適用於需要實時更新、實時通知和實時交互 ...
  • 來源:toutiao.com/article/7234104886726705716 ## 1.前言 我們的生產環境基本上都部署在雲伺服器上,例如應用伺服器、MySQL伺服器等。如果MySQL伺服器直接暴露在公網,就會存在很大的風險,為了保證數據安全,MySQL伺服器的埠是不對外開放的。 好巧不巧 ...
  • 你的Java服務是如何監控的呢? 1.Null:監控?什麼監控?我一個寫代碼的服務掛了跟我有什麼關係? 2.命令行:服務掛了?記憶體泄漏?jstat jmap jcmd,還好不是我寫的 3.擼代碼:Java採集JVM/伺服器資源信息 -> Prometheus -> Grafana,請允許我對業務代碼 ...
  • 正式使用官方的Java API Client操作ES之前,將與之有關的重要知識點先做一輪串講,後面開始編碼時,疑點已掃清,可以愉快而順暢的實現業務功能 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...