深度剖析Redis九種數據結構實現原理,建議收藏

来源:https://www.cnblogs.com/yidengjiagou/archive/2023/04/11/17305653.html
-Advertisement-
Play Games

Redis 是一個高性能的鍵值存儲系統,支持多種數據結構。 包含五種基本類型 String(字元串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合),和三種特殊類型 Geo(地理位置)、HyperLogLog(基數統計)、Bitmaps(點陣圖)。 ...


1. Redis介紹

Redis 是一個高性能的鍵值存儲系統,支持多種數據結構。

包含五種基本類型 String(字元串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合),和三種特殊類型 Geo(地理位置)、HyperLogLog(基數統計)、Bitmaps(點陣圖)。

每種數據結構都是為瞭解決特定問題而設計的,適用不同的場景。想要用好Redis,必須瞭解底層實現原理和使用技巧,同時結合具體的業務場景和需求進行選擇和使用。無論是工作還是面試中,這些必備的知識。

下麵就詳細介紹一下每種數據類型的使用方式、實現原理和適用場景。

2. String(字元串)

String(字元串)是Redis中最基本的數據結構之一,它可以存儲任意類型的數據,包括數字、文本、序列化的對象等。Redis中的字元串最大可以存儲512MB的數據。

使用方式

字元串類型的操作是最基本的,包括設置值、獲取值、修改值、追加值等。字元串類型支持的操作包括:

應用場景

  • 緩存:將計算結果、資料庫查詢結果或者配置數據存儲在Redis中,可以提高應用的響應速度和吞吐量。
  • 計數器:使用Redis的自增和自減操作,實現簡單的計數器功能,如網站的訪問次數統計
  • 限流:使用Redis的incr和expire命令,實現固定視窗演算法的流量控制,防止系統過載。
  • 分散式鎖:使用SETNX操作實現分散式鎖,保證同一時刻只有一個線程訪問臨界資源。
  • 會話管理:將用戶會話信息存儲在Redis中,可以實現分散式Session。

內部編碼

Redis字元串的內部編碼有三種:

  1. int編碼:當字元串長度小於等於12位元組並且字元串可以表示為整數時,Redis會使用int編碼。這樣可以節省記憶體,並且在執行一些命令時可以直接進行數值計算。
  2. embstr編碼:當字元串長度小於等於39位元組時,Redis會使用embstr編碼。這種編碼方式會將字元串和存儲它的結構體一起分配在記憶體中,這樣可以減少記憶體碎片和結構體的開銷。
  3. raw編碼:當字元串長度大於39位元組或者字元串不能表示為整數時,Redis會使用raw編碼。這種編碼方式直接將字元串存儲在一個結構體中,沒有進行任何優化。

3. Hash(哈希)

使用方式

哈希類型是一種鍵值對的集合,其中鍵值對的值可以是字元串、列表或者其他哈希類型。哈希類型支持的操作包括:

應用場景

  • 存儲對象:將對象的屬性和屬性值存儲在哈希類型中,可以很方便地進行查詢和更新操作,比如常見的用戶信息就適合使用哈希類型存儲。

內部編碼

Redis哈希類型的內部編碼有兩種:

  1. ziplist(壓縮列表):當Hash類型的元素比較少,且元素的大小比較小(小於64位元組)時,Redis採用ziplist作為Hash類型的內部編碼。ziplist是一種緊湊的、壓縮的列表結構,可以節省記憶體空間。但是,ziplist只能進行線性查找,不支持快速的隨機訪問。
  2. hashtable(字典):當Hash類型的元素比較多,或者元素的大小比較大(大於64位元組)時,Redis採用hashtable作為Hash類型的內部編碼。hashtable是一種基於鏈表的哈希表結構,可以快速地進行隨機訪問。但是,hashtable需要占用更多的記憶體空間。

4. List(列表)

使用方式

Redis List類型是一個有序的字元串列表,支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素。支持的操作包括:

使用場景

Redis List類型由於支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素,因此非常適合以下場景:

  • 消息隊列:Redis List類型常被用作輕量級的消息隊列,生產者將消息插入隊列尾部,消費者從隊列頭部彈出消息進行處理,可以使用LPUSH、RPUSH、BLPOP、BRPOP等命令實現。
  • 時間序列:使用Redis的LPUSH和RPUSH命令,將時間序列的數據按照時間順序添加到列表的頭部或尾部,然後使用LRANGE命令,查詢一段時間範圍內的數據,實現時間序列的查詢。
  • 排行榜:Redis List類型可以用於實現排行榜功能,將每個用戶的得分作為元素值插入到列表中,使用LINSERT、LREM、LINDEX等命令進行排名操作,使用LRANGE命令查詢排名前幾的用戶,可以使用LPUSH、LINSERT、LREM、LINDEX、LRANGE等命令實現。
  • 計數器:Redis List類型可以將每個元素視為計數器的值,可以使用LPUSH、RPUSH、LINDEX、LREM等命令實現。
  • 最近訪問記錄:Redis List類型可以用於記錄最近訪問的記錄,將最新的訪問記錄插入列表頭部,當列表長度超過設定的值時,使用LTRIM命令刪除最舊的記錄,可以使用LPUSH、LINDEX、LTRIM等命令實現。

內部編碼

Redis List類型內部編碼有兩種,分別是ziplist和linkedlist。

  • ziplist

ziplist是一種特殊的編碼方式,它可以將小數據量的列表存儲在一個連續的記憶體塊中,節省了記憶體空間,同時還可以提高存取效率。

ziplist編碼的列表最大長度為2^16-1個元素,每個元素可以是字元串類型、整數類型或浮點數類型。在ziplist中,每個元素都被存儲為一個位元組數組,並包含一個首碼和一個尾碼,用於標識該元素的類型和長度。

  • linkedlist

linkedlist是一種常規的雙向鏈表結構,它可以存儲任意長度的列表,並且支持高效的插入和刪除操作。在linkedlist中,每個節點都包含了一個指向前一個節點和後一個節點的指針,以及一個存儲元素數據的指針。

linkedlist適用於存儲大數量的列表,它沒有像ziplist那樣的記憶體限制,但是會占用更多的記憶體空間。

5. Set(集合)

使用方式

Redis Set(集合)是一個無序的字元串集合,其中每個元素都是唯一的,不允許重覆。Redis Set類型支持的操作包括:

使用場景

Redis Set類型的使用場景包括:

  • 標簽系統:使用Set類型存儲每個標簽對應的對象列表,以便快速查找包含特定標簽的對象。可以使用SADD、SREM、SISMEMBER、SMEMBERS等命令實現。
  • 好友關係:將每個用戶的好友列表作為一個集合,可以使用SADD、SREM、SISMEMBER、SDIFF、SINTER、SUNION等命令實現。
  • 共同好友:使用SINTER命令計算出兩個用戶的共同好友,可以使用SADD、SINTER、SUNION等命令實現。
  • 排名系統:將每個用戶的得分作為元素值插入到集合中,使用ZADD、ZREM、ZRANK、ZSCORE等命令進行排名操作,使用ZREVRANGE命令查詢排名前幾的用戶,可以使用ZADD、ZREM、ZRANK、ZSCORE、ZREVRANGE等命令實現。
  • 訂閱關係:使用Set類型存儲用戶訂閱的內容,以便快速獲取用戶訂閱的內容。

總的來說,Set類型適用於需要存儲一組不重覆的數據,並支持集合操作的場景。

內部編碼

Redis Set類型的內部編碼有兩種:

  1. intset(整數集合):當Set類型只包含整數類型的數據,並且元素數量較少(小於512個)時,Redis會使用intset作為Set類型的內部編碼。intset是一種緊湊的、壓縮的整數集合結構,可以節省記憶體空間,並且支持快速的查找、插入和刪除操作。在intset中,所有元素都按照從小到大的順序排列,並且可以使用不同的編碼方式(16位、32位、64位)存儲不同大小範圍內的整數。
  2. hashtable(字典):當Set類型包含字元串類型或者元素數量較多時,Redis會使用hashtable作為Set類型的內部編碼。hashtable是一種基於鏈表的哈希表結構,可以快速地進行隨機訪問、插入和刪除操作。在hashtable中,每個元素都被存儲為一個字元串,並且使用哈希函數將字元串映射到一個桶中,然後在桶中進行查找、插入和刪除操作。

在實際使用中,當Set類型的元素全部為整數類型時,建議使用intset編碼;而當Set類型的元素包含非整數類型時,才使用hashtable編碼。

6. Zset(有序集合)

使用方式

Redis中的Zset(有序集合)是一個鍵值對集合,其中每個元素都關聯一個分值(score),通過分值進行排序,可以看作是一個字典(dict)和一個跳躍列表(skip list)的混合體,它可以存儲多個相同的元素,但每個元素必須有一個唯一的score值。

支持的操作包括:

使用場景

Redis Zset是一種有序集合,其使用場景主要包括以下幾個方面:

  • 排行榜:使用Zset類型可以實現排行榜功能,將每個用戶的得分作為元素值插入到集合中,使用ZADD、ZINCRBY、ZREM等命令進行排名操作,使用ZRANGE、ZREVRANGE命令查詢排名前幾的用戶。
  • 最近訪問記錄:使用Zset類型可以用於記錄最近訪問的記錄,將最新的訪問記錄插入集合中,使用ZREMRANGEBYRANK命令刪除最舊的記錄,使用ZRANGE命令查詢最近訪問的記錄。
  • 計數器:Redis Zset可以用於實現計數器功能,比如統計某個頁面的訪問次數、統計某個廣告的點擊量等。將頁面ID或廣告ID作為成員(member)存儲在Zset中,以訪問次數或點擊量作為分數(score)存儲。
  • 好友關係:Redis Zset可以用於存儲用戶之間的關註關係以及用戶之間的互動,比如點贊、評論等。可以將用戶ID作為成員(member)存儲在Zset中,將時間戳或者其他標識作為分數(score)存儲,以此記錄用戶之間的互動情況。

內部編碼

Redis Zset的內部編碼有兩種:

  1. ziplist編碼:當Zset中元素個數小於128個,並且所有元素的長度都小於64位元組時,Redis會使用ziplist編碼存儲Zset。這種編碼方式可以節省記憶體空間,並且可以提高存取效率,但是不支持隨機訪問和範圍查詢。
  2. skiplist編碼:當Zset中元素個數大於等於128個,或者有一個元素的長度大於64位元組時,Redis會使用skiplist編碼存儲Zset。這種編碼方式支持高效的隨機訪問和範圍查詢,但是需要占用更多的記憶體空間。

7. Geo(地理位置)

使用方式

Redis Geo(地理位置)是一個鍵值對集合,其中每個元素都包含一個經度和緯度,可以用於存儲地理位置信息並支持基於位置的搜索。Redis Geo支持的操作包括:

Redis Geo類型適用於需要存儲地理位置信息並支持基於位置的搜索的場景,比如附近的人、附近的商家等。

使用場景

Redis Geo類型的使用場景如下:

  1. 位置服務:用於存儲地理位置信息,如餐廳、商店、機場、醫院等的經緯度信息,可以通過 Geo 庫提供的命令查詢指定範圍內的所有商家信息。
  2. 車輛監控:用於車輛位置跟蹤和監控,可以將車輛的經緯度信息存儲在 Redis 中,並通過 Geo 庫提供的命令查詢車輛的位置,以及在指定半徑內的其他車輛信息。
  3. 物流配送:用於存儲配送員的位置信息,以及需要配送的訂單信息的經緯度信息,可以通過 Geo 庫提供的命令查詢配送員在指定範圍內的訂單信息,以提高配送效率。
  4. 電商推薦:用於存儲用戶的位置信息,以及商家和商品的經緯度信息,可以通過 Geo 庫提供的命令查詢指定範圍內的商家和商品信息,以提供更加精準的推薦服務。
  5. 游戲地圖:用於存儲游戲地圖的位置信息和玩家的位置信息,可以通過 Geo 庫提供的命令查詢玩家在游戲地圖上的位置,以及在指定半徑內的其他玩家信息,以提供更加豐富的游戲體驗。
  6. 社交應用:用於存儲用戶的位置信息,以及附近的其他用戶的位置信息,可以通過 Geo 庫提供的命令查詢指定範圍內的用戶信息,以提供更加精準的社交服務。

內部編碼

Redis Geo類型內部使用zset來存儲地理位置信息,其中元素的score值為經度,member值為經緯度組合的字元串。在使用GEORADIUS和GEORADIUSBYMEMBER命令搜索元素時,Redis會構建一個跳躍表,以實現高效的搜索。

8. HyperLogLog(基數統計)

使用方式

Redis HyperLogLog(基數統計)是一種基於概率統計的數據結構,用於估計大型數據集合的基數(不重覆元素的數量),以及對多個集合進行並、交運算等。HyperLogLog的優點是可以使用極少的記憶體空間,同時可以保證較高的準確性。

每個 HyperLogLog 鍵只需要花費 12 KB 記憶體,就可以計算接近 2^64 個不同元素的基數。

使用場景

HyperLogLog的使用場景主要包括以下幾個方面:

  • 用戶去重:使用HyperLogLog可以對海量的用戶數據進行去重,快速地統計出不重覆的用戶數量。
  • 網站UV統計:使用HyperLogLog可以對網站的訪問日誌進行分析,統計出每天、每周、每月的獨立訪客數量。
  • 廣告點擊統計:使用HyperLogLog可以對廣告的點擊數據進行分析,統計出獨立點擊用戶的數量,以及對多個廣告進行並、交運算等。
  • 資料庫查詢優化:使用HyperLogLog可以對資料庫中的數據進行去重,減少查詢的數據量,提高查詢效率。
  • 分散式計算:使用HyperLogLog可以在分散式系統中對數據進行去重、並、交等操作,以支持分散式計算。

使用HyperLogLog可以大大減少記憶體占用和計算時間,是處理大數據量去重計數的有效工具。

內部編碼

Redis HyperLogLog類型的內部編碼使用的"稀疏矩陣"和”稠密矩陣“。

當計數較少時,採用”稀疏矩陣“,其中絕大部分元素都是0。計數增多後,超過閾值後,會轉換成”稠密矩陣“。

9. Bitmaps(點陣圖)

使用方式

Redis Bitmaps(點陣圖)是一種緊湊的數據結構,可以用於表示一個只有0和1的數組。點陣圖可以用於高效地存儲大規模的布爾值,以及進行位運算、點陣圖圖形化等操作。Redis Bitmaps支持的操作包括:

使用場景

Redis Bitmaps適用於需要高效地存儲大規模的布爾值,併進行位運算、統計等操作的場景。比如:

  • 統計線上用戶數:使用Bitmaps類型來表示用戶的線上狀態,例如一個bit位表示一個用戶,當用戶登錄時將對應的bit位置為1,當用戶退出時將其位置為0。這樣可以非常方便地進行線上用戶的統計。
  • 黑白名單統計:在網路安全中,可以使用點陣圖記錄IP地址的訪問情況、黑白名單等信息。
  • 統計用戶訪問行為:例如將每個頁面或功能點表示為一個bit位,用戶訪問時將對應的bit位置為1,未訪問則為0。這樣就可以方便地統計用戶的訪問習慣,瞭解用戶對產品的喜好和熱點等信息。
  • 布隆過濾器:這是最常用的場景,布隆過濾器是一種用於快速判斷某個元素是否在集合中的演算法,在大數據量場景下其效率非常高。Redis的Bitmaps類型可以用來實現布隆過濾器,節約存儲空間,並提高查詢效率。

內部編碼

Redis Bitmaps類型的內部編碼使用了一種稱為“壓縮點陣圖”的數據結構。它通過使用兩個數組來存儲點陣圖數據:一個存儲實際位的值,另一個存儲每個位元組中1的個數。這種編碼方式可以大大壓縮點陣圖數據的大小。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 文章原鏈接:http://t.csdn.cn/x3yDi 一、CentOS7查看開放埠命令 CentOS7的開放關閉查看埠都是用防火牆來控制的,具體命令如下: 查看已經開放的埠 firewall-cmd --list-ports 開啟埠 firewall-cmd --zone=public ...
  • 在一些實際的場景里,我們需要通過利用一些埠轉發工具,比如系統自帶的命令行工具或第三方小軟體,來繞過網路訪問限制觸及目標系統。下文為大家總結了linux系統和windows系統埠轉發常用的一些方法。 ...
  • 在AIX系統中,查看網卡配置可以使用entstat和lsdev命令來實現。 使用entstat命令查看網卡配置 使用以下命令查看所有網卡的信息: entstat -all 使用以下命令查看指定網卡的信息: entstat -d enX 其中enX代表網卡的名稱,例如en0表示第一塊網卡,en1表示第 ...
  • GPFS 文件系統部署步驟 參考文檔: 簡書網友提供: https://www.jianshu.com/p/a0ecc0838b3b?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendat ...
  • 首先可以直接改Hosts文件(現在不太管用了)。如果你是Linux或Mac系統,那麼可以通過命令sudo vim /etc/hosts打開Hosts文件併進行修改。如果你已經擁有了網路代理服務,那麼我們可以在此基礎上配置終端代理。我們查看得知自己代理伺服器的IP地址為http://127.0.0.1... ...
  • 鎖屏面試題百日百刷,每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題: 1.請說明什麼是Apache Kafka? Apache Kafka是由Apache開發的一種發佈訂閱消息系統,它是一個分散式的、分區的和重覆的日誌服務。 2.請說明什麼是傳統的消息傳遞方法? 傳統的 ...
  • 解壓flume包 到/usr/local/src/目錄下 [root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/ 配置flume環境變數 #FLUME_HOME export FLUME_H ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: Yejinrong/葉金榮 文章來源:GreatSQL社區投稿 編譯GreatSQL 安裝gdb 開始調試GreatSQL源碼 3.1 利用gd ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...