Redis 是一個高性能的鍵值存儲系統,支持多種數據結構。 包含五種基本類型 String(字元串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合),和三種特殊類型 Geo(地理位置)、HyperLogLog(基數統計)、Bitmaps(點陣圖)。 ...
1. Redis介紹
Redis 是一個高性能的鍵值存儲系統,支持多種數據結構。
包含五種基本類型 String(字元串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合),和三種特殊類型 Geo(地理位置)、HyperLogLog(基數統計)、Bitmaps(點陣圖)。
每種數據結構都是為瞭解決特定問題而設計的,適用不同的場景。想要用好Redis,必須瞭解底層實現原理和使用技巧,同時結合具體的業務場景和需求進行選擇和使用。無論是工作還是面試中,這些必備的知識。
下麵就詳細介紹一下每種數據類型的使用方式、實現原理和適用場景。
2. String(字元串)
String(字元串)是Redis中最基本的數據結構之一,它可以存儲任意類型的數據,包括數字、文本、序列化的對象等。Redis中的字元串最大可以存儲512MB的數據。
使用方式
字元串類型的操作是最基本的,包括設置值、獲取值、修改值、追加值等。字元串類型支持的操作包括:
應用場景
- 緩存:將計算結果、資料庫查詢結果或者配置數據存儲在Redis中,可以提高應用的響應速度和吞吐量。
- 計數器:使用Redis的自增和自減操作,實現簡單的計數器功能,如網站的訪問次數統計
- 限流:使用Redis的incr和expire命令,實現固定視窗演算法的流量控制,防止系統過載。
- 分散式鎖:使用SETNX操作實現分散式鎖,保證同一時刻只有一個線程訪問臨界資源。
- 會話管理:將用戶會話信息存儲在Redis中,可以實現分散式Session。
內部編碼
Redis字元串的內部編碼有三種:
- int編碼:當字元串長度小於等於12位元組並且字元串可以表示為整數時,Redis會使用int編碼。這樣可以節省記憶體,並且在執行一些命令時可以直接進行數值計算。
- embstr編碼:當字元串長度小於等於39位元組時,Redis會使用embstr編碼。這種編碼方式會將字元串和存儲它的結構體一起分配在記憶體中,這樣可以減少記憶體碎片和結構體的開銷。
- raw編碼:當字元串長度大於39位元組或者字元串不能表示為整數時,Redis會使用raw編碼。這種編碼方式直接將字元串存儲在一個結構體中,沒有進行任何優化。
3. Hash(哈希)
使用方式
哈希類型是一種鍵值對的集合,其中鍵值對的值可以是字元串、列表或者其他哈希類型。哈希類型支持的操作包括:
應用場景
- 存儲對象:將對象的屬性和屬性值存儲在哈希類型中,可以很方便地進行查詢和更新操作,比如常見的用戶信息就適合使用哈希類型存儲。
內部編碼
Redis哈希類型的內部編碼有兩種:
- ziplist(壓縮列表):當Hash類型的元素比較少,且元素的大小比較小(小於64位元組)時,Redis採用ziplist作為Hash類型的內部編碼。ziplist是一種緊湊的、壓縮的列表結構,可以節省記憶體空間。但是,ziplist只能進行線性查找,不支持快速的隨機訪問。
- hashtable(字典):當Hash類型的元素比較多,或者元素的大小比較大(大於64位元組)時,Redis採用hashtable作為Hash類型的內部編碼。hashtable是一種基於鏈表的哈希表結構,可以快速地進行隨機訪問。但是,hashtable需要占用更多的記憶體空間。
4. List(列表)
使用方式
Redis List類型是一個有序的字元串列表,支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素。支持的操作包括:
使用場景
Redis List類型由於支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素,因此非常適合以下場景:
- 消息隊列:Redis List類型常被用作輕量級的消息隊列,生產者將消息插入隊列尾部,消費者從隊列頭部彈出消息進行處理,可以使用LPUSH、RPUSH、BLPOP、BRPOP等命令實現。
- 時間序列:使用Redis的LPUSH和RPUSH命令,將時間序列的數據按照時間順序添加到列表的頭部或尾部,然後使用LRANGE命令,查詢一段時間範圍內的數據,實現時間序列的查詢。
- 排行榜:Redis List類型可以用於實現排行榜功能,將每個用戶的得分作為元素值插入到列表中,使用LINSERT、LREM、LINDEX等命令進行排名操作,使用LRANGE命令查詢排名前幾的用戶,可以使用LPUSH、LINSERT、LREM、LINDEX、LRANGE等命令實現。
- 計數器:Redis List類型可以將每個元素視為計數器的值,可以使用LPUSH、RPUSH、LINDEX、LREM等命令實現。
- 最近訪問記錄:Redis List類型可以用於記錄最近訪問的記錄,將最新的訪問記錄插入列表頭部,當列表長度超過設定的值時,使用LTRIM命令刪除最舊的記錄,可以使用LPUSH、LINDEX、LTRIM等命令實現。
內部編碼
Redis List類型內部編碼有兩種,分別是ziplist和linkedlist。
- ziplist
ziplist是一種特殊的編碼方式,它可以將小數據量的列表存儲在一個連續的記憶體塊中,節省了記憶體空間,同時還可以提高存取效率。
ziplist編碼的列表最大長度為2^16-1個元素,每個元素可以是字元串類型、整數類型或浮點數類型。在ziplist中,每個元素都被存儲為一個位元組數組,並包含一個首碼和一個尾碼,用於標識該元素的類型和長度。
- linkedlist
linkedlist是一種常規的雙向鏈表結構,它可以存儲任意長度的列表,並且支持高效的插入和刪除操作。在linkedlist中,每個節點都包含了一個指向前一個節點和後一個節點的指針,以及一個存儲元素數據的指針。
linkedlist適用於存儲大數量的列表,它沒有像ziplist那樣的記憶體限制,但是會占用更多的記憶體空間。
5. Set(集合)
使用方式
Redis Set(集合)是一個無序的字元串集合,其中每個元素都是唯一的,不允許重覆。Redis Set類型支持的操作包括:
使用場景
Redis Set類型的使用場景包括:
- 標簽系統:使用Set類型存儲每個標簽對應的對象列表,以便快速查找包含特定標簽的對象。可以使用SADD、SREM、SISMEMBER、SMEMBERS等命令實現。
- 好友關係:將每個用戶的好友列表作為一個集合,可以使用SADD、SREM、SISMEMBER、SDIFF、SINTER、SUNION等命令實現。
- 共同好友:使用SINTER命令計算出兩個用戶的共同好友,可以使用SADD、SINTER、SUNION等命令實現。
- 排名系統:將每個用戶的得分作為元素值插入到集合中,使用ZADD、ZREM、ZRANK、ZSCORE等命令進行排名操作,使用ZREVRANGE命令查詢排名前幾的用戶,可以使用ZADD、ZREM、ZRANK、ZSCORE、ZREVRANGE等命令實現。
- 訂閱關係:使用Set類型存儲用戶訂閱的內容,以便快速獲取用戶訂閱的內容。
總的來說,Set類型適用於需要存儲一組不重覆的數據,並支持集合操作的場景。
內部編碼
Redis Set類型的內部編碼有兩種:
- intset(整數集合):當Set類型只包含整數類型的數據,並且元素數量較少(小於512個)時,Redis會使用intset作為Set類型的內部編碼。intset是一種緊湊的、壓縮的整數集合結構,可以節省記憶體空間,並且支持快速的查找、插入和刪除操作。在intset中,所有元素都按照從小到大的順序排列,並且可以使用不同的編碼方式(16位、32位、64位)存儲不同大小範圍內的整數。
- hashtable(字典):當Set類型包含字元串類型或者元素數量較多時,Redis會使用hashtable作為Set類型的內部編碼。hashtable是一種基於鏈表的哈希表結構,可以快速地進行隨機訪問、插入和刪除操作。在hashtable中,每個元素都被存儲為一個字元串,並且使用哈希函數將字元串映射到一個桶中,然後在桶中進行查找、插入和刪除操作。
在實際使用中,當Set類型的元素全部為整數類型時,建議使用intset編碼;而當Set類型的元素包含非整數類型時,才使用hashtable編碼。
6. Zset(有序集合)
使用方式
Redis中的Zset(有序集合)是一個鍵值對集合,其中每個元素都關聯一個分值(score),通過分值進行排序,可以看作是一個字典(dict)和一個跳躍列表(skip list)的混合體,它可以存儲多個相同的元素,但每個元素必須有一個唯一的score值。
支持的操作包括:
使用場景
Redis Zset是一種有序集合,其使用場景主要包括以下幾個方面:
- 排行榜:使用Zset類型可以實現排行榜功能,將每個用戶的得分作為元素值插入到集合中,使用ZADD、ZINCRBY、ZREM等命令進行排名操作,使用ZRANGE、ZREVRANGE命令查詢排名前幾的用戶。
- 最近訪問記錄:使用Zset類型可以用於記錄最近訪問的記錄,將最新的訪問記錄插入集合中,使用ZREMRANGEBYRANK命令刪除最舊的記錄,使用ZRANGE命令查詢最近訪問的記錄。
- 計數器:Redis Zset可以用於實現計數器功能,比如統計某個頁面的訪問次數、統計某個廣告的點擊量等。將頁面ID或廣告ID作為成員(member)存儲在Zset中,以訪問次數或點擊量作為分數(score)存儲。
- 好友關係:Redis Zset可以用於存儲用戶之間的關註關係以及用戶之間的互動,比如點贊、評論等。可以將用戶ID作為成員(member)存儲在Zset中,將時間戳或者其他標識作為分數(score)存儲,以此記錄用戶之間的互動情況。
內部編碼
Redis Zset的內部編碼有兩種:
- ziplist編碼:當Zset中元素個數小於128個,並且所有元素的長度都小於64位元組時,Redis會使用ziplist編碼存儲Zset。這種編碼方式可以節省記憶體空間,並且可以提高存取效率,但是不支持隨機訪問和範圍查詢。
- skiplist編碼:當Zset中元素個數大於等於128個,或者有一個元素的長度大於64位元組時,Redis會使用skiplist編碼存儲Zset。這種編碼方式支持高效的隨機訪問和範圍查詢,但是需要占用更多的記憶體空間。
7. Geo(地理位置)
使用方式
Redis Geo(地理位置)是一個鍵值對集合,其中每個元素都包含一個經度和緯度,可以用於存儲地理位置信息並支持基於位置的搜索。Redis Geo支持的操作包括:
Redis Geo類型適用於需要存儲地理位置信息並支持基於位置的搜索的場景,比如附近的人、附近的商家等。
使用場景
Redis Geo類型的使用場景如下:
- 位置服務:用於存儲地理位置信息,如餐廳、商店、機場、醫院等的經緯度信息,可以通過 Geo 庫提供的命令查詢指定範圍內的所有商家信息。
- 車輛監控:用於車輛位置跟蹤和監控,可以將車輛的經緯度信息存儲在 Redis 中,並通過 Geo 庫提供的命令查詢車輛的位置,以及在指定半徑內的其他車輛信息。
- 物流配送:用於存儲配送員的位置信息,以及需要配送的訂單信息的經緯度信息,可以通過 Geo 庫提供的命令查詢配送員在指定範圍內的訂單信息,以提高配送效率。
- 電商推薦:用於存儲用戶的位置信息,以及商家和商品的經緯度信息,可以通過 Geo 庫提供的命令查詢指定範圍內的商家和商品信息,以提供更加精準的推薦服務。
- 游戲地圖:用於存儲游戲地圖的位置信息和玩家的位置信息,可以通過 Geo 庫提供的命令查詢玩家在游戲地圖上的位置,以及在指定半徑內的其他玩家信息,以提供更加豐富的游戲體驗。
- 社交應用:用於存儲用戶的位置信息,以及附近的其他用戶的位置信息,可以通過 Geo 庫提供的命令查詢指定範圍內的用戶信息,以提供更加精準的社交服務。
內部編碼
Redis Geo類型內部使用zset來存儲地理位置信息,其中元素的score值為經度,member值為經緯度組合的字元串。在使用GEORADIUS和GEORADIUSBYMEMBER命令搜索元素時,Redis會構建一個跳躍表,以實現高效的搜索。
8. HyperLogLog(基數統計)
使用方式
Redis HyperLogLog(基數統計)是一種基於概率統計的數據結構,用於估計大型數據集合的基數(不重覆元素的數量),以及對多個集合進行並、交運算等。HyperLogLog的優點是可以使用極少的記憶體空間,同時可以保證較高的準確性。
每個 HyperLogLog 鍵只需要花費 12 KB 記憶體,就可以計算接近 2^64 個不同元素的基數。
使用場景
HyperLogLog的使用場景主要包括以下幾個方面:
- 用戶去重:使用HyperLogLog可以對海量的用戶數據進行去重,快速地統計出不重覆的用戶數量。
- 網站UV統計:使用HyperLogLog可以對網站的訪問日誌進行分析,統計出每天、每周、每月的獨立訪客數量。
- 廣告點擊統計:使用HyperLogLog可以對廣告的點擊數據進行分析,統計出獨立點擊用戶的數量,以及對多個廣告進行並、交運算等。
- 資料庫查詢優化:使用HyperLogLog可以對資料庫中的數據進行去重,減少查詢的數據量,提高查詢效率。
- 分散式計算:使用HyperLogLog可以在分散式系統中對數據進行去重、並、交等操作,以支持分散式計算。
使用HyperLogLog可以大大減少記憶體占用和計算時間,是處理大數據量去重計數的有效工具。
內部編碼
Redis HyperLogLog類型的內部編碼使用的"稀疏矩陣"和”稠密矩陣“。
當計數較少時,採用”稀疏矩陣“,其中絕大部分元素都是0。計數增多後,超過閾值後,會轉換成”稠密矩陣“。
9. Bitmaps(點陣圖)
使用方式
Redis Bitmaps(點陣圖)是一種緊湊的數據結構,可以用於表示一個只有0和1的數組。點陣圖可以用於高效地存儲大規模的布爾值,以及進行位運算、點陣圖圖形化等操作。Redis Bitmaps支持的操作包括:
使用場景
Redis Bitmaps適用於需要高效地存儲大規模的布爾值,併進行位運算、統計等操作的場景。比如:
- 統計線上用戶數:使用Bitmaps類型來表示用戶的線上狀態,例如一個bit位表示一個用戶,當用戶登錄時將對應的bit位置為1,當用戶退出時將其位置為0。這樣可以非常方便地進行線上用戶的統計。
- 黑白名單統計:在網路安全中,可以使用點陣圖記錄IP地址的訪問情況、黑白名單等信息。
- 統計用戶訪問行為:例如將每個頁面或功能點表示為一個bit位,用戶訪問時將對應的bit位置為1,未訪問則為0。這樣就可以方便地統計用戶的訪問習慣,瞭解用戶對產品的喜好和熱點等信息。
- 布隆過濾器:這是最常用的場景,布隆過濾器是一種用於快速判斷某個元素是否在集合中的演算法,在大數據量場景下其效率非常高。Redis的Bitmaps類型可以用來實現布隆過濾器,節約存儲空間,並提高查詢效率。
內部編碼
Redis Bitmaps類型的內部編碼使用了一種稱為“壓縮點陣圖”的數據結構。它通過使用兩個數組來存儲點陣圖數據:一個存儲實際位的值,另一個存儲每個位元組中1的個數。這種編碼方式可以大大壓縮點陣圖數據的大小。