Redis五大數據類型詳解

来源:https://www.cnblogs.com/hill1126/archive/2019/09/15/11523329.html
-Advertisement-
Play Games

關於Redis的五大數據類型,它們分別為:String、List、Hash、Set、SortSet。本文將會從它的底層數據結構、常用操作命令、一些特點和實際應用這幾個方面進行解析。對於數據結構的解析,本文只會從大的方面來解析,不會介紹詳細的代碼實現。 String 1.實現結構 String是Red ...


關於Redis的五大數據類型,它們分別為:String、List、Hash、Set、SortSet。本文將會從它的底層數據結構常用操作命令、一些特點實際應用這幾個方面進行解析。對於數據結構的解析,本文只會從大的方面來解析,不會介紹詳細的代碼實現。

String

1.實現結構

  String是Redis中最常用的一種數據類型,也是Redis中最簡單的一種數據類型。首先,錶面上它是字元串,但其實他可以靈活的表示字元串、整數、浮點數3種值。Redis會自動的識別這3種值。那麼,String的底層數據機構又是怎樣的呢?由於Redis是使用c語言實現的,而c語言中沒有String這一數據類型,那麼就需要自己實現一個類似於String的結構體。它的名字就叫做SDS(simple dynamic string),下麵是它的代碼結構。

1 typedef struct sdshdr {
2     // buf中已經占用的字元長度
3     unsigned int len;
4     // buf中剩餘可用的字元長度
5     unsigned int free;
6     // 數據空間
7     char buf[];
8 }

如果有瞭解過Java集合框架類的朋友都知道,這種結構與集合中動態數組結構類似,那麼就會涉及到一系列的擴容判斷和操作,但這些具體的做法在這裡不深入講解。不過有一點比較重要的就是String的value值最大可以存放512MB的數據,所以有時候它不僅僅可以存放字元,還可以存放位元組數據。

2.實際應用

  在講實際應用之前,要聲明的是Redis是基於單線程IO多路復用的架構實現的NoSql,意味著它的操作都是串列化的,所以在命令操作上不會出現線程安全問題,基於這個特性可以有很多應用。

  1. 分散式鎖。利用Redis的串列化特性,可以輕鬆的實現分散式鎖,其中用到的命令有:setnx key value , expire key time  ,del key ,其中第一個setnx是指在key不存在時能賦值成功,expire 來設置key的存活時間來防止程式異常而沒有及時del到key值的情況。但是程式也有可能在expire沒有執行時就已經掛掉的時候,這是可以來一個增強版set key value  NX EX time。這裡的NX就是表示if not exist,而Ex表示時間單位秒,Px代表毫秒。
  2. 分散式session。這裡僅僅是利用Redis的資料庫功能,把分散式應用的session抽取到Redis中,普通的get、set,命令即可完成。
  3. 商品秒殺實現。把需要銷售的商品提前放入Redis,通過redis的incrdecr命令安全的增加和減少庫存。
  4. 限時驗證。 expire key time ,判斷exists key在簡訊驗證時,當redis中存在數據則不允許再次請求驗證發送。

 

List

1.實現結構

  首先,List的主要存取操作有lpush、lpop、rpush、rpop,有點像是雙向隊列。List的實現是靈活多樣的,它分別有ziplist(壓縮鏈表)、LinkedList(雙向鏈表)兩種實現方式。

  1.ziplist

  如下圖所示,它是基於連續記憶體實現(類似數組)。當然,它的每一個entry的大小可能不是一致的,這就需要特殊的控制手段去解決,所以才叫壓縮表。那麼數組有的特性它都會有,比如在lpush、lpop的時候就會有數據的搬移,時間複雜度是O(n)。所以,一般在數據元素較少時使用ziplist結構實現。

  2.LinkedList

  則與我們日常所學的雙向鏈表相差無異,同樣也保留則頭尾指針、數據長度等數據,這裡就不再詳細說明,需要瞭解的去讀一讀Java的LInkedList源碼也不錯。

2.實際應用

  1. 消息隊列。使用lpush,brpop兩個命令可以模擬一個消息隊列。其中brpop key time為阻塞式彈出,當隊列中為空時會阻塞當前操作,該操作需要添加超時參數,單位為秒。
  2. 有限集合。使用ltrim key start end操作可以獲取一個固定位置的數據,可以快速實現一個有限的集合。

Hash

 1.實現結構

  首先,Hash的特性我們可以想象為Java集合中的HashMap,一個hash中可以有多個field:value(鍵值對)。關於hash的實現同樣有兩種情況。一種是基於ZipList,一種是基於HashTable實現。

  1.ZipList

  這裡的的ZipList與List當中的ZipList其實是相差無幾的,唯一的特點就是Hash存儲的時候,它的entry數量是成對增加的,同時也是成對存在的,所以它的長度一定是2的整數倍。filed值放在前面,value放在後面的形式存放。當然採用ZipList操作時,它的查找刪改查的時間複雜度就會變為O(n),所以ZipList適合在數據較少的情況下使用。

 2.HashTable

雖然說Hash與Java中的HashMap功能類似,但在HashTable這個結構上還是有一定的不同點的。要想瞭解HashTable的實現,需要瞭解三個結構。它們分別是:dictdicthtentry。entry和前面list中提到的類似,下麵列出前面兩個結構的定義:

 1 // 哈希表(字典)數據結構,Redis 的所有鍵值對都會存儲在這裡。其中包含兩個哈希表。
 2 typedef struct dict {
 3     // 哈希表的類型,包括哈希函數,比較函數,鍵值的記憶體釋放函數
 4     dictType *type;
 5     // 存儲一些額外的數據
 6     void *privdata;
 7     // 兩個哈希表
 8     dictht ht[2];
 9     // 哈希表重置下標,指定的是哈希數組的數組下標
10     int rehashidx; /* rehashing not in progress if rehashidx == -1 */
11     // 綁定到哈希表的迭代器個數
12     int iterators; /* number of iterators currently running */
13 } dict;
14 
15 typedef struct dictht { 
16     //槽位數組
17     dictEntry **table; 
18     //槽位數組長度
19     unsigned long size; 
20     //用於計算索引的掩碼,可以理解為hash函數 
21     unsigned long sizemask;
22     //真正存儲的鍵值對數量
23     unsigned long used; 
24 } dictht;

關係可以總結為下麵這幅圖:

 

2.實際應用

  1. 存放對象Object。你可能會發現,從巨集觀上來說,這種一個key , field1 : value1 ,field2 : value2 一個鍵值對應多個欄位field的格式非常適合用於描寫一個對象。所以,hash一般會用於描述一個對象,但其實我們在實際中也有可能會用一個Json格式的字元串來描述一個對象。那麼這兩種方法都可行的情況下,會有什麼優缺點呢?利用hash描述一個對象:可以做到序列化開銷小,可以單獨修改某一個欄位而不用讀出全部數據,但是使用比較複雜。而使用json描述對象,使用簡單但需要耗費額外的序列化開銷。需要使用什麼形式,具體情況需要具體分析。
  2. 結合Json描述對象的集合。例如,在商城應用中,可以利用Hash的key來描述一個用戶的id,而field用於描述用戶的購物車列表中的一個物品的詳細信息。

 

Set

Set是一個不允許重覆的,無順序的數據集合。值得註意的是,這裡說的無順序其實還是有一點歧義的,那麼到底是怎麼回事呢?接下來的博文就會有提到這個差異。

1.實現結構

  1.IntSet。

  這裡的IntSet是一種在滿足特定情況下所使用的數據結構。這種情況就是當全部value都為整型時,redis會使用IntSet這種結構。在這個情況下它是有序的。這是為什麼呢?先從結構開始說起,為了平衡空間的性能的消耗,Redis在數據都為整型的時候使用了一種基於動態數組的結構體,同時在存放元素時保正元素的大小順序,這樣就可以使用二分查找以時間複雜度O(logn)來完成增刪改查的操作。這樣就節省了很多空間。至於增和刪操作,同樣會涉及到數組的數據搬移操作。下麵為它的結構體代碼:

1 typedef struct intset {
2     // 編碼方式
3   uint32_t enconding;
4   // 集合包含的元素數量
5   uint32_t length;
6   // 保存元素的數組    
7   int8_t contents[];
8 } intset;

 

  2.HashTable

  當存在非整型數據的時候,Redis會自動把IntSet轉換為HashTable的結構存放數據,但HashTable不能轉換為IntSet。這裡的HashTable與上面Hash結構提到的HashTable沒有太大的差別。唯一的差別就在於Set存放在HashTable中只有Key值,沒有value值,所以在HashTable的Entry中,Enrty的value永遠為null。

2.實際應用

  1.  記錄唯一的事物。如ip值,身份證等。
  2. 隨機用戶抽獎。通過srandmember key 隨機返回一個set中的數據。
  3. 用戶標簽。當用戶在使用某個產品的時候,後臺可能會記錄該用戶對某個東西的喜好,從而在該標簽中記錄該用戶。同時,可以利用sinter key1 key2、sunion、sdiff返回標簽中的交集、並集、差集。這樣就可以輕鬆得出用戶的共同喜好、所有喜好、非共同喜好等數據。

 SortSet

SortSet是一個實現了數據有序且唯一的鍵值對集合。其中,Entry的鍵為string類型,值為整型或浮點型,表示權值score。其中SortSet的順序就是通過Score的值來確定的。

1.實現結構

SortSet的實現結構同樣有兩種,一種是ZipList結構實現,適用於較少數據的情況。另一種是SkipList+HashTable的形式,使用與數據較多的情況,其中SkipList是在保證有序的情況下優化範圍查找的時間複雜度,而HashTable則是優化增刪改查的時間複雜度。

  1.ZipList

 SortSet的ZipList和Hash中的數據結構類似,同樣也是存放鍵值對,但是它維護了基於Score的有序性(預設從小到大),這裡就不再贅述。

  2.SkipList+HashTable

  首先來說明主要的SkipList(跳錶),跳錶是一種基於有序鏈表,通過建立多層索引,以空間換時間的方式實現平均查找效率為O(logn)複雜度的一種數據結構。下麵給出一個跳錶的基本形式圖:

 可以看到在根據數據的權值Score進行查找的時候,從最頂層的索引開始查找。當找到數據在某個範圍後,在往下一層的索引查找,然後就這樣一路縮小查找的範圍。看上去是不是有點像二分查找?至於跳錶的具體介紹和實現,可以參考這篇文章:為什麼Redis要用跳錶實現有序集合?

上面可以看到,基於跳錶的實現的有序集合可以完成增刪改查實現O(logn)的時間複雜度,那麼有沒有更加快的方式來實現O(1)的時間複雜度呢?通常說起O(1)的時間複雜度都會想起HashTable這個數據結構。Redis就利用HashTable+SkipList的組合數據結構,HashTable來實現增刪改查的時間複雜度為O(1)的同時SkipList保證數據的有序性,可以方便的獲取一個範圍的數據。

至於HashTable的實現與前面談到的一致,下麵用一張圖來說明兩個數據結構結合是什麼樣子的。

 

 上圖中,每一個節點可以看成一個跳錶的節點同時也是HashTable中的一個節點

  1. 在看跳錶的時候,我們需要忽略hnext指針,每個節點通過雙向鏈表來保證有序性。
  2. 在看HashTable的時候,可以忽略prev指針和next指針。看上去就是一個用拉鏈法解決衝突的HashTable,而hnext就是指向下一節點的指針。

這樣,當我們需要增刪改查的時候,利用HashTable的特性實現時間複雜度為1的操作,當我們需要基於權值Score進行範圍查找的時候可以通過SkipList進行時間複雜度為O(logn)的查找。

2.實際應用

  1. 排行榜。使用zrange key start end。根據熱度、積分、評論等可以衡量的權值Score進行排行,其中score排序為從小到大,用ZRERANGE實現從大到小排序。
  2. 獲取某個權值範圍的用戶。例如在應用中獲取積分為80到100的用戶,可以使用ZRANGEBYSCORE key 80 100 WITHSCORES來輸出score在80到100間的用戶。

總結

太多東西記不住?來張思維導圖幫你記憶一下。

 

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 打開dos命令視窗1、win+r-->運行-->cmd 2、摁住shift+滑鼠右擊 選擇 在此處打開命令視窗3、在磁碟某文件夾下,選擇標題欄中輸入框,輸入cmd 回車 windows下常用的命令 系統管理和文件管理systeminfo 獲取系統信息 系統 補丁 網卡path 查看環境變數set 查 ...
  • centOS 7安裝步驟: 1.選擇新建虛擬機,稍後安裝,linux選centos7 64位 2.位置改到存放虛擬機的文件夾 3.把硬碟空間改到40g,記憶體分到4g,1處理器2個核心 4 更改cd/dvd到鏡像位置。 5 選擇中文安裝 6選擇需要的安裝軟體,gui和gnome桌面 7 設置root密 ...
  • 背景 By 魯迅 By 高爾基 說明: 1. Kernel版本:4.14 2. ARM64處理器,Contex A53,雙核 3. 使用工具:Source Insight 3.5, Visio 1. 介紹 順著之前的分析,我們來到了 函數了,本以為一篇文章能搞定,大概掃了一遍代碼之後,我默默的把它拆 ...
  • [TOC] 1. 概述 定義 生產者消費者問題是線程同步的經典問題,也稱為有界緩衝區問題,問題描述大致如下: 生產者和消費者之間共用一個有界數據緩衝區 一個或多個生產者(線程或進程)向緩衝區放置數據 一個或多個消費者(線程或進程)從緩衝區取出數據 緩衝區 生產者消費者問題中的緩衝區,包括隊列緩衝區和 ...
  • [TOC] 1. Posix IPC 概述 以下三種類型的IPC合稱為Posix IPC: Posix信號量 Posix消息隊列 Posix共用記憶體 Posix IPC在訪問它們的函數和描述它們的信息上有一些類似點,主要包括: IPC名字 創建或打開時指定的讀寫許可權、創建標誌以及用戶訪問許可權 下表匯 ...
  • Elasticsearch簡介 什麼是 Elasticsearch? Elasticsearch 是一個開源的分散式 RESTful搜索和分析引擎,能夠解決越來越多不同的應用場景。 本文內容 本文主要是介紹了ES GEO數據寫入和空間檢索,ES版本為7.3.1 數據準備 Qgis使用漁網工具,對範圍 ...
  • Kafka常用術語 Broker :Kafka的服務端即Kafka實例,Kafka集群由一個或多個Broker組成,主要負責接收和處理客戶端的請求 Topic :主題,Kafka承載消息的邏輯容器,每條發佈到Kafka的消息都有對應的邏輯容器,工作中多用於區分業務 Partition :分區,是物理 ...
  • 摘要:下文講述MSSQL中,插入數據時,如果存在則更新,否則就插入數據的方法分享實驗環境:sql server 2017 mssql中,我們可以採用 MERGE INTO 關鍵字實現此功能,當兩者匹配成功,則運行***語句,否則運行其它語句,達到插入數據時的判斷操作,具體操作方法如下所示: 轉自: ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...