Redis 字典實現

来源:https://www.cnblogs.com/jjfan0327/archive/2020/05/06/12784911.html
-Advertisement-
Play Games

4.1 字典數據結構 typedef struct dict{ //類型特定函數 dictType *type; //私有數據 void *privateata; //哈希表 dictht ht[2]; //rehash 索引,rehash未進行時,值為-1 int rehashidx;}dict; ...


4.1 字典數據結構

typedef struct dict{
  //類型特定函數
  dictType *type;
  //私有數據
  void *privateata;
  //哈希表
  dictht ht[2];
  //rehash 索引,rehash未進行時,值為-1
  int rehashidx;
}dict;
  • 其中的type 是一個指向 dictType 結構的指針,每個 dictType 結構保存了一簇用於操作特定類型鍵值對的函數,Redis 會為用途不同的字典設置不同的類型特定函數。
typedef struct dictType{
  //計算哈希值的函數
  unsigned int (*hashFunction)(const void *key);
  //複製鍵的函
  void *(*keyDup)(void *privdata, const void *key);
  //複製值的函數
  void *(*valDup)(void *privdata, const void *obj);
  //對比鍵的函
  int (*keyCompare)(void *privdata, const void *key1, const void *key2);
  //銷毀鍵的函數
  void (*keyDestructor)(void *privdata, void *key);
  //銷毀值的函數
  void (*valDestructor)(void *privdata, void *obj);
}dictType;
  • privdata屬性則保存了需要傳給那些類型特定函數的可選參數。
  • ht是一個包含兩個項的數組,數組中的每項都是dictht哈希表,一般情況下,字典只是用 ht[0]哈希表,ht{1]只有在對ht[0]哈希表進行rehash時使用
// Redis 字典使用的哈希表由 dict 標識,Redis的字典使用哈希表作為底層實現,
//一個哈希表裡面可以有多個哈希表節點,而每個哈希表節點就保存了字典中的一個鍵值對。
typedef struct dictht {
  //哈希表數組
  dictEntry **table;
  //哈希表大小
  unsigned long size;
  //哈希表大小掩碼,用於計算索引值,總是等於size-1
  unsigned long sizemask;
  //該哈希表已有節點的數量
  unsigned long used;
}dictht;
//哈希表節點用dictEntry標識,每個dictEntry保存了一個鍵值對
typedef struct dictEntry {
  //鍵
  void *key;
  //值
  union{    
    void *val;         
    uint64_tu64;    
    int64_ts64; 
  } v;
  //指向下個哈希表節點,形成鏈表,解決地址衝突問題  
  struct dictEntry *next;
} dictEntry;
  • rehashidx記錄了rehash目前的進度,如果目前沒有在進行rehash,那麼它的值為-1。

 

 4.2 哈希演算法

當要將一個新的鍵值對添加到字典時,程式需要根據鍵值對的鍵計算出哈希值和索引值,然後根據索引值,將包含鍵值對的哈希節點放到哈希表數組的指定索引上。

Redis計算哈希值和索引值的方法如下:

#使用字典設置的哈希函數,計算哈希值

hash = dict -》 type -》 hashFunction(key)

#使用哈希表的sizemask 屬性和哈希值hash,計算出索引值

#根據情況不同,ht[x] 可以是 ht[0] 或 ht[1]

index = hash & dictht -> ht[x].sizemask

當字典被用作資料庫的底層實現或哈希鍵的底層實現時,Redis 使用的是 Murmurhash2 演算法來計算hash 值。

4.3 解決鍵衝突

Redis 使用鏈地址法來解決鍵衝突。每個哈希表節點有一個next指針,多個哈希表節點通過next 指針構成一個單向鏈表。因為 dictEntry 節點組成的鏈表沒有指向鏈表表尾的指針,所以為了速度考慮,總是將新節點添加到鏈表的表頭位置(複雜度為O(1)),排在其他已有節點前面。(k2,v2)是新添加的節點。

 4.4 rehash

隨著操作的不斷執行,哈希表保存的鍵值對會逐漸的增多或減少,為了讓哈希表的負載因數維持在一個合理的閾值之內,當哈希表的鍵值對的數量太多或太少時,對哈希表進行相應的擴展或收縮。

擴展和收縮哈希表通過rehash(重新散列)進行,具體步驟如下

  1. 為字典ht[1]分配空間,這個哈希表空間大小取決於要執行的操作,以及ht[0]當前包含的鍵值對的數量(也就是ht[0].used屬性)
    1. 擴展操作:ht[1]的大小為第一個大於等於ht[0].used * 2 的 2^n(2的n次冪)
    2. 收縮操作:ht[1]的大小為第一個大於等於ht[0].used 的 2^n
  2. 將保存在ht[0]中的所有鍵值對 rehash 到 ht[1]上面:rehash 是指重新計算鍵的哈希值和索引值,然後將鍵值對放到 ht[1]哈希表的指定位置
  3. 當ht[0]全部遷移到ht[1]後,釋放ht[0],將ht[1] 設置為 ht[0],併在 ht[1]上新建一個空白哈希表,為下一次 rehash 做準備。

4.5 漸進式rehash

為了避免鍵值對過多的 rehash(涉及到龐大的計算量) 對伺服器性能造成影響,伺服器不是一次將ht[0] 上的所有鍵值對 rehash 到 ht[1],而是分多次、漸進式的將 ht[0] 里所有的鍵值對進行遷移。

漸進式hash 的步驟:

  1. 為ht[1]分配空間,讓字典同時持有 ht[0] ht[1]
  2. 在字典中維持一個索引計數器變數 rehashidx,並將其設置為0,標識 rehash 開始
  3. 在 rehash 期間,每次對字典的添加、刪除、查找或更新等,程式除了執行指定的操作外,還會將ht[0] 哈希表在 rehashidx 索引上的所有鍵值對 rehash 到 ht[1] 上,當rehash 完成後,程式將 rehashidx 值加一
  4. 最終,ht[0]全部 rehash 到 ht[1] 上,這時程式將 rehashidx 值設置為 -1,標識 rehash 完成

漸進式rehash 將rehash 的工作均攤到每個添加、刪除、查找和更新中,從而避免集中rehash帶來的問題。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ngx_http_ssl_module簡介 為https提供支持 ngx_http_ssl_module參數解釋 1. ssl on|off; 2. ssl_certificate file; 當前虛擬主機使用PEM格式的證書文件 3. ssl_certificate_key file; 當前虛擬主 ...
  • 前言:在網上找了很多的博客教程,最後終於成功,記錄一下,方便日後的查找。 https://blog.csdn.net/M_Kerry/article/details/81664548大部分根據這個鏈接操作就好。 註意MySQL這裡會遇到很多問題。 完全卸載MySQL、mariadb https:// ...
  • 最近發現了一個比較好用的代理客戶端,比較智能;名字叫clash: https://github.com/Dreamacro/clash https://github.com/yichengchen/clashX https://github.com/Fndroid/clash_for_windows ...
  • 第三天MySQL學習 :分組函數、分組查詢、連接查詢(等值連接、非等值連接、自連接) ...
  • 學習視頻:https://www.bilibili.com/video/BV1tJ411r7EC?p=75 游標cursor:用於存放多條數據的容器。需要開始open和關閉close。游標下移使用“fetch...into...”。 declare cursor myCursor is select ...
  • /* *周一作為一周的開始 *當年的1月1號所在的周算作第一周 */ CREATE function GetWeekIndexFirstDate ( @date datetime ) returns int as begin /* *計算邏輯 *1.先找出當年的1月1號@firstDate *2.計 ...
  • Kylin on HBase 方案經過長時間的發展已經比較成熟,但也存在著局限性,因此,Kyligence 推出了 Kylin on Parquet 方案。通過標準數據集測試,與仍採用 Kylin on HBase 方案的 Kylin 3.0 相比,Kylin on Parquet 的構建引擎性能有... ...
  • 一開始我就以為 oplog 應該就類似於 mysql bin-log 而事實上,確實差不多。oplog 也是用於複製集間由 Primary 記錄,Secondary 用來同步。從而保持數據一致。 最近遇到了誤刪db(刪庫不能跑路)的事情,所以,實驗了N多次的 oplog 恢複數據。 特地記錄一下,以 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...