redis數據結構存儲Dict設計細節(redis的設計與實現筆記)

来源:http://www.cnblogs.com/QDSBK/archive/2016/12/11/6159200.html
-Advertisement-
Play Games

說到redis的Dict(字典),雖說演算法上跟市面上一般的Dict實現沒有什麼區別,但是redis的Dict有2個特殊的地方那就是它的rehash(重新散列)和它的字典節點單向鏈表。 以下是dict用到的結構: 由於樓主演算法能力有限:所以對哈希演算法沒有太深的瞭解,所以在這裡演算法就不詳寫了,大家有興趣 ...


說到redis的Dict(字典),雖說演算法上跟市面上一般的Dict實現沒有什麼區別,但是redis的Dict有2個特殊的地方那就是它的rehash(重新散列)和它的字典節點單向鏈表。

以下是dict用到的結構:

typedef struct dictEntry {//字典的節點  
    void *key;  
    union {//使用的聯合體  
        void *val;  
        uint64_t u64;//這兩個參數很有用  
        int64_t s64;  
    } v;  
    struct dictEntry *next;//下一個節點指針  
} dictEntry;  
  
typedef struct dictType {  
    unsigned int (*hashFunction)(const void *key); //hash函數指針  
    void *(*keyDup)(void *privdata, const void *key); //鍵複製函數指針  
    void *(*valDup)(void *privdata, const void *obj); //值複製函數指針  
    int (*keyCompare)(void *privdata, const void *key1, const void *key2); //鍵比較函數指針  
    void (*keyDestructor)(void *privdata, void *key); //鍵構造函數指針  
    void (*valDestructor)(void *privdata, void *obj); //值構造函數指針  
} dictType;  
  
/* This is our hash table structure. Every dictionary has two of this as we 
 * implement incremental rehashing, for the old to the new table. */  
typedef struct dictht { //字典hash table  
    dictEntry **table;//可以看做字典數組,俗稱桶bucket  
    unsigned long size; //指針數組的大小,即桶的層數  
    unsigned long sizemask;  
    unsigned long used; //字典中當前的節點數目  
} dictht;  
  
typedef struct dict {  
    dictType *type;  
    void *privdata; //私有數據  
    dictht ht[2];   //兩個hash table  
    int rehashidx; /* rehashing not in progress if rehashidx == -1 */ //rehash 索引  
    int iterators; /* number of iterators currently running */ //當前該字典迭代器個數  
} dict;   

由於樓主演算法能力有限:所以對哈希演算法沒有太深的瞭解,所以在這裡演算法就不詳寫了,大家有興趣可以百度。

當運用哈希演算法計算出 k0的索引 ,redis就會插入到指定的位置

當k2和k1出現計算出鍵索引相同的情況下,這時候redis的dictEntry(字典節點)有一個next屬性(單項鏈表),redis會把衝突鍵索引的元素排到後插入數據的前面,從而解決了這個問題

現在如果在插入2條元素,此時數據量已經超過dict的負載了,redis就會啟用rehash,雖然是rehash操作但是redis是採用了漸進式操作,並不是一下子記憶體不夠用了 就直接操作記憶體,然後全部轉移數據,這樣會導致操作很耗時,redis考慮到了這一點,然後

先把ht[1]另一張dict結構中擴容一個數量為ht[0].used*2的dictEntry數組,然後把2條數據通過哈希演算法加入到這個數組中。

 

然後把上面的元素一個個非同步漸漸移動到下麵的數組中,在這個過程中如果客戶端去操作元素時,如果在ht[0]中檢查找不到建,就會去檢查ht[1]中是否有指定的鍵,從而不影響數據的使用,而且可以避免一次性操作rehash帶來的耗時問題,最後reshash完成了,就直接把ht[1]和ht[0]切換位置並且清空棄用的哈希節點數組,從而完成所有操作。

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 出現場景:當點擊“分類”再返回“首頁”時,發生error退出 BUG描述:Caused by: java.lang.IllegalArgumentException: Binary XML file line #23: Duplicate id 0x7f0d0054, tag null, or pa ...
  • 今天發現磁碟空間不夠了,首先要找到那些文件夾占用了磁碟空間。du命令很好使du -c -d 1 -m | sort -n-c顯示當前文件夾總計占用空間-d 1層級為1,即只顯示當前目錄下一級文件夾的大小,不往下遍歷-m顯示的數值以M為單位sort -n結果按順序排列結果如下這個~/Library目... ...
  • 01ping命令的使用http://images.enet.com.cn/eschool/wmv/ping.wmv ping www.baidu.com 02netstat命令的使用http://images.enet.com.cn/eschool/wmv/netstat.wmv 03tasklis ...
  • MongoDB簡介 MongoDB在功能和複雜性之間取得了很好的平衡,並且大大簡化了原先十分複雜的任務,它具備支撐今天主流web應用的關鍵功能:索引、複製、分片、豐富的查詢語法,特別靈活的數據模型。與此同時還不犧牲速度。 MongoDB是一款強大、靈活,且易於擴展的通用型資料庫。能擴展出非常多的功能 ...
  • 安裝前準備工作: 1)編輯PATH路徑 vim /etc/profile PATH=/home/mysql/bin:/home/mysql/lib:$PATH export PATH 2)生效PATH source /etc/profile 3)編輯hosts vim /etc/hosts 192. ...
  • 相信很多人進行數據存儲時,會遇上如標題的異常錯誤。 其實也不算上一個錯誤。 當你的程式中有宣告一個欄位的數據類型為DateTime時,但你又沒有賦值給它,就進行存儲時,它就會得到這樣一個結果。看看下麵的情況: 看到否,在程式中DateTime預設情況之下是這個值{1/1/0001 12:00:00 ...
  • ... ...
  • 玩過redis的朋友都知道,redis中有一個叫做redis-cli的小工具,我們可以利用它在test和develop環境下進行高效的模擬測試,然而在現實環境中, 我們只知道直接鍵入redis-cli啟動命令的互動式,而這個對redis-cli來說絕對是九牛一毛,下麵我逐一給大家演示下。 一:非RE ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...