【redis源碼閱讀】redis對象

来源:https://www.cnblogs.com/hoohack/archive/2018/03/21/8619097.html
-Advertisement-
Play Games

redis中的很多操作都是基於上面介紹的redis對象,瞭解這些對象的底層實現,可以為之後更多的redis特性做準備。 ...


結構定義

在redis中,對象的數據結構定義如下:

​typedef struct redisObject {
    ​unsigned type:4;
    ​unsgined encoding:4;
    ​unsigned lru:LRU_BITS;
    ​int refcount;
    ​void *ptr;
​}

結構定義中的type:4encoding:4這種定義方式稱為位段類型

使用位段類型的好處就是避免浪費記憶體,如果使用unsigned int type定義type欄位,需要4個位元組,而使用unsigned type:4,只需要4個位段就足夠了。

參數說明

redis對象有許多特性,比如:類型檢查(通過type實現)、命令多態(encoding實現)、記憶體共用(通過refcount實現)等等,這些特性都是通過redisObject中的參數實現的。

type

對象類型,它的取值範圍有五個,分別是redis使用的五種對象類型:

  • #define OBJ_STRING 0
  • #define OBJ_LIST 1
  • ​#define OBJ_SET 2
  • #define OBJ_ZSET 3
  • #define OBJ_HASH 4

在執行命令前對type欄位進行檢查,可判斷出對象是否是命令允許執行的對象類型。

encoding

對象使用的編碼類型,它的取值範圍有下麵這些:

  • #define OBJ_ENCODING_RAW 0 /* 動態字元串 */
  • #define OBJ_ENCODING_INT 1 /* 整數 */
  • #define OBJ_ENCODING_HT 2 /* 哈希表 */
  • #define OBJ_ENCODING_ZIPMAP 3
  • #define OBJ_ENCODING_LINKEDLIST 4 /* 舊的列表編碼,現在不再使用了 */
  • #define OBJ_ENCODING_ZIPLIST 5 /* 壓縮表 */
  • #define OBJ_ENCODING_INTSET 6 /* 整數集合 */
  • #define OBJ_ENCODING_SKIPLIST 7 /* 跳躍表 */
  • #define OBJ_ENCODING_EMBSTR 8 /* 用於保存短字元串的編碼類型 */
  • #define OBJ_ENCODING_QUICKLIST 9 /* 壓縮鏈表和雙向鏈表組成的快速列表 */

在調用命令的時候,redis還會根據對象使用的編碼類型來選擇正確的底層對象,執行對應函數的實現代碼。

lru

最近最後一次被命令訪問的時間 或者 最近最少使用的數據。

在執行OBJECT IDLETIME命令時,通過當前時間減去lru屬性的值,得到鍵的空轉時長。另外,如果伺服器打開了maxmemory選項,且使用的記憶體回收演算法是volatile-lur或者allkeys-lru,那麼當伺服器占用的記憶體超過了maxmemory的上限值,空轉時長較高的鍵會優先被伺服器釋放,從而回收記憶體。

refcount

對象的引用計數。

redis的對象共用和記憶體回收特性就是通過refcount屬性來實現,通過將refcount + 1實現對象共用;進行記憶體回收檢查時,檢查refcount == 0的對象,將對象進行回收。

ptr

指向底層數據結構用於保存數據的指針。

對象使用的數據結構

redis有五種對象,不同對象可能用到的數據結構如下圖所示:

redis對象

編碼轉換與命令多態

同一種對象使用不同的數據結構是通過encoding來實現,而且,同一個命令的實現方法會根據對象的編碼屬性而變化,這是命令的多態實現。
以哈希對象為例看看編碼轉換以及命令多態等特性是怎麼實現的。

哈希對象

哈希對象使用的編碼有:ziplist、hashtable。

如果使用壓縮表作為底層實現,每當有新的鍵值對需要加入哈希對象,會先添加鍵節點到鏈表,然後添加值節點。

使用hashtable作為底層實現,每一個新的鍵值對都會使用字典鍵值對來保存,鍵和值分別是字元串對象。

使用不同結構保存後的結構圖如下所示:

ziplist編碼

ziplist編碼

hashtable編碼

hashtable編碼

編碼轉換

每一種對象在使用編碼的時候都有一定的條件,使用ziplist編碼的哈希對象都應該滿足兩個條件:

  • 1、所有鍵值對的鍵和值字元串對象長度小於64位元組
  • 2、哈希對象保存的鍵值對數量小於512個

如果不能滿足上述條件時,redis會進行對哈希對象底層數據結構進行從壓縮表到字典的轉換,實現步驟是遍歷壓縮表,獲取壓縮表中的鍵和值,使用得到的鍵和值創建一個字典對象,然後添加字典里,具體代碼如下:

hashTypeIterator *hi;
dict *dict;
int ret;

// 創建遍歷器對象和哈希表
hi = hashTypeInitIterator(o);
dict = dictCreate(&hashDictType, NULL);

while (hashTypeNext(hi) != C_ERR) {
    sds key, value;

// 用獲取ziplis中的key、value新增鍵值對到哈希表
    key = hashTypeCurrentObjectNewSds(hi,OBJ_HASH_KEY);
    value = hashTypeCurrentObjectNewSds(hi,OBJ_HASH_VALUE);
    ret = dictAdd(dict, key, value);
    if (ret != DICT_OK) {
        serverLogHexDump(LL_WARNING,"ziplist with dup elements dump",
            o->ptr,ziplistBlobLen(o->ptr));
        serverPanic("Ziplist corruption detected");
    }
}
hashTypeReleaseIterator(hi);
zfree(o->ptr);
o->encoding = OBJ_ENCODING_HT;
o->ptr = dict;

命令多態

命令多態是檢查對象的編碼,然後執行不同的實現方式。比如哈希對象中的hget命令。

hget命令實現代碼:

void hgetCommand(client *c) {
    robj *o;

    // key不存在,返回空
    if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.nullbulk)) == NULL ||
        checkType(c,o,OBJ_HASH)) return;

    addHashFieldToReply(c, o, c->argv[2]->ptr);
}

hget命令的實現最終是調用addHashFieldToReply函數(代碼如下),該函數是通過判斷哈希對象的編碼來決定使用什麼函數來獲取哈希對象具體field的值,其他命令的實現也是大同小異。

static void addHashFieldToReply(client *c, robj *o, sds field) {
    int ret;

    if (o == NULL) {
        addReply(c, shared.nullbulk);
        return;
    }

    // 根據底層不同編碼獲取field的值
    if (o->encoding == OBJ_ENCODING_ZIPLIST) {
        unsigned char *vstr = NULL;
        unsigned int vlen = UINT_MAX;
        long long vll = LLONG_MAX;

        ret = hashTypeGetFromZiplist(o, field, &vstr, &vlen, &vll);
        if (ret < 0) {
            addReply(c, shared.nullbulk);
        } else {
            if (vstr) {
                addReplyBulkCBuffer(c, vstr, vlen);
            } else {
                addReplyBulkLongLong(c, vll);
            }
        }

    } else if (o->encoding == OBJ_ENCODING_HT) {
        sds value = hashTypeGetFromHashTable(o, field);
        if (value == NULL)
            addReply(c, shared.nullbulk);
        else
            addReplyBulkCBuffer(c, value, sdslen(value));
    } else {
        serverPanic("Unknown hash encoding");
    }
}

總結

redis中的很多操作都是基於上面介紹的redis對象,瞭解這些對象的底層實現,可以為之後更多的redis特性做準備。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文所述的方法在RHEL6.5、RHEL7和CentOS6.5中同樣適用。 1.工具:VirtualBox,虛擬機:CentOS7 2.VirtualBox工具中的網路配置 (1)VirtualBox全局設置:管理——>全局設定——>網路——>僅主機(host-only) 註:因為我本次配置是要搭建 ...
  • 原文鏈接:http://blog.csdn.net/qq_38646470/article/details/79643000 編程人員很喜歡的編輯器:vim 先搞清楚vim的三種模式: 1.命令模式:在Linux終端中輸入“vim 文件名”就進入了命令模式,但不能輸入文字。 2.編輯模式:在命令模式 ...
  • 1、複製/etc/skel目錄為/home/tuser1,要求/home/tuser1及其內部文件的屬組和其它用戶均沒有任何訪問許可權。 2、編輯/etc/group文件,添加組hadoop。 3、手動編輯/etc/passwd文件新增一行,添加用戶hadoop,其基本組ID為hadoop組的id號; ...
  • 貼上內容來源https://www.cnblogs.com/Alier/p/6358447.html 1 備份原來的更新源 2 修改更新源 打開sources.list (這就是存放更新源的文件) 將下麵所有內容複製,粘貼並覆蓋sources.list文件中的所有內容 3 讓更新源生效 ...
  • 本文收錄在Linux運維企業架構實戰系列 做了幾周的測試,踩了無數的坑,總結一下,全是乾貨,給大家分享~ 一、elk 實用知識點總結 1、編碼轉換問題(主要就是中文亂碼) (1)input 中的codec => plain 轉碼 將GB2312 的文本編碼,轉為UTF-8 的編碼 (2)也可以在fi ...
  • SecureCRT 是一款非常好用的遠程終端連接軟體,且支持 Windows/Linux/macOS 全平臺。由於現在工作平臺主要在 Linux 系統上,SecureCRT 也是必備軟體。一開始安裝的是 Ubuntu 16.04 LTS,但用了了一段時間還是不喜歡 Unity 的界面,自己也是一個喜 ...
  • 本文為mariadb官方手冊:SET Variable的譯文。 原文:https://mariadb.com/kb/en/set-variable/我提交到MariaDB官方手冊的譯文:https://mariadb.com/kb/zh-cn/set-variable/ 語法 存儲程式stored ...
  • pt-table-checksum和pt-table-sync分別檢驗master-slave的數據不一致並修複。 1、本次測試環境 2、 3、開始檢測差異 1)創建一個用戶,可以訪問master和slave,master上執行如下的創建用戶命令 構造master-slave的差異環境,slave同 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...