[redis]SDS和鏈表

来源:https://www.cnblogs.com/biningooginind/archive/2020/04/30/12810833.html
-Advertisement-
Play Games

一、SDS 1、SDS結構體 redis3.2之前 :不管buf的位元組數有多少,都用 4位元組的len來儲存長度 ,對於只存短字元串那麼優點 浪費空間 ,比如只存 ,則 則只需要一個位元組8位即可表示 redis3.2之後: \__attribute__ ((\__packed__)) 關鍵字是為了取消 ...


一、SDS

1、SDS結構體

redis3.2之前:不管buf的位元組數有多少,都用 4位元組的len來儲存長度,對於只存短字元串那麼優點浪費空間,比如只存 name,則len=4 則只需要一個位元組8位即可表示

struct sdshdr {
    unsigned int len; // buf中已占位元組數
    unsigned int free; // buf中剩餘位元組數
    char buf[]; // 數據空間
};

redis3.2之後:

struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; //已分配位元組數
    uint8_t alloc; //剩餘位元組數
    unsigned char flags; //標識屬於那種類型的SDS  低3存類型,高5不使用
    char buf[]; 
};
//........16、32、64

_attribute_ ((_packed_)) 關鍵字是為了取消位元組對齊

struct test1 {
 char c;
 int i;
};

struct __attribute__ ((__packed__)) test2 {
 char c;
 int i;
};

int main()
{
 cout << "size of test1:" << sizeof(struct test1) << endl;
 cout << "size of test2:" << sizeof(struct test2) << endl;
}

註意,這些結構都存在一個 char[]內,通過偏移來訪問

buf指針在char數組開頭位置,方便直接訪問

graph TB subgraph header-->buf end


2、重要函數解析

sdsReqType

確定類型:sdsReqType根據傳入的 char[] 長度來缺點應該用哪種類型的 SDS結構體來描述

static inline char sdsReqType(size_t string_size) {
    if (string_size < 1<<5)
        return SDS_TYPE_5;
    if (string_size < 1<<8) //8位 表示長度範圍 0-256
        return SDS_TYPE_8;
    if (string_size < 1<<16) //16位 
        return SDS_TYPE_16;
#if (LONG_MAX == LLONG_MAX)
    if (string_size < 1ll<<32)
        return SDS_TYPE_32;
    return SDS_TYPE_64;
#else
    return SDS_TYPE_32;
#endif
}

sdsnewlen

根據長度結構化 char數組,創建一個 長度為 str本身長度+head長度的數組, sdsnew就是調用這個來創建sds位元組數組的

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh; //存放sds header數據的頭指針
    sds s; //char* s
    char type = sdsReqType(initlen); //根據str長度 確定SDS header類型
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    int hdrlen = sdsHdrSize(type); //header 長度
    unsigned char *fp; //類型指針

    sh = s_malloc(hdrlen+initlen+1); //分配 str長度+header長度的記憶體空間
    ...
    memset(sh, 0, hdrlen+initlen+1); //初始化空間
    s = (char*)sh+hdrlen; //移動到header之後的buf首地址位置
    fp = ((unsigned char*)s)-1; //移動到header的尾部 標識sds header類型
    switch(type) {
       ....
        case SDS_TYPE_8: {
//#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));  
  //sh指向header空間頭部位置 s代表buf首地址  下麵將sh移動到header的首地址
        SDS_HDR_VAR(8,s); //struct sdshdr8* sh = (void*)(s-sizeof(header))
        sh->len = initlen; //填充數據
        sh->alloc = initlen; 
        *fp = type;//類型數據填充
        break;
       }
       ......
    }
    if (initlen && init)
        memcpy(s, init, initlen); //將str數據複製到buf中
    s[initlen] = '\0';
    return s;
}

sdslen、sdsavail

返回使用和未使用的空間。 **根據頭部類型轉化指針,然後直接 sh->len 和 sh->alloc-sh->len **即可求出


sdscat、sdscatlen、sdsMakeRoomFor

t拼接到 s 中,

sds sdscatsds(sds s, const sds t) {
    return sdscatlen(s, t, sdslen(t));
}
sds sdscatlen(sds s, const void *t, size_t len) {
    size_t curlen = sdslen(s);

    s = sdsMakeRoomFor(s,len); //保證空間充足
    if (s == NULL) return NULL;
    memcpy(s+curlen, t, len); //直接copy
    sdssetlen(s, curlen+len); //設置新的長度
    s[curlen+len] = '\0';
    return s;
}

sdsMakeRoomFor是為了保證空間充足,如果不充足進行擴容,下麵就是newlen的核心代碼,會擴容大於需要的長度,防止多次擴容。體現了 預先分配

擴容是一個耗時的操作

    if (avail >= addlen) return s;

    len = sdslen(s);
    sh = (char*)s-sdsHdrSize(oldtype);
    newlen = (len+addlen);
    if (newlen < SDS_MAX_PREALLOC) //#define SDS_MAX_PREALLOC (1024*1024)
        newlen *= 2;
    else
        newlen += SDS_MAX_PREALLOC;

sdstrim

將cset中在s出現的刪除,這個函數就體現了 惰性釋放 ,不會縮減空間,僅僅改變 len,同時也體現了 和 c的相容性,可以用 系統strings函數來操作 sds

sds sdstrim(sds s, const char *cset) {
    char *start, *end, *sp, *ep;
    size_t len;

    sp = start = s;
    ep = end = s+sdslen(s)-1;
    while(sp <= end && strchr(cset, *sp)) sp++;
    while(ep > sp && strchr(cset, *ep)) ep--;
    len = (sp > ep) ? 0 : ((ep-sp)+1);
    if (s != sp) memmove(s, sp, len);
    s[len] = '\0';
    sdssetlen(s,len);
    return s;
}




3、優點

A.獲取長度方便

c字元串獲取長度需要便利char數組,O(n),而SDS結構體記錄了長度,不需要char數組即可知道長度。


B.防止溢出

char數組不知道還有多少空間空餘,可能會在兩個字元串拼接的時候溢出,而SDS記錄了未使用的空間,可以有效的分配擴容,防止溢出。


C.記憶體分配方便和使用高效

傳統c的char數組,如果空間不足,需要手動擴容,然後複製原數據,截斷時,也需要縮減空間,來防止記憶體泄漏。但是SDS可以進行 空間預分配、惰性釋放 等策略來搞效的使用記憶體。

  • 空間預分配:

    預先分配足夠的空間,減少擴容次數

  • 惰性釋放

    因為SDS記錄了 free未分配空間欄位,所以截斷字元串的時候不需要立即複製元素進行縮減,直接增加 free 數值,減少 len即可,後面要增加字元串只增加len,減少free ,覆蓋寫入即可。(free = alloc-len)


D.相容C

SDS只是增加了兩個欄位,其實數據還是存在 char[] buf裡面的,所以可以使用 c內置的字元串處理函數來處理 SDS底層位元組數組。

typedef char *sds;

所以在處理 字元串的API里只是傳入了 char* 來處理字元串。空間是否充足都有額外的信息來描述。




二、鏈表

鏈表的話可以參考我的 https://www.cnblogs.com/biningooginind/p/12553163.html

基本參照了redis的鏈表操作。

1、結構體

typedef struct listNode {
    struct listNode *prev;
    struct listNode *next;
    void *value; //void* 指針 可以存放任意類型的數據
} listNode;


2、特點

鏈表的特點:

  • 刪除、插入 O(1)
  • 遍歷訪問 O(n)
  • 有head和tail指針,將訪問最後一個元素複雜度降低到O(1)
  • 帶有 len長度,方便知道鏈表的長度
  • 雙鏈表結構,前後遍歷都方便
  • 無環
  • 多態:數據用 void 來指向,可以存放任意類型數據,不用為每個類型都寫一個鏈表*
  • 迭代器模式鏈表有一個迭代器,方便遍歷節點
typedef struct listIter {
    listNode *next; //下一個節點
    int direction; //遍歷方向 forward or backward
} listIter;

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、編寫拆分腳本(splitNginxLog.sh) #!/bin/bash year=`date +%Y` month=`date +%m` day=`date +%d` # 原始日誌路徑 logs_path="/var/log/nginx/sitename.com/" # 日誌備份路徑 logs ...
  • 首先解釋一下 橋接模式:在該模式下,開啟的虛擬機相當於區域網中的一臺物理機,在該虛擬機開啟的服務,區域網的機器可以直接用 虛擬機ip + 埠直接訪問。 NAT模式:就是在宿主機內部的一臺虛機機,公用宿主機的網路。該虛擬機開啟的服務,宿主機可以通過 虛擬機ip + 埠直接訪問,但是區域網的機器無法 ...
  • [TOC] 前言 DDL DDL,中文為數據定義語言,DDL的特點是對資料庫內部的對象進行create(創建)、alter(修改)、drop(刪除)等操作,負責管理資料庫的基礎數據,不涉及對錶中內容的操作和更改。 DCL DCL,中文為數據控制語言,DDL的特點是對資料庫內部的對象grant(用戶授 ...
  • 當安裝alluxio時,出現允許打開的文件數目過小問題: The user limit for number of open files is too small. The current value is 4096. For production use, it should be bigger ...
  • [TOC] MySQL全庫備份腳本 ...
  • 本文主要介紹 COM 的基礎知識,傾向於理論性的理解,面向初學者,淺嘗輒止。 1. COM 是什麼: COM 的英文全稱是,Component Object Model,中文譯為,組件對象模型。它官方的概念是:The Microsoft Component Object Model (COM) is ...
  • 1、索引 1-1、索引的概述 我們把一個表中的一列或者多列和列中元素所在表中記錄的物理地址組合成一個新的表。這個表的記錄大致為列的內容和該列所在記錄的物理地址。 1-2、索引的優缺點 www.2cto.com 優點:大大加快了對源表的執行速度,我們對索引表的檢索就可以實現對源表的檢索。到底快在哪裡? ...
  • 很多程式員都學過MySQL,而且也會寫SQL語句。但僅僅會寫還遠遠不夠,在面試中以及在工作中,還必須要會事務和併發。 一、事務 事務是滿足 ACID 特性的操作,可以通過 Commit 提交事務,也可以使用 Rollback 進行回滾。 A(Atomicity)原子性:事務被視為不可分割的小單元,事 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...