Redis數據結構二之SDS和雙向鏈表

来源:https://www.cnblogs.com/hunterxiong/archive/2023/05/15/17402992.html
-Advertisement-
Play Games

本文首發於公眾號:Hunter後端 原文鏈接:Redis數據結構二之SDS和雙向鏈表 這一篇筆記介紹一下 SDS(simple dynamic string)和雙向鏈表。 以下是本篇筆記目錄: SDS 常數複雜度獲取字元串長度 杜絕緩衝區溢出 減少修改字元串帶來的記憶體重分配次數 二進位安全 相容C字 ...


本文首發於公眾號:Hunter後端
原文鏈接:Redis數據結構二之SDS和雙向鏈表

這一篇筆記介紹一下 SDS(simple dynamic string)和雙向鏈表。

以下是本篇筆記目錄:

  1. SDS
    1. 常數複雜度獲取字元串長度
    2. 杜絕緩衝區溢出
    3. 減少修改字元串帶來的記憶體重分配次數
    4. 二進位安全
    5. 相容C字元串函數
  2. 雙向鏈表

1、 SDS

SDS,simple dynamic string,即簡單動態字元串

SDS 在 Redis 2.9 版本中數據結構如下:

struct sdshdr {
    int len;
    int free;
    char buf[];
};

在這個結構中,len 表示 buf 數組中已使用位元組的數量,free 表示 buf 數組中未使用位元組的數量,buf 則表示是一個 char 類型的數組。

Redis 沒有復用 C字元串,有以下幾個方面的考慮和優點。

1. 常數複雜度獲取字元串長度

C字元串並不記錄自身的長度信息,如果要獲取C字元串的長度,必須遍歷整個字元串然後計數。

SDS 結構中有 len 屬性記錄 SDS 本身的長度,可以直接獲取。

2. 杜絕緩衝區溢出

因為 C字元串並不記錄自身的長度信息,在執行某些操作,比如拼接字元串的時候,並不會自動查詢是否擁有足夠記憶體,那麼這個操作可能就會造成緩衝區溢出的問題

而 SDS 執行相應的字元串修改時,其 API 會先檢查 SDS 的空間是否需求,不滿足則會進行擴展,這個空間分配策略也就是下麵要講的

3. 減少修改字元串帶來的記憶體重分配次數

C字元串每次進行字元串修改時,程式都需要手動進行記憶體重分配的操作,而 SDS 通過空間預分配和惰性空間釋放兩種策略對此進行了優化

空間預分配

當 SDS API 對一個 SDS 進行修改並需要對 SDS 進行空間擴展時,程式不僅會為 SDS 分配修改所需要的空間,還會為其分配額外的未使用空間

如果修改之後,SDS 的長度,也就是結構中的 len 屬性小於 1MB,那麼程式會額外分配同樣大小的未使用空間,這個時候,len 屬性和 free 屬性將相同

如果修改之後,SDS 的長度,也就是結構中的 len 屬性大於等於 1MB,那麼程式會額外分配 1MB 的未使用空間

惰性空間釋放

當需要對SDS保存的字元串進行縮短時,程式並不會重新分配記憶體來回收多出來的位元組,而是會使用 free 屬性將這些位元組記錄下來,以備後面使用

4. 二進位安全

C字元串保存的字元結尾都是以空字元結尾,所以字元串中間不能包含空字元,否則程式讀入空字元的時候就會被認為是字元串結尾,因此C字元串只能保存文本數據,不能保存圖片、音頻等這樣的二進位數據

而 SDS 的 API 都是以處理二進位的方式來處理 SDS 中存放在 buf 里的數據,程式不會對數據做任何限制、過濾,所以 SDS 的 API 都是二進位安全的

SDS 使用 len 屬性值而不是空字元串來判斷字元串是否結束

5. 相容C字元串函數

雖然SDS的API都是二進位安全的,但是仍然遵循C字元串以空字元結尾的慣例,而且在為 buf 數組分配空間的時候總是會多分配一個位元組來容納這個空字元,所以保存文本數據的 SDS 可以重用一部分C中的函數

以下是 SDS 與 C字元串區別的總結:

C字元串 SDS
獲取字元串長度複雜度為 O(N) 獲取字元串長度複雜度為O(1)
API是不安全的,可能會造成緩衝區溢出 API是安全的,不會造成緩衝區溢出
修改字元串長度N次必須執行N次記憶體重分配 修改長度N次最多需要執行N次記憶體重分配
只能保存文本數據 可以保存文本或者二進位數據
可以使用<string.h>庫中函數 可以使用部分

在之後的的 Redis 版本對 SDS 的結構有過更新,將 free 屬性換成了 alloc,這個屬性表示的意思是分配的空間長度。和之前的 free 屬性比較,其關係是 alloc = free + len

2、 雙向鏈表

C 語言沒有鏈表這個結構,所以 Redis 自己設計了一個鏈表數據結構。

在 Redis 中,鏈表節點的結構擁有指向前置節點和後置節點的屬性。

鏈表結構則包含鏈表表頭節點、表尾節點、節點長度等屬性,便於快速獲取鏈表相關信息。

雙向鏈表是列表對象的底層實現之一,什麼情況下使用雙向鏈表作為列表對象的底層實現我們之後再介紹。

以下是鏈表節點的結構:

typedef struct listNode{
    // 前置節點
    struct listNode *prev;
    
    // 後置節點 
    struct listNode *next;
    
    // 節點值
    struct *value;

}listNode;

在鏈表節點中,擁有前置節點和後置節點的指針構成雙向的鏈表。

以下是鏈表的結構:

typedef struct list{
    // 表頭節點
    listNode *head;
    
    // 表尾節點
    listNode *tail;
    
    // 鏈表包含的節點數量
    unsigned long len;
    
    ...
}list;

在鏈表結構中,有表頭節點和表尾節點可快速定位到鏈表的頭部和尾部,以及用有 len 屬性表示鏈表包含的節點數量。

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 偶數分頻:無論是通過D觸發器還是計數器實現,這類分頻都是最容易得到的,並且占空比容易控制在50%。對於D觸發器實現偶數分頻來說,分頻數只能得2^n,其餘分頻數只能由計數器法等其他方法實現。除此以外,隨著分頻的數目不斷增大,通過D觸發器實現觸發器數目會增多,在電路設計的過程中應當考慮面積因素。對於計數... ...
  • EF命令行工具 migrate.exe 進行Code First更新資料庫,6.3+使用ef6.exe 使用EF的Code First遷移可以用於從Visual Studio內部更新資料庫,但也可通過命令行工具 migrate.exe 進行執行。 如果項目已經更新到伺服器,後面的更新資料庫分為兩種辦 ...
  • ABP框架 ABP是用於創建現代化Web應用程式的完整體繫結構和強大的基礎架構,以模塊化的方式進行開發,所有模塊以nuget包的方式提供,開箱即用,遵循最佳實踐和約定,提供SOLID開發經驗。 | 縮寫 | 英文 | 中文 | |--|--|--| | SRP | The Single Respon ...
  • 以沁恆的FreeRTOS示例項目為例, 說明如何在 CH32V208 評估上運行 FreeRTOS, 以及運行 FreeRTOS 涉及的庫文件改動. ...
  • 原創文檔編寫不易,未經許可請勿轉載。文檔中有疑問的可以郵件聯繫我。 郵箱:[email protected] 文章基於CentOS 7.8系統使用Containerdr作為容器運行時通過kubeadm指導搭建k8s單機master集群,使用calico作為k8s集群的網路插件。K8S官方在1.24版本 ...
  • ClickHouse 屬於 OLAP 資料庫, 與 OLTP (Transaction Process) 相比, 註重數據分析, 重點在查詢的性能. 在業務系統中, 往往使用 OLTP 資料庫做業務數據存儲, 用 OLAP 資料庫做查詢分析, 在一些場景下ClickHouse可以取代ES(Elast... ...
  • 一.初識Redis 1.什麼是Redis ​ Redis是一個速度非常快的非關係型資料庫(non-relational database),它可以存儲鍵(key)與五種不同類型的值的映射(mapping),可以將存儲在記憶體的鍵值對數據持久化到磁碟,可以使用複製特性來擴展讀性能,也可以採用客戶端分片來... ...
  • 上一章主要作了晶元介紹,這一章主要作對開發環境的介紹。 認識Arduino Arduino是一款便捷靈活、方便上手的開源電子原型平臺。包含硬體(各種型號的Arduino板)和軟體(ArduinoIDE)。它構建於開放原始碼simple I/O介面版,並且具有使用類似Java、C語言的Processi ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...