Redis 數據結構 之 SDS

来源:https://www.cnblogs.com/monkey-code/archive/2020/06/18/13158485.html
-Advertisement-
Play Games

SDS(simple dynamic string),簡單動態字元串。s同時它被稱為 Hacking String。hack 的地方就在 sds 保存了字元串的長度以及剩餘空間。sds 的實現在 sds.c 中。 C語言字元串使用長度為n+1的字元數組來表示長度為n的字元串,並且字元數組的最後一個元 ...


SDS(simple dynamic string),簡單動態字元串。s同時它被稱為 Hacking String。hack 的地方就在 sds 保存了字元串的長度以及剩餘空間。sds 的實現在 sds.c 中。

C語言字元串使用長度為n+1的字元數組來表示長度為n的字元串,並且字元數組的最後一個元素總是空字元'\0',這樣的方式存儲,時存在安全隱患的,並且它不能滿足效率方面的需求。

因此Redis沒有使用C原生的string而是自己構建了SDS。在Redis里,C語言字元串只用於一些無須對字元串值進行修改的地方,比如:日誌。

在Redis中,包含字元串值的鍵值對都是使用SDS實現的,除此之外,SDS還被用於AOF緩衝區、客戶端狀態的輸入緩衝區。

SDS定義

struct sdshdr{
     //位元組數組
     char buf[]; 
     //buf數組中已使用位元組數量
     int len;
     //buf數組中未使用位元組數量
     int free;
}

如上圖所示,len表示該SDS保存了一個6位元組長度(不包含結束符)的字元串,free表示該SDS還有6個位元組的未使用空間,buf是一個char類型的數組 ,保存了該SDS所存儲的字元串值。

高效

相比C語言字元串,使獲取字元串長度時間複雜度降為O(1)而C原生的獲取長度為O(N) 遍歷整個數組。

安全

同時SDS杜絕緩衝區溢出,不會像C那樣造成數組數據不安全,絕對不會越界。

當需要對SDS進行修改時,API會先檢查SDS當前剩餘空間是否滿足修改之後所需的空間,如果不滿足的話API會自動將SDS的空間擴展至足夠用的空間然後才進行下一步操作,所以SDS不會出現緩衝區溢出問題。

減少記憶體分配

C語言字原生符串底層是使用一個n+1個字元長度的char類型數據實現的,所以每次增長或縮短一個原生字元串,程式都要對這個字元串數組進行一次記憶體重分配操作:

同時因為記憶體重分配涉及複雜的演算法,並且可能需要執行系統調用,所以它通常是一個比較耗時的操作。Redis經常被用於速度要求嚴苛、數據被頻繁修改的場合,如果每次修改字元串都需要執行一次記憶體重分配的話,那麼對於性能會造成很大影響。

SDS 在分配了記憶體之後(往往空間會存在盈餘,也就是空間的預分配),然後自己通過len 和 free 來維護已使用的和未使用的記憶體,不再依賴系統來重新劃分,這樣能有效的提升性能。

空間預分配

用於字元串增長操作,當字元串增長時,程式會先檢查需不需要對SDS空間進行擴展,如果需要擴展,程式不僅會為SDS分配修改所必要的空間,還會為SDS分配額外的未使用空間,額外分配的未使用空間公式如下:

SDS空間 < 1MB

如果對SDS修改之後,SDS的長度(修改之後len屬性的值)小於1MB,那麼則分配和len屬性同樣大小的未使用空間,這時SDS的len屬性和free屬性的值相同。如:如果修改之後SDS的len將變為10位元組,那麼程式也會分配10位元組的未使用空間,SDS的buf數組實際長度變為10 + 10 + 1 = 21(額外一個位元組用於保存結束符\n)

SDS空間 > 1MB

如果對SDS修改之後,SDS的長度大於等於1MB,那麼程式會分配1MB的未使用空間。如:修改之後的len將變為10MB,那麼程式會分配1MB的未使用空間,SDS的bug數組長度為10MB + 1MB + 1byte

SDS空間 > 512MB

Game over~ 報錯!

惰性空間釋放

用於優化SDS的字元串收縮操作,當字元串收縮時,程式不會立即執行記憶體重分配來回收收縮後記憶體多出來的空間,而是使用free屬性記錄下來,以備將來使用。

通過空間預分配,Redis可以減少連續執行字元串增長操作所需的記憶體重分配次數,通過惰性空間釋放,SDS避免了縮短字元串時所需的記憶體重分配操作,併為將來由可能的增長操作提供了優化。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 通過IP安全策略(以關閉135埠為例) (1) 依次打開“控制面板-->系統和安全-->管理工具-->本地安全策略-->ip安全策略,在本地電腦” (2)在本地組策略編輯器右邊空白處 右鍵單擊滑鼠,選擇“創建IP安全策略”,彈出IP安全策略嚮導對話框,單擊下一步;在出現的對話框中的名稱處寫“名稱 ...
  • Hello 大家好,我是TANZAME,我們又見面了。今天我們來聊聊怎麼手擼一個 Redis Cluster 集群客戶端,純手工有乾貨,您細品。 隨著業務增長,線上環境的QPS暴增,自然而然將當前的單機 Redis 切換到群集模式。燃鵝,我們悲劇地發現,ServiceStack.Redis這個官方推 ...
  • 註意環境變數的設置: 打開終端,輸入: open -e .bash_profile #打開環境變數設置文件 在文件中輸入: export PATH=${PATH}:/usr/local/mysql/bin 保存文件並退出。 安裝完成後,啟動進入的時候會出現這個錯誤: ERROR 1045 (2800 ...
  • MySQL的邏輯架構  連接器:負責用戶的身份認證和許可權校驗。 查詢緩存:這個在8.0以後的版本已經取締了,但是不影響設計思想的瞭解,即:當有一個SQL進來的時候,先會去匹配SQL語句,如果本地已經有緩存,即直接讀緩存,返回結果。乍一聽挺好的功能,為什麼會被取締呢?這存在一些設計理念的問題,MyS ...
  • CURSOR是強類型,SYS_REFCURSOR 是弱類型(類似C#的var)。 Cursor: create or replace package pkg as cursor cur is select 1 n from dual; type tcur is ref cursor return p ...
  • 約束概述 對數據表中數據的限制條件叫表的約束,目的是為了保證表中記錄的完整和有效。例如非空、唯一等。 查看約束 1 通過查看建表語句 查看表中的約束 show create table tb_name; 2 通過檢查約束表 查看約束 select * from information_schema. ...
  • 字元編碼相關參數 數據流中的轉碼過程 校驗規則 Tips:字元集和校驗規則總是相伴的 一 從簡單的建庫語句開始 CREATE DATABASE [IF NOT EXISTS] <db_name> [[DEFAULT] CHARACTER SET <db_charset>] [[DEFAULT] CO ...
  • MySQL安裝和啟動 Windows下安裝和啟動服務 下載地址:https://dev.mysql.com/downloads/mysql/5.7.html#downloads 安裝 1 在MySQL官網下載zip文件, 2 在任意位置保存解壓。這裡在E盤創建MySQL目錄 E:\MySQL\ 3 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...