redis數據結構存儲SDS設計細節(redis的設計與實現筆記)

来源:http://www.cnblogs.com/QDSBK/archive/2016/12/10/6155399.html
-Advertisement-
Play Games

redis雖說是用C語言開發的,但是redis考慮了性能、安全性、效率性、功能等要,redis底層存儲字元串實現,自己實現了名為簡單動態字元串(Simple dynamic string)簡稱SDS的結構來存儲字元串,這個結構有int len(當前字元串長度), int free(未使用的字元串長度 ...


redis雖說是用C語言開發的,但是redis考慮了性能、安全性、效率性、功能等要,redis底層存儲字元串實現,自己實現了名為簡單動態字元串(Simple dynamic string)簡稱SDS的結構來存儲字元串,這個結構有int len(當前字元串長度), int free(未使用的字元串長度可以說是緩衝), char buf[](存儲的字元串數組)這幾個變數。

   接下來我們開始分析C語言預設字元串和SDS字元串的區別以及redis為什麼要使用SDS。

1、C語言的字元串存儲並不能記錄自身字元串長度,且在記憶體中實現的方式是|r|e|d|i|s|\0   最後的'\0'表示C語言的結束符,每次調用strlen方法取字元串長度無可避免得去搜索'\0'結束的字元串從而使複雜度變成O(N),redis作為一個高性能的代名詞是無法容忍這個缺陷的,所以SDS結構的len變數就有用了直接可以知道這個變數大小是多少,從而使軟體的複雜度變成O(1)。

2、C語言的2個字元串在連接得時候容易發生記憶體溢出問題,比如現在有2個連續的C字元串 a(len=6),b(實際長度8)在記憶體中分配的地址如下:

|r|e|d|i|s|\b|m|o|n|g|o|d|b|\b|

假如我現在執行strcat(a,"666")操作如果忘記了給a分配新長度的話,記憶體就會溢出,從而影響b的值,而SDS避免了這個問題,當執行給SDS添加字元串會自動檢查當前的free長度是否夠用,如果不夠會自動分配新空間,從而避免了記憶體溢出問題,其實說到這裡其實SDS作為Redis存儲的最細節關鍵的還是這個free緩衝,因為Redis的使用場景中大部分速度要求苛刻,且經常會發生字元串增加或者減少的事情,而如果每次都調用系統類庫來分配記憶體空間,會很耗時,降低性能,而Redis考慮到了這一點,使用了free,大大減少了記憶體分配的次數,從而提高了性能。

3、C語言字元串不能用來存儲二進位文件,因為c語言字元串利用了'\0'作為字元串結尾,但是二進位文件結尾是-1,而SDS有一個len變數,就解決了這個問題,可以包含多個'\0',從而可以存儲任意二進位數據。

4、SDS也遵循了C語言字元串'\0'結尾的規則,使得SDS也可以使用一部分系統的類庫。

區別圖片

來源於redis設計與實現

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 秋招也算是正式結束了,現在整理一下筆記,當作鞏固一下知識,也希望這個對大家有幫助 http 緩存 和 cdn 緩存可以說是面試必問的問題,竟然是必問的問題,那就總結全面一點~ http緩存機制 秋招也算是正式結束了,現在整理一下筆記,當作鞏固一下知識,也希望這個對大家有幫助 http 緩存 和 cd ...
  • 學習H5 Web開發怎麼和安卓原生開發共存呢,React Native直接解決了這個問題:在運用H5開發的同時,還可以有效調用android原生態開發,直接兩者兼具,既保留了android原生開發也運用了H5 web開發。成本與效率共存。 ...
  • 這兩天不小心看了一下Swift的基礎語法,感覺既然看了,還是寫一下筆記,留個痕跡~總體而言,感覺Swift是一種前後端多種語言混合的產物~~~做為一名.NET陣營人士,少少多多總喜歡通過對比來加深認識。所以做了一個簡單的比較列表,詳情如下... ...
  • 轉載 http://www.toutiao.com/i6362292864885457410/?tt_from=mobile_qq&utm_campaign=client_share&app=news_article&utm_source=mobile_qq&iid=6611409663&utm_m ...
  • 根據google官方文檔,以Android Stdio 2.2.3為基礎,配置NDK開發環境及運行基本native工程的筆記。 ...
  • 1、數據樣式 寫入之前,需要整理以下數據的格式,之後將數據保存到hdfs中,本例使用的樣式如下(用tab分開): 2、代碼 假設要將以上樣式的數據寫入到hbase中,列族為cf,列名為colb,可以使用下麵的代碼(參考) 這段代碼使用mapreduce程式對數據做了進一步處理,之後調用相關的api將 ...
  • 在通常情況下你在使用消息中間件的時候,都是未經設計的使用,你沒有把應用架構和系統架構邊界搞清楚。消息中間件只是一個純粹的技術工具,當你引入的時候是站在應用架構的角度引入的。這是架構的角度,也是架構的上帝視角,這樣你就不會用到最後發現越來越混亂,而且也無法結合軟體模式、方法論、最佳實踐來綜合提升系統... ...
  • 本文主要利用SQL Server 2008 R2自帶的"維護計劃"創建一個自動備份數據的任務。 首先,啟動Sql Management studio,確保"SQL Server 代理"處於啟動狀態。如果沒有,可以右擊選擇"啟動". 第二步,依次展開"管理"---"維護計劃",並右擊"維護計劃"選擇"... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...