twemproxyRedis協議解析探索——剖析twemproxy代碼正編

来源:http://www.cnblogs.com/onlyac/archive/2017/01/31/6277707.html
-Advertisement-
Play Games

這篇文章會對twemproxyRedis協議解析代碼部分進行一番簡單的分析,同時給出twemproxy目前支持的所有Redis命令。在這篇文章開始前,我想大家去簡單地理解一下有限狀態機,當然不理解也是沒有問題的,有限狀態機僅僅能幫助我們更好地理解twemproxyRedis協議解析代碼部分。 red ...


這篇文章會對twemproxyRedis協議解析代碼部分進行一番簡單的分析,同時給出twemproxy目前支持的所有Redis命令。在這篇文章開始前,我想大家去簡單地理解一下有限狀態機,當然不理解也是沒有問題的,有限狀態機僅僅能幫助我們更好地理解twemproxyRedis協議解析代碼部分。

 

redis 協議

這邊我們首先需要簡單介紹一下redis協議。參考自https://redis.io/topics/protocol

redis協議即RESP 的數據類型有5類,簡單字元串、錯誤、整數、大字元串以及數組

每一行RESP都以"\r\n" (CRLF)結尾,每一種數據類型都有一個唯一的標識符作為開頭,。

這裡假設 [string(len)]為長度為len的字元長度,[string]為長度為任意的的字元長度,[int]為整數

 

簡單字元串

這種數據類型往往表示一種正確的信息,其標識符為+,格式為

+[string]\r\n

 

如對於一個操作類命令操作成功的回覆是

+OK\r\n

 

錯誤

這種數據類型往往表示一種錯誤的信息, 其標識符為-,格式為

-[string]\r\n

如對於一個操作類命令操作錯誤的回覆可能是 

-ERR unknown command 'foobar'\r\n

 

整數

這種數據類型往往表示一個整數, 其標識符為:,格式為

:[int]\r\n

如對於一些數據類命令的回覆可能是

:1000\r\n

 

大字元串

 

這種數據類型往往表示一個有長度len信息的字元串, 其標識符為$,格式為 :

$len\r\n

[string(len)]\r\n

 

如對於一個命令set的包就是

3\r\n

set\r\n

 

數組

這種數據類型往往數量為k信息所有類型混合的數據,並不一定要同一類型, 其標識符為*,格式為 :

*k\r\n

k個[簡單字元串、錯誤、整數、大字元串或數組]

如對於一個命令

set skey value

的包就是 :

*3\r\n

$3\r\n

set\r\n

$4\r\n

skey\r\n

$5\r\n

value\r\n

如回覆包

*2\r\n
*3\r\n
:1\r\n
:2\r\n
:3\r\n
*2\r\n
+Foo\r\n
-Bar\r\n

 

redis請求包解析

在proto/nc_redis.c中的redis_parse_req函數解析了redis請求包

redis請求包有限狀態機的符號圖如下圖所示:

 redis請求包符號表轉化圖

寫成正式格式的set skey value一樣的是*3\r\n$3\r\nset\r\n$4\r\nskey\r\n$5\r\nvalue\r\n對於這個set命令就是以SW_REQ_TYPE(set),SW_KEY(skey ),SW_ARG1(value)組成的,redis命令的基本的組成如下:SW_REQ_TYPE SW_KEY [SW_ARG1] [SW_ARG2] [SW_ARG3] ... [SW_ARGN]([]里的可以出現或者不出現,視SW_REQ_TYPE 的類型所示),SW_KEY 可以是是多個。

如果是只有SW_KEY 的是滿足函數redis_argx的命令,帶有SW_ARG1的是滿足函數redis_arg1以及redis_argkvx的命令,帶有SW_ARG2的是滿足函數redis_arg2的命令,帶有滿足SW_ARG3的是函數redis_arg3的命令,帶有SW_ARGN的是滿足函數redis_argn以及redis_argeval的命令,為此我們可以畫出代碼state之間的轉化關係

 

 1    enum {
 2         SW_START,
 3         SW_NARG,
 4         SW_NARG_LF,
 5         SW_REQ_TYPE_LEN,
 6         SW_REQ_TYPE_LEN_LF,
 7         SW_REQ_TYPE,
 8         SW_REQ_TYPE_LF,
 9         SW_KEY_LEN,
10         SW_KEY_LEN_LF,
11         SW_KEY,
12         SW_KEY_LF,
13         SW_ARG1_LEN,
14         SW_ARG1_LEN_LF,
15         SW_ARG1,
16         SW_ARG1_LF,
17         SW_ARG2_LEN,
18         SW_ARG2_LEN_LF,
19         SW_ARG2,
20         SW_ARG2_LF,
21         SW_ARG3_LEN,
22         SW_ARG3_LEN_LF,
23         SW_ARG3,
24         SW_ARG3_LF,
25         SW_ARGN_LEN,
26         SW_ARGN_LEN_LF,
27         SW_ARGN,
28         SW_ARGN_LF,
29         SW_SENTINEL
30     } state;
View Code

 

 

 redis請求包狀態轉化圖

通過這種方式twemproxy解析了redis的請求包,首先解析了每個包的類型,然後將每一個key的開始、結束指針記錄到相應的包中,用來完成切片操作。這種有限狀態機的方式不僅比正則表達式解析速度快,而且代碼較為清晰。

 

redis回覆包解析

在proto/nc_redis.c中的redis_parse_rsp函數解析了redis請求包

這裡用過符號區分了redis協議的回覆包類型,這裡的符號的意思就是指在上面《redis協議》章節中提到的符號

SW_STATUS是簡單字元串

SW_ERROR是錯誤

SW_INTEGER是整數

SW_BULK是大字元串

SW_MULTIBULK是數組

下麵是redis協議的解析狀態:

 1    enum {
 2         SW_START,
 3         SW_STATUS,
 4         SW_ERROR,
 5         SW_INTEGER,
 6         SW_INTEGER_START,
 7         SW_SIMPLE,
 8         SW_BULK,
 9         SW_BULK_LF,
10         SW_BULK_ARG,
11         SW_BULK_ARG_LF,
12         SW_MULTIBULK,
13         SW_MULTIBULK_NARG_LF,
14         SW_MULTIBULK_ARGN_LEN,
15         SW_MULTIBULK_ARGN_LEN_LF,
16         SW_MULTIBULK_ARGN,
17         SW_MULTIBULK_ARGN_LF,
18         SW_RUNTO_CRLF,
19         SW_ALMOST_DONE,
20         SW_SENTINEL
21     } state;
View Code

 

 redis回覆包狀態轉化圖

 在這幅redis回覆包狀態轉化圖中(每個狀態下麵的條件,就是進入該狀態的條件),通過這些,我們可以解析回覆包。如:

*2\r\n

*2\r\n
+Foo\r\n
-Bar\r\n

對於

*2\r\n

遇到*那麼進入SW_MULTIBULK,接著遇到'\r',

進入SW_MULTIBULK_NARG_LR,繼而進入SW_MULTIBULK_ARGN_LEN

對於

*3\r\n
:1\r\n
:2\r\n
:3\r\n

先遇到*再次進入SW_MULTIBULK,

接著遇到'\r',進入SW_MULTIBULK_NARG_LR,繼而進入SW_MULTIBULK_ARGN_LEN

然後就是進入SW_SLMPLE,最後就是一直在SW_SLMPLE和SW_MULTIBULK_ARGN_LEN狀態轉化,

對於

*2\r\n
+Foo\r\n
-Bar\r\n

也是同樣的,與上面那塊解析過程相同。

當然這裡的命令僅僅是個例子,可能不符合redis協議要求。僅僅能幫助我們更好的理解。

 

總結

在上述章節中,我們瞭解了redis的協議,以及twemproxy對redis請求包和回覆包的解析過程,利用有限狀態機的模型來去熟悉解析過程,下麵我們會探索msg_resv的過程。

另外,對於博文有問題的請大家在評論中留言與博主討論,博主會及時回覆的!!!!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、簡介 Android的消息機制主要是指Handler的運行機制,那麼什麼是Handler的運行機制那?通俗的來講就是,使用Handler將子線程的Message放入主線程的Messagequeue中,在主線程使用。 二、學習內容 學習Android的消息機制,我們需要先瞭解如下內容。 平常我們接 ...
  • 常量 C語言有豐富的數據類型,在開發中,一般用常量或者變數來表示這些數據 "量"表示數據。常量,則表示一些固定的數據,也就是不能改變的數據。 10.1;// 雙精度double 5.2f; //單精度float 'a'; // 字元型常量 'ab'; // 錯誤 '李'; // 錯誤寫法, 因為一個 ...
  • 有關NSLog調試問題 ...
  • 前言 什麼是操作系統:操作系統是一種系統軟體,用來管理電腦的軟硬體資源。 主流操作系統: 移動攜帶型設備:Android、iOS、Windows Phone、Symbian(塞班)、Black Berry(黑莓) OS PC個人電腦:Windows、Mac OS、Unix、Linux 什麼是iOS ...
  • 簡易天氣是一個基於和風天氣數據採用MD設計的Android天氣App。目前的版本採用傳統的MVC模式構建。通過豐富多彩的頁面為用戶提供日常所需的天氣資訊。 項目說明 項目放在github上面 地址是: "easyweather開源地址" 項目利用的和風天氣 舊版本的API。 定位功能使用的是百度地圖 ...
  • 最近這幾天,一直跟著朋友們聚會什麼的,沒怎麼做項目,今天總算是有時間開電腦繼續做我的項目了。下麵我就把我做的效果展示一下。 這是模仿了qq的界面效果。因為代碼比較長就不粘貼代碼了。需要的小伙伴可以跟我私聊。 ...
  • iOS 圖片壓縮方法 兩種圖片壓縮方法 兩種壓縮圖片的方法:壓縮圖片質量(Quality),壓縮圖片尺寸(Size)。 壓縮圖片質量 通過 UIImage 和 NSData 的相互轉化,減小 JPEG 圖片的質量來壓縮圖片。UIImageJPEGRepresentation:: 第二個參數 comp ...
  • 在連接資料庫的時候,有時會遇到一個“ORA12514:監聽程式當前無法識別連接描述符中請求的服務”的錯誤,這個錯誤其實就是資料庫動態註冊(關於動態註冊會在稍後講解)不生效,導致監聽器無法識別客戶端連接符中提供的服務名,從而拒絕建立資料庫連接時報的錯誤信息,所以就需要對監聽器配置做修改。 在這裡,還需 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...