twemproxyRedis協議解析探索——剖析twemproxy代碼正編

来源:http://www.cnblogs.com/onlyac/archive/2017/01/31/6277707.html
-Advertisement-
Play Games

這篇文章會對twemproxyRedis協議解析代碼部分進行一番簡單的分析,同時給出twemproxy目前支持的所有Redis命令。在這篇文章開始前,我想大家去簡單地理解一下有限狀態機,當然不理解也是沒有問題的,有限狀態機僅僅能幫助我們更好地理解twemproxyRedis協議解析代碼部分。 red ...


這篇文章會對twemproxyRedis協議解析代碼部分進行一番簡單的分析,同時給出twemproxy目前支持的所有Redis命令。在這篇文章開始前,我想大家去簡單地理解一下有限狀態機,當然不理解也是沒有問題的,有限狀態機僅僅能幫助我們更好地理解twemproxyRedis協議解析代碼部分。

 

redis 協議

這邊我們首先需要簡單介紹一下redis協議。參考自https://redis.io/topics/protocol

redis協議即RESP 的數據類型有5類,簡單字元串、錯誤、整數、大字元串以及數組

每一行RESP都以"\r\n" (CRLF)結尾,每一種數據類型都有一個唯一的標識符作為開頭,。

這裡假設 [string(len)]為長度為len的字元長度,[string]為長度為任意的的字元長度,[int]為整數

 

簡單字元串

這種數據類型往往表示一種正確的信息,其標識符為+,格式為

+[string]\r\n

 

如對於一個操作類命令操作成功的回覆是

+OK\r\n

 

錯誤

這種數據類型往往表示一種錯誤的信息, 其標識符為-,格式為

-[string]\r\n

如對於一個操作類命令操作錯誤的回覆可能是 

-ERR unknown command 'foobar'\r\n

 

整數

這種數據類型往往表示一個整數, 其標識符為:,格式為

:[int]\r\n

如對於一些數據類命令的回覆可能是

:1000\r\n

 

大字元串

 

這種數據類型往往表示一個有長度len信息的字元串, 其標識符為$,格式為 :

$len\r\n

[string(len)]\r\n

 

如對於一個命令set的包就是

3\r\n

set\r\n

 

數組

這種數據類型往往數量為k信息所有類型混合的數據,並不一定要同一類型, 其標識符為*,格式為 :

*k\r\n

k個[簡單字元串、錯誤、整數、大字元串或數組]

如對於一個命令

set skey value

的包就是 :

*3\r\n

$3\r\n

set\r\n

$4\r\n

skey\r\n

$5\r\n

value\r\n

如回覆包

*2\r\n
*3\r\n
:1\r\n
:2\r\n
:3\r\n
*2\r\n
+Foo\r\n
-Bar\r\n

 

redis請求包解析

在proto/nc_redis.c中的redis_parse_req函數解析了redis請求包

redis請求包有限狀態機的符號圖如下圖所示:

 redis請求包符號表轉化圖

寫成正式格式的set skey value一樣的是*3\r\n$3\r\nset\r\n$4\r\nskey\r\n$5\r\nvalue\r\n對於這個set命令就是以SW_REQ_TYPE(set),SW_KEY(skey ),SW_ARG1(value)組成的,redis命令的基本的組成如下:SW_REQ_TYPE SW_KEY [SW_ARG1] [SW_ARG2] [SW_ARG3] ... [SW_ARGN]([]里的可以出現或者不出現,視SW_REQ_TYPE 的類型所示),SW_KEY 可以是是多個。

如果是只有SW_KEY 的是滿足函數redis_argx的命令,帶有SW_ARG1的是滿足函數redis_arg1以及redis_argkvx的命令,帶有SW_ARG2的是滿足函數redis_arg2的命令,帶有滿足SW_ARG3的是函數redis_arg3的命令,帶有SW_ARGN的是滿足函數redis_argn以及redis_argeval的命令,為此我們可以畫出代碼state之間的轉化關係

 

 1    enum {
 2         SW_START,
 3         SW_NARG,
 4         SW_NARG_LF,
 5         SW_REQ_TYPE_LEN,
 6         SW_REQ_TYPE_LEN_LF,
 7         SW_REQ_TYPE,
 8         SW_REQ_TYPE_LF,
 9         SW_KEY_LEN,
10         SW_KEY_LEN_LF,
11         SW_KEY,
12         SW_KEY_LF,
13         SW_ARG1_LEN,
14         SW_ARG1_LEN_LF,
15         SW_ARG1,
16         SW_ARG1_LF,
17         SW_ARG2_LEN,
18         SW_ARG2_LEN_LF,
19         SW_ARG2,
20         SW_ARG2_LF,
21         SW_ARG3_LEN,
22         SW_ARG3_LEN_LF,
23         SW_ARG3,
24         SW_ARG3_LF,
25         SW_ARGN_LEN,
26         SW_ARGN_LEN_LF,
27         SW_ARGN,
28         SW_ARGN_LF,
29         SW_SENTINEL
30     } state;
View Code

 

 

 redis請求包狀態轉化圖

通過這種方式twemproxy解析了redis的請求包,首先解析了每個包的類型,然後將每一個key的開始、結束指針記錄到相應的包中,用來完成切片操作。這種有限狀態機的方式不僅比正則表達式解析速度快,而且代碼較為清晰。

 

redis回覆包解析

在proto/nc_redis.c中的redis_parse_rsp函數解析了redis請求包

這裡用過符號區分了redis協議的回覆包類型,這裡的符號的意思就是指在上面《redis協議》章節中提到的符號

SW_STATUS是簡單字元串

SW_ERROR是錯誤

SW_INTEGER是整數

SW_BULK是大字元串

SW_MULTIBULK是數組

下麵是redis協議的解析狀態:

 1    enum {
 2         SW_START,
 3         SW_STATUS,
 4         SW_ERROR,
 5         SW_INTEGER,
 6         SW_INTEGER_START,
 7         SW_SIMPLE,
 8         SW_BULK,
 9         SW_BULK_LF,
10         SW_BULK_ARG,
11         SW_BULK_ARG_LF,
12         SW_MULTIBULK,
13         SW_MULTIBULK_NARG_LF,
14         SW_MULTIBULK_ARGN_LEN,
15         SW_MULTIBULK_ARGN_LEN_LF,
16         SW_MULTIBULK_ARGN,
17         SW_MULTIBULK_ARGN_LF,
18         SW_RUNTO_CRLF,
19         SW_ALMOST_DONE,
20         SW_SENTINEL
21     } state;
View Code

 

 redis回覆包狀態轉化圖

 在這幅redis回覆包狀態轉化圖中(每個狀態下麵的條件,就是進入該狀態的條件),通過這些,我們可以解析回覆包。如:

*2\r\n

*2\r\n
+Foo\r\n
-Bar\r\n

對於

*2\r\n

遇到*那麼進入SW_MULTIBULK,接著遇到'\r',

進入SW_MULTIBULK_NARG_LR,繼而進入SW_MULTIBULK_ARGN_LEN

對於

*3\r\n
:1\r\n
:2\r\n
:3\r\n

先遇到*再次進入SW_MULTIBULK,

接著遇到'\r',進入SW_MULTIBULK_NARG_LR,繼而進入SW_MULTIBULK_ARGN_LEN

然後就是進入SW_SLMPLE,最後就是一直在SW_SLMPLE和SW_MULTIBULK_ARGN_LEN狀態轉化,

對於

*2\r\n
+Foo\r\n
-Bar\r\n

也是同樣的,與上面那塊解析過程相同。

當然這裡的命令僅僅是個例子,可能不符合redis協議要求。僅僅能幫助我們更好的理解。

 

總結

在上述章節中,我們瞭解了redis的協議,以及twemproxy對redis請求包和回覆包的解析過程,利用有限狀態機的模型來去熟悉解析過程,下麵我們會探索msg_resv的過程。

另外,對於博文有問題的請大家在評論中留言與博主討論,博主會及時回覆的!!!!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、簡介 Android的消息機制主要是指Handler的運行機制,那麼什麼是Handler的運行機制那?通俗的來講就是,使用Handler將子線程的Message放入主線程的Messagequeue中,在主線程使用。 二、學習內容 學習Android的消息機制,我們需要先瞭解如下內容。 平常我們接 ...
  • 常量 C語言有豐富的數據類型,在開發中,一般用常量或者變數來表示這些數據 "量"表示數據。常量,則表示一些固定的數據,也就是不能改變的數據。 10.1;// 雙精度double 5.2f; //單精度float 'a'; // 字元型常量 'ab'; // 錯誤 '李'; // 錯誤寫法, 因為一個 ...
  • 有關NSLog調試問題 ...
  • 前言 什麼是操作系統:操作系統是一種系統軟體,用來管理電腦的軟硬體資源。 主流操作系統: 移動攜帶型設備:Android、iOS、Windows Phone、Symbian(塞班)、Black Berry(黑莓) OS PC個人電腦:Windows、Mac OS、Unix、Linux 什麼是iOS ...
  • 簡易天氣是一個基於和風天氣數據採用MD設計的Android天氣App。目前的版本採用傳統的MVC模式構建。通過豐富多彩的頁面為用戶提供日常所需的天氣資訊。 項目說明 項目放在github上面 地址是: "easyweather開源地址" 項目利用的和風天氣 舊版本的API。 定位功能使用的是百度地圖 ...
  • 最近這幾天,一直跟著朋友們聚會什麼的,沒怎麼做項目,今天總算是有時間開電腦繼續做我的項目了。下麵我就把我做的效果展示一下。 這是模仿了qq的界面效果。因為代碼比較長就不粘貼代碼了。需要的小伙伴可以跟我私聊。 ...
  • iOS 圖片壓縮方法 兩種圖片壓縮方法 兩種壓縮圖片的方法:壓縮圖片質量(Quality),壓縮圖片尺寸(Size)。 壓縮圖片質量 通過 UIImage 和 NSData 的相互轉化,減小 JPEG 圖片的質量來壓縮圖片。UIImageJPEGRepresentation:: 第二個參數 comp ...
  • 在連接資料庫的時候,有時會遇到一個“ORA12514:監聽程式當前無法識別連接描述符中請求的服務”的錯誤,這個錯誤其實就是資料庫動態註冊(關於動態註冊會在稍後講解)不生效,導致監聽器無法識別客戶端連接符中提供的服務名,從而拒絕建立資料庫連接時報的錯誤信息,所以就需要對監聽器配置做修改。 在這裡,還需 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...