Thrift 代碼分析

来源:https://www.cnblogs.com/tyol/archive/2019/03/20/10562394.html
-Advertisement-
Play Games

Thrift的基本結束 Thrift是一個跨語言的服務部署框架,最初由Facebook於2007年開發,2008年進入Apache開源項目。Thrift通過IDL(Interface Definition Language,介面定義語言)來定義RPC(Remote Procedure Call,遠程 ...


 

Thrift的基本結束

Thrift是一個跨語言的服務部署框架,最初由Facebook於2007年開發,2008年進入Apache開源項目。Thrift通過IDL(Interface Definition Language,介面定義語言)來定義RPC(Remote Procedure Call,遠程過程調用)的介面和數據類型,然後通過thrift編譯器生成不同語言的代碼(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml),並由生成的代碼負責RPC協議層和傳輸層的實現。

 

Thrift代碼分析

Thrift代碼分析,可以借鑒和學習的方面:

1、代碼分層設計,Thrift分傳輸層、協議層、處理層、服務層四個層設計,上層只依賴下層,方便擴展和維護。

2、基於介面編程和多用抽象工廠設計,每層之間都有一個核心的介面,各個實體初始化基本是使用工廠設計模式,降低耦合。

3、基於BIO和NIO,滿足不同情景,便於性能調優。

層次如下圖:

clip_image001

各層的調用順序如下圖:

image

各層的類設計如下

傳輸層

image

TTransport:客戶端傳輸層抽象基礎類,主要方法:read、write、flush、open、close。read、write方法為核心

TSocket 與 TNonBlockingSocket:分別是基於BIO和NIO客戶端傳輸類。 TSocket持有Socket,設置輸入輸出流使用1K的BufferedStream,

TNonBlockingSocket持有SocketChannel,read和write方法里的byte會每次被wrap成一個ByteBuffer。

TServerSocket 與 TNonBlockingServerSocket:分別是基於BIO和NIO服務端傳輸類。TServerSocket持有ServerSocket,TNonBlockingServerSocket持有ServerSocketChannel。

TFramedTransport與TFastFramedTransport:將數據封裝Frame(幀)實現的, TFastFramedTransport效率記憶體使用率高,使用了自動擴展長度的buffer

TZlibTransport:讀取時按1K為單位將數據讀出並調用JDK的zip函數進行解壓再放到Buffer,寫入時,在flush時先zip再寫入。

TSaslClientTransport與TSaslServerTransport:提供SSL校驗

 

協議層

clip_image001[4]

1)IDL 定義支持類型:

   基本類型: i16,i32,i64, double, boolean,byte,byte[], String。

   容器類型: List,Set,Map,TList/TSet/TMap類包含其元素的類型與元素的總個數。

   Struct類型:即面向對象的Class,繼承於TBase。TStruct類有Name屬性,還含有一系列的Field。TField類有自己的Name,類型,順序id屬性。

   Exception類型:Struct,繼承於TException這個checked exception。

   Enum類型:傳輸時是個i32。

   Message類型:封裝往返的RPC消息。TMessage類包含Name,類型(請求,返回,異常,ONEWAY)與seqId屬性。

2) 類分析:

TProtocol:基礎抽象類,擁有對IDL定義支持類型read和write方法,對於結構類型先readxxBegin()(或writexxBegin()),結束時調用readxxEnd() (或readxxEnd())方法。

TBinaryProtocol:二進位流傳輸協議類,把各類型轉換成byte數組,交給TTransport傳輸。

TCompactProtocol:壓縮方法二進位協議類,將Integer按照ZigZag

TTupleProtocol:繼承TCompactProtocol,Struct使用時更省空間

TJSONProtocol:Json格式協議類,將數據封裝成Json格式,再轉為byte數組交給傳輸層。

TSimpleJSONProtocol:Json格式協議類,但只支持寫的功能。

TProtocolFactory:TProtocol的工廠基礎類,每個TProtocol實現類均有一個工廠實現。

 

Server層

image

TServer :基礎抽象類,實際上類似一個容器,持有TProcessor、TTransport、TProtocol的工廠對象,AbstractServerArgs作為參數抽象類,提供一個serve()方法,用於啟動服務,stop()方法停止服務。

TSimpleServer :單線程阻塞式服務,只用於做測試的簡單服務類。

TNonblockingServer:支持非阻塞單線程服務模型,基於NIO的Select實現。

THsHaServer:繼承TNonblockingServer。單線程處理I/O,線程池請求的處理。

TThreadedSelectorServer: 繼承AbstractNonblockingServer。維持兩個線程池,一個線程池處理I/O,另一個線程池處理請求。  以下代碼時預設的線程池設置:

  1 Public class TThreadedSelectorServer extends AbstractNonblockingServer{
  2  3 Public static class Args extends AbstractNonblockingServerArgs<TThreadedSelectorServer.Args>{
  4 Public int selectorThreads = 2;
  5 Private int workerThreads = 5;
  6 Private int stopTimeoutVal = 60;

TThreadPoolServer:專門的線程接受請求並交給線程池處理,完成後線程池連接釋放。請求處理線程和I/O線程為同一線程。阻塞式線程池模型。

Processer層

image

TProcessor:基礎介面,抽象方法process(TProtocol in, TProtocol out)

TBaseProcessor :基礎抽象類,持有processMap對象,key為方法名標示,value為方法(ProcessFunction的實例),實現TProcessor的方法process,in.readMessageBegin()拿到傳過來的方法名,如果存在則準備交給具體業務類執行,否則拋出無效方法的異常。

Processor:IDL生成,實現TProcessor介面並繼承TBaseProcessor類。

TAsyncProcessor:非同步處理介面,抽象方法process(final AsyncFrameBuffer fb)TBaseAsyncProcessor:非同步處理抽象類,持有processMap對象,key為方法名標示,value為方法(AsyncProcessFunction的實例),實現TAsyncProcessor的方法process(final AsyncFrameBuffer fb),AsyncProcessFunction的getResultHandler方法拿到一個AsyncMethodCallback,帶執行start方法後通過sendResponse方法返回。 AsyncProcessor 由IDL生成,實現TAsyncProcessor介面並繼承TAsyncProcessor類。

TProcessorFactory: 構建 TProcessor的工廠類

(The End)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Document ...
  • ``` Title hello world ``` ...
  • 原理:Pub-Sub(發佈和訂閱) 它適用於發送者將數據(發佈者)發送給抽象數量的收件人(訂閱者),而無需指定他們是誰。 1、是 HTML5 開始提供的一種在單個 TCP 連接上進行全雙工通訊的協議 2、客戶端和伺服器之間的數據交換變得更加簡單,允許服務端主動向客戶端推送數據。在 WebSocket ...
  • ``` Title 標題 內容 ``` ...
  • 第一種方法:通過npm 安裝插件 1,安裝 npm install vue-print-nb --save 2,引入 安裝好以後在main.js文件中引入 import Print from 'vue-print-nb' Vue.use(Print); //註冊 3,現在就可以使用了 4.如需通過鏈 ...
  • vue簡介 前面安裝好vue之後,確實還沒有對vue進行介紹,首先,官網:傳送門 接著,前端目前公認有三大框架:vue,react,angular react是fackbook公司出的框架,angular是谷歌公司出的框架,vue是一個國人寫的,叫尤雨溪,他之前是在谷歌上班的,... ...
  • wx.setStorageSync('vipId',vipId) 存儲 wx.getStorageSync('vipId') 讀取 wx.navigateTo({ url: `/pages/detail/main?id=${id}` }) 頁面之間跳轉傳遞參數 如果需要傳遞整個對象,如下: goPa ...
  • 十行原生代碼,不引入任何 JS 庫,目前各大瀏覽器與移動平臺都可相容。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...