DotNetty發送請求的最佳實踐

来源:https://www.cnblogs.com/egmkang/archive/2020/02/12/DotNetty-Gathering-Write.html

長鏈接發送request/response時, 絕大部分包都是小包, 而每個小包都要消耗一個IP包, 成本大約是20-30us, 普通千兆網卡的pps大約是60Wpps, 所以想要提高長鏈接密集IO的應用性能, 需要做包的合併, 也稱為了scatter/gather io或者vector io. 在 ...


長鏈接發送request/response時, 絕大部分包都是小包, 而每個小包都要消耗一個IP包, 成本大約是20-30us, 普通千兆網卡的pps大約是60Wpps, 所以想要提高長鏈接密集IO的應用性能, 需要做包的合併, 也稱為了scatter/gather io或者vector io.

 

在linux下有readv/writev就是對應這個需求的, 減少系統調用, 減少pps, 提高網卡的吞吐量. 關於readv提高讀的速度, 可以看看陳碩muduo裡面對於readv的使用, 思路是就是在棧上面弄一個64KB的數組, 組成readv的第二塊buffer, 從而儘可能一次性把socket緩衝區的內容全部出來(參見5). 這裡不再贅述, 重點描述DotNetty下麵怎麼做Gathering Write.

 

首先得有一個Channel<IMessage>, 用來做寫的緩衝, 讓業務關心業務, 網路關心網路, 否則每個業務都WriteAndFlushAsync, 那是不太可能有合併發送的.

 

然後就是SendingLoop的主迴圈, 裡面不停的從Channel裡面TryRead包, 然後WriteAsync, 隔幾個包Flush一次. 類似的思想在Orleans Network裡面也存在.

 

 1 public void RunSendLoopAsync(IChannel channel)
 2 {
 3     var allocator = channel.Allocator;
 4     var reader = this.queue.Reader;
 5     Task.Run(async () => 
 6     {
 7         while (!this.stop) 
 8         {
 9             var more = await reader.WaitToReadAsync();
10             if (!more) 
11             {
12                 break;
13             }
14 
15             IOutboundMessage message = default;
16             var number = 0;
17             try 
18             {
19                 while (number < 4 && reader.TryRead(out message)) 
20                 {
21                     Interlocked.Decrement(ref this.queueCount);
22                     var msg = message.Inner as IMessage;
23                     var buffer = msg.ToByteBuffer(allocator);
24                     await channel.WriteAsync(buffer);
25                     number++;
26                 }
27                 channel.Flush();
28                 number = 0;
29             }
30             catch (Exception e)  when(message != default)
31             {
32                 logger.LogError("SendOutboundMessage Fail, SessionID:{0}, Exception:{1}",
33                     this.sessionID, e.Message);
34                 this.messageCenter.OnMessageFail(message);
35             }
36         }
37         this.logger.LogInformation("SessionID:{0}, SendingLoop Exit", this.sessionID);
38     });
39 }

第19-27行是關鍵, 這邊每4個包做一下flush, 然後flush會觸發DotNetty的DoWrite:

 1 protected override void DoWrite(ChannelOutboundBuffer input)
 2 {
 3     List<ArraySegment<byte>> sharedBufferList = null;
 4     try
 5     {
 6         while (true)
 7         {
 8             int size = input.Size;
 9             if (size == 0)
10             {
11                 // All written
12                 break;
13             }
14             long writtenBytes = 0;
15             bool done = false;
16 
17             // Ensure the pending writes are made of ByteBufs only.
18             int maxBytesPerGatheringWrite = ((TcpSocketChannelConfig)this.config).GetMaxBytesPerGatheringWrite();
19             sharedBufferList = input.GetSharedBufferList(1024, maxBytesPerGatheringWrite);
20             int nioBufferCnt = sharedBufferList.Count;
21             long expectedWrittenBytes = input.NioBufferSize;
22             Socket socket = this.Socket;
23 
24             List<ArraySegment<byte>> bufferList = sharedBufferList;
25             // Always us nioBuffers() to workaround data-corruption.
26             // See https://github.com/netty/netty/issues/2761
27             switch (nioBufferCnt)
28             {
29                 case 0:
30                     // We have something else beside ByteBuffers to write so fallback to normal writes.
31                     base.DoWrite(input);
32                     return;
33                 default:
34                     for (int i = this.Configuration.WriteSpinCount - 1; i >= 0; i--)
35                     {
36                         long localWrittenBytes = socket.Send(bufferList, SocketFlags.None, out SocketError errorCode);
37                         if (errorCode != SocketError.Success && errorCode != SocketError.WouldBlock)
38                         {
39                             throw new SocketException((int)errorCode);
40                         }

DotNetty TcpSocketChannel類的DoWrite函數, 19行獲取當前ChannelOutboundBuffer的Segment<byte>數組, 然後在36行調用Socket.Send一次性發出去, 這個是Gathering Write的關鍵. 有了這個, 就可以不在業務層用CompositeByteBuffer.

DotNetty Libuv Transport的實現可以看6, 思想是類似的.

 

實際上Orleans 3.x做的網路優化, 也有類似的思想:

 1 private async Task ProcessOutgoing()
 2 {
 3     await Task.Yield();
 4 
 5     Exception error = default;   
 6     PipeWriter output = default;
 7     var serializer = this.serviceProvider.GetRequiredService<IMessageSerializer>();
 8     try
 9     {
10         output = this.Context.Transport.Output;
11         var reader = this.outgoingMessages.Reader;
12         if (this.Log.IsEnabled(LogLevel.Information))
13         {
14             this.Log.LogInformation(
15                 "Starting to process messages from local endpoint {Local} to remote endpoint {Remote}",
16                 this.LocalEndPoint,
17                 this.RemoteEndPoint);
18         }
19 
20         while (true)
21         {
22             var more = await reader.WaitToReadAsync();
23             if (!more)
24             {
25                 break;
26             }
27 
28             Message message = default;
29             try
30             {
31                 while (inflight.Count < inflight.Capacity && reader.TryRead(out message) && this.PrepareMessageForSend(message))
32                 {
33                     inflight.Add(message);
34                     var (headerLength, bodyLength) = serializer.Write(ref output, message);
35                     MessagingStatisticsGroup.OnMessageSend(this.MessageSentCounter, message, headerLength + bodyLength, headerLength, this.ConnectionDirection);
36                 }
37             }
38             catch (Exception exception) when (message != default)
39             {
40                 this.OnMessageSerializationFailure(message, exception);
41             }
42 
43             var flushResult = await output.FlushAsync();
44             if (flushResult.IsCompleted || flushResult.IsCanceled)
45             {
46                 break;
47             }
48 
49             inflight.Clear();
50         }

核心在31行, 開始寫, 43行開始flush, 只不過Orleans用的pipelines io, DotNetty是傳統模型.

 

這樣做, 可以在有限的pps下, 支撐更高的吞吐量.

 

個人感覺DotNetty更好用一些.

 

參考:

1. https://github.com/Azure/DotNetty/blob/dev/src/DotNetty.Transport/Channels/Sockets/TcpSocketChannel.cs#L271-L288

2. https://github.com/dotnet/orleans/blob/master/src/Orleans.Core/Networking/Connection.cs#L282-L294

3. https://docs.microsoft.com/zh-cn/windows/win32/winsock/scatter-gather-i-o-2

4. https://linux.die.net/man/2/writev

5. https://github.com/chenshuo/muduo/blob/d980315dc054b122612f423ee2e1316cb14bd3b5/muduo/net/Buffer.cc#L28-L38

6. https://github.com/Azure/DotNetty/blob/dev/src/DotNetty.Transport.Libuv/Native/WriteRequest.cs#L106-L128

 


您的分享是我們最大的動力!

更多相關文章
  • 去除內嵌tomcat和添加jsp依賴 去除內嵌tomcat 在springboot啟動依賴中去除內嵌tomcat org.springframework.boot spring-boot-starter-web ... ...
  • 每日一句英語學習,每天進步一點點: “Action may not always bring happiness; but there is no happiness without action.” 「行動不見得一定帶來快樂,但沒有行動就沒有快樂。」 前言 我在閱讀 《Effective C++ ...
  • 在前面幾篇文章的例子中也可以看到mybatis中輸入映射和輸出映射的身影,但是沒有系統的總結一下,這篇博客主要對這兩個東東做一個總結。我們知道mybatis中輸入映射和輸出映射可以是基本數據類型、hashmap或者pojo的包裝類型,這裡主要來總結一下pojo包裝類型的使用,因為這個在開發中比較常用 ...
  • 4.1 數組的相關概念和名詞(瞭解) 1、數組(array): 一組具有相同數據類型的數據的按照一定順序排列的集合。 把有限的幾個相同類型的變數使用一個名稱來進行統一管理。 2、數組名: (1)這個數組名,代表的是一組數 (2)這個數組名中存儲的整個數組的“首地址” 3、下標(index): 我們使 ...
  • 由於Api的介面需要返回多語言,因此參考了網上很多篇文章,,有些文章寫的太過於理論,看起來比較費勁,今天下午搞了一個下午,總結了一下經驗,, 做這個功能時,主要參考了兩篇文章: https://blog.johnwu.cc/article/ironman-day21-asp-net-core-loc ...
  • 在 寫xaml的使用遇到了一些特殊字元,這裡記錄一下特殊字元轉義。 這些特殊字元遵循用於編碼的萬維網聯合會(W3C) XML 標準。 下表顯示這組特殊字元的編碼語法: 字元語法描述 < &lt; 小於符號。 > &gt; 大於符號。 & &amp; & 符號。 " &quot; 雙引號。 參見: h ...
  • 樣式提供了重用一組屬性設置的實用方法。它們為幫助構建一致的、組織良好的界面邁出了重要的第一步——但是它們也是有許多限制。 問題是在典型的應用程式中,屬性設置僅是用戶界面基礎結構的一小部分。甚至最基本的程式通常也需要大量的用戶界面代碼,這些代碼與應用程式的功能無關。在許多程式中,用於用戶界面任務的代碼 ...
  • static void Main(string[] args) { InsertionSortDemo(); Console.ReadLine(); } static void InsertionSortDemo() { Random rnd = new Random(); int[] arr = ...
一周排行
  • 前幾天發佈了 "抄抄《CSS 故障藝術》的動畫" 這篇文章,在這篇文章里介紹瞭如何使用Win2D繪製文字然後配合BlendEffect製作故障藝術的動畫。本來打算就這樣收手不玩這個動畫了,但後來又發現性能不符合理想。明明只是做做Resize動畫和用BlendEffect混合,為什麼性能會這麼差呢? ...
  • 控制條控制項: progressBar 不能按照你程式的進程自動變化,需認為計算,調整變化量 private void progressBar1_Click(object sender, EventArgs e) { this.progressBar1.Maximum = 100;//設置進度條最大長 ...
  • 首先創建一個asp.net core web應用程式 第二步 目前官方預置了7種模板項目供我們選擇。從中我們可以看出,既有我們熟悉的MVC、WebAPI,又新添加了Razor Page,以及結合比較流行的Angular、React前端框架的模板項目。 空項目模板 Program.cs using S ...
  • 對閉包的理解 1.對於成員變數和局部變數:成員變數就是方法外部,類的內部定義的變數;局部變數就是方法或語句塊內部定義的變數。局部變數必須初始化。 形式參數是局部變數,局部變數的數據存在於棧記憶體中。棧記憶體中的局部變數隨著方法的消失而消失。成員變數存儲在堆中的對象裡面,由垃圾回收器負責回收。 成員變數它 ...
  • Xamarin.Forms讀取並展示Android和iOS通訊錄 TerminalMACS客戶端 本文同步更新地址: https://dotnet9.com/11520.html https://terminalmacs.com/861.html 閱讀導航: 一、功能說明 二、代碼實現 三、源碼獲取 ...
  • 做下對文件複製操作相關的筆記: /// <summary> /// 文件幫助類 /// </summary> public class FileHelper { /// <summary> /// 複製一個目錄下所有文件到一個新目錄下 /// </summary> /// <param name=" ...
  • 前言 有一個東西叫做鴨子類型,所謂鴨子類型就是,只要一個東西表現得像鴨子那麼就能推出這玩意就是鴨子。 C 裡面其實也暗藏了很多類似鴨子類型的東西,但是很多開發者並不知道,因此也就沒法好好利用這些東西,那麼今天我細數一下這些藏在編譯器中的細節。 不是只有 和 才能 在 C 中編寫非同步代碼的時候,我們經 ...
  • [toc] 1.應用背景 底端設備有大量網路報文(位元組數組):心跳報文,數據採集報文,告警報文上報。需要有對應的報文結構去解析這些位元組流數據。 2.結構體解析 由此,我第一點就想到了用結構體去解析。原因有以下兩點: 2.1.結構體存在棧中 類屬於引用類型,存在堆中;結構體屬於值類型,存在棧中,在一個 ...
  • 《深入淺出 C#》 (第3版) [作者] (美) Andrew Stellman (美) Jennifer Greene[譯者] (中) 徐陽 丁小峰 等譯[出版] 中國電力出版社[版次] 2016年08月 第1版[印次] 2018年04月 第4次 印刷[定價] 148.00元 【引子】 要學習編程 ...
  • 記錄使用對象初始值設定項初始化對象。 using System; using System.Collections.Generic; namespace ConsoleApp2 { class Program { static void Main(string[] args) { // 使用構造函數 ...
x