基於.NET CORE微服務框架 -談談surging 的messagepack、protobuffer、json.net 序列化

来源:http://www.cnblogs.com/fanliang11/archive/2017/11/18/7858371.html
-Advertisement-
Play Games

1、前言 surging內部使用的是高性能RPC遠程服務調用,如果用json.net序列化肯定性能上達不到最優,所以後面擴展了protobuf,messagepack序列化組件,以支持RPC二進位傳輸. 在這裡需要感謝白紙無字Zonciu,新增了messagepack序列化,讓surging 性能上 ...


1、前言

     surging內部使用的是高性能RPC遠程服務調用,如果用json.net序列化肯定性能上達不到最優,所以後面擴展了protobuf,messagepack序列化組件,以支持RPC二進位傳輸.

     在這裡需要感謝白紙無字Zonciu,新增了messagepack序列化,讓surging 性能上跨了一大步。此篇文章我們來談談messagepack、protobuffer、json.net ,並且性能做下對比

    開源地址:https://github.com/dotnetcore/surging

2、序列化組件

   2.1 surging 使用的是以下序列化組件:

      json.net:surging 使用的是Newtonsoft.Json, 它是基於json格式的序列化和反序列化的組件.官方網站: http://json.codeplex.com/

      protobuf:surging 使用的是protobuf-net, 它是基於二進位格式的序列化和反序列化的組件.官方網站: https://github.com/mgravell/protobuf-net

      messagepack:surging 使用的是MessagePack-CSharp, 它是基於二進位格式的序列化和反序列化的組件.官方網站: https://github.com/neuecc/MessagePack-CSharp

      2.2 各個組件的優點

       json.net 有以下優點:

       侵入性:可以不添加attribute,就能進行序列化操作

       靈活性:可以靈活性配置,比如允許被序列化的成員自定義名字,屏蔽的非序列化屬性成員

       可讀性: 數據格式比較簡單, 易於讀寫

       依賴性:可以序列化成JObject,無需依賴對象進行序列化和泛型化。

  protobuf 有以下優點:

      性能高  序列化後體積相比Json和XML很小,適合RPC二進位傳輸
   跨語言:支持跨平臺多語言
        相容性:消息格式升級和相容性還不錯
        速度快 :序列化反序列化速度很快,快於Json的處理速速

     messagepack有以下優點:

      性能高  序列化後體積相比Json和XML很小,適合RPC二進位傳輸
   跨語言:支持跨平臺多語言
        相容性:消息格式升級和相容性還不錯
        速度快 :序列化反序列化速度很快,快於Json的處理速度

 針對於protobuf和messagepack都是基於二進位格式的序列化和反序列化,優點都一樣,但是基於messagepack的MessagePack-CSharp組件侵入性更小,可以不需要加attribute,而且性能上更優.下一節來看看組件在surging 中的表現

3. 性能比較

服務端:

(註:如果不加UseProtoBufferCodec和UseMessagePackCodec就是json.net序列化)

var host = new ServiceHostBuilder()
               .RegisterServices(option=> {
                   option.Initialize(); //初始化服務
                   option.RegisterServices();//依賴註入領域服務
                   option.RegisterRepositories();//依賴註入倉儲
                   option.RegisterModules();//依賴註入第三方模塊
                   option.RegisterServiceBus();//依賴註入ServiceBus
               })
               .RegisterServices(builder =>
               {
                   builder.AddMicroService(option =>
                   {
                       option.AddServiceRuntime();//
                       // option.UseZooKeeperManager(new ConfigInfo("127.0.0.1:2181")); //使用Zookeeper管理
                       option.UseConsulManager(new ConfigInfo("127.0.0.1:8500"));//使用Consul管理
                       option.UseDotNettyTransport();//使用Netty傳輸
                       option.UseRabbitMQTransport();//使用rabbitmq 傳輸
                       option.AddRabbitMQAdapt();//基於rabbitmq的消費的服務適配
                     //  option.UseProtoBufferCodec();//基於protobuf序列化傳輸
                       option.UseMessagePackCodec();//基於MessagePack序列化傳輸
                       builder.Register(p => new CPlatformContainer(ServiceLocator.Current));//初始化註入容器
                   });
               })
               .SubscribeAt()     //消息訂閱
               .UseServer("127.0.0.1", 98)
             //.UseServer("127.0.0.1", 98,“true”) //自動生成Token
             //.UseServer("127.0.0.1", 98,“123456789”) //固定密碼Token
               .UseStartup<Startup>()
               .Build();
               
           using (host.Run())
           {
               Console.WriteLine($"服務端啟動成功,{DateTime.Now}。");
           }

 

客戶端:

   var host = new ServiceHostBuilder()
                .RegisterServices(option =>
                {
                    option.Initialize();
                    option.RegisterServices();
                    option.RegisterRepositories();
                    option.RegisterModules();
                })
                .RegisterServices(builder =>
                {
                    builder.AddMicroService(option =>
                    {
                        option.AddClient();
                        option.AddClientIntercepted(typeof(CacheProviderInterceptor));
                        //option.UseZooKeeperManager(new ConfigInfo("127.0.0.1:2181"));
                        option.UseConsulManager(new ConfigInfo("127.0.0.1:8500"));
                        option.UseDotNettyTransport();
                        option.UseRabbitMQTransport();
                         option.UseProtoBufferCodec();
                        //option.UseMessagePackCodec();
                        builder.Register(p => new CPlatformContainer(ServiceLocator.Current));
                    });
                })
                .UseClient()
                .UseStartup<Startup>()
                .Build();

            using (host.Run())
            {
                Startup.Test(ServiceLocator.GetService<IServiceProxyFactory>());
                Startup.TestRabbitMq();
            }

 

測試  0  object(註:測試無參數)

  /// <summary>
        /// 測試
        /// </summary>
        /// <param name="serviceProxyFactory"></param>
        public static void Test(IServiceProxyFactory serviceProxyFactory)
        {
            Task.Run(async () =>
            {
                var userProxy = serviceProxyFactory.CreateProxy<IUserService>("User");
                await userProxy.GetUserId("user"); 
                do
                {
                    Console.WriteLine("正在迴圈 1w次調用 GetUser.....");
                    //1w次調用
                    var watch = Stopwatch.StartNew();
                    for (var i = 0; i < 10000; i++)
                    {
                       var a =userProxy.GetDictionary().Result;
                    }
                    watch.Stop();
                    Console.WriteLine($"1w次調用結束,執行時間:{watch.ElapsedMilliseconds}ms");
                    Console.ReadLine();
                } while (true);
            }).Wait();
        }

 

測試  1  object(註:測試參數傳對象)

    /// <summary>
        /// 測試
        /// </summary>
        /// <param name="serviceProxyFactory"></param>
        public static void Test(IServiceProxyFactory serviceProxyFactory)
        {
            Task.Run(async () =>
            {

                var userProxy = serviceProxyFactory.CreateProxy<IUserService>("User");
                await userProxy.GetUserId("user"); 
                do
                {
                    Console.WriteLine("正在迴圈 1w次調用 GetUser.....");
                    //1w次調用
                    var watch = Stopwatch.StartNew();
                    for (var i = 0; i < 10000; i++)
                    {
                       var a =userProxy.GetUser(new UserModel { UserId = 1 }).Result;
                    }
                    watch.Stop();
                    Console.WriteLine($"1w次調用結束,執行時間:{watch.ElapsedMilliseconds}ms");
                    Console.ReadLine();
                } while (true);
            }).Wait();
}

 測試  10  object(註:測試參數傳List 集合對象)

   /// <summary>
        /// 測試
        /// </summary>
        /// <param name="serviceProxyFactory"></param>
        public static void Test(IServiceProxyFactory serviceProxyFactory)
        {
            Task.Run(async () =>
            {
                var userProxy = serviceProxyFactory.CreateProxy<IUserService>("User");
                await userProxy.GetUserId("user");
                var list = new List<UserModel>();
                for(int i=0;i<10;i++)
                {
                    list.Add(new UserModel { UserId = 1, Age = 18, Name = "fanly" });
                }
                do
                {
                    Console.WriteLine("正在迴圈 1w次調用 GetUser.....");
                    //1w次調用
                    var watch = Stopwatch.StartNew();
                    for (var i = 0; i < 10000; i++)
                    {
                       var a =userProxy.Get(list).Result;
                    }
                    watch.Stop();
                    Console.WriteLine($"1w次調用結束,執行時間:{watch.ElapsedMilliseconds}ms");
                    Console.ReadLine();
                } while (true);
            }).Wait();
        }

 

測試100 object(註:測試參數傳List 集合對象)

    /// <summary>
        /// 測試
        /// </summary>
        /// <param name="serviceProxyFactory"></param>
        public static void Test(IServiceProxyFactory serviceProxyFactory)
        {
            Task.Run(async () =>
            {
                var userProxy = serviceProxyFactory.CreateProxy<IUserService>("User");
                await userProxy.GetUserId("user");
                var list = new List<UserModel>();
                for(int i=0;i<100;i++)
                {
                    list.Add(new UserModel { UserId = 1, Age = 18, Name = "fanly" });
                }
                do
                {
                    Console.WriteLine("正在迴圈 1w次調用 GetUser.....");
                    //1w次調用
                    var watch = Stopwatch.StartNew();
                    for (var i = 0; i < 10000; i++)
                    {
                       var a =userProxy.Get(list).Result;
                    }
                    watch.Stop();
                    Console.WriteLine($"1w次調用結束,執行時間:{watch.ElapsedMilliseconds}ms");
                    Console.ReadLine();
                } while (true);
            }).Wait();
        }

通過以上測試代碼,我們得到瞭如下的測試結果

      通過上圖,可以發現messagepack不管是小數據量還是大數據量都保持比較穩定的性能,而json.net 在100object平均已經達到了1.1ms,和messagepack、protobuffer比差太多,而 protobuffer在此次測試中表現的極其不穩定只有在1 object 和100 object 性能比較不錯,但是與messagepack比還是相差比較大。所以我建議還是使用messagepack,性能上更優,侵入性也非常低

我們來看看性能最優的messagepack 詳細測試數據

o object:

1 object:

 

 10 object:

100 object

測試環境

CPU:Intel Core i7-4710MQ

記憶體:16G

硬碟:1T SSD+512G HDD

網路:區域網

6、總結

surging 已經完成JWT驗證和AppSecret驗證,下篇文章會詳細介紹surging 身份認證,如感興趣請多關註或者加入QQ群:615562965

   


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PXE概述: PXE(Pre-bootExecution Environment),預啟動執行環境 通過網路介面啟動電腦 支持工作站通過網路從遠端伺服器下載映像,並由此支持通過網路啟動操作系統,在啟動過程中,終端要求伺服器分配IP地址,再用TFTP協議下載一個啟動軟體包到本機記憶體中執行,由這個啟動 ...
  • 查看當前系統資源限制 ulimit -a 設置用戶的最大進程數(重啟後失效) ulimit -u 1024 設置用戶可以打開的最大文件句柄數(重啟後失效) ulimit -n 65530 說明:現在阿裡雲的伺服器一般都會幫你設置好了,還有,上面的方法只是快速修改,不能永久生效,如果想永久生效,就得修 ...
  • 第1章 Rsync開篇介紹 1.1 rsync的定義 Rsync是一款開源的、快速的、多功能的、可實現全量及增量的本地或遠程數據同步備份的優秀工具。Rsync軟體適用於unix/linux/windows等多種操作系統平臺 ① 全量備份:第一次傳輸數據過程中使用全量備份,將全部數據進行傳輸覆蓋 ② ...
  • Server 2008 R2遠程桌面授權,解決120天過期問題 ...
  • 搭建MySQL 1、查看yum庫中的mysql 2、選擇需要的mysql進行安裝 3、驗證是否安裝成功 4、啟動mysql服務 5、進入mysql,並修改密碼 FLUSH PRIVILEGES; //刷新user表,如果沒有寫這句那麼就沒有用 6、退出並用剛修改過的密碼重新登錄 7、開放遠程登錄許可權 ...
  • 在網站運行中,錯誤是不可避免的,錯誤頁的產生也是不可缺少的。 這幾天看了博友的很多文章,自己想總結下我從中學到的和實際中配置的。 首先,需要知道產生錯誤頁的來源,一種是我們的.NET平臺拋出的,一種是網站所依賴的宿主拋出的,一般來講我們所依賴的宿主就是IIS了。 IIS中的錯誤頁入口: 其中的錯誤碼 ...
  • 返回總目錄 6.5Introduce Explaining Variable(引用解釋性變數) 概要 你有一個複雜的表達式。 將該複雜表達式(或其中一部分)的結果放進一個臨時變數,以此變數名稱來解釋表達式用途。 動機 有時候你會遇到一系列複雜的表達式連續運算的時候,這個時候你可能根本招架不住如此長或 ...
  • 上一篇簡單介紹了日誌的使用方法,也僅僅是用來做下學習,更何況只能在console輸出。 NLog已是日誌庫的一員大佬,使用也簡單方便,本文介紹的環境是居於.NET CORE 2.0 ,目前的版本也只有beta版。 一、安裝和配置 1.安裝 命令如下 2.創建配置文件 在web項目根目錄下,創建配置文 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...