淺談surging服務引擎中的rabbitmq組件和容器化部署

来源:https://www.cnblogs.com/fanliang11/archive/2018/08/28/9543267.html
-Advertisement-
Play Games

1、前言 上個星期完成了surging 的0.9.0.1 更新工作，此版本通過nuget下載引擎組件，下載後，無需通過代碼build集成，引擎會通過Sidecar模式自動掃描裝配異構組件來構建服務引擎，而這篇將介紹淺談surging服務引擎中的rabbitmq組件和容器化部署 surging源碼下載 ...


1、前言

上個星期完成了surging 的0.9.0.1 更新工作，此版本通過nuget下載引擎組件，下載後，無需通過代碼build集成，引擎會通過Sidecar模式自動掃描裝配異構組件來構建服務引擎，而這篇將介紹淺談surging服務引擎中的rabbitmq組件和容器化部署

surging源碼下載

2、Sidecar模式

　　比如現在比較火的Service Mesh， 談到Service Mesh，就不得不瞭解下Sidecar模式，Sidecar設計模式被越來越多的關註和採用，此模式之所以稱作Sidecar，是因為它類似於三輪摩托車上的挎鬥。 在此模式中，挎鬥附加到應用程式中，為應用程式提供支持性功能。挎鬥與應用程式具有相同的生命周期：與應用程式一起創建，一起停用。 挎鬥模式有時也稱為搭檔模式，這是一種分解模式。而surging 採用了Sidecar模式用來附加組件，而使用Sidecar模式有以下功能

  •     共用存儲空間

　     引擎組件部署到共用的文件目錄里，服務引擎從共用的文件目錄掃描引擎組件文件。

  •    共用組件和業務的配置文件

        針對於組件的配置文件部署到共用的文件目錄里，服務引擎從共用的文件目錄載入文件。

  •   獨立的業務服務

        針對於業務可以把依賴的組件打包部署到共用的文件目錄里，服務引擎從共用的文件目錄掃描載入，從而部署成獨立的業務服務

  •    內置多種協議

        針對於獨立部署的業務服務，內置了多種協議，提供給服務和外部程式進行調用

      模式特點

  • 隔離：讓組件都能夠關註核心問題。比如eventbus、Logger、 netty 在實現功能的同時無需關註其它組件的實現而發生的衝突；

  • 單一責任原則：每個組件都應該職責分開，而根據這一原則，職責應該是對應一個類、模塊或者介面，從而能夠獨立進行處理。

  • 內聚性/可重用性：針對組件的特性，方法可以進行重用，從而滿足組件可持續擴展。

3、基於Event Bus 的Rabbitmq組件

       surging服務引擎擴展了基於eventbus 的rabbitmq ，組件可以選擇綁定 Normal，Retry(Dead letter)，Fail ，如下圖所示。

       而針對於該組件有哪些應用場景呢？

  • 商品秒殺和搶購

        搶購/秒殺是如今很常見的一個應用場景，在高併發的流量訪問下可以將用戶放入到搶購隊列中，購買成功則銷毀消息。

  • 最終數據的一致性

       在大型業務中，系統一般由多個獨立的服務組成，在分散式調用時候把消息放入到rabbitmq 隊列中，再通過消息的冪等性來解決數據的最終一致性

  •  訂單失效處理

       在購買商品/服務生成訂單業務中，會設定支付時間，如果一直未支付，會直接關閉訂單，而這個場景可以通過死信隊列的來解決

 

示例代碼

可以通過繼承BaseIntegrationEventHandler或者IIntegrationEventHandler，再通過QueueConsumer特性進行標識，具體代碼如下

  [QueueConsumer("UserLoginDateChangeHandler",QueueConsumerMode.Normal)]
    public  class UserLoginDateChangeHandler : BaseIntegrationEventHandler<UserEvent>
    {
        private readonly IUserService _userService;
        public UserLoginDateChangeHandler()
        {
            _userService = ServiceLocator.GetService<IUserService>("User");
        }
        public override async Task Handle(UserEvent @event)
        {
            Console.WriteLine($"消費1。");
            await _userService.Update(@event.UserId, new UserModel()
            {
                Age = @event.Age,
                Name = @event.Name,
                UserId = @event.UserId
            });
            Console.WriteLine($"消費1失敗。");
            throw new Exception();
        }

        public override Task Handled(EventContext context)
        {
            Console.WriteLine($"調用{context.Count}次。類型:{context.Type}");
            var model = context.Content as UserEvent;
            return Task.CompletedTask;
        }
    }

 可以通過以下選項去更改配置

 1 "EventBus": {
 2     "EventBusConnection": "${EventBusConnection}|localhost",
 3     "EventBusUserName": "${EventBusUserName}|guest",//用戶名
 4     "EventBusPassword": "${EventBusPassword}|guest",//密碼
 5     "VirtualHost": "${VirtualHost}|/",
 6     "MessageTTL": "${MessageTTL}|30000",//消息過期時間，比如過期時間是30分鐘就是1800000
 7     "RetryCount": "${RetryCount}|1",//重試次數，這裡設置的延遲隊列，只能設置為1
 8     "FailCount": "${FailCount}|3",//處理失敗流程重試次數，如果出現異常，會進行重試
 9     "prefetchCount": "${PrefetchCount}|0",//設置均勻分配消費者消息的個數
10     "BrokerName": "${BrokerName}|surging_demo",//exchange 名稱
11     "Port": "${EventBusPort}|5672"//埠
12   }

生成綁定的隊列如下圖

通過rabbitmq管理工具，可以通過properties來查看重試次數count 等一些信息，如下圖所示

 

4、如何部署

surging 服務引擎構建鏡像部署在docker中，可以按照業務需求自定義化引擎，也可以從 docker hub中pull鏡像，可以按照如下流程從docker hub 拉取部署鏡像

如何pull鏡像

可以通過命令：

docker pull serviceengine/surging

可以指定具體的tag來拉取，比如需要拉取v0.9.0.2，執行以下命令

docker pull serviceengine/surging:v0.9.0.2

如何配置

1.鏡像可以用環境變數設置相關參數，而通過以下的預設配置文件知曉如何通過環境變數配置參數，配置的規則：${環境變數名}|預設值

{
  "Surging": {
    "Ip": "${Surging_Server_IP}|0.0.0.0",
    "WatchInterval": 30,
    "Port": "${Surging_Server_Port}|99",
    "MappingIp": "${Mapping_ip}",
    "MappingPort": "${Mapping_Port}",
    "Token": "true",
    "MaxConcurrentRequests": 20,
    "ExecutionTimeoutInMilliseconds": 30000,
    "Protocol": "${Protocol}|None", //Http、Tcp、None
    "RootPath": "${RootPath}|D:\\userapp",
    "Ports": {
      "HttpPort": "${HttpPort}|280",
      "WSPort": "${WSPort}|96"
    },
    "RequestCacheEnabled": false,
    "Packages": [
      {
        "TypeName": "EnginePartModule",
        "Using": "${UseEngineParts}|DotNettyModule;NLogModule;MessagePackModule;ConsulModule;HttpProtocolModule;WSProtocolModule;EventBusRabbitMQModule;"
      }
    ]
  }, //如果引用多個同類型的組件，需要配置Packages，如果是自定義按需引用，無需配置Packages
  "Consul": {
    "ConnectionString": "${Register_Conn}|127.0.0.1:8500", // "127.0.0.1:8500",
    "SessionTimeout": "${Register_SessionTimeout}|50",
    "RoutePath": "${Register_RoutePath}",
    "ReloadOnChange": true
  },
  "EventBus_Kafka": {
    "Servers": "${EventBusConnection}|localhost:9092",
    "MaxQueueBuffering": "${MaxQueueBuffering}|10",
    "MaxSocketBlocking": "${MaxSocketBlocking}|10",
    "EnableAutoCommit": "${EnableAutoCommit}|false",
    "LogConnectionClose": "${LogConnectionClose}|false",
    "OffsetReset": "${OffsetReset}|earliest",
    "GroupID": "${EventBusGroupID}|surgingdemo"
  },
  "EventBus": {
    "EventBusConnection": "${EventBusConnection}|localhost",
    "EventBusUserName": "${EventBusUserName}|guest",
    "EventBusPassword": "${EventBusPassword}|guest",
    "VirtualHost": "${VirtualHost}|/",
    "MessageTTL": "${MessageTTL}|30000",
    "RetryCount": "${RetryCount}|1",
    "FailCount": "${FailCount}|3",
    "BrokerName": "${BrokerName}|surging_demo",
    "Port": "${EventBusPort}|5672"
  },
  "Zookeeper": {
    "ConnectionString": "${Zookeeper_ConnectionString}|127.0.0.1:2181",
    "SessionTimeout": 50,
    "ReloadOnChange": true
  },
  "Logging": {
    "Debug": {
      "LogLevel": {
        "Default": "Information"
      }
    },
    "Console": {
      "IncludeScopes": true,
      "LogLevel": {
        "Default": "${LogLevel}|Debug"
      }
    },
    "LogLevel": {
      "Default": "${LogLevel}|Debug"
    }
  }
}

 

2.可以通過設置環境變數surgingpath和cachepath來指定自定義文件配置，比如，掛載/home/fanly 目錄，通過以下命令參數 -v /home/fanly:/home/fanly 來設定，再通過設置以下命令參數用來設定自定義文件配置

--env surgingpath=/home/fanly/configs/surgingSettings.json
--env cachepath=/home/fanly/configs/cacheSettings.json

 

如何啟動內置引擎組件

引擎可以載入多個同一類型的引擎組件，可以通過以下配置啟用哪一種引擎組件,如果是自定義的服務引擎，不需要配置以下配置，只需要按照需求引用組件

 "Packages": [
      {
        "TypeName": "EnginePartModule",
        "Using": "${UseEngineParts}|DotNettyModule;NLogModule;MessagePackModule;ConsulModule;HttpProtocolModule;WSProtocolModule;EventBusRabbitMQModule;"
      }
    ]

 

如何啟動引擎

比如 pull 的鏡像是serviceengine/surging:v0.9.0.2 ，可以按照以下命令進行啟動

docker run --name surging --env surgingpath=/home/fanly/configs/surgingSettings.json  --env cachepath=/home/fanly/configs/cacheSettings.json -v /home/fanly:/home/fanly  serviceengine/surging:v0.9.0.2

 7.總結

如有問題請到這裡提問 ，可以加入surging互相交流QQ群：542283494，引擎組件擴展溝通群：615562965


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • c/c++ 模板與STL小例子系列<二> 模板類與友元函數
    c/c++ 模板與STL小例子系列 模板類與友元函數 比如某個類是個模板類D，有個需求是需要重載D的operator實現這樣的友元需要3個必要步驟 1，在模板類D的實現代碼的上面聲明友元函數 2，在模板類D的實現代碼裡面聲明它是我的友元 3，實現友元函數 c++ include using name ...
  • Python 日誌（Log）
    日誌？ 日誌，就是用來記錄程式運行的時候都發生了什麼事。 事件按嚴重程度劃分level 事件內容： 時間 位置 事件的嚴重程度 level 內容 用 模塊實現 logging 模塊 日誌級別（level）：DEBUG Logger.setLevel() ——設置日誌器將會處理的日誌消息的最低嚴重級別 ...
  • 使用Go語言+Protobuf協議完成一個多人聊天室
    軟體環境：Goland 倉庫地址 一、目的 之前用純邏輯壘完了一個可登入登出的線上多人聊天室（代碼倉庫地址），這次學習了Protobuf協議，於是想試著更新下聊天室的版本。 主要目的是為了掌握Protobuf的使用。 二、設計思路 通過Protobuf中內置好的編碼函數，將要發送的數據進行編碼，之後 ...
  • pythonnet-網路編程(1)
    python的網路編程有不少難點，也容易忘記，最近我會陸續發出系統、完整pythonnet知識的博客，一邊複習一邊分享，感興趣的可以關註我。 話不多說，開始吧。 網路編程 目的：數據的傳輸 ISO(國際標準化組織) OSI七層模型 >網路通信的標準化流程 應用層：提供用戶服務，具體的內容由特定的程式 ...
  • C語言高精度乘法
    #include <stdio.h> void highPrecision (int N ); int a[50000] = {0, 1}, length = 1; //開闢一個大的數組，全局變數length記錄長度 int main() { int N; while( ~scanf("%d", & ...
  • 《通過C#學Proto.Actor模型》之PID
    PID對象是代表Actor對象的進程，是能過Actor.Spawn(props)獲取的；它有什麼成員呢？既然代理Actor，首先有一個ID，標識自己是誰，Actor在Spawn時可以命名這個ID，否則會自動生成。還有三種向郵箱發消息的方法，Tell()，Request()，RequestAsync(... ...
  • 第一次主導項目
    這是我第一次主導項目，沒有什麼經驗。本來項目的開發周期為十天，由於沒有什麼經驗，導致開發時間由十天變為了二十一天， 一直到今天才算是正式結束，明天交付給客戶。回想起這幾天的經過，想總總結一下。 1、在項目剛開始的時候，沒有對項目的整體有一個概念性的認識，雖然是看了需求文檔，但是需求文檔上寫的很模糊。 ...
  • ASP.NET Core 2.0集成Office Online Server（OWAS）實現辦公文檔的線上預覽與編輯（支持word\excel\ppt\pdf等格式）
    Office Online Server是微軟開發的一套基於Office實現線上文檔預覽編輯的技術框架（支持當前主流的瀏覽器，且瀏覽器上無需安裝任何插件，支持word、excel、ppt、pdf等文檔格式），其客戶端通過WebApi方式可集成到自已的應用中，支持Java、C#等語言。Office O... ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類