ASP.NET Core 微服務初探[1]：服務發現之Consul

来源:https://www.cnblogs.com/RainingNight/archive/2018/12/19/servicediscovery-consul-in-asp-net-core.html
-Advertisement-
Play Games

在傳統單體架構中，由於應用動態性不強，不會頻繁的更新和發佈，也不會進行自動伸縮，我們通常將所有的服務地址都直接寫在項目的配置文件中，發生變化時，手動改一下配置文件，也不會覺得有什麼問題。但是在微服務模式下，服務會更細的拆分解耦，微服務會被頻繁的更新和發佈，根據負載情況進行動態伸縮，以及受資源調度影響 ...


在傳統單體架構中，由於應用動態性不強，不會頻繁的更新和發佈，也不會進行自動伸縮，我們通常將所有的服務地址都直接寫在項目的配置文件中，發生變化時，手動改一下配置文件，也不會覺得有什麼問題。但是在微服務模式下，服務會更細的拆分解耦，微服務會被頻繁的更新和發佈，根據負載情況進行動態伸縮，以及受資源調度影響而從一臺伺服器遷移到另一臺伺服器等等。總而言之，在微服務架構中，微服務實例的網路位置變化是一種常態，服務發現也就成了微服務中的一個至關重要的環節。

服務發現是什麼

其實，服務發現可以說自古有之，我們每天在不知不覺中就一直在使用服務發現。比如，我們在瀏覽器中輸入功能變數名稱，DNS伺服器會根據我們的功能變數名稱解析出一個Ip地址，然後去請求這個Ip來獲取我們想要的數據，又或是我們使用網路印表機的時候，首先要通過WS-Discovery或者Bonjour協議來發現並連接網路中存在的列印服務等。這都是服務發現，它可以讓我們只需說我想要什麼服務即可，而不必去關心服務提供者的具體網路位置（IP 地址、埠等）。

目前，服務發現主要分為兩種模式，客戶端模式與服務端模式，兩者的本質區別在於，客戶端是否保存服務列表信息，比如DNS就屬於服務端模式。

在客戶端模式下，如果要進行微服務調用，首先要到服務註冊中心獲取服務列表，然後使用本地的負載均衡策略選擇一個服務進行調用。

而在服務端模式下，客戶端直接向服務註冊中心發送請求，服務註冊中心再通過自身負載均衡策略對微服務進行調用後返回給客戶端。

客戶端模式相對來說比較簡單，也比較容易實現，本文就先來介紹一下基於Consul的客戶端服務發現。

Consul簡介

Consul是HashiCorp公司推出的使用go語言開發的開源工具，用於實現分散式系統的服務發現與配置，內置了服務註冊與發現框架、分佈一致性協議實現、健康檢查、Key/Value存儲、多數據中心方案，使用起來較為簡單。

Consul的安裝包僅包含一個可執行文件，部署非常方便，直接從 官網) 下載即可。

consul

如圖，可以看出Consul的集群是由N個Server，加上M個Client組成的。而不管是Server還是Client，都是Consul的一個節點，所有的服務都可以註冊到這些節點上，正是通過這些節點實現服務註冊信息的共用。

Consule的核心概念：

  • Server：表示Consul的server模式，它會把所有的信息持久化的本地，這樣遇到故障，信息是可以被保留的。

  • Client：表示consul的client模式，就是客戶端模式。在這種模式下，所有註冊到當前節點的服務會被轉發到server，本身不持久化這些信息。

  • ServerLeader：上圖那個Server下麵有LEADER標識的，表明這個Server是它們的老大，它和其它Server不一樣的是，它需要負責同步註冊的信息給其它的Server，同時也要負責各個節點的健康監測。

關於Consul集群搭建等文章非常之多，本文就不再啰嗦，簡單使用開發模式來演示，運行如下命令：

./consul agent -dev

# 輸出
==> Starting Consul agent...
==> Consul agent running!
           Version: 'v1.4.0'
           Node ID: '21ec5df7-f11d-3a4e-ad1b-5ca445f8149b'
         Node name: 'Cosmos'
        Datacenter: 'dc1' (Segment: '<all>')
            Server: true (Bootstrap: false)
       Client Addr: [127.0.0.1] (HTTP: 8500, HTTPS: -1, gRPC: 8502, DNS: 8600)
      Cluster Addr: 127.0.0.1 (LAN: 8301, WAN: 8302)
           Encrypt: Gossip: false, TLS-Outgoing: false, TLS-Incoming: false

如上，可以看到Consul預設的幾個埠，如8500是客戶端基於Http調用的，也是我們最常用的，另外再補充一下常用的幾個參數的含義：

  • -dev：創建一個開發環境下的server節點，不會有任何持久化操作，不建議在生產環境中使用。
  • -bootstrap-expect：該命令通知consul server準備加入的server節點個數，延遲日誌複製的啟動，直到指定數量的server節點成功的加入後才啟動。
  • -client: 用於客戶端通過RPC, DNS, HTTP 或 HTTPS訪問，預設127.0.0.1。
  • -bind: 用於集群間通信，預設0.0.0.0。
  • -advertise: 通告地址，通告給集群中其他節點，預設使用 -bind 地址。

註冊服務

我們首先創建一個ASP.NET Core WebAPI程式，命名為ServiceA。

然後引入Cosnul的官方Nuge包：

dotnet add package Consul

Consul包中提供了一個IConsulClient類，我們可以通過它來調用Consul進行服務的註冊，以及發現等。

首先在Startup的ConfigureServices方法中來配置IConsulClient到ASP.NET Core的依賴註入系統中：

services.AddSingleton<IConsulClient, ConsulClient>(p => new ConsulClient(consulConfig =>
{
    consulConfig.Address = new Uri("http://localhost:8500");
}));

我們需要在服務啟動的時候，將自身的地址等信息註冊到Consul中，併在服務關閉的時候從Consul撤銷。這種行為就非常適合使用 IHostedService 來實現。

1.啟動時註冊服務：

public async Task StartAsync(CancellationToken cancellationToken)
{
    _cts = CancellationTokenSource.CreateLinkedTokenSource(cancellationToken);

    var features = _server.Features;
    var address = features.Get<IServerAddressesFeature>().Addresses.First();
    var uri = new Uri(address);

    _serviceId = "Service-v1-" + Dns.GetHostName() + "-" + uri.Authority;

    var registration = new AgentServiceRegistration()
    {
        ID = _serviceId,
        Name = "Service",
        Address = uri.Host,
        Port = uri.Port,
        Tags = new[] { "api" }
    };

    // 首先移除服務，避免重覆註冊
    await _consulClient.Agent.ServiceDeregister(registration.ID, _cts.Token);
    await _consulClient.Agent.ServiceRegister(registration, _cts.Token);
}

這裡要註意的是，我們需要保證_serviceId對於同一個實例的唯一，避免重覆性的註冊。

2.關閉時撤銷服務：

public async Task StopAsync(CancellationToken cancellationToken)
{
    _cts.Cancel();
    await _consulClient.Agent.ServiceDeregister(_serviceId, cancellationToken);
}

我們可以複製一份ServiceA的代碼，命名為ServiceB，修改一下埠，分別為5001和5002，運行後，打開Consul的管理UI http://localhost:8500：

consul-healthy

如果我們關閉其中一個服務的，會調用StopAsync方法，撤銷其註冊的服務，然後刷新瀏覽器，可以看到只剩下一個節點了。

Consul是支持健康檢查，我們可以在註冊服務的時候指定健康檢查地址，修改上面AgentServiceRegistration中的信息如下：

var registration = new AgentServiceRegistration()
{
    ID = _serviceId,
    Name = "Service",
    Address = uri.Host,
    Port = uri.Port,
    Tags = new[] { "api" }
    Check = new AgentServiceCheck()
    {
        // 心跳地址
        HTTP = $"{uri.Scheme}://{uri.Host}:{uri.Port}/healthz",
        // 超時時間
        Timeout = TimeSpan.FromSeconds(2),
        // 檢查間隔
        Interval = TimeSpan.FromSeconds(10)
    }
};

對於上面的healthz地址，我使用了ASP.NET Core 2.2中自帶的健康檢查，它需要在Startup中添加如下配置：

public void ConfigureServices(IServiceCollection services)
{
    services.AddHealthChecks();
}

public void Configure(IApplicationBuilder app)
{
    app.UseHealthChecks("/healthz");
}

關於健康檢查更詳細的介紹可以查看：ASP.NET Core 2.2.0-preview1: Healthchecks。

現在，我們重新運作這兩個服務，等待註冊成功後，使用任務管理器殺掉其中的一個進程（阻止StopAsync的執行），可以看到Consul會將其移動到不健康的節點，顯示如下：

consul-unhealthy

發現服務

現在來看看服務消費者如何從Consul來獲取可用的服務列表。

我們創建一個ConsoleApp，做為服務的調用端，添加ConsulNuget包,然後，創建一個ConsulServiceProvider類，實現如下：

public class ConsulServiceProvider : IServiceDiscoveryProvider
{
    public async Task<List<string>> GetServicesAsync()
    {
        var consuleClient = new ConsulClient(consulConfig =>
        {
            consulConfig.Address = new Uri("http://localhost:8500");
        });
        var queryResult = await consuleClient.Health.Service("Service", string.Empty, true);
        var result = new List<string>();
        foreach (var serviceEntry in queryResult.Response)
        {
            result.Add(serviceEntry.Service.Address + ":" + serviceEntry.Service.Port);
        }
        return result;
    }
}

如上，我們創建一個ConsulClient實例，直接調用consuleClient.Health.Service就可以獲取到可用的服務列表了，然後使用HttpClient就可以發起對服務的調用。

但我們需要思考一個問題，我們什麼時候從Consul獲取服務呢？

最為簡單的便是在每次調用服務時，都先從Consul來獲取一下服務列表，這樣做的好處是我們得到的服務列表是最新的，能及時獲取到新註冊的服務以及過濾掉掛掉的服務。但是這樣每次請求都增加了一次對Consul的調用，對性能有稍微的損耗，不過我們可以在每個調用端的機器上都部署一個Consul Agent，這樣對性能的影響就微乎其微了。

另外一種方式，可以在調用端做服務列表的本地緩存，並定時與Consul同步，具體實現如下：

public class PollingConsulServiceProvider : IServiceDiscoveryProvider
{
    private List<string> _services = new List<string>();
    private bool _polling;

    public PollingConsulServiceProvider()
    {
        var _timer = new Timer(async _ =>
        {
            if (_polling) return;

            _polling = true;
            await Poll();
            _polling = false;

        }, null, 0, 1000);
    }

    public async Task<List<string>> GetServicesAsync()
    {
        if (_services.Count == 0) await Poll();
        return _services;
    }

    private async Task Poll()
    {
        _services = await new ConsulServiceProvider().GetServicesAsync();
    }
}

其實現也非常簡單，通過一個Timer來定時從Consul拉取最新的服務列表。

現在我們獲取到服務列表了，還需要設計一種負載均衡機制，來實現服務調用的最優化。

負載均衡

如何將不同的用戶的流量分發到不同的伺服器上面呢，早期的方法是使用DNS做負載，通過給客戶端解析不同的IP地址，讓客戶端的流量直接到達各個伺服器。但是這種方法有一個很大的缺點就是延時性問題，在做出調度策略改變以後，由於DNS各級節點的緩存並不會及時的在客戶端生效，而且DNS負載的調度策略比較簡單，無法滿足業務需求，因此就出現了負載均衡器。

常見的負載均衡演算法有如下幾種：

  • 隨機演算法：每次從服務列表中隨機選取一個伺服器。

  • 輪詢及加權輪詢：按順序依次調用服務列表中的伺服器，也可以指定一個加權值，來增加某個伺服器的調用次數。

  • 最小連接：記錄每個伺服器的連接數，每次選取連接數最少的伺服器。

  • 哈希演算法：分為普通哈希與一致性哈希等。

  • IP地址散列：通過調用端Ip地址的散列，將來自同一調用端的分組統一轉發到相同伺服器的演算法。

  • URL散列：通過管理調用端請求URL信息的散列，將發送至相同URL的請求轉發至同一伺服器的演算法。

本文中簡單模擬前兩種來介紹一下。

隨機均衡

隨機均衡是最為簡單粗暴的方式，我們只需根據伺服器數量生成一個隨機數即可：

public class RandomLoadBalancer : ILoadBalancer
{
    private readonly IServiceDiscoveryProvider _sdProvider;

    public RandomLoadBalancer(IServiceDiscoveryProvider sdProvider)
    {
        _sdProvider = sdProvider;
    }

    private Random _random = new Random();

    public async Task<string> GetServiceAsync()
    {
        var services = await _sdProvider.GetServicesAsync();
        return services[_random.Next(services.Count)];
    }
}

其中IServiceDiscoveryProvider是上文介紹的Consule服務提供者者，定義如下：

public interface IServiceDiscoveryProvider
{
    Task<List<string>> GetServicesAsync();
}

而ILoadBalancer的定義如下：

public interface ILoadBalancer
{
    Task<string> GetServiceAsync();
}

輪詢均衡

再來看一下最簡單的輪詢實現：

public class RoundRobinLoadBalancer : ILoadBalancer
{
    private readonly IServiceDiscoveryProvider _sdProvider;

    public RoundRobinLoadBalancer(IServiceDiscoveryProvider sdProvider)
    {
        _sdProvider = sdProvider;
    }

    private readonly object _lock = new object();
    private int _index = 0;

    public async Task<string> GetServiceAsync()
    {
        var services = await _sdProvider.GetServicesAsync();
        lock (_lock)
        {
            if (_index >= services.Count)
            {
                _index = 0;
            }
            return services[_index++];
        }
    }
}

如上，使用lock控制併發，每次請求，移動一下服務索引。

最後，便可以直接使用HttpClient來完成服務的調用了：

var client = new HttpClient();
ILoadBalancer balancer = new RoundRobinLoadBalancer(new PollingConsulServiceProvider());

// 使用輪詢演算法調用
for (int i = 0; i < 10; i++)
{
    var service = await balancer.GetServiceAsync();
    Console.WriteLine(DateTime.Now.ToString() + "-RoundRobin:" +
        await client.GetStringAsync("http://" + service + "/api/values") + " --> " + "Request from " + service);
}

// 使用隨機演算法調用
balancer = new RandomLoadBalancer(new PollingConsulServiceProvider());
for (int i = 0; i < 10; i++)
{
    var service = await balancer.GetServiceAsync();
    Console.WriteLine(DateTime.Now.ToString() + "-Random:" +
        await client.GetStringAsync("http://" + service + "/api/values") + " --> " + "Request from " + service);
}

總結

本文從服務註冊，到服務發現，再到負載均衡，演示了一個最簡單的服務間調用的流程。看起來還不錯，但是還有一個很嚴重的問題，就是當我們獲取到服務列表時，服務都還是健康的，但是在我們發起請求中，服務突然掛了，這會導致調用端的異常。那麼能不能在某一個服務調用失敗時，自動切換到下一個服務進行調用呢？下一章就來介紹一下熔斷降級，完美的解決了服務調用失敗以及重試的問題。

附本文源碼地址：https://github.com/RainingNight/AspNetCoreSample/tree/master/src/Microservice/ServiceDiscovery/ConsulDemo

參考資料


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Asp.Net Core 輕鬆學-在.Net Core 使用緩存和配置依賴策略
    幾乎在所有的應用程式中，緩存都是一個永恆的話題，恰當的使用緩存可以有效提高應用程式的性能；在某些業務場景下，使用緩存依賴會有很好的體驗；在 Asp.Net Core 中，支持了多種緩存組件，下麵要介紹的內容就是基於 IMemoryCache 的緩存依賴。 ...
  • .NET Core實戰項目之CMS 第十二章 開發篇-Dapper封裝GURD及倉儲代碼生成器實現
    本篇我將帶著大家一起來對Dapper進行下封裝並實現基本的增刪改查、分頁操作的同步非同步方法的實現（已實現MSSQL，MySql，PgSQL）。同時我們再實現一下倉儲層的代碼生成器，這樣的話，我們只需要結合業務來實現具體的業務部分的代碼就可以了，可以大大減少我們重覆而又繁瑣的增刪改查操作，多留點時間給 ...
  • ASP.NET Core 使用 SQLite 教程，EF SQLite教程，修改模型更新資料庫，適合初學者看懂詳細、簡單教程
    SQLIte 操作方便，簡單小巧，這裡筆者就不再過多介紹，感興趣可以到以下博文 https://blog.csdn.net/qq_31930499/article/details/80420246 文章介紹創建ASP.NET Core 程式，創建模型、上下文，生成資料庫，對資料庫增刪查改。 並對每個 ...
  • .net Aspose.pdf 轉html 去除版權
    時光偷走的，永遠都是我們眼皮底下看不見的珍貴。 1、 資源文件 a) Aspose.pdf.18.12.0.nupkg 鏈接：https://pan.baidu.com/s/171_OWOfI5BqYky5JvC06aw 提取碼：vpxi b) Aspose官網下載比較慢，未知原因 c) nuget ...
  • HttpClient的幫助類
    /// /// http請求類 /// public class HttpHelper { private HttpClient _httpClient; private string _baseIPAddress; /// 請求的基礎IP，例如：http://192.168.0.33:80... ...
  • ASP.NET MVC高亮顯示當前頁面菜單
    1、創建MvcHtmlExtension擴展類 2、前臺cshtml使用 作者：Tommy出處：https://www.cnblogs.com/XL-Tommy/本文版權歸作者和博客園所有，歡迎轉載，轉載請標明出處。 如果您覺得本篇博文對您有所收穫，覺得還算用心，請點擊右下角的 [推薦]，謝謝！ ...
  • Docker + .NET Core(二)
    前言： 環境：centos7.5 64 位 正文： 首先我們在宿主機上安裝 .NET Core SDK 安裝好之後，創建一個 .NET Core MVC的項目： 這個時候可能會報錯,我一開始以為是IPV6的問題，後來發現並不是 ![avatar][NETCore1] 加一句這個就可以了 ![avat ...
  • asp.net core 登錄身份認證（Cookie）
    asp.net core 2最簡單的登錄功能 源代碼在此 創建asp.net core Web Mvc項目 配置下選項 項目目錄結構 在Models文件夾下新建兩個實體類 在項目文件夾下新建Data文件夾，新建DbContext類 在Startup.cs文件中的ConfigureServices下添 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類