但在微服務架構中,每個微服務通常有多個實例,每個實例具有不同的位置,而且實例會動態變化,比如在負載發生變化時服務會進行擴容或縮容,或者某個實例所在的VM/Container故障後發生遷移,都會導致服務實例地址的變化。因此使用微服務架構開發的應用,必須通過服務註冊和發現技術解決此問題。 1. 簡單概述 ...
1. 簡單概述
服務註冊
服務要被使用,就需要對外提供服務的位置信息,這個位置信息通常是一個IP地址+埠。在服務只有單個實例並且地址不會動態變化的情況下,服務的位置在使用端可以通過配置文件甚至代碼等方式固定死。但在位置信息會動態發生變化的情況下,服務實例就需要將這個地址註冊到一個註冊中心。
服務的所有實例在自己可以對外提供服務後,將位置註冊到一個ServiceRegistry服務。這個服務具有固定的位置或功能變數名稱,負責保存所有服務實例的位置信息。
在使用ServiceRegistry時,服務實例要在無法提供服務時取消註冊。ServiceRegistry需要通過心跳等方式核查出無法提供服務的實例,並將實例自動取消註冊。
服務註冊有
ServiceRegistry通常會使用如etcd、zookeeper、consul,nacos 等具備分散式一致性的key/value資料庫存儲服務的註冊信息,並提供服務實例的變更通知。
註冊流程
如上圖,Service-Center中服務發現流程大致有以下幾個步驟:
-
1 服務提供者向Service-Center註冊服務信息
-
2 服務提供者發送心跳,維持在Service-Center中的“UP”狀態
-
3 服務消費者向Service-Center註冊服務信息
-
4 服務消費者從Service-Center發現服務提供者信息
-
5 服務消費者向服務提供者發送請求,並獲取通訊結果
Self Registration
優點
-
服務實例能夠更好的掌握註冊時機,僅在真正可提供服務時才註冊到ServiceRegistry
缺點:
-
所有服務都需要實現註冊和取消註冊代碼,實現複雜且與ServiceRegistry有耦合;
-
服務的實例很容易在不能提供服務時忘記取消註冊;
3rd Party Registration
優點:
-
服務實例不需要負責服務的註冊和取消註冊,實現簡單
-
第三方的服務註冊機制通常會提供健康檢查機制判斷註冊的服務實例是否可用
缺點:
-
第三方的軟體通常也需要進行部署和管理,增加了複雜度
-
第三方的服務註冊機制通常無法瞭解服務實例的實際狀態
服務發現
我們把每個服務的機器實例註冊到了註冊中心上之後,接下來,我們如何去發現我們需要調用的服務的信息呢?這就是服務發現了。
客戶端要使用服務必須通過服務發現技術獲取服務的位置信息。服務發現包括Client-Side的服務發現和Server-Side的服務發現兩種方式。
Client-Side Discovery
Client-Side Discovery
在Client-Side Discovery的設計中,服務實例的發現由Client進行,發現的方式可以是主動到ServiceRegistry查詢,也可以由ServiceRegistry通知到Client。在使用Client-Side Discovery時,Client會發現服務的所有實例,並根據LB策略選擇一個實例發起請求。
Server-Side Discovery
在Server-Side Discovery設計中,在Client和所有的服務實例間增加LoadBalance,Client只需要訪問LoadBalance,由LoadBalance負責服務的發現和負載均衡。
方案對比
不論是Client-Side還是Server-Side的服務發現,執行發現的組件(Client/LoadBalance)通常都需要引入本地緩存,並通過核查保證與ServiceRegistry的一致性。引入緩存可以避免對ServiceRegistry的頻繁交互,能夠提升性能。
Client-Side Discovery相對於Server-Side Discovery有更少的跳數,性能更優。但所有類型的客戶端都需要實現服務發現與LB演算法,客戶端的複雜度高,且與ServiceRegistry耦合。
Server-Side Discovery設計中,客戶端只需要看到LoadBalance,複雜度低;如果是基於公有雲提供服務,則公有雲提供商通常會提供現成的服務端LoadBalance。但相對Client-Side Discovery增加了一跳,對性能有一定影響;同時LoadBalance的開發、部署、運維帶來了額外的複雜度;
總結
在服務實例的位置會發生動態變化的微服務架構中,需要引入服務註冊和發現技術。
服務註冊和發現需要一個位置固定或提供了固定功能變數名稱的ServiceRegistry服務,服務發佈端通過Self-Registration或3rd Party Registration將所有的服務實例註冊到ServiceRegistry,Client或LoadBalance則通過其獲取服務實例的位置以執行負載均衡和發送服務請求。
ServiceRegistry和LoadBalance是系統中的關鍵服務,如果這兩個服務出現了異常,通常會導致系統不可用,因此它們必須具備極高的可用性。
2. Consul
中文文檔:
做服務發現的框架常用的有 zookeeper, eureka, consul,nacos 。 那麼consul是啥?consul就是提供服務發現的工具。
Consul
是HashiCorp公司推出的開源工具,Consul由Go語言開發,部署起來非常容易,只需要極少的可執行程式和配置文件,具有綠色、輕量級的特點。Consul
是分散式
的、高可用
的、 可橫向擴展
的用於實現分散式系統的服務發現與配置。
1. Consul具有哪些特點
-
服務發現(Service Discovery):
Consul
提供了通過DNS或者HTTP介面的方式來註冊服務和發現服務。一些外部的服務通過Consul很容易的找到它所依賴的服務。 -
健康檢查(Health Checking):Consul的Client可以提供任意數量的健康檢查,既可以與給定的服務相關聯(“webserver是否返回200 OK”),也可以與本地節點相關聯(“記憶體利用率是否低於90%”)。操作員可以使用這些信息來監視集群的健康狀況,服務發現組件可以使用這些信息將流量從不健康的主機路由出去。
-
Key/Value存儲:應用程式可以根據自己的需要使用Consul提供的Key/Value存儲。 Consul提供了簡單易用的HTTP介面,結合其他工具可以實現動態配置、功能標記、領袖選舉等等功能。
-
安全服務通信:Consul可以為服務生成和分發TLS證書,以建立相互的TLS連接。意圖可用於定義允許哪些服務通信。服務分割可以很容易地進行管理,其目的是可以實時更改的,而不是使用複雜的網路拓撲和靜態防火牆規則。
-
多數據中心: Consul支持開箱即用的多數據中心。這意味著Consul的用戶不必擔心建立額外的抽象層來發展到多個區域。
2. Consul 架構圖
我們來分析一下這張圖,並描述一下每一個部分。首先,我們可以看到有兩個數據中心,分別標註為 "DATACENTER1"和 "DATACENTER2"。Consul對多個數據中心有天然非常好的支持,並希望這是常見的情況。
在每個數據中心內,我們有Client和Server的混合。預計會有3到5台Server。這是在權衡故障場景下可用性和性能之間取得平衡的結果,因為隨著機器的增加,共識的速度會逐漸變慢。然而,Client的數量沒有限制,它們可以輕鬆地擴展到數千或數萬。
所有在數據中心的代理都會參與一個
-
第一,客戶端不需要配置Server的地址,發現工作是自動完成的。
-
第二,檢測代理故障的工作不放在Server上,而是分散式的。這使得故障檢測的擴展性比原生的心跳方案要強得多。同時,它還為節點提供了故障檢測,如果代理無法到達,那麼該節點可能已經發生了故障。
-
第三,它被用作消息層,當發生重要事件(如Leader 選舉)時進行通知。
每個數據中心的Server都是單一Raft對等集的一部分。這意味著它們共同選出一個單一的Leader,一個被選中的Server,它有額外的職責。Leader負責處理所有查詢和事務。事務也必須複製到所有參與
Server Agent還作為WAN(廣域網) Gossip Pool的一部分進行操作。這個池子與LAN(區域網)池不同,因為它是針對互聯網的較高延遲進行優化的,WAN池只包含其他Consul 數據中心的Sever Agent。這個池的目的是讓數據中心以低接觸的方式發現彼此。讓一個新的數據中心上線就像加入現有的WAN Gossip 池一樣簡單。因為伺服器都在這個池中運行,所以還可以實現跨數據中心的請求。當一臺Server收到一個不同數據中心的請求時,它會將其轉發到正確數據中心的隨機Server。然後該Servevr可能會轉發到本地Leader。
這導致數據中心之間的耦合度很低,但由於故障檢測、連接緩存和多路復用,跨數據中心的請求相對快速可靠。
一般情況下,不同的Consul數據中心之間不會複製數據。當對另一個數據中心的資源進行請求時,本地Consul伺服器會將該資源的RPC請求轉發給遠程Consul伺服器,並返回結果。如果遠程數據中心不可用,那麼這些資源也將不可用,但這不會以其他方式影響本地數據中心。
在一些特殊情況下,可以複製有限的數據子集,比如使用Consul內置的ACL複製功能,或者使用consul-replicate等外部工具。 在某些地方,Client Agent可能會從Server上緩存數據,使其在本地可用,以提高性能和可靠性。例如, 包括連接證書和它允許Client代理對入站連接請求做出本地決定,而無需往返Server的場景。一些API端點還支持可選的結果緩存。這有助於可靠性,因為即使與伺服器的連接中斷或伺服器暫時不可用,本地Agent仍然可以繼續從緩存中響應一些查詢,如服務發現或Connect授權。
3. 安裝Consul
安裝完 Consul 後應該運行 agent,它可以運行在服務端(server)或者客戶端(client)模式下。每個數據中心(datacenter)都至少有一個 server,推薦一個集群(cluster)至少有 3 到 5 個 server。因為在故障情況下數據丟失是不可避免的,所以強烈建議不要單機部署。
其他 agent 運行在 client 模式,它是一個輕量級進程,提供服務註冊、健康檢查和伺服器見的查詢轉發。集群的所有節點都應運行一個 agent。
windows 安裝
https://www.consul.io/downloads
-
選擇windows x64 版本(64bit)
-
進入下載好的文件夾中,打開powershell ,執行命令,啟動服務端代理
consul.exe agent -dev
-
瀏覽器輸入:http://IP:8500/出現ConsulWeb界面就表示成功了
-dev 表示開發模式,生產環境下不建議使用,因為它不會保存任何狀態
-server 生產環境下可使用
linux 安裝
-
yum 安裝 consul 環境
sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo sudo yum -y install consul
-
安裝完事後,執行命令查詢是否成功:
-
[root@yushangxue ~]# consul version Consul v1.10.3 Revision c976ffd2d Protocol 2 spoken by default, understands 2 to 3 (agent will automatically use protocol >2 when speaking to compatible agents)
執行命令,啟動服務端
consul agent -dev
-
瀏覽器輸入:http://IP:8500/出現ConsulWeb界面就表示成功了
Docker 安裝
拉取Consul鏡像
$ docker pull consul # 預設拉取latest $ docker pull consul:1.15.4 # 拉取指定版本
安裝並運行
-
docker run -d -p 8500:8500 --restart=always --name=consul consul agent -server -bootstrap -ui -node=1 -client='0.0.0.0'
agent: 表示啟動 Agent 進程。
-
server:表示啟動 Consul Server 模式
-
client:表示啟動 Consul Cilent 模式。
-
bootstrap:表示這個節點是 Server-Leader ,每個數據中心只能運行一臺伺服器。技術角度上講 Leader 是通過 Raft 演算法選舉的,但是集群第一次啟動時需要一個引導 Leader,在引導群集後,建議不要使用此標誌。
-
ui:表示啟動 Web UI 管理器,預設開放埠 8500,所以上面使用 Docker 命令把 8500 埠對外開放。
-
node:節點的名稱,集群中必須是唯一的,預設是該節點的主機名。
-
client:consul服務偵聽地址,這個地址提供HTTP、DNS、RPC等服務,預設是127.0.0.1所以不對外提供服務,如果你要對外提供服務改成0.0.0.0
-
join:表示加入到某一個集群中去。 如:-json=192.168.0.11。
4 .Net 6 中如何使用
-
安裝包:
Consul.AspNetCore 1.6.10.8
-
application.json
"Consul": { "ConsulHost": "http://localhost:8500", "ServiceName": "NetCloud.Consul.ServiceA", "ServiceIP": "localhost", "ServicePort" : 5009 }
添加Consul服務
-
public class ConsulOption { public string ConsulHost { get; set; } public string ServiceName { get; set; } public string ServiceIP { get; set; } public int ServicePort { get; set; } } public static class ServiceBuilderExtension { public static IServiceCollection AddConsulService(this IServiceCollection services,IConfiguration configuration) { var consulSection = configuration.GetSection("Consul"); services.Configure<ConsulOption>(consulSection); var consulOption = consulSection.Get<ConsulOption>(); services.AddConsul(p => { p.Address = new Uri(consulOption.ConsulHost); }); services.AddConsulServiceRegistration(p => { p.Address = consulOption.ServiceIP;// 服務綁定IP p.ID = Guid.NewGuid().ToString();// 唯一服務Id p.Name = consulOption.ServiceName; // 服務名 p.Port = consulOption.ServicePort; // 服務埠號 p.Check = new() { DeregisterCriticalServiceAfter = TimeSpan.FromSeconds(5), Interval = TimeSpan.FromSeconds(10), // 健康檢查時間間隔 HTTP = $"http://{p.Address}:{p.Port}/healthCheck/GetHealthCheck", // 健康檢查地址 Timeout = TimeSpan.FromSeconds(5) // 超時時間 }; }); return services; } } Program.cs 代碼 builder.Services.AddConsulService(builder.Configuration); 創建健康檢查控制器: [Route("[controller]")] [ApiController] public class HealthCheckController : ControllerBase { [HttpGet] public ActionResult GetHealthCheck() { Console.WriteLine($"進行心跳檢測:{DateTime.Now}"); return Ok("連接正常"); } }
-
-
citical 狀態:表示健康檢測失敗,如果在
DeregisterCriticalServiceAfter
時間還是檢測失敗,則服務會消失大家在本地測試時,一定要確保Consul 伺服器能訪問你的健康檢測地址。例如我,Consul裝在雲伺服器上,在我本機啟動時由雲伺服器無法訪問我本機,所以服務健康檢測一直失敗。把項目部署至雲伺服器上就好了
-
passing 健康檢測成功
獲取服務
ServiceB
調用 ServiceA
介面
public class HomeController:ControllerBase { private readonly IConsulClient _consulClient; public HomeController(IConsulClient consulClient) { _consulClient = consulClient; } [HttpGet] public IActionResult TestConsul() { var services = _consulClient.Catalog.Service("NetCloud.Consul.ServiceB").Result.Response; var instance = services[new Random().Next(services.Length)]; using HttpClient client = new(); string result = client.GetStringAsync($"http://{instance.ServiceAddress}:{instance.ServicePort}").Result; return Ok($"服務B結果:{result},服務A結果:測試成功"); } }
3. Nacos
官網: https://nacos.io/zh-cn/index.html
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service的首字母簡稱,一個更易於構建雲原生應用的動態服務發現、配置管理和服務管理平臺。
Nacos 致力於幫助您發現、配置和管理微服務。Nacos 提供了一組簡單易用的特性集,幫助您快速實現動態服務發現、服務配置、服務元數據及流量管理。
Nacos 幫助您更敏捷和容易地構建、交付和管理微服務平臺。 Nacos 是構建以“服務”為中心的現代應用架構 (例如微服務範式、雲原生範式) 的服務基礎設施。
Nacos 的關鍵特性包括:
-
服務發現和服務健康監測
Nacos 支持基於 DNS 和基於 RPC 的服務發現。服務提供者使用
Nacos 提供對服務的實時的健康檢查,阻止向不健康的主機或服務實例發送請求。Nacos 支持傳輸層 (PING 或 TCP)和應用層 (如 HTTP、MySQL、用戶自定義)的健康檢查。 對於複雜的雲環境和網路拓撲環境中(如 VPC、邊緣網路等)服務的健康檢查,Nacos 提供了 agent 上報模式和服務端主動檢測2種健康檢查模式。Nacos 還提供了統一的健康檢查儀錶盤,幫助您根據健康狀態管理服務的可用性及流量。
-
動態配置服務
動態配置服務可以讓您以中心化、外部化和動態化的方式管理所有環境的應用配置和服務配置。
動態配置消除了配置變更時重新部署應用和服務的需要,讓配置管理變得更加高效和敏捷。
配置中心化管理讓實現無狀態服務變得更簡單,讓服務按需彈性擴展變得更容易。
Nacos 提供了一個簡潔易用的UI (
-
動態 DNS 服務
動態 DNS 服務支持權重路由,讓您更容易地實現中間層負載均衡、更靈活的路由策略、流量控制以及數據中心內網的簡單DNS解析服務。動態DNS服務還能讓您更容易地實現以 DNS 協議為基礎的服務發現,以幫助您消除耦合到廠商私有服務發現 API 上的風險。
Nacos 提供了一些簡單的
-
服務及其元數據管理
Nacos 能讓您從微服務平臺建設的視角管理數據中心的所有服務及元數據,包括管理服務的描述、生命周期、服務的靜態依賴分析、服務的健康狀態、服務的流量管理、路由及安全策略、服務的 SLA 以及最首要的 metrics 統計數據。
Docker 安裝 Nacos
-
安裝git
yum install -y git
-
安裝docker compose
# 1. 從github上下載docker-compose二進位文件安裝 curl -L https://github.com/docker/compose/releases/download/1.27.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose # 2. 添加可執行許可權 sudo chmod +x /usr/local/bin/docker-compose # 3. 測試安裝結果 docker-compose --version # 卸載(別卸載哈) rm /usr/local/bin/docker-compose
-
Clone 項目
git clone https://github.com/nacos-group/nacos-docker.git cd nacos-docker
-
修改application.properties文件
位置:./nacos-docker/example/init.d/application.properties
主要修改以下幾個屬性:
-
db.url.0 : MySQL 連接地址
-
db.user.0:MySQL 用戶名
-
db.password.0: MySQL 密碼
-
-
創建Nacos 資料庫,用於保存Nacos中產生的數據
/******************************************/ /* 資料庫全名 = nacos_config */ /* 表名稱 = config_info */ /******************************************/ CREATE TABLE `config_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id', `data_id` varchar(255) NOT NULL COMMENT 'data_id', `group_id` varchar(255) DEFAULT NULL, `content` longtext NOT NULL COMMENT 'content', `md5` varchar(32) DEFAULT NULL COMMENT 'md5', `gmt_create` datetime NOT NULL DEFAULT '2010-05-05 00:00:00' COMMENT '創建時間', `gmt_modified` datetime NOT NULL DEFAULT '2010-05-05 00:00:00' COMMENT '修改時間', `src_user` text COMMENT 'source user', `src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip', `app_name` varchar(128) DEFAULT NULL, `tenant_id` varchar(128) DEFAULT '' COMMENT '租戶欄位', `c_desc` varchar(256) DEFAULT NULL, `c_use` varchar(64) DEFAULT NULL, `effect` varchar(64) DEFAULT NULL, `type` varchar(64) DEFAULT NULL, `c_schema` text, `encrypted_data_key` text NOT NULL COMMENT '秘鑰', PRIMARY KEY (`id`), UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`,`group_id`,`tenant_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='config_info'; /******************************************/ /* 資料庫全名 = nacos_config */ /* 表名稱 = config_info_aggr */ /******************************************/ CREATE TABLE `config_info_aggr` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id', `data_id` varchar(255) NOT NULL COMMENT 'data_id', `group_id` varchar(255) NOT NULL COMMENT 'group_id', `datum_id` varchar(255) NOT NULL COMMENT 'datum_id', `content` longtext NOT NULL COMMENT '內容', `gmt_modified` datetime NOT NULL COMMENT '修改時間', `app_name` varchar(128) DEFAULT NULL, `tenant_id` varchar(128) DEFAULT '' COMMENT '租戶欄位', PRIMARY KEY (`id`), UNIQUE KEY `uk_configinfoaggr_datagrouptenantdatum` (`data_id`,`group_id`,`tenant_id`,`datum_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='增加租戶欄位'; /******************************************/ /* 資料庫全名 = nacos_config */ /* 表名稱 = config_info_beta */ /******************************************/ CREATE TABLE `config_info_beta` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id', `data_id` varchar(255) NOT NULL COMMENT 'data_id', `group_id` varchar(128) NOT NULL COMMENT 'group_id', `app_name` varchar(128) DEFAULT NULL COMMENT 'app_name', `content` longtext NOT NULL COMMENT 'content', `beta_ips` varchar(1024) DEFAULT NULL COMMENT 'betaIps', `md5` varchar(32) DEFAULT NULL COMMENT 'md5', `gmt_create` datetime NOT NULL DEFAULT '2010-05-05 00:00:00' COMMENT '創建時間', `gmt_modified` datetime NOT NULL DEFAULT '2010-05-05 00:00:00' COMMENT '修改時間', `src_user` text COMMENT 'source user', `src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip', `tenant_id` varchar(128) DEFAULT '' COMMENT '租戶欄位', `encrypted_data_key` text NOT NULL COMMENT '秘鑰', PRIMARY KEY (`id`), UNIQUE KEY `uk_configinfobeta_datagrouptenant` (`data_id`,`group_id`,`tenant_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='config_info_beta'; /******************************************/ /* 資料庫全名 = nacos_config */ /* 表名稱 = config_info_tag */ /******************************************/ CREATE TABLE `config_info_tag` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id', `data_id` varchar(255) NOT NULL COMMENT 'data_id', `group_id` varchar(128) NOT NULL COMMENT 'group_id', `tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id', `tag_id` varchar(128) NOT NULL COMMENT 'tag_id', `app_name` varchar(128) DEFAULT NULL COMMENT 'app_name', `content` longtext NOT NULL COMMENT 'content', `md5` varchar(32) DEFAULT NULL COMMENT 'md5', `gmt_create` datetime NOT NULL DEFAULT '2010-05-05 00:00:00' COMMENT '創建時間', `gmt_modified` datetime NOT NULL DEFAULT '2010-05-05 00:00:00' COMMENT '修改時間', `src_user` text COMMENT 'source user', `src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip', PRIMARY KEY (`id`), UNIQUE KEY `uk_configinfotag_datagrouptenanttag` (`data_id`,`group_id`,`tenant_id`,`tag_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='config_info_tag'; /******************************************/ /* 資料庫全名 = nacos_config */ /* 表名稱 = config_tags_relation */ /******************************************/ CREATE TABLE `config_tags_re