rabbitmq+sleuth+zinkip 分散式鏈路追蹤

来源:https://www.cnblogs.com/yychuyu/archive/2020/07/16/13324532.html
-Advertisement-
Play Games

我們都知道,微服務之間通過feign傳遞,在複雜的微服務架構系統中,幾乎每一個前端請求都會形成一個複雜的分散式服務調用鏈路,在每條鏈路中任何一個依賴服務出現延遲超時或者錯誤都有可能引起整個請求最後的失敗。當業務流程足夠複雜時,一個完整的HTTP請求調用鏈一般會經過多個微服務系統,要通過日誌來跟蹤一整 ...


我們都知道,微服務之間通過feign傳遞,在複雜的微服務架構系統中,幾乎每一個前端請求都會形成一個複雜的分散式服務調用鏈路,在每條鏈路中任何一個依賴服務出現延遲超時或者錯誤都有可能引起整個請求最後的失敗。當業務流程足夠複雜時,一個完整的HTTP請求調用鏈一般會經過多個微服務系統,要通過日誌來跟蹤一整個調用鏈變得不再那麼簡單。通過sleuth可以很方便的看出每個採集請求的耗時情況,分析出哪些服務調用比較耗時,當服務調用的耗時隨著請求量的增大而增大時,可以針對業務做一些優化措施。所以我們可以通過我們可以通過Spring Cloud Sleuth來解決這個問題。這裡我們將演示如何通過Spring Cloud Sleuth來追蹤這個過程,並藉助Zipkin以圖形化界面的方式展示。 展示之前,分別介紹一下rabbitmq、sleuth、zinkip。

  1. rabbitmq

    • RabbitMQ是實現了高級消息隊列協議(AMQP)的開源消息代理軟體(亦稱面向消息的中間件)。RabbitMQ伺服器是用Erlang語言編寫的,而群集和故障轉移是構建在開放電信平臺框架上的。所有主要的編程語言均有與代理介面通訊的客戶端庫。
  2. sleuth和zinkip

    • sleuth 是spring cloud的組成部分之一,為springcloud應用實現了一種分散式追蹤解決方案,其相容了zinkip,HTrace和log-based追蹤
    • Zipkin 是一款開源的分散式實時數據追蹤系統(Distributed Tracking System),基於 Google Dapper 的論文設計而來,由 Twitter公司開發貢獻。其主要功能是聚集來自各個異構系統的實時監控數據,用來追蹤微服務架構下的系統延時問題。Zipkin 的用戶界面可以呈現一幅關聯圖表,以顯示有多少被追蹤的請求通過了每一層應用。Zipkin 以 Trace 結構表示對一次請求的追蹤,又把每個 Trace 拆分為若幹個有依賴關係的 Span。在微服務架構中,一次用戶請求可能會由後臺若幹個服務負責處理,那麼每個處理請求的服務就可以理解為一個 Span(可以包括 API 服務,緩存服務,資料庫服務以及報表服務等)。當然這個服務也可能繼續請求其他的服務,因此 Span 是一個樹形結構,以體現服務之間的調用關係。Zipkin 的用戶界面除了可以查看 Span 的依賴關係之外,還以瀑布圖的形式顯示了每個 Span 的耗時情況,可以一目瞭然的看到各個服務的性能狀況。

sleuth中的一些術語

  1. Span:基本工作單元,例如,在一個新建的span中發送一個RPC等同於發送一個回應請求給RPC,span通過一個64位ID唯一標識,trace以另一個64位ID表示,span還有其他數據信息,比如摘要、時間戳事件、關鍵值註釋(tags)、span的ID、以及進度ID(通常是IP地址) ,span在不斷的啟動和停止,同時記錄了時間信息,當你創建了一個span,你必須在未來的某個時刻停止它。
  2. Trace:一系列spans組成的一個樹狀結構,例如,如果你正在跑一個分散式工程,你可能需要創建一個trace。
  3. Annotation:用來及時記錄一個事件的存在,一些核心annotations用來定義一個請求的開始和結束
  • cs - Client Sent -客戶端發起一個請求,這個annotion描述了這個span的開始
  • sr - Server Received -服務端獲得請求並準備開始處理它,如果將其sr減去cs時間戳便可得到網路延遲
  • ss - Server Sent -註解表明請求處理的完成(當請求返回客戶端),如果ss減去sr時間戳便可得到服務端需要的處理請求時間
  • cr - Client Received -表明span的結束,客戶端成功接收到服務端的回覆,如果cr減去cs時間戳便可得到客戶端從服務端獲取回覆的所有所需時間

接下來就開始搭建
這裡cloud版本用的Greenwich.SR1,boot使用的是2.1.6

1.在pom.xml中 引入sleuth依賴

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency> 

2.模擬兩個日誌 這兩個服務之間通過feign調用,由test調用system,這裡本來有一個註冊中心,這裡就不在演示了

test模塊

@Slf4j
@RestController
public class TestController {

	@Autowired
	private IHelloService helloService;

	@GetMapping("hello")
	public String hello(String name) {
    log.info("Feign調用system的/hello服務");
    return this.helloService.hello(name);
   }
}    

在test模塊的service包下創建IHelloService

@FeignClient(value = "system",contextId = "helloServiceClient")
public interface IHelloService {
	@GetMapping("hello")
	String hello(@RequestParam("name") String name);
}

system 模塊

@Slf4j
@RestController
public class TestController {

	@GetMapping("hello")
	public String hello(String name) {
   		log.info("/hello服務被調用");
    	return "hello" + name;
	}
}

3.訪問介面 localhost:8202/test/hello?name=sleuth:會出現兩個我們自定義的日誌

啟動的時候查看test模塊產生的

2019-08-23 14:22:51.774  INFO [test,72bb0469bee07104,72bb0469bee07104,false] 22728 --- [nio-8202-exec-1] c.m.f.s.test.controller.TestController   : Feign調用system的/hello服務

啟動的時候查看system模塊產生的

2019-08-23 14:22:52.469  INFO [system,72bb0469bee07104,43597a6edded6f2e,false] 812 --- [nio-8201-exec-2] c.m.f.s.s.controller.TestController      : /hello服務被調用

可以看到,日誌里出現了[Test,72bb0469bee07104,72bb0469bee07104,false]信息,這些信息由Spring Cloud Sleuth生成,用於跟蹤微服務請求鏈路。這些信息包含了4個部分的值,它們的含義如下:

  1. system微服務的名稱,與spring.application.name對應;
  2. 72bb0469bee07104稱為Trace ID,在一條完整的請求鏈路中,這個值是固定的。觀察上面的日誌即可證實這一點;
  3. 43597a6edded6f2e稱為Span ID,它表示一個基本的工作單元;
  4. false表示是否要將該信息輸出到Zipkin等服務中來收集和展示,這裡我們還沒有集成Zipkin,所以為false。

下麵我們來整合Zipkin

在整合Zipkin之前,我們需要先搭建RabbitMQ。RabbitMQ用於收集Sleuth提供的追蹤信息,然後Zipkin Server從RabbitMQ里獲取,這樣可以提升性能。

在安裝RabbitMQ之前,需要先安裝Erlang/OTP,下載地址為:http://www.erlang.org/downloads/,下載exe文件安裝即可。
安裝完畢後,下載RabbitMQ,下載地址為 :
http://www.rabbitmq.com/install-windows.html,下載exe文件安裝即可。

安裝完RabbitMQ之後,我們到RabbitMQ安裝目錄的sbin下執行如下命令

rabbitmq-plugins enable rabbitmq_management

然後在瀏覽器中輸入http://localhost:15672,預設用戶名和密碼都是guest,登錄後可看到:

image

點擊Admin Tab頁面,新增一個用戶:

image

用戶名為febs,密碼為123456,角色為管理員。新添加的用戶還是No access狀態,需要進一步對該用戶進行授權後,方可以遠程通過該用戶名訪問。點擊該新增用戶名。進入授權頁面,點擊Set permission按鈕,進行用戶授權操作。
安裝好RabbitMQ後,我們開始整合Zipkin。在較低版本的Spring Cloud中,我們可以自己搭建Zipkin Server,現在我們只能使用官方搭建好的Zipkin Server,地址為:https://github.com/openzipkin/zipkin

在cmd視窗下運行下麵這條命令(windows下沒有curl環境的話,可以在git bash中運行這條命令),下載zipkin.jar:

curl -sSL https://zipkin.io/quickstart.sh | bash -s

如果下載速度極慢,可以複製鏈接到迅雷下載中下載,下載後重命名為zipkin.jar即可。

zipkin支持將追蹤信息保存到MySQL資料庫,所以在運行zipkin.jar之前,我們先準備好相關庫表,SQL腳本地址為:

https://github.com/openzipkin/zipkin/blob/master/zipkin-storage/mysql-v1/src/main/resources/mysql.sql。

庫表準備好後,運行下麵這條命令啟動zipkin.jar:

java -jar zipkin.jar --server.port=8402 --zipkin.storage.type=mysql --zipkin.storage.mysql.db=febs_cloud_base --zipkin.storage.mysql.username=root --zipkin.storage.mysql.password=123456 --zipkin.storage.mysql.host=localhost --zipkin.storage.mysql.port=3306 --zipkin.collector.rabbitmq.addresses=localhost:5672 --zipkin.collector.rabbitmq.username=febs --zipkin.collector.rabbitmq.password=123456

上面命令指定了資料庫鏈接和RabbitMQ鏈接信息。更多可選配置可以解壓zipkin.jar,查看zipkin\BOOT-INF\classes路徑下的zipkin-server-shared.yml配置類源碼。

啟動好zipkin.jar後,在對應模塊的pom里引入如下依賴:

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-zipkin</artifactId>
</dependency>
<dependency>
	<groupId>org.springframework.amqp</groupId>
	<artifactId>spring-rabbit</artifactId>
</dependency>

修改對應模塊的application.yml

spring:
  zipkin:
    sender:
  	  type: rabbit
  sleuth:
    sampler:
      probability: 1
  rabbitmq:
    host: localhost
    port: 5672
    username: febs
    password: 123456

spring.zipkin.sender.type指定了使用RabbitMQ收集追蹤信息;

spring.sleuth.sampler.probability預設值為0.1,即採樣率才1/10,發送10筆請求只有一筆會被採集。為了測試方便,我們可以將它設置為1,即100%採樣;

spring.rabbitmq用於配置RabbitMQ連接信息,你可能會問,為什麼剛剛RabbitMQ埠是15672,這裡卻配置為5672,是不是寫錯了呢?其實不是,15672是RabbitMQ的管理頁面埠,5672是AMPQ埠。

添加好配置後,啟動system和test模塊,發送一筆localhost:8202/test/hello?name=夏天請求後,使用瀏覽器訪問http://localhost:8402/zipkin/鏈接,然後點擊圖中所示

image

image

image

查看依賴關係:

image

查看數據表,看是否存儲了信息:

image


公眾號:良許Linux

有收穫?希望老鐵們來個三連擊,給更多的人看到這篇文章


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 問題 :最近在項目論壇中,因為要上傳自定義圖片,在做好上傳的前端處理後,在後臺使用move_uploaded_file函數,移動文件的時候,一直返回的是 false; :因為對於這類新加的前端加後臺一起寫的功能,一般是先在本地建一個demo實現,然後在加入到項目中。就在這裡,居然出現一個問題,在前端 ...
  • WPF MVVM 模式下的彈窗,包括確認框和信息提示框,MVVM 模式的用戶控制項。 ...
  • 原理:依賴oracle user_source數據字典,將腳本select出來拼成字元串。 具體實現參考隔壁大佬:https://blog.csdn.net/xiaoqiaoluanwu/article/details/48733781 有了這個轉換的函數,剩下的就是用你習慣的語言把結構select ...
  • 【翻譯】.NET 5中的性能改進 在.NET Core之前的版本中,其實已經在博客中介紹了在該版本中發現的重大性能改進。 從.NET Core 2.0到.NET Core 2.1到.NET Core 3.0的每一篇文章,發現談論越來越多的東西。 然而有趣的是,每次都想知道下一次是否有足夠的意義的改進 ...
  • 源碼下載:https://pan.baidu.com/s/1l_XNjpGrrhrx9fz0MXQHLQ 提取碼: pr8q Nuget里搜索安裝SignalR,非ASP.NET CORE版本。 1.增加Startup類 using System; using System.Threading.Ta ...
  • 上次課程我們完成了需求的梳理。 我們根據梳理的需求把菜單配好,另外我們把項目里程碑也配置在系統中,開發和管理都在系統中,形成無文檔化管理。 一、菜單配置 根據我們的歸納圖,我們先將菜單配置好。 我們遵循敏捷開發的原則,近期要開發的功能列的詳細點,遠期要開發的先不展開。 我們要開發的第一個功能是 數據 ...
  • 介面與抽象類的區別: 介面支持多繼承;抽象類不能實現多繼承。 介面可以用於支持回調;抽象類不能實現回調,因為繼承不支持。 介面只包含方法、屬性、索引器、事件的簽名,但不能定義欄位和包含實現的方法;抽象類可以定義欄位、屬性、包含有實現的方法。 介面可以作用於值類型和引用類型;抽象類只能作用於引用類型。 ...
  • 最近項目需要重新編譯libcurl 使其支持ssl,在這裡進行記錄: 下載openssl : curl -O -L https://github.com/openssl/openssl/archive/OpenSSL_1_1_1g.zip 創建安裝目錄:/opt/openssl 配置openssl動 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...