全鏈路追蹤 & 性能監控工具 SkyWalking 實戰

来源:https://www.cnblogs.com/tm2015/archive/2022/06/10/16363491.html
-Advertisement-
Play Games

Skywalking介紹 Skywalking是一個國產的開源框架,2015年有吳晟個人開源,2017年加入Apache孵化器,國人開源的產品,主要開發人員來自於華為,2019年4月17日Apache董事會批准SkyWalking成為頂級項目,支持Java、.Net、NodeJs等探針,數據存儲支持 ...


Skywalking介紹

Skywalking是一個國產的開源框架,2015年有吳晟個人開源,2017年加入Apache孵化器,國人開源的產品,主要開發人員來自於華為,2019年4月17日Apache董事會批准SkyWalking成為頂級項目,支持Java、.Net、NodeJs等探針,數據存儲支持Mysql、Elasticsearch等,跟Pinpoint一樣採用位元組碼註入的方式實現代碼的無侵入,探針採集數據粒度粗,但性能表現優秀,且對雲原生支持,目前增長勢頭強勁,社區活躍

使用版本

當前使用版本信息為:apache-skywalking-apm-es7-8.7.0

數據存儲方式

Skywalking預設使用的是H2,本次實戰主要使用的ElasticSearch來存儲相對應的鏈路數據。Skywalking本身還支持mysql、tidb、influxdb、postgresql等數據存儲方式

Skywalking的安裝以及使用

安裝及運行(本次安裝主要是在windows)

  1. 下載對應的二進位軟體包(apache-skywalking-apm-es7-8.7.0.tar),並且解壓到指定的文件夾下麵
  2. 涉及到的主要目錄為:bin(存放對應的命令)、config(相關的配置文件)、agent(代理jar包)
  3. 進入bin目錄直接執行目錄下對應的startup.bat即可運行Skywalking,預設是運行在8080埠;啟動成功後即可在瀏覽器輸入地址即可訪問:127.0.0.1:8080。運行界面如圖所示:image-20220610140247486
  4. 首次訪問沒有上圖相關的圖示數據,因為還未對項目進行代理做數據採集

運行SpringBoot項目,並對其進行監控

運行其要進行監控的項目,增加代理參數,代理參數如下:

java -jar -javaagent:H:\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar -DSW_AGENT_NAME=demo -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800

啟動完項目後,就可以在SkyWalking看到該項目對應的訪問數據以及對應的拓撲圖

image
image
image

採集數據持久化

  1. Skywalking預設是通過H2對採集數據進行存取的,並且沒有做相對應的持久化,相關配置在config文件夾中application.xml文件中的121行:selector: ${SW_STORAGE:H2}。為了方便以及做持久化本實戰主要將數據存放在ElasticSearch

  2. 修改數據存取方式為elasticsearch7,只需要將selector修改為對應的elasticsearch7即可:selector: ${SW_STORAGE:elasticsearch7}

  3. 配置elasticsearch:

    nameSpace: ${SW_NAMESPACE:"elasticsearch"} //一定為要和elasticsearch中的cluster_name相對應
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
    
  4. 重啟SkyWalking之後,後期採集數據就存放在了ElasticSearch中了

    註:在使用elasticsearch時需要註意其版本號,負責SkyWalking Collect將啟動失敗,本實戰其對應的版本為7.2.0

加入日誌採集

1、引入日誌採集相關的jar包:

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-trace</artifactId>
    <version>8.10.0</version>
</dependency>
<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.5.0</version>
</dependency>

2、在項目resource目錄下新建logback.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="10 seconds">
    <property name="logData" value="./logDatas" />
    <property name="appName" value="accessLog" />
    <statusListener class="ch.qos.logback.core.status.NopStatusListener" />
    <appender name="CONSOLE_OUT" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>%-15(%d{HH:mm:ss.SSS}) %msg%n</pattern>
        </layout>
    </appender>

    <appender name="LOG_DEMO" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${logData}/logDataDemo.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!-- 指定生成日誌保存地址 -->
            <fileNamePattern>${logData}/%d{yyyy-MM-dd}/${appName}-info.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>1MB</maxFileSize>
            <maxHistory>30</maxHistory>
        </rollingPolicy>

        <encoder>
            <pattern>
                %-15(%d{yyyy-MM-dd HH:mm:ss} [info]) %msg%n
            </pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <appender name="msystem-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <!-- 日誌輸出編碼 -->
        <encoder>
            <!--格式化輸出:%d表示日期,%thread表示線程名,%-5level:級別從左顯示5個字元寬度%msg:日誌消息,%n是換行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n
            </pattern>
        </encoder>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE_OUT" />
    </root>
    <!--輸出到指定日誌文件-->
    <logger name="outToFile" level="INFO" additivity="false">
        <appender-ref ref="LOG_DEMO"/>
        <appender-ref ref="msystem-log"/>
    </logger>
</configuration>

3、重新啟動對應的SpringBoot項目,然後訪問對應的路徑即可收集到相關的數據

image

也可以在其追蹤數據中查看起對應的日誌
image
image

對某個介面/端點增加性能剖析,從而找出系統瓶頸

1、增加對應的端點對應進行性能剖析(故意對log/test2方法中sleep 4秒)

@GetMapping("/test2")
public Result<ArrayList<Map<String, Object>>> test2() throws InterruptedException {
    final ArrayList<Map<String, Object>> maps = new ArrayList<>();
    Thread.sleep(4000);
    maps.add(new HashMap<String,Object>() {{
        put("name","張三");
        put("age",12);
    }});
    maps.add(new HashMap<String,Object>() {{
        put("name","李四");
        put("age",32);
    }});
    return Result.success(maps);

}

image

2、訪問起對應的地址(http://127.0.0.1:8802/demo/log/test2?name=1&age=12&sex=1),在收集期間,儘量多訪問幾次,訪問次數少有可能無法採集到

3、查看相應的分析報告,從而找出具體瓶頸

image-20220610143934987

點擊分析就會出現如下圖所示信息

image

image

通過分析可以看出耗時的主要控制器和方法,以及對應的行號

image
image

全鏈路慄子

1、上述實例中並未涉及到對應的資料庫和redis以及其他的服務交互,所以在拓撲圖中看到的數據是非常單一的

2、如果在應用中有資料庫、redis以及其他服務的調用在起拓撲圖中會清晰的看到具體的調用關係,實例如下圖:

image

3、當其中一個服務不可用時,其拓撲圖會標識某個業務為不健康的(紅色),下圖是因為手動關閉了redis的服務

image

4、介面請求異常會在相對應的追蹤頁面看到紅色標註的信息,通過點擊查看日誌可以看到報錯信息

image

image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java程式員工作中遇到最多的錯誤就是空指針異常,無論你多麼細心,一不留神就從代碼的某個地方冒出NullPointerException,真是令人頭疼。 到底怎麼避免空指針異常?看完這篇文章,可以幫助你。 1. 對象設置預設值 Object obj = new Object(); String st ...
  • 本文代碼: https://gitee.com/felord/spring-security-oauth2-tutorial/tree/wwopen/ 現在很多企業都接入了企業微信,作為私域社群工具,企業微信開放了很多API,可以打通很多自有的應用。既然是應用,那肯定需要做登錄。正好企業微信提供了企 ...
  • 變數(variable)可以理解成一塊記憶體區域,通過變數名,可以引用這塊記憶體區域,獲取裡面存儲的值。 變數名 標識符(identifier)命名有嚴格的規範。 只能由字母、數字和下劃線(_)組成。 不能以數字開頭。 長度不能超過63個字元。 不能使用關鍵字和保留字。 auto, break, cas ...
  • 1、從規範角度分析,一般是禁止使用C++的異常機制的。 2、要求所有的錯誤都應該通過錯誤值在函數間傳遞病做相應的判斷,而不應該通過異常機制進行錯誤處理。 3、編碼人員必須完全掌控自己的整個編碼過程,要有攻擊者思維,主動把握有可能出錯的環節,儘可能的分析出程式的所有異常,增強安全編碼意識。 4、使用c ...
  • ​ 1,建一個表 create table 表名( 屬性a 類型 限制, 屬性b 類型 限制 ) ​編輯 2,向表裡添加數據 insert into Tset(屬性a,屬性b) values(a的數據,b的數據) 給屬性a,屬性b添加數據 insert into Tset values(a的數據,b ...
  • 排序演算法總結 1.十大經典演算法及性能 2.具體排序演算法 1.冒泡排序 迴圈過程中比較相鄰兩個數大小,通過交換正確排位,迴圈整個數組即可完成排序 圖片演示 代碼實現Java //冒泡排序 public static Integer[] Bubble(Integer[] array){ boolean ...
  • 前言 不知道有沒有小伙伴跟我一樣,每次刷抖音都不想動手,好希望能夠有什麼東西代替我的手指,我給它一個命令,它就明白我要什麼。於 是,我利用空閑時間操作了一下,終於用Python把自動刷抖音給搞出來了,這下真的是解決了我長久以來的困擾… 工具準備 1.Python3.7.7 2.adb(Android ...
  • 我們知道 Python 有很多運算符可以進行數學運算,如果是簡單的問題還好說,但是要處理一些相對複雜的問題也要我們自己一行一行手動的來編寫嗎?答案當然不是,Python 提供了 math 模塊對一些數學運算提供了支持。 1.簡介 math 模塊提供了對 C 標准定義的數學函數的訪問,但該模塊並不支持 ...
一周排行
    -Advertisement-
    Play Games
  • GoF之工廠模式 @目錄GoF之工廠模式每博一文案1. 簡單說明“23種設計模式”1.2 介紹工廠模式的三種形態1.3 簡單工廠模式(靜態工廠模式)1.3.1 簡單工廠模式的優缺點:1.4 工廠方法模式1.4.1 工廠方法模式的優缺點:1.5 抽象工廠模式1.6 抽象工廠模式的優缺點:2. 總結:3 ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說,下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫,因此mysql數據發生改變時,Elasticsearch也必須跟著改變,這個就是Elasticsearch與my ...
  • 引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據,今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫,旨在最大程度地減少單元測試中的“安排(Arrange)”階段,以提高 ...
  • 經過前面幾個部分學習,相信學過的同學已經能夠掌握 .NET Emit 這種中間語言,並能使得它來編寫一些應用,以提高程式的性能。隨著 IL 指令篇的結束,本系列也已經接近尾聲,在這接近結束的最後,會提供幾個可供直接使用的示例,以供大伙分析或使用在項目中。 ...
  • 當從不同來源導入Excel數據時,可能存在重覆的記錄。為了確保數據的準確性,通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間,而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟: 1. 首先安裝免費.NET ...
  • C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式,使程式更加健壯和可靠。 異常處理的基本概念: 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • 優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解,包括JDK和第三方庫。 我花了很多時間來學習API,尤其是在閱讀了Effective Java 3rd Edition之後 ,Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發,而不是為常見的東西編 ...
  • 框架 · 使用laravel框架,原因:tp的框架路由和orm沒有laravel好用 · 使用強制路由,方便介面多時,分多版本,分文件夾等操作 介面 · 介面開發註意欄位類型,欄位是int,查詢成功失敗都要返回int(對接java等強類型語言方便) · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵,火星子都快出來了。司機跟那同事更熟一些,連我在內一共就三個人,同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了,馬上聽出來了,為那個無辜的企業經辦人辯護,實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責, ...