全鏈路追蹤 & 性能監控工具 SkyWalking 實戰

来源:https://www.cnblogs.com/tm2015/archive/2022/06/10/16363491.html
-Advertisement-
Play Games

Skywalking介紹 Skywalking是一個國產的開源框架,2015年有吳晟個人開源,2017年加入Apache孵化器,國人開源的產品,主要開發人員來自於華為,2019年4月17日Apache董事會批准SkyWalking成為頂級項目,支持Java、.Net、NodeJs等探針,數據存儲支持 ...


Skywalking介紹

Skywalking是一個國產的開源框架,2015年有吳晟個人開源,2017年加入Apache孵化器,國人開源的產品,主要開發人員來自於華為,2019年4月17日Apache董事會批准SkyWalking成為頂級項目,支持Java、.Net、NodeJs等探針,數據存儲支持Mysql、Elasticsearch等,跟Pinpoint一樣採用位元組碼註入的方式實現代碼的無侵入,探針採集數據粒度粗,但性能表現優秀,且對雲原生支持,目前增長勢頭強勁,社區活躍

使用版本

當前使用版本信息為:apache-skywalking-apm-es7-8.7.0

數據存儲方式

Skywalking預設使用的是H2,本次實戰主要使用的ElasticSearch來存儲相對應的鏈路數據。Skywalking本身還支持mysql、tidb、influxdb、postgresql等數據存儲方式

Skywalking的安裝以及使用

安裝及運行(本次安裝主要是在windows)

  1. 下載對應的二進位軟體包(apache-skywalking-apm-es7-8.7.0.tar),並且解壓到指定的文件夾下麵
  2. 涉及到的主要目錄為:bin(存放對應的命令)、config(相關的配置文件)、agent(代理jar包)
  3. 進入bin目錄直接執行目錄下對應的startup.bat即可運行Skywalking,預設是運行在8080埠;啟動成功後即可在瀏覽器輸入地址即可訪問:127.0.0.1:8080。運行界面如圖所示:image-20220610140247486
  4. 首次訪問沒有上圖相關的圖示數據,因為還未對項目進行代理做數據採集

運行SpringBoot項目,並對其進行監控

運行其要進行監控的項目,增加代理參數,代理參數如下:

java -jar -javaagent:H:\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar -DSW_AGENT_NAME=demo -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800

啟動完項目後,就可以在SkyWalking看到該項目對應的訪問數據以及對應的拓撲圖

image
image
image

採集數據持久化

  1. Skywalking預設是通過H2對採集數據進行存取的,並且沒有做相對應的持久化,相關配置在config文件夾中application.xml文件中的121行:selector: ${SW_STORAGE:H2}。為了方便以及做持久化本實戰主要將數據存放在ElasticSearch

  2. 修改數據存取方式為elasticsearch7,只需要將selector修改為對應的elasticsearch7即可:selector: ${SW_STORAGE:elasticsearch7}

  3. 配置elasticsearch:

    nameSpace: ${SW_NAMESPACE:"elasticsearch"} //一定為要和elasticsearch中的cluster_name相對應
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
    
  4. 重啟SkyWalking之後,後期採集數據就存放在了ElasticSearch中了

    註:在使用elasticsearch時需要註意其版本號,負責SkyWalking Collect將啟動失敗,本實戰其對應的版本為7.2.0

加入日誌採集

1、引入日誌採集相關的jar包:

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-trace</artifactId>
    <version>8.10.0</version>
</dependency>
<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.5.0</version>
</dependency>

2、在項目resource目錄下新建logback.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="10 seconds">
    <property name="logData" value="./logDatas" />
    <property name="appName" value="accessLog" />
    <statusListener class="ch.qos.logback.core.status.NopStatusListener" />
    <appender name="CONSOLE_OUT" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>%-15(%d{HH:mm:ss.SSS}) %msg%n</pattern>
        </layout>
    </appender>

    <appender name="LOG_DEMO" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${logData}/logDataDemo.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!-- 指定生成日誌保存地址 -->
            <fileNamePattern>${logData}/%d{yyyy-MM-dd}/${appName}-info.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>1MB</maxFileSize>
            <maxHistory>30</maxHistory>
        </rollingPolicy>

        <encoder>
            <pattern>
                %-15(%d{yyyy-MM-dd HH:mm:ss} [info]) %msg%n
            </pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <appender name="msystem-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <!-- 日誌輸出編碼 -->
        <encoder>
            <!--格式化輸出:%d表示日期,%thread表示線程名,%-5level:級別從左顯示5個字元寬度%msg:日誌消息,%n是換行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n
            </pattern>
        </encoder>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE_OUT" />
    </root>
    <!--輸出到指定日誌文件-->
    <logger name="outToFile" level="INFO" additivity="false">
        <appender-ref ref="LOG_DEMO"/>
        <appender-ref ref="msystem-log"/>
    </logger>
</configuration>

3、重新啟動對應的SpringBoot項目,然後訪問對應的路徑即可收集到相關的數據

image

也可以在其追蹤數據中查看起對應的日誌
image
image

對某個介面/端點增加性能剖析,從而找出系統瓶頸

1、增加對應的端點對應進行性能剖析(故意對log/test2方法中sleep 4秒)

@GetMapping("/test2")
public Result<ArrayList<Map<String, Object>>> test2() throws InterruptedException {
    final ArrayList<Map<String, Object>> maps = new ArrayList<>();
    Thread.sleep(4000);
    maps.add(new HashMap<String,Object>() {{
        put("name","張三");
        put("age",12);
    }});
    maps.add(new HashMap<String,Object>() {{
        put("name","李四");
        put("age",32);
    }});
    return Result.success(maps);

}

image

2、訪問起對應的地址(http://127.0.0.1:8802/demo/log/test2?name=1&age=12&sex=1),在收集期間,儘量多訪問幾次,訪問次數少有可能無法採集到

3、查看相應的分析報告,從而找出具體瓶頸

image-20220610143934987

點擊分析就會出現如下圖所示信息

image

image

通過分析可以看出耗時的主要控制器和方法,以及對應的行號

image
image

全鏈路慄子

1、上述實例中並未涉及到對應的資料庫和redis以及其他的服務交互,所以在拓撲圖中看到的數據是非常單一的

2、如果在應用中有資料庫、redis以及其他服務的調用在起拓撲圖中會清晰的看到具體的調用關係,實例如下圖:

image

3、當其中一個服務不可用時,其拓撲圖會標識某個業務為不健康的(紅色),下圖是因為手動關閉了redis的服務

image

4、介面請求異常會在相對應的追蹤頁面看到紅色標註的信息,通過點擊查看日誌可以看到報錯信息

image

image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java程式員工作中遇到最多的錯誤就是空指針異常,無論你多麼細心,一不留神就從代碼的某個地方冒出NullPointerException,真是令人頭疼。 到底怎麼避免空指針異常?看完這篇文章,可以幫助你。 1. 對象設置預設值 Object obj = new Object(); String st ...
  • 本文代碼: https://gitee.com/felord/spring-security-oauth2-tutorial/tree/wwopen/ 現在很多企業都接入了企業微信,作為私域社群工具,企業微信開放了很多API,可以打通很多自有的應用。既然是應用,那肯定需要做登錄。正好企業微信提供了企 ...
  • 變數(variable)可以理解成一塊記憶體區域,通過變數名,可以引用這塊記憶體區域,獲取裡面存儲的值。 變數名 標識符(identifier)命名有嚴格的規範。 只能由字母、數字和下劃線(_)組成。 不能以數字開頭。 長度不能超過63個字元。 不能使用關鍵字和保留字。 auto, break, cas ...
  • 1、從規範角度分析,一般是禁止使用C++的異常機制的。 2、要求所有的錯誤都應該通過錯誤值在函數間傳遞病做相應的判斷,而不應該通過異常機制進行錯誤處理。 3、編碼人員必須完全掌控自己的整個編碼過程,要有攻擊者思維,主動把握有可能出錯的環節,儘可能的分析出程式的所有異常,增強安全編碼意識。 4、使用c ...
  • ​ 1,建一個表 create table 表名( 屬性a 類型 限制, 屬性b 類型 限制 ) ​編輯 2,向表裡添加數據 insert into Tset(屬性a,屬性b) values(a的數據,b的數據) 給屬性a,屬性b添加數據 insert into Tset values(a的數據,b ...
  • 排序演算法總結 1.十大經典演算法及性能 2.具體排序演算法 1.冒泡排序 迴圈過程中比較相鄰兩個數大小,通過交換正確排位,迴圈整個數組即可完成排序 圖片演示 代碼實現Java //冒泡排序 public static Integer[] Bubble(Integer[] array){ boolean ...
  • 前言 不知道有沒有小伙伴跟我一樣,每次刷抖音都不想動手,好希望能夠有什麼東西代替我的手指,我給它一個命令,它就明白我要什麼。於 是,我利用空閑時間操作了一下,終於用Python把自動刷抖音給搞出來了,這下真的是解決了我長久以來的困擾… 工具準備 1.Python3.7.7 2.adb(Android ...
  • 我們知道 Python 有很多運算符可以進行數學運算,如果是簡單的問題還好說,但是要處理一些相對複雜的問題也要我們自己一行一行手動的來編寫嗎?答案當然不是,Python 提供了 math 模塊對一些數學運算提供了支持。 1.簡介 math 模塊提供了對 C 標准定義的數學函數的訪問,但該模塊並不支持 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...