給日誌打標簽,讓你的日誌定位再無困難

来源:https://www.cnblogs.com/bryan31/archive/2020/07/18/13336954.html
-Advertisement-
Play Games

背景 不知道各位在生產日誌中定位問題時有沒有碰到這樣的場景:由於coding的時候日誌輸出的比較少,出現問題時,很難通過日誌去定位到問題。又或者是,你明明coding的時候有輸出日誌。但是在龐大的日誌文件中,由於業務線程併發比較多,你輸出的日誌又沒有加關鍵信息。你也很難定位到你所需要的日誌信息。 之 ...


背景

不知道各位在生產日誌中定位問題時有沒有碰到這樣的場景:由於coding的時候日誌輸出的比較少,出現問題時,很難通過日誌去定位到問題。又或者是,你明明coding的時候有輸出日誌。但是在龐大的日誌文件中,由於業務線程併發比較多,你輸出的日誌又沒有加關鍵信息。你也很難定位到你所需要的日誌信息。


之前在公司里寫業務代碼時,為了使每個RPC調用能被日誌記錄下來,我們在公司基礎組件里定義了一個切麵,攔截所有的RPC調用,方法開始之前,在日誌里輸出調用的服務和方法以及參數,方法結束時輸出方法的耗時。我相信很多人也是這麼做的。


這樣一來 ,所有的調用都能通過參數里的關鍵信息被搜索到。也能定位到調用是什麼結束的以及耗時。


但是在有些業務方法中,也打上了很多的業務日誌。由於核心業務的tps和qps很高,日誌是互相穿插的。如果你的日誌沒有打上關鍵的業務信息(比如訂單號,業務ID),那就很難在日誌中被定位出來。


也許有些童鞋會說,用線程號呀。通過搜索業務ID定位到調用開始的地方,再搜索這條線程的線程號,就可以定位整個請求的所有日誌。其實之前我也是這麼乾的,但是線程一般都是由線程池進行管理的,在tps很高的業務中,同一個線程號有可能短時間會出現多次,但是卻是不同的請求。而且業務方法中可能也會有非同步線程,導致了線程號會變。這樣對於定位日誌就又增加了難度。當然最後可以通過對時間戳的分析,還是可以定位到具體日誌。但是這樣就增加了定位的時間成本。


如果你的公司對微服務使用了分散式追蹤,那麼定位日誌可以通過traceId來解決。如果沒有在生產上應用分散式追蹤,又想在併發比較高的應用的日誌上快速定位到所需要的日誌。其中一個比較有效的辦法就是:規範日誌的輸出格式


在每行日誌輸出時儘可能的加上關鍵的業務信息,然後定位起來就比較清晰了,例如:


file


這裡每一行日誌都加上了訂單號和請求ID,我們把這樣的日誌頭信息稱之為日誌標簽,有了這些標簽定位起來就比較容易了。


那這樣是不是意味著每寫一行日誌,都必須加上這樣日誌標簽信息呢?這是不是也麻煩了?


答案是不用的。


推薦一款自動給日誌打標簽實現精確定位的日誌切麵框架,你使用了這個,你的日誌可以實現自定義的業務標簽!


點擊Aspect-log跳轉到開源主頁,或者複製以下地址:

https://gitee.com/bryan31/aspect-log

file

Aspect-log介紹

這是一款小巧,輕量級,對業務幾乎無侵入的日誌切麵框架。特性為:

  • 使用簡單,不侵入業務代碼。只需要在方法上配置標註
  • 支持log4j,logback,log4j2三種常見的日誌框架
  • 配置極其簡單。提供“一鍵配置”,自動識別日誌框架
  • 在方法上配置,無論調用多深或者非同步調用。也可以統一加上日誌標簽
  • 無性能損耗

使用方法很簡單,如果你是springboot,aspect-log提供了自動裝配,GAV為:

<dependency>
  <groupId>com.yomahub</groupId>
  <artifactId>aspect-log-spring-boot-starter</artifactId>
  <version>1.2</version>
</dependency>

如果你是spring,GAV為:

<dependency>
  <groupId>com.yomahub</groupId>
  <artifactId>aspect-log-core</artifactId>
  <version>1.2</version>
</dependency>


配置方式

如果你使用spring,需要在項目里的application.xml里定義:

<bean class="com.yomahub.aspectlog.aop.AspectLogAop"/>

如果你使用springboot,AspectLog切麵會自動裝配好。

一鍵配置方法

這種方式用javassit實現,只需要一句話就可以實現。自動識別當前主流的日誌框架。

@SpringBootApplication
public class Runner {

    static {AspectLogEnhance.enhance();}//進行日誌增強,自動判斷日誌框架

    public static void main(String[] args) {
        try {
            SpringApplication.run(Runner.class, args);
        } catch (Throwable e) {
            e.printStackTrace();
        }
        while (true) {
            try {
                Thread.sleep(60000);
            } catch (Throwable e) {
                e.printStackTrace();
            }
        }
    }
}

針對於主流的Log日誌框架作了適配(推薦用這種)

針對於每種Log日誌框架提供了適配,具體使用方法請參照項目主頁里的文檔。



如何使用

接下來在你的方法上加上@AspectLog標註,簡單的例子如下:

@AspectLog({"id"})
public void demo1(String id,String name){
  log.info("這是第一條日誌");
  log.info("這是第二條日誌");
  log.info("這是第三條日誌");
  new Thread(() -> log.info("這是非同步日誌")).start();
}

假設id的值為'NO1234',日誌打出來的樣子如下:

2020-02-08 20:22:33.945 [main] INFO  Demo - [NO1234] 這是第一條日誌
2020-02-08 20:22:33.945 [main] INFO  Demo - [NO1234] 這是第二條日誌
2020-02-08 20:22:33.945 [main] INFO  Demo - [NO1234] 這是第三條日誌
2020-02-08 20:22:33.948 [Thread-3] INFO  Demo - [NO1234] 這是非同步日誌

@AspectLog支持多個標簽:

@AspectLog({"id","name"})
public void demo1(String id,String name){
  log.info("這是第一條日誌");
  log.info("這是第二條日誌");
  log.info("這是第三條日誌");
  new Thread(() -> log.info("這是非同步日誌")).start();
}

假設傳入id的值為'NO1234',name為'jenny',日誌打出來的樣子如下:

2020-02-08 22:09:40.101 [main] INFO  Demo - [NO1234-jenny] 這是第一條日誌
2020-02-08 22:09:40.101 [main] INFO  Demo - [NO1234-jenny] 這是第二條日誌
2020-02-08 22:09:40.102 [main] INFO  Demo - [NO1234-jenny] 這是第三條日誌
2020-02-08 22:09:40.103 [Thread-3] INFO  Demo - [NO1234-jenny] 這是非同步日誌

@AspectLog支持自定pattern和多個參數的連接符

@AspectLog(value = {"id","name"},pattern = "<-{}->",joint = "_")
public void demo(String id,String name){
  log.info("加了patter和joint的示例");
}

日誌打出來的樣子如下:

2020-02-08 22:09:40.103 [main] INFO  Demo - <-NO1234_jenny-> 加了patter和joint的示例

@AspectLog支持點操作符,適用於對象的取值,支持類型為業務對象和Map

@AspectLog({"person.id","person.age","person.company.department.dptId"})
public void demo(Person person){
  log.info("多參數加多層級示例");
}

日誌打出來的樣子如下:

2020-02-08 22:09:40.110 [main] INFO  Demo - [31-25-80013] 多參數加多層級示例

@AspectLog支持自定義Convert,適用於更複雜的業務場景

@AspectLog(convert = CustomAspectLogConvert.class)
public void demo(Person person){
  log.info("自定義Convert示例");
}
public class CustomAspectLogConvert implements AspectLogConvert {
    @Override
    public String convert(Object[] args) {
        Person person = (Person)args[0];
        return "PERSON(" + person.getId() + ")";
    }
}

日誌列印出來的樣子如下:

2020-02-20 17:05:12.414 [main] INFO  Demo - [PERSON(31] 自定義Convert示例

@AspectLog支持編程式設值

public void demo(){
  AspectLogContext.putLogValue("[SO1001]");
  log.info("代碼控制示例");
}

日誌打出來的樣子:

2020-02-08 22:09:40.110 [main] INFO  Demo - [SO1001] 代碼控制示例


結尾

日誌輸出對於一個服務來說,即是執行軌跡的記錄,也是尋錯找源的根本。日誌打的全面而工整,對於排查問題來說,是事半功倍的,相信小伙伴都有看過亂糟糟的日誌吧,在一堆這樣的日誌文件中取尋根溯源,那是極其痛苦的。

我相信很多開發者都有著代碼潔癖,工程的架構,代碼的結構,變數的定義,都有著苛刻的要求。這是種好習慣,這種好習慣會使代碼的閱讀和理解事半功倍。

所以Aspect-log就是這樣一款能讓你的日誌也變得工整和賞心悅目的工具。

最後附上Aspect-log的工程主頁,歡迎關註和提出issue

希望這款小工具能讓你的日誌變得工整,能讓你的排查變得簡單而快捷。



聯繫作者

微信關註 「jishuyuanren」或者掃描以下二維碼獲取更多技術乾貨:

file


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 閱讀書籍是學習的重要方法之一,而是相對於博客等零散內容來講讀書是更加系統、(時間)成本更低、收穫更多的一種學習方式。在閱讀書籍,特別是技術類書籍時有些朋友往往會犯一些錯誤或不知所措。本文給大家分享一些閱讀經驗。 選書 讀書的第一步並不是怎麼去讀書,而是怎麼選書,只有選擇了比較好的書,才能事半功倍。 ...
  • ...
  • 很多小伙伴想要好好地學習一下C語言的知識,但是又不知道怎麼學,應該學哪一些C語言的知識,筆者在網上看到了這一張C語言的比較完善的C語言的學習路線圖,有興趣的小伙伴可以保存起來哈! C語言是面向過程的,而C++是面向對象的。編程入門就選C語言,同時C語言也是大學電腦相關專業必修課之一! C和C++的 ...
  • 前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 作者:CDA數據分析師 提到一線城市,大家馬上會想到北上廣深這四個超級大都市。除此之外,近年來新一線城市這個概念也越來越被大眾所熟知。 2013年,財經媒體第一財經提出了提出 ...
  • 博主本人的運行時,exe可以了,但調試的還是不行,歡迎大家來和我討論。 具體的我寫在有道雲了,裡面整理了我的解決辦法與查到的資料。 文檔:將.exe指定目錄.note鏈接:http://note.youdao.com/noteshare?id=d20fb23fa4c0db6408ccc818a731 ...
  • Semaphore Semaphore 字面意思是信號量的意思,它的作用是控制訪問特定資源的線程數目。應用場景:資源訪問,服務限流。 Semaphore 實現AbstractQueuedSynchronizer的方法與ReentrantLock一樣 Semaphore構造方法 public Sema ...
  • 前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 作者:編程樂趣 平常工作中,有時為了採用網路的一些素材,但這些素材往往被打了水印,如果我們不懂PS就無法去掉水印,或者無法批量去掉水印。這些就很影響我們的工作效率。 今天我們 ...
  • 間隔定時器, tick 定時器會持續觸發,直到調用 clear() 清除為止。 $timer = Swoole\Timer::tick(3000, function (int $timer_id, $param1, $param2) { echo "timer_id #$timer_id, afte ...
一周排行
    -Advertisement-
    Play Games
  • GoF之工廠模式 @目錄GoF之工廠模式每博一文案1. 簡單說明“23種設計模式”1.2 介紹工廠模式的三種形態1.3 簡單工廠模式(靜態工廠模式)1.3.1 簡單工廠模式的優缺點:1.4 工廠方法模式1.4.1 工廠方法模式的優缺點:1.5 抽象工廠模式1.6 抽象工廠模式的優缺點:2. 總結:3 ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說,下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫,因此mysql數據發生改變時,Elasticsearch也必須跟著改變,這個就是Elasticsearch與my ...
  • 引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據,今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫,旨在最大程度地減少單元測試中的“安排(Arrange)”階段,以提高 ...
  • 經過前面幾個部分學習,相信學過的同學已經能夠掌握 .NET Emit 這種中間語言,並能使得它來編寫一些應用,以提高程式的性能。隨著 IL 指令篇的結束,本系列也已經接近尾聲,在這接近結束的最後,會提供幾個可供直接使用的示例,以供大伙分析或使用在項目中。 ...
  • 當從不同來源導入Excel數據時,可能存在重覆的記錄。為了確保數據的準確性,通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間,而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟: 1. 首先安裝免費.NET ...
  • C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式,使程式更加健壯和可靠。 異常處理的基本概念: 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • 優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解,包括JDK和第三方庫。 我花了很多時間來學習API,尤其是在閱讀了Effective Java 3rd Edition之後 ,Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發,而不是為常見的東西編 ...
  • 框架 · 使用laravel框架,原因:tp的框架路由和orm沒有laravel好用 · 使用強制路由,方便介面多時,分多版本,分文件夾等操作 介面 · 介面開發註意欄位類型,欄位是int,查詢成功失敗都要返回int(對接java等強類型語言方便) · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵,火星子都快出來了。司機跟那同事更熟一些,連我在內一共就三個人,同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了,馬上聽出來了,為那個無辜的企業經辦人辯護,實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責, ...