日誌瘦身騷操作:從 5G 優化到 1G,牛逼!!

来源:https://www.cnblogs.com/javastack/archive/2023/01/10/17039150.html
-Advertisement-
Play Games

作者:明明如月學長 鏈接:https://juejin.cn/post/7117046503616544804 一、背景 在日常開發中,通常為了方便調試、方便查問題,會列印很多 INFO 級別的日誌。 隨著訪問量越來越大,一不小心,某個日誌文件一天的 size 就大於了某個閾值(如 5G),於是,收 ...


作者:明明如月學長
鏈接:https://juejin.cn/post/7117046503616544804

一、背景

在日常開發中,通常為了方便調試、方便查問題,會列印很多 INFO 級別的日誌。

隨著訪問量越來越大,一不小心,某個日誌文件一天的 size 就大於了某個閾值(如 5G),於是,收到了優化日誌大小的告警,一定時間內不優化反饋給你主管,囧...

日誌過大容易導致一些運維操作消耗機器性能,如日誌文件檢索、數據採集、磁碟清理等。

那麼,日誌瘦身哪些常見的思路呢? 本文結合某個具體案例談談我的看法。

推薦一個開源免費的 Spring Boot 最全教程:

https://github.com/javastacks/spring-boot-best-practice

二、日誌瘦身方法論

2.1 只列印必要的日誌

有時候為了方便測試,臨時列印很多 INFO 級別日誌。對於這種日誌,等項目上線前,可以將非必要的日誌刪除或者調整為 DEBUG 級別。


但有些場景下有些日誌可列印為 DEBUG 也可列印為 INFO,列印成 INFO 級別占空間,列印成 DEBUG 級別線上查問題的時候又需要用到,腫麽辦?

我們可以對日誌工具類進行改造,支持上下文傳遞某個開關時(正常調用沒有這個開關,通過公司的 Tracer 或者 RPC上下文傳遞),可以臨時將 DEBUG日誌提升為 INFO級別。 偽代碼如下:

if(log.isDebugEnable()){
   log.debug(xxx);
}else if(TracerUtils.openDebug2Info()){
 log.info("【debug2info】"+xxx);
}

這樣,可以將一些糾結是否要列印成 INFO 日誌的 log 列印成 DEBUG 級別,查問題時自動提升為INFO 日誌。 為了避免誤會,區分 DEBUG 提升 INFO 的日誌和普通 INFO 日誌,加上 類似【debug2info】 日誌首碼。

當然,你也可以搞一些其他騷操作,這裡只是舉個例子,請自行舉一反三。

2.2 合併列印

有些可以合併的日誌,可以考慮合併。

如在同一個方法前後都列印了 INFO 日誌:

INFO [64 位traceId] XXXService 執行前 size =10 INFO [64 位traceId] XXXService 執行後 size =4

可以合併成一條:

INFO [64 位traceId] XXXService 執行前 size =10 執行後 size =4

2.3 簡化&縮寫&壓縮

某個日誌非常有必要,但是列印的對象有些大,如果可以滿足問題排查需求的情況下,我們可以:

(1)選擇只列印其 ID

(2)創建一個只保留關鍵欄位的日誌專用對象,轉化為日誌專用對象,再列印。

(3)可以用縮寫,如 write 簡化為 w, read 簡化為 r, execute 簡化為e 等;比如 pipeline 中有 20個核心 bean ,列印日誌時可以使用不同的編號替代 bean 全稱,如 S1,S2 ,雖然沒那麼直觀,但既可以查問題,又降低了日誌量。

三、優化案例

3.1 場景描述

一個業務場景涉及很多 bean, 為了復用一些通用邏輯,這些 bean 都繼承自某個抽象類。 在抽象類中,定義了執行 bean 前後的一些通用邏輯,如執行前後列印當前 pipeline 中 item 的數量。 最後一個 bean 執行完結果轉換後需要列印出結果。

3.2 優化分析

3.2.1 只列印必要日誌

(1)由於當前 bean 執行前 相當於前一個 bean 執行後,因此只列印執行後的日誌就可以,執行前的INFO 日誌可以刪除或者改為 DEBUG (只列印必要日誌)

(2)通常問題只出現在執行前後 size 不一致的情況下,因此執行後列印日誌前可以加個判斷,如果執行前後 size 相同則不列印。(只列印必要日誌) 偽代碼如下:

if(sizeBefore != sizeAfter){
log.info("service:{}, 前size:{},後size:{}", getName(),sizeBefore, sizeAfter)
}

推薦一個開源免費的 Spring Boot 最全教程:

https://github.com/javastacks/spring-boot-best-practice

這招效果很明顯,因為大多數 bean 的執行前後 size 是相同的,就不會列印這條日誌。 而假設之前有 20 個,這條日誌就需要列印 20次,改進後可能只需要列印 2-3 次。

3.2.2 日誌合併

(2)為了方便查問題還需要列印執行前的 size ,那麼將執行前的 size 記錄在記憶體中,列印執行後日誌時多列印出執行前的 size。(合併列印) 偽代碼如下:

log.info("service:{}, 執行前size:{}", getName(),sizeBefore)

log.info("service:{}, 執行後size:{}", getName(),sizeBefore, sizeAfter)

合併後

log.info("service:{}, 前size:{},後size:{}", getName(),sizeBefore, sizeAfter)

3.2.3 日誌精簡

對於最終結果,將結果對象(如 XXDTO)轉化為只包括關鍵信息,如 id, title 的日誌對象(XXSimpleLogDTO),轉化為日誌對象後再列印。

log.info("resultId:{}",result.getId());

或者

log.info("result:{}",toSimpleLog(result));

3.3 效果評估

該日誌一天產生 5 G 左右,這裡百分之80% 左右都是列印執行前後的 size,10%左右是列印最終結果, 還有一些其他的日誌。 經過上述方法優化後,每天日誌量不足 1G。

在滿足排查問題的需要,又實現日誌瘦身之間進行了取捨。

四、總結

日誌瘦身需要進行權衡,保留排查問題的必要日誌情況下儘可能精簡。

可以採用刪除不必要日誌,合併日誌,日誌簡化等方式進行優化。

我們還可以進行一些騷操作,支持線上 DEBUG 臨時提升 INFO (當然也可以使用 arthas )來輔助我們查問題。

你還有哪些不錯的日誌瘦身技巧? 歡迎在文章末尾評論和我交流。

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Redis 數據結構-雙向鏈表 最是人間留不住,朱顏辭鏡花辭樹。 1、簡介 Redis 之所以快主要得益於它的數據結構、操作記憶體資料庫、單線程和多路 I/O 復用模型,進一步窺探下它常見的五種基本數據的底層數據結構。 Redis 常見數據類型對應的的底層數據結構。 String:簡單動態字元串。 L ...
  • 前言 今天給大家介紹的是Python爬蟲批量下載相親網站圖片數據,在這裡給需要的小伙伴們代碼,並且給出一點小心得。 首先是爬取之前應該儘可能偽裝成瀏覽器而不被識別出來是爬蟲,基本的是加請求頭,但是這樣的純文本數據爬取的人會很多,所以我們需要考慮更換代理IP和隨機更換請求頭的方式來對相親網站圖片數據進 ...
  • 一、MybatisPlusMax簡介 MybatisPlusMax是MybatisPlus的增強包,秉承只拓展不修改的理念,對MybatisPlus做增強。 正如MybatisPlus是對MyBatis的增強,MybatisPlusMax是對MybatisPlus的增強,拓展理念一脈相承。 Myba ...
  • 相較於最初的 Bourne shell,現代 bash 版本的最大改進之一體現在算術方面。早期的 shell 版本沒有內建的算術功能,哪怕是給變數加1,也得調用單獨的程式來完成。 1、算術方法一: $(( )) 只要都是整數運算,就可以在 $(( )) 的算術表達式內使用所有的標準運算符。還有一個額 ...
  • 大家好,我是三友~~ 這篇文章我準備來聊一聊RocketMQ消息的一生。 不知你是否跟我一樣,在使用RocketMQ的時候也有很多的疑惑: 消息是如何發送的,隊列是如何選擇的?消息是如何存儲的,是如何保證讀寫的高性能?RocketMQ是如何實現消息的快速查找的?RocketMQ是如何實現高可用的?消 ...
  • 原文:JavaFx 頁面和控制項設置快捷鍵 - Stars-One的雜貨小窩 之前說過一篇window系統全局快捷鍵的設置,本期主要是講解JavaFx應用程式的快捷鍵設置,還是有所區別的 這裡主要是Tornadofx為例進行講解,以Kotlin語言為例,由於比較簡單,就不貼截圖了,下麵例子都是自己測試 ...
  • 2023-01-10 一、Mybatis中獲取主鍵自增數據 要獲取自增數據時,需要在映射文件中的“<insert>”中添加兩個屬性,例如獲取自增的id ①EmployeeMapper.xml中的<mapper>標簽內部 <insert id="insertEmployee" useGenerated ...
  • 在高併發下,Java程式的GC問題屬於很典型的一類問題,帶來的影響往往會被進一步放大。不管是「GC頻率過快」還是「GC耗時太長」,由於GC期間都存在Stop The World問題,因此很容易導致服務超時,引發性能問題。 ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...