JaCoCo助您毀滅線上僵屍代碼

来源:https://www.cnblogs.com/Jcloud/archive/2023/08/14/17627841.html
-Advertisement-
Play Games

隨著需求不斷迭代,業務系統的業務代碼突飛猛進,在你自豪於自己的代碼量產出很高時,有沒有回頭看看線上真正的客戶使用量又有多少呢? ...


一. 現狀·問題

隨著需求不斷迭代,業務系統的業務代碼突飛猛進,在你自豪於自己的代碼量產出很高時,有沒有回頭看看線上真正的客戶使用又有多少呢?

費事費力耗費大量人力成本上線的功能,可能一年沒人使用,如果不進行適當的下線,就會增加系統維護成本,此時就需要計劃刪除無用代碼。但是我們怎麼知道真實線上的一行行代碼層面,是否真實在使用,或者真實沒人用,怎麼可以放心刪除下線功能呢!

二. 分析原因

實際上多數業務系統都會存在這個通病:線上僵屍代碼

  • 可能是前期產品對業務場景沒有分析到位
  • 可能是研發期間需求功能偏離了正確方向
  • 可能是上線後因外界因素使客戶業務量下降
  • ······

三. 採取措施

問產品經理哪些能下線?NO 沒人敢承諾

觀測 UMP介面是否有流量?NO 只知道介面維度,有流量的介面難道所有代碼都有用麽

使用jacoco(Java Code Coverage)進行線上代碼分析,對系統做瘦身。

Jacoco本質上是一個測試覆蓋率工具,通過ASM位元組碼增強技術在源代碼中加入探針從而獲取代碼覆蓋率。Jacoco主要是通過Jave agent在main函數執行之前通過指定方法在執行的代碼中加入探針來記錄代碼是否被執行過。

Java agent是Java提供的一個啟動參數,有別於代理方式的動態增強和annotation processor的編譯時增強,該參數通過指定路徑的jar包中的premain方法將在main方法執行之前被調用增強源代碼,通過實現該方法我們可以對載入的Class文件進行修改源代碼增強,使用此技術的還有大部分APM工具。

https://www.jacoco.org/jacoco/trunk/doc/index.html

四. 實踐步驟

4.1 依賴jacoco.ant

在工程內的pom中引入jar依賴

<dependency>
    <groupId>org.jacoco</groupId>
    <artifactId>org.jacoco.ant</artifactId>
    <version>0.8.3</version>
</dependency>
<dependency>
     <groupId>org.apache.ant</groupId>
     <artifactId>ant</artifactId>
     <version>1.9.9</version>
 </dependency>



4.2 賦能Rest請求

添加一個url地址,通過ant執行dump task用於Dump Coverage文件,避免使用配置文件且同時需要運維同事幫忙操作的問題。

@RestController
@RequestMapping("/coverage")
public class CoverageController {

    @PostMapping("dump")
    @NoCheckMenuPermission
    public Result<Boolean> dumpCoverageFile() {
        DumpTask dumpTask = new DumpTask();
        // dump文件地址
        dumpTask.setDestfile(new File("/export/Data/coverage/code-cover.exec"));
        // 多次dump追加形式
        dumpTask.setAppend(true);
        // 選一個空閑介面即可
        dumpTask.setPort(8840);
        // 預設本機
        dumpTask.setAddress("127.0.0.1");
        dumpTask.execute();
        return Result.succeed(true);
    }
}



4.3 嵌入jacocoagent

由於jacoco需要在服務端由jacocoagent增強的jar包,為了避免需要麻煩運維同事,通過maven依賴我們可以發現org.jacoco.agent這個jar包中包含由jacocoagent這個包,所以通過在部署的啟動腳本添加以下命令即可通過解壓的方式獲得該jar包!

java啟動參數添加如下:存在多個javaagent時比如pfinder之類在其後添加即可。

#decompress file 解壓依賴,獲得jacocoagent.jar包,避免需要聯繫運維上傳包
jar -xvf $BASEDIR/lib/org.jacoco.agent-0.8.3.jar



-javaagent:$BASEDIR/bin/jacocoagent.jar=includes=com.jdwl.*,output=tcpserver,port=8840,address=127.0.0.1 -Xverify:none



premain方法中我們可以通過Instrumention的addTransformer添加ClassFileTransformer介面的實現類,該介面中僅有一個方法如下,通過實現ClassTransformer我們可以定義自己的代碼增強方法。可以使用ASM,亦可以使用javasist等高級類庫。

相關實踐:Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli

4.4 JDOS資源預留

資源預留/export目錄自定義處理

  • 增加配置腳本 /home/admin/clean_export.sh(腳本預設內容上增加了 && $9 != "coverage"

輸出的文件路徑為/export/Data/coverage/code-cover.exec

#! /bin/bash

ls -lh /export | awk 'NR >1 {print}' | awk '{if ($9 != "Data") print $9}' | xargs -i /bin/rm -rf /export/{} > /dev/null 2>&1
ls -lh /export/Data | awk 'NR >1 {print}' | awk '{if ($9 != "jdos.jd.com" && $9 != "coverage") print $9}' | xargs -i /bin/rm -rf /export/Data/{} > /dev/null 2>&1



4.5 下載cover文件

/export/Data/coverage/code-cover.exec

登錄堡壘機終端

 cd /export/Data/coverage

jdos下載文件

 curl -s up.bastion.jd.com/file/up | bash

4.6 分析代碼

打開idea -> run -> show coverage data選擇對應的exec文件即可獲取服務端的代碼覆蓋情況。

綠色覆蓋(活躍代碼)

紅色未覆蓋(僵屍代碼)

Reference

  1. JaCoCo - Documentatio
  2. javaagent使用指南 - rickiyang - 博客園 (cnblogs.com
  3. 使用Jacoco統計服務端代碼覆蓋情況實踐 - M104 - 博客園 (cnblogs.com
  4. Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli

五. 效能提升

5.1 需求交付效率提升

5.1.1 縮短需求交付周期

因為僵屍代碼刪除,減少開發需求的範圍,降低老代碼認知成本,降低測試回歸成本。

需求交付周期整體呈縮短趨勢!2023/1月落地實踐,之前需求交付周期約15天,之後約12天。

5.1.2 降低開發階段停留時長

僵屍代碼大量存在,研發認知需求改動點負荷很高,需要耗費大量時間成本。

2023/1月落地後,開發階段時長縮短到 4天 以下(由 4.54 縮短至 3.11,縮短約31%),呈明顯縮短趨勢!

5.2 人效提升

5.2.1 降低研發認知負荷

刪除無用僵屍代碼,圈複雜度會大幅度降低,重覆代碼塊也會降低,則研發認知負荷也會隨之降低!

平均系統重覆代碼塊數從 31 下降至 27 左右,降低了系統維護成本!

5.2.2 提升人均需求吞吐量

因為減少人力認知成本,縮小需求範圍,所以會直接提升需求的吞吐量!

自從2023/1月落地實踐後,人均需求的吞吐量也大幅度提升,從之前 1.5 提升到 2.5 左右。

5.3 過程質量提升

5.3.1 減少自動化bug數

由於存量僵屍代碼減少,則整體回滾用例和場景變得精簡,黃金流程也不會被僵屍代碼干擾,則自動化bug數也有明顯下降趨勢

隨著2023年1月以來的不斷實踐,自動化發現的bug數也逐月遞減,從11個/月 -> 9個/月 -> 6個/月 -> 5個/月。

5.3.2 提升單測覆蓋率

自從2023年1月落地實踐後,隨著刪除掉大量僵屍代碼,整體代碼總量在減少,無效代碼被無情下線,同時提升了單測代碼覆蓋率,呈上升趨勢單測行覆蓋率從 51.33% -> 52.28%,提升系統質量!

六. 簡要總結

  • 隨著需求不斷迭代交付,業務代碼必然不斷累積,運維成本不斷升高,如果線上無用功能的代碼一直殘留,對研發來說是巨大的累贅!對於此類代碼約定俗成為 “僵屍代碼”
  • 趕快利用jacoco探針深入分析系統的一行行代碼,看到線上功能運行最真實的一面,參照代碼的覆蓋情況,針對性下線和刪除僵屍代碼,讓系統瘦身,讓研發減負!

作者:京東物流 周奕儒

來源:京東雲開發者社區 自猿其說Tech


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. <?php //單鏈表 class node { public $id; //節點id public $name; //節點名稱 public $next; //下一節點 public function __construct($id, $name) { $this->id = $id; $t ...
  • 我在上一章《形象談JVM-第一章-認識JVM》提到的“翻譯”,其實就是我們今天所說的“編譯”的概念。 上一章原文鏈接:https://www.cnblogs.com/xingxiangtan/p/17617654.html 原文: 【 虛擬機的職責是將位元組碼翻譯成對應系統能夠識別並執行的機器碼, 比 ...
  • python 進程與線程是併發編程的兩種常見方式。進程是操作系統中的一個基本概念,表示程式在操作系統中的一次執行過程,擁有獨立的地址空間、資源、優先順序等屬性。線程是進程中的一條執行路徑,可以看做是輕量級的進程,與同一個進程中的其他線程共用相同的地址空間和資源。 ...
  • # Linux 之 shell 編程學習筆記(並不完全正確,有誤請指正) ## 概念性知識點 ### 腳本概念 >**腳本(Script),是使用一種特定的描述性語言,依據一定的格式編寫的 可執行文件** ### 運行腳本要求 >**腳本須有 ==可執行== 許可權,即 ==x== 許可權** > >* ...
  • emm,又又遇到問題啦,現有業務系統應用上線存在視窗期,不能滿足正常任務迭代上線。在非視窗期上線容易導致資料庫、mq、jsf等線程中斷,進而導致需要手動修單問題。故而通過添加優雅停機功能進行優化,令其在上線前選擇優雅停機後,會優先斷掉新流量的涌入,並預留一定時間處理現存連接,最後完全下線,可有效擴大... ...
  • Lua程式設計第四版第一部分語言基礎自做練習題答案,帶:star:為重點。 ## 1.1 > 運行階乘的示例並觀察,如果輸入負數,程式會出現什麼問題?試著修改代碼來解決問題 輸入負數,程式會死迴圈,修改如下 ```lua -- 定義一個計算階乘的函數 function fact(n) if n 分別 ...
  • 日期處理相關內容之前`pandas基礎`系列中有一篇專門介紹過,本篇補充兩個常用的技巧。 # 1. 多列合併為日期 當收集來的數據中,年月日等信息分散在多個列時,往往需要先合併成日期類型,然後才能做分析處理。合併多列轉換為日期類型,可以直接用 `to_datetime`函數來處理: ```pytho ...
  • 自 2014 年發佈以來, JDK 8 一直都是相當熱門的 JDK 版本。其原因就是對底層數據結構、JVM 性能以及開發體驗做了重大升級,得到了開發人員的認可。但距離 JDK 8 發佈已經過去了 9 年,那麼這 9 年的時間,JDK 做了哪些升級?是否有新的重大特性值得我們嘗試?能否解決一些我們現在... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...