隨著需求不斷迭代,業務系統的業務代碼突飛猛進,在你自豪於自己的代碼量產出很高時,有沒有回頭看看線上真正的客戶使用量又有多少呢? ...
一. 現狀·問題
隨著需求不斷迭代,業務系統的業務代碼突飛猛進,在你自豪於自己的代碼量產出很高時,有沒有回頭看看線上真正的客戶使用量又有多少呢?
費事費力耗費大量人力成本上線的功能,可能一年沒人使用,如果不進行適當的下線,就會增加系統維護成本,此時就需要計劃刪除無用代碼。但是我們怎麼知道真實線上的一行行代碼層面,是否真實在使用,或者真實沒人用,怎麼可以放心刪除下線功能呢!
二. 分析原因
實際上多數業務系統都會存在這個通病:線上僵屍代碼
- 可能是前期產品對業務場景沒有分析到位
- 可能是研發期間需求功能偏離了正確方向
- 可能是上線後因外界因素使客戶業務量下降
- ······
三. 採取措施
問產品經理哪些能下線?NO 沒人敢承諾
觀測 UMP介面是否有流量?NO 只知道介面維度,有流量的介面難道所有代碼都有用麽
使用jacoco(Java Code Coverage)進行線上代碼分析,對系統做瘦身。
Jacoco本質上是一個測試覆蓋率工具,通過ASM位元組碼增強技術在源代碼中加入探針從而獲取代碼覆蓋率。Jacoco主要是通過Jave agent在main函數執行之前通過指定方法在執行的代碼中加入探針來記錄代碼是否被執行過。
Java agent是Java提供的一個啟動參數,有別於代理方式的動態增強和annotation processor的編譯時增強,該參數通過指定路徑的jar包中的premain方法將在main方法執行之前被調用增強源代碼,通過實現該方法我們可以對載入的Class文件進行修改源代碼增強,使用此技術的還有大部分APM工具。
https://www.jacoco.org/jacoco/trunk/doc/index.html
四. 實踐步驟
4.1 依賴jacoco.ant
在工程內的pom中引入jar依賴
<dependency>
<groupId>org.jacoco</groupId>
<artifactId>org.jacoco.ant</artifactId>
<version>0.8.3</version>
</dependency>
<dependency>
<groupId>org.apache.ant</groupId>
<artifactId>ant</artifactId>
<version>1.9.9</version>
</dependency>
4.2 賦能Rest請求
添加一個url地址,通過ant執行dump task用於Dump Coverage文件,避免使用配置文件且同時需要運維同事幫忙操作的問題。
@RestController
@RequestMapping("/coverage")
public class CoverageController {
@PostMapping("dump")
@NoCheckMenuPermission
public Result<Boolean> dumpCoverageFile() {
DumpTask dumpTask = new DumpTask();
// dump文件地址
dumpTask.setDestfile(new File("/export/Data/coverage/code-cover.exec"));
// 多次dump追加形式
dumpTask.setAppend(true);
// 選一個空閑介面即可
dumpTask.setPort(8840);
// 預設本機
dumpTask.setAddress("127.0.0.1");
dumpTask.execute();
return Result.succeed(true);
}
}
4.3 嵌入jacocoagent
由於jacoco需要在服務端由jacocoagent增強的jar包,為了避免需要麻煩運維同事,通過maven依賴我們可以發現org.jacoco.agent這個jar包中包含由jacocoagent這個包,所以通過在部署的啟動腳本添加以下命令即可通過解壓的方式獲得該jar包!
java啟動參數添加如下:存在多個javaagent時比如pfinder之類在其後添加即可。
#decompress file 解壓依賴,獲得jacocoagent.jar包,避免需要聯繫運維上傳包
jar -xvf $BASEDIR/lib/org.jacoco.agent-0.8.3.jar
-javaagent:$BASEDIR/bin/jacocoagent.jar=includes=com.jdwl.*,output=tcpserver,port=8840,address=127.0.0.1 -Xverify:none
premain方法中我們可以通過Instrumention的addTransformer添加ClassFileTransformer介面的實現類,該介面中僅有一個方法如下,通過實現ClassTransformer我們可以定義自己的代碼增強方法。可以使用ASM,亦可以使用javasist等高級類庫。
相關實踐:Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli
4.4 JDOS資源預留
資源預留/export目錄自定義處理
- 增加配置腳本 /home/admin/clean_export.sh(腳本預設內容上增加了 && $9 != "coverage")
輸出的文件路徑為/export/Data/coverage/code-cover.exec
#! /bin/bash
ls -lh /export | awk 'NR >1 {print}' | awk '{if ($9 != "Data") print $9}' | xargs -i /bin/rm -rf /export/{} > /dev/null 2>&1
ls -lh /export/Data | awk 'NR >1 {print}' | awk '{if ($9 != "jdos.jd.com" && $9 != "coverage") print $9}' | xargs -i /bin/rm -rf /export/Data/{} > /dev/null 2>&1
4.5 下載cover文件
/export/Data/coverage/code-cover.exec
登錄堡壘機終端
cd /export/Data/coverage
jdos下載文件
curl -s up.bastion.jd.com/file/up | bash
4.6 分析代碼
打開idea -> run -> show coverage data選擇對應的exec文件即可獲取服務端的代碼覆蓋情況。
綠色覆蓋(活躍代碼)
紅色未覆蓋(僵屍代碼)
Reference
- JaCoCo - Documentatio
- javaagent使用指南 - rickiyang - 博客園 (cnblogs.com
- 使用Jacoco統計服務端代碼覆蓋情況實踐 - M104 - 博客園 (cnblogs.com
- Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli
五. 效能提升
5.1 需求交付效率提升
5.1.1 縮短需求交付周期
因為僵屍代碼刪除,減少開發需求的範圍,降低老代碼認知成本,降低測試回歸成本。
需求交付周期整體呈縮短趨勢!2023/1月落地實踐,之前需求交付周期約15天,之後約12天。
5.1.2 降低開發階段停留時長
僵屍代碼大量存在,研發認知需求改動點負荷很高,需要耗費大量時間成本。
2023/1月落地後,開發階段時長縮短到 4天 以下(由 4.54 縮短至 3.11,縮短約31%),呈明顯縮短趨勢!
5.2 人效提升
5.2.1 降低研發認知負荷
刪除無用僵屍代碼,圈複雜度會大幅度降低,重覆代碼塊也會降低,則研發認知負荷也會隨之降低!
平均系統重覆代碼塊數從 31 下降至 27 左右,降低了系統維護成本!
5.2.2 提升人均需求吞吐量
因為減少人力認知成本,縮小需求範圍,所以會直接提升需求的吞吐量!
自從2023/1月落地實踐後,人均需求的吞吐量也大幅度提升,從之前 1.5 提升到 2.5 左右。
5.3 過程質量提升
5.3.1 減少自動化bug數
由於存量僵屍代碼減少,則整體回滾用例和場景變得精簡,黃金流程也不會被僵屍代碼干擾,則自動化bug數也有明顯下降趨勢!
隨著2023年1月以來的不斷實踐,自動化發現的bug數也逐月遞減,從11個/月 -> 9個/月 -> 6個/月 -> 5個/月。
5.3.2 提升單測覆蓋率
自從2023年1月落地實踐後,隨著刪除掉大量僵屍代碼,整體代碼總量在減少,無效代碼被無情下線,同時提升了單測代碼覆蓋率,呈上升趨勢!單測行覆蓋率從 51.33% -> 52.28%,提升系統質量!
六. 簡要總結
- 隨著需求不斷迭代交付,業務代碼必然不斷累積,運維成本不斷升高,如果線上無用功能的代碼一直殘留,對研發來說是巨大的累贅!對於此類代碼約定俗成為 “僵屍代碼”。
- 趕快利用jacoco探針深入分析系統的一行行代碼,看到線上功能運行最真實的一面,參照代碼的覆蓋情況,針對性下線和刪除僵屍代碼,讓系統瘦身,讓研發減負!
作者:京東物流 周奕儒
來源:京東雲開發者社區 自猿其說Tech