[C#]使用 AltCover 獲得代碼覆蓋率 - E2E Test 和 Unit Test

来源:https://www.cnblogs.com/myzony/archive/2022/08/12/coverage-analysis-based-on-altcover.html
-Advertisement-
Play Games

背景 在 CI/CD 流程當中,測試是 CI 中很重要的部分。跟開發人員關係最大的就是單元測試,單元測試編寫完成之後,我們可以使用 IDE 或者 dot cover 等工具獲得單元測試對於業務代碼的覆蓋率。不過我們需要一個獨立的 CLI 工具,這樣我們才能夠在 Jenkins 的 CI 流程集成。 ...


背景

在 CI/CD 流程當中,測試是 CI 中很重要的部分。跟開發人員關係最大的就是單元測試,單元測試編寫完成之後,我們可以使用 IDE 或者 dot cover 等工具獲得單元測試對於業務代碼的覆蓋率。不過我們需要一個獨立的 CLI 工具,這樣我們才能夠在 Jenkins 的 CI 流程集成。

端到端測試(End to End Test) 是在 Preview 版本部署完成之後,需要對 Preview 版本進行自動化測試,測試完成之後輸出對應的覆蓋率報告。根據代碼覆蓋率報告,我們可以瞭解 QA 編寫的測試用例,是否完整覆蓋了所有分支流程。

實現

工具選型

單元測試框架我選擇的是 xUnit,它對於 .NET Core 與 .NET Framework 的支持都不錯,並且也提供了獨立於 IDE 之外的 Console Runner,可以很方便地同 Jenkins 集成。

覆蓋率收集工具我選擇的是 AltCover,因為它能夠收集到部署在 IIS 的 ASP.NET MVC 程式覆蓋率指標,這樣我們就能夠對一些 .NET Framework 老項目進行測試覆蓋率彙總計算。AltCover 可以生成多種格式的覆蓋率報告,預設格式是 OpenCover。

AltCover 生成的覆蓋率報告並不是直接可讀的,我們需要一個工具來生成人類可以閱讀理解的報告。這裡我選擇的是 ReportGenerator ,它支持 OpenCover 格式的覆蓋率報告,並生成對應的 HTML 文件方便查看。

.NET Framework 集成

我建立了一個簡單的 ASP.NET Web API 項目(.NET Framework 4.8),提供了一個 ApiTestController 控制器,暴露了一個 HTTP POST 方法 CreateOrder,內部邏輯比較簡單,就是創建了一個新的 OrderAggregateRoot 實例,然後返回了一個 Success 文本。

/// <summary>
/// ApiTestController.
/// </summary>
[Route("api/test")]
public class ApiTestController : ApiController
{
    private readonly IOrderRepository _orderRepository;

    /// <summary>
    /// <see cref="ApiTestController"/>.
    /// </summary>
    public ApiTestController()
    {
        _orderRepository = new FakeOrderRepository();
    }

    /// <summary>
    /// CreateOrder.
    /// </summary>
    [HttpPost]
    [Route("api/test/create")]
    public IHttpActionResult CreateOrder(CreateOrderInputDto input)
    {
        var newOrder = new OrderAggregateRoot(null, input.Items.Select(x => new OrderItem(x.Price, x.Number)).ToList());
        _orderRepository.InsertAsync(newOrder);

        return Ok("Success");
    }
}
單元測試覆蓋率報告

單元測試項目建立比較簡單,我建立了一個 AltCoverTestUnitTest 項目,並且添加了 ASP.NET Web API 項目的引用,在內部添加了 AltCover 與 xUnit 相關包的引用。

AltCoverxUnit Console Runner 包安裝完成之後,對於 .NET Framework 項目來說,會在對應的解決方案目錄下麵有一個 packages 文件夾,在裡面找到 packages\altcover.8.3.838\tools\net472 目錄,在這個目錄裡面有一個 AltCover.exe 的可執行文件,這個就是 AltCover 的 CLI 工具。

xUnit Console Runner 對應的 CLI 工具則在 packages\xunit.runner.console.2.4.2\tools\net472 中,根據自己的平臺使用 xunit.console.exe 或者是 xunit.console.x86.exe 均可。

隨後我們直接使用 MSBuild 命令/IDE 重新編譯一下單元測試項目,轉到對應的 bin\Debug 目錄。在 .bin\Debug 目錄中,執行以下命令,將會生成一個新的文件夾,裡面會包含修改後的 DLL 文件。

這裡 CLI 工具的路徑,取決於你的實際路徑,就在你解決方案對應的 pacakges 裡面。

D:\CoverageTool\AltCoverTestRESFul\packages\altcover.8.3.838\tools\net472\AltCover.exe /o=./__UnitTestWithAltCover -s=Adapter -s=Shouldly -s=Microsoft -t="Shouldly." -s="AltCover.Monitor" -t="System." -s=xunit -e="EmptyFiles" -e=Tests -r=".\_Reports\UnitTestWithAltCover.xml"

這裡我解釋以下命令,其中 /o 參數指的是修改後 DLL 的輸出目錄,這裡我指定的當前目錄下的 __UnitTestWithAltCover 文件夾。-s 參數指的是需要排除的程式集名稱,支持通配符與正則表達式。-e 的作用與 -s 類似,具體可以查看 Usage ,最有一個 -r 參數指定報告的輸出路徑,也就是 OpenCover 格式的 XML 文件輸出路徑。

為什麼需要排除?因為我們的項目可能會引用很多第三方庫,這個時候我們為了減少報告的噪音,你也不想在報告裡面看到一堆 Microsoft 的代碼吧,所以需要手動排除掉這些程式集。

為什麼叫做修改後,因為執行命令後,AltCover 會重新生成一個新的 DLL,這個新的 DLL 反編譯後可以看到會在每行代碼插入 Instance.Visit() 來記錄代碼的訪問路徑。

命令執行完成之後,可以看到對應的覆蓋率文件生成了,但是這裡面覆蓋率是 0,因為我們的單元測試還沒開始跑。

隨後我們執行下麵的命令,使用 xUnit Console Runner 運行我們的單元測試項目。

D:\CoverageTool\AltCoverTestRESFul\packages\xunit.runner.console.2.4.2\tools\net47\xunit.console.exe ./__UnitTestWithAltCover/AltCoverTestUnitTest.dll -xml "./_Reports/UnitTestWithAltCoverReport.xml"

第一個參數是需要執行的單元測試 DLL,第二個參數 -xml 說明我們具體的執行結果輸出路徑,這裡我們也輸出到了 _Reports 文件夾,這個時候我們就有兩個 XML 文件了。

切換到 _Reports 文件夾,打開終端,我們這個時候需要使用 reportgeneator 工具,根據這兩個 XML 文件生成人類可讀的 HTML 報告。

reportgenerator "-reports:UnitTestWithAltCover.xml;UnitTestWithAltCoverReport.xml" "-targetdir:coveragereport" -reporttypes:Html

上述命令的意思就是根據這兩個 xml ,在當前目錄的 coveragereport 文件夾,生成一個新的 HTML 報告。

關於 reportgenerator 的安裝,可以參考官方的 線上工具,它會根據你選擇的情況返回適合的安裝命令。我自己直接使用的 dotnet tool install --global dotnet-reportgenerator-globaltool 命令進行的安裝。

最後的效果:

IIS Web API 覆蓋率報告

我們建立一個新的 IIS 站點,並將對應的 DLL 文件放到對應的目錄下麵。首先暫停對應 IIS 站點,並且停止對應的應用程式池。

隨後執行以下命令,將會修改對應的 DLL 文件,以便後續進行覆蓋率跟蹤,原理跟上面的一樣。

D:\CoverageTool\AltCoverTestRESFul\packages\altcover.8.3.838\tools\net472\AltCover.exe --save --inplace -i "D:\TempFiles\IIS\AltCoverTestWebSite\bin" -s=Adapter -s=Shouldly -s="Antlr3.Runtime" -s=Microsoft -t="Shouldly." -s="AltCover.Monitor" -t="System." -s=xunit -e="EmptyFiles" -e=Tests

執行完上述命令以後,將會在終端執行目錄下生成兩個文件,一個是 coverage.xml ,一個是 coverage.xml.acv 文件,後者是 AltCover 的控制文件,用於記錄程式在運行過程中的執行代碼路徑。

隨後啟動對應的 IIS 站點與應用程式池,執行自動化測試,或者調用對應的介面。

如果需要停止測試了,需要將對應的 IIS 站點與應用程式池停止,只有停止了,AltCover 才會將已執行代碼路徑信息寫入到對應的控制文件當中。

可以看到 coverage.xml.0.acv 文件已經有內容了,但是我們還需要將控制文件的信息合併到 coverage.xml 當中,這個時候需要執行第二個命令進行合併。

D:\CoverageTool\AltCoverTestRESFul\packages\altcover.8.3.838\tools\net472\AltCover.exe runner --collect -r "D:\TempFiles\IIS\AltCoverTestWebSite\bin"

output:

... D:\TempFiles\IIS\AltCoverTestWebSite\coverage.xml.0.acv (380b)
308 visits recorded in 00:00:00.0171096 (18,002 visits/sec)
A total of 308 visits recorded
Coverage statistics flushing took 0.04 seconds
Visited Classes 10 of 12 (83.33)
Visited Methods 14 of 22 (63.64)
Visited Points 65 of 93 (69.89)
Visited Branches 4 of 30 (13.33)
Maximum CRAP score 30
==== Alternative Results (includes all methods including those without corresponding source) ====
Alternative Visited Classes 13 of 15 (86.67)
Alternative Visited Methods 20 of 30 (66.67)
Alternative maximum CRAP score 30

可以看到控制台的輸出已經有 308 visits recorded,隨後我們使用 reportgenerator 工具生成 HTML 報告。

.NET Core 集成

單元測試覆蓋率報告

集成方法同 .NET Framework 一樣。

ASP .NET Core 覆蓋率報告

這裡我使用的是 dotnet tool 安裝的 altcover 命令,安裝命令如下,前提是你得有 .NET Core 運行時。

dotnet tool install --global altcover.global --version

隨後編譯對應的 ASP.NET Core 項目,並且在對應的 bin\Debug 目錄打開終端,執行以下命令進行準備工作。

altcover /o=./__UnitTestWithAltCover -i .

隨後使用 altcover runner 命令啟動對應的程式。

altcover runner -x .\__UnitTestWithAltCover\AltCoverTestRESTFulCore.exe -r .\__UnitTestWithAltCover\

如果已經完成了測試,請終止掉對應的進程,否則 AltCover 不會將數據寫入到 XML 文件,最後也使用 reportgenerator 工具生成 HTML 報告。

總結

如果你的項目是基於 .NET Core ,那麼可以直接選擇微軟主推的 coverletAltCover 對於 .NET Framework、Mono、.NET Core 項目都有不錯的支持,並且作者維護得也很勤快。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、前言 在自動化測試過程中經常需要進行初始化和後期處理等工作,如電商加購物車測試需要先登錄,測試完畢需要關閉瀏覽器等。Pytest提供了5種類型的setup和teardown的方法,具體如下: 模塊級別:setup_module,teardown_module 函數級別:setup_functio ...
  • 一、簡介 1.什麼是MyBatis MyBatis 是一款優秀的持久層框架 它支持自定義 SQL、存儲過程以及高級映射。 MyBatis 免除了幾乎所有的 JDBC 代碼以及設置參數和獲取結果集的工作。 MyBatis 可以通過簡單的 XML 或註解來配置和映射原始類型、介面和 Java POJO( ...
  • 在一個項目的開發過程中,通常伴隨著多套環境:本地環境 local、開發環境 dev、集成測試環境 test、用戶接受測試環境 uat、預生產環境 pre、生產環境 prod。本節的內容有些脫離真實企業開發,因為在真實的企業開發中,不會只開發一個獨立的服務,而是多個微服務。發展至今,雲原生也越來越普遍... ...
  • 《Python編程從入門到實踐》(第二版)免費下載地址~~ 內容簡介 · · · · · · 本書是針對所有層次Python讀者而作的Python入門書。全書分兩部分:第一部分介紹用Python編程所必須瞭解的基本概念,包括Matplotlib等強大的Python庫和工具,以及列表、字典、if語句、 ...
  • 首先你需要安裝RabbitMQ,安裝教程可百度查下資料即可,不做贅述,敬請諒解 啟動RabbitMQ RabbitMQ可以算是一個非同步消息隊列,在實際的開發項目中,一般是以工具模塊的方式創建,像一些SpringBoot工程所需要的基本依賴都是會有的 說明:關鍵在於誰是消息的生產者、消息的消費者;另外 ...
  • 很多小伙伴都喜歡小游戲源碼,想學一手Python做小游戲,問我做游戲難不難,要怎麼做,接下來我就介紹一下,如何用Python做游戲。 游戲演示 2048小游戲 表白彈窗 貪吃蛇 五子棋 俄羅斯方塊 超多小游戲,讓你一個爽個夠! 用PyGame做游戲非常簡單,我們今天第一篇文章,讓大家實現一個可以在地 ...
  • 我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...
  • 一、應用場景 大家在使用Mybatis進行開發的時候,經常會遇到一種情況:按照月份month將數據放在不同的表裡面,查詢數據的時候需要跟不同的月份month去查詢不同的表。 但是我們都知道,Mybatis是ORM持久層框架,即:實體關係映射,實體Object與資料庫表之間是存在一一對應的映射關係。比 ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 1.講故事 在分析的眾多dump中,經常會遇到各種奇葩的問題,僅通過dump這種快照形式還是有很多問題搞不定,而通過 perfview 這種粒度又太粗,很難找到問題之所在,真的很頭疼,比如本篇的 短命線程 問題,參考圖如下: 我們在 t2 時刻抓取的dump對查看 短命線程 毫無幫助,我根 ...
  • 在日常後端Api開發中,我們跟前端的溝通中,通常需要協商好入參的數據類型,和參數是通過什麼方式存在於請求中的,是表單(form)、請求體(body)、地址欄參數(query)、還是說通過請求頭(header)。 當協商好後,我們的介面又需要怎麼去接收這些數據呢?很多小伙伴可能上手就是直接寫一個實體, ...
  • 許多情況下我們需要用到攝像頭獲取圖像,進而處理圖像,這篇博文介紹利用pyqt5、OpenCV實現用電腦上連接的攝像頭拍照並保存照片。為了使用和後續開發方便,這裡利用pyqt5設計了個相機界面,後面將介紹如何實現,要點包括界面設計、邏輯實現及完整代碼。 ...
  • 思路分析 註冊頁面需要對用戶提交的數據進行校驗,並且需要對用戶輸入錯誤的地方進行提示! 所有我們需要使用forms組件搭建註冊頁面! 平時我們書寫form是組件的時候是在views.py裡面書寫的, 但是為了接耦合,我們需要將forms組件都單獨寫在一個地方,需要用的時候導入就行! 例如,在項目文件 ...
  • 思路分析 登錄頁面,我們還是採用ajax的方式提交用戶數據 唯一需要學習的是如何製作圖片驗證碼! 具體的登錄頁面效果圖如下: 如何製作圖片驗證碼 推導步驟1:在img標簽的src屬性里放上驗證碼的請求路徑 補充1.img的src屬性: 1.圖片路徑 2.url 3.圖片的二進位數據 補充2:字體樣式 ...
  • 哈嘍,兄弟們! 最近有許多小伙伴都在吐槽打工好難。 每天都是執行許多重覆的任務 例如閱讀新聞、發郵件、查看天氣、打開書簽、清理文件夾等等, 使用自動化腳本,就無需手動一次又一次地完成這些任務, 非常方便啊有木有?! 而在某種程度上,Python 就是自動化的代名詞。 今天就來和大家一起學習一下, 用 ...
  • 作者:IT王小二 博客:https://itwxe.com 前面小二介紹過使用Typora+PicGo+LskyPro打造舒適寫作環境,那時候需要使用水印功能,但是小二在升級LskyPro2.x版本發現有很多不如人意的東西,遂棄用LskyPro使用MinIO結合代碼實現自己需要的圖床功能,也適合以後 ...
  • OpenAI Gym是一款用於研發和比較強化學習演算法的工具包,本文主要介紹Gym模擬環境的功能和工具包的使用方法,並詳細介紹其中的經典控制問題中的倒立擺(CartPole-v0/1)問題。最後針對倒立擺問題如何建立控制模型並採用爬山演算法優化進行了介紹,並給出了相應的完整python代碼示例和解釋。要... ...
  • python爬蟲瀏覽器偽裝 #導入urllib.request模塊 import urllib.request #設置請求頭 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, l ...
  • 前端代碼搭建 主要利用的是bootstrap3中js插件里的模態框版塊 <li><a href="" data-toggle="modal" data-target=".bs-example-modal-lg">修改密碼</a></li> <div class="modal fade bs-exam ...