XUnit數據共用與並行測試

来源:https://www.cnblogs.com/podolski/archive/2023/05/10/17388602.html
-Advertisement-
Play Games

引言 在單元或者集成測試的過程中，需要測試的用例非常多，如果測試是一條一條過，那麼需要花費不少的時間。從 V2 開始，預設情況下 XUnit 自動配置並行（參考資料），大大提升了測試速度。本文將對 ASP.NET CORE WEBAPI 程式進行集成測試，並探討 XUnit 的數據共用與測試並行的方 ...


引言

在單元或者集成測試的過程中，需要測試的用例非常多，如果測試是一條一條過，那麼需要花費不少的時間。從 V2 開始，預設情況下 XUnit 自動配置並行（參考資料），大大提升了測試速度。本文將對 ASP.NET CORE WEBAPI 程式進行集成測試，並探討 XUnit 的數據共用與測試並行的方法。

XUnit預設在一個類內的測試代碼是串列執行的，而在不同類的測試代碼是並行執行的。

集成測試

對於集成測試來說，我們有一些比較重的資源初始化，而我並不想他們在並行執行中重覆初始化，因此需要將並行執行的資源共用。

我們現在的測試類是這樣的：

    public class ProgramTests : IClassFixture<WebApplicationFactory<Program>>
    {
        private readonly WebApplicationFactory<Program> _factory;
        private readonly ITestOutputHelper testOutputHelper;
        private readonly HttpClient _client;
        public ProgramTests(WebApplicationFactory<Program> factory, ITestOutputHelper testOutputHelper)
        {
            _factory = factory;
            this.testOutputHelper = testOutputHelper;
            _client = _factory.WithWebHostBuilder(builder =>
            {
                builder.UseEnvironment(Environments.Production);
            }).CreateClient(new WebApplicationFactoryClientOptions() { BaseAddress = new Uri("http://localhost:9000") });
            var token = TokenHelper.GetToken("username", "password");
            _client.DefaultRequestHeaders.Authorization = new System.Net.Http.Headers.AuthenticationHeaderValue("Bearer", token);
            // Act
        }

        [Fact]
        public async Task V1Legacy_GetDeviceInfoes()
        {
            string url = "url1";
            // Arrange
            testOutputHelper.WriteLine($"Testing:{url}");
            var response = await _client.GetAsync(url);

            // Assert
            response.EnsureSuccessStatusCode(); // Status Code 200-299
            var result = await response.Content.ReadAsStringAsync();
            var target = JsonSerializer.Deserialize<DeviceInfo>(result, new JsonSerializerOptions { PropertyNameCaseInsensitive = true });
            Assert.NotNull(target); 
        }

        [Fact]
        public async Task V1Legacy_GetCurrent()
        {
            var url = "url2";
            // Arrange
            testOutputHelper.WriteLine($"Testing:{url}");
            var response = await _client.GetAsync(url);

            // Assert
            response.EnsureSuccessStatusCode(); // Status Code 200-299
            var result = await response.Content.ReadAsStringAsync();
            var target = JsonSerializer.Deserialize<DeviceDataDto>(result, new JsonSerializerOptions {PropertyNameCaseInsensitive = true });
            Assert.NotNull(target);
        }

        [Theory]
        [InlineData("url3")]
        [InlineData("url4")]
        public async Task V1Legacy_CheckUrlExist(string url)
        {
            // Arrange
            testOutputHelper.WriteLine($"Testing:{url}");
            var request = new HttpRequestMessage(HttpMethod.Head, url);
            var response = await _client.SendAsync(request);

            // Assert
            Assert.NotEqual(404, (int)response.StatusCode); 
        }
    }

在這個測試中，使用 IClassFixture 進行集成測試，確保同一個類之內的代碼共用同一個資源，不同測試方法串列執行。

TIPS: 這裡我使用 HEAD 請求來探查給定地址是否存在，ASP. NET CORE 會預設拒絕這個請求（返回406），但是不會提示 404 的錯誤。

現在的運行時間是這樣的：

單類優化

首先研究為什麼這個程式花費瞭如此多的時間執行測試，XUnit 在進行不同 Fact 的測試時，會生成不同的對象，我們已經通過實現 IClassFixture<WebApplicationFactory<Program>> 共用了必要的數據嗎？

並沒有，XUnit 只是註入了 WebApplicationFactory<Program>，而我們在構造函數中執行了很多費時間的操作，包括構造 HttpClient ，獲取 token 等。由於獲取 token 的函數需要調用外部服務花費了很長的時間，我們可以嘗試註入 HttpClient 進行優化。

請註意：大多數情況註入 HttpClient 不是一個好主意，更推薦利用 WebApplicationFactory<Program> 對每個測試動態生成 HttpClient 以保證 HttpClient 是初始乾凈的狀態。

我們加入一個新的類：

    public class SharedHttpClientFixture : IDisposable
    {
        public HttpClient Client { get; init; }

        public SharedHttpClientFixture()
        {
            WebApplicationFactory<YourAssemblyName.Program> factory = new();
            
                Client = factory.WithWebHostBuilder(builder =>
                        {
                            builder.UseEnvironment(Environments.Production);
                        }).CreateClient(new WebApplicationFactoryClientOptions() { BaseAddress = new Uri("http://localhost:9000") });

            var token = TokenHelper.GetToken("username", "password");
            Client.DefaultRequestHeaders.Authorization = new System.Net.Http.Headers.AuthenticationHeaderValue("Bearer", token);
            // Act
        }

        public void Dispose()
        {
            //throw new NotImplementedException();
        }
    }

並修改測試類的簽名：

    public class ProgramTests : IClassFixture<SharedHttpClientFixture>
    {
        private readonly ITestOutputHelper testOutputHelper;
        private readonly HttpClient _client;
        public ProgramTests(SharedHttpClientFixture httpClientFixture, ITestOutputHelper testOutputHelper)
        {
            _client = httpClientFixture.Client;
            this.testOutputHelper = testOutputHelper;
        }

改完之後，速度提升效果還是非常顯著的：
image

跨類串列

我們多數情況下不會將所有的測試都放在一個類中，對於多個類，我們需要跨類共用。XUnit 使用 ICollectionFixture<> 支持跨類共用。代碼主體拆成兩個類，並修改類簽名如下：

    [Collection("V1 Test Fixture")]
    public class ProgramTests
    {
    ...
    }
    [Collection("V1 Test Fixture")]
    public class UploadTests
    {
	....
	}

我們需要新定義一個類，這個類沒有實質性作用，只是作為標識：

    [CollectionDefinition("V1 Test Fixture")]
    public class TestCollection : ICollectionFixture<SharedHttpClientFixture>
    {
        // This class has no code, and is never created. Its purpose is simply
        // to be the place to apply [CollectionDefinition] and all the
        // ICollectionFixture<> interfaces.
    }

我們針對多個類進行測試：
image

跨類並行（數據不共用）

我們註意到，不同類使用了相同的 Collection 進行標註，因此他們實際上會進行同步調度——上一個執行完成後才會開始執行下一個測試。我們如果使用並行會怎麼樣呢？顯然，修改 Colleciton 會對每個類都生成一次需要註入對象，數據不能直接被共用。

    [Collection("V1 Test Fixture1")]
    public class ProgramTests
    {
    ...
    }
    [Collection("V1 Test Fixture")]
    public class UploadTests
    {
	....
	}
	[CollectionDefinition("V1 Test Fixture1")]
    public class Test1Collection : ICollectionFixture<SharedHttpClientFixture>
    {
        // This class has no code, and is never created. Its purpose is simply
        // to be the place to apply [CollectionDefinition] and all the
        // ICollectionFixture<> interfaces.
    }
        [CollectionDefinition("V1 Test Fixture")]
    public class TestCollection : ICollectionFixture<SharedHttpClientFixture>
    {
        // This class has no code, and is never created. Its purpose is simply
        // to be the place to apply [CollectionDefinition] and all the
        // ICollectionFixture<> interfaces.
    }

初始化語句會被執行兩次，我們實現了並行，但是數據並不是共用的。（大多數情況下已經夠用了。）
image

跨類並行（數據共用）

由於任務並行無法得知其他任務的工作狀態，這個時候數據共用可能會引入很多線程問題（競爭、死鎖等），因此不太建議在這種情況下進行共用，我最終也是使用的並行不共用的方式實現。如果我們非得這麼用，也不是不行，我們需要小心處理線程同步問題，以互斥鎖為例：

 public class SharedHttpClientFixture : IDisposable
    {
        private static HttpClient _httpClient;
        public HttpClient Client => GetClient();

        private HttpClient GetClient()
        {
            if (_httpClient == null) Init();
            return _httpClient;
        }


        public static Mutex count = new();

        public SharedHttpClientFixture()
        {

        }

        private void Init()
        {
            count.WaitOne();
            if(_httpClient == null)
            {
				...
            }
            count.ReleaseMutex();
        }

        public void Dispose()
        {
            //throw new NotImplementedException();
        }
}

這樣多個類型使用靜態變數實現了共用，並利用互斥鎖保證初始化只執行一次。
image

由於引入了線程同步機制，這種情況下，並行測試並不一定意味著性能會更好，實際上往往還會更差。

生命周期

XUnit 對共用的數據類型執行以下策略：

  • 對 IClassFixture，類的第一個測試方法執行之前，會對註入對象進行初始化。隨後每一個方法都會生成測試的類的新對象，並將註入對象傳遞給他們，在測試類中所有測試方法執行完畢後銷毀。
  • 對 ICollectionFixture，多個類中執行的第一個測試方法之前會對註入對象進行初始化。隨後每一個方法都會生成測試類的新對象，並且將註入對象傳遞給他們，在所有測試類的最後一個方法執行完畢之後銷毀。

Program 可見性

預設情況下 Program 是其他項目不可見的，這樣會導致 WebApplicationFactory<Program> 提示錯誤。.NET 6 開始引入了 minimal API，我的項目是升級而來，並沒有使用到這個東西，所以 Program 類是對外可見的。

    public class Program
    {
        static void Main(string[] args)
        {
            var builder = WebApplication.CreateBuilder(args);
            builder.WebHost.UseUrls("http://*:9000");
            ConfigureServices(builder.Services, builder.Configuration);
            var app = builder.Build();
            Configure(app);
            app.Run();
        }
    }

如果使用 Minimal API，那麼你需要在項目文件中對測試項目公開可見性。

<ItemGroup>
     <InternalsVisibleTo Include="MyTestProject" />
</ItemGroup>

或者在 Program.cs 的最後加上一行。

var builder = WebApplication.CreateBuilder(args);
// ... Configure services, routes, etc.
app.Run();
+ public partial class Program { }

註意事項

在 Microsoft.VisualStudio.TestPlatform.TestHost 命名空間也有一個 Program 類，如果你自己實現自定義類型，由於預設引用，不註意就使用了這個東西，而不是你 API 的 Program 類，這樣會導致測試無法運行，提示：“找不到 testHost.dep.json”這樣的錯誤，所以儘量使用帶命名空間的限定名稱。

結論

在 XUnit 測試中，可以使用 IClassFixture 與 ICollectionFixture 來進行數據共用，對於相同類之間的測試會預設進行的串列測試，對不同類之間共用數據的情況，也會進行串列調用。對於在不同類的測試，推薦使用不共用數據的並行測試，數據共用越多，造成狀態不一致的風險就越大，因此建議有限制地使用測試數據共用。

請註意，XUnit 不會統計註入對象的初始化時間，而且多次運行測試時間會有一些區別，因此本文中列出的時間僅供參考。

拓展閱讀

如果覺得自帶的方註入方式滿足不了你的要求，那麼可以考慮使用第三方類庫實現的支持 XUnit 的依賴註入容器。請關註這個項目： pengweiqhca/Xunit.DependencyInjection: Use Microsoft.Extensions.DependencyInjection to resolve xUnit test cases. (github.com)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Python中的交互庫-os庫
    本文設計並實現了一種專用於路徑路由匹配的規則，以一種簡單而通用的方式描述一組路徑的特征，來簡化這種場景路由描述難度，讓小白可以快速學習並上手。 ...
  • 【pandas基礎】--數據檢索
    pandas的數據檢索功能是其最基礎也是最重要的功能之一。 pandas中最常用的幾種數據過濾方式如下： 行列過濾：選取指定的行或者列 條件過濾：對列的數據設置過濾條件 函數過濾：通過函數設置更加複雜的過濾條件 本篇所有示例所使用的測試數據如下： import pandas as pd import ...
  • 萬字長文詳解如何使用Swift提高代碼質量
    京喜APP最早在2019年引入了Swift，使用Swift完成了第一個訂單模塊的開發。之後一年多我們持續在團隊/公司內部推廣和普及Swift，目前Swift已經支撐了70%+以上的業務。通過使用Swift提高了團隊內同學的開發效率，同時也帶來了質量的提升，目前來自Swift的Crash的占比不到1%... ...
  • SpringBoot定義優雅全局統一Restful API 響應框架四
    好代碼是優化出來的，不是寫出來的！！ 如果沒看前面文章，可以先看前面幾篇 SpringBoot定義優雅全局統一Restful API 響應框架 ...
  • 高效c語言1快速入門
    對象存儲是雲的基礎組件之一，各大雲廠商都有相關產品。這裡跟大家介紹一下rust與對象存儲交到的基本套路和其中的一些技巧。 ...
  • Java的抽象類 & 介面
    抽象類：在子類繼承父類時，父類的一些方法實現是不明確的（父類對子類的實現一無所知）。這時需要使父類是抽象類，在子類中提供方法的實現。 介面（interface）技術主要用來描述類具有什麼功能，而並不給出每個功能的具體實現。 ...
  • 【11個適合畢設的Python可視化大屏】用pyecharts開發拖拽式可視化數據大屏
    你好，我是@馬哥python說，一枚10年程式猿。 一、效果演示 以下是我近期用Python開發的原創可視化數據分析大屏，非常適合畢設用，下麵逐一展示：（以下是截圖，實際上有動態交互效果哦） 以下大屏均為@馬哥python說的個人原創，請勿轉載。 1.1 影視劇分析大屏 1.2 豆瓣電影分析大屏A ...
  • ASP.NET Core MVC 從入門到精通之文件上傳
    隨著技術的發展，ASP.NET Core MVC也推出了好長時間，經過不斷的版本更新迭代，已經越來越完善，本系列文章主要講解ASP.NET Core MVC開發B/S系統過程中所涉及到的相關內容，適用於初學者，在校畢業生，或其他想從事ASP.NET Core MVC 系統開發的人員。 經過前幾篇文章... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類