XUnit數據共用與並行測試

来源:https://www.cnblogs.com/podolski/archive/2023/05/10/17388602.html
-Advertisement-
Play Games

引言 在單元或者集成測試的過程中，需要測試的用例非常多，如果測試是一條一條過，那麼需要花費不少的時間。從 V2 開始，預設情況下 XUnit 自動配置並行（參考資料），大大提升了測試速度。本文將對 ASP.NET CORE WEBAPI 程式進行集成測試，並探討 XUnit 的數據共用與測試並行的方 ...


引言

在單元或者集成測試的過程中，需要測試的用例非常多，如果測試是一條一條過，那麼需要花費不少的時間。從 V2 開始，預設情況下 XUnit 自動配置並行（參考資料），大大提升了測試速度。本文將對 ASP.NET CORE WEBAPI 程式進行集成測試，並探討 XUnit 的數據共用與測試並行的方法。

XUnit預設在一個類內的測試代碼是串列執行的，而在不同類的測試代碼是並行執行的。

集成測試

對於集成測試來說，我們有一些比較重的資源初始化，而我並不想他們在並行執行中重覆初始化，因此需要將並行執行的資源共用。

我們現在的測試類是這樣的：

    public class ProgramTests : IClassFixture<WebApplicationFactory<Program>>
    {
        private readonly WebApplicationFactory<Program> _factory;
        private readonly ITestOutputHelper testOutputHelper;
        private readonly HttpClient _client;
        public ProgramTests(WebApplicationFactory<Program> factory, ITestOutputHelper testOutputHelper)
        {
            _factory = factory;
            this.testOutputHelper = testOutputHelper;
            _client = _factory.WithWebHostBuilder(builder =>
            {
                builder.UseEnvironment(Environments.Production);
            }).CreateClient(new WebApplicationFactoryClientOptions() { BaseAddress = new Uri("http://localhost:9000") });
            var token = TokenHelper.GetToken("username", "password");
            _client.DefaultRequestHeaders.Authorization = new System.Net.Http.Headers.AuthenticationHeaderValue("Bearer", token);
            // Act
        }

        [Fact]
        public async Task V1Legacy_GetDeviceInfoes()
        {
            string url = "url1";
            // Arrange
            testOutputHelper.WriteLine($"Testing:{url}");
            var response = await _client.GetAsync(url);

            // Assert
            response.EnsureSuccessStatusCode(); // Status Code 200-299
            var result = await response.Content.ReadAsStringAsync();
            var target = JsonSerializer.Deserialize<DeviceInfo>(result, new JsonSerializerOptions { PropertyNameCaseInsensitive = true });
            Assert.NotNull(target); 
        }

        [Fact]
        public async Task V1Legacy_GetCurrent()
        {
            var url = "url2";
            // Arrange
            testOutputHelper.WriteLine($"Testing:{url}");
            var response = await _client.GetAsync(url);

            // Assert
            response.EnsureSuccessStatusCode(); // Status Code 200-299
            var result = await response.Content.ReadAsStringAsync();
            var target = JsonSerializer.Deserialize<DeviceDataDto>(result, new JsonSerializerOptions {PropertyNameCaseInsensitive = true });
            Assert.NotNull(target);
        }

        [Theory]
        [InlineData("url3")]
        [InlineData("url4")]
        public async Task V1Legacy_CheckUrlExist(string url)
        {
            // Arrange
            testOutputHelper.WriteLine($"Testing:{url}");
            var request = new HttpRequestMessage(HttpMethod.Head, url);
            var response = await _client.SendAsync(request);

            // Assert
            Assert.NotEqual(404, (int)response.StatusCode); 
        }
    }

在這個測試中，使用 IClassFixture 進行集成測試，確保同一個類之內的代碼共用同一個資源，不同測試方法串列執行。

TIPS: 這裡我使用 HEAD 請求來探查給定地址是否存在，ASP. NET CORE 會預設拒絕這個請求（返回406），但是不會提示 404 的錯誤。

現在的運行時間是這樣的：

單類優化

首先研究為什麼這個程式花費瞭如此多的時間執行測試，XUnit 在進行不同 Fact 的測試時，會生成不同的對象，我們已經通過實現 IClassFixture<WebApplicationFactory<Program>> 共用了必要的數據嗎？

並沒有，XUnit 只是註入了 WebApplicationFactory<Program>，而我們在構造函數中執行了很多費時間的操作，包括構造 HttpClient ，獲取 token 等。由於獲取 token 的函數需要調用外部服務花費了很長的時間，我們可以嘗試註入 HttpClient 進行優化。

請註意：大多數情況註入 HttpClient 不是一個好主意，更推薦利用 WebApplicationFactory<Program> 對每個測試動態生成 HttpClient 以保證 HttpClient 是初始乾凈的狀態。

我們加入一個新的類：

    public class SharedHttpClientFixture : IDisposable
    {
        public HttpClient Client { get; init; }

        public SharedHttpClientFixture()
        {
            WebApplicationFactory<YourAssemblyName.Program> factory = new();
            
                Client = factory.WithWebHostBuilder(builder =>
                        {
                            builder.UseEnvironment(Environments.Production);
                        }).CreateClient(new WebApplicationFactoryClientOptions() { BaseAddress = new Uri("http://localhost:9000") });

            var token = TokenHelper.GetToken("username", "password");
            Client.DefaultRequestHeaders.Authorization = new System.Net.Http.Headers.AuthenticationHeaderValue("Bearer", token);
            // Act
        }

        public void Dispose()
        {
            //throw new NotImplementedException();
        }
    }

並修改測試類的簽名：

    public class ProgramTests : IClassFixture<SharedHttpClientFixture>
    {
        private readonly ITestOutputHelper testOutputHelper;
        private readonly HttpClient _client;
        public ProgramTests(SharedHttpClientFixture httpClientFixture, ITestOutputHelper testOutputHelper)
        {
            _client = httpClientFixture.Client;
            this.testOutputHelper = testOutputHelper;
        }

改完之後，速度提升效果還是非常顯著的：
image

跨類串列

我們多數情況下不會將所有的測試都放在一個類中，對於多個類，我們需要跨類共用。XUnit 使用 ICollectionFixture<> 支持跨類共用。代碼主體拆成兩個類，並修改類簽名如下：

    [Collection("V1 Test Fixture")]
    public class ProgramTests
    {
    ...
    }
    [Collection("V1 Test Fixture")]
    public class UploadTests
    {
	....
	}

我們需要新定義一個類，這個類沒有實質性作用，只是作為標識：

    [CollectionDefinition("V1 Test Fixture")]
    public class TestCollection : ICollectionFixture<SharedHttpClientFixture>
    {
        // This class has no code, and is never created. Its purpose is simply
        // to be the place to apply [CollectionDefinition] and all the
        // ICollectionFixture<> interfaces.
    }

我們針對多個類進行測試：
image

跨類並行（數據不共用）

我們註意到，不同類使用了相同的 Collection 進行標註，因此他們實際上會進行同步調度——上一個執行完成後才會開始執行下一個測試。我們如果使用並行會怎麼樣呢？顯然，修改 Colleciton 會對每個類都生成一次需要註入對象，數據不能直接被共用。

    [Collection("V1 Test Fixture1")]
    public class ProgramTests
    {
    ...
    }
    [Collection("V1 Test Fixture")]
    public class UploadTests
    {
	....
	}
	[CollectionDefinition("V1 Test Fixture1")]
    public class Test1Collection : ICollectionFixture<SharedHttpClientFixture>
    {
        // This class has no code, and is never created. Its purpose is simply
        // to be the place to apply [CollectionDefinition] and all the
        // ICollectionFixture<> interfaces.
    }
        [CollectionDefinition("V1 Test Fixture")]
    public class TestCollection : ICollectionFixture<SharedHttpClientFixture>
    {
        // This class has no code, and is never created. Its purpose is simply
        // to be the place to apply [CollectionDefinition] and all the
        // ICollectionFixture<> interfaces.
    }

初始化語句會被執行兩次，我們實現了並行，但是數據並不是共用的。（大多數情況下已經夠用了。）
image

跨類並行（數據共用）

由於任務並行無法得知其他任務的工作狀態，這個時候數據共用可能會引入很多線程問題（競爭、死鎖等），因此不太建議在這種情況下進行共用，我最終也是使用的並行不共用的方式實現。如果我們非得這麼用，也不是不行，我們需要小心處理線程同步問題，以互斥鎖為例：

 public class SharedHttpClientFixture : IDisposable
    {
        private static HttpClient _httpClient;
        public HttpClient Client => GetClient();

        private HttpClient GetClient()
        {
            if (_httpClient == null) Init();
            return _httpClient;
        }


        public static Mutex count = new();

        public SharedHttpClientFixture()
        {

        }

        private void Init()
        {
            count.WaitOne();
            if(_httpClient == null)
            {
				...
            }
            count.ReleaseMutex();
        }

        public void Dispose()
        {
            //throw new NotImplementedException();
        }
}

這樣多個類型使用靜態變數實現了共用，並利用互斥鎖保證初始化只執行一次。
image

由於引入了線程同步機制，這種情況下，並行測試並不一定意味著性能會更好，實際上往往還會更差。

生命周期

XUnit 對共用的數據類型執行以下策略：

  • 對 IClassFixture，類的第一個測試方法執行之前，會對註入對象進行初始化。隨後每一個方法都會生成測試的類的新對象，並將註入對象傳遞給他們，在測試類中所有測試方法執行完畢後銷毀。
  • 對 ICollectionFixture，多個類中執行的第一個測試方法之前會對註入對象進行初始化。隨後每一個方法都會生成測試類的新對象，並且將註入對象傳遞給他們，在所有測試類的最後一個方法執行完畢之後銷毀。

Program 可見性

預設情況下 Program 是其他項目不可見的，這樣會導致 WebApplicationFactory<Program> 提示錯誤。.NET 6 開始引入了 minimal API，我的項目是升級而來，並沒有使用到這個東西，所以 Program 類是對外可見的。

    public class Program
    {
        static void Main(string[] args)
        {
            var builder = WebApplication.CreateBuilder(args);
            builder.WebHost.UseUrls("http://*:9000");
            ConfigureServices(builder.Services, builder.Configuration);
            var app = builder.Build();
            Configure(app);
            app.Run();
        }
    }

如果使用 Minimal API，那麼你需要在項目文件中對測試項目公開可見性。

<ItemGroup>
     <InternalsVisibleTo Include="MyTestProject" />
</ItemGroup>

或者在 Program.cs 的最後加上一行。

var builder = WebApplication.CreateBuilder(args);
// ... Configure services, routes, etc.
app.Run();
+ public partial class Program { }

註意事項

在 Microsoft.VisualStudio.TestPlatform.TestHost 命名空間也有一個 Program 類，如果你自己實現自定義類型，由於預設引用，不註意就使用了這個東西，而不是你 API 的 Program 類，這樣會導致測試無法運行，提示：“找不到 testHost.dep.json”這樣的錯誤，所以儘量使用帶命名空間的限定名稱。

結論

在 XUnit 測試中，可以使用 IClassFixture 與 ICollectionFixture 來進行數據共用，對於相同類之間的測試會預設進行的串列測試，對不同類之間共用數據的情況，也會進行串列調用。對於在不同類的測試，推薦使用不共用數據的並行測試，數據共用越多，造成狀態不一致的風險就越大，因此建議有限制地使用測試數據共用。

請註意，XUnit 不會統計註入對象的初始化時間，而且多次運行測試時間會有一些區別，因此本文中列出的時間僅供參考。

拓展閱讀

如果覺得自帶的方註入方式滿足不了你的要求，那麼可以考慮使用第三方類庫實現的支持 XUnit 的依賴註入容器。請關註這個項目： pengweiqhca/Xunit.DependencyInjection: Use Microsoft.Extensions.DependencyInjection to resolve xUnit test cases. (github.com)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Python中的交互庫-os庫
    本文設計並實現了一種專用於路徑路由匹配的規則，以一種簡單而通用的方式描述一組路徑的特征，來簡化這種場景路由描述難度，讓小白可以快速學習並上手。 ...
  • 【pandas基礎】--數據檢索
    pandas的數據檢索功能是其最基礎也是最重要的功能之一。 pandas中最常用的幾種數據過濾方式如下： 行列過濾：選取指定的行或者列 條件過濾：對列的數據設置過濾條件 函數過濾：通過函數設置更加複雜的過濾條件 本篇所有示例所使用的測試數據如下： import pandas as pd import ...
  • 萬字長文詳解如何使用Swift提高代碼質量
    京喜APP最早在2019年引入了Swift，使用Swift完成了第一個訂單模塊的開發。之後一年多我們持續在團隊/公司內部推廣和普及Swift，目前Swift已經支撐了70%+以上的業務。通過使用Swift提高了團隊內同學的開發效率，同時也帶來了質量的提升，目前來自Swift的Crash的占比不到1%... ...
  • SpringBoot定義優雅全局統一Restful API 響應框架四
    好代碼是優化出來的，不是寫出來的！！ 如果沒看前面文章，可以先看前面幾篇 SpringBoot定義優雅全局統一Restful API 響應框架 ...
  • 高效c語言1快速入門
    對象存儲是雲的基礎組件之一，各大雲廠商都有相關產品。這裡跟大家介紹一下rust與對象存儲交到的基本套路和其中的一些技巧。 ...
  • Java的抽象類 & 介面
    抽象類：在子類繼承父類時，父類的一些方法實現是不明確的（父類對子類的實現一無所知）。這時需要使父類是抽象類，在子類中提供方法的實現。 介面（interface）技術主要用來描述類具有什麼功能，而並不給出每個功能的具體實現。 ...
  • 【11個適合畢設的Python可視化大屏】用pyecharts開發拖拽式可視化數據大屏
    你好，我是@馬哥python說，一枚10年程式猿。 一、效果演示 以下是我近期用Python開發的原創可視化數據分析大屏，非常適合畢設用，下麵逐一展示：（以下是截圖，實際上有動態交互效果哦） 以下大屏均為@馬哥python說的個人原創，請勿轉載。 1.1 影視劇分析大屏 1.2 豆瓣電影分析大屏A ...
  • ASP.NET Core MVC 從入門到精通之文件上傳
    隨著技術的發展，ASP.NET Core MVC也推出了好長時間，經過不斷的版本更新迭代，已經越來越完善，本系列文章主要講解ASP.NET Core MVC開發B/S系統過程中所涉及到的相關內容，適用於初學者，在校畢業生，或其他想從事ASP.NET Core MVC 系統開發的人員。 經過前幾篇文章... ...
一周排行
    -Advertisement-
    Play Games
  • 如何基於surging跨網關跨語言進行緩存降級
    基於.NET Framework 4.8 開發的深度學習模型部署測試平臺，提供了YOLO框架的主流系列模型，包括YOLOv8~v9，以及其系列下的Det、Seg、Pose、Obb、Cls等應用場景，同時支持圖像與視頻檢測。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runti... ...
  • 十年沉澱，重啟開發之路
    十年沉澱，重啟開發之路 十年前，我沉浸在開發的海洋中，每日與代碼為伍，與演算法共舞。那時的我，滿懷激情，對技術的追求近乎狂熱。然而，隨著歲月的流逝，生活的忙碌逐漸占據了我的大部分時間，讓我無暇顧及技術的沉澱與積累。 十年間，我經歷了職業生涯的起伏和變遷。從初出茅廬的菜鳥到逐漸嶄露頭角的開發者，我見證了 ...
  • C#.NET體系圖文概述—2024最全總結
    C# 是一種簡單、現代、面向對象和類型安全的編程語言。.NET 是由 Microsoft 創建的開發平臺，平臺包含了語言規範、工具、運行，支持開發各種應用，如Web、移動、桌面等。.NET框架有多個實現，如.NET Framework、.NET Core（及後續的.NET 5+版本），以及社區版本M... ...
  • 班級擂臺（光榮）榜 - 極簡教育小工具
    前言 本文介紹瞭如何使用三菱提供的MX Component插件實現對三菱PLC軟元件數據的讀寫，記錄了使用電腦模擬，模擬PLC，直至完成測試的詳細流程，並重點介紹了在這個過程中的易錯點，供參考。 用到的軟體： 1. PLC開發編程環境GX Works2，GX Works2下載鏈接 https:// ...
  • web server apache tomcat11-31-websocket
    前言 整理這個官方翻譯的系列，原因是網上大部分的 tomcat 版本比較舊，此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎，輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • day31-jQuery
    1、jQuery介紹 jQuery是什麼 jQuery是一個快速、簡潔的JavaScript框架，是繼Prototype之後又一個優秀的JavaScript代碼庫（或JavaScript框架）。jQuery設計的宗旨是“write Less，Do More”，即倡導寫更少的代碼，做更多的事情。它封裝 ...
  • aardio爬蟲) 實戰篇：逆向有道翻譯web介面
    前言 之前的文章把js引擎(aardio封裝庫) 微軟開源的js引擎(ChakraCore))寫好了，這篇文章整點js代碼來測一下bug。測試網站：https://fanyi.youdao.com/index.html#/ 逆向思路 逆向思路可以看有道翻譯js逆向（MD5加密，AES加密）附完整源碼 ...
  • 面試官：這就是你理解的Java多線程基礎？
    引言 現代的操作系統（Windows，Linux，Mac OS）等都可以同時打開多個軟體（任務），這些軟體在我們的感知上是同時運行的，例如我們可以一邊瀏覽網頁，一邊聽音樂。而CPU執行代碼同一時間只能執行一條，但即使我們的電腦是單核CPU也可以同時運行多個任務，如下圖所示，這是因為我們的 CPU 的 ...
  • Python文本統計與分析從基礎到進階
    掌握使用Python進行文本英文統計的基本方法，並瞭解如何進一步優化和擴展這些方法，以應對更複雜的文本分析任務。 ...
  • Redis多數據源，看這篇就夠了
    背景 Redis多數據源常見的場景： 分區數據處理：當數據量增長時，單個Redis實例可能無法處理所有的數據。通過使用多個Redis數據源，可以將數據分區存儲在不同的實例中，使得數據處理更加高效。 多租戶應用程式：對於多租戶應用程式，每個租戶可以擁有自己的Redis數據源，以確保數據隔離和安全性。 ...
所有分類