什麼是性能測試 在軟體開發中,性能測試是一種常見的測試實踐,用於確定系統在特定工作負載下的響應能力和穩定性表現。它還用於排查,觀察,驗證系統在其他方面的質量。例如可擴展性,可靠性和資源使用情況。 性能測試是測試工程的一個子集,是一種電腦科學實踐,致力於將性能指標構建在系統的設計,實現和架構中。 相 ...
什麼是性能測試
在軟體開發中,性能測試是一種常見的測試實踐,用於確定系統在特定工作負載下的響應能力和穩定性表現。它還用於排查,觀察,驗證系統在其他方面的質量。例如可擴展性,可靠性和資源使用情況。
性能測試是測試工程的一個子集,是一種電腦科學實踐,致力於將性能指標構建在系統的設計,實現和架構中。
相關概念解釋
釋意 | |
---|---|
QPS | 每秒查詢率 Queries Per Second。每秒的響應請求數,也即是最大吞吐能力,是衡量伺服器性能端一個重要指標。 |
TPS | 每秒處理的事務數目 Transactions Per Second。每個 TPS 包含一個完整的請求流程(客戶端請求服務端-> 服務端響應並處理【包含資料庫訪問】 -> 服務端返回給客戶端) |
RPS | 每秒吞吐率 Requests Per Second。指的是某個併發用戶數下單位時間內處理的請求數。在不考慮事務的情況下可以近似與 TPS。 |
常見性能測試工具
由於我對其他測試框架不是很瞭解,這裡只是簡單的羅列,感興趣的同學可以幫忙補充。關於這幾種測試框架的對比,可以參考 Thoughtworks 的一篇洞見(文末有連接):
K6 介紹
K6 是一個基於 Go
語言實現的一個負載測試工具,其官網描述為: The best developer experience for load testing
。具有如下關鍵特點:
- 提供對開發者友好的 CLI 工具
- 使用 JS/TS 進行腳本編寫,支持本地和遠程模塊
- 提供
Check
和Thresholds
功能,以目標為導向,友好的自動化測試 - 支持多種 DevOps 平臺和可視化平臺
常見性能測試類型
維基百科羅列了多達 8 種 性能測試類型,感興趣的小伙伴可以查看文末連接查看更多詳細內容。這裡結合 K6 主要介紹如下幾種測試類型如下幾種常見的測試類型:
釋意 | |
---|---|
Smoke testing | 中文釋意為 冒煙測試。是一種常規測試。通過配置最小負載來驗證系統的完整性。其主要目的是:驗證測試腳本是否有問題;驗證系統在最小負載情況下是否出現異常。 |
Load testing | 中文釋意為 負載測試。是一種重要的性能測試。主要關註根據併發用戶數或每秒請求數評估系統的當前性能。其主要目的是:用於確定系統在正常和峰值條件下的行為,確保當許多用戶同時訪問應用程式時,應用程式的性能能達到令人滿意的程度。 |
Stress testing | 中文釋意為 壓力測試。用於確定系統的性能瓶頸。其主要目的是:驗證系統在極端條件下的穩定性和可靠性。 |
Soak testing | 中文釋意為 浸泡測試。其主要目的是:通過較長時間的性能測試來發現系統長時間處於壓力之下而導致的性能和可靠性問題。 |
關鍵詞解釋
在 K6 中,通過一些參數配置可以模擬上述的測試場景。常見的參數如下所示:
釋意 | |
---|---|
vus | 當前併發數(虛擬用戶數) |
vus_max | 最大併發數(虛擬用戶的最大數量) |
rps | 每秒併發請求數 |
duration | 持續運行時間 |
checks | 斷言成功率 |
data_sent | 發送的數據量 |
data_received | 接收到的數據量 |
iterations | 測試中的 vu 執行 js 腳本(default 函數)的總次數 |
iteration_duration | 完成預設/主函數的完整迭代所花費的時間 |
環境搭建
k6 支持 Linux
,Mac
,Windows
,Docker
方式來安裝,安裝方法也很簡單,可以結合自己的實際環境,參考官網的安裝方式進行本地環境安裝:Installation
常用命令
K6 提供兩種方式進行壓測場景的模擬,一種是 CLI,另一種就是通過 JS 腳本,這裡先羅列一下常用的 CLI 命令:
k6 help [command] [flags]
# 將測試在 K6 的雲端服務執行,需要提前註冊 K6 賬號並登錄
k6 login [flags]
k6 cloud [flags]
# 檢查腳本
k6 inspect [file] [flags]
# 執行 load test(本地)
k6 run [flags]
# 暫停測試
k6 pause [flags]
# 恢複測試
k6 resume [flags]
# 擴展測試
k6 scale [flags]
# 顯示測試狀態
k6 stats [flags]
# 顯示版本
k6 version [flags]
# 模擬10個虛擬用戶(VU),連續壓測30秒:
k6 run --vus 10 --duration 30s script.js
示例展示
本地壓測
這裡採用 .NET 6 中的 MinimalAPI 的方式構建了 2 個測試路由:
- GetWeatherForecastV1:使用 for 迴圈的方式並行構建 1_000_000 個對象
- GetWeatherForecastV2:使用 Parallel 並行構建 1_000_000 個對象
示例代碼如下所示:
const int maxLength = 1_000_000;
app.MapGet("/GetWeatherForecastV1", () =>
{
var forecast = new object[maxLength];
for (var i = 0; i < forecast.Length; i++)
{
forecast[i] = new
{
Date = DateTime.Now.AddDays(i),
temperatureC = Random.Shared.Next(-20, 55),
};
}
return Results.Ok(forecast.Length);
}).WithName("GetWeatherForecastV1");
app.MapGet("/GetWeatherForecastV2", () =>
{
var forecast = new object[maxLength];
Parallel.For(0, maxLength, i =>
{
forecast[i] = new
{
Date = DateTime.Now.AddDays(i),
temperatureC = Random.Shared.Next(-20, 55),
};
});
return Results.Ok(forecast.Length);
}).WithName("GetWeatherForecastV2");
創建一個 JS 腳本 sample-test.js
,內容一下所示:
import http from "k6/http";
import { check, sleep } from "k6";
export const options = {
insecureSkipTLSVerify: true, // skip TLS verify
noConnectionReuse: false, // disable keep-alive connections
vus: 1, // 1 user looping for 10 seconds
duration: "10s",
};
const BASE_URL = "http://localhost:5188";
export default () => {
const resp = http.get(`${BASE_URL}/GetWeatherForecastV1`);
check(resp, { "status = 200": resp.status === 200 });
sleep(1); // Suspend VU execution for the specified duration.
};
在通過 dotnet run
將我們的服務啟動起來後,我們先對 GetWeatherForecastV1
介面進行測試。執行 k6 run sample-test.js
後耐心等待 10s ,輸出的結果如下圖所示:
我們嘗試以同樣對腳本,對GetWeatherForecastV2
介面進行測試,輸出對結果如下圖所示:
通過對這 http_req_duration
http_reqs
iteration_duration
這 3 組數據對比,我們不難看出,在同等壓測條件下,GetWeatherForecastV2
的性能要優於 GetWeatherForecastV1
。這也可以從一個側面反應出並行編程的重要性。
我們可以結合上面幾種測試類型,編寫不同的測試腳本來對我們的程式進行響應的性能壓測。
集成 K6 Cloud
此外,我們也可以將腳本上傳至雲端來進行測試,如下所示:
k6 login cloud -t <your token>
k6 cloud sample-test.js
類似的結果如下圖所示:
註:由於在 K6 的雲端來跑腳本的話,需要腳本裡面對應的介面可以供其訪問,所以可以嘗試先將應用部署到外網可訪問後再進行這種方式。
集成 Azure Pipelines
此外,K6 還支持集成至 Azure Pipelines 中進行壓測,目前 Azure Pipelines 的 Marketplace 已經提供來 k6 Load Testing 插件,可以嘗試將其安裝至自己的組織中進行使用。
具體使用方式可以參考文末的相關鏈接。
結果可視化
最後需要介紹的就是結果可視化,目前 K6 支持多種結果可視化方案,比如:Amazon CloudWatch,Cloud,CSV,Datadog...,我們可以根據自己項目的實際情況使用合適的可視化方案。
相關參考
- 如何使用 k6 做性能測試
- k6 負載測試學習知識
- Software performance testing
- K6
- Load testing with Azure Pipelines
- Load Testing With Azure DevOps And K6
- On .NET Live - Performance and Load testing with k6
- Getting started with API Load Testing (Stress, Spike, Load, Soak)