一佛是阿裡巴巴B2B事業群高級產品經理。從事多年互聯網系統的研發和測試工作,目前主要負責雲效分層自動化測試的產品設計。因為自動化測試在實踐過程中,總是碰到各種各樣的問題,導致進入自動化測試盲區。所以,一佛就根據當下環境並結合解決案例,來講解瞭如何把握分層自動化的分層策略,如何將分層自動化融入到項目流 ...
一佛是阿裡巴巴B2B事業群高級產品經理。從事多年互聯網系統的研發和測試工作,目前主要負責雲效分層自動化測試的產品設計。因為自動化測試在實踐過程中,總是碰到各種各樣的問題,導致進入自動化測試盲區。所以,一佛就根據當下環境並結合解決案例,來講解瞭如何把握分層自動化的分層策略,如何將分層自動化融入到項目流程中,如何做好自動化測試等現實問題。
自動化誕生的背景,一佛說,手工測試的效率低下,尤其是發佈頻繁的情況下,回歸量大,成本高,重覆勞動,枯燥多。而自動化之後,就可以替代重覆勞動,N次測試,只需要投入一次就夠了。
但是自動化也是有煩惱的,問題就在於成本高(代碼能力、自動化框架、IDE
準備、調度、多環境),效果差(瀏覽器影響、執行機影響、依賴環境影響、腳本健壯性不強),覆蓋率低(框架不萬能、上下層難全、介面參數排列多),及時性低(代碼變更頻繁、遺漏的變更、項目結束才發現)等等。
所以說,為了降低成本,提高準確性,就要考慮降低人員成本、製作成本、運維成本、運行成本,同時擴大覆蓋率、數據獨立、提供好的方法和腳本。當然,就需要實行分層自動化。
在阿裡實踐分層自動化就需要很多分層工具,包括配置管理Aton、UI測試的AUI、單元測試的Amon、環境管理的Aenv、介面測試SAT、性能測試Perf、集成自動化Pre等。這裡來介紹幾個革命性工具:
一.UI自動化—AUI
1.創新型web-ui自動化測試框架,無需安裝複雜底層環境和 IDE
2.創建和維護腳本,都無需接觸代碼,全部為 Web 頁面可視化使用
3.支持本地回放,支持雲端執行,解放機器,釋放雙手
1.支持項目持續集成,線上監控等各種複雜場景
二.介面自動化—SAT
1.可視化的介面測試,無需編寫代碼
2.支持普通介面調試和複雜後臺交互的介面測試的用例沉澱
3.支持主幹,項目用例的沉澱與回歸
4.支持項目持續集成
三.性能壓測—Perf
1.基於 Jmeter 的性能壓測平臺
2.集腳本,場景,壓測,監控和報表為一體,可快速施壓的平臺
3.支持多種協議,適合 http,service 介面等測試
4.比 LoadRunner 易上手,更輕量
四.單元測試—Amon
1.可對代碼主幹及各項目分支進行單測集成
2.對有代碼變更的項目分支自定義頻率集成
3.對有代碼變更的應用主幹自定義頻率集成
4.擁有單測用例結果、覆蓋率結果、靜態掃描結果、sonar 代碼分析等質量數據
五.集成自動化—Pre
1.支持多種自動化框架接入
2.支持項目集成相關所有自動化的自動統一觸發
3.支持多種自動化框架不同環境觸發
4.支持日常持續集成
5支持自動化失敗的原因彙總與總結
阿裡分層自動化實踐所帶來的成果是非常有價值的,在阿裡內部,大幅提高了研發測試比,減少了重覆勞動帶來的加班,同時帶動了更多高效工具的誕生;在研發方面,單測成本降低了,覆蓋率可視化了,自測有保障了,故障降低了;在測試方面降低了測試要求,增加了工作成就感;對雲效客戶來說,給企業賦能了,提高了研發測試效率。