引言:隨著深度學習技術的發展進步,已經不再依賴強大的GPU算力,便可實現AI推理了,讓AI技術滲透到了電腦、手機、智能設備等各類設備。體育、健身行業也不例外,阿裡體育等IT大廠,推出的樂動力、天天跳繩、百分運動等AI運動APP,讓雲上運動會、線上運動會、健身打卡、AI體育指導、AI體測等概念空前火熱 ...
引言:隨著深度學習技術的發展進步,已經不再依賴強大的GPU算力,便可實現AI推理了,讓AI技術滲透到了電腦、手機、智能設備等各類設備。體育、健身行業也不例外,阿裡體育等IT大廠,推出的樂動力、天天跳繩、百分運動等AI運動APP,讓雲上運動會、線上運動會、健身打卡、AI體育指導、AI體測等概念空前火熱。
那麼AI運動這個應用場景,除了在原生APP上實現,能否搬上微信小程式呢,今天就帶您探索幾種可能的解決方案,併進行一些橫向對比。
一、AI運動識別技術要點
要實現AI運動計時、計數,要解決主要技術問題有:視頻抽幀、視頻人體檢測、姿態識別、計時計數演算法,其中最主要的也是技術前提的便是人體識別檢測,實現上面的技術,便是一個完整的AI運動解決方案了。
二、離線方案
所謂離線方案,即把整套的視頻抽幀、視頻人體檢測、計時計數等環節放在後臺服務端執行,由於在後臺端執行,所以無法做到在小程式端根據視頻或攝像頭採集進度實時展示識別結果及進行互動,故叫離線方案。
1.1、全離線方案
全離線方案主要的技術方案在後端實現,運行在後臺伺服器,小程式端只負責上傳運動視頻或圖片,等待服端返回識別結果即可。 後端實現的相關技術棧相對比較成熟,如視頻抽幀可以選擇採用ffmpeg、opencv等成熟開源組件實現;人體檢測識別可以採用百度、阿裡、騰訊等成熟的第三方服務或私有化部署相關模型。
1.2、半離線方案
所謂半離線方案,與全離線方案的區別在於,將視頻抽幀放在小程式端執行,即可利用小程式的camera
組件實時採集運動畫面,調用相應的API進行實時抽幀向後臺回傳,後臺反饋識別結果。
二、原生方案
所謂原生方案,也可叫本地原生方案,所有技術環節使用javascript
在小程式端本地實現及運行,由於所有的計算在小程式端同步進行,所以實時體驗會更好,後端壓力也較輕,離線方案的後端壓力會隨著用戶量增長上升。
1.1、自研AI引擎方案
微信小程式端本身提供了Camera
組件及攝像頭畫面抽幀API,使用現成的即可,重點在於人體關鍵點識別檢測的深度學習推理引擎的集成,這需要根據小程式的運行時,選擇好相應的識別引擎及檢測模型,進行適配集成。再編寫人體姿態識別演算法及運動分析器邏輯。
1.2、成熟的插件方案
相較於自研方案,也可以選擇成熟的小程式插件解決方案,比如我們推出的【AI運動識別】微信小程式插件,可以為您的小程式提供人體檢測、運動識別的AI能力,插件目前支持跳繩、開合跳、俯卧撐、仰卧起坐、捲腹、深蹲(深蹲起)、平板支撐、馬步蹲等運動的識別檢測計時、計數分析,更多的運動類型正在豐富中;插件運動識別引擎提供了基於規則配置的運動識別能力,您可以通過配置一些簡單的規則,增加一項新的運動(動作)識別能力,若是複雜的運動種類,也可以通過代碼擴展的方式進行。
三、方案對比
方案 | 難度 | 成本 | 體驗 | 優缺點 |
---|---|---|---|---|
全離線方案 | 低 | 高 | 差 | 實現簡單,後臺伺服器、三方API調用成本高 |
半離線方案 | 中 | 高 | 中 | 實現簡單,後臺伺服器、帶寬要求高、三方API調用等成本高 |
自研原生方案 | 高 | 中 | 佳 | 實現難度比較高,上線穩定周期較長 |
AI運動識別插件原生方案 | 低 | 低 | 佳 | 實現簡單,成本低,且成熟穩定、開箱即用 |
根據上面的綜合對比得知,離線方案投入的成本和體驗不成正比,所以在新開發應用中不應將離線方案納入考慮範圍;無特殊的需求團隊建議直接使用AI運動識別插件方案,投入成本小且能避免很多實現陷井。
提供信息系統、公眾號、小程式、APP訂製開發服務
QQ:316455841
歡迎通過各種渠道咨詢瞭解,免費提供信息系統建設咨詢服務。