AR作為一項增強現實技術，帶來了虛擬數字世界與現實世界的深度融合，這種虛實融合，不僅能應用於虛擬汽車展示、虛擬室內設計等視覺交互場景，更可通過動作交互控制虛擬世界場景，實現無邊界的人機互動。 比如人們在拍攝短視頻時，可以不接觸屏幕，僅通過做出特定手勢來控制特效切換；也可以在拍照時通過手勢識別控制快門 ...
AR作為一項增強現實技術，帶來了虛擬數字世界與現實世界的深度融合，這種虛實融合，不僅能應用於虛擬汽車展示、虛擬室內設計等視覺交互場景，更可通過動作交互控制虛擬世界場景，實現無邊界的人機互動。
比如人們在拍攝短視頻時，可以不接觸屏幕，僅通過做出特定手勢來控制特效切換；也可以在拍照時通過手勢識別控制快門拍攝；還可以實現試用美甲款式、戒指試戴等。以上AR應用場景需做到精確的手部識別，這就要用到AR Engine的手部骨骼跟蹤能力。
手部骨骼跟蹤能力可識別和跟蹤21個手部關節點的位置和姿態，並輸出手指端點、手掌朝向、手部骨骼等手部高級特征，形成手部骨骼模型。當圖像中出現多只手時，只反饋最清晰置信度最高的手的識別結果和坐標信息，目前僅支持可獲取深度信息的指定華為機型。
通過手部骨骼識別能力，可將虛擬物體疊加到更為精確的手部位置，例如手指尖、手掌心等；利用手部骨骼，可驅動虛擬手做出更為豐富和精細的操控動作，能夠為AR應用提供增強的交互功能，便於拓展更多新奇的玩法。
手部骨骼定義圖
應用場景
一、簡單的手語翻譯
手部骨骼跟蹤能力可以形成簡單的手語理解。在對手部骨骼關鍵點進行提取的基礎上，根據關鍵點的變化預測手部姿態，可以將彎曲、豎直等手指狀態集映射到一組預定義的手勢，比如食指直直伸出就代表計數手勢“1”，通過此類演算法推導出的手勢動作，就是形成手語理解的基礎，可應用於手語的識別和翻譯。
二、構建非接觸式操作界面
科幻電影中常常會出現人物隔空操作電腦界面的場景，而此類功能基於手部骨骼跟蹤能力也可以實現。
通過攝像頭對手部骨骼的識別跟蹤，可精確定位指尖等關鍵節點信息，從而實現對虛擬對象的物理交互。比如使用手指按下虛擬按鈕或其他UI元素；捏住虛擬對象並釋放菜單項；拉伸較大對象上的小目標等物理控制；甚至用手重新調整對象大小或將其存儲在虛擬口袋中等等。
該功能可應用於醫療行業的機械控制、機車界面控制等。
三、短視頻直播互動
AR Engine的手部骨骼跟蹤能力也可以在短視頻傳播過程中增添一些手部特效，比如當用戶在拍攝短視頻或直播時做出比耶、點贊、比心等指定手部動作時，可識別用戶手勢並疊加相應的特效或貼紙，實現手勢觸發特效、手部特效跟蹤等效果，豐富視頻直播過程中的交互體驗。
除此之外，手部骨骼跟蹤能力還可應用於影視動畫製作、兒童教學、醫學康復、智能家居控制等領域。
在AR技術快速發展的今天，基於手勢識別的人機交互已逐漸成為熱點，如何實現自然的、符合人類習慣的手勢識別，是人機交互介面中的一個重要組成部分，作為手勢識別的一項基礎能力，手部骨骼跟蹤也凸顯出了在該領域的重要地位。華為AR Engine希望該能力能夠幫助開發者們激發出更廣泛的研究方向和更具創新力的實際應用。
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee
關註我們，第一時間瞭解 HMS Core 最新技術資訊~
