手部骨骼跟蹤能力,打造控制虛擬世界的手勢密碼

来源:https://www.cnblogs.com/hmscore/archive/2022/09/13/16688147.html
-Advertisement-
Play Games

AR作為一項增強現實技術,帶來了虛擬數字世界與現實世界的深度融合,這種虛實融合,不僅能應用於虛擬汽車展示、虛擬室內設計等視覺交互場景,更可通過動作交互控制虛擬世界場景,實現無邊界的人機互動。 比如人們在拍攝短視頻時,可以不接觸屏幕,僅通過做出特定手勢來控制特效切換;也可以在拍照時通過手勢識別控制快門 ...


AR作為一項增強現實技術,帶來了虛擬數字世界與現實世界的深度融合,這種虛實融合,不僅能應用於虛擬汽車展示、虛擬室內設計等視覺交互場景,更可通過動作交互控制虛擬世界場景,實現無邊界的人機互動。

比如人們在拍攝短視頻時,可以不接觸屏幕,僅通過做出特定手勢來控制特效切換;也可以在拍照時通過手勢識別控制快門拍攝;還可以實現試用美甲款式、戒指試戴等。以上AR應用場景需做到精確的手部識別,這就要用到AR Engine手部骨骼跟蹤能力

手部骨骼跟蹤能力可識別和跟蹤21個手部關節點的位置和姿態,並輸出手指端點、手掌朝向、手部骨骼等手部高級特征,形成手部骨骼模型。當圖像中出現多只手時,只反饋最清晰置信度最高的手的識別結果和坐標信息,目前僅支持可獲取深度信息的指定華為機型。

通過手部骨骼識別能力,可將虛擬物體疊加到更為精確的手部位置,例如手指尖、手掌心等;利用手部骨骼,可驅動虛擬手做出更為豐富和精細的操控動作,能夠為AR應用提供增強的交互功能,便於拓展更多新奇的玩法。

手部骨骼定義圖

應用場景

一、簡單的手語翻譯

手部骨骼跟蹤能力可以形成簡單的手語理解。在對手部骨骼關鍵點進行提取的基礎上,根據關鍵點的變化預測手部姿態,可以將彎曲、豎直等手指狀態集映射到一組預定義的手勢,比如食指直直伸出就代表計數手勢“1”,通過此類演算法推導出的手勢動作,就是形成手語理解的基礎,可應用於手語的識別和翻譯。

二、構建非接觸式操作界面

科幻電影中常常會出現人物隔空操作電腦界面的場景,而此類功能基於手部骨骼跟蹤能力也可以實現。

通過攝像頭對手部骨骼的識別跟蹤,可精確定位指尖等關鍵節點信息,從而實現對虛擬對象的物理交互。比如使用手指按下虛擬按鈕或其他UI元素;捏住虛擬對象並釋放菜單項;拉伸較大對象上的小目標等物理控制;甚至用手重新調整對象大小或將其存儲在虛擬口袋中等等。

該功能可應用於醫療行業的機械控制、機車界面控制等。

三、短視頻直播互動

AR Engine的手部骨骼跟蹤能力也可以在短視頻傳播過程中增添一些手部特效,比如當用戶在拍攝短視頻或直播時做出比耶、點贊、比心等指定手部動作時,可識別用戶手勢並疊加相應的特效或貼紙,實現手勢觸發特效、手部特效跟蹤等效果,豐富視頻直播過程中的交互體驗。

除此之外,手部骨骼跟蹤能力還可應用於影視動畫製作、兒童教學、醫學康復、智能家居控制等領域。

在AR技術快速發展的今天,基於手勢識別的人機交互已逐漸成為熱點,如何實現自然的、符合人類習慣的手勢識別,是人機交互介面中的一個重要組成部分,作為手勢識別的一項基礎能力,手部骨骼跟蹤也凸顯出了在該領域的重要地位。華為AR Engine希望該能力能夠幫助開發者們激發出更廣泛的研究方向和更具創新力的實際應用。

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 哈嘍兄弟們,中秋閑著沒事,整理了一些資料庫的基本操作,分享給大家,希望對大家有所幫助~ 一、SQL語句 (mysql 資料庫中的語言) show databases;查看資料庫 use "database_ name" ;進入資料庫 show tables; 查看當前資料庫中有哪些表 select ...
  • 柯煜昌 青雲科技研發顧問級工程師 目前從事 RadonDB 容器化研發,華中科技大學研究生畢業,有多年的資料庫內核開發經驗。 文章字數 3800+,閱讀時間 15 分鐘 背景 MySQL 5.7 的字典信息保存在非事務表中,並且存放在不同的文件中(.FRM,.PAR,.OPT,.TRN,.TRG 等 ...
  • MySQL InnoDB引擎在Repeatable Read(可重覆讀)隔離級別下,到底有沒有解決幻讀的問題? 網上眾說紛紜,有的說解決了,有的說沒解決,甚至有些大v的意見都無法達成統一。 今天就深入剖析一下,徹底解決這個幻讀的問題。 解決幻讀問題之前,先普及幾個知識點。 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 前言 實驗 總結 前言 資料庫的優化器相當於人類的大腦,大部分時候都能做出正確的決策,制定正確的執行計劃,走出一條高效的路,但是它畢竟是基於某些固定的規 ...
  • Oracle實現金額小寫轉大寫函數 今天工作的時候遇到了,然後上網百度了一下,發現了有個大佬寫了一個很牛的函數,在此記錄下來。 原文:http://www.itpub.net/thread-240281-1-1.html 函數: create or replace function F_upper_ ...
  • 開心一刻 晚上,女兒眼噙淚水躺在床上 女兒:你口口聲聲說愛我,說陪我,卻天天想著騙我零花錢,你是我親爹嗎? 我:你想知道真相 女兒:想! 我:那你先給爸爸兩百塊錢! 環境準備 MySQL 不同版本 利用 docker 搭建了 7 個不同版本的 MySQL 5.5.62 5.6.51 5.7.36 8 ...
  • 問題解決秘籍 遇到問題,第一個請登錄蘋果開發者官網 檢查一遍賬號是否有許可權,是否被停用,是否過期,是否有協議需要同意,並且在右上角切換賬號後檢查所有關聯的賬號是否工作正常,apple賬號的郵箱也是個重要的地方,當有ipa上傳,賬號有發生變化,被停用,apple經常發送一些郵件,去檢查郵件通知,根據郵 ...
  • 在項目中出現多重嵌套情況時,會出現無法滑動的場景,比如經常碰到的場景 ViewPager -> Fragment -> RecyclerView -> RecyclerView | ViewPager 最外層是一個可滑動的 tabLayout+ViewPager,ViewPager 中是多個 Fra ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 1.講故事 在分析的眾多dump中,經常會遇到各種奇葩的問題,僅通過dump這種快照形式還是有很多問題搞不定,而通過 perfview 這種粒度又太粗,很難找到問題之所在,真的很頭疼,比如本篇的 短命線程 問題,參考圖如下: 我們在 t2 時刻抓取的dump對查看 短命線程 毫無幫助,我根 ...
  • 在日常後端Api開發中,我們跟前端的溝通中,通常需要協商好入參的數據類型,和參數是通過什麼方式存在於請求中的,是表單(form)、請求體(body)、地址欄參數(query)、還是說通過請求頭(header)。 當協商好後,我們的介面又需要怎麼去接收這些數據呢?很多小伙伴可能上手就是直接寫一個實體, ...
  • 許多情況下我們需要用到攝像頭獲取圖像,進而處理圖像,這篇博文介紹利用pyqt5、OpenCV實現用電腦上連接的攝像頭拍照並保存照片。為了使用和後續開發方便,這裡利用pyqt5設計了個相機界面,後面將介紹如何實現,要點包括界面設計、邏輯實現及完整代碼。 ...
  • 思路分析 註冊頁面需要對用戶提交的數據進行校驗,並且需要對用戶輸入錯誤的地方進行提示! 所有我們需要使用forms組件搭建註冊頁面! 平時我們書寫form是組件的時候是在views.py裡面書寫的, 但是為了接耦合,我們需要將forms組件都單獨寫在一個地方,需要用的時候導入就行! 例如,在項目文件 ...
  • 思路分析 登錄頁面,我們還是採用ajax的方式提交用戶數據 唯一需要學習的是如何製作圖片驗證碼! 具體的登錄頁面效果圖如下: 如何製作圖片驗證碼 推導步驟1:在img標簽的src屬性里放上驗證碼的請求路徑 補充1.img的src屬性: 1.圖片路徑 2.url 3.圖片的二進位數據 補充2:字體樣式 ...
  • 哈嘍,兄弟們! 最近有許多小伙伴都在吐槽打工好難。 每天都是執行許多重覆的任務 例如閱讀新聞、發郵件、查看天氣、打開書簽、清理文件夾等等, 使用自動化腳本,就無需手動一次又一次地完成這些任務, 非常方便啊有木有?! 而在某種程度上,Python 就是自動化的代名詞。 今天就來和大家一起學習一下, 用 ...
  • 作者:IT王小二 博客:https://itwxe.com 前面小二介紹過使用Typora+PicGo+LskyPro打造舒適寫作環境,那時候需要使用水印功能,但是小二在升級LskyPro2.x版本發現有很多不如人意的東西,遂棄用LskyPro使用MinIO結合代碼實現自己需要的圖床功能,也適合以後 ...
  • OpenAI Gym是一款用於研發和比較強化學習演算法的工具包,本文主要介紹Gym模擬環境的功能和工具包的使用方法,並詳細介紹其中的經典控制問題中的倒立擺(CartPole-v0/1)問題。最後針對倒立擺問題如何建立控制模型並採用爬山演算法優化進行了介紹,並給出了相應的完整python代碼示例和解釋。要... ...
  • python爬蟲瀏覽器偽裝 #導入urllib.request模塊 import urllib.request #設置請求頭 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, l ...
  • 前端代碼搭建 主要利用的是bootstrap3中js插件里的模態框版塊 <li><a href="" data-toggle="modal" data-target=".bs-example-modal-lg">修改密碼</a></li> <div class="modal fade bs-exam ...