HDC2022的無障礙參會體驗,手語服務是如何做到的?

来源:https://www.cnblogs.com/hmscore/archive/2022/11/25/16924302.html
-Advertisement-
Play Games

華為開發者大會2022(HDC)上,HMS Core手語數字人以全新形象亮相,併在直播中完成了長達3個多小時的實時手語翻譯,向線上線下超過一千萬的觀眾提供了專業、實時、準確的手語翻譯服務,為聽障人士提供了無障礙參會體驗。面對專業性強且辭彙量大的科技大會,HMS Core手語數字人是如何準確且流暢地打 ...


華為開發者大會2022(HDC)上,HMS Core手語數字人以全新形象亮相,併在直播中完成了長達3個多小時的實時手語翻譯,向線上線下超過一千萬的觀眾提供了專業、實時、準確的手語翻譯服務,為聽障人士提供了無障礙參會體驗。面對專業性強且辭彙量大的科技大會,HMS Core手語數字人是如何準確且流暢地打出手語的?

【解決三大技術難題,科技辭彙信“手”拈來】

直播中的實時手語翻譯較傳統翻譯和文本轉手語的翻譯更為複雜,主要在於語音識別過程中各類場景聲學環境複雜難部署;手語辭彙數據量少,尤其是專業領域辭彙較為匱乏;同時,手語語言具有獨特的語序邏輯,並非按照日常說話順序逐字翻譯,而要對語句進行語序調整,比如“我有許多朋友,其中既有健聽人,也有聾人”的手語語序是“我/朋友/多,聽人/有,聾1/有”。由於手語視覺語言的獨特性,手語表達中表情、動作位置、動作方向、體態變化、動作幅度大小等都是影響手語可懂度的重要因素。

“我有許多朋友,其中既有健聽人,也有聾人。”的手語語序是

“我/朋友/多,聽人/有,聾1/有。”

為了讓手語數字人實現高可懂度的AI手語能力,HMS Core手語服務技術團隊整合了“語音、手語”全鏈路的AI能力,解決了三大技術點:語音識別的準確度、手語翻譯的準確度、手語動作的流暢度與節奏感。

首先,為了確保直播中演講者語音能被精準識別,尤其是大量中英文混合的技術名詞,HMS Core手語數字人語音識別功能,採用動態的流式聲學建模技術,實現了1秒以內即可出識別結果,同時藉助熱詞等定製手段,專業術語的識別效果也得到了定向優化,這為手語數字人下一步的手語翻譯提供了高精準度的文本基礎。

在手語翻譯準確度方面,HMS Core手語服務專門組織了一個動作優化團隊,併在機器翻譯、手語轉寫等演算法方面進行了創新:通過機器翻譯演算法,中文表達可快速轉寫為手語表達,並自動進行詞序調整、詞義消歧、表情分析;通過雙重遷移學習等方法,讓演算法理解句子的語義和語境,並準確估計出每個手語詞對應的體態、表情及口型,實現手語動作、體態、表情、口型全方位地生動表達,有效提升手語轉寫的準確率及速度。

此外,手語生成方案融合了大量手語語言學研究成果,通過調整詞、片語、句子之間的停頓及速度等,增強節奏感。同時,參考新聞手語主播的手語打法,預訓練模型的語句濃縮演算法,可將複雜的長句濃縮為簡單的短句,並基於語義進行翻譯,最終生成流暢且符合聽障人士表達習慣的手語動作。

對於在HDC大會上常用的科技辭彙“華為”,“鴻蒙”及“人工智慧”等,其標準打法已納入HMS Core手語辭彙庫。而對於大會上“原子化服務”等較少見的組合型專業辭彙,則按字面意思將其拆解成“原子”“化”“服務”三個手語動作,同時生成對應的口型。

【產品競爭力躍升,從技術創新到產業應用】

HMS Core手語服務經過一年多的發展和技術迭代,目前已支持2萬+中文手語辭彙,匹配日常溝通交流、新聞、教育、政務辦理等豐富場景。當前手語數字人不僅能流暢地打出手部動作,還有豐富的表情和準確的口動,從微笑、開心到驚訝、疑惑、失望等,多達26種表情,靈動又逼真,做到了“聽得準”、“翻得對”、“打得好”,更好地為保障聽障者的社會參與提供了助力。

目前,HMS Core手語服務已攜手音書、知音、暢聽無礙、開普雲、棉花糖科技、未來媒體、硅基智能等眾多開發者,成功將AI手語翻譯能力應用在各行各業,完善了無障礙環境建設。暢聽無礙app,通過集成HMS Core手語服務,在應用內實現了AI手語翻譯功能,讓聽障人士隨需隨用,滿足他們在日常生活中溝通交流、學習娛樂的需求,同時還能幫助他們在政府、醫療、金融、法律等專業公共服務領域實現無障礙交流。

HMS Core手語服務的應用將不斷助力開發者搭建更好的無障礙傳播環境,幫助聽障者更好地享受信息化發展成果,為他們帶來更多陪伴、更多實時交互以及更深的情感聯結。未來,HMS Core手語服務,將持續踐行“科技,不讓任何一個人掉隊”,與廣大開發者伙伴一起,助力構建數字生態,讓無障礙體驗惠及更多人。如需進一步瞭解,請訪問HMS Core手語服務。

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文是 《精讀 Mastering ABP Framework》 2.3 探索橫切關註點 - 使用授權和許可權系統 一節的擴充內容,重點探討了授權在分散式和微服務系統中遇到的挑戰,以及 ABP Framework 中採用的解決方案。 ...
  • 在所有監控 Linux 系統性能的工具中,Linux 的 top 命令是最好的也是最知名的一個(htop 是其升級版)。top 命令提供了 Linux 系統運行中的進程的動態實時視圖。它能顯示系統的概覽信息和 Linux 內核當前管理的進程列表。它顯示了大量的系統信息,如 CPU 使用、記憶體使用、交... ...
  • Docker和Docker-Compose簡單搭建與基本設置 一、搭建 Docker 1.第一步當然是看官方文檔 2.然後發現一大堆手動搭建的教程(然後小白就這樣搭建了),然後發現最後有一鍵搭建腳本 curl -fsSL https://get.docker.com -o get-docker.sh ...
  • 字元設備是按照位元組流進行讀寫操作的設備,讀寫數據是分先後順序的。常見的點燈、按鍵、 IIC、 SPI和LCD 等都是字元設備 。 字元設備驅動開發步驟: 總體思路: 定義並初始化一個字元設備 -1、定義一個字元設備—>struct cdev 2、定義並初始化字元設備的文件操作集—>struct fi ...
  • 使用的MCU型號為 AIR32F103CCT6. 通過工作機制和示例代碼, 說明如何使用AIR32自帶的記憶體實現簡單的語音錄製和播放功能, 以及使用 ADPCM 對音頻數據進行壓縮, 提高錄製時長. 通過這些機制, 可以快速擴充為實用的錄製設備, 例如外掛I2C或SPI存儲, 或提升無線傳輸的音質,... ...
  • Python基礎之MySQL資料庫 一、SQL語句常用查詢方法 前期數據準備 ​ 為了更加直觀的展示、演示SQL語句查詢關鍵字,需導入下列表格與記錄(數據) ​ 模擬公司,導入創建公司員工表,表內包含:ID、姓名、年齡、工作時間、崗位 創建人員表格: create table emp( id int ...
  • 在 4.2 版本及更高版本中,MongoDB 提供了事務的支持,並且在其是分散式資料庫的基礎上,提供了支持跨多個操作、集合、資料庫、文檔和分片的 ACID 事務。 ...
  • 一、什麼是數據湖? 在探討數據湖技術或如何構建數據湖之前,我們需要先明確,什麼是數據湖? 數據湖的起源,應該追溯到2010年10月。基於對半結構化、非結構化存儲的需求,同時為了推廣自家的Pentaho產品以及Hadoop,2010年Pentaho的創始人兼CTO James Dixon首次提出了數據 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...