關愛2700多萬聽障者,手語服務助力無聲交流

来源:https://www.cnblogs.com/hmscore/archive/2022/09/24/16725802.html
-Advertisement-
Play Games

如果有一天,周遭的世界突然變得很安靜,動聽美妙的音樂,在你看來只是沉寂;振奮人心的演講,對你而言只是默劇;大自然的千里鶯啼,於你來說也只是畫捲。你會不會感到害怕? 而有這麼一群人,每天都在與這世界無聲交流著,他們就是聽力障礙人士。據2006年第二次全國殘疾人抽樣調查顯示,我國的聽力殘疾人約2780萬 ...


如果有一天,周遭的世界突然變得很安靜,動聽美妙的音樂,在你看來只是沉寂;振奮人心的演講,對你而言只是默劇;大自然的千里鶯啼,於你來說也只是畫捲。你會不會感到害怕?

而有這麼一群人,每天都在與這世界無聲交流著,他們就是聽力障礙人士。據2006年第二次全國殘疾人抽樣調查顯示,我國的聽力殘疾人約2780萬,占全國殘疾人的30%以上,而且數據每年都在增加。受限於發病原因及家庭情況,能夠使用助聽器、人工耳蝸的聽障人士占比較少,其他人不僅面臨著生活中的種種不便,也難以感受到世界的精彩紛呈,所以手語成了他們與人們的主要溝通橋梁。

但是手語看不懂、專業知識不夠、翻譯技巧不夠、體態不夠生動、手語翻譯在翻譯的過程中有存在幫助聾人回答問題的現象……這些暴露的問題都極大的影響了聽障人士在翻譯服務中的用戶體驗。據殘聯統計,我國專業的手語翻譯不足1萬人,難以滿足聽障人士參與社會生活時的溝通需求。這就需要一些App能夠添加將文本翻譯成手語的能力,在手語翻譯有限的情況下,滿足聽障人士的基本生活和學習的需要。

每年9月的第四個星期日是國際聾人日,為了關愛聽障人士,華為手語服務(SignPal Kit)提供手語生成能力,將文本實時翻譯為流暢、自然且符合聽障人士表達習慣的手語動作數據,能夠輕鬆構建信息無障礙創新應用,構築無縫交流的世界。可用於家庭日常生活交流、教育學習、外出購物、媒體播報等場景。例如在教學場景中,可幫助聽障兒童學習閱讀,實現手語教學。

手語生成

  1. 手語動作生成

基於深度神經網路技術,實時將輸入文本翻譯為時序穩定、連貫且符合聽障人士表達習慣的手語動作數據。

  1. 手語表情生成

手語生成不僅包括手部動作和身體姿態,還支持面部表情,包括開心、憤怒、傷心、疑惑等基本表情信息,以及皺眉、鼓腮等多種非手控表情。

  1. 手語口型生成

手語生成支持符合聽障人士表達習慣的口動。

手語服務能將輸入文本轉化為手語動作數據,可用於家庭日常生活交流、教育學習、外出購物、媒體播報等場景。運用手語動作及面部表情,手語服務精準流暢地傳遞講師的授課內容,讓處在無聲世界的特教學院聽障學生,也能實現無障礙網課學習。

優勢特點

  1. 自然流暢:手語動作流暢、自然,符合手語表達習慣。

  2. 辭彙覆蓋廣:按照中國國家通用標準有1萬多個辭彙,滿足多場景應用。

  3. 手語表達豐富:手語動作包括手部動作、身體姿態、面部表情和口型驅動。

開發步驟

在開始App開發工作之前,您需要完成必要的開發準備工作,確保您的工程中已經配置AppGallery Connect集成HMS Core SDK配置混淆腳本以及添加許可權

1、開通鑒權。需要使用“agconnect-services.json”里的api_key值,在應用初始化時通過AccessToken或者api_key來設置應用鑒權信息,AccessToken的優先順序較高。

通過setAccessToken()方法設置Access Token,在應用初始化時設置即可,如果Token過期了,需要更換Token重新設置。

SignPalApplication.getInstance().setAccessToken("your 
AccessToken");

通過setApiKey()方法設置api_key,在應用啟動時初始化設置一次即可,無需多次設置。

SignPalApplication.getInstance().setApiKey("your api_key");

當您在AppGallery Connect上註冊您的應用時,系統會給您的應用分配api_key,可參見添加當前應用的AppGallery Connect配置文件

2、創建手語生成實例。可以通過手語生成自定義配置類GeneratorSetting創建手語生成SignGenerator實例。

// 1.創建新的配置項,不是必須設置,不設置則使用預設值
GeneratorSetting 
setting
 = new GeneratorSetting()
    .setLanguage(GeneratorConstants.CN_CSL)

// 2.配置方法
 // a.初始化時設置
  SignGenerator 
signGenerator
 = new SignGenerator(
setting
);
   // b.過程中更新
   
signGenerator
.updateSetting(
setting
);

3、給SignGenerator實例設置手語生成回調GeneratorCallback,用於處理手語生成結果。

signGenerator
.setCallback(new GeneratorCallback() {
    @Override
    public void onEvent(String taskId, int eventId, Bundle bundle) {
        switch (eventId){
        // 以下回調事件類型是在使用手語生成過程中需要關註的
        case GeneratorConstants.EVENT_START:
            // 任務開始回調
            break;
        case GeneratorConstants.EVENT_DOWNLOADING:
            // 任務下載中
            break;
        case GeneratorConstants.EVENT_STOP:
           // 任務停止回調
            boolean isInterrupted = bundle.getBoolean(GeneratorConstants.EVENT_STOP_INTERRUPTED);
            break;
        default:
           break;
        }
    }


    @Override
public void onSignDataAvailable(String taskId, SignMotionFragment signFragment, Pair<Integer, Integer> range, Bundle bundle) {
        // 獲取手語動作數據
        ArrayList<Map<String,float[]>> motionDataList= signFragment.getSignMotionDataMap();
        // 獲取表情數據
        int[] faceArr = signFragment.getFaceMotion();
        // 獲取口型BlendShape驅動數據,如果不設置開啟則為空數組
        float[] faceBlendShape = signFragment.getFaceBlendShapeArray();
        // 手語動作表情繪製,需要您自行實現
       
    }


    @Override
    public void onError(String taskId, SignPalError err){
        // 手語生成失敗處理
    }
    @Override
    public void onWarning(String taskId,SignPalWarning warning){
        // 告警處理(不影響業務邏輯)
    }
});

4、調用text2SignMotion()方法進行手語生成,text取值為字元串類型。

String 
id
 = 
signGenerator
.text2SignMotion(
text
, GeneratorConstants.QUEUE_MODE);

5、停止當前正在執行的手語生成任務,並清空隊列中的所有任務與緩存。

signGenerator
.stop();

6、合成結束後,釋放資源。

if (
signGenerator
!= null) {
    
signGenerator
.shutdown();
}

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • cobbler部署 #先關閉防火牆和selinux [[email protected] ~]# systemctl disable firewalld [[email protected] ~]# setenforce 0 //cobbler服務,selinux必須得是disabled狀態,所以要重啟 [ro ...
  • top 主要用於查看 Linux系統中的所有進程 top 詳解 及 使用 上面的top top - 04:27:03 up 6 days, 23:25, # top 系統運行時間 2 users, # 用戶個數 load average: 0.00, 0.00, 0.00 # 平均負載 Tasks: ...
  • dpdk21.11 已經刪除了 igb_uio 模塊, 如果需要添加 需要提前下載 igb_uio 模塊,根據官網提供的下載鏈接,下載地址如下 IGB_UIO模塊 兩種添加方式 添加到文件中,然後再次編譯(編譯出來的結果與之前版本一致(19.11那種,直接在)) 直接編譯,不往文件中放,生成的IGB ...
  • 1.加拿大創新、科學和經濟發展部 (ISED) 於 2022 年 9 月 9 日發佈了第 2022-CEB001 號通知。 該通知包括關於無線電標準規範 RSS-195 “無線通信服務 (WCS) 設備在 2305-2320 MHz 和 2345-2360 MHz 頻段”第 2 版的指南,旨在重申 ...
  • 數據表的基本操作. MySQL 資料庫支持多種數據類型,大致可以分為 3 類:數值類型、日期和時間類型、字元串(字元)類型。 (1)數值類型 數值類型用於存儲數字型數據,這些類型包括整數類型(TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT),浮點數類型(FLOAT、DOU ...
  • 使用Mysql的zip壓縮包解壓版,下載之後需進行一定的配置,才能使用它。 下麵對Mysql壓縮包版的安裝方法進行詳細的描述,如有疑問或錯誤,望及時反饋。 首先,mysql的官方下載地址點我進行下載 1. 根據你要下載的電腦相應版本,點擊Download跳轉到下載界面。 2. 之後你會看到讓你登陸或 ...
  • 主從複製 + 分庫分表 要講主從複製,首先來看看MySQL自帶的日誌文件。 日誌 錯誤日誌 錯誤日誌是 MySQL 中最重要的日誌之一,它記錄了當 mysqld 啟動和停止時,以及伺服器在運行過程中發生任何嚴重錯誤時的相關信息。當資料庫出現任何故障導致無法正常使用時,建議首先查看此日誌文件。 該日誌 ...
  • 聽不見、聽不清、聽不懂,這是全國上千萬聽障群體的真實寫照。由於聽力的局限,他們在求學、工作、就醫、出行等方面都面臨巨大挑戰。AI時代,全行業為信息無障礙建設形成強大合力,但聽障群體依然面臨著冷冰冰的現實:專業語言服務人員的稀缺、溝通輔助器具的不完備,甚至來自社會的偏見及誤解…… “聾人只要通過助聽設 ...
一周排行
    -Advertisement-
    Play Games
  • public static void GetRegistData() { string name = "huishuangzhu"; //搜索到註冊表根目錄 RegistryKey hkml = Registry.ClassesRoot; //搜索到註冊表根目錄下的XXX文件夾。 RegistryK ...
  • 用acme.sh自動部署功能變數名稱證書 安裝ACME 目前使用量最大的免費SSL證書就是Let’s Encrypt,自2018-03開始,Let’s Encrypt官方發佈上線了免費的SSL泛功能變數名稱證書,目前通過DNS方式獲取比較快,國內可以通過鵝雲的DNSPod功能變數名稱API或者貓雲功能變數名稱API自動簽發Let’ ...
  • 經常看到有群友調侃“為什麼搞Java的總在學習JVM調優?那是因為Java爛!我們.NET就不需要搞這些!”真的是這樣嗎?今天我就用一個案例來分析一下。 昨天,一位學生問了我一個問題:他建了一個預設的ASP.NET Core Web API的項目,也就是那個WeatherForecast的預設項目模 ...
  • 1、環境搭建 1.1 依賴 <!-- nacos註冊中心 註解 @EnableDiscoveryClient --> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba- ...
  • ULID:Universally Unique Lexicographically Sortable Identifier(通用唯一詞典分類標識符) UUID:Universally Unique Identifier(通用唯一標識符) 為什麼不選擇UUID UUID 目前有 5 個版本: 版本1: ...
  • 虛基類/抽象類 抽象類:有純虛函數的類 虛繼承 通過修飾繼承方式, 如代碼2是虛繼承,被虛繼承的類稱為虛基類 虛繼承派生類的記憶體佈局方式 先是vbptr => 派生類的數據 =>基類的數據 , 對比代碼1和代碼2,發現原本基類數據在前面,派生類數據在後面,但是在虛繼承的時候 基類數據方式放到了後面, ...
  • 下麵給出 Kafka 一些重要概念,讓大家對 Kafka 有個整體的認識和感知,後面還會詳細的解析每一個概念的作用以及更深入的原理 • Producer:消息生產者,向 Kafka Broker 發消息的客戶端。 • Consumer:消息消費者,從 Kafka Broker 取消息的客戶端。 • ...
  • 前面介紹了對稱加密演算法,本文將介紹密碼學中另一類重要應用:消息摘要(Digest),什麼是消息摘要?簡單的定義是:對一份數據,進行一個單向的Hash函數,生成一個固定長度的Hash值,這個值就是這份數據的摘要,也稱為指紋。 ...
  • 弟弟最近要考試,臨時抱佛腳在網上找了一堆學習資料複習,這不剛就來找我了,說PDF上有水印,影響閱讀效果,到時候考不好就怪資料不行,氣的我差點當場想把他揍一頓! 算了,弟弟長大了,看在打不過他的份上,就不打他了~ 稍加思索,我想起了Python不是可以去水印?說搞就搞! 去除水印原理 去除方法: 用 ...
  • 作者:陳昌浩 1 導讀 if…else…在代碼中經常使用,聽說可以通過Java 8的Function介面來消滅if…else…!Function介面是什麼?如果通過Function介面介面消滅if…else…呢?讓我們一起來探索一下吧。 2 Function介面 Function介面就是一個有且僅有 ...