關愛2700多萬聽障者,手語服務助力無聲交流

来源:https://www.cnblogs.com/hmscore/archive/2022/09/24/16725802.html
-Advertisement-
Play Games

如果有一天,周遭的世界突然變得很安靜,動聽美妙的音樂,在你看來只是沉寂;振奮人心的演講,對你而言只是默劇;大自然的千里鶯啼,於你來說也只是畫捲。你會不會感到害怕? 而有這麼一群人,每天都在與這世界無聲交流著,他們就是聽力障礙人士。據2006年第二次全國殘疾人抽樣調查顯示,我國的聽力殘疾人約2780萬 ...


如果有一天,周遭的世界突然變得很安靜,動聽美妙的音樂,在你看來只是沉寂;振奮人心的演講,對你而言只是默劇;大自然的千里鶯啼,於你來說也只是畫捲。你會不會感到害怕?

而有這麼一群人,每天都在與這世界無聲交流著,他們就是聽力障礙人士。據2006年第二次全國殘疾人抽樣調查顯示,我國的聽力殘疾人約2780萬,占全國殘疾人的30%以上,而且數據每年都在增加。受限於發病原因及家庭情況,能夠使用助聽器、人工耳蝸的聽障人士占比較少,其他人不僅面臨著生活中的種種不便,也難以感受到世界的精彩紛呈,所以手語成了他們與人們的主要溝通橋梁。

但是手語看不懂、專業知識不夠、翻譯技巧不夠、體態不夠生動、手語翻譯在翻譯的過程中有存在幫助聾人回答問題的現象……這些暴露的問題都極大的影響了聽障人士在翻譯服務中的用戶體驗。據殘聯統計,我國專業的手語翻譯不足1萬人,難以滿足聽障人士參與社會生活時的溝通需求。這就需要一些App能夠添加將文本翻譯成手語的能力,在手語翻譯有限的情況下,滿足聽障人士的基本生活和學習的需要。

每年9月的第四個星期日是國際聾人日,為了關愛聽障人士,華為手語服務(SignPal Kit)提供手語生成能力,將文本實時翻譯為流暢、自然且符合聽障人士表達習慣的手語動作數據,能夠輕鬆構建信息無障礙創新應用,構築無縫交流的世界。可用於家庭日常生活交流、教育學習、外出購物、媒體播報等場景。例如在教學場景中,可幫助聽障兒童學習閱讀,實現手語教學。

手語生成

  1. 手語動作生成

基於深度神經網路技術,實時將輸入文本翻譯為時序穩定、連貫且符合聽障人士表達習慣的手語動作數據。

  1. 手語表情生成

手語生成不僅包括手部動作和身體姿態,還支持面部表情,包括開心、憤怒、傷心、疑惑等基本表情信息,以及皺眉、鼓腮等多種非手控表情。

  1. 手語口型生成

手語生成支持符合聽障人士表達習慣的口動。

手語服務能將輸入文本轉化為手語動作數據,可用於家庭日常生活交流、教育學習、外出購物、媒體播報等場景。運用手語動作及面部表情,手語服務精準流暢地傳遞講師的授課內容,讓處在無聲世界的特教學院聽障學生,也能實現無障礙網課學習。

優勢特點

  1. 自然流暢:手語動作流暢、自然,符合手語表達習慣。

  2. 辭彙覆蓋廣:按照中國國家通用標準有1萬多個辭彙,滿足多場景應用。

  3. 手語表達豐富:手語動作包括手部動作、身體姿態、面部表情和口型驅動。

開發步驟

在開始App開發工作之前,您需要完成必要的開發準備工作,確保您的工程中已經配置AppGallery Connect集成HMS Core SDK配置混淆腳本以及添加許可權

1、開通鑒權。需要使用“agconnect-services.json”里的api_key值,在應用初始化時通過AccessToken或者api_key來設置應用鑒權信息,AccessToken的優先順序較高。

通過setAccessToken()方法設置Access Token,在應用初始化時設置即可,如果Token過期了,需要更換Token重新設置。

SignPalApplication.getInstance().setAccessToken("your 
AccessToken");

通過setApiKey()方法設置api_key,在應用啟動時初始化設置一次即可,無需多次設置。

SignPalApplication.getInstance().setApiKey("your api_key");

當您在AppGallery Connect上註冊您的應用時,系統會給您的應用分配api_key,可參見添加當前應用的AppGallery Connect配置文件

2、創建手語生成實例。可以通過手語生成自定義配置類GeneratorSetting創建手語生成SignGenerator實例。

// 1.創建新的配置項,不是必須設置,不設置則使用預設值
GeneratorSetting 
setting
 = new GeneratorSetting()
    .setLanguage(GeneratorConstants.CN_CSL)

// 2.配置方法
 // a.初始化時設置
  SignGenerator 
signGenerator
 = new SignGenerator(
setting
);
   // b.過程中更新
   
signGenerator
.updateSetting(
setting
);

3、給SignGenerator實例設置手語生成回調GeneratorCallback,用於處理手語生成結果。

signGenerator
.setCallback(new GeneratorCallback() {
    @Override
    public void onEvent(String taskId, int eventId, Bundle bundle) {
        switch (eventId){
        // 以下回調事件類型是在使用手語生成過程中需要關註的
        case GeneratorConstants.EVENT_START:
            // 任務開始回調
            break;
        case GeneratorConstants.EVENT_DOWNLOADING:
            // 任務下載中
            break;
        case GeneratorConstants.EVENT_STOP:
           // 任務停止回調
            boolean isInterrupted = bundle.getBoolean(GeneratorConstants.EVENT_STOP_INTERRUPTED);
            break;
        default:
           break;
        }
    }


    @Override
public void onSignDataAvailable(String taskId, SignMotionFragment signFragment, Pair<Integer, Integer> range, Bundle bundle) {
        // 獲取手語動作數據
        ArrayList<Map<String,float[]>> motionDataList= signFragment.getSignMotionDataMap();
        // 獲取表情數據
        int[] faceArr = signFragment.getFaceMotion();
        // 獲取口型BlendShape驅動數據,如果不設置開啟則為空數組
        float[] faceBlendShape = signFragment.getFaceBlendShapeArray();
        // 手語動作表情繪製,需要您自行實現
       
    }


    @Override
    public void onError(String taskId, SignPalError err){
        // 手語生成失敗處理
    }
    @Override
    public void onWarning(String taskId,SignPalWarning warning){
        // 告警處理(不影響業務邏輯)
    }
});

4、調用text2SignMotion()方法進行手語生成,text取值為字元串類型。

String 
id
 = 
signGenerator
.text2SignMotion(
text
, GeneratorConstants.QUEUE_MODE);

5、停止當前正在執行的手語生成任務,並清空隊列中的所有任務與緩存。

signGenerator
.stop();

6、合成結束後,釋放資源。

if (
signGenerator
!= null) {
    
signGenerator
.shutdown();
}

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • cobbler部署 #先關閉防火牆和selinux [[email protected] ~]# systemctl disable firewalld [[email protected] ~]# setenforce 0 //cobbler服務,selinux必須得是disabled狀態,所以要重啟 [ro ...
  • top 主要用於查看 Linux系統中的所有進程 top 詳解 及 使用 上面的top top - 04:27:03 up 6 days, 23:25, # top 系統運行時間 2 users, # 用戶個數 load average: 0.00, 0.00, 0.00 # 平均負載 Tasks: ...
  • dpdk21.11 已經刪除了 igb_uio 模塊, 如果需要添加 需要提前下載 igb_uio 模塊,根據官網提供的下載鏈接,下載地址如下 IGB_UIO模塊 兩種添加方式 添加到文件中,然後再次編譯(編譯出來的結果與之前版本一致(19.11那種,直接在)) 直接編譯,不往文件中放,生成的IGB ...
  • 1.加拿大創新、科學和經濟發展部 (ISED) 於 2022 年 9 月 9 日發佈了第 2022-CEB001 號通知。 該通知包括關於無線電標準規範 RSS-195 “無線通信服務 (WCS) 設備在 2305-2320 MHz 和 2345-2360 MHz 頻段”第 2 版的指南,旨在重申 ...
  • 數據表的基本操作. MySQL 資料庫支持多種數據類型,大致可以分為 3 類:數值類型、日期和時間類型、字元串(字元)類型。 (1)數值類型 數值類型用於存儲數字型數據,這些類型包括整數類型(TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT),浮點數類型(FLOAT、DOU ...
  • 使用Mysql的zip壓縮包解壓版,下載之後需進行一定的配置,才能使用它。 下麵對Mysql壓縮包版的安裝方法進行詳細的描述,如有疑問或錯誤,望及時反饋。 首先,mysql的官方下載地址點我進行下載 1. 根據你要下載的電腦相應版本,點擊Download跳轉到下載界面。 2. 之後你會看到讓你登陸或 ...
  • 主從複製 + 分庫分表 要講主從複製,首先來看看MySQL自帶的日誌文件。 日誌 錯誤日誌 錯誤日誌是 MySQL 中最重要的日誌之一,它記錄了當 mysqld 啟動和停止時,以及伺服器在運行過程中發生任何嚴重錯誤時的相關信息。當資料庫出現任何故障導致無法正常使用時,建議首先查看此日誌文件。 該日誌 ...
  • 聽不見、聽不清、聽不懂,這是全國上千萬聽障群體的真實寫照。由於聽力的局限,他們在求學、工作、就醫、出行等方面都面臨巨大挑戰。AI時代,全行業為信息無障礙建設形成強大合力,但聽障群體依然面臨著冷冰冰的現實:專業語言服務人員的稀缺、溝通輔助器具的不完備,甚至來自社會的偏見及誤解…… “聾人只要通過助聽設 ...
一周排行
    -Advertisement-
    Play Games
  • 經常看到有群友調侃“為什麼搞Java的總在學習JVM調優?那是因為Java爛!我們.NET就不需要搞這些!”真的是這樣嗎?今天我就用一個案例來分析一下。 昨天,一位學生問了我一個問題:他建了一個預設的ASP.NET Core Web API的項目,也就是那個WeatherForecast的預設項目模 ...
  • 很多軟體工程師都認為MD5是一種加密演算法,然而這種觀點是不對的。作為一個 1992 年第一次被公開的演算法,到今天為止已經被髮現了一些致命的漏洞。本文討論MD5在密碼保存方面的一些問題。 ...
  • Maven可以使我們在構建項目時需要用到很多第三方類jar包,如下一些常用jar包 而maven的出現可以讓我們避免手動導入jar包出現的某些問題,它可以自動下載那須所需要的jar包 我們只需要在創建的maven項目自動生成的pom.xml中輸入如下代碼 <dependencies> <!--ser ...
  • 來源:https://developer.aliyun.com/article/694020 非同步調用幾乎是處理高併發Web應用性能問題的萬金油,那麼什麼是“非同步調用”? “非同步調用”對應的是“同步調用”,同步調用指程式按照定義順序依次執行,每一行程式都必須等待上一行程式執行完成之後才能執行;非同步調 ...
  • 1.面向對象 面向對象編程是在面向過程編程的基礎上發展來的,它比面向過程編程具有更強的靈活性和擴展性,所以可以先瞭解下什麼是面向過程編程: 面向過程編程的核心是過程,就是分析出實現需求所需要的步驟,通過函數一步一步實現這些步驟,接著依次調用即可,再簡單理解就是程式 從上到下一步步執行,從頭到尾的解決 ...
  • 10瓶毒藥其中只有一瓶有毒至少需要幾隻老鼠可以找到有毒的那瓶 身似浮雲,心如飛絮,氣若游絲。 用二分查找和二進位位運算的思想都可以把死亡的老鼠降到最低。 其中,二進位位運算就是每一隻老鼠代表一個二進位0或1,0就代表老鼠存活,1代表老鼠死亡;根據數學運算 23 = 8、24 = 16,那麼至少需要四 ...
  • 一、Kafka存在哪些方面的優勢 1. 多生產者 可以無縫地支持多個生產者,不管客戶端在使用單個主題還是多個主題。 2. 多消費者 支持多個消費者從一個單獨的消息流上讀取數據,而且消費者之間互不影響。 3. 基於磁碟的數據存儲 支持消費者非實時地讀取消息,由於消息被提交到磁碟,根據設置的規則進行保存 ...
  • 大家好,我是陶朱公Boy。 前言 上一篇文章《關於狀態機的技術選型,最後一個真心好》我跟大家聊了一下關於”狀態機“的話題。從眾多技術選型中我也推薦了一款阿裡開源的狀態機—“cola-statemachine”。 於是就有小伙伴私信我,自己項目也考慮引入這款狀態機,但網上資料實在太少,能不能系統的介紹 ...
  • 使用腳本自動跑實驗(Ubuntu),將實驗結果記錄在文件中,併在實驗結束之後將結果通過郵件發送到郵箱,最後在windows端自動解析成excel表格。 ...
  • 話說在前面,我不是小黑子~ 我是超級大黑子😏 表弟大周末的跑來我家,沒事幹天天騷擾我,搞得我都不能跟小姐姐好好聊天了,於是為了打發表弟,我決定用Python做一個小游戲來消耗一下他的精力,我思來想去,決定把他變成小黑子,於是做了一個坤坤打籃球的游戲,沒想到他還挺愛玩的~ 終於解放了,於是我把游戲寫 ...