HMS Core機器學習服務實現同聲傳譯,支持中英文互譯和多種音色語音播報

来源:https://www.cnblogs.com/hmscore/archive/2022/06/25/16411516.html
-Advertisement-
Play Games

當用戶有跨語種交流或音頻內容翻譯的需求時,應用需要能自動檢測語音內容再輸出為用戶需要的語言文字。 HMS Core機器學習服務提供同聲傳譯能力,同聲傳譯實現將實時輸入的長語音實時翻譯為不同語種的文本以及語音,並實時輸出原語音文本、翻譯後的文本以及翻譯文本的語音播報。 在直播類,會議類的應用中,同聲傳 ...


當用戶有跨語種交流或音頻內容翻譯的需求時,應用需要能自動檢測語音內容再輸出為用戶需要的語言文字。

HMS Core機器學習服務提供同聲傳譯能力,同聲傳譯實現將實時輸入的長語音實時翻譯為不同語種的文本以及語音,並實時輸出原語音文本、翻譯後的文本以及翻譯文本的語音播報。

在直播類,會議類的應用中,同聲傳譯顯得尤為重要。比如,在會議類應用中,可以將正在進行的會議發言人的發言內容實時輸出為目標語言文字,便於不同語言的人實時理解會議內容,提高會議效率。在直播類應用中,可以將主播的說話內容實時輸出為用戶需要的語言文字,再進行實時播報,提高了用戶的觀看體驗。

HMS Core機器學習服務同聲傳譯能力不僅支持連續5小時的實時長語音輸入轉換為文本,還支持中英文互譯和多種音色語音播報,滿足不同類型應用中不同場景的需要。

DEMO示例

開發步驟

在進行開發之前,您需要完成必要的開發準備工作,同時請確保您的工程中已經配置HMS Core SDK的Maven倉地址,並且完成了本服務的SDK集成。

SDK示例代碼如下:

dependencies{
    // 引入同聲傳譯服務SDK
implementation 'com.huawei.hms:ml-computer-si-sdk:3.5.0.312'
}
  1. 請參見雲端鑒權信息使用須知,設置您應用的鑒權信息。

  2. 創建同傳識別器,並設置配置。

MLSimultaneousInterpretationConfig config = new 
MLSimultaneousInterpretationConfig.Factory()
                // 設置源語種,目前支持中文和英文
.setSourceLanguage(MLSimultaneousInterpretationConstants.LAN_ZH_CN)
                // 設置目標語種,目前支持中文和英文
                .setTargetLanguage(MLSimultaneousInterpretationConstants.LAN_EN_US)
                // 設置識別類型。支持原始文本+翻譯文本+翻譯語音
                .setResultType(MLSimultaneousInterpretationConstants.RESULT_TYPE_TEXT_TRANSLATED_VOICE)
                // 設置發音人,支持中、英男聲和女聲
                .setPerson(MLSimultaneousInterpretationConstants.EN_FEMALE_VOICE)
                .create();
 MLSimultaneousInterpretationRecognizer = MLSimultaneousInterpretationRecognizer.getInstance();
  1. 創建語音識別結果監聽器回調。
// 回調實現MLSimultaneousInterpretationListener,實現介面中的方法。
    protected class SIRecognitionListener implements MLSimultaneousInterpretationListener {
        @Override
        public void onStartListening() {
            // 錄音器開始接收聲音。
 }
        @Override
        public void onVoiceDataReceived(byte[] data) {
            // 返回給用戶原始的PCM音頻流和音頻能量,該介面並非運行在主線程中,返回結果需要在子線程中處理。
        }
        @Override
        public void onRecognizingResults(Bundle partialResults) {
            // 從SIRecognitionListener接收到持續語音識別的文本。
            // RESULTS_RECOGNIZING:原始文本;RESULTS_TRANS_RECOGNIZING:tts文本;RESULTS_SN:原始序列號;RESULTS_TRANS_SN:tts序列號
        }
        @Override
        public void onResults(Bundle results) {
            // 從SIRecognitionListener接收到完整的句子
            // RESULTS_RECOGNIZED:原始結果;RESULTS_TRANS_RECOGNIZED:tts結果
        }
        @Override
        public void onError(int error, String errorMessage) {
            // 識別發生錯誤後調用該介面。
        }
        @Override
        public void onState(int state, Bundle params) {
            // 通知應用狀態發生改變。
        }
    }
  1. 綁定同傳識別器。
mlSimultaneousInterpretationRecognizer.setMLSimultaneousInterpretationListener(new SIRecognitionListener());
  1. 調用startRecognizing啟動語音識別。
// 開始識別。 
 mlSimultaneousInterpretationRecognizer.startRecognizing(config);
  1. 識別完成後,結束識別並釋放資源。
if (mlSimultaneousInterpretationRecognizer!= null) {
  mlSimultaneousInterpretationRecognizer.destroy();
  }

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 領域邏輯 & 應用邏輯 如前所述,領域驅動設計中的業務邏輯分為兩部分(層):領域邏輯和應用邏輯: 領域邏輯由系統的核心領域規則組成,應用邏輯實現應用特定的用例 雖然定義很明確,但實現起來可能並不容易。您可能無法決定哪些代碼應該位於應用程式層,哪些代碼應該位於領域層。本節試圖解釋其中的差異 多個應用程 ...
  • 用例演示 - 創建實體 本節將演示一些示例用例並討論可選場景。 創建實體 從實體/聚合根類創建對象是實體生命周期的第一步。聚合/聚合根規則和最佳實踐部分 建議為Entity類創建一個主構造函數,以保證創建一個有效的實體。因此,無論何時我們需要創建實體的實例,我們都應該使用那個構造函數 參見下麵的問題 ...
  • 痞子衡嵌入式半月刊: 第 57 期 這裡分享嵌入式領域有用有趣的項目/工具以及一些熱點新聞,農曆年分二十四節氣,希望在每個交節之日準時發佈一期。 本期刊是開源項目(GitHub: JayHeng/pzh-mcu-bi-weekly),歡迎提交 issue,投稿或推薦你知道的嵌入式那些事兒。 上期回顧 ...
  • 2022年6月初合宙新上市了 Air32F103 系列 MCU, 分 Air32F103CBT6 和 Air32F103CCT6 兩個型號, 分別是 32K RAM + 128K FLASH 和 32K RAM + 256K FLASH, 支持的最高主頻216MHz, 可以Pin2Pin替換STM3... ...
  • ## 電腦性能設置 優化設置一:開啟卓越性能 其實,win10系統中有一個卓越性能的隱藏設置,它可以讓我們的電腦,在現有配置的情況下,發揮出最優良的性能。 1、 同時按住“win+R”打開運行視窗,輸入“powershell”並點擊“確定” 2、 打開命令提示符頁面後,輸入並執行以下字元,就會出現 ...
  • 寫在前面: 這幾天留校,在做一個電機驅動的項目,使用的是合肥傑發的平臺,車規級晶元AC7801/11系列晶元。 但在進行模擬和程式燒錄的時候遇到了各種問題,藉助這個機會,私下裡總結了常見的模擬與燒錄程式常見的幾種方式,以及相關的操作,希望對大家有幫助。 單片機ISP、IAP和ICP幾種燒錄方式的區別 ...
  • 對於 MySQL 資料庫作為各個業務系統的存儲介質,在系統中承擔著非常重要的職責,如果資料庫崩了,那麼對於讀和寫資料庫的操作都會受到影響。如果不能迅速恢復,對業務的影響是非常大的。本文我將分享MySQL 雙主 + Keepalived 的高可用落地和踩坑之路。 ...
  • 1、簡述 binlog 二進位日誌文件,這個文件記錄了MySQL所有的DML操作。通過binlog日誌我們可以做數據恢復,增量備份,主主複製和主從複製等等。 2、Docker中無法使用vim問題解決 https://blog.csdn.net/Tomwildboar/article/details/ ...
一周排行
    -Advertisement-
    Play Games
  • 記錄一下Winform程式打包過程 參考文章:VS2017 WinFrom打包設置與教程 下載 Visual Studio Installer 拓展插件 從VS2017開始VS已預設不再集成Installer拓展,所以需要手動下載安裝,在 工具 - 插件和更新 裡面的插件商店裡面搜索"install ...
  • 先下載一個gif圖片,這裡提供一個gif圖片示例 線上GIF圖片幀拆分工具 - UU線上工具 (uutool.cn) 使用這個網站將gif切成單張圖片 創建一個Avalonia MVVM的項目,將圖片copy進去 在項目文件中添加一下代碼: <ItemGroup> <None Update="gif ...
  • 1 簡介 Dapr是一個可移植的、事件驅動的運行時,它使任何開發人員能夠輕鬆構建出彈性的、無狀態和有狀態的應用程式,並可運行在雲平臺或邊緣計算中,它同時也支持多種編程語言和開發框架。Dapr支持的語言很多,包括C++/Go/Java/JavaScript/Python/Rust/.NET/PHP等。 ...
  • 作者:大眼睛圖圖 鏈接:https://juejin.cn/post/7156483709338648613 前言 還有誰?剛上三天班就被公司公司的工作不適合我,叫我先提升一下。 後面我也向公司那邊討要了一個說法,我只能說他們那邊的說辭讓我有些不服氣。 現在之所以把這件事在掘金上記錄一下,一是記錄一 ...
  • 雲原生下的流水線是通過啟動容器來運行具體的功能步驟,每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題:容器運行完是不會保存數據的,每當流水線重新運行時,又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下,不存在本地宿主機編譯代碼、構建鏡像時緩存的作用,大大延長了流水線運行時間,... ...
  • 本文介紹基於Python語言中TensorFlow的tf.estimator介面,實現深度學習神經網路回歸的具體方法。 () 1 寫在前面 1. 本文介紹的是基於TensorFlow tf.estimator介面的深度學習網路,而非TensorFlow 2.0中常用的Keras介面;關於Keras接 ...
  • 基礎 我是在ruoyi-vue已經安裝了mybatis-plus的基礎上進行的修改 關於SQLite SQLite 是一個軟體庫,實現了自給自足的、無伺服器的、零配置的、事務性的 SQL 資料庫引擎。 SQLite主頁:https://www.sqlite.org/index.html 1. pom ...
  • 1. 服務監控三要素^1 服務監控需要滿足的三要素分別如下: 日誌監控 指標監控 請求鏈路追蹤 服務監控只要能滿足這三個要素,基本就能實現我們想要的監控效果。 1.1.主流APM系統^1 APM 系統(Application Performance Management,即應用性能管理)是對企業的應 ...
  • 雙重檢查鎖定與延遲初始化 在 java 程式中,有時候可能需要推遲一些高開銷的對象初始化操作,並且只有在使用這些對象時才進行初始化。此時程式員可能會採用延遲初始化。但要正確實現線程安全的延遲初始化需要一些技巧,否則很容易出現問題。比如,下麵是非線程安全的延遲初始化對象的示例代碼: COPYpubli ...
  • 顧名思義單調棧就是具有單調性的棧 ==常見模型:找出每個數左邊離它最近的比它大/小的數== 【演算法】 int stk[N],tt = 0; // 棧中存數據 for (int i = 1; i <= n; i ++){ int x; cin >> x; while (tt && stk[tt] >= ...