HMS Core音頻編輯服務音源分離與空間音頻渲染,助力快速進入3D音頻的世界

来源:https://www.cnblogs.com/hmscore/archive/2022/07/29/16531605.html
-Advertisement-
Play Games

從單聲道、立體聲、環繞聲發展到三維聲,音頻回放技術的迭代演進是為了還原真實世界的聲音。其中,三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬,將聲場還原為三維空間,更接近真實世界。憑藉這個技術,各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗,也實現了更好的用戶訂閱增長。 ...


從單聲道、立體聲、環繞聲發展到三維聲,音頻回放技術的迭代演進是為了還原真實世界的聲音。其中,三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬,將聲場還原為三維空間,更接近真實世界。憑藉這個技術,各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗,也實現了更好的用戶訂閱增長。

傳統3D音頻的製作需獲取原始的分軌素材(如錄製的人聲、鋼琴聲等),並使用專業的數字音頻工作站(DAW)和3D混音插件手工製作,因此製作周期長、生產效率低、成本高、門檻高。此外,開發者由於沒有歌曲的原始分軌,因此通過傳統方法進行3D音頻製作的難度很大。HMS Core音頻編輯服務(Audio Editor Kit)提供了音源分離(獲取分軌)、空間音頻渲染能力,開發者僅需輸入立體聲,就能快速生成3D音頻內容,提升用戶音頻體驗和提升產品競爭力!


HMS Core音頻編輯服務3D音頻生成示意圖

音源分離技術

由於我們當前接觸到的音頻大都是立體聲,所有音頻對象(如音樂中的人聲、鋼琴、吉他等)都已經混合在左右兩個聲道當中,無法輕易地分開,更不要提將其渲染放置在不同的空間位置,因此將立體聲中的特定元素分離是3D化的一個核心技術。

華為演算法團隊通過對大量的音樂進行深度學習建模,並結合傳統信號處理能力最終實現音源分離:首先利用短時傅里葉變換(STFT)將一維的音頻信號變換到二維的時頻譜;然後將得到的二維的時頻譜與原始的一維時域信號一起作為雙流輸入,通過多層的殘差編碼及大量數據的訓練,獲得目標樂器的隱空間表達;最後進一步通過一系列的變換矩陣最終還原成原始的對象立體聲信號。
上述處理過程中使用的變換矩陣和網路結構是華為的獨特技術,是針對不同的樂器音色特點專門設計的,能夠確保每一個樂器都能儘可能的分離完整且乾凈,為3D化提供足夠優質的分軌素材。其涉及的核心能力包括:

1、 音頻信號特征提取:包括通過編碼器從時域信號直接提取特征,以及通過短時傅里葉變換從時域信號提取時頻譜特征;

2、 深度學習模型構建:加入殘差模塊與註意力機制,增強對不同樂器諧波建模能力與時序關聯能力;

3、 多通道維納濾波:結合傳統信號處理的能力,通過深度學習建模預測對象與非對象功率譜關係,構建與處理濾波繫數。

音頻分離技術示意圖

目前,HMS Core已對外開放了12種音源分離的能力(人聲、伴奏、鼓、小提琴、貝斯、鋼琴、木吉他、電吉他、弦樂、主唱、帶伴唱伴奏和管弦樂),幫助開發者快速地提取出自己想要的樂器進行3D化編輯。

空間音頻渲染技術

僅通過兩隻耳朵收聽外部聲音,人類為什麼可分辨聲源的位置呢?這是由於從聲源傳遞到兩隻耳朵的聲音實際上存在細微的差異,包括到達時間、接收到的能量、以及相位差等信息。而這些信息差綜合體現在一系列傳遞函數,稱為頭相關傳遞函數(HRTF)。通過將HRTF疊加到單點聲源,我們就可以虛擬出真實世界中聲音的方位直達聲的部分。為解決因頭型、肩寬等人體體徵的差異帶來的HRTF因人而異的難題,我們通過大量數據的分析,設計了一套較普適的HRTF,可以讓每個人都能享受到3D音頻。另外為了營造空間中聲音的反射、散射、干涉等物理現象,我們還通過疊加一系列的房間相應函數(RIR)來構建真實的空間,形成所謂的混響。因此,通過一系列的HRTF和RIR對聲源進行濾波,我們就可以將之前分離的素材進行3D化,形成3D音樂。

空間音頻渲染技術示意圖

目前,HMS Core音頻編輯服務提供的音源分離、空間音頻渲染服務這套組合拳已經應用在華為音樂的高級音效當中,用戶可以進入華為音樂音效頁面,在高級音效欄目中選擇聲空音效或聲樂純享,感受3D音頻的魅力。

華為音樂聲空音效與聲樂純享功能

以上技術來自華為2012實驗室,通過HMS Core音頻編輯服務面向開發者開放,在音樂音頻領域為用戶帶來差異化的3D音頻體驗。其他更多關於HMS Core音頻編輯服務的信息,請訪問華為開發者聯盟-HMS Core音頻編輯服務官網

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 文本編輯工具VIM 1.vi/vim介紹 我們要學會如何去新建文件、刪除文件、修改文件等等,那麼做這些操作就需要一個文本編輯工具。而在linux中最經典最流行的文本編輯工具就是vi/vim,當然也有一些其他的文本編輯工具。 例如 emacs pico nano joe jed 諸如此類,但我們只需要 ...
  • SiteSucker for Mac是一款運行在Mac平臺上的整站下載工具,在SiteSucker Mac版中輸入網址就能離線下載一個網站里的所有內容,包括HTML、圖片、CSS 樣式表、JS 文件、Flash 文件等,SiteSucker for mac版的操作十分簡單,非常的實用。 詳情:Sit ...
  • 1.軟體下載 [root@localhost ~]# cd /usr/src/ [root@localhost src]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.38-linux-glibc2.12-x86 ...
  • 20 | 幻讀是什麼,幻讀有什麼問題? 建表和初始化語句如下 CREATE TABLE `t` ( `id` int(11) NOT NULL, `c` int(11) DEFAULT NULL, `d` int(11) DEFAULT NULL, PRIMARY KEY (`id`), KEY ` ...
  • 業務端需要求連續90日每日的用戶留存率改怎麼計算呢??? 一: 本文采用MySQL8.0環境 1: 建表數據 CREATE TABLE `user_login` ( `user_id` int NOT NULL, `login_date` varchar(20) CHARACTER SET utf8 ...
  • 我們已經介紹瞭如何在 Kubernetes 和 KubeSphere 上部署 RadonDB MySQL 集群。本文將演示如何在 Rancher[1] 上部署 RadonDB MySQL Kubernetes 2.2.0[2],快速獲得一套 MySQL 容器化集群。 部署準備 已部署 Rancher ...
  • --創建用戶① --GRANT(授權)REVOKE(回收許可權)--創建用戶create user 用戶名 identified by 密碼 GRANT CONNECT,RESOURCE TO 用戶;GRANT CREATE VIEW TO 用戶;GRANT CREATE SYNONYM TO 用戶; ...
  • 編程思想: 面向過程:問題比較簡單,可以用線性的思維解決 面向對象:問題較為複雜,使用簡單的線性思維無法解決 兩種編程思想都是解決問題的方式,並不對立,通過面向對象的方式便於我們從巨集觀上把握事物之間的複雜關係、便於我們分析整個系統。本質仍然使用面向過程的方式來處理。 面向對象的程式設計強調把數據和操 ...
一周排行
    -Advertisement-
    Play Games
  • 在本篇教程中,我們學習瞭如何使用 Taurus.MVC WebMVC 框架創建一個簡單的頁面。 我們創建了一個控制器並編寫了一個用於呈現頁面的方法,然後創建了對應的視圖,並最終成功運行了應用程式。 在下一篇教程中,我們將繼續探索 Taurus.MVC WebMVC 框架的更多功能和用法。 ...
  • 一:背景 1. 講故事 很多.NET開發者在學習高級調試的時候,使用sos的命令輸出會發現這裡也看不懂那裡也看不懂,比如截圖中的這位朋友。 .NET高級調試屬於一個偏冷門的領域,國內可觀測的資料比較少,所以很多東西需要你自己去探究源代碼,然後用各種調試工具去驗證,相關源代碼如下: coreclr: ...
  • 我一直都以為c中除以2的n次方可以使用右移n位代替,然而在實際調試中發現並不都是這樣的。是在計算餘數是發現了異常 被除數:114325068 右移15計算結果:3488 除法取整計算結果:3489 右移操作計算餘數:33772 除法取整計算餘數:1005 顯然:這是不一樣的。 移位操作是一條cpu指 ...
  • 在上一篇文章中,我們介紹了ReentrantLock類的一些基本用法,今天我們重點來介紹一下ReentrantLock其它的常用方法,以便對ReentrantLock類的使用有更深入的理解。 ...
  • Excelize 是 Go 語言編寫的用於操作電子錶格辦公文檔的開源基礎庫,2024年2月26日,社區正式發佈了 2.8.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • 雲採用框架(Cloud Adoption Framework,簡稱CAF)為企業上雲提供策略和技術的指導原則和最佳實踐,幫助企業上好雲、用好雲、管好雲,併成功實現業務目標。本雲採用框架是基於服務大量企業客戶的經驗總結,將企業雲採用分為四個階段,並詳細探討企業應在每個階段採取的業務和技術策略;同時,還 ...
  • 與TXT文本文件,PDF文件更加專業也更適合傳輸,常用於正式報告、簡歷、合同等場合。項目中如果有使用Java將TXT文本文件轉為PDF文件的需求,可以查看本文中介紹的免費實現方法。 免費Java PDF庫 本文介紹的方法需要用到Free Spire.PDF for Java,該免費庫支持多種操作、轉 ...
  • 指針和引用 當我們需要在程式中傳遞變數的地址時,可以使用指針或引用。它們都可以用來間接訪問變數,但它們之間有一些重要的區別。 指針是一個變數,它存儲另一個變數的地址。通過指針,我們可以訪問存儲在該地址中的變數。指針可以被重新分配,可以指向不同的變數,也可以為NULL。指針使用*運算符來訪問存儲在地址 ...
  • 即使再小再簡單的需求,作為研發開發完畢之後,我們可以直接上線麽?其實很多時候事故往往就是由於“不以為意”發生的。事故的發生往往也遵循“墨菲定律”,這就要求我們更要敬畏線上,再小的需求點都需要經過嚴格的測試驗證才能上線。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 一、是什麼 許可權是對特定資源的訪問許可,所謂許可權控制,也就是確保用戶只能訪問到被分配的資源 而前端許可權歸根結底是請求的發起權,請求的發起可能有下麵兩種形式觸發 頁面載入觸發 頁面上的按鈕點擊觸發 總的來說,所有的請求發起都觸發自前端路由或 ...