從單聲道、立體聲、環繞聲發展到三維聲，音頻回放技術的迭代演進是為了還原真實世界的聲音。其中，三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬，將聲場還原為三維空間，更接近真實世界。憑藉這個技術，各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗，也實現了更好的用戶訂閱增長。 ...
從單聲道、立體聲、環繞聲發展到三維聲，音頻回放技術的迭代演進是為了還原真實世界的聲音。其中，三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬，將聲場還原為三維空間，更接近真實世界。憑藉這個技術，各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗，也實現了更好的用戶訂閱增長。
傳統3D音頻的製作需獲取原始的分軌素材（如錄製的人聲、鋼琴聲等），並使用專業的數字音頻工作站（DAW）和3D混音插件手工製作，因此製作周期長、生產效率低、成本高、門檻高。此外，開發者由於沒有歌曲的原始分軌，因此通過傳統方法進行3D音頻製作的難度很大。HMS Core音頻編輯服務（Audio Editor Kit）提供了音源分離（獲取分軌）、空間音頻渲染能力，開發者僅需輸入立體聲，就能快速生成3D音頻內容，提升用戶音頻體驗和提升產品競爭力！
HMS Core音頻編輯服務3D音頻生成示意圖
音源分離技術
由於我們當前接觸到的音頻大都是立體聲，所有音頻對象（如音樂中的人聲、鋼琴、吉他等）都已經混合在左右兩個聲道當中，無法輕易地分開，更不要提將其渲染放置在不同的空間位置，因此將立體聲中的特定元素分離是3D化的一個核心技術。
華為演算法團隊通過對大量的音樂進行深度學習建模，並結合傳統信號處理能力最終實現音源分離：首先利用短時傅里葉變換（STFT）將一維的音頻信號變換到二維的時頻譜；然後將得到的二維的時頻譜與原始的一維時域信號一起作為雙流輸入，通過多層的殘差編碼及大量數據的訓練，獲得目標樂器的隱空間表達；最後進一步通過一系列的變換矩陣最終還原成原始的對象立體聲信號。
上述處理過程中使用的變換矩陣和網路結構是華為的獨特技術，是針對不同的樂器音色特點專門設計的，能夠確保每一個樂器都能儘可能的分離完整且乾凈，為3D化提供足夠優質的分軌素材。其涉及的核心能力包括：
1、 音頻信號特征提取：包括通過編碼器從時域信號直接提取特征，以及通過短時傅里葉變換從時域信號提取時頻譜特征；
2、 深度學習模型構建：加入殘差模塊與註意力機制，增強對不同樂器諧波建模能力與時序關聯能力；
3、 多通道維納濾波：結合傳統信號處理的能力，通過深度學習建模預測對象與非對象功率譜關係，構建與處理濾波繫數。
音頻分離技術示意圖
目前，HMS Core已對外開放了12種音源分離的能力（人聲、伴奏、鼓、小提琴、貝斯、鋼琴、木吉他、電吉他、弦樂、主唱、帶伴唱伴奏和管弦樂），幫助開發者快速地提取出自己想要的樂器進行3D化編輯。
空間音頻渲染技術
僅通過兩隻耳朵收聽外部聲音，人類為什麼可分辨聲源的位置呢？這是由於從聲源傳遞到兩隻耳朵的聲音實際上存在細微的差異，包括到達時間、接收到的能量、以及相位差等信息。而這些信息差綜合體現在一系列傳遞函數，稱為頭相關傳遞函數（HRTF）。通過將HRTF疊加到單點聲源，我們就可以虛擬出真實世界中聲音的方位直達聲的部分。為解決因頭型、肩寬等人體體徵的差異帶來的HRTF因人而異的難題，我們通過大量數據的分析，設計了一套較普適的HRTF，可以讓每個人都能享受到3D音頻。另外為了營造空間中聲音的反射、散射、干涉等物理現象，我們還通過疊加一系列的房間相應函數（RIR）來構建真實的空間，形成所謂的混響。因此，通過一系列的HRTF和RIR對聲源進行濾波，我們就可以將之前分離的素材進行3D化，形成3D音樂。
空間音頻渲染技術示意圖
目前，HMS Core音頻編輯服務提供的音源分離、空間音頻渲染服務這套組合拳已經應用在華為音樂的高級音效當中，用戶可以進入華為音樂音效頁面，在高級音效欄目中選擇聲空音效或聲樂純享，感受3D音頻的魅力。
華為音樂聲空音效與聲樂純享功能
以上技術來自華為2012實驗室，通過HMS Core音頻編輯服務面向開發者開放，在音樂音頻領域為用戶帶來差異化的3D音頻體驗。其他更多關於HMS Core音頻編輯服務的信息，請訪問華為開發者聯盟-HMS Core音頻編輯服務官網
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee
關註我們，第一時間瞭解 HMS Core 最新技術資訊~
