HMS Core音頻編輯服務音源分離與空間音頻渲染,助力快速進入3D音頻的世界

来源:https://www.cnblogs.com/hmscore/archive/2022/07/29/16531605.html
-Advertisement-
Play Games

從單聲道、立體聲、環繞聲發展到三維聲,音頻回放技術的迭代演進是為了還原真實世界的聲音。其中,三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬,將聲場還原為三維空間,更接近真實世界。憑藉這個技術,各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗,也實現了更好的用戶訂閱增長。 ...


從單聲道、立體聲、環繞聲發展到三維聲,音頻回放技術的迭代演進是為了還原真實世界的聲音。其中,三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬,將聲場還原為三維空間,更接近真實世界。憑藉這個技術,各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗,也實現了更好的用戶訂閱增長。

傳統3D音頻的製作需獲取原始的分軌素材(如錄製的人聲、鋼琴聲等),並使用專業的數字音頻工作站(DAW)和3D混音插件手工製作,因此製作周期長、生產效率低、成本高、門檻高。此外,開發者由於沒有歌曲的原始分軌,因此通過傳統方法進行3D音頻製作的難度很大。HMS Core音頻編輯服務(Audio Editor Kit)提供了音源分離(獲取分軌)、空間音頻渲染能力,開發者僅需輸入立體聲,就能快速生成3D音頻內容,提升用戶音頻體驗和提升產品競爭力!


HMS Core音頻編輯服務3D音頻生成示意圖

音源分離技術

由於我們當前接觸到的音頻大都是立體聲,所有音頻對象(如音樂中的人聲、鋼琴、吉他等)都已經混合在左右兩個聲道當中,無法輕易地分開,更不要提將其渲染放置在不同的空間位置,因此將立體聲中的特定元素分離是3D化的一個核心技術。

華為演算法團隊通過對大量的音樂進行深度學習建模,並結合傳統信號處理能力最終實現音源分離:首先利用短時傅里葉變換(STFT)將一維的音頻信號變換到二維的時頻譜;然後將得到的二維的時頻譜與原始的一維時域信號一起作為雙流輸入,通過多層的殘差編碼及大量數據的訓練,獲得目標樂器的隱空間表達;最後進一步通過一系列的變換矩陣最終還原成原始的對象立體聲信號。
上述處理過程中使用的變換矩陣和網路結構是華為的獨特技術,是針對不同的樂器音色特點專門設計的,能夠確保每一個樂器都能儘可能的分離完整且乾凈,為3D化提供足夠優質的分軌素材。其涉及的核心能力包括:

1、 音頻信號特征提取:包括通過編碼器從時域信號直接提取特征,以及通過短時傅里葉變換從時域信號提取時頻譜特征;

2、 深度學習模型構建:加入殘差模塊與註意力機制,增強對不同樂器諧波建模能力與時序關聯能力;

3、 多通道維納濾波:結合傳統信號處理的能力,通過深度學習建模預測對象與非對象功率譜關係,構建與處理濾波繫數。

音頻分離技術示意圖

目前,HMS Core已對外開放了12種音源分離的能力(人聲、伴奏、鼓、小提琴、貝斯、鋼琴、木吉他、電吉他、弦樂、主唱、帶伴唱伴奏和管弦樂),幫助開發者快速地提取出自己想要的樂器進行3D化編輯。

空間音頻渲染技術

僅通過兩隻耳朵收聽外部聲音,人類為什麼可分辨聲源的位置呢?這是由於從聲源傳遞到兩隻耳朵的聲音實際上存在細微的差異,包括到達時間、接收到的能量、以及相位差等信息。而這些信息差綜合體現在一系列傳遞函數,稱為頭相關傳遞函數(HRTF)。通過將HRTF疊加到單點聲源,我們就可以虛擬出真實世界中聲音的方位直達聲的部分。為解決因頭型、肩寬等人體體徵的差異帶來的HRTF因人而異的難題,我們通過大量數據的分析,設計了一套較普適的HRTF,可以讓每個人都能享受到3D音頻。另外為了營造空間中聲音的反射、散射、干涉等物理現象,我們還通過疊加一系列的房間相應函數(RIR)來構建真實的空間,形成所謂的混響。因此,通過一系列的HRTF和RIR對聲源進行濾波,我們就可以將之前分離的素材進行3D化,形成3D音樂。

空間音頻渲染技術示意圖

目前,HMS Core音頻編輯服務提供的音源分離、空間音頻渲染服務這套組合拳已經應用在華為音樂的高級音效當中,用戶可以進入華為音樂音效頁面,在高級音效欄目中選擇聲空音效或聲樂純享,感受3D音頻的魅力。

華為音樂聲空音效與聲樂純享功能

以上技術來自華為2012實驗室,通過HMS Core音頻編輯服務面向開發者開放,在音樂音頻領域為用戶帶來差異化的3D音頻體驗。其他更多關於HMS Core音頻編輯服務的信息,請訪問華為開發者聯盟-HMS Core音頻編輯服務官網

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 文本編輯工具VIM 1.vi/vim介紹 我們要學會如何去新建文件、刪除文件、修改文件等等,那麼做這些操作就需要一個文本編輯工具。而在linux中最經典最流行的文本編輯工具就是vi/vim,當然也有一些其他的文本編輯工具。 例如 emacs pico nano joe jed 諸如此類,但我們只需要 ...
  • SiteSucker for Mac是一款運行在Mac平臺上的整站下載工具,在SiteSucker Mac版中輸入網址就能離線下載一個網站里的所有內容,包括HTML、圖片、CSS 樣式表、JS 文件、Flash 文件等,SiteSucker for mac版的操作十分簡單,非常的實用。 詳情:Sit ...
  • 1.軟體下載 [[email protected] ~]# cd /usr/src/ [[email protected] src]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.38-linux-glibc2.12-x86 ...
  • 20 | 幻讀是什麼,幻讀有什麼問題? 建表和初始化語句如下 CREATE TABLE `t` ( `id` int(11) NOT NULL, `c` int(11) DEFAULT NULL, `d` int(11) DEFAULT NULL, PRIMARY KEY (`id`), KEY ` ...
  • 業務端需要求連續90日每日的用戶留存率改怎麼計算呢??? 一: 本文采用MySQL8.0環境 1: 建表數據 CREATE TABLE `user_login` ( `user_id` int NOT NULL, `login_date` varchar(20) CHARACTER SET utf8 ...
  • 我們已經介紹瞭如何在 Kubernetes 和 KubeSphere 上部署 RadonDB MySQL 集群。本文將演示如何在 Rancher[1] 上部署 RadonDB MySQL Kubernetes 2.2.0[2],快速獲得一套 MySQL 容器化集群。 部署準備 已部署 Rancher ...
  • --創建用戶① --GRANT(授權)REVOKE(回收許可權)--創建用戶create user 用戶名 identified by 密碼 GRANT CONNECT,RESOURCE TO 用戶;GRANT CREATE VIEW TO 用戶;GRANT CREATE SYNONYM TO 用戶; ...
  • 編程思想: 面向過程:問題比較簡單,可以用線性的思維解決 面向對象:問題較為複雜,使用簡單的線性思維無法解決 兩種編程思想都是解決問題的方式,並不對立,通過面向對象的方式便於我們從巨集觀上把握事物之間的複雜關係、便於我們分析整個系統。本質仍然使用面向過程的方式來處理。 面向對象的程式設計強調把數據和操 ...
一周排行
    -Advertisement-
    Play Games
  • 使用原因: 在我們服務端調用第三方介面時,如:支付寶,微信支付,我們服務端需要模擬http請求並加上一些自己的邏輯響應給前端最終達到我們想要的效果 1.使用WebClient 引用命名空間 using System.Net; using System.Collections.Specialized; ...
  • WPF 實現帶蒙版的 MessageBox 消息提示框 WPF 實現帶蒙版的 MessageBox 消息提示框 作者:WPFDevelopersOrg 原文鏈接: https://github.com/WPFDevelopersOrg/WPFDevelopers.Minimal 框架使用大於等於.N ...
  • 一、JSON(JavaScript Object Notation)的簡介: ① JSON和XML類似,主要用於存儲和傳輸文本信息,但是和XML相比,JSON更小、更快、更易解析、更易編寫與閱讀。 ② C、Python、C++、Java、PHP、Go等編程語言都支持JSON。 二、JSON語法規則: ...
  • 1.避免Scoped模式註冊的服務變成Singleton模式 當提供一個生命周期模式為Singleton的服務實例時,如果發現該服務中還依賴生命周期模式為Scoped的服務實例(Scoped服務實例將被一個Singleton服務實例所引用),那麼這個被依賴的Scoped服務實例最終會成為一個Sing ...
  • 索引時資料庫提高數據查詢處理性能的一個非常關鍵的技術,索引的使用可以對性能產生上百倍甚至上千倍的影響。接下來,會介紹索引的基本原理、概念,並深入學習資料庫中所使用的索引結構和存儲方式,以及如何管理、維護索引等。 1.索引的基本概念 索引時用來快速查詢表記錄的一種存儲結構,一般使用索引有一下兩個方面: ...
  • django2 路由控制器 Route路由,是一種映射關係。路由是把客戶端請求的url路徑和用戶請求的應用程式,這裡意指django裡面的視圖進行綁定映射的一種關係。 請求路徑和視圖函數不是一一對應的關係 在django中所有的路由最終都被保存到一個叫urlpatterns的文件里,並且該文件必須在 ...
  • 1、我們的目標是獲取微博某博主的全部圖片、視頻 2、拿到網址後 我們先觀察 打開F12 隨著下滑我們發現載入出來了一個叫mymblog的東西,展開響應發現需要的東西就在裡面 3、重點來了!!! 通過觀察發現第二頁比第一頁多了參數since_id 而第二頁的since_id參數剛好在上一頁中能獲取到, ...
  • 一、實現原理 在Servlet3協議規範中,包含在JAR文件/META-INFO/resources/路徑下的資源可以直接訪問。 二、舉例說明 如下圖所示,是我新建的一個Spring Boot Starter項目:zimug-minitor-threadpool,用於實現可配置、可觀測的線程池。其中 ...
  • 精華筆記: static final常量:應用率高 必須聲明同時初始化 由類名打點來訪問,不能被改變 建議:常量所有字母都大寫,多個單詞用_分隔 編譯器在編譯時會將常量直接替換為具體的數,效率高 何時用:數據永遠不變,並且經常使用 抽象方法: 由abstract修飾 只有方法的定義,沒有具體的實現( ...
  • Python有一個for...else語法,它的寫法如下 for i in range(0,100): if i == 3: break else: print("Not found") 該語句表示:若for迴圈遍歷完畢,則執行else部分的語句。也就是說上述代碼不會有任何輸出,而下述代碼會輸出“N ...