文章轉自:http://msching.github.io/blog/2014/07/07/audio-in-ios/ 從事音樂相關的app開發也已經有一段時日了,在這過程中app的播放器幾經修改我也因此對於iOS下的音頻播放實現有了一定的研究。寫這個系列的博客目的一方面希望能夠拋磚引玉,另一方面也 ...
文章轉自:http://msching.github.io/blog/2014/07/07/audio-in-ios/
從事音樂相關的app開發也已經有一段時日了,在這過程中app的播放器幾經修改我也因此對於iOS下的音頻播放實現有了一定的研究。寫這個系列的博客目的一方面希望能夠拋磚引玉,另一方面也是希望能幫助國內其他的ios開發者和愛好者少走彎路(我自己就遇到了不少的坑=。=)。
本篇為《iOS音頻播放》系列的第一篇,主要將對iOS下實現音頻播放的方法進行概述。
基礎
先來簡單瞭解一下一些基礎的音頻知識。
目前我們在電腦上進行音頻播放都需要依賴於音頻文件,音頻文件的生成過程是將聲音信息採樣、量化和編碼產生的數字信號的過程,人耳所能聽到的聲音,最低的頻率是從20Hz起一直到最高頻率20KHZ,因此音頻文件格式的最大帶寬是20KHZ。根據奈奎斯特的理論,只有採樣頻率高於聲音信號最高頻率的兩倍時,才能把數字信號表示的聲音還原成為原來的聲音,所以音頻文件的採樣率一般在40~50KHZ,比如最常見的CD音質採樣率44.1KHZ。
對聲音進行採樣、量化過程被稱為脈衝編碼調製(Pulse Code Modulation),簡稱PCM
。PCM數據是最原始的音頻數據完全無損,所以PCM數據雖然音質優秀但體積龐大,為瞭解決這個問題先後誕生了一系列的音頻格式,這些音頻格式運用不同的方法對音頻數據進行壓縮,其中有無損壓縮(ALAC、APE、FLAC)和有損壓縮(MP3、AAC、OGG、WMA)兩種。
目前最為常用的音頻格式是MP3,MP3是一種有損壓縮的音頻格式,設計這種格式的目的就是為了大幅度的減小音頻的數據量,它捨棄PCM音頻數據中人類聽覺不敏感的部分,從下麵的比較圖我們可以明顯的看到MP3數據相比PCM數據明顯矮了一截(圖片引自imp3論壇)。
MP3格式中的碼率(BitRate)代表了MP3數據的壓縮質量,現在常用的碼率有128kbit/s、160kbit/s、320kbit/s等等,這個值越高聲音質量也就越高。MP3編碼方式常用的有兩種固定碼率(Constant bitrate,CBR)和可變碼率(Variable bitrate,VBR)。
MP3格式中的數據通常由兩部分組成,一部分為ID3用來存儲歌名、演唱者、專輯、音軌數等信息,另一部分為音頻數據。音頻數據部分以幀(frame)為單位存儲,每個音頻都有自己的幀頭,如圖所示就是一個MP3文件幀結構圖(圖片同樣來自互聯網)。MP3中的每一個幀都有自己的幀頭,其中存儲了採樣率等解碼必須的信息,所以每一個幀都可以獨立於文件存在和播放,這個特性加上高壓縮比使得MP3文件成為了音頻流播放的主流格式。幀頭之後存儲著音頻數據,這些音頻數據是若幹個PCM數據幀經過壓縮演算法壓縮得到的,對CBR的MP3數據來說每個幀中包含的PCM數據幀是固定的,而VBR是可變的。
iOS音頻播放概述
瞭解了基礎概念之後我們就可以列出一個經典的音頻播放流程(以MP3為例):
- 讀取MP3文件
- 解析採樣率、碼率、時長等信息,分離MP3中的音頻幀
- 對分離出來的音頻幀解碼得到PCM數據
- 對PCM數據進行音效處理(均衡器、混響器等,非必須)
- 把PCM數據解碼成音頻信號
- 把音頻信號交給硬體播放
- 重覆1-6步直到播放完成
在iOS系統中apple對上述的流程進行了封裝並提供了不同層次的介面(圖片引自官方文檔)。
下麵對其中的中高層介面進行功能說明:
- Audio File Services:讀寫音頻數據,可以完成播放流程中的第2步;
- Audio File Stream Services:對音頻進行解碼,可以完成播放流程中的第2步;
- Audio Converter services:音頻數據轉換,可以完成播放流程中的第3步;
- Audio Processing Graph Services:音效處理模塊,可以完成播放流程中的第4步;
- Audio Unit Services:播放音頻數據:可以完成播放流程中的第5步、第6步;
- Extended Audio File Services:Audio File Services和Audio Converter services的結合體;
- AVAudioPlayer/AVPlayer(AVFoundation):高級介面,可以完成整個音頻播放的過程(包括本地文件和網路流播放,第4步除外);
- Audio Queue Services:高級介面,可以進行錄音和播放,可以完成播放流程中的第3、5、6步;
- OpenAL:用於游戲音頻播放,暫不討論
可以看到apple提供的介面類型非常豐富,可以滿足各種類別類需求:
-
如果你只是想實現音頻的播放,沒有其他需求AVFoundation會很好的滿足你的需求。它的介面使用簡單、不用關心其中的細節;
-
如果你的app需要對音頻進行流播放並且同時存儲,那麼AudioFileStreamer加AudioQueue能夠幫到你,你可以先把音頻數據下載到本地,一邊下載一邊用NSFileHandler等介面讀取本地音頻文件並交給AudioFileStreamer或者AudioFile解析分離音頻幀,分離出來的音頻幀可以送給AudioQueue進行解碼和播放。如果是本地文件直接讀取文件解析即可。(這兩個都是比較直接的做法,這類需求也可以用AVFoundation+本地server的方式實現,AVAudioPlayer會把請求發送給本地server,由本地server轉發出去,獲取數據後在本地server中存儲並轉送給AVAudioPlayer。另一個比較trick的做法是先把音頻下載到文件中,在下載到一定量的數據後把文件路徑給AVAudioPlayer播放,當然這種做法在音頻seek後就回有問題了。);
-
如果你正在開發一個專業的音樂播放軟體,需要對音頻施加音效(均衡器、混響器),那麼除了數據的讀取和解析以外還需要用到AudioConverter來把音頻數據轉換成PCM數據,再由AudioUnit+AUGraph來進行音效處理和播放(但目前多數帶音效的app都是自己開發音效模塊來坐PCM數據的處理,這部分功能自行開發在自定義性和擴展性上會比較強一些。PCM數據通過音效器處理完成後就可以使用AudioUnit播放了,當然AudioQueue也支持直接使對PCM數據進行播放。)。下圖描述的就是使用AudioFile + AudioConverter + AudioUnit進行音頻播放的流程(圖片引自官方文檔)。
下篇預告
下一篇將講述iOS音頻播放中必須面對的難(da)題(keng),AudioSession。
參考資料
原創文章,版權聲明:自由轉載-非商用-非衍生-保持署名 | Creative Commons BY-NC-ND 3.0