本文轉自:[FFmpeg 入門(2):輸出視頻到屏幕 | www.samirchen.com][2] SDL 我們這裡使用 SDL 來渲染視頻到屏幕。SDL 是 Simple Direct Layer 的縮寫,是一個優秀的跨平臺多媒體庫,你可以從 [http://www.libsdl.org][3] ...
本文轉自:FFmpeg 入門(2):輸出視頻到屏幕 | www.samirchen.com
SDL
我們這裡使用 SDL 來渲染視頻到屏幕。SDL 是 Simple Direct Layer 的縮寫,是一個優秀的跨平臺多媒體庫,你可以從 http://www.libsdl.org 下載 SDL 的庫。
SDL 有很多可以將圖像繪製都屏幕的方法,其中有一個專門用於將視頻渲染到屏幕進行播放,即 YUV overlay。
YUV(其實這裡叫 YCbCr 更準確)是不同於 RGB 的另一種存儲原始圖像數據的方式。簡單來講,Y 是表示「亮度」,U 和 V 表示「色度」,YUV 的關鍵是在於它的亮度信號 Y 和色度信號 U、V 是分離的。那就是說即使只有 Y 信號分量而沒有 U、V 分量,我們仍然可以表示出圖像,只不過圖像是黑白灰度圖像。在YCbCr 中 Y 是指亮度分量,Cb 指藍色色度分量,而 Cr 指紅色色度分量。
SDL 的 YUV overlay 可以接收一組 YUV 數據然後顯示它。它支持 4 種不同的 YUV 格式,其中 「YV12」 是最快的。另一種 YUV 格式是 「YUV420P」也叫 「I420」,基本上和 「YV12」 是一樣的,就是把 U 和 V 數組換了一下位置。
- YV12:亮度(行×列) + U(行×列/4) + V(行×列/4)
- I420:亮度(行×列) + V(行×列/4) + U(行×列/4)
更多 YUV420P 相關的信息,可以看這裡:Chroma subsampling。
這裡我們要做的是將上一個教程中的 SaveFrame()
函數去掉,換成渲染視頻的邏輯。這裡我們需要瞭解下給如何使用 SDL 庫,首先我們需要 include SDL 庫並初始化它:
#include <SDL.h>
#include <SDL_thread.h>
if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError());
exit(1);
}
SDL_Init()
函數用來配置我們要用的功能特性,SDL_GetError()
是一個調試用的函數,用於輸出錯誤信息。
創建顯示界面
現在我們需要屏幕上的一塊界面來渲染媒體視頻,在 SDL 里這個界面叫做 SDL_Surface
:
SDL_Surface *screen = NULL;
// Make a screen to put our video.
#ifndef __DARWIN__
screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 0, 0);
#else
screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 24, 0);
#endif
if (!screen) {
fprintf(stderr, "SDL: could not set video mode - exiting\n");
exit(1);
}
上面的代碼中 SDL_SetVideoMode()
函數使用我們給定的寬高創建了一塊界面,其中第三個參數是表示每個像素的比特數,如果為 0 則表示使用當前的顯示一樣的設置。但是在 OS X 上 0 是無效的,這裡在 OS X 上設為 24。
接著,我們創建 YUV overlay 來輸出我們的視頻,同時這裡我們使用 SwsContext
來將圖像轉換為 YUV420 格式:
struct SwsContext *sws_ctx = NULL;
SDL_Overlay *bmp = NULL;
// Allocate a place to put our YUV image on that screen.
bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height, SDL_YV12_OVERLAY, screen);
sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, NULL, NULL, NULL);
如我們前面所說,用 FFmpeg 從視頻中獲得 YUV420P 的數據,用 SDL 支持的 YV12 來進行渲染。
顯示圖像
現在我們要開始顯示圖像了,直接來看當我們獲得完整的一幀圖像時的代碼:這裡我們要創建一個 AVFrame
並將它的 data
和 linesize
的一組指針指向 YUV overlay:
// Did we get a video frame?
if (frameFinished) {
SDL_LockYUVOverlay(bmp);
AVFrame pict;
pict.data[0] = bmp->pixels[0];
pict.data[1] = bmp->pixels[2];
pict.data[2] = bmp->pixels[1];
pict.linesize[0] = bmp->pitches[0];
pict.linesize[1] = bmp->pitches[2];
pict.linesize[2] = bmp->pitches[1];
// Convert the image into YUV format that SDL uses.
sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pict.data, pict.linesize);
SDL_UnlockYUVOverlay(bmp);
}
由於我們需要向 YUV overlay 寫入數據,這時候我們先給它加鎖。AVFrame
這個結構體的 data
數組中存儲的是 4 個通道指針,可以指向不同的通道,由於我們這裡處理的 YUV420P 只有 Y、Cb、Cr 這 3 個通道,所以這裡只有 3 組數據。處理其他格式時可能會遇到有 4 個通道數據的,比如 alpha 通道之類的。linesize
是每個通道的數據尺寸。在 YUV overlay 中與 data 和 linesize 對應的是 pixels
和 pitches
(在 SDL 里 pitches 指的是一個 line 的數據的寬度)。我們這裡做的便是將 pict.data
的 3 個數組指針指向 YUV overlay 對應的數據。這樣一來,當我們向 pict
中寫入數據時,其實我們是寫到了 YUV overlay 中,overlay 中的記憶體則已經是分配好了的。我們在前面通過 sws_ctx
設置了目標格式為 AV_PIX_FMT_YUV420P
,接著我們用 sws_scale()
函數來完成轉換。
渲染圖像
接著我們要做的就是調用 SDL_DisplayYUVOverlay()
函數讓 SDL 來渲染我們給它的數據,這時我們需要傳入一個矩形區域數據告訴它從哪個點開始渲染,以及對應的寬度和高度。SDL 會幫我們做好縮放,並能夠使用 GPU 來使圖像渲染更快。
SDL_Rect rect;
if (frameFinished) {
/* ... code ... */
// Convert the image into YUV format that SDL uses.
sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pict.data, pict.linesize);
SDL_UnlockYUVOverlay(bmp);
rect.x = 0;
rect.y = 0;
rect.w = pCodecCtx->width;
rect.h = pCodecCtx->height;
SDL_DisplayYUVOverlay(bmp, &rect);
}
// Free the packet that was allocated by av_read_frame.
av_packet_unref(&packet);
到這裡,我們的視頻就可以顯示了。
接下來,我們來看看 SDL 的另一個功能:事件系統。SDL 的事件系統使得你可以接收用戶的輸入,從而完成一些控制操作,在多線程編程時這個尤其有用。在這裡,我們處理一個簡單的 SDL_QUIT
事件,讓我們可以退出程式。
SDL_Event event;
SDL_PollEvent(&event);
switch (event.type) {
case SDL_QUIT:
printf("SDL_QUIT\n");
SDL_Quit();
exit(0);
break;
default:
break;
}
以上便是我們這節教程的全部內容,其中的完整代碼你可以從這裡獲得:https://github.com/samirchen/TestFFmpeg
編譯執行
你可以使用下麵的命令編譯它:
$ gcc -o tutorial02 tutorial02.c -lavutil -lavformat -lavcodec -lswscale -lz -lm `sdl-config --cflags --libs`
找一個視頻文件,你可以這樣執行一下試試:
$ tutorial02 myvideofile.mp4