FFmpeg 入門(2):輸出視頻到屏幕

来源:http://www.cnblogs.com/samirchen/archive/2017/06/24/7073106.html
-Advertisement-
Play Games

本文轉自:[FFmpeg 入門(2):輸出視頻到屏幕 | www.samirchen.com][2] SDL 我們這裡使用 SDL 來渲染視頻到屏幕。SDL 是 Simple Direct Layer 的縮寫,是一個優秀的跨平臺多媒體庫,你可以從 [http://www.libsdl.org][3] ...


本文轉自:FFmpeg 入門(2):輸出視頻到屏幕 | www.samirchen.com

SDL

我們這裡使用 SDL 來渲染視頻到屏幕。SDL 是 Simple Direct Layer 的縮寫,是一個優秀的跨平臺多媒體庫,你可以從 http://www.libsdl.org 下載 SDL 的庫。

SDL 有很多可以將圖像繪製都屏幕的方法,其中有一個專門用於將視頻渲染到屏幕進行播放,即 YUV overlay。

YUV(其實這裡叫 YCbCr 更準確)是不同於 RGB 的另一種存儲原始圖像數據的方式。簡單來講,Y 是表示「亮度」,U 和 V 表示「色度」,YUV 的關鍵是在於它的亮度信號 Y 和色度信號 U、V 是分離的。那就是說即使只有 Y 信號分量而沒有 U、V 分量,我們仍然可以表示出圖像,只不過圖像是黑白灰度圖像。在YCbCr 中 Y 是指亮度分量,Cb 指藍色色度分量,而 Cr 指紅色色度分量。

SDL 的 YUV overlay 可以接收一組 YUV 數據然後顯示它。它支持 4 種不同的 YUV 格式,其中 「YV12」 是最快的。另一種 YUV 格式是 「YUV420P」也叫 「I420」,基本上和 「YV12」 是一樣的,就是把 U 和 V 數組換了一下位置。

  • YV12:亮度(行×列) + U(行×列/4) + V(行×列/4)
  • I420:亮度(行×列) + V(行×列/4) + U(行×列/4)

更多 YUV420P 相關的信息,可以看這裡:Chroma subsampling

這裡我們要做的是將上一個教程中的 SaveFrame() 函數去掉,換成渲染視頻的邏輯。這裡我們需要瞭解下給如何使用 SDL 庫,首先我們需要 include SDL 庫並初始化它:

#include <SDL.h>
#include <SDL_thread.h>

if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
    fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError());
    exit(1);
}

SDL_Init() 函數用來配置我們要用的功能特性,SDL_GetError() 是一個調試用的函數,用於輸出錯誤信息。

創建顯示界面

現在我們需要屏幕上的一塊界面來渲染媒體視頻,在 SDL 里這個界面叫做 SDL_Surface

SDL_Surface *screen = NULL;

// Make a screen to put our video.
#ifndef __DARWIN__
screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 0, 0);
#else
screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 24, 0);
#endif
if (!screen) {
    fprintf(stderr, "SDL: could not set video mode - exiting\n");
    exit(1);
}

上面的代碼中 SDL_SetVideoMode() 函數使用我們給定的寬高創建了一塊界面,其中第三個參數是表示每個像素的比特數,如果為 0 則表示使用當前的顯示一樣的設置。但是在 OS X 上 0 是無效的,這裡在 OS X 上設為 24。

接著,我們創建 YUV overlay 來輸出我們的視頻,同時這裡我們使用 SwsContext 來將圖像轉換為 YUV420 格式:

struct SwsContext *sws_ctx = NULL;  
SDL_Overlay *bmp = NULL;

// Allocate a place to put our YUV image on that screen.
bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height, SDL_YV12_OVERLAY, screen);

sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, NULL, NULL, NULL);

如我們前面所說,用 FFmpeg 從視頻中獲得 YUV420P 的數據,用 SDL 支持的 YV12 來進行渲染。

顯示圖像

現在我們要開始顯示圖像了,直接來看當我們獲得完整的一幀圖像時的代碼:這裡我們要創建一個 AVFrame 並將它的 datalinesize 的一組指針指向 YUV overlay:

// Did we get a video frame?
if (frameFinished) {
    SDL_LockYUVOverlay(bmp);

    AVFrame pict;
    pict.data[0] = bmp->pixels[0];
    pict.data[1] = bmp->pixels[2];
    pict.data[2] = bmp->pixels[1];

    pict.linesize[0] = bmp->pitches[0];
    pict.linesize[1] = bmp->pitches[2];
    pict.linesize[2] = bmp->pitches[1];

    // Convert the image into YUV format that SDL uses.
    sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pict.data, pict.linesize);

    SDL_UnlockYUVOverlay(bmp);
}

由於我們需要向 YUV overlay 寫入數據,這時候我們先給它加鎖。AVFrame 這個結構體的 data 數組中存儲的是 4 個通道指針,可以指向不同的通道,由於我們這裡處理的 YUV420P 只有 Y、Cb、Cr 這 3 個通道,所以這裡只有 3 組數據。處理其他格式時可能會遇到有 4 個通道數據的,比如 alpha 通道之類的。linesize 是每個通道的數據尺寸。在 YUV overlay 中與 data 和 linesize 對應的是 pixelspitches(在 SDL 里 pitches 指的是一個 line 的數據的寬度)。我們這裡做的便是將 pict.data 的 3 個數組指針指向 YUV overlay 對應的數據。這樣一來,當我們向 pict 中寫入數據時,其實我們是寫到了 YUV overlay 中,overlay 中的記憶體則已經是分配好了的。我們在前面通過 sws_ctx 設置了目標格式為 AV_PIX_FMT_YUV420P,接著我們用 sws_scale() 函數來完成轉換。

渲染圖像

接著我們要做的就是調用 SDL_DisplayYUVOverlay() 函數讓 SDL 來渲染我們給它的數據,這時我們需要傳入一個矩形區域數據告訴它從哪個點開始渲染,以及對應的寬度和高度。SDL 會幫我們做好縮放,並能夠使用 GPU 來使圖像渲染更快。

SDL_Rect rect;
if (frameFinished) {
    /* ... code ... */

    // Convert the image into YUV format that SDL uses.
    sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pict.data, pict.linesize);

    SDL_UnlockYUVOverlay(bmp);

    rect.x = 0;
    rect.y = 0;
    rect.w = pCodecCtx->width;
    rect.h = pCodecCtx->height;
    SDL_DisplayYUVOverlay(bmp, &rect);
}

// Free the packet that was allocated by av_read_frame.
av_packet_unref(&packet);

到這裡,我們的視頻就可以顯示了。

接下來,我們來看看 SDL 的另一個功能:事件系統。SDL 的事件系統使得你可以接收用戶的輸入,從而完成一些控制操作,在多線程編程時這個尤其有用。在這裡,我們處理一個簡單的 SDL_QUIT 事件,讓我們可以退出程式。

SDL_Event event;

SDL_PollEvent(&event);
switch (event.type) {
    case SDL_QUIT:
        printf("SDL_QUIT\n");
        SDL_Quit();
        exit(0);
        break;
    default:
        break;
}

以上便是我們這節教程的全部內容,其中的完整代碼你可以從這裡獲得:https://github.com/samirchen/TestFFmpeg

編譯執行

你可以使用下麵的命令編譯它:

$ gcc -o tutorial02 tutorial02.c -lavutil -lavformat -lavcodec -lswscale -lz -lm `sdl-config --cflags --libs`

找一個視頻文件,你可以這樣執行一下試試:

$ tutorial02 myvideofile.mp4

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近開發中遇到的一個MySQL主從延遲的坑,記錄並總結,避免再次犯同樣的錯誤。 ...
  • 大多數用戶在對於磁碟進行分區的時候都是習慣性的不給系統盤預留很大空間,其實這並不是一個好習慣。因為系統分區並不像我們想象的那樣會僅僅安裝一個操作系統,系統分區多數還是會承載操作系統主要應用軟體安裝任務。那麼當磁碟空間爆滿後,MySQL會發生什麼事呢?又應該怎麼應對? 會發生什麼事 當磁碟空間寫滿了之 ...
  • 連接資料庫的八大步驟 Step1:鏈接資料庫 mysqli_connect() 參數: ①主機地址 ②mysql用戶名 ③mysql密碼 ④選擇連接的資料庫 ⑤埠號 返回:如果連接成功,返回資源類型的標誌符號;如果連接失敗,返回false。 如果我們與mysql建立的連接不只一條,那麼以後操作數據 ...
  • redis對象 redis中有五種常用對象 我們所說的對象的類型大多是值的類型,鍵的類型大多是字元串對象,值得類型大概有以下幾種,但是無論哪種都是基於redisObject實現的 redisObject的結構如下 type的可選值有五種.分別是 REDIS_STRING, REDIS_LIST, R ...
  • 情景linux shell如何實現多線程? 情景 shell腳本的執行效率雖高,但當任務量巨大時仍然需要較長的時間,尤其是需要執行一大批的命令時。因為預設情況下,shell腳本中的命令是串列執行的。如果這些命令相互之間是獨立的,則可以使用“併發”的方式執行這些命令,這樣可以更好地 利用系統資源,提升 ...
  • 本文目錄: 13.1 Linux數據包轉發功能 13.2 和網路相關的幾個文件說明 13.2.1 網卡配置文件ifcfg-* 13.2.2 DNS配置文件/etc/resolve.conf 13.2.3 /etc/udev/rules.d/70-persistent-net.rules 13.2.4 ...
  • 虛擬機無桌面的Linux 與 物理機Windows 文件互傳有很多種方法,現在先說一種通過共用文件夾的形式,其他方法後續再補充 1、 背景 1) 虛擬機系統:VMWare無桌面的Linux 2) 物理機系統:Win 7 3) 共用文件夾:物理機的D:\Virtual Machines\shared_ ...
  • 1.第一種方法是最常用的 :如果下載了Xshell和Xftp,Ctrl+Alt+F就可以選擇文件的互傳了!(虛擬機/雲伺服器通用)--只要相互間能ping得通。 2.第二種方法 :ubuntu環境下安裝lrzsz,具體命令是 > sudo apt-get install lrzsz (如果是root ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...