要使用 MediaCodec 在 Android 上進行硬解碼，並獲取 RGBA 數據，你可以按照以下步驟進行操作： 創建 MediaExtractor 對象並設置要解碼的 MP4 文件路徑： MediaExtractor extractor = new MediaExtractor(); extr ...
要使用 MediaCodec 在 Android 上進行硬解碼，並獲取 RGBA 數據，你可以按照以下步驟進行操作：
創建 MediaExtractor 對象並設置要解碼的 MP4 文件路徑：
MediaExtractor extractor = new MediaExtractor();
extractor.setDataSource(filePath);
根據需要選擇音頻或視頻軌道：
int trackCount = extractor.getTrackCount();
int trackIndex = -1;
for (int i = 0; i < trackCount; i++) {
MediaFormat format = extractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if (mime.startsWith("video/")) {
trackIndex = i;
break;
}
}
if (trackIndex >= 0) {
extractor.selectTrack(trackIndex);
}
創建 MediaCodec 對象並配置解碼器：
MediaFormat format = extractor.getTrackFormat(trackIndex);
String mime = format.getString(MediaFormat.KEY_MIME);
MediaCodec codec = MediaCodec.createDecoderByType(mime);
codec.configure(format, null, null, 0);
codec.start();
迴圈解碼並獲取 RGBA 數據：
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
boolean isEOS = false;
while (!isEOS) {
int inputBufferIndex = codec.dequeueInputBuffer(timeoutUs);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = codec.getInputBuffer(inputBufferIndex);
int sampleSize = extractor.readSampleData(inputBuffer, 0);
if (sampleSize < 0) {
codec.queueInputBuffer(inputBufferIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOS = true;
} else {
long presentationTimeUs = extractor.getSampleTime();
codec.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);
extractor.advance();
}
}
int outputBufferIndex = codec.dequeueOutputBuffer(bufferInfo, timeoutUs);
if (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferIndex);
// 解碼後的數據位於 outputBuffer 中，根據需要進行 RGBA 數據的提取和處理
// outputBuffer 中的數據格式可能是 YUV 或其他格式，需要根據解碼器設置的輸出格式進行相應的轉換
codec.releaseOutputBuffer(outputBufferIndex, false);
} else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
// 解碼器輸出格式已更改，可以通過 codec.getOutputFormat() 獲取新的格式
}
}
在上述代碼中，你需要根據解碼器輸出的數據格式進行相應的轉換，以獲取 RGBA 數據。具體的轉換流程和代碼取決於解碼器輸出的數據格式和你的需求。
需要註意的是，硬解碼的支持和性能可能因設備、Android 版本和視頻編碼格式的不同而有所差異。確保你的設備支持硬解碼，並且適當處理解碼器的輸入和輸出緩衝區。
以下是完整代碼：
import android.media.MediaCodec;
import android.media.MediaExtractor;
import android.media.MediaFormat;
import android.util.Log;
import java.nio.ByteBuffer;
public class MP4Decoder {
private static final int TIMEOUT_US = 10000;
private static final String TAG = "MP4Decoder";
public interface FrameCallback {
void onFrameDecoded(byte[] rgbaData, int width, int height);
}
public static void decodeMP4(String filePath, FrameCallback callback) {
new Thread(() -> {
MediaExtractor extractor = new MediaExtractor();
try {
extractor.setDataSource(filePath);
int trackIndex = selectVideoTrack(extractor);
if (trackIndex < 0) {
return;
}
MediaFormat format = extractor.getTrackFormat(trackIndex);
String mime = format.getString(MediaFormat.KEY_MIME);
MediaCodec codec = MediaCodec.createDecoderByType(mime);
codec.configure(format, null, null, 0);
codec.start();
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
boolean isEOS = false;
while (!isEOS) {
int inputBufferIndex = codec.dequeueInputBuffer(TIMEOUT_US);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = codec.getInputBuffer(inputBufferIndex);
int sampleSize = extractor.readSampleData(inputBuffer, 0);
if (sampleSize < 0) {
codec.queueInputBuffer(inputBufferIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOS = true;
} else {
long presentationTimeUs = extractor.getSampleTime();
codec.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);
extractor.advance();
}
}
int outputBufferIndex = codec.dequeueOutputBuffer(bufferInfo, TIMEOUT_US);
if (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferIndex);
// 解碼後的數據位於 outputBuffer 中，根據需要進行 RGBA 數據的提取和處理
// outputBuffer 中的數據格式可能是 YUV 或其他格式，需要根據解碼器設置的輸出格式進行相應的轉換
byte[] rgbaData = convertToRGBA(outputBuffer, format);
int width = format.getInteger(MediaFormat.KEY_WIDTH);
int height = format.getInteger(MediaFormat.KEY_HEIGHT);
callback.onFrameDecoded(rgbaData, width, height);
codec.releaseOutputBuffer(outputBufferIndex, false);
} else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
// 解碼器輸出格式已更改，可以通過 codec.getOutputFormat() 獲取新的格式
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
extractor.release();
}
}).start();
}
private static int selectVideoTrack(MediaExtractor extractor) {
int trackCount = extractor.getTrackCount();
int trackIndex = -1;
for (int i = 0; i < trackCount; i++) {
MediaFormat format = extractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if (mime.startsWith("video/")) {
trackIndex = i;
break;
}
}
if (trackIndex >= 0) {
extractor.selectTrack(trackIndex);
}
return trackIndex;
}
private static byte[] convertToRGBA(ByteBuffer buffer, MediaFormat format) {
// 根據解碼器設置的輸出格式進行 RGBA 數據的提取和處理
// 這裡只是一個示例，實際的轉換過程可能會更複雜，取決於輸出格式和需求
int width = format.getInteger(MediaFormat.KEY_WIDTH);
int height = format.getInteger(MediaFormat.KEY_HEIGHT);
int remaining = buffer.remaining();
byte[] rgbaData = new byte[remaining];
buffer.rewind();
buffer.get(rgbaData);
Log.i(TAG, "convertToRGBA: count:" + width + "; " + height + "; " + remaining);
// todo: 進行 YUV 到 RGBA 的轉換
return rgbaData;
}
}
