vault backup: 2025-03-04 11:17:00
This commit is contained in:
108
21.04. Android/MediaCodec.md
Normal file
108
21.04. Android/MediaCodec.md
Normal file
@@ -0,0 +1,108 @@
|
||||
## 一般流程
|
||||
1. 使用者從MediaCodec請求一個空的輸入buffer（ByteBuffer），填充滿數據後將它傳遞給MediaCodec處理。
|
||||
2. MediaCodec處理完這些數據並將處理結果輸出至一個空的輸出buffer（ByteBuffer）中。
|
||||
3. 使用者從MediaCodec獲取輸出buffer的數據，消耗掉裡面的數據，使用完輸出buffer的數據之後，將其釋放回編解碼器。
|
||||
|
||||
流程如下圖所示：
|
||||
![[android_mediacodec_flow.png]]
|
||||
|
||||
## 生命週期
|
||||
MediaCodec的生命週期有三種狀態：Stopped、Executing、Released。
|
||||
- Stopped，包含三種子狀態：Uninitialized、Configured、Error。
|
||||
- Executing，包含三種子狀態：Flushed、Running、End-of-Stream。
|
||||
![[android_mediacodec_life_cycle.png]]
|
||||
|
||||
**Stopped** 的三種子狀態：
|
||||
1. Uninitialized：當創建了一個MediaCodec對象，此時處於Uninitialized狀態。可以在任何狀態調用reset()方法使MediaCodec返回到Uninitialized狀態。
|
||||
2. Configured：使用configure(…)方法對MediaCodec進行配置轉為Configured狀態。
|
||||
3. Error：MediaCodec遇到錯誤時進入Error狀態。錯誤可能是在隊列操作時返回的錯誤或者異常導致的。
|
||||
|
||||
**Executing** 的三種子狀態：
|
||||
1. Flushed：在調用start()方法後MediaCodec立即進入Flushed子狀態，此時MediaCodec會擁有所有的緩存。可以在Executing狀態的任何時候通過調用flush()方法返回到Flushed子狀態。
|
||||
2. Running：一旦第一個輸入緩存（input buffer）被移出隊列，MediaCodec就轉入Running子狀態，這種狀態佔據了MediaCodec的大部分生命週期。通過調用stop()方法轉移到Uninitialized狀態。
|
||||
3. End-of-Stream：將一個帶有end-of-stream標記的輸入buffer入隊列時，MediaCodec將轉入End-of-Stream子狀態。在這種狀態下，MediaCodec不再接收之後的輸入buffer，但它仍然產生輸出buffer直到end-of-stream標記輸出。
|
||||
|
||||
**Released**
|
||||
1. 當使用完MediaCodec後，必須調用release()方法釋放其資源。調用release()方法進入最終的Released狀態。
|
||||
|
||||
## API
|
||||
### createEncoderByType
|
||||
- [createEncoderByType](https://developer.android.com/reference/android/media/MediaCodec#createEncoderByType(java.lang.String))
|
||||
|
||||
### createDecoderByType
|
||||
- [createDecoderByType](https://developer.android.com/reference/android/media/MediaCodec#createDecoderByType(java.lang.String))
|
||||
|
||||
### configure
|
||||
- [configure]([MediaCodec | Android Developers](https://developer.android.com/reference/android/media/MediaCodec#configure(android.media.MediaFormat,%20android.view.Surface,%20android.media.MediaCrypto,%20int)))
|
||||
|
||||
### start
|
||||
- [start](https://developer.android.com/reference/android/media/MediaCodec#start())
|
||||
|
||||
### dequeueInputBuffer
|
||||
- [dequeueInputBuffer](https://developer.android.com/reference/android/media/MediaCodec#dequeueInputBuffer(long))
|
||||
|
||||
### queueInputBuffer
|
||||
- [queueInputBuffer](https://developer.android.com/reference/android/media/MediaCodec#queueInputBuffer(int,%20int,%20int,%20long,%20int))
|
||||
|
||||
### getInputBuffer
|
||||
- [getInputBuffer](https://developer.android.com/reference/android/media/MediaCodec#getInputBuffer(int))
|
||||
|
||||
### dequeueOutputBuffer
|
||||
- [dequeueOutputBuffer](https://developer.android.com/reference/android/media/MediaCodec#dequeueOutputBuffer(android.media.MediaCodec.BufferInfo,%20long))
|
||||
|
||||
### getOutputBuffer
|
||||
- [getOutputBuffer](https://developer.android.com/reference/android/media/MediaCodec#getOutputBuffer(int))
|
||||
|
||||
### releaseOutputBuffer
|
||||
- [releaseOutputBuffer](https://developer.android.com/reference/android/media/MediaCodec#releaseOutputBuffer(int,%20boolean))
|
||||
|
||||
### stop
|
||||
- [stop](https://developer.android.com/reference/android/media/MediaCodec#stop())
|
||||
|
||||
### release
|
||||
- [release](https://developer.android.com/reference/android/media/MediaCodec#release())
|
||||
|
||||
## 使用
|
||||
1. 根據需求使用 [[#createEncoderByType]]或是 [[#createDecoderByType]] 建立codec。以下以 encode 為例。
|
||||
2. 呼叫 [[#configure]]，傳入相應的 MediaFormat。
|
||||
3. 呼叫 [[#start]]，開始 encode。
|
||||
4. 建立一個迴圈，不斷的傳入要 encode 的 buffer，也不斷的拿出已經 encode 的 buffer。
|
||||
5. 在迴圈內，要傳入的 buffer 處理方法：
|
||||
1. 呼叫 [[#dequeueInputBuffer]]，試探是否有能用的 buffer，如果有，回傳值將大於等於0（>= 0）。這裡假設回傳值的變數叫做 index。
|
||||
2. 如果 index 合法，用 [[#queueInputBuffer]]，像是 `inputBuffer = queueInputBuffer(index)` 來取得可用的 buffer。這裡假設 buffer 的變數叫做 inputBuffer。
|
||||
3. 將要 encode 的資料 copy 到 inputBuffer。
|
||||
4. 若要停止 encode，送出 `codec.queueInputBuffer(inputBufIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM)`。
|
||||
6. 在迴圈內，要取得已經encode buffer的方法：
|
||||
1. 呼叫 [[#dequeueOutputBuffer]]，試探是否有 encoded buffer，如果有，回傳值將大於等於0（>= 0）。這裡假設回傳值的變數叫做 index。
|
||||
2. 如果 index合法，用 [[#getOutputBuffer]]，像是`outputBuffer = getOutputBuffer(index)` 來取得可用的 buffer。這裡假設 buffer 的變數叫做 outputBuffer。
|
||||
3. outputBuffer 就是已經 encode 好的，就看你怎麼處理。
|
||||
4. 重要！呼叫 [[#releaseOutputBuffer]] 來回收剛剛那一塊 buffer。
|
||||
|
||||
Psuedo code 如下：
|
||||
```kotlin
|
||||
while (true)
|
||||
// send buffer to encode
|
||||
index = dequeueInputBuffer()
|
||||
if (index >= 0)
|
||||
if (!end)
|
||||
inputBuffer = queueInputBuffer(index)
|
||||
copy(inputBuffer, srcBuffer)
|
||||
else
|
||||
queueInputBuffer(inputBufIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM)
|
||||
// Get encoded buffer
|
||||
index = dequeueOutputBuffer()
|
||||
if (index >= 0)
|
||||
outputBuffer = getOutputBuffer(index)
|
||||
releaseOutputBuffer(index)
|
||||
```
|
||||
|
||||
## 參考資料
|
||||
- [Android音视频之使用MediaCodec编解码AAC - 简书](https://www.jianshu.com/p/14daab91b951)
|
||||
- [MultiMediaLearning/app/src/main/java/com/richie/multimedialearning/mediacodec at master · isuperqiang/MultiMediaLearning](https://github.com/isuperqiang/MultiMediaLearning/tree/master/app/src/main/java/com/richie/multimedialearning/mediacodec)
|
||||
- [初识MediaCodec - 知乎](https://zhuanlan.zhihu.com/p/45224834)
|
||||
- [MediaCodec的使用介绍 - 简书](https://www.jianshu.com/p/f5a1c9318524)
|
||||
- [Android原生编解码接口MediaCodec详解 - 掘金](https://juejin.cn/post/7086297619764346887)
|
||||
- [AndroidMediaCodecDemo/AudioDecoder.kt at main · king-ma1993/AndroidMediaCodecDemo](https://github.com/king-ma1993/AndroidMediaCodecDemo/blob/main/app/src/main/java/com/myl/mediacodedemo/decode/audio/AudioDecoder.kt)
|
||||
- [Android使用系统API进行音视频编码_key_max_input_size_blueberry_mu的博客-CSDN博客](https://blog.csdn.net/a992036795/article/details/54286654)
|
||||
- [MediaCodec 完成PCM编码成AAC - 知乎](https://zhuanlan.zhihu.com/p/564759685)
|
||||
- [MediaCodec 同步方式完成AAC硬解成PCM - 知乎](https://zhuanlan.zhihu.com/p/564734700)
|
||||
Reference in New Issue
Block a user