MediaCodec H264 Encoder не работает на устройствах Snapdragon 800

Я написал H264 Stream Encoder, используя API MediaCodec для Android. Я тестировал его примерно на десяти разных устройствах с разными процессорами, и он работал над всеми из них, за исключением оснащенных Snapdragon 800 (Google Nexus 5 и Sony Xperia Z1). На этих устройствах я получаю SPS и PPS и первый ключевой кадр, но после этого mEncoder.dequeueOutputBuffer (mBufferInfo, 0) возвращает MediaCodec.INFO_TRY_AGAIN_LATER. Я уже экспериментировал с различными тайм-аутами, битрейтами, разрешениями и другими параметрами конфигурации, но безрезультатно. Результат всегда один и тот же.

Я использую следующий код для инициализации Encoder:

mBufferInfo = new MediaCodec.BufferInfo(); encoder = MediaCodec.createEncoderByType("video/avc"); MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 640, 480); mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 768000); mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30); mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, mEncoderColorFormat); mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 10); encoder.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE); 

Где выбранный цветовой формат:

 MediaCodecInfo.CodecCapabilities capabilities = mCodecInfo.getCapabilitiesForType(MIME_TYPE); for (int i = 0; i < capabilities.colorFormats.length && selectedColorFormat == 0; i++) { int format = capabilities.colorFormats[i]; switch (format) { case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar: case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420PackedPlanar: case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar: case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420PackedSemiPlanar: case MediaCodecInfo.CodecCapabilities.COLOR_TI_FormatYUV420PackedSemiPlanar: case MediaCodecInfo.CodecCapabilities.COLOR_QCOM_FormatYUV420SemiPlanar: selectedColorFormat = format; break; default: LogHandler.e(LOG_TAG, "Unsupported color format " + format); break; } } 

И я получаю данные, делая

  ByteBuffer[] inputBuffers = mEncoder.getInputBuffers(); ByteBuffer[] outputBuffers = mEncoder.getOutputBuffers(); int inputBufferIndex = mEncoder.dequeueInputBuffer(-1); if (inputBufferIndex >= 0) { // fill inputBuffers[inputBufferIndex] with valid data ByteBuffer inputBuffer = inputBuffers[inputBufferIndex]; inputBuffer.clear(); inputBuffer.put(rawFrame); mEncoder.queueInputBuffer(inputBufferIndex, 0, rawFrame.length, 0, 0); LogHandler.e(LOG_TAG, "Queue Buffer in " + inputBufferIndex); } while(true) { int outputBufferIndex = mEncoder.dequeueOutputBuffer(mBufferInfo, 0); if (outputBufferIndex >= 0) { Log.d(LOG_TAG, "Queue Buffer out " + outputBufferIndex); ByteBuffer buffer = outputBuffers[outputBufferIndex]; if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) { // Config Bytes means SPS and PPS Log.d(LOG_TAG, "Got config bytes"); } if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_SYNC_FRAME) != 0) { // Marks a Keyframe Log.d(LOG_TAG, "Got Sync Frame"); } if (mBufferInfo.size != 0) { // adjust the ByteBuffer values to match BufferInfo (not needed?) buffer.position(mBufferInfo.offset); buffer.limit(mBufferInfo.offset + mBufferInfo.size); int nalUnitLength = 0; while((nalUnitLength = parseNextNalUnit(buffer)) != 0) { switch(mVideoData[0] & 0x0f) { // SPS case 0x07: { Log.d(LOG_TAG, "Got SPS"); break; } // PPS case 0x08: { Log.d(LOG_TAG, "Got PPS"); break; } // Key Frame case 0x05: { Log.d(LOG_TAG, "Got Keyframe"); } //$FALL-THROUGH$ default: { // Process Data break; } } } } mEncoder.releaseOutputBuffer(outputBufferIndex, false); if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) { // Stream is marked as done, // break out of while Log.d(LOG_TAG, "Marked EOS"); break; } } else if(outputBufferIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) { outputBuffers = mEncoder.getOutputBuffers(); Log.d(LOG_TAG, "Output Buffer changed " + outputBuffers); } else if(outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) { MediaFormat newFormat = mEncoder.getOutputFormat(); Log.d(LOG_TAG, "Media Format Changed " + newFormat); } else if(outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) { // No Data, break out break; } else { // Unexpected State, ignore it Log.d(LOG_TAG, "Unexpected State " + outputBufferIndex); } } в  ByteBuffer[] inputBuffers = mEncoder.getInputBuffers(); ByteBuffer[] outputBuffers = mEncoder.getOutputBuffers(); int inputBufferIndex = mEncoder.dequeueInputBuffer(-1); if (inputBufferIndex >= 0) { // fill inputBuffers[inputBufferIndex] with valid data ByteBuffer inputBuffer = inputBuffers[inputBufferIndex]; inputBuffer.clear(); inputBuffer.put(rawFrame); mEncoder.queueInputBuffer(inputBufferIndex, 0, rawFrame.length, 0, 0); LogHandler.e(LOG_TAG, "Queue Buffer in " + inputBufferIndex); } while(true) { int outputBufferIndex = mEncoder.dequeueOutputBuffer(mBufferInfo, 0); if (outputBufferIndex >= 0) { Log.d(LOG_TAG, "Queue Buffer out " + outputBufferIndex); ByteBuffer buffer = outputBuffers[outputBufferIndex]; if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) { // Config Bytes means SPS and PPS Log.d(LOG_TAG, "Got config bytes"); } if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_SYNC_FRAME) != 0) { // Marks a Keyframe Log.d(LOG_TAG, "Got Sync Frame"); } if (mBufferInfo.size != 0) { // adjust the ByteBuffer values to match BufferInfo (not needed?) buffer.position(mBufferInfo.offset); buffer.limit(mBufferInfo.offset + mBufferInfo.size); int nalUnitLength = 0; while((nalUnitLength = parseNextNalUnit(buffer)) != 0) { switch(mVideoData[0] & 0x0f) { // SPS case 0x07: { Log.d(LOG_TAG, "Got SPS"); break; } // PPS case 0x08: { Log.d(LOG_TAG, "Got PPS"); break; } // Key Frame case 0x05: { Log.d(LOG_TAG, "Got Keyframe"); } //$FALL-THROUGH$ default: { // Process Data break; } } } } mEncoder.releaseOutputBuffer(outputBufferIndex, false); if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) { // Stream is marked as done, // break out of while Log.d(LOG_TAG, "Marked EOS"); break; } } else if(outputBufferIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) { outputBuffers = mEncoder.getOutputBuffers(); Log.d(LOG_TAG, "Output Buffer changed " + outputBuffers); } else if(outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) { MediaFormat newFormat = mEncoder.getOutputFormat(); Log.d(LOG_TAG, "Media Format Changed " + newFormat); } else if(outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) { // No Data, break out break; } else { // Unexpected State, ignore it Log.d(LOG_TAG, "Unexpected State " + outputBufferIndex); } } 

Спасибо за вашу помощь!

Solutions Collecting From Web of "MediaCodec H264 Encoder не работает на устройствах Snapdragon 800"

Вам необходимо установить параметр presentationTimeUs в вашем вызове queueInputBuffer. Большинство кодеров игнорируют это, и вы можете кодировать для потоковой передачи без проблем. Кодер, используемый для устройств Snapdragon 800, не работает.

Этот параметр представляет собой время записи вашего фрейма и поэтому должен увеличиваться на количество нас между кадром, который вы хотите кодировать, и предыдущим кадром.

Если набор параметров имеет то же значение, что и в предыдущем кадре, он отключает его. Если для параметра установлено слишком маленькое значение (например, 100000 при записи 30 FPS), качество кодированных кадров падает.

EncodeCodec.queueInputBuffer (inputBufferIndex, 0, input.length, (System.currentTimeMillis () – startMs) * 1000, 0);