文档中心

实时音视频

请输入

视频管理

自定义视频编解码

当你使用 RTC 实现实时音视频通信时，RTC 默认使用内部的编解码模块进行视频编解码。然而在一些场景下，你可能会发现内部编解码模块无法满足需求，比如：音视频应用中已实现了视频编解码模块，此时 RTC 再进行二次编解码有可能会产生延时和视频质量的损耗。

你可以参考本文，将自定义编码后的视频源，交由 RTC 进行传输，或对 RTC 拉取到的远端编码后视频源进行自定义解码渲染。

前提条件

你已经集成 v3.29 或更高版本的 RTC SDK。

自定义视频编码

集成步骤和时序图中的接口以 Windows 平台为例，参考对应平台的 API 文档获取更多信息。

自定义编码的流程如下图所示。

集成步骤

在加入音视频房间前，通过调用 setVideoSourceType 指定自定义编码视频源，你需要设置 VideoSourceType 为 kVideoSourceTypeEncodedWithoutAutoSimulcast = 3。

编码完成后，你需要在收到 onStart 回调通知后调用 pushExternalEncodedVideoFrame 将编码后的视频帧推送至 RTC SDK 进行传输。你必须根据实际编码时使用的参数来设置 pushExternalEncodedVideoFrame 中的 IEncodedVideoFrame。

注意

在收到 IExternalVideoEncoderEventHandler 回调的 onRequestKeyFrame 时，必须重新编码一个 I 帧发送，否则订阅端会因为收不到 I 帧导致解码失败。

API 调用时序

API 参考

功能/平台	Android	iOS	Windows	macOS
设置自定义编码帧推送事件回调	setExternalVideoEncoderEventHandler	setExternalVideoEncoderEventHandler:	setExternalVideoEncoderEventHandler	setExternalVideoEncoderEventHandler:
设置视频输入源	setVideoSourceType	setVideoSourceType:	setVideoSourceType	setVideoSourceType:
设置多路流参数	setVideoEncoderConfig	setVideoEncoderConfig:	setVideoEncoderConfig	setVideoEncoderConfig:
推送编码后视频帧	pushExternalEncodedVideoFrame	pushExternalEncodedVideoFrame:withEncodedVideoFrame:	pushExternalEncodedVideoFrame	pushExternalEncodedVideoFrame:withEncodedVideoFrame:
自定义编码视频发送端在可发送状态发生变化时，收到的回调	onActiveVideoLayer	onActiveVideoLayer:info:withVideoIndex:withActive:	onActiveVideoLayer	onActiveVideoLayer:info:withVideoIndex:withActive:

自定义视频解码

集成步骤和时序图中的接口以 Windows 平台为例，参考对应平台的 API 参考获取更多信息。

自定义解码的流程如下图所示。

集成步骤

通过 onUserPublishStreamAudio 或 onUserPublishStreamVideo 获取到远端流信息后，调用 setVideoDecoderConfig 将远端视频数据解码方式设置为自定义解码。

API 调用时序

API 参考

功能/平台	Android	iOS	Windows	macOS
注册远端编码后视频数据回调	registerRemoteEncodedVideoFrameObserver	registerRemoteEncodedVideoFrameObserver:	registerRemoteEncodedVideoFrameObserver	registerRemoteEncodedVideoFrameObserver:
设置远端视频数据解码方式	setVideoDecoderConfig	setVideoDecoderConfig:withVideoDecoderConfig:	setVideoDecoderConfig	setVideoDecoderConfig:withVideoDecoderConfig:
请求远端关键帧	requestRemoteVideoKeyFrame	requestRemoteVideoKeyFrame:	requestRemoteVideoKeyFrame	requestRemoteVideoKeyFrame:

功能变更日志