实时音视频
实时音视频
文档指南
请输入
实时音视频
快速入门
场景方案
开发指南
Token 鉴权
音频管理
视频管理
屏幕共享
SDK 升级指南
客户端 API 参考
服务端 API 参考
房间管理
转推直播
输入在线媒体流
WTN 流（原公共流）
实时数据监控
历史数据查询
业务标识管理
实时消息通信
历史版本（文档停止维护）
2023-08-01
2023-06-01
转推直播
2022-06-01
2020-12-01
转推直播
输入在线媒体流
获取数据指标
常见问题
集成相关
质量相关
AI 音视频互动方案
开发指南
配置 ASR/LLM/TTS 服务
API 参考
硬件对话智能体
用户指南
服务端 API
智能体
实时信令
互动白板
客户端 API 参考
服务端 API 参考
- 文档首页
实时音视频实时音视频开发指南视频管理自定义视频采集
复制全文
下载 pdf自定义视频采集
文档反馈
问问助手当你使用 RTC 实现实时音视频通信时，RTC 会使用默认的音视频模块进行视频采集和渲染。在一些场景下，你可能会发现默认模块无法满足需求，比如：
- 你的音视频应用中已实现了视频采集和渲染模块；
- 希望使用其他设备采集的视频源，如录屏信息；
- 希望对采集到的音视频数据进行一些传输前处理，如美颜等；
- 某些视频采集设备被占用。
在这些场景下，你可以参考本文，将自定义设备采集的视频源，交由 RTC 进行编码和传输。
前提条件
功能实现
使用 setVideoSourceType 指定自定义视频源。你需要使用自采集模块驱动采集设备对视频进行采集，采集的视频帧通过 pushExternalVideoFrame 发送给 SDK。
自定义视频采集的数据流转如下图：
时序图
说明
- 以下代码基于 3.33+，此版本下，视频封装类为 VideoFrame。
- 3.32 到 3.18 版本中，视频封装类为 RtcVideoFrame，和 VideoFrame 的差别仅在于名称不同。
- 对于 3.18 以下的版本，视频封装类为 ExtVideoFrame，和 VideoFrame 的差别仅在于：ExtVideoFrame 中不包含 buffer_type。
步骤 1：指定自定义视频源
通过调用 setVideoSourceType 指定自定义视频源。
- iOS
- [self.rtcEngine setVideoSourceType:ByteRTCVideoSourceTypeExternal];
- Android
- mRTCEngine.setVideoSourceType(VIDEO_SOURCE_TYPE_EXTERNAL);
步骤 2：构建视频采集器
你可以参考以下示例项目中，Advance_Demo 中自定义采集工具类，创建你的视频采集模块。
- iOS
步骤 3：配置视频帧参数
你可以使用 pushExternalVideoFrame 中的 VideoFrame 参数，对采集到的视频数据进行编码前处理。比如，设置 VideoFrame 参数中的 rotation 为 180，即可使视频帧顺时针旋转 180 度。当然，你也可以加入自行实现的其它前处理逻辑。
你必须根据自采集视频编码数据格式，使用对应的 VideoFrame 参数。
步骤 4：推送外部视频帧
调用 pushExternalVideoFrame 将采集到的视频帧，交由 RTC 进行编码和传输。
iOS
#pragma mark - AVCaptureVideoDataOutputSampleBufferDelegate
/**
* 在接收到摄像头视频帧回调后调用 pushExternalVideoFrame 接口向 SDK 发送视频帧数据。
*/
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
CVPixelBufferRef buffer = CMSampleBufferGetImageBuffer(sampleBuffer);
CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer); // 建议增加时间戳打印，便于进行异常问题的定位和排查。
ByteRTCVideoFrameData *frame = [[ByteRTCVideoFrameData alloc] init];
frame.timestamp = timestamp;
frame.width = (int32_t)CVPixelBufferGetWidth(buffer);
frame.height = (int32_t)CVPixelBufferGetHeight(buffer);
frame.cvpixelbuffer = buffer;
frame.rotation = ByteRTCVideoRotation0;
frame.seiData = nil;
[self.rtcEngine pushExternalVideoFrame:frame];
}
Android
根据您使用的视频采集设备的不同，采集输出的视频信号可能会采取不同的视频编码方式。你需要根据不同的视频编码方式，采用不同的参数。
以下代码分别展示了采集视频采用纹理、RGBA、NV21/NV12 格式 raw 数据时，如何设置视频帧参数。
Texture
RGBA
NV21
NV12
public void frameAvailable(SurfaceTexture texture) {
// 预览渲染逻辑
...
// 构建外部视频帧
VideoFrameData frame = new VideoFrameData();
frame.bufferType = VideoBufferType.GL_TEXTURE;
frame.pixelFormat = VideoPixelFormat.TEXTURE_2D;
frame.eglContext = sharedEglContext;
frame.textureId = textureId;
frame.textureMatrix = transformMatrix;
frame.width = width;
frame.height = height;
//设置旋转角度
frame.rotation = VideoRotation.VIDEO_ROTATION_0;
frame.timestampUs = (long)System.currentTimeMillis() * TimeUnit.MILLISECONDS.toNanos(1);
...
// 向 SDK 推送外部视频帧
mRTCEngine.pushExternalVideoFrame(frame);
}
public void createRGBAFrame(byte[] RGBABuffer, ColorSpace colorSpace) {
VideoFrameData frame = new VideoFrameData();
frame.bufferType = VideoBufferType.RAW_MEMORY;
frame.pixelFormat = VideoPixelFormat.RGBA;
frame.width = width;
frame.height = height;
frame.rotation = VideoRotation.VIDEO_ROTATION_0;
frame.timestampUs = (long)System.currentTimeMillis() * TimeUnit.MILLISECONDS.toMicros(1);
frame.planeData = buffers;
frame.numberOfPlanes = 1;
frame.planeStride = width * 4;
//向 SDK 推送外部视频帧
mRTCEngine.pushExternalVideoFrame(frame);
}
public void createNV21Frame(byte[] nv21Buffer, int width, int height) {
VideoFrameData frame = new VideoFrameData();
frame.bufferType = VideoBufferType.RAW_MEMORY;
frame.pixelFormat = VideoPixelFormat.NV21;
frame.width = width;
frame.height = height;
frame.rotation = VideoRotation.VIDEO_ROTATION_0;
frame.timestampUs = System.currentTimeMillis() * 1000;
ByteBuffer buffer = ByteBuffer.wrap(nv21Buffer);
frame.planeData = new ByteBuffer[2];
frame.planeStride = new int[]{width, width}; // 初始化步长数组
frame.numberOfPlanes = 2;
frame.planeData[0] = buffer.duplicate().position(0);
frame.planeData[1] = buffer.duplicate().position(width * height);
// 向 SDK 推送外部视频帧
mRTCEngine.pushExternalVideoFrame(frame);
}
public void createNV12Frame(byte[] nv12Buffer, int width, int height) {
VideoFrameData frame = new VideoFrameData();
frame.bufferType = VideoBufferType.RAW_MEMORY;
frame.pixelFormat = VideoPixelFormat.NV12;
frame.width = width;
frame.height = height;
frame.rotation = VideoRotation.VIDEO_ROTATION_0;
frame.timestampUs = System.currentTimeMillis() * 1000;
ByteBuffer buffer = ByteBuffer.wrap(nv12Buffer);
frame.planeData = new ByteBuffer[2];
frame.planeStride = new int[]{width, width};
frame.numberOfPlanes = 2;
frame.planeData[0] = buffer.duplicate().position(0);
frame.planeData[1] = buffer.duplicate().position(width * height);
// 向 SDK 推送外部视频帧
mRTCEngine.pushExternalVideoFrame(frame);
}
API 参考
以下是各个平台的相关 API 参考：
- Android：
- iOS：
- macOS：
- Windows：
- Linux：
相关文档
最近更新时间：2026.09.21 16:24:28
这个页面对您有帮助吗？
有用
有用
无用
无用