自定义视频前处理/后处理
功能介绍
视频前处理:在本地采集和编码之间的一个处理环节。SDK 将图像帧回调到业务层,供业务代码对图像帧进行修改。这里也可以是不修改,只是进行旁路处理。
视频后处理:在远端视频帧解码后和显示(或录制)间的一个处理环节。SDK 将图像帧回调到业务层,供业务代码对图像帧进行修改。这里也可以是不修改,只是进行旁边处理。
前处理的应用场景:如自定义美颜、添加挂件、AI换脸等、人脸识别、出框检测等。
后处理的应用场景:如添加特殊显示水印,对方是否AI检测等。
1. 开启视频前处理/后处理
调用 setVideoFrameObserver(p) 设置观测器;
观测器类为 CRVideoFrameObserver,需实现:
- onCaptureVideoFrame(frm):视频前处理。
- onRemoteVideoFrame(vID, frm, lv):视频后处理。
示例(仅示意,不实现具体逻辑):
class MyVideoFrameObserver : public CRVideoFrameObserver
{
public:
virtual void onCaptureVideoFrame(CRVideoFrame& frm) override
{
// 视频前处理 / 旁路处理
}
virtual void onRemoteVideoFrame(const CRUserVideoID &vID, CRVideoFrame& frm, CRVSDK_VSTEAMLV_TYPE lv) override
{
// 视频后处理
}
};
CRVideoSDKMeeting& meeting = g_sdkMain->getSDKMeeting();
MyVideoFrameObserver observer;
meeting.setVideoFrameObserver(&observer);
// 移除:meeting.setVideoFrameObserver(nullptr);
相关 API 与类请参考:
2. 停止视频前处理/后处理
调用 setVideoFrameObserver(nullptr) 设置观测器为nullptr即可;
3. 使用注意点
- CRVideoFrameObserver的回调都在子线程回调;
- 不要做太耗时操作,以免影响视频采集/解码与渲染流畅度;
- CRVideoFrameObserver对象销毁之前,一定要先setVideoFrameObserver(nullptr),否则SDK回调时,将发生异常;