音视频通话

自定义视频前处理/后处理

功能介绍

视频前处理:在本地采集和编码之间的一个处理环节。SDK 将图像帧回调到业务层,供业务代码对图像帧进行修改。这里也可以是不修改,只是进行旁路处理。
视频后处理:在远端视频帧解码后和显示(或录制)间的一个处理环节。SDK 将图像帧回调到业务层,供业务代码对图像帧进行修改。这里也可以是不修改,只是进行旁边处理。

前处理的应用场景:如自定义美颜、添加挂件、AI换脸等、人脸识别、出框检测等。
后处理的应用场景:如添加特殊显示水印,对方是否AI检测等。

1. 开启视频前处理/后处理

调用 setVideoFrameObserver(p) 设置观测器;
观测器类为 CRVideoFrameObserver,需实现:

  • onCaptureVideoFrame(frm):视频前处理。
  • onRemoteVideoFrame(vID, frm, lv):视频后处理。

示例(仅示意,不实现具体逻辑):

class MyVideoFrameObserver : public CRVideoFrameObserver
{
public:
    virtual void onCaptureVideoFrame(CRVideoFrame& frm) override
    {
        // 视频前处理 / 旁路处理
    }
    virtual void onRemoteVideoFrame(const CRUserVideoID &vID, CRVideoFrame& frm, CRVSDK_VSTEAMLV_TYPE lv) override
    {
        // 视频后处理
    }
};

CRVideoSDKMeeting& meeting = g_sdkMain->getSDKMeeting();
MyVideoFrameObserver observer;
meeting.setVideoFrameObserver(&observer);
// 移除:meeting.setVideoFrameObserver(nullptr);

相关 API 与类请参考:

2. 停止视频前处理/后处理

调用 setVideoFrameObserver(nullptr) 设置观测器为nullptr即可;

3. 使用注意点

  • CRVideoFrameObserver的回调都在子线程回调;
  • 不要做太耗时操作,以免影响视频采集/解码与渲染流畅度;
  • CRVideoFrameObserver对象销毁之前,一定要先setVideoFrameObserver(nullptr),否则SDK回调时,将发生异常;