音视频通话

影音共享

功能介绍

把一个本地视频文件、或网络流媒体播放给房间内其他用户观看,有以下特性:

  • 支持暂停;
  • 支持设置播放位置等;
  • 支持的本地影音文件格式有:mov、rmvb、rm、flv、mp4、3gp、mp3、wav等市面上常见格式;
  • 支持网络媒体流,支持的协议有:rtmp、rtsp、http(并非http网页,而是http的媒体文件,格式同本地影音文件格式);
  • 一个房间中同一时间只支持进行一个影音播放;

相比屏幕共享方式来分享影音,它有以下优点:

  1. 不需要第三方播放器,能在SDK内部完成,并能实现一些自动化处理;(如播放完成,进入下一步业务流程)
  2. 不需要将图像显示到屏幕上,然后再抓屏;(减少图像质量损耗、减少cpu/gpu开销、免去抓屏区域控制)
  3. 声音不需要播放到系统,然后再从系统采集;(可避免系统播放的其它声音被采集)

播放端实现介绍

1.准备影音图像渲染界面

  • 从CRCustomRenderHandler派生渲染类, 并在onRenderFrameDat回调中接收帧数据, 然后通知UI进行绘制

// 从CRCustomRenderHandler派生渲染类,并配置渲染CRVSDK_VIEWTP_MEDIA
class CustomRenderWidget : public QWidget, public CRCustomRenderHandler
{
signals:
    void s_recvFrame(qint64 timeStamp);

public:
    CustomRenderWidget(QWidget *parent) : QWidget(parent), CRCustomRenderHandler(CRVSDK_VIEWTP_MEDIA)
    {
        this->setAttribute(Qt::WA_OpaquePaintEvent);
        this->setAttribute(Qt::WA_NoSystemBackground);

        //添加向SDK添加自渲染对象
        g_sdkMain->getSDKMeeting().addCustomRender(this);

        //收到新帧时,执行update进行图像绘制
        connect(this, SIGNAL(s_recvFrame(qint64)), this, SLOT(update()));
    }

    CustomRenderWidget::~CustomRenderWidget()
    {
        g_sdkMain->getSDKMeeting().rmCustomRender(this);
    }

protected:
	//重载onRenderFrameDat,接收帧图像,并触发渲染
	void onRenderFrameDat(const CRVideoFrame &frm) override
    {
		//因为是在底层线程回调,所以加锁替换
		{
			QMutexLocker locker(&m_frameLock);
			m_frame = frm;
		}

		//通知UI收到新帧,进行绘制
		emit s_recvFrame(frm.getTimestamp());
    }

	//将图像帧转换成image绘制到界面上
	void paintEvent(QPaintEvent *event) override
    {
        CRVideoFrame frm;
		//加锁取到图像帧
		{
			QMutexLocker locker(&m_frameLock);
			frm = m_frame;
		}

		//将图像转成rgb
    	QRect widgetRect = this->rect();
		g_sdkMain->videoFrameCover(frm, CRVSDK_VFMT_ARGB32, widgetRect.width(), widgetRect.height());

		//得到frm中原始指针
		uint8_t* rgb[1];
		int      linesize[1];
		frm.getRawDatPtr(rgb, linesize, 1);

		//生成img
		QImage img = QImage(rgb[0], frm.getWidth(), frm.getHeight(), linesize[0], QImage::Format_RGB32);

		//绘制图像
		QPainter painter(this);
		painter.setRenderHint(QPainter::SmoothPixmapTransform);
		painter.drawImage(widgetRect, img);
    }
}

可在UI界面上,实现播放进度条,实现要点:

  • 本地开始播放影音成功时,将有notifyMediaOpened回调,通知影音文件的总时长;
  • 在播放过程中,onRenderFrameDat每帧图像都带有时戳,可实现播放进度;
  • 播放过程中,进度控制、暂停等,参见后续段落;

相关API请参考:

2.开始播放并观看影音

每次只能播放一个视频,停止正在播放的视频才能播放下一个视频。
通过setMediaCfg,还可以控制分享到房间中的图像质量。

  • 接口调用:
//获取影音共享参数
CRString jsonStr = g_sdkMain->getSDKMeeting().getMediaCfg();
QVariantMap cfg = QJsonDocument::fromJson(jsonStr.constData()).toVariant().toMap();

//配置影音共享参数1920*1080,帧率24(如果视频文件清晰度比配置低,则以文件为准)
cfg["size"] = QString("1920*1080");
cfg["fps"] = 24;
QByteArray strCfg = QJsonDocument::fromVariant(cfg).toJson(QJsonDocument::Compact);
g_sdkMain->getSDKMeeting().setMediaCfg(strCfg.constData());

//开始播放影音
g_sdkMain->getSDKMeeting().startPlayMedia("D:/1.mp4");

  • 观看影音需要监听以下的回调通知:
//观看端和播放端都会收到开始播放影音的通知,此时显示影音播放UI,即可观看影音
void notifyMediaStart(const char* userID){
  ...
}

相关API请参考:

3.设置播放进度

  • 调用接口:
// 设置播放进度,单位:毫秒.例如:设置到2秒处.
g_sdkMain->getSDKMeeting().setMediaPlayPos(2000);

相关API请参考:

4.暂停、停止播放

  • 调用接口:
// 暂停或恢复播放影音:true为暂停,false为恢复
g_sdkMain->getSDKMeeting().pausePlayMedia(true);

//停止播放影音
g_sdkMain->getSDKMeeting().stopPlayMedia();
  • 回调通知:

注意:主动调用stopPlayMedia停止播放,或者影音文件播放到结尾,都会触发事件notifyMediaStop,房间内所有人都会收到。

//媒体暂停播放通知
void notifyMediaPause(const char* userID, bool pause){
  ...
}

//影音停止播放通知,观看端和播放端都会收到此通知。reason 为停止原因,详见参考CRVSDK_MEDIA_STOPREASON
void notifyMediaStop(const char* userID, CRVSDK_MEDIA_STOPREASON reason)
{
    //此时可以隐藏影音显示UI
}

相关API请参考:

观看端实现介绍

1.准备影音图像渲染界面

同播放端准备影音图像渲染界面。

2.观看影音

观看端收到开始播放影音的通知后显示影音播放UI,即可观看影音。

  • 回调通知:
//
void notifyMediaStart(const char* userID){
}

相关API请参考:

3.影音停止播放通知

  • 回调通知:
//影音停止播放通知,观看端和播放端都会收到此通知。reason 为停止原因,详见参考CRVSDK_MEDIA_STOPREASON
void notifyMediaStop(const char* userID, CRVSDK_MEDIA_STOPREASON reason)
{
    //此时可以隐藏影音显示UI
}

相关API请参考: