影音共享
功能介绍
把一个本地视频文件、或网络流媒体播放给房间内其他用户观看,有以下特性:
- 支持暂停;
- 支持设置播放位置等;
- 支持的本地影音文件格式有:mov、rmvb、rm、flv、mp4、3gp、mp3、wav等市面上常见格式;
- 支持网络媒体流,支持的协议有:rtmp、rtsp、http(并非http网页,而是http的媒体文件,格式同本地影音文件格式);
- 一个房间中同一时间只支持进行一个影音播放;
相比屏幕共享方式来分享影音,它有以下优点:
- 不需要第三方播放器,能在SDK内部完成,并能实现一些自动化处理;(如播放完成,进入下一步业务流程)
- 不需要将图像显示到屏幕上,然后再抓屏;(减少图像质量损耗、减少cpu/gpu开销、免去抓屏区域控制)
- 声音不需要播放到系统,然后再从系统采集;(可避免系统播放的其它声音被采集)
播放端实现介绍
1.准备影音图像渲染界面
- 从CRCustomRenderHandler派生渲染类, 并在onRenderFrameDat回调中接收帧数据, 然后通知UI进行绘制
// 从CRCustomRenderHandler派生渲染类,并配置渲染CRVSDK_VIEWTP_MEDIA
class CustomRenderWidget : public QWidget, public CRCustomRenderHandler
{
signals:
void s_recvFrame(qint64 timeStamp);
public:
CustomRenderWidget(QWidget *parent) : QWidget(parent), CRCustomRenderHandler(CRVSDK_VIEWTP_MEDIA)
{
this->setAttribute(Qt::WA_OpaquePaintEvent);
this->setAttribute(Qt::WA_NoSystemBackground);
//添加向SDK添加自渲染对象
g_sdkMain->getSDKMeeting().addCustomRender(this);
//收到新帧时,执行update进行图像绘制
connect(this, SIGNAL(s_recvFrame(qint64)), this, SLOT(update()));
}
CustomRenderWidget::~CustomRenderWidget()
{
g_sdkMain->getSDKMeeting().rmCustomRender(this);
}
protected:
//重载onRenderFrameDat,接收帧图像,并触发渲染
void onRenderFrameDat(const CRVideoFrame &frm) override
{
//因为是在底层线程回调,所以加锁替换
{
QMutexLocker locker(&m_frameLock);
m_frame = frm;
}
//通知UI收到新帧,进行绘制
emit s_recvFrame(frm.getTimestamp());
}
//将图像帧转换成image绘制到界面上
void paintEvent(QPaintEvent *event) override
{
CRVideoFrame frm;
//加锁取到图像帧
{
QMutexLocker locker(&m_frameLock);
frm = m_frame;
}
//将图像转成rgb
QRect widgetRect = this->rect();
g_sdkMain->videoFrameCover(frm, CRVSDK_VFMT_ARGB32, widgetRect.width(), widgetRect.height());
//得到frm中原始指针
uint8_t* rgb[1];
int linesize[1];
frm.getRawDatPtr(rgb, linesize, 1);
//生成img
QImage img = QImage(rgb[0], frm.getWidth(), frm.getHeight(), linesize[0], QImage::Format_RGB32);
//绘制图像
QPainter painter(this);
painter.setRenderHint(QPainter::SmoothPixmapTransform);
painter.drawImage(widgetRect, img);
}
}
可在UI界面上,实现播放进度条,实现要点:
- 本地开始播放影音成功时,将有notifyMediaOpened回调,通知影音文件的总时长;
- 在播放过程中,onRenderFrameDat每帧图像都带有时戳,可实现播放进度;
- 播放过程中,进度控制、暂停等,参见后续段落;
相关API请参考:
2.开始播放并观看影音
每次只能播放一个视频,停止正在播放的视频才能播放下一个视频。
通过setMediaCfg,还可以控制分享到房间中的图像质量。
- 接口调用:
//获取影音共享参数
CRString jsonStr = g_sdkMain->getSDKMeeting().getMediaCfg();
QVariantMap cfg = QJsonDocument::fromJson(jsonStr.constData()).toVariant().toMap();
//配置影音共享参数1920*1080,帧率24(如果视频文件清晰度比配置低,则以文件为准)
cfg["size"] = QString("1920*1080");
cfg["fps"] = 24;
QByteArray strCfg = QJsonDocument::fromVariant(cfg).toJson(QJsonDocument::Compact);
g_sdkMain->getSDKMeeting().setMediaCfg(strCfg.constData());
//开始播放影音
g_sdkMain->getSDKMeeting().startPlayMedia("D:/1.mp4");
- 观看影音需要监听以下的回调通知:
//观看端和播放端都会收到开始播放影音的通知,此时显示影音播放UI,即可观看影音
void notifyMediaStart(const char* userID){
...
}
相关API请参考:
3.设置播放进度
- 调用接口:
// 设置播放进度,单位:毫秒.例如:设置到2秒处.
g_sdkMain->getSDKMeeting().setMediaPlayPos(2000);
相关API请参考:
4.暂停、停止播放
- 调用接口:
// 暂停或恢复播放影音:true为暂停,false为恢复
g_sdkMain->getSDKMeeting().pausePlayMedia(true);
//停止播放影音
g_sdkMain->getSDKMeeting().stopPlayMedia();
- 回调通知:
注意:主动调用stopPlayMedia停止播放,或者影音文件播放到结尾,都会触发事件notifyMediaStop,房间内所有人都会收到。
//媒体暂停播放通知
void notifyMediaPause(const char* userID, bool pause){
...
}
//影音停止播放通知,观看端和播放端都会收到此通知。reason 为停止原因,详见参考CRVSDK_MEDIA_STOPREASON
void notifyMediaStop(const char* userID, CRVSDK_MEDIA_STOPREASON reason)
{
//此时可以隐藏影音显示UI
}
相关API请参考:
观看端实现介绍
1.准备影音图像渲染界面
同播放端准备影音图像渲染界面。
2.观看影音
观看端收到开始播放影音的通知后显示影音播放UI,即可观看影音。
- 回调通知:
//
void notifyMediaStart(const char* userID){
}
相关API请参考:
3.影音停止播放通知
- 回调通知:
//影音停止播放通知,观看端和播放端都会收到此通知。reason 为停止原因,详见参考CRVSDK_MEDIA_STOPREASON
void notifyMediaStop(const char* userID, CRVSDK_MEDIA_STOPREASON reason)
{
//此时可以隐藏影音显示UI
}
相关API请参考: