音视频通话

类型定义

初始化配置

InitObj

  • Type:object
成员变量 类型 说明
path string SDK工作目录,用于存储配置文件、临时文件、录制文件、影音文件、日志等文件,如果传空值,则默认为sdk的安装目录
jsonParam string 扩展参数,json格式,参见InitJsonParams

初始化扩展参数

InitJsonParams

  • Type:object
成员变量 类型 说明
Timeout int 网络通信超时时间,单位是毫秒,取值范围:10000-120000, 缺省值:60000(60秒)

NetworkProxy

NetworkProxy

{
    "type": 1,
    "addr": "192.168.0.2",
    "port": 8080
}
参数 类型 说明
type number 网络代理类型(0:无代理, 1:http代理)
addr string 代理服务器地址
port number 代理服务器端口
name string 可选参数,代理帐号
pswd string 可选参数,代理密码

登录配置

LoginObj

  • Type:object
成员变量 必填 类型 说明
_sdkAuthType 是 number SDK登录鉴权方案类型:
0:token鉴权方式, 1:appSecret鉴权方式
_serverAddr 是 string 服务器地址,格式为host:port。
_webProtocol不同port的取值一般也会不同,如:CRVSDK_WEBPTC_HTTP为2727, CRVSDK_WEBPTC_HTTPS/CRVSDK_WEBPTC_HTTPS_NOVERRIFY为2726
_userID 是 string 用户ID,长度不能大于128。
业务方自由填写,保证同一appID下具有唯一性
_webProtocol 是 number 访问web服务协义类型:
0:http 1:标准https 2:不验证服务器SSL证书,支持自签证书
_token 否 string 登录鉴权token,_sdkAuthType为0时必选参数
_appID 否 string App ID,_sdkAuthType为1时必选参数
_md5_appSecret 否 string App Secret的md5值,_sdkAuthType为1时必选参数
_networkProxy 否 string 网络代理
_userAuthCode 否 string 只有开启第三方认证才需要填写。(开启第三方认证时,SDK服务器将连接提前配好的业务方服务器进行实时验证。

用户在线状态信息

UserStatus

参数 类型 说明
_userID string 用户ID, 请参见关键词
_userStatus number 客户端状态
_DNDType number 用户自定义免打扰状态,0:未开启免打扰

队列信息

QueInfo

参数 类型 说明
_queID number 队列ID
_name string 队列名称
_desc string 队列描述信息
_prio number 队列优先级(为优先级最高)

队列状态

QueStatus

参数 类型 说明
_queID number 队列ID
_agentNum number 坐席数
_waitNum number 等待人数
_srvNum number 服务中人数

我的排队信息

QueuingInfo

参数 类型 说明
_queID number 排的队列ID(<0:代表我没有排队)
_position number 当前位置(0为队列中的第1位,即将被服务)
_queuingTime number 我排队的时长(单位:秒)

排队用户信息

QueUserInfo

参数 类型 说明
_queID number 队列ID
_usrID string 排队的用户ID
_name string 用户的昵称
_usrExtDat string 用户排队时的扩展数据
_queuingTime number 排队的时长(单位:秒)

成员信息

MemberInfo

名称 类型 说明
_userId string 用户ID
_nickName string 昵称
_audioStatus number 音频状态,数值参考ASTATUS
_videoStatus number 视频状态,数值参考VSTATUS

AudioDevInfo 音频设备信息

参数 类型 说明
_id string 设备id
_name string 设备名称

音频配置

AudioCfg

参数 类型 说明
_micID string 麦克风设备(空代表系统默认设备)
_spkID string 扬声器设备(空代表系统默认设备)
_agc bool 是否启用声音增益
_ans bool 是否启用降噪
_aec bool 是否启用回声消除

视频UI组件回调函数集合

VideoUICallBack

参数 类型 说明
notifyFrameReceived function 通知有视频帧到达,参数包含frame
notifyFirstFrameRender function 通知首帧已渲染完成

视频设备信息

VideoDevInfo

参数 类型 说明
_videoID number 设备编号(程序重启后可能变化)
_devType number 设备类型
_devName string 设备名称
_devMaxWidth number 摄像头支持的最大宽度
_devMaxHeight number 摄像头支持的最大高度
_devGuid string 设备guid, 仅获取本地设备有效
_bDisabled bool 设备是否被禁用, 仅获取本地设备有效

视频配置

VideoCfg

参数 类型 说明
size string 分辨率:"w*h"
fps number 视频帧率(1~30)
maxbps number 可选参数默认值,视频码率
单位为bps,如100kbps填值:100000,1mkbps填值1000000
min_qp number 可选参数(默认值22),最佳质量(18~51, 越小质量越好)
max_qp number 可选参数(默认值32),最低质量(18~51, 越小质量越好) , sdk在网络不好时,智能调低质量,以便降低码率来提升流畅性

视频效果参数

VideoEffects

{
    "denoise": 1,
    "mirror": 1
}
参数 类型 说明
denoise number 视频降噪, 取值:0/1, 默值为1
mirror number 视频镜像(左右翻转),取值:0/1, 默认为0。
upsideDown number 视频上下翻转,取值:0/1, 默认为0
deinterlace number 视频反交错,取值:0/1, 默认为0 (除非视频采集设备为隔行扫描设备,否则不要开启)
degree number 旋转角度,<0代表自动,旋转取值:0、90、180、270、360, 默认为自动模式

摄像头私有属性

//只开大流,清晰度为720p
{ "size":"1280*720", "fps":15, "maxbps":1000000 }

//开启大小流,大流720p, 小流160p
{ 
    "size":"1280*720", 
    "fps":15, 
    "maxbps":1000000, 
    "quality2": {"size":"228*160", "maxbps":120000}
}
参数 类型 说明
disabled number 可选参数,取值0:不禁用此设备(默认值),1:禁用此设备;
effects VideoEffects 可选参数,视频效果配置,未配置时采用全局配置setVideoEffects
fps number 可选参数,参见VideoCfg的描述,未配置时采用全局配置setVideoCfg
size string 可选参数,参见VideoCfg的描述,未配置时采用全局配置setVideoCfg
maxbps number 可选参数,参见VideoCfg的描述,未配置时采用全局配置setVideoCfg
qp_min number 可选参数,参见VideoCfg的描述,未配置时采用全局配置setVideoCfg
qp_max number 可选参数,参见VideoCfg的描述,未配置时采用全局配置setVideoCfg
quality2 object 可选参数,第二档质量配置,支持的属性有:size, maxbps, qp_min, qp_max;
quality2未配置或配为空,代表关闭第二流;
配置quality2,代表开启第二流,将带来较大的cpu开销;
通过setVideo2可以选择观看的标准流或第二流;

图像帧

VideoFrame

参数 类型 说明
_format number 图像格式,参见VIDEO_FORMAT
_data Uint8Array 图像数据
_width number 图像宽度
_height number 图像高度
_pts number 当前帧的13位时间戳

影音共享信息

MediaInfo

参数 类型 说明
_state number 共享状态
_userID string 共享者用户ID
_mediaName string 共享的文件名

网络状态信息

NetStateInfo

参数 类型 说明
_delay number 网络延时,单位ms
_aSndLost number 语音发送丢包率
_aRcvLost number 语音接收丢包率
_vSndLost number 视频发送丢包率
_vRcvLost number 视频接收丢包率

屏幕共享采集源信息

ScreenCaptureSourceInfo

参数 类型 说明
_type number 类型,参见SCREENCAPTURESOURCE_TYPE
_sourceId number 采集源ID,对于窗口,表示窗口 ID(Window ID);对于屏幕,表示屏幕 ID(Display ID)
_sourceTitle string 采集源标题,适用窗口类型
_sourceName string 采集源名称
_thumbImage VideoFrame 采集源缩略图
_iconImage VideoFrame 采集源图标,适用窗口类型
_primaryMonitor bool 是否为主屏,适用屏幕类型
_minimizeWindow bool 窗口是否已最小化,适用Windows平台

屏幕共享配置参数

ScreenShareCfg

参数 类型 说明
monitorID number 可选参数,屏幕ID,-1代表主屏,如果要指定具体屏幕,可以传入从getScreenCaptureSources中获取的_sourceId
catchWnd number 可选参数, 共享指定的窗口ID,可以传入从getScreenCaptureSources中获取的_sourceId
catchRect object 可选参数, 共享区域,如:{"left":0, "top":0, "width":640, "height":360}
encSize object 可选参数(默认以抓图的尺寸为准), 固定编码清晰度,用于某些场影限定或保持分辨率用,如{"width":640, "height":360}
maxFPS number 可选参数(默认值12),最大帧率(1~60)
maxKbps number 可选参数(默认值2000),最大码率(1~4000)
单位为kbps,如100kbps填值:100,1mkbps填值1000
qp number 可选参数(默认值22),画质(0~51,0为无损)
shareSound bool 可选参数(默认值false),共享电脑声音
excludeSharerPID bool 可选参数(默认值false),不共享本进程
activateWindow bool 可选参数(默认值false),是否将共享窗口前置,适用窗口共享
borderHighLight bool 可选参数(默认值false),是否将共享源描边高亮,适用Windows和macOS平台
highLightColor string 可选参数(默认值#54DB00),共享时描边颜色, 格式#RRGGBB,适用Windows和macOS平台
highLightColorForPause string 可选参数(默认值 #FFC268),暂停共享时描边颜色, 格式#RRGGBB,适用Windows和macOS平台
highLightWidth number 可选参数(默认值5),描边宽度,适用Windows和macOS平台

屏幕共享状态信息

ScreenShareInfo

参数 类型 说明
_state number 共享状态, 0:未共享,1:共享中
_sharerUserID string 共享者用户ID
_ctrlerUserID string 当前控制者用户ID

操作属性选项

AttrOptions

参数 类型 说明
notifyAll number 0(默认值):不通知,1:通知房间所有人员

属性集

AttrObjs

{
    "KeyXX": {
        "value": "value1",
        "lastModifyUserID": "userid1",
        "lastModifyTs": 1700634963
    },
    "KeyYY": {
        "value": "value2",
        "lastModifyUserID": "userid2",
        "lastModifyTs": 1700634963
    }
}
参数 类型 说明
User defined Key string 自定义的属性Key
value string 属性值
lastModifyUserID string 最后修改的用户ID
lastModifyTs number 最后修改的时间点,10位时间戳

用户属性集

UserAttrObjs

{
    "userid1": {
        "KeyXX": {
            "value": "value1",
            "lastModifyUserID": "userid1",
            "lastModifyTs": 1700634963
        },
        "KeyYY": {
            "value": "value2",
            "lastModifyUserID": "userid2",
            "lastModifyTs": 1700634963
        }
    },
    "userid2": {
        "KeyXX": {
            "value": "value3",
            "lastModifyUserID": "userid1",
            "lastModifyTs": 1700634963
        },
        "KeyYY": {
            "value": "value4",
            "lastModifyUserID": "userid2",
            "lastModifyTs": 1700634963
        }
    }
}
参数 类型 说明
UserID string 用户ID
User defined Key string 自定义的属性Key
value string 属性值
lastModifyUserID string 最后修改的用户ID
lastModifyTs number 最后修改的时间点,10位时间戳

云端混图器配置

CloudMixerCfgObj

//为房间中所有人录制独立的声音文件,独立的默认摄像头视频文件
{
    "mode": 1,
    "audioFileCfg": {
        "svrFileNameSuffix": ".mp3",
        "svrPath": "/xxx",
        "subscribeAudios": ["_cr_all_"]
    },
    "videoFileCfg": {
        "aStreamType": 1,
        "svrFileNameSuffix": ".mp4",
        "svrPath": "/xxx",
        "subscribeVideos": ["_cr_allDefCam_"]
    }
}

//录制一个2分屏左右布局图像+房间声音的mp4文件
{
    "mode": 0,
    "videoFileCfg": {
        "svrPathName": "/2021-09-24/2021-09-24_13-47-41_Electron_73542046.mp4",
        "vWidth": 1280,
        "vHeight": 720,
        "vFps": 15,
        "layoutConfig": [
            {
                "type": 0,
                "top": 180,
                "left": 0,
                "width": 640,
                "height": 360,
                "keepAspectRatio": 1,
                "param": {"camid": "1.-1"}
            },
            {
                "type": 0,
                "top": 180,
                "left": 640,
                "width": 640,
                "height": 360,
                "keepAspectRatio": 1,
                "param": {"camid": "2.-1"}
            }
        ]
    }
}

参数 类型 说明 是否必传
mode number 录制模式,取值范围:
0-合流模式:将声音录制到一个声音文件、或将声音图像录制成一个视频文件;
1-单流模式:将涉及到的声音流、图像流存到各自独立的文件中;
是
audioFileCfg object 生成音频文件配置,参见CloudMixerAudioFileCfg,生成规则:进入房间并开启麦克风开始生成文件,离开房间结束生成文件 否
videoFileCfg object 生成视频文件配置,参见CloudMixerVideoFileCfg,生成规则:进入房间并开启摄像头开始生成文件,离开房间结束生成文件 否
storageConfig object 云存储配置,参见CloudStorageConfig,不配置时将存储在SDK服务器上 否

云端录制语音文件配置

CloudMixerAudioFileCfg

单流模式参数:

参数 类型 说明 是否必传
svrPath string 服务器存储路径,默认为空 否
svrFileNameSuffix string 文件名后缀,支持:“.mp3”、“.wav”
文件命名规则:昵称_房间号_开始时间.后缀
是
subscribeAudios array 指定生成哪些人的音频文件;
取值:["_cr_all_"]或["userId1","userId2"];
_cr_all_代表生成所有人;
是

合流模式参数:

参数 类型 说明 是否必传
svrPathName string 带服务器存储路径的文件名,文件格式支持“mp3”、“wav”,示例:/xxx/xxx/xxx.mp3 是
aChannelType number 音频通道类型,取值范围:0-单声道,1-左右双声道,默认为0 否
aChannelContent array 音频通道内容。

左右声道模式时:必须传入两个用户ID,如:["UserID1", "UserID2"],第一个人的为左声道,第二个人为右声道)

单声道模式时:必须为空
否

CloudMixerVideoFileCfg 云端录制视频文件配置

单流模式参数:

参数 类型 说明 是否必传
svrPath string 服务器存储路径,默认为空 否
svrFileNameSuffix string 文件名后缀,当前只支持:”.mp4”
文件命名规则:昵称_cam摄像头编号_房间号_开始时间.后缀
是
subscribeVideos array 指定生成哪些人的摄像头对应的视频文件;
取值:["_cr_all_"]或["_cr_allDefCam_"]或["userId1.camId", "userId2.camId", ...];
_cr_all_代表所有人所有摄像头,_cr_allDefCam_代表生成所有人的默认摄像头
是
aStreamType number 视频文件内音频内容,取值:0-自己声音,1-所有人声音,默认0 否

合流模式参数:

参数 类型 说明 是否必传
svrPathName string 带路径的文件名,文件格式支持:mp4、flv、ts、avi、rtmp://、rtsp://,可选一个或多个,以“;”分隔;
示例:”/xxx/xxx.mp4;rtmp://xxx1;rtmp://xxx2;”
是
aChannelType number 音频通道类型,取值:0-单声道,1-左右双声道,默认为0 否
aChannelContent array 音频通道内容。

左右声道模式时:必须传入两个用户ID,如:["UserID1", "UserID2"],第一个人的为左声道,第二个人为右声道)

单声道模式时:必须为空
否
vWidth number 视频宽度 是
vHeight number 视频高度 是
vFps number 视频帧率,取值0-30, 默认值12 否
vBps number 视频码率,取值参见视频流默认码率定义 默认会根据视频尺寸生成码率 否
vQP number 视频质量,取值0~51(0表示完全无损, 51表示质量非常差),推荐高质量取值18,中质量25,低质量34, 默认值19 否
layoutConfig array 布局内容列表,[MixerContentObj,MixerContentObj,...] 是

CloudStorageConfig 云端录制存储配置

参数 类型 说明 是否必传
vendor number 第三方云存储平台: 1-阿里云 是
region string 第三方云存储指定的地区信息 是
bucket string 第三方云存储的 bucket 是
accessKey string 第三方云存储的 access key 是
secretKey string 第三方云存储的 secret key 是

CloudMixerInfo 云端混图器信息

参数 类型 说明
ID string 混图器ID
owner string 创建者用户ID
cfg string 录制配置,json格式串,参见CloudMixerCfgObj
state number 录制状态,参见MIXER_STATE

混图器内容

{
	"type":0,
	"keepAspectRatio":1,
	"left":5,
	"top":10, 
	"width":633,
	"height":356,
	"param":{"camid":"usr1.1"}
}
参数 类型 说明
type number 参见混图器内容类型,请见后面type描述;
left number 在混图画面中的区域(水平位置)
top number 在混图画面中的区域(垂直位置)
width number 在混图画面中的区域宽
height number 在混图画面中的区域高
keepAspectRatio number 内容保持原始比例,0不保持,1保持
param object 如:{"camid":"usrxxx.1"}。请见后面param支持的参数;

type描述:

  • 当type=0时,表示混图的是摄像头,param必须包含camid;
  • 当type=1时,表示混图的是指定的图片,param必须包含resourceid;(仅用于本地混图)
  • 当type=2时,表示混图的是本地屏幕,param可以增加附加参数screenid/pid/area/window;(仅用于本地混图)
  • 当type=3时,表示混图的是影音共享,不用附加任何参数;
  • 当type=5时,表示混图的是共享的屏幕,不用附加任何参数;
  • 当type=10时,表示混图的是文本,width和height将被忽略,元素大小由文本信息自动确定。 param必须包含text,可选text-color,bk-color,font-size,text-margin;

param 支持的参数如下:

  • camid:用户id.摄像头id, 如:"testuser.1"
  • resourceid:具有唯一属性的字符串id,通过setPicResource将图片存储到sdk内供混图模块使用
  • screenid:屏幕序号,-1表示主屏
  • pid:进程号
  • area:抓屏区域:"x,y,w,h"
  • text:文本内容,支持时间戳参数"%timestamp%",格式为:YYYY-MM-DD HH:MM:SS
  • text-color:文本颜色,支持格式:"#RGB","#RRGGBB", "#AARRGGBB", 默认"#FFFFFF"
  • bk-color:背景色,支持格式:"#RGB","#RRGGBB", "#AARRGGBB", 默认"#7D000000"
  • font-size:字体大小,默认18
  • text-margin:边距,默认5

云端混图器输出信息

CloudMixerOutputInfo

参数 类型 说明
id string 混图器ID
state number 云端混图输出状态
state=2时:startTime, duration, fileSize参数有效;
state=3时:errCode, errDesc参数有效;
state=4时:progress参数有效;
state=6时:errCode, errDesc参数有效;
svrFilePathName string 录像路径文件名
startTime number 创建时间(从1970年1月1日00:00:00起的毫秒数)
duration number 录像时长(ms)
fileSize number 文件大小(Byte)
errCode number 错误码
errDesc string 错误描述
progress number 上传进度(0~100.0)

本地混图器规格配置

LocMixerCfgObj

{ 
    "width":640,
    "height":360,
    "frameRate":8,
    "bitRate":500000,
    "defaultQP":28,
    "gop":120
}
参数 类型 说明
width number 图像宽度(要求16的倍数)
height number 图像高度(要求8的倍数)
frameRate number 图像帧率,取值范围:1-30(值越大,cpu要求更高,录像推荐15帧,直播推存25帧)
bitRate number 最高码率(例如1m:1000000),当图像变化小时,平均码率会低于此值
defaultQP number 目标质量,缺省值:25。取值范围:0~51,0表示完全无损, 51表示质量非常差,推荐高质量取值18,中质量25, 低质量34
gop number I帧周期(I帧周期越大码率越小,但直播延时会越大); 文件录制建议15秒一个I帧,取值:frameRate x 15(frameRate的15倍); 直播建议4秒一个I帧,取值: frameRate x 4(frameRate的4倍);

本地混图器输出配置

LocMixerOutputObj

[
    {"type":0,"filename":"D:/1.mp4"},  //输出到文件配置
    {"type":1,"liveUrl":"rtmp://xxx"} //直播推流配置
]
参数 类型 说明
type number 输出类型:
0:录制文件
1:直播推流
filename string type=0时有效,录像路径文件名(如:d:/1.mp4),支持的文件格式为mp4/ts/flv/avi,其中flv和ts两种格式在程序异常结束时产生的录制文件仍可用。
encryptType number type=0时有效,可选参数,录像文件是否加密:
0:不加密(默认值),1:加密;
liveUrl string type=1时有效,直播推流地址,支持rtmp/rtsp;
errRetryTimes number type=1时有效,可选参数,直播推流异常时,重试次数,默认值0

本地混图器输出信息

LocMixerOutputInfoObj


{ 
    "state":2, 
    "duration":100,
    "fileSize":10000 
}

参数 类型 说明
state number 状态,参见LOCMIXER_OUTPUT_STATE
state=1或state=2时:duration, fileSize参数有效;
state=3时:errCode参数有效;
duration number 录像文件时长,单位:毫秒
fileSize number 录像文件大小,单位:字节
errCode number 错误码

美颜配置

参数 类型 说明
filters Array<BeautyFilter> 滤镜列表, 不在列表中的滤镜按不启用处理

美颜滤镜配置

参数 类型 说明
type number 滤镜类型,0:磨皮 1:美白 2:红唇 3:腮红 4:瘦脸 5:大眼
level number 滤镜强度,取值0~1.0。0代表不启用,1代表最高强度

虚拟背景配置

{
    type: 2, 
    bkImgFile: "d:\imgs\1.jpg"
}
参数 类型 说明
type number 0:未定义 1:绿幕模式 2: Ai人像模式
colorKey string 可选参数,当type为绿幕模式时表示绿幕的颜色值,格式支持:r,g,b 或 #RRGGBB。如:"0,255,0"(与颜色值相近的区域将替换为背景图)
bkImgFile string 可选参数,背景全路径文件名。(当前支持jpg、png、bmp格式)
bkImgFromResID string 可选参数,背景资源ID。通过setPicResource将图像存储到sdk内
bkImgFromCamID string 可选参数,用做背景的摄像头id。格式为: userid.camId
bkImgArea object 可选参数,默认为背景等比中间区域。可以指定背景区域:left, top, width, height,可实现不同人占不同座位等需求
  • 补充说明:
  1. bkImgFile, bkImgFromResID, bkImgFromCamID 三个必须传一个,传多个时按顺序启用前者。