音视频通话

对象结构定义


Sdk初始化数据实体类

SdkInitDat

成员变量 类型 说明
sdkDatSavePath String SDK 内部使用文件位置
noCall bool 是否使用呼叫业务(可减少登录环节、及通信需求)
noQueue bool 是否使用 sdk 的排队功能的业务(可减少登录环节、及通信需求)
timeOut int 网络通信超时时间(10000-120000),单位是毫秒,超出范围时就近取边界值
datEncType String 数据加密类型("0":敏感数据加密,"1":全面加密; 缺省:"1")

登录参数

成员变量 类型 说明
appID String appID 用于区分不同的项目,每个项目都有属于自己的唯一的 appID,不同 appID 的项目完全独立,无法相互通信。appID 请联系销售获取,并开通相关套餐和功能权限。
appSecret String appID 对应的密码(md5 加密传给 sdk),可登录 SDK 管理后台修改
userID String 用户 ID,长度不能大于 128。和 SDK 系统无关,业务方自由填写,保证唯一性即可(同一 appID 下,具有唯一性即可)
userAuthCode String 默认填空。只有开启第三方认证才需要填写。(开启第三方认证时,SDK 服务器将连接提前配好的业务方服务器进行实时验证。)

登录返回值

LoginResult

成员变量 类型 说明
userID String 登录用户的 ID
cookie String 登录时传的 cookie
sdkErr int 登录返回的状态码

用户状态

UserStatus

成员变量 类型 说明
userID String 用户 id
userStatus CLIENT_STATUS 用户的在线状态
DNDType bool 用户免打扰状态,参见 setDNDStatus

房间对象数据类

MeetInfo

成员变量 类型 说明
id int 房间号,数值 0 代表房间信息无效
pubMeetUrl String 房间公共链接

大小描述

VSize

成员变量 类型 说明
width int 宽
height int 高

房间成员信息

MemberInfo

成员变量 类型 说明
userID String 用户 ID
nickname String 用户昵称
audioStatus ASTATUS 音频状态
videoStatus VSTATUS 视频状态

麦克风强度(用户的说话声音)

MicEnergy

成员变量 类型 说明
userId String 用户 ID
newLevel int 原来的说话声音强度(0~10)
oldLevel int 现在的说话声音强度(0~10)

音频配置

AudioCfg

成员变量 类型 说明
micName String 麦克风设备名称(空代表系统默认设备)
speakerName String 扬声器名称(空代表系统默认设备)
agc bool 是否开启声音增益,默认开启
ans bool 是否开启降噪,默认开启
aec bool 是否开启回声消除,默认开启

视频效果配置

VideoEffects

参数 类型 说明
denoise bool 视频降噪
upsideDown bool 视频上下翻转
mirror int 视频左右镜像(-1:自动,0:关,1:开)
degree int 视频旋转(-1:自动,0-270:旋转角度)

视频设备私有属性

VideoAttributes

成员变量 类型 说明
disabled int 取值 0:不禁用此设备(默认值),1:禁用此设备;
effects VideoEffects 视频效果配置
quality1Cfg VideoCfg 第一档视频配置,未配置时采用全局配置
quality2Cfg VideoCfg 第二档视频配置,未配置代表关闭对应档位视频流
注意:
一个摄像头出多档质量的视频流,将带来很大的cpu开销;

通过setUsrVideoId可以选择观看的视频流;

视频配置

VideoCfg

成员变量 类型 说明
size VSize 视频尺寸
fps int 视频帧率(5~30)
maxbps int 视频码率(1~10010001000)(未配置则使用内部默认值)
minQuality int 最佳质量(18~51,越小质量越好) (未配置则使用内部默认值 25)
maxQuality int 最差质量(18~51, 越大质量越差) (未配置则使用内部默认值 36)
  • 注意事项

    - 我们采用的是 vbr 编码(由质量+码率,双重控制) - qp 范围:质量参数,为的是达到目标质量后,无需花费更大码率提高质量 - maxbps 码率控制,是为了确保结果一定不大于“目标码率”(体积受控), 当要超出码率控制时,自动降低质量;当质量达到目标时,自动减少码率甚至无码率输出 注:使用硬编时第二点是无效的。

用户摄像头

UsrVideoId

成员变量 类型 说明
userId String 用户 id
videoID String 设备 id

打开用户摄像头结果

OpenVideoResult

成员变量 类型 说明
deviceID String 设备 id
success bool 是否成功

用户视频信息

CameraInfo

成员变量 类型 说明
videoName String 设备名称
isIPCamera bool 是否 IP 摄像头

视频帧图像

VideoFrame

成员变量 类型 说明
camShowNo int 摄像头显示序号(0 开始编号)
fmt VIDEO_FORMAT 图像格式,数值参考视频图像格式VIDEO_FORMAT
dat Uint8List 图像数据
frameWidth int 图像宽度
frameHeight int 图像高度
frameTime int 图像的时间戳

混图器规格配置

MixerCfg

成员变量 类型 说明
dstResolution VSize 图像大小
frameRate int 图像帧率,取值范围:1-30(值越大,cpu 要求更高,录像推荐 15 帧,直播推存 25 帧)
bitRate int 录制视频文件的最高码率,当图像变化小时,实际码率会低于此值
defaultQP int 录制视频文件的缺省质量,缺省值:26
gop int I 帧周期(I 帧越少码率越小,但直播延时会越大); 文件录制建议 15 秒一个 I 帧取值:fpsx15; 直播建议 4 秒一个 I 帧取值: fpsx4;
  • 注意事项

    - bitRate 的设置应该按照录制大小: - 640 \* 360 大小录制对应 500000 -- (500kbps) - 1280 \* 720 大小录制对应 1000000 -- (1mbps) - 1920 \* 1080 大小录制对应 2000000 -- (2mbps) - defaultQP 取值范围:0~51,0 表示完全无损, 51 表示质量非常差,推荐高质量取值 18,中质量 26, 低质量 34。

本地录制混图器内容配置

MixerCotentRect

成员变量 类型 说明
type MIXER_VCONTENT_TYPE 混图内容类型
userId String 摄像头用户 id (type = MIXER_VCONTENT_TYPE.MIXVTP_VIDEO 时必填)
camId int 摄像头 ID (type = MIXER_VCONTENT_TYPE.MIXVTP_VIDEO 时必填)
resId int 资源 ID (type = MIXER_VCONTENT_TYPE.MIXVTP_PIC 时必填)
text int 文本 (type = MIXER_VCONTENT_TYPE.MIXVTP_TEXT 时必填)
width int 在混图画面中的区域的宽度
height int 在混图画面中的区域的高度
top int 在混图画面中的区域的顶点
left int 在混图画面中的区域的左点

注意事项

  • type, 类型MIXER_VCONTENT_TYPE:
  • 当 type=MIXVTP_VIDEO 时,表示混图的是摄像头
  • 当 type=MIXVTP_PIC 时,表示混图的是指定的图片(仅用于本地混图)
  • 当 type=MIXVTP_SCREEN 时,表示混图的是本地屏幕
  • 当 type=MIXVTP_MEDIA 时,表示混图的是影音共享
  • 当 type=MIXVTP_TIMESTAMP 时,表示混图的是时戳
  • 当 type=MIXVTP_REMOTE_SCREEN 时,表示混图的是远端共享的屏幕
  • 当 type=MIXVTP_TEXT 时,表示混图的是文本(支持简单 html) (此 type 下,width 和 height 可为 0,此时元素大小由文本信息自动确定)

本地录制混图器输出配置

MixerOutPutCfg

成员变量 类型 说明
type MIXER_OUTPUT_TYPE 输出类型MIXER_OUTPUT_TYPE
filename String 录像路径文件名(本地录像名格式如:/sdcard/1.mp4,服务器录像名格式如:/2018-11-21/1.mp4),支持的文件格式为 mp4/ts/flv/avi,其中 flv 和 ts 两种格式在程序异常结束时产生的录制文件仍可用。
encryptType int 录像文件是否加密,0:不加密,1:加密;
isUploadOnRecording bool 录像文件是否边录边传,false:不上传,true:边录边传; (此参数仅本地录像有效)
serverPathFileName String 边录边传时,上传到服务器的路径文件名; (此参数仅本地录像有效)
liveUrl String 直播推流地址,支持 rtmp/rtsp
errRetryTimes int 直播推流异常时,重试次数

云端混图器单音频配置

MixerAudioCfg

成员变量 类型 说明
channelType CHANNEL_TYPE 声道CHANNEL_TYPE
audioFormat AUDIO_FORMAT 音频文件格式AUDIO_FORMAT

云端混图器配置对象

MutiMixerCfg

成员变量 类型 说明
id int 混图器 ID,每个混图器的配置、内容、和输出要根据 ID 对应
streamTypes STREAM_TYPES 输出类型STREAM_TYPES
mixerCfg MixerCfg 音视频混图器配置对象MixerCfg
mixerAudioCfg MixerAudioCfg 单音频混图器配置对象MixerAudioCfg

云端混图器内容参数配置

MutiMixerContentParams

成员变量 类型 说明
camid String MIXER_VCONTENT_TYPE 为 0 时必传 (录一个摄像头的画面)
text String MIXER_VCONTENT_TYPE 为 7 时必传 (录一个纯文本)

云端混图器内容配置

MutiMixerContent

成员变量 类型 说明
type MIXER_VCONTENT_TYPE 混图内容类型MIXER_VCONTENT_TYPE
left int 该内容在混图画面中水平方向相对于最左边的位置
top int 该内容在混图画面中垂直方向相对于最顶部的位置
width int 该内容在混图画面中的宽度
height int 该内容在混图画面中的高度
keepAspectRatio KEEP_ASPECT_RATIO 内容是否保持原始比例,0:不保持   1:保持 KEEP_ASPECT_RATIO
mutiMixerContentParams MutiMixerContentParams 成员变量配置MutiMixerContentParams

录制文件、直播信息通知

MixerOutputInfo

成员变量 类型 说明
state MIXER_OUTPUT_STATE 状态
duration int 录像文件时长,单位:毫秒;
fileSize int 录像文件大小;
errCode ErrorDef 错误码
  • 注意事项

    - 输出对象已创建; - 输出目标信息更新; 可以从结构中取得 duration, fileSize 参数; - 输出对象已关闭; 可以从结构中取得 duration, fileSize 参数; - 输出对象异常;可以从结构中取得 err 参数;

本地混图器状态变化通知

LocMixerState

成员变量 类型 说明
mixerID String 混图器 ID,每个混图器的配置、内容、和输出要根据 ID 对应
state MIXER_OUTPUT_STATE 状态

影音文件信息

MediaInfo

成员变量 类型 说明
userID String 用户 id
state MEDIA_STATE 播放状态
mediaName String 影音文件名

影音文件信息

MediaFileInfo

成员变量 类型 说明
width int 宽
height int 高
totalTime int 影音时长(毫秒)

屏幕共享配置对象

ScreenShareCfg

成员变量 类型 说明
maxFPS int 帧率, 缺省为 8 (当网络发不动时,帧率会自动下降)
maxBps int 最大码率,缺省为 800kbps

文本聊天对象

MeetingCustomMsg

成员变量 类型 说明
fromUserID String 消息发送人 ID
text String 消息内容

呼叫进入

CallInInfo

成员变量 类型 说明
callID String 呼叫 ID
confID String 房间 ID
callerID String 呼叫人员的标识 ID
usrExtDat String? 自定义扩展参数

会话信息

VideoSessionInfo

成员变量 类型 说明
callID String 会话中的呼叫 ID
peerID String 会话中的目标用户 ID
peerName String 会话中的目标用户昵称
bCallAccepted boolean 呼叫是否被对方接受 0:暂未接受,1:已接受
meetingID int 会话中分配的房间 ID
meetingPswd String 房间密码
duration int 会话持续的时长(秒)

获取PCM的配置

GetAudioPCMParam

成员变量 类型 说明
EachSize int 回调的数据大小(320-32000)
FileName String 文件名

云端混图器配置

CloudMixerCfg

成员变量 类型 说明
mode CLOUDMIXER_MODE 录制模式
audioFileCfg CloudMixerAudioFileCfg 生成音频文件配置,生成规则:进入房间并开启麦克风开始生成文件,离开房间结束生成文件
videoFileCfg CloudMixerVideoFileCfg 生成视频文件配置,生成规则:进入房间并开启摄像头开始生成文件,离开房间结束生成文件
storageConfig CloudStorageConfig 云存储配置,不配置时将存储在 SDK 服务器上

云端录制语音文件配置

CloudMixerAudioFileCfg

单流模式参数:

成员变量 类型 说明 是否必传
svrPath String 服务器存储路径,默认为空 否
svrFileNameSuffix String 文件名后缀,支持:“.mp3”、“.wav”
文件命名规则:昵称房间号开始时间.后缀
是
subscribeAudios List 指定生成哪些人的音频文件;
取值:["_cr_all_"]或["userId1","userId2"];
cr_all代表生成所有人;
是

合流模式参数:

成员变量 类型 说明 是否必传
svrPathName String 带服务器存储路径的文件名,文件格式支持“mp3”、“wav”,示例:/xxx/xxx/xxx.mp3 是
aChannelType int 音频通道类型,取值范围:0-单声道,1-左右双声道,默认为 0 否
aChannelContent List 音频通道内容。

左右声道模式时:必须传入两个用户 ID,如:["UserID1", "UserID2"],第一个人的为左声道,第二个人为右声道)

单声道模式时:可选参数(默认为空),空代表所有人声音,要指定人员声音时传入:["UserID1","UserID2", "UserID3"]
否

云端录制视频文件配置

CloudMixerVideoFileCfg

单流模式参数:

成员变量 类型 说明 是否必传
svrPath String 服务器存储路径,默认为空 否
svrFileNameSuffix String 文件名后缀,当前只支持:”.mp4”
文件命名规则:昵称cam 摄像头编号房间号_开始时间.后缀
是
subscribeVideos List 指定生成哪些人的摄像头对应的视频文件;
取值:["_cr_all_"]或["_cr_allDefCam_"]或["userId1.camId", "userId2.camId", ...];
cr_all代表所有人所有摄像头,cr_allDefCam代表生成所有人的默认摄像头
是
aStreamType int 视频文件内音频内容,取值:0-自己声音,1-所有人声音,默认 0 否

合流模式参数:

成员变量 类型 说明 是否必传
svrPathName String 带路径的文件名,文件格式支持:mp4、flv、ts、avi、rtmp://、rtsp://,可选一个或多个,以“;”分隔;
示例:”/xxx/xxx.mp4;rtmp://xxx1;rtmp://xxx2;”
是
aChannelType int 音频通道类型,取值:0-单声道,1-左右双声道,默认为 0 否
aChannelContent List 音频通道内容。

左右声道模式时:必须传入两个用户 ID,如:["UserID1", "UserID2"],第一个人的为左声道,第二个人为右声道)

单声道模式时:可选参数(默认为空),空代表所有人声音,要指定人员声音时传入:["UserID1","UserID2", "UserID3"]
否
vWidth int 视频宽度 是
vHeight int 视频高度 是
vFps int 视频帧率,取值 0-30, 默认值 12 否
vBps int 视频码率,取值参见视频流默认码率定义 默认会根据视频尺寸生成码率 否
vQP int 视频质量,取值 0~51(0 表示完全无损, 51 表示质量非常差),推荐高质量取值 18,中质量 25,低质量 34, 默认值 19 否
layoutConfig List 布局内容列表,[MutiMixerContent,MutiMixerContent,...] 是

云端录制存储配置

CloudStorageConfig

成员变量 类型 说明 是否必传
vendor int 第三方云存储平台: 1-阿里云 是
region String 第三方云存储指定的地区信息 是
bucket String 第三方云存储的 bucket 是
accessKey String 第三方云存储的 access key 是
secretKey String 第三方云存储的 secret key 是

云端混图器信息

CloudMixerInfo

成员变量 类型 说明
ID String 混图器 ID
owner String 创建者用户 ID
cfg String 录制配置,json 格式串,参见CloudMixerCfg
state int 录制状态,参见MIXER_STATE

云端混图器输出信息

CloudMixerOutputInfo

成员变量 类型 说明
id String 混图器 ID
state int 状态,参见CLOUDMIXER_OUTPUT_STATE
state 为 CLOUDMO_STOPPED 时:startTime, duration, fileSize 参数有效;
state 为 CLOUDMO_FAIL 时:errCode, errDesc 参数有效;
state 为 CLOUDMO_UPLOADING 时:progress 参数有效;
state 为 CLOUDMO_UPLOADFAIL 时:errCode, errDesc 参数有效;
svrFilePathName String 录像路径文件名
startTime int 创建时间(从 1970 年 1 月 1 日 00:00:00 起的毫秒数)
duration int 录像时长(ms)
fileSize int 文件大小(Byte)
errCode int 错误码
errDesc String 错误描述

通用返回值

CommonResult

成员变量 类型 说明
sdkErr int 错误码
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

呼叫返回值

CallResult

成员变量 类型 说明
callID String 呼叫 ID
sdkErr int 错误码
usrExtDat String 自定义扩展参数
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

邀请结果

InviteResult

成员变量 类型 说明
inviteID int 邀请 ID
sdkErr int 错误码
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

发送结果

SendResult

成员变量 类型 说明
taskId String 任务 ID
sdkErr int 错误码
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

队列信息

QueueInfo

成员变量 类型 说明
queID int 队列 ID
name String 队列名称
desc String 队列描述
prio int 优先级,值越小优先级越高

操作队列的响应

QueueResult

成员变量 类型 说明
queID int 队列 ID
sdkErr int 错误码
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

队列状态

QueueStatus

成员变量 类型 说明
queID int 队列 ID
agentNum int 坐席数量
waitNum int 排队客户数量
srvNum int 正在服务的客户数量

排队信息

QueuingInfo

成员变量 类型 说明
queID int 队列 ID
position int 当前位置(0 为队列中的第 1 位,即将被服务)
queuingTime int 我排队的时长(单位 s)

队列用户

QueueUserInfo

成员变量 类型 说明
queID int 队列 ID
usrID String 用户 ID
name String 用户昵称
queuingTime int 用户排队的时长(单位 s)
usrExtDat String 用户排队时传入的扩展参数

请求分配客户的操作结果

QueueUserInfoResult

成员变量 类型 说明
userInfo QueueUserInfo 队列用户
sdkErr int 错误码
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

属性集

MeetingAttr

成员变量 类型 说明
value String 属性值
lastModifyUserID String 最后修改者
lastModifyTs int 最后的修改时间(时间戳)

操作属性结果

MeetingAttrResult

成员变量 类型 含义
attrs Map<String, MeetingAttr> 属性集
sdkErr int 错误码
cookie String 自定义数据(在响应消息中回传给调用者),不需要时传空字符串

属性操作选项

MeetingAttrOptions

Map options = {"notifyAll":1}
成员变量 类型 含义
notifyAll int 1:通知房间所有人员,0(默认值):不通知。