音视频通话

对象结构定义

SdkInitDat

Sdk初始化数据实体类

成员变量 类型 说明
sdkDatSavePath NSString SDK内部使用文件位置
timeOut int 网络通信超时时间(10000-120000),单位是毫秒,超出范围时就近取边界值
showSDKLogConsole BOOL 是否输出SDK日志到控制台,发布版本建议设置不输出
datEncType NSString 数据加密类型(0:敏感数据加密,1:全面加密; 缺省:1)
params NSMutableDictionary 扩展参数(需忽略https证书时可增加配置 {"VerifyHttpsCert": "0"})

LoginDat

登录数据实体类

成员变量 类型 说明
authAcnt NSString appID用于区分不同的项目,每个项目都有属于自己的唯一的appID,不同appID的项目完全独立,无法相互通信。appID请联系销售获取,并开通相关套餐和功能权限
authPswd NSString appID对应的密码(md5加密传给sdk),可登录SDK管理后台修改。
privAcnt NSString 自定义帐号, SDK服务器将会去配置的服务器进行认证(当不使用自定义帐号时,privAuthCode应为null)
privAuthCode NSString 默认填空。只有开启第三方认证才需要填写。(开启第三方认证时,SDK服务器将连接提前配好的业务方服务器进行实时验证。)
param NSString 用户扩展信息

MeetInfo

房间对象数据类

成员变量 类型 说明
ID int 房间号,数值0代表房间信息无效
pswd NSString 房间密码;(空代表房间无密码)
subject NSString 房间主题
pubMeetUrl NSString 房间公共链接
hostPswd NSString 主持人密码

UserStatus

用户状态

成员变量 类型 说明
userID NSString 用户id
userStatus CLIENT_STATUS 用户的在线状态,参见CLIENT_STATUS
DNDType int 用户免打扰状态,参见setDNDStatus

MemberInfo

房间成员信息

成员变量 类型 说明
userID NSString 用户ID
nickname NSString 用户昵称
audioStatus int 音频状态
videoStatus int 视频状态

AudioCfg

音频配置

成员变量 类型 说明
micName NSString 麦克风设备名称(空代表系统默认设备)
speakerName NSString 扬声器名称(空代表系统默认设备)
agc int 是否开启声音增益,0:不开启;1:开启(默认值)
ans int 是否开启降噪,0:不开启;1:开启(默认值)
aec int 是否开启回声消除,0:不开启;1:开启(默认值)

AudioFrame

音频帧数据

参数 类型 说明
format AUDIO_FORMAT 音频格式
sampleRate int 采样率
channel AUDIO_CHLAYOUT 声道数
timestamp int64_t 时间戳(ms)
data uint8_t* 音频数据(可被修改)
datLen int 音频数据长度

VideoCfg

视频配置

成员变量 类型 说明
size CGSize 视频尺寸(这里总按横屏配置,sdk内部会应用手机旋转角度)
fps int 视频帧率(5~30)
maxbps int 视频码率(1000~100000000, 例如1m:1000000);(未配置则使用内部默认值,详见定义视频流默认码率定义)
minQuality int 最佳质量(18~51,越小质量越好) (未配置则使用内部默认值25)
maxQuality int 最差质量(18~51, 越大质量越差) (未配置则使用内部默认值36)
  • 注意事项

    • 我们采用的是vbr编码(由质量+码率,双重控制)
    • qp范围:质量参数,为的是达到目标质量后,无需花费更大码率提高质量
    • maxbps码率控制,是为了确保结果一定不大于“目标码率”(体积受控), 当要超出码率控制时,自动降低质量;当质量达到目标时,自动减少码率甚至无码率输出 注:使用硬编时第二点是无效的。

VideoEffects

视频特效配置

成员变量 类型 说明
size CGSize 视频尺寸
denoise BOOL 是否开启视频降噪,YES开启,NO关闭
upsideDown BOOL 是否上下翻转视频,YES翻转,NO不翻转
degree int 视频旋转角度(0/90/180/270)
mirror int 视频左右镜像模式,详见定义

CamAttribute

视频设备私有属性

成员变量 类型 说明
disabled int 取值0:不禁用此设备(默认值),1:禁用此设备;
quality1_cfg VideoCfg 参见定义VideoCfg,未配置时采用全局配置的VideoCfg
quality2_cfg VideoCfg 第二档视频配置,未配置代表关闭对应档位视频流;
  • 注意事项

    • 一个摄像头出多档质量的视频流,将带来很大的cpu开销;
    • 通过setUsrVideoId可以选择观看的视频流;

VideoFrame

视频帧图像

成员变量 类型 说明
camShowNo int 摄像头显示序号(0开始编号)
fmt VIDEO_FORMAT 图像格式,数值参考视频图像格式VIDEO_FORMAT
picData const char * 图像数据
datLength int 图像大小
frameWidth int 图像宽度
frameHeight int 图像高度
frmTime unsigned long long 图像的时间戳

UsrVideoInfo

用户视频信息

成员变量 类型 说明
userId NSString 用户ID
videoID short 摄像头ID
devID NSString 设备ID
videoName NSString 设备名称
isDisabled BOOL 是否被禁用
isIPCamera BOOL 是否为网络摄像头
isCustomCamera BOOL 是否为自定义摄像头
isScreenCamera BOOL 是否为桌面摄像头
isFrontCam BOOL 是否为前置摄像头

StreamInfo

摄像头流信息

成员变量 类型 说明
w short 图像宽
h short 图像高
fps int 码率,帧率
bps short 单位:bit/秒
codecID CRCODEC_ID 编码类型

UsrVideoId

用户摄像头

成员变量 类型 说明
userId NSString 用户id
videoID short 设备id

ScreenShareImg

屏幕共享帧图像

成员变量 类型 说明
rgbDat void * 图像数据
datLength int 图像大小
rgbWidth int 图像宽度
rgbHeight int 图像高度

MixerCfg

混图器规格配置

成员变量 类型 说明
dstResolution CGSize 图像大小
frameRate int 图像帧率,取值范围:1-30(值越大,cpu要求更高,录像推荐15帧,直播推存25帧)
bitRate int 录制视频文件的最高码率,当图像变化小时,实际码率会低于此值
defaultQP int 录制视频文件的缺省质量,缺省值:26
gop int I帧周期(I帧越少码率越小,但直播延时会越大); 文件录制建议15秒一个I帧取值:fpsx15; 直播建议4秒一个I帧取值: fpsx4;
  • 注意事项

    • bitRate的设置应该按照屏幕大小:

      • 640 * 360大小屏幕对应 500000 -- (500kbps)
      • 1280 * 720大小屏幕对应 1000000 -- (1mbps)
      • 1920 * 1080大小屏幕对应 2000000 -- (2mbps)
    • defaultQP取值范围:0~51,0表示完全无损, 51表示质量非常差,推荐高质量取值18,中质量26, 低质量34。

OutputCfg

录制、直播信息输出信息

成员变量 类型 说明
type MIXER_OUTPUT_TYPE 类型,详见MIXER_OUTPUT_TYPE
fileName NSString 录像形成视频文件名
encryptType int 录像文件是否加密
isUploadOnRecording BOOL 是否边录边上传,默认是false
serverPathFileName NSString 文件上传后在服务器上的相对路径和文件名
liveUrl NSString 目标url
live BOOL 开启直播
errRetryTimes int 失败时重试次数

OutputInfo

本地录制、直播信息通知

成员变量 类型 说明
state MIXER_OUTPUT_STATE 状态,详见MIXER_OUTPUT_STATE
state为OUTPUT_WRITING时:duration, fileSize参数有效;
state为OUTPUT_CLOSED时:duration, fileSize参数有效;
state为OUTPUT_ERR时:errCode参数有效;
duration long 录像文件时长,单位:毫秒;
fileSize long 录像文件大小;
errCode CRVIDEOSDK_ERR_DEF 详见 错误码

MixerContent

混图器内容配置

成员变量 类型 说明
contents NSMutableArray<RecContentItem* > * 混图器内容

MixerOutput

混图器输出配置

成员变量 类型 说明
outputs NSMutableArray<OutputCfg* > * 混图器输出配置

CRMixerContentObj

混图器内容

{"type":0,"keepAspectRatio":1,"left":5,"top":10, "width":633,"height":356,"param":{"camid":"usr1.1"}}
参数 类型 说明
left int 在混图画面中的区域(水平位置)
top int 在混图画面中的区域(垂直位置)
width int 在混图画面中的区域宽
height int 在混图画面中的区域高
type int MIXER_VCONTENT_TYPE,请见后面type描述;
keepAspectRatio int 内容保持原始比例,0不保持,1保持
param obj 如:{"camid":"usrxxx.1"}。请见后面param支持的参数;

type描述:

  • 当type=MIXVTP_VIDEO时,表示混图的是摄像头,param必须包含camid;
  • 当type=MIXVTP_PIC时,表示混图的是指定的图片,param必须包含resourceid;(仅用于本地混图)
  • 当type=MIXVTP_SCREEN时,表示混图的是本地屏幕,param可以增加附加参数screenid/pid/area/window;(仅用于本地混图)
  • 当type=MIXVTP_MEDIA时,表示混图的是影音共享,不用附加任何参数;
  • 当type=MIXVTP_REMOTE_SCREEN时,表示混图的是共享的屏幕,不用附加任何参数;
  • 当type=MIXVTP_WBOARD时,表示混图的是白板,不用附加任何参数;(仅用于云端混图,本地混图应该生成图像用MIXVTP_PIC)
  • 当type=MIXVTP_TEXT时,表示混图的是文本,width和height将被忽略,元素大小由文本信息自动确定。 param必须包含text,可选text-color,bk-color,font-size,text-margin;

param 支持的参数如下:

  • camid:用户id.摄像头id, 如:"testuser.1"
  • resourceid:具有唯一属性的字符串id,通过setPicResource将图片存储到sdk内供混图模块使用
  • screenid:屏幕序号,-1表示主屏
  • pid:进程号
  • area:抓屏区域:"x,y,w,h"
  • text:文本内容,支持时间戳参数"%timestamp%",格式为:YYYY-MM-DD HH:MM:SS
  • text-color:文本颜色,支持格式:"#RGB","#RRGGBB", "#AARRGGBB", 默认"#FFFFFF"
  • bk-color:背景色,支持格式:"#RGB","#RRGGBB", "#AARRGGBB", 默认"#7D000000"
  • font-size:字体大小,默认18
  • text-margin:边距,默认5

CloudMixerCfgObj

云端混图器配置

//为房间中所有人录制独立的声音文件,独立的默认摄像头视频文件
{
    "mode": 1,
    "audioFileCfg": {
        "svrFileNameSuffix": ".mp3",
        "svrPath": "/xxx",
        "subscribeAudios": ["_cr_all_"]
    },
    "videoFileCfg": {
        "aStreamType": 1,
        "svrFileNameSuffix": ".mp4",
        "svrPath": "/xxx",
        "subscribeVideos": ["_cr_allDefCam_"]
    }
}

//录制一个2分屏左右布局图像+房间声音的mp4文件
{
    "mode": 0,
    "videoFileCfg": {
        "svrPathName": "/2021-09-24/2021-09-24_13-47-41_Win32_73542046.mp4",
        "vWidth": 1280,
        "vHeight": 720,
        "vFps": 15,
        "layoutConfig": [
            {
                "type": 0,
                "top": 180,
                "left": 0,
                "width": 640,
                "height": 360,
                "keepAspectRatio": 1,
                "param": {"camid": "1.-1"}
            },
            {
                "type": 0,
                "top": 180,
                "left": 640,
                "width": 640,
                "height": 360,
                "keepAspectRatio": 1,
                "param": {"camid": "2.-1"}
            }
        ]
    }
}

参数 类型 说明 是否必传
mode int 录制模式,取值范围:
0-合流模式:将声音录制到一个声音文件、或将声音图像录制成一个视频文件;
1-单流模式:将涉及到的声音流、图像流存到各自独立的文件中;
是
audioFileCfg CloudMixerAudioFileCfg 生成音频文件配置,生成规则:进入房间并开启麦克风开始生成文件,离开房间结束生成文件 否
videoFileCfg CRCloudMixerVideoFileCfg 生成视频文件配置,生成规则:进入房间并开启摄像头开始生成文件,离开房间结束生成文件 否
storageConfig CloudStorageConfig 云存储配置,不配置时将存储在SDK服务器上 否

CloudMixerAudioFileCfg

云端录制语音文件配置

单流模式参数:

参数 类型 说明 是否必传
svrPath string 服务器存储路径,默认为空 否
svrFileNameSuffix string 文件名后缀,支持:“.mp3”、“.wav”
文件命名规则:昵称_房间号_开始时间.后缀
是
subscribeAudios array 指定生成哪些人的音频文件;
取值:["_cr_all_"]或["userId1","userId2"];
_cr_all_代表生成所有人;
是

合流模式参数:

参数 类型 说明 是否必传
svrPathName string 带服务器存储路径的文件名,文件格式支持“mp3”、“wav”,示例:/xxx/xxx/xxx.mp3 是
aChannelType int 音频通道类型,取值范围:0-单声道,1-左右双声道,默认为0 否
aChannelContent array 音频通道内容。

左右声道模式时:必须传入两个用户ID,如:["UserID1", "UserID2"],第一个人的为左声道,第二个人为右声道)

单声道模式时:必须为空
否

CRCloudMixerVideoFileCfg

云端录制视频文件配置

单流模式参数:

参数 类型 说明 是否必传
svrPath string 服务器存储路径,默认为空 否
svrFileNameSuffix string 文件名后缀,当前只支持:”.mp4”
文件命名规则:昵称_cam摄像头编号_房间号_开始时间.后缀
是
subscribeVideos array 指定生成哪些人的摄像头对应的视频文件;
取值:["_cr_all_"]或["_cr_allDefCam_"]或["userId1.camId", "userId2.camId", ...];
_cr_all_代表所有人所有摄像头,_cr_allDefCam_代表生成所有人的默认摄像头
是
aStreamType int 视频文件内音频内容,取值:0-自己声音,1-所有人声音,默认0 否

合流模式参数:

参数 类型 说明 是否必传
svrPathName string 带路径的文件名,文件格式支持:mp4、flv、ts、avi、rtmp://、rtsp://,可选一个或多个,以“;”分隔;
示例:”/xxx/xxx.mp4;rtmp://xxx1;rtmp://xxx2;”
是
aChannelType int 音频通道类型,取值:0-单声道,1-左右双声道,默认为0 否
aChannelContent array 音频通道内容。

左右声道模式时:必须传入两个用户ID,如:["UserID1", "UserID2"],第一个人的为左声道,第二个人为右声道)

单声道模式时:必须为空
否
vWidth int 视频宽度 是
vHeight int 视频高度 是
vFps int 视频帧率,取值0-30, 默认值12 否
vBps int 视频码率,取值参见视频流默认码率定义 默认会根据视频尺寸生成码率 否
vQP int 视频质量,取值0~51(0表示完全无损, 51表示质量非常差),推荐高质量取值18,中质量25,低质量34, 默认值19 否
layoutConfig array 布局内容列表,[CRMixerContentObj, CRMixerContentObj...] 是

CloudStorageConfig

云端录制存储配置

参数 类型 说明 是否必传
vendor int 第三方云存储平台: 1-阿里云 是
region string 第三方云存储指定的地区信息 是
bucket string 第三方云存储的 bucket 是
accessKey string 第三方云存储的 access key 是
secretKey string 第三方云存储的 secret key 是

CloudMixerInfoList

云端混图器信息列表

CloudMixerInfo列表,参见CloudMixerInfo

CloudMixerInfo

云端混图器信息

参数 类型 说明
ID string 混图器ID
owner string 创建者用户ID
cfg string 录制配置,json格式串,参见CloudMixerCfgObj
state int 录制状态,参见MIXER_STATE

CloudMixerOutputInfo

云端混图器输出信息

参数 类型 说明
id string 混图器ID
state int 状态,详见CLOUDMIXER_OUTPUT_STATE
state为CLOUDMO_STOPPED时:startTime, duration, fileSize参数有效;
state为CLOUDMO_FAIL时:errCode, errDesc参数有效;
state为CLOUDMO_UPLOADING时:progress参数有效;
state为CLOUDMO_UPLOADFAIL时:errCode, errDesc参数有效;
svrFilePathName string 录像路径文件名
startTime int64 创建时间(从1970年1月1日00:00:00起的毫秒数)
duration int 录像时长(ms)
fileSize int64 文件大小(Byte)
errCode int 错误码
errDesc string 错误描述

RecordFileInfo

录制文件

成员变量 类型 说明
fileName String 文件名,全路径
startTime long 开始录制时间
duration int 录制时长
fileSize int 文件大小

成员方法说明

成员方法 参数 返回值 描述
clear 无 无 清空实体类中的参数

RecordFileShow

录制文件

成员变量 类型 说明
fileName String 文件名,全路径
fileSize int 文件大小
state RECORD_FILE_STATE 文件状态,详见RECORD_FILE_STATE
uploadPercent int 录制结果中视频尺寸高度上传进度

MediaInfo

影音文件信息

成员变量 类型 说明
userID NSString 用户id
state MEDIA_STATE 播放状态,详见MEDIA_STATE
mediaName NSString 影音文件名

屏幕共享配置对象

成员变量 类型 说明
maxFPS int 帧率, 缺省为8 (当网络发不动时,帧率会自动下降)
maxBps int 最大码率,缺省为800kbps

MediaDataFrame

影音帧图像

成员变量 类型 说明
buf void * 图像数据
datLength int 图像大小
w int 图像宽度
h int 图像高度
fmt VIDEO_FORMAT 图像格式,详见VIDEO_FORMAT
ms int64_t pts

SubPage

子页面

成员变量 类型 说明
termID short 终端ID
localID short 本地D

QueueInfo

队列信息

成员变量 类型 说明
queID int 队列ID
name NSString 队列名称
desc NSString 队列描述
prio int 优先级,值越小优先级越高

QueueStatus

队列状态

成员变量 类型 说明
queID int 队列ID
agent_num int 坐席数量
wait_num int 排队客户数量
srv_num int 正在服务的客户数量

QueuingInfo

排队信息

成员变量 类型 说明
queID int 我排的队列 (-1:代表我没有排队;-2:代表我正在会话中,通过GetSessionInfo可获取相关信息)
position int 当前位置(0为队列中的第1位,即将被服务)
queuingTime int 我排队的时长(单位s)

VideoSessionInfo

会话信息

成员变量 类型 说明
callID NSString 会话中的呼叫ID
peerID NSString 会话中的目标用户ID
peerName NSString 会话中的目标用户昵称
bCallAccepted BOOL 呼叫是否被对方接受 0:暂未接受,1:已接受
meetingID int 会话中分配的房间ID
meetingPswd NSString 房间密码
duration int 会话持续的时长(秒)

UserInfo

队列用户

成员变量 类型 说明
queID int 队列ID
usrID NSString 用户ID
name NSString 用户昵称
queuingTime int 用户排队的时长(单位s)

HttpReqInfo

Http文件传输请求对象

成员变量 类型 说明
filePathName NSString 本地完整路径文件名
fileVersio NSString 文件版本(可以填版本号,也可以md5,也可以为空)
httpUrl NSString 目标URL
params NSString 特殊参数(如边录边传,SDK加密类型)
bUploadType BOOL 是否上传

FileTransInfo

Http传输信息对象

成员变量 类型 说明
fileSize int 文件大小
finishedSize int 已传输大小
state HTTP_TRANSFER_STATE 文件传输状态,详见HTTP_TRANSFER_STATE

CRBeautyCfg

美颜配置

参数 类型 说明
filters NSArray<CRBeautyFilter> 滤镜列表, 不在列表中的滤镜按不启用处理

CRBeautyFilter

美颜滤镜配置

参数 类型 说明
type CRVSDK_BEAUTYFILTER_TYPE 滤镜类型
level float 滤镜强度,取值0~1.0。0代表不启用,1代表最高强度

CRVirtualBkCfg

虚拟背景配置


  {"type":1, "colorKey":"0,255,0", "bkImgFile":"d:\imgs\1.jpg"}

参数 类型 说明
type int 请参见CRVSDK_VIRTUALBK_TYPE
colorKey string 可选参数,颜色值,格式支持:r,g,b 或 #RRGGBB。如:"0,255,0"(仅CRVSDK_VBKTP_COLOR模式时需要配置此参数)
bkImgFile string 可选参数,背景全路径文件名。(当前支持jpg、png、bmp格式)
bkImgFromResID string 可选参数,资源ID。通过setPicResource将图像存储到sdk内
bkImgFromCamID string 可选参数,摄像头id。格式为: userid.camId
bkImgArea object 可选参数,背景区域:left, top, width, height
  • 补充说明:
  1. bkImgFile, bkImgFromResID, bkImgFromCamID 三个必须传一个,传多个时按顺序启用前者。

MeetingAttrOptions 操作房间属性选项

参数 类型 说明
notifyAll int 0(默认值):不通知,1:通知房间所有人员

AttrObjs 房间属性集

{
    "KeyXX": {
        "value": "11111",
        "lastModifyUserID": "111",
        "lastModifyTs": 11111
    },
    "KeyYY": {
        "value": "22222",
        "lastModifyUserID": "222",
        "lastModifyTs": 22222
    }
}
参数 类型 说明
User defined Key string 自定义的属性Key
value string 属性值
lastModifyUserID string 最后修改的用户ID
lastModifyTs int 最后修改的时间点,1970-1-1 00:00:00以来的秒数

UsrAttrObjs 用户属性集

 {
    "userid1": {
        "KeyXX": {
            "value": "11111",
            "lastModifyUserID": "111",
            "lastModifyTs": 11111
        },
        "KeyYY": {
            "value": "22222",
            "lastModifyUserID": "222",
            "lastModifyTs": 22222
        }
    },
    "userid2": {
        "KeyXX": {
            "value": "11111",
            "lastModifyUserID": "111",
            "lastModifyTs": 11111
        },
        "KeyYY": {
            "value": "22222",
            "lastModifyUserID": "222",
            "lastModifyTs": 22222
        }
    }
}
参数 类型 说明
UserID string 用户ID
User defined Key string 自定义的属性Key
value string 属性值
lastModifyUserID string 最后修改的用户ID
lastModifyTs int 最后修改的时间点,1970-1-1 00:00:00以来的秒数