语音识别

实时语音识别

接口说明

实时语音识别,通过Websocket长连接对实时语音流进行识别,适用于会议字幕、视频直播等长时间不间断识别的场景。
支持的音频格式: 采样率为16K,采样深度为16bit的pcm_s16le音频

接口要求

内容 说明
请求协议 wss
请求地址 wss://sdk.cloudroom.com/CLOUDMEETING-API/v1/recognit?{请求参数}
字符编码 UTF-8
响应格式 统一采用JSON格式
音频属性 采样率16k、位长16bit、单声道
音频格式 pcm
数据发送 建议音频流每100ms发送3200字节
语言种类 中文、英文

交互流程

flow_chart

握手阶段

参数详细说明,请参考公共参数

接口地址

wss://sdk.cloudroom.com/CLOUDMEETING-API/v1/recognit?{请求参数}

参数格式

auth=base64(RequestId=xxx&CompID=xxx&SecretKey=xxx&AppId=xxx)

参数生成

由参数拼接后对字符串进行base64编码。

假如 RequestId为2d95a5fea3845dea0d84db153b10ee0f,CompID为1,SecretKey为4bc877221e5fc88d9978f9a788058241,AppId为demo

则进行base64编码加密之后得到的auth参数为

UmVxdWVzdElkPTJkOTVhNWZlYTM4NDVkZWEwZDg0ZGIxNTNiMTBlZTBmJkNvbXBJRD0xJlNlY3JldEtleT00YmM4NzcyMjFlNWZjODhkOTk3OGY5YTc4ODA1ODI0MSZBcHBJZD1kZW1v

请求示例

wss://sdk.cloudroom.com/CLOUDMEETING-API/v1/recognit?auth=UmVxdWVzdElkPTJkOTVhNWZlYTM4NDVkZWEwZDg0ZGIxNTNiMTBlZTBmJkNvbXBJRD0xJlNlY3JldEtleT00YmM4NzcyMjFlNWZjODhkOTk3OGY5YTc4ODA1ODI0MSZBcHBJZD1kZW1v

实时通信阶段

握手成功后,进入实时通信阶段,此时客户端的主动操作有以下几种:

  • 请求开始会话
  • 上传语音数据
  • 修改输出语言
  • 上传结束标识

被动操作有两种:

  • 接收识别结果
  • 接收应答

请求开始会话

客户端发起请求,在开始会话请求消息中需要设置初始参数。

{
    "message":"begin",
    "itn":0,
    "sid":123,
    "params":{
        "languages":["zh"],
        "time":0
    }
}

参数说明:

名称 类型 是否必传 说明
message String 是 开始会话消息名称,固定值为 begin
sid Long 是 消息序号ID
itn Integer 否 是否开启ITN,默认0。0表示不开启,1表示开启,开启时中文数字转为阿拉伯数字输出
params Object 是 配置参数
∟sampleRate Integer 否 音频采样率,支持16k(sampleRate=16000)和8k(sampleRate=8000),默认值为16000
∟languages String[] 否 输出语言,默认值为bypass。支持值:zh(中文)、en(英文)、bypass(原文)
∟time Long 否 unix时戳毫秒

应答:

{
    "message":"response",
    "name":"begin",
    "sid":123,
    "error":{
        "code":0,
        "desc":""
    }
}

上传语音数据

在实时语音识别过程中,客户端不断构造message发送到服务端,内容为经过Base64编码的音频数据。

{
  "message":"proceed",
  "params":{
    "audio":"exSI6ICJlbiIsCgkgICAgInBvc2l0aW9uIjogImZhbHNlIgoJf..."
  },
  "sid":123
}

参数说明:

名称 类型 是否必传 说明
message String 是 上传语音消息名称,固定值为 proceed
sid Long 是 消息序号ID
params Object 是 配置参数
∟audio String 是 音频数据,采用base64编码

无应答

修改输出语言

客户端发送请求,修改语音识别输出的语言类型。

{
  "message": "modify_lang",	
  "languages": ["zh","en", "bypass"],	
  "sid": 123			
}

参数说明:

名称 类型 是否必传 说明
message String 是 修改输出语言消息名称,固定值为 modify_lang
sid Long 是 消息序号ID
languages String[] 是 输出语言, zh:中文; en:英文; bypass:原文

应答:

{
  "message":"response",
  "name":"modify_lang",
  "sid":123,
  "error":{
    "code":0,
    "desc":""
  }
}

上传结束标识

音频数据上传完成后,客户端需要发送一个消息通知服务端作为结束标识。

{
    "message":"end",
    "params":{
        "exit":true
    },
    "sid":123
}

参数说明:

名称 类型 是否必传 说明
message String 是 上传结束标识消息名称,固定值为 end
sid Long 是 消息序号ID
params Object 是 配置参数
∟exit Boolean 是 是否要关闭连接,true:是;false:否

应答:

{
    "message":"response",
    "name":"end",
    "sid":123,
    "error":{
        "code":0,
        "desc":""
    }
}

接收识别结果

交互过程中,服务端不断返回语音识别结果到客户端。

应答:

{
    "message":"notify",
    "sid":123,
    "error":{
        "code":0,
        "desc":"ok"
    },
    "is_final":true,
    "result":[
        {
            "time":1722505796006,
            "capsEnd":true,
            "caps":[
                {
                    "lang":"zh",
                    "text":"5rWL6K+V6K+t6Z+z6K+G5Yir"
                },
                {
                    "lang":"en",
                    "text":"dGVzdCBzcGVlY2ggcmVjb2duaXRpb24="
                },
                {
                    "lang":"bypass",
                    "text":"5rWL6K+V6K+t6Z+z6K+G5Yir"
                }
            ]
        }
    ]
}

返回值

参数 类型 说明
message String 消息名称
sid Long 消息序号ID
is_final Boolean true 表示识别结束
error Object 错误码信息

error 字段说明:

参数 类型 说明
code Integer 错误码
desc String 描述

识别结果result字段说明:

参数 类型 说明
time Long unix时戳毫秒
capsEnd Boolean false 表示 caps 是中间结果,仅返回原文(bypass);true 表示 caps 是最终结果,可包含多种语言的输出
caps Object[] 识别的句子结果

caps 字段说明:

参数 类型 说明
lang String 输出语言, zh:中文; en:英文; bypass:原文
text String 识别结果,采用base64编码

错误码

上述接口在消息体中返回请求的错误码,详情请参见 错误码