原始音频数据获取
功能介绍
本节介绍如何通过 语音观测器 获取房间内的原始 PCM 音频数据。观测器以回调方式向应用层提供以下数据,供录制、语音分析、可视化或质检等使用,不改变 SDK 原有的采集与播放链路:
- 本地采集的原始音频:本端麦克风采集、经 3A 等处理后的 PCM(送房间前)
- 本地播放的原始音频:本端扬声器将播放的混音 PCM
- 各用户混音前的原始音频:指定用户送入混音前的单路 PCM(需要启用独立流模式,参见setAudioSubscribeListForSeparateMode)
- 采集与播放混音后的数据:本地采集 + 远端播放混音后的 PCM
1. 设置语音观测器
通过 setAudioFrameObserver 注册或移除语音观测器。传入 CRAudioFrameObserver* 子类指针即开启回调;传入 NULL 即移除观测器。
// 自定义观测器类
class MyAudioFrameObserver : public CRAudioFrameObserver {
public:
virtual void onRecordAudioFrame(CRAudioFrame& frm) override {
// 本端采集的原始 PCM
}
virtual void onPlaybackAudioFrame(CRAudioFrame& frm) override {
// 本端将播放的混音 PCM
}
virtual void onPlaybackAudioFrameBeforeMixing(const char* userID, CRAudioFrame& frm) override {
// 指定用户混音前的 PCM
}
virtual void onMixedAudioFrame(CRAudioFrame& frm) override {
// 采集+播放混音后的 PCM
}
};
MyAudioFrameObserver g_audioObserver;
CRVideoSDKMeeting& meeting = g_sdkMain->getSDKMeeting();
// 注册观测器
meeting.setAudioFrameObserver(&g_audioObserver);
// 移除观测器
meeting.setAudioFrameObserver(nullptr);
相关 API 请参考:setAudioFrameObserver。
2. 回调说明
| 回调 | 含义 | 典型用途 |
|---|---|---|
| onRecordAudioFrame | 本端采集的原始音频(送房间前) | 本地录音、语音识别、声纹 |
| onPlaybackAudioFrame | 本端即将播放的混音 PCM | 录制房间播放内容、波形显示 |
| onPlaybackAudioFrameBeforeMixing | 指定用户混音前的单路 PCM(需要启用独立流模式,参见setAudioSubscribeListForSeparateMode) | 按人录制、按人分析或质检 |
| onMixedAudioFrame | 采集 + 播放混音后的数据 | 总混音录制 |
- 所有回调均在 子线程 中触发,处理时需注意线程安全,且 不宜做耗时操作,否则会影响声音流畅性。
- 回调中拿到的 CRAudioFrame 数据格式为:48kHz / 16bit / 单声道(MONO)。若需其它格式,可使用 CRAudioCover 做重采样或声道转换。
相关 API 请参考:
3. 数据格式与结构体
- 回调中的音频帧由 CRAudioFrame 承载,主要字段包括 _format、_sampleRate、_channel、_timestamp、_data。
- 观测器得到的 PCM 统一为 48kHz / 16bit / 单声道。若业务需要其它采样率、位深或声道,可使用 CRAudioCover 进行转换。
4. 使用注意事项
- 线程与性能:回调在子线程执行,需保证线程安全;且不能进行耗时处理,以免影响实时音质与流畅性。
- 与自定义采集/渲染的区别:
- 语音观测器:只读获取 PCM,不改变 SDK 的采集、编码、播放流程,适合录制、分析、可视化。
- 自定义音频采集/渲染:由应用向 SDK 送入或从 SDK 拉取 PCM,替代默认麦克风/扬声器链路,详见 自定义音频采集/渲染。