音视频通话

原始音频数据获取

功能介绍

本节介绍如何通过 语音观测器 获取房间内的原始 PCM 音频数据。观测器以回调方式向应用层提供以下数据,供录制、语音分析、可视化或质检等使用,不改变 SDK 原有的采集与播放链路:

  • 本地采集的原始音频:本端麦克风采集、经 3A 等处理后的 PCM(送房间前)
  • 本地播放的原始音频:本端扬声器将播放的混音 PCM
  • 各用户混音前的原始音频:指定用户送入混音前的单路 PCM(需要启用独立流模式,参见setAudioSubscribeListForSeparateMode)
  • 采集与播放混音后的数据:本地采集 + 远端播放混音后的 PCM

1. 设置语音观测器

通过 setAudioFrameObserver 注册或移除语音观测器。传入 CRAudioFrameObserver* 子类指针即开启回调;传入 NULL 即移除观测器。

// 自定义观测器类
class MyAudioFrameObserver : public CRAudioFrameObserver {
public:
    virtual void onRecordAudioFrame(CRAudioFrame& frm) override {
        // 本端采集的原始 PCM
    }
    virtual void onPlaybackAudioFrame(CRAudioFrame& frm) override {
        // 本端将播放的混音 PCM
    }
    virtual void onPlaybackAudioFrameBeforeMixing(const char* userID, CRAudioFrame& frm) override {
        // 指定用户混音前的 PCM
    }
    virtual void onMixedAudioFrame(CRAudioFrame& frm) override {
        // 采集+播放混音后的 PCM
    }
};

MyAudioFrameObserver g_audioObserver;
CRVideoSDKMeeting& meeting = g_sdkMain->getSDKMeeting();

// 注册观测器
meeting.setAudioFrameObserver(&g_audioObserver);

// 移除观测器
meeting.setAudioFrameObserver(nullptr);

相关 API 请参考:setAudioFrameObserver。

2. 回调说明

回调 含义 典型用途
onRecordAudioFrame 本端采集的原始音频(送房间前) 本地录音、语音识别、声纹
onPlaybackAudioFrame 本端即将播放的混音 PCM 录制房间播放内容、波形显示
onPlaybackAudioFrameBeforeMixing 指定用户混音前的单路 PCM(需要启用独立流模式,参见setAudioSubscribeListForSeparateMode) 按人录制、按人分析或质检
onMixedAudioFrame 采集 + 播放混音后的数据 总混音录制
  • 所有回调均在 子线程 中触发,处理时需注意线程安全,且 不宜做耗时操作,否则会影响声音流畅性。
  • 回调中拿到的 CRAudioFrame 数据格式为:48kHz / 16bit / 单声道(MONO)。若需其它格式,可使用 CRAudioCover 做重采样或声道转换。

相关 API 请参考:

3. 数据格式与结构体

  • 回调中的音频帧由 CRAudioFrame 承载,主要字段包括 _format、_sampleRate、_channel、_timestamp、_data。
  • 观测器得到的 PCM 统一为 48kHz / 16bit / 单声道。若业务需要其它采样率、位深或声道,可使用 CRAudioCover 进行转换。

4. 使用注意事项

  • 线程与性能:回调在子线程执行,需保证线程安全;且不能进行耗时处理,以免影响实时音质与流畅性。
  • 与自定义采集/渲染的区别:
    • 语音观测器:只读获取 PCM,不改变 SDK 的采集、编码、播放流程,适合录制、分析、可视化。
    • 自定义音频采集/渲染:由应用向 SDK 送入或从 SDK 拉取 PCM,替代默认麦克风/扬声器链路,详见 自定义音频采集/渲染。