原始音频数据获取
功能介绍
本节介绍如何通过 语音观测器 获取房间内的原始 PCM 音频数据。观测器以回调方式向应用层提供以下数据,供录制、语音分析、可视化或质检等使用,不改变 SDK 原有的采集与播放链路:
- 本地采集的原始音频:本端麦克风采集、经 3A 等处理后的 PCM(送房间前)
- 本地播放的原始音频:本端扬声器将播放的混音 PCM
- 各用户混音前的原始音频:指定用户送入混音前的单路 PCM(需要启用独立流模式,参见setAudioSubscribeListForSeparateMode)
- 采集与播放混音后的数据:本地采集 + 远端播放混音后的 PCM
1. 设置语音观测器
通过 setAudioFrameObserver 注册或移除语音观测器。传入遵循 CRAudioFrameCallBack 协议的代理对象即开启回调;传入 nil 即移除观测器。
// 自定义观测器类
@protocol CRAudioFrameCallBack <NSObject>
@optional
//采集的原始音频数据
- (void)onRecordAudioFrame:(AudioFrame *)frm;
//播放的原始音频数据
- (void)onPlaybackAudioFrame:(AudioFrame *)frm;
//用户的混音前原始音频数据
- (void)onPlaybackAudioFrameBeforeMixing:(NSString *)userId frm:(AudioFrame *)frm;
//采集+播放混音后数据
- (void)onMixedAudioFrame:(AudioFrame *)frm;
@end
MyAudioFrameObserver *g_audioObserver;
RTCMeeting *meeting = [RTCMeeting shareInstance];
// 注册观测器
[meeting setAudioFrameObserver:g_audioObserver];
// 移除观测器
[meeting setAudioFrameObserver:nil];
相关 API 请参考:setAudioFrameObserver。
2. 回调说明
| 回调 | 含义 | 典型用途 |
|---|---|---|
| onRecordAudioFrame | 本端采集的原始音频(送房间前) | 本地录音、语音识别、声纹 |
| onPlaybackAudioFrame | 本端即将播放的混音 PCM | 录制房间播放内容、波形显示 |
| onPlaybackAudioFrameBeforeMixing | 指定用户混音前的单路 PCM(需要启用独立流模式,参见setAudioSubscribeListForSeparateMode) | 按人录制、按人分析或质检 |
| onMixedAudioFrame | 采集 + 播放混音后的数据 | 总混音录制 |
- 所有回调均在 子线程 中触发,处理时需注意线程安全,且 不宜做耗时操作,否则会影响声音流畅性。
- 回调中拿到的 CRAudioFrame 数据格式为:48kHz / 16bit / 单声道(MONO)。
相关 API 请参考:
3. 数据格式与结构体
- 回调中的音频帧由 AudioFrame 承载,主要字段包括 _format、_sampleRate、_channel、_timestamp、_data。
- 观测器得到的 PCM 统一为 48kHz / 16bit / 单声道。
4. 使用注意事项
- 线程与性能:回调在子线程执行,需保证线程安全;且不能进行耗时处理,以免影响实时音质与流畅性。
- 与自定义采集/渲染的区别:
- 语音观测器:只读获取 PCM,不改变 SDK 的采集、编码、播放流程,适合录制、分析、可视化。
- 自定义音频采集/渲染:由应用向 SDK 送入或从 SDK 拉取 PCM,替代默认麦克风/扬声器链路,详见 自定义音频采集/渲染。