当前位置：首页 > news >正文

Webrtc音频模块(四) 音频采集

news 来源：原创 2025/5/26 1:50:30

音频的采集还是封装在AudioDeviceWindowsCore中，相关的Core Audio API接口是下面几个：

IAudioClient* _ptrClientIn
IAudioCaptureClient* _ptrCaptureClient
rtc::scoped_refptr<IMediaObject> _dmo
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer

音频的采集一样的通过Core Audio API实现，上面的_ptrClientIn和_ptrCaptureClient就是采集接口对象。_dmo是DMO接口对象，_mediaBuffer是它使用的buffer接口对象，它们也用于采集。

webrtc中实现两种模式的音频采集

通过IAudioCaptureClient，通过_ptrClientIn和_ptrCaptureClient实现。
通过IMediaObject从DMO取音频数据，通过_dmo实现。

这篇文章只介绍通过DMO的方式采集音频数据。

DMO

DMO 是 DirectX Media Object，看一看官方说明，如下:

DirectX Media Objects (DMOs) are COM-based multimedia and data-streaming components. In some respects, DMOs are similar to DirectShow filters. Like DirectShow filters, DMOs take input data and use it to produce output data. As the APIs for DMOs are much simpler than the corresponding APIs for DirectShow, they are easier to create, test, and use. For encoding/decoding, audio capture, audio processing and video processing effects, Microsoft encourages developers to write a DMO instead of a DirectShow filter.

它是一个COM组件，用来处理音视频数据，在webrtc中使用了音频处理功能。
一些高档的麦克风，很多都标注提供了回声消除，降噪等功能，通过DMO就可以利用这些硬件提供的功能。

Webrtc中使用DMO

AudioDeviceWinodwsCode中与DMO相关的变量是下面三个:

rtc::scoped_refptr<IMediaObject> _dmo;
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer;
bool _builtInAecEnabled;

一个是DMO的COM接口对象，一个是用于从DMO取数据的Buffer接口，一个是否使用DMO的使能标志。

默认情况下_builIntAecEnabled为true，音频的采集将会从DMO中取处理后的音频数据，通过IMediaBuffer接口取数据。

初始化代码可以看看AudioDeviceWindowsCore::InitRecordingDMO()中的实现。在AudioDeviceWindowsCore::InitRecordingDMO()中，会设置DMO的数据输出的格式，用的也是前面介绍过的WAVEFORMATEX结构来描述音频的参数。

在AudioDeviceWindowsCore::SetDMOProperties()方法中，设置了DMO要开启的音频处理功能，webrtc会使用DMO的回声消除，降噪音频处理功能。

从DMO中取数据

音频的采集就是从DMO中取经过处理后的音频数据，它包括以下几步：

需要创建一个IMediaBuffer接口对象的实例。
将DMO_OUPUT_DATA_BUFFER中pBuffer成员指向自己的Buffer。
将DMO_OUPUT_DATA_BUFFER对象传给IMediaObject的ProcessOutPut接口。
调用IMediaObject的GetBufferAndLength接口来获取数据。

DMO数据采集线程实现DoCaptureThreadPollDMO，如下流程：
在这里插入图片描述

DMO

Webrtc中使用DMO

从DMO中取数据

相关文章：