当前位置：首页 > news >正文

语音识别——根据声波能量、VAD 和频谱分析实时输出文字

news 来源：原创 2025/9/14 21:36:08

ASR（语音识别）是将音频信息转化为文字的技术。在实时语音识别中，一个关键问题是：如何决定将采集的音频数据输入大模型的最佳时机？固定时间间隔显然不够灵活，太短可能导致频繁调用模型，太长则会延迟文字输出。有没有更智能的方式？答案是肯定的。

一种常见的解决方案是使用 webrtcvad 库中的 Vad(VAD_MODE) 方法。它通过分析音频波动来判断是否有人说话，从而决定是否触发语音识别。然而，我在实际测试中发现，这种方法在某些场景下不够灵敏，尤其是在白噪音较大或较小的环境中，难以做到真正的自适应。

为了解决这一问题，我尝试了一种更综合的验证方式：结合 声波能量、VAD 和 频谱分析，通过多重验证来判断音频中是否包含语音活动。这种方法不仅能更精准地捕捉语音信号，还能有效过滤背景噪音，确保实时输出的准确性。

在模型选择上，我推荐使用 SenseVoiceSmall。这款模型在实时语音识别任务中表现优秀，既能保持高准确率，又能兼顾效率。openai推出的IWhisper也可以试试其效果，我主要识别的语言是中文，暂时还没试过这个模型。此外，值得一提的是，魔搭社区（ModelScope）提供了丰富的模型资源和详细的调用代码。如果你对语音识别感兴趣，这里是一个值得探索的平台。虽然它和 Hugging Face有些相似，但作为国产社区，它在本地化支持和模型适配上有着独特的优势，值得推荐。

import pyaudio
import webrtcvad
import numpy as np
from pypinyin import pinyin, Style  # 如果后续需要用，可按需使用
import refrom funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess
from modelscope.pipelines import pipeline# 参数配置
AUDIO_RATE = 16000       # 采样率（支持8000, 16000, 32000或48000）
CHUNK_SIZE = 480         # 每块大小（30ms，保证为10/20/30ms的倍数）
VAD_MODE = 1             # VAD 模式（0-3，数值越小越保守）# 初始化 VAD
vad = webrtcvad.Vad(VAD_MODE)# 初始化 ASR 模型
sound_rec_model = AutoModel(model=r"D:\Downloads\SenseVoiceSmall",trust_remote_code=True,remote_code="./model.py",vad_model="fsmn-vad",

相关文章：