当前位置：首页 > news >正文

开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（五）

news 来源：原创 2025/7/26 14:49:53

一、前言

在上一节中，学习了如何使用vLLM来部署Whisper-large-v3-turbo模型。不过，在实际使用时，模型一次只能处理30秒的音频。今天，将结合实际业务，介绍如何处理一段完整的音频，并生成相应的字幕文件。

二、术语介绍

2.1. 语音转文本

也称为语音识别或自动语音识别 (ASR)是一种将语音音频转换为文字的技术。它利用计算机程序和算法来监听语音输入,并将其转换为可读的文字输出。

2.2. Whisper-large-v3-turbo

是 OpenAI 于 2024年10月推出的一款优化型语音转录模型，基于 Whisper large-v3 改进而来，旨在平衡速度与准确性。以下是其核心特点：

1.技术改进

解码器层数缩减：从 32 层减少至 4 层，显著降低计算复杂度。
速度提升：转录速度较 large-v3 快 8 倍，超越 tiny 模型，支持实时应用。
推理优化：结合 torch.compile 和缩放点积注意力（F.scaled_dot_product_attention），进一步加速推理，减少延迟。
参数规模：8.09 亿参数，介于 medium（7.69 亿）与 large（155 亿）之间，模型体积约 1.6GB。

2.性能表现

质量保持：在高质量录音（如 FLEURS 数据集）上表现接近 large-v2，跨语言能力与 large-v2 相当。
多语言支持：覆盖 99 种语言，但对泰语、粤语等方言支持较弱。
VRAM 需求：仅需 6GB，显著低于 large 模型的 10GB，适合边缘设备部署。

3.应用场景

实时转录：适用于会议记录、直播字幕等低延迟场景。
长音频处理：支持分块或顺序算法处理超长音频，兼顾速度与准确性。
本地化部署：轻量化设计，便于在移动端或本地服务器集成。

4.集成与使用

开发友好：通过 Hugging Face Transformers 库或 OpenAI 官方工具调用，提供 Python 示例代码。
专注转录：训练数据不含翻译内容，不支持语音翻译任务，纯转录性能更优。

5.对比优势

速度与质量平衡：较 large-v3 速度提升明显，质量损失极小。
性价比：参数规模与 medium 接近，但性能更优，适合资源有限的场景。

三、构建环境

3.1.基础环境构建

conda create -n test python=3.10
conda activate testpip install pydub -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install openai -i https://pypi.tuna.tsinghua.edu.cn/simple

3.2.下载模型

huggingface：

https://huggingface.co/openai/whisper-large-v3-turbo/tree/main

ModelScope：

git clone https://www.modelscope.cn/iic/Whisper-large-v3-turbo.git

下载完成（建议使用HuggingFace）：

四、技术实现

4.1.启动vLLM服务

vllm serve /data/model/whisper-large-v3-turbo  --swap-space 16 --disable-log-requests --max-num-seqs 256 --host 0.0.0.0 --port 9000  --dtype float16 --max-parallel-loading-workers 1  --max-model-len 448 --enforce-eager --gpu-memory-utilization 0.99 --task transcription

调用结果：

GPU占用：

4.2.定义STT工具类

请求私有化部署的语音转文本服务

# -*-  coding:utf-8 -*-from openai import OpenAIopenai_api_key = "EMPTY"
openai_api_base = "http://127.0.0.1:9000/v1"
model = "/data/model/whisper-large-v3-turbo"
language = "en"
response_format = "json"
temperature = 0.0class STT:def __init__(self):self.client = OpenAI(api_key=openai_api_key,base_url=openai_api_base,)def request(self,audio_path):with open(str(audio_path), "rb") as f:transcription = self.client.audio.transcriptions.create(file=f,model="/data/model/whisper-large-v3-turbo",language=language,response_format=response_format,temperature=temperature)if transcription:return transcription.textelse:return ''if __name__ == '__main__':audio_path = r'E:\temp\0.mp3'stt = STT()text = stt.request(audio_path)print(f'text: {text}')

调用结果：

4.3.切分音频生成字幕文件

需求：

字幕数据按每一分钟进行聚合
字幕文件包json格式保存，文件格式如下

{"time_begin": 0.0,"time_end": 60000.0,"text": "Hello World,Hello World,Hello World,Hello World,Hello World!"
}

import json
import os.pathfrom pydub import AudioSegmentfrom com.ai.uitl.stt_util import STTstt = STT()def create_directory_if_not_exists(directory_path):# 判断目录是否存在if not os.path.exists(directory_path):try:# 创建目录os.makedirs(directory_path)print(f"目录 '{directory_path}' 已创建。")except Exception as e:print(f"创建目录 '{directory_path}' 时发生错误: {e}")else:print(f"目录 '{directory_path}' 已存在。")def split(file_name,input_dir,output_dir,duration,json_file_output):create_directory_if_not_exists(output_dir)input_path = os.path.join(input_dir,file_name)# 加载音频文件audio = AudioSegment.from_file(input_path, format="mp3")# 音频文件的时长duration_seconds = audio.duration_secondsduration_milliseconds = duration_seconds * 1000start_time,end_time = 0.00,0.00index = 0text = ''all_objs = []one_minute_obj = {}# 指定切割开始时间和结束时间(单位为毫秒)while end_time < duration_milliseconds:start_time = end_timeend_time = start_time+durationif end_time > duration_milliseconds:end_time = duration_milliseconds# 切割音频cropped_audio = audio[start_time:end_time]output_file_name = f'{file_name}_{index}.mp3'output_path = os.path.join(output_dir,output_file_name)# 保存切割后的音频cropped_audio.export(output_path, format="mp3")result = index % 2if result == 0:text = stt.request(output_path)one_minute_obj['time_begin'] = start_timeelse:text = text + stt.request(output_path)one_minute_obj['time_end'] = end_timeone_minute_obj['text'] = textall_objs.append(one_minute_obj)one_minute_obj = {}index += 1result = index % 2if result != 0:one_minute_obj['text'] = textone_minute_obj['time_end'] = end_timeall_objs.append(one_minute_obj)# 打开文件并写入 JSON 数据with open(json_file_output, 'w', encoding='utf-8') as json_file:json.dump(all_objs, json_file, ensure_ascii=False, indent=4)if __name__ == '__main__':file_arr = ['1277.mp3', '1279.mp3']input_dir = r"E:\temp"for file_name in file_arr:temp_json_file_name = file_name+'_字幕文件.json'output_dir = r"E:\temp\output"output_dir = os.path.join(output_dir,file_name)json_file_output = os.path.join(output_dir,temp_json_file_name)split(file_name,input_dir,output_dir,30000.00,json_file_output)

开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（五）

一、前言在上一节中，学习了如何使用vLLM来部署Whisper-large-v3-turbo模型。不过，在实际使用时，模型一次只能处理30秒的音频。今天，将结合实际业务，介绍如何处理一段完整的音频，并生成相应的字幕文件。相…...

编程日记 2025/7/26 14:49:53

python每日十题(10)

在Python语言中，源文件的扩展名（后缀名）一般使用.py。保留字，也称关键字，是指被编程语言内部定义并保留使用的标识符。Python 3.x有35个关键字，分别为：and，as，assert&am…...

编程日记 2025/7/26 14:43:51

安装和部署Tomcat并在idea创建web文件

一、背景实验任务为安装Tomcat并创建web文件为提高安装效率并且通俗易懂，免得大量文字浪费时间，这里我们采用图片加文字的方式来给大家讲解这个安装教程。二、安装过程首先第一步一定要注意你是否下载了JDK，如果你是像我一样下载一个…...

编程日记 2025/7/22 21:19:19

【Linux】Ubuntu 24.04 LTS 安装 OpenJDK 8

目录通过 apt-get 直接安装 JDK 1. 更新 apt 软件源 2. 检查 JDK 是否已安装 3. 安装OpenJDK 4. 检查 JDK 是否成功安装 5. 设置 JAVA_HOME 环境变量找到需要设置的 Java 路径使用文本编辑器打开/etc/environment文件添加 Java 安装路径应用更改和验证配置通过…...

编程日记 2025/7/23 10:48:42

图灵300题-21~40-笔记002

图灵300题图灵面试题视频：https://www.bilibili.com/video/BV17z421B7rB?spm_id_from333.788.videopod.episodes&vd_sourcebe7914db0accdc2315623a7ad0709b85&p20。本文是学习笔记，如果需要面试没有时间阅读原博文，可以快速浏览笔…...

编程日记 2025/7/18 12:27:57

蓝桥杯--bfs专题第二个题目（leetcode103二叉树）

文章目录 1.题目概述2.思路分析3.代码分析 1.题目概述这个题目是关于二叉树的锯齿形的遍历：这个锯齿形是什么意思呢？简单的通俗的解释，就是S型的，例如下面的这个示例里面的二叉树： 第一行从左到右：但是只…...

编程日记 2025/7/26 14:44:48

React 知识回顾（HOC、合成事件、Fiber）

HOC 嗯，用户问的是HOC是什么以及它能用来做什么。我需要先理解HOC的基本概念，然后整理它的用途。根据搜索结果，HOC是React中的高阶组件，用来复用逻辑。网页1提到HOC是一个函数，接收组件返回新组件，属于设计…...

编程日记 2025/7/21 1:24:19

s1: Simple test-time scaling 【论文阅读笔记】

s1: Simple test-time scaling 关于test-time scaling 这个概念其实是相对 train scaling而言的。train scalling 指的是增加训练数据，增加训练flops等等，投入更多资源在train上。test-time scaling，其实现在简化点的理解，就是 …...

编程日记 2025/7/26 14:47:55

基于 Milvus 和 BiomedBERT 的医学文献智能搜索系统

前言随着医学研究的不断深入，文献数量呈爆炸式增长，如何快速从海量文献中提取关键信息成为一大挑战。最近，我基于 Milvus 向量数据库和 BiomedBERT 嵌入模型，开发了一个智能搜索系统，支持语义搜索和关键词匹配&#…...

编程日记 2025/7/26 14:47:55

ASP.NET Web的 Razor Pages应用，配置热重载，解决.NET Core MVC 页面在更改后不刷新

Razor Pages应用，修改页面查看修改效果，如果没有热重载，改一句话跑一次，这个活就没法干了。 1、VS2022中的NuGet中安装RuntimeCompilation Microsoft.AspNetCore.Mvc.Razor.RuntimeCompilation 需要配套你的.net sdk版本&#x…...

编程日记 2025/7/26 10:55:48

MySQL 对text类型字段添加索引

对于 MySQL 中的 text 类型字段，可以通过以下步骤向其添加索引： 创建辅助字段：创建一个辅助字段，将该字段的一部分数据转移到辅助字段中。例如，可以创建一个 varchar 类型的字段来存储 text 字段的前缀。添加索引&am…...

编程日记 2025/7/24 8:32:20

深入解析SQL2API平台：数据交互革新者

在数字化转型持续深入的当下，企业对数据的高效利用与管理的需求愈发迫切。SQL2API平台应运而生，成为助力企业突破数据交互困境的有力工具，特别是它由麦聪软件基于DaaS（数据即服务）产品创新衍生而来，备受业界…...

编程日记 2025/7/18 12:26:55

@Autowired 和 @Resource 注解的区别

前言 Autowired 和 Resource 是 Spring 中用于依赖注入的注解，但两者在实现机制和使用方式上有显著差异。主要区别 1.来源不同 Autowired：由 Spring 框架提供（org.springframework.beans.factory.annotation），与 S…...

编程日记 2025/7/26 14:48:55

稳定运行的以ElasticSearch数据库为数据源和目标的ETL性能变差时提高性能方法和步骤

在使用 Elasticsearch 作为数据源和目标的 ETL（Extract, Transform, Load）过程中，性能逐渐变差的原因可能有很多，比如查询效率下降、集群负载过高、资源配置不合理等。性能的提升通常需要从多个方面入手，尤其是在处理…...

编程日记 2025/7/24 17:48:21

游戏引擎学习第182天

回顾和今天的计划昨天的进展令人惊喜，原本的调试系统已经被一个新的系统完全替换，新系统不仅能完成原有的所有功能，还能捕获完整的调试信息，包括时间戳等关键数据。这次的替换非常顺利，效果很好。今天的重点是在此基…...

编程日记 2025/7/25 17:59:50

EJS缓存解决多页面相同闪动问题

基于 EJS 的模板引擎特性及其缓存机制，以下是关于缓存相同模块的详细解答： 一、EJS 缓存机制的核心能力模板编译缓存 EJS 默认会将编译后的模板函数缓存在内存中，当相同模板文件被多次渲染时，会直接复用已编译的模板函数&#x…...

编程日记 2025/7/19 16:28:46

【MySQL】mysql日志文件

目录日志文件特征错误日志（Error log ） 常规查询日志（General query log ） 慢速查询日志（Slow query log ） 审计日志（Audit log ） 二进制日志（Binary log &#…...

编程日记 2025/7/23 18:33:11

【C++】STL性能优化实战

STL性能优化实战 STL (Standard Template Library) 是 C 标准库的核心部分，提供了各种容器、算法和迭代器。虽然 STL 提供了强大的功能，但不恰当的使用可能导致性能问题。下面我将详细介绍 STL 性能优化的实战技巧，并通过具体案例说明。 1.…...

编程日记 2025/7/22 11:32:57

Playwright + MCP：用AI对话重新定义浏览器自动化，效率提升300%！

一、引言：自动化测试的“瓶颈”与MCP的革新传统自动化测试依赖开发者手动编写脚本，不仅耗时且容易因页面动态变化失效。例如，一个简单的登录流程可能需要开发者手动定位元素、处理等待逻辑，甚至反复调试超时问题。而MCP&#xf…...

编程日记 2025/7/23 4:40:40

12-scala样例类（Case Classes）

例类（Case classes）和普通类差不多，只有几点关键差别，接下来的介绍将会涵盖这些差别。样例类非常适合用于不可变的数据。定义一个样例类一个最简单的样例类定义由关键字case class，类名，参数列表&#…...

编程日记 2025/7/22 15:55:29

WPF 与 C# 开发深度剖析

一、引言在当今的软件开发领域，Windows 平台依旧占据着重要的地位。而 WPF（Windows Presentation Foundation）作为微软推出的一款强大的用户界面（UI）框架，为开发者提供了丰富的功能和灵活的设计方式&…...

编程日记 2025/7/25 14:55:03

【工具使用-编译器】VScode（Ubuntu）使用

1. VScode的快捷键快捷键功能说明Ctrl+Shift+P / F1显示命令面板Ctrl+P快速打开文件Ctrl+Shift+N新建窗口Ctrl+Shift+W关闭窗口Ctrl+,打开设置Ctrl+K Ctrl+S打开快捷键设置Ctrl+X剪切行（无选中时剪切整行）Ctrl+C复制行（无选中时复制整行）Alt+↑ / Alt+↓向上/向下移动行Sh…...

编程日记 2025/7/24 13:26:24

C# SerialPort 使用详解

总目录前言在工业控制、物联网、嵌入式开发等领域，串口通信（Serial Port Communication）是连接串行设备（如条码扫描器、GPS接收器等）与计算机的重要手段。C# 提供了内置的 SerialPort 类，简化了串口开发…...

编程日记 2025/7/25 15:00:40

数据结构--二叉排序树

一、二叉排序树的定义二叉排序树，又称二叉查找树。性质： 左子树结点值<根结点值<右子树结点值（进行中序遍历，可以得到一个递增的有序序列） 二、查找操作利用二叉排序树的性质，如果树空&#xff0c…...

编程日记 2025/7/26 11:41:54

FPGA的直方图均衡

文章目录一、直方图均衡二、代码实现三、仿真一、直方图均衡直方图均衡（Histogram Equalization）是一种用于增强图像对比度的图像处理技术。它通过重新分配图像像素的灰度值，使得图像的灰度直方图在整个灰度范围内均匀分布，从而…...

编程日记 2025/7/22 15:10:10

使用Python将视频转化为gif

使用Python将视频转化为gif 一、前言二、准备三、测试一、前言最近想把喜欢的视频片段作成gif，就试着用Python做了下，感觉效果还行，这里做个记录。二、准备先下载安装对应的库，命令如下： pip install moviepy …...

编程日记 2025/7/22 5:48:22

基于javaweb的SpringBoot雪具商城系统设计与实现系统(源码+文档+部署讲解）

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、…...

编程日记 2025/7/20 19:09:06

Harbor镜像仓库迁移与高可用集群搭建HTTPS实现实战指南

实验环境 Ubuntu22.04操作系统 registry节点 10.0.0.91 master节点 10.0.0.92 backup节点 10.0.0.93 在企业信息化建设的不同演进阶段，私有镜像仓库的选型策略存在显著差异。近期主导完成某企业级容器镜像仓库升级项目，成功实现Docker Registry至Ha…...

编程日记 2025/7/21 14:31:27

redis--JavaSpring客户端

目录一、引言二、配置三、相关操作四、总结一、引言本篇文章会将redis与spring项目进行结合，看看再spring项目中，redis是如何使用的二、配置三、相关操作四、总结在spring项目中的使用和在基础项目上的使用有差异，但是差异并不大…...

编程日记 2025/7/22 21:36:04

JavaWeb3

聚合函数：把某一列的数据计算。count,max,min,avg,sum select count(id) from wife;-- 统计个数，不计算null，统计常量表示个数 select count(*) from wife; select min(id) from wife; select avg(age) from wife; 分组查询 select name,c…...

编程日记 2025/7/22 13:09:22

SAP-ABAP：SAP数据集成全场景技术指南（BAPI、RFC、IDOC、BATCHJOB、ODATA、WEBSERVICE）：从实时交互到批量处理

SAP数据集成全场景技术指南：从实时交互到批量处理 #mermaid-svg-hpPMerJYUerla0BJ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-hpPMerJYUerla0BJ .error-icon{fill:#552222;}#mermaid-svg-hpPMerJYUerla0BJ .er…...

编程日记 2025/6/28 1:57:16

QT笔记----QCheckBox

文章目录概要1、QCheckBox 的基本概念2、单个QCheckBox3、多个QCheckBox同时应用3.1、实现效果3.2、实现Demo 概要在 Qt 应用程序开发中，QCheckBox 是一个常用的用户界面元素，它允许用户在两种状态（选中和未选中）之间进行切换&a…...

编程日记 2025/7/25 14:00:01

试试智能体工作流，自动化搞定运维故障排查

APO 1.5.0版本全新推出的智能体工作流功能，让运维经验不再零散！只需将日常的运维操作和故障排查经验转化为标准化流程，就能一键复用，效率翻倍，从此告别重复劳动，把时间留给更有价值的创新工作。更贴心的是&…...

编程日记 2025/7/23 17:35:01

3.24[Q]Linux

我正在学习Linux，Linux设备管理是怎样的？详细解释，越细节越好我正在学习Linux，在Linux设备管理中，什么是char device？以及block,usb device?详细解释，越细节越好我正在学习Linux&#xff0…...

编程日记 2025/7/23 8:23:59

深度学习——图像相似度评价指标

这里写目录标题 PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）定义公式代码 SSIMMS-SSIM (Multi Scale Structural Similarity Index Measure,多尺度结构相似性)CSS （Contrast-Structure Similarity 对比结构相似度）MA…...

编程日记 2025/7/23 13:25:35

CentOS安装sshpass工具-自动化SSH密码认证

sshpass是一个在Linux环境下用于自动化SSH密码认证的工具。一、功能特点自动化SSH登录：sshpass允许用户在命令行中直接传递密码，从而无需在SSH连接时手动输入密码。这对于自动化脚本和批处理任务非常有用，因为它可以在非交互式环境下完成…...

编程日记 2025/7/9 1:22:51

js 中如何获取数组的交集【面试题】

一、数组元素为基本类型：Number、String、等基本类型时 1、使用 Set 和 filter（适用于两个数组） const intersection (arr1, arr2) > {const set new Set(arr2);return [...new Set(arr1)].filter(item > set.has(item)); };将第二…...

编程日记 2025/7/23 7:35:02

value-key 的作用

在 el-autocomplete 组件中，value-key 是一个非常重要的属性，它用于指定选项对象中作为值的字段名。当选项列表是一个包含多个属性的对象数组时，value-key 能帮助组件明确哪个属性是实际要使用的值。比如，选项列表为 [{id: 01, na…...

编程日记 2025/7/24 10:40:15

Spring MVC：从历史演变到实战入门

1. Java Web的发展历史与MVC模式 1.1 Model I与Model II的演进 Model I（JSPJavaBean） 作为早期Java Web开发的主流模式，其核心架构如下： graph LR A[客户端] --> B[JSP页面] B --> C{业务逻辑} C --> D[JavaBean] D -…...

编程日记 2025/7/17 3:15:24

Matlab设置表table的表头

用到matlab的table很好用。经常涉及放入数据，读取数据，下面总结常用的知识点。 1. 把不同数据类型放到同一个表中想把时间类型和数值类型放到统一table中。困扰的点是，我已经知道了表头名称， 如何批量的为表头命名，…...

编程日记 2025/7/22 21:51:37

预测蓝桥杯16届嵌入式省赛客观题

以下是15道蓝桥杯嵌入式省赛客观题预测，每道题均包含**选项列表**、**答案**和**解析**，格式清晰便于快速查阅： 一、预测1 ### **一、STM32G4硬件基础与外设配置** 1. **STM32G431RBT6的Flash和RAM容量分别为？** **选项**&a…...

编程日记 2025/7/23 18:00:40

综合章节：游戏网络化、模组化与深度扩展

模块一：网络功能与玩家数据同步目标：实现玩家得分上传、全球排行榜展示及云端数据同步。 # network_manager.py（网络请求封装） import requests import threadingclass NetworkManager:def __init__(self, base_url"http:…...

编程日记 2025/7/15 10:36:30

PostgreSQL：索引与查询优化

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/7/16 8:29:38

Android Compose 框架的 ViewModel 委托深入剖析(二十)

Android Compose 框架的 ViewModel 委托深入剖析一、引言在 Android 开发中，数据的管理和状态的保存是至关重要的。ViewModel 作为 Android 架构组件的一部分，为我们提供了一种在配置更改（如屏幕旋转）时保存数据和管理 UI 状态…...

编程日记 2025/7/25 5:02:04

android｜生成二维码qrcode（android）

1.build.gradle implementation com.google.zxing:core:3.4.1引入zxing库只是生成的话引入core库就可以了 2.封装方法 import android.graphics.Bitmap; import android.graphics.Color;import com.google.zxing.BarcodeFormat; import com.google.zxing.EncodeHintType; imp…...

编程日记 2025/7/24 22:53:20