实战指南：封装Whisper为FastAPI接口并实现高并发处理-附整合包
实战指南：封装Whisper为FastAPI接口并实现高并发处理
下面给出一个详细的示例，说明如何使用 FastAPI 封装 OpenAI 的 Whisper 模型，提供一个对外的 REST API 接口，并支持一定的并发请求。
下面是主要步骤和示例代码。
1. 环境准备
- Python 环境： 建议使用 Python 3.8+。
- 依赖库：
- FastAPI：轻量级、高性能的 Python web 框架。
- Uvicorn：用于运行 FastAPI 的 ASGI 服务器。
- Whisper：开源的语音识别模型，依赖于 PyTorch，因此需提前安装 torch（根据具体设备配置选择版本）。
可以使用 pip 安装依赖：
pip install fastapi uvicorn
# pip install git+https://github.com/openai/whisper.git 这个网络问题比较大
pip install openai-whisper
pip install torch # 根据硬件环境选择合适的版本# torch
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
2. 项目结构
项目目录结构可以如下：
whisper_fastapi/
├── models
├── app.py
└── requirements.txt
其中 requirements.txt 可写入：
fastapi
uvicorn
torch
# git+https://github.com/openai/whisper.git
openai-whisper
3. 编写 FastAPI 应用
在 app.py 中完成以下主要内容：
-
模型加载
为了避免每次请求都重复加载模型，建议在应用启动时加载一次模型，可以定义为全局变量。 -
接口定义
使用 POST 接口接收音频文件（例如 MP3、WAV 等）通过文件上传方式。注意这里使用UploadFile与File。 -
并发执行
由于 Whisper 的转录过程比较耗时且是 CPU 或 GPU 密集型的计算，我们可以将其放入线程池中执行。FastAPI 中通过asyncio.get_running_loop().run_in_executor(...)调用同步的转录方法，让异步接口可以处理并发。
下面给出示例代码：
import sys
import shutil
import tempfile
import asyncio
import warnings
import torch # 用于检测 CUDA 是否可用
from fastapi import FastAPI, UploadFile, File, HTTPException, Query
from fastapi.responses import JSONResponse
import whisper # 导入 OpenAI 的 Whisper 模型
from concurrent.futures import ThreadPoolExecutor# 检查 ffmpeg 是否可用
if shutil.which("ffmpeg") is None:sys.exit("错误：未找到 ffmpeg。请下载并安装 ffmpeg，并确保其所在目录已添加到系统 PATH 环境变量中。")app = FastAPI(title="Whisper FastAPI 接口")# 指定本地模型文件存储目录，事先要将下载好的模型文件放入该目录
local_model_dir = "./models"# 用一个全局字典缓存加载过的模型，避免重复加载
loaded_models = {}# 自动检测设备：如果 CUDA 可用则使用 GPU，否则使用 CPU
device = "cuda" if torch.cuda.is_available() else "cpu"
if device == "cpu":warnings.filterwarnings("ignore", message="FP16 is not supported on CPU; using FP32 instead")
print(f"使用的设备：{device}")def load_model_if_needed(model_name: str):"""检查全局字典中是否已存在指定 model_name 对应的模型，如果不存在，则从本地目录加载模型并保存到缓存中，并使用 device 参数确保模型加载到正确的设备上。"""if model_name not in loaded_models:try:model = whisper.load_model(model_name, download_root=local_model_dir, device=device)loaded_models[model_name] = modelexcept Exception as e:raise RuntimeError(f"加载 Whisper 模型 {model_name} 失败，请检查本地模型文件是否存在或模型路径配置是否正确") from ereturn loaded_models[model_name]# 创建线程池，用于并发处理（模型加载和转录过程可能较为耗时）
executor = ThreadPoolExecutor(max_workers=4)def transcribe_audio(model, file_path: str) -> dict:"""对给定音频文件进行转录，返回转录结果。根据设备自动启用或禁用 fp16 模式：- GPU：fp16=True- CPU：fp16=False"""try:result = model.transcribe(file_path, fp16=(device == "cuda"))return resultexcept Exception as e:return {"error": str(e)}@app.post("/transcribe")
async def transcribe(file: UploadFile = File(...),model_name: str = Query("base", description="使用的模型名称（如：tiny, base, small, medium, large）")
):"""接收上传的音频文件及可选参数 model_name，通过指定的模型进行转录并返回结果。"""if file.content_type not in ["audio/wav","audio/x-wav","audio/wave","audio/x-pn-wav","audio/mpeg","audio/mp3"]:raise HTTPException(status_code=400, detail="文件类型不支持，请上传 WAV 或 MP3 格式的音频文件")# 保存上传文件到临时文件try:suffix = "." + file.filename.split(".")[-1]except Exception:suffix = ".wav"try:with tempfile.NamedTemporaryFile(delete=False, suffix=suffix) as tmp:contents = await file.read()tmp.write(contents)tmp_path = tmp.nameexcept Exception as e:raise HTTPException(status_code=500, detail="保存临时文件失败")# 使用线程池加载指定的模型（如果尚未加载）loop = asyncio.get_running_loop()try:model = await loop.run_in_executor(executor, load_model_if_needed, model_name)except Exception as e:raise HTTPException(status_code=500, detail=str(e))# 异步调用转录任务，放入线程池执行以避免阻塞事件循环transcription_result = await loop.run_in_executor(executor, transcribe_audio, model, tmp_path)if "error" in transcription_result:raise HTTPException(status_code=500, detail=transcription_result["error"])return JSONResponse(content=transcription_result)if __name__ == "__main__":import uvicornuvicorn.run("app:app", host="0.0.0.0", port=8000, reload=True)
4. 运行与部署
-
本地测试
在项目目录下运行：uvicorn app:app --host 0.0.0.0 --port 8000 --reload访问 http://localhost:8000/docs 可查看 FastAPI 自动生成的 API 文档，测试接口。
-
并发支持说明
- 这里我们通过
ThreadPoolExecutor将转录任务分发到子线程上，利用多线程来处理阻塞的 CPU 密集型任务，支持一定的并发。 - 在正式生产环境中，建议考虑使用 GPU 加速模型推理，并根据服务器硬件资源配置合理的线程数或进程数。另外，也可使用 Uvicorn 的多进程启动，例如：
uvicorn app:app --host 0.0.0.0 --port 8000 --workers 4
- 这里我们通过
-
容错与日志
根据需要可以增加异常处理、日志记录和监控，这里给出一个简单示例，您可以根据需求扩展。
5. 总结
- 环境搭建与依赖安装：确保 Python、FastAPI、Uvicorn、Whisper 及其相关依赖正确安装。
- 全局加载模型：避免重复加载模型，提高接口响应效率。
- 接口实现：使用 FastAPI 实现
/transcribe接口，通过上传文件参数进行音频转录。
http://localhost:8000/transcribe?model_name=base - 并发处理：将耗时的模型转录调用放置在线程池中执行，并结合 uvicorn 部署参数进一步扩展并发。
这样，一个简单的封装了 Whisper 模型的 FastAPI 接口就搭建完成了，可以支持并发调用，对外提供语音转文本的服务。
相关文章：
实战指南：封装Whisper为FastAPI接口并实现高并发处理-附整合包
实战指南：封装Whisper为FastAPI接口并实现高并发处理 下面给出一个详细的示例，说明如何使用 FastAPI 封装 OpenAI 的 Whisper 模型，提供一个对外的 REST API 接口，并支持一定的并发请求。 下面是主要步骤和示例代码。 1. 环境准备…...
算法——通俗讲解升幂定理
一、生活比喻：台阶与放大镜 想象你有一盏灯，光线穿过一层玻璃（基础台阶），每层玻璃会过滤掉一定颜色的光（质数 ( p )）。升幂定理就像在灯前叠加放大镜（指数 ( n )）&#…...
DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率
图1: DeepSpeed ZeRO 简介 大型 AI 模型正在改变数字世界。基于大型语言模型 (LLM)的 Turing-NLG、ChatGPT 和 GPT-4 等生成语言模型用途广泛，能够执行摘要、代码生成和翻译等任务。 同样，DALLE、Microsoft Designer 和 Bing Image Creator 等大型多模…...
【Audio开发四】音频audio中underrun和overrun原因详解和解决方案
一，underrun & overrun定义 我们知道，在Audio模块中数据采用的是生产者-消费者模式，生产者负责生产数据，消费者用于消费数据，针对AudioTrack和AudioRecord，其对应的角色不同； AudioTrack …...
[CMake] vcpkg的使用方法
C第三方库管理工具vcpkg使用教程。 如果要在vscode当中使用 1. 使用 CMakePresets.txt 来配置configure时的参数 2. 设置如下 即可正常编译...
光纤模块全解：深入了解XFP、SFP、QSFP28等类型
随着信息技术的快速发展，数据中心和网络的带宽需求不断提高，光纤模块的选择与应用显得尤为重要。光纤模块是实现高速网络连接的重要组件，选择合适的模块能够显著提升传输性能、降低延迟。本文将深入解析几种常见的光纤模块类型，包…...
【数据结构】之散列
一、定义与基本术语 （一）、定义 散列（Hash）是一种将键（key）通过散列函数映射到一个固定大小的数组中的技术，因为键值对的映射关系，散列表可以实现快速的插入、删除和查找操作。在这…...
利用pnpm patch命令实现依赖包热更新：精准打补丁指南
需求场景 在Element Plus的el-table组件二次开发中，需新增列显示/隐藏控件功能。直接修改node_modules源码存在两大痛点： 团队协作时修改无法同步 依赖更新导致自定义代码丢失 解决方案选型 通过patch-package工具实现： 📦 非…...
pve常用命令
pve常用命令 虚拟机管理容器管理集群管理存储与磁盘管理网络相关备份/还原手动备份计划任务备份（Web 界面常用）还原备份 快照创建快照查看快照恢复快照删除快照 其他实用命令 虚拟机管理 # 查看所有虚拟机列表 qm list# 查看虚拟机运行状态 qm status 1…...
数据结构（三）---单向循环链表
单向循环链表（Circular Linked List） 一、基本概念 循环链表是一种特殊的链表，其末尾节点的后继指针指向头结点，形成一个闭环。 循环链表的操作与普通链表基本一致，但需注意循环特性的处理。 二、代码实现 clList…...
HCIP-H12-821 核心知识梳理 （3）
从EBGP邻居接受的路由发送给IBGP邻居的时候，下一跳不会自动修改。一个 Route - Policy 最多可配置 65535个节点 BFD 单跳使用UDP3784端口多跳使用UDP 4784端口。 防火墙 Local：代表防火墙自身，处理防火墙本地发起或接收的流量 。 优先级 100I…...
Vue接口平台学习七——接口调试页面请求体
一、实现效果图及简单梳理 请求体部分的左边，展示参数，分text和file类型。 右边部分一个el-upload的上传文件按钮，一个table列表展示，一个显示框，用于预览选择的文件，点击可大图展示。 二、页面内容实现 …...
STM32
GPIO 输入输出模式 GPIO 输出描述 GPIO_Mode_Out_OD 开漏输出模式： 1.对输入数据寄存器的读访问可得到I/O状态 HAL输出输出模式 GPIO输出描述GPIO_MODE_OUTPUT_PP推挽输出GPIO_MODE_OUTPUT_OD开漏输出GPIO输入GPIO_PULLUP上拉输入 寄存器 GPIOx->ODR/IDR …...
linux如何用关键字搜索日志
在 Linux 系统中搜索日志是日常运维的重要工作，以下是几种常用的关键字搜索日志方法： 1. 基础 grep 搜索 bash 复制 # 基本搜索（区分大小写） grep "keyword" /var/log/syslog# 忽略大小写搜索 grep -i "error&…...
381_C++_decrypt解密数据、encrypt加密数据，帧头和数据buffer分开
仿照.cpp中将帧头和数据分开处理的方式来修改.cpp中的加密： if (StreamCipher::self().needEncrypt()) {// 创建加密缓冲区static std::vector...
MongoDB常见语句
目录 1. 增删改 2. 评估查询运算符 3. 比较查询运算符 4. 逻辑运算符 5. 元素运算符 6. 数组查询运算符 7. 字段更新操作符 8. 数组更新操作符 10. 聚合管道 1. 增删改 增 db.getCollection("Y").insert({"age": 10,name: "ces5"});//增…...
Kotlin学习记录2
Android Studio中的注意事项 本文为个人学习记录，仅供参考，如有错误请指出。本文主要记录在Android Studio中开发时遇到的问题和回答。 Fragment有哪些特性？ Fragment 是 Android 开发中的一个重要组件，具有以下特性：…...
如何通过工具实现流程自动化
通过自动化工具，企业可以显著提高工作效率、降低人为错误、节省时间和成本。现代企业的运营中，流程管理是确保工作顺畅的关键，而人工处理繁琐的流程不仅容易出错，还会消耗大量的时间和人力资源。通过使用适合的自动化工具…...
组合数哭唧唧
前言：手写一个简单的组合数，但是由于长期没写，导致一些细节没处理好 题目链接 #include<bits/stdc.h> using namespace std; #define endl "\n"#define int long longconst int N (int)2e510; const int Mod (int)1e97;int…...
LINUX基石
Vim编辑器Linux系统常用命令管理Linux实例软件源Nginx服务配置多站点Cron定时任务在Linux系统上安装图形化界面升级Linux ECS实例内核设置Linux实例的预留内存Linux系统中TCP/UDP端口测试方法进入Linux/FreeBSD系统的单用户模式 Vim编辑器 linux系统默认安装vim编辑器。终端中…...
Flowable工程化改造相关文档
本章将针对前期进行的Flowable流程引擎研究，进行相应的工程化改造，改造过程分别为对Flowable引擎流程文件远程化处理，流程过程接口化升级，等方面进行改造，以适配其他项目对流程引擎的API调用 首先对流程引擎项目主要流…...
架构设计系列
架构设计系列：什么是架构设计架构设计系列：几个常用的架构设计原则架构设计系列：高并发系统的设计目标架构设计系列：如何设计可扩展架构架构设计系列：如何设计高性能架构架构设计系列：如何设计高可用架构架…...
波束形成（BF）从算法仿真到工程源码实现-第十节-非线性波束形成
一、概述 本节我们基于webrtc的非线性波束形成进行代码仿真，并对仿真结果进行展示和分析总结。更多资料和代码可以进入https://t.zsxq.com/qgmoN ，同时欢迎大家提出宝贵的建议，以共同探讨学习。 二、仿真代码 2.1 常量参数 % *author : a…...
QuickAPI 全生命周期管理：从开发到退役的闭环实践
数据 API 作为企业核心的数据资产，其生命周期管理直接影响数据服务的稳定性、安全性和复用效率。麦聪 QuickAPI 通过可视化、智能化的管理工具，构建了覆盖 API 全生命周期的闭环管理体系，实现从 "粗放式开发" 到 "精细化运营&…...
STM32 TDS＋温度补偿
#define POLAR_CONSTANT (513385) /* 电导池常数，可通过与标准TDS测量仪对比计算反推 */ #define TDS_COEFFICIENT (55U) /* TDS 0.55 * 电子传导率*/void TDS_Value_Conversion() {u32 ad0;u8 i;float compensationCoefficient;float compens…...
 第 一试】)
【四川省第三届青少年C++算法设计大赛 (小低组) 第 一试】
一、单项选择题(共15题，每题2分，共计30分;每题有且仅有一个正确选项) 1、计算机中负责执行算术和逻辑运算的部件是() A. 内存 B.CPU C.硬盘 D.鼠标 2、近期备受关注的国产开源生成式人工智能大模型是() A. AlphaChat B. …...
疾控01-实验室信息管理系统需求分析
支持录入送检单位的基本信息，包括单位名称、联系方式、地址、联系人等。支持修改、删除、查询功能；支持录入检验目的的具体内容，如疾病类型（例如血液检测、癌症检测）或样本来源（如水质监测、食品安全检测&a…...
Redis之RedLock算法以及底层原理
自研redis分布式锁存在的问题以及面试切入点 lock加锁关键逻辑 unlock解锁的关键逻辑 使用Redis的分布式锁 之前手写的redis分布式锁有什么缺点？？ Redis之父的RedLock算法 Redis也提供了Redlock算法，用来实现基于多个实例的分布式锁。…...
【JavaScript】二十二、通过关系查找DOM节点、新增、删除
文章目录 1、DOM节点的分类2、查找亲戚节点2.1 父节点查找2.2 子节点查找2.3 兄弟节点查找 3、新增节点3.1 创建新节点3.2 追加节点3.3 克隆节点3.4 案例：学成在线页面数据渲染 4、删除节点 1、DOM节点的分类 DOM树里每一个内容都称之为节点，节点分为三…...
SQL学习-关联查询（应用于多表查询）
复习 前几篇写的基础查询语法复习 以上都在单一表单内进行查询，那么我们需要用到多个表单的数据时，我们应该怎么处理呢？ 关联查询 在excle文档中我们的处理方式如下 excle的这个查询虽然简单直观，但是也具有一定的局限性 比…...
在 MySQL 单表存储 500 万数据的场景下，如何设计读取
在 MySQL 单表存储 500 万数据的场景下，设计高效读取方案需要从 查询优化、架构扩展、硬件调优 三个层面综合考虑。以下是具体方案，结合实际项目经验（如标易行投标服务平台）进行分析： 一、查询优化：降低单次查询开销 1. 索引优化 核心原则：仅为高频查询条件、排序字段、…...
Python使用FastMCP开发MCP服务端
MCP简介 Model Context Protocol (MCP) 是一个专门为 LLM（大语言模型）应用设计的协议，它允许你构建服务器以安全、标准化的方式向 LLM 应用程序公开数据和功能。FastMCP 作为 Python 生态中的一款轻量级框架，利用装饰器来简化路由…...
ESLint常见错误
1、Strings must use singlequote —— 字符串必须使用单引号 2、Extra semicolon semi——额外的分号：一行语句结尾不能添加分号 3、Unexpected trailing comma —— 行尾多了一个逗号 4、Newline required at end of file but not found ——文件结尾必须要新加…...
京东硬核挑战潜规则，外卖算法要变天？
刘强东这次回归后的动作，真是越来越有看头了！最近那段内部讲话视频爆出来，直接扔了个重磅炸弹：京东外卖，净利润率永远不许超过5%，谁敢超标就得挨处分！这话一出，整个外卖圈估计都得抖…...
怎样利用 macOS 自带功能快速进行批量重命名文件教程
在日常办公或个人使用中，我们经常需要对多个文件进行重命名操作。幸运的是，macOS 提供了一套非常实用的内置工具，可以轻松完成这一任务而无需借助任何第三方应用程序。今天，我们就来详细介绍如何利用 macOS 自带的功能实现文件的批…...
Java Spring Cloud框架使用及常见问题
Spring Cloud作为基于Spring Boot的分布式微服务框架，显著简化了微服务架构的开发与管理。其核心优势包括集成Eureka、Ribbon、Hystrix等组件，提供一站式服务发现、负载均衡、熔断容错等解决方案，支持动态配置与消息总线，实现高效…...
机器视觉检测Pin针歪斜应用
在现代电子制造业中，Pin针（插针）是连接器、芯片插座、PCB板等元器件的关键部件。如果Pin针歪斜，可能导致接触不良、短路，甚至整机失效。传统的人工检测不仅效率低，还容易疲劳漏检。 MasterAlign 机器视觉对…...
抗量子算法验证工具
抗量子算法计算工具 抗量子算法验证工具ML-KEMML-DSASLH-DSA 抗量子算法验证工具 2024年末，美国NIST陆续公布了FIPS-203、FIPS-204、FIPS-205算法标准文档，抽空学习了一下，做了个算法计算工具。 ML-KEM ML-DSA SLH-DSA 需要的朋友可留言交流…...
临床协调简历模板
模板信息 简历范文名称：临床协调简历模板，所属行业：其他 | 职位，模板编号：C1S3WO 专业的个人简历模板，逻辑清晰，排版简洁美观，让你的个人简历显得更专业，找到好工作。希…...
linux命令八
tmux防止远程管理中断 格式:tmux # 进入会话模式 进入会话模式后,你进行文件的压缩时,如果远程管理突然中断,也不会影响压缩的进程 DNS服务器 作用：负责域名解析的服务器，将域名解析为IP地址 /etc/resolv.conf:指定DNS服务器地址配置文件 日志管理 •常见…...
37-串联所有单词的子串
给定一个字符串 s 和一个字符串数组 words。 words 中所有字符串 长度相同。 s 中的 串联子串 是指一个包含 words 中所有字符串以任意顺序排列连接起来的子串。 例如，如果 words ["ab","cd","ef"]， 那么 "abcdef…...
机器学习赋能的多尺度材料模拟与催化设计前沿技术
随着新能源、先进制造等领域对功能材料性能要求的日益严苛，传统材料研发模式面临显著挑战：跨尺度关联机制不清晰、实验试错周期长、计算资源消耗巨大。人工智能技术与多尺度模拟方法的深度融合，为材料科学开辟了“数据驱动物理建模”的创新路…...
HarmonyOS-ArkUI V2工具类：AppStorageV2:应用全局UI状态存储
AppStorageV2是一个能够跨界面存储数据，管理数据的类。开发者可以使用AppStorageV2来存储全局UI状态变量数据。它提供的是应用级的全局共享能力，开发者可以通过connect绑定同一个key，进行跨ability数据共享。 概述 AppStorageV2是一个单例，创建时间是应用UI启动时。其目的…...
【Linux】进程池bug、命名管道、systemV共享内存
一.进程池bug 我们在之前进程池的创建中是通过循环创建管道，并且让子进程与父进程关闭不要的读写段以构成通信信道。但是我们这样构建的话会存在一个很深的bug。 我们在销毁进程池时是先将所有的信道的写端关闭，让其子进程read返回值为0，并…...
.Net 9 webapi使用Docker部署到Linux
参考文章连接： https://www.cnblogs.com/kong-ming/p/16278109.html .Net 6.0 WebApi 使用Docker部署到Linux系统CentOS 7 - 长白山 - 博客园 项目需要跨平台部署，所以就研究了一下菜鸟如何入门Net跨平台部署，演示使用的是Net 9 webAPi Li…...
【差分隐私相关概念】瑞丽差分隐私（RDP）引理1
引理1的详细推导过程 引理1陈述 若分布 P P P 和 Q Q Q 满足： D ∞ ( P ∥ Q ) ≤ ϵ 且 D ∞ ( Q ∥ P ) ≤ ϵ , D_\infty(P \parallel Q) \leq \epsilon \quad \text{且} \quad D_\infty(Q \parallel P) \leq \epsilon, D∞(P∥Q)≤ϵ且D∞(Q∥P)≤ϵ, …...
Java练习——day1（反射）
文章目录 练习1练习2练习3思考封装原则与反射合理使用反射“破坏”封装的场景 练习1 编写代码，通过反射获取String类的所有公共方法名称，并按字母顺序打印。 示例代码： import java.lang.reflect.Method; import java.util.Arrays;public …...
【C++】二叉搜索树
目录 一、二叉搜索树 🍔二叉搜索树概念 🍟二叉搜索树的操作 🌮二叉搜索树的实现 🥪二叉搜索树的应用 🥙二叉搜索树的效率分析 二、结语 一、二叉搜索树 🍔二叉搜索树概念 二叉搜索树又称二叉排序树&…...
fastjson2 使用bug
fastjson2 版本2.0.52 转jsonString保留null值求助 有如下对象： JSONObject jsonObject {“A”:null,“B”:“value”} 当服务运行几天之后， 还是这个json格式，因为需要保留null值，如下方法： jsonObject.toJSONString…...
Redis日常维护技巧与常见问题解决方案
Redis是一个开源的内存数据存储系统，广泛应用于缓存、消息队列、实时分析等场景。由于其高性能和持久化特性，越来越多的企业开始引入Redis。然而，要使Redis高效、稳定地运行，日常的维护和问题解决显得尤其重要。本文将分享一些Red…...