基于fast-whisper模型的语音识别工具的设计与实现

第2章 关键技术介绍

        Faster-Whisper 是一个基于 Whisper 模型的优化版本，旨在提高语音识别的速度和效率。Whisper 是由 OpenAI 开发的一个多语言、多任务的语音识别模型。它在多个基准测试中表现出色。它移除了模型中不必要的权重，最大限度的减少了模型的计算量。它还支持多线程和多CPU来加速推理的过程，减少运行成本。它还对解码器的算法进行了改良，提高了解码效率。

        Faster-Whisper有tiny、base、 small、 medium、 large 5种模型类型，模型体积越大，推理时间相应越长，准确性也越高，用户可以根据自己要识别的语音文件的质量和硬件成本来选择适合自己的模型类型。

        django是用python编写的高级web框架，它遵循了MVC架构，提供了一个更加强大的ORM可以更好的操作数据库。它还自带操作管理界面，可以自动生成对数据库增删改查的代码。它使用url路由方式来定义url和视图函数直接的关系，而却它还内置了许多具有安全特性的插件，可以自动过滤sql注入、xss攻击等。它还支持中间件，可以让开发者自主编写，过滤非法请求。它的架构设计使得应用可以轻松的进行扩展，支持大型项目的高并发场景。它还支持多语言和多地区设置。

第3章 系统分析

        根据需求调研结果确定本系统主要包括以下功能模块，如图3.1所示。

图3.1 系统体系结构

（1）登录模块

        系统采用用户名、密码和验证码登录，只有当3个都正确的时候才能验证通过访问系统的主界面，要是登录信息不正确，系统会给出相应的错误提示。

（2）用户管理模块

        该模块会以表格的形式展示系统中全部的用户账号信息，可以对每个用户信息进行增删改查操作，也可以禁用某一个用户账号信息限制其访问系统。

1. 文件语音识别模块

        该模块允许用户上传wav、mp3、flac、mp4、mov、mkv、avi、mpeg等视频或语音文件然后点击立即识别按钮，上传文件就会被提交到后台接口，后台接口调用Faster-Whisper数据模型进行语音识别，然后再返回识别结果（识别的文字结果会进行，。、？‘’“”；：（｛｝【】）:;"\'\s \d`!@#$%^&*()_+=.,?/\\-]*$等非法字符的过滤），前端进行结果展示。

（4）录音语音识别模块

        该模块支持调用系统自带的录音模块进行实时录音，然后点击立即识别按钮，即可实时上传录音文件进行语音识别，然后再返回结果（识别的文字结果会进行，。、？‘’“”；：（｛｝【】）:;"\'\s \d`!@#$%^&*()_+=.,?/\\-]*$等非法字符的过滤），前端进行结果展示。

硬件环境：安装win10系统的PC

软件环境：pycharm、mysql8

        （1）本系统采用pycharm作为开发软件，该软件具有自动代码排版、补齐、断点调试等功能。还支持GIT、SVN等工具，可以使开发者更好的进行错误排查和项目版本的管控。采用python作为开发语言，该语言语法简洁明了，接近自然语言，学习容易上手，语言本身集成的第三方库可以无条件的支持数据分析和深度学习操作。数据库采用mysql8。整个系统采用djanog框架搭建，该框架具有强大的ORM关系映射属性，支持多种数据库，可以自动生成数据库表，提供丰富的查询接口，简化查询语句的编写。采用html、css、js等技术相结合来编写系统所需的界面。pycharm和mysql8等软件都是免费开源的，可以直接下载使用，极大的降低了搭建人的经济压力。django框架和mysql8数据、html界面的各层之间具有良好的解耦性，极大的降低了后期系统的维护成本。

第4章 系统设计

        （1）对比了java、python、C#等开发语言的优缺点和自己的熟练度，最后决定使用python来作为此次系统的开发语言，pycharm作为此次系统的开发软件，mysql8数据库作为此次系统各类数据的存储。

        （2）为了保证系统的安全性和稳定性，该系统采用django来作为后端框架，根据实际情况编写了中间件类对非法请求进行了过滤，为了最大限度的降低系统和数据库的解耦性，采用models来对数据库进行增删改查操作。

        （3）为了保证系统界面具有良好的结构化，采用传统的html、css、js来编写系统界面，为了使界面更加美观和开发的简洁性，引入了layui来进行界面日期、输入框、图片上传等组件的构造。

        （2）django系统的开发应该保持简单开发的原则，在编写代码的时候要尽量保证项目的文件分层化，代码结构化，逻辑简单化，注意代码的复用，避免编写重复逻辑代码。尽量保持配置文件的简洁，避免冗余配置。

        （3）django系统的开发要保证系统的安全性，时刻防止依赖注入，将依赖关系从代码中分离开来，通过构造函数或属性输入服务类，提高代码的可维护性。将连接数据库配置保存在配置文件中，把其他配置信息保存在数据库表中，提高系统的安全性。

4.2 构架概述

        （2）表示层：主要作用为处理用户和界面的交互，接受用户的输入并把请求输入传递给业务逻辑层，返回业务逻辑层的处理结果给界面进行数据展示。

        （3）业务逻辑层：主要作用为根据请求输入完成具体的业务逻辑处理，调用数据访问层进行数据的存储和检索。

（4）数据访问层：主要作用为和数据库的交互，存储和管理数据库，保证数据的完整性和一致性。

4.3 系统的功能结构设计

        （2）考虑到数据库的稳定性和兼容性所以选择mysql8作为本次系统的数据库。fast-whisper模型有5种数据模型，由于其官网在国外，国内下载速率很慢，所以只下载了small和larger-v1两种数据模型，考虑到自己电脑的CPU情况和接口返回数据时效性，本论文中的全部测试截图全部采用small数据模型测试而来。

        3）为了降低业务逻辑层和数据库的解耦性，系统采用django框架的models来和数据库进行数据交互，后期系统即使更换数据库，也无需修改业务逻辑层代码。

4.4 系统控制流程

5章 系统实现

        账号验证接口会先验证验证码是否正确，然后在验证用户名和密码在用户表中是否存在该账号信息，要是不存在就返回“用户名或密码不正确”给登录界面，要是账号验证通过就返回200标准码给登录界面。

def loginCon(request):if request.method == 'POST':username = request.POST.get("username", None)password = request.POST.get("password", None)verify = request.POST.get("verify", None)if verify == None:return JsonResponse({"code": 400, "message": "验证码不能为空"}, safe=False)if username == None or password == None:return JsonResponse({"code": 400, "message": "用户名或密码不能为空"}, safe=False)yzm = request.session['yzm'];print('yzm', yzm)if yzm != verify:return JsonResponse({"code": 400, "message": "验证码不正确"}, safe=False)userList = models.User.objects.filter(username=username, password=password, status=1).values()if userList.count() > 0:print(userList[0])print(userList[0]['id'])request.session['loginId'] = userList[0]['id'];request.session['loginType'] = 'user';request.session['loginAccount'] = usernamereturn JsonResponse({"code": 200, "message": "账号验证成功", 'data': list(userList)},safe=False)else:return JsonResponse({"code": 400, "message": "用户名或密码不正确"}, safe=False)

        上传的文件会进行文件的原名保存在项目的static/upload文件夹下，要是上传同名文件会进行直接覆盖操作，文件保存成功后把文件名返回给前端界面。

def upload(request):try:# 获取上传的文件audio_file = request.FILES.get('audio')# 如果是mp4noextname, ext = os.path.splitext(audio_file.name)ext = ext.lower()# 如果是视频，先分离wav_file = os.path.join(cfg.TMP_DIR, f'{noextname}{ext}')video_file = os.path.join(cfg.TMP_DIR, f'{noextname}{ext}')file = audio_file.read()with open(video_file, 'wb') as f:f.write(file)if os.path.exists(wav_file) and os.path.getsize(wav_file) > 0:return JsonResponse({'code': 0, 'msg': cfg.transobj['lang1'], "data": os.path.basename(wav_file)})msg = ""if ext in ['.mp4', '.mov', '.avi', '.mkv', '.mpeg', '.mp3', '.flac', '.wav']:params = ["-i",video_file,]if ext not in ['.mp3', '.flac']:params.append('-vn')params.append(wav_file)rs = tool.runffmpeg(params)if rs != 'ok':return JsonResponse({"code": 1, "msg": rs})msg = "," + cfg.transobj['lang9']else:return JsonResponse({"code": 1, "msg": f"{cfg.transobj['lang3']} {ext}"})# 返回成功的响应return JsonResponse({'code': 0, 'msg': cfg.transobj['lang1'] + msg, "data": os.path.basename(wav_file)})except Exception as e:print(f'[upload]error: {e}')return JsonResponse({'code': 2, 'msg': cfg.transobj['lang2']})
}

5.1.3 语音识别接口

        先判断提交的要识别文件在static/upload文件夹下是否存在，要是存在就创建一个子线程调用语音识别模型进行语音识别操作，然后前端界面在定时请求接口取子线程的返回结果在前端界面进行结果展示。

def process(request):# 原始字符串wav_name = request.POST.get("wav_name").strip()model = request.POST.get("model")# 语言language = "zh"# 返回格式 json txt srtdata_type = "srt"wav_file = os.path.join(cfg.TMP_DIR, wav_name)if not os.path.exists(wav_file):return JsonResponse({"code": 1, "msg": f"{wav_file} {cfg.langlist['lang5']}"})if not os.path.exists(os.path.join(cfg.MODEL_DIR, f'models--Systran--faster-whisper-{model}/snapshots/')):return JsonResponse({"code": 1, "msg": f"{model} {cfg.transobj['lang4']}"})key = f'{wav_name}{model}{language}{data_type}'# 重设结果为nonecfg.progressresult[key] = None# 重设进度为0cfg.progressbar[key] = 0# 新线程启动实际任务threading.Thread(target=shibie,kwargs={"wav_name": wav_name, "model": model, "language": language, "data_type": data_type,"wav_file": wav_file, "key": key}).start()return JsonResponse({"code": 0, "msg": "ing"})def shibie(*, wav_name=None, model, language=None, data_type=None, wav_file=None, key=None):try:sets = cfg.parse_ini()print(f'{sets.get("initial_prompt_zh")}')print(cfg.ROOT_DIR)modelobj = WhisperModel(model, device=sets.get('devtype'), compute_type=sets.get('cuda_com_type'),download_root=cfg.ROOT_DIR + "/models", local_files_only=True)cfg.progressbar[key] = 0segments, info = modelobj.transcribe(wav_file, beam_size=sets.get('beam_size'), best_of=sets.get('best_of'),temperature=0 if sets.get('temperature') == 0 else [0.0, 0.2, 0.4, 0.6,0.8, 1.0],condition_on_previous_text=sets.get('condition_on_previous_text'),vad_filter=sets.get('vad'),vad_parameters=dict(min_silence_duration_ms=300), language=language,initial_prompt=None if language != 'zh' else sets.get('initial_prompt_zh'))total_duration = round(info.duration, 2)  # Same precision as the Whisper timestamps.raw_subtitles = []for segment in segments:cfg.progressbar[key] = round(segment.end / total_duration, 2)start = int(segment.start * 1000)end = int(segment.end * 1000)startTime = tool.ms_to_time_string(ms=start)endTime = tool.ms_to_time_string(ms=end)text = segment.text.strip().replace('&#39;', "'")text = re.sub(r'&#\d+;', '', text)# 无有效字符if not text or re.match(r'^[，。、？‘’“”；：（｛｝【】）:;"\'\s \d`!@#$%^&*()_+=.,?/\\-]*$', text) or len(text) <= 1:continueif data_type == 'json':# 原语言字幕raw_subtitles.append({"line": len(raw_subtitles) + 1, "start_time": startTime, "end_time": endTime, "text": text})elif data_type == 'text':raw_subtitles.append(text)else:raw_subtitles.append(f'{len(raw_subtitles) + 1}\n{startTime} --> {endTime}\n{text}\n')cfg.progressbar[key] = 1if data_type != 'json':raw_subtitles = "\n".join(raw_subtitles)cfg.progressresult[key] = raw_subtitlesexcept Exception as e:cfg.progressresult[key] = str(e)print(str(e))

5.1.4 录音接口

        当前端点击开始录音按钮就先定义一个全局变量记录创建的录音实例，当前端点击结束录音的按钮时，就获取之前定义的全局对象进行停止录音操作，然后保存生成的录音文件到static/upload文件夹下，把保存文件名称返回给前端界面。

p = None;stream = None;frames = []WAVE_OUTPUT_FILENAME = pathnameCHUNK = 1024FORMAT = pyaudio.paInt16CHANNELS = 2RATE = 16000RECORD_SECONDS = 2isLY = 1def startLy(request):global pglobal streamglobal framesglobal isLYp = None;stream = None;frames = []isLY = 1p = pyaudio.PyAudio()stream = p.open(format=FORMAT,channels=CHANNELS,rate=RATE,input=True,frames_per_buffer=CHUNK)print("开始录音,请说话......")frames = []while isLY:data = stream.read(CHUNK)frames.append(data)return JsonResponse({"code": 0, "data": "", "msg": "ok"})def endLy(request):global pglobal streamglobal framesglobal isLYprint("录音结束......")isLY = 0stream.stop_stream()stream.close()p.terminate()uid = str(uuid.uuid4())suid = ''.join(uid.split('-')) + ".wav"wf = wave.open(WAVE_OUTPUT_FILENAME + suid, 'wb')wf.setnchannels(CHANNELS)wf.setsampwidth(p.get_sample_size(FORMAT))wf.setframerate(RATE)wf.writeframes(b''.join(frames))wf.close()return JsonResponse({"code": 0, "data": suid, "msg": "ok"})

        用户输入用户名、密码、验证码点击登录按钮进行登录验证，登录成功后即可跳转到主界面，

要是输入为空、不正确的情况下都会有相应的错误提示语进行提示。

图6.1用户登录验证

6.1.1 用户管理模块

        用户登录成功后可以单击左边的用户管理模块，可以各个用户的信息进行新增、编辑、删除和查询(支持关键字模糊查询)等操作。

图6.2用户管理

6.1.1 文件语音识别

        该模块支持用户上传wav、mp3、flac、mp4、mov、mkv、avi、mpeg等类型格式的音频文件进行语音文字识别，还支持识别结果进行文本导出操作。

图6.3上传文件语音识别

6.1.1 录屏语音识别

        该模块支持使用电脑进行录音操作然后点击立即识别按钮即可进行语音文本识别，还支持识别结果进行文本导出操作。

图6.4录音语音识别