当前位置：首页 > news >正文

深度学习系列76：流式tts的一个简单实现

news 来源：原创 2025/5/25 22:28:40

1. 概述

使用queue，producer不断向queue中添加audio，然后consumer不断从queue中消费audio。
下面的样例使用melo来生成语音，需要先下载melo.tts。模型在https://myshell-public-repo-hosting.s3.amazonaws.com/openvoice/basespeakers/ZH/checkpoint.pth，config在https://myshell-public-repo-hosting.s3.amazonaws.com/openvoice/basespeakers/ZH/config.json。

2. 代码部分

from melo import utils
from melo.models import SynthesizerTrn
from melo.split_utils import split_sentences_zh
from melo.download_utils import load_or_download_config, load_or_download_model
from queue import Queue
from threading import Thread
import numpy as np
from pydub import playback
import torch, audiosegment
device = 'mps'
hps = load_or_download_config('ZH', use_hf=True, config_path=None)
num_languages = hps.num_languages
num_tones = hps.num_tones
symbols = hps.symbols
model = SynthesizerTrn(len(symbols),hps.data.filter_length // 2 + 1,hps.train.segment_size // hps.data.hop_length,n_speakers=hps.data.n_speakers,num_tones=num_tones,num_languages=num_languages,**hps.model,).to(device)
model.eval()
symbol_to_id = {s: i for i, s in enumerate(symbols)}
checkpoint_dict = load_or_download_model('ZH', device, use_hf=True, ckpt_path=None)
model.load_state_dict(checkpoint_dict['model'], strict=True)
def play(text):texts = text.split('。')speaker_id = 1def producer(queue):for i,t in enumerate(texts):bert, ja_bert, phones, tones, lang_ids = utils.get_text_for_tts_infer(t, 'ZH_MIX_EN', hps, device, symbol_to_id)with torch.no_grad():x_tst = phones.to(device).unsqueeze(0)tones = tones.to(device).unsqueeze(0)lang_ids = lang_ids.to(device).unsqueeze(0)bert = bert.to(device).unsqueeze(0)ja_bert = ja_bert.to(device).unsqueeze(0)x_tst_lengths = torch.LongTensor([phones.size(0)]).to(device)del phonesspeakers = torch.LongTensor([speaker_id]).to(device)audio = model.infer(x_tst,x_tst_lengths,speakers,tones,lang_ids,bert,ja_bert,sdp_ratio=0,noise_scale=0,noise_scale_w=0,length_scale=1,)[0][0, 0].data.cpu().float().numpy()del x_tst, tones, lang_ids, bert, ja_bert, x_tst_lengths, speakersqueue.put(audio)def consumer(queue):while True:audio = queue.get()    playback.play(audiosegment.from_numpy_array(audio.astype(np.float32),hps.data.sampling_rate))queue.task_done()q = Queue()q.put(np.zeros(int(hps.data.sampling_rate * 0.1)))t1 = Thread(target = producer, args=(q,))t2 = Thread(target=consumer, args=(q,))t2.daemon = True  # 线程2是无限循环需要设置守护线程以便主线程退出t1.start()t2.start()t1.join()  # 等待所有项被生产q.join()  # 等待所有项被消费text = "..."
play(text)

深度学习系列76：流式tts的一个简单实现

1. 概述使用queue，producer不断向queue中添加audio，然后consumer不断从queue中消费audio。下面的样例使用melo来生成语音，需要先下载melo.tts。模型在https://myshell-public-repo-hosting.s3.amazonaws.com/openvoice/basespeakers/ZH/ch…...

编程日记 2025/5/25 22:28:40

数据结构(三) 排序/并查集/图

目录 1. 排序 2.并查集 3.图 1.排序: 1.1 概念: 排序就是将数据按照某种规则进行排列, 具有某种顺序. 分为内排序和外排序. 内排序就是: 将数据放在内存中的排序; 外排序是: 数据太多无法在内存中排序的. 1.2 插入排序: 插入排序包含: 直接插入排序和希尔排序. (1) 直接插入…...

编程日记 2025/5/25 21:35:52

WPA Supplicant 技术详解

目录前言 1. 简介 2. 源码获取 3. 代码架构 3.1 模块结构 3.2. 主要文件和目录 3.3. 顶层模块 3.4 模块之间的关系 4. 工作流程简要描述启动加载配置初始化认证数据传输 5. 编译与安装 5.1 编译 5.1.1 libnl库与openssl库准备 5.1.2 修改配置文件 5.…...

编程日记 2025/5/25 21:20:46

Avalonia UI MVVM DataTemplate里绑定Command

Avalonia 模板里面绑定ViewModel跟WPF写法有些不同。需要单独绑定Command. WPF里面可以直接按照下面的方法绑定DataContext. <Button Content"Button" Command"{Binding DataContext.ClickCommand, RelativeSource{RelativeSource AncestorType{x:Type User…...

编程日记 2025/5/24 22:46:14

macOS如何进入 Application Support 目录（cd: string not in pwd: Application）

错误信息 cd: string not in pwd: Application 表示在当前目录下找不到名为 Application Support 的目录。可能的原因如下： 拼写错误或路径错误：确保你输入的目录名称正确。目录名称是区分大小写的，因此请确保使用正确的大小写。正确的目录名…...

编程日记 2025/5/25 3:07:12

【探索 Kali Linux】渗透测试与网络安全的终极操作系统

探索 Kali Linux：渗透测试与网络安全的终极操作系统在网络安全领域，Kali Linux 无疑是最受欢迎的操作系统之一。无论是专业的渗透测试人员、安全研究人员，还是对网络安全感兴趣的初学者，Kali Linux 都提供了强大的工具和灵活的环…...

编程日记 2025/5/25 10:06:07

《SwinIR：使用Swin-Transformer图像恢复》学习笔记

paper：2108.10257 GitHub：GitHub - JingyunLiang/SwinIR： SwinIR： 使用 Swin Transformer 进行图像修复 （官方仓库） 目录摘要 1、Introduction 2、Related Work 2.1 图像修复 2.2 视觉Transformer…...

编程日记 2025/5/25 21:32:15

AR智慧点巡检系统探究和技术方案设计

一、项目背景随着工业生产规模的不断扩大和设备复杂度的提升，传统的人工点巡检方式效率低下、易出错，难以满足现代化企业对设备运行可靠性和安全性的要求。AR（增强现实）技术的发展为点巡检工作带来了新的解决方案，通…...

编程日记 2025/5/25 20:32:09

电路研究9.2——合宙Air780EP使用AT指令

这里正式研究AT指令的学习了，之前只是接触的AT指令，这里则是深入分析AT指令了。软件的开发方式： AT：MCU 做主控，MCU 发 AT 命令给模组的开发方式，模组仅提供标准的 AT 固件， 所有的业务控制逻辑…...

编程日记 2025/5/25 21:22:49

OpenCV相机标定与3D重建(62)根据两个投影矩阵和对应的图像点来计算3D空间中点的坐标函数triangulatePoints()的使用

加粗样式- 操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述这个函数通过使用立体相机对3维点的观测，重建这些点的三维坐标（以齐次坐标表示）。 cv::triangula…...

编程日记 2025/5/25 22:10:48

基于ollama，langchain，springboot从零搭建知识库四【设计通用rag系统】

需求： 1：可以自定义管理大模型，可自行选择ollama，openai，千问等大模型 2：自定义向量数据库，支持pgvector，elasticsearch，milvus（这三个目前比较常用&#xff…...

编程日记 2025/5/23 19:16:02

【Go面试】工作经验篇（持续整合）

这里写目录标题什么是逃逸分析服务端怎么接受客户端上传的文件说一下对gin框架的理解gin有哪些常用中间件gin怎么用swagger写接口文档nginx一般是用来做什么如果调用方法经常超时怎么办gin中怎么和mysql通信从mysql调数据到redis,如何同步延时双删redis ,mysql都不存在用户请求…...

编程日记 2025/5/19 1:44:04

“腾讯、钉钉、飞书” 会议开源平替，免费功能强大

在数字化时代，远程办公和线上协作越来越火。然而，市面上的视频会议工具要么贵得离谱，要么功能受限，甚至还有些在数据安全和隐私保护上让人不放心。今天开源君给大家安利一个超棒的开源项目 - Jitsi Meet，这可是我在网…...

编程日记 2025/5/22 11:28:47

怎样使用树莓派自己搭建一套ADS-B信号接收系统

0 我们知道，ADS-B全称广播式自动相关监视系统，其实就是飞机发出的广播信号，用明码来对外发送自己的位置、高度、速度、航向等信息，是公开信息。连续接收到一架飞机发出的ADS-B信息后，可以通过其坐标点来描绘出飞机的航…...

编程日记 2025/5/24 15:41:30

终极的复杂，是简单

软件仿真拥有最佳的信号可见性和调试灵活性，能够高效捕获很多显而易见的常见错误，被大多数工程师熟练使用。空间领域应用的一套数据处理系统(Data Handling System)，采用抗辐FPGA作为主处理器，片上资源只包含10752个寄存器，软仿也是个挺花时间的事。 Few ms might take …...

编程日记 2025/5/25 10:34:26

粒子群算法笔记数学建模

引入: 如何找到全局最大值：如果只是贪心的话，容易被局部最大解锁定方法有：盲目搜索，启发式搜索盲目搜索：枚举法和蒙特卡洛模拟，但是样例太多花费巨量时间所以启发式算法就来了，通过经验和规…...

编程日记 2025/5/25 21:56:27

Vue.js 嵌套路由和动态路由

Vue.js 嵌套路由和动态路由在 Vue.js 开发中，Vue Router 是官方提供的路由管理器，用于构建单页应用（SPA）。它支持嵌套路由和动态路由，帮助开发者构建复杂的应用结构。嵌套路由嵌套路由允许在路由配置中定义子路由…...

编程日记 2025/5/25 21:29:17

Docker导入镜像

使用命令行进行处理： docker load < onething1_wxedge.tar如下图所示查看状态 docker images...

编程日记 2025/5/25 22:24:53

C# OpenCV机器视觉:红外体温检测

在一个骄阳似火的夏日，全球却被一场突如其来的疫情阴霾笼罩。阿强所在的小镇，平日里熙熙攘攘的街道变得冷冷清清，人们戴着口罩，行色匆匆，眼神中满是对病毒的恐惧。阿强作为镇上小有名气的科技达人，看着这一…...

编程日记 2025/5/21 7:33:22

STM32项目分享：智能厨房安全检测系统

目录一、前言二、项目简介 1.功能详解 2.主要器件三、原理图设计四、PCB硬件设计 PCB图五、程序设计六、实验效果七、资料内容项目分享一、前言项目成品图片： 哔哩哔哩视频链接： STM32智能厨房安全检测系统 （资料分…...

编程日记 2025/5/24 15:39:20

docker 安装 redis 详解

在平常的开发工作中，我们经常会用到 redis，那么 docker 下应该如何安装 redis 呢？简单来说：第一步：拉取redis镜像；第二步：设置 redis.conf 配置文件；第三步：编写 docker-…...

编程日记 2025/5/25 1:17:28

《探秘鸿蒙Next：人工智能助力元宇宙高效渲染新征程》

在元宇宙的宏大愿景中，高效的渲染技术是构建沉浸式虚拟世界的关键。鸿蒙Next凭借与人工智能的深度融合，为元宇宙的渲染带来了全新的解决方案和无限可能。智能场景分析与优化人工智能能够对元宇宙场景进行智能分析。鸿蒙Next可以利用AI技术对场景中的…...

编程日记 2025/5/25 14:59:33

nginx分发请求超时切换服务

nginx的upstream模块实现超时自动切换服务 upstream testfail {server 192.168.1.218 max_fails1 fail_timeout10s;server 192.168.1.129 max_fails1 fail_timeout10s;} max_fails代表失败尝试次数，达到设置的次数则视为该服务不可用， fail_timeout代…...

编程日记 2025/5/23 18:46:41

vulfocus/fastjson-cnvd_2017_02833复现

漏洞概述 Fastjson 是阿里巴巴开发的一个高性能的 Java 库，用于将 Java 对象转换成 JSON 格式（序列化），以及将 JSON 字符串转换回 Java 对象（反序列化）。 fastjson在解析json的过程中,支持使用type字段来指…...

编程日记 2025/5/24 15:23:20

.Net Core微服务入门全纪录（五）——Ocelot-API网关（下）

系列文章目录 1、.Net Core微服务入门系列（一）——项目搭建 2、.Net Core微服务入门全纪录（二）——Consul-服务注册与发现（上） 3、.Net Core微服务入门全纪录（三）——Consul-服务注…...

编程日记 2025/5/22 21:24:37

OpenCV imread函数读取图像__实例详解

OpenCV imread函数读取图像__实例详解本文目录： 零、时光宝盒一、imread函数定义二、imread函数支持的文件格式三、imread函数flags参数详解 （3.1）、Flags-1时，样返回加载的图像（使用alpha通道，否…...

编程日记 2025/5/21 5:44:05

GPSd定时检测保活TCP GPS源

为了在 TCP GPS 源丢失连接时自动重新连接，可以编写一个监控脚本，定期检查 gpspipe 输出中的 TCP 源数据是否存在。如果检测到丢失，则使用 gpsdctl 或直接命令重新添加 TCP 源。 1、工具检查并安装必要工具，本例需要使用 gpspi…...

编程日记 2025/5/25 18:15:30

得物App亮相第七届进博会，科技赋能打造消费新热点

在2024年11月5日至11月10日举办的第七届进博会舞台上，上海交易团虹口分团表现亮眼，其中得物作为来自虹口品质电商的践行者，备受众多参观者关注。上海得物信息集团有限公司自2015年于上海虹口创立以来，始终坚守“满足年轻人对美好…...

编程日记 2025/5/16 10:40:32

单片机内存管理剖析

一、概述在单片机系统中，内存资源通常是有限的，因此高效的内存管理至关重要。合理地分配和使用内存可以提高系统的性能和稳定性，避免内存泄漏和碎片化问题。单片机的内存主要包括程序存储器（如 Flash）和数据存储器&a…...

编程日记 2025/5/21 14:00:07

用Python绘制一只懒羊羊

目录一、准备工作二、Turtle库简介三、绘制懒羊羊的步骤 1. 导入Turtle库并设置画布 2. 绘制头部 3. 绘制眼睛 4. 绘制嘴巴 5. 绘制身体 6. 绘制四肢 7. 完成绘制五、运行代码与结果展示六、总结在这个趣味盎然的技术实践中，我们将使用Python和Turtle图形…...

编程日记 2025/5/22 11:00:38

Python 预训练：打通视觉与大语言模型应用壁垒——Python预训练视觉和大语言模型

大语言模型是一种由包含数百亿甚至更多参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标签文本进行训练，是深度学习之后的又一大人工智能技术革命。大语言模型的发展主要经历了基础模型阶段(2018 年到2021年)、能力探索阶段(2019年…...

编程日记 2025/5/24 17:01:22

神经网络梯度爆炸的原因及解决方案

在深度学习中，梯度爆炸（gradient exploding）是一种常见的训练问题，尤其是在深层神经网络中。梯度爆炸指的是在反向传播过程中，梯度值呈指数级增长，导致网络权重的大幅更新，从而使得网络变得不稳…...

编程日记 2025/5/24 16:19:06

WPS不登录无法使用基本功能的解决方案

前言 WPS不登录无法使用基本功能的原因通常是为了同步数据、提供更多高级功能或满足软件授权要求。‌然而，一些用户可能出于隐私或便捷性的考虑，不愿意登录账号。在这种情况下，WPS可能会限制未登录用户的使用权限，导致工具栏变灰…...

编程日记 2025/5/24 10:40:23

蓝桥杯lesson3---string的使用

🌈个人主页：羽晨同学 💫个人格言:“成为自己未来的主人~” string的概念 string字符串是一种更加高级的封装，string字符串中包含了大量的方法，这些方法使得字符串的操作变得更加简单，string的使用&…...

编程日记 2025/5/24 16:18:19

Java设计模式三工厂方法模式 (Factory Method Pattern)

工厂方法模式 (Factory Method Pattern) 是一种常见的创建型设计模式，旨在通过定义一个接口来创建对象，而将实例化对象的具体类延迟到子类中。工厂方法模式允许客户端通过工厂方法来创建对象，而不需要直接调用构造函数，这样可以减…...

编程日记 2025/5/22 17:39:23

日志收集Day005

1.filebeat的input类型之filestream实战案例: 在7.16版本中已经弃用log类型,之后需要使用filebeat,与log不同，filebeat的message无需设置就是顶级字段 1.1简单使用： filebeat.inputs: - type: filestreamenabled: truepaths:- /tmp/myfilestream01.lo…...

编程日记 2025/5/24 16:17:38

java开发，IDEA转战VSCODE配置（mac）

一、基本java开发环境配置前提：已经安装了jdk、maven、vscode，且配置了环境变量 1、安装java相关的插件 2、安装spring相关的插件 3、vscode配置maven环境打开 VsCode -> 首选项 -> 设置，也可以在setting.json文件中直接编辑&…...

编程日记 2025/5/22 10:34:27

Effective C++读书笔记——item23（用非成员，非友元函数取代成员函数）

一、主要观点： 在某些情况下，使用 non-member、non-friend 函数来替换 member 函数可以增强封装性和可扩展性，提供更好的软件设计。二、详细解释： 封装性： 类成员函数的封装性考量：成员函数可以访问类的…...

编程日记 2025/5/21 10:37:18

（3）STM32 USB设备开发-USB存储设备

例程：STM32USBdevice: 基于STM32的USB设备例子程序 - Gitee.com 本篇为使用芯片内部flash作为USB存储设备的例程，没有知识，全是实操，按照步骤就能获得一个STM32的U盘。本例子是在野火F103MINI开发板上验证的，如果代码…...

编程日记 2025/5/25 0:20:52

考研408笔记之数据结构（五）——图

数据结构（五）——图 1. 图的基本概念 1.1 图的定义 1.2 有向图和无向图在有向图中，使用圆括号表示一条边，圆括号里元素位置互换没有影响。在无向图中，使用尖括号表示一条边，尖括号里元素位置互换则表示…...

编程日记 2025/5/22 21:59:45

【博客之星】年度总结：在云影与墨香中探寻成长的足迹

🐇明明跟你说过：个人主页 🔖行路有良友，便是天堂🔖 目录一、年度回顾 1、创作历程 2、个人成长 3、个人生活与博客事业二、技术总结 1、赛道选择 2、技术工具 3、实战项目三、前景与展望 1、云原生未来…...

编程日记 2025/5/22 12:04:06

springboot 调用 c++生成的so库文件

一、创建c文件 SoTest.h #pragma once class SoTest {int Add(int a,int b); };SoTest.cpp #include "SoTest.h"int SoTest::Add(int a, int b) {return a b; }二、创建so文件 /home/ubuntu/projects/SoTest/bin/x64/Debug/libSoTest.so 三、java代码 Maven依…...

编程日记 2025/5/24 16:03:35

简识JVM栈帧中的操作数栈

在JVM（Java虚拟机）中，栈帧（Stack Frame）是方法执行时的数据结构，用于存储局部变量、操作数栈、方法返回地址等信息。其中，操作数栈（Operand Stack）是栈帧中的一个重要组…...

编程日记 2025/5/23 7:40:32

在 Kubernetes 上快速安装 KubeSphere v4.1.2

目录标题安装文档配置repo安装使用插件安装文档在 Kubernetes 上快速安装 KubeSphere 配置repo export https_proxy10.10.x.x:7890 helm repo add stable https://charts.helm.sh/stable helm repo update安装 helm upgrade --install -n kubesphere-system --create-name…...

编程日记 2025/5/22 12:02:18

腾讯 Hunyuan3D-2：高分辨率3D 资产生成

腾讯 Hunyuan3D-2：高分辨率 3D 资产生成的突破前言在当今数字化时代，3D 资产生成技术正变得越来越重要。无论是游戏开发、影视制作还是虚拟现实领域，高质量的 3D 模型和纹理都是创造沉浸式体验的关键。然而，传统的 3D 资产制作…...

编程日记 2025/5/24 8:22:35

论文阅读--Qwen22.5技术报告

Qwen2 1 引言所有模型都是在超过7 trillion token（7万亿）的高质量、大规模数据集上预训练的 2 Tokenizer & Model 2.1 Tokenizer 沿用Qwen（Bai等人，2023a）的做法，我们采用了基于字节级字节对编码…...

编程日记 2025/5/23 23:52:09

python如何导出数据到excel文件

python导出数据到excel文件的方法： 1、调用Workbook()对象中的add_sheet()方法 wb xlwt.Workbook() ws wb.add_sheet(A Test Sheet) 2、通过add_sheet()方法中的write()函数将数据写入到excel中，然后使用save()函数保存excel文件 ws.write(0, 0, 1234…...

编程日记 2025/5/25 16:10:51

pyhton学习笔记（三）

目录 1.变量 2.变量的命名规则 3.常用函数汇总 4.常用数据类型汇总 5.算术运算符 6.比较运算符和逻辑运算符 7.常见的三种格式化输出方法 8.分支语句 1.变量变量就是可以变化的量，可以理解为是一个存储东西的盒子，盒子里面可以放一些程序里需要…...

编程日记 2025/5/25 6:41:32

时间类型数据处理：基于Python的datetime库和pandas库

一、datetime库常用方法日期的数据类型主要有两种：一是包含时间的datetime类型，二是不包含时间的date类型。这里的时间指具体的时、分、秒、甚至毫秒。 1、自定义日期、时间、获取本地时间、获取本地日期、获取年份、月份、月号、小时、分钟、秒、星期…...

编程日记 2025/5/25 20:13:21

CPU 缓存基础知识

并发编程首先需要简单了解下现代CPU相关知识。通过一些简单的图，简单的代码，来认识CPU以及一些常见的问题。目录 CPU存储与缓存的引入常见的三级缓存结构缓存一致性协议MESI协议缓存行 cache line 通过代码实例认识缓存行的重要性 CPU指令的乱序执行通过…...

编程日记 2025/5/22 1:17:02

1. 概述

2. 代码部分

相关文章：