AI-Sphere-Butler之如何将豆包桌面版对接到AI全能管家~新玩法（一）
环境：
AI-Sphere-Butler
VBCABLE2.1.58
Win10专业版
豆包桌面版1.47.4
ubuntu22.04
英伟达4070ti 12G
python3.10
问题描述：
AI-Sphere-Butler之如何将豆包桌面版对接到AI全能管家~新玩法（一）
聊天视频：
AI真人版豆包来了，AI全能管家新玩法。
解决方案：
1.先安装VBCABLE2.1.58工具，采集豆包音频
“VBCABLE_Driver_Pack45win10” 指的是适用于 Windows 10 系统的 VBCABLE 驱动程序包，版本号可能是 45 。“VBCABLE” 可能是该驱动相关的产品或技术名称，“Driver_Pack” 明确是驱动程序包，而 “win10” 表明其适用的操作系统为 Windows 10 。例如，可能是一种虚拟音频电缆相关的驱动包，用于在 Windows 10 系统上实现特定音频功能。
下载完软件安装x64版
继续安装
2.打开电脑声音设置找到应用音量和设备首选项
3.将豆包程序的输出设备选择CABLEInput
4.自行安装python和安装依赖：
pip install flask flask-sockets gevent gevent-websocket
5.编写采集豆包声音客户端
Collection.py文件内容：
import asyncio
import sounddevice as sd
import websockets
import numpy as np
import signal
import threading
import time
from collections import dequeINPUT_RATE = 16000
CHANNELS = 1
FRAME_SIZE = 640
WS_URL = "ws://192.168.1.4:8020"#websockets服务地址
SILENCE_THRESHOLD = 1000stop_event = threading.Event()
signal.signal(signal.SIGINT, lambda s, f: stop_event.set())class AudioBuffer:def __init__(self, max_frames=20):self.buffer = deque(maxlen=max_frames)self.lock = threading.Lock()def put(self, frame_bytes):with self.lock:if len(self.buffer) == self.buffer.maxlen:self.buffer.popleft()print("[BUF] Buffer full, dropping oldest frame")self.buffer.append(frame_bytes)def get_all(self):with self.lock:frames = list(self.buffer)self.buffer.clear()return framesdef size(self):with self.lock:return len(self.buffer)def is_voice(data_np):energy = np.mean(data_np.astype(np.float32) ** 2)return energy > SILENCE_THRESHOLDdef audio_callback(indata, frames, time_info, status, audio_buffer):if status:print(f"[CAP] Warning: {status}")audio_np = indata[:, 0]ts = time.time()if is_voice(audio_np):frame = audio_np.tobytes()#print(f"[CAP] Voice frame captured at {ts:.3f}s, energy sufficient")else:frame = (np.zeros_like(audio_np)).tobytes()#print(f"[CAP] Silence frame at {ts:.3f}s")audio_buffer.put(frame)async def sender(ws, audio_buffer):while not stop_event.is_set():frames = audio_buffer.get_all()if not frames:await asyncio.sleep(0.005)continuefor frame in frames:try:await ws.send(frame)#print(f"[SND] Sent frame size={len(frame)} at {time.time():.3f}s, buffer size={audio_buffer.size()}")except Exception as e:print(f"[SND] Send error: {e}")stop_event.set()returnasync def capture_and_send(ws):audio_buffer = AudioBuffer(20)device_index = Nonedevices = sd.query_devices()for i, d in enumerate(devices):if "CABLE" in d['name'] and d['max_input_channels'] >= CHANNELS:device_index = ibreakif device_index is None:device_index = sd.default.device[0]print(f"[SYS] Using device #{device_index}: {devices[device_index]['name']}")send_task = asyncio.create_task(sender(ws, audio_buffer))with sd.InputStream(samplerate=INPUT_RATE,device=device_index,channels=CHANNELS,dtype='int16',blocksize=FRAME_SIZE,callback=lambda indata, frames, time_info, status:audio_callback(indata, frames, time_info, status, audio_buffer)):print("[SYS] Recording started.")while not stop_event.is_set():await asyncio.sleep(0.1)send_task.cancel()try:await send_taskexcept asyncio.CancelledError:passprint("[SYS] Recording stopped.")async def main():print(f"[SYS] Connecting to {WS_URL}")try:async with websockets.connect(WS_URL) as ws:print("[SYS] Connected.")await capture_and_send(ws)except Exception as e:print(f"[ERR] Connection error: {e}")if __name__ == '__main__':asyncio.run(main())6.主程序引入模块文件websocket_service.py：
AI-Sphere-Butler\core\server\virtual_human\websocket_service.py
import asyncio
import uuid
import websockets
import multiprocessing
import queueMAX_QUEUE_SIZE = 10def enqueue_audio_data(audio_queue, data):try:audio_queue.put_nowait(data)except queue.Full:try:discarded = audio_queue.get_nowait()print("[WSrv] 丢弃过旧音频包，防止积压")except queue.Empty:passtry:audio_queue.put_nowait(data)except queue.Full:# print("[WSrv] 队列满，丢弃当前音频包")passasync def audio_handler(websocket, audio_queue: multiprocessing.Queue):session_id = str(uuid.uuid4())# print(f"[WSrv] Session {session_id} connected")try:async for raw in websocket:if isinstance(raw, (bytes, bytearray)):enqueue_audio_data(audio_queue, (session_id, raw))# print(f"[WSrv] Queued {len(raw)} bytes from {session_id}")else:# print(f"[WSrv] Ignored non-binary message from {session_id}")passexcept websockets.exceptions.ConnectionClosed:passfinally:# print(f"[WSrv] Session {session_id} disconnected")passasync def run_server(audio_queue: multiprocessing.Queue, host='0.0.0.0', port=8020):async def handler(websocket):await audio_handler(websocket, audio_queue)server = await websockets.serve(handler, host, port)# print(f"[WSrv] Listening on ws://{host}:{port}")await asyncio.Future() if __name__ == "__main__":q = multiprocessing.Queue(maxsize=MAX_QUEUE_SIZE)asyncio.run(run_server(q))7.运行采集客户端和AI-Sphere-Butler服务
8.这样就可以和豆包聊天，驱动AI全能管家数字人说话了
相关文章：
AI-Sphere-Butler之如何将豆包桌面版对接到AI全能管家~新玩法（一）
环境： AI-Sphere-Butler VBCABLE2.1.58 Win10专业版 豆包桌面版1.47.4 ubuntu22.04 英伟达4070ti 12G python3.10 问题描述： AI-Sphere-Butler之如何将豆包桌面版对接到AI全能管家~新玩法（一） 聊天视频： AI真…...
为什么android要使用Binder机制
1.linux中大多数标准 IPC 场景（如管道、消息队列、ioctl 等）的进程间通信机制 ------------------ ------------------ ------------------ | 用户进程 A | | 内核空间 | | 用户进程 B | | (User Spa…...
Apache SeaTunnel Flink引擎执行流程源码分析
目录 1. 任务启动入口 2. 任务执行命令类：FlinkTaskExecuteCommand 3. FlinkExecution的创建与初始化 3.1 核心组件初始化 3.2 关键对象说明 4. 任务执行：FlinkExecution.execute() 5. Source处理流程 5.1 插件初始化 5.2 数据流生成 6. Transform处理流程 6.1 插…...
XML读取和设置例子
在Qt C中，可以使用Qt的 QDomDocument类来读取、更新和保存XML文件。这个类提供了对XML文档的强大操作能力，支持通过DOM（文档对象模型）对XML进行读取、修改、添加和删除节点等操作。 下面是一个详细的例子，演示如何在Qt…...
数据标注师学习内容
目录 文本标注词性标注实体标注 图像标注语音标注 文本标注 词性标注 第一篇 第二篇 实体标注 点击这里 关系标注 事件标注 意图标注 关键词标注 分类标注 问答标注 对话标注 图像标注 拉框标注 关键点标注 2D标注 3D标注 线标注 目标跟踪标注 OCR标注 图像分类标注 语音…...
如何实现财务自由
如果有人告诉你，普通人也可以在5到10年内，而不是40到50年后实现财务自由、彻底退休，你会不会觉得对方在开玩笑？但这并非天方夜谭，《百万富翁快车道》的作者MJ德马科就是成功案例。他曾和多数人一样做底层工作ÿ…...
一些想法。。。
1.for里面的局部变量这种还是在for里面定义比较好 比如 for(int i 0;i<n;i){ int num; cin>>num; } 实不相瞒，有一次直接cin了i怎么都没看出来哪里错了。。。 2.关于long long 如果发现中间结果大约是10^9，就要考虑int 溢出 即用 long …...
基于分布式部分可观测马尔可夫决策过程与联邦强化学习的低空经济智能协同决策框架
基于分布式部分可观测马尔可夫决策过程与联邦强化学习的低空经济智能协同决策框架 摘要： 低空经济作为新兴战略产业，其核心场景（如无人机物流、城市空中交通、低空监测）普遍面临环境动态性强、个体观测受限、数据隐私敏感及多智能体协同复杂等挑战。本文创新性地提出一种深…...
github常用插件
一，文档辅助阅读系列：自动化wiki处理 1，deepwiki https://deepwiki.com/ 将我们看不懂的官方code文档转换为wiki，更加便于理解。 其实能够翻阅的仓库很有限，比如说： 但是有很多仓库并没有indexÿ…...
python3字典
1 字典简介 字典是一种可变容器模型，且可存储任意类型对象。字典每个基本元素都包括两个部分： 键（key）和键对应的值（value） 每个键值 key>value 对用冒号: 分割，每个对之间用逗号(,)分割&am…...
华为云 Flexus+DeepSeek 征文｜增值税发票智能提取小工具：基于大模型的自动化信息解析实践
华为云 FlexusDeepSeek 征文｜增值税发票智能提取小工具：基于大模型的自动化信息解析实践 前言背景 企业财务处理中，增值税发票信息手动提取存在效率低、易出错等痛点，华为云 Flexus 弹性算力联合 DeepSeek 大模型，通过…...
[特殊字符] OpenCV opencv_world 模块作用及编译实践完整指南
📌 什么是 opencv_world 模块？ opencv_world 是 OpenCV 官方提供的一个 大型集成动态库。它将 OpenCV 所有启用的模块（例如 core, imgproc, highgui, videoio, dnn, photo 等）打包到一个单一的动态库文件（如 Linux 的…...
目标检测之YOLOv5到YOLOv11——从架构设计和损失函数的变化分析
YOLO（You Only Look Once）系列作为实时目标检测领域的标杆性框架，自2016年YOLOv1问世以来，已历经十余年迭代。本文将聚焦YOLOv5（2020年发布）到YOLOv11（2024年前后）的核心技术演进&am…...
Java的SpringAI+Deepseek大模型实战【二】
文章目录 背景交互方式1、等待式问答2、流式问答 设置角色环绕增强1）修改controller2）修改配置日志级别 处理跨域 背景 上篇【Java的SpringAIDeepseek大模型实战【一】】搭建起浏览器交互的环境，如何进行流式问答，控制台打印日志…...
OpenCV——霍夫变换
霍夫变换 一、霍夫变换原理二、霍夫线检测2.1、标准霍夫变换2.2、概率霍夫变换 三、霍夫圆检测3.1、霍夫圆检测的原理3.2、霍夫梯度法 一、霍夫变换原理 霍夫变换（Hough TRansform）是从图像中识别几何图形的基本方法，由Paul Hough于1962年提…...
线程池 JMM 内存模型
线程池 & JMM 内存模型 文章目录 线程池 & JMM 内存模型线程池线程池的创建ThreadPoolExecutor 七大参数饱和策略ExecutorService 提交线程任务对象执行的方法：ExecutorService 关闭线程池的方法：线程池最大线程数如何确定？ volatile…...
PillarNet: Real-Time and High-PerformancePillar-based 3D Object Detection
ECCV 2022 paper：[2205.07403] PillarNet: Real-Time and High-Performance Pillar-based 3D Object Detection code：https://github.com/VISION-SJTU/PillarNet-LTS 纯点云基于pillar3D检测模型 网络比较 SECOND 基于vo…...
配电抢修场景案例
以配电抢修场景为例来展示关键业务活动。配电抢修愿景分成业务逻辑、业务活动、业务特征、技术支撑、KPI五个层次，分别从策略、执行、评价、资源、协同5个方面描述配电抢修愿景的关键业务活动。...
H5新增属性
✅ 一、表单相关新增属性（Form Attributes） 这些属性增强了表单功能，提升用户体验和前端验证能力。 1. placeholder 描述：在输入框为空时显示提示文本。示例： <input type"text" placeholder"请输…...
C# Task 模式实现 Demo（含运行、暂停、结束状态）
下面是一个完整的 C# Task 实现示例，包含运行(Running)、暂停(Paused)和结束(Completed)状态控制： 1. 基本实现（使用 CancellationToken 控制） using System; using System.Threading; using System.Threading.Tasks;public cla…...
Docker健康检查
目录 1.命令 2.验证 1.命令 docker run -itd --name nginx -v data:/etc/nginx/ -v log:/var/log/ -p 8080:80 \ --health-cmd"curl http://127.0.0.1:80" \ --health-interval30s \ --health-timeout5s \ --health-retries3 \ --health-start-period18s \ nginx:…...
Linux笔记---线程控制
1. 线程创建：pthread_create() pthread_create() 是 POSIX 线程库（pthread）中用于创建新线程的函数。调用该函数后系统就会启动一个与主线程并发的线程，并使其跳转到入口函数处执行。 #include <pthread.h>int pthread_cr…...
【AI论文】扩展大型语言模型（LLM）智能体在测试时的计算量
摘要：扩展测试时的计算量在提升大型语言模型（LLMs）的推理能力方面已展现出显著成效。在本研究中，我们首次系统地探索了将测试时扩展方法应用于语言智能体，并研究了该方法在多大程度上能提高其有效性。具体而言…...
Spring--IOC容器的一些扩展属性
一、BeanFactoryPostProcessor和BeanPostProcessor BeanFactoryPostProcessor的作用是在实例化前修改BeanDefinition的属性 BeanPostProcessor的作用是在bean完成创建实例、填充属性之后，初始化阶段的前后都会对bean进行操作，使用postProcessBeforeIni…...
WebClient 功能介绍，使用场景，完整使用示例演示
WebClient 功能介绍 WebClient 是 Spring 5 中引入的响应式 HTTP 客户端，用于替代已弃用的 RestTemplate，专为异步非阻塞编程设计，基于 Reactor 框架实现。其核心功能包括： 异步与非阻塞 通过 Mono 和 Flux 处理请求与响应&#…...
[Java 基础]ArrayList
ArrayList 类是一个可以动态修改的数组，与普通数组的区别就是它是没有固定大小的限制。 ArrayList 的示意可以看 VCR：https://visualgo.net/en/array 创建 ArrayList 对象 final ArrayList<String> strings new ArrayList<>();这里创建 …...
用无人机和AI守护高原净土：高海拔自然保护区的垃圾检测新方法
这篇题为《Automatic Detection of Scattered Garbage Regions Using Small Unmanned Aerial Vehicle Low-Altitude Remote Sensing Images for High-Altitude Natural Reserve Environmental Protection》的论文，发表于 Environmental Science & Technology&am…...
《Redis高并发优化策略与规范清单：从开发到运维的全流程指南》
Redis高并发优化策略与规范清单：从开发到运维的全流程指南 在互联网应用的后端架构中，Redis凭借其高性能、高并发的特性，成为缓存和数据存储的首选方案。无论是电商抢购、社交平台的点赞计数，还是在线旅游平台的实时数据查询&…...
Linux基本指令篇 —— man指令
man命令是Linux系统中最重要的命令之一，它是"manual"（手册）的缩写，用于查看Linux系统中命令、函数、配置文件等的详细说明文档。man命令是Linux系统管理员和开发者的必备工具，熟练掌握man命令可以大大提高工…...
Spring Boot使用MCP服务器
1、JDK版本17 2、pom文件 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apac…...
学习Linux进程冻结技术
原文：蜗窝科技Linux进程冻结技术 功耗中经常需要用到，但是linux这块了解甚少，看到这个文章还蛮适合我阅读的 1 什么是进程冻结 进程冻结技术（freezing of tasks）是指在系统hibernate或者suspend的时候，将…...
Docker基本概念——AI教你学Docker
1.1 Docker 概念详解 1. Docker 是什么？ Docker 是一个开源的应用容器引擎，它让开发者可以将应用及其依赖打包到一个可移植的容器（Container）中，并在任何支持 Docker 的 Linux、Windows 或 macOS 系统上运行。这样做…...
第十六届蓝桥杯C/C++程序设计研究生组国赛 国二
应该是最后一次参加蓝桥杯比赛了，很遗憾，还是没有拿到国一。 大二第一次参加蓝桥杯，印象最深刻的是居然不知道1s是1000ms，花了很多时间在这题，后面节奏都乱了，抗压能力也不行，身体也不适。最后…...
Python 数据分析与可视化 Day 5 - 数据可视化入门（Matplotlib Seaborn）
🎯 今日目标 掌握 Matplotlib 的基本绘图方法（折线图、柱状图、饼图）掌握 Seaborn 的高级绘图方法（分类图、分布图、箱线图）熟悉图像美化（标题、标签、颜色、风格）完成一组学生成绩数据的可视化…...
WebRTC（八）：SDP
SDP 概念 SDP 是一种描述多媒体通信会话的文本格式（基于 MIME，RFC 4566）。本身 不传输数据，仅用于在会话建立阶段传递信息。常与 SIP（VoIP）、RTSP、WebRTC 等协议配合使用。 用途 描述媒体类型…...
《哈希表》K倍区间（解题报告）
文章目录 零、题目描述一、算法概述二、算法思路三、代码实现四、算法解释五、复杂度分析 零、题目描述 题目链接：K倍区间 一、算法概述 计算子数组和能被k整除的子数组数量的算法。通过前缀和与哈希表的结合，高效地统计满足条件的子数组。 需要注…...
牛津大学开源视频中的开放世界目标计数！
视频中的开放世界目标计数 GitHub PaPer Niki Amini-Naieni nikianrobots.ox.ac.uk Andrew Zisserman azrobots.ox.ac.uk 视觉几何组（VGG），牛津大学，英国 图 1：视频中的目标计数：给定顶行的视频&#…...
1.2、CAN总线帧格式
1、帧类型 2、帧类型介绍 （1）数据帧 扩展格式是为了扩展ID，ID号每4位一个字节（11位最大ID号为0x7FF） （2）遥控帧 遥控帧由于没有Data，所以DLC可能没有意义，可给任意值&am…...
DeepSeek今天喝什么随机奶茶推荐器
用DeepSeek生成了一个随机奶茶推荐器-今天喝什么，效果非常棒！UI界面美观。 提示词prompt如下 用html5帮我生成一个今天喝什么的网页 点击按钮随机生成奶茶品牌等，要包括中国常见的知名的奶茶品牌 如果不满意还可以随机再次生成 ui界面要好看 …...
词编码模型怎么进行训练的，输出输入是什么，标签是什么
词编码模型怎么进行训练的，输出输入是什么，标签是什么 词编码模型的训练本质是通过数据驱动的方式，将离散的文本符号映射为连续的语义向量。 一、训练机制：从符号到向量的映射逻辑 1. 核心目标 将单词/子词（Token）映射为低维向量，使语义相关的词在向量空间中距离更近…...
LSTM、GRU 与 Transformer网络模型参数计算
参数计算公式对比 模型类型参数计算公式关键组成部分LSTM4 (embed_dim hidden_size hidden_size hidden_size)4个门控结构GRU3 (embed_dim hidden_size hidden_size hidden_size)3个门控结构Transformer (Encoder)12 embed_dim 9 embed_dim ff_dim 14 embed_dim…...
nnv开源神经网络验证软件工具
一、软件介绍 文末提供程序和源码下载 用于神经网络验证的 Matlab 工具箱，该工具箱实现了可访问性方法，用于分析自主信息物理系统 （CPS） 领域中带有神经网络控制器的神经网络和控制系统。 二、相关工具和软件 该工具箱利用神经…...
SQLite3 在嵌入式系统中的应用指南
SQLite3 在嵌入式系统中的应用指南 一、嵌入式系统中 SQLite3 的优势 SQLite3 是嵌入式系统的理想数据库解决方案，具有以下核心优势： 特性嵌入式系统价值典型指标轻量级适合资源受限环境库大小：500-700KB零配置无需数据库管理员开箱即用无…...
原生微信小程序网络请求与上传接口封装实战指南
本文基于微信小程序原生 API，封装 request 和 uploadFile 接口，最终实现统一请求管理、请求拦截、错误处理等能力。 📦 一、为什么要封装网络请求？ 微信小程序提供了 wx.request 和 wx.uploadFile 原生 API，但直接使用…...
电路图识图基础知识-塔式起重机控制电路识图与操作要点（三十五）
引言： 塔式起重机作为建筑施工中不可或缺的大型起重运输机械设备，其控制电路的识图与操作对于确保施工安全和效率至关重要。本文将详细介绍塔式起重机的控制电路识图，帮助操作人员更好地理解和掌握其工作原理。 一、塔式起重机概述 塔式起重…...
基于SpringBoot + Vue 的网上拍卖系统
基于springbootvue的在线拍卖系统| Java | vue | 配万字文档 | springboot001 〔运行环境〕 Java版本：jdk1.8 node版本：13.x python版本：2.7 IDE类型：idea或exlipse 数据库：MySQL（5.x或8.x版本都…...
用 EXCEL/WPS 实现聚类分析：赋能智能客服场景的最佳实践
聚类分析作为无监督学习的核心技术，能在客服数据中发现隐藏的用户群体或问题模式。尽管 Excel/WPS 并非专业统计软件，但巧妙利用其内置功能，也能实现基础的聚类分析，为中小型客服团队提供快速洞察。以下介绍具体方法及智能客服场景…...
利用mold加快rust程序构建
我用rust的cargo build命令编译polars-cli时，用时达到14分钟，如下所示。 Finished dev profile [unoptimized debuginfo] target(s) in 14m 19s，通过核对时间戳，发觉其中最后一步生成可执行文件花了6分钟。 于是向DeepSeek请教&a…...
leetcode543-二叉树的直径
leetcode 543 思路 路径长度计算：任意两个节点之间的路径长度，等于它们的最低公共祖先到它们各自的深度之和递归遍历：通过后序遍历（左右根）计算每个节点的左右子树深度，并更新全局最大直径深度与直径的关…...
（三）yolov5——模型训练
一、准备数据 先准备一个MP4的视频 1.测试一帧 使用opencv来提取每一个视频的帧 先使用以下代码查看一帧的内容，是否符合预期 import cv2 import matplotlib.pyplot as plt# 打开视频文件 video cv2.VideoCapture("111.mp4") # 读取一帧 ret, frame…...