当前位置：首页 > news >正文

人工智能增强的音频和聊天协作服务

news 来源：原创 2025/6/20 23:06:28

论文标题：AI-enabled Audio and Chat Collaboration Services

中文标题：人工智能增强的音频和聊天协作服务

作者信息：

Emil P. Andersen, Norwegian Defence Research Establishment (FFI), Kjeller, Norway
Jesper R. Goksør, Sindre E. Halleraker, Ole P. Myhre, Tobias S. Omdal, Herman H. Seternes, Leander S. Thorstad, Norwegian University of Science and Technology (NTNU), Trondheim, Norway
Frank T. Johnsen, Simen Kvalø, Norwegian Defence Research Establishment (FFI), Kjeller, Norway

论文出处：MILCOM 2024 - 2024 IEEE Military Communications Conference (MILCOM)

摘要
本文研究了一种改善战术边缘使用的音频服务的方法，这些服务适用于网络环境被描述为断开、间歇和有限（DIL）的情况。研究者们考虑使用较新的人工智能语音识别系统，即Vosk和OpenAI的Whisper，为服务带来转录功能。将语音音频转换为文本将减轻网络的负担，这在DIL环境中是一个重要的考虑因素。为了展示改善音频服务的方法，研究者们引入了一个语音转文本（STT）应用程序，该程序实现了Vosk和Whisper作为转录模块。应用程序构建在包含转录、消息传递和VoIP的技术栈上。除了具有STT功能外，还实现了反向功能：文本转语音模块，将文本消息转换回音频供接收者收听。论文讨论了应用程序的设计和架构，详细说明了如何使用一套技术构建技术栈，这些技术有利于在DIL网络中使用的音频服务。应用程序需要在资源稀缺的战术边缘工作，因此评估了实现的转录器的资源使用情况。最后，研究了两种转录器的准确性，以评估它们提供的服务质量。

引言
北约IST-201研究任务组专注于在DIL环境中支持服务的互操作性及其对将来联合任务网络（FMN）的潜在影响。IST-201特别关注通信和协作服务，旨在改善北约任务中多国合作的战术层面。本文讨论了人工智能（AI）如何用于改善音频服务，改善包括三个方面：首先，使用AI进行音频处理可以获得STT功能，便于与基于文本的即时消息服务集成；其次，结合基于文本的聊天和生成性AI，可以获得文本到语音（TTS）功能，允许文本消息被朗读给接收者；第三，传输文本而非音频需要更少的数据，显著减轻网络负载。本文讨论了一个实际的设计和实现，该实现已作为开源发布，以惠及研究社区。

相关工作
IST-201的目标是研究改善和支持DIL环境中协作服务的方法。该组的第一篇论文[4]专注于实验基于AI的音频编解码器，以改善战术边缘的音频服务质量（QoS）。实验表明，谷歌开发的基于AI的音频编解码器Lyra[5]与目前北约低数据速率通信中使用的标准化编解码器表现相似。这些实验在理想条件下进行，并进行了客观测试。为了更好地理解基于AI的音频编解码器（如谷歌Lyra）的好处，可能需要在更现实的网络环境中进行实验，并进行主观测试。IST-176组专注于将物联网（IoT）应用于使用标准化技术连接武装力量[6]。IST-150组则致力于提供战术级别服务的建议，他们确定发布/订阅协议MQTT是战术联合系统中交换信息的合适选择[7]。本文扩展了如何使用MQTT作为音频服务间数据交换的方法。

技术
应用程序的技术栈由三个部分组成：转录、消息传递和VoIP，大部分使用Python构建，部分使用C++。设计围绕几个基础组件：首先是Linphone音频软件用于VoIP，因为它已经在IST201的第一轮实验中使用过，其中评估了编解码器[4]。其次是MQTT作为发布/订阅组件，实现消息传递并将软件跨网络集成。剩余的软件实现列表见表I。大多数代码用Python编写，Linphone Python库用C++编写。

系统架构
为了提供应用程序架构的概览，使用了4+1架构视图模型。这个模型包括逻辑视图、过程视图、开发视图和物理视图。

测试
测试部分包括STT性能测试、功能测试、资源测试和准确性测试。STT性能测试比较了Vosk和Whisper两个STT组件的准确性、错误率和速度。功能测试验证了应用程序的各项功能和非功能需求。资源测试旨在找到应用程序在有限环境下运行所需的最小资源量。准确性测试评估了Linphone集成与转录器的协同工作情况。网络影响测试展示了通过STT技术，可以将原始音频的数据负载从每秒千比特减少到每秒比特的范围，显著释放网络带宽。

结论和未来工作
本文研究了在DIL环境中使用生成性AI支持协作音频服务的方法。研究了三种改善音频服务的方式：使用Vosk和Whisper自动语音识别系统实现音频服务的STT功能；提供TTS功能，允许转发的文本被朗读给接收者；发送文本消息减少了网络负载。Vosk和Whisper在测试中均显示出有希望的结果。在资源使用方面，Vosk比Whisper表现更好，但应考虑对不同语言的支持。两种自动语音识别系统均显示出良好的准确性，表明它们与Linphone音频软件集成良好。通过IST-201，目标是继续实验，以改善战术边缘的协作服务，包括音频服务。本文开发的应用程序满足了许多推进这项工作所需的功能和非功能需求。

人工智能增强的音频和聊天协作服务

论文标题：AI-enabled Audio and Chat Collaboration Services 中文标题：人工智能增强的音频和聊天协作服务作者信息： Emil P. Andersen, Norwegian Defence Research Establishment (FFI), Kjeller, NorwayJesper R. Goksr, Sindre E. Ha…...

编程日记 2025/6/20 23:06:28

ctr: content digest XXX not found

1、问题描述 ctr 推送镜像到本地仓库报错 ctr: content digest sha256:b96e30ccb0a1e225493e53d4f81cb2c27183406e5f902ed43c4bf15dc6f21c9c: not found 2、问题原因本人的平台是M1，正常情况下载镜像会自动按平台寻找版本，但是由于我下载的镜像版本没…...

编程日记 2025/6/21 11:23:52

java内存模型

文章目录 1.java内存模型2.重排序3.内存屏障3.1四类内存屏障指令 4.happens-before4.1 规则5.volatile5.1特性5.2规则5.3 内存语义5.4 内存屏障插入策略 1.java内存模型 java内存模型（JMM）定义了线程和主内存之间的抽象关系：线程之间的共享变…...

编程日记 2025/6/21 12:04:44

Java Object类与Objects类

1. Object 类 (1) Object类是Java中所有类的祖宗类，因此，Java中所有类的对象都可以直接使用Object类中提供的一些方法(public class Object)。 . (2) Object类常见方法方法说明public String toString()返回对象的字符串形式public boolean eq…...

编程日记 2025/6/21 11:14:03

【目标检查】YOLO系列之：Triton 推理服务器Ultralytics YOLO11

Triton 推理服务器 1、引言2、Triton服务器2.1 什么是Triton Inference Server2.2 将YOLO11 导出为ONNX 格式2.3 设置Triton 模型库2.3.1 创建目录结构2.3.2 将导出的ONNX 模型移至Triton 资源库 2.4 运行Triton 推断服务器2.4.1 使用 Docker 运行Triton Inference Server2.4.2…...

编程日记 2025/6/20 14:14:11

力扣69. x 的平方根

给你一个非负整数 x ，计算并返回 x 的算术平方根。由于返回类型是整数，结果只保留整数部分 ，小数部分将被舍去。注意：不允许使用任何内置指数函数和算符，例如 pow(x, 0.5) 或者 x ** 0.5 。示例 1：…...

编程日记 2025/6/21 11:51:03

关于目标检测YOLO 各版本区别v1-v11/vX/vR

概述 YOLO（You Only Look Once，你只看一次）是一系列开创性的实时目标检测模型，它们彻底改变了计算机视觉领域。由Joseph Redmon开发，后续版本由不同研究人员迭代，YOLO模型以其在图像中检测对象的高速度和准…...

编程日记 2025/6/3 8:34:45

求成绩的平均值，统计低于平均分的人数

【问题描述】编写函数double average(double score[ ], int n,int *m)对存放在实型数组中考试成绩进行求平均分和低于平均分的人数，要求在主函数里面进行班级人数和成绩的输入，调用average函数进行计算成绩平均值和低于平均分的人数后，返回主…...

编程日记 2025/6/21 1:32:33

SGD、BGD、MBGD 之间的区别

文章目录 SGD（Stochastic Gradient Descent，随机梯度下降）BGD（Batch Gradient Descent，批量梯度下降）MBGD（Mini-Batch Gradient Descent，小批量梯度下降） 前置&#xff1…...

编程日记 2025/6/21 12:09:49

Android -- WebView之loadData加载html字符串显示网页

目录前言1. loadUrl 加载网页地址2. loadData 加载Html字符来显示网页3. loadDataWithBaseURL4. 总结前言最近在给一个老项目做64位so文件的适配，当应用发布到应用市场上后，用户反馈64位手机上的网页加载不出内容，但32位的手机上是正常…...

编程日记 2025/6/20 20:42:01

单片机：实现数码管00盗99显示（附带源码）

单片机实现数码管00到99显示在嵌入式开发中，数码管是最常用的显示设备之一，特别适合用于显示数字信息。本项目的目标是利用8051单片机控制数码管实现数字显示，从00到99的循环显示。我们将通过按键或定时器来控制数字的增减，并通…...

编程日记 2025/6/21 11:13:18

大厂面试智力题大全（详细解题思路，持续更新）

目录八个球有一个比较重，问称几次可以把较重的球拎出来，具体称重的方法是怎样的？ 64 匹马 8 个赛道，找出前四名，最少赛多少场（腾讯）一个城市的加油站数量 5L的水桶和3L的水桶怎么量出4L的水有一堆粗细不均匀的绳子，燃烧完一个绳子需要2小时，如何用这些绳子凑出…...

编程日记 2025/6/21 12:59:22

使用 acme.sh 签发和自动续期 ssl https 证书

acme.sh 是一个热度非常高的签发和自动续期 https 证书的工具，虽然官网上提供了充分的操作说明，但是不够简洁，本文以在 nginx 中签发和配置http 为例，列出必要的几个简单步骤。安装因为网络原因，github 大部分人是…...

编程日记 2025/6/19 18:33:52

YOLOv9改进，YOLOv9引入DLKA-Attention可变形大核注意力，WACV2024，二次创新RepNCSPELAN4结构

摘要作者引入了一种称为可变形大核注意力（D-LKA Attention）的新方法来增强医学图像分割。这种方法使用大型卷积内核有效地捕获体积上下文，避免了过多的计算需求。D-LKA Attention 还受益于可变形卷积，以适应不同的数据模式。理论介绍大核卷积（Large Kernel Convolu…...

编程日记 2025/5/29 22:36:47

docker安装mysql8

上一篇提到了docker安装mysql5.7和mysql8有所不同，这一篇说一下mysql8的安装 1、宿主机创建映射目录 mkdir -p /data/mysql8/log mkdir -p /data/mysql8/data mkdir -p /data/mysql8/conf这里我放在了/data/mysql8目录下 2、拉取mysql镜像 docker pull mysql:8.…...

编程日记 2025/6/19 22:55:29

【云原生知识】Kubernets实践-前端服务如何访问后端服务

文章目录概述步骤1：部署后端服务步骤2：配置Nginx步骤3：创建Nginx服务总结如何确保 Nginx 能持续访问后端服务？相关文献概述假设你正在使用Kubernetes作为容器云平台，以下是如何配置Nginx以及相关服务，…...

编程日记 2025/6/19 23:26:33

M3DM的autodl环境构建过程笔记

文章目录在3D-ADS环境https://blog.csdn.net/tfxzgp/article/details/144259472基础上构建(失败的记录，不用看)更换镜像重来（成功）安装缺少的包修改models.py中的RGB和点云backbone的路径修改main.py路径参数运行在3D-ADS环境https://blog.…...

编程日记 2025/5/30 18:04:51

jmeter CLI Mode 传参实现动态设置用户数

一.需求 CLI 运行模式下每次运行想要传入不同的用户数，比如寻找瓶颈值的场景，需要运行多次设置不同的用户数。二.解决思路查看官方API Apache JMeter - Users Manual: Getting Started api CLI Mode 一节中提到可以使用如下参数做属性的替换&#…...

编程日记 2025/6/3 17:43:34

Mac系统下 jdk和maven 安装教程

一、jdk安装教程 1、先去官网选择对应版本下载官网网址：Java SE | Oracle Technology Network | Oracle 中国这里我选择的是jdk8的版本，如果你们想下载更高的版本就选择其他版本，目前大部分公司和教程使用jdk8的版本比较多。点击macos&a…...

编程日记 2025/5/31 21:20:23

pyfink1.20版本下实现消费kafka中数据并实时计算

1、环境 JDK版本：1.8.0_412python版本：3.10.6apache-flink版本：1.20.0flink版本：1.20kafka版本：kafka_2.12-3.1.1flink-sql-connector-kafka版本：3.3.0-1.202、执行python-flink脚本从kafka的demo获取消…...

编程日记 2025/6/3 16:18:54

【经验分享】私有云运维的知识点

最近忙于备考没关注，有次点进某小黄鱼发现首页出现了我的笔记还被人收费了虽然我也卖了一些资源，但我以交流、交换为主，笔记都是免费给别人看的由于当时刚刚接触写的并不成熟，为了避免更多人花没必要的钱，所以决定公…...

编程日记 2025/6/3 14:06:10

影像组学+病理组学+深度学习人工智能应用

影像组学基础学习内容： 特征提取：使用pyradiomics进行形状、纹理、小波变换等特征提取。特征筛选：应用ICC、相关系数、mRMR、Lasso等方法。建模：使用LR、SVM、RF、XGBoost、LightGBM等机器学习算法。模型评估：通过A…...

编程日记 2025/6/20 2:27:52

how to write 述职pptx as a tech manager

As a technical manager, crafting an effective 述职 (performance review) PPT requires you to highlight your leadership, team accomplishments, technical contributions, challenges faced, and future plans. Heres a structured approach to design your PPT: 1. Cov…...

编程日记 2025/6/4 12:19:46

用户发送请求后服务端i/o工作过程

华子目录服务端i/o介绍磁盘i/o机械磁盘的寻道时间、旋转延迟和数据传输时间常见的机械磁盘平均寻道时间值常见磁盘的平均延迟时间每秒最大IOPS的计算方法网络i/o网络I/O处理过程磁盘和网络i/o 一次完整的请求在内部的执行过程服务端i/o介绍 i/o在计算机中指Input/Output&am…...

编程日记 2025/6/3 2:43:15

功能篇：springboot实现防盗链功能

防盗链（Hotlink Protection）是一种防止其他网站直接链接到你网站的资源（如图片、视频等），从而节省带宽和保护内容的有效手段。在Spring Boot应用程序中实现防盗链功能，可以通过多种方式来达成，例…...

编程日记 2025/6/21 1:41:01

MySQL迁移SQLite

将 MySQL 的表结构和数据迁移到 SQLite，可以通过以下步骤实现。这个过程主要包括导出 MySQL 数据库到 SQL 文件，然后将其导入到 SQLite 数据库中。步骤 1: 导出 MySQL 数据库首先，需要将 MySQL 数据库导出为一个 SQL 文件。可以使用 mysq…...

编程日记 2025/6/1 22:11:20

嵌入式面试知识点总结 -- 面试篇

1、请你做个简单的自我介绍把所有工作内容，分类整理出和岗位匹配的能力关键字，然后围绕关键字展开讲。每段经历要用数据来支撑。例如： 面试官你好，我叫XXX，毕业于XXX，很荣幸参加此次面试。围绕面试岗位…...

编程日记 2025/6/19 18:19:52

华为OD机试真题---观看文艺汇演问题

华为OD机试中的“观看文艺汇演问题”是一道考察算法与数据结构能力的题目。以下是对该题目的详细解析： 一、题目描述为了庆祝某个重要节日（如中国共产党成立100周年），某公园将举行多场文艺表演。很多演出都是同时进行的&#x…...

编程日记 2025/5/31 18:52:06

类OCSP靶场-Kioptrix系列-Kioptrix Level 2

一、前情提要二、实战打靶 1. 信息收集 1.1. 主机发现 1.2. 端口扫描 1.3.目录遍历 2.漏洞发现 2.1. 登录框测试 2.2. 发现命令执行 2.3 构造命令执行利用payload 3.提权 3.1. 搜索提权exp 3.2. 查看exp信息 3.3. Privilege Escalation的exp利用 exp_9542 一、前…...

编程日记 2025/6/4 7:24:47

openlane

openlane数据集，lane3d_1000里训练集157807张图片，测试集39981张图，md太多了...

编程日记 2025/5/31 18:52:00

修改vscode设置的原理

转载请标明出处：小帆的帆的专栏修改vscode设置首先需要理解的是，vscode的系统设置和插件设置都是通过settings.json文件管理的。 vscode中有三个Settings，三个Settings分别对应三个settings.json文件 Default Settings：默认…...

编程日记 2025/6/3 19:53:04

解决docker环境下aspose-words转换word成pdf后乱码问题

描述环境：docker 部署工具：Jenkins 需求：本地上传的word文档需要转换成pdf 问题：转换之后的pdf文档出现小框框（乱码） 转换成PDF的操作 pom： <dependency><groupId>org.apach…...

编程日记 2025/6/20 5:29:35

2024年12月16日Github流行趋势

项目名称：PDFMathTranslate 项目维护者：Byaidu reycn hellofinch Wybxc YadominJinta项目介绍：基于 AI 完整保留排版的 PDF 文档全文双语翻译，支持 Google/DeepL/Ollama/OpenAI 等服务，提供 CLI/GUI/Docker。项目star数…...

编程日记 2025/6/3 3:41:25

ElasticSearch 常见故障解析与修复秘籍

文章目录一、ElasticSearch启动服务提示无法使用root用户二、ElasticSearch启动提示进程可拥有的虚拟内存少三、ElasticSearch提示用户拥有的可创建文件描述符太少四、ElasticSearch集群yellow状态分析五、ElasticSearch节点磁盘使用率过高，read_only状态问题解决六…...

编程日记 2025/6/21 1:32:33

用 Python Turtle 绘制经典汤姆猫：重温卡通角色的经典魅力

用 Python Turtle 绘制经典汤姆猫：重温卡通角色的经典魅力 🐸 前言 🐸🐞往期绘画>>点击进所有绘画🐞🐋 效果图 🐋🐉 代码 🐉 🐸 前言 🐸 汤…...

编程日记 2025/5/31 18:51:53

数据结构Day4: 链表函数封装；思维导图

目录作业：实现链表剩下的操作： 任意位置删除按位置修改按值查找返回地址反转销毁运行结果思维导图作业：实现链表剩下的操作： 1>任意位置删除 2>按位置修改 3>按值查找返回地址 4>反转 5>销毁任意…...

编程日记 2025/6/3 13:45:06

用 Python Turtle 绘制一只可爱的小狗：用代码捕捉狗狗的萌态

用 Python Turtle 绘制一只可爱的小狗：用代码捕捉狗狗的萌态 🐸 前言 🐸🐞往期绘画>>点击进所有绘画🐞🐋 效果图 🐋🐉 代码 🐉 🐸 前言 🐸 …...

编程日记 2025/6/3 22:42:35

人工智能浪潮来袭：2024年技术革命与产业变革深度解析@附64页PDF文件下载

随着2024年的到来，人工智能（AI）技术正以前所未有的速度、广度和深度改变着我们的生产和生活方式。在这篇深度解析中，我们将带您一探AI技术的最新发展、产业应用的现状以及未来的安全治理趋势。技术革命：AI技术的新范…...

编程日记 2025/6/1 15:58:37

python 下载 b站视频和音频

video_bvid： import os import requests import json import re from bs4 import BeautifulSoup import subprocess # from detail_video import video_bvid# video_bvid 是一个从外部得到的单个视频ID video_bvid BV1cx421Q7veclass BilibiliVideoAudio:def __in…...

编程日记 2025/6/2 7:32:20

【蓝桥杯选拔赛真题93】Scratch青蛙过河第十五届蓝桥杯scratch图形化编程少儿编程创意编程选拔赛真题解析

目录 Scratch青蛙过河一、题目要求编程实现二、案例分析 1、角色分析 2、背景分析 3、前期准备三、解题思路 1、思路分析 2、详细过程四、程序编写五、考点分析六、推荐资料 1、入门基础 2、蓝桥杯比赛 3、考级资料 4、视频课程 5、python资料 Scr…...

编程日记 2025/6/21 5:43:58

flink sink kafka的事务提交现象猜想

现象查看flink源码时 sink kafka有事务提交机制，查看源码发现是使用两阶段提交策略，而事务提交是checkpoint完成后才执行，那么如果checkpoint设置间隔时间比较长时，事务未提交之前，后端应该消费不到数据&#xff0c…...

编程日记 2025/6/3 19:05:09

Oracle 临时表空间管理与最佳实践

Oracle 临时表空间管理与最佳实践内容摘要本文深入探讨了Oracle数据库中临时表空间的管理和最佳实践。主要内容包括： 临时表空间的概述及其在Oracle 19c多租户架构中的特点临时表空间组的优势及其创建方法非临时表空间组的临时表空间日常维护操作命令临时表空间…...

编程日记 2025/6/3 12:57:56

Java转C之继承和多态

在C/C中，继承和多态是面向对象编程（OOP）的两个重要特性。以下将详细讲解C/C中如何实现继承与多态，同时结合Java的对比，帮助理解两者的异同。继承的实现 C/C中的继承继承允许一个类（派生类/子类&#xf…...

编程日记 2025/6/19 21:14:08

【密码学】ZUC祖冲之算法

一、ZUC算法简介 ZUC算法（祖冲之算法）是中国自主研发的一种流密码算法，2011年被3GPP批准成为4G国际标准，主要用于无线通信的加密和完整性保护。ZUC算法在逻辑上采用三层结构设计，包括线性反馈移位寄存器（L…...

编程日记 2025/6/3 22:56:12

MacOS系统快速安装appium 步骤详解

在macOS系统上，你可以通过使用nvm（Node Version Manager）来管理Node.js的版本，并基于nvm安装的Node.js环境来快捷地安装Appium。以下是具体步骤： 一、安装nvm 下载nvm 访问nvm的GitHub仓库（nvm GitHub&…...

编程日记 2025/5/31 18:51:37

SEGGER | 基于STM32F405 + Keil - RTT组件07 - J-Scope数据可视化，RTT方式 + DWT定时器时间戳

导言在上一章节SEGGER | 基于STM32F405 Keil - RTT组件06 - J-Scope数据可视化，使用RTT方式的第4.3章节提到，如果消息包不包含时间戳的话，那么J-Scope的横坐标的单位时间默认是100us，说白了时间戳是假的。会导致如下问题&#x…...

编程日记 2025/6/20 10:50:40

机器学习支持向量机（SVM）算法

一、引言在当今数据驱动的时代，机器学习算法在各个领域发挥着至关重要的作用。支持向量机（Support Vector Machine，SVM）作为一种强大的监督学习算法，以其在分类和回归任务中的卓越性能而备受瞩目。SVM 具有良好的泛化…...

编程日记 2025/6/4 10:40:42

浏览器端的 js 包括哪几个部分

一、核心语言部分 1. 变量与数据类型变量用于存储数据，在 JavaScript 中有多种数据类型，如基本数据类型（字符串、数字、布尔值、undefined、null）和引用数据类型（对象、数组、函数）。 let name "…...

编程日记 2025/6/4 17:51:45

【含开题报告+文档+PPT+源码】基于SpringBoot的开放实验管理平台设计与实现

开题报告设计开放实验管理平台的目的在于促进科学研究与教学的融合。传统实验室常常局限于特定地点和时间，而开放平台可以为学生、教师和研究人员提供一个便捷的交流与共享环境。通过在线平台，他们可以分享实验资源、交流经验，从而促进科学…...

编程日记 2025/6/20 15:17:01

国内可以访问的github地址

国内的IP直接访问github.com官网一般会出现无法访问或者卡顿问题，可以尝试访问下面的国内的代理网站： GitHub Build and ship software on a single, collaborative platform GitHub...

编程日记 2025/5/26 10:06:29

相关文章：