当前位置： 首页 > news >正文

VR和眼动控制集群机器人的方法

news 来源：原创 2025/7/13 6:11:34

西安建筑科技大学信息与控制工程学院雷小康老师团队联合西北工业大学航海学院彭星光老师团队，基于虚拟现实（VR）和眼动追踪技术实现了人-集群机器人高效、灵活的交互控制。相关研究论文“基于虚拟现实和眼动的人-集群机器人交互方法” 发表于信息与控制科学领域期刊《信息与控制》。

NOKOV度量动作捕捉系统建立了真实机器人运动状态与其数字孪生主体之间的状态互联，在VR场景中实时更新机器人运动状态，提高操作员的沉浸感和机器人集群态势的感知效率。

引用格式

XU Mingyu, LEI Xiaokang, DUAN Zhongxing, XIANG Yalun, DUAN Mengyuan, ZHENG Zhicheng, PENG Xingguang. Human-Swarm Robots Interaction Approach Based on Virtual Reality and Eye Tracking[J]. INFORMATION AND CONTROL, 2024, 53(2): 199-210. DOI: 10.13976/j.cnki.xk.2023.2548

研究背景

集群机器人具有高鲁棒性、可扩展性及并行协同作业等优点，在大范围多目标任务的执行中具有独特优势，这种优势结合人类的决策智慧后，能够有效提高集群机器人系统的可靠性、适应性及智能化水平。然而，依靠手势、语音等媒介的传统人-集群机器人交互（HSI）方式在面对被控对象众多、群体态势感知困难等挑战时，存在效率低下、灵活性不足等问题。为解决这些问题，实现高效、便捷、沉浸感强的HSI方法，研究团队基于VR和眼动追踪技术展开相关研究。

本文贡献

  1. 提出一种融合VR和眼动追踪的人-集群机器人交互方法，该方法具有沉浸感强、灵活、便捷的特点。

  2. 基于VR的交互方法可克服机器人超视距及环境状况不佳的影响，同时返回机器人群体态势，实现集群机器人数字孪生。

交互流程

本研究提出的基于VR和眼动追踪的HSI方法流程涉及搭建虚拟场景、眼动数据采集与处理以及指令发送与执行三个环节。

搭建虚拟场景：构建集群机器人及环境的VR场景，并通过VR眼镜传输给操作员。利用NOKOV度量动作捕捉系统实现真实机器人运动状态与虚拟环境中数字孪生主体的实时同步。

眼动数据采集与处理：安装在VR眼镜上的眼动传感器实时捕捉操作员的眼动数据，并传输至处理计算机。经预处理和解析后，生成运动控制指令。

指令发送与执行：将眼动控制指令发送至集群机器人，机器人接收并执行相应的动作。
人-集群机器人交互系统整体方案图片：人-集群机器人交互系统整体方案

控制规则

集群漫游交互规则：将眼球的上下左右运动直接映射为机器人的运动方向。
集群目标追踪交互规则：通过眼动射线锁定目标，驱动机器人朝向目标运动。
集群轨迹跟踪交互规则：利用眼动轨迹引导机器人集群沿预设轨迹运动。

现场试验

研究利用 SwarmBang 机器人组成小规模集群开展真实的人-集群机器人交互实验，以验证所提基于VR和眼动的HSI 方法的可行性和有效性。

真实实验环境与 VR 交互场景图片-真实实验环境与 VR 交互场景

集群漫游实验

集群漫游实验：操作员通过眼球运动控制机器人向右、左、下、上依次运动，机器人响应迅速，运动轨迹与眼动指令高度一致

集群目标追踪实验

集群目标追踪实验：操作员注视不同目标，机器人快速切换并稳定朝向目标移动，目标激活顺序为1→2→1→2→1（左→右→左→右→左），轨迹清晰

集群轨迹跟踪实验

集群轨迹跟踪实验：操作员通过眼动预设轨迹，机器人沿轨迹平顺移动，成功避开障碍物，轨迹跟踪精准

实验结果表明，基于VR和眼动追踪的HSI方法实现了高效、灵活、强沉浸感的人-集群机器人交互控制。

NOKOV度量动作捕捉系统为实验提供了机器人在真实环境中的实时轨迹数据，用以建立真实机器人运动状态与其数字孪生主体之间的状态互联，从而帮助实现眼动控制指令。

作者简介

许明玉，西安建筑科技大学信息与控制工程学院硕士毕业生。主要研究方向: 人－集群机器人交互，虚拟现实技术

雷小康（通讯作者），西安建筑科技大学信息与控制工程学院副教授、研究生导师。主要研究方向：集群机器人及群体智能等

段中兴，西安建筑科技大学国际教育学院常务副院长，信息与控制工程学院教授。主要研究方向：智能系统与智能信息处理、智能检测与机器视觉、建筑环境控制与节能优化、嵌入式技术与智能系统

向雅伦，西安建筑科技大学信息与控制工程学院硕士毕业生。主要研究方向：集群机器人

段梦园，西安建筑科技大学信息与控制工程学院硕士毕业生。主要研究方向：集群机器人视觉定位

郑志成，西北工业大学航海学院博士在读。主要研究方向：群体智能、集群机器人

彭星光，西北工业大学航海学院教授、博士生导师。主要研究方向：群体智能、演化计算、机器学习及其在无人系统特别是无人集群中的应用

相关文章：

VR和眼动控制集群机器人的方法

西安建筑科技大学信息与控制工程学院雷小康老师团队联合西北工业大学航海学院彭星光老师团队，基于虚拟现实（VR）和眼动追踪技术实现了人-集群机器人高效、灵活的交互控制。相关研究论文“基于虚拟现实和眼动的人-集群机器人交互方法” 发表于信…...

编程日记 2025/7/13 6:11:34

LabVIEW与PLC通讯程序S7.Net.dll

下图中展示的是 LabVIEW 环境下通过调用S7.Net.dll 组件与西门子 PLC 进行通讯的程序。LabVIEW 作为一种图形化编程语言，结合S7.Net.dll 的.NET 组件优势，在工业自动化领域中可高效实现与 PLC 的数据交互，快速构建工业监控与控制应用。相较于…...

编程日记 2025/6/28 23:28:09

【华为】现场配置OSPF

原创：厦门微思网络 实验目的 1、了解OSPF的运行原理 2、掌握OSPF的配置方法 实验拓扑 实验需求 1、根据实验拓扑图，完成设备的基本配置； 2、分别在R1、R2、R3上创建Loopback0接口，IP地址分别是1.1.1.1/32、2.2.2.2/32、3.3.3.…...

编程日记 2025/6/28 23:04:59

STM32-DMA数据转运（8）

目录 一、简介 二、存储器映像 三、DMA框图​编辑 四、DMA基本结构 五、两个数据转运的实例 一、简介 直接存储器存取简称DMA（Direct Memory Access），它是一个数据转运小助手，主要用来协助CPU，完成数据转运的工作…...

编程日记 2025/6/28 23:10:15

课题推荐——低成本地磁导航入门，附公式推导和MATLAB例程运行演示

地磁导航利用地球磁场的自然特性，通过感知磁场变化，帮助机器人或无人设备实现定位和导航。相比于 GPS、激光雷达等导航方法，地磁导航具有以下优势： 低成本：使用地磁传感器（如电子罗盘）&#xff…...

编程日记 2025/6/28 23:05:00

微信小程序学习之底部导航栏

首先，我们在app.json中添加4个页面， "pages": ["pages/index/index","pages/category/category","pages/cart/cart","pages/user/user"], 其次我们把8张图片放到imaes文件夹下， 图标可…...

编程日记 2025/6/28 23:55:09

c++ std库中的文件操作学习笔记

1. 概述 C标准库提供了 头文件中的几个类来进行文件操作，这些类封装了底层的文件操作，提供了面向对象和类型安全的接口，使得文件读写更加便捷和高效。主要的文件流类包括： std::ifstream：用于从文件中读取数据。 st…...

编程日记 2025/7/13 6:07:51

多臂赌博机：探索与利用的平衡艺术

1. 引言 在机器学习领域，多臂赌博机（Multi-Armed Bandit，MAB）问题是强化学习的一个经典且基础的模型。这个名称源于赌场中的"单臂老虎机"（One-armed Bandit），因为这种赌博机器像强盗…...

编程日记 2025/6/29 1:08:20

分布式异步强化学习框架训练32B大模型：INTELLECT-2

INTELLECT-2 模型详解 一、模型概述 INTELLECT-2 是一个拥有 320 亿参数的语言模型，其训练采用了一种创新的方式，即通过社区贡献的分布式、无需许可的 GPU 资源进行强化学习训练。该模型基于 qwen2 架构构建，因此与 vllm 或 sglang 等流行库…...

编程日记 2025/6/28 23:50:48

HTML应用指南：利用POST请求获取全国京东快递服务网点位置信息

京东快递作为中国领先的智能供应链与综合物流服务提供商，自2007年成立以来，始终致力于通过技术创新与高效运营，为客户提供安全、可靠、快速的物流解决方案。京东快递依托京东集团的强大资源支持，凭借其自营仓储、干线运输、末端配送一体化的物流网络，在激烈的市场竞争中脱…...

编程日记 2025/6/28 23:53:35

通过POI实现对word基于书签的内容替换、删除、插入

一、基本概念 POI：即Apache POI， 它是一个开源的 Java 库，主要用于读取 Microsoft Office 文档（Word、Excel、PowerPoint 等），修改 或 生成 Office 文档内容，保存 为对应的二进制或 XML 格式&a…...

编程日记 2025/6/29 0:12:57

git进行版本控制时遇到Push cannot contain secrets的解决方法

git进行版本控制，push遇到Push cannot contain secrets的解决方法 最近在项目开发过程中，我遇到了一个让我头疼不已的问题。 问题的出现 一开始，我的项目远程仓库连接的是 Gitee，在开发过程中一切都很顺利，我也习惯…...

编程日记 2025/6/29 1:07:07

Java GUI 开发之旅：Swing 组件与布局管理的实战探索

在编程的世界里，图形用户界面（GUI）设计一直是提升用户体验的关键环节。Java 的 Swing 库为我们提供了强大的工具来构建跨平台的 GUI 应用。今天，我将通过一次实验，分享如何使用 Java Swing 开发一个功能丰富的 GUI 应用…...

编程日记 2025/6/29 1:27:27

OpenVLA (2) 机器人环境和环境数据

文章目录 前言1 BridgeData V21.1 概述1.2 硬件环境 2 数据集2.1 场景与结构2.2 数据结构2.2.1 images02.2.2 obs_dict.pkl2.2.3 policy_out.pkl 前言 按照笔者之前的行业经验, 数据集的整理是非常重要的, 因此笔者这里增加原文中出现的几个数据集和环境的学习 1 BridgeData V…...

编程日记 2025/6/28 23:40:17

【Ansible】基于windows主机，采用NTLM+HTTPS 认证部署

我们现在准备Linux centos7（Ansible控制机）和Windows（客户机）环境下的详细部署步骤： 一、Windows客户机配置 1. 准备SSL证书 1.1 生成自签名证书（测试用） 以管理员身份打开PowerShell&#…...

编程日记 2025/6/28 23:42:52

React19源码系列之 API（react-dom）

API之 preconnect preconnect – React 中文文档 preconnect 函数向浏览器提供一个提示，告诉它应该打开到给定服务器的连接。如果浏览器选择这样做，则可以加快从该服务器加载资源的速度。 preconnect(href) 一、使用例子 import { preconnect } fro…...

编程日记 2025/6/29 1:01:23

鸿蒙Next开发 获取APP缓存大小和清除缓存

1. 鸿蒙Next开发 获取APP缓存大小和清除缓存 1.1. 介绍 1.1.1. 文件系统分类 在最新的Core File Kit套件中，按文件所有者的不同。分为如下三类：   （1）应用文件：文件所有者为应用，包括应用安装文件、应用…...

编程日记 2025/6/29 0:52:59

PNG转ico图标（支持圆角矩形/方形+透明背景）Python脚本 - 随笔

摘要 在网站开发或应用程序设计中，常需将高品质PNG图像转换为ICO格式图标。本文提供一份基于Pillow库实现的，能够完美保留透明背景且支持导出圆角矩形/方形图标的格式转换脚本。 源码示例 圆角方形 from PIL import Image, ImageDraw, ImageOpsdef c…...

编程日记 2025/6/28 23:27:40

『大模型笔记』Langchain作者Harrison Chase专访：环境智能体与全新智能体收件箱

Langchain作者Harrison Chase专访：环境智能体与全新智能体收件箱 文章目录 摘要访谈内容什么环境智能体为什么要探索环境智能体怎么让人类能更方便地和环境智能体互动参考文献摘要 LangChain 的 CEO Harrison Chase 提出了_“环境智能体”（Ambient Agents）的概念，这是一种…...

编程日记 2025/6/29 0:58:39

GPT（ Generative Pre-trained Transformer ）模型：基于Transformer

GPT是由openAI开发的一款基于Transformer架构的预训练语言模型，拥有强大的生成能力和多任务处理能力，推动了自然语言处理（NLP）的快速发展。 一 GPT发展历程 1.1 GPT-1（2018年） 是首个基于Transformer架构…...

编程日记 2025/6/29 0:34:48

游戏引擎学习第275天:将旋转和剪切传递给渲染器

回顾并为今天的内容定下基调 我们认为在实现通用动画系统之前，先学习如何手写动画逻辑是非常有价值的。虽然加载和播放预设动画是合理的做法，尤其是在团队中有美术人员使用工具制作动画的情况下更是如此，但手动编写动画代码能让我们更深入理…...

编程日记 2025/6/30 6:37:51

conda 输出指定python环境的库 输出为 yaml文件

conda 输出指定python环境的库 输出为 yaml文件。 有时为了项目部署，需要匹配之前的python环境，需要输出对应的python依赖库。 假设你的目标环境名为 myenv，运行以下命令： conda env export -n myenv > myenv_environment.ym…...

编程日记 2025/6/28 23:10:45

ES6 语法

扩展运算符 … 口诀：三个点，打散数组，逐个放进去 例子： let arr [1, 2];let more [3, 4];arr.push(...more); // arr 变成 [1, 2, 3, 4]解构赋值 口诀：左边是变量，右边是值，一一对应 例子&…...

编程日记 2025/7/13 6:09:59

BFS算法篇——打开智慧之门，BFS算法在拓扑排序中的诗意探索(下）

文章目录 引言一、课程表1.1 题目链接：https://leetcode.cn/problems/course-schedule/description/1.2 题目分析：1.3 思路讲解：1.4 代码实现： 二、课程表||2.1 题目链接：https://leetcode.cn/problems/course-schedul…...

编程日记 2025/6/28 23:26:47

While语句数数字

import java.util.Scanner;public class Hello {public static void main(String[] args) {Scanner in new Scanner(System.in);int number in.nextInt();int count 0;while( number > 0 ){number number / 10;count count 1;}System.out.println(count);} }...

编程日记 2025/7/13 6:10:47

G1JVM内存分配机制详解

为什么堆内存不是预期的3G？ 当您设置-XX:MaxRAMPercentage75时，JVM并不会简单地将容器内存(4G)的75%全部分配给堆，原因如下： 计算基准差异： 百分比是应用于"可用物理内存"而非"容器总内存" &q…...

编程日记 2025/7/13 6:10:47

“端 - 边 - 云”三级智能协同平台的理论建构与技术实现

摘要 随着低空经济与智能制造的深度融合，传统集中式云计算架构在实时性、隐私保护和资源效率上的瓶颈日益凸显。本文提出“端 - 边 - 云”三级智能协同平台架构，以“时空 - 资源 - 服务”三维协同理论为核心，构建覆盖终端感知、边缘计算、云端…...

编程日记 2025/6/29 0:20:53

【UAP】《Empirical Upper Bound in Object Detection and More》

Borji A, Iranmanesh S M. Empirical upper bound in object detection and more[J]. arXiv preprint arXiv:1911.12451, 2019. arXiv-2019 文章目录 1、Background and Motivation2、Related Work3、Advantages / Contributions4、Experimental Setup4.1、Benchmarks Dataset…...

编程日记 2025/6/29 0:08:59

Web Service及其实现技术（SOAP、REST、XML-RPC）介绍

一.概述 1.Web Service（Web 服务） Web Service 由万维网联盟 (W3C) 定义为一种软件系统，旨在支持通过网络进行可互操作的计算机间交互。 广义概念：基于 Web 技术（如 HTTP 协议）的跨平台、跨语言通信机制…...

编程日记 2025/6/28 23:05:08

基于Spring Boot+Layui构建企业级电子招投标系统实战指南

一、引言：重塑招投标管理新范式 在数字经济浪潮下，传统招投标模式面临效率低、透明度不足、流程冗长等痛点。本文将以Spring Boot技术生态为核心，融合Mybatis持久层框架、Redis高性能缓存及Layui前端解决方案，构建一个覆盖招标代理…...

编程日记 2025/6/29 0:20:59

【嵌入式】记一次解决VScode+PlatformIO安装卡死的经历

PlatformIO 是开源的物联网开发生态系统。提供跨平台的代码构建器、集成开发环境（IDE），兼容 Arduino，ESP8266和mbed等。 开源库地址：https://github.com/platformio 在 VScode 中配置 PlatformIO 插件，记录…...

编程日记 2025/6/29 1:12:10

抗量子计算攻击的数据安全体系构建：从理论突破到工程实践

在“端 - 边 - 云”三级智能协同理论中，端 - 边、边 - 云之间要进行数据传输，网络的安全尤为重要，为了实现系统总体的安全可控，将构建安全网络。 可先了解我的前文：“端 - 边 - 云”三级智能协同平台的理论建构与技术实…...

编程日记 2025/7/13 6:06:58

【FMMT】基于模糊多模态变压器模型的个性化情感分析

遇到很难的文献看不懂，不应该感到气馁，应该激动，因为外审估计也看不太懂，那么学明白了可以吓唬他 缺陷一：输入依赖性与上下文建模不足​​ ​​缺陷描述​​： 传统自注意力机制缺乏因果关系，难以捕捉序列历史背景多模态数据间的复杂依赖关系未被充分建模CNN/RNN类模型在…...

编程日记 2025/7/13 6:06:59

力扣Hot100（Java版本）

1. 哈希 1.1 两数之和 题目描述： 给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。 你可以假设每种输入只会对应一个答案，并且你不能使用两次相同…...

编程日记 2025/7/13 6:09:59

Stream流简介、常用方法

Stream流的三类方法 获取Stream流 创建一条流水线，并把数据放到流水线上准备进行操作 中间方法 流水线上的操作一次操作完毕之后，还可以继续进行其他操作 终结方法 一个Stream流只能有一个终结方法是流水线上的最后一个操作 生成Stream流的方式 Collec…...

编程日记 2025/6/28 23:05:17

‌C# 集成 FastDFS 完整指南‌

‌1. 环境准备‌ ‌(1) 安装 FastDFS 服务端‌ 部署 Tracker 和 Storage 节点，确保服务正常运行。 配置 tracker_server 地址（如 192.168.1.100:22122）。 ‌(2) 添加 NuGet 包‌ 通过 NuGet 安装 FastDFS 客户端库： Install-Pack…...

编程日记 2025/6/29 5:07:30

重构门店网络：从“打补丁“到“造地基“的跨越

您是否遇到过这样的窘境？ 新店开张要等一周，就为装根网线； 偏远地区门店三天两头断网，顾客排长队却结不了账； 总部想看实时数据，结果收到一堆乱码报错； 总部ERP系统升级，2000家门…...

编程日记 2025/6/28 23:33:55

TI的ADS1291代替芯片LH001-99

血管疾病严重威胁人类生命健康安全，随着人口老龄化进程的加快和社会压力等因素的增加，患病率正呈现逐年上升趋势，并且越来越年轻化。然而，心血管疾病大多由器官器质性病变引起，一旦患病很难完全康复，需要进…...

编程日记 2025/6/28 23:31:16

NPOI 操作 Word 文档

管理 NuGet 程序包 # word操作 NPOI# 图片操作 SkiaSharp Controller代码 using Microsoft.AspNetCore.Mvc; using NPOI.Util; using NPOI.XWPF.Model; using NPOI.XWPF.UserModel; using SkiaSharp;namespace WebApplication2.Controllers {[Route("api/Npoi/[action]…...

编程日记 2025/6/29 0:21:04

css3基于伸缩盒模型生成一个小案例

css3基于伸缩模型生成一个小案例 在前面学习了尚硅谷天禹老师的css3内容后，基于伸缩盒模型做的一个小案例，里面使用了 flex 布局，以及主轴切换，以及主轴平分等特性，分为使用css3 伸缩盒模型方式，已经传统的…...

编程日记 2025/6/28 23:05:14

精简大语言模型：用于定制语言模型的自适应知识蒸馏

Streamlining LLMs: Adaptive Knowledge Distillation for Tailored Language Models 发表：NAACL 2025 机构：德国人工智能研究中心 Abstract 诸如 GPT-4 和 LLaMA-3 等大型语言模型（LLMs）在多个行业展现出变革性的潜力&#xf…...

编程日记 2025/6/29 0:55:55

Rollup入门与进阶：为现代Web应用构建超小的打包文件

我们常常面临Webpack复杂配置或是Babel转译后的冗余代码，结果导致最终的包体积居高不下加载速度也变得异常缓慢，而在众多打包工具中Rollup作为一个轻量且高效的选择，正悄然改变着这一切，本文将带你深入了解这个令人惊艳的打包工具…...

编程日记 2025/7/9 20:29:22

博客系统技术需求文档（基于 Flask）

以下内容是AI基于要求生成的技术文档，仅供参考~ 🧱 一、系统架构设计概览 层级 内容 前端层 HTML Jinja2 模板引擎，集成 Markdown 编辑器、代码高亮 后端层 Flask 框架，RESTful 风格，Jinja2 渲染 数据库 SQLi…...

编程日记 2025/7/9 20:50:20

快速排序、归并排序、计数排序

文章目录 前言一、归并排序算法逻辑递归实现非递归实现 二、快速排序算法介绍递归实现非递归实现算法的一种优化—三路划分法 四、计数排序算法原理代码实现优劣分析 五、排序算法的性能比较总结 前言 本文介绍这三种非常强大的排序算法，每种算法都有各自的特点、不…...

编程日记 2025/6/28 23:20:05

python语言与地理处理note 2025/05/11

1. 函数定义必须要在调用之前 （1）正确示例： def test():print("what a wonderful world!")test() （2）错误示例： test() def test():print("what a wonderful world!") 会报错&…...

编程日记 2025/6/28 23:05:09

贪心算法：最小生成树

假设无向图为： A-B:1 A-C:3 B-C:1 B-D:4 C-D:1 C-E:5 D-E:6 一、使用Prim算法： public class Prim {//声明了两个静态常量，用于辅助 Prim 算法的实现private static final int V 5;//点数private static final int INF Integer.MA…...

编程日记 2025/7/5 16:16:34

免费 OCR 识别 + 批量处理！PDF 工具 提升办公效率

各位办公小能手们！今天给你们介绍一款超厉害的软件——PDF工具V2.2！我跟你们说，这玩意儿就像是PDF界的超级英雄，专门搞定PDF文件的编辑、转换、压缩这些事儿。 先说说它的核心功能哈。基础文档管理方面，它能把好几个PD…...

编程日记 2025/6/28 23:05:13

尼康VR镜头防抖模式NORMAL和ACTIVE的区别（私人笔记）

1. NORMAL 模式（常规模式） 适用场景：一般手持拍摄，比如人像、静物、风景或缓慢平移镜头（如水平追拍）等。工作特性： 补偿手抖引起的小幅度震动（比如手持时自然的不稳）&am…...

编程日记 2025/6/29 0:44:01

在scala中sparkSQL读入csv文件

以下是 Scala 中使用 Spark SQL 读取 CSV 文件的核心步骤和代码示例（纯文本）： 1. 创建 SparkSession scala import org.apache.spark.sql.SparkSession val spark SparkSession.builder() .appName("Spark SQL Read CSV") …...

编程日记 2025/6/28 23:06:15

swift flask python ipad当电脑键盘 实现osu x键和z键 长按逻辑有问题 quart 11毫秒

键盘不行我5星都打不过&#xff0c;磁轴不在身边 127.0.0.1不行要用192.168哪个地址 from flask import Flask from pynput.keyboard import Controller from threading import Threadapp Flask(__name__) keyboard Controller()# 按下按键 app.route("/press_down/<…...

编程日记 2025/6/28 23:05:10