当前位置: 首页 > news >正文

具身智能在智能巡检机器人中的应用——以开关柜带电操作机器人为例

随着机器人技术和人工智能的迅速发展,具身智能在各行业的应用日益广泛,尤其是在电力行业中的智能巡检领域。传统的电力巡检和维护工作通常需要人工操作,存在着高温、高压、强电磁场等危险环境,且效率较低。开关柜带电操作机器人作为智能巡检机器人中的一种典型应用,能够在无需人工直接接触的情况下进行带电操作,从而提高了工作效率和安全性。

01

具身智能的基本概念与关键技术

具身智能的定义

具身智能(Embodied Intelligence)是指机器或机器人通过其物理身体与环境交互的方式来感知、理解和适应环境的智能。与传统人工智能不同,具身智能不仅依赖于算法和计算能力,还需要机器人通过传感器感知环境,通过执行器与环境进行交互。它的核心是机器人通过直接与环境互动获得经验,并在此基础上做出智能决策。

具身智能的核心技术包括:

感知系统:包括视觉、听觉、触觉等多模态感知,机器人能够实时获取周围环境的信息。

运动控制与执行系统:机器人通过机械臂、移动平台等执行器完成任务动作。

决策与学习系统:通过机器学习算法,机器人能够不断优化决策过程,提高任务执行的精确度和适应性。

具身智能在智能巡检机器人中的应用

在智能巡检领域,具身智能使机器人不仅能够完成基本的巡检任务,还能在复杂、动态的环境中进行自主决策。例如,开关柜带电操作机器人通过具身智能技术,可以实时感知电力设备的状态,并根据不同的巡检结果做出相应的决策,如调节操作手臂角度、调整巡检路径等,从而完成带电操作任务。

02

开关柜带电操作机器人:核心技术与优势

开关柜带电操作机器人的工作原理

开关柜带电操作机器人主要由感知系统、决策系统、执行系统和通信系统组成。其工作原理如下:

1. 感知系统:机器人通过视觉传感器、红外传感器、电流传感器等设备,实时获取开关柜内的工作状态信息。例如,视觉传感器能够帮助机器人识别开关柜的外部环境和设备状态,温度传感器则可检测设备是否过热,电流传感器则能监测电流的变化。

2.决策系统:机器人根据感知到的环境信息,通过内置的决策算法进行实时分析,生成最佳的操作方案。例如,在电流过载的情况下,机器人能够决定是否断开电源。

3. 执行系统:通过机械臂或其他执行器,机器人能够进行精确的带电操作。这些操作可能包括调整电气开关、检查设备状况等。

4. 通信系统:通过无线通信技术(如5G、Wi-Fi等),机器人能够将实时数据传输到远程监控中心,或接收操作指令进行调整。

 开关柜带电操作机器人的技术优势

1、基于5G信号辅助的室内定位;

2 、结合视觉、听觉、触觉等传感器的数据,基于服务器端的大模型,实现端到端的环境感知,自主导航,决策规划及操作控制。

3、利用异常检测及预测模型,机器人可监视和预测自身状态,及时发现潜在故障,进行预警。

应用场景:变电站高压开闭室、工业能源等高危复杂场景

03

具身智能面临挑战

SLAM导航难点:

难点1:

在极端天气下,如雨雪,大雾等天气,激光雷达和相机的工作受限,无法准确定位。

难点2:

在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。

难点3:

在光照变化在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。比较剧烈的情况下,利用传统机器视觉无法提取的图像特征信息,从而降低了感知定位的精度。

超维机器人基于开发的视觉大模型,采用自研的图像匹配模块,有效提高了处理图像信息的鲁棒性。目前能有效保证机器人在白天和黑夜有灯光情况下的巡检任务的精度需求。

采用图优化神经网络(GNN)开发了3d点云的匹配方案,当场景变化时,在线更新地图。

具身智能技术在巡检及操作任务上的应用难点:

难点1:针对新客户的不熟悉的现场,需重新训练每一个模型,并重新部署,交付成本高。

难点2:老客户升级设备,或更换操作部件,仍需要重新训练每一个小模型,维护成本高。

难点3:巡检机器人摄像头更换或图像的分辨率改变,模型都存在识别率降低或不识别的风险,仍需重新训练每一个模型。

基于小模型的方案算力需求小,好部署,但鲁棒性差,维护成本高,适合在数据不足时的开发。

超维机器人得益于在工业和能源领域多年数据积累,在开源的通用检测大模型GLEE的基础上,公司二次开发了应用于工业和能源场景的图像处理大模型。

根据操作业务及机械臂自动手眼标定需求,我们独立设计了3d深度估计的decode模块,实现了模型对深度的估计。GLEE并未包含图像的匹配模块。我们根据模型所提取的图像特征输出,设计了独立GNN(Graph Neural Network)模块,同时考虑图像上关键点的特征和位置信息,实现了图像匹配功能。

以下为我们采用大模型后,各个任务指标的对比:

04

总结

具身智能在智能巡检机器人中的应用,特别是在开关柜带电操作中的应用,具有重要的现实意义。它不仅提高了电力设备的巡检效率,也在很大程度上保障了操作人员的安全。随着技术的不断进步,具身智能将使智能巡检机器人更加智能化、多功能化,未来有望在更广泛的领域中发挥作用。

相关文章:

具身智能在智能巡检机器人中的应用——以开关柜带电操作机器人为例

随着机器人技术和人工智能的迅速发展,具身智能在各行业的应用日益广泛,尤其是在电力行业中的智能巡检领域。传统的电力巡检和维护工作通常需要人工操作,存在着高温、高压、强电磁场等危险环境,且效率较低。开关柜带电操作机器人作…...

【第4章:循环神经网络(RNN)与长短时记忆网络(LSTM)— 4.6 RNN与LSTM的变体与发展趋势】

引言:时间序列的魔法钥匙 在时间的长河中,信息如同涓涓细流,绵延不绝。而如何在这无尽的数据流中捕捉、理解和预测,正是循环神经网络(RNN)及其变体长短时记忆网络(LSTM)所擅长的。今天,我们就来一场深度探索,揭开RNN与LSTM的神秘面纱,看看它们如何在时间序列的海洋…...

【R语言】回归分析与判别分析

一、线性回归分析 1、lm()函数 lm()函数是用于拟合线性模型(Linear Models)的主要函数。线性模型是一种统计方法,用于描述一个或多个自变量(预测变量、解释变量)与因变量(响应变量)之间的关系…...

git开发流程以及github社区企业版

常规开发流程 1、将仓库 clone 到本地,已经 clone 的要 fetch & pull,保证本地 master 分支已经更新到最新状态 2、在 master 最新分支的基础上 checkout 一个开发分支,分支命名要求规范,如带用户名、日期、bug id 等关键信…...

DeepSeek + Vue实战开发

利用DeepSeek V3模型、siliconflow大模型一站式云服务平台以及vue3.0实现一个在线人工智能客服对话系统。 因为deepseek官网的api密钥使用起来比较缓慢,所以可以使用第三方的,具体操作请自行查阅资料。 siliconflow官网 SiliconFlow, Accelerate AGI …...

从安装软件到flask框架搭建可视化大屏(二)——创建一个flask页面,搭建可视化大屏,零基础也可以学会

附录:所有文件的完整代码 models.py # models/models.py from flask_sqlalchemy import SQLAlchemydb SQLAlchemy()class User(db.Model):__tablename__ user # 显式指定表名为 userid db.Column(db.Integer, primary_keyTrue)username db.Column(db.String(…...

Python编程中,async/await/asyncio分别是干啥的?

在Python异步编程中,async、await和asyncio是三个核心概念。它们共同构成了Python处理高并发I/O密集型任务的解决方案。本文将通过代码实例解析它们的作用和用法。 一、异步编程基础 1.1 同步 vs 异步 同步编程:代码按顺序执行,遇到I/O操作(如网络请求、文件读写)时会阻塞…...

vue非组件的初学笔记

1.创建Vue实例,初始化渲染的核心 准备容器引包创建Vue实例new Vue() el用来指定控制的盒子data提供数据 2.插值表达式 作用利用表达式插值,将数据渲染到页面中 格式{{表达式}} 注意点 表达式的数据要在data中存在表达式是可计算结果的语句插值表达式…...

4.3 学习UVM中的“run_phase“,将其应用到具体案例分为几步?

文章目录 前言1. run_phase 的作用与执行特点2. 关键组件的 run_phase 实现2.1 Driver 的 run_phase:驱动事务2.2 Monitor 的 run_phase:捕获事务2.3 Scoreboard 的 run_phase:数据比对 3. 同步与 Objection 管理3.1 控制仿真结束3.2 多组件协…...

[Python人工智能] 五十.PyTorch入门 (5)快速搭建神经网络及模型保存

从本专栏开始,作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解PyTorch构建分类神经网络。这篇文章将介绍如何利用PyTorch快速构建神经网络,之前的代码比较复杂,通过自定义Net类实现,本文通过Torch函数定义神经网络。前面我们的Python人工智能主要以Tens…...

【C语言】有序数组的平方

文章目录 给你一个按非递减顺序排序的整数数组 nums&#xff0c;返回每个数字的平方组成的新数组&#xff0c;要求也按非递减顺序排序。 #include<stdio.h>/*** brief 计算一个整数数组的平方&#xff0c;并按非递减顺序存放结果* * 该函数接受一个整数数组arr和其长度le…...

osgearth视点坐标及鼠标交点坐标的信息显示(七)

核心函数如下: void COSGObject::addViewPointLabel() {//mRoot->addChild(osgEarth::Util::Controls::ControlCanvas::get(mViewer));//放开这句,球就卡住了。 为什么,shitosgEarth::Util::Controls::ControlCanvas* canvas = osgEarth::Util::Controls::ControlCanvas…...

【096】基于51单片机红外线人数统计系统【Proteus仿真+Keil程序+报告+原理图】

☆、设计硬件组成&#xff1a;51单片机最小系统LCD1602液晶显示两路E18-D80NK红外线传感器DS1302时钟芯片AT24C02存储芯片蜂鸣器LED灯按键设置。 1、设计采用STC89C52、AT89C52、AT89S52作为主控芯片&#xff1b; 2、采用DS1302时钟芯片实现对日期和时间的计时&#xff0c;并…...

【ENSP】链路聚合的两种模式

【ENSP】链路聚合的两种模式 1、背景介绍2、链路聚合的使用场景3、配置过程1、手工模式Eth-Trunk配置2、静态LACP模式Eth-Trunk 4、总结 1、背景介绍 随着网络规模的不断扩大&#xff0c;人们对骨干链路的带宽吞吐量和可靠性提出了越来越高的要求。在传统方案中&#xff0c;为…...

机器学习_17 K近邻算法知识点总结

K近邻算法&#xff08;K-Nearest Neighbors&#xff0c;KNN&#xff09;是一种简单而直观的机器学习算法&#xff0c;广泛应用于分类和回归任务。它通过寻找训练集中与新样本最接近的K个样本&#xff08;近邻&#xff09;来进行预测。今天&#xff0c;我们就来深入探讨K近邻算法…...

Web 后端 请求与响应

一 请求响应 1. 请求&#xff08;Request&#xff09; 客户端向服务器发送的HTTP请求&#xff0c;通常包含以下内容&#xff1a; 请求行&#xff1a;HTTP方法&#xff08;GET/POST等&#xff09;、请求的URL、协议版本。 请求头&#xff08;Headers&#xff09;&#xff1a;…...

网络工程师 (44)ARP协议

前言 ARP协议&#xff0c;即地址解析协议&#xff08;Address Resolution Protocol&#xff09;&#xff0c;是一种网络协议&#xff0c;主要用于将网络层的IPv4地址&#xff08;逻辑地址&#xff09;解析为链路层的物理地址&#xff08;通常是MAC地址&#xff09;。 一、基本概…...

使用verilog 实现 cordic 算法 ----- 旋转模式

1-设计流程 ● 了解cordic 算法原理&#xff0c;公式&#xff0c;模式&#xff0c;伸缩因子&#xff0c;旋转方向等&#xff0c;推荐以下链接视频了解 cordic 算法。哔哩哔哩-cordic算法原理讲解 ● 用matlab 或者 c 实现一遍算法 ● 在FPGA中用 verilog 实现&#xff0c;注意…...

搜狗浏览器卸载教程

需求背景 今天发现geek居然无法卸载搜狗浏览器&#xff0c;作为一个老司机&#xff0c;这是不允许的。如果你使用geek或者windows的卸载&#xff0c;或者直接在它的安装包的Uninstall.exe中卸载&#xff0c;他走到100%就一直不动了。那玩意是假的。 卸载教程 结束 -----华丽的…...

ES7 (ES2016) 新特性

目录 Array.prototype.includes()指数运算符与 ES6 的对比实际应用场景最佳实践 Array.includes() 基本语法 array.includes(searchElement[, fromIndex])特点 返回布尔值可以检测 NaN支持可选的 fromIndex 参数比 indexOf() 更语义化 使用示例 const numbers [1, 2, 3…...

设计模式13:职责链模式

系列总链接&#xff1a;《大话设计模式》学习记录_net 大话设计-CSDN博客 1.概述 职责链模式&#xff08;Chain of Responsibility Pattern&#xff09;是一种行为设计模式&#xff0c;它允许将请求沿着处理者链传递&#xff0c;直到有一个处理者能够处理该请求。这种模式通过…...

MongoDB between ... and ... 操作

个人博客地址&#xff1a;​​​​​​​MongoDB between ... and ... 操作 | 一张假钞的真实世界 MongoDB中类似SQL的between and操作可以采用如下语法&#xff1a; db.collection.find( { field: { $gt: value1, $lt: value2 } } );...

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_alloc函数

ngx_alloc 声明在 src\os\unix\ngx_alloc.h 中&#xff1a; void *ngx_alloc(size_t size, ngx_log_t *log); 定义在 src\os\unix\ngx_alloc.c 中&#xff1a; void * ngx_alloc(size_t size, ngx_log_t *log) {void *p;p malloc(size);if (p NULL) {ngx_log_error(NGX_LOG_…...

总结:Helm 命令详解

文章目录 1. Helm 概述2. Helm 的安装与配置2.1 安装 Helm2.2 验证安装 3、Helm 的常用命令3.1 查看帮助3.2 查看 Chart 列表3.3 安装 Chart3.4 卸载 Chart3.5 升级 Chart3.6 回滚 Chart3.7 查看 Chart 详细信息3.8 查看 Chart 的模板3.9 查看 Chart 的值3.10 管理仓库 4. Helm…...

通俗诠释 DeepSeek-V3 模型的 “671B” ,“37B”与 “128K”,用生活比喻帮你理解模型的秘密!

欢迎来到涛涛聊AI。 在DeepSeek-V3模型的参数描述中&#xff0c;你可能会看到类似“671B 37B 128K”这样的标记。这些字母和数字的组合看起来像密码&#xff0c;但其实它们揭示了模型的“大脑容量”和“工作方式”。我们用日常生活的比喻来解释&#xff1a; 一、数字含义&…...

【鸿蒙ArcTS】TypeScript学习记录:函数类型声明与箭头函数

普通函数 function add(x: number, y: number): number {return x y; } 完整未省略版本 const add: (x: number, y: number) > void//函数类型(x: number, y: number): void > {//函数定义console.log("object"); };函数类型&#xff1a; type trigFunc…...

基于 Python 和 Django 的北极星招聘数据可视化系统(附源码,部署)

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…...

机器学习_18 K均值聚类知识点总结

K均值聚类&#xff08;K-means Clustering&#xff09;是一种经典的无监督学习算法&#xff0c;广泛应用于数据分组、模式识别和降维等领域。它通过将数据划分为K个簇&#xff0c;使得簇内相似度高而簇间相似度低。今天&#xff0c;我们就来深入探讨K均值聚类的原理、实现和应用…...

LTE参数

RSRP(Reference Singnal Received Power&#xff0c;参考信号接收功率) 是终端接收到的小区公共参考信号(CRS)功率值&#xff0c;数值为测量带宽内单个RE功率的线性平均值&#xff0c;反映的是本小区有用信号的强度。 SINR(SignaltoInterference&Noise Ratio&#xff0c;…...

Word写论文常用操作的参考文章

1.插入多个引用文献&#xff1a;word中交叉引用多篇参考文献格式[1-2]操作以及显示错误问题 更改左域名&#xff0c;输入 \#"[0" 更改右域名&#xff0c;输入 \#"0]" 2.插入题注&#xff1a;word 中添加图片题注、目录、内部链接 3.插入公式编号&#x…...

kubectl exec 实现的原理

kubectl exec 是 Kubernetes 提供的一个命令&#xff0c;它允许你在指定的 Pod 中执行命令&#xff0c;类似于在容器中打开一个终端会话。这个功能对于调试、监控和管理容器化应用非常有用。kubectl exec 的实现涉及到多个 Kubernetes 组件和机制&#xff0c;包括 API Server、…...

apache artemis安装

安装apache artemis https://xxzkid.github.io/2025/apache-artemis-install...

驱动开发、移植(最后的说法有误,以后会修正)

一、任务明确&#xff1a;把创龙MX8的驱动 按照我们的要求 然后移植到 我们的板子 1.Linux系统启动卡制作&#xff0c; sd卡 先按照 《用户手册—3-2-Linux系统启动卡制作及系统固化》 把创龙的Linux系统刷进去。 2. 把TLIMX8-EVM的板子过一遍 把刚刚烧好系统的sd卡插入 创…...

算法12-贪心算法

一、贪心算法概念 贪心算法&#xff08;Greedy Algorithm&#xff09;是一种在每一步选择中都采取当前状态下最优的选择&#xff0c;从而希望导致全局最优解的算法。贪心算法的核心思想是“局部最优&#xff0c;全局最优”&#xff0c;即通过一系列局部最优选择&#xff0c;最…...

Docker容器化 | 超简单部署 FireCrawl

灵感来源 【RAG实战】Docker容器化 &#x1f525; FireCrawl | 基于docker-compose.yaml一键运行的网页解析API 参考仓库地址 建议给大佬点点star&#xff0c;这么简单的教程非常实用 测试环境 ubuntu 24.04 可能要安装的依赖 sudo apt install docker-buildx拉取FireCra…...

从入门到精通:Postman 实用指南

Postman 是一款超棒的 API 开发工具&#xff0c;能用来测试、调试和管理 API&#xff0c;大大提升开发效率。下面就给大家详细讲讲它的安装、使用方法&#xff0c;再分享些实用技巧。 一、安装 Postman 你能在 Postman 官网&#xff08;https://www.postman.com &#xff09;下…...

yolo11s rknn无法detect的bugfix - step by step

1.缘起 上周四下班时&#xff0c;发现在宿主机环境工作良好的既有的pytorch模型&#xff0c;在通过.pt->.onnx->.rknn的转换后无法正常工作。周五下班时&#xff0c;怀疑疑点在两处&#xff1a; 版本匹配问题通道和参数传递问题。 周六&#xff0c;周日&#xff0c;周…...

把 CSV 文件摄入到 Elasticsearch 中 - CSVES

在我们之前的很多文章里&#xff0c;我有讲到这个话题。在今天的文章中&#xff0c;我们就提重谈。我们使用一种新的方法来实现。这是一个基于 golang 的开源项目。项目的源码在 https://github.com/githubesson/csves/。由于这个原始的代码并不支持 basic security 及带有安全…...

尚硅谷爬虫note008

一、handler处理器 定制更高级的请求头 # _*_ coding : utf-8 _*_ # Time : 2025/2/17 08:55 # Author : 20250206-里奥 # File : demo01_urllib_handler处理器的基本使用 # Project : PythonPro17-21# 导入 import urllib.request from cgitb import handler# 需求&#xff…...

MongoDB数据导出工具mongoexport

个人博客地址&#xff1a;MongoDB数据导出工具mongoexport | 一张假钞的真实世界 导出示例&#xff1a; $ mongoexport --host 192.168.72.60 --db realtime_statistic_backup --collection all_play_stats_summary --fields "_id.timestamp,total_uv" --type csv …...

机器学习数学基础:29.t检验

t检验学习笔记 一、t检验的定义和用途 t检验是统计学中常用的假设检验方法&#xff0c;主要用于判断样本均值与总体均值间&#xff0c;或两个样本均值间是否存在显著差异。 在实际中应用广泛&#xff0c;例如在医学领域可用于比较两种药物的疗效&#xff1b;在教育领域&…...

Lineageos 22.1(Android 15) 编译隐藏API的 android.jar

一、前言 有时候会我们开发系统应用需要一些系统的方法或者属性之类的,但是被隐藏导致无法正常显示,因为SDK提供的android.jar被隐藏了,所以只能看到sourcecode,实际上编译是会报错的,比如: 一般这种无法是两种,直接添加一个类,同包名同类名,或者依赖framework.jar,可以骗过…...

floodfill算法系列一>扫雷游戏

目录 题目思路&#xff1a;代码设计&#xff1a;代码呈现&#xff1a; 题目思路&#xff1a; 代码设计&#xff1a; 代码呈现&#xff1a; class Solution {int m,n;int[] dx {0,0,-1,1,-1,-1,1,1};int[] dy {-1,1,0,0,-1,1,-1,1};public char[][] updateBoard(char[][] boa…...

2011年下半年软件设计师考试上午题真题的详细知识点分类整理(附真题及答案解析)

以下是针对2011年下半年软件设计师考试上午题真题的详细知识点分类整理&#xff0c;涵盖所有题目涉及的核心知识点&#xff0c;供考生背诵记忆&#xff1a; 1. 数据结构与算法 树与图&#xff1a; 树的性质&#xff1a;树的节点数、深度、叶子节点数之间的关系。二叉树遍历&am…...

算法基础 -- Fenwick树的实现原理

线段树与Fenwick树详解及C语言实现 线段树简介 线段树&#xff08;Segment Tree&#xff09;是一种二叉树结构&#xff0c;主要用于在数组修改的同时&#xff0c;快速进行区间查询。常见应用包括区间求和、区间最小值、区间最大值等。 线段树的特点 时间复杂度&#xff1a;…...

萌新学 Python 之集合 set

集合 set&#xff1a;使用一对大括号&#xff0c;元素写在大括号之间&#xff0c;使用逗号分隔 集合中的元素只能是不可变的数据类型&#xff0c;不能是列表、字典和集合 set1 {1, 2, 3} set2 {1, a, (1, 2, 3)} print(type(set1), type(set2)) # <class set> <c…...

(4)ENVI-guide的设置

1 General Settings 打开ENVI-guide&#xff0c;设置你的模拟时间&#xff0c;模拟名称以及输出文件所在位置 注意&#xff0c;选择多核心和单核运行的方式是 1&#xff09;如果只有一个模拟&#xff0c;并且需要尽快输出&#xff0c;并且运行文件的电脑可以暂时不需要进行其他…...

Golang学习笔记_32——适配器模式

Golang学习笔记_29——抽象工厂模式 Golang学习笔记_30——建造者模式 Golang学习笔记_31——原型模式 文章目录 一、核心概念二、模式结构三、模式特点四、实现方式对比五、适用场景六、与其他模式的对比1. 与装饰器模式2. 与外观模式3. 与创建型模式&#xff08;工厂/原型&am…...

python知识和项目经验

一些功能的实现 从.py文件中获取函数对象和参数 的字典 在给定的Python脚本中&#xff0c;通过模块导入和反射机制&#xff0c;如何动态获取包含模型函数的模块中的函数及其默认参数&#xff0c;并构建一个字典以便后续使用&#xff1f; 解决方案 test.py # test.py impor…...

【自学笔记】版本控制与持续集成基础知识点总览-持续更新

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 版本控制与持续集成基础知识点总览版本控制&#xff08;Version Control&#xff09;1. 版本控制简介2. 常用版本控制系统3. Git基础4. Git进阶 持续集成&#xff0…...