当前位置：首页 > news >正文

MuJoCo 机械臂 PPO 强化学习逆向运动学（IK）

news 来源：原创 2025/7/4 14:49:29

视频讲解：

代码仓库：https://github.com/LitchiCheng/mujoco-learning

结合上期视频，我们安装了stable_baselines3和gym，今天用PPO尝试强化学习得到关节空间到达给定末端位置的实现过程，如下是几个关键的地方：

创建动作空间和观测空间以及目标位置

# 动作空间，7个关节
self.action_space = spaces.Box(low=-1.0, high=1.0, shape=(7,))
# 观测空间，包含关节位置和目标位置
self.observation_space = spaces.Box(low=-np.inf, high=np.inf, shape=(7 + 3,))
self.goal = np.random.uniform(-0.3, 0.3, size=3)

step函数，增加碰撞的惩罚和末端位姿的惩罚，同时mujoco viewer渲染显示

def step(self, action):self.data.qpos[:7] = actionmujoco.mj_step(self.model, self.data)achieved_goal = self.data.body(self.end_effector_id).xposreward = -np.linalg.norm(achieved_goal - self.goal)reward -= 0.3*self.data.nconterminated = np.linalg.norm(achieved_goal - self.goal) < 0.01truncated = Falseinfo = {'is_success': terminated}obs = np.concatenate([self.data.qpos[:7], achieved_goal])mujoco.mj_forward(self.model, self.data)mujoco.mj_step(self.model, self.data)self.handle.sync()return obs, reward, terminated, truncated, info

网络设计和模型超参设置

策略网络（Policy Network）：

输入层 -> 隐藏层1 (256个神经元, ReLU激活) -> 隐藏层2 (128个神经元, ReLU激活) -> 输出层（动作概率分布）

值网络（Value Network）：

输入层 -> 隐藏层1 (256个神经元, ReLU激活) -> 隐藏层2 (128个神经元, ReLU激活) -> 输出层（状态价值估计）

policy_kwargs = dict(activation_fn=nn.ReLU,net_arch=[dict(pi=[256, 128], vf=[256, 128])]
)model = PPO("MlpPolicy",env,policy_kwargs=policy_kwargs,verbose=1,n_steps=2048,batch_size=64,n_epochs=10,gamma=0.99,learning_rate=3e-4,device="cuda" if torch.cuda.is_available() else "cpu"
)

完整代码

import numpy as np
import mujoco
import gym
from gym import spaces
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
import torch.nn as nn
import warnings
import torch
import mujoco.viewer# 忽略特定警告
warnings.filterwarnings("ignore", category=UserWarning, module="stable_baselines3.common.on_policy_algorithm")class PandaEnv(gym.Env):def __init__(self):super(PandaEnv, self).__init__()self.model = mujoco.MjModel.from_xml_path('/home/dar/MuJoCoBin/mujoco-learning/franka_emika_panda/scene.xml')self.data = mujoco.MjData(self.model)self.end_effector_id = mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_BODY, 'link7')self.handle = mujoco.viewer.launch_passive(self.model, self.data)self.handle.cam.distance = 3self.handle.cam.azimuth = 0self.handle.cam.elevation = -30# 动作空间，7个关节self.action_space = spaces.Box(low=-1.0, high=1.0, shape=(7,))# 观测空间，包含关节位置和目标位置self.observation_space = spaces.Box(low=-np.inf, high=np.inf, shape=(7 + 3,))self.goal = np.random.uniform(-0.3, 0.3, size=3)print("goal:", self.goal)self.np_random = None        def reset(self, seed=None, options=None):if seed is not None:self.seed(seed)mujoco.mj_resetData(self.model, self.data)self.goal = self.np_random.uniform(-0.3, 0.3, size=3)print("goal:", self.goal)obs = np.concatenate([self.data.qpos[:7], self.goal])return obs, {}def step(self, action):self.data.qpos[:7] = actionmujoco.mj_step(self.model, self.data)achieved_goal = self.data.body(self.end_effector_id).xposreward = -np.linalg.norm(achieved_goal - self.goal)reward -= 0.3*self.data.nconterminated = np.linalg.norm(achieved_goal - self.goal) < 0.01truncated = Falseinfo = {'is_success': terminated}obs = np.concatenate([self.data.qpos[:7], achieved_goal])mujoco.mj_forward(self.model, self.data)mujoco.mj_step(self.model, self.data)self.handle.sync()return obs, reward, terminated, truncated, infodef seed(self, seed=None):self.np_random = np.random.default_rng(seed)return [seed]if __name__ == "__main__":env = make_vec_env(lambda: PandaEnv(), n_envs=1)policy_kwargs = dict(activation_fn=nn.ReLU,net_arch=[dict(pi=[256, 128], vf=[256, 128])])model = PPO("MlpPolicy",env,policy_kwargs=policy_kwargs,verbose=1,n_steps=2048,batch_size=64,n_epochs=10,gamma=0.99,learning_rate=3e-4,device="cuda" if torch.cuda.is_available() else "cpu")model.learn(total_timesteps=2048*50)model.save("panda_ppo_model")

过程中显示运动，很疯狂。。。

过程中会输出每轮的训练信息

最后在接近的位置疯狂抽搐收敛。。。

MuJoCo 机械臂 PPO 强化学习逆向运动学（IK）

视频讲解： MuJoCo 机械臂 PPO 强化学习逆向运动学（IK） 代码仓库：https://github.com/LitchiCheng/mujoco-learning 结合上期视频，我们安装了stable_baselines3和gym，今天用PPO尝试强化学习得到关节空间到达…...

编程日记 2025/7/4 14:49:29

代码随想录算法训练营第一天：数组part1

今日学习的文章链接和视频链接 ● 自己看到题目的第一想法 ● 看完代码随想录之后的想法 ● 自己实现过程中遇到哪些困难 ● 今日收获，记录一下自己的学习时长状态思路理解完成 30% 代码debug完成 60% 代码模板总结并抽象出来 100% 题目 704 二分查找题目链接…...

编程日记 2025/6/29 9:23:05

C++学习：六个月从基础到就业——STL算法（二）排序与变序算法

C学习：六个月从基础到就业——STL算法（二）排序与变序算法本文是我C学习之旅系列的第二十六篇技术文章，也是第二阶段"C进阶特性"的第四篇，主要介绍C STL算法库中的排序和变序算法。查看完整系列目录了解更多…...

编程日记 2025/7/4 13:09:20

JVM性能优化之年轻代参数设置

一、引言在Java应用开发中，性能问题往往是最难预测却又最影响用户体验的关键因素。即便代码逻辑完美，若JVM（Java虚拟机）配置不当，也可能导致频繁GC停顿、内存泄漏，甚至引发系统崩溃。JVM性能优化并非简单…...

编程日记 2025/6/29 12:26:53

A*迷宫寻路

二、实验内容以寻路问题为例实现A*算法的求解程序，设计两种不同的估价函数： 1.设置两种地图： 根据题意，用矩阵设置两个地图。地图1：设置5行5列的迷宫，代码如下： 地图2：设置20行…...

编程日记 2025/6/29 12:15:03

秒出PPT推出更强版本，AI PPT工具进入新纪元！

在现代职场中，PPT是我们沟通和展示信息的重要工具。无论是做产品演示，还是准备工作汇报，一份精美的PPT能大大提升演示效果。然而，传统的PPT制作往往需要消耗大量时间，尤其是在排版、设计和内容调整上。如今&#xff0c…...

编程日记 2025/6/29 9:53:34

electron-updater实现自动更新

electron-updater 是一个专为 Electron 应用设计的自动更新工具，能够帮助开发者轻松实现跨平台的自动更新功能。它支持 Windows、macOS 和 Linux 系统，通过简单的配置即可集成到 Electron 应用中，自动检查应用的最新版本并在后台完成更新。el…...

编程日记 2025/6/29 9:21:06

Ubuntu22学习记录

Ubuntu22学习记录虚拟机挂载共享文件夹离线安装.net core3.1离线安装mysql离线安装supervisor离线安装nginx开机自启虚拟机挂载共享文件夹 sudo vmhgfs-fuse .host:/ /mnt/hgfs -o allow_other 挂载路径：/mnt/hgfs/离线安装.net core3.1 离线安装mysql 离线安装…...

编程日记 2025/6/29 9:21:07

【MinerU】：一款将PDF转化为机器可读格式的工具——RAG加强（Docker版本）

目录创建容器安装miniconda 安装mineru CPU运行 GPU加速多卡问题创建容器构建Dockerfile文件开启ssh服务，设置密码为1234等操作 # 使用官方 Ubuntu 24.04 镜像 FROM ubuntu:24.04# 安装基础工具和SSH服务 RUN apt-get update && \apt-get ins…...

编程日记 2025/6/29 9:21:08

69. Sqrt(x) 代码： class Solution { public:int mySqrt(int x) {int left 0;int right x;long long mid 0;int res 0;long long temp 0;while(left < right){mid left ((right - left)>>1);temp mid*mid;if(temp x){res mid;break;}else if(te…...

编程日记 2025/6/29 9:21:05

# 代码随想录算法训练营Day37 | Leetcode300.最长递增子序列、674.最长连续递增序列、718.最长重复子数组

代码随想录算法训练营Day37 | Leetcode300.最长递增子序列、674.最长连续递增序列、718.最长重复子数组一、最长递增子序列相关题目：Leetcode300 文档讲解：Leetcode300 视频讲解：Leetcode300 1. Leetcode300.最长递增子序列给你一个整数数…...

编程日记 2025/6/29 10:53:13

中小企业技术跃迁：云原生后端如何实现高效低成本系统建设

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：技术变革的“门槛”能否被跨越？过去十年，云计算与容器化技术飞速发展，互联网巨头纷纷构建自己的云原生基础设施，实现系统模块化、弹性伸缩、自动化运维。然而，中小企业在这股浪潮中…...

编程日记 2025/6/29 9:21:15

系统架构师2025年论文《系统架构风格2》

论软件系统架构风格摘要：某市医院预约挂号系统建设推广应用项目是我市卫生健康委员会 2019 年发起的一项医疗卫生行业信息化项目，目的是实现辖区内患者在辖区各公立医疗机构就诊时，可以通过多种线上渠道进行预约挂号。我作为系统架构师参与此项目。本文围绕软件系统架构…...

编程日记 2025/6/29 11:00:33

Java面试实战：电商场景下的Spring Cloud微服务架构与缓存技术剖析

第一轮提问面试官: 谢飞机，我们先从基础问题开始。请问你知道Spring Boot和Spring Cloud的区别吗？ 谢飞机: 当然知道！Spring Boot主要用于快速构建独立运行的Spring应用，而Spring Cloud则是在Spring Boot的基础上实现分布式系统…...

编程日记 2025/6/29 10:43:52

快速配置linux远程开发-go语言

1.go安装包安装 2.go env 配置 go env -w GO111MODULEon go env -w GOPROXYxx go env -w GOSUMDBoff go env -w GOPRIVATExx 3.复制linux公钥到gitlab中，用于通过ssh免密拉取gitlab项目 ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 4.设置…...

编程日记 2025/6/29 10:52:36

C++23文本编码革新：迈向更现代的字符处理

文章目录一、字符集与编码（P2314R4）二、统一的字符字面量编码（P2316R2）三、具名通用字符转义（P2071R2）四、带分隔的转义序列（P2290R3）五、支持UTF-8作为可移植源文件编码&#xff0…...

编程日记 2025/6/29 11:43:05

CentOS系统中MySQL安装步骤分享

在 CentOS 系统上安装 MySQL，需要依次进行环境检查、软件源配置、安装 MySQL、启动服务等操作。我将按照规范流程，为你详细分享完整且具体的安装步骤。在 CentOS 系统中安装 MySQL 数据库，能够为各类应用提供高效稳定的数据存储和管理服务。…...

编程日记 2025/6/29 9:23:50

【产品经理从0到1】Axure介绍

01. 上期内容回顾创建元件库的时候，在添加原件时不知道怎么操作。讲解很耐心，希望课上分解步骤多带着练习下；PC 端的原型，相对于移动端，非常自由，没有任何的设计规范；但是，要求 PC…...

编程日记 2025/6/29 10:14:48

30天通过软考高项-第二天

30天通过软考高项-第二天任务：项目立项管理、项目整合管理思维导图阅读知识点记忆章节习题练习知识点练习手写回忆ITTO 立项管理-背 1. 项目可研的5个方面基金社运法技术可行性、经济可行性、社会效益可行性、运行环境可行性、其他（法律、政…...

编程日记 2025/6/29 12:28:05

yt-dlp 下载时需要 cookie

下载 b 站歌曲 yt-dlp -x --proxy http://127.0.0.1:1080 --audio-format mp3 https://www.bilibili.com/video/BV1Zn4y1X75b解决方案，使用 firefox 登录相关网站 yt-dlp -o "downloads/%(title)s.%(ext)s" -f "bestvideo[height<1080]bestaud…...

编程日记 2025/6/29 11:00:43

快速上手GO的net/http包，个人学习笔记

更多个人笔记：（仅供参考，非盈利） gitee： https://gitee.com/harryhack/it_note github： https://github.com/ZHLOVEYY/IT_note 针对GO中net/http包的学习笔记基础快速了解创建简单的GOHTTP服务 func …...

编程日记 2025/6/29 12:15:07

Flask + ajax上传文件（二）--多文件上传

Flask多文件上传完整教程本教程将详细介绍如何使用Flask实现多文件上传功能，并使用时间戳为上传文件自动命名，避免文件名冲突。一、环境准备确保已安装Python和Flask pip install flask项目结构 flask_upload/ ├── app.py ├── upload/ # 上传文…...

编程日记 2025/6/29 9:22:51

sysstat介绍以及交叉编译

文章目录 1. 工具集介绍2. 指令使用参考3. 交叉编译3.1 源码下载3.2 编译步骤 4. 工具验证4.1 将相关工具导入到设备4.2 功能验证 1. 工具集介绍 Sysstat 是一个功能强大的 Linux 系统性能监控工具包，提供实时监控和历史数据分析功能，帮助管理员优化系统…...

编程日记 2025/6/29 9:47:05

常见正则表达式整理与Java使用正则表达式的例子

一、常见正则表达式整理 1. 基础验证类邮箱地址 ^[a-zA-Z0-9._%-][a-zA-Z0-9.-]\\.[a-zA-Z]{2,}$ （匹配如 userexample.com）手机号 ^1[3-9]\\\\d{9}$ （匹配国内11位手机号，如 13812345678）中文字符 ^[\u4e00-\u9fa5…...

编程日记 2025/6/29 10:20:59

UE5 Assimp 自用

记录一下配assimp库到ue中的过程。因为想在ue里面实现一些几何处理(虽然ue好像有相关的geo的代码），遂配置了一下assimp。 1. 编译整理生成自己所需要的文件。cmake编译，下载github 的官方的assimp-master，然后cmake都是默认的就行…...

编程日记 2025/6/29 9:21:11

java—12 kafka

目录一、消息队列的优缺点二、常用MQ 1. Kafka 2. RocketMQ 3. RabbitMQ 4. ActiveMQ 5. ZeroMQ 6. MQ选型对比适用场景——从公司基础建设力量角度出发适用场景——从业务场景角度出发四、基本概念和操作 1. kafka常用术语 2. kafka常用指令 3. 单播消息&a…...

编程日记 2025/6/29 11:59:04

VS Code 智能代理模式：重塑开发体验

在编程领域，效率与精准度无疑是开发者们永恒的追求。而如今，VS Code 推出的智能代理模式（Agent Mode），正以前所未有的方式，彻底颠覆了传统开发流程，为程序员们带来了一场前所未有的效率革命。本…...

编程日记 2025/6/29 11:29:44

基于深度学习和单目测距的前车防撞及车道偏离预警系统

随着人工智能与计算机视觉技术的飞速发展，高级驾驶辅助系统（ADAS）已成为现代汽车智能化的关键标志。它不仅能有效提升行车安全，还能为自动驾驶时代的全面到来奠定坚实基础。本文深入剖析一套功能完备、基于深度学习模型的 ADAS 系统的架构与核心实现，带您领略智能驾驶背后…...

编程日记 2025/6/29 9:21:12

第二篇：Django配置及ORM操作

第二篇：Django配置及ORM操作文章目录第二篇：Django配置及ORM操作一、静态文件配置1、为什么要配置静态文件？2、如何配置静态文件？3、静态文件动态解析4、form表单默认是get请求数据二、request对象方法初识三、pycharm链接数据…...

编程日记 2025/6/29 9:21:09

亚马逊英国站FBA费用重构：轻小商品迎红利期，跨境卖家如何抢占先机？

一、政策背景：成本优化成平台与卖家共同诉求 2024年4月，亚马逊英国站（Amazon.co.uk）发布近三年来力度最大的FBA费用调整方案，标志着英国电商市场正式进入精细化成本管理时代。这一决策背后，是多重因素的叠…...

编程日记 2025/6/29 9:21:14

算法时代的“摩西十诫”：AI治理平台重构数字戒律

一、引言数字时代的狂飙突进中，人工智能（AI）正以颠覆性的力量重塑人类社会。从医疗诊断到金融决策，从智能制造到舆论传播，AI的触角已延伸至每个角落。然而，斯坦福大学《2024年人工智能指数报告》揭示的…...

编程日记 2025/6/29 11:51:44

Kafka的ISR机制是什么？如何保证数据一致性？

一、Kafka ISR机制深度解析 1. ISR机制定义 ISR（In-Sync Replicas）是Kafka保证数据一致性的核心机制，由Leader副本（复杂读写）和Follower副本(负责备份)组成。当Follower副本的延迟超过replica.lag.time.max.ms&#…...

编程日记 2025/6/29 9:21:27

Flink 消费 Kafka 数据流的最佳实践

一、前言：Kafka 只是开始，消费才是关键 Kafka 提供了优雅的 Topic 管理与消息缓冲机制，但只有当 Flink 能稳定、有序、无数据丢失地消费并处理这些数据流，实时数仓系统才真正发挥作用。本篇将围绕 Flink 如何“吃好” Kafka 数据…...

编程日记 2025/6/29 9:23:09

UEC++第10天|UEC++获取对象、RTTI是C++

最近在写UEC项目，这里写几个案例里的问题，还在学习阶段 1. 如何获取小鸟对象？ void AFlappyBirdGameModeBase::BeginGame() { // 让管道动起来PipeActor->SetMoveSpeed();// 让小鸟开始飞行// 如何获取到小鸟对象APawn* Pawn UGameplayS…...

编程日记 2025/6/29 12:01:43

原生微信小程序，canvas生成凭证，保存到手机

原生微信小程序通过canvas可以将表单( 文本、图片 )转化成图片，同时添加水印，生成凭证，这里只是基本功能实现。可以继续完善和扩展。 <view class"container"><canvas type"2d" id&…...

编程日记 2025/6/29 9:21:30

如何轻松将 Python 英文版切换至中文界面

Python 是一种广泛使用的编程语言，尤其在数据科学、人工智能和网络开发等领域。在最近的 Python 版本中，用户可以方便地使用多种语言，这也包括将 Python 界面语言从英文切换至中文。这不仅是出于用户体验的考虑，也能帮助初学者更快…...

编程日记 2025/6/29 11:57:54

2025.04.24【3D】3D绘图入门指南

Nifty graph A contribution by Matt Asher. 3D animation A 3D animated scatterplot made with R and rgl. 文章目录 Nifty graph3D animation 2025.04.24【3D】| 3D绘图入门指南什么是3D绘图？为什么使用3D绘图？如何在R中进行3D绘图？安装…...

编程日记 2025/6/29 9:21:18

R-CNN,Fast-R-CNN-Faster-R-CNN个人笔记

注：此博客主要为了方便笔者快速复习，只讲大致框架，只讲推理，不讲训练，因此内容不会很详实。 1.R-CNN R-CNN系列的开山之作。本文将该框架划分为3个模块： 1.region proposal generator 2.CNN&#xff08…...

编程日记 2025/6/29 11:44:59

【深度学习核心技术解析】从理论到实践的全链路指南

目录前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现（MNIST分类）运行结果验证三、性能对比测试方法论量化数据对比结果分析四…...

编程日记 2025/6/29 9:21:26

【QT网络】构建简单Udp回显服务器

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/29 9:21:19

浅谈国产数据库多租户方案：提升云计算与SaaS的资源管理效率

近年来，“数据库多租户”这一概念在技术圈内频频出现，成为云计算和SaaS（软件即服务）架构中的重要组成部分。多租户架构不仅为企业提供了高效的资源隔离与共享解决方案，还能大幅降低成本，提高系统的可扩展性…...

编程日记 2025/6/29 10:29:27

【霍夫变换】图像处理（OpenCV）-part11

20 霍夫变换 20.1 理解霍夫变换霍夫变换的基本思想是将图像空间中的几何元素（如直线、圆等）通过参数方程转换到参数空间中，形成一个参数空间的累加器数组。图像空间中的每个点在参数空间中对应一个曲线或曲面，而几何形状在图像…...

编程日记 2025/6/29 9:21:43

Flink 源码编译

打包命令打包整个项目 mvn clean package -DskipTests -Drat.skiptrue打包单个模块 mvn clean package -DskipTests -Drat.skiptrue -pl flink-dist如果该模块依赖其他模块，可能需要先将其他模块 install 到本地，如果依赖的模块的源代码有修改&#…...

编程日记 2025/6/29 9:25:27

React19源码阅读之commitRoot

commitRoot入口在finishConcurrentRender函数，commitRootWhenReady函数，commitRoot函数。 commitRoot流程图 commitRoot函数 commitRoot 函数是 React 渲染流程中用于提交根节点的关键函数。它的主要作用是设置相关的优先级和状态，然后调…...

编程日记 2025/6/29 9:23:07

单例模式

设计模式（Design Pattern）说白了就是一套方法论，是我们的前辈们不断试错总结出来的。一般意义上的设计模式有23种，分为创建型、结构型、行为型三大类。今天先拿最简单的单例模式开刀吧。六大原则在正式进入设计模式的学习之前&…...

编程日记 2025/6/29 9:21:37

如何在 Postman 中，自动获取 Token 并将其赋值到环境变量

在 Postman 中，你可以通过预请求脚本（Pre-request Script） 和测试脚本（Tests） 实现自动获取 Token 并将其赋值到环境变量，下面是完整的操作步骤： ✅ 一、创建获取 Token 的请求通常这个请求…...

编程日记 2025/6/29 10:14:29

CentOS 7 基于 Nginx 的 HTML 部署全流程指南

一、Nginx 安装（两种主流方式） 1. YUM 安装（推荐新手） # 安装 EPEL 扩展源（部分系统需要） yum install epel-release -y# 安装 Nginx yum install nginx -y# 启动并设置开机自启 systemctl start nginx s…...

编程日记 2025/6/29 9:21:41

spring-ai使用Document存储至milvus的数据结构

1、 spring:application:name: spring-ai-alibaba-rag-milvus-exampleai:dashscope:api-key: sk-xxxxxxoooooovectorstore:milvus:client:host: xxx.ooo.mmm.nnnport: 19530username: rootpassword: MilvusdatabaseName: defaultcollectionName: vector_store#初始化 collecti…...

编程日记 2025/6/29 9:21:39

Milvus（6）：Collection 管理分区、管理别名

1 管理分区分区是一个 Collection 的子集。每个分区与其父集合共享相同的数据结构，但只包含集合中的一个数据子集。本页将帮助你了解如何管理分区。 1.1 分区概述创建一个 Collection 时，Milvus 也会在该 Collection 中创建一个名为_default 的分区。…...

编程日记 2025/6/29 9:23:41

关于Safari浏览器在ios＜16.3版本不支持正则表达式零宽断言的解决办法

异常原因今天在升级Dify版本的时候发现低版本的ios手机出现了以下报错： SyntaxError: Invalid regular expression: invalid group specifier nameError: Invalid regular expression: invalid group specifier name Call Stack 46 eval [native code] (0:0) ./n…...

编程日记 2025/6/29 9:21:29

相关文章：