当前位置：首页 > news >正文

第二章、Isaaclab强化学习包装器(3)：SKRL Wrapper

news 来源：原创 2025/7/1 8:49:39

0 前言

官方文档：https://isaac-sim.github.io/IsaacLab/main/source/api/lab_rl/isaaclab_rl.html#module-isaaclab_rl.skrl
https://skrl.readthedocs.io/en/latest/intro/getting_started.html

在本节中，您将学习如何使用 skrl 库的各种组件来创建强化学习任务。

运行该程序：

进入安装 isaac lab 时创建的conda虚拟环境
在该环境下进入 isaac sim文件夹中运行source setup_conda_env.sh
终端中输入./isaaclab.sh -p scripts/reinforcement_learning/skrll/train.py --task "Isaac-Cartpole-Direct-v0"运行你的代码，进行训练。

在这里插入图片描述

1 gym注册环境

import gymnasium as gym  # 导入Gymnasium库# 在Gymnasium中注册名为"Isaac-Cartpole-Direct-v0"的自定义环境
gym.register(# 环境ID：唯一标识符，遵循Gym命名规范（通常包含版本号v0）id="Isaac-Cartpole-Direct-v0",# entry_point：指定环境类的入口位置# f"{__name__} 表示当前模块（文件），cartpole_env是模块内的类定义文件entry_point=f"{__name__}.cartpole_env:CartpoleEnv",  # 禁用Gym内置的环境检查器（适用于特殊环境或加速初始化）disable_env_checker=True,  # 传递给环境构造函数的额外参数（字典形式）kwargs={# 环境配置类的导入路径（指向CartpoleEnvCfg类）"env_cfg_entry_point": f"{__name__}.cartpole_env:CartpoleEnvCfg",# RL Games库的PPO算法配置文件路径（YAML格式）# agents是包含配置文件的子模块，rl_games_ppo_cfg.yaml是配置文件"rl_games_cfg_entry_point": f"{agents.__name__}:rl_games_ppo_cfg.yaml",# RSL-RL库的PPO算法配置类路径# rsl_rl_ppo_cfg是模块，CartpolePPORunnerCfg是配置类"rsl_rl_cfg_entry_point": f"{agents.__name__}.rsl_rl_ppo_cfg:CartpolePPORunnerCfg",# SKRL库的PPO算法配置文件路径（YAML格式）"skrl_cfg_entry_point": f"{agents.__name__}:skrl_ppo_cfg.yaml",# Stable Baselines3库的PPO算法配置文件路径"sb3_cfg_entry_point": f"{agents.__name__}:sb3_ppo_cfg.yaml",},
)

2 SKRL Wrapper 包装器

skrl即可以通过包装器创建环境，也可以直接调用skrl库的API创建环境：

## 使用包装器
from isaaclab_rl.skrl import SkrlVecEnvWrapper
env = SkrlVecEnvWrapper(env, ml_framework="torch")  # or ml_framework="jax"
## 使用skrl库
from skrl.envs.torch.wrappers import wrap_env  # for PyTorch, or...
from skrl.envs.jax.wrappers import wrap_env    # for JAXenv = wrap_env(env, wrapper="isaaclab")

在skrl的官网中能看到更多的内容：
在这里插入图片描述
由于SKRL Wrapper非常简单，实际上只是把整个包封装好拿来用，因此下述内容是单纯针对skrl的。

3 SKRL

首先我们先来看一下scripts/reinforcement_learning/skrll/train.py中创建强化学习环境并进行训练部分的代码：

# 创建Isaac Gym环境实例
# args_cli.task: 通过命令行参数指定的任务名称（如"Cartpole-v1"）
# cfg=env_cfg: 传入预先定义的环境配置参数（如观测/动作空间设置、奖励函数等）
# render_mode: 若args_cli.video为True则启用RGB数组渲染（用于录制视频），否则不渲染以提升性能
env = gym.make(args_cli.task, cfg=env_cfg, render_mode="rgb_array" if args_cli.video else None)
# 使用Skrl库的向量环境包装器对原始环境进行封装
# 目的：将Isaac Gym环境适配到skrl的训练框架中
env = SkrlVecEnvWrapper(env, ml_framework=args_cli.ml_framework)  # same as: `wrap_env(env, wrapper="auto")`
# 创建skrl训练运行器实例，用于管理整个训练流程
# https://skrl.readthedocs.io/en/latest/api/utils/runner.html
runner = Runner(env, agent_cfg)
# 读取模型
if resume_path:print(f"[INFO] Loading model checkpoint from: {resume_path}")runner.agent.load(resume_path)
# 启动训练流程
runner.run()

关于skrl训练运行器的更详细内容请参考：https://skrl.readthedocs.io/en/latest/api/utils/runner.html
在这里插入图片描述
可以通关官方案例了解更多：https://skrl.readthedocs.io/en/latest/intro/examples.html

第二章、Isaaclab强化学习包装器(3)：SKRL Wrapper

0 前言官方文档：https://isaac-sim.github.io/IsaacLab/main/source/api/lab_rl/isaaclab_rl.html#module-isaaclab_rl.skrl https://skrl.readthedocs.io/en/latest/intro/getting_started.html 在本节中，您将学习如何使用 skrl 库的各种组件来创建强…...

编程日记 2025/7/1 8:49:39

AI数字人实现原理

随着人工智能与数字技术的快速发展，AI数字人（Digital Human）作为新一代人机交互媒介，正在多个行业中快速落地。无论是在虚拟主播、在线客服、教育培训，还是在数字代言、元宇宙中，AI数字人都扮演着越来越重要…...

编程日记 2025/6/28 22:56:15

RBTree的模拟实现

1：红黑树的概念红⿊树是⼀棵⼆叉搜索树，他的每个结点增加⼀个存储位来表⽰结点的颜⾊，可以是红⾊或者⿊⾊。通过对任何⼀条从根到叶⼦的路径上各个结点的颜⾊进⾏约束，红⿊树确保没有⼀条路径会⽐其他路径⻓出2倍，因…...

编程日记 2025/6/29 0:55:04

ssh connect to remote gitlab without authority

ssh connect to remote gitlab without authority 1 this command can produce a ssh key for authority ssh-keygen -t ed25519 -C "your_emailexample.com"2 this command can get the comment about the key cat ~/.ssh/id_ed25519.pubcopy all content !!!...

编程日记 2025/6/29 0:21:30

gitlab提交测试分支的命令和流程

写在前面先npm run lint:eslint 先走一遍代码校验然后再提交先把检验跑了再add commit push那些注意一下这个问题:git commit规范不对导致报错subject may not be empty[subject-empty]type may not be empty[type-empty]. 配置lint检查后， 使用commitlint之后报…...

编程日记 2025/6/28 23:33:05

序列化和反序列化hadoop实现

### Hadoop 中序列化与反序列化的实现机制 Hadoop 提供了自己的轻量级序列化接口 Writable，用于高效地在网络中传输数据或将其存储到磁盘。以下是关于其核心概念和实现方式的详细介绍： --- #### 1. **Hadoop 序列化的核心原理** Hadoop 的序列化是一…...

编程日记 2025/6/28 22:56:30

[操作系统] 策略模式进行日志模块设计

文章目录 [toc]一、什么是设计模式？二、日志系统的基本构成三、策略模式在日志系统中的落地实现✦ 1. 策略基类 LogStrategy✦ 2. 具体策略类▸ 控制台输出：ConsoleLogStrategy▸ 文件输出：FileLogStrategy 四、日志等级枚举与转换函数五、日…...

编程日记 2025/6/28 22:56:12

LeetCode 每日一题 3341. 到达最后一个房间的最少时间 I + II

3341. 到达最后一个房间的最少时间 I II 有一个地窖，地窖中有 n x m 个房间，它们呈网格状排布。给你一个大小为 n x m 的二维数组 moveTime ，其中 moveTime[i][j] 表示在这个时刻以后你才可以开始往这个房间移动。你在时刻 t 0 时从…...

编程日记 2025/6/28 22:56:18

《Python星球日记》第68天：BERT 与预训练模型

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）目录一、BERT模型基础1. 什么是BERT？2. BERT 的结构3.预训练和微调对比二、BERT 的预训练任务1. 掩码语言模型 (MLM)2. 下一句预测 (NSP)三、微调 …...

编程日记 2025/6/29 0:33:03

Angular 知识框架

一、Angular 基础 1. Angular 简介 Angular 是什么？ 基于 TypeScript 的前端框架（Google 维护）。适用于构建单页应用（SPA）。核心特性组件化架构双向数据绑定依赖注入（DI） 模块化设计…...

编程日记 2025/6/28 22:56:31

python三方库sqlalchemy

SQLAlchemy 是 Python 中最强大、最受欢迎的 ORM（对象关系映射）库，它允许你使用 Python 对象来操作数据库，而不需要直接编写 SQL 语句。同时，它也提供了对底层 SQL 的完全控制能力，适用于从简单脚本到大型企…...

编程日记 2025/6/29 1:02:42

【SSL部署与优化】如何为网站启用HTTPS：从Let‘s Encrypt免费证书到Nginx配置

网站启用HTTPS 的完整实战指南，涵盖从 Let’s Encrypt 免费证书申请到 Nginx 配置的详细步骤，包括重定向、HSTS 设置及常见问题排查： 一、准备工作 1. 确保域名解析正确 • 在 DNS 管理后台，将域名（如 example.com&…...

编程日记 2025/6/28 22:56:40

Kubernetes控制平面组件：Kubelet详解（四）：gRPC 与 CRI gRPC实现

云原生学习路线导航页（持续更新中） kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes架构原则和对象设计（三）Kubernetes控…...

编程日记 2025/6/28 23:40:21

电商平台自动化

为什么要进行独立站自动化纯人工测试人力成本高，相对效率低回归测试在通用模块重复进行人工测试，测试效率低前期调研备选自动化框架（工具）： Katalon Applitools Testim 阿里云EMAS Playwright Appium Cypress 相关…...

编程日记 2025/6/29 1:09:33

【kafka】kafka概念，使用技巧go示例

1. Kafka基础概念 1.1 什么是Kafka？ Kafka是一个分布式流处理平台，用于构建实时数据管道和流式应用。核心特点： 高吞吐量：每秒可处理百万级消息持久化存储：消息按Topic分区存储在磁盘分布式架构：支持水平…...

编程日记 2025/6/29 0:58:12

计算机系统结构——Cache性能分析

一、实验目的加深对Cache的基本概念、基本组织结构以及基本工作原理的理解。掌握Cache容量、相联度、块大小对Cache性能的影响。掌握降低Cache不命中率的各种方法以及这些方法对提高Cache性能的好处。理解LRU与随机法的基本思想以及它们对Cache性能的影响。二、实验平台实…...

编程日记 2025/6/28 22:56:11

Spring Web MVC————入门(2)

1，请求我们接下来继续讲请求的部分，上期将过很多了，我们来给请求收个尾。还记得Cookie和Seesion吗，我们在HTTP讲请求和响应报文的时候讲过，现在再给大家讲一遍，我们HTTP是无状态的协议，这次的…...

编程日记 2025/6/28 22:56:29

Adobe DC 2025安装教程

一.软件下载点此下载二.软件安装...

编程日记 2025/6/28 22:56:41

W1电力线载波通信技术

CK_Label_W1 产品型号：CK_Label_W1 尺寸：37*65*33.7mm 按键：1 指示灯：1 RGB灯(红/绿/蓝/黄/紫/白/青) 外观颜色：白色合规认证：CE, RoHS 工作温度：0-50℃ 提示功能：蜂鸣器声音…...

编程日记 2025/6/28 22:56:27

现代 Web 自动化测试框架对比：Playwright 与 Selenium 的深度剖析

现代 Web 自动化测试框架对比：Playwright 与 Selenium 的深度剖析摘要：本文对 Playwright 与 Selenium 在开发适配性、使用难度、场景适用性及性能表现等方面进行了全面深入的对比分析。通过详细的技术实现细节阐述与实测数据支撑，为开发者…...

编程日记 2025/6/28 23:06:47

第二章：CSS秘典 · 色彩与布局的力量

剧情承接：色彩失衡的荒原林昊穿过 HTML 大门，眼前却是一片灰白扭曲的荒原。所有页面元素如同幽灵般漂浮，没有色彩、没有结构，错乱无章。 “这是失控的样式荒原。” 零号导师的声音再次响起， “HTML 给了你骨架&…...

编程日记 2025/6/28 23:32:17

ubuntu studio 系统详解

Ubuntu Studio 系统详解：面向多媒体创作的专业 Linux 发行版一、定位与目标用户 Ubuntu Studio 是 Ubuntu 的官方衍生版本（Flavor），专为音频、视频、图形设计、音乐制作、影视后期等多媒体创作场景设计。目标用户包括&#x…...

编程日记 2025/6/28 22:56:26

在 Ubuntu 20.04.6 LTS 中将 SCons 从 3.1.2 升级到 4.9.1

在 Ubuntu 20.04.6 LTS 中将 SCons 从 3.1.2 升级到 4.9.1，可以通过以下步骤完成： 方法 1：使用 pip 安装（推荐） 步骤 1：卸载旧版本 SCons # 如果通过 apt 安装的旧版本，先卸载 sudo apt remov…...

编程日记 2025/6/29 1:20:57

边缘计算网关工业物联网应用：空压机远程运维监控管理

边缘计算网关在空压机远程运维监控管理中的工业物联网应用，主要体现在数据采集与处理、设备监控、故障诊断与预警、远程控制等方面，以下是具体介绍： 数据采集与处理多源数据采集：边缘计算网关能连接空压机的各类传感器&#xf…...

编程日记 2025/6/28 23:27:50

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？ 📌 题目重现 🌟🌟 面试官:大模型中KV Cache的作用是什么？如何通过Window Attention优…...

编程日记 2025/6/29 0:27:31

Spring的 @Validate注解详细分析

在 Spring Boot 中，参数校验是保证数据合法性的重要手段。除了前面提到的NotNull、Size等基础注解外，JSR-303（Bean Validation 1.0）、JSR-349（Bean Validation 1.1）和 JSR-380（Bean Validation …...

编程日记 2025/6/28 22:56:20

现代计算机图形学Games101入门笔记(三)

三维变换具体形式缩放，平移特殊点旋转。这里涉及到坐标系，先统一定义右手坐标系，根据叉乘和右手螺旋判定方向。这里还能法线Ry Sina 正负与其他两个旋转不一样。这里可以用右手螺旋，x叉乘z，发现大拇指朝下&#xff0…...

编程日记 2025/6/28 23:18:58

AI时代的弯道超车之第八章：具体分享几个AI实际操作方法和案例

在这个AI重塑世界的时代，你还在原地观望吗？是时候弯道超车，抢占先机了！李尚龙倾力打造——《AI时代的弯道超车：用人工智能逆袭人生》专栏，带你系统掌握AI知识，从入门到实战，全方位提升认知与竞争力！内容亮点： AI基础 + 核心技术讲解职场赋能 + 创业路径揭秘打破…...

编程日记 2025/6/28 23:44:19

企业网络新选择：软件定义架构下的MPLS

随着现代企业园区网络和运营商级基础设施的不断发展，多协议标签交换 （MPLS） 已成为一项基础技术，这要归功于其高效的数据包转发、高级流量工程功能以及对多租户环境的强大支持。什么是MPLS？ MPLS（多协议…...

编程日记 2025/6/29 1:22:15

SparkSQL操作Mysql

（一）准备mysql环境我们计划在hadoop001这台设备上安装mysql服务器，（当然也可以重新使用一台全新的虚拟机）。以下是具体步骤： 使用finalshell连接hadoop001.查看是否已安装MySQL。命令是: rpm -qa|grep…...

编程日记 2025/6/29 0:48:35

【论文阅读】UNIT: Backdoor Mitigation via Automated Neural Distribution Tightening

ECCV2024 https://github.com/Megum1/UNIT 我们的主要贡献总结如下： 我们引入了UNIT（“AUtomated Neural DIstribution Tightening”），这是一种创新的后门缓解方法，它为每个神经元近似独特的分布边界，用于…...

编程日记 2025/6/28 23:45:30

Android逆向学习（十） IDA逆向编辑Android so文件

Android逆向学习（十） IDA逆向编辑Android so文件一、写在前面这是吾爱破解论坛正己大大的第10个教程 native code在我之前的博客中讲到过，所以这里就不讲了简单来说，native code就是在android中使用c或c语言进行开发这样…...

编程日记 2025/6/30 0:01:06

OpenCV + PyAutoGUI + Tkinter + FastAPI + Requests 实现的远程控制软件设计方案

以下是基于 OpenCV PyAutoGUI Tkinter FastAPI Requests 实现的远程控制软件设计方案。该方案分为被控端（服务端） 和控制端（客户端），支持屏幕实时查看、键盘映射和鼠标操作。 1. 系统架构 ------------------- …...

编程日记 2025/6/29 0:31:12

C++.神经网络与深度学习（赶工版）（会二次修改）

神经网络与深度学习 1. 神经网络基础1.1 神经元模型与激活函数1.2 神经网络结构与前向传播2.1 损失函数与优化算法均方误差损失函数交叉熵损失函数梯度下降优化算法 2.2 反向传播与梯度计算神经元的反向传播 3.1 神经元类设计与实现神经元类代码实现代码思路 3.2 神经网络类构建…...

编程日记 2025/6/29 0:54:14

砷化镓太阳能电池：开启多元领域能源新篇

砷化镓太阳能电池作为一种高性能的光伏产品，具有诸多独特优势。其中，锗衬底砷化镓太阳能电池表现尤为突出，它具备高转化效率、耐辐照和高电压等特性。在空间供电电源领域，这些优势使其成为人造卫星、太空站、太空探测器和登陆探测…...

编程日记 2025/6/28 23:54:29

[Linux] vim及gcc工具

目录一、vim 1.vim的模式 2.vim的命令集 (1):命令模式 (2):底行模式 3.vim配置二、gcc 1.gcc格式及选项 2.工作布置三、自动化构建工具makefile 1.基本使用方法 2.配置文件解析 3.拓展在linux操作系统的常用工具中，常用vim来进行程序的编写&#xff1b…...

编程日记 2025/6/28 23:56:53

java加强 -stream流

Stream流是jdk8开始新增的一套api，可以用于操作集合或数组的内容。 Stream流大量的结合了Lambda的语法风格来编程，功能强大，性能高效，代码简洁，可读性好。体验Stream流把集合中所有以三开头并且三个字的元素存储到…...

编程日记 2025/6/28 22:56:25

RHCE认证通过率

红帽RHCE考试总体通过率38%（2023年数据），细分数据显示自学者通过率18%，参加官方培训者47%，企业团体考生53%。通过率差异由备考资源和考试策略决定。 RHCE考试重点考Ansible自动化运维，需在3.5小时内完成12…...

编程日记 2025/6/28 22:56:19

OpenEvidence AI临床决策支持工具平台研究报告

平台概述 OpenEvidence是一个专为医疗专业人士设计的临床决策支持工具，旨在通过整合各类临床计算器和先进的人工智能技术，提高医生的诊疗决策效率和准确性。作为一款综合性医疗平台，OpenEvidence将复杂的医学计算流程简化，同时提供个性化的临床建议，使医生能够更快、更准…...

编程日记 2025/6/28 22:56:23

gd32e230c8t6 keil6工程模板

下载固件gd32e230c8t6固件官方下载（需登录） 或蓝奏云新建一个文件夹，把固件压缩包里的里的Firmware和Template拖进去 keil新建gd32e230c8工程必须勾选CMSIS-CORE 新建一个文件夹，双击任意改名点击manage project it…...

编程日记 2025/6/28 22:56:22

正向代理与反向代理区别及应用

正向代理和反向代理是两种常见的代理服务器类型，它们在网络架构中扮演不同角色，核心区别在于代理对象和使用场景。 1. 正向代理（Forward Proxy） 定义：正向代理是客户端（如浏览器）主动配置的代理…...

编程日记 2025/6/28 23:07:34

自然语言处理入门级项目——文本分类

文章目录前言1.数据预处理1.1数据集介绍1.2数据集抽取1.3划分数据集1.4数据清洗1.5数据保存 2.样本的向量化表征2.1词汇表2.2向量化2.3自定义数据集2.4备注结语前言本篇博客主要介绍自然语言处理领域中一个项目案例——文本分类，具体而言就是判断评价属于积极还…...

编程日记 2025/6/29 0:18:36

UOS专业版上通过源码安装 Python 3.13 并保留系统默认版本

在 UOS 专业版上通过源码安装 Python 3.13 并保留系统默认版本，可按照以下步骤操作： 1. 安装依赖首先安装编译 Python 所需的依赖库： sudo apt update sudo apt install -y build-essential zlib1g-dev libncurses5-dev \ libgdbm-dev li…...

编程日记 2025/6/29 1:18:38

【论文笔记】ViT-CoMer

【题目】：ViT-CoMer: Vision Transformer with Convolutional Multi-scale Feature Interaction for Dense Predictions 【引用格式】：Xia C, Wang X, Lv F, et al. Vit-comer: Vision transformer with convolutional multi-scale feature interaction…...

编程日记 2025/6/29 0:39:39

kaggle薅羊毛

参考：https://pytorch-tutorial.readthedocs.io/en/latest/tutorial/chapter05_application/5_1_kaggle/#512-kaggle https://github.com/girls-in-ai/Girls-In-AI/blob/master/machine_learning_diary/data_analysis/kaggle_intro.md 1，code training…...

编程日记 2025/6/29 0:05:38

Python 之 Flask 入门学习

安装 Flask 在开始使用 Flask 之前，需要先安装它。可以通过 pip 命令来安装 Flask： pip install Flask创建第一个 Flask 应用创建一个简单的 Flask 应用，只需要几行代码。以下是一个最基本的 Flask 应用示例： from flask imp…...

编程日记 2025/6/28 22:56:24

SpringBoot Vue MySQL酒店民宿预订系统源码（支付宝沙箱支付）+代码讲解视频

💗博主介绍💗：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示：文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…...

编程日记 2025/6/28 23:38:37

Oracle日期计算跟Mysql计算日期差距问题-导致两边计算不一致

Oracle数据库对日期做加法时，得到的时间是某天的12:00:00 例： Oracle计算 select (TO_DATE(2025-04-14, YYYY-MM-DD)1.5*365) from dual; 结果：2026/10/13 12:00:00Mysql计算 select DATE_ADD( str_to_date( 2025-04-14, %Y-%m-%d ), INTER…...

编程日记 2025/6/29 0:19:28

多线程（三）

上一期关于线程的执行，咱们说到线程是 “ 随机调度，抢占式执行 ”。所以我们对于线程之间执行的先后顺序是难以预知的。例如咱们打篮球的时候，球场上的每一位运动员都是一个独立的 “ 执行流 ”，也可以认为是一个线程&#xff0…...

编程日记 2025/6/29 1:32:06

微服务商城（1）开篇、服务划分

参考：https://mp.weixin.qq.com/s?__bizMzg2ODU1MTI0OA&mid2247485597&idx1&sn7e85894b7847cc50df51d66092792453&scene21#wechat_redirect 为什么选择go-zero go-zero 为我们提供了许多高并发场景下的实用工具，比如为了降低接口耗时…...

编程日记 2025/6/29 0:39:53

0 前言

1 gym注册环境

2 SKRL Wrapper 包装器

3 SKRL

相关文章：