【强化学习】Stable-Baselines3学习笔记
【强化学习】Stable-Baselines3学习笔记
- Stable-Baselines3是什么
- 安装
- Example
- Reinforcement Learning Tips and Tricks
- VecEnv相关
Stable-Baselines3是什么
- Stable Baselines3（简称SB3）是一套基于PyTorch实现的强化学习算法的可靠工具集
- 旨在为研究社区和工业界提供易于复制、优化和构建新项目的强化学习算法实现
- 官方文档链接：Stable-Baselines3 Docs - Reliable Reinforcement Learning Implementations
Stable-Baselines的一些特点：
Q：RL Baselines3 Zoo、SB3 Contrib和SBX (SB3 + Jax)与Stable Baselines3的关系是什么？
A：
- RL Baselines3 Zoo：RL Baselines3 Zoo是一个基于Stable Baselines3的训练框架，提供了训练、评估、调优超参数、绘图及视频录制的脚本。它的目标是提供一个简单的接口来训练和使用RL代理，同时为每个环境和算法提供调优的超参数
- SB3 Contrib：SB3 Contrib是一个包含社区贡献的强化学习算法的仓库，提供了一些实验性的算法和功能。这使得主库SB3能够保持稳定和紧凑，同时通过SB3 Contrib提供最新的算法
- SBX (SB3 + Jax)：Stable Baselines Jax (SBX)是Stable Baselines3在Jax上的概念验证版本，提供了一些最新的强化学习算法， 它与SB3相比提供了较少的功能，但在某些情况下可以提供更高的性能，速度可能快达20倍。 SBX遵循SB3的API，因此与RL Zoo兼容
这三个项目都是Stable Baselines3生态系统的一部分，它们共同提供了一个全面的工具集，用于强化学习的研究和开发。SB3提供了核心的强化学习算法实现，而RL Baselines3 Zoo提供了一个训练和评估这些算法的框架。SB3 Contrib则作为实验性功能的扩展库，SBX则探索了使用Jax来加速这些算法的可能性
安装
- Stable-Baselines3 requires python 3.9+ and PyTorch >= 2.3
- Windows的要求：Python 3.8或以上
- 安装命令：
#该命令将会安装 Stable Baselines3以及一些依赖项 如Tensorboard, OpenCV or ale-py
pip install stable-baselines3[extra]#该命令仅安装 Stable Baselines3 的核心包
pip install stable-baselines3
Example
- 官方示例代码：
import gymnasium as gymfrom stable_baselines3 import A2Cenv = gym.make("CartPole-v1", render_mode="rgb_array")model = A2C("MlpPolicy", env, verbose=1)
model.learn(total_timesteps=10_000)vec_env = model.get_env()
obs = vec_env.reset()
for i in range(1000):action, _state = model.predict(obs, deterministic=True)obs, reward, done, info = vec_env.step(action)vec_env.render("human")# VecEnv resets automatically# if done:# obs = vec_env.reset()
与直接使用gymnasium环境的不同之处
gymnasium.make之后，还需要创建vec_envvec_env = model.get_env()- 环境的reset使用vec_env.reset()
- VecEnv仅需在训练开始时reset，训练中无需手动reset，具体请看上述代码中最后的注释部分
Reinforcement Learning Tips and Tricks
- 强化学习与其他机器学习方法不同之处：训练的数据由智能体本身收集Reinforcement Learning differs from other machine learning methods in several ways. The data used to train the agent is collected through interactions with the environment by the agent itself(compared to supervised learning where you have a fixed dataset for instance).
- 这种依赖会导致恶性循环：如果代理收集到质量较差的数据（例如，没有奖励的轨迹），那么它就不会改进并继续积累错误的轨迹。This dependence can lead to vicious circle: if the agent collects poor quality data (e.g., trajectories with no rewards), then it will not improve and continue to amass bad trajectories.
VecEnv相关
- stable-baselines使用矢量化环境(VecEnv)
- VecEnv允许并行地在一个环境中的多个实例上运行，这样可以显著提高数据收集和训练的效率
- VecEnv支持批量操作（允许模型一次从多个环境实例中学习），可以一次性对所有环境实例执行相同的动作，然后同时获取所有实例的观测、奖励和完成状态
- 在VecEnv中，当一个环境实例完成（即done为True）时，它会自动重置
相关文章：
【强化学习】Stable-Baselines3学习笔记
【强化学习】Stable-Baselines3学习笔记 Stable-Baselines3是什么安装ExampleReinforcement Learning Tips and TricksVecEnv相关 Stable-Baselines3是什么 Stable Baselines3（简称SB3）是一套基于PyTorch实现的强化学习算法的可靠工具集旨在为研究社区和…...
sqoop的参数有哪些？
Sqoop 是一款用于在 Hadoop 与关系型数据库之间进行数据传输的工具，它有很多参数，可分为通用参数、导入参数和导出参数等，以下是一些常见的参数介绍： 通用参数 --connect 说明：指定要连接的关系型数据库的 JDBC URL。…...
)
16×16LED点阵字符滚动显示-基于译码器与移位寄存器(设计报告+仿真+单片机源程序)
资料下载地址：1616LED点阵字符滚动显示-基于译码器与移位寄存器(设计报告仿真单片机源程序) 1、功能介绍 设计1616点阵LED显示器的驱动电路，并编写程序实现在1616点阵LED显示器上的字符滚动显示。1616点阵LED显示器可由4块88点阵LED显示器构成。可采…...
后门移除方法和后门检测
1、后门移除方法 1.1、Fine-Pruning方法 [48]利用了这样一个观察结果：后门攻击会利用神经网络中的空闲容量。该方法通过消除在干净输入下处于休眠状态的神经元来减小网络的规模，然后对网络进行微调(使用干净数据继续训练)，以增强对抗修剪感…...
网络安全检测
实验目的与要求 (1) 帮助学生掌握木马和入侵的防护和检测方法、提高学习能力、应用能力和解决实际问题的能力。 (2) 要求学生掌握方法, 学会应用软件的安装和使用方法, 并能将应用结果展示出来。 实验原理与内容 入侵检测是通过对计算机网络或计算机系统中若干关键点收集信…...
FPGA（一）verilog语句基础
Verilog 是一种硬件描述语言（HDL），常用于数字电路的设计、模拟和验证，特别是用于 FPGA 和 ASIC 的设计。Verilog 让设计者能够描述和模拟硬件系统的行为和结构，最终将其转化为硬件电路。 一、模块结构 Verilog 中的设计…...
istio配置重复的svc报错
现象： 两个vs中配置了同一个svc地址，导致其中的一个vs路由配置不生效，看到istiod服务的报错duplicate domain from service 解决： istiod服务报错日志 2024-11-13T14:54:50.39418167508:00 "pilot_vservice_dup_doma…...
_kaic)
springboot473基于web的物流管理系统(论文+源码)_kaic
摘 要 如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解决一些老技术的弊端问题。因为传统物流管理系统信息管理难度大，容错率低&#x…...
面试题整理7----Nginx的access.log被删除在不影响应用的情况下恢复日志的写入
面试题整理7----Nginx的access.log被删除在不影响应用的情况下恢复日志的写入 1. 问题2. 问题复现2. 释放空间2.1 确定nginx的pid2.2 确定文件描述符号2.3 清空文件 3. 恢复access.log的写入4. 后续改善 1. 问题 这是一个非常常见的故障处理. 应用负责人发现服务器磁盘满了,经…...
ip_forward函数
ip_forward 函数是 Linux 内核中用于处理 IP 数据包转发的重要函数。它负责将数据包从一个网络接口转发到另一个网络接口。以下是这个函数的一些关键点和工作流程的概述： 1. **数据包接收**：当一个数据包到达网络设备（如以太网卡）时，内核会首先接收到这个数据包。 2. **路…...
华院计算参与项目再次被《新闻联播》报道
12月17日，央视《新闻联播》播出我国推进乡村振兴取得积极进展。其中，华院计算参与的江西省防止返贫监测帮扶大数据系统被报道，该系统实现了由原来的“人找人”向“数据找人”的转变，有效提升监测帮扶及时性和有效性，守…...
postman关联接口用于登录（验证码会变情况）
目录 一、介绍 二、操作步骤 (一)Fiddler抓取到登录信息 (二)postman发送请求 新建请求一：登录值请求 (三)易变值赋值固定住 新建请求二：易变值验证码(uuid)请求 切换到请求一里面进行赋值绑定 一、介绍 接口有两种形式，一种是单…...
《探秘 Qt Creator Manual 4.11.1》
《探秘 Qt Creator Manual 4.11.1》 一、Qt Creator 4.11.1 概述二、功能特性全解析（一）跨平台能力展示（二）代码编辑优势（三）版本控制集成（四）特定 Qt 功能呈现（五&#…...
linux（ubuntu ）卡死怎么强制重启
（公司的 ubuntu 跑个用例经常卡死） 如果其他快捷键都没有反应，且不想按电源键进行硬重启，可以尝试以下方法： 1. 使用 Magic SysRq 键 Magic SysRq 键可以在系统完全卡死的情况下，执行一些强制操作来重启…...
优化程序中的数据：从数组到代数
前言 我们往往都希望优化我们的程序，使之达到一个更好的效果，程序优化的一个重点就是速度，加快速度的一个好办法就是使用并行技术，但是，并行时我们要考虑必须串行执行的任务，也就是有依赖关系的任务&#…...
图像配准有哪些技术？
目录 图像配准技术 1.基于特征的图像配准 2.基于强度的图像配准 3.基于模型的图像配准 4.基于学习的图像配准 5.混合方法 图像配准的应用 图像配准技术入门 常见问题解答 图像配准是计算机视觉和医学成像中的一项关键技术，用于将多幅图像对齐到一个共同的坐…...
)
第五节：GLM-4v-9b模型model加载源码解读(模型相关参数方法解读)
文章目录 前言一、GLM-4v-9b模型model加载源码解读1、GLM-4v-9b模型model加载主函数源码2、GLM-4v-9b模型model加载源码源码解读3、GLM-4v-9b自定义模型类源码解读 二、基于GLM-4v-9b模型获取模型输入参数等内容源码解读(from_pretrained-->huggingface)1、from_pretrained函…...
Unity3D仿星露谷物语开发7之事件创建动画
1、目标 掌握事件通知的Publisher - Subscriber设计模式，并通过事件通知触发动画。 2、发布者/订阅者模式 首先，定义事件Event 然后，Publisher触发事件 最后，Subscriber订阅事件并进行处理 （1）创建动作…...
学校知网中的加锁论文下载不了怎么办
最近有同学求助在学校下载知网论文，有加锁标识的论文下载不了。这是因为各高校订购的都不是数据库全库，加锁的论文是超出订购范围的资源所以下载不了。下面就来讲下解决办法： 首先选一个涵盖数据库多，各个数据库资源权限高的文献…...
算法 双指针技巧
文章目录 双指针[leetcode167 两数之和](https://leetcode.cn/problems/two-sum-ii-input-array-is-sorted/description/)分析题解 [leetcode88 合并两个有序数组](https://leetcode.cn/problems/merge-sorted-array/description/)分析题解 [leetcode142 环形链表](https://lee…...
Spring Boot注解总结大全【案例详解，一眼秒懂】
SpringBootApplication 功能：这是Spring Boot应用的核心注解，它是一个组合注解，实际上相当于同时使用了Configuration、EnableAutoConfiguration和ComponentScan。它标记在主应用类上，用于开启Spring Boot的自动配置功能ÿ…...
手动修改nginx-rtmp模块，让nginx-rtmp-module支持LLHLS
文章目录 1. 背景2. 开发环境搭建2.1 ffmpeg在ubuntu上安装2.2 nginx-rtmp-module在ubuntu上安装2.3 安装vscode环境2. 修改nginx-rtmp-module2.1 主要更新内容2.2 新增配置项2.3 代码更新3. LLHLS验证方法3.1 配置验证3.2 功能验证4. 注意事项5. 已知问题6. 后续计划1. 背景 …...
在Visual Studio 2022中配置C++计算机视觉库Opencv
本文主要介绍下载OpenCV库以及在Visual Studio 2022中配置、编译C计算机视觉库OpenCv的方法 1.Opencv库安装 首先，我们需要安装OpenCV库，作为一个开源库，我们可以直接在其官网下载Releases - OpenCV，如果官网下载过慢&#x…...
Unity全局雾效
1、全局雾效是什么 全局雾效（Global Fog）是一种视觉效果，用于在3D场景中模拟大气中的雾气对远处物体的遮挡 它通过在场景中加入雾的效果，使得距离摄像机较远的物体看起来逐渐被雾气覆盖，从而创造出一种朦胧、模糊的视…...
2024 高频 Java 面试合集整理 （1000 道附答案解析）
2024 年马上就快要过去了，总结了上半年各类 Java 面试题，初中级和中高级都有，包括 Java 基础，JVM 知识面试题库，开源框架面试题库，操作系统面试题库，多线程面试题库，Tcp 面试题库&am…...
Java CPU飙升 排查
一、概述 CPU 是整个电脑的核心计算资源，CPU的最小执行单元是 线程； 在现代操作系统中，进程和线程是两种主要的调度单位； 进程是程序中正在运行的一个应用程序，而线程是系统分配处理器时间资源的基本单位。一个进程至少…...
vue中的css深度选择器v-deep 配合!important
当 <style> 标签有 scoped 属性时，它的 CSS 只作用于当前组件中的元素，父组件的样式将不会渗透到子组件。 如果你希望 scoped 样式中的一个选择器能够作用得“更深”，例如影响子组件，你可以使用深度选择器。 ::v-deep { } 举…...
设计模式--工厂方法模式【创建型模式】
设计模式的分类 我们都知道有 23 种设计模式，这 23 种设计模式可分为如下三类： 创建型模式（5 种）：单例模式、工厂方法模式、抽象工厂模式、建造者模式、原型模式。结构型模式（7 种）࿱…...
K8S Ingress 服务配置步骤说明
部署Pod服务 分别使用kubectl run和kubectl apply 部署nginx和tomcat服务 # 快速启动一个nginx服务 kubectl run my-nginx --imagenginx --port80# 使用yaml创建tomcat服务 kubectl apply -f my-tomcat.yamlmy-tomcat.yaml apiVersion: apps/v1 kind: Deployment metadata:n…...
32. 线程、进程与协程
一、什么是多任务 如果一个操作系统上同时运行了多个程序，那么称这个操作系统就是 多任务的操作系统，例如：Windows、Mac、Android、IOS、Harmony 等。如果是一个程序，它可以同时执行多个事情，那么就称为 多任务的程序。…...
华为实训课笔记 2024 1223-1224
华为实训 12/2312/24 12/23 [Huawei]stp enable --开启STP display stp brief --查询STP MSTID Port Role STP State Protection 实例ID 端口 端口角色 端口状态 是否开启保护[Huawei]display stp vlan xxxx --查询制定vlan的生成树计算结…...
麒麟信安参编的《能源企业数字化转型能力评价 技术可控》团体标准发布
近日，中国能源研究会发布公告，《能源企业数字化转型能力评价 技术可控》团体标准发布。该标准由麒麟信安与国网湖北省电力有限公司武汉供电公司、国网智能电网研究院有限公司、中能国研（北京）电力科学研究院等单位联合编制。 《能…...
绿色环保木塑复合材料自动化生产线设计书
《绿色环保木塑复合材料自动化生产线设计书》 一、项目概述 随着全球对环境保护和可持续发展的日益重视，绿色环保材料的研发与生产成为了热门领域。木塑复合材料作为一种新型的绿色环保材料，它将木材纤维与塑料通过特定工艺复合而成，兼具木材与塑料的双重特性，具有防水、…...
渗透测试-前端加密分析之RSA加密登录（密钥来源服务器）
本文是高级前端加解密与验签实战的第6篇文章，本系列文章实验靶场为Yakit里自带的Vulinbox靶场，本文讲述的是绕过RSA加密来爆破登录。 分析 这里的代码跟上文的类似，但是加密的公钥是通过请求服务端获取的 http://127.0.0.1:8787/crypto/js/…...
数据应用与数据平台如何测试？与普通测试有什么不同？
首先我们一起了解一下数据应用测试的对象是什么。第一个是数据报表这一块，数据报表包含了我们常见的业务分析报表、经常能看到的一些数据大屏之类。 第二块是数据平台，数据应用平台主要有一些智能营销平台，比如说画像分析平台，自助…...
基于Qlearning强化学习的机器人路线规划matlab仿真
目录 1.算法仿真效果 2.算法涉及理论知识概要 3.MATLAB核心程序 4.完整算法代码文件获得 1.算法仿真效果 matlab2022a仿真结果如下（完整代码运行后无水印）： 训练过程 测试结果 仿真操作步骤可参考程序配套的操作视频。 2.算法涉及理论…...
零基础微信小程序开发——小程序的宿主环境（保姆级教程+超详细）
🎥 作者简介： CSDN\阿里云\腾讯云\华为云开发社区优质创作者，专注分享大数据、Python、数据库、人工智能等领域的优质内容 🌸个人主页： 长风清留杨的博客 🍃形式准则： 无论成就大小，…...
用Moninfo.exe轻松获取显示器EDID
我们天天在用显示器，但显示器的一些关键参数却总是记不住。有时为了配置电脑，有时为了发挥显示器的极限性能，有时为了定制驱动，等等，都需要获取显示器的EDID数据。有些工具虽然可以读出EDID，但难以解读那一…...
的编译、交叉编译)
【开源库 | xlsxio】C/C++读写.xlsx文件，xlsxio 在 Linux(Ubuntu18.04)的编译、交叉编译
😁博客主页😁：🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑：🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 ⏰发布时间⏰： 2024-12-20 …...
全国青少年信息学奥林匹克竞赛（信奥赛）备考实战之分支结构（switch语句）
if语句处理多个分支时需要用if-else if结构，分支越多，嵌套的if语句层就越多，程序不但庞大、复杂，理解起来也比较困难。在C编程中，针对有些问题除了使用if-else if结构之外，还有switch语句也可以实现&#x…...
SQL Server数据库多主模式解决方案
SQL Server 本身并不直接支持多主模式（Multi-Master Replication），即多个数据库实例可以同时进行写操作，并且这些更改会自动同步到其他实例。不过，SQL Server 提供了多种高可用性和复制解决方案，可以实现类似多主模式的功能。以下是几种常见的方法： 1. Always On 可用性…...
如何训练Stable Diffusion 模型
训练Stable Diffusion模型是一个复杂且资源密集的过程，通常需要大量的计算资源（如GPU或TPU）和时间。Stable Diffusion是一种基于扩散模型的生成式AI，能够根据文本提示生成高质量的图像。它的训练过程涉及多个步骤，包括…...
笔记)
网络编程(王铭东老师)笔记
网络编程的目的 1.将多个设备通过网络进行连接在一起，可以将数据共享。 基础知识-01-ip地址 1.引入 为了能够确定网络数据收发双方是哪台电脑，需要用ip来标记电脑。 2.什么是地址 地址就是用来标记地点的 3.ip地址的作用 作用：在逻辑上标…...
项目亮点案例
其实对我来说是日常操作，但是如果在面试的时候面试者能把日常的事情总结好发出来，其实足矣。 想让别人认同项目，选取的示例需要包含以下要素： 亮点项目四要素：明确的目标，问题点，解决方法和结果…...
ShardingSphere-Proxy 连接实战：从 Golang 原生 SQL 到 GORM 的应用
在这篇文章《ShardingSphereProxy:快速入门》中，我们介绍了如何通过 Navicat 连接 ShardingSphere-Proxy。 实际上，ShardingSphere-Proxy 兼容标准的 SQL 和原生数据库协议，因此你可以使用任何 MySQL 客户端与其进行连接，包括 Go…...
uniapp验证码
一、 页面结构 假设你有一个发送短信按钮，点击按钮时会触发发送短信并启动倒计时。 <template><view><button click"sendSms" :disabled"isSending">{{ buttonText }}</button></view> </template>二、脚…...
C/C++基础知识复习（43）
1) 什么是运算符重载？如何在 C 中进行运算符重载？ 运算符重载是指在 C 中为现有的运算符定义新的行为，使得它们能够用于用户定义的数据类型（如类或结构体）。通过运算符重载，可以让自定义类型像内置数据类型…...
GIT安装过程
文章目录 下载安装包安装过程验证安装Git的基本使用 Git的安装可以通过以下步骤完成 下载安装包 首先，访问Git官网(https://git-scm.com/)或Git for Windows(https://gitforwindows.org/)下载对应系统的安装包。 对于Windows系统，通常…...
评估大语言模型在药物基因组学问答任务中的表现：PGxQA
这篇文献主要介绍了一个名为PGxQA的资源，用于评估大语言模型（LLM）在药物基因组学问答任务中的表现。 研究背景 药物基因组学（Pharmacogenomics, PGx）是精准医学中最有前景的领域之一，通过基因指导的治疗…...
[HNCTF 2022 Week1]你想学密码吗？
下载附件用记事本打开 把这些代码放在pytho中 # encode utf-8 # python3 # pycryptodemo 3.12.0import Crypto.PublicKey as pk from hashlib import md5 from functools import reducea sum([len(str(i)) for i in pk.__dict__]) funcs list(pk.__dict__.keys()) b reduc…...