当前位置：首页 > news >正文

ML-Agents：智能体（三）

news 来源：原创 2025/5/8 0:55:47

注：本文章为官方文档翻译，如有侵权行为请联系作者删除
Agent - Unity ML-Agents Toolkit–原文链接>

ML-Agents：智能体（一）
ML-Agents：智能体（二）
ML-Agents：智能体（三）
ML-Agents：智能体（四）

动作和执行器

动作是Agent执行的来自 Policy 的指令。当 Academy 调用函数时，动作将作为参数传递给 an IActionReceiver（ anAgent或 an IActuator）。支持两种类型的动作：连续和离散。ActionBuffers``IActionReciever.OnActionReceived()

策略和训练算法都不知道动作值本身的含义。训练算法只是尝试不同的动作列表值，并观测随着时间的推移和许多训练事件对累积奖励的影响。因此，为Agent定义动作的唯一地方是在函数中OnActionReceived()。

例如，如果您设计了一个在二维空间中移动的Agent，则可以使用连续或离散动作。在连续情况下，您可以将动作大小设置为 2（每个维度一个），Agent的策略将输出一个具有两个浮点值的动作。在离散情况下，您将使用一个大小为 4 的分支（每个方向一个），策略将创建一个动作数组，其中包含一个值范围从零到三的元素。或者，您可以创建两个大小为 2 的分支（一个用于水平移动，一个用于垂直移动），策略将输出一个动作数组，其中包含两个值范围从零到一的元素。您也可以使用连续和离散动作的组合，例如，对水平移动使用一个连续动作，对垂直移动使用大小为 2 的离散分支。

Heuristic()请注意，当您为Agent编写操作程序时，使用Agent的方法测试操作逻辑通常会很有帮助，这可以让您将键盘命令映射到操作。

持续行动

当Agent的策略具有连续动作时， ActionBuffers.ContinuousActions传递给AgentOnActionReceived()函数的是一个长度等于Continuous Action Size属性值的数组。数组中的各个值具有您赋予它们的任何含义。例如，如果您将数组中的元素指定为Agent的速度，则训练过程将学习通过此参数控制Agent的速度。

3DBall 示例使用具有两个控制值的连续动作。

3DBall

这些控制值应用于立方体的旋转：

    public override void OnActionReceived(ActionBuffers actionBuffers){var actionZ = 2f * Mathf.Clamp(actionBuffers.ContinuousActions[0], -1f, 1f);var actionX = 2f * Mathf.Clamp(actionBuffers.ContinuousActions[1], -1f, 1f);gameObject.transform.Rotate(new Vector3(0, 0, 1), actionZ);gameObject.transform.Rotate(new Vector3(1, 0, 0), actionX);}

默认情况下，我们提供的 PPO 算法的输出会将值预限制 ActionBuffers.ContinuousActions在 [-1, 1] 范围内。如果您计划在环境中使用第三方算法，最佳做法是手动限制这些值。如上所示，您可以在限制控制值后根据需要缩放控制值。

离散动作

当 Agent 的 Policy 采用离散动作时， ActionBuffers.DiscreteActions传递给 AgentOnActionReceived()函数的是一个长度为的整数数组Discrete Branch Size。定义离散动作时，Branches 是一个整数数组，每个值对应每个分支的可能性数量。

例如，如果我们想要一个可以在平面上移动和跳跃的Agent，我们可以定义两个分支（一个用于运动，一个用于跳跃），因为我们希望我们的Agent能够同时移动和跳跃。我们将第一个分支定义为有 5 种可能的动作（不移动、向左、向右、向后、向前），第二个分支定义为有 2 种可能的动作（不跳、跳跃）。该 OnActionReceived()方法看起来像：

// Get the action index for movement
int movement = actionBuffers.DiscreteActions[0];
// Get the action index for jumping
int jump = actionBuffers.DiscreteActions[1];// Look up the index in the movement action list:
if (movement == 1) { directionX = -1; }
if (movement == 2) { directionX = 1; }
if (movement == 3) { directionZ = -1; }
if (movement == 4) { directionZ = 1; }
// Look up the index in the jump action list:
if (jump == 1 && IsGrounded()) { directionY = 1; }// Apply the action results to move the Agent
gameObject.GetComponent<Rigidbody>().AddForce(new Vector3(directionX * 40f, directionY * 300f, directionZ * 40f));

掩盖离散动作

使用离散操作时，可以指定某些操作对于下一个决策而言是不可能的。当Agent由神经网络控制时，Agent将无法执行指定操作。请注意，当Agent由其启发式方法控制时，Agent仍将能够决定执行屏蔽操作。为了禁止某个操作，请重写虚拟方法Agent.WriteDiscreteActionMask()，并调用 SetActionEnabled()提供的IDiscreteActionMask：

public override void WriteDiscreteActionMask(IDiscreteActionMask actionMask)
{actionMask.SetActionEnabled(branch, actionIndex, isEnabled);
}

在哪里：

branch是要允许或禁止操作的分支的索引（从 0 开始）
actionIndex是您想要允许或禁止的操作的索引。
isEnabled是一个布尔值，指示是否应该允许该操作。

例如，如果你有一个有 2 个分支的Agent，并且在第一个分支（分支 0）上有 4 个可能的操作：“不做任何事”、“跳跃”、“射击” 和_“更换武器”。然后使用下面的代码，Agent将在下一个决策中“不做任何事”或“更换武器”_（因为动作索引 1 和 2 被屏蔽）

actionMask.SetActionEnabled(0, 1, false);
actionMask.SetActionEnabled(0, 2, false);

Note：

SetActionEnabled如果要在多个分支上放置掩码，可以多次调用。
在每个步骤中，操作的状态都会被重置并默认启用。
您无法屏蔽分支的所有操作。
您无法在连续控制中屏蔽动作。

IActuator 接口和 ActuatorComponents

Actuator API 允许用户将行为从 Agent 中抽象出来并放入组件中（类似于 ISensor API）。IActuator接口和Agent 类都实现了IActionReceiver接口，以便与当前的向后兼容Agent.OnActionReceived。这意味着在您决定使用 API 之前，您无需更改代码IActuator。

与界面一样ISensor，该IActuator界面适用于高级用户。

抽象类ActuatorComponent用于IActuator在运行时创建实际。它必须与附加到GameObject，Agent或附加到子GameObject。执行器及其所有数据结构在期间初始化Agent.Initialize。这样做是为了防止运行时出现意外分配。

IActuator您可以在示例场景中找到实现的示例Basic。注意Behavior Parameters：使用IActuator和时，无需调整Agent中的操作 ActuatorComponents。

在内部，Agent.OnActionReceived使用IActuator将动作发送给Agent，尽管这主要是从用户那里抽象出来的。

总结

Agent可以使用Discrete和/或Continuous动作。
离散动作可以有多个动作分支，并且可以屏蔽某些动作以使其不会被执行。
一般来说，动作越少，学习就越容易。
确保将连续动作大小和离散分支大小设置为每种动作所需的数字，而不是更大，因为后者可能会干扰训练过程的效率。
连续动作值应被限制在适当的范围内。提供的 PPO 模型会自动将这些值限制在 -1 和 1 之间，但第三方训练系统可能不会这样做。

鉴于作者水平有限，本文可能存在不足之处，欢迎各位读者提出指导和建议，共同探讨、共同进步。

ML-Agents：智能体（三）

注：本文章为官方文档翻译，如有侵权行为请联系作者删除 Agent - Unity ML-Agents Toolkit–原文链接> ML-Agents：智能体（一） ML-Agents：智能体（二） ML-Agents：智能体&a…...

编程日记 2025/5/8 0:55:47

【harbor】离线安装2.9.0-arm64架构服务制作和升级部署

执行: .prepare 【作用就是产生一些配置信息和docker-compose.yaml文件，然后docker-compose发布docker】 harbor官网地址：Harbor 参考文档可以看这里：部署 harbor 2.10.1 arm64 - 简书。前提环境准备： 安装docker 和 docker…...

编程日记 2025/5/6 14:12:26

可视化-Visualization

可视化-Visualization 1.Introduction Visualization in Open CASCADE Technology is based on the separation of: on the one hand – the data which stores the geometry and topology of the entities you want to display and select, andon the other hand – its pr…...

编程日记 2025/5/7 8:28:41

完整化安装kubesphere，ks-jenkins的状态一直为init

错误描述： 打印日志： kubectl describe pod ks-jenkins-7fcff7857b-gh4g5 -n kubesphere-devops-system 日志描述如下： Events: Type Reason Age From Message ---- ------ ---- …...

编程日记 2025/5/4 21:50:05

halcon三维点云数据处理（十）locate_cylinder_3d

目录一、locate_cylinder_3d例程代码二、gen_binocular_rectification_map函数三、binocular_disparity函数四、自定义函数select_best_candidates五、自定义函数remove_shadowed_regions 一、locate_cylinder_3d例程代码 1、读取或者创建3D形状模型， 2、根据双目…...

编程日记 2025/5/2 7:49:30

【CSS】设置滚动条样式

文章目录基本语法用法案例基本语法在CSS中，可以使用 ::-webkit-scrollbar 和相关伪元素来为滚动条设置样式，但请注意这些伪元素是非标准的，主要用于WebKit内核浏览器（如Chrome、Safari）。 ::-webkit-scrollbar CSS …...

编程日记 2025/5/6 21:36:54

一个运行在浏览器中的开源Web操作系统Puter本地部署与远程访问

文章目录前言1.关于Puter2.本地部署Puter3.Puter简单使用4. 安装内网穿透5.配置puter公网地址6. 配置固定公网地址 💡 推荐前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击跳转到网站…...

编程日记 2025/5/8 0:06:30

支持selenium的chrome driver更新到131.0.6778.264

最近chrome释放新版本：131.0.6778.264 如果运行selenium自动化测试出现以下问题，是需要升级chromedriver才可以解决的。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only s…...

编程日记 2025/4/30 16:41:14

conda+jupyter+pycharm：如何在Windows conda环境下运行jupyter并使用浏览器或者pycharm运行.ipynb

1 安装conda 2 conda环境下安装jupyter pip install jupyter3 设置jupyter配置文件 1）创建 jupyter_notebook_config.py文件 jupyter notebook --generate-config 2）设置密码 3）设置参数直接将以下参数修改为自己的配置后复制到配置文件…...

编程日记 2025/4/27 14:28:34

生成式数据增强在大语言模型中的应用与实践

引言近年来，大语言模型（Large Language Models, LLMs）如GPT、BERT等在自然语言处理（NLP）领域取得了巨大突破。然而，这些模型的性能往往依赖于大量高质量的训练数据，而在许多实际应用场景中&am…...

编程日记 2025/5/6 6:01:04

深度学习笔记11-优化器对比实验(Tensorflow)

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊目录一、导入数据并检查二、配置数据集三、数据可视化四、构建模型五、训练模型六、模型对比评估七、总结一、导入数据并检查 import pathlib,…...

编程日记 2025/4/24 0:56:16

汽车免拆诊断 | 2007款保时捷Carrera S车行驶中发动机冷却液温度报警灯异常点亮

故障现象一辆2007款保时捷Carrera S车，搭载3.8 L自然吸气发动机，累计行驶里程约为7.8万km。车主反映，车辆行驶一段距离后，组合仪表上的发动机冷却液温度报警灯异常点亮。为此，在其他维修厂已更换过节温器、发动机冷却…...

编程日记 2025/5/6 8:56:20

【蓝牙】win11 笔记本电脑连接 hc-06

文章目录前言步骤前言使用电脑通过蓝牙添加串口步骤设置 -> 蓝牙和其他设备点击显示更多设备更多蓝牙设置 COM 端口 -> 添加有可能出现卡顿，等待一会传出 -> 浏览点击添加 hc-06，如果没有则点击再次搜索确定添加成…...

编程日记 2025/5/7 14:53:23

what？ngify 比 axios 更好用,更强大？

文章目录前言一、什么是ngify？二、npm安装三、发起请求3.1 获取 JSON 数据3.2 获取其他类型的数据3.3 改变服务器状态3.4 设置 URL 参数3.5 设置请求标头3.6 与服务器响应事件交互3.7 接收原始进度事件3.8 处理请求失败3.9 Http Observables 四、更换 HTTP 请求实现…...

编程日记 2025/5/5 23:09:23

EFCore HasDefaultValueSql (续2 HasComputedColumnSql)

前情：EFCore HasDefaultValueSql EFCore HasDefaultValueSql (续1 ValueGeneratedOnAdd)-CSDN博客小伙伴在使用 HasDefaultValueSql 时，对相关的 ValueGeneratedOnAdd, HasComputedColumnSql 也有了疑问： HasComputedColumnSql 对于计算…...

编程日记 2025/4/25 0:07:41

springboot整合h2

在 Spring Boot 中整合 H2 数据库非常简单。H2 是一个轻量级的嵌入式数据库，非常适合开发和测试环境。以下是整合 H2 数据库的步骤： 1. 添加依赖首先，在你的 pom.xml 文件中添加 H2 数据库的依赖： <dependency><grou…...

编程日记 2025/5/7 7:50:10

Unity自带的真车模拟系统，速度不够大r时如何以匀速上桥

在 Unity 中，如果你使用自带的真车模拟系统（如 Wheel Collider）时，发现车辆上桥时速度不够，导致无法顺利上坡，可以通过以下方法调整车辆的行为，使其能够以匀速上桥： 1. 调整 Wheel C…...

编程日记 2025/5/6 11:25:12

HarmonyOS鸿蒙-@State@Prop装饰器限制条件

一、组件Components级别的状态管理： State组件内状态限制条件 1.State装饰的变量必须初始化，否则编译期会报错。 // 错误写法，编译报错 State count: number;// 正确写法 State count: number 10; 2.嵌套属性的赋值观察不到。 // 嵌套的…...

编程日记 2025/5/2 5:46:03

C# 中的 Task 和 Async/Await

理解 C# 中的 Task 和 Async/Await：提升程序性能的利器前言：在现代应用程序开发中，特别是在设计用户界面（UI）和进行网络请求等 I/O 操作时，异步编程变得尤为重要。C# 提供了一套强大的异步编程模型&#…...

编程日记 2025/5/5 17:36:05

vue.js 基于VueCli自定义创建项目

在使用Vue.js进行项目开发时，我们可以使用Vue CLI来快速创建项目。Vue CLI是一个基于Vue.js的命令行工具，它提供了一套完整的项目脚手架，可以帮助开发者快速搭建Vue.js项目的开发环境。下面我们来详细解析如何使用Vue CLI自定义创建项目&am…...

编程日记 2025/4/28 18:13:09

Java中的反射机制及其应用场景

目录什么是Java反射机制？ 工作原理主要应用场景注意事项总结什么是Java反射机制？ Java反射机制是一种强大的工具，它允许程序在运行时访问、检查和修改其本身的类和对象的信息。通过反射，开发者可以在不知道类的具体实现…...

编程日记 2025/5/7 15:11:15

金融项目实战 03|JMeter脚本实现手工接口测试

目录一、环境说明 1、项目环境搭建 2、Mock说明二、构造测试数据 1、通过系统页面构造 2、通过接口构造 3、通过数据库构造【推荐】 4、案例：构造借款业务数据三、JMeter执行接口测试用例 1、获取图片验证码、获取短信验证码 2、注册脚本 3、登录脚本…...

编程日记 2025/5/6 23:16:39

前端工具汇总

1. vscode 下载地址：https://code.visualstudio.com/ vscode扩展汇总： 1.1 Code Spell Checker（必须安装） 代码拼写检查器 1.2 Auto Close Tag 自动添加HTML/XML的关闭标签 3. Auto Import 自动查找、解析并为所有可用导入…...

编程日记 2025/5/3 19:41:26

【学习路线】Python数据分析（数据科学）详细知识点学习路径（附学习资源）

学习本路线内容之前，请先学习Python的基础知识其他路线： Python基础 >> Python进阶 >> Python爬虫 >> Python数据分析（数据科学） >> Python 算法（人工智能） >> Pyth…...

编程日记 2025/5/6 6:01:16

Flutter 实现验证码输入框学习

学习flutter代码实现一个用于输入验证码的自定义组件，它允许用户输入固定长度的验证码，并在输入完成时触发回调。前置知识点学习 TextStyle TextStyle 是 Flutter 中用于定义文本样式的类。它提供了一组属性来控制文本的外观，如字体大小、…...

编程日记 2025/5/6 15:37:59

hutool糊涂工具通过注解设置excel宽度

import java.lang.annotation.*;Documented Retention(RetentionPolicy.RUNTIME) Target({ElementType.METHOD, ElementType.FIELD, ElementType.PARAMETER}) public interface ExcelStyle {int width() default 0; }/*** 聊天记录*/ Data public class DialogContentInfo {/**…...

编程日记 2025/5/4 17:34:28

动作和执行器

持续行动

离散动作

掩盖离散动作

IActuator 接口和 ActuatorComponents

总结

相关文章：