当前位置： 首页 > news >正文

强化学习入门--基本概念

news 来源：原创 2025/6/9 20:40:20

强化学习基本概念

grid-world example

这个指的是一个小机器人（agent）在一个网格区域（存在边界），网格中存在需要躲避的格子和目标格子，我们的目的就是找到到达目标格子的最短路径

state

表示智能体相对于环境的状态，在上面的例子中，state就代表位置

state space 如果把所有的状态放在一起，就构成了状态空间

action

在每一个状态可以采取的行动

action space 所有动作放在一起，构成动作空间

state transition

当采取一个action的时候，agent 从一个state到达另一个state

在状态转换时，通常会出现各种特殊情况，导致我们进行一个动作时，状态转换的结果并不唯一，我们引入条件概率的概念，使用条件概率去描述state transition

forbidden area

需要躲避的区域，包含两种情况

  • 可以进入，但进入该区域会被惩罚
  • 不可以进入
policy（策略）

作用是告诉agent在该state下应该做什么动作

策略使用Π表示，在某一状态下执行某一动作表示为Π(a|s)，使用条件概率的形式

reward（回报）

是一个数，一个标量

如果是一个正数，那么代表我们希望这个行为发生

如果是一个负数，那么代表我们不希望这个行为发生

但是我们可以自定义这件事情，如果将正数定义为惩罚，那么agent就希望得到更多的负数

其作为我们与机器交互的一种手段存在

我们通过设计reward来实现我们的目标

比如对于上面的grid-world example，我们可以设计出边界惩罚为-1，到达forbidden area惩罚为-1，到达target area奖励为1，其余动作为0

这种可以代表确定的reword，对于很多行为，其reward是不确定的，还是和之前一样，使用条件概率。

我们的reward并不是根据结果给出，而是根据当前状态和要采取的动作给出

Trajectory and return

trajectory代表着一系列的状态-动作-回报（可以称其为轨迹），那么一个轨迹的return就是这一系列动作得到的回报加和，不同策略得到的轨迹是不同的，通过比较不同策略的得到轨迹的return，从而判断策略的好坏

discounted return

到达target后，实际上还在不停的运行，比如上面的例子，就会在target保持不动，一直加1

为了解决其不收敛的问题，引入discounted return，在每项前加上折扣

γ是一个(0，1)之间的数

可以看到如果γ趋近于0，那么结果更依赖于开始得到的return，使实验更加的近视

episode

这个其实描述的就是不持续的任务，但是不持续的任务和coutinue task之间可以进行转化

比如上述例子，我们可以将在target状态下的动作的结果都为原地不动，那么就会由原来的episode变为coutinue task

或者将最终的状态视为一个一般的状态，如果策略好的话，它就停在哪里不动，如果策略不好的话，他就会有可能跳出来

使用策略二会使其更具一般化

相关文章：

强化学习入门--基本概念

强化学习基本概念 grid-world example 这个指的是一个小机器人（agent）在一个网格区域（存在边界），网格中存在需要躲避的格子和目标格子，我们的目的就是找到到达目标格子的最短路径 state 表示智能体相对…...

编程日记 2025/5/27 20:38:06

Oracle 创建并使用外部表

目录 一. 什么是外部表二. 创建外部表所在的文件夹对象三. 授予访问外部表文件夹的权限3.1 DBA用户授予普通用户访问外部表文件夹的权限3.2 授予Win10上的Oracle用户访问桌面文件夹的权限 四. 普通用户创建外部表五. 查询六. 删除 一. 什么是外部表 在 Oracle 数据库中&#x…...

编程日记 2025/6/4 17:47:03

深度学习python基础(第三节) 函数、列表

本节主要介绍函数、列表的基本语法格式。 函数 与c语言的函数差不多，就是语法基本格式不同。 name "loveyou" length len(name) print("字符串的长度为：%d" % length) # 自定义函数 def countstr(data):count 0for i in da…...

编程日记 2025/6/1 18:20:14

基于Python的多元医疗知识图谱构建与应用研究（上）

一、引言 1.1 研究背景与意义 在当今数智化时代，医疗数据呈爆发式增长，如何高效管理和利用这些数据，成为提升医疗服务质量的关键。传统医疗数据管理方式存在数据孤岛、信息整合困难等问题，难以满足现代医疗对精准诊断和个性化治疗的需求。知识图谱作为一种知识表示和管理…...

编程日记 2025/6/2 2:56:21

Spring Boot 快速创建项目

目录 一. 创建项目 ​编辑 二. 项目目录 三. 运行项目 (1) 启动项目 (2) 输出HelloWorld 一. 创建项目 我们以idea专业版为例创建Spring项目: 步骤: (1) File --> New --> Project (2) 配置项目基本信息 (3) 依赖: 需要什么就勾选什么. 我们这里就只勾选一个Spri…...

编程日记 2025/6/2 10:27:36

MySQL预编译语句过多告警排查

业务背景 在使用Spring Cloud Alibaba搭建的微服务架构中，项目采用ShardingSphere进行分库分表，MyBatis-Plus作为持久层。线上环境突发大量预编译语句过多的数据库告警，导致系统性能下降。 排查过程 1. 初步排查：联系云数据库厂…...

编程日记 2025/6/4 1:01:42

在centos上编译安装opensips【初级-默认安装】

环境：centos9 last opensips3.2 dnf update -y dnf install -y gcc make git automake libtool pcre-devel libxml2-devel \libcurl-devel postgresql-devel \bzip2-devel zlib-devel ncurses-devel libuuid-devel \libpcap-devel # 有报错的直接删除cd /usr/lo…...

编程日记 2025/6/3 9:07:17

偏序关系.

一、偏序（半序）关系 偏序关系 自反反对称传递性 二、全序（线序、链）关系 三、偏序集中的重要元素 1. 极大元与极小元 极大元找所在集合的一个或几个最高点； 极小元找所在集合的一个或几个最低点。 2. 最大元与最小…...

编程日记 2025/6/1 23:56:14

Node.js接收文件分片数据并进行合并处理

前言：上一篇文章讲了如何进行文件的分片：Vue3使用多线程处理文件分片任务，那么本篇文章主要看一下后端怎么接收前端上传来的分片并进行合并处理。 目录： 一、文件结构二、主要依赖1. express2. multer3. fs (文件系统模块)4. pat…...

编程日记 2025/6/3 16:24:15

设计模式概述 - 设计模式的重要性

引言 设计模式是软件工程中用于解决常见设计问题的经典解决方案。它们提供了一种标准化的方式来组织和设计代码，使得代码更易于理解、维护和扩展。在C编程中，设计模式尤为重要，因为它们可以帮助开发者应对复杂的系统设计，提高代码…...

编程日记 2025/6/3 21:42:57

OSI5GWIFI自组网协议层次对比

目录 5G网络5G与其他协议栈各层映射 5G网络 物理层 (PHY) 是 5G 基站协议架构的最底层，负责将数字数据转换为适合无线传输的信号，并将接收到的无线信号转换为数字数据。实现数据的编码、调制、多天线处理、资源映射等操作。涉及使用新的频段&#xff08…...

编程日记 2025/6/1 2:18:18

网络安全（渗透）

目录 名词解释 2、相互关系 3. 安全影响 名词解释 1、poc、exp、payload与shellcode POC（Proof of Concept）： 是一种概念验证代码或演示程序，用于证明漏洞的存在。 主要目的是通过简单的代码或操作向安全研究人员、开发人员…...

编程日记 2025/6/4 1:28:25

Whisper-GPT：混合表征音频大语言模型

Whisper-GPT：混合表征音频大语言模型 当下，利用从神经压缩算法（例如#Encodec#​）派生的离散音频标记的生成式音频、语音以及音乐模型数量激增。然而，这种方法的主要缺陷之一在于对上下文长度的处理。如果必须考虑所有不同频率的音频内容才能进行下一个标记预测，那么高保…...

编程日记 2025/6/2 23:42:43

科技重塑未来：前沿技术趋势、跨领域融合与社会影响深度洞察

目录 科技重塑未来：前沿技术趋势、跨领域融合与社会影响深度洞察引言一、前沿技术趋势洞察与分析1. 人工智能与自动化1.1 趋势分析1.2 挑战分析 2. 区块链技术2.1 趋势分析2.2 挑战分析 3. 量子计算3.1 趋势分析3.2 挑战分析 二、跨领域技术融合与创新实践1. AI与大…...

编程日记 2025/6/2 23:41:50

深度学习：大模型Decoding+MindSpore NLP分布式推理详解

大模型推理流程 1. 用户输入提示词（Prompt） 假设用户输入为：“从前，有一只小猫，它喜欢……” 我们的目标是让模型生成一段完整的故事。 2. 模型处理用户输入 2.1 分词：输入提示被分词为模型可以理解的…...

编程日记 2025/6/2 23:42:24

GESP6级语法知识（二）：动态规划算法（二）

最小路径和; //最小路径和 #include<iostream> using namespace std; const int N100; int dp[N][N],value[N][N]; int n,m; int main() {cin>>n>>m;for(int i1;i<n;i) //录入初始数字矩阵 for(int j1;j<m;j)cin>>value[i][j];for(int i1;i…...

编程日记 2025/6/4 17:20:29

数据结构与算法之递归: LeetCode 79. 单词搜索 (Ts 版)

单词搜索 https://leetcode.cn/problems/word-search/description/ 描述 给定一个 m x n 二维字符网格 board 和一个字符串单词 word 。如果 word 存在于网格中&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 单词必须按照字母顺序&#xff0c;通过相邻的单…...

编程日记 2025/6/2 23:41:34

智能系统的感知和决策

智能系统在感知和决策过程中具备的关键能力表现在智能感知/自主判定上&#xff0c;下面可以从感知的本质、自主判断的含义及其在智能系统中的作用进行深入分析。 1、智能感知&#xff1a;信息获取与理解 智能感知是指智能系统通过传感器或其他数据采集手段获取环境中的信息&…...

编程日记 2025/6/2 18:01:03

多线程之旅：线程安全问题

之前说到了多线程的创建和一些属性等等&#xff0c;接下来&#xff0c;就来讲讲多线程安全问题。 小编引入这段代码讲解下&#xff1a; public class Demo13 {public static int count0;public static void main(String[] args) throws InterruptedException {Thread t1new…...

编程日记 2025/6/2 5:38:30

用java配合redis 在springboot上实现令牌桶算法

令牌桶算法配合 Redis 在 Java 中的应用令牌桶算法是一种常用的限流算法&#xff0c;适用于控制请求的频率&#xff0c;防止系统过载。结合 Redis 使用可以实现高效的分布式限流。 一.、引入依赖首先&#xff0c;需要在 pom.xml 文件中引入 spring-boot-starter-data-re…...

编程日记 2025/6/4 11:17:19

科学计算库NumPy

NumPy是高性能科学计算和数据分析的基础包。 认识NumPy数据对象 n维数组对象ndarray(array) 数组是编程语言中重要且复杂的数据结构&#xff0c;它是由相同类型元素按照一定的顺序排列的集合。ndarray具有矢量算术能力和复杂的广播能力。 - 维度又称为维数&#xff0c;在数学…...

编程日记 2025/6/3 5:14:57

【大数据】机器学习----------强化学习机器学习阶段尾声

一、强化学习的基本概念 注&#xff1a; 圈图与折线图引用知乎博主斜杠青年 1. 任务与奖赏 任务&#xff1a;强化学习的目标是让智能体&#xff08;agent&#xff09;在一个环境&#xff08;environment&#xff09;中采取一系列行动&#xff08;actions&#xff09;以完成一个…...

编程日记 2025/6/3 15:02:33

Unicode不可见字符

场景复现 在访问 https://dotnet.microsoft.com/zh-cn/apps/aspnet地址时 突然出现 https://dotnet.microsoft.com/zh-cn/apps/aspnet%E2%80%8C%E2%80%8C 但是正常来看&#xff0c;这个地址后面是没有%E2%80%8C%E2%80%8C的&#xff0c;粘贴到idea里发现了url地址后面还拼接了2…...

编程日记 2025/6/3 15:04:57

w172二手车交易系统的设计与实现

&#x1f64a;作者简介&#xff1a;多年一线开发工作经验&#xff0c;原创团队&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339;赠送计算机毕业设计600个选题excel文…...

编程日记 2025/6/3 15:03:37

TRELLIS微软的图生3D

TRELLIS 教程目录&#xff1a; Youtube&#xff1a;https://www.youtube.com/watch?vJqFHZ-dRMhI 官网地址&#xff1a;https://trellis3d.github.io/ GitHub&#xff1a;https://github.com/Microsoft/TRELLIS 部署目录&#xff1a; 克隆项目 git clone --recurse-submodul…...

编程日记 2025/6/4 17:25:17

【力扣：新动计划，编程入门 —— 题解 ①】

向前看&#xff0c;总会有新的故事值得期盼 —— 25.1.21 2235. 两整数相加 给你两个整数 num1 和 num2&#xff0c;返回这两个整数的和。 示例 1&#xff1a; 输入&#xff1a;num1 12, num2 5 输出&#xff1a;17 解释&#xff1a;num1 是 12&#xff0c;num2 是 5 &#x…...

编程日记 2025/6/3 15:04:41

如何使用 Pytest -k 选项轻松筛选测试用例

关注开源优测不迷路 大数据测试过程、策略及挑战 测试框架原理&#xff0c;构建成功的基石 在自动化测试工作之前&#xff0c;你应该知道的10条建议 在自动化测试中&#xff0c;重要的不是工具 你是否曾不得不从成百上千个测试中费力筛选&#xff0c;只为运行几个特定的测试&am…...

编程日记 2025/6/3 15:03:06

C语言之小型成绩管理系统

&#x1f31f; 嗨&#xff0c;我是LucianaiB&#xff01; &#x1f30d; 总有人间一两风&#xff0c;填我十万八千梦。 &#x1f680; 路漫漫其修远兮&#xff0c;吾将上下而求索。 C语言之小型成绩管理系统 目录 设计题目设计目的设计任务描述设计要求输入和输出要求验收要…...

编程日记 2025/6/3 15:04:09

C++ ——— 模拟实现 vector 类

目录 vector 类的框架 无参数的构造函数 析构函数 获取有效数据个数 获取容量 重载 [] 运算符 可读可写版本 只可读版本 扩容 尾插 实现迭代器 可读可写版本 只可读版本 自定义设置size长度和内容 在任意位置插入 删除任意位置的数据 赋值重载 vector 类的框…...

编程日记 2025/6/3 15:02:49

SpringBoot实现轻量级动态定时任务管控及组件化

1关于动态定时任务 关于在SpringBoot中使用定时任务&#xff0c;大部分都是直接使用SpringBoot的Scheduled注解&#xff0c;如下&#xff1a; Component public class TestTask {Scheduled(cron"0/5 * * * * ? ") //每5秒执行一次public void execute(){SimpleDa…...

编程日记 2025/6/3 15:03:22

STM32 FreeRTOS 任务挂起和恢复---实验

实验目标 学会vTaskSuspend( )、vTaskResume( ) 任务挂起与恢复相关API函数使用&#xff1a; start_task:用来创建其他的三个任务。 task1&#xff1a;实现LED1每500ms闪烁一次。 task2&#xff1a;实现LED2每500ms闪烁一次。 task3&#xff1a;判断按键按下逻辑&#xff0c;KE…...

编程日记 2025/6/3 7:37:26

#漏洞挖掘# 一文了解什么是Jenkins未授权访问！！！

免责声明 本教程仅为合法的教学目的而准备&#xff0c;严禁用于任何形式的违法犯罪活动及其他商业行为&#xff0c;在使用本教程前&#xff0c;您应确保该行为符合当地的法律法规&#xff0c;继续阅读即表示您需自行承担所有操作的后果&#xff0c;如有异议&#xff0c;请立即停…...

编程日记 2025/6/4 18:03:35

1.21学习记录

misc 2023isctf 你说爱我尊嘟假嘟 这题有点脑洞&#xff0c;需要把你说爱我换成Ook.将尊嘟换为Ook&#xff01;假嘟换成Ook&#xff1f;&#xff08;根据语气进行猜测吧&#xff09;用在线工具解密最后用base64解密即可 2023isctf 杰伦可是流量明星 解压后是一个MP3文件&am…...

编程日记 2025/6/3 7:38:31

【Pandas】pandas Series groupby

Pandas2.2 Series Function application, GroupBy & window 方法描述Series.apply()用于将一个函数应用到 Series 的每个元素或整个 SeriesSeries.agg()用于对 Series 数据进行聚合操作Series.aggregate()用于对 Series 数据进行聚合操作Series.transform()用于对 Series…...

编程日记 2025/6/3 7:37:10

Text2SQL 智能报表方案介绍

0 背景 Text2SQL智能报表方案旨在通过自然语言处理&#xff08;NLP&#xff09;技术&#xff0c;使用户能够以自然语言的形式提出问题&#xff0c;并自动生成相应的SQL查询&#xff0c;从而获取所需的数据报表&#xff0c;用户可根据得到结果展示分析从而为结论提供支撑&#…...

编程日记 2025/6/3 7:37:57

51c~SLAM~合集1

我自己的原文哦~ https://blog.51cto.com/whaosoft/12327374 #GSLAM 自动驾驶相关~~~ 一个通用的SLAM架构和基准 GSLAM&#xff1a;A General SLAM Framework and Benchmark 开源代码&#xff1a;https://github.com/zdzhaoyong/GSLAM SLAM技术最近取得了许多成功&am…...

编程日记 2025/6/4 9:06:19

服务器安装ESXI7.0系统及通过离线包方式升级到ESXI8.0

新到了一台物理服务器需要安装系统&#xff0c;项目不急用&#xff0c;先拿来做些实验。 本次实验目标&#xff1a; 1、在物理服务器上安装ESXI7.0系统&#xff1b; 2、通过离线包升级方式将ESXI7.0升级为ESXI8.0。 实验环境准备&#xff1a; 物理服务器1台&#xff0c;型号…...

编程日记 2025/6/3 7:36:38

计算机网络 （52）秘钥分配

一、重要性 在计算机网络中&#xff0c;密钥分配是密钥管理中的一个核心问题。由于密码算法通常是公开的&#xff0c;因此网络的安全性主要依赖于密钥的安全保护。密钥分配的目的是确保密钥在传输过程中不被窃取或篡改&#xff0c;同时确保只有合法的用户才能获得密钥。 二、方…...

编程日记 2025/6/3 5:08:24

xctf-comment（Intruder，git恢复，SQL注入，Hex解码）

这题是2018年网鼎杯真题&#xff0c;考察 Burp Suite 的 Intruder 模块去找用户密码&#xff0c;使用 githacker 恢复代码&#xff08;githack不行&#xff09;&#xff0c;代码审计发现SQL二次注入&#xff0c;尝试SQL注入读取文件内容&#xff0c;读取的是/home/www/.bash_hi…...

编程日记 2025/6/3 7:36:22

Docker Compose创建镜像服务

什么是Docker Compose 使用Docker Compose&#xff0c;可以使用YAML配置文件&#xff08;称为Compose文件&#xff09;来配置应用程序的服务&#xff0c;然后使用Compose CLI从配置中创建并启动所有服务 。 Compose文件的默认路径是compose.yaml&#xff08;首选&#xff09;…...

编程日记 2025/6/2 17:45:26

kafka学习笔记5 PLAIN认证——筑梦之路

在Kafka中&#xff0c;SASL&#xff08;Simple Authentication and Security Layer&#xff09;机制包括三种常见的身份验证方式&#xff1a; SASL/PLAIN认证&#xff1a;含义是简单身份验证和授权层应用程序接口&#xff0c;PLAIN认证是其中一种最简单的用户名、密码认证方式&…...

编程日记 2025/6/3 3:20:11

Walrus Learn to Earn计划正式启动！探索去中心化存储的无限可能

本期 Learn to Earn 活动将带领开发者和区块链爱好者深入探索 Walrus 的技术核心与实际应用&#xff0c;解锁分布式存储的无限可能。参与者不仅能提升技能&#xff0c;还能通过完成任务赢取丰厚奖励&#xff01;&#x1f30a; 什么是 Walrus&#xff1f; 数据主权如今正成为越…...

编程日记 2025/6/3 8:33:16

Linux学习笔记

1、什么是Linux Linux,一般指GNU/Linux&#xff08;单独的Linux内核并不可直接使用&#xff0c;一般搭配GUN套件&#xff0c;故得此称呼&#xff09;&#xff0c;是一种免费使用和自由传播的类UNIX操作系统。它主要受到Minix和Unix思想的启发&#xff0c;是一个基于POSIX的多用…...

编程日记 2025/6/2 15:28:35

解锁电商设计新速度：StartAI插件制作产品图实操教程

在电商设计这片竞争激烈的战场上&#xff0c;每一位设计师都在追求高效与创意的完美融合。繁琐的背景抠图、单一的设计模板、紧迫的时间周期&#xff0c;常常让我们力不从心。但现在&#xff0c;StartAI插件的问世&#xff0c;为我们的设计之路带来了革命性的改变。下面&#x…...

编程日记 2025/6/3 14:31:36

AutoPrompt框架和实操：如何用AutoPrompt完成电影评论和聊天审核任务？

1. AutoPrompt框架概述 1.1 框架定义与目标 AutoPrompt是一个旨在提升和完善用户提示以适应现实世界用例的提示优化框架。该框架通过迭代生成具有挑战性的边缘案例数据集，并相应地优化提示，从而自动生成针对用户意图量身定制的高质量、详细的提示。其核心目标是利用大型语言…...

编程日记 2025/6/3 14:32:08

修复 Kubernetes Deployment 修改后未生效的问题

在 Kubernetes 集群中&#xff0c;当尝试修改某些 Deployment 资源&#xff08;如 calico-kube-controllers&#xff09;的 image 配置时&#xff0c;发现修改总是未生效&#xff0c;并恢复到原样。这种问题通常是因为 Deployment 资源受到其他控制器&#xff08;如 Operator&a…...

编程日记 2025/6/3 14:30:16

Excel 技巧17 - 如何计算倒计时，并添加该倒计时的数据条(★）

本文讲如何计算倒计时&#xff0c;并添加该倒计时的数据条。 1&#xff0c;如何计算倒计时 这里也要用公式 D3 - TODAY() 显示为下面这个样子的 然后右键该单元格&#xff0c;选 设置单元格格式 然后点 常规 这样就能显示出还书倒计时的日数了。 下拉适用到其他单元格。 2&a…...

编程日记 2025/6/3 14:31:04

Golang Gin系列-5：数据模型和数据库

在这篇Gin教程的博客中&#xff0c;我们将探索如何将模型和数据库与Gin框架无缝集成&#xff0c;使你能够构建健壮且可扩展的web应用程序。通过利用流行的库并遵循最佳实践&#xff0c;你将学习如何定义模型、建立数据库连接、执行CRUD操作以及确保基于gin的项目中的数据完整性…...

编程日记 2025/6/3 14:31:52

Android系统开发（十九）：无缝拉伸的艺术——9-Patch 可绘制对象详解

引言 在移动开发中&#xff0c;背景、标题以及其他界面元素的设计质量直接影响用户体验。然而&#xff0c;如何让图片适应不同分辨率设备&#xff0c;成为开发者常常头疼的问题。这时&#xff0c;9-Patch 闪亮登场&#xff01;它不仅可以无缝拉伸&#xff0c;还能保持视觉效果…...

编程日记 2025/6/3 14:30:32

物联网网关Web服务器--CGI开发实例BMI计算

本例子通一个计算体重指数的程序来演示Web服务器CGI开发。 硬件环境&#xff1a;飞腾派开发板&#xff08;国产E2000处理器&#xff09; 软件环境&#xff1a;飞腾派OS&#xff08;Phytium Pi OS&#xff09; 硬件平台参考另一篇博客&#xff1a;国产化ARM平台-飞腾派开发板…...

编程日记 2025/6/2 18:31:12