当前位置：首页 > news >正文

24/12/1 算法笔记＜强化学习＞创建Maze交互

news 来源：原创 2025/5/13 7:37:42

我们今天制作一个栅格的游戏。

我们直接上代码教学。

1.载入库和查找相应的函数版本

import numpy as np
import time
import sysif sys.version_info.major == 2:import Tkinter as tk
else:import tkinter as tk

2.设置长宽和单元格大小

UNIT= 40
MAZE_H= 4
MAZE_W =4

3.初始化Maze环境类

class Maze(tk.Tk, object):def __init__(self):super(Maze, self).__init__()self.action_space = ['u', 'd', 'l', 'r']self.n_actions = len(self.action_space)self.title('maze')self.geometry('{0}x{1}'.format(MAZE_H * UNIT, MAZE_H * UNIT))self._build_maze()

里面初始化动作(上下左右),动作数量，窗口标题和大小，构建迷宫。

4.构建迷宫画布，绘制垂直线和水平线

def _build_maze(self):self.canvas = tk.Canvas(self, bg='white', height=MAZE_H * UNIT, width=MAZE_W * UNIT)for c in range(0, MAZE_W * UNIT, UNIT):x0, y0, x1, y1 = c, 0, c, MAZE_H * UNITself.canvas.create_line(x0, y0, x1, y1)for r in range(0, MAZE_H * UNIT, UNIT):x0, y0, x1, y1 = 0, r, MAZE_W * UNIT, rself.canvas.create_line(x0, y0, x1, y1)

5.设定两个陷阱，一个目标和玩家

origin = np.array([20, 20])hell1_center = origin + np.array([UNIT * 2, UNIT])self.hell = self.canvas.create_rectangle(hell1_center[0] - 15, hell1_center[1] - 15,hell1_center[0] + 15, hell1_center[1] + 15,fill='black')hell2_center = origin + np.array([UNIT, UNIT*2])  self.hell2 = self.canvas.create_rectangle(hell2_center[0] - 15, hell2_center[1] - 15,hell2_center[0] + 15, hell2_center[1] + 15,fill='black'
)oval_center = origin + UNIT * 2self.oval = self.canvas.create_oval(oval_center[0] - 15, oval_center[1] - 15,oval_center[0] + 15, oval_center[1] + 15,fill='yellow')self.rect = self.canvas.create_rectangle(origin[0] - 15, origin[1] - 15,origin[0] + 15, origin[1] + 15,fill='red')self.canvas.pack()

最后是打包画布，将画布添加到 Tkinter 窗口中，并允许它显示。

6.重置游戏环境到初始状态的函数。

def reset(self):self.update()time.sleep(0.5)self.canvas.delete(self.rect) #删除旧的玩家图形origin = np.array([20, 20])  #设置玩家的初始位置self.rect = self.canvas.create_rectangle( #重新创建玩家图形origin[0] - 15, origin[1] - 15,origin[0] + 15, origin[1] + 15,fill='red')

7.设定处理玩家在迷宫中的一步移动，并根据结果更新游戏状态的函数。

def step(self, action):s = self.canvas.coords(self.rect)  #获取当前位置base_action = np.array([0, 0])     #初始化动作向量if action == 0:                    #根据动作更新位置if s[1] > UNIT:base_action[1] -= UNITelif action == 1:if s[1] < (MAZE_H - 1) * UNIT:base_action[1] += UNITelif action == 2:if s[0] < (MAZE_W - 1) * UNIT:base_action[0] += UNITelif action == 3:if s[0] > UNIT:base_action[0] -= UNITself.canvas.move(self.rect, base_action[0], base_action[1]) #移动玩家s_ = self.canvas.coords(self.rect)        #获取新位置if s_ == self.canvas.coords(self.oval):   #检查是否到达终点或陷阱reward = 1done = Trues_ = 'terminal'elif s_ == self.canvas.coords(self.hell) or s_ == self.canvas.coords(self.hell2):reward = -1done = Trues_ = 'terminal'else:reward = 0done = Falsereturn s_, reward, done

8.停顿更新函数

def render(self):time.sleep(0.1)self.update()

9.更新函数

def update():for t in range(10):s = env.reset()while True:env.render()a = 1  # 这里应该是根据策略选择动作s, r, done = env.step(a)if done:break

10.主函数

if __name__ == '__main__':env = Maze()env.after(100, update)env.mainloop()

然后运行就能获得一个简单的自动玩栅格游戏的智能体，这次我们是简单给一些基本设定，以后将加入强化学习的知识强化它。

24/12/1 算法笔记＜强化学习＞创建Maze交互

我们今天制作一个栅格的游戏。我们直接上代码教学。 1.载入库和查找相应的函数版本 import numpy as np import time import sysif sys.version_info.major 2:import Tkinter as tk else:import tkinter as tk 2.设置长宽和单元格大小 UNIT 40 MAZE_H 4 MAZE_W 4 3.初始…...

编程日记 2025/5/13 7:37:42

c++：模版 template

一、模版 1.格式： template <typname T> 2.实现 2.1自动推导模板只对紧跟在后面的第一行代码有效，如果后面还想定义模板函数需要重新定义模板 #include <iostream> #include <string>template <typename T> void Print(T v…...

编程日记 2025/5/12 4:04:38

javascript切换类、删除类、修改类以及增加类

在JavaScript中，操作DOM元素的类（class）是一个常见的操作。以下是一些基本的方法来切换类、删除类、修改类以及增加内联样式： 切换类（Toggle Class） 切换类意味着如果类存在则移除它，如果不存…...

编程日记 2025/5/11 3:01:38

区块链学习笔记(2)--区块链的交易模型part1

模型基础区块链的tx分为两种模型，分别是比特币为代表的UTXO（Unspent Transaction Output）模型，和以太坊为代表的Account模型。前者适用于货币记账，后者适用于链上应用。 UTXO模型类似于现金的交易模型一个tx包含…...

编程日记 2025/5/9 23:00:11

反射知识总结

狂神说反射的功能： 类加载内存分析类加载的时候，class对象就形成了。类无论有多少对象，class对象只有一个。获取类对象三种方式反射，就是通过api获取一个类的类对象： 有三种方式： 方法一&#xf…...

编程日记 2025/5/6 13:14:30

selenium部署分布式 UI 自动化测试环境-Docker

一、根据selenium/hub官网的配置信息，进行配置。 How to run this image The Hub and Nodes will be created in the same network and they will recognize each other by their container name. A Docker network⁠ needs to be created as a first step.Create …...

编程日记 2025/5/8 9:24:51

算法刷题Day5: BM52 数组中只出现一次的两个数字

描述： 一个整型数组里除了两个数字只出现一次，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。要求：空间复杂度 O(1)，时间复杂度O(n)。题目传送门 is here 思路： 方法一：最简单的思路就…...

编程日记 2025/5/13 1:46:25

使用docker-compose部署搜索引擎ElasticSearch6.8.10

背景 Elasticsearch 是一个开源的分布式搜索和分析引擎，基于 Apache Lucene 构建。它被广泛用于实时数据搜索、日志分析、全文检索等应用场景。 Elasticsearch 支持高效的全文搜索，并提供了强大的聚合功能，可以处理大规模的数据集并进行快速…...

编程日记 2025/5/10 5:52:01

多线程篇-5--线程分类（线程类型，springboot中常见线程类型，异步任务线程）

常见的线程类型包括用户线程（User Threads）、守护线程（Daemon Threads）、主线程（Main Thread）、工作线程（Worker Threads）和线程池中的线程。一、用户线程（User Thread…...

编程日记 2025/5/9 2:50:48

详解高斯消元

详解高斯消元好东西，可以求所有一次方程组的解。 \color {red} 好东西，可以求所有一次方程组的解。好东西，可以求所有一次方程组的解。前置知识一般消元法的公理：两方程互换，解不变；一方程乘以非零数 k k k，解不变；一方程乘以数 k k k加上另一方程，解不变。 …...

编程日记 2025/5/10 4:00:38

【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

目录 1.抓包工具查看网站信息2.代码实现3.运行结果 1.抓包工具查看网站信息请求路径 url:https://movie.douban.com/typerank请求参数页面往下拉，出现新的请求结果，参数start更新，每次刷新出20条新的电影数据 2.代码实现 # 使用网络爬…...

编程日记 2025/5/11 20:48:21

泷羽sec- shell编程（8） until循环以及函数基本创建调用学习笔记

声明！ 学习视频来自B站up主 **泷羽sec** 有兴趣的师傅可以关注一下，如涉及侵权马上删除文章，笔记只是方便各位师傅的学习和探讨，文章所提到的网站以及内容，只做学习交流，其他均与本人以及泷羽sec团队无关&a…...

编程日记 2025/5/12 3:54:51

Apache Flink从Kafka中消费商品数据，并进行商品分类的数量统计题

使用Apache Flink从Kafka中消费商品数据，并进行商品分类的数量统计是一个典型的流处理任务。以下是一个详细的步骤指南和示例代码，帮助你实现这一功能。 ### 前提条件 1. **安装Flink**：确保你的环境中已经安装了 Apache Flink。 2. **安装…...

编程日记 2025/5/9 17:31:48

Ubuntu 安装 MariaDB

安装 MariaDB具体步骤 1、更新软件包索引： sudo apt update2、安装 MariaDB 服务器： sudo apt install mariadb-server3、启动 MariaDB 服务（如果未自动启动）： sudo systemctl start mariadb4、设置 MariaDB 开机启…...

编程日记 2025/5/11 9:44:40

GPT打字机效果—— fetchEventSouce进行sse流式请求

EventStream基本用法与 WebSocket 不同的是，服务器发送事件是单向的。数据消息只能从服务端到发送到客户端（如用户的浏览器）。这使其成为不需要从客户端往服务器发送消息的情况下的最佳选择。 const evtSource new EventSource(“/api/v1/…...

编程日记 2025/4/29 4:54:22

Leetcode 3373. Maximize the Number of Target Nodes After Connecting Trees II

Leetcode 3373. Maximize the Number of Target Nodes After Connecting Trees II 1. 接替思路2. 代码实现题目链接：3373. Maximize the Number of Target Nodes After Connecting Trees II 1. 接替思路这一题和前一题Leetcode 3372其实整体思路上并没有啥太大…...

编程日记 2025/5/8 9:56:12

JS的魔法三角：constructor、prototype与proto

在JavaScript中，constructor、prototype和__proto__是与对象创建和继承机制紧密相关的三个概念。理解它们之间的关系对于掌握JavaScript的面向对象编程至关重要。下面将详细介绍这个魔法三角： 1. constructor 定义：constructor是一个函数&am…...

编程日记 2025/5/11 17:40:21

用c语言完成俄罗斯方块小游戏

用c语言完成俄罗斯方块小游戏这估计是你在编程学习过程中的第一个小游戏开发，怎么说呢，在这里只针对刚学程序设计的学生，就是说刚接触C语言没多久，有一点功底的学生看看，简陋的代码，简陋的实现&#xff0…...

编程日记 2025/5/11 18:13:37

Leetcode打卡：N皇后

执行结果：通过题目：51 N皇后按照国际象棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。 n 皇后问题研究的是如何将 n 个皇后放置在 nn 的棋盘上，并且使皇后彼此之间不能相互攻击。给你一个整数 n &#…...

编程日记 2025/5/10 9:18:46

位运算在嵌入式系统开发中的应用

目录一、数据存储与节省 “绝技” 1.1. 传感器数据存储挑战 1.2. 位运算解决方案 1.2.1. 数据整合 1.2.2. 数据提取 1.3. 收益分析二、硬件控制 “精准操纵术” 2.1. 位运算操控硬件寄存器的实例 2.2. 位运算在硬件控制中的优势 2.3. 电机驱动芯片寄存器控制示例 …...

编程日记 2025/5/11 18:13:17

livekit 服务部署

本地起 1. 拉取生成文件镜像 sudo docker pull livekit/generate 2. 生成配置文件 sudo docker run --rm -v $PWD:/output livekit/generate --local (记住输出信息) 3. 拉取livekit/livekit-server sudo docker pull livekit/livekit-server 4. 开始运行服务 sudo docker run…...

编程日记 2025/5/8 8:08:06

笔记：visual studio2022编译和运行 VTK9.4.0

一、下载源码 VTK官网下载对应源码。 Download | VTKhttps://vtk.org/download/ 二、编译动态库（基于Win11 24h） 1. 用VS打开VTK源码的CMakeLists.txt，等待项目配置完成。生成完毕如图 2.生成动态库，点击全部生成&#xff0c…...

编程日记 2025/5/11 11:25:39

【Linux | 计网】TCP协议深度解析：从连接管理到流量控制与滑动窗口

目录前言： 1、三次握手和四次挥手的联系： 为什么挥手必须要将ACK和FIN分开呢？ 2.理解 CLOSE_WAIT 状态 CLOSE_WAIT状态的特点 3.FIN_WAIT状态讲解 3.1、FIN_WAIT_1状态 3.2、FIN_WAIT_2状态 3.3、FIN_WAIT状态的作用与意义 4.理解…...

编程日记 2025/5/10 3:59:59

Qt Sensors 传感器控制介绍篇

文章目录 Qt Sensors 模块介绍前言什么是 Qt Sensors？主要特点： 支持的传感器类型Qt Sensors 的核心组件应用场景优势总结 Qt Sensors 模块介绍前言随着现代硬件设备的不断发展，传感器已成为许多设备（如智能手机、平板电脑和…...

编程日记 2025/5/8 13:55:00

探索3D世界：使用 lib3ds 读取和解析 3DS 文件

在3D图形开发中，读取和解析3DS文件是创建和渲染3D场景的第一步。3DS（3D Studio）文件格式是一种广泛使用的3D模型文件格式，它包含了多种类型的数据，用于描述3D场景中的物体、材质、相机、灯光和动画等。lib3ds 是一个开…...

编程日记 2025/5/11 3:33:58

【开源免费】基于SpringBoot+Vue.JS服装生产管理系统（JAVA毕业设计）

博主说明：本文项目编号 T 066 ，文末自助获取源码 \color{red}{T066，文末自助获取源码} T066，文末自助获取源码目录一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析…...

编程日记 2025/5/6 14:08:02

计算机技术：冯·诺伊曼架构

冯诺伊曼架构（Von Neumann Architecture）是由著名数学家和计算机科学家约翰冯诺伊曼（John von Neumann）在20世纪40年代提出的一种计算机设计模型。它奠定了现代通用计算机设计的基础。 1. 核心思想冯诺伊曼架构的核心思想是存储…...

编程日记 2025/5/13 7:36:22

在Window10或11系统中同时安装 JDK8 和 JDK11

在Window10或11系统中同时安装 JDK8 和 JDK11 最近写项目，之前的项目是用Java8环境开发的，在二次迭代中，但是新开发的项目采用Java11环境来开发，所以需要同时安装JDK8和JDK11环境，但是两个环境是不能同时使用的&#…...

编程日记 2025/5/13 7:29:29

Hbase2.2.7集群部署

环境说明准备三台服务器，分别为：bigdata141（作为Hbase主节点）、bigdata142、bigdata143确保hadoop和zookeeper集群都先启动好我这边的hadoop版本为3.2.0，zookeeper版本为3.5.8 下载安装包下载链接：In…...

编程日记 2025/5/12 6:42:08

Java学习，数据结构

Java 提供了丰富的数据结构来处理和组织数据，Java的 java.util 包中提供了许多这些数据结构的实现，可以根据需要选择合适的类。 List（列表） ArrayList：基于动态数组的数据结构，允许包含重复元素和 null。 …...

编程日记 2025/5/10 15:01:21

微众银行前端面试题及参考答案

使用的协议是 HTTP 还是 HTTPS，为什么没用 HTTPS？ 在前端开发中，有些网站使用 HTTP 协议，有些使用 HTTPS 协议。使用 HTTP 协议的情况可能是因为网站对安全性的要求不是极高，或者处于开发的早期阶段，还没有…...

编程日记 2025/5/12 17:48:20

spark同步mysql数据到sqlserver

使用Apache Spark将数据从MySQL同步到SQL Server是一个常见的ETL（Extract, Transform, Load）任务。这里提供一个基本的步骤指南，以及一些代码示例来帮助你完成这项工作。 ### 前提条件 1. **安装Spark**：确保你的环境中已经安装了…...

编程日记 2025/5/10 2:53:07

使用 useMemo 和 React.memo 优化 React 组件渲染

在 React 中，性能优化是一个重要的主题，特别是在复杂的组件树中。本文将演示如何在同一个父组件中使用 useMemo 和 React.memo 来优化子组件的渲染。 1. 组件结构创建一个父组件，包含两个子组件： MemoChild：使用 R…...

编程日记 2025/5/13 1:49:25

像素流送api ue多人访问需要什么显卡服务器

关于像素流送UE推流，在之前的文章里其实小芹和大家聊过很多，不过今天偶然搜索发现还是有很多小伙伴，在搜索像素流送相关的问题，搜索引擎给的提示有这些。当然这些都是比较短的词汇，可能每个人真正遇到的问题和想获取的…...

编程日记 2025/5/11 23:24:07

Bert+CRF的NER实战

CRF（条件随机场-Conditional Random Field） 原始本文：我在北京吃炸酱面标注示例： 我O在O北B-PLA京I-PLA吃O炸B-FOOD酱I-FOOD面I-FOOD CRF： 目的：提出一些不可能出现的预测组合（例如I-PLA不能…...

编程日记 2025/5/10 8:31:24

python学习笔记8-函数2

参数传递传不可变对象 & 传可变对象 def func(b):print(id(a), a) #140737041872600 234print(id(b), b) #140737041872600 234a 234 func(a)def func(b):print(id(a), a) #1413554098560 [343]print(id(b), b) #1413554098560 [343]a [343] func(a)def func(b):b.appe…...

编程日记 2025/5/12 8:01:20

【linux学习指南】详解Linux进程信号保存

文章目录 📝保存信号🌠 信号其他相关常⻅概念🌉在内核中的表⽰ 🌠 sigset_t🌠信号集操作函数🌉sigprocmask🌉sigpending 🚩总结 📝保存信号 🌠 信号其他相关常…...

编程日记 2025/5/11 17:41:41

Postman设置接口关联，实现参数化

🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 postman设置接口关联在实际的接口测试中，后一个接口经常需要用到前一个接口返回的结果， 从而让后一个接口能正常执行，这…...

编程日记 2025/5/5 17:53:55

ORACLE之DBA常用数据库查询

数据库信息数据库概要select a.name "DB Name", e.global_name "Global Name", c.host_name "Host Name", c.instance_name "Instance Name" , DECODE(c.logins,RESTRICTED,YES,NO) "Restricted Mo…...

编程日记 2025/5/5 1:42:49

C++之C++11新特性（三）--- 智能指针

目录一、智能指针 1.1 为什么需要智能指针 1.2 内存泄漏 1.2.1 内存泄漏的基本概念 1.2.2 内存泄漏的分类 1.2.3 如何避免内存泄漏 1.3 智能指针的使用及其原理 1.3.1 RAII 1.3.2 智能指针的基本原理 1.3.3 auto_ptr 1.3.4 unique_ptr 1.3.5 shared_ptr 1.3.6 sha…...

编程日记 2025/5/7 21:25:25

12 设计模式之工厂方法模式

一、什么是工厂方法模式？ 1.定义在软件开发中，设计模式是解决常见软件设计问题的最佳实践。而工厂方法模式（Factory Method Pattern） 作为创建型设计模式之一，常常被用来解决对象创建问题。它通过将对象的创建交给…...

编程日记 2025/5/8 0:03:08

Python 自动化办公的 10 大脚本

大家好，我是你们的 Python 讲师！今天我们将讨论 10 个实用的 Python 自动化办公脚本。这些脚本可以帮助你简化日常工作，提高效率。无论是处理 Excel 文件、发送邮件，还是自动化网页操作，Python 都能派上用场。 1. 批量…...

编程日记 2025/5/5 2:29:02

十一、快速入门go语言之接口和反射

文章目录接口:one: 接口基础:two: 接口类型断言和空接口:star2: 空接口实现存储不同数据类型的切片/数组:star2: 复制切片到空接口切片:star2: 类型断言反射 📅 2024年5月9日 📦 使用版本为1.21.5 接口十、Java类的封装和继承、多态 - 七点半的菜市…...

编程日记 2025/5/9 3:05:34

Python中字符串和正则表达式

Python中字符串和正则表达式在Python编程中，字符串是最常用的数据类型之一。字符串用于表示文本数据，而正则表达式则是一种强大的工具，用于处理和匹配字符串中的模式。本文将介绍Python中的字符串操作、字符串格式化以及如何使用正则表达式…...

编程日记 2025/5/12 14:39:07

力扣刷题TOP101：8.BM10 两个链表的第一个公共结点

目录： 目的思路复杂度记忆秘诀 python代码目的两个无环的单向链表，它们的第一个公共结点{{6,7}。思路这个任务是找到两个链表的第一个公共结点。可以看作两个心机boy偷偷补课翻车事件。平时嘴上说自己在家玩游戏，实际上背地里都偷…...

编程日记 2025/5/5 7:51:37

⽂件操作详解

⽬录一文件操作的引入 1 为什么使⽤⽂件？ 2 什么是⽂件？ 3 文件分类（1 从⽂件功能的⻆度来分类：程序⽂件/数据⽂件 2根据数据的组织形式：为⽂本⽂件/⼆进制⽂件） 二⽂件的打开和关闭 1 …...

编程日记 2025/5/11 8:18:17

UR开始打中国牌，重磅发布国产化协作机器人UR7e 和 UR12e

近日，优傲（UR）机器人公司立足中国市场需求，重磅推出UR7e和UR12e 两款本地化协作机器人。它们延续优傲（UR）一以贯之的高品质与性能特质，着重优化负载自重比，且在价格层面具竞争力&…...

编程日记 2025/5/6 15:33:00

PostgreSQL实现透视表查询

PostgreSQL 8.3版本发布时，引入了一个名为tablefunc的新扩展。这个扩展提供了一组非常有趣的函数。其中之一是交叉表函数，用于创建数据透视表。这就是我们将在本文中讨论的内容。需求说明解释此函数如何工作的最简单方法是使用带有数据透视表的示例…...

编程日记 2025/5/11 18:02:43

C#里怎么样使用Array.BinarySearch函数？

C#里怎么样使用Array.BinarySearch函数？因为二分算法如此重要，所以要多加练习。但是它的返回值，也有三种状态，导致很多人使用它的时候，也感觉到迷惑的。在这里的例子演示了三种返回值的使用： /** C# Program to Search an element with Array Indices*/ using …...

编程日记 2025/5/9 18:23:07

量化交易系统开发-实时行情自动化交易-8.5.VNPY平台

19年创业做过一年的量化交易但没有成功，作为交易系统的开发人员积累了一些经验，最近想重新研究交易系统，一边整理一边写出来一些思考供大家参考，也希望跟做量化的朋友有更多的交流和合作。接下来会对于VNPY平台介绍。 VN.PY 是…...

编程日记 2025/5/5 17:54:03

相关文章：