当前位置：首页 > news >正文

b站——《【强化学习】一小时完全入门》学习笔记及代码（1-3 多臂老虎机）

news 来源：原创 2025/5/18 6:00:30

问题陈述

我们有两个多臂老虎机（Multi-Armed Bandit），分别称为左边的老虎机和右边的老虎机。每个老虎机的奖励服从不同的正态分布：

左边的老虎机：奖励服从均值为 500，标准差为 50 的正态分布，即 N(500,50)N(500,50)。
右边的老虎机：奖励服从均值为 550，标准差为 100 的正态分布，即 N(550,100)N(550,100)。

我们的目标是使用 ε-greedy 强化学习算法（ε=0.1，初始值为 998）来估计这两个老虎机的奖励期望值。具体来说，我们需要通过多次尝试（拉动手臂）来逐步更新对每个老虎机奖励的估计，最终找到两个老虎机的奖励期望值。

问题分解

目标：
- 使用 ε-greedy 算法估计两个老虎机的奖励期望值。
- 通过多次尝试，逐步更新对每个老虎机奖励的估计。
ε-greedy 算法：
- ε=0.1：表示有 10% 的概率进行随机探索（随机选择一个老虎机），90% 的概率进行利用（选择当前估计奖励最高的老虎机）。
- 初始值=998：表示每个老虎机的初始奖励估计值为 998。
奖励分布：
- 左边的老虎机：N(500,50)N(500,50)
- 右边的老虎机：N(550,100)N(550,100)
输出：
- 经过多次尝试后，输出两个老虎机的奖励期望值的估计结果
- 通过运行代码，我们可以得到一个图表，显示两个老虎机奖励期望估计值随着时间的变化情况。随着拉动次数的增加，两个估计值应该逐渐接近它们各自的真实奖励期望值（500 和 550）。

import numpy as np
import matplotlib.pyplot as plt# 参数初始化
epsilon = 0.1  # ε-greedy算法中的ε
Q1 = 998  # 左边老虎机的奖励期望估计
Q2 = 998  # 右边老虎机的奖励期望估计
n1 = 0  # 左边老虎机的拉动次数
n2 = 0  # 右边老虎机的拉动次数
num_plays = 10000  # 总共拉动的次数# 奖励的真实分布
mu1, sigma1 = 500, 50  # 左边老虎机的真实奖励分布（均值，标准差）
mu2, sigma2 = 550, 100  # 右边老虎机的真实奖励分布（均值，标准差）# 用于存储结果
Q1_estimates = []
Q2_estimates = []# ε-greedy策略的实验
for t in range(num_plays):# 根据ε-greedy策略选择一个老虎机if np.random.random() < epsilon:action = np.random.choice([1, 2])  # 随机选择左或右else:action = 1 if Q1 > Q2 else 2  # 选择当前估计奖励最大的老虎机if action == 1:reward = np.random.normal(mu1, sigma1)  # 从左边老虎机获得奖励n1 += 1Q1 += (reward - Q1) / n1  # 更新左边老虎机的奖励期望估计Q1_estimates.append(Q1)else:reward = np.random.normal(mu2, sigma2)  # 从右边老虎机获得奖励n2 += 1Q2 += (reward - Q2) / n2  # 更新右边老虎机的奖励期望估计Q2_estimates.append(Q2)# 最终的奖励期望估计
print(f"最终左边老虎机的奖励期望估计: {Q1}")
print(f"最终右边老虎机的奖励期望估计: {Q2}")# 绘图
plt.figure(figsize=(12, 6))# 绘制左边老虎机奖励期望估计的变化
plt.plot(Q1_estimates, label="Left Slot Machine (Q1)", color="blue")# 绘制右边老虎机奖励期望估计的变化
plt.plot(Q2_estimates, label="Right Slot Machine (Q2)", color="red")# 绘制真实奖励期望值的参考线
plt.axhline(y=mu1, color="blue", linestyle="--", label="True Q1 (500)")
plt.axhline(y=mu2, color="red", linestyle="--", label="True Q2 (550)")# 图表设置
plt.title("Reward Estimation in ε-greedy Slot Machine Experiment")
plt.xlabel("Number of Plays")
plt.ylabel("Estimated Reward")
plt.legend(loc="best")
plt.grid(True)# 显示图表
plt.show()

显示结果如图：

b站——《【强化学习】一小时完全入门》学习笔记及代码（1-3 多臂老虎机）

问题陈述我们有两个多臂老虎机（Multi-Armed Bandit），分别称为左边的老虎机和右边的老虎机。每个老虎机的奖励服从不同的正态分布： 左边的老虎机：奖励服从均值为 500，标准差为 50 的正态分布，即…...

编程日记 2025/5/18 6:00:30

使用开源项目xxl-cache构建多级缓存

xxl-cache简介官网地址：https://www.xuxueli.com/xxl-cache/ 概述 XXL-CACHE 是一个多级缓存框架，高效组合本地缓存和分布式缓存(RedisCaffeine)，支持“多级缓存、一致性保障、TTL、Category隔离、防穿透”等能力；拥有“高性…...

编程日记 2025/5/16 8:21:41

分层解耦-三层架构

controller: 控制层，接收前端发送的请求，对请求进行处理，并响应数据。 service: 业务逻辑层，处理具体的业务逻辑。 dao: 数据访问层(Data Access Object)(持久层)，负责数据访问操作，包括数据的增、删、改…...

编程日记 2025/5/16 0:52:12

简化的动态稀疏视觉Transformer的PyTorch代码

存一串代码（简化的动态稀疏视觉Transformer的PyTorch代码） import torch import torch.nn as nn import torch.nn.functional as F class DynamicSparseAttention(nn.Module): def __init__(self, dim, num_heads8, dropout0.1): super().__init__()…...

编程日记 2025/5/18 5:35:31

掌握 PHP 单例模式：构建更高效的应用

在 PHP 应用开发中，资源的高效管理至关重要。单例模式是一种能够帮助我们实现这一目标的设计模式。本文将深入探讨单例模式的概念、工作原理以及在 PHP 项目中何时应该（或不应该）使用它。什么是单例模式？ 单例模式是一种设计模…...

编程日记 2025/5/16 1:42:53

今日AI和商界事件(2025-02-11)

今日AI大事件主要包括以下几个方面： 一、行业竞购与合作变动马斯克组团竞购OpenAI 据《华尔街日报》报道，马斯克率投资者财团出价974亿美元竞购OpenAI，欲使其回归开源公益使命。xAI支持此次竞购，若成功，xAI或与OpenA…...

编程日记 2025/5/12 23:30:04

ArcGIS Pro批量创建离线服务sd包

背景： 主要针对一个工程内有多个地图框项： 处理方法：通过Python脚本处理打包。运行环境在Pro的Python环境中去运行编写的Python脚本。 Python 脚本参考 import arcpy import os# Set output file names outdir r"d:\data\out&…...

编程日记 2025/5/15 17:18:21

R语言文本分析天龙八部

起因，目的: 前面有人对 “倚天屠龙记” 进行分析，我这里只是进行模仿而已。完整的文件，已经绑定了，反正读者可以找一下。案例背景小说《天龙八部》是金庸先生所著的武侠小说，也是“射雕三部曲”的前传。全书共50章，字数超过一百万字。故事发生在北宋末年，以大理…...

编程日记 2025/5/17 10:39:26

【AI论文】Visual Instruction Tuning

文献核心目标作者的目标是通过多模态指令微调(Visual Instruction Tuning)来训练一个通用的视觉助手，使其能够理解用户的语言指令并与视觉内容结合完成任务。例如，用户可以上传图片并提出问题，模型根据图片内容作出回答。 1. 引言什么是多模态交互？为什么重要？人类…...

编程日记 2025/5/16 5:02:53

产品详情页中品牌官网详情对应后端的字段是 detail

文章目录 1、在这个Vue代码中，品牌官网详情对应后端的字段是 detail2、品牌官网详情功能相关的代码片段3、export const productSave (data: any) >4、ProductController5、ProductDto 类6、ProductApiService 1、在这个Vue代码中，品牌官网详情对…...

编程日记 2025/5/14 4:35:58

vue知识点2

1.methods和mounted的区别 methods是定义方法，不涉及到调用 mounted涉及到操作所以methods后面是：，mounted后面是（） 2.介绍一下emit的用法如果子控件要调用父页面的方法，在父页面的子控件引用处&…...

编程日记 2025/5/13 23:44:01

使用 mkcert 本地部署启动了 TLS/SSL 加密通讯的 MongoDB 副本集和分片集群

MongoDB 是支持客户端与 MongoDB 服务器之间启用 TLS/SSL 进行加密通讯的, 对于 MongoDB 副本集和分片集群内部的通讯, 也可以开启 TLS/SSL 认证. 本文会使用 mkcert 创建 TLS/SSL 证书, 基于创建的证书, 介绍 MongoDB 副本集、分片集群中启动 TLS/SSL 通讯的方法. 我们将会在…...

编程日记 2025/5/14 11:57:23

荣耀手机Magic3系列、Magic4系列、Magic5系列、Magic6系列、Magic7系列详情对比以及最新二手价格预测

目录荣耀Magic系列手机详细对比最新二手价格预测性价比分析总结以下是荣耀Magic系列手机的详细对比以及最新二手价格预测： 荣耀Magic系列手机详细对比特性荣耀Magic3系列荣耀Magic4系列荣耀Magic5系列荣耀Magic6系列荣耀Magic7系列处理器骁龙888&#x…...

编程日记 2025/5/14 2:01:28

利用HTML和css技术编写学校官网页面

目录一，图例展示二，代码说明 1，html部分： 【第一张图片】【第二张图片】【第三张图片】 2，css部分： 【第一张图片】【第二张图片】【第三张图片】三，程序代码一，…...

编程日记 2025/5/15 8:50:47

易语言Easy Programming Language

E易语言 EF 易语言.飞场 EPL EF 我心易飞扬! Elogo 易乐谷我的程序我来写！ Easy Programming Language Elogo 未来的小程序员！易语言运行时环境检验报告自有编辑器、自带数据库、本土化支持易语言系统全部自行设计开发。自有编译器。所编译目的程序运…...

编程日记 2025/5/16 3:35:18

支付宝安全发全套解决方案

产品价值 ● 通过支付宝的资金能力，让服务商机构通过信息流驱动资金流，在不碰触客户企业资金的同时，为客户企业完成转账。账目清晰，无合规和资质风险。 ● 为服务商提供全链路的资金流动明细信息，服务商可以将这些信息…...

编程日记 2025/5/17 20:16:13

如何通过腾讯 ima.copilot 训练自己的知识库

如何通过腾讯 ima.copilot 训练自己的知识库在信息爆炸的时代，拥有一个专属的知识库，能让我们在学习、工作中快速获取所需信息，极大地提升效率。腾讯推出的 AI 智能工作台 ima.copilot，为我们打造个人知识库提供了便利。今天&am…...

编程日记 2025/5/16 20:48:41

本地部署DeepSeek-R1（Mac版）

本地部署DeepSeek-R1（Mac版） 前言：过年这段时间，DeepSeek火遍全球，但遭受黑客攻击，10次对话基本9次都是服务器繁忙，请稍后重试。那么，本地部署整起来总体来说，本地部署…...

编程日记 2025/5/16 12:11:23

uniapp 编译生成鸿蒙正式app步骤

1，在最新版本DevEco-Studio工具新建一个空项目并生成p12和csr文件（构建-生成私钥和证书请求文件） 2，华为开发者平台根据上面生成的csr文件新增cer和p7b文件，分发布和测试 3，在最新版本DevEco-Studio工具文…...

编程日记 2025/5/12 7:29:31

C++STL与内存管理总结

1：内存管理方面：涉及分配（请求）与释放，主要分为静态内存，自动存储期（栈内存）、动态内存分配（堆内存）以及智能指针系列，之所以重要，因…...

编程日记 2025/5/17 15:29:34

【文本处理】如何在批量WORD和txt文本提取手机号码，固话号码，提取邮箱，删除中文，删除英文，提取车牌号等等一些文本提取固定格式的操作，基于WPF的解决方案

企业的应用场景数据清洗：在进行数据导入或分析之前，往往需要对大量文本数据进行预处理，比如去除文本中的无关字符（中文、英文），只保留需要的联系信息（手机号码、固话号码、邮箱）。…...

编程日记 2025/5/18 0:10:40

算法跟练第十弹——栈与队列

文章目录 part01 逆波兰表达式求值part02 滑动窗口最大值part03 前 K 个高频元素归纳：将字符串转转换成整数：LinkedListMap遍历优先级队列的比较器跟着代码随想录刷题的第十天。代码随想录链接：代码随想录 part01 逆波兰表达式求值题目链接…...

编程日记 2025/5/14 17:30:57

计算机毕业设计——Springboot的校园新闻网站

🎉**欢迎来到琛哥的技术世界！**🎉 📘 博主小档案： 琛哥，一名来自世界500强的资深程序猿，毕业于国内知名985高校。 🔧 技术专长： 琛哥在深度学习任务中展现出卓越的能力&a…...

编程日记 2025/5/17 10:51:52

在CT107D单片机综合训练平台上实现外部中断控制LED闪烁

引言在单片机开发中，外部中断是一个非常重要的功能，它可以让单片机在检测到外部信号变化时立即做出响应。本文将详细介绍如何在CT107D单片机综合训练平台上使用外部中断来控制LED灯的闪烁。我们将使用两种不同的方式来实现这一功能：一种是在…...

编程日记 2025/5/17 11:22:02

C# ASP.NET 介绍

.NET学习资料 .NET学习资料 .NET学习资料一、概述 ASP.NET是由微软创建的一个开源 Web 框架，用于使用.NET 构建现代化的 Web 应用程序和服务。它为开发者提供了一套丰富的工具、库和编程模型，使得创建功能强大、高效且安全的 Web 应用变得更加容易。…...

编程日记 2025/5/12 17:24:12

Django中select_related 的作用

Django中这句代码Dynamic.objects.select_related(song)是什么意思？ 在 Django 中，这句代码： Dynamic.objects.select_related(song) 的作用是在查询 Dynamic 模型的同时，预加载 song 关联的外键对象，从而减少数据…...

编程日记 2025/5/16 10:38:24

MyBatis常见知识点

#{} 和 ${} 的区别是什么？ 答： ${}是 Properties 文件中的变量占位符，它可以用于标签属性值和 sql 内部，属于原样文本替换，可以替换任意内容，比如${driver}会被原样替换为com.mysql.jdbc. Driver。一个…...

编程日记 2025/5/16 1:46:05

CentOS 安装 Docker

一、使用官方安装脚本自动安装安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 也可以使用国内 daocloud 一键安装命令： curl -sSL https://get.daocloud.io/docker | sh 二、手动安装卸载旧版本较旧的 Do…...

编程日记 2025/5/9 17:07:34

【sqlite】python操作sqlite3（含测试）

个人小项目或者小团队，sqllite很适用，数据库封装操作如下 #!/usr/bin/env python # -*- coding: utf-8 -*- # Time : 2025-02-08 13:57 # Author : duxiaowei # File : connect_sqllite.py # Software: PyCharm """ sqllite操作, …...

编程日记 2025/5/16 17:24:21

PTC Windchill介绍

以下内容摘自PTC的Windchill介绍材料，确有其用，摘录一些： 存储和搜索产品信息所有产品信息的中央存储库。同样的，对于产品相关内容，例如 CAD 模型、文档、技术插图、嵌入式软件、计算和要求规范，都有一个…...

编程日记 2025/5/17 5:25:37

3.矩阵分解技术在推荐系统中的应用

接下来我们将深入探讨矩阵分解技术在推荐系统中的应用。矩阵分解是一种强大的技术，可以有效地处理数据稀疏性问题，并提高推荐系统的性能。在这一课中，我们将介绍以下内容： 矩阵分解的基本概念奇异值分解（SVD&#xff…...

编程日记 2025/5/14 17:33:29

visual studio 在kylin v10上跨平台编译时c++标准库提示缺少无法打开的问题解决

情况1：提示无法打开源文件 "string"之类导致无法编译情况2:能编译，但无法打开这些库文件或标准库使用提示下划红色问题解决方案： 一、通过工具->选项->跨平台里，在“远程标头IntelliSense管理器”更新下载一下…...

编程日记 2025/5/15 21:15:43

TextWebSocketHandler 和 @ServerEndpoint 各自实现 WebSocket 服务器

TextWebSocketHandler 和 ServerEndpoint 都可以用于实现 WebSocket 服务器，但它们属于不同的技术栈，使用方式和功能有一些区别。以下是它们的对比： 1. 技术栈对比特性TextWebSocketHandler (Spring)ServerEndpoint (Java EE/JSR-356)所属框…...

编程日记 2025/5/12 8:48:48

一种非完全图下的TSP求解算法

序旅行商问题（Traveling Salesman Problem，简称TSP）是组合优化中的一个经典问题，就是给定一组城市和城市之间的距离，找到一条最短路径使得每个城市只被访问一次后返回到起点。一些传统的解法都是基于完全图的，我在网上也很少找到非完全图的解法，非完全图应该在实际应…...

编程日记 2025/5/17 20:49:44

文件操作(1.文件资源上传到MinIO 2.文件资源保存在数据库中)

目录本文提供文件操作接口的实现(上传下载) 附件资源表实体类具体代码实现上传到MinIO服务器 pom依赖 yml配置 MinIO配置服务实现类保存到数据库本文提供文件操作接口的实现(上传下载) 附件资源表实体类 Data AllArgsConstructor NoArgsConstructor EqualsAndHa…...

编程日记 2025/5/1 1:01:12

deepseek模型技术优势研究

1.1 混合专家模型（MoE）架构 DeepSeek 模型采用了混合专家模型（Mixture-of-Experts，MoE）架构，这一架构在大规模预训练与下游应用中展现了显著的计算资源利用效率优势。MoE 架构的基本思想是在传统 Transfor…...

编程日记 2025/5/17 9:54:58

项目6：基于大数据校园一卡通数据分析和可视化

1、项目简介本项目是基于大数据的清华校园卡数据分析系统，通过Hadoop，spark等技术处理校园卡交易、卡号和商户信息数据。系统实现消费类别、男女消费差异、学院消费排行和年级对比等分析，并通过Web后端和可视化前端展示结果。项目运行便捷&…...

编程日记 2025/5/16 15:30:22

搭建Spark集群（CentOS Stream 9）

零、资源准备虚拟机相关： VMware workstation 16：虚拟机/vmware_16.zip（建议选择vmware_17版本）CentOS Stream 9：虚拟机/CentOS-Stream-9-latest-x86_64-boot.iso（安装包小，安装时需要联网下载）/ 虚拟机/CentOS-Stream-9-latest-x86_64-dvd1.iso(安装包大)JDK jdk1.8：…...

编程日记 2025/5/18 0:41:12

leetcode 2466. 统计构造好字符串的方案数

题目如下数据范围本题就是加了马甲的跳格子问题即一次能选择跳zero格或者one格(注意这两个不是定值，不是翻译成0和1它们只是代表能跳几格)我们令f(i)为从第0格跳到i格的路径数(也就是好串有几个)显然如果存在的话： f(i) f(i - zero) f(i - one)。…...

编程日记 2025/5/15 11:43:56

Jupyter Notebook自动保存失败等问题的解决

一、未生成配置文件需要在命令行中，执行下面的命令自动生成配置文件 jupyter notebook --generate-config 执行后会在 C:\Users\用户名\.jupyter目录中生成文件 jupyter_notebook_config.py 二、在网页端打开Jupyter Notebook后文件保存失败；运行代码…...

编程日记 2025/5/11 22:50:20

局域网内别的电脑怎么连接到对方的mysql数据库

要让局域网内的其他电脑连接到一台主机上的 MySQL 数据库，你需要进行一些配置，包括 MySQL 服务器的设置、权限调整，以及客户端连接的步骤。以下是详细的步骤说明： 1. 确保 MySQL 服务器允许远程连接默认情况下，MySQL 服务器可能只允许本地连接（localhost）。你需要修改…...

编程日记 2025/5/2 4:10:26

flask和django的对比

Flask 和 Django 都是流行的 Python Web 框架，尽管它们都用于构建 Web 应用，但它们的设计理念和使用场景有所不同。以下是它们之间的一些对比： 1. 框架类型 Flask：微框架（Micro-framework），意…...

编程日记 2025/5/17 9:09:37

基于 GEE 批量下载陆地植被净初级生产力 NPP 产品

目录 1 陆地植被净初级生产力（NPP） 2 完整代码 3 运行结果 1 陆地植被净初级生产力（NPP） 陆地植被净初级生产力（NPP）是指植物在单位时间单位面积上由光合作用产生的有机物质总量中扣除自养呼吸后的剩余…...

编程日记 2025/5/15 21:52:05

使用Deepseek ，怎么很好的与Deepseek 进行精准问答

与 DeepSeek 进行高效问答的关键在于清晰表达需求、合理使用功能、灵活调整提问方式。以下是一些实用建议： 一、基础原则明确问题 ✅ 清晰描述背景、目标和具体需求。 ❌ 避免模糊提问：“帮我写点东西”→ ✅“我需要一篇关于AI在医疗领域应用的500字…...

编程日记 2025/5/17 23:41:33

cefsharp131升级132测试（WinForms.NETCore）

一、升级（Nuget）版本说明（readme）:最低.NET Core3.1 (NET5.0+) + Visual C++ 2019 Redist 二、试运行、兼容性测试...

编程日记 2025/4/26 9:26:29

docker部署及操作

目录一、Docker的简介二、基础环境配置以及部署 1. Linux基础配置 2. 开启Linux内核的流量转发功能一、Docker的简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows …...

编程日记 2025/5/17 7:59:37

Jmeter对图片验证码的处理

Jmeter对图片验证码的处理在web端的登录接口经常会有图片验证码的输入，而且每次登录时图片验证码都是随机的；当通过jmeter做接口登录的时候要对图片验证码进行识别出图片中的字段，然后再登录接口中使用； 通过jmeter对图片验证码…...

编程日记 2025/5/12 17:54:33

DeepSeek本地部署_cherry studio知识库搭建

1.下载并安装：ollama Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download 安装是否成功确认，管理员权限运行PowerShell： ollama -h 2.下载安装deepseek 管理员方式运行PowerShell，运行命令&#x…...

编程日记 2025/5/15 21:00:54

CSS 实现下拉菜单效果实例解析

1. 引言在 Web 开发过程中，下拉菜单是一种常见且十分实用的交互组件。很多前端教程都提供过简单的下拉菜单示例，本文将以一个简洁的实例为出发点，从 HTML 结构、CSS 样式以及整体交互逻辑三个层面进行详细解析，帮助大家理解纯 C…...

编程日记 2025/5/12 17:54:29

项目场景拷打

补偿事务解决超卖通过补偿事务避免超卖问题，可以通过以下几种方式实现： 1. 使用数据库事务与锁机制事务管理：将库存扣减和订单生成操作放在同一个数据库事务中，确保操作的原子性。如果事务中任何一个步骤失败，则整…...

编程日记 2025/5/17 7:12:22

问题陈述

问题分解

相关文章：