当前位置：首页 > news >正文

【深度强化学习 DRL 快速实践】异步优势演员评论员算法 (A3C)

news 来源：原创 2025/6/24 1:01:36

在这里插入图片描述

Asynchronous Advantage Actor-Critic A3C (2016, DeepMind)

异步优势演员评论员算法 (A3C): 继承 actor-critic 的优势，同时通过异步多线程 (团队作战) 加速了训练过程

model-free, actor-critic

核心改进点	说明
异步并行训练 – Asynchronous (无经验回放)	通过多个异步 agent 并行采样，打破数据相关性，提升训练效率 ; 并异步更新共享的全局网络，减少了训练过程中的延迟和等待
优势函数 – Advantage	通过计算 $A(s_t, a_t) = R_t - V(s_t; \theta_v)$ 来减小策略梯度的方差
熵正则化项（Entropy Regularization）	引入熵正则项 $H(\pi)$ ，鼓励策略网络保持多样性，增强探索性，避免过早收敛到局部最优

A3C 网络更新

Critic 网络更新: $\theta^v$

Critic 通过最小化价值函数的损失来学习 (不熟悉 TD 的先看专栏下对应的那篇~)：

$L_{\text{value}} = ( r_t + \gamma V(s_{t+1})- V(s_t))^2$

Actor 网络更新: $\theta^\mu$

Actor 通过最大化期望回报来更新，使用 Advantage 来减少 PG 的方差 (不熟悉 policy gradient 的先看专栏下对应的那篇~)：

$L_{\text{policy}} = - \log \pi(a_t | s_t) A(s_t, a_t)$

其中 Advantage $A(s_t, a_t)$ 可以估计为：

$A(s_t, a_t) = r_t + \gamma V(s_{t+1})- V(s_t)$

总的损失函数

通常，A3C 的总损失函数包含三部分：

策略损失（Policy Loss）
价值损失（Value Loss）
熵正则化项（Entropy Loss，用来增加探索性）

完整的目标函数为：

$L_{\text{policy}} + c_1 L_{\text{value}} - c_2 H(\pi(s_t))$

其中：

$H(\pi)$ 是策略的熵，鼓励策略探索
$c_1, c_2$ 是权重系数

参考资料：A3C详解

【深度强化学习 DRL 快速实践】异步优势演员评论员算法 (A3C)

Asynchronous Advantage Actor-Critic A3C (2016, DeepMind) 异步优势演员评论员算法 (A3C): 继承 actor-critic 的优势，同时通过异步多线程 (团队作战) 加速了训练过程 model-free, actor-critic 核心改进点说明异步并行训练 – Asynchronous (无经验回放)通过多个…...

编程日记 2025/6/24 1:01:36

240425 leetcode exercises

240425 leetcode exercises jarringslee 文章目录 240425 leetcode exercises[147. 对链表进行插入排序](https://leetcode.cn/problems/insertion-sort-list/)🔁插入排序 [1721. 交换链表中的节点](https://leetcode.cn/problems/swapping-nodes-in-a-linked-list…...

编程日记 2025/6/19 19:56:06

找三维gis开发的工作，Mapbox要学到什么程度？

Mapbox 是⼀个可以创建各种⾃定义地图的⽹站，如 Pinterest、Evernote、Github、500px 等⼤牌都使⽤ Mapbox 创建⾃⼰的地图，Mapbox 宣称要构建世界上最漂亮的地图。已为 Foursquare、Pinterest、Evernote、⾦融时报、天⽓频道、优步科技等公司的⽹站提供…...

编程日记 2025/6/20 23:01:30

ThinkPHP6模型中多组条件逻辑或Or查询的使用

直接进入正题，如我们的查询条件是这样的： (age > 20 and job_id 3) or (sex 1 and age < 20) 上面两组数据之间是 Or 的关系。可使用两个闭包进行查询，代码如下： $map1 [age > 30,sex > $id,];$map2 …...

编程日记 2025/6/20 23:46:35

《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现

基于RAG向量数据库的知识库AI问答助手设计与实现引言随着大语言模型（LLM）技术的快速发展，构建本地知识库AI问答助手已成为许多企业级应用的需求。本研究报告将详细介绍如何基于FLASK开发一个使用本地OLLAMA大模型底座的知识库AI问答助手&…...

编程日记 2025/6/22 20:43:50

netcore8.0项目发布到centos，利用nginx反向代理（宝塔面板篇）

1、发布netcore项目在program.cs中配置nginx代理 // 添加Nginx反向代理支持 builder.Services.Configure<ForwardedHeadersOptions>(options > {options.ForwardedHeaders ForwardedHeaders.XForwardedFor | ForwardedHeaders.XForwardedProto;options.KnownNetwo…...

编程日记 2025/6/21 5:15:16

项目笔记1：通用 Service的常见方法

通用 Service 通常封装了常见的业务逻辑操作，以提高代码的复用性和可维护性。不同的框架和业务场景下，通用 Service 的方法会有所差异，但一般都会包含一些基本的增删改查（CRUD）操作，以下为你详细介绍&#…...

编程日记 2025/6/24 0:26:24

VUE3父子组件defineModel动态值获取及处理

需求：子组件获取父组件value值时需处理，子组件加载时用onMounted，value变化时用watch 父组件： <template><div><p>父组件的值: {{ parentValue }}</p><button click"changeValue">改变…...

编程日记 2025/6/1 1:43:01

CUDA编程之Grid、Block、Thread线程模型

一、线程模型：Grid、Block、Thread概念 ‌1. 层级定义‌ ‌Thread（线程）‌ CUDA中最基本的执行单元，对应GPU的单个CUDA核心（SP）。每个线程独立执行核函数指令，拥有独立的寄存器和局部内存空间‌。 ‌Block（线程块）‌ 由多个线程组成（通常为32的倍数），是逻辑上的并…...

编程日记 2025/5/30 21:19:14

BT151-ASEMI无人机专用功率器件BT151

编辑：ll BT151-ASEMI无人机专用功率器件BT151 型号：BT151 品牌：ASEMI 封装：TO-220F 批号：最新引脚数量：3 特性：单向可控硅工作温度：-40℃~150℃ ‌BT151单向可控硅产品解…...

编程日记 2025/5/31 4:14:45

无人机环境适应性与稳定性技术要点！

1. 环境感知与传感器融合多传感器集成：结合IMU（惯性测量单元）、GPS、气压计、激光雷达（LiDAR）、视觉传感器（RGB/深度相机）、超声波等，实现冗余数据采集。实时环境建模&#xff1…...

编程日记 2025/6/23 23:43:22

BiliNote：开源的AI视频笔记生成工具，让知识提取与分享更高效——跨平台自动生成结构化笔记，实现从视频到Markdown的智能转化

引言：视频学习的痛点与BiliNote的解决方案随着知识视频化趋势的加速，B站、YouTube等平台成为学习与信息获取的重要渠道，但手动记录笔记耗时低效、信息碎片化等问题依然突出。BiliNote的出现，通过AI驱动的自动化流程，将视频内容转化为结构清晰的Markdown笔记，支持截图插…...

编程日记 2025/6/24 0:22:59

HTMLcss实现网站抽奖

代码由 HTML、CSS 和 JavaScript 三部分组成，HTML 负责页面的结构搭建，CSS 负责页面的样式设计，JavaScript 负责实现抽奖的交互逻辑。 HTML 部分 <!DOCTYPE html> <html lang"en"><head><meta charset"…...

编程日记 2025/6/1 21:34:18

字节：视频一致性生成论文速读

一、引言 Phantom: Subject-Consistent Video Generation via Cross-Modal Alignment 是北京字节跳动智能创作团队提出的一种新型视频生成方法，旨在解决主体一致性视频生成的难题。该方法通过平衡文本和图像的双重模态提示，实现文本和视觉内容的深度对齐…...

编程日记 2025/5/31 3:07:33

JAVA常用分布式锁Redisson

1. 加锁过程底层命令与数据结构 Redis 数据结构：使用 Hash 结构存储锁信息，Key 为锁名称，Field 为客户端唯一标识（如 UUID 线程ID），Value 为锁的重入次数。 Lua 脚本原子性：通过 Lua 脚本在…...

编程日记 2025/6/22 13:15:40

9.ArkUI List的介绍和使用

ArkUI List 组件详解与使用指南 List 是 ArkUI（HarmonyOS 开发框架）中用于展示长列表数据的高性能滚动容器组件。以下是 List 的详细介绍和使用方法。基本介绍 List 组件特点： 支持垂直/水平滚动高性能渲染（仅渲染可视区域内…...

编程日记 2025/6/23 22:40:41

深度解析：从12306看混合云架构下的高并发系统设计

作为曾参与12306余票查询系统高并发升级的技术从业者，笔者注意到公众对于12306底层技术常存在认知盲区。为破解这一迷思，特此分享十年前的架构解密文献（该技术之前名叫 gemfire 现已晋升为Apache顶级项目Geode，代码库详见&#xf…...

编程日记 2025/6/23 23:46:39

解决 EasyExcel 填充图片占满单元格问题

本篇主要记录解决使用EasyExcel 填充图片的两个问题： 1. 如何根据标识填充 2.如果完全占满要显示的单元格 import com.alibaba.excel.EasyExcel; import com.alibaba.excel.ExcelWriter; import com.alibaba.excel.metadata.data.ImageData; import com.alibaba.e…...

编程日记 2025/6/3 17:25:00

汽车售后 D - PDU 和 J2543 详细介绍

D - PDU（Diagnostic Protocol Data Unit） 定义与标准1：D - PDU 是指诊断协议数据单元，ISO 22900 - 2 - 2017 D - PDU - API 是针对道路车辆的模块化车辆通信接口（MVCI）中诊断协议数据单元的编程接口标准。…...

编程日记 2025/6/19 19:51:43

【linux】Chrony服务器

简介 1.1 时间的重要性由于 IT 系统中，准确的计时非常重要，有很多种原因需要准确计时： 在网络传输中，数据包括和日志需要准确的时间戳各种应用程序中，如订单信息，交易信息等都需要准确的时间戳 1.2 时区…...

编程日记 2025/6/24 0:53:30

深度剖析！GPT-image-1 API 开放对 AI 绘画技术生态的冲击！

4月24日凌晨，OpenAI正式发布了全新的图像生成模型“gpt-image-1”，并通过API向全球开发者开放使用，这意味着其GPT-4o的图像生成能力正式向开发者开放！ 在这之前，GPT-4o的图像生成功能于今年3月25日由 OpenAI 创始人兼 …...

编程日记 2025/6/23 11:14:38

天能资管（SkyAi）：精准投资匹配，定制资产配置新体验

在资产配置领域,随着市场环境的日益复杂和投资者需求的日益多样化,个性化和精准化已成为投资者最为关注的核心诉求。天能资管(SkyAi)作为新加坡BEAVER TOKEN基金会旗下的科技先锋,凭借其强大的AI技术和丰富的市场经验,创新性地推出了精准投资匹配服务,为投资者带来了前所未有的…...

编程日记 2025/6/19 22:38:12

volatile缓存可见性实现原理

1.缓存一致性问题在多核处理器架构中，每个核心都有自己的缓存（Cache），而主内存是所有核心共享的。当一个线程在某个核心上修改了一个共享变量时，这个修改可能只会更新到该核心的缓存中，并不会立刻写回到主…...

编程日记 2025/5/31 8:13:50

【计算机视觉】CV实战- 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection

深入解析基于HOGSVM的行人检测系统：从理论到实践技术核心：HOGSVM检测框架HOG特征原理SVM分类器项目架构与数据准备INRIA Person数据集目录结构实战指南：从零构建检测系统环境配置完整训练流程检测应用关键技术问题与解决方案1. 难例挖掘不…...

编程日记 2025/6/23 20:39:56

HDRnet——双边滤波和仿射变换的摇身一变

主页：Deep Bilateral Learning paper：https://groups.csail.mit.edu/graphics/hdrnet/data/hdrnet.pdf coeffs 这部分的处理对象是低分辨率图，利用CNN进行特征提取（局部和全局），最后fuse得到grid&#xff…...

编程日记 2025/6/2 5:53:14

Spring的xxxAware接口工作原理-笔记

1.Aware 接口的工作原理 Spring 提供了多个 XXXAware 接口（如 ApplicationEventPublisherAware、ApplicationContextAware、BeanFactoryAware 等），这些接口的核心作用是让 Bean 在初始化过程中自动获取特定的依赖。实现 Aware 接口的 Bean…...

编程日记 2025/6/24 0:59:10

flume整合Kafka和spark-streaming核心编程

flume整合Kafka 需求1：利用flume监控某目录中新生成的文件，将监控到的变更数据发送给kafka，kafka将收到的数据打印到控制台： 1.查看topic 2.编辑flume-Kafka.conf，并启动flume 3.启动Kafka消费者 4.新增测试数据 5.查…...

编程日记 2025/6/23 10:43:05

第十四届蓝桥杯刷题——day20

第十四届蓝桥杯刷题——day20 引言题目一：工作时长题目二：与或异或题目三：翻转题目四：阶乘的和题目五：公因数匹配附录：源码gitee仓库引言蓝桥杯C研究生组（河北赛区）快要开赛了&…...

编程日记 2025/6/2 20:56:54

Python MCP客户端SDK实现

以下是一个用于与大模型MCP协议交互的Python客户端SDK实现： ```python import json import requests import uuid from typing import Dict, List, Any, Optional, Union from enum import Enum from datetime import datetime class MCPTaskType(Enum): TEXT_GENERATION…...

编程日记 2025/6/21 12:33:12

使用el-table表格动态渲染表头数据之后，导致设置fixed的列渲染出现问题

问题如下： 解决方法： 使用$nextTick和v-if，让el-table在页面渲染完成之后再显示 <el-table v-if"visile"></el-table> 获取数据的方法 getdata(){ //这里处理数据 this.visilefalse //不显示table组件 this.$nex…...

编程日记 2025/5/31 18:50:25

Vue 3 父子组件通信案例详解：Props 与 Emits 实战

前言在 Vue 3 开发中，组件通信是最基础也是最重要的技能之一。本文将用实际案例演示 Vue 3 中最常用的两种父子通信方式：Props（父传子）和 Emits（子传父），帮助大家快速掌握 Composition API 下…...

编程日记 2025/6/23 8:21:23

kotlin与MVVM结合使用总结（三）

1. MVVM 架构详细介绍及源码层面理解整体架构 MVVM（Model - View - ViewModel）架构是为了解决视图和数据模型之间的耦合问题而设计的。它通过引入 ViewModel 作为中间层，实现了视图和数据的分离，提高了代码的可维护性和可测试性…...

编程日记 2025/6/23 23:46:51

前端基础之《Vue（11）—自定义指令》

一、自定义指令 1、自己封装指令什么是指令？指令本质上就是DOM功能的一种抽象封装。如果有一些DOM功能经常用，但是Vue没有提供相关指令，建议自己封装。 2、自定义全局指令使用Vue.directive(指令名, function() {})定义全局指令。 3、…...

编程日记 2025/6/19 18:03:12

第3.2节 Android应用调用链路分析

3.2.1 Android调用链路简介在Android应用程序中，调用链路涉及应用程序中不同组件（如Activity、Service、BroadcastReceiver、ContentProvider）之间的调用关系，以及应用程序与系统服务之间的交互。了解和分析这些调用链路对于调试…...

编程日记 2025/6/24 0:54:54

Codeforces Round 1019 (Div. 2) ABC

A 模拟思路数组y是不同的，且所以xi * yi 相同，只有x数组全不同才可以满足要求代码 LL n,m,k;void solve() {map<LL,LL> mp;cin >> n;for (int i 1;i < n;i ){LL x;cin >> x;mp[x] ;}cout << mp.size() << endl;…...

编程日记 2025/6/24 0:41:04

Babylon.js 材质统一转换指南：将 AssetContainer 中的所有材质转换为 PBRMetallicRoughnessMaterial

在现代 3D 开发中，基于物理的渲染(PBR)已成为行业标准。本文将详细介绍如何在 Babylon.js 中将 AssetContainer 加载的各种材质统一转换为 PBRMetallicRoughnessMaterial，实现项目材质的标准化。为什么需要材质转换？ PBRMetallicRoughness…...

编程日记 2025/6/2 20:38:19

Linux Platform驱动模型全解析：从入门到精通

Linux Platform驱动模型全解析：从入门到精通 1. Platform驱动模型概述 1.1 什么是Platform驱动模型 Platform驱动模型是Linux内核为处理非热插拔设备（通常是SoC集成外设）而设计的一套驱动框架。它通过虚拟的"platform总线"将硬件…...

编程日记 2025/6/21 10:37:14

7.Excel：单元格格式

一案例 1.案例1 2.案例2 3.案例3 二三种基本数据类型补充：在没有任何格式的情况下是这样对齐的。 1.文本默认左对齐，文本不可参与计算。 2.数值默认右对齐，数值计算精度是15位。若超出15位，超出部分显示为0。 3.逻辑值 …...

编程日记 2025/6/20 1:55:59

文件传输过滤器绕过：Exe2Hex

Exe2hex是****g0tmilk开发的一款工具，您可以**在这里找到它。该工具将 EXE 文件转录为一系列十六进制字符串**，DEBUG.exe或Powershell可以将其还原为原始 EXE 文件。之后，该脚本会在受害者机器上运行，重建并执行 EXE 文件。这在系统管理员阻止EXE 文件传输或上传的****高级…...

编程日记 2025/6/20 22:48:17

从多类缺陷到高良率跃升｜公差分析技术重构动力电池装配精度体系

在新能源汽车产业升级关键期，动力电池装配精度和因装配引起的安全问题已成为制约产能提升的核心瓶颈。某头部电池企业通过 CETOL 6σ 公差分析技术，成功构建了复杂电池系统的精度控制体系。生产实践表明，微观尺度的公差偏差可能引发系统性质量…...

编程日记 2025/6/1 19:22:57

QT开发技术【QT实现桌面右下角消息】

一、效果 ![ 二、弹窗主体部分 noticewidget /* ** File name: NoticeWidget.h ** Author: ** Date: 2025-04-25 ** Brief: 通知栏控件 ** Copyright (C) 1392019713qq.com All rights reserved. */#include "../Include/NoticeWidget.h"…...

编程日记 2025/6/24 0:39:49

【使用层次序列构建二叉树（数据结构C）】

使用层次序列构建二叉树（C语言实现） 在数据结构学习过程中，二叉树的构建方式通常有递归建树（前序/中序）和层次建树（广度优先）两种。本文将介绍一种基于辅助队列实现的层次建树方法，并…...

编程日记 2025/6/19 18:50:17

【基于Qt的QQ音乐播放器开发实战：从0到1打造全功能音乐播放应用】

🌹 作者: 云小逸 🤟 个人主页: 云小逸的主页 🤟 motto: 要敢于一个人默默的面对自己，强大自己才是核心。不要等到什么都没有了，才下定决心去做。种一颗树，最好的时间是十年前，其次就是现在&…...

编程日记 2025/6/19 23:10:57

蓝桥杯 3. 密码脱落

密码脱落原题目链接题目描述 X 星球的考古学家发现了一批古代留下来的密码。这些密码是由 A、B、C、D 四种植物的种子串成的序列。仔细分析发现，这些密码串当初应该是前后对称的（即镜像串）。由于年代久远，其中许多种子…...

编程日记 2025/5/29 12:36:19

数学基础 -- 欧拉恒等式的魅力：让复数旋转起来！

公式推导： e i π − 1 e^{i\pi} -1 eiπ−1 被誉为数学中最美的公式之一，它连接了五个数学中最重要的常数： e i π 1 0 (欧拉恒等式) e^{i\pi} 1 0 \tag{欧拉恒等式} eiπ10(欧拉恒等式) 这不仅是巧合，而是复数与三角函数…...

编程日记 2025/6/21 11:36:40

keil修改字体无效，修改字体为“微软雅黑”方法

在网上下载了微软雅黑字体，微软雅黑参考下载链接结果在Edit->Configuration中找不到这个字体这个时候可以在keil的安装目录中找到UV4/global.prop文件用记事本打开它进行编辑，把字体名字改成微软雅黑重新打开keil就发现字体成功修改了。这个…...

编程日记 2025/6/3 2:01:24

LeetCode 每日一题 2845. 统计趣味子数组的数目

2845. 统计趣味子数组的数目给你一个下标从 0 开始的整数数组 nums ，以及整数 modulo 和整数 k 。请你找出并统计数组中趣味子数组的数目。如果子数组 nums[l…r] 满足下述条件，则称其为趣味子数组 ： 在范围 [l, r] 内，设 …...

编程日记 2025/6/23 19:33:27

二进制兼容性分析方法

I. 引言在软件工程领域，二进制兼容性（Binary Compatibility）是一个核心概念，它指的是一个计算系统能够运行为另一个系统编译的可执行代码（通常是机器码）的能力，而无需重新编译。这与源代码兼…...

编程日记 2025/6/21 4:44:05

在 WSL 安装 OpenFOAM-12

在 WSL 安装 OpenFOAM-12 参考链接安装教程问题整理1、安装完成后运行测试算例 Alllrun 脚本报错参考链接 OpenFOAM OpenFoam-v12 OpenFOAM-v12-Ubuntu 安装教程直接在 OpenFOAM 官网找到 Down -> OpenFOAM v12 选择 DownLoad v12 | Ubuntu -> Read More 具体安装过…...

编程日记 2025/6/21 8:35:43

Linux-06 ubuntu 系统截图软件使用简单记录

文章目录原委一、Shutter二、Flameshot三、Ksnip 原委原先使用的 Flameshot 截图软件，在ubuntu 18.04下可以正常使用。系统升级到22.04 后，安装后的只能截图，不能标注，想着修复下。以下是个人备忘录记录，如何使用…...

编程日记 2025/6/22 8:49:47

Asynchronous Advantage Actor-Critic A3C (2016, DeepMind)

A3C 网络更新

Critic 网络更新: θ v \theta^v θv

Actor 网络更新: θ μ \theta^\mu θμ

总的损失函数

相关文章：

Critic 网络更新: $\theta^v$

Actor 网络更新: $\theta^\mu$