当前位置： 首页 > news >正文

使用 REINFORCE 算法强化梯度策略

news 来源：原创 2025/9/10 15:08:42

一、整体概述

此代码利用 REINFORCE 算法（一种基于策略梯度的强化学习算法）来解决 OpenAI Gym 中的 CartPole-v1 环境问题。CartPole-v1 环境的任务是控制一个小车，使连接在小车上的杆子保持平衡。代码通过构建一个神经网络作为策略网络，在与环境的交互中不断学习，以找到能获得最大累计奖励的策略。

二、依赖库

  1. gym：OpenAI 开发的强化学习环境库，用于创建和管理各种强化学习任务的环境，这里使用其 CartPole-v1 环境。
  2. torch：PyTorch 深度学习框架，用于构建神经网络模型、进行张量运算和自动求导。
  3. torch.nn：PyTorch 中用于定义神经网络层和模型结构的模块。
  4. torch.optim：PyTorch 中的优化器模块，用于更新神经网络的参数。
  5. numpy：用于进行数值计算和数组操作。
  6. torch.distributions.Categorical：PyTorch 中用于处理分类分布的模块，用于从策略网络输出的动作概率分布中采样动作。
  7. matplotlib.pyplot：用于绘制训练过程中的奖励曲线，可视化训练进度。

三、代码详细解释

3.1 REINFORCE 专用策略网络类 REINFORCEPolicy

收起

python

class REINFORCEPolicy(nn.Module):def __init__(self, input_dim, output_dim):super().__init__()self.net = nn.Sequential(nn.Linear(input_dim, 64),nn.ReLU(),nn.Linear(64, output_dim))def forward(self, x):return self.net(x)

  • 功能：定义一个简单的前馈神经网络作为策略网络，用于根据环境状态输出动作的概率分布。
  • 参数：
    • input_dim：输入状态的维度，即环境状态的特征数量。
    • output_dim：输出的维度，即环境中可用动作的数量。
  • 结构：
    • 包含两个全连接层（nn.Linear），中间使用 ReLU 激活函数（nn.ReLU）引入非线性。
    • 第一个全连接层将输入维度映射到 64 维，第二个全连接层将 64 维映射到输出维度。
  • 前向传播方法 forward：接收输入状态 x，并通过定义的网络层计算输出。

3.2 REINFORCE 训练函数 reinforce_train

收起

python

def reinforce_train(env, policy_net, optimizer, num_episodes=1000, gamma=0.99, lr_decay=0.995, baseline=True):...

  • 功能：使用 REINFORCE 算法训练策略网络。
  • 参数：
    • env：OpenAI Gym 环境对象。
    • policy_net：策略网络模型。
    • optimizer：用于更新策略网络参数的优化器。
    • num_episodes：训练的总回合数，默认为 1000。
    • gamma：折扣因子，用于计算未来奖励的折扣，默认为 0.99。
    • lr_decay：学习率衰减因子，默认为 0.995。
    • baseline：布尔值，指示是否使用基线来降低方差，默认为 True。
  • 训练流程：
    1. 数据收集阶段：
      • 每个回合开始时，重置环境状态。
      • 在回合中，不断与环境交互，直到回合结束。
      • 对于每个时间步，将状态转换为张量，通过策略网络得到动作的 logits，使用 Categorical 分布采样动作，并记录动作的对数概率。
      • 执行动作，获取下一个状态、奖励和回合是否结束的信息。
      • 将状态、动作、奖励和对数概率存储在 episode_data 字典中。
    2. 计算蒙特卡洛回报：
      • 从最后一个时间步开始，反向计算每个时间步的累计折扣奖励 G。
      • 将计算得到的回报存储在 returns 列表中，并转换为张量。
    3. 可选基线处理：
      • 如果 baseline 为 True，对回报进行标准化处理，以降低方差。
    4. 计算策略梯度损失：
      • 对于每个时间步的对数概率和回报，计算策略梯度损失。
      • 将所有时间步的损失相加得到总损失。
    5. 参数更新：
      • 清零优化器的梯度。
      • 进行反向传播计算梯度。
      • 使用优化器更新策略网络的参数。
    6. 学习率衰减：
      • 如果 lr_decay 不为 None，每 100 个回合衰减一次学习率。
    7. 记录训练进度：
      • 记录每个回合的总奖励。
      • 每 50 个回合输出一次平均奖励和当前学习率。
      • 如果平均奖励达到环境的奖励阈值，输出解决信息并提前结束训练。

3.3 主程序部分

收起

python

if __name__ == "__main__":...

  • 功能：创建环境，初始化策略网络和优化器，进行训练，保存模型，并可视化训练进度。
  • 步骤：
    1. 创建环境：使用 gym.make 创建 CartPole-v1 环境，并获取状态维度和动作维度。
    2. 初始化网络和优化器：
      • 创建 REINFORCEPolicy 策略网络实例。
      • 使用 Adam 优化器，设置较高的初始学习率（lr = 1e-2）。
    3. 训练模型：调用 reinforce_train 函数进行训练，设置训练回合数为 800。
    4. 保存模型：使用 torch.save 保存训练好的策略网络的参数。
    5. 可视化训练进度：
      • 使用 matplotlib.pyplot 绘制每个回合的总奖励曲线。
      • 设置 x 轴标签为 “回合数”，y 轴标签为 “总奖励”，标题为 “REINFORCE 训练进度”。
      • 显示绘制的图形。

四、注意事项

  • 代码使用了新版 Gym API，确保你的 Gym 库版本支持 env.reset() 和 env.step() 的返回值格式。
  • 可以根据实际情况调整超参数，如 num_episodes、gamma、lr_decay 和初始学习率，以获得更好的训练效果。
  • 训练可能需要一定的时间，尤其是在计算资源有限的情况下，可以适当减少 num_episodes 来加快训练速度。

完整代码

import gym
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
from torch.distributions import Categorical
import matplotlib.pyplot as plt# REINFORCE专用策略网络
class REINFORCEPolicy(nn.Module):def __init__(self, input_dim, output_dim):super().__init__()self.net = nn.Sequential(nn.Linear(input_dim, 64),nn.ReLU(),nn.Linear(64, output_dim))def forward(self, x):return self.net(x)def reinforce_train(env, policy_net, optimizer, num_episodes=1000, gamma=0.99, lr_decay=0.995, baseline=True):rewards_history = []lr = optimizer.param_groups[0]['lr']for ep in range(num_episodes):# 数据收集阶段state, _ = env.reset()episode_data = {'states': [], 'actions': [], 'rewards': [], 'log_probs': []}done = Falsewhile not done:state_tensor = torch.FloatTensor(state)logits = policy_net(state_tensor)policy = Categorical(logits=logits)action = policy.sample()log_prob = policy.log_prob(action)next_state, reward, terminated, truncated, _ = env.step(action.item())done = terminated or truncated# 存储轨迹数据episode_data['states'].append(state_tensor)episode_data['actions'].append(action)episode_data['rewards'].append(reward)episode_data['log_probs'].append(log_prob)state = next_state# 计算蒙特卡洛回报returns = []G = 0for r in reversed(episode_data['rewards']):G = r + gamma * Greturns.insert(0, G)returns = torch.tensor(returns)# 可选基线（降低方差）if baseline:returns = (returns - returns.mean()) / (returns.std() + 1e-8)# 计算策略梯度损失policy_loss = []for log_prob, G in zip(episode_data['log_probs'], returns):policy_loss.append(-log_prob * G)total_loss = torch.stack(policy_loss).sum()  # 使用 torch.stack() 代替 torch.cat()# 参数更新optimizer.zero_grad()total_loss.backward()optimizer.step()# 学习率衰减if lr_decay:new_lr = lr * (0.99 ** (ep//100))optimizer.param_groups[0]['lr'] = new_lr# 记录训练进度total_reward = sum(episode_data['rewards'])rewards_history.append(total_reward)# 进度输出if (ep+1) % 50 == 0:avg_reward = np.mean(rewards_history[-50:])print(f"Episode {ep+1} | Avg Reward: {avg_reward:.1f} | LR: {optimizer.param_groups[0]['lr']:.2e}")if avg_reward >= env.spec.reward_threshold:print(f"Solved at episode {ep+1}!")breakreturn rewards_historyif __name__ == "__main__":env = gym.make('CartPole-v1')state_dim = env.observation_space.shape[0]action_dim = env.action_space.n# 初始化REINFORCE专用网络policy_net = REINFORCEPolicy(state_dim, action_dim)optimizer = optim.Adam(policy_net.parameters(), lr=1e-2)  # 更高初始学习率# 训练rewards = reinforce_train(env, policy_net, optimizer, num_episodes=800)# 保存与测试（同原代码）torch.save(policy_net.state_dict(), 'reinforce_cartpole.pth')plt.plot(rewards)plt.xlabel('Episode')plt.ylabel('Total Reward')plt.title('REINFORCE Training Progress')plt.show()

相关文章：

使用 REINFORCE 算法强化梯度策略

一、整体概述 此代码利用 REINFORCE 算法（一种基于策略梯度的强化学习算法）来解决 OpenAI Gym 中的 CartPole-v1 环境问题。CartPole-v1 环境的任务是控制一个小车，使连接在小车上的杆子保持平衡。代码通过构建一个神经网络作为策略网络&…...

编程日记 2025/9/10 15:08:42

【C++并发编程实战】第1章 你好，C++的并发世界!

文章目录 1. 何谓并发2. 为什么使用并发？3. 什么时候不使用并发4. C多线程历史5. 第一个并发程序 1. 何谓并发 最简单和最基本的并发,是指两个或更多独立的活动同时发生。计算机领域的并发指的是在单个系统里同时执行多个独立的任务，而非顺序的进行一些…...

编程日记 2025/9/10 15:04:49

【QT线程】子线程阻塞主线程的一次网络api请求案例

阻塞源码赏析 这是最近一次项目遇到的问题，原因是我觉得子线程里俩次请求间隔太短了，会引起服务器屏蔽我的api因此，我故作聪明加多了一个延时函数，欢迎各位鉴赏代码。 // 并行发起双请求 QNetworkRequest liveRequest(liveUrl);…...

编程日记 2025/9/8 9:46:44

DockerでOracle Database 23ai FreeをセットアップしMAX_STRING_SIZEを拡張する手順

DockerでOracle Database 23ai FreeをセットアップしMAX_STRING_SIZEを拡張する手順 はじめに環境準備ディレクトリ作成Dockerコンテナ起動 データベース設定変更コンテナ内でSQL*Plus起動PDB操作と文字列サイズ拡張設定検証 管理者ユーザー作成注意事項まとめ 中文版请访问这里…...

编程日记 2025/9/10 6:35:18

【计算机网络入门】初学计算机网络（五）

目录 1.编码&解码、调制&解调 2.常用编码方法 2.1 不归零编码（NRZ） 2.2 归零编码(RZ) 2.3 反向非归零编码(NRZI) 2.4 曼彻斯特编码 2.5 差分曼彻斯特编码 3. 各种编码的特点 4.调制 5.有线传输介质 5.1 双绞线 5.2 同轴电缆 5.3 光…...

编程日记 2025/9/9 6:42:53

unity学习60： 滑动条 和 滚动条 滚动区域

目录 1 滚动条 scrollbar 1.1 创建滚动条 1.2 scrollbar的子物体 1.3 scrollbar的属性 2 滚动视图 scroll View 2.1 创建1个scroll View 2.1.1 实际类比，网页就是一个 scroll view吧 2.2 子物体构成 2.3 核心component : Scroll Rect 3 可视区域 view p…...

编程日记 2025/9/7 12:22:47

【Linux网络-HTTP协议】HTTP基础概念+构建HTTP

代码定位：南毅c/Linux - Gitee.com HTTP协议 介绍 虽然我们说，应用层协议是我们程序猿自己定的.但实际上,已经有大佬们定义了一些现成的,又非常好用的应用层协议,供我们直接参考使用。HTTP(超文本传输协议)就是其中之一。 在互联网世界中&#xff0c…...

编程日记 2025/9/5 12:46:05

2025年企业网络安全实战指南：常见漏洞解析与全方位防御策略

2025年企业网络安全实战指南：常见漏洞解析与全方位防御策略 作者: 网络安全专家 日期: 2025-02-27 分类: [网络安全] 标签: [漏洞防护, 信息安全, 企业安全] 引言：漏洞是攻击者的入口，防御是安全的基石 2025年，网络安全威胁持续升级。根据Gartner最新报告，全球企业因漏洞…...

编程日记 2025/9/8 5:38:09

一个py文件搞定mysql查询+Json转换+表数据提取+根据数据条件生成excel文件+打包运行一条龙

import os import argparse import pymssql import json import pandas as pd from datetime import datetime from pandas.io.formats.excel import ExcelFormatter import openpyxl# 投注类型映射字典 BET_MAPPING {1: WIN, 2: PLA, 3: QIN, 4: QPL,5: DBL, 6: TCE, 7: QTT,…...

编程日记 2025/9/9 7:18:15

P1123 取数游戏

题目描述 一个 NM 的由非负整数构成的数字矩阵，你需要在其中取出若干个数字，使得取出的任意两个数字不相邻（若一个数字在另外一个数字相邻 8 个格子中的一个即认为这两个数字相邻），求取出数字和最大是多少。 输入格式…...

编程日记 2025/9/7 14:10:18

Spock框架：让单元测试更优雅的高效武器

📖 前言：为什么选择Spock？ 在软件开发领域，单元测试是保证代码质量的基石。但传统的JUnit/TestNG测试框架在面对复杂测试场景时，往往会显得力不从心。Spock框架作为新一代测试框架的佼佼者，以其独特的BDD&…...

编程日记 2025/9/8 5:42:31

STM32中的ADC

目录 一：什么是ADC 二：ADC的用途 三：STM32F103ZET6的ADC 3.1ADC对应的引脚 3.2ADC时钟 3.3ADC的工作模式 ​编辑3.4ADC校准 3.5ADC转换结构和实际电压的换算 四：ADC配置步骤 五：两个重要的函数 一&#xff1a…...

编程日记 2025/9/7 15:13:56

React Portals深度解析：突破组件层级的渲染艺术

React Portals的核心概念、使用场景、实现方法、优缺点以及最佳实践。根据我搜索到的资料，都详细讨论了Portals的使用方法、应用场景和注意事项。比如提供了代码示例，说明如何用createPortal将组件渲染到DOM的其他位置，而则强调了Portals在解决z-index和overflow问题上的优势…...

编程日记 2025/9/6 12:59:55

AWS SQS跨账户访问失败排查指南

引言 在使用AWS SQS（Simple Queue Service）时，跨账户访问是常见的业务场景。例如，账户A的应用程序向队列发送消息，账户B的消费者从队列拉取消息。尽管AWS官方文档明确支持此类配置，但在实际应用中，由于权限模型的复杂性，开发者和运维人员常会遇到“策略已配置但无法接…...

编程日记 2025/9/5 19:40:55

数据挖掘工程师的技术图谱和学习路径

数据挖掘工程师的技术图谱和学习路径： 1.基础知识 数据挖掘工程师是负责从大量数据中发现潜在模式、趋势和规律的专业人士。以下是数据挖掘工程师需要掌握的基础知识： 数据库知识：熟悉关系数据库和非关系数据库的基本概念和操作，掌握SQL语言。 统计学基础：了解统计学的基…...

编程日记 2025/9/6 13:05:19

0301 leetcode - 1502.判断是否能形成等差数列、 682.棒球比赛、657.机器人能否返回原点

1502.判断是否能形成等差数列 题目 给你一个数字数组 arr 。 如果一个数列中，任意相邻两项的差总等于同一个常数，那么这个数列就称为 等差数列 。 如果可以重新排列数组形成等差数列，请返回 true ；否则，返回 false…...

编程日记 2025/9/5 22:56:25

【03】STM32F407 HAL 库框架设计学习

【03】STM32F407 HAL 库框架设计学习 摘要 本文旨在为初学者提供一个关于STM32F407微控制器HAL（Hardware Abstraction Layer）库框架设计的详细学习教程。通过本文，读者将从零开始，逐步掌握STM32F407的基本知识、HAL库的配置步骤…...

编程日记 2025/9/9 1:49:02

React低代码项目：Redux 状态管理

吐司问卷：Redux 状态管理 Date: February 18, 2025 5:37 PM (GMT8) Redux 管理用户信息 命名规范： 以 Info 结尾表示获取Reudx信息，比如 useGetUserInfo.ts 以 data 结尾表示获取服务端信息，比如 useLoadQuestionData 采用 Re…...

编程日记 2025/9/7 9:26:16

Vue核心知识：动态路由实现完整方案

在Vue中实现动态路由，并结合后端接口和数据库表设计，是一个复杂的项目，需要多个技术栈和步骤的配合。以下将详细描述整个实现过程，包括数据库设计、后端接口设计、前端路由配置以及如何实现动态路由的功能。 目录 一、需求分析二…...

编程日记 2025/9/3 17:16:46

Linux安装jdk，node，mysql，redis

准备工作： 1.安装VMware软件，下载CentOs7镜像文件，在VMware安装CentOs7 2.宿主机安装Xshell用来操作linux 3. .宿主机安装Xftp用来在宿主机和虚拟机的linux传输文件 案例1：在 /home/soft文件夹解压缩jdk17，并配置环…...

编程日记 2025/9/9 13:02:22

数据库原理与使用基础教程

数据库原理与使用基础教程 大纲 数据库基础概述 什么是数据库？数据库管理系统（DBMS）概述数据库的类型数据库模型与结构 关系型数据库 关系型数据库简介表（Table）、字段（Field）、记录&#xff…...

编程日记 2025/9/9 4:23:52

GCC 与 Clang：两大编译器的全面对比与深度解析！

GCC 与 Clang：两大编译器的全面对比与深度解析！🔥 你是否曾为选择编译器而纠结？GCC 和 Clang 作为 C/C 开发中最主流的编译器，它们各自有什么优势和特点？为什么有人说 Clang 更现代，而 GCC 更强…...

编程日记 2025/9/6 12:05:32

ue5 创建多列StreeView的方法与理解

创建StreeView的多列样式怎么就像是创建单行单列差不多？貌似就是在单行单列中加入了多列widget? 示例代码 DetailTabWidget #pragma once #include "TreeViewItemBase.h"class SDetailTabWidget : public SCompoundWidget {SLATE_BEGIN_ARGS(SDetailTabWidget){…...

编程日记 2025/9/4 15:35:45

GPT-4.5来了

https://chat.xutongbao.top/...

编程日记 2025/8/29 11:31:29

java后端开发day25--阶段项目（二）

（以下内容全部来自上述课程） 1.美化界面 private void initImage() {//路径分两种：//1.绝对路径：从盘符开始写的路径 D:\\aaa\\bbb\\ccc.jpg//2.相对路径：从当前项目开始写的路径 aaa\\bbb\\ccc.jpg//添加图片的时…...

编程日记 2025/9/6 4:29:36

【小羊肖恩】小羊杯 Round 2 C+K

题目链接：https://ac.nowcoder.com/acm/contest/100672#question C.是毛毛虫吗？ 思路： 其实很简单，假设我们要满足题目所给条件，那么这个毛毛虫最坏情况下肯定是一条如下图所示的无向图 右端省略号为对称图形 &…...

编程日记 2025/9/10 4:19:14

计算机网络——详解TCP三握四挥

文章目录 前言一、三次握手1.1 三次握手流程1.2 tcp为什么需要三次握手建立连接？ 二、四次挥手2.1 四次挥手流程2.2 为什么是四次，不是三次？2.3 为什么要等待2msl？2.4 TCP的保活计时器 前言 TCP和UDP是计算机网络结构中运输层的两…...

编程日记 2025/9/9 12:15:11

PHP实现国密SM4算法,银行系统加密算法，JAVA和PHP可相互转换（附完整源码）

最终实现效果：PHP生成加密串，JAVA代码中完成匹配 JAVA SM4库实现效果 /*** 签名** param content 请求报文体* param secret 密钥* return*/public static String sign(String content, String secret) {String charSet "UTF-8";String c…...

编程日记 2025/9/9 6:35:49

DILLEMA：扩散模型+大语言模型，多模态数据增强框架

引言：深度学习模型的鲁棒性测试需要全面且多样化的测试数据。现有的方法通常基于简单的数据增强技术或生成对抗网络，但这些方法在生成真实且多样化的测试数据集方面存在局限性。为了克服这些限制，DILLEMA框架应运而生，旨在通过结合…...

编程日记 2025/8/16 10:41:37

京东web 详情 cfe滑块分析

声明: 本文章中所有内容仅供学习交流使用，不用于其他任何目的，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！ 逆向分析 data response.json() pri…...

编程日记 2025/9/9 5:07:30

【Redis学习】Redis Docker安装，自定义config文件（包括RDB\AOF setup）以及与Spring Boot项目集成

【本文内容】 第1章：通过Docker安装Redis，并自定义config文件以及mount data目录。第2章：介绍Redis持久化到磁盘，有4种方式：RDB / AOF / NONE / RDB AOF。第3章：使用Server自带的redis-cli工具连接。第4章…...

编程日记 2025/9/9 13:54:33

Python 面向对象编程-继承与多态

目录 继承与多态 静态语言 vs 动态语言 小结 继承与多态 在OOP程序设计中，当我们定义一个class的时候，可以从某个现有的class继承，新的class称为子类（Subclass），而被继承的class称为基类、父类或超类&a…...

编程日记 2025/9/6 16:53:03

AcWing 蓝桥杯集训·每日一题2025·5439. 农夫约翰真的种地

5439. 农夫约翰真的种地 题目描述 农夫约翰在他的农场种植了 N N N 个芦笋，编号 ( 1 ∼ N ) (1 \sim N) (1∼N)。 其中，第 i i i 个芦笋的初始高度为 h i h_i hi​，每经过一天高度会增长 a i a_i ai​。 给定一个 ( 0 ∼ N − 1 ) (0…...

编程日记 2025/9/6 13:27:26

如何将 Excel 数据转换为 SQL 脚本：从入门到实战

全文目录： 开篇语? 前言?? 目录?? 什么是 SQL 脚本？?? 为什么要将 Excel 转换为 SQL 脚本？??? 如何将 Excel 转换为 SQL 脚本 ?? 方法一：使用在线转换工具?? 方法二：通过 Excel VBA 编写脚本?? 方法三…...

编程日记 2025/9/6 16:30:55

0x05 部门功能开发日志技术

准备工作 开发规范 采用restful风格：representational state transfer，表述性状态转换，是一种软件架构风格 REST是风格，是约定方式，约定不是规定，可以打破 描述功能模块通常使用复数形式加s（如…...

编程日记 2025/9/10 0:59:16

塔能物联运维：城市照明极端天气下的“定海神针”

在当今城市快速发展的进程中，城市照明系统的稳定性和可靠性在极端天气条件下愈发受到关注。而塔能物联运维平台的出现，为城市照明在各种复杂环境下的稳定运行提供了强有力的保障，让城市照明在极端天气下也能“稳如泰山”。 城市照明对于保障市…...

编程日记 2025/9/9 4:54:51

Transformer 代码剖析7 - 词元嵌入(TokenEmbedding) （pytorch实现）

一、类定义与继承关系剖析 1.1 代码结构图示 #mermaid-svg-9COHbtmHJhpiroHM {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-9COHbtmHJhpiroHM .error-icon{fill:#552222;}#mermaid-svg-9COHbtmHJhpiroHM .error-t…...

编程日记 2025/9/9 15:08:41

6.6.5 SQL访问控制

文章目录 GRANT授予权限REVOKE回收权限 GRANT授予权限 GRANT语句可以给用户授予权限，基本格式是GRANT 权限 TO 用户。在授权时，WITH GRANT OPTION是可选项，有此句话，被授予权限的用户还能把权限赋给其他用户。 REVOKE回收权限 RE…...

编程日记 2025/9/7 16:04:27

IDEA 使用codeGPT+deepseek

一、环境准备 1、IDEA 版本要求 安装之前确保 IDEA 处于 2023.x 及以上的较新版本。 2、Python 环境 安装 Python 3.8 或更高版本 为了确保 DeepSeek 助手能够顺利运行，您需要在操作系统中预先配置 Python 环境。具体来说，您需要安装 Python 3.8 或更高…...

编程日记 2025/9/9 21:09:51

React + TypeScript 实现 SQL 脚本生成全栈实践

React TypeScript 实现数据模型驱动 SQL 脚本生成全栈实践 引言：数据模型与 SQL 的桥梁革命 在现代化全栈开发中，数据模型与数据库的精准映射已成为提升开发效率的关键。传统手动编写 SQL 脚本的方式存在模式漂移风险高（Schema Drift&#…...

编程日记 2025/9/10 3:59:43

用DeepSeek生成批量删除处理 PDF第一页工具

安装依赖库 在运行程序之前，请确保安装所需的库： pip install pymupdf python-docx Python 程序代码 import os import fitz # PyMuPDF from docx import Documentdef delete_pdf_first_page(input_path, output_path):"""删除 PDF…...

编程日记 2025/9/3 18:00:09

三个小时学完vue3（一）

Vue3 之前就学过一些&#xff0c;不过用的比较少&#xff0c;基本忘完了/(ㄒoㄒ)/~~ 跟着B站视频迅速回忆一下 创建一个Vue 3 应用 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport&…...

编程日记 2025/9/7 10:43:53

netty如何处理粘包半包

文章目录 NIO中存在问题粘包半包滑动窗口MSS 限制Nagle 算法 解决方案 NIO中存在问题 粘包 现象&#xff0c;发送 abc def&#xff0c;接收 abcdef原因 应用层&#xff1a;接收方 ByteBuf 设置太大&#xff08;Netty 默认 1024&#xff09;滑动窗口&#xff1a;假设发送方 25…...

编程日记 2025/9/8 13:28:03

最好Wordpree+Apache+PHP安装教程

前提需要 PHP的安装最少需要7.4以上Mysql的安装&#xff0c;直接默认最新版就行APache服务器&#xff08;HTTP服务器&#xff0c;只有用这个你的软件才能在服务器上运行&#xff09; 安装apache 安装 sudo apt install apache2查看防火墙 sudo ufw app list如果有 Apache那…...

编程日记 2025/9/10 7:29:22

0x02 js、Vue、Ajax

文章目录 js核心概念js脚本引入html的方式基础语法事件监听 Vuevue简介v-forv-bindv-if&v-showv-model&v-on Ajax js 核心概念 JavaScript&#xff1a;是一门跨平台、面向对象的脚本语言&#xff0c;用来控制网页行为实现交互效果&#xff0c;由ECMAScript、BOM、DOM…...

编程日记 2025/9/9 7:59:34

如何使用Docker搭建哪吒监控面板程序

哪吒监控（Nezha Monitoring）是一款自托管、轻量级的服务器和网站监控及运维工具，旨在为用户提供实时性能监控、故障告警及自动化运维能力。 文档地址：https://nezha.wiki/ 本章教程，使用Docker方式安装哪吒监控面板，在此之前，你需要提前安装好Docker. 我当前使用的操作系…...

编程日记 2025/8/18 3:06:51

智能图像处理平台：图片管理

接着我们讲图片管理&#xff0c;先实现图片基础的增删改查&#xff0c;再去考虑图像处理。 主要是&#xff0c;我们需要完成查询时&#xff0c;查询的图片的上传者的角色等级小于等于我们当前登陆账号。 后端controller&#xff1a; package com.llpp.controller;import cn.…...

编程日记 2025/9/6 17:14:25

如何使用Docker一键本地化部署LibrePhotos搭建私有云相册

文章目录 前言1.关于LibrePhotos2.本地部署LibrePhotos3.LibrePhotos简单使用4. 安装内网穿透5.配置LibrePhotos公网地址6. 配置固定公网地址 前言 你是不是也经常对着手机里那一堆珍贵的照片发愁&#xff0c;心里想着&#xff1a;‘这要是被谁偷偷看了可咋办&#xff1f;’别…...

编程日记 2025/9/8 1:12:38

删除idea recent projects 记录

1、退出idea&#xff08;一定要全部退出idea&#xff0c;要不然删除后&#xff0c;idea一退出&#xff0c;又保存上了&#xff09; 2、进入 C:\Users\Administrator\AppData\Roaming\JetBrains\IntelliJIdea2024.1\options 目录 根据不同的版本号 IntelliJIdea2024.1 这个地方…...

编程日记 2025/9/8 8:54:52

基因组突变数据分析-ClinVar数据库

探序基因肿瘤研究院 数据库简介&#xff1a;ClinVar是一个免费访问的公共数据库&#xff0c;记录了人类变异和表型之间的关系&#xff0c;并提供了支持性证据&#xff08;supporting evidence&#xff09;。ClinVar提供的变异临床意义&#xff08;clinical significance&#…...

编程日记 2025/9/6 4:21:32