当前位置：首页 > news >正文

Batch Size

news 来源：原创 2025/7/27 7:05:58

1. 什么是Batch Size？

Batch Size（批大小）是指在深度学习模型训练过程中，每次前向传播和反向传播时输入到模型中的样本数量。具体来说，深度学习模型的训练通常基于梯度下降（Gradient Descent）算法，而batch_size决定了每次迭代（iteration）中用于计算梯度和更新模型参数的样本数量。

1.1 训练过程中的三种模式

根据batch_size的选择，训练过程可以分为以下三种模式：

Batch Gradient Descent（全批量梯度下降）：
- batch_size = 数据集总样本数（N）。
- 每次迭代使用整个训练数据集计算梯度并更新参数。
- 优点：梯度估计非常准确，参数更新方向稳定。
- 缺点：计算成本极高，内存需求大，适合小型数据集。
Stochastic Gradient Descent（随机梯度下降，SGD）：
- batch_size = 1。
- 每次迭代仅使用一个样本计算梯度和更新参数。
- 优点：更新频繁，计算速度快，适合在线学习。
- 缺点：梯度估计噪声大，参数更新方向可能不稳定，收敛路径可能震荡。
Mini-Batch Gradient Descent（小批量梯度下降）：
- batch_size 介于1和N之间（通常是2的幂，如32、64、128等）。
- 每次迭代使用一小部分样本（一个mini-batch）计算梯度和更新参数。
- 优点：结合了全批量和随机梯度下降的优点，梯度估计相对稳定，计算效率较高，适合大多数深度学习任务。
- 缺点：需要手动选择合适的batch_size。

在现代深度学习中，Mini-Batch Gradient Descent是最常用的方法，因此batch_size通常指的是mini-batch的大小。

2. Batch Size的作用

Batch_size在深度学习训练中扮演了多重角色，影响训练的多个方面：

2.1 梯度估计的质量

大batch_size：使用更多样本计算梯度，梯度估计更接近全数据集的真实梯度，更新方向更稳定，收敛更平滑。
小batch_size：梯度估计基于少量样本，噪声较大，可能导致参数更新方向波动，但这种噪声有时有助于模型逃离局部最小值或鞍点。

2.2 计算效率

现代深度学习框架（如PyTorch、TensorFlow）利用GPU/TPU的并行计算能力，batch_size较大的mini-batch可以充分利用硬件的并行性，减少每次迭代的计算时间。
小batch_size会导致硬件资源利用率低下，因为GPU的并行计算能力未被充分利用。

2.3 内存占用

batch_size直接影响内存需求。batch_size越大，模型在每次前向和反向传播时需要存储的中间变量（如激活值、梯度）越多，显存占用越高。
如果batch_size过大，可能会导致显存溢出（OOM，Out of Memory）错误，特别是在训练大型模型（如Transformer）时。

2.4 模型泛化能力

batch_size会影响模型的泛化性能（即在测试集上的表现）。
小batch_size：由于梯度噪声较大，模型可能会探索到更广的参数空间，有助于提高泛化能力。
大batch_size：梯度估计更稳定，但可能导致模型陷入次优解，泛化能力可能下降（特别是在某些任务中）。

2.5 训练速度与收敛

大batch_size通常需要更少的迭代次数来完成一个epoch（因为每个mini-batch包含更多样本），但每次迭代的计算成本更高。
小batch_size每次迭代计算更快，但需要更多迭代来完成一个epoch，总体训练时间可能更长。

3. Batch Size的选择与权衡

选择合适的batch_size需要权衡多方面因素，包括硬件限制、数据集大小、模型复杂性、任务类型等。以下是选择batch_size时需要考虑的关键点：

3.1 硬件限制

显存容量：batch_size受限于GPU/TPU的显存容量。大型模型（如BERT、GPT）或高分辨率输入（如图像分类中的高分辨率图片）需要更多显存，可能需要减小batch_size。
并行效率：batch_size过小会导致GPU利用率低下。通常选择2的幂（如32、64、128）可以优化矩阵运算的效率。

3.2 数据集大小

小型数据集：如果数据集很小（如几千个样本），可以选择较大的batch_size，甚至使用全批量梯度下降。
大型数据集：对于大型数据集（如ImageNet、COCO），通常选择较小的batch_size（如32或64），以保证训练过程的可行性。

3.3 模型复杂性

复杂模型（如深度CNN或大型Transformer）通常需要更大的batch_size来稳定训练，因为它们的参数空间更大，梯度噪声对训练的影响更显著。
简单模型（如浅层MLP）对batch_size的敏感性较低，小batch_size也能正常工作。

3.4 任务类型

图像任务（CNN）：图像分类、目标检测等任务通常使用中等batch_size（如16、32、64），因为图像数据维度较高，显存占用较大。
序列任务（RNN、LSTM、Transformer）：自然语言处理任务中，序列长度会影响显存占用，batch_size通常较小（如8、16、32）。
生成任务（GAN、Diffusion Models）：生成模型对batch_size敏感，通常需要较大的batch_size来稳定训练（如64、128）。

3.5 经验法则

常见选择：batch_size通常为32、64、128、256等2的幂，因为这些值在硬件上效率较高。
调试阶段：在调试模型时，可以使用较小的batch_size（如8或16）以降低显存需求，快速验证代码。
生产环境：在生产环境中，选择尽可能大的batch_size（在显存允许范围内），以提高训练效率。

4. Batch Size的实现细节

在实际训练中，batch_size的实现涉及数据加载、梯度计算和参数更新等多个环节。以下是一些关键的技术细节：

4.1 数据加载

DataLoader：在PyTorch或TensorFlow中，数据加载器（如DataLoader）负责将数据集分割成mini-batch。batch_size是DataLoader的一个参数。
Shuffle：通常在每个epoch开始时对数据集进行随机打乱（shuffle），以确保mini-batch的样本分布随机，减少训练过程中的偏差。
Drop Last：如果数据集大小不能被batch_size整除，最后一个mini-batch可能不足batch_size。可以通过drop_last=True丢弃最后一个不完整的batch，或者处理不完整的batch。

4.2 梯度计算与更新

前向传播：将一个mini-batch的输入数据（形状为[batch_size, input_dim]）输入模型，计算损失。
反向传播：根据损失计算梯度，梯度是mini-batch中所有样本梯度的平均值。
参数更新：使用优化器（如Adam、SGD）根据梯度更新模型参数。
梯度累积（Gradient Accumulation）：如果显存不足以支持大batch_size，可以使用梯度累积技术，即将多个小batch的梯度累积起来，模拟大batch_size的效果。

4.3 批标准化（Batch Normalization）

在CNN等模型中，批标准化（BatchNorm）层依赖batch_size计算mini-batch的均值和方差。
小batch_size：均值和方差估计不稳定，可能导致BatchNorm性能下降。
解决方法：使用GroupNorm或LayerNorm替代BatchNorm，或者增大batch_size。

4.4 学习率调整

batch_size与学习率（learning rate）密切相关。较大的batch_size通常需要较高的学习率，因为梯度估计更稳定，参数更新步长可以更大。
线性缩放规则：如果batch_size增大k倍，学习率也应增大k倍（例如，batch_size从32增加到64，学习率从0.001增加到0.002）。
实际调整：线性缩放规则并非通用的，需要通过实验验证合适的batch_size和学习率组合。

5. Batch Size在不同模型中的应用

不同类型的深度学习模型对batch_size的需求和敏感性有所不同。以下是一些典型模型的batch_size选择特点：

5.1 卷积神经网络（CNN）

典型任务：图像分类、目标检测、语义分割。
batch_size选择：
- 常见范围：16、32、64。
- 高分辨率图像（如2048x2048）可能需要较小的batch_size（如4或8）。
影响：
- 大batch_size有助于稳定BatchNorm层的训练。
- 小batch_size可能导致梯度噪声过大，影响收敛。

5.2 循环神经网络（RNN、LSTM）

典型任务：时间序列预测、机器翻译、语音识别。
batch_size选择：
- 常见范围：8、16、32。
- 序列长度较长时，显存占用增加，可能需要减小batch_size。
影响：
- RNN对梯度噪声较敏感，较大的batch_size可以稳定训练。
- 小batch_size可能导致梯度消失或爆炸问题更严重。

5.3 Transformer

典型任务：自然语言处理、图像生成（如ViT）。
batch_size选择：
- 常见范围：8、16、32（NLP任务）；64、128（图像任务）。
- 大型Transformer（如BERT、GPT）通常需要较小的batch_size以适应显存限制。
影响：
- Transformer对batch_size较敏感，较大的batch_size有助于Attention机制的稳定性。
- 小batch_size可能导致训练不稳定，尤其是在预训练阶段。

5.4 生成对抗网络（GAN）

典型任务：图像生成、风格迁移。
batch_size选择：
- 常见范围：32、64、128。
- GAN训练不稳定，较大的batch_size有助于生成器和判别器的平衡。
影响：
- 小batch_size可能导致模式崩塌（mode collapse）。
- 大batch_size可以提高生成样本的多样性。

6. Batch Size的优化技巧

为了更好地利用batch_size，以下是一些实用的优化技巧：

6.1 梯度累积

场景：显存不足以支持大batch_size。
方法：将多个小batch的梯度累积起来，等效于使用大batch_size。例如，batch_size=8，累积4次，等效于batch_size=32。

实现：

optimizer.zero_grad()
for i, (inputs, labels) in enumerate(data_loader):outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()  # 累积梯度if (i + 1) % accumulation_steps == 0:optimizer.step()  # 更新参数optimizer.zero_grad()  # 清空梯度

6.2 动态Batch Size

场景：数据集样本大小不一（如NLP中序列长度不同）。
方法：动态调整batch_size，确保每个mini-batch的计算量（例如总token数）接近。
实现：在NLP任务中，常见的做法是限制每个batch的总token数，而不是固定batch_size。

6.3 混合精度训练

场景：大batch_size导致显存占用过高。
方法：使用混合精度训练（FP16/FP32混合）降低显存需求，从而支持更大的batch_size。

实现：PyTorch中可以通过torch.cuda.amp实现：

from torch.cuda.amp import autocast, GradScaler
scaler = GradScaler()
for inputs, labels in data_loader:optimizer.zero_grad()with autocast():outputs = model(inputs)loss = criterion(outputs, labels)scaler.scale(loss).backward()scaler.step(optimizer)scaler.update()

6.4 多GPU并行

场景：单GPU显存不足以支持大batch_size。
方法：使用数据并行（Data Parallel）或模型并行（Model Parallel）在多GPU上分配计算任务，从而支持更大的batch_size。
实现：PyTorch中可以使用torch.nn.DataParallel或torch.distributed。

7. Batch Size的常见问题与解答

以下是一些关于batch_size的常见疑问及其解答：

7.1 为什么batch_size通常是2的幂？

2的幂（如32、64、128）在硬件（如GPU）上更高效，因为矩阵运算和内存分配通常以2的幂为单位优化。
非2的幂batch_size（如50）可能导致硬件资源浪费，计算效率略低。

7.2 batch_size越大越好吗？

不一定。大batch_size可以提高训练效率和梯度稳定性，但可能导致以下问题：
- 显存溢出。
- 泛化能力下降（模型可能过拟合或陷入次优解）。
- 训练成本增加（需要更多计算资源）。

7.3 小batch_size会导致训练失败吗？

不一定，但小batch_size可能导致：
- 梯度噪声过大，训练不稳定。
- BatchNorm等层的性能下降。
- 解决方法：使用较大的batch_size，或采用GroupNorm、LayerNorm等替代BatchNorm。

7.4 如何调试batch_size？

初始选择：从32或64开始，观察显存占用和训练效果。
逐步调整：如果显存溢出，减小batch_size；如果训练不稳定，增大batch_size。
学习率调整：同步调整学习率，遵循线性缩放规则。
验证性能：在验证集上评估不同batch_size的模型性能，选择泛化能力最好的值。

8. 总结

Batch_size是深度学习训练中的一个核心超参数，它在梯度估计、计算效率、内存占用和模型性能之间起到平衡作用。以下是关键点的总结：

定义：batch_size是每次迭代中用于计算梯度和更新参数的样本数量。
作用：影响梯度质量、训练速度、内存需求和模型泛化能力。
选择：需要根据硬件限制、数据集大小、模型复杂性和任务类型权衡，通常选择32、64、128等2的幂。
实现：涉及数据加载、梯度计算、参数更新等环节，需注意BatchNorm、学习率调整等问题。
优化：可以通过梯度累积、混合精度训练、多GPU并行等技术支持大batch_size。
模型差异：CNN、RNN、Transformer等模型对batch_size的需求不同，需针对具体任务调整。

Batch Size

1. 什么是Batch Size？ Batch Size（批大小）是指在深度学习模型训练过程中，每次前向传播和反向传播时输入到模型中的样本数量。具体来说，深度学习模型的训练通常基于梯度下降（Gradient Descent）算…...

编程日记 2025/7/27 7:05:58

Maven插件管理的基本原理

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/7/26 5:13:38

flutter 专题六十三 Flutter入门与实战作者：xiangzhihong8Fluter 应用调试

Fluter 应用调试 Flutter 构建模式目前，Flutter一共提供了三种运行模式，分别是Debug、Release和Profile模式。其中，Debug模式主要用在软件编写过程中，Release模式主要用于应用发布过程中，而Profile模式则主要用于应…...

编程日记 2025/7/26 5:13:37

MySQL-存储过程--游标

存储过程游标什么是游标一个游标是一个SQL语句执行时系统内存创建的一个临时工作区域。一个游标包含一个查询语句的信息和它操作的数据行的信息。 mysql游标的特点只读： 无法通过游标更新基础表中的数据不可滚动： 只能根据select中确定的顺序来…...

编程日记 2025/7/26 5:13:34

Spring AOP 事务

目录一,引入依赖: 二,切面 1,基本概念 2, 通知类型: 3,Pointcut 4, 切面优先级: 5 ,自定义优先级Order 6,切点表达式 7, 自定义注解总结: AOP有几种创建方式三, Spring AOP原理 1, 代理模式 (1)静态代理 (2)动态代理 △JDK动态代理 △CGLIB动态代理 JDB和c…...

编程日记 2025/7/26 5:13:32

Itext进行PDF的编辑开发

这周写了一周的需求，是制作一个PDF生成功能，其中用到了Itext来制作PDF的视觉效果。其中一些功能不是很懂，仅作记录，若要学习请仔细甄别正确与否。开始之前，我还是想说，这傻福需求怎么想出来的&#xff0c…...

编程日记 2025/7/26 5:13:30

Python 中消费者 - 生产者模式详解

目录引言消费者 - 生产者模式原理示例场景 Python 实现消费者 - 生产者模式使用队列（Queue）实现代码解释使用协程实现代码解释应用场景总结引言在软件开发里，消费者 - 生产者模式是一种常见且重要的设计模式。这种模式让…...

编程日记 2025/7/26 5:13:28

基于Hadoop的音乐推荐系统(源码+lw+部署文档+讲解)，源码可白嫖!

摘要本毕业生数据分析与可视化系统采用B/S架构，数据库是MySQL，网站的搭建与开发采用了先进的Java语言、爬虫技术进行编写，使用了Spring Boot框架。该系统从两个对象：由管理员和用户来对系统进行设计构建。主要功能包括&#xff…...

编程日记 2025/7/26 5:13:26

移动端动态滑动拨盘选择器【Axure元件库】

模拟移动端底部对话框效果，制作的年份、日期滑动拨盘选择器，支持日期动态滑动选择，提升原型制作强度。该模板主要使用中继器、动态面板和矩形制作，使用简单，复用性强。只需对中继器数据表格中的数据项进行修改、增删…...

编程日记 2025/7/26 5:13:24

目录 1、序言2、什么是Advisor？3、源码分析Advisor3.1、Advisor接口3.2、Advisor Ordered3.3、CallAroundAdvisor & StreamAroundAdvisor3.4、BaseAdvisor4、内置的Advisor类型4.1、MessageChatMemoryAdvisor4.2、PromptChatMemoryAdvisor4.3、VectorStoreChatMemoryAdvis…...

编程日记 2025/7/26 3:42:48

高保真动态项目管理图表集

本作品为项目管理图表类原型，以关系图谱、甘特图、流程图、泳道图为核心，提供基础的图表设计风格和交互案例，再进阶到高级的动态交互设计，由浅入深诠释Axure设计高端复杂的动态交互设计的魅力。作品介绍原型名称：Ax…...

编程日记 2025/7/26 7:28:31

MCP：AI时代的“万能插座”，开启大模型无限可能

摘要：Model Context Protocol（MCP）由Anthropic在2024年底开源，旨在统一大模型与外部工具、数据源的通信标准。采用客户端-服务器架构，基于JSON-RPC 2.0协议，支持stdio、SSE、Streamable HTTP等多种通信方式…...

编程日记 2025/7/26 1:38:17

IDEA打不开、打开报错

目录场景异常原因解决场景 1、本机已经安装了IDEA 2、再次安装另外一个版本的IDEA后打不开、打开报错异常这里忘记截图了。。。原因情况1-打不开：在同一台电脑安装多个IDEA是需要对idea的配置文件进行调整的，否则打不开情况2-打开报错&#…...

编程日记 2025/7/26 5:13:20

TM1640学习手册及示例代码

数据手册 TM1640数据手册数据手册解读这里我们看管脚定义DIN和SCLK，一个数据线一个时钟线 SEG1~SEG8为段码，GRID1~GRID16为位码（共阴极情况下） 这里VDD给5V 数据指令数据命令设置地址命令设置显示控制命令共阴极硬件连接图…...

编程日记 2025/7/26 15:02:18

动态规划-零钱兑换

332.零钱兑换给你一个整数数组 coins ，表示不同面额的硬币；以及一个整数 amount ，表示总金额。计算并返回可以凑成总金额所需的最少的硬币个数。如果没有任何一种硬币组合能组成总金额，返回 -1 。你可以认为每种硬币的数量是无…...

编程日记 2025/7/26 5:13:16

leetcode50.pow（x，n）

class Solution {private double f(double x,long n){if(n0)return 1.0;else {double tempf(x,n/2);return n%21?temp*temp*x:temp*temp;}}public double myPow(double x, int n) {long Nn;return n>0?f(x,N):1.0/f(x,-N);} }...

编程日记 2025/7/25 23:32:11

ECA 注意力机制：让你的卷积神经网络更上一层楼

ECA 注意力机制：让你的卷积神经网络更上一层楼在深度学习领域，注意力机制已经成为提升模型性能的重要手段。从自注意力（Self-Attention）到各种变体，研究人员不断探索更高效、更有效的注意方法。今天我们要介绍一种轻…...

编程日记 2025/7/25 22:32:45

《谷歌Gemini 1.5：长语境理解重塑文档分析与检索新格局》

在人工智能的快速发展进程中，大语言模型不断突破边界，为各个领域带来变革性影响。谷歌Gemini 1.5的问世，凭借其卓越的长语境理解能力，在文档分析和检索任务方面掀起了一阵技术革新的浪潮。以往的大语言模型在处理长文本时&#…...

编程日记 2025/7/26 5:13:14

量变与质变的辩证关系

量变和质变是唯物辩证法中揭示事物发展状态和形式的一对重要范畴，二者之间存在着密切的辩证关系。一、量变是质变的必要准备含义量变是指事物数量的增减和场所的变更，是一种渐进的、不显著的变化。例如，水的温度升高，从0℃逐…...

编程日记 2025/7/26 5:13:12

讯联桌面TV版apk下载-讯联桌面安卓电视版免费下载安装教程

在智能电视的使用过程中，一款好用的桌面应用能极大提升我们的使用体验。讯联桌面 TV 版就是这样一款备受关注的应用，它可以让安卓电视拥有更个性化、便捷的操作界面。今天，就为大家详细介绍讯联桌面 TV 版 apk 的免费下载安装教程。一、下载…...

编程日记 2025/7/26 5:13:10

【Vue】组件基础

目录 🚀 Vue 非单文件组件和单文件组件的区别与实践对比 ✨ 引言一、非单文件组件 1. 基本使用 2. 注意： 3. 组件的嵌套 4. 关于VueComponent： 5. 一个重要的内置关系（有点难理解） 二、单文件组件那就…...

编程日记 2025/7/26 5:13:08

OpenCV---图像预处理（四）

OpenCV—图像预处理（四） 文章目录 OpenCV---图像预处理（四）九，图像掩膜9.1 制作掩膜9.2 与运算9.3 颜色替换9.3.19.3.2 颜色替换十，ROI切割十一，图像添加水印11.1模板输入11.2 与运算11.3 图像…...

编程日记 2025/7/26 5:13:00

《MySQL：MySQL表的基本查询操作CRUD》

CRUD：Create（创建）、Retrieve（读取）、Update（更新）、Delete（删除）。 Create into 可以省略。插入否则更新由于主键或唯一键冲突而导致插入失败。可以选择性的进行同步…...

编程日记 2025/7/26 7:28:30

Psychology 101 期末测验（附答案）

欢呼啦啦啦~啦啦啦~♪(^∇^*) 终于考过啦~ 开心(*^▽^*) 撒花✿✿ヽ(▽)ノ✿ |必须晒下证书：判卷记录下判卷，还是错了几道，填空题2道压根填不上。惭愧~ 答案我隐藏了，实在想不出答案的朋友可以留言，不定时回复。建议还是认认真真的学习~认认真真的考试~，知识就…...

编程日记 2025/7/26 7:28:28

Linux:权限相关问题

文章目录 shell命令以及运行的原理Linux权限 shell命令以及运行的原理操作系统分为内核和外壳程序，xshell是外壳程序，外壳程序包括我们windows桌面上的图形化界面，本质都是翻译给核心处理，再显示出来，而我们输入的命令…...

编程日记 2025/7/26 7:28:26

大模型应用开发大纲

AI大模型学习路径脑图结构一、AI及LLM基础学习目标：建立对AI和LLM的基础理解，了解主要的机器学习和神经网络模型，掌握API调用方法。 1.1 AI领域基础概念 AI, NL/NLU/NLG机器学习: 学习方法, 拟合评估神经网络: CNN, RNN, TransformerTra…...

编程日记 2025/7/26 7:28:25

【NCCL】transport建立（一）

transport建立 NCCL transport建立主要在ncclTransportP2pSetup函数中实现。概况先简单概括一下ncclTransportP2pSetup函数做了哪些事，方便理解代码流程。 recvpeer 表示本卡作为接收端的对端，sendpeer 表示本卡作为发送端的对端。假设8个rank全连接…...

编程日记 2025/7/26 14:45:46

智慧能源安全新纪元：当能源监测遇上视频联网的无限可能

引言：在数字化浪潮席卷全球的今天，能源安全已成为国家安全战略的重要组成部分。如何构建更加智能、高效的能源安全保障体系？能源安全监测平台与视频监控联网平台的深度融合，正为我们开启一扇通向未来能源管理新世界的大门。这种创…...

编程日记 2025/7/26 7:28:22

腾讯一面-软件开发实习-PC客户端开发方向

1.自我介绍就不多赘述了 2. 请介绍一下你的项目经历 - 介绍了专辑鉴赏项目，前端使用html语言编写，后端基于http协议使用C语言进行网页开发。此外，还提及项目中涉及处理多线程问题以及做过内存池管理项目。 3. 项目中HTTP协议是使用库实现的…...

编程日记 2025/7/26 7:28:20

Cad c# 射线法判断点在多边形内外

1、向量叉乘法 2、射线法原理射线法是判断点与多边形位置关系的经典算法，核心思想是： 从目标点发出一条水平向右的射线（数学上可视为 y p_y, x \geq p_x 的射线），统计该射线与多边形边的交点数量： - 偶…...

编程日记 2025/7/26 7:28:19

【第16届蓝桥杯软件赛】CB组第一次省赛

个人主页：Guiat 归属专栏：算法竞赛文章目录 A. 移动距离（5分填空题）B. 客流量上限（5分填空题）C. 可分解的正整数D. 产值调整E. 画展布置F. 水质检测G. 生产车间H. 装修报价正文总共10道题。 A. 移动距离…...

编程日记 2025/7/26 7:22:44

DePIN驱动的分布式AI资源网络

GAEA通过通证经济模型激励全球用户共享闲置带宽、算力、存储资源，构建覆盖150多个国家/地区的分布式AI基础设施网络。相比传统云服务，GAEA具有显著优势： 成本降低70%：通过利用边缘设备资源，避免了集中式数据中心所需…...

编程日记 2025/7/25 19:24:12

CC注入Tomcat Upgrade/Executor/WebSocket内存马

学习一下Tomcat中和组件内存马不一样的马。除了学习注入原理外，其payload还在一些缩短payload的场景有应用，比如shiro CC注入Tomcat Upgrade/Executor/WebSocket内存马漏洞所用环境及测试全部代码https://github.com/godownio/TomcatMemshell 漏洞路…...

编程日记 2025/7/26 6:47:41

算法工程师面试题与参考答案资料(2025年版）

一、核心技术能力 1. 编程能力与工具问题 1（选择题）: 下列哪种Python数据类型是通过哈希表实现的？ A. 列表 (list)...

编程日记 2025/7/26 10:47:00

烂土豆Juicypotato提权原理和利用

烂土豆Juicypotato提权原理和利用 0x00 Potato（烂土豆）提权的原理： 所谓的烂土豆提权就是俗称的MS16-075 可以将Windows工作站上的特权从最低级别提升到“ NT AUTHORITY \ SYSTEM” – Windows计算机上可用的最高特权级别。一、简单的原…...

编程日记 2025/7/26 6:47:39

基于LangChain4J的AI Services实践：用声明式接口重构LLM应用开发

基于LangChain4J的AI Services实践：用声明式接口重构LLM应用开发前言：当Java开发遇上LLM编程困境在LLM应用开发领域，Java开发者常面临两大痛点：一是需要手动编排Prompt工程、记忆管理和结果解析等底层组件，二是复杂…...

编程日记 2025/7/26 6:47:37

重构便携钢琴专业边界丨特伦斯便携钢琴V30Pro定义新一代便携电钢琴

在便携电钢琴领域，特伦斯推出的V30Pro折叠钢琴以"技术革新场景适配"的双重升级引发关注。这款产品不仅延续了品牌标志性的折叠结构，更通过声学系统重构与智能交互优化，重新定义了便携乐器的专业边界。 ▶ 核心特点：技术…...

编程日记 2025/7/26 6:47:35

【uniapp-兼容性处理】安卓uView组件中u-input后置插槽不展示

【日期】2025-04-21 【问题】在小程序上u-input后置插槽展示，真机运行安卓机上不展示【原因】： 原代码：（插槽写法惯性使用#，此处在APP上不兼容该写法） <u-input v-model"currentScore"…...

编程日记 2025/7/26 6:47:34

每天学一个 Linux 命令（30）：cut

可访问网站查看，视觉品味拉满： http://www.616vip.cn/28/index.html cut 命令用于从文件或输入流中提取文本的特定部分（如列、字符或字节位置）。它常用于处理结构化数据（如 CSV、TSV）或按固定格式分割的文本。以下是详细说明和示例：命令格式 cut [选项] [文件...]…...

编程日记 2025/7/26 6:47:32

部署本地Dify

本文我们来演示一下Dify的部署安装。一、安装docker环境 Dify只是一个dashboard，所以这里的话咱们一般不用使用物理部署了，直接使用docker启动一个即可，所以一定要先确保服务器上有docker环境和docker-compose环境。 docker的安装可参考&…...

编程日记 2025/7/26 6:47:30

大数据组件学习之--Kafka 安装搭建

一、前置环境在搭建kafka之前，请确认自己的hadoop、zookeeper是否搭建完成且可正常运行二、下载并上传安装包（链接为百度网盘） kafka安装包 tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/ 进入解压后的目录更改文件名…...

编程日记 2025/7/26 6:47:29

RK3588芯片NPU的使用：PPOCRv4例子在安卓系统部署

本文的目标将PPOCRv4 C语言例子适配安卓端，提供选择图片后进行OCR识别功能。PPOCRv4 C语言例子请参考之前的博文《RK3588芯片NPU的使用：Windows11 Docker中运行PPOCRv4例子》。开发环境说明主机系统：Windows 11目标设备：搭载RK3588芯片的安卓开发板核心工具：Android …...

编程日记 2025/7/26 6:47:27

算法 | 鲸鱼优化算法（WOA）与强化学习的结合研究

===================================================== github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 ===================================================== 鲸鱼优化算法与强化学习一、结合机制与关键方向1、 ‌参数动态调整2、…...

编程日记 2025/7/26 6:47:25

Spring AI 框架-快速搭建以及会话日志（笔记）

概述： Spring AI是Spring生态中应用于人工智能领域的应用框架，它的目标是将Spring 生态系统的设计原则（如可移植性、模块化设计）应用于AI领域，Spring AI更新迭代非常快,对Spring生态非常友好，可以大大简化…...

编程日记 2025/7/26 6:47:23

一段式端到端自动驾驶：VAD：Vectorized Scene Representation for Efficient Autonomous Driving

论文地址：https://github.com/hustvl/VAD 代码地址：https://arxiv.org/pdf/2303.12077 1. 摘要自动驾驶需要对周围环境进行全面理解，以实现可靠的轨迹规划。以往的方法依赖于密集的栅格化场景表示（如：占据图、语义…...

编程日记 2025/7/26 6:47:22

CMake execute_process用法详解

execute_process 是 CMake 中的一个命令，用于在 CMake 配置阶段（即运行 cmake 命令时）执行外部进程。它与 add_custom_command 或 add_custom_target 不同，后者是在构建阶段（如 make 或 ninja）执行命令。ex…...

编程日记 2025/7/26 6:47:20

使用Postman调测“获取IAM用户Token”接口实际操作

概述 Postman是网页调试与辅助接口调用的工具，具有界面简洁清晰、操作方便快捷的特性，可以处理用户发送的HTTP请求，例如：GET，PUT、POST，DELETE等，支持用户修改HTTP请求中的参数并返回响应数据。…...

编程日记 2025/7/26 6:47:19

大模型面经 | 春招、秋招算法面试常考八股文附答案（三）

大家好，我是皮先生！！今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。往期回顾：大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一）大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二）大模型面经 | 春招、秋招算法…...

编程日记 2025/7/26 6:47:17

高效Java面试题（附答案）

Java全家桶 Java基础 1. Java为什么被称为平台无关性语言？ 2. 解释下什么是面向对象？面向对象和面向过程的区别 3. 面向对象的三大特性？分别解释下？ 4. Java 中的参数传递时传值呢？还是传引用？ 5. JD…...

编程日记 2025/7/26 10:46:57

Unreal如何使用后处理材质实现一个黑屏渐变效果

文章目录前言相机后期处理材质创建材质相机设置动态修改FadeAlpha参数使用示例最后前言 UE5 开发VR ，如何通过PostProcess轻松实现黑屏渐变效果最简单的办法，其实是使用一个半球形模型，遮挡住相机，然后控制这个半球形遮罩的颜色透明度，至少Unity中默认的Tunneling是这么…...

编程日记 2025/7/26 20:16:06