当前位置：首页 > news >正文

BN测试和训练时有什么不同, 在测试时怎么使用?

news 来源：原创 2025/8/28 16:29:32

我们来彻底搞懂 Batch Normalization（BN） 在训练和测试阶段的区别，以及 测试时怎么用。

🧠 一句话总结：

训练时：使用 当前 mini-batch 的均值和方差

测试时：使用 整个训练集估计的“滑动平均均值和方差”

🧪 训练阶段的 BN（model.train()）：

1. 对每个 mini-batch：

• 计算该 batch 的均值 μ 和方差 σ²

• 进行标准化：

$\hat{x} = \frac{x - \mu_{\text{batch}}}{\sqrt{\sigma^2_{\text{batch}} + \epsilon}}$

• 然后进行缩放和平移：

$y = \gamma \hat{x} + \beta$

2. 同时更新全局滑动均值和滑动方差（moving mean/var）用于测试。

✅ 测试阶段的 BN（model.eval()）：

1. 不再用当前 batch 的统计量（因为测试数据可能 batch 很小，甚至 batch=1，统计不稳定）

2. 使用训练时保存下来的滑动均值和方差来做归一化：

$\hat{x} = \frac{x - \mu_{\text{moving}}}{\sqrt{\sigma^2_{\text{moving}} + \epsilon}}$

🔁 在 PyTorch 中怎么做？

训练时：

model.train()  # 启用 dropout、BN 用 batch 统计

测试/验证时：

model.eval()   # 关闭 dropout，BN 用全局 moving 均值/方差

你想实际测试一个 BN 层，可以这样

import torch
import torch.nn as nnbn = nn.BatchNorm2d(3)x = torch.randn(4, 3, 8, 8)# 训练时
bn.train()
out_train = bn(x)# 测试时
bn.eval()
out_test = bn(x)

📌 小结表格

模式	统计方式	是否更新均值/方差	适用场景
train()	当前 mini-batch	✅ 是	训练
eval()	滑动平均值	❌ 否	推理、验证

全局滑动均值和滑动方差是什么

全局滑动均值（moving mean）和滑动方差（moving variance）是 Batch Normalization（BN） 在训练过程中用于统计数据分布的全局估计值。它们通过 指数加权移动平均 的方式进行更新，并在 测试阶段 使用。具体而言，它们用于避免测试时每次计算时都依赖小批量数据（mini-batch）的统计信息。

🧠 具体解释：

1. 滑动均值（Moving Mean）：

• 训练时，BN层 会不断计算当前 batch 的均值（mean）和方差（variance）。

• 但是，为了让测试时能够使用更稳定的均值和方差，BN会 维护一个滑动均值。

• 这个均值是通过以下公式更新的：

$\mu_{\text{moving}}^{t} = \alpha \cdot \mu_{\text{batch}}^t + (1 - \alpha) \cdot \mu_{\text{moving}}^{t-1}$

其中，α 是一个常数（通常接近1，比如 0.9 或 0.99），用于控制历史统计对当前的影响。

2. 滑动方差（Moving Variance）：

• 类似于滑动均值，BN层也会维护一个 滑动方差，它是通过以下公式更新的：

• 这里的σ² 是当前 batch 的方差。

3. 为什么要使用滑动均值和滑动方差？

• 稳定性：在测试时，数据通常是一次性输入模型，batch size 可能为 1 或者非常小，这会导致当前 batch 的统计量（均值和方差）非常不稳定。如果每次测试时都重新计算均值和方差，可能会导致不稳定的推理结果。

• 全局统计：滑动均值和方差通过结合历史数据的统计量，提供了一个更为稳定的全局估计，这有助于在整个训练过程中产生更一致的推理结果。

🚀 总结：

• 训练阶段：每个 mini-batch 计算新的均值和方差，并且更新滑动均值和滑动方差。

• 测试阶段：使用训练中计算得到的滑动均值和滑动方差，而不再使用当前 batch 的均值和方差。

小结表格：

阶段	使用的均值/方差	更新均值/方差
训练	当前 batch 的均值和方差	✅ 更新滑动均值/方差
测试	滑动均值和滑动方差	❌ 不更新

BN测试和训练时有什么不同, 在测试时怎么使用?

我们来彻底搞懂 Batch Normalization（BN） 在训练和测试阶段的区别，以及测试时怎么用。 🧠 一句话总结： 训练时：使用当前 mini-batch 的均值和方差测试时：使用整个训练集估计的“滑动平均均值…...

编程日记 2025/8/28 16:29:32

为什么卷积神经网络适用于图像和视频？

我们常听说“卷积神经网络（CNN）擅长图像和视频”，但其实 CNN 的核心本质远不止图像领域。我们先搞懂它为啥适合图像/视频。 🧠CNN 为什么适用于图像和视频？ 主要因为图像/视频具有空间局部性和结构平移性&#xff0c…...

编程日记 2025/8/28 16:28:07

python爬虫：DrissionPage实战教程

如果本文章看不懂可以看看上一篇文章，加强自己的基础：爬虫自动化工具：DrissionPage-CSDN博客案例解析： 前提：我们以ChromiumPage为主，写代码工具使用Pycharm（python环境3.9-3.10） …...

编程日记 2025/8/28 16:29:29

【Python爬虫高级技巧】BeautifulSoup高级教程：数据抓取、性能调优、反爬策略，全方位提升爬虫技能！

大家好，我是唐叔！上期我们聊了 BeautifulSoup的基础用法 ，今天带来进阶篇。我将分享爬虫老司机总结的BeautifulSoup高阶技巧，以及那些官方文档里不会告诉你的实战经验！ 文章目录一、BeautifulSoup性能优化技巧1. 解析…...

编程日记 2025/8/25 0:33:38

【动手学深度学习】卷积神经网络（CNN）入门

【动手学深度学习】卷积神经网络（CNN）入门 1，卷积神经网络简介2，卷积层2.1，互相关运算原理2.2，互相关运算实现2.3，实现卷积层 3，卷积层的简单应用：边缘检测3.1&#xff0…...

编程日记 2025/8/23 4:49:58

IPSG 功能协议

IPSG（IP Source Guard）即 IP 源保护，是一种基于 IP 地址和 MAC 地址绑定的安全功能，用于防止 IP 地址欺骗和非法的 IP 地址访问。以下是配置 IPSG 功能的一般步骤： 基于端口的 IPSG 配置进入接口配置模式&#xff1…...

编程日记 2025/8/28 16:28:08

19.go日志包log

核心功能与接口基础日志输出 Print 系列：支持 Print()、Println()、Printf()，输出日志不中断程序。 log.Print("常规日志") // 输出: 2025/03/18 14:47:13 常规日志 log.Printf("格式化: %s", "数据") Fatal…...

编程日记 2025/8/27 1:06:22

横扫SQL面试——TopN问题

横扫SQL面试电商平台的"销量Top10商品"🛍️，内容社区的"热度Top5文章“”🔥，还是金融领域的"交易额Top3客户"💰——TopN问题无处不在！ 无论是日常业务分析📊&#x…...

编程日记 2025/8/27 17:13:39

高级：微服务架构面试题全攻略

一、引言在现代软件开发中，微服务架构被广泛应用于构建复杂、可扩展的应用程序。面试官通过相关问题，考察候选人对微服务架构的理解、拆分原则的掌握、服务治理的能力以及API网关的运用等。本文将深入剖析微服务架构相关的面试题，结合实际开…...

编程日记 2025/8/24 1:16:02

使用MATIO库读取Matlab数据文件中的cell结构数据

使用MATIO库读取Matlab数据文件中的cell结构数据 MATIO是一个用于读写Matlab数据文件(.mat)的C/C库。下面我将展示如何使用MATIO库来读取Matlab文件中的cell结构数据。示例程序 #include <stdio.h> #include <stdlib.h> #include <matio.h>int main(int …...

编程日记 2025/8/25 1:20:04

pyTorch框架使用CNN进行手写数字识别

目录 1.导包 2.torchvision数据处理的方法 3.下载加载手写数字的训练数据集 4.下载加载手写数字的测试数据集 5. 将训练数据与测试数据转换成dataloader 6.转成迭代器取数据 7.创建模型 8. 把model拷到GPU上面去 9. 定义损失函数 10. 定义优化器 11. 定义训练…...

编程日记 2025/8/28 13:17:54

新能源汽车电子电气架构设计中的功能安全

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/8/28 16:28:21

使用binance-connector库获取Binance全市场的币种价格，然后选择一个币种进行下单

一个完整的示例，展示如何使用 api 获取Binance全市场的币种价格，然后选择一个最便宜的币种进行下单操作代码经过修改，亲测可用，目前只可用于现货，合约的待开发获取市场价格：使用client.ticker_price()获取所有交易对的当前价格账户检查：获取账户余额，确保有足够的资…...

编程日记 2025/8/24 8:34:23

HikariCP 源码核心设计解析与 ZKmall开源商城场景调优实践

HikariCP 作为 Spring Boot 默认数据库连接池，其高性能源于独特的无锁设计、轻量级数据结构和精细化生命周期管理。以下从源码解析与 ZKmall开源商城性能调优两个维度展开： 一、HikariCP 源码核心设计解析无锁并发控制与 ConcurrentBag 容器 Concur…...

编程日记 2025/8/22 10:08:33

P1036 [NOIP 2002 普及组] 选数（DFS）

题目描述已知 n 个整数 x1,x2,⋯,xn，以及 1 个整数 k（k<n）。从 n 个整数中任选 k 个整数相加，可分别得到一系列的和。例如当 n4，k3，4 个整数分别为 3,7,12,19 时，可得全部的组合与它…...

编程日记 2025/8/23 16:43:11

自然语言处理

自然语言处理基础什么是自然语言处理：让计算机来理解人类所说的一种语言。自然语言处理实际就是让计算机理解人类说的话，然后像人一样进行交互，去进行对话，去生成自然语言。自然语言处理的基本任务词性标注：把给…...

编程日记 2025/8/23 9:53:41

LeetCode刷题常见的Java排序

1. 字符串排序（字母排序）首先，你的代码实现了根据字母表顺序对字符串中的字母进行排序，忽略了大小写并且保留了非字母字符的位置。关键点是：提取和排序字母：通过 Character.isLetter() 判断是否为字母，并利用 Character.toLowerCase() 来忽略大小写进行排序。保留非字…...

编程日记 2025/8/24 11:41:27

# 利用OpenCV和Dlib实现疲劳检测：守护安全与专注

利用OpenCV和Dlib实现疲劳检测：守护安全与专注在当今快节奏的生活中，疲劳和注意力不集中是许多人面临的常见问题，尤其是在驾驶、学习等需要高度集中精力的场景中。疲劳不仅影响个人的健康和安全，还可能导致严重的事故。为了应对…...

编程日记 2025/8/24 8:28:29

python基础-16-处理csv文件和json数据

文章目录【README】【16】处理csv文件和json数据【16.1】csv模块【16.1.1】reader对象【16.1.2】在for循环中， 从reader对象读取数据【16.1.3】writer对象【16.1.5】DictReader与DictWriter对象【16.4】json模块【16.4.1】使用loads()函数读取json字符串并转为jso…...

编程日记 2025/8/28 4:00:23

Mysql 数据库编程技术01

一、数据库基础 1.1 认识数据库为什么学习数据库瞬时数据：比如内存中的数据，是不能永久保存的。持久化数据：比如持久化至数据库中或者文档中，能够长久保存。数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长…...

编程日记 2025/8/27 16:39:05

基于SSM的车辆管理系统的设计与实现(代码+数据库+LW)

摘要当下，正处于信息化的时代，许多行业顺应时代的变化，结合使用计算机技术向数字化、信息化建设迈进。以前企业对于车辆信息的管理和控制，采用人工登记的方式保存相关数据，这种以人力为主的管理模式已然落后。本人结…...

编程日记 2025/8/27 13:30:29

BugKu Simple_SSTI_2

这个题很简单，主要是记录一下，做题的原理： 打开环境，提示我们用flag传参，然后我们需要判断是什么模板： 这里有一张图片，可以帮助我们轻松判断是什么模板类型：这个图片找不到出处了&…...

编程日记 2025/8/24 5:50:54

浙考！【触发器逻辑方程推导（电位运算）】

RS触发器是浙江高考通用技术一大考点。“对角线原则”、“置1置0”、“保持”、“不使用”、“记忆功能”…经常让考生云里雾里，非常反直觉。这篇文章，我想以高中生的视角诠释一下触发器。 1、触发器逻辑方程推导（以或非门触发器为例&…...

编程日记 2025/8/20 5:34:26

一、前序遍历 144. Binary Tree Preorder Traversal 递归代码实现： /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* …...

编程日记 2025/8/19 17:53:37

es中节点类型有哪些

Elasticsearch 节点类型有哪些在 Elasticsearch 中，节点类型（或角色）定义了每个节点在集群中的职责。不同版本的 Elasticsearch 对节点角色的定义和管理方式有所不同，尤其在 7.9.0 版本引入 node.roles 后，配置方式更…...

编程日记 2025/8/26 18:16:22

【学习笔记】深度学习环境部署相关

文章目录 [AI硬件科普] 内存/显存带宽，从 NVIDIA 到苹果 M4[工具使用] tmux 会话管理及会话持久性[A100 02] GPU 服务器压力测试，gpu burn，cpu burn，cuda samples[A100 01] A100 服务器开箱，超微平台，gpu、…...

编程日记 2025/8/28 1:13:00

游戏引擎学习第206天

回顾并为当天的工作定下目标接着回顾了前一天的进展。之前我们做了一些调试功能，并且已经完成了一些基础的工作，但是还有一些功能需要继续完善。其中一个目标是能够展示实体数据，以便在开发游戏逻辑系统时，可以清晰地查看和检查…...

编程日记 2025/8/24 16:38:01

Rust所有权详解

文章目录 Rust所有权所有权规则作用域内存和分配移动与克隆栈空间堆空间关于函数的所有权机制作为参数作为返回值引用与租借垂悬引用 Rust所有权 C/C中我们对于堆内存通常需要自己手动管理，手动申请和释放，即便有了智能指针，对于效率的影…...

编程日记 2025/8/28 13:27:23

贪心算法的使用条件

1. 算法原理贪心算法是一种在每一步选择中都采取当前状态下最优（局部最优）的策略，从而希望最终得到全局最优解的算法。其核心思想是：“目光短浅” 地选择当前最优解，不回溯、不瞻前顾后。示例：活动选择问…...

编程日记 2025/8/28 1:38:26

网络性能优化参数关系解读 | TCP Nagle / TCP_NODELAY / TCP_QUICKACK / TCP_CORK

注：本文为 “网路性能优化” 相关文章合辑。未整理去重。如有内容异常，请看原文。 TCP_NODELAY 详解 lenky0401 发表于 2012-08-25 16:40 在网络拥塞控制领域，Nagle 算法（Nagle algorithm）是一个非常著名的算法&…...

编程日记 2025/8/20 2:27:39

《打破SQL与AI框架对接壁垒，解锁融合新路径》

在当今科技飞速发展的浪潮中，SQL作为管理和处理关系型数据的经典语言，与代表前沿技术的人工智能框架之间的融合，正逐渐成为推动数据驱动型应用发展的重要力量。这种融合所带来的接口实现，不仅是技术上的突破，更是为众多…...

编程日记 2025/8/20 2:09:03

虚拟Ashx页面,在WEB.CONFIG中不添加handlers如何运行

https://localhost:44311/webapi.ashx 虚拟ASHX页面,在WEB.CONFIG中添加handlers，如何不添加节点，直接运行?把页面直接保存ASHX名称？现在是.VB 如果你不想通过在 web.config 里添加 handlers 节点来配置处理程序，而是直接让 .as…...

编程日记 2025/8/24 13:02:42

【ssrf漏洞waf绕过】

SSRF绕过方法 SSRF对于防御方式(waf)绕过方法 SSRF攻击内网的redis 题目一基于java 的一个 WEBLOGIC 框架首先我们要知道它内网有什么服务，我们正常给8888端口发送请求是能接受到的，那么我们把8888端口给关闭了，再次请求发现后有一个错误…...

编程日记 2025/8/22 10:03:05

BEVFormer v2(CVPR2023)

文章目录 AbstractIntroductionRelated WorksBEV 3D Object DetectorAuxiliary Loss in Camera 3D Object DetectionTwo-stage 3D Object Detector BEVFormer v2Overall ArchitecturePerspective SupervisionPerspective LossRavamped Temporal EncoderTwo-stage BEV DetectorD…...

编程日记 2025/8/25 7:36:42

相关文章：