当前位置：首页 > news >正文

BN 层做预测的时候, 方差均值怎么算

news 来源：原创 2025/8/22 21:11:22

✅ 一、Batch Normalization（BN）回顾

BN 层在训练和推理阶段的行为是不一样的，核心区别就在于：

训练时用 mini-batch 里的均值方差，预测时用全局的“滑动平均”均值方差。

🧪 二、训练阶段（Training mode）

• 每个小批量（batch）都会计算：

$\mu_{\text{batch}} = \frac{1}{m} \sum_{i=1}^{m} x_i$

$\sigma^2_{\text{batch}} = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_{\text{batch}})^2$

$\hat{x}_i = \frac{x_i - \mu_{\text{batch}}}{\sqrt{\sigma^2_{\text{batch}} + \epsilon}}$

为了后面预测用得上，训练时还会维护全局“滑动平均”：
$\mu_{\text{running}} = \rho \cdot \mu_{\text{running}} + (1 - \rho) \cdot \mu_{\text{batch}} \sigma^2_{\text{running}} = \rho \cdot \sigma^2_{\text{running}} + (1 - \rho) \cdot \sigma^2_{\text{batch}}$

其中 $\rho$ 是动量参数（momentum），通常为 0.9 或 0.99。

🧠 三、推理阶段（Evaluation / Inference）

推理阶段不会再计算当前 batch 的均值和方差。

而是使用训练时积累的滑动平均：

$\hat{x}i = \frac{x_i - \mu{\text{running}}}{\sqrt{\sigma^2_{\text{running}} + \epsilon}}$

这样能保证预测过程中结果稳定、不依赖 batch 大小或数据分布波动。

🧰 四、在 PyTorch / TensorFlow 中自动切换

PyTorch：

model.train()   # 启用训练模式，BN 用 batch 均值方差
model.eval()    # 启用评估模式，BN 用滑动均值方差

TensorFlow (Keras)：

model.fit(...)       # 自动使用训练模式
model.evaluate(...)  # 自动使用推理模式

📌 总结一句话：

BN 层预测时的均值和方差，来自 训练期间累计的滑动平均值，而不是实时计算。

五、补充知识：Keras 是什么

🧠 一句话定义：

Keras 是一个高级神经网络 API，用来快速搭建、训练和部署深度学习模型，底层运行在 TensorFlow 上。

📦 二、Keras 的定位

特性	说明
高级封装	用几行代码就能搭建复杂模型，适合快速开发
基于 TensorFlow	现在是 TensorFlow 的官方高层 API（tf.keras）
易学易用	类似积木式的拼接方式，语法简洁，初学者友好
灵活性强	同时支持顺序模型（Sequential）和函数式模型（Functional API）
支持多种任务	图像分类、NLP、生成模型、时间序列、强化学习等
支持多平台部署	可以导出为 SavedModel，支持 TensorFlow Serving、TFLite、ONNX、Web 等

⚙️ 三、简单例子（Keras 搭建一个 MLP 分类器）

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Densemodel = Sequential([Dense(64, activation='relu', input_shape=(100,)),Dense(10, activation='softmax')
])model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['accuracy'])# 假设 x_train.shape = (1000, 100)，y_train 是 one-hot 标签
model.fit(x_train, y_train, epochs=10, batch_size=32)

🏗 四、Keras 模型的两种构建方式

1. Sequential（顺序模型）

• 一层接一层，简单好用

model = Sequential([...])

2. Functional API（函数式模型）

• 灵活连接，适合多输入/多输出、残差连接等复杂结构

from tensorflow.keras import Model, Input
x = Input(shape=(100,))
h = Dense(64, activation='relu')(x)
y = Dense(10, activation='softmax')(h)
model = Model(inputs=x, outputs=y)

🔥 五、Keras 常见模块

模块	作用
tf.keras.models	创建模型（Sequential、Model）
tf.keras.layers	各种神经网络层（Dense、Conv2D、LSTM 等）
tf.keras.optimizers	优化器（SGD、Adam、RMSprop 等）
tf.keras.losses	损失函数（MSE、CrossEntropy 等）
tf.keras.metrics	评价指标（Accuracy、Precision 等）
tf.keras.callbacks	回调函数（EarlyStopping、ModelCheckpoint 等）

📌 总结一句话：

Keras = 深度学习“乐高”，用来快速搭建模型，适合初学者，也支持复杂自定义模型，是 TensorFlow 的核心部分。

BN 层做预测的时候, 方差均值怎么算

✅ 一、Batch Normalization（BN）回顾 BN 层在训练和推理阶段的行为是不一样的，核心区别就在于： 训练时用 mini-batch 里的均值方差，预测时用全局的“滑动平均”均值方差。 🧪 二、训练阶段（Trai…...

编程日记 2025/8/22 21:11:22

【AI热点】meta新发布llama4深度洞察（快速认知）

以下是一份针对新发布的 Llama 4 模型的深度洞察报告。报告将从模型家族整体概览、技术创新与架构特点、功能与性能表现、多模态与超长上下文、与主流竞品比较、应用场景与未来展望六大部分进行分析和总结。一、Llama 4 家族整体概览家族成员 Llama 4 Scout 总参数量约 10…...

编程日记 2025/8/22 21:09:30

大厂机考——各算法与数据结构详解

目录及其索引哈希双指针滑动窗口子串普通数组矩阵链表二叉树图论回溯二分查找栈堆贪心算法动态规划多维动态规划学科领域与联系总结哈希学科领域：计算机科学、密码学、数据结构定义：通过哈希函数将任意长度的输入映射为固定长度…...

编程日记 2025/8/22 14:04:41

前端面试的ACM模式笔试输入模式

在前端面试的ACM模式笔试中，输入参数的读取是核心技能之一，以下是常见场景的代码实现及注意事项： 一、JavaScript的两种输入模式 1. V8模式（浏览器环境/部分OJ平台） • 核心方法：通过 read_line() 或 rea…...

编程日记 2025/8/22 21:05:12

AIP-215 API特定proto

编号215原文链接AIP-215: API-specific protos状态批准创建日期2018-10-01更新日期2018-10-01 API通常使用API特定proto定义，偶尔依赖通用组件。保持API相互隔离可以避免版本问题和客户端库打包问题。指南所有特定于某个API的protos 必须位于带有主版本号的包…...

编程日记 2025/8/22 21:03:29

计算机毕业设计指南

哈喽各位大四的小伙伴们，以下是一份详细的计算机专业毕业设计指南，涵盖选题、流程、技术选型、开发建议和常见问题解决方案，帮助你高效完成毕业设计，如有其他问题，欢迎点击文章末尾名片进行咨询，可免费赠送…...

编程日记 2025/8/22 21:09:28

内网渗透-Linux提权之suid提权

Linux提权之suid提权 suid简介在Linux系统中的文件，通常有rwx也就是读、写、执行三种权限，但其实还有第四种权限，也就是suid权限。在执行拥有suid权限的文件的过程中，会获得文件属主的权限。例如，当cat命令具有suid…...

编程日记 2025/8/22 19:07:51

FreeCAD傻瓜教程-钣金工作台SheetMetal的安装和简单使用

起因： 因为需要在平面上固定一段比较短的铝型材，角码太占用横向空间，所以想做两个Z字固定片，将型材从两端进行螺丝固定。在绘图的时候想到，板材折弯后的长度。开孔位置等都会有所变化，如何确定相关的尺寸&a…...

编程日记 2025/8/22 20:58:52

语法: ptr=malloc(size)

MALLOC( ) 语法: ptrmalloc(size) 参数: size是一个整数,表示被分配的字节个数; 返回值: 如果允许的话,返回值是一个指向被分配存储器的指针;否则的话, 返回值是一个非指针; 功能: 该函数用来分配一定大小的空间给一个对象,其大小为size,但该空间的值为不确定值; 有…...

编程日记 2025/8/17 22:20:14

（五）安卓开发中的滚动布局（ScrollView / HorizontalScrollView）使用详解

在安卓开发中，滚动布局是一种非常重要的布局方式，它允许用户在屏幕上滚动查看超出屏幕范围的内容。本文将详细讲解滚动布局的基本概念、主要属性、代码示例以及具体的使用场景，帮助开发者深入理解并灵活运用。基本概念滚动布局本质上是一个…...

编程日记 2025/8/22 21:05:59

Matlab:三维绘图

目录 1.三维曲线绘图命令：plot3 实例——绘制空间直线实例——绘制三角曲线 2.三维曲线绘图命令：explot3 3.三维网格命令：mesh 实例——绘制网格面实例——绘制山峰曲面实例——绘制函数曲线 1.三维曲线绘图命令：plot3 …...

编程日记 2025/8/22 7:08:45

Java中String、Array、List的相互转换工具类

Java中的数组与集合类的使用，系列文章：《Java数组》《Java集合类》《Java中String、Array、List的相互转换工具类》《Java8使用Stream流实现List列表的查询、统计、排序、分组》《Java实现List集合的排序：Comparable接口、Comparator接口、stream().sorted()方法的使用…...

编程日记 2025/8/22 21:05:14

【HFP】蓝牙HFP应用层核心技术研究

免提配置文件（Hands-Free Profile, HFP）作为实现设备间音频通信的关键协议，广泛应用于车载系统、蓝牙耳机等场景。本文将基于最新技术规范，深入剖析HFP应用层的功能要求、协议映射及编解码器支持，为蓝牙开发工程师提供详尽的技术指南。一、HFP应用层功能全景图 HFP定义…...

编程日记 2025/8/22 21:02:41

P1734 最大约数和(dp)

题目描述选取和不超过 S 的若干个不同的正整数，使得所有数的约数（不含它本身）之和最大。输入格式输入一个正整数 S。输出格式输出最大的约数之和。输入输出样例输入 #1复制 11 输出 #1复制 9 说明/提示【样例说明】取数…...

编程日记 2025/8/22 21:06:02

P1596 [USACO10OCT] Lake Counting S（DFS）

题意翻译由于近期的降雨，雨水汇集在农民约翰的田地不同的地方。我们用一个 NM(1≤N≤100,1≤M≤100) 的网格图表示。每个网格中有水（W） 或是旱地（.）。一个网格与其周围的八个网格相连，而一组相连的网格视…...

编程日记 2025/8/22 21:05:11

ROS Bag 数据裁剪教程

ROS Bag 数据裁剪教程文章目录 ROS Bag 数据裁剪教程1. Bag 数据显示2. Bag 数据裁剪2.1 基本命令2.2 过滤更多条件2.3 注意事项在使用 ROS 进行机器人开发和调试时，我们经常需要使用 rosbag 工具来记录和回放传感器数据、日志等信息。本文将介绍如何使用 rosba…...

编程日记 2025/8/22 21:07:00

AF3 OpenFoldDataLoader类解读

AlphaFold3 data_modules 模块的 OpenFoldDataLoader 类继承自 PyTorch 的 torch.utils.data.DataLoader。该类主要对原始 DataLoader 做了批数据增强与控制循环迭代次数（recycling）相关的处理。源代码： class OpenFoldDataLoader(torch.utils.data.DataLoader):def __in…...

编程日记 2025/8/20 20:18:42

基于内容的课程推荐网站的设计与实现00(SSM+htmlL)

基于内容的课程推荐网站的设计与实现(SSMhtml) 该系统是一个基于内容的课程推荐网站，旨在为用户提供个性化的课程推荐。系统包含多个模块，如教学视频、教学案例、课程信息、系统公告、个人中心和后台管理。用户可以通过首页访问不同的课程分类&#xff…...

编程日记 2025/8/22 20:58:57

【Linux网络】以太网（数据链路层）

认识以太网两台主机在同一个局域网下是可以进行通信的,因为每台主机都有自己的标识符. 太网是负责直接相连的两个设备之间的可靠数据传输,"以太网" 不是一种具体的网络, 而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容.在局域网中&#x…...

编程日记 2025/8/22 13:11:54

大模型学习五：‌DeepSeek Janus-Pro-7B 多模态半精度本地部署指南：环境是腾讯cloudstudio高性能GPU 16G免费算力

一、说明介绍由于前面玩过了，所以啥也别说，就是显存不够玩，要优化，没钱就是这么回事，看下图，显存实际只有15360M，确实是16G 如何获取算力二、如何获取算力 1、进入网址 Cloud Studio 2、没有…...

编程日记 2025/8/22 21:08:45

Spring 中的事务

🧾 一、什么是事务？ 🧠 通俗理解： 事务一组操作，要么全部成功，要么全部失败，不能只做一半。比如你转账： A 账户扣钱B 账户加钱如果 A 扣了钱但 B 没收到，那就出问…...

编程日记 2025/8/22 21:08:42

2025-04-06 NO.2 Quest3 基础配置与打包

文章目录 1 场景配置1.1 开启手势支持1.2 创建 OVRCameraRig1.3 创建可交互 Cube 2 打包配置环境： Windows 11Unity6000.0.42f1 Quest3 开发环境配置见 2025-03-17 NO.1 Quest3 开发环境配置教程_quest3 unity 开发流程-CSDN博客。 1 场景配置 1.1 开启手势支持 …...

编程日记 2025/8/22 7:13:12

人脸考勤管理一体化系统（人脸识别系统，签到打卡）

人脸考勤管理一体化系统项目介绍本项目是基于Flask、SQLAlchemy、face_recognition库的人脸考勤管理一体化系统。系统通过人脸识别技术实现员工考勤打卡、人脸信息采集、人脸模型训练等功能。项目采用前后端分离的技术框架，基于Flask轻量级Web框架搭建后端服务…...

编程日记 2025/8/21 22:45:37

LeetCode 每日一题 2025/3/31-2025/4/6

记录了初步解题思路以及本地实现代码；并不一定为最优也希望大家能一起探讨一起进步目录 3/31 2278. 字母在字符串中的百分比4/1 2140. 解决智力问题4/2 2873. 有序三元组中的最大值 I4/3 2874. 有序三元组中的最大值 II4/4 1123. 最深叶节点的最近公共祖先4/5 1…...

编程日记 2025/8/22 17:48:19

mybatis plus 实体类基于视图，更新单表的时候报视图或函数‘v_视图名‘不可更新，因为修改会影响多个基表的错误的简单处理方法。

1、之前的文章中写了一下基于视图的实体，因为当前测试通过了，可能有缓存。 2、然后今天又用到了这个方法，发现报错了： 建了一下视图，将实体类绑定到了视图中，并不是原表中。 3、用mybatis提供的注解或者x…...

编程日记 2025/8/22 21:06:01

语法: i8=make8( var, offset)；

MAKE8( ) 语法: i8make8( var, offset); 参数: var是16位或32位整数; offset是字节的偏移量,为1,2或3; 返回值: 返回值是一个8位整数; 功能: 该函数用来摘取以var为基址, offset为偏移量,所指向单元的字节;除了执行单字节复制之外,还相当于i8( ( var>>(offset…...

编程日记 2025/8/22 21:06:59

Seata TCC模式是怎么实现的？

Seata TCC 模式实现原理 TCC（Try-Confirm-Cancel）是 Seata 提供的分布式事务解决方案之一，适用于高并发、高性能场景，通过业务补偿保证最终一致性。其核心思想是将事务拆分为三个阶段： Try：预留资源（冻结数据，检查约束）。Confirm：确认提交（真正扣减资源）。Can…...

编程日记 2025/8/22 21:09:29

sentinel新手入门安装和限流,热点的使用

1 sentinel入门 1.1下载sentinel控制台 🔗sentinel管理后台官方下载地址下载完毕以后就会得到一个jar包 1.2启动sentinel 将jar包放到任意非中文目录，执行命令： java -jar 名字.jar如果要修改Sentinel的默认端口、账户、密码&#xff…...

编程日记 2025/8/22 20:58:55

对责任链模式的理解

对责任链模式的理解一、场景1、题目【[来源](https://kamacoder.com/problempage.php?pid1100)】1.1 题目描述1.2 输入描述1.3 输出描述1.4 输入示例1.5 输出示例二、不采用责任链模式1、代码2、缺点三、采用责任链模式1、代码2、优点四、思考一、场景 1、题目【来源】 …...

编程日记 2025/8/21 21:09:51

AGI大模型（11）：RAG系统

1 RAG概念 RAG（Retrieval Augmented Generation）顾名思义，通过检索外部数据，增强大模型的生成效果。 RAG即检索增强生成，为LLM提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG基本上是Search + LLM 提示，可以通过大模型回答查询，并将搜索算法所找到的信…...

编程日记 2025/8/22 21:03:28

请问你了解什么测试方法？

测试方法在软件测试中是保障软件质量的关键手段，我将从黑盒测试、白盒测试、灰盒测试等方面为你介绍常见的测试方法：黑盒测试方法黑盒测试把软件看作一个黑盒子，不考虑内部结构和实现细节，只关注输入和输出。等价类划分法：将输入数据划分为有效等价类和无效等价类，从…...

编程日记 2025/8/18 0:31:19

【springcloud】快速搭建一套分布式服务springcloudalibaba（三）

第三篇基于nacos搭建分布式项目分布式事务（分布式锁事务） 项目所需 maven nacos java8 idea git mysql(下单) redis(分布式锁) 本文主要讲解客户下单时扣减库存的操作，网关系统/用户系统/商品系统/订单系统请先准备好环境&#xff0…...

编程日记 2025/8/21 12:33:15

Nginx-keepalived-高可用

Nginx 高可用通常借助 Keepalived 实现， Keepalived 能通过 VRRP （虚拟路由冗余协议）让多个 Nginx 服务器组成一个热备集群，当主服务器故障时自动切换到备用服务器，保障服务不间断。一、环境准备角色IP 地址主…...

编程日记 2025/8/20 23:35:16

Linux系统管理（十九）——欧拉系统硬盘挂载、网络配置以及Docker环境安装

挂载硬盘如果数据盘在安装操作系统的时候没有挂载，需要自己做一下硬盘的挂载查看需要挂载硬盘的路径 fdisk -l这里的可挂载的硬盘路径为：/dev/sdb MBR分区方式转换成GPT MBR分区能挂载的硬盘空间有限，无法挂载全部硬盘空间&#xff0…...

编程日记 2025/8/17 22:22:41

vue记忆卡牌游戏

说明： 我希望用vue做一款记忆卡牌游戏游戏规则如下： 游戏设置：使用3x4的网格，包含3对字母（A,B,C,D,E,F）。随机洗牌：初始字母对被打乱顺序，生成随机布局。游戏流程&#xff1a…...

编程日记 2025/8/19 2:05:50

LearnOpenGL-笔记-其九

今天让我们完结高级OpenGL的部分： Instancing 很多时候，在场景中包含有大量实例的时候，光是调用GPU的绘制函数这个过程都会带来非常大的开销，因此我们需要想办法在每一次调用GPU的绘制函数时尽可能多地绘制，这个过程就…...

编程日记 2025/8/20 23:14:29

开源软件与自由软件：一场理念与实践的交锋

在科技的世界里，“开源软件”和“自由软件”这两个词几乎无人不知。很多人或许都听说过，它们的代码是公开的，可以供所有人查看、修改和使用。然而，若要细究它们之间的区别，恐怕不少朋友会觉得云里雾里。今天&#xff0…...

编程日记 2025/8/17 1:58:11

关于使用HAL_ADC_Start函数时为什么要放在while里的解释

HAL_ADC_Start() 是一个用于启动 ADC（模数转换器）转换的函数，那为什么有时候我们会看到它被放在 while 循环里呢？其实取决于你使用的是哪种ADC采样方式，我们来细说👇： 🧠 一、先搞清…...

编程日记 2025/8/20 7:32:47

Qt 入门 2 之窗口部件 QWidget

Qt 入门2之窗口部件 QWidget Qt Creator 提供的默认基类只有QMainWindow、QWidget和QDialog 这3种，这3种窗体也是以后用得最多的，QMainWindow是带有菜单栏和工具栏的主窗口类,QDialog是各种对话框的基类,而它们全部继承自QWidget。不仅如此,其实所有的窗…...

编程日记 2025/8/17 22:21:38

在 Windows 上安装 WSL Ubuntu 的完整避坑指南：从报错到成功运行

问题背景最近在尝试通过 Windows Subsystem for Linux (WSL) 安装 Ubuntu 时，遇到了一系列报错。最初的步骤是直接使用 wsl --install 命令，但安装完成后发现系统中并未自动安装默认的 Ubuntu 发行版。随后尝试通过命令行手动选择发行版&a…...

编程日记 2025/8/18 0:51:00

STM32看门狗原理与应用详解：独立看门狗 vs 窗口看门狗（上） | 零基础入门STM32第九十四步

主题内容教学目的/扩展视频看门狗什么是看门狗，原理分析，启动喂狗方法，读标志位。熟悉在程序里用看门狗。师从洋桃电子，杜洋老师 📑文章目录一、看门狗核心原理1.1 工作原理图解1.2 经典水桶比喻二、STM32看门狗双雄…...

编程日记 2025/8/17 14:35:35

Hyperlane 框架路由功能详解：静态与动态路由全掌握

Hyperlane 框架路由功能详解：静态与动态路由全掌握 Hyperlane 框架提供了强大而灵活的路由功能，支持静态路由和动态路由两种模式，让开发者能够轻松构建各种复杂的 Web 应用。本文将详细介绍这两种路由的使用方法。静态路由：简单…...

编程日记 2025/8/19 16:21:52

webpack js 逆向 --- 个人记录

网站 aHR0cDovL2FlcmZheWluZy5jb20v加密参数参数加密位置方法： 1. 构造自执行函数 !function(e) {// 加载器 }(// 模块1；// 模块2 )2. 找到js的加载器 3. 把上述代码放入第一步构造的自执行函数(完整扣取一整个加载器里的代码)，并用一…...

编程日记 2025/8/17 22:27:30

代码随想录回溯算法03

93.复原IP地址本期本来是很有难度的，不过大家做完分割回文串之后，本题就容易很多了题目链接/文章讲解：代码随想录视频讲解：回溯算法如何分割字符串并判断是合法IP？| LeetCode：93.复原IP地址_哔哩哔…...

编程日记 2025/8/17 22:26:17

SOMEIP通信矩阵解读

目录 1 摘要2 SOME/IP通信矩阵详细属性定义与示例2.1 服务基础属性2.2 数据类型定义2.3 服务实例与网络配置参数2.4 SOME/IP-SD Multicast 配置（SOME/IP服务发现组播配置）2.5 SOME/IP-SD Unicast 配置2.6 SOME/IP-SD ECU 配置参数详解 3 总结 1 摘要本…...

编程日记 2025/8/20 1:28:42

keys简单通用命令

目录一、通配符匹配key 二、key的常用命令 1）exists 判断某个key是否存在 2）删除key 3）expire设置key的过期时间、ttl查询key的过期时间 4）type可以获取key对应的value的类型一、通配符匹配key redis作为键值对类型的数据…...

编程日记 2025/8/19 7:43:00

Linux : 页表

目录一前言二深入理解页表三页表的实际组成四总结一前言页表是我们之前在讲到Linux : 进程地址空间-CSDN博客的时候说到的，它是物理内存到进程程序地址空间的一个桥梁，通过它，物理内存的数据和代码才能映射到进程的程序地址空间…...

编程日记 2025/8/19 14:07:16

多智能体优秀开发框架

原文链接:https://i68.ltd/notes/posts/20250402-multi-agent/ motia-面向软件工程师的智能体框架项目仓库:https://github.com/MotiaDev/motia 1.3k官方网站:https://motia.devMotia 允许开发人员在几分钟内创建，测试和部署生产就绪的 AI 代理，在一个…...

编程日记 2025/8/19 8:18:49

JavaScript创建对象与构造函数

目录创建对象一、创建对象的 5 种核心方式 1. 对象字面量（直接量） 2. 使用 Object.create() 3. 工厂模式 4. 构造函数模式 5. ES6 class 语法（语法糖） 二、构造函数与 new 关键字 1. 构造函数的作用 2. 构造函数的特征…...

编程日记 2025/8/22 19:09:59

【langchain4j系列教程-02】Langchain4j调用DeepSeek

文章目录依赖引入代码示例api key如何获取模型名称及价格为什么调用DeepSeek API用的是OpenAIChatModel 这篇文章主要介绍了如何在Java项目中引入DeepSeek的依赖，并提供了调用DeepSeek API的代码示例。依赖引入 DeepSeek是一个与OpenAI接口标准兼容的人工智能平台…...

编程日记 2025/8/18 0:53:36

五、补充知识：Keras 是什么

相关文章：