当前位置：首页 > news >正文

AI-02a5a6.神经网络-与学习相关的技巧-批量归一化

news 来源：原创 2025/7/1 21:50:56

批量归一化 Batch Normalization

设置合适的权重初始值，则各层的激活值分布会有适当的广度，从而可以顺利的进行学习。那么，更进一步，强制性的调整激活值的分布，是的各层拥有适当的广度呢？批量归一化（Batch Normalization）就是基于这个想法产生的。

算法介绍

有什么优点呢？

可以使学习快速进行（可以增大学习率）。
不那么依赖初始值（对于初始值不用那么神经质）。
抑制过拟合（降低Dropout等的必要性）

向神经网络中插入对数据分布进行正规化的层，即Batch Normalization层。

在这里插入图片描述

式（6.7）， $\begin{aligned} \mu_B &\leftarrow \frac{1}{m}\sum^m_{i=1}x_i \\ \sigma_B^2 &\leftarrow \frac{1}{m}\sum^m_{i=1}(x_i-\mu_B)^2 \\ \hat{x}_i &\leftarrow \frac{x_i-\mu_B}{\sqrt{\sigma_B^2+\epsilon}} \end{aligned}$

这里对mini-batch的 $m$ 个输入数据的集合 $B = \{x_1, x_2, ... , x_m\}$ 求均值 $\mu_B$ 和方差 $\sigma_B^2$ 。然后，对输入数据进行均值为0、方差为1（合适的分布）的正规化。式（6.7）中的 $\epsilon$ 是一个微小值（比如，10e-7等），它是为了防止出现除以0的情况。

式（6.7）所做的是将mini-batch的输入数据 $\{\hat{x}_1, \hat{x}_2, ... , \hat{x}_m\}$ 变换为均值为0、方差为1的数据。通过将这个处理插入到激活函数的前面（或者后面），可以减小数据分布的偏向。

接着，Batch Norm层会对正规化后的数据进行缩放和平移的变换，式（6.8）， $y_i \leftarrow \gamma\hat{x_i} + \beta$

这里， $\gamma$ 和 $\beta$ 是参数。一开始 $\gamma = 1, \beta = 0$ ，然后再通过学习调整到合适的值。

在这里插入图片描述

几乎所有的情况下都是使用Batch Norm时学习进行得更快。同时也可以发现，实际上，在不使用Batch Norm的情况下，如果不赋予一个尺度好的初始值，学习将完全无法进行。

通过使用批量归一化，可以推动学习的进行。并且，对权重初始值变得健壮（“对初始值健壮”表示不那么依赖初始值）。

# coding: utf-8
import sys, os
sys.path.append(os.pardir)  # 为了导入父目录的文件而进行的设定
import numpy as np
import matplotlib.pyplot as plt
from dataset.mnist import load_mnist
from common.multi_layer_net_extend import MultiLayerNetExtend
from common.optimizer import SGD, Adam(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True)# 减少学习数据
x_train = x_train[:1000]
t_train = t_train[:1000]max_epochs = 20
train_size = x_train.shape[0]
batch_size = 100
learning_rate = 0.01def __train(weight_init_std):bn_network = MultiLayerNetExtend(input_size=784, hidden_size_list=[100, 100, 100, 100, 100], output_size=10,weight_init_std=weight_init_std, use_batchnorm=True)network = MultiLayerNetExtend(input_size=784, hidden_size_list=[100, 100, 100, 100, 100], output_size=10,weight_init_std=weight_init_std)optimizer = SGD(lr=learning_rate)train_acc_list = []bn_train_acc_list = []iter_per_epoch = max(train_size / batch_size, 1)epoch_cnt = 0for i in range(1000000000):batch_mask = np.random.choice(train_size, batch_size)x_batch = x_train[batch_mask]t_batch = t_train[batch_mask]for _network in (bn_network, network):grads = _network.gradient(x_batch, t_batch)optimizer.update(_network.params, grads)if i % iter_per_epoch == 0:train_acc = network.accuracy(x_train, t_train)bn_train_acc = bn_network.accuracy(x_train, t_train)train_acc_list.append(train_acc)bn_train_acc_list.append(bn_train_acc)print("epoch:" + str(epoch_cnt) + " | " + str(train_acc) + " - " + str(bn_train_acc))epoch_cnt += 1if epoch_cnt >= max_epochs:breakreturn train_acc_list, bn_train_acc_list# 3.绘制图形==========
weight_scale_list = np.logspace(0, -4, num=16)
x = np.arange(max_epochs)for i, w in enumerate(weight_scale_list):print( "============== " + str(i+1) + "/16" + " ==============")train_acc_list, bn_train_acc_list = __train(w)plt.subplot(4,4,i+1)plt.title("W:" + str(w))if i == 15:plt.plot(x, bn_train_acc_list, label='Batch Normalization', markevery=2)plt.plot(x, train_acc_list, linestyle = "--", label='Normal(without BatchNorm)', markevery=2)else:plt.plot(x, bn_train_acc_list, markevery=2)plt.plot(x, train_acc_list, linestyle="--", markevery=2)plt.ylim(0, 1.0)if i % 4:plt.yticks([])else:plt.ylabel("accuracy")if i < 12:plt.xticks([])else:plt.xlabel("epochs")plt.legend(loc='lower right')
plt.show()

背景

批量归一化（Batch Normalization）与层归一化（Layer Normalization）深度解析

什么是归一化 Normalization

在深度神经网络的训练过程中，随着网络深度的增加，模型的表征能力虽然有所提升，但也带来了许多训练上的难题。其中，梯度消失和梯度爆炸是最具代表性的两个问题。早期的深层网络中常使用Sigmoid或tanh等饱和激活函数，一旦输入落入函数的饱和区（梯度接近0），梯度在层间传播时会迅速衰减；另一方面，如果网络层数较多或参数初始化不当，也有可能发生梯度的指数级增长，从而使参数更新呈现“发散”现象。

与此同时，随着网络在反向传播中不断更新，前几层的参数变化会连带影响后续层的输入分布，导致高层特征分布发生非平稳性，这种现象被称为内部协变量偏移（Internal Covariate Shift）。在网络很深或数据分布复杂的情况下，这种效应会被放大，导致网络难以收敛或需要极度细心地调整超参数。

归一化（Normalization）技术正是在这样的背景下逐渐兴起的。它的核心思想是，无论网络有多深，都希望每一层的输入分布尽量稳定、可控。为此，通过对每一层的激活值进行某种形式的“标准化”处理，可以使每层输入在训练中保持较为稳定的分布，即均值和方差在较短的训练迭代内不发生剧烈波动。这种操作一方面有助于缓解梯度消失和梯度爆炸；另一方面，网络也不需要时时刻刻去适应快速变化的激活分布，从而提高了学习效率并缩短训练收敛时间。

批量归一化对批量大小的依赖

BN对批量大小较为敏感，如果批量太小（例如小于16甚至更小），当前批次的均值方差容易出现大幅波动，进而导致训练不稳定或性能下降。在一些仅能使用小批量（如显存受限或序列生成任务）的场景下，BN的效果往往不及设计专门的归一化策略（例如LN、GN等）。

优缺点

优点：

大幅加速收敛，允许使用更高的初始学习率。
有一定正则化作用，降低对初始权重的敏感性，减少过拟合。
在主流图像任务和大型批量训练的场景下表现卓越。

缺点：

依赖足够大的批量尺寸，否则会导致估计方差不稳定。
在序列模型（如RNN、Transformer等）或者小批量场景中表现不佳。
在分布式训练时，计算全局均值与方差可能比较麻烦，需要额外同步开销。

AI-02a5a6.神经网络-与学习相关的技巧-批量归一化

批量归一化 Batch Normalization 设置合适的权重初始值，则各层的激活值分布会有适当的广度，从而可以顺利的进行学习。那么，更进一步，强制性的调整激活值的分布，是的各层拥有适当的广度呢？批量归一化&#…...

编程日记 2025/7/1 21:50:56

matlab实现蚁群算法解决公交车路径规划问题

使用蚁群算法解决公交车路径规划问题的MATLAB代码实现，包含详细注释和仿真流程。该算法以站点间行驶时间或距离为优化目标，寻找最优公交路线。 1. 问题建模与参数设置 1.1 输入数据站点坐标：假设有20个公交站点，随机生成位置。…...

编程日记 2025/7/1 21:48:41

Agent Builder API - Agent Smith 扩展的后端服务（开源代码）

一、软件介绍文末提供程序和源码下载 Agent Builder API - Agent Smith 扩展的后端服务（开源代码）手动设置：在本地计算机中克隆此存储库并启动 python FAST API 服务器。（可选）安装并设置 Mongo DB。Dev Container…...

编程日记 2025/6/30 22:51:50

C++类和对象之相关特性

C 一.类型转换隐式类型转换二.static成员一、static成员变量二、static成员函数三、static成员的存储位置四、总结三.友元一、友元函数二、友元类三、友元成员函数四、总结四.内部类五.匿名对象六.new 一.类型转换在C中，类类型转换是指将一个类的对象转换为另一…...

编程日记 2025/6/30 14:54:03

容器编排的革命：Kubernetes如何引领IT的云原生时代

文章目录 Kubernetes的本质：容器世界的智能指挥家Kubernetes的核心功能包括： Kubernetes的演进：从谷歌的实验到全球标准核心技术：Kubernetes的基石与生态1. Pod与容器：最小调度单位2. Deployment：无状态应用…...

编程日记 2025/7/1 6:41:17

2025视频协作工具全景解析：技术跃迁与场景重构

一、技术演进:从功能工具到智能生态 2025年视频协作软件的核心竞争力已从基础功能升级为技术生态的构建。以分秒帧为例,其音视频生产协作系统,可帮助创作者在云端构建工作流,让跨地域、跨终端、跨团队的协作组可以在统一的安全平台上管理所有媒体资源、任务、反馈信息,从而更高…...

编程日记 2025/7/1 6:28:22

保持视频二维码不变，更新视频的内容

视频替换功能允许用户在保持视频二维码、观看地址和调用代码不变的情况下更新视频内容，从而节省重新印刷物料的成本。这一功能适用于多种场景，如营销宣传、产品操作手册、设备说明书等，当视频内容需要修改或更新时，用户只需上传新…...

编程日记 2025/6/30 22:51:40

Linux常用命令40——alias设置命令别名

在使用Linux或macOS日常开发中，熟悉一些基本的命令有助于提高工作效率，alias命令来自英文单词alias，中文译为“别名”，其功能是设置命令别名信息。我们可以使用alias将一些较长的命令进行简写，往往几十个字符的命令会变…...

编程日记 2025/7/1 0:17:05

Java大师成长计划之第22天：Spring Cloud微服务架构

📢 友情提示： 本文由银河易创AI（https://ai.eaigx.com）平台gpt-4o-mini模型辅助创作完成，旨在提供灵感参考与技术分享，文中关键数据、代码与结论建议通过官方渠道验证。随着企业应用的不断扩展&#xff0c…...

编程日记 2025/7/1 20:32:40

为什么go语言中返回的指针类型，不需要用*取值（解引用），就可以直接赋值呢？

Go 中返回的是指针，但你却能直接用“.”访问字段，看起来像是“没有解引用”，其实是 Go 帮你自动处理了“指针解引用”的语法糖。在 Go 中，如果你有一个结构体指针（例如 *FileMeta），你可以直接…...

编程日记 2025/6/29 1:05:13

Java生成可控的Word表格功能开发

在日常办公自动化与系统集成场景中，生成结构化的Word文档已成为一种刚性需求，尤其是带有格式规范、内容动态填充的Word表格（Table）。本文将围绕如何利用Java开发一个可控的Word表格生成功能模块展开，涵盖技术选型、代码实现、边界控制与常见问题处理等方面，帮助开发者快速…...

编程日记 2025/7/1 21:17:13

OpenCV CUDA 模块中用于在 GPU 上计算矩阵中每个元素的绝对值或复数的模函数abs()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 void cv::cuda::abs(InputArray src, OutputArray dst, Stream &stream Stream::Null()) 是 OpenCV 的 CUDA 模块中的一个函数，…...

编程日记 2025/7/1 20:29:11

hadoop知识点

（一）复制和移动 1.复制文件格式：cp源文件目标文件示例：把filel.txt复制一份得到file2.txt 2.复制目录格式：cp-r源文件夹目标文件夹示例：把目标dir1复制一份得到dir2 3.重命名和移动格式：…...

编程日记 2025/7/1 21:43:57

最短路与拓扑（2）

1、信使 #include<bits/stdc.h> using namespace std; const int N105; int n,m; int g[N][N]; int dist[N]; bool st[N]; const int INF0x3f3f3f3f;int dij(){memset(dist,0x3f,sizeof dist);dist[1]0;for(int i1;i<n;i){int t0;for(int j1;j<n;j){if(!st[j]&…...

编程日记 2025/6/29 0:13:38

LLaMA-Factory 微调 Qwen2-7B-Instruct

一、系统环境使用的 autoDL 算力平台 1、下载基座模型 pip install -U huggingface_hub export HF_ENDPOINThttps://hf-mirror.com # （可选）配置 hf 国内镜像站huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat -…...

编程日记 2025/6/28 23:09:32

濒危仙草的重生叙事：九仙尊米斛花节如何以雅集重构中医药文化IP

五月的霍山深处,层峦叠翠之间,中华仙草霍山米斛迎来一年一度的花期。九仙尊以“斛韵雅集,春野茶会”为主题,举办为期半月的米斛花文化节,融合中医药文化、东方美学与自然体验,打造一场跨越古今的沉浸式文化盛宴。活动涵盖古琴雅集、书法创作、茶道冥想、诗歌吟诵、民族歌舞等多…...

编程日记 2025/7/1 19:55:21

Pomelo知识框架

一、Pomelo 基础概念 Pomelo 简介定位：分布式游戏服务器框架（网易开源）。特点：高并发、可扩展、多进程架构、支持多种通信协议（WebSocket、TCP等）。适用场景：MMO RPG、实时对战、社交游戏等…...

编程日记 2025/7/1 19:55:53

歌词滚动效果

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><link rel"shortcut icon&…...

编程日记 2025/6/29 1:18:07

python如何合并excel单元格

在Python中合并Excel单元格，常用openpyxl库实现。以下是详细步骤和示例代码： 方法一：使用 openpyxl 库步骤说明： 安装库： pip install openpyxl导入库并加载文件： from openpyxl import load_workbook# …...

编程日记 2025/6/28 23:32:49

嵌入式学习笔记 D20 ：单向链表的基本操作

单向链表的创建单向链表的插入单向链表的删除及清空单向链表的修改单向链表的查找单向链表的逆序一、单向链表的创建 LinkList *CreateLinkList() {LinkList *ll malloc(sizeof(LinkList));if (NULL ll) {fprintf(stderr, "CreateLink malloc");return NULL;}ll…...

编程日记 2025/6/29 0:45:08

瀑布模型VS敏捷模型VS喷泉模型

目录 1. 瀑布模型（Waterfall Model） 2. 敏捷模型（Agile Model） 3. 喷泉模型（Fountain Model）...

编程日记 2025/7/1 20:46:15

Android usb网络共享详解

Android usb网络共享详解文章目录 Android usb网络共享详解一、前言二、USB网络共享使用的前提1、Android设备支持adb 并且打开usb开关2、原生Settings能看到USB网络共享开关3、代码中检测USB网络共享是否支持三、Settings 中USB网络共享代码的部分代码1、Settings\res\xml\t…...

编程日记 2025/7/1 21:36:12

在线黑白图像转换：简单却强大的视觉表达工具

为什么选择黑白图像？ 在这个色彩缤纷的数字世界中，黑白摄影却始终保持着其独特的魅力。黑白图像消除了色彩的干扰，让我们更专注于构图、纹理和形式的表达。这种经典的转换技术能够创造出富有情感和强烈对比的视觉作品，呈现出彩色…...

编程日记 2025/7/1 12:24:18

python 异步执行测试

1. 并行执行机制子进程级并行：通过 asyncio.create_subprocess_exec 启动的每个外部命令（如 python run_spider.py）会创建一个独立的系统进程，由操作系统直接调度，实现真正的并行执行。协程级并发：主程序…...

编程日记 2025/7/1 21:19:24

《Python星球日记》第69天：生成式模型（GPT 系列）

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录一、GPT简介：从架构到原理1. GPT的架构与工作原理2. Decoder-only结…...

编程日记 2025/7/1 20:37:52

STM32 之网口资源

1 网口资源介绍 STM32F407 是 STMicroelectronics 推出的高性能 ARM Cortex-M4 微控制器，具备多种外设接口，其中包括一个 Ethernet MAC 控制器（带 IEEE 1588 支持）。这意味着你可以使用 STM32F407 实现网络通信功能（通…...

编程日记 2025/7/1 19:45:01

一分钟在Cherry Studio和VSCode集成火山引擎veimagex-mcp

MCP的出现打通了AI模型和外部数据库、网页API等资源，成倍提升工作效率。近期火山引擎团队推出了 MCP Server SDK： veimagex-mcp。本文介绍如何在Cherry Studio 和VSCode平台集成 veimagex-mcp。什么是MCP MCP（Model Context Protocol&…...

编程日记 2025/7/1 19:55:54

业务中台-典型技术栈选型(微服务、容器编排、分布式数据库、消息队列、服务监控、低代码等)

在企业数字化中台建设中，业务中台是核心支撑平台，旨在通过技术手段将企业核心业务能力抽象、标准化和复用，以快速响应前端业务需求。其核心技术流涉及从业务抽象到服务化、治理和持续优化的全流程。以下是业务中台建设中的核心技术体系及关键…...

编程日记 2025/7/1 20:47:51

图像颜色理论与数据挖掘应用的全景解析

文章目录一、图像颜色系统的理论基础1.1 图像数字化的本质逻辑1.2 颜色空间的数学框架1.3 量化过程的技术原理二、主要颜色空间的深度解析2.1 RGB颜色空间的加法原理2.2 HSV颜色空间的感知模型2.3 CMYK颜色空间的减色原理三、图像几何属性与高级特征3.1 分辨率与像素密度的关…...

编程日记 2025/7/1 19:50:21

从规则驱动到深度学习：自然语言生成的进化之路

自然语言生成技术正经历着人类文明史上最剧烈的认知革命。这项起源于图灵测试的技术，已经从简单的符号操作演变为具备语义理解能力的智能系统。当我们回溯其发展历程，看到的不仅是算法模型的迭代更新，更是一部人类认知自我突破的史诗。这场革…...

编程日记 2025/6/29 0:02:30

影刀RPA网页自动化总结

1. 影刀RPA网页自动化概述 1.1 定义与核心功能影刀RPA网页自动化是一种通过软件机器人模拟人类操作网页行为的技术，旨在提高网页操作效率、减少人工干预。其核心功能包括： 网页数据抓取：能够高效抓取网页上的数据，如电商数据、…...

编程日记 2025/6/28 23:42:25

[:, :, 1]和[:, :, 0] 的区别； `prompt_vector` 和 `embedding_matrix`的作用

prompt_vector = torch.sum(prompt_embedding * attention_weights.unsqueeze(-1), dim=1) # [1, hidden_dim] prompt_vector = torch.sum(prompt_embedding * attention_weights.unsqueeze(-1), dim=1) 主要作用是通过将 prompt_embedding 与 attention_weights 相乘后再按指…...

编程日记 2025/7/1 20:55:41

LeetCode 题解 41. 缺失的第一个正数

41. 缺失的第一个正数给你一个未排序的整数数组 nums ，请你找出其中没有出现的最小的正整数。请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。示例 1： 输入：nums [1,2,0] 输出：3 解释：范围 [1,…...

编程日记 2025/6/28 23:57:24

3337. 字符串转换后的长度 II

3337. 字符串转换后的长度 II # 定义了一个大质数 MOD，用于取模运算，防止数值溢出。 MOD 1_000_000_007# 矩阵乘法 mul def mul(a:List[List[int]], b:List[List[int]]) -> List[List[int]]:# 输入两个矩阵 a 和 b，返回它们的矩阵乘积 a…...

编程日记 2025/7/1 20:37:55

基于 TensorFlow 框架的联邦学习可穿戴设备健康数据个性化健康管理平台研究

基于 TensorFlow 框架的联邦学习可穿戴设备健康数据个性化健康管理平台研究摘要：随着可穿戴设备的普及，人们对于自身健康管理的需求日益增长。然而，可穿戴设备所收集的健康数据往往分散在不同用户的设备中，且涉及用户隐私敏感信息。本研究旨在构建一个基于 TensorFlow 框…...

编程日记 2025/6/29 1:26:20

查看字节真实二进制形式示例解析1

查看字节的真实二进制形式？ 若需要显式查看二进制0/1，可以通过以下方法转换： 方法1：逐字节转换为二进制字符串 def bytes_to_binary(data: bytes) -> str:return .join([bin(byte)[2:].zfill(8) for byte in data])# 示例 …...

编程日记 2025/6/29 1:16:43

hadoop中spark基本介绍

Spark是一个基于内存计算的快速、通用、可扩展的大数据处理引擎，可与Hadoop集成并在其生态系统中发挥重要作用。以下是其基本介绍： 特点 - 快速：基于内存计算，能将中间结果缓存在内存中，避免频繁读写磁盘，大…...

编程日记 2025/6/28 23:50:45

Apollo学习——键盘控制速度

# keyboard_control.py import time import keyboard # 键盘输入模块 pip install keyboard from getkey import getkey, keys from cyber.python.cyber_py3 import cyber_time from cyber.python.cyber_py3 import cyber from modules.common_msgs.control_msgs import contro…...

编程日记 2025/7/1 21:23:58

批量归一化 Batch Normalization

算法介绍

背景

什么是归一化 Normalization

批量归一化对批量大小的依赖

优缺点

相关文章：