当前位置：首页 > news >正文

卷积神经网络 - 卷积的变种、数学性质

news 来源：原创 2025/8/15 9:15:16

本文我们来学习卷积的变种和相关的数学性质，为后面学习卷积神经网络做准备，有些概念可能不好理解，可以先了解其概念，然后慢慢理解、逐步深入。

在卷积的标准定义基础上，还可以引入卷积核的滑动步长和零填充来增加卷积的多样性，可以更灵活地进行特征抽取。

一、步长(Stride)

是指卷积核在滑动时的时间间隔，下图给出了步长为 2 的卷积示例：

二、填充

1、零填充(Zero Padding)

是在输入向量两端进行补零，下图5给出了输入的两端各补一个零后的卷积示例：

2、窄卷积（Valid Convolution）、宽卷积（Full Convolution）和等宽卷积（Same Convolution）

以上三种是标准卷积的三种不同填充策略。它们的主要区别在于输入输出的尺寸关系，而非卷积操作本身的结构创新。

（一）核心定义与数学关系

类型	填充策略	输出尺寸公式（输入尺寸nn，核大小kk，步幅s=1s=1）	直观解释
窄卷积	无填充（`padding=0`）	n−k+1	只处理输入的有效区域，输出缩小
宽卷积	全填充（`padding=k-1`）	n+k−1	覆盖输入的所有可能位置，输出扩大
等宽卷积	对称填充（`padding=(k-1)/2`）	n	保持输入输出尺寸一致

（二）与卷积变种的本质区别

1. 改进目标不同

窄/宽/等宽卷积：调整输入输出的空间关系，解决尺寸匹配问题（如保持分辨率、扩大感受野）。
卷积变种（如空洞卷积、可分离卷积）：改进特征提取方式或参数效率（如扩大感受野、减少计算量）。

2. 技术手段不同

类型	技术手段	是否改变卷积核结构
窄/宽/等宽卷积	调整填充量	否（仅改变输入边界处理）
空洞卷积	插入空洞间隔	是（改变采样方式）
可分离卷积	分解为深度+逐点卷积	是（改变操作流程）

（三）具体示例对比

场景：输入信号长度为5（`n=5`），卷积核大小3（`k=3`）

窄卷积（无填充）：
- 输出长度 = 5−3+1=3
- 计算区域：[1-3], [2-4], [3-5]（忽略边界外数据）
宽卷积（填充2，零填充）：
- 输出长度 = 5+3−1=7
- 计算区域扩展至输入外（如填充后的输入为[0,0,1,2,3,4,5,0,0]）
等宽卷积（填充1，对称填充）：
- 输出长度保持5
- 填充后的输入为[0,1,2,3,4,5,0]

（四）为何不属于卷积变种？

不涉及结构创新：
窄/宽/等宽卷积仅通过填充控制输入输出的尺寸，未改变卷积核的权重共享机制或特征提取方式。例如，无论选择哪种填充方式，标准卷积的局部连接和权重共享特性均保持不变。
通用性：
这三种填充策略可应用于任何标准卷积或变种卷积。例如，空洞卷积可以选择窄填充或等宽填充，分组卷积也可搭配宽卷积使用。
参数无关性：
填充策略不影响卷积核的参数学习，而变种卷积（如可变形卷积）会直接调整核的采样位置或参数生成方式。

（五）实际应用场景

填充类型	典型应用场景
窄卷积	特征图尺寸逐步缩减的网络（如VGG）
宽卷积	信号恢复任务（如去噪、超分辨率重建）
等宽卷积	需保持分辨率的任务（如语义分割、风格迁移）

窄卷积、宽卷积、等宽卷积是标准卷积的不同填充模式，属于卷积操作的基础配置选项，而非结构上的变种。它们的核心作用是控制输入输出的空间映射关系，而非改进特征提取能力或效率。理解这一点有助于避免混淆基础操作与高级改进方法。

三、卷积的变种

卷积神经网络（CNN）的变种在标准卷积的基础上进行改进，以解决不同任务中的特定需求。以下是对几种常见卷积变种的通俗解析：

1. 空洞卷积（Dilated Convolution）

问题：标准卷积的感受野有限，难以捕捉大范围上下文信息。
改进：在卷积核中插入“空洞”，扩大覆盖范围而不增加参数。
比喻：像用“望远镜”观察数据，跳过中间细节直接看远处特征。

例子：

输入序列：[A, B, C, D, E, F]
空洞率=2的3核卷积：
A ? C ? E → 实际覆盖 A, C, E
（?表示跳过的位置）

应用场景：

语义分割（如识别图像中的大型物体）
时间序列预测（捕捉长期依赖）

2. 可分离卷积（Separable Convolution）

问题：标准卷积参数多、计算量大，尤其对移动设备不友好。
改进：将卷积分解为深度卷积（逐通道） + 逐点卷积（1x1），减少计算量。

数学对比：

标准卷积参数量：Cin×Cout×K×K
可分离卷积参数量：Cin×K×K+Cin×Cout
（假设输入输出通道数均为64，3x3卷积核：标准需 64x64x9=36,864 参数，可分离仅需 64x9 + 64x64=4,672 参数）

应用场景：

移动端模型（如MobileNet）
实时视频处理

3. 转置卷积（Transposed Convolution）

问题：标准卷积会缩小特征图尺寸，但某些任务需要放大输出（如生成图像）。
改进：通过“反向滑动”实现上采样，填充间隔后做标准卷积。

操作示例：

输入：2x2矩阵
转置卷积核：3x3，步长=2
输出：5x5矩阵（通过插值扩大尺寸）

应用场景：

图像生成（GAN生成高分辨率图片）
语义分割（恢复原始图像尺寸）

4. 分组卷积（Grouped Convolution）

问题：标准卷积要求所有通道全连接，计算成本高且缺乏并行性。
改进：将输入通道分为多组，每组独立卷积后再合并。

对比：

标准卷积：所有通道混合计算
分组卷积：分组处理（如将64通道分为4组，每组16通道）

优势：

参数减少为 1/组数
并行加速（不同组可分配到不同GPU核心）

应用场景：

高效模型设计（如ResNeXt）
多任务学习（不同组学习不同特征）

5. 可变形卷积（Deformable Convolution）

问题：标准卷积核形状固定，无法适应不规则物体（如弯曲的动物）。
改进：让卷积核的采样点位置可学习，动态调整形状。

效果演示：

标准3x3卷积：固定覆盖9个点
可变形卷积：9个点根据输入内容偏移（如聚焦在弯曲的鱼骨上）

应用场景：

目标检测（处理变形物体）
医学图像分析（器官形状不规则）

6. 动态卷积（Dynamic Convolution）

问题：静态卷积核难以适应输入内容的变化。
改进：根据输入数据动态生成卷积核参数。

例子：

输入一张猫图 → 生成“猫耳检测核”
输入一张车图 → 生成“车轮检测核”

应用场景：

多模态数据处理
少样本学习

变种卷积的核心价值

变种类型	解决的核心问题	关键技术手段
空洞卷积	感受野受限	间隔采样扩大覆盖范围
可分离卷积	参数冗余、计算量大	分解为深度+逐点卷积
转置卷积	输出尺寸缩小	反向滑动实现上采样
分组卷积	计算成本高、缺乏并行性	通道分组独立处理
可变形卷积	几何形变适应差	可学习的采样点偏移
动态卷积	静态核泛化能力不足	输入相关的动态参数生成

核心思想：所有卷积变种都围绕两个方向改进：

增强特征表达能力（扩大感受野、适应形变等）
提升计算效率（减少参数量、加速计算等）

通过灵活组合这些变种，现代CNN能够应对从图像分类到自动驾驶等复杂任务的需求。

四、如何理解卷积的数学性质：交换性和导数？

卷积在数学和深度学习中有一些重要的性质，理解这些性质有助于更深入地掌握其工作原理，尤其是在神经网络中的应用。下面从交换性和导数两个角度进行解析：

（一）卷积的交换性

1. 数学定义中的交换性

严格数学卷积（信号处理中的定义）是可交换的，即：

证明：

例子：

信号处理：用滤波器 f 处理信号 g，与用信号 g 处理滤波器 f，结果相同。
图像处理：用边缘检测核 K 卷积图像 I，等价于用图像 I 卷积核 K。

2. 深度学习中的“卷积”是否满足交换性？

在深度学习中，实际使用的是互相关（Cross-Correlation）而非严格卷积。互相关操作不满足交换性：

原因：
互相关不翻转核，因此核的位置敏感。例如，检测猫耳朵的核放在图像左上角和右下角，结果不同。

实际意义：

在训练中，网络通过反向传播自动学习核的方向性特征（如左边缘或右边缘检测器）。
交换性在深度学习中不重要，因为核的参数是数据驱动的。

（二）卷积的导数

1. 卷积的导数规则

在反向传播中，卷积层的导数计算遵循以下规则：

直观理解：

对输入的导数 = 核的导数与输入信号的卷积。
对核的导数 = 输入信号与输入梯度的卷积。

2. 反向传播中的具体计算

假设卷积层的输入为 X，核为 K，输出为 Y=X∗K，损失函数为 L。
反向传播时：

输入梯度：
核梯度：

例子：

输入的梯度：

（三）交换性和导数的实际意义

1. 交换性的意义

数学理论：简化计算（如傅里叶变换中 F(f∗g)=F(f)⋅F(g)）。
深度学习：无直接应用，因为实际使用互相关，但参数学习自动适应方向性。

2. 导数的意义

参数更新：通过梯度计算优化核权重。
特征可视化：通过梯度反传理解网络关注的特征（如显著图生成）。

（四）总结与记忆

性质	数学卷积	深度学习中的互相关	实际意义
交换性	成立	不成立	理论计算简化，实际无需关心
导数	链式法则	反向传播规则	网络优化的数学基础

口诀：
“数学卷积可交换，深度互相关不转；
导数计算链式传，反向传播梯度算。”

卷积神经网络 - 卷积的变种、数学性质

本文我们来学习卷积的变种和相关的数学性质，为后面学习卷积神经网络做准备，有些概念可能不好理解，可以先了解其概念，然后慢慢理解、逐步深入。在卷积的标准定义基础上，还可以引入卷积核的滑动步长和零填充来增加卷积…...

编程日记 2025/8/15 9:15:16

ubuntu 和 RV1126 交叉编译Mosqutiio-1.6.9

最近需要交叉编译mosquitto，遇到一些小问题记录一下。 1.众所周知使用它自带的Makefile编译的时候，只需要在编译前，指定它config.mk中的变量：CFLAGS头文件路径和 LDFLAGS库文件路径就ok，例子如下： expor…...

编程日记 2025/8/15 9:12:22

从零开始学习机器人---如何高效学习机械原理

如何高效学习机械原理 1. 理解课程的核心概念2. 结合图形和模型学习3. 掌握公式和计算方法4. 理论与实践相结合5. 总结和复习6. 保持好奇心和探索精神总结机械原理是一门理论性和实践性都很强的课程，涉及到机械系统的运动、动力传递、机构设计等内容。快速学习机械…...

编程日记 2025/7/17 9:06:55

STM32 RS232通信开发全解析 | 零基础入门STM32第五十九步

主题内容教学目的/扩展视频RS232串口电路原理，跳线设置，驱动程序。与超级终端通信。了解电路原理和RS232协议。师从洋桃电子，杜洋老师 📑文章目录一、RS232通信系统架构二、RS232核心原理与硬件设计2.1 电气特性对比2.2 典型电路…...

编程日记 2025/8/13 11:23:14

文献分享: 对ColBERT段落多向量的剪枝——基于学习的方法

原论文 1. 导论 & \textbf{\&} &方法 1️⃣要干啥：在 ColBERT \text{ColBERT} ColBERT方法中，限制每个段落要保留的 Token \text{Token} Token的数量，或者说对段落 Token \text{Token} Token进行剪枝 2️⃣怎么干：注…...

编程日记 2025/8/10 10:08:41

(已解决)aws 上部署Splunk 负载均衡unhealthy

在AWS 部署Splunk 服务，instance 是后端的EC2, 我把splunk 服务起好后，发现port : 8000 是listening: #netstat -an | grep 80 tcp 0 0 127.0.0.1:8065 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:8089 0.0.0.0:* …...

编程日记 2025/8/12 7:02:06

C# 异步编程

概述同步：指必须等待前一个操作完成，后续操作才能继续。同步操作会阻塞线程直到任务完成。异步：异步操作不会阻塞线程，允许程序在等待某个任务完成的同时，继续执行其他任务。异步编程适用场景： 1、从…...

编程日记 2025/8/10 3:41:52

缓存之美：Guava Cache 相比于 Caffeine 差在哪里？

大家好，我是方圆。本文将结合 Guava Cache 的源码来分析它的实现原理，并阐述它相比于 Caffeine Cache 在性能上的劣势。为了让大家对 Guava Cache 理解起来更容易，我们还是在开篇介绍它的原理： Guava Cache 通过分段（…...

编程日记 2025/8/14 7:49:58

Go string 字符串底层逻辑

在 Go 语言中，string 类型的底层结构是一个结构体，包含两个字段：一个指向字节数组的指针和该字节数组的长度。以下是其在 Go 源码中的大致定义：type stringStruct struct {str unsafe.Pointerlen int } str：这是一个指…...

编程日记 2025/8/8 4:45:57

高效集成聚水潭采购退货数据到MySQL的最佳实践

聚水潭数据集成到MySQL：采购退货单的高效对接方案在企业的数据管理和分析过程中，数据的准确性和实时性至关重要。本文将分享一个具体的系统对接集成案例：如何通过轻易云数据集成平台，将聚水潭中的采购退货单数据高效地集成到MyS…...

编程日记 2025/8/10 14:50:35

STM32步进电机S型与T型加减速算法

目录一、基本原理二、常见类型三、算法详解四、应用场合五、代码实现 1、main...

编程日记 2025/7/13 11:26:17

centos操作系统上传和下载百度网盘内容

探序基因整理进入百度网盘官网百度网盘客户端下载下载linux的rpm格式的安装包在linux命令行中输入：rpm -ivh baidunetdisk_4.17.7_x86_64.rpm 出现报错： 错误：依赖检测失败： libXScrnSaver 被 baidunetdisk-4.17.7-1.x8…...

编程日记 2025/8/14 12:58:59

深入 Python 网络爬虫开发：从入门到实战

一、为什么需要爬虫？ 在数据驱动的时代，网络爬虫是获取公开数据的重要工具。它可以帮助我们： 监控电商价格变化抓取学术文献构建数据分析样本自动化信息收集二、基础环境搭建 1. 核心库安装 pip install requests beautifulsoup4 lxml …...

编程日记 2025/8/11 12:01:09

网络爬虫【简介】

我叫补三补四，很高兴见到大家，欢迎一起学习交流和进步今天来讲一讲爬虫一、网络爬虫的定义网络爬虫（Web Crawler），又称为网络蜘蛛、网络机器人等，是一种按照一定规则自动抓取互联网信息的程序或脚本。它…...

编程日记 2025/8/8 16:54:17

Linux：Ubuntu server 24.02 上搭建 ollama + dify

一、安装Ubuntu 具体的安装过程可以参见此链接：链接：Ubuntu Server 20.04详细安装教程，这里主要记录一下过程中遇到的问题。安装时subnet如何填写在Ubuntu中subnet填写255.255.255.0是错误的，其格式为 xx.xx.xx.xx/yy &#…...

编程日记 2025/8/12 7:51:05

题目分析代码 #include <bits/stdc.h> using namespace std;const int N 24; const int inf 0x3f3f3f3f;int mins[N], minv[N]; int R[N], H[N]; int n, m, ans inf;void dfs(int u, int v, int s) {if(v minv[u] > n) return;if(s mins[u] > ans) return;…...

编程日记 2025/8/13 10:51:08

RabbitMq C++客户端的使用

1.RabbitMq介绍 RabbitMQ 是一款开源的消息队列中间件，基于 AMQP（高级消息队列协议）实现，支持多种编程语言和平台。以下是其核心特点和介绍： 核心特点多语言支持提供 Java、Python、C#、Go、JavaScript 等语言的客…...

编程日记 2025/8/13 9:48:03

入门基础项目-前端Vue_02

文章目录 1. 用户信息1.1 整体设计1.2 完整代码 User.vue1.2.1 数据加载1.2.2 表格 el-table1.2.2.1 多选1.2.2.2 自定义列的内容 Slot1.2.2.3 图片 el-image1.2.2.4 分页 el-pagination 1.2.3 编辑1.2.3.1 弹出框 el-dialog1.2.3.2 上传 el-upload 1.2.4 新增1.2.5 删除1.2.6 …...

编程日记 2025/8/12 17:49:09

C#中SerialPort 的使用

最近在学习C#的SerialPort ，关于SerialPort 的使用，做如下总结： 1.可以通过函数System.IO.Ports.SerialPort.GetPortNames() 将获得系统所有的串口名称。C#代码如下： string[] sPorts SerialPort.GetPortNames(); foreach(stri…...

编程日记 2025/8/15 5:13:13

使用py-ffmpeg批量合成视频的脚本

我有一个小米摄像头，用它录出来的视频全部都是3s一段3s一段的。其中有几个小时的视频我需要保存，当初直接把摄像头的卡文件导出来重命名掉了，那时候没有注意，之后想剪辑/发送给别人的时候发现疯了： 1.剪辑的话&#x…...

编程日记 2025/8/11 13:48:54

mac安装navicat及使用

0.删除旧的 sudo rm -Rf /Applications/Navicat\ Premium.app sudo rm -Rf /private/var/db/BootCaches/CB6F12B3-2C14-461E-B5A7-A8621B7FF130/app.com.prect.NavicatPremium.playlist sudo rm -Rf ~/Library/Caches/com.apple.helpd/SDMHelpData/Other/English/HelpSDMIndexF…...

编程日记 2025/8/7 16:10:26

一、步长(Stride)

二、填充

1、零填充(Zero Padding)

2、窄卷积（Valid Convolution）、宽卷积（Full Convolution）和等宽卷积（Same Convolution）

（一）核心定义与数学关系

（二）与卷积变种的本质区别

1. 改进目标不同

2. 技术手段不同

（三）具体示例对比

场景：输入信号长度为5（n=5），卷积核大小3（k=3）

（四）为何不属于卷积变种？

（五）实际应用场景

三、卷积的变种

1. 空洞卷积（Dilated Convolution）

2. 可分离卷积（Separable Convolution）

3. 转置卷积（Transposed Convolution）

4. 分组卷积（Grouped Convolution）

5. 可变形卷积（Deformable Convolution）

6. 动态卷积（Dynamic Convolution）

变种卷积的核心价值

四、如何理解卷积的数学性质：交换性和导数？

（一）卷积的交换性

1. 数学定义中的交换性

2. 深度学习中的“卷积”是否满足交换性？

（二）卷积的导数

1. 卷积的导数规则

2. 反向传播中的具体计算

（三）交换性和导数的实际意义

1. 交换性的意义

2. 导数的意义

（四）总结与记忆

相关文章：

场景：输入信号长度为5（`n=5`），卷积核大小3（`k=3`）