当前位置：首页 > news >正文

讲一下resblock的跳跃连接,以及连接前后的shape保持(通过padding保持shape不变)

news 来源：原创 2025/9/7 3:42:21

ResNet 残差块（ResBlock）的跳跃连接 & 形状保持

ResNet（Residual Network）通过 残差块（Residual Block, ResBlock） 解决了深度网络的梯度消失问题。其核心是跳跃连接（Skip Connection），可以让梯度直接从后面的层传播回前面的层，使深度网络更容易优化。

1. ResBlock 的跳跃连接

(1) 结构

ResBlock 的核心是恒等映射（Identity Mapping）：

• 输入 x 直接加到输出 F(x) 上：

y = F(x) + x

其中：

• F(x) 由 两层 3×3 卷积 + BN + ReLU 组成。

• 跳跃连接（Skip Connection） 直接把 x 传递到输出端。

• ReLU(y) 作为最终输出。

(2) 形状保持

卷积计算公式

对于 标准卷积（不考虑分组卷积或空洞卷积），输出特征图的尺寸（H_out 和 W_out）可以用以下公式计算：

$H_{\text{out}} = \frac{H_{\text{in}} - \text{kernel\_size} + 2 \times \text{padding}}{\text{stride}} + 1$

$W_{\text{out}} = \frac{W_{\text{in}} - \text{kernel\_size} + 2 \times \text{padding}}{\text{stride}} + 1$

• $H_{\text{in}}, W_{\text{in}}$ ：输入特征图的高度和宽度

• $H_{\text{out}}, W_{\text{out}}$ ：输出特征图的高度和宽度

• kernel_size：卷积核的大小（例如 3×3，此时 kernel_size=3）

• stride：步幅，决定滑动窗口移动的步长

• padding：填充的像素数，使得输入和输出尺寸一致

一般情况：

• 两次 3×3 卷积 具有 stride=1, padding=1，因此 输入 x 和 F(x) 的形状一致：

$H_{\text{out}} = \frac{H_{\text{in}} - 3 + 2 \times 1}{1} + 1 = H_{\text{in}}$

• 因此，直接相加不会改变形状。

如果通道数不匹配或 stride=2（降采样情况）：

• 需要使用 1×1 卷积 进行 投影变换（Projection），保证 x 和 F(x) 形状一致：

$\text{shortcut} = \text{Conv2d}(x, \text{out\_channels}, \text{kernel\_size}=1, \text{stride}, \text{padding}=0)$

2. 代码实现

import torch
import torch.nn as nn
import torch.nn.functional as F# 定义 ResNet 的 BasicBlock（适用于 ResNet-18/34）
class BasicBlock(nn.Module):def __init__(self, in_channels, out_channels, stride=1):super(BasicBlock, self).__init__()# 3x3 卷积核，保持 shapeself.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(out_channels)self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)self.bn2 = nn.BatchNorm2d(out_channels)# 处理输入 x 和 F(x) 形状不匹配情况self.shortcut = nn.Sequential()if stride != 1 or in_channels != out_channels:self.shortcut = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),nn.BatchNorm2d(out_channels))def forward(self, x):identity = self.shortcut(x)  # 跳跃连接（可能做 1x1 卷积调整通道）out = F.relu(self.bn1(self.conv1(x)))  # 第一个 3x3 卷积out = self.bn2(self.conv2(out))  # 第二个 3x3 卷积out += identity  # 跳跃连接out = F.relu(out)  # 最终输出return out# 例子：输入 (1, 64, 32, 32) 通过 BasicBlock
x = torch.randn(1, 64, 32, 32)
block = BasicBlock(64, 64, stride=1)
output = block(x)
print(output.shape)  # torch.Size([1, 64, 32, 32]) 形状保持

3. 形状变化分析

情况	卷积核	stride	padding	通道变化	H, W 变化	是否需要 1×1 变换
普通情况	3×3	1	1	相同	不变	不用 1×1 卷积
下采样	3×3	2	1	变大	H, W 降一半	需要 1×1 卷积
通道增加	3×3	1	1	变大	不变	需要 1×1 卷积

4. 总结

✅ 跳跃连接是 ResNet 的核心，使深度网络更易训练。

✅ 如果 stride=1，两次 3×3 卷积 + padding=1，形状不变，直接相加。

✅ 如果 stride=2 或通道数变化，则用 1×1 卷积调整 x 形状，确保可以相加。

✅ 这样既能保持特征信息，又能优化梯度流动，提高训练稳定性！ 🚀

讲一下resblock的跳跃连接,以及连接前后的shape保持(通过padding保持shape不变)

ResNet 残差块（ResBlock）的跳跃连接 & 形状保持 ResNet（Residual Network）通过残差块（Residual Block, ResBlock） 解决了深度网络的梯度消失问题。其核心是跳跃连接（Skip Connection&…...

编程日记 2025/9/7 3:42:21

Unity中优化绘制调用整理

DrawCall 指的是 CPU 向 GPU 发送渲染指令的过程，在 Unity 中，每次渲染一个网格时，CPU 都需要向 GPU 发送一系列的渲染指令，这个过程被称为一次绘制调用（Draw Call）。 1.GPU实例化使用： 2.绘…...

编程日记 2025/9/7 2:53:10

Coco-AI 支持嵌入，让你的网站拥有 AI 搜索力

在之前的实践中，我们已经成功地把 Hexo、Hugo 等静态博客和 Coco-AI 检索系统打通了：只要完成向量化索引，就可以通过客户端问答界面实现基于内容的智能检索。这一层已经很好用了，但总觉得少了点什么—— 比如用户还得专门打开一…...

编程日记 2025/8/31 4:23:46

深入解析Java哈希表：从理论到实践

哈希表（Hash Table）是计算机科学中最重要的数据结构之一，也是Java集合框架的核心组件。本文将以HashMap为切入点，深入剖析Java哈希表的实现原理、使用技巧和底层机制。一、哈希表基础原理 1. 核心概念键值对存储：通…...

编程日记 2025/8/28 18:41:55

leetcode76.最小覆盖子串

思路源于【小白都能听懂的算法课】【力扣】【LeetCode 76】最小覆盖子串｜滑动窗口｜字符串初始化先创建t的哈希表记录t中的字符以及它出现的次数，t的have记录t中有几种字符 s的哈希表记录窗口中涵盖t的字符以及它出现的次数，初始…...

编程日记 2025/9/4 8:28:59

【HTB】Windwos-easy-Legacy靶机渗透

靶机介绍，一台很简单的WIndows靶机入门知识点 msfconsole利用 SMB历史漏洞利用 WIndows命令使用，type查看命令目录标题一、信息收集二、边界突破三、权限提升一、信息收集靶机ip：10.10.10.4攻击机ip：10.10.16.26 扫描TC…...

编程日记 2025/9/7 9:44:43

一问讲透redis持久化机制-rdb aof

一问讲透redis持久化机制-rdb aof 文章目录一问讲透redis持久化机制-rdb aof前言一、RDB二、AOF二、原理前言提示：这里可以添加本文要记录的大概内容： redis作为内存数据库，常常作为系统的缓存使用，但是内存是断电清空数据的…...

编程日记 2025/9/5 0:43:57

【大模型基础_毛玉仁】6.4 生成增强

目录 6.4 生成增强6.4.1 何时增强1）外部观测法2）内部观测法 6.4.2 何处增强6.4.3 多次增强6.4.4 降本增效1）去除冗余文本2）复用计算结果 6.4 生成增强检索器得到相关信息后，将其传递给大语言模型以期增强模型的生成能…...

编程日记 2025/9/7 13:13:50

4.1-泛型编程深入指南

4.1 泛型编程深入指南本节将带您深入探索C#泛型机制在游戏开发中的高级应用。通过游戏对象池、数据管理器、事件系统等实际案例，您将学习如何运用泛型构建高效、灵活的游戏系统。掌握这些知识将帮助您开发出性能更好、架构更清晰的游戏。前置知识在学习本节内容…...

编程日记 2025/9/3 7:08:32

《K230 从熟悉到...》识别机器码（AprilTag）

《K230 从熟悉到...》识别机器码（aprirltag） tag id 《庐山派 K230 从熟悉到...》识别机器码（AprilTag） AprilTag是一种基于二维码的视觉标记系统，最早是由麻省理工学院（MIT）在2008年开发的。A…...

编程日记 2025/9/3 7:55:50

操作系统（二）：实时系统介绍与实例分析

目录一.概念 1.1 分类 1.2 主要指标二.实现原理三.主流实时系统对比一.概念实时系统（Real-Time System, RTS）是一类以时间确定性为核心目标的计算机系统，其设计需确保在严格的时间约束内完成任务响应。 1.1 分类根据时间约束的严…...

编程日记 2025/9/5 3:41:44

虚拟电商-话费充值业务（六）话费充值业务回调补偿

一、话费充值回调业务补偿业务需求：供应商对接下单成功后充吧系统将订单状态更改为：等待确认中，此时等待供应商系统进行回调，当供应商系统回调时说明供应商充值成功，供应商回调充吧系统将充吧的订单改为充值成功&…...

编程日记 2025/8/30 7:48:33

加密解密工具箱 - 专业的在线加密解密工具

加密解密工具箱 - 专业的在线加密解密工具您可以通过以下地址访问该工具： https://toolxq.com/static/hub/secret/index.html 工具简介加密解密工具箱是一个功能强大的在线加密解密工具，支持多种主流加密算法，包括 Base64、AES、RSA、DES…...

编程日记 2025/9/5 4:27:43

印度股票实时数据API接口选型指南：iTick.org如何成为开发者优选

在全球金融数字化浪潮中，印度股票市场因其高速增长潜力备受关注。对于量化交易开发者、金融科技公司而言，稳定可靠的股票报价API接口是获取市场数据的核心基础设施。本文将深度对比主流印度股票API，并揭示iTick在数据服务领域的独特优势。一…...

编程日记 2025/9/5 11:21:35

使用python实现视频播放器（支持拖动播放位置跳转）

使用python实现视频播放器（支持拖动播放位置跳转） Python实现视频播放器，在我早期的博文中介绍或作为资料记录过 Python实现视频播放器 https://blog.csdn.net/cnds123/article/details/145926189 Python实现本地视频/音频播放器https://bl…...

编程日记 2025/9/6 4:24:48

Python星球日记 - 第2天：数据类型与变量

🌟引言： 上一篇：Python星球日记 - 第1天：欢迎来到Python星球名人说：莫听穿林打叶声，何妨吟啸且徐行。—— 苏轼《定风波莫听穿林打叶声》创作者：Code_流苏(CSDN)（一个喜欢古诗词和…...

编程日记 2025/9/2 19:58:23

CyclicBarrier、Semaphore、CountDownLatch的区别，适用场景

CyclicBarrier、Semaphore 和 CountDownLatch 是 Java 并发包中用于线程协作的工具类，它们虽然都与线程同步相关，但设计目的和使用场景有显著差异。以下是它们的核心区别和典型应用场景： 1. CountDownLatch 核心机制一次性计数器&#xf…...

编程日记 2025/9/7 1:29:49

【愚公系列】《高效使用DeepSeek》050-外汇交易辅助

🌟【技术大咖愚公搬代码：全栈专家的成长之路，你关注的宝藏博主在这里！】🌟 📣开发者圈持续输出高质量干货的"愚公精神"践行者——全网百万开发者都在追更的顶级技术博主！ 👉 江湖人称"愚公搬代码"，用七年如一日的精神深耕技术领域，以"…...

编程日记 2025/9/4 14:16:25

java短连接，长连接

在网络通信中，短连接（Short Connection）是指客户端与服务器建立连接后，仅完成一次或几次数据交互就立即断开连接的通信方式。以下是关于短链接的详细说明： 一、短链接的核心特点连接短暂数据传输完成后立即关闭连接…...

编程日记 2025/8/28 18:41:26

从零开始训练Codebook：基于ViT的图像重建实践

完整代码在文末，可以一键运行。 1. 核心原理 Codebook是一种离散表征学习方法，其核心思想是将连续特征空间映射到离散的码本空间。我们的实现方案包含三个关键组件： 1.1 ViT编码器 class ViTEncoder(nn.Module):def __init__(self, codebo…...

编程日记 2025/8/28 18:41:24

每日一题洛谷P8664 [蓝桥杯 2018 省 A] 付账问题c++

P8664 [蓝桥杯 2018 省 A] 付账问题 - 洛谷 (luogu.com.cn) 思路：要使方差小，那么钱不能一下付的太多，可以让钱少的全付玩，剩下还需要的钱再让钱多的付（把钱少的补上）。将钱排序，遍历一遍&…...

编程日记 2025/8/28 18:41:22

蓝桥杯真题——传送阵

原题连接：蓝桥杯2024年第十五届省赛真题-传送阵 - C语言网知识点：并查集题目描述小蓝在环球旅行时来到了一座古代遗迹，里面并排放置了 n 个传送阵，进入第 i 个传送阵会被传送到第 ai 个传送阵前，并且可以随时选择…...

编程日记 2025/9/4 0:42:20

解释回溯算法，如何应用回溯算法解决组合优化问题？

一、回溯算法核心原理回溯算法本质是暴力穷举的优化版本，采用"试错剪枝"策略解决问题。其核心流程如下： 路径构建：记录当前选择路径选择列表：确定可用候选元素终止条件：确定递归结束时机剪枝优化…...

编程日记 2025/8/28 23:28:11

opencv连接vs2015

需要改的地方： 1.debug x64 2.vc目录包含目录：D:\softword\opencv\opencv3416\opencv\build\include 3.vc目录库目录：D:\softword\opencv\opencv3416\opencv\build\x64\vc14\lib 4.链接器——输入：D:\softword\ope…...

编程日记 2025/9/4 20:13:27

用matlab搭建一个简单的图像分类网络

文章目录 1、数据集准备2、网络搭建3、训练网络4、测试神经网络5、进行预测6、完整代码 1、数据集准备首先准备一个包含十个数字文件夹的DigitsData，每个数字文件夹里包含1000张对应这个数字的图片，图片的尺寸都是 28281 像素的，如下图所示…...

编程日记 2025/9/4 16:11:46

移动端六大语言速记：第6部分 - 错误处理与调试

移动端六大语言速记：第6部分 - 错误处理与调试本文将对比Java、Kotlin、Flutter(Dart)、Python、ArkTS和Swift这六种移动端开发语言在错误处理与调试方面的特性，帮助开发者理解和掌握各语言的异常处理机制。 6. 错误处理与调试 6.1 异常处理各语言异常处理的语法对比：…...

编程日记 2025/9/4 3:49:43

【数据库】达梦arm64安装

话不多说，快速开始~ 1.下载进入官网： 产品下载 | 达梦在线服务平台下载安装包。选飞腾、鲲鹏都可以，都是arm架构的。我选择的是： 直接下载地址是https://download.dameng.com/eco/adapter/DM8/202502/dm8_20250117_HWarm920…...

编程日记 2025/9/4 12:58:08

QTableWidget 中insertRow(0)（头插）和 insertRow(rowCount())（尾插）的性能差异

一、目的在 Qt 的 QTableWidget 中，insertRow(0) （头插）和 insertRow(rowCount())（尾插）在性能上存在显著差异。二、QAbstractItemModel:: insertRows 原文解释 QAbstractItemModel Class | Qt Core 5.15.18 AI 解…...

编程日记 2025/9/7 1:29:52

使用MFC ActiveX开发KingScada控件（OCX）

最近有个需求，要在KingScada上面开发一个控件。原来是用的WinCC，WinCC本身是支持调用.net控件，就是winform控件的，winform控件开发简单，相对功能也更丰富。奈何WinCC不是国产的。话说KingScada，国产组态软…...

编程日记 2025/9/7 0:30:17

大模型学习二：DeepSeek R1+蒸馏模型组本地部署与调用

一、说明 DeepSeek R1蒸馏模型组是基于DeepSeek-R1模型体系，通过知识蒸馏技术优化形成的系列模型，旨在平衡性能与效率。 1、技术路径与核心能力基础架构与训练方法‌ ‌DeepSeek-R1-Zero‌：通过强化学习（RL）训练&…...

编程日记 2025/9/5 19:27:40

通过 Markdown 改进 RAG 文档处理

通过 Markdown 改进 RAG 文档处理作者：Tableau 原文地址：https://zhuanlan.zhihu.com/p/29139791931 通过 Markdown 改进 RAG 文档处理https://mp.weixin.qq.com/s/LOBOKNA71dANXHuwxe7yxw 如何将 PDF 转换为 Markdown 以获得更好的 LLM RAG 结果 Mar…...

编程日记 2025/9/3 7:34:33

Java学习总结-IO流

什么IO流？ 以内存为主体。input：磁盘向内存输入内容。output：内存向磁盘输入内容。 IO流的分类：...

编程日记 2025/8/28 23:27:54

python发送qq邮件

1.发送邮件的前提是你的qq邮箱设置能够用程序访问这个服务点打开就在设置->账号中可以找到 # 导入 smtplib 库，用于实现 SMTP 协议，可实现邮件的发送功能 import smtplib # 从 email.mime.multipart 模块导入 MIMEMultipart 类，用…...

编程日记 2025/9/1 21:06:47

使用Deployment运行无状态应用

使用Deployment运行无状态应用文章目录使用Deployment运行无状态应用[toc]一、工作负载资源与控制器二、ReplicationController、ReplicaSet和Deployment1. ReplicationController（已淘汰）2. ReplicaSet（ReplicationController 的增强版&am…...

编程日记 2025/9/6 4:06:59

QT Quick（C++）跨平台应用程序项目实战教程 6 — 弹出框

目录 1. Popup组件介绍 2. 使用上一章内容完成了音乐播放器程序的基本界面框架设计。本小节完成一个简单的功能。单击该播放器顶部菜单栏的“关于”按钮，弹出该程序的相关版本信息。我们将使用Qt Quick的Popup组件来实现。 1. Popup组件介绍 Qt 中的 Popup 组件…...

编程日记 2025/9/5 3:55:42

Design Compiler：库特征分析(ALIB)

相关阅读 Design Compilerhttps://blog.csdn.net/weixin_45791458/category_12738116.html?spm1001.2014.3001.5482 简介在使用Design Compiler时，可以对目标逻辑库进行特征分析，并创建一个称为ALIB的伪库（可以被认为是缓存）&…...

编程日记 2025/8/28 23:27:47

2025高频面试设计模型总结篇

文章目录设计模型概念单例模式工厂模式策略模式责任链模式设计模型概念设计模式是前人总结的软件设计经验和解决问题的最佳方案，它们为我们提供了一套可复用、易维护、可扩展的设计思路。 （1）定义： 设计模式是一套经过验证的…...

编程日记 2025/9/6 17:35:04

41. 评论日记

越复杂的结构越脆弱，你不能因为有智驾有只能，你就全交给它了，手机永久了还发热呢，你全交给它那你要死了也怪不了谁。这年头的手机基本都有防水，但是你天天拿着这个在泳池里玩，哪天炸了我都只能说炸的响炸的…...

编程日记 2025/9/5 19:25:17

Python第七章09：自定义python包.py

# 自定义python包# 从物理上看，包就是一个文件夹，在该文件夹下包含了一个_init_.py文件，该文件夹可用于包含多个模块文件 # 从逻辑上看，包的本质依然是模块 # _init_.py 标识python包，没有就是普通文件夹&#xff0…...

编程日记 2025/9/2 10:58:19

基于大模型预测升主动脉瘤的多维度诊疗研究报告

目录一、引言 1.1 研究背景 1.2 研究目的与意义二、升主动脉瘤概述 2.1 定义与分类 2.2 发病原因与机制 2.3 流行病学现状三、大模型技术原理及应用现状 3.1 大模型基本原理 3.2 在医疗领域的应用进展 3.3 针对升主动脉瘤预测的独特价值四、术前大模型预测方案…...

编程日记 2025/9/2 15:02:39

目录 1. table.concat(list [, sep [, i [, j]]])2. table.insert(list, [pos,] value)3. table.move(src, a, b, dest [, dest_pos]) (Lua 5.3)4. table.pack(...) (Lua 5.2)5. table.remove(list [, pos])6. table.sort(list [, comp])7. table.unpack(list [, i [, j]])总结…...

编程日记 2025/9/2 13:03:52

相关文章：