当前位置：首页 > news >正文

深度学习·经典模型·SwinTransformer

news 来源：原创 2025/5/21 0:10:27

SwinTransformer

主要创新点：移动窗口，基于窗口的注意力计算

Patch Embedding

下采样打包为Pacth：可以直接使用Conv2d
也可以先打包后使用embedding映射。

Patch Merging

类似池化的操作,压缩图片大小，同时通道数增多，获得更多的语义信息。
实现：获得相邻的Patch,然后在通道维度上concat，维度变为 $4 C$ ，最后经过线性层投射回 $2 C$ 。

例子

1,2,5,6是相邻的2x2的Patch

[	[1,2,3,4][5,6,7,8][9,10,11,12][13,14,15,16]]

通过切片获得对应位置的元素
注意我们从通道维度上拼接，所以不能按照传统的上下拼接的思路理解
这段代码的效果是：编号1,2,5,6的特征向量拼接，(相邻元素就好像叠加在一起)

        x0 = x[:, 0::2, 0::2, :]  # [B, H/2, W/2, C]x1 = x[:, 1::2, 0::2, :]  # [B, H/2, W/2, C]x2 = x[:, 0::2, 1::2, :]  # [B, H/2, W/2, C]x3 = x[:, 1::2, 1::2, :]  # [B, H/2, W/2, C]x = torch.cat([x0, x1, x2, x3], -1)  # [B, H/2, W/2, 4*C]

窗口注意力机制

本文使用了窗口注意力机制，计算复杂度是随着图像扩大线性增长的
这点就好比 $8 * 8 = 64 >>> 4 * (2 * 2) = 16$ )，小窗口 $2 * 2$ 比大窗口 $8 * 8$ 明显复杂度低很多。

实现讲解

输入： $B*N_w,M_h*M_w,C)$ ： $N_w$ 是窗口数量，可以参加Embedding层 $N_w=\frac{H*W}{M_h*M_w}$
输入的理解：将窗口数量理解为一种批次， $M_h*M_w$ 作为序列的长度，reshape为指定维度： $B*N_w,M_h*N_w,C)$
快速计算KQV，直接使用线性层映射为 $B*N_w,M_h*N_w,3C)$ ，然后拆分最后一个维度 $3 C$ ，变成各自 $3，B*N_w,M_h*N_w,C)$ 的QKV大小，为分离QKV作准备。
多头注意力机制：每一个KQV维度 $3,B*N_w,M_h*N_w,C)$ ，转换为 $3，B*N_w,N_{head},M_h*N_w,dim_{head})$ , $N_{head}$ 不会参与计算，只需要最后两个维度进行KQV的矩阵乘法即可获得最终的多头注意力输出!
然后就是Masked掩码操作：这里使用的是加性掩码，掩码的生成方式见下。
输出维度不变： $B*N_w,M_h*M_w,C)$

    def forward(self, x, mask: Optional[torch.Tensor] = None):"""Args:x: input features with shape of (num_windows*B, Mh*Mw, C)mask: (0/-inf) mask with shape of (num_windows, Wh*Ww, Wh*Ww) or None"""# [batch_size*num_windows, Mh*Mw, total_embed_dim]B_, N, C = x.shape# qkv(): -> [batch_size*num_windows, Mh*Mw, 3 * total_embed_dim]# reshape: -> [batch_size*num_windows, Mh*Mw, 3, num_heads, embed_dim_per_head]# permute: -> [3, batch_size*num_windows, num_heads, Mh*Mw, embed_dim_per_head]qkv = self.qkv(x).reshape(B_, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)# [batch_size*num_windows, num_heads, Mh*Mw, embed_dim_per_head]q, k, v = qkv.unbind(0)  # make torchscript happy (cannot use tensor as tuple)# transpose: -> [batch_size*num_windows, num_heads, embed_dim_per_head, Mh*Mw]# @: multiply -> [batch_size*num_windows, num_heads, Mh*Mw, Mh*Mw]q = q * self.scaleattn = (q @ k.transpose(-2, -1))# relative_position_bias_table.view: [Mh*Mw*Mh*Mw,nH] -> [Mh*Mw,Mh*Mw,nH]relative_position_bias = self.relative_position_bias_table[self.relative_position_index.view(-1)].view(self.window_size[0] * self.window_size[1], self.window_size[0] * self.window_size[1], -1)relative_position_bias = relative_position_bias.permute(2, 0, 1).contiguous()  # [nH, Mh*Mw, Mh*Mw]attn = attn + relative_position_bias.unsqueeze(0)if mask is not None:# mask: [nW, Mh*Mw, Mh*Mw]nW = mask.shape[0]  # num_windows# attn.view: [batch_size, num_windows, num_heads, Mh*Mw, Mh*Mw]# mask.unsqueeze: [1, nW, 1, Mh*Mw, Mh*Mw]attn = attn.view(B_ // nW, nW, self.num_heads, N, N) + mask.unsqueeze(1).unsqueeze(0)attn = attn.view(-1, self.num_heads, N, N)attn = self.softmax(attn)else:attn = self.softmax(attn)attn = self.attn_drop(attn)# @: multiply -> [batch_size*num_windows, num_heads, Mh*Mw, embed_dim_per_head]# transpose: -> [batch_size*num_windows, Mh*Mw, num_heads, embed_dim_per_head]# reshape: -> [batch_size*num_windows, Mh*Mw, total_embed_dim]x = (attn @ v).transpose(1, 2).reshape(B_, N, C)x = self.proj(x)x = self.proj_drop(x)return x

滑动窗口的实现

本文的核心操作：实现起来不难
实现代码：注意图像整体往右下，roll这个函数是相当于移动窗口的，所以是往左上移动窗口
输入和输出是以图片的格式： $(B, H * W, C)$

        if self.shift_size > 0:shifted_x = torch.roll(x, shifts=(-self.shift_size, -self.shift_size), dims=(1, 2))

移动窗口注意力

先调用移动窗口：对图像进行移动处理。
使用被移动后的图像进行窗口注意力计算,输出维度 $B*N_w,M_h*M_w,C)$ ：
还原为图像 $(B, H, W, C)$
以反方向移动图像：x = torch.roll(shifted_x, shifts=(self.shift_size, self.shift_size), dims=(1, 2))
reshape为： $(B, H * W, C)$ ，丢入MLP中处理，放大 $4 C$ ，然后还原为 $C$ 。

在这里插入图片描述

MASK的实现

建议直接抄以下代码：

    def create_mask(self, x, H, W):# calculate attention mask for SW-MSA# 保证Hp和Wp是window_size的整数倍Hp = int(np.ceil(H / self.window_size)) * self.window_sizeWp = int(np.ceil(W / self.window_size)) * self.window_size# 拥有和feature map一样的通道排列顺序，方便后续window_partitionimg_mask = torch.zeros((1, Hp, Wp, 1), device=x.device)  # [1, Hp, Wp, 1]h_slices = (slice(0, -self.window_size),slice(-self.window_size, -self.shift_size),slice(-self.shift_size, None))w_slices = (slice(0, -self.window_size),slice(-self.window_size, -self.shift_size),slice(-self.shift_size, None))cnt = 0for h in h_slices:for w in w_slices:img_mask[:, h, w, :] = cntcnt += 1mask_windows = window_partition(img_mask, self.window_size)  # [nW, Mh, Mw, 1]mask_windows = mask_windows.view(-1, self.window_size * self.window_size)  # [nW, Mh*Mw]attn_mask = mask_windows.unsqueeze(1) - mask_windows.unsqueeze(2)  # [nW, 1, Mh*Mw] - [nW, Mh*Mw, 1]# [nW, Mh*Mw, Mh*Mw]attn_mask = attn_mask.masked_fill(attn_mask != 0, float(-100.0)).masked_fill(attn_mask == 0, float(0.0))return attn_mask

在这里插入图片描述

深度学习·经典模型·SwinTransformer

SwinTransformer 主要创新点：移动窗口，基于窗口的注意力计算 Patch Embedding 下采样打包为Pacth：可以直接使用Conv2d 也可以先打包后使用embedding映射。 Patch Merging 类似池化的操作,压缩图片大小，同时通道数增多&#xff…...

编程日记 2025/5/21 0:10:27

在开发板上如何处理curl: (60) SSL certificate problem

目录引言问题解析解决方法跳过证书验证采用证书认证结语引言最近一直推荐学生们在课程实验中使用curl及其libcurl。curl 是一个强大的命令行工具，用于在命令行中进行数据传输。它支持多种协议，如 HTTP、HTTPS、FTP、FTPS、SCP、SFTP 等。…...

编程日记 2025/4/30 6:54:16

Ansible 铸就 Linux 安全之盾（Ansible Builds Linux Security Shield）

Ansible 铸就 Linux 安全之盾：自动化基线检查与防护在当今网络安全形势日益严峻的背景下，Linux 系统作为服务器和关键基础设施的核心，其安全防护显得尤为重要。Ansible 作为一款强大的自动化运维工具，能够帮助我们高效、可靠地实…...

编程日记 2025/5/18 11:23:34

字符串（格式化字符串字面值）进行输出

在 Python 中，print(fnew_obs:{new_obs}) 这种形式是使用 f 字符串（格式化字符串字面值） 进行输出，它可以打印任何可转换为字符串的数据类型，并且支持在字符串中嵌入表达式。以下是详细说明： 1. 基本功能…...

编程日记 2025/5/6 13:45:59

微服务架构详解：从概念到实践

目录前言1. 微服务架构概述1.1 什么是微服务？1.2 微服务的核心思想 2. 微服务的优势2.1 可扩展性2.2 高灵活性2.3 容错性和可靠性2.4 高效开发与部署 3. 微服务的挑战3.1 系统复杂性增加3.2 分布式事务和数据一致性3.3 部署和运维的复杂性 4. 微服务的实施与实践4.…...

编程日记 2025/5/20 23:11:47

激光驱鸟：以科技重构生态防护边界

技术原理激光驱鸟装置的核心机制基于鸟类视觉系统特性。其发射的绿色激光束（波长通常为532纳米）处于鸟类视网膜敏感光谱范围内，当激光束在特定角度扫描时，会形成动态光斑干扰。鸟类视网膜中视锥细胞对绿色光的高敏感度使其产生应…...

编程日记 2025/4/30 6:53:12

【Python魔法方法（特殊方法）】

在 Python 中，许多运算符都可以进行重载，以下是一些常见运算符及其对应的魔法方法（特殊方法）： 算术运算符加法 ：__add__ 用于定义对象相加的行为。例如，当你对两个自定义类的实例使用运算符…...

编程日记 2025/5/20 23:11:47

centos上安装python的3.13版本

在 CentOS 上安装 Python 3.13（或其它自定义版本）最推荐的方法是通过源码编译安装，不会影响系统自带的 Python2/Python3 环境，也更灵活可控。以下步骤适用于： ✅ CentOS 7 / 8 / 9 ✅ 安装 Python 3.13（…...

编程日记 2025/5/20 23:53:15

实习技能记录【4】-----消息分发中的观察者模型

观察者观察者模式（Observer Pattern）是一种行为型设计模式，主要用于定义对象之间的一对多依赖关系，让多个观察者对象能够同时监听某个主题对象的状态变化，并在主题对象状态改变时自动通知所有观察者对象。参考b站博…...

编程日记 2025/4/30 6:53:10

Linux 下编译BusyBox

一、linux下编译 1.拉取busybox源码 git clone https://github.com/mirror/busybox.git 内容如下 2.配置make，建议在linux下单独开一个终端执行进入busybox源码目录，使用如下命令 make menuconfig 3.报错解决办法： 安装ncurses sud…...

编程日记 2025/5/20 23:24:11

Linux《进程概念（中）》

在之前的Linux《进程概念（上）》当中我们已经了解了进程的基本概念以及如何去创建对应的子进程，那么接下来在本篇当中我们就继续来进程的学习，在本篇当中我们要学习到进程的状态、进程的优先级、进程切换、Linux真实的调度算法——…...

编程日记 2025/5/5 20:24:38

Linux Vim 使用显示行号、替换、查找、多文件打开等骚操作

目录简述 vim的三种模式概述转换方式文本编辑命令模式插入（编辑）模式底行模式搜索关键字显示行号替换多文件打开简述 vi编辑器是Linux系统下标准的编辑器。那么简单的理解，就像是Windows下的记事本。补充&a…...

编程日记 2025/5/20 23:10:00

AimRT 从零到一：官方示例精讲 —— 三、Executor示例.md

Executor示例官方仓库：executor 配置文件（configuration_executor.yaml） 依据官方示例项目结构自行编写YAML配置文件： # 基础信息 base_info:project_name: Logger # 项目名称build_mode_tags: ["EXAMPLE", &quo…...

编程日记 2025/5/20 23:14:38

只把夜莺监控当作告警来使用：一种轻量化的运维实践

只把夜莺监控当作告警来使用：一种轻量化的运维实践在现代的 IT 运维体系中，监控和告警是两个经常被一同提及的概念。然而，在实际工作中，很多团队对监控系统的需求并不一定全面覆盖指标采集、可视化展示、告警触发等功能&#xf…...

编程日记 2025/5/12 2:09:47

按键精灵安卓ios辅助工具脚本：实用的文件插件（lua开源）

亮点：此lua插件可再android和ios上通用 1、获取文件的属性 2、改变当前的工作路径为dirpath 3、获取当前的工作路径 4、创建文件夹，支持多级创建 5、删除文件夹 6、递归遍历文件夹 7、设置文件的访问时间和修改时间函数原型：lfs.Attribute(…...

编程日记 2025/4/30 6:52:04

水库现代化建设指南-水库运管矩阵管理系统建设方案

政策背景 2023年8月24日，水利部发布的水利部关于加快构建现代化水库运行管理矩阵的指导意见中指出，在全面推进水库工程标准化管理的基础上，强化数字赋能，加快构建以推进全覆盖、全要素、全天候、全周期“四全”管理，完…...

编程日记 2025/5/9 23:35:39

若依后台管理系统-v3.8.8-登录模块--个人笔记

各位编程爱好者们，你们好！今天让我们来聊聊若依系统在登录模块的一些业务逻辑，以及本人的一些简介和心得，那么废话不多说，让我们现在开始吧。以下展示的这段代码，正是若依在业务层对应的登录代码&#xf…...

编程日记 2025/4/30 6:51:00

Flip PDF Plus Corp7.7.22电子书制作软件

flip pdf plus corporate7.7.22中文版由FlipBuilder官方出品的一款企业级的翻页电子书制作软件，拥有丰富的模板，主题和动画场景，每本书最大页数1000页，每本书的最大大小1GB，即可以帮助企业用户制作好丰富的电子书籍。 …...

编程日记 2025/4/30 6:50:59

公路安全知识竞赛主持稿串词

合 ：尊敬的各位领导、各位来宾、各位选手 ： 大家上午好! 男 ：安全就是生命，安全就是效益，安全是一切工作的重中之重！安全生产只有满分，没有及格。只有安全生产这个环节不出差错，我…...

编程日记 2025/5/10 2:48:32

工具：vscode、qttools、qtconfigure Search Mode改成基于cmake的。 # 在项目中指定Qt的路径 set(Qt5_DIR "/home/jp/qt-everywhere-src-5.12.9/arm-qt/lib/cmake/Qt5") # 用于指定 Qt5 的安装路径 find_package(Qt5 REQUIRED COMPONENTS Widgets)这样就…...

编程日记 2025/4/30 6:49:57

Node.js 事件循环和线程池任务完整指南

在 Node.js 的运行体系中，事件循环和线程池是保障其高效异步处理能力的核心组件。事件循环负责调度各类异步任务的执行顺序，而线程池则承担着处理 CPU 密集型及部分特定 I/O 任务的工作。接下来，我们将结合图示，详细剖析两者的工作…...

编程日记 2025/5/3 6:26:55

Java之BigDecimal

BigDecimal 是 Java 中用于高精度计算的类，特别适合需要精确十进制运算的场景，如金融计算、货币运算、概率计算等。为什么需要 BigDecimal类解决浮点数精度问题：float 和 double 使用二进制浮点运算，无法精确表示某些十进制小数…...

编程日记 2025/5/7 6:11:48

Qt5与现代OpenGL学习（四）X轴方向旋转60度

把上面两张图像放到D盘1文件夹内： shader.h #ifndef SHADER_H #define SHADER_H#include <QDebug> #include <QOpenGLShader> #include <QOpenGLShaderProgram> #include <QString>class Shader { public:Shader(const QString& verte…...

编程日记 2025/4/30 6:49:54

基于LVS+Keepalived+NFS的高可用负载均衡集群部署

目录项目功能 2 项目的部署 2.1 部署环境介绍 2.2 项目的拓扑结构 2.3 项目环境调试 2.4 项目的部署 2.4.1 安装软件； 2.4.2 NFS服务器配置 2.4.3 Web节点配置 2.5 项目功能的验证 2.6 项目对应服务使用的日志项目功能负载均衡功能实现原理：基于LVS（D…...

编程日记 2025/4/30 6:48:52

人工智能数学基础（四）：线性代数

线性代数是人工智能领域的核心数学工具之一，广泛应用于数据表示、模型训练和算法优化等多个环节。本文将系统梳理线性代数的关键知识点，并结合 Python 实例，助力读者轻松掌握这一重要学科。资源绑定附上完整资源供读者参考学习！ …...

编程日记 2025/4/30 6:48:50

基于C++的IOT网关和平台1：github项目ctGateway

初级代码游戏的专栏介绍与文章目录-CSDN博客我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。源码指引：github源…...

编程日记 2025/4/30 6:47:48

LeetCode 2962.统计最大元素出现至少 K 次的子数组：滑动窗口

【LetMeFly】2962.统计最大元素出现至少 K 次的子数组：滑动窗口力扣题目链接：https://leetcode.cn/problems/count-subarrays-where-max-element-appears-at-least-k-times/ 给你一个整数数组 nums 和一个正整数 k 。请你统计有多少满足「 nums 中…...

编程日记 2025/5/5 3:20:25

Nginx反向代理的负载均衡配置

Nginx 负载均衡详解在互联网应用中，随着网站访问量的不断攀升，服务器的服务模式也需要进行相应升级。诸如分离数据库服务器、将图片作为单独服务等操作，这些都属于简单的数据负载均衡，其目的是将压力分散到不同机器上。而来自 We…...

编程日记 2025/4/30 6:47:47

案例速成GO+Socket，个人笔记

更多个人笔记：（仅供参考，非盈利） gitee： https://gitee.com/harryhack/it_note github： https://github.com/ZHLOVEYY/IT_note 文章目录简单知识了解实现一个TCP 服务器与客户端（聊天室&#x…...

编程日记 2025/4/30 6:47:45

篮球足球体育球员综合资讯网站模板

采用帝国CMS7.5新版核心。栏目和内容模板超多变换。后台操作简单，安全可靠，性能稳定。整站浏览效果高端大气，可以帮助你快速建立一个适合自己的软件下载类型的站点！ 演示地址：https://www.tmuban.com/store/620.html …...

编程日记 2025/4/30 6:47:45

HTTP（超文本传输协议）全面总结

HTTP（HyperText Transfer Protocol，超文本传输协议）是万维网（World Wide Web）应用中的基础协议，用于客户端与服务器之间的数据传输。随着互联网技术的发展，HTTP协议也经历了多个版本的更新&…...

编程日记 2025/5/15 22:12:42

OpenCV 图形API（72）图像与通道拼接函数-----根据指定的方式翻转图像（GMat）函数 flip()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述翻转一个2D矩阵，围绕垂直轴、水平轴或同时围绕两个轴。该函数以三种不同的方式之一翻转矩阵（行和列的索引是从0开始的&a…...

编程日记 2025/4/30 6:46:43

【报错问题】 macOS 的安全策略（Gatekeeper）阻止了未签名的原生模块（bcrypt_lib.node）加载

这个错误是由于 macOS 的安全策略（Gatekeeper）阻止了未签名的原生模块（bcrypt_lib.node）加载导致的。以下是具体解决方案： 1. 临时允许加载未签名模块（推荐先尝试） 在终端运行以下命令&#x…...

编程日记 2025/4/30 6:46:42

keep-alive具体使用方法

什么是 Keep-Alive <keep-alive> 是 Vue.js 提供的一个内置组件，用于缓存动态组件实例，从而避免重复渲染已加载过的组件。它的主要功能是在切换组件时保留状态和 DOM 结构，提升性能。工作原理 <keep-alive> 的核心在于维护一个…...

编程日记 2025/4/30 6:46:42

【C++11】包装器：function与bind

前言： 上文我们学了C11中一个新的表达式：Lambda表达式。Lambda表达式可以在函数内部定义，其本质是仿函数【C11】Lambda表达式-CSDN博客本文我们来学习C11的下一个新语法：包装器 function function的定义为： templat…...

编程日记 2025/5/14 4:19:58

Educational Codeforces Round 178 div2(题解ABCDE)

A. Three Decks #1.由于最后三个数会相等，提前算出来和，%3判断，再判前两个数是否大于 #include<iostream> #include<vector> #include<stdio.h> #include<map> #include<string> #include<algorithm> #…...

编程日记 2025/5/12 23:07:07

mermaid 序列图解析

sequenceDiagramparticipant UI as 用户界面participant Executor as 任务执行器participant StateMgr as 状态管理器participant Repo as 数据仓库UI->>Executor: 执行任务3350c74e...Executor->>StateMgr: 更新状态为"measuring"StateMgr->>Repo…...

编程日记 2025/4/30 6:46:40

DTO,VO,PO,Entity

1. DTO (Data Transfer Object) 定义 DTO 是数据传输对象，用于在不同系统或层之间传输数据。目的简化数据传输，降低耦合，通常只包含需要传输的字段，避免暴露内部实现细节。使用场景 Controller 和 Service 或远程调用之…...

编程日记 2025/5/16 8:45:42

Proser：重新介绍

回想Proser的定位：一款直观的【协议发送】模拟软件。现在间断更新下来，基本成了一款通信调试助手类软件 Proser 是一款支持串口与网络的通信调试助手，其独有的协议编辑器、数据检视、标尺等功能，让指令模拟与数据分析更加易用。…...

编程日记 2025/4/30 6:45:38

微信小程序首页之轮播图和搜索框代码分享

注意！！！ 只有样式，还没功能开发！！！ index.wxml  <view class"search"><input placeholder"请输入搜索的内容"></input><imag…...

编程日记 2025/5/5 23:07:15

3D可视化编辑器模版

体验地址：http://mute.turntip.cn 整个搭建平台核心模块包含如下几个部分： 3D场景渲染组件拖拽系统元素编辑功能状态管理历史记录与撤销/重做技术栈前端框架与库 React 18 用于构建用户界面的JavaScript库 Next.js 14 React框架，提供服…...

编程日记 2025/4/30 6:45:36

foc控制 - clarke变换和park变换

1. foc控制框图下图是foc控制框图，本文主要是讲解foc控制中的larke变换和park变换clarke变换将静止的 a b c abc abc坐标系变换到静止的 α β αβ αβ坐标系，本质上还是以定子为基准的坐标系park变换则将 α β αβ αβ坐标系变换到随转…...

编程日记 2025/5/20 10:02:53

DeepSeek: 探索未来的深度学习搜索引擎

深度学习驱动的下一代搜索引擎：DeepSeek 在信息爆炸的时代，搜索引擎作为连接用户与互联网世界的桥梁，其重要性不言而喻。然而，随着用户需求的日益多样化和复杂化，传统搜索引擎在理解和满足用户需求方面逐渐显现出局限…...

编程日记 2025/5/6 15:08:49

如何在本地部署小智服务器：从源码到全模块运行的详细步骤

小智聊天机器人本地后台服务器源码全模块部署作者：林甲酸 -不是小女子也不是女汉子是大女子更新日期：2025年4月29日 🎯 前言：为什么要写这篇教程？ 上周按照虾哥小智服务器的教程去部署本地后台，我用的是…...

编程日记 2025/5/13 21:29:09

基于论文的大模型应用：基于SmartETL的arXiv论文数据接入与预处理（四）

上一篇介绍了基于SmartETL框架实现arxiv采集处理的基本流程，通过少量的组件定制开发，配合yaml流程配置，实现了复杂的arxiv采集处理。由于其业务流程复杂，在实际应用中还存在一些不足需要优化。 5. 基于Kafka的任务解耦设计 5.…...

编程日记 2025/4/30 6:44:32

GrapesJS 终极定制组件设计方案：扁平化对象属性编辑、多区域拖拽、多层嵌套与组件扩展实战

掌握 GrapesJS 复杂组件实用技巧，打造高复用、高交互的前端低代码组件体系随着低代码可视化编辑需求日益提升，GrapesJS 作为优秀开源画布编辑器，灵活的组件机制是其核心优势。但在实际项目中，你可能会遇到： 如何编辑…...

编程日记 2025/4/30 6:44:32

Spring MVC 如何映射 HTTP 请求到 Controller 方法？

我们来详细分析一下如何在 Spring MVC 中将 HTTP 请求映射到 Controller 的处理方法（Handler Methods）上，以及 RequestMapping 注解的使用方法。请求映射的核心：RequestMapping 注解 RequestMapping 是 Spring MVC 中最核心、最…...

编程日记 2025/5/12 5:15:16

vue.js中的一些事件修饰符【前端】

不要一直责怪过去的自己，他独自站在雾里也很迷茫。目录 .stop：.prevent：.self：.once：.capture：.native：何时使用 .native？ .stop： 作用：调用 event.stopPro…...

编程日记 2025/5/18 11:13:21

WEBSTORM前端 —— 第2章：CSS —— 第4节：盒子模型

目录 1.画盒子 2.Pxcook软件 3.盒子模型——组成 4.盒子模型 ——边框线 5.盒子模型——内外边距 6.盒子模型——尺寸计算 7.清除默认样式 8.盒子模型——元素溢出 9.外边距问题 ①合并现象 ②塌陷问题 10.行内元素——内外边距问题 11.盒子模型——圆角 12.盒子…...

编程日记 2025/4/30 6:43:29

Cursor —— AI编辑器使用详解

Cursor - The AI Code Editor 一、Cursor 是什么？ Cursor 是一款优秀的AI代码编辑器，它内置了 Deepseek-R1、GPT-4、Claude等 AI 模型。简单说，就是：Cursor VS Code 编辑器 AI 大模型 Cursor 功能特性（代码补全、…...

编程日记 2025/5/18 16:40:41

SwinTransformer

Patch Embedding

下采样打包为Pacth：可以直接使用Conv2d

Patch Merging

类似池化的操作,压缩图片大小，同时通道数增多，获得更多的语义信息。

例子

窗口注意力机制

本文使用了窗口注意力机制，计算复杂度是随着图像扩大线性增长的

实现讲解

滑动窗口的实现

移动窗口注意力

MASK的实现

相关文章：

下采样打包为Pacth：可以直接使用`Conv2d`