当前位置：首页 > news >正文

【论文笔记】SOTR: Segmenting Objects with Transformers

news 来源：原创 2025/8/25 11:41:38

【题目】：SOTR: Segmenting Objects with Transformers

【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166.

【网址】：https://openaccess.thecvf.com/content/ICCV2021/papers/Guo_SOTR_Segmenting_Objects_With_Transformers_ICCV_2021_paper.pdf

【开源代码】：https://github.com/easton-cau/SOTR

一、瓶颈问题

二、本文贡献

三、解决方案

1、模型架构

2、Transformer

2.1 双注意力机制（Twin attention）

2.2 Transformer层

2.3 功能头（Functional heads）

3、Mask

3.1 多级上采样模块

3.2 实例掩码预测

四、实验结果

1、实验设置

2、消融实验

3、定量和定性结果

一、瓶颈问题

传统 CNN 在实例分割中的局限：基于 CNN 的实例分割方法（遵循检测 - 然后 - 分割范式）存在不足。CNN 因有限的感受野，在高级视觉语义信息中特征连贯性相对缺乏，难以关联实例，对大物体分割效果欠佳；并且分割质量和推理速度过度依赖目标检测器，在复杂场景下性能较差。
自底向上方法的缺陷：为克服传统 CNN 方法的缺点，一些自底向上的实例分割策略被提出，这类方法虽能保留位置和局部连贯信息，但存在聚类不稳定（如掩码碎片化、粘连）以及在不同场景数据集上泛化能力差的问题。
Transformer 在视觉应用中的不足：受 Transformer 在自然语言处理中的成功启发，其在视觉任务应用中展现出一定优势，然而典型 Transformer 在提取低级特征方面表现不佳，对小物体预测易出错；同时由于特征图规模大，在训练阶段需要大量内存和时间。

二、本文贡献

提出创新的混合框架：引入了名为 SOTR 的 CNN - Transformer 混合实例分割框架。该框架利用 CNN 骨干网络和 Transformer 编码器，有效对局部连接性和长距离依赖关系建模，表现力强；且直接分割对象实例，不依赖边界框检测，简化了整体流程。
设计新的注意力机制：设计了双注意力机制（twin attention），这是一种位置敏感的自注意力机制，专为模型中的 Transformer 定制。相比原始 Transformer，在计算和内存上有显著节省，尤其适用于实例分割这类对大输入进行密集预测的任务。
降低对大规模预训练的依赖：SOTR 无需在大型数据集上进行预训练就能很好地泛化归纳偏差，更易于应用在数据量不足的场景，克服了纯 Transformer 模型对大规模预训练的依赖问题。
取得优异的实验结果：在 MS COCO 基准测试中，使用 ResNet - 101 - FPN 骨干网络的 SOTR 模型 AP 达到 40.2% ，精度超越多数现有方法。在中等和大尺寸物体上，AP 分别达到 59.0% 和 73.0% ，展现出在不同尺寸物体分割上的优势。

三、解决方案

1、模型架构

SOTR 是一种 CNN-Transformer 混合实例分割模型，它能够同时学习二维表示，并轻松捕捉长距离信息。它遵循直接分割范式，首先将输入特征图划分为图块，然后在动态分割每个实例的同时预测每个图块的类别【Transformer模块】。具体来说，模型主要由三个部分组成：1）一个骨干网络（from detectron2.modeling.backbone import build_backbone），用于从输入图像中提取图像特征，尤其是低级和局部特征；2）一个 Transformer，用于对全局和语义依赖关系进行建模，它附加了功能头，分别用于预测每个图块的类别和卷积核；3）一个多级上采样模块，通过在生成的特征图和相应的卷积核之间执行动态卷积操作来生成分割掩码。

2、Transformer

2.1 双注意力机制（Twin attention）

自注意力机制的问题：能够捕捉全图上下文和长距离交互关系，但时间和内存复杂度为二次方，处理图像等高维序列是计算成本高，阻碍模型扩展性。

双注意力机制策略：通过稀疏表示简化注意力矩阵，将感受野限制在固定步长的块模式内。先在每列内计算注意力（聚合水平尺度上元素间上下文信息），再在每行内计算（利用垂直尺度特征交互），两个尺度注意力顺序连接【通道维度连接】形成最终注意力，具有全局感受野，并涵盖了两个维度上的信息。

具体计算过程：对于 FPN 第i层特征图 $F_{i} \in R^{H \times W\times C}$ ，先分割成 N×N 图块 $P_{i} \in R^{N \times N \times C}$

并堆叠成块，添加位置嵌入(列位置嵌入空间1×N×C，行位置嵌入空间N×1×C )。注意力层采用多头注意力机制，子层输出 N×N×C ，可将计算复杂度从 $O((H\times W)^{2})$ 降至 $O(H \times W^{2} + H^{2} \times W)$ 。

2.2 Transformer层

原始Transformer层（图3 a）：类似 NLP 中编码器，由层归一化后的多头自注意力机制和多层感知器两部分组成，用残差连接相连，经K个串行连接输出多维序列特征用于后续预测。

纯双 Transformer 层（图3 b）：遵循原始设计，仅将多头注意力替换为双注意力机制，以平衡计算成本和特征提取效果。

混合双 Transformer 层（图3 c）：在每个双注意力模块添加两个由 Leaky ReLU 层连接的3×3卷积层，补充注意力机制，更好捕捉局部信息，增强特征表示。

2.3 功能头（Functional heads）

类别头（class head）：含单个线性层，输出N×N×M分类结果（M为类别数）。每个图块为中心落入的单个目标分配一个类别，采用多级预测并在不同特征层级共享头，提升不同尺度目标性能和效率。训练时用 Focal Loss 计算分类损失。

核心头（kernel head）：由线性层组成，与类别头并行，输出N×N×D张量（表示N×N卷积核及D个参数）用于掩码生成。训练时卷积核监督来自最终掩码损失。

3、Mask

3.1 多级上采样模块

从 Transformer 模块获取带位置信息的低分辨率特征图 $P_{5}$ ，与 FPN 中 $P_{2} - P_{4}$ 融合。对各尺度特征图先进行3×3卷积、Group Norm 和 ReLU 操作， $P_{3} - P_{5}$ 分别双线性上采样到 $\left ( \frac{H}{4}\times \frac{W}{4} \right )$ 分辨率，将处理后 $P_{2} - P_{5}$ 相加，经逐点卷积和上采样生成统一H × W特征图，构建掩码特征表示。

3.2 实例掩码预测

SOTR 对统一特征图执行动态卷积操作生成每个图块掩码。核心头预测卷积核 $K\in R_{N\times N \times D}$ ，每个核负责对应图块实例掩码生成，操作表示为 $Z^{H\times W \times N^{2}} = F^{H \times W \times C} \ast K^{N \times N \times D}$ 。

$D = \lambda ^{2}C$ ，其中 λ 为卷积核的尺寸
最终实例分割掩码由 Matrix NMS 生成，每个掩码由 Dice Loss 独立监督

四、实验结果

1、实验设置

在具有挑战性的 MS COCO 数据集上实验，该数据集含 12.3 万张图像、80 类实例标签。模型在 train2017 子集训练，test-dev 子集评估，报告标准 COCO 指标(AP、AP50、AP75、APs、APm、APl)。训练使用 SGD，初始学习率 0.01，1000 次迭代热身，权重衰减 $10^{-4}$ ，动量 0.9。消融实验训练 30 万次迭代，在 21 万次和 25 万次时学习率降为十分之一。模型在 4 块 32G 内存的 V100 GPU 上训练，批量大小 8，用 Python 编程，基于 PyTorch 和 Detectron2 框架。

2、消融实验

主干网络架构：

比较不同主干网络特征提取性能，发现 Res-50FPN 的 SOTR 在 COCO 上 AP 达 37.5%，大物体上 AP 为 70.8%，且 SOTR 从更深或先进的 CNN 主干网络中自动受益，更好的主干网络可提升性能。

用于特征编码的 Transformer：

用三种不同 Transformer 衡量模型性能，纯双注意力 Transformer 和混合双注意力 Transformer 在指标上大幅超过原始 Transformer，表明双注意力 Transformer 架构能捕捉长距离依赖，更适合与 CNN 主干结合，且混合双注意力 Transformer 效果更好，因为 3×3 卷积能提取局部信息、增强特征表达。

Transformer 深度：

对原始 Transformer 和混合双注意力 Transformer 进行深度消融实验，发现增加深度可提升 AP 但牺牲推理时间和内存，双注意力 Transformer 相比原始 Transformer 带来 3.1% 的 AP 提升，内存占用减少约 50%，但深度增加会导致注意力坍塌，阻碍性能提升，后续实验中基准模型使用深度为 12 的混合双注意力 Transformer。

多级上采样模块：

探究 Transformer 生成的特征图对多级上采样模块的影响，仅用 Transformer 生成的特征图替换 FPN 的 $P_{5}$ 层时模型 AP 最高，同时替换 $P_{4}$ 和 $P_{5}$ 层 AP 略降，表明更多层使用生成特征图未显著提升整体 AP，Transformer 的 $P_{5}$ 已使预测具有良好位置敏感性，Transformer 的 $P_{4}$ 因携带更多全局和大物体特征使 $AP_{M}$ 和 $AP_{L}$ 略有提升，SOTR 用 Transformer 替代 SOLOv2 中 $P_{5}$ 层的 Coordconv 获取位置信息。

动态卷积：

掩码生成有静态卷积直接输出实例掩码和动态卷积持续分割对象两种方式，比较发现无双注意力 Transformer 的 SOTR 模型 AP 为 39.7%，双注意力 Transformer 带来 0.5% 的提升，动态卷积策略使 AP 提升近 1.5%，因为动态卷积的非线性显著增强了特征表示能力。

实时模型及比较:

SOTR 可修改为实时模型 SOTR-RT（牺牲一定准确性），其 Transformer 层数减为两层，输入短边为 736【图像输入的短边分辨率】

3、定量和定性结果

定量结果：

在 MS COCO 测试开发集上，配备 ResNet-101-FPN 的 SOTR 模型掩码 AP 达 40.2%，优于其他现代实例分割方法，与 Mask R-CNN 相比预测精度更高，在中等和大目标检测上有显著提升，与无边界框算法 SOLO 和 PolarMask 相比也有明显改进，且是首个在中等大小目标上 AP 接近 60%、中等和大目标上 AP 超 70% 的方法。

定性结果：

将 SOTR 与 Mask R-CNN、BlendMask 和 SOLOv2 比较，SOTR 在形状精细易被忽略的物体和相互重叠物体的分割上优于 Mask R-CNN 和 BlendMask，能预测出边界更清晰的掩码；相比 SOLOv2，SOTR 避免了将目标分割成独立部分和误将背景判定为实例的问题，因引入 Transformer 能更好获取全局信息。

【论文笔记】SOTR: Segmenting Objects with Transformers

【题目】：SOTR: Segmenting Objects with Transformers 【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166. 【网…...

编程日记 2025/8/25 11:41:38

AIDC智算中心建设：资源池化核心技术解析

目录一、池化技术架构二、池化核心技术三、展望一、池化技术架构智能算力池化指依托云计算技术，整合 GPU/AI 芯片等异构算力资源，构建集中管理的资源池，并按上层智算业务的需求，对池化的资源进行统一调度、分配&#xff…...

编程日记 2025/8/25 11:40:02

flink监控指标

文章目录一、flink yaml配置二、配置指标项情况提示：以下是基于开源flink on k8s环境下配置监控指标(部分已实验，粗略记录) 一、flink yaml配置配置完成后就可以在页面查询(部分需要验证)指标二、配置指标项情况参考下面网址： 阿里…...

编程日记 2025/8/25 11:37:47

签名去背景图像处理实例

一、前言在生活中我们经常用到电子签名，但有时候我们所获取的图像的彩色图像，我们需要获取白底黑字的电子签名，我们可以通过下面程序对彩色图像进行处理达到我们的处理目的。原始彩色图像如下： 二、原始代码 clear all;close a…...

编程日记 2025/8/25 11:41:37

[人机交互]理解与概念化交互

零.本章重点（理解和分析用户问题） – 解释“问题空间”的概念和含义 – 解释如何概念化交互 – 描述什么是概念模型 – 讨论将界面隐喻作为概念模型的利弊 – 讨论界面具体化和抽象化各自的优缺点 – 概述概念设计和实际设计的关系一.理解问题空间简单…...

编程日记 2025/8/25 11:34:56

C与指针——常见库函数

字符串 #include<stdlibs.h> int abs(int); long labs(long); int rand(void);//0-RAND_MAX //字符串转值 int atoi(const char*); long atol(const char*); float atof(const char*);数学\排序 #include<math.h> \\常见三角，sqrt(); exp(); double p…...

编程日记 2025/8/25 11:38:43

【C++指南】STL list容器完全解读（一）：从入门到掌握基础操作

. 💓 博客主页：倔强的石头的CSDN主页 📝Gitee主页：倔强的石头的gitee主页 ⏩ 文章专栏：《C指南》期待您的关注文章目录一、初识list容器1.1 什么是list？1.2 核心特性1.3 典型应用场景二、核心成员函数…...

编程日记 2025/8/25 11:38:43

Auto.js 脚本：清理手机数据但保留账号

Auto.js 脚本：清理手机数据但保留账号以下是一个使用 Auto.js 实现的脚本，它可以帮你清理手机数据（类似恢复出厂设置），同时尽可能保留已登录的账号状态。请注意，这个脚本不能完全等同于真正的恢复出厂设置…...

编程日记 2025/8/25 11:38:42

Web Workers 技术详解与最佳实践

Web Workers 是 HTML5 提供的一个强大的多线程解决方案，它允许在后台线程中运行 JavaScript 代码，从而避免阻塞主线程。本文将深入探讨 Web Workers 的技术实现和实际应用。一、Web Workers 基础 1. 创建 Worker // 主线程代码 const worker new Wo…...

编程日记 2025/8/25 11:40:44

llama_factory0.9.3微调Qwen3

llama_factory微调QWen1.5-CSDN博客文章浏览阅读3.3k次，点赞36次，收藏10次。本文介绍了如何使用LLaMA-Factory微调Qwen1.5模型，包括1.8B和0.5B版本的训练细节。在数据、训练、LORA融合及...

编程日记 2025/8/25 11:40:01

Linux的时间同步服务器（附加详细实验案例）

一、计时方式的发展 1.古代计时方式公元前约 2000 年：古埃及人利用光线留下的影子计时，他们修建高耸的大型方尖碑，通过追踪方尖碑影子的移动判断时间，这是早期利用自然现象计时的典型方式。商朝时期：人们开发并…...

编程日记 2025/8/25 11:37:46

【全队项目】智能学术海报生成系统PosterGenius--前后端系统介绍

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀大模型实战训练营_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录一. 前…...

编程日记 2025/8/25 11:40:02

COlT_CMDB_linux_tomcat_20250505.sh

#!/bin/bash #IT_BEGIN #IT_TYPE3 #IT MIDWARE_TOMCAT_DISCOVERY|discovery.tomcat[disc] #原型指标 #IT_RULE MIDWARE_TOMCAT_IP|ip[{#CATALINA_BASE}] #IT_RULE MIDWARE_TOMCAT_Startpid|Start_pid[{#CATALINA_BASE}] #IT_RULE MIDWARE_TOMCAT_hostname|hostname[{#CATALINA_…...

编程日记 2025/8/25 4:00:52

【瞎折腾/mi50 32G/ubuntu】mi50显卡ubuntu运行大模型开坑(二)使用llama.cpp部署Qwen3系列

目录说在前面准备工作编译llama.cpp运行Qwen3系列4B Q432B Q6温度参考说在前面主板：未知x99cpu：E5 2666v3显卡：Mi 50 32G系统：ubuntu 22.04 准备工作挂载磁盘(可选) 由于我的系统装在U盘上，访问文件系统会比较慢…...

编程日记 2025/8/21 10:28:54

《数据结构初阶》【顺序栈 + 链式队列 + 循环队列】

《数据结构初阶》【顺序栈链式队列循环队列】前言：什么是栈？栈有哪些实现方式？我们要选择哪种实现方式？--------------------------------什么是队列？队列有哪些实现方式？我们要选择哪种实现方式&…...

编程日记 2025/8/25 10:20:39

TCP和UDP

一、基本概念 1. TCP（传输控制协议， Transmission Control Protocol） 面向连接（Connection-oriented）：在传输数据前，要建立连接（三次握手）可靠：保证数据按顺…...

编程日记 2025/8/25 11:33:12

AI小智本地前后端部署

AI小智本地部署 1.安装phpstudy 1.1.安装该软件是为了获得web环境：MySQLApacherediophpmyadmin，介绍如下： ✅ 1. MySQL（数据库） 作用：关系型数据库管理系统，存储结构化数据，如用…...

编程日记 2025/8/23 2:01:02

springboot+mysql+element-plus+vue完整实现汽车租赁系统

目录一、项目介绍二、项目截图 1.项目结构图三、系统详细介绍管理后台 1.登陆页 2.管理后台主页 3.汽车地点管理 4.汽车类别 5.汽车品牌 6.汽车信息 7.用户管理 8.举报管理 9.订单管理 10.轮播图管理 11.交互界面 12.图表管理汽车租赁商城 1.首页 2.汽…...

编程日记 2025/8/25 11:38:43

直方图比较

目录 1、直方图比较的概念 2、直方图比较的主要原因 3、典型应用场景 4、基础直方图比较 5、多通道直方图比较 6、实时直方图检测 1、直方图比较的概念直方图比较是通过数学方法计算两个直方图之间的相似度或差异度的技术。在计算机视觉中，直方图是对图像特征…...

编程日记 2025/8/25 11:38:43

【计算机视觉】3d人体重建：PIFu/PIFuHD：高精度三维人体数字化技术指南

深度解析PIFu/PIFuHD：高精度三维人体数字化技术指南一、项目概述与技术突破1.1 技术定位与核心价值1.2 性能指标对比1.3 技术演进路线二、环境配置与模型部署2.1 硬件要求2.2 软件安装基础环境配置附加组件安装 2.3 模型下载三、核心算法解析3.1 网络架构设计多层…...

编程日记 2025/8/25 11:36:27

HTML05：超链接标签及应用

链接标签 <a href"path" target"目标窗口位置">链接文本或图像</a>文本超链接图像超链接 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>链接标签学习</title&…...

编程日记 2025/8/25 11:39:27

JAVA设计模式——（十一）建造者模式（Builder Pattern）

JAVA设计模式——（十一）建造者模式（Builder Pattern） 介绍理解实现Phone类具体手机类建造者测试应用介绍建造者模式用于将对象的创建和表示进行分离，即对象创建的过程单独提取出来，作为建造者的职能&am…...

编程日记 2025/8/25 11:37:15

JavaScript 笔记 --- part7 --- JS进阶 (part2)

JS进阶(part2) 内置构造函数 Object: 用于创建对象 String: 用于创建字符串 Number: 用于创建数字 Array: 用于创建数组 Boolean: 用于创建布尔值 Function: 用于创建函数 Date: 用于创建日期对象 RegExp: 用于创建正则表达式对象 Error: 用于创建错误对象 Map: 用于…...

编程日记 2025/8/25 11:35:24

JavaScript 笔记 --- part8 --- JS进阶 (part3)

JS 进阶(part3) 深浅拷贝只针对引用类型浅拷贝浅拷贝只拷贝外面一层的属性, 如果对象里面还有对象, 那么这个对象的引用会被拷贝过去, 所以修改其中一个属性会影响到另一个对象 const obj {name: "zhangsan",age: 18,child: {name: "xiaoming",ag…...

编程日记 2025/8/21 22:50:44

LeetCode 热题 100 46. 全排列

LeetCode 热题 100 | 46. 全排列大家好，今天我们来解决一道经典的算法题——全排列。这道题在 LeetCode 上被标记为中等难度，要求给定一个不含重复数字的数组 nums，返回其所有可能的全排列。全排列是排列组合中的经典问题，通常可…...

编程日记 2025/8/25 11:39:27

双目视觉的核心目标

通过计算左右图像中同一物体的像素点位置差（视差），进而还原出物体在三维空间中的真实位置。双目视觉的核心流程： 1️⃣ 相机标定（calibration） 获取左右相机的内参、外参和畸变参数。获取投影矩阵 Q&a…...

编程日记 2025/8/25 11:40:02

《类和对象(上)》

引言： 上次我们学习了C的一些入门基础，但其实还没有入门C，想要入门C，肯定是要把类和对象这部分学透彻，这次先来学习类和对象（上） 一：类的定义 1. 类定义格式： class为…...

编程日记 2025/8/25 11:37:46

强化学习ppo算法在大语言模型上跑通

最近在研究强化学习，目标是想在我的机械臂上跑出效果。ppo算法是强化学习领域的经典算法，在网上检索ppo算法，出现的大部分文章都是互相抄袭，上来都列公式，让人看得云里雾里。偶然间发现一个deepspeed使用的example(链接…...

编程日记 2025/8/25 11:33:11

告别散乱的 @ExceptionHandler：实现统一、可维护的 Spring Boot 错误处理

Spring Boot 的异常处理机制一直都烂得可以。即便到了 2025 年，有了这么多进步和新版本，开发者们发现自己还是在跟 ControllerAdvice、分散各处的 ExceptionHandler 方法以及五花八门的响应结构较劲。这真的是一团糟。无论你是在构建 REST API、微服务…...

编程日记 2025/8/25 11:34:56

Ubuntu安装编译环境

1. 安装基础编译工具链（GCC, G, Make 等） sudo apt update # 只更新索引信息，不安装软件 sudo apt install build-essential这会安装以下核心组件： • gcc (GNU C 编译器) • g (GNU C 编译器) • make (构建工具) • libc-…...

编程日记 2025/8/25 11:37:16

Scrapy爬虫实战：如何用Rules实现高效数据采集

Scrapy是一个强大的Python爬虫框架，而其中的Rules类则为爬虫提供了更高级的控制方式。本文将详细介绍如何在Scrapy中使用Rules，以及各个参数的具体作用，并结合实际场景说明Rules的必要性。为什么需要Rules？ 在Web爬取过程中&…...

编程日记 2025/8/25 11:34:56

ERP系统源码，有演示，开发文档、数据库文档齐全，支持二次开发

一套开箱即用的云端ERP系统源代码，小型工厂ERP系统源码 SaaS ERP是一套开箱即用的云端ERP系统，有演示，开发文档，数据库文档齐全，自主版权落地实例，适合项目二开。 SaaS ERP具有高度的灵活性和可扩展性&am…...

编程日记 2025/8/21 9:26:44

如何将腾讯云的测试集成到自己的SpringBoot中

1.创建Util 我们将之前测试的test复制过来， 1.将方法里面的固定参数设置出来private 2.将方法里面的变化参数设置作为传入参数 3.返回String类型的URL地址完整代码如下： package org.huangyingyuan.utils;import com.qcloud.cos.COSClient; import…...

编程日记 2025/8/21 22:50:25

Java后端开发day41--IO流（一）--FileOutputStreamFileInputStream

(以下内容全部来自上述课程) IO流：存储和读取数据的解决方案 I：input O：output 流：像水流一样传输数据 1. 流的分类纯文本文件：Windows自带的记事本打开就能读懂 2. IO流的体系 3 字节流 3.1 FileOutputStream 操…...

编程日记 2025/8/24 2:31:18

Spring 框架中 @Configuration 注解详解

在 Spring 框架的开发过程中，Configuration注解是一个极为重要的存在，它让开发者能够以一种更加简洁、灵活的方式来管理应用程序的配置信息，极大地提升了开发效率和代码的可维护性。本文将深入剖析Configuration注解的方方面面，…...

编程日记 2025/8/24 20:52:04

手机打电话时由对方DTMF响应切换多级IVR语音应答（一）

手机打电话时由对方DTMF响应切换多级IVR语音应答（一） --本地AI电话机器人一、前言经前面的系列篇章中，我们实现了拦截手机打电话的声音、根据通话对方声音提取DTMF字符。由此，我们通往AI电话机器人的道路就畅通无阻了。如果…...

编程日记 2025/8/21 22:50:20

GM DC Monitor v2.0 - 平台自定义-使用说明

平台支持对LOGO、登录页背景图、平台名称、小标题名称、网址、告警中心、知识库名称进行自定义，自定义完以后，平台将更加适合您的工作场景！ LOGO自定义建议使用100*80的png背景透明图片，大小不超过200k 登录背景建议使用1920*71…...

编程日记 2025/8/21 9:54:27

实验-数字电路设计2-复用器和七段数码管（数字逻辑）

目录一、实验内容二、实验步骤 2.1 复用器的设计 2.2 七段数码管的设计三、调试过程 3.1 复用器调试过程 3.2 七段数码管的调试过程四、实验使用环境五、实验小结和思考一、实验内容 a) 介绍在这次实验中，你将熟悉 Logisim 的操作流程&#xff…...

编程日记 2025/8/21 22:50:16

HTTP/HTTPS协议（请求响应模型、状态码）

目录 HTTP/HTTPS协议简介 HTTP协议 HTTPS协议请求 - 响应模型 HTTP请求 （二）HTTP响应 HTTPS协议与HTTP协议在请求 - 响应模型中的区别 HTTP/HTTPS协议简介 HTTP协议定义 HTTP（HyperText Transfer Protocol）即超文本传输…...

编程日记 2025/8/21 22:50:14

详解RabbitMQ工作模式之路由模式

目录路由模式概念介绍工作原理特点应用场景实现步骤代码案例引入依赖常量类编写生产者代码编写消费者1代码编写消费者2代码运行代码路由模式概念介绍路由模式是发布订阅模式的变种, 在发布订阅基础上, 增加路由key。发布订阅模式是⽆条件的将所有…...

编程日记 2025/8/24 8:54:36

青少年编程与数学 02-018 C++数据结构与算法 26课题、数据压缩算法

青少年编程与数学 02-018 C数据结构与算法 26课题、数据压缩算法一、无损压缩算法1. Huffman编码2. Lempel-Ziv-Welch (LZW) 编码3. Run-Length Encoding (RLE) 二、有损压缩算法1. DEFLATE（ZIP压缩）2. Brotli3. LZMA4. Zstandard (Zstd) 总结课题摘要…...

编程日记 2025/8/23 13:09:03

Sim Studio 是一个开源的代理工作流程构建器。Sim Studio 的界面是一种轻量级、直观的方式，可快速构建和部署LLMs与您最喜欢的工具连接

一、软件介绍文末提供程序和源码下载 Sim Studio开源程序是一个功能强大、用户友好的平台，用于构建、测试和优化代理工作流程，Sim Studio 是一个开源的代理工作流程构建器。Sim Studio 的界面是一种轻量级、直观的方式，可快速构建和部署…...

编程日记 2025/8/21 11:33:31

基于Boost库、Jsoncpp、cppjieba、cpp-httplib等构建Boost搜索引擎

⭐️个人主页：小羊 ⭐️所属专栏：项目很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~ 目录项目背景技术栈和项目环境正排索引和倒排索引数据去标签与清洗下载数据源去标签建立索引构建正排索引构建倒排索引建立搜索引擎h…...

编程日记 2025/8/21 13:47:07

文本三剑客

目录 1.文本三剑客 2.awk 常见的内置变量 3.sed 选项： 脚本语法： 查找替换： 步进： 1.文本三剑客 awk；sed；grep 读取方式为：vim先将整个文件放入内存中进行编辑；awk是先将文…...

编程日记 2025/8/23 8:28:05

使用 Microsoft 365 Copilot 上传手机图片，实现更高效的信息提取

过去，如果你想从手机上的图片中提取信息或获取洞察，流程往往十分繁琐：需要先把图片发到邮箱，再下载到电脑，最后才能上传到 Copilot 聊天框中。现在不必如此了！在你熟悉的 Microsoft 365 Windows 应用或网…...

编程日记 2025/8/23 2:30:31

simulink使能子系统的四种配置

目录前言一、模型二、特性组合1：使能模块为保持，输出为保持组合2：使能模块为保持，输出为重置组合3：使能模块为重置，输出为保持组合4：使能模块为重置，输出为重置仓库…...

编程日记 2025/8/21 4:41:59

一、Hadoop历史发展与优劣势

引言：大数据浪潮中的“大象”——Hadoop 的足迹与权衡当数据以前所未有的速度和规模涌现，大数据时代悄然来临，传统的数据处理方式显得力不从心。在这样的背景下，Hadoop 应运而生，如同一头强健而可靠的大象&#xff0…...

编程日记 2025/8/21 22:49:59

conda配置好的pytorch在jupyter中如何配置

配置其实不用再配置了如下图（主要是激活pytorch环境，再jupyter notebook） jupyter运行快捷键shiftenter 新建文件夹folder，新建notebook 使用帮助文档（两种方式） ctrl/ 注释...

编程日记 2025/8/24 2:31:24

文本三剑客试题

目录 1找出/etc/passwd文件下的root开头的行 2找出/etc/passwd 含有root 的行 3找出/etc/passwd 文件中 root开头或 mail 开头的行 4过滤出 /etc/passwd文件中已bin开头的行，并显示行号 5过滤掉/etc/passwd文件中 root开头的行 6.在当前目录下所有.cc 的文件中…...

编程日记 2025/8/21 22:49:56

vscode docker 调试

目录启动docker： vscode docker 调试如果已经安装docker并且启动了。启动docker： docker exec -it nlf /bin/bash vscode docker 调试按照图中1 2 3 的顺序，进入，可以加载docker进行调试了。...

编程日记 2025/8/21 3:22:56

一、瓶颈问题

二、本文贡献

三、解决方案

1、模型架构

2、Transformer

2.1 双注意力机制（Twin attention）

2.2 Transformer层

2.3 功能头（Functional heads）

3、Mask

3.1 多级上采样模块

3.2 实例掩码预测

四、实验结果

1、实验设置

2、消融实验

3、定量和定性结果

相关文章：