简化的动态稀疏视觉Transformer的PyTorch代码
存一串代码（简化的动态稀疏视觉Transformer的PyTorch代码）
import torch
import torch.nn as nn
import torch.nn.functional as F class DynamicSparseAttention(nn.Module): def __init__(self, dim, num_heads=8, dropout=0.1): super().__init__() self.num_heads = num_heads self.head_dim = dim // num_heads self.scale = self.head_dim ** -0.5 self.qkv = nn.Linear(dim, dim * 3, bias=False) self.attn_drop = nn.Dropout(dropout) self.proj = nn.Linear(dim, dim) self.proj_drop = nn.Dropout(dropout) def forward(self, x): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, self.head_dim).permute(2, 0, 3, 1, 4) q, k, v = qkv.unbind(0) attn = (q @ k.transpose(-2, -1)) * self.scale attn = attn.softmax(dim=-1) attn = self.attn_drop(attn) x = (attn @ v).transpose(1, 2).reshape(B, N, C) x = self.proj(x) x = self.proj_drop(x) return x class HierarchicalRoutingBlock(nn.Module): def __init__(self, dim, num_heads=8, mlp_ratio=4., dropout=0.1): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = DynamicSparseAttention(dim, num_heads, dropout) self.norm2 = nn.LayerNorm(dim) self.mlp = nn.Sequential( nn.Linear(dim, int(dim * mlp_ratio)), nn.GELU(), nn.Dropout(dropout), nn.Linear(int(dim * mlp_ratio), dim), nn.Dropout(dropout) ) def forward(self, x): x = x + self.attn(self.norm1(x)) x = x + self.mlp(self.norm2(x)) return x class DynamicSparseVisionTransformer(nn.Module): def __init__(self, img_size=224, patch_size=16, num_classes=1000, dim=768, num_heads=8, depth=12, mlp_ratio=4., dropout=0.1): super().__init__() self.patch_embed = nn.Conv2d(3, dim, kernel_size=patch_size, stride=patch_size) self.pos_embed = nn.Parameter(torch.zeros(1, (img_size // patch_size) ** 2, dim)) self.dropout = nn.Dropout(dropout) self.blocks = nn.ModuleList([HierarchicalRoutingBlock(dim, num_heads, mlp_ratio, dropout) for _ in range(depth)]) self.norm = nn.LayerNorm(dim) self.head = nn.Linear(dim, num_classes) if num_classes > 0 else nn.Identity() def forward(self, x): x = self.patch_embed(x).flatten(2).transpose(1, 2) x = x + self.pos_embed x = self.dropout(x) for blk in self.blocks: x = blk(x) x = self.norm(x) x = x[:, 0] x = self.head(x) return x # 使用
model = DynamicSparseVisionTransformer()
x = torch.randn(1, 3, 224, 224)
output = model(x)
print(output.shape)
代码解释
DynamicSparseAttention：实现动态稀疏注意力模块。
HierarchicalRoutingBlock：实现层次化路由块，包含注意力模块和多层感知机。
DynamicSparseVisionTransformer：实现完整的动态稀疏视觉Transformer模型，包括补丁嵌入、位置嵌入、层次化路由块和分类头。
相关文章：
简化的动态稀疏视觉Transformer的PyTorch代码
存一串代码（简化的动态稀疏视觉Transformer的PyTorch代码） import torch import torch.nn as nn import torch.nn.functional as F class DynamicSparseAttention(nn.Module): def __init__(self, dim, num_heads8, dropout0.1): super().__init__()…...
掌握 PHP 单例模式：构建更高效的应用
在 PHP 应用开发中，资源的高效管理至关重要。单例模式是一种能够帮助我们实现这一目标的设计模式。本文将深入探讨单例模式的概念、工作原理以及在 PHP 项目中何时应该（或不应该）使用它。 什么是单例模式？ 单例模式是一种设计模…...
)
今日AI和商界事件(2025-02-11)
今日AI大事件主要包括以下几个方面： 一、行业竞购与合作变动 马斯克组团竞购OpenAI 据《华尔街日报》报道，马斯克率投资者财团出价974亿美元竞购OpenAI，欲使其回归开源公益使命。xAI支持此次竞购，若成功，xAI或与OpenA…...
ArcGIS Pro批量创建离线服务sd包
背景： 主要针对一个工程内有多个地图框项： 处理方法：通过Python脚本处理打包。 运行环境 在Pro的Python环境中去运行编写的Python脚本。 Python 脚本参考 import arcpy import os# Set output file names outdir r"d:\data\out&…...
R语言 文本分析 天龙八部
起因， 目的: 前面有人对 “倚天屠龙记” 进行分析，我这里只是进行模仿而已。 完整的文件， 已经绑定了，反正读者可以找一下。 案例背景 小说《天龙八部》是金庸先生所著的武侠小说，也是“射雕三部曲”的前传。全书共50章，字数超过一百万字。故事发生在北宋末年，以大理…...
【AI论文】Visual Instruction Tuning
文献核心目标 作者的目标是通过多模态指令微调(Visual Instruction Tuning)来训练一个通用的视觉助手，使其能够理解用户的语言指令并与视觉内容结合完成任务。例如，用户可以上传图片并提出问题，模型根据图片内容作出回答。 1. 引言 什么是多模态交互？为什么重要？ 人类…...
产品详情页中 品牌官网详情 对应后端的字段是 detail
文章目录 1、在这个Vue代码中，品牌官网详情 对应后端的字段是 detail2、品牌官网详情 功能相关的代码片段3、export const productSave (data: any) >4、ProductController5、ProductDto 类6、ProductApiService 1、在这个Vue代码中，品牌官网详情 对…...
vue知识点2
1.methods和mounted的区别 methods是定义方法，不涉及到调用 mounted涉及到操作 所以methods后面是：，mounted后面是（） 2.介绍一下emit的用法 如果子控件要调用父页面的方法，在父页面的子控件引用处&…...
使用 mkcert 本地部署启动了 TLS/SSL 加密通讯的 MongoDB 副本集和分片集群
MongoDB 是支持客户端与 MongoDB 服务器之间启用 TLS/SSL 进行加密通讯的, 对于 MongoDB 副本集和分片集群内部的通讯, 也可以开启 TLS/SSL 认证. 本文会使用 mkcert 创建 TLS/SSL 证书, 基于创建的证书, 介绍 MongoDB 副本集、分片集群中启动 TLS/SSL 通讯的方法. 我们将会在…...
荣耀手机Magic3系列、Magic4系列、Magic5系列、Magic6系列、Magic7系列详情对比以及最新二手价格预测
目录 荣耀Magic系列手机详细对比 最新二手价格预测 性价比分析 总结 以下是荣耀Magic系列手机的详细对比以及最新二手价格预测： 荣耀Magic系列手机详细对比 特性荣耀Magic3系列荣耀Magic4系列荣耀Magic5系列荣耀Magic6系列荣耀Magic7系列处理器骁龙888&#x…...
利用HTML和css技术编写学校官网页面
目录 一，图例展示 二，代码说明 1，html部分： 【第一张图片】 【第二张图片】 【第三张图片】 2，css部分： 【第一张图片】 【第二张图片】 【第三张图片】 三，程序代码 一，…...
易语言Easy Programming Language
E易语言 EF 易语言.飞场 EPL EF 我心易飞扬! Elogo 易乐谷我的程序我来写！ Easy Programming Language Elogo 未来的小程序员！易语言运行时环境检验报告 自有编辑器、自带数据库、本土化支持 易语言系统全部自行设计开发。自有编译器。所编译目的程序运…...
支付宝安全发全套解决方案
产品价值 ● 通过支付宝的资金能力，让服务商机构通过信息流驱动资金流，在不碰触客户企业资金的同时，为客户企业完成转账。账目清晰，无合规和资质风险。 ● 为服务商提供全链路的资金流动明细信息，服务商可以将这些信息…...
如何通过腾讯 ima.copilot 训练自己的知识库
如何通过腾讯 ima.copilot 训练自己的知识库 在信息爆炸的时代，拥有一个专属的知识库，能让我们在学习、工作中快速获取所需信息，极大地提升效率。腾讯推出的 AI 智能工作台 ima.copilot，为我们打造个人知识库提供了便利。今天&am…...
本地部署DeepSeek-R1（Mac版）
本地部署DeepSeek-R1（Mac版） 前言：过年这段时间，DeepSeek火遍全球，但遭受黑客攻击，10次对话基本9次都是服务器繁忙，请稍后重试。那么，本地部署整起来 总体来说，本地部署…...
uniapp 编译生成鸿蒙正式app步骤
1，在最新版本DevEco-Studio工具新建一个空项目并生成p12和csr文件（构建-生成私钥和证书请求文件） 2，华为开发者平台 根据上面生成的csr文件新增cer和p7b文件，分发布和测试 3，在最新版本DevEco-Studio工具 文…...
C++STL与内存管理总结
1：内存管理方面：涉及分配（请求）与释放，主要分为 静态内存，自动存储期（栈内存）、动态内存分配（堆内存）以及智 能指针系列，之所以重要，因…...
【文本处理】如何在批量WORD和txt文本提取手机号码，固话号码，提取邮箱，删除中文，删除英文，提取车牌号等等一些文本提取固定格式的操作，基于WPF的解决方案
企业的应用场景 数据清洗：在进行数据导入或分析之前，往往需要对大量文本数据进行预处理，比如去除文本中的无关字符（中文、英文），只保留需要的联系信息（手机号码、固话号码、邮箱）。…...
算法跟练第十弹——栈与队列
文章目录 part01 逆波兰表达式求值part02 滑动窗口最大值part03 前 K 个高频元素归纳：将字符串转转换成整数：LinkedListMap遍历优先级队列的比较器 跟着代码随想录刷题的第十天。 代码随想录链接：代码随想录 part01 逆波兰表达式求值 题目链接…...
计算机毕业设计——Springboot的校园新闻网站
🎉**欢迎来到琛哥的技术世界！**🎉 📘 博主小档案： 琛哥，一名来自世界500强的资深程序猿，毕业于国内知名985高校。 🔧 技术专长： 琛哥在深度学习任务中展现出卓越的能力&a…...
在CT107D单片机综合训练平台上实现外部中断控制LED闪烁
引言 在单片机开发中，外部中断是一个非常重要的功能，它可以让单片机在检测到外部信号变化时立即做出响应。本文将详细介绍如何在CT107D单片机综合训练平台上使用外部中断来控制LED灯的闪烁。我们将使用两种不同的方式来实现这一功能：一种是在…...
C# ASP.NET 介绍
.NET学习资料 .NET学习资料 .NET学习资料 一、概述 ASP.NET是由微软创建的一个开源 Web 框架，用于使用.NET 构建现代化的 Web 应用程序和服务。它为开发者提供了一套丰富的工具、库和编程模型，使得创建功能强大、高效且安全的 Web 应用变得更加容易。…...
Django中select_related 的作用
Django中这句代码Dynamic.objects.select_related(song)是什么意思？ 在 Django 中，这句代码： Dynamic.objects.select_related(song) 的作用是 在查询 Dynamic 模型的同时，预加载 song 关联的外键对象，从而减少数据…...
MyBatis常见知识点
#{} 和 ${} 的区别是什么？ 答： ${}是 Properties 文件中的变量占位符，它可以用于标签属性值和 sql 内部，属于原样文本替换，可以替换任意内容，比如${driver}会被原样替换为com.mysql.jdbc. Driver。 一个…...
CentOS 安装 Docker
一、使用官方安装脚本自动安装 安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 也可以使用国内 daocloud 一键安装命令： curl -sSL https://get.daocloud.io/docker | sh 二、手动安装 卸载旧版本 较旧的 Do…...
【sqlite】python操作sqlite3（含测试）
个人小项目或者小团队，sqllite很适用，数据库封装操作如下 #!/usr/bin/env python # -*- coding: utf-8 -*- # Time : 2025-02-08 13:57 # Author : duxiaowei # File : connect_sqllite.py # Software: PyCharm """ sqllite操作, …...
PTC Windchill介绍
以下内容摘自PTC的Windchill介绍材料，确有其用，摘录一些： 存储和搜索产品信息 所有产品信息的中央存储库。同样的，对于产品相关内容，例如 CAD 模型、文档、技术插图、嵌入式软件、计算和要求规范，都有一个…...
3.矩阵分解技术在推荐系统中的应用
接下来我们将深入探讨矩阵分解技术在推荐系统中的应用。矩阵分解是一种强大的技术，可以有效地处理数据稀疏性问题，并提高推荐系统的性能。在这一课中，我们将介绍以下内容： 矩阵分解的基本概念奇异值分解（SVDÿ…...
visual studio 在kylin v10上跨平台编译时c++标准库提示缺少无法打开的问题解决
情况1：提示无法打开 源文件 "string"之类导致无法编译 情况2:能编译，但无法打开这些库文件或标准库使用提示下划红色问题 解决方案： 一、通过工具->选项->跨平台里，在“远程标头IntelliSense管理器”更新下载一下…...
TextWebSocketHandler 和 @ServerEndpoint 各自实现 WebSocket 服务器
TextWebSocketHandler 和 ServerEndpoint 都可以用于实现 WebSocket 服务器，但它们属于不同的技术栈，使用方式和功能有一些区别。以下是它们的对比： 1. 技术栈对比 特性TextWebSocketHandler (Spring)ServerEndpoint (Java EE/JSR-356)所属框…...
一种非完全图下的TSP求解算法
序 旅行商问题（Traveling Salesman Problem，简称TSP）是组合优化中的一个经典问题，就是给定一组城市和城市之间的距离，找到一条最短路径使得每个城市只被访问一次后返回到起点。 一些传统的解法都是基于完全图的，我在网上也很少找到非完全图的解法，非完全图应该在实际应…...
)
文件操作(1.文件资源上传到MinIO 2.文件资源保存在数据库中)
目录 本文提供文件操作接口的实现(上传下载) 附件资源表实体类 具体代码实现 上传到MinIO服务器 pom依赖 yml配置 MinIO配置 服务实现类 保存到数据库 本文提供文件操作接口的实现(上传下载) 附件资源表实体类 Data AllArgsConstructor NoArgsConstructor EqualsAndHa…...
deepseek模型技术优势研究
1.1 混合专家模型（MoE）架构 DeepSeek 模型采用了混合专家模型（Mixture-of-Experts，MoE）架构，这一架构在大规模预训练与下游应用中展现了显著的计算资源利用效率优势。MoE 架构的基本思想是在传统 Transfor…...
项目6：基于大数据校园一卡通数据分析和可视化
1、项目简介 本项目是基于大数据的清华校园卡数据分析系统，通过Hadoop，spark等技术处理校园卡交易、卡号和商户信息数据。系统实现消费类别、男女消费差异、学院消费排行和年级对比等分析，并通过Web后端和可视化前端展示结果。项目运行便捷&…...
搭建Spark集群（CentOS Stream 9）
零、资源准备 虚拟机相关： VMware workstation 16：虚拟机/vmware_16.zip（建议选择vmware_17版本）CentOS Stream 9：虚拟机/CentOS-Stream-9-latest-x86_64-boot.iso（安装包小，安装时需要联网下载）/ 虚拟机/CentOS-Stream-9-latest-x86_64-dvd1.iso(安装包大)JDK jdk1.8：…...
leetcode 2466. 统计构造好字符串的方案数
题目如下 数据范围 本题就是加了马甲的跳格子问题即一次能选择跳zero格或者one格(注意这两个不是定值，不是翻译成0和1它们只是代表能跳几格)我们令f(i)为从第0格跳到i格的路径数(也就是好串有几个)显然如果存在的话： f(i) f(i - zero) f(i - one)。…...
Jupyter Notebook自动保存失败等问题的解决
一、未生成配置文件 需要在命令行中，执行下面的命令自动生成配置文件 jupyter notebook --generate-config 执行后会在 C:\Users\用户名\.jupyter目录中生成文件 jupyter_notebook_config.py 二、在网页端打开Jupyter Notebook后文件保存失败；运行代码…...
局域网内别的电脑怎么连接到对方的mysql数据库
要让局域网内的其他电脑连接到一台主机上的 MySQL 数据库，你需要进行一些配置，包括 MySQL 服务器的设置、权限调整，以及客户端连接的步骤。以下是详细的步骤说明： 1. 确保 MySQL 服务器允许远程连接 默认情况下，MySQL 服务器可能只允许本地连接（localhost）。你需要修改…...
flask和django的对比
Flask 和 Django 都是流行的 Python Web 框架，尽管它们都用于构建 Web 应用，但它们的设计理念和使用场景有所不同。以下是它们之间的一些对比： 1. 框架类型 Flask：微框架（Micro-framework），意…...
基于 GEE 批量下载陆地植被净初级生产力 NPP 产品
目录 1 陆地植被净初级生产力（NPP） 2 完整代码 3 运行结果 1 陆地植被净初级生产力（NPP） 陆地植被净初级生产力（NPP）是指植物在单位时间单位面积上由光合作用产生的有机物质总量中扣除自养呼吸后的剩余…...
使用Deepseek ，怎么很好的与Deepseek 进行精准问答
与 DeepSeek 进行高效问答的关键在于 清晰表达需求、合理使用功能、灵活调整提问方式。以下是一些实用建议： 一、基础原则 明确问题 ✅ 清晰描述背景、目标和具体需求。 ❌ 避免模糊提问：“帮我写点东西”→ ✅“我需要一篇关于AI在医疗领域应用的500字…...
cefsharp131升级132测试（WinForms.NETCore）
一、升级（Nuget） 版本说明（readme）:最低.NET Core3.1 (NET5.0+) + Visual C++ 2019 Redist 二、试运行、兼容性测试...
docker部署及操作
目录 一、Docker的简介 二、基础环境配置以及部署 1. Linux基础配置 2. 开启Linux内核的流量转发功能 一、Docker的简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows …...
Jmeter对图片验证码的处理
Jmeter对图片验证码的处理 在web端的登录接口经常会有图片验证码的输入，而且每次登录时图片验证码都是随机的；当通过jmeter做接口登录的时候要对图片验证码进行识别出图片中的字段，然后再登录接口中使用； 通过jmeter对图片验证码…...
DeepSeek本地部署_cherry studio知识库搭建
1.下载并安装：ollama Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download 安装是否成功确认，管理员权限运行PowerShell： ollama -h 2.下载安装deepseek 管理员方式运行PowerShell，运行命令&#x…...
CSS 实现下拉菜单效果实例解析
1. 引言 在 Web 开发过程中，下拉菜单是一种常见且十分实用的交互组件。很多前端教程都提供过简单的下拉菜单示例，本文将以一个简洁的实例为出发点，从 HTML 结构、CSS 样式以及整体交互逻辑三个层面进行详细解析，帮助大家理解纯 C…...
项目场景拷打
补偿事务解决超卖 通过补偿事务避免超卖问题，可以通过以下几种方式实现： 1. 使用数据库事务与锁机制 事务管理：将库存扣减和订单生成操作放在同一个数据库事务中，确保操作的原子性。如果事务中任何一个步骤失败，则整…...
C语言之扫雷
C语言之扫雷 game.hgame.ctest.c 参考 https://blog.csdn.net/m0_62391199/article/details/124694375 game.h #pragma once #include <stdio.h> #include <time.h> #include <stdlib.h>#define ROW 9 #define COL 9#define ROWS ROW2 #define COLS COL2#de…...
android手机本地部署deepseek1.5B
手机本地部署大模型需要一个开源软件 Release Release v1.6.7 a-ghorbani/pocketpal-ai GitHub 下载release版本apk 它也支持ios，并且是开源的，你可以编译修改它 安装完后是这样的 可以下载推荐的模型，也可以在pc上下载好，然后copy到手机里 点 + 号加载本地模型...
用C语言实现斐波那契数列：从基础代码到深入理解
在编程的世界里，斐波那契数列是一个经典且有趣的概念，今天我们就通过一段C语言代码来深入探索如何生成斐波那契数列。 代码初览 这段代码实现了输入一个整数 n ，然后输出斐波那契数列的第 n 项。 代码逐行解析 变量声明： - int …...