当前位置：首页 > news >正文

《深度学习实战》第11集：AI大模型压缩与加速

news 来源：原创 2025/8/29 0:26:51

深度学习实战 | 第11集：AI大模型压缩与加速

在深度学习领域，随着模型规模的不断增大，模型的推理速度和部署效率成为实际应用中的关键挑战。本篇博客将带你深入了解模型压缩与加速的核心技术，并通过一个实战项目展示如何使用知识蒸馏将 BERT 模型压缩为 DistilBERT。此外，我们还会探讨前沿的高效推理技术，帮助你在实际项目中优化模型性能。

在这里插入图片描述

知识点：模型压缩技术

1. 模型压缩的核心方法

模型压缩的目标是减少模型的计算复杂度、存储需求和推理时间，同时尽量保持模型的性能。以下是三种主流的模型压缩技术：

(1) 剪枝 (Pruning)

剪枝通过移除模型中不重要的权重或神经元来减少模型的参数量。常见的剪枝策略包括：

非结构化剪枝：移除单个权重。
结构化剪枝：移除整个卷积核或层。

剪枝后的模型通常需要重新训练以恢复性能。

(2) 量化 (Quantization)

量化通过降低模型权重和激活值的精度（如从 FP32 转换为 INT8）来减少计算和存储开销。量化的主要方法包括：

后训练量化 (Post-training Quantization)：无需重新训练。
量化感知训练 (Quantization-aware Training, QAT)：在训练过程中模拟量化误差。

(3) 知识蒸馏 (Knowledge Distillation)

知识蒸馏通过让一个小模型（学生模型）模仿大模型（教师模型）的行为来实现压缩。学生模型通常比教师模型更小、更快，但性能接近。
在这里插入图片描述

2. TensorRT 和 ONNX 在模型部署中的应用

(1) TensorRT

TensorRT 是 NVIDIA 提供的高性能推理库，专注于优化深度学习模型的推理速度。它支持以下功能：

层融合 (Layer Fusion)
内存优化
精度校准（如 FP16 和 INT8）

(2) ONNX (Open Neural Network Exchange)

ONNX 是一种开放的模型格式，用于在不同框架之间交换模型。通过将模型转换为 ONNX 格式，可以利用多种推理引擎（如 TensorRT、ONNX Runtime）进行优化和部署。

实战项目：使用知识蒸馏将 BERT 模型压缩为 DistilBERT

1. 项目背景

BERT 是自然语言处理领域的经典模型，但其庞大的参数量导致推理速度较慢。DistilBERT 是通过知识蒸馏从 BERT 中提炼出的一个轻量级版本，参数量减少了约 40%，推理速度提升了 60%。

2. 实现步骤

我们将使用 Hugging Face 的 transformers 库完成以下任务：

加载预训练的 BERT 模型作为教师模型。
定义一个较小的 BERT 模型作为学生模型。
使用知识蒸馏训练学生模型。
对比学生模型和教师模型的性能。

完整代码

import torch
from transformers import BertTokenizer, BertForSequenceClassification, DistilBertForSequenceClassification
from transformers import Trainer, TrainingArguments
from datasets import load_dataset# Step 1: 加载数据集和预训练模型
dataset = load_dataset("glue", "sst2")
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")def tokenize_function(examples):return tokenizer(examples["sentence"], padding="max_length", truncation=True)tokenized_datasets = dataset.map(tokenize_function, batched=True)# Step 2: 定义教师模型和学生模型
teacher_model = BertForSequenceClassification.from_pretrained("bert-base-uncased")
student_model = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased")# Step 3: 定义知识蒸馏损失函数
class DistillationTrainer(Trainer):def __init__(self, teacher_model, *args, **kwargs):super().__init__(*args, **kwargs)self.teacher_model = teacher_modelself.teacher_model.eval()def compute_loss(self, model, inputs, return_outputs=False):labels = inputs.pop("labels")student_outputs = model(**inputs)with torch.no_grad():teacher_outputs = self.teacher_model(**inputs)loss = torch.nn.functional.kl_div(torch.log_softmax(student_outputs.logits / 2, dim=-1),torch.softmax(teacher_outputs.logits / 2, dim=-1),reduction="batchmean")return (loss, student_outputs) if return_outputs else loss# Step 4: 配置训练参数并开始训练
training_args = TrainingArguments(output_dir="./results",evaluation_strategy="epoch",learning_rate=2e-5,per_device_train_batch_size=16,per_device_eval_batch_size=16,num_train_epochs=3,weight_decay=0.01,
)trainer = DistillationTrainer(teacher_model=teacher_model,model=student_model,args=training_args,train_dataset=tokenized_datasets["train"],eval_dataset=tokenized_datasets["validation"],
)trainer.train()# Step 5: 评估学生模型性能
eval_results = trainer.evaluate()
print(f"Student Model Evaluation Results: {eval_results}")

图示：模型压缩流程图与性能对比图表

1. 模型压缩流程图

以下是知识蒸馏的整体流程图：

在这里插入图片描述

2. 性能对比图表

下图展示了 BERT 和 DistilBERT 在 SST-2 数据集上的性能对比：

模型	参数量	推理速度 (样本/秒)	准确率 (%)
BERT	110M	50	92.5
DistilBERT	66M	120	91.3

前沿关联：大模型的高效推理技术

1. 稀疏化 (Sparsity)

稀疏化通过引入稀疏矩阵操作减少计算量。例如，N:M 稀疏性允许每 N 个权重中仅保留 M 个非零值。

2. 动态计算 (Dynamic Computation)

动态计算根据输入的复杂度调整模型的计算路径。例如，条件计算 (Conditional Computation) 可以跳过不必要的计算分支。

总结

本文介绍了模型压缩的核心技术，包括剪枝、量化和知识蒸馏，并通过一个实战项目展示了如何使用知识蒸馏将 BERT 压缩为 DistilBERT。我们还探讨了 TensorRT 和 ONNX 在模型部署中的应用，以及稀疏化和动态计算等前沿技术。

希望这篇博客能为你提供实用的技术指导！如果你有任何问题或建议，欢迎在评论区留言讨论。

下一篇预告：第12集：大模型的未来与行业应用

《深度学习实战》第11集：AI大模型压缩与加速

深度学习实战 | 第11集：AI大模型压缩与加速在深度学习领域，随着模型规模的不断增大，模型的推理速度和部署效率成为实际应用中的关键挑战。本篇博客将带你深入了解模型压缩与加速的核心技术，并通过一个实战项目展示如何使用知识蒸…...

编程日记 2025/8/29 0:26:51

【大模型安全】大模型的技术风险

【大模型安全】大模型的技术风险 1.DDoS攻击2.常见的传统网络攻击方式3.恶意意图的识别4.AI生成虚假信息传播5.利用AI进行黑客攻击6.模型对抗攻击7.后门攻击8.Prompt攻击9.数据投毒攻击10.模型窃取攻击11.数据窃取攻击 1.DDoS攻击 2023年11月9日凌晨，OpenAI在官网公…...

编程日记 2025/8/29 23:42:26

git命令学习记录

1. git reset 参数说明 git reset 是用来回退版本的，它可以添加三个参数，常用的使用格式是这样的：git reset [--hard | --soft | --mixed] 版本号一般使用git修改文件并提交需要三步，第一步在文本编辑器中编辑文件，也…...

编程日记 2025/8/29 6:40:33

Gartner：数据安全平台DSP提升数据流转及使用安全

2025 年 1 月 7 日，Gartner 发布“China Context：Market Guide for Data Security Platforms”（《数据安全平台市场指南——中国篇》，以下简称指南），报告主要聚焦中国数据安全平台（Data Securit…...

编程日记 2025/8/22 14:06:43

结构型模式---享元模式

概念享元模式是一种结构型设计模式，他摒弃了在每个对象中保存所有数据的方式，通过共享多个对象所共有的相同状态，让你能在有限的内存容量中载入更多对象。享元模式将原始类中的数据分为内在状态数据和外在状态数据。内在状态：就…...

编程日记 2025/8/29 17:54:57

一学就会：A*算法详细介绍（Python）

📢本篇文章是博主人工智能学习以及算法研究时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在&am…...

编程日记 2025/8/28 15:53:35

【Elasticsearch】Elasticsearch 中使用 HDFS 存储快照

在 Elasticsearch 中使用 HDFS 存储快照的步骤如下： 1.安装 HDFS 插件要使用 HDFS 存储 Elasticsearch 的索引快照，需要在 Elasticsearch 集群的所有节点上安装 HDFS 插件。 • 在线安装：适用于网络环境良好的场景，执行以下命…...

编程日记 2025/8/29 23:44:06

【每日十题系列】前端面试高频题目

以下是作为前端面试官常用的10道手撕代码题目，涵盖JavaScript核心、CSS、算法及框架原理，结合高频考点与实际开发场景设计： 1. 手写防抖（debounce）与节流（throttle） 要求：实现防抖函…...

编程日记 2025/8/24 14:33:22

Kafka 消息 0 丢失的最佳实践

文章目录 Kafka 消息 0 丢失的最佳实践生产者端的最佳实践使用带有回调的 producer.send(msg, callback) 方法设置 acks all设置 retries 为一个较大的值启用幂等性与事务（Kafka 0.11）正确关闭生产者与 flush() 方法 Broker 端的最佳实践设置 unclean.l…...

编程日记 2025/8/29 23:42:13

学网络安全报班可靠吗？

在当今社会，网络安全已经成为我们工作和生活中不可忽视的重要部分，而且市场上各大企业对网络安全人才的需求量非常之大，因此网络安全培训班应运而生，那么学网络安全报培训班靠谱吗?这是很多小伙伴都关心的问题，我们来…...

编程日记 2025/8/29 23:42:14

LeetCode 1745.分割回文串 IV：动态规划（用III或II能直接秒）

【LetMeFly】1745.分割回文串 IV：动态规划（用III或II能直接秒） 力扣题目链接：https://leetcode.cn/problems/palindrome-partitioning-iv/ 给你一个字符串 s ，如果可以将它分割成三个非空回文子字符串，…...

编程日记 2025/8/29 23:42:25

4 Redis4 List命令类型讲解

Redis 列表（List）命令详解 1. Redis 列表（List）简介 Redis 列表（List）是一个简单的字符串列表，按照插入顺序排序。它可以用作栈（Stack） 和队列（Queue&…...

编程日记 2025/8/29 23:40:13

鬼泣：项目前置设置杂项

能帮到你的话，就给个赞吧 😘 文章目录插件niagara ui render：在 UI 中渲染 Niagara 特效skeletal editor：编辑骨骼，调整骨骼动画motion warping：根据目标自动调整角色动画。animation warping：…...

编程日记 2025/8/28 21:22:49

MyBatis-Plus 条件构造器的使用（左匹配查询）

在上一篇文章中，我们已经介绍了 MyBatis-Plus 条件构造器，包括 QueryWrapper 和 UpdateWrapper 的基本使用方法、常见查询条件（如等于、不等于、大于、小于）以及如何使用 Lambda 表达式来构建动态查询和更新条件。在本文中&…...

编程日记 2025/8/25 22:34:43

#define GBB_DEPRECATED_MSG(msg) __declspec(deprecated(msg))

这个宏 #define GBB_DEPRECATED_MSG(msg) __declspec(deprecated(msg)) 是用来在 C++ 中标记某些函数、变量或者代码元素为已弃用（deprecated）的，并附带一个自定义的弃用消息。具体解释： __declspec(deprecated(msg))： __declspec 是 Microsoft Visual C++ (MSVC) 的扩展…...

编程日记 2025/8/21 16:07:42

Vue输入框获取焦点

1. 元素未渲染完成如果你在组件挂载或数据更新后立即调用 focus()，可能元素还未渲染到 DOM 中，导致 focus() 失效。解决方法：确保在元素渲染完成后再调用 focus()。可以使用 nextTick 确保 DOM 更新完成。 2. ref 未正确绑定确保 ref 正确…...

编程日记 2025/8/27 11:07:22

辛格迪客户案例 | 深圳善康医药科技GMP培训管理（TMS）项目

01 善康医药：创新药领域的探索者深圳善康医药科技股份有限公司自2017年创立以来，便扎根于创新药研发领域，专注于成瘾治疗药物的研究、生产与销售。公司坐落于深圳，凭借自身独特的技术优势与研发实力，在行业内逐渐崭露…...

编程日记 2025/8/28 1:48:17

迷你世界脚本出生点接口：Spawnport

出生点接口：Spawnport 彼得兔更新时间: 2023-04-26 10:19:56 具体函数名及描述如下: 序号函数名函数描述 1 getSpawnPoint(...) 获取默认出生点 2 setSpawnPoint(...) 设置出生点位置 3 getChunkValidSpawnPos(...) 获取区块有效刷新点…...

编程日记 2025/8/29 10:19:23

Android车机DIY开发之软件篇(二十)立创泰山派android编译

准备工作 sudo apt-get update sudo apt-get install git -y sudo apt install repo -ysudo apt-get install python2.7sudo apt-get install python3sudo update-alternatives --install /usr/bin/python python /usr/bin/python2.7 1 sudo update-alternatives --install /u…...

编程日记 2025/8/29 7:06:28

MDM 如何彻底改变医疗设备的远程管理

在现代医疗行业迅速发展的格局中，医院和诊所越来越依赖诸如医疗平板和移动工作站等移动设备。这些设备在提高工作效率和提供卓越的患者护理方面发挥着关键作用。然而，随着它们的广泛使用，也带来了一系列挑战，例如在不同地点确保数…...

编程日记 2025/8/29 16:02:33

Libgdx游戏开发系列教程(6)——游戏暂停

目录最初方案1 优化方案2 - 事件拦截器监听按键优化方案3 - 暂停状态重绘优化方案4 优化方案5 补充 - 监听android手机的返回键暂停也是一个游戏的必要功能了,本文研究了Libgdx实现游戏暂停例子以桌面端游戏实现讲解为主,至于移动端,可能之后会进行补充... 本文最…...

编程日记 2025/8/29 17:41:00

车载测试：智能座舱测试中多屏联动与语音交互的挑战

智能座舱作为汽车智能化发展的核心，集成了多屏联动和语音交互功能，为驾驶员和乘客提供更便捷的体验。然而，这些功能的测试面临诸多挑战，包括多屏同步性、噪声干扰和复杂场景的处理。本文将详细分析这些挑战，探讨测试方…...

编程日记 2025/8/29 16:16:03

【踩坑随笔】`npm list axios echarts`查看npm依赖包报错

npm list axios echarts查看npm依赖包出现以下报错，原因就是包的版本匹配问题，按照提示降axios版本或者自己升找合适的got版本，我这里是选择了降版本。本文记录仅做解决思路参考不一定适配大家的实际情况。 weed-detection-system1.0.0 E:\P…...

编程日记 2025/8/28 16:45:10

用于管理 Elasticsearch Serverless 项目的 AI Agent

作者：来自 Elastic Fram Souza 由自然语言驱动的 AI 代理，可轻松管理 Elasticsearch Serverless 项目 - 支持项目创建、删除和状态检查。这个小型命令行工具让你可以用简单的英语管理你的无服务器 Elasticsearch 项目。它通过AI（这里是 Ope…...

编程日记 2025/8/28 8:34:23

【文生图】windows 部署stable-diffusion-webui

windows 部署stable-diffusion-webui AUTOMATIC1111 stable-diffusion-webui Detailed feature showcase with images: 带图片的详细功能展示： Original txt2img and img2img modes 原始的 txt2img 和 img2img 模式 One click install and run script (but you still must i…...

编程日记 2025/8/29 17:19:50

STaR（Self-Taught Reasoner）方法：让语言模型自学推理能力（代码实现）

STaR（Self-Taught Reasoner）方法：让语言模型自学推理能力在大型语言模型（LLM）的推理能力优化中，STaR（Self-Taught Reasoner） 是一种引人注目的技术，属于“修改提议分布…...

编程日记 2025/8/26 17:38:26

十大经典排序算法简介

一概述本文对十大经典排序算法做简要的总结（按常用分类方式排列），包含核心思想、时间/空间复杂度及特点。二、比较类排序 1. 冒泡排序 (BUBBLE SORT) 思想：重复交换相邻逆序元素，像气泡上浮复杂度：时间：O(n^2)（最好情况O(n)）空间：O(1) 特点：简单但效率低，稳…...

编程日记 2025/8/28 21:10:16

5.训练策略：优化深度学习训练过程的实践指南——大模型开发深度学习理论基础

在实际开发中，训练策略对神经网络的表现起着至关重要的作用。通过合理的训练策略，我们可以有效避免过拟合和欠拟合，加速模型收敛，并提升最终性能。本文将从实际开发角度详细介绍几种关键的训练策略，包括 Early Stoppin…...

编程日记 2025/8/28 10:58:58

道可云人工智能每日资讯｜《奇遇三星堆》VR沉浸探索展（淮安站）开展

道可云元宇宙每日简报（2025年3月5日）讯，今日元宇宙新鲜事有： 《奇遇三星堆》VR沉浸探索展（淮安站）开展近日，《奇遇三星堆》VR沉浸探索展（淮安站）开展。该展将三星堆文…...

编程日记 2025/8/27 14:20:53

Camera相关配置

一、 Purpose目的通常， 感知模块使用雷达点云和相机图像来对物体进行检测和分类，感知数据分别来自雷达和相机，就传感器数据融合准确性，我们需要雷达和相机同一时间捕捉到同一物体(时间间隔尽可能短)，否则一个真实的物…...

编程日记 2025/8/28 0:37:57

PHP Error处理指南

PHP Error处理指南引言在PHP开发过程中，错误处理是一个至关重要的环节。正确的错误处理不仅能够提高代码的健壮性，还能提升用户体验。本文将详细介绍PHP中常见的错误类型、错误处理机制以及最佳实践，帮助开发者更好地应对和处理PHP错误。 PHP错误类型在PHP中，错误主…...

编程日记 2025/8/29 19:44:56

【Pandas】pandas Series argmax

Pandas2.2 Series Computations descriptive stats 方法描述Series.argsort([axis, kind, order, stable])用于返回 Series 中元素排序后的索引位置的方法Series.argmin([axis, skipna])用于返回 Series 中最小值索引位置的方法Series.argmax([axis, skipna])用于返回 Series…...

编程日记 2025/8/29 22:31:52

Gitlab配置personal access token

1.点击左上角个人账号 -> Preferences 2. 点击左边栏 Access Tokens 3. 点击Add new token ，输入token名称，勾选权限（注意截至日期 “Expiration date” 可不填） 4. 创建成功后，显示token信息，复制到本地…...

编程日记 2025/8/28 12:31:35

【MySQL、Oracle、SQLserver、postgresql】查询多条数据合并成一行

四大数据库多行合并为单行：函数详解与对比一、MySQL**GROUP_CONCAT()** 函数说明：语法结构：参数解释：示例：注意事项： 二、Oracle**LISTAGG()** 函数说明：语法结构：参数解释&#xf…...

编程日记 2025/8/29 1:27:35

人机交互进化论：解码智能手机81种交互方式背后的用户体验革命

人机交互进化论：解码智能手机81种交互方式背后的用户体验革命 2023年艾瑞咨询报告显示：中国智能手机用户日均触屏交互超2500次，解锁屏幕达76次/天。在这看似简单的点击与滑动背后，隐藏着一场持续演进的人机交互革命。本文将深度解…...

编程日记 2025/8/27 13:41:54

OCPP扩展机制与自定义功能开发：协议灵活性设计与实践 - 慧知开源充电桩平台

OCPP扩展机制与自定义功能开发：协议灵活性设计与实践引言 OCPP作为开放协议，其核心价值在于平衡标准化与可扩展性。面对不同充电桩厂商的硬件差异、区域能源政策及定制化业务需求，OCPP通过**扩展点（Extension Points&#xff09…...

编程日记 2025/8/24 0:29:12

网络编程之TCP协议

传输层协议：UDP和TCP的区别 UDP：用户数据报协议 1.面向数据报 2.无连接 3.不安全，不可靠(尽最大努力交付) TCP:传输控制协议 1.面向数据流(流式套接字) 2.建立连接 3.安全可靠的传输协议 TCP的传输过程三次握手：TCP建立…...

编程日记 2025/8/28 12:45:49

策略模式的C++实现示例

核心思想策略模式是一种行为型设计模式，它定义了一系列算法，并将每个算法封装在独立的类中，使得它们可以互相替换。策略模式让算法的变化独立于使用它的客户端，从而使得客户端可以根据需要动态切换算法，而不需要修改…...

编程日记 2025/8/29 0:07:29

keil软件下载安装使用(STM32篇)

一、前言 Keil软件是一款专为嵌入式系统开发设计的集成开发环境（IDE），由德国Keil公司创立，后被ARM公司收购并持续更新维护。它集成了代码编辑、编译、调试和项目管理等功能，广泛应用于各类单片机的程序开发&#xff0…...

编程日记 2025/8/29 8:08:49

【简单的C++围棋游戏开发示例】

C围棋游戏开发简单示例（控制台版） ‌核心代码实现‌ #include <iostream> #include <vector> #include <queue> using namespace std;const int SIZE 9; // 简化棋盘为9x9‌:ml-citation{ref"1" data"citationList&…...

编程日记 2025/8/27 3:38:26

【Python 数据结构 4.单向链表】

目录一、单向链表的基本概念 1.单向链表的概念 2.单向链表的元素插入元素插入的步骤 3.单向链表的元素删除元素删除的步骤 4.单向链表的元素查找元素查找的步骤 5.单向链表的元素索引元素索引的步骤 6.单向链表的元素修改元素修改的步骤二、Python中的单向链表编辑三…...

编程日记 2025/8/28 12:14:40

组合逻辑和时序逻辑

组合逻辑定义组合逻辑电路是一种输出只取决于当前输入值的电路，即电路的输出状态仅由当前时刻的输入信号组合决定，与电路过去的状态无关。特点无记忆功能：组合逻辑电路不具备存储信息的能力，它不会记住之前的输入情况。每次…...

编程日记 2025/8/21 2:54:53

如何有效判断与排查Java GC问题

目录一、GC的重要性与对性能的影响 （一）GC对性能的影响简要分析 1.GC暂停与应用停顿 2.GC吞吐量与资源利用率 3.GC对内存管理的作用：资源回收 4.GC策略与优化的选择 （二）GC的双刃剑二、GC性能评价标准 &…...

编程日记 2025/8/28 1:19:26

Ubuntu20.04 在离线机器上安装 NVIDIA Container Toolkit

步骤 1.下载4个安装包 Index of /nvidia-docker/libnvidia-container/stable/ nvidia-container-toolkit-base_1.13.5-1_amd64.deb libnvidia-container1_1.13.5-1_amd64.deb libnvidia-container-tools_1.13.5-1_amd64.deb nvidia-container-toolkit_1.13.5-1_amd64.deb 步…...

编程日记 2025/8/26 20:52:02

【流行病学】Melodi-Presto因果关联工具

title: “[流行病学] Melodi Presto因果关联工具” date: 2022-12-08 lastmod: 2022-12-08 draft: false tags: [“流行病学”,“因果关联工具”] toc: true autoCollapseToc: true 阅读介绍 Melodi-Presto: A fast and agile tool to explore semantic triples derived from …...

编程日记 2025/8/27 6:15:50

Android14 OTA差分包升级报Package is for source build

制作好差分包，使用adb线刷模式验证ota升级，出现E:Package is for source build错误使用adb方式验证进入recovery模式 adb reboot recovery稍等一会界面会提示 Now send the package you want to apply to the device with "adb sidelaod <…...

编程日记 2025/8/29 4:15:56

PTA L2一些题目

L2-014 列车调度 - 团体程序设计天梯赛-练习集样例是怎么来的呢？通过题目我们知道每一条轨道的车牌号必须是依次递减的。那么，我们如果让每条轨道尽可能长就能保证轨道数最少------也就是说，我们要尽可能的找最长降序序列。但是1e5数据量…...

编程日记 2025/8/29 12:15:16

Harbor端口更改||Harbor端口映射

Harbor端口更改|Harbor端口映射目标：将端口更改为8930 前言 [rootk8s-node1 harbor]# ls common common.sh docker-compose.yml harbor.v2.5.0.tar.gz harbor.yml harbor.yml.tmpl install.sh LICENSE prepare如上是Harbor的文件目录更改harbor.yml文件…...

编程日记 2025/8/28 1:34:42

基于STM32的智能家居蓝牙系统（论文+源码）

1总体方案设计本次基于STM32的智能家居蓝牙系统，其系统总体架构如图2.1所示，采用STM32f103单片机作为控制器，通过DHT11传感器实现温湿度检测，MQ-2烟雾传感器实现烟雾检测，光敏电阻实现光照检测，同时将数据…...

编程日记 2025/8/26 18:14:56

视觉Transformer（DETR）

文章目录 DETR总体流程DETR 中 transformer 结构encoderdecoderObeject Query HEADFFNLOSS正负样本分配简单的demo不足之处 DETR 是首次将 Transformer结构首次应用到视觉目标检测中，实现端到端的目标检测。传统目标检测路线（yolo代表&#xff09…...

编程日记 2025/8/26 17:05:30