当前位置： 首页 > news >正文

PyTorch中知识蒸馏浅讲

news 来源：原创 2025/6/28 4:03:34

知识蒸馏

在 PyTorch 中，使用 teacher_model.eval() 和冻结教师模型参数是知识蒸馏（Knowledge Distillation）中的关键步骤。

​1. teacher_model.eval() 的作用

目的：

将教师模型切换到评估模式，影响某些特定层（如 Dropout、BatchNorm）的行为。

​具体影响：

  • ​Dropout 层：
    在训练模式下，Dropout 层会随机丢弃神经元以防止过拟合；但在评估模式下，Dropout 层会保持所有神经元激活

  • ​BatchNorm 层：
    在训练模式下，BatchNorm 使用当前 batch 的均值和方差进行归一化，并更新移动平均统计量；但在评估模式下，BatchNorm 会固定使用训练阶段累积的全局均值和方差

为什么需要：

  • 确保教师模型的推理行为稳定，避免随机性（如 Dropout）或统计量波动（如 BatchNorm）影响输出结果的一致性。
  • 在生成软标签（Soft Targets）时，保持教师模型输出的可靠性

相关文章：

PyTorch中知识蒸馏浅讲

知识蒸馏 在 PyTorch 中，使用 teacher_model.eval() 和冻结教师模型参数是知识蒸馏（Knowledge Distillation）中的关键步骤。 ​1. teacher_model.eval() 的作用 目的： 将教师模型切换到评估模式，影响某些特定层（如 Dropout、BatchNorm）的行为。 ​具体影响： ​Dropo…...

编程日记 2025/6/28 4:03:34

服务器自动备份到本地，服务器自动备份到本地的方法有哪些？

服务器自动备份到本地是确保数据安全和系统恢复能力的关键步骤。以下是几种常见的服务器自动备份到本地的方法： 一、使用系统自带的备份工具 Windows Server Windows Server Backup 简介：Windows Server Backup是Windows Server操作系统内置的备份和…...

编程日记 2025/6/29 3:10:18

Vue+Elementui首页看板

源码 <template><!-- 查询条件--><div class="optimize-norm" v-loading="selectDataLoading"><el-form :model="queryParams" ref="queryRef" style="padding-bottom:8px" :inline="true"…...

编程日记 2025/6/28 3:54:33

力扣HOT100之链表：141. 环形链表

这道题都已经刷烂了&#xff0c;没啥好说的&#xff0c;就是定义快慢指针&#xff0c;慢指针每次移动一步&#xff0c;快指针每次移动两步&#xff0c;如果链表中有环&#xff0c;那么快指针一定会追上慢指针&#xff0c;追上时直接返回true&#xff0c;否则快指针会直接到达链…...

编程日记 2025/6/28 7:10:12

vue实现俄罗斯方块

说明&#xff1a; vue实现俄罗斯方块 效果图&#xff1a; step1:C:\Users\wangrusheng\PycharmProjects\untitled3\src\views\Game.vue <script setup> import { ref, reactive, computed, onMounted, onUnmounted } from vueconst SHAPES [[[1, 1, 1, 1]], // I[[1, …...

编程日记 2025/6/28 5:53:32

Web3.0隐私计算与云手机的结合

Web3.0隐私计算与云手机的结合 Web3.0隐私计算与云手机的结合&#xff0c;标志着从“数据垄断”向“数据自主”的范式转变。通过技术互补&#xff0c;两者能够构建更安全、高效且用户主导的数字生态。尽管面临技术整合和成本挑战&#xff0c;但随着区块链、AI和分布式存储的成…...

编程日记 2025/6/28 5:05:58

git | 版本切换的相关指令

常见指令 git log --oneline #查看历史提交 git tag latest-backup # 对当前的提交进行标记&#xff0c;标记名为latest-backup git checkout -b old-version 55b16aa # 切换到[55b16aa]的提交中&#xff0c;并标记为[old-version]的分支 git checkout master …...

编程日记 2025/6/29 3:23:44

基于 Fluent-Bit 和 Fluentd 的分布式日志采集与处理方案

#作者&#xff1a;任少近 文章目录 需求描述系统目标系统组件Fluent BitFluentdKafka 数据流与处理流程日志采集日志转发到 Fluentd日志处理与转发到 KafkaKafka 作为消息队列 具体配置Fluent-Bit的CM配置Fluent-Bit的DS配置Fluentd的CM配置Fluentd的DS配置Kafka查询结果 需求…...

编程日记 2025/6/28 7:10:25

【渗透测试】Vulnhub靶机-FSoft Challenges VM: 1-详细通关教程

下载地址&#xff1a;https://www.vulnhub.com/entry/fsoft-challenges-vm-1,402/ 目录 前言 信息收集 目录扫描 wpscan扫描 修改密码 反弹shell 提权 思路总结 前言 开始前注意靶机简介&#xff0c;当第一次开机时会报apache错误&#xff0c;所以要等一分钟后重启才…...

编程日记 2025/6/28 4:50:56

c语言strcat和strlen的注意事项

1 .strlen C库函数size_t strlen(const char* str)计算字符串str的长度&#xff0c;直到空字符&#xff0c;不包括空字符。在C语言中&#xff0c;字符串实际上是使用空字符\0结尾的一维字符数组。空字符&#xff08;Null character&#xff09;又称结束符&#xff0c;缩写NUL&…...

编程日记 2025/6/28 3:42:09

本地RAG知识库，如何进行数据结构化和清洗？

环境&#xff1a; 数据结构化和清洗 问题描述&#xff1a; 本地RAG知识库&#xff0c;如何进行数据结构化和清洗&#xff1f; 解决方案&#xff1a; 1. 数据结构化的重要性 RAG技术需求&#xff1a;在检索增强生成&#xff08;Retrieval-Augmented Generation, RAG&#xf…...

编程日记 2025/6/28 5:09:13

开源测试用例管理平台

不可错过的10个开源测试用例管理平台&#xff1a; PingCode、TestLink、Kiwi TCMS、Squash TM、FitNesse、Tuleap、Robot Framework、SpecFlow、TestMaster、Nitrate。 开源测试用例管理工具提供了一种透明、灵活的解决方案&#xff0c;使团队能够在不受限的情况下适应具体的测…...

编程日记 2025/6/28 5:52:15

OpenAI最近放出大新闻，准备在接下来的几个月内推出一款“开放”的语言模型

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

编程日记 2025/6/28 5:45:09

锁策略--

文章目录 乐观锁和悲观锁轻量锁和重量锁自旋锁和挂起等待锁读写锁和互斥锁可重入锁和不可重入锁公平锁和非公平锁 乐观锁和悲观锁 乐观锁在执行任务前预期竞争不激烈&#xff0c;就先不添加锁等到了发生了真实的锁竞争再进行锁竞争 乐观锁适用于锁竞争不激烈的情况下 悲观锁在…...

编程日记 2025/6/28 6:11:53

IO多路复用

BIO&#xff08;同步阻塞&#xff09; 当客户端请求连接到服务端请求过程中其实是通过socket连接&#xff0c;socket的意思其实就是插座&#xff0c;可以理解成手机需要充电&#xff0c;这里的电要从服务端获取&#xff0c;手机的充电口和服务端的插座都是socket&#xff0c;假…...

编程日记 2025/6/28 4:45:49

AF3 OpenFoldSingleDataset类解读

AlphaFold3 data_modules 模块的 OpenFoldSingleDataset类 是 OpenFold 中的一个数据集类，继承自 torch.utils.data.Dataset，用于加载和处理蛋白质结构数据，以支持 AlphaFold3 相关的深度学习任务。OpenFoldSingleDataset 读取的多序列比对（MSA）数据、模板（template）特征…...

编程日记 2025/6/28 6:21:38

高级java每日一道面试题-2025年3月21日-微服务篇[Nacos篇]-什么是Nacos？

如果有遗漏,评论区告诉我进行补充 面试官: 什么是Nacos&#xff1f; 我回答: Nacos综合解析 一、Nacos的定义与功能 Nacos是阿里巴巴开源的一个专注于动态服务发现、配置管理和服务管理平台&#xff0c;其名称来源于Dynamic Naming and Configuration Service&#xff08;…...

编程日记 2025/6/28 3:59:46

C++练习3

练习 终端上输出 3.14 要求实现 myDouble的 operator operator- operator* &#xff08;不考虑进位&#xff09; class myOut { 没有私有成员 只有公开函数 } myOut out; out << 1 终端输出1 out << 3.14 终端输出3.14 out << "hello" 终…...

编程日记 2025/6/29 3:26:17

Deepseek API+Python 测试用例一键生成与导出 V1.0.6（加入分块策略，返回更完整可靠）

随着Deepseek APIPython 测试用例一键生成与导出 V1.0.5的试用不断深入&#xff0c;在处理需求文档内容时&#xff0c;会出现由于文档内容过长导致大模型返回的用例远达不到我们的期望数量&#xff1b;另一方面&#xff0c;是接口文档的读取&#xff0c;如果接口数量过多&#…...

编程日记 2025/6/28 4:29:57

JDK 17 + Spring Boot 3 全栈升级实战指南--从语法革新到云原生，解锁企业级开发新范式

&#x1f680; 技术升级背景 随着 JDK 17&#xff08;LTS&#xff09; 与 Spring Boot 3 的发布&#xff0c;Java 生态迎来性能与开发效率的双重飞跃。相较于 JDK 8&#xff0c;JDK 17 在语法、API、GC 等方面均有显著优化&#xff0c;而 Spring Boot 3 则全面拥抱 Jakarta EE…...

编程日记 2025/6/28 4:16:19

phpStorm2021.3.3在windows系统上配置Xdebug调试

开始 首先根据PHP的版本下载并安装对应的Xdebug扩展在phpStorm工具中找到设置添加服务添加php web page配置完信息后 首先根据PHP的版本下载并安装对应的Xdebug扩展 我使用的是phpStudy工具&#xff0c;直接在php对应的版本中开启xdebug扩展&#xff0c; 并在php.ini中添加如下…...

编程日记 2025/6/28 6:35:04

DFS/BFS简介以及剪枝技巧

DFS简介 DFS含义 ⭐ DFS&#xff0c;即Depth-first-search&#xff0c;是深度优先搜索的简称。 它的主要思路是一直沿当前分支搜索&#xff0c;当搜索到尽头之后返回&#xff0c;再逐步向其他地方扩散。 我们可以通过一个树形结构说明DFS的遍历顺序 A/ | \B C D/ \ |E…...

编程日记 2025/6/27 5:58:21

LeetCode[15]三数之和

思路&#xff1a; 一开始我想的用哈希表来做&#xff0c;但是怎么想怎么麻烦&#xff0c;最后看解析&#xff0c;发现人家用的双指针&#xff0c;那我来讲一下我这道题理解的双指针。 这道题使用双指针之前一定要给数组进行排序&#xff0c;ok为什么排序&#xff1f;因为我需要…...

编程日记 2025/6/28 5:09:54

高性能计算面经

高性能计算面经 C八股文真景一面凉经自我介绍&#xff0c;介绍一下你做过的加速的模块(叠噪&#xff0c;噪声跟原图有什么关系&#xff1f;)OpenGL和OpenCL有什么区别&#xff1f;**1. 核心用途****2. 编程模型****3. 硬件抽象****4. API设计****5. 典型应用场景****6. 互操作性…...

编程日记 2025/6/28 4:00:21

HTML 标签类型全面介绍

HTML 标签类型全面介绍 HTML&#xff08;HyperText Markup Language&#xff09;是构建 Web 页面结构的基础语言。HTML 由不同类型的标签组成&#xff0c;每种标签都有特定的用途。本文将全面介绍 HTML 标签的分类及其用法。 1. HTML 标签概述 HTML 标签通常成对出现&#xf…...

编程日记 2025/6/28 5:06:17

【漫话机器学习系列】168.最大最小值缩放（Min-Max Scaling）

在机器学习和数据预处理中&#xff0c;特征缩放&#xff08;Feature Scaling&#xff09; 是一个至关重要的步骤&#xff0c;它可以使模型更稳定&#xff0c;提高训练速度&#xff0c;并优化收敛效果。最大最小值缩放&#xff08;Min-Max Scaling&#xff09; 是其中最常见的方…...

编程日记 2025/6/28 4:53:05

Spring Boot中对同一接口定义多个切面的示例，分别通过接口方式和注解方式实现切面排序，并对比差异

以下是Spring Boot中对同一接口定义多个切面的示例&#xff0c;分别通过接口方式和注解方式实现切面排序&#xff0c;并对比差异&#xff1a; 一、接口方式实现切面排序 1. 定义接口 // 服务接口 public interface MyService {void methodA();void methodB(); }// 接口实现类…...

编程日记 2025/6/28 6:58:59

基于SpringBoot的高校学术交流平台

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏&#xff1a;…...

编程日记 2025/6/28 5:04:40

数据治理的专题库

数据治理专题库的全面解析 一、专题库的定义与定位 数据治理专题库是围绕特定业务领域或场景构建的专业化数据库&#xff0c;其核心在于业务导向性和自主性。与基础库&#xff08;如人口、法人、地理信息等跨部门核心实体数据&#xff09;和主题库&#xff08;如市场监管中的…...

编程日记 2025/6/28 7:09:41

【MathType】MathType安装和嵌入word

MathType 是一款功能强大的数学公式编辑器&#xff0c;广泛应用于学术论文、教材编写、科研报告等领域。它支持多种数学符号、公式排版&#xff0c;并且与 Microsoft Word、Google Docs、WPS 等办公软件兼容&#xff0c;极大地方便了数学公式的输入和编辑 记录一下安装的过程 …...

编程日记 2025/6/28 3:26:13

mediacodec服务启动时加载media_codecs.xml

media.codec服务启动时&#xff0c; 会创建 implementation::Omx 和 implementation::OmxStore&#xff0c; 构造 Omx时&#xff0c; 会解析codec相关的xml文件&#xff0c;一般从会如下目录中&#xff0c; // from getDefaultSearchDirs() { "/product/etc",&quo…...

编程日记 2025/6/28 1:20:12

Scala（三）

本节课学习了函数式编程&#xff0c;了解到它与Java、C函数式编程的区别&#xff1b;学习了函数的基础&#xff0c;了解到它的基本语法、函数和方法的定义、函数高级。。。学习到函数至简原则&#xff0c;高阶函数&#xff0c;匿名函数等。 函数的定义 函数基本语法 例子&…...

编程日记 2025/6/28 6:46:45

kafka 报错消息太大解决方案 Broker: Message size too large

kafka-configs.sh --bootstrap-server localhost:9092 \ --alter --entity-type topics \ --entity-name sim_result_zy \ --add-config max.message.bytes10485880 学习营课程...

编程日记 2025/6/28 7:01:52

APScheduler定时

异步IO 定时(协程&#xff09; import asyncio import logging from apscheduler.schedulers.asyncio import AsyncIOScheduler from apscheduler.triggers.cron import CronTriggerlogging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__)class Schedul…...

编程日记 2025/6/28 5:31:21

[GESP202503 C++六级题解]：P11962：树上漫步

[GESP202503 C++六级题解]：P11962：树上漫步 题目描述 小 A 有一棵 n n n 个结点的树，这些结点依次以 1 , 2 , ⋯   , n 1,2,\cdots,n 1,2,⋯,n 标号。 小 A 想在这棵树上漫步。具体来说，小 A 会从树上的某个结点出发，每⼀步可以移动到与当前结点相邻的结点，并且小 A…...

编程日记 2025/6/28 7:03:26

JavaScript基础-常见网页特效案例

在现代Web开发中&#xff0c;JavaScript不仅是处理业务逻辑的核心工具&#xff0c;也是实现丰富交互体验的关键。通过JavaScript&#xff0c;我们可以轻松地为网页添加各种动态效果和交互特性&#xff0c;从而提升用户体验。本文将介绍几种常见的网页特效案例&#xff0c;并提供…...

编程日记 2025/6/27 21:03:53

数据结构4

day4 5.队列 Queue 5.1 特性 队列是只允许再两端进行插入和删除操作的线性表&#xff0c;在队尾插入&#xff0c;在队头删除&#xff0c;插入的一段被称为“队尾”&#xff0c;删除的一端被称为“队头”。队列包括循环队列(顺序队列)、链式队列。结构&#xff1a;先进先出&…...

编程日记 2025/6/28 3:43:30

Rust 为什么不适合开发 GUI

前言 在当今科技蓬勃发展的时代&#xff0c;Rust 编程语言正崭露头角&#xff0c;逐步为世界上诸多重要基础设施提供动力支持。从存储海量信息到应用于 Linux 内核&#xff0c;Rust 展现出强大的实力。然而&#xff0c;当涉及构建 GUI&#xff08;图形用户界面&#xff09;时&…...

编程日记 2025/6/28 1:20:10

DisplayPort版本对比

目前视频接口标准基本上被HDMI和DisplayPort两大标准给瓜分天下了。 &#xff08;1&#xff09; HDMI由消费电子厂商主导&#xff0c;最新版本&#xff08;如HDMI 2.1&#xff09;理论带宽为48Gbps&#xff0c;主要应用于电视、游戏主机及家庭影音设备。 &#xff08;2&#xf…...

编程日记 2025/6/28 5:44:33

YOLOv12即插即用-Pconv(风车卷积)

1.模块介绍 PinwheelConv（风车状卷积）充分利用了IRST（红外搜索与跟踪）中的高斯分布特性，以极少的参数实现了高效且更大感受野的特性。此外，本文还提出了一种简单而高效的 SD 损失函数，有效缓解了标签 IoU 变化带来的不稳定性。通过与现有卷积模块和损失函数的广泛对比，…...

编程日记 2025/6/28 6:29:21

AI知识补全（十四）：零样本学习与少样本学习是什么？

名人说&#xff1a;一笑出门去&#xff0c;千里落花风。——辛弃疾《水调歌头我饮不须劝》 创作者&#xff1a;Code_流苏(CSDN)&#xff08;一个喜欢古诗词和编程的Coder&#x1f60a;&#xff09; 上一篇&#xff1a;AI知识补全&#xff08;十三&#xff09;&#xff1a;注意力…...

编程日记 2025/6/28 6:31:46

Pycharm(十一）:字符串练习题

1.输入一个字符串&#xff0c;打印所有偶数位上的字符(下标是0&#xff0c;2&#xff0c;4&#xff0c;6...位上的字符) # 练习题1:输入一个字符串&#xff0c;打印所有偶数位上的字符(下标是0&#xff0c;2&#xff0c;4&#xff0c;6...位上的字符) # 1.键盘录入字符串&…...

编程日记 2025/6/28 6:46:49

设计原则之迪米特法则

一、定义 迪米特法则又称为最少知识原则&#xff08;Law of Demeter&#xff0c;LoD&#xff09;&#xff0c;是一项用于面向对象设计的基本原则之一。该原则强调一个对象应该对其他对象有最少的了解&#xff0c;即一个类不应该知道太多关于其他类的内部细节。 二、好处 迪米…...

编程日记 2025/6/28 4:36:28

Debian系统_主板四个网口1个配置为WAN，3个配置为LAN

Debian系统_主板四个网口1个配置为WAN&#xff0c;3个配置为LAN 一、重新配置网口 1、查看当前网口的状态 ifconfig 或者 ip link show 或者 ls /sys/class/net 2、修改网络配置文件 sudo vi /etc/network/interfaces 注意WAN口的网关地址如果是192.168.3.1的话&#xff0c;L…...

编程日记 2025/6/28 4:17:13

Spring Boot 快速入手

前言&#xff1a;为什么选择 Spring Boot&#xff1f; &#x1f680; 在现代 Java 开发中&#xff0c;Spring Boot 已成为最流行的后端框架之一。无论是小型 Web 应用、企业级系统&#xff0c;还是微服务架构&#xff0c;Spring Boot 都能提供快速开发、自动配置、轻量级部署的…...

编程日记 2025/6/28 3:16:23

Ubuntu Live USB 如何使用

以下是使用 Ubuntu Live USB 的详细指南&#xff0c;涵盖启动、试用系统、安装系统及常用工具操作&#xff1a; 1. 制作 Ubuntu Live USB • 所需工具&#xff1a; • Ubuntu ISO 镜像&#xff08;从 官网 下载&#xff09;。 • U盘&#xff08;至少 4GB&#xff0c;数据将被…...

编程日记 2025/6/28 6:28:43

基于单片机的音乐播放器系统设计

基于单片机的音乐播放器系统设计是一个综合性较强的电子系统开发项目 系统概述 基于单片机的音乐播放器旨在利用单片机的控制功能，结合音频处理电路、存储单元等，实现音乐的播放、暂停、切换、音量调节等功能，可应用于小型便携式音频设备、电子玩具、智能家居背景音乐系统等…...

编程日记 2025/6/28 6:08:38

HttpClient-01.介绍

一.介绍 通过HttpClient&#xff0c;我们可以在Java程序中构造并发送Http请求。要使用HttpClient&#xff0c;就要导入依赖坐标。 核心API&#xff1a; HttpClient&#xff1a;Http客户端&#xff0c;使用它可以发送http请求。 HttpClients&#xff1a;构建器&#xff0c;使…...

编程日记 2025/6/27 11:25:41

2025年win10使用dockerdesktop安装k8s

一、写作背景 百度了一圈&#xff0c; 要么教程老&#xff0c;很多操作步骤冗余&#xff0c; 要么跑不通&#xff0c;或者提供的链接失效等情况。 二、看前须知 1、安装过程使用的AI辅助&#xff0c; 因为参考的部分博客卡柱了。 2、如果操作过程中遇到卡顿&#xff0c; …...

编程日记 2025/6/28 5:51:50

技术回顾day2

1.获取文件列表 流程&#xff1a;前端根据查询条件封装查询信息&#xff0c;后端接收后进行封装&#xff0c;封装为FileInfoQuery,根据fileInfoQuery使用mybatis的动态sql来进行查询。 2.文件分片上传 每次上传需要上传包括(文件名字&#xff0c;文件&#xff0c;md5值&#…...

编程日记 2025/6/28 6:16:56