当前位置： 首页 > news >正文

混合精度-基于torch内部

news 来源：原创 2025/8/5 19:32:26

定义

混合精度训练是一种在深度学习模型训练过程中，同时使用不同精度数据类型（主要是单精度 FP32 和半精度 FP16）来进行计算和存储的技术。以下是具体介绍：
数据类型：

  • 单精度（FP32）：具有较高的数值精度和动态范围，能够准确表示各种数值，但占用内存空间较大，计算速度相对较慢。在深度学习中，传统的训练方式通常使用 FP32 来存储模型参数、梯度和中间计算结果。
  • 半精度（FP16）：占用内存空间仅为 FP32 的一半，数据传输和计算速度更快，但数值精度和动态范围相对较低。它适用于一些对精度要求不是特别高，但对计算速度和内存占用较为敏感的场景
    实现方式
    在混合精度训练中，通常会将模型的权重参数以 FP32 格式存储，以保证模型的准确性和稳定性。而在实际的计算过程中，将部分计算（如矩阵乘法、卷积运算等）使用 FP16 进行，以充分利用硬件对 FP16 的优化，提高计算速度和减少内存占用。同时，为了避免因 FP16 精度不足而导致的梯度消失或模型精度下降等问题，还会采用一些特殊的技术，如动态损失缩放（Dynamic Loss Scaling）。通过动态调整损失函数的缩放因子，使得在 FP16 计算中能够更好地保留梯度信息，确保模型的正常训练。

实战

-必要的库：from torch.cuda.amp import GradScaler, autocast

  • GradScaler 是 PyTorch 提供的一个工具，用于在混合精度训练中自动调整梯度的缩放比例。它可以帮助防止梯度下溢（underflow）和溢出（overflow），从而提高训练的稳定性和效率
  • autocast ：autocast 上下文管理器会自动将计算图中的某些操作转换为半精度（FP16），而将某些操作保留为单精度（FP32）。这样可以在不损失精度的情况下，显著减少显存占用，并提高计算速度

步骤：
1.初始化梯度缩放器
scaler = GradScaler()
2.在前向传播中使用 autocast

with autocast():output = model(images, texts)total_loss = criterion(output, label_id)

在 autocast 上下文中，模型的前向传播和损失计算会自动使用混合精度。
3.在反向传播的时候用scaler.scale 来缩放梯度
scaler.scale(total_loss).backward()
反向传播时，scaler.scale 会将梯度放大，以防止梯度下溢。这有助于在使用混合精度训练时保持梯度的数值稳定性
4.更新参数:在 train_one_epoch 函数中，使用 scaler.step 和 scaler.update 来更新参数：

if (idx + 1) % config.TRAIN.ACCUMULATION_STEPS == 0:scaler.step(optimizer)scaler.update()optimizer.zero_grad()

作用：
scaler.step(optimizer)：调用优化器的 step 方法来更新参数。
scaler.update()：更新梯度缩放比例，以适应当前的梯度大小。
optimizer.zero_grad()：清零梯度，为下一个批次的训练做准备。

相关文章：

混合精度-基于torch内部

定义 混合精度训练是一种在深度学习模型训练过程中，同时使用不同精度数据类型（主要是单精度 FP32 和半精度 FP16）来进行计算和存储的技术。以下是具体介绍： 数据类型： 单精度（FP32）&#xff1…...

编程日记 2025/8/5 19:32:26

Ubuntu16.04网卡ens33找不到异常修复

重启网络 systemctl stop NetworkManager systemctl restart networking允许网络可用 连接网络 验证网络...

编程日记 2025/8/5 19:29:14

C++编译流程

编译器其实就是一个翻译器，把我们的文件内容翻译成机器能够看懂的指令，但如何合理翻译是核心。 C语言编译 需要经过以下几步： 词法分析：扫描代码，确定单词类型，比如是变量还是函数，是标识符还…...

编程日记 2025/8/5 11:08:19

人工智能：企业RAG方案

一、LangChain FAISS、Milvus / Weaviate介绍 在企业 RAG （Retrieval-Augmented Generation）方案中，LangChain FAISS 和 Milvus / Weaviate 都是用于向量检索（Vector Search）的核心工具。两者的核心区别在于 存储方…...

编程日记 2025/7/31 9:52:36

【Git流程最佳实践】 开发较大功能时应使用project branch

目录 背景和失败经验名词定义曾经使用project branch犯的错 建立project branch的必要性正确的使用project branch的方法 背景和失败经验 我们曾经使用过project branch，但是后来放弃了 名词定义 特性branch(特性分支)： 在开发跨越新特性的时候会从主…...

编程日记 2025/7/28 2:25:22

线程的概念

目录 线程的概念 创建线程快速验证 物理内存管理 再谈页表 今天我们学习线程的概念 线程的概念 进程是一个指向起来的程序，进程内核数据结构代码和数据，线程称为指向流，执行粒度比进程要更细，是进程内部的一个执行分支&…...

编程日记 2025/7/29 17:16:23

firefly经典蓝牙和QProcess、QFileSystemWatcher记录

QProcess 默认不会启动一个 shell 来解析命令，而是直接调用操作系统的系统调用来启动外部程序。也就是通过fork一个子线程或者exec一个子进程来执行命令。 QProcess的参数模式 QProcess 需要明确指定命令的可执行文件路径或参数列表。 如果命令是一个可执行文件的路径…...

编程日记 2025/8/3 22:41:57

北斗设备启动流程与时长解析

北斗卫星导航系统作为我国自主研发的全球卫星导航系统，广泛应用于交通、通信、农业等多个领域。今天，我们就来详细探讨一下北斗设备的启动流程以及不同启动方式下的时长。 一、北斗设备的启动流程 北斗设备的启动流程可以分为以下几个关键步骤&#xf…...

编程日记 2025/8/1 16:06:00

PyTorch分布式训练中各节点如何通信

深度学习 文章目录 深度学习前言pytorch如何初始化分布式训练怎么知道要使用哪几台机器进行训练的如何根据标识进行初始化（init_method）如何获取进程的唯一标识rank如何实现数据如何分发 前言 同学们在处理分布式训练时经常会遇到以下几个疑问&#xff…...

编程日记 2025/7/30 22:25:42

又双叒叕Scrapy爬虫相关的面试题及详细解答

Scrapy是Python开发的一个快速、高层次的网络爬虫框架，专注于高效抓取网页并提取结构化数据。其核心设计基于异步处理机制，适合大规模数据采集任务。 文章目录 基础概念1. Scrapy框架的核心组件有哪些？架构与流程2. 描述Scrapy的工作流程核心组件详解3. 如何自定义Item Pipe…...

编程日记 2025/8/4 15:44:03

Docker与K8S是什么该怎么选？

用了很久的容器化，最近突然看到一个问题问： docker和K8S究竟有什么区别，到底该怎么选？我认真思考了一会，发现一时间还真说不明白，于是就研究了一段时间发布今天的博文！ Docker vs Kubernetes&a…...

编程日记 2025/7/24 9:23:32

FPGA中串行执行方式之计数器控制

FPGA中串行执行方式之计数器控制 使用计数器控制的方式实现状态机是一种简单且直观的方法。它通过计数器的值来控制状态的变化，从而实现顺序逻辑。计数器的方式特别适合状态较少且状态转移是固定的场景。 基本原理 计数器控制的状态机 ​例程1：简单的顺序状态机 以下是一个…...

编程日记 2025/8/3 15:50:47

尝试使用tauri2+Django+React的项目

前言 使用Tauri2前端，本质是进程间的通信。并非前后端。 而想使用nw，先后端打包exe，再和前端打包成exe，并没有完成成功。 而笔者从Tauri中看到这种可能性。很有可能成功基于SeaORMMySQLTauri2ViteReact等的CRUD交互项目-CSDN博…...

编程日记 2025/8/1 15:13:47

用@keyframes-animation来实现动画效果

一、使用规则 keyframes 用于定义动画的关键帧。 animation属性 用于将keyframes动画用于元素上。 二、基本语法 keyframes keyframes xuanZhuan { /*xuanZhuan是动画名字,实现旋转*/0%{transform: rotate(0deg);}50%{transform: rotate(180deg);}100%{transform: rotate(…...

编程日记 2025/8/5 16:40:57

kernel中外部传递参数使用方法

在 Linux 内核模块开发中，module_param(rpc_tdebug, uint, 0600); 表示定义一个可通过外部传递参数进行配置的模块级变量，具体解析如下： ‌参数名称‌ rpc_tdebug 是模块参数的变量名，该变量需在代码中提前声明为静态全局变量&…...

编程日记 2025/8/1 4:45:32

AI赋能流域生态评估：从多源数据融合到服务价值预测的技术突破

流域生态系统服务评价是生态学与地理信息科学的交叉前沿，传统方法受限于数据碎片化与模型解释力不足。本文以‌随机森林-时空图卷积联合模型（RF-STGCN）‌为核心，结合2022年长江中游实际监测数据，详解AI技术在服务评价中…...

编程日记 2025/7/30 20:27:24

SZU软件工程大学生涯 2022~2026

用于个人面试前自我介绍，防止忘记或谈吐不流利。 面试官您好，我是来自深圳大学计算机与软件学院的软件工程专业的王雅贤。在校期间，我修读了程序设计基础、面向对象程序设计、数据结构、算法分析与设计、操作系统等核心课程，系统…...

编程日记 2025/8/3 20:23:11

如何设计一个合理的库存系统

库存管理系统是电商、供应链管理、仓储管理等核心系统之一。一个合理的库存系统需要同时满足高并发、数据一致性、实时性、扩展性等要求，以确保在各种业务场景下都能稳定运行。 本文将探讨如何设计一个合理的库存系统，包括库存模型设计、数据一致性策略…...

编程日记 2025/7/30 12:04:58

数据人的进阶之路：四年数仓实践与成长思考

前言 在数据仓库开发的过程中，常常会遇到很多值得思考的问题，它们不仅关乎技术的深度，也涉及业务理解、个人的成长，甚至是数据行业未来的价值。回顾过去的经历，有很多问题反复出现，甚至成为绕不开的课题&am…...

编程日记 2025/7/26 7:34:19

数据库原理及应用mysql版陈业斌实验一

🏝️专栏：Mysql_猫咪-9527的博客-CSDN博客 🌅主页：猫咪-9527-CSDN博客 “欲穷千里目，更上一层楼。会当凌绝顶，一览众山小。” 目录 实验一：数据库与数据表的定义和数据操作 1.实验数据如下 …...

编程日记 2025/7/31 1:32:01

Linux环境变量：深入解析与实用指南

目录 一、环境变量概述 二、环境变量的作用 三、环境变量的类型 3.1系统环境变量 3.2用户环境变量 四、环境变量的操作 4.1查看环境变量 4.2设置环境变量 4.3删除环境变量 五、环境变量的配置文件 六、环境变量的最佳实践 七、总结 环境变量是Linux系统中至关重要的…...

编程日记 2025/8/3 19:23:35

大数据 Spark 技术简介

Apache Spark 是一种快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校开发。它提供了一种高效的数据处理框架，可以处理大规模数据集，并在分布式计算集群上进行并行处理。 Apache Spark 的基本概念包括以下几个要点：…...

编程日记 2025/7/30 9:29:11

Go语言的基础类型

一基础数据类型 一、布尔型（Bool） 定义：表示逻辑真 / 假，仅有两个值：true 和 false内存占用：1 字节使用场景：条件判断、逻辑运算 二、数值型（Numeric） 1. 整数类型&…...

编程日记 2025/7/31 18:45:25

面试复习-基础网络+运维知识

一、TCP/IP模型及每层对应通信协议 1.1第一层-应用层 作用：服务及应用程序 HTTP --- 超文本传输协议--- 获取网页信息---80（TCP 80） HTTPS --- HTTP SSL（安全传输协议）/TLS ---443（TCP 443） …...

编程日记 2025/7/31 23:24:38

大屏设计新纪元：定制视觉盛宴

当城市天际线的巨型LED幕墙与元宇宙中的虚拟场景无缝交织，当博物馆的数字藏品在8K曲面屏上焕发新生，一个属于大屏设计的全新纪元已悄然降临。这场视觉革命不仅重构了信息传播的维度，更将“定制化体验”推向了前所未有的高度——每一寸屏幕都成…...

编程日记 2025/8/2 19:11:10

JavaIO流的使用和修饰器模式（直击心灵版）

系列文章目录 JavaIO流的使用和修饰器模式 文章目录 系列文章目录前言一、字节流： 1.FileInputStream(读取文件)2.FileOutputStream(写入文件) 二、字符流： 1..基础字符流:2.处理流：3.对象处理流：4.转换流： 三、修饰器…...

编程日记 2025/8/4 5:06:20

10-STL、位运算、常用函数库

1-STL vector vector是变长数组 //定义vector vector<int>a;//第一维长233&#xff0c;第二维长度动态变化 vector<int>b[233];//自定义的结构体类型也可以保存在vector中 struct res{...}; vector<rec>c;//函数 a.size();//返回vector的实际长度&#xf…...

编程日记 2025/7/26 22:40:09

【Ratis】Ratis Streaming概览

看了Tsz-Wo Nicholas Sze博士的一个关于Ratis的share，在share里提到了raits做的一个性能优化：客户端流。比较感兴趣，特此记录一下。如果想看原始分享的，可以搜关键词：Apache Ratis - A High Performance Raft Library 关于Ratis Stream的pdf介绍，在这个PR的附件里： [Ra…...

编程日记 2025/8/4 2:19:59

Python Seaborn面试题及参考答案

目录 如何用 stripplot () 绘制带随机偏移的分类散点图？如何控制 jitter 参数？ swarmplot () 如何避免散点重叠？适用场景与数据量限制是什么？ 使用 catplot () 绘制箱线图时，如何通过 kind 参数切换图表类型？ 如何通过 hue 参数在分类图中添加第三个维度（如性别）？ …...

编程日记 2025/7/31 4:24:30

linux下基本命令和扩展命令（安装和登录命令、文件处理命令、系统管理相关命令、网络操作命令、系统安全相关命令、其他命令）欢迎补充噢

基本命令 ls: 列出目录内容 ls&#xff1a;列出当前目录内容ls -l&#xff1a;以长格式列出&#xff08;显示详细信息&#xff09;ls -a&#xff1a;显示隐藏文件ls -lh&#xff1a;以易读格式显示文件大小 pwd: 显示当前工作目录 pwd&#xff1a;显示当前目录的绝对路径 cd:…...

编程日记 2025/7/29 18:51:22

K8S学习之基础四十：K8S配置altermanager发送告警到钉钉群

配置altermanager发送告警到钉钉群 ​ 创建钉钉群&#xff0c;设置机器人助手(必须是管理员才能设置)&#xff0c;获取webhook webhook&#xff1a; https://oapi.dingtalk.com/robot/send?access_token25bed933a52d69f192347b5be4b2193bc0b257a6d9ae68d81619e3ae3d93f7c6…...

编程日记 2025/7/29 19:31:46

实用工具--OfficeAI 助手 v0.3.20(长期免费,2025-03-18 本地支持WPSWord联动）

软件简介 OfficeAI助手&#xff0c;作为Microsoft Office与WPS的得力智能插件&#xff0c;集文档自动生成、内容精准校对与润色、公式智能推荐等多功能于一体。它凭借强大的数据分析能力&#xff0c;深度融入Office/WPS办公生态&#xff0c;一键简化复杂流程&#xff0c;让办公…...

编程日记 2025/7/31 18:19:08

Android 关于compose的一些坑和理解

** 1.如何在 WindowManager.addView 中使用 Jetpack Compose** 一、引出问题 Android 开发中&#xff0c;很常见的一个场景&#xff0c;通过 WindowManager.addView() 添加一个 View 到屏幕上。Android 最新的视图框架 Jetpack Compose&#xff0c;如何应用进来。这个被添加的…...

编程日记 2025/7/31 23:40:36

ref setState 合成事件

ref & setState & 合成事件 受控组件的概念&#xff1a;数据改变视图的叫受控组件&#xff1b;通过dom操作改变的叫非受控。 语法&#xff1a;给refxxx赋一个值&#xff0c;然后通过this.refs.xxx就可以获取到相应dom元素&#xff0c;通过你这个名字存储的值就是这个do…...

编程日记 2025/7/26 1:32:07

调用feapder作为子程序时setting.py文件不起作用

feaper 官方文档地址&#xff1a; 简介及安装 - feapder官方文档|feapder-document 问题&#xff1a; 在最近的开发中需要调用feapder作为主程序调用的子程序时发现自动入库时无法入库&#xff0c;通过查看日志信息发现连接数据库时被拒绝连接了&#xff0c;但是我的setting.p…...

编程日记 2025/7/28 10:50:46

gralloc1_perform具体在干什么

gralloc1_perform 会在特定场景下通过 ioctl 调用&#xff0c;执行 缓存 (cache) 管理 和 内存映射 操作&#xff0c;确保 CPU 和 GPU 之间的数据一致性。 &#x1f4cc; 为什么需要对 cache 进行操作&#xff1f; 在 Android 系统中&#xff0c;CPU 和 GPU 通常共享 DDR 内存…...

编程日记 2025/8/2 13:41:36

【Pandas】pandas Series plot.barh

Pandas2.2 Series Plotting 方法描述Series.plot([kind, ax, figsize, …])用于绘制 Series 对象的数据可视化图表Series.plot.area([x, y, stacked])用于绘制堆叠面积图&#xff08;Stacked Area Plot&#xff09;Series.plot.bar([x, y])用于绘制垂直条形图&#xff08;Ver…...

编程日记 2025/8/5 10:21:08

机器学习之浅层神经网络

文章目录 一、浅层神经网络概述&#xff08;一&#xff09;定义&#xff08;二&#xff09;常见类型 二、浅层神经网络的前向传播三、浅层神经网络的反向传播四、编写浅层神经网络案例&#xff08;Python NumPy 实现&#xff09;代码解释 五、浅层神经网络与深度学习的区别&am…...

编程日记 2025/8/3 9:31:02

透析Vue的nextTick原理

nextTick 是 Vue.js 中的一个核心机制&#xff0c;用于在 下一次 DOM 更新周期后 执行回调函数。它的核心原理是 利用 JavaScript 的事件循环机制&#xff08;Event Loop&#xff09;&#xff0c;结合微任务&#xff08;Microtask&#xff09;或宏任务&#xff08;Macrotask&am…...

编程日记 2025/8/1 17:37:25

Beans模块之工厂模块注解模块@Qualifier

博主介绍&#xff1a;✌全网粉丝5W&#xff0c;全栈开发工程师&#xff0c;从事多年软件开发&#xff0c;在大厂呆过。持有软件中级、六级等证书。可提供微服务项目搭建与毕业项目实战&#xff0c;博主也曾写过优秀论文&#xff0c;查重率极低&#xff0c;在这方面有丰富的经验…...

编程日记 2025/7/28 7:26:45

产品更新 | 数字助决胜：华望M-Arch平台实现从体系模型到仿真推演

华望产品更新速递 功能介绍 |M-Arch体系建模软件的核心功能 ◆体系架构建模 ◆逻辑仿真 ◆与多种工具集成 ◆多专业协同建模 产品亮点 |M-Arch软件在体系作战中的作用 ◆全面构建任务和体系架构建模的能力 ◆模型化的装备体系分析方法 ◆提升作战体系架构设计与优化 前…...

编程日记 2025/8/4 22:02:23

IP地址结构体与字符串转换函数详解

IP地址结构体与字符串转换函数详解 在Linux C网络编程中&#xff0c;IP地址的二进制结构体&#xff08;如struct in_addr&#xff09;与字符串形式&#xff08;如"192.168.1.1"&#xff09;之间的转换经常涉及到&#xff0c;与IP地址格式相关的函数包括inet_aton、i…...

编程日记 2025/8/5 0:41:07

debug - 安装.msi时，为所有用户安装程序

文章目录 debug - 安装.msi时&#xff0c;为所有用户安装程序概述笔记试试在目标.msi后面直接加参数的测试 备注备注END debug - 安装.msi时&#xff0c;为所有用户安装程序 概述 为了测试&#xff0c;装了一个test.msi. 安装时&#xff0c;只有安装路径的选择&#xff0c;没…...

编程日记 2025/7/31 5:38:49

基于springboot的社区团购系统（012）

摘 要 本课题是根据用户的需要以及网络的优势建立的一个社区团购系统&#xff0c;来满足用户团购的需求。 本社区团购系统应用Java技术&#xff0c;MYSQL数据库存储数据&#xff0c;基于Spring Boot框架开发。在网站的整个开发过程中&#xff0c;首先对系统进行了需求分析&…...

编程日记 2025/8/3 1:15:16

应用权限组列表

文章目录 使用须知位置相机麦克风通讯录日历运动数据身体传感器图片和视频音乐和音频跨应用关联设备发现和连接剪切板文件夹文件(deprecated) 使用须知 在申请目标权限前&#xff0c;建议开发者先阅读应用权限管控概述-权限组和子权限&#xff0c;了解相关概念&#xff0c;再合…...

编程日记 2025/7/30 1:22:43

4.1、网络安全模型

目录 网络安全体系概述网络安全模型-BLP模型网络安全模型-Biba模型网络安全模型 - 信息流模型信息保障模型能力成熟度模型其它安全模型网络安全原则 网络安全体系概述 网络安全体系是网络安全保证系统的最高层概念抽象&#xff0c;是一个体系&#xff0c;体系一般是一个概念&a…...

编程日记 2025/8/5 14:24:36

前端对接生成式AI接口（类ChatGPT）问题汇总

文章目录 前端实现对话流问题总结流式数据传输问题后台Response Headers问题大量数据分段接收问题多个流时间戳&#xff08;Time&#xff09;相同导致被合并的问题 中止对话问题复制问题部署上线问题&#xff08;Nginx缓冲导致&#xff09; 前端实现对话流问题总结 流式数据传…...

编程日记 2025/8/2 19:30:18

布隆过滤器（Bloom Filter）详解

布隆过滤器详解 1. 什么是布隆过滤器&#xff1f; 布隆过滤器&#xff08;Bloom Filter&#xff09;是一种高效的概率型数据结构&#xff0c;主要用于判断某个元素是否存在于一个集合中。它的特点是&#xff1a; 允许误判&#xff1a;可能会误判元素存在&#xff08;假阳性&…...

编程日记 2025/8/3 14:18:25

QoS(Quality of Service)服务质量概念

一、什么是QoS&#xff1f; QoS&#xff08;Quality of Service&#xff09;即服务质量&#xff0c;在网络业务中可以通过保证传输的带宽、降低传输时延、降低数据丢包率以及时延抖动等措施来提高服务质量。QoS是一套用于管理和提高网络性能的工具和技术&#xff0c;用于流量优…...

编程日记 2025/7/29 1:10:58

CSS实现当鼠标悬停在一个元素上时，另一个元素的样式发生变化的效果

CSS可以实现当鼠标悬停在一个元素上时&#xff0c;另一个元素的样式发生变化的效果。可以通过以下几种方法来实现&#xff1a; 1. 使用兄弟选择器&#xff08;Adjacent Sibling Selector&#xff09; 如果两个元素是兄弟关系&#xff08;即它们有相同的父元素&#xff09;&am…...

编程日记 2025/7/30 16:43:21