HunyuanDiT代码笔记
HunyuanDiT 是由腾讯发布的文生图模型，适配中英双语。
在模型方面的改进，主要包括：
- transformer结构
- text encoder
- positional encoding
Improving Training Stability To stabilize training, we present three techniques:
- We add layer normalization in all the attention modules before computing Q, K, and V. This technique is called
QK-Norm, which is proposed in [13]. We found it effective for training Hunyuan-DiT as well.- We add layer normalization after the skip module in the decoder blocks to avoid loss explosion during training.
- We found certain operations, e.g., layer normalization, tend to overflow with FP16. We specifically switch
them to FP32 to avoid numerical errors.
HunyuanDiT的模型结构
使用Diffusers中的HunyuanDiTPipeline。
import torch
from diffusers import HunyuanDiTPipelinepipe = HunyuanDiTPipeline.from_pretrained("/disk2/modelscope/hub/Xorbits/HunyuanDiT-v1___2-Diffusers", torch_dtype=torch.float16)
pipe.to("cuda")# You may also use English prompt as HunyuanDiT supports both English and Chinese
# prompt = "An astronaut riding a horse"
prompt = "一个宇航员在骑马"
image = pipe(prompt).images[0]
image.save("astronaut.jpg")
transformer结构
HunyuanDiT 共包括40个HunyuanDiTBlock。其中前20个的结果要skip到后20个模块中。skip的时候，仍然需要norm，然后使用Linear恢复到之前的维度。
skips = []for layer, block in enumerate(self.blocks):if layer > self.config.num_layers // 2:if controlnet_block_samples is not None:skip = skips.pop() + controlnet_block_samples.pop()else:skip = skips.pop()hidden_states = block(hidden_states,temb=temb,encoder_hidden_states=encoder_hidden_states,image_rotary_emb=image_rotary_emb,skip=skip,) # (N, L, D)else:hidden_states = block(hidden_states, #(2,4096,1408)temb=temb, #(2,1408)encoder_hidden_states=encoder_hidden_states, #(2,333,1024)image_rotary_emb=image_rotary_emb,) # (N, L, D)if layer < (self.config.num_layers // 2 - 1):skips.append(hidden_states)
HunyuanDiTBlock 的forward函数，和上图一致，看图更直观。
输入需要Norm，每次attention后需要Norm。在计算attention的时候，Q和K还要Norm。
def forward(self,hidden_states: torch.Tensor,encoder_hidden_states: Optional[torch.Tensor] = None,temb: Optional[torch.Tensor] = None,image_rotary_emb=None,skip=None,) -> torch.Tensor:# Notice that normalization is always applied before the real computation in the following blocks.# 0. Long Skip Connectionif self.skip_linear is not None:cat = torch.cat([hidden_states, skip], dim=-1)cat = self.skip_norm(cat)hidden_states = self.skip_linear(cat)# 1. Self-Attentionnorm_hidden_states = self.norm1(hidden_states, temb) ### checked: self.norm1 is correctattn_output = self.attn1(norm_hidden_states,image_rotary_emb=image_rotary_emb,)hidden_states = hidden_states + attn_output# 2. Cross-Attentionhidden_states = hidden_states + self.attn2(self.norm2(hidden_states), ###encoder_hidden_states=encoder_hidden_states,image_rotary_emb=image_rotary_emb,)# FFN Layer ### TODO: switch norm2 and norm3 in the state dictmlp_inputs = self.norm3(hidden_states)hidden_states = hidden_states + self.ff(mlp_inputs)return hidden_states
text encoder
HunyuanDiT 使用CLIP和T5两个文本编码器。CLIP提取文本和图像的关系特征，T5则加强对于prompt的理解。
CLIP 生成的embedding 维度为(1,77,1024)，T5生成的embedding 维度为 (1,256,2048)。
使用PixArtAlphaTextProjection（MLP），将T5的embedding 对齐到CLIP，然后将两个序列拼到一起。
encoder_hidden_states = torch.cat([encoder_hidden_states, encoder_hidden_states_t5], dim=1) #(2,333,1024)
positional encoding
代码预设的长宽是512，公式中的S就是32，
base_size = 512 // 8 // self.transformer.config.patch_size #32
grid_crops_coords = get_resize_crop_region_for_grid((grid_height, grid_width), base_size) #((0, 0), (32, 32)),crop latent
image_rotary_emb = get_2d_rotary_pos_embed(self.transformer.inner_dim // self.transformer.num_heads,grid_crops_coords,(grid_height, grid_width),device=device,output_type="pt",
)# get_resize_crop_region_for_grid实现公式
def get_resize_crop_region_for_grid(src, tgt_size):th = tw = tgt_sizeh, w = srcr = h / w# resizeif r > 1:resize_height = thresize_width = int(round(th / h * w))else:resize_width = twresize_height = int(round(tw / w * h))crop_top = int(round((th - resize_height) / 2.0))crop_left = int(round((tw - resize_width) / 2.0))return (crop_top, crop_left), (crop_top + resize_height, crop_left + resize_width)
既然是图像的RoPE，那么也只能加在图像的Q和K上，在cross_attention中，K和V来自于prompt。
# Apply RoPE if neededif image_rotary_emb is not None:query = apply_rotary_emb(query, image_rotary_emb)if not attn.is_cross_attention:key = apply_rotary_emb(key, image_rotary_emb)
相关：
深入解读Transformer扩散模型：DiT、PixArt、Hunyuan-DiT
Scalable Diffusion Models with Transformers(DIT)代码笔记
PixArt–alpha笔记
相关文章：
HunyuanDiT代码笔记
HunyuanDiT 是由腾讯发布的文生图模型，适配中英双语。 在模型方面的改进，主要包括： transformer结构text encoderpositional encoding Improving Training Stability To stabilize training, we present three techniques: We add layer nor…...
中nodeName参数含义)
C++: Dtrees:load(constg String filepath, const String nodeName)中nodeName参数含义
1. nodeName 的作用 当你保存模型时，整个决策树会被序列化到一个 XML 或 YAML 文件中。nodeName 是加载时指定的一个逻辑路径，用于从文件中找到某个节点或子结构，而不是存储在文件中的字段。如果你不指定 nodeName，OpenCV 默认会…...
项目练习：若依后台管理系统-后端服务开发步骤（springboot单节点版本）
文章目录 1、用Maven搭建项目脚手架，父子工程依赖。2、引入SpringBoot Web容器依赖3、引入Mybatisdruid依赖4、实现接口查询数据5、整合logback日志功能 1、用Maven搭建项目脚手架，父子工程依赖。 root模块的pom添加plugin配置 <build><plugins…...
Ubuntu安装docker
snap install docker # version 27.2.0, or apt install podman-docker # version 3.4.4ds1-1ubuntu1.22.04.2 apt install docker.io # version 24.0.7-0ubuntu2~22.04.1 我应该安装哪一个，部署企业级应用? 在部署企业级应用时，选择合适的容器化…...
windows11下 podman-desktop 复制插件文件 到 RabbitMQ 容器内，并启用
目的： 刚启用的 RabbitMQ 容器，发现没有rabbitmq_delayed_message_exchange 插件，开始手动安装 官网 https://www.rabbitmq.com/community-plugins 或 https://github.com/rabbitmq/rabbitmq-delayed-message-exchange 下载rabbitmq_delay…...
Quickstart C++ with cmake, visualstudio | CPP
本文属于 C 系列文章，下一篇文章见 Quick get started with vcpkg, windows visual studio | CPP 目录 cmake-visualstudio-quickstartDepsConfigureBuild with CLILINKS cmake-visualstudio-quickstart https://github.com/hailiang-wang/cmake-visualstudio-quic…...
惊叹数据结构之美，品味排序算法之妙：对四大排序的详细介绍
大家好，这里是小编的博客频道 小编的博客：就爱学编程 很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！ 本文目录 正文一、冒泡排序（Bubble Sor…...
机器学习——什么是代价函数？ 下
“上次课讲了机器学习的模型表示，讲了一个线性模型的例子，那怎样在可能的拟合直线里选择一条最合适的呢？有没有数学的方法让这个直线合适还是不合适变得可以量化呢？这就要说代价函数了。” 本次课前半段内容非常简单，带领我们一起复习初中平面几何的知识，后半段给出了代价…...
Ubuntu本地部署网站
目录 1.介绍 2.安装apache 3.网页升级 1.介绍 网站其实就相当于一个文件夹，用域名访问一个网页，就相当于访问了一台电脑的某一个文件夹，在网页中看见的视频，视频和音乐其实就是文件夹里面的文件。为什么网页看起来不像电脑文件夹…...
hydra破解密码
hydra九头蛇是常用的密码破解工具 1、破解centos ssh密码 hydra -l root -P password.txt ssh://192.168.1.107:2222 hydra -l root -P password.txt -s 2222 192.168.1.107 ssh2、破解ftp hydra -l allen -P e:\aa.txt ftp://127.0.0.1 hydra -l allen -P e:\aa.txt ftp:…...
华为OD机试E卷 --字符串变换最小字符串 --24年OD统一考试（Java JS Python C C++）
文章目录 题目描述输入描述输出描述用例题目解析JS算法源码java算法源码python算法源码c算法源码c算法源码 题目描述 给定一个字符串s，最多只能进行一次变换，返回变换后能得到的最小字符串（按照字典序进行比较）。 变换规则&#…...
用户中心项目教程（二）---umi3的使用出现的错误
目录 1.情况的说明 2.遇到的问题 1）第一个问题-关于npx的使用 2）第二个问题--unsupport问题 3）第三个收获--nodejs安装问题 4）第四个收获---nvm下载问题 5）第五个问题--尚未解决的问题 3.个人总结 1.情况的说明…...
具身智能新突破！Physical Intelligence推出机器人动作tokenizer，训练提速5倍
具身智能，是人工智能（AI）行业的下一个浪潮。如何有效训练 Transformers 模型来控制具身机器人，是当前亟需要解决的难题，尤其是对于更复杂、需要精确和高频控制的精巧技能，现有的视觉-语言-动作（…...
Unity 学习指南与资料分享
Unity学习资料 Unity学习资料 Unity学习资料 Unity 作为一款强大的跨平台游戏开发引擎，在游戏开发及实时 3D 内容创作领域占据着重要地位。它功能丰富、易于上手，支持多平台发布，为开发者提供了广阔的创作空间。下面为你带来全面的 Unity 学…...
react什么时候用箭头函数，什么时候不需要
最近从vue项目转到react，太久没写了。遇到了一些卡住的问题，记录一下。 在 JavaScript 和 React 开发中，箭头函数（Arrow Functions）的使用主要取决于上下文、代码简洁性和特定需求。以下是关于何时使用箭头函数以及何时…...
软考中级复习篇章：数据结构部分的复习
软考中级快速通过篇章：数据结构部分的复习 一、引言 在软考中级的备考过程中，数据结构是极为重要的一个部分。它不仅是计算机科学的基础，也是软考中考查的重点知识领域。扎实掌握数据结构相关内容，对于顺利通过软考中级考试起着…...
【Vim Masterclass 笔记22】S09L40 + L41：同步练习11：Vim 的配置与 vimrc 文件的相关操作（含点评课内容）
文章目录 S09L40 Exercise 11 - Vim Settings and the Vimrc File1 训练目标2 操作指令2.1. 打开 vimrc-sample 文件2.2. 尝试各种选项与设置2.3. 将更改内容保存到 vimrc-sample 文件2.4. 将文件 vimrc-sample 的内容复制到寄存器2.5. 创建专属 vimrc 文件2.6. 对于 Mac、Linu…...
Spring Boot 整合 PageHelper 实现分页功能
在开发 Web 应用时，分页功能几乎是必不可少的。Spring Boot 提供了强大的功能来简化开发，而 PageHelper 则是一个优秀的 MyBatis 分页插件，可以极大地简化分页查询的代码。本文将介绍如何在 Spring Boot 项目中整合 PageHelper，并…...
Redis和MongoDB的区别
前言 在项目选型阶段，MongoDB被选中主要是基于其处理大规模数据集的能力，而当时并未深入探讨其他替代方案。此前，Redis被用于管理少量但访问频繁的热数据。目前，项目采用MongoDB存储百万级数据，预计未来数据量将增长至…...
Java基础（2）
博客：深入理解浮点型数据、计算机视觉信息存储与类型转换 四、浮点型数据 在编程语言中，浮点型数据主要包括float（单精度）和double（双精度）。计算机默认使用double类型存储小数，这会引发一些特…...
D3.js及实例应用
文章目录 D3.jsd3.js 应用实例图标展示点击选择拖拉拽应用 D3.js D3.js是一个功能强大的JavaScript库，除了图标展示，还能实现多种类型的交互效果： 数据可视化交互 动态更新图表：根据用户操作（如点击按钮、选择下拉菜…...
管理权限特权
管理权限 Oracle 用户权限分为两种类型： 系统权限：允许用户在数据库中执行特定的操作。 对象权限：允许用户访问和操作特定的对象。 系统权限 Oracle 数据库中有超过100种不同的系统权限。权限中的 “ANY” 关键字表示用户在任何模式&#x…...
基于海思soc的智能产品开发（视频的后续开发）
【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 前面我们讨论了camera，也讨论了屏幕驱动，这些都是基础的部分。关键是，我们拿到了这些视频数据之后，…...
为什么相关性不是因果关系？人工智能中的因果推理探秘
目录 一、背景 （一）聚焦当下人工智能 （二）基于关联框架的人工智能 （三）基于因果框架的人工智能 二、因果推理的基本理论 （一）因果推理基本范式：因果模型࿰…...
【QT】已解决：Qt4.11.0无法使用MSVC编译器问题
目录 一、背景 1.本机环境 2.问题描述 3.问题解决前后对比图 二、详细操作 1.下载项目二所需qt环境 2.解决思路 3.安装VS2017 4.安装MSVC调试器 5.打开qtCreator查看编译器 5.编译运行项目二 三、参考 一、背景 1.本机环境 windows11 qtCreator4.11.0 minGW 64位…...
python如何解析word文件格式（.docx）
python如何解析word文件格式（.docx） .docx文件遵从开源的“Office Open XML标准”，这意味着我们能用python的文本操作对它进行操作（实际上PPT和Excel也是）。而且这并不是重复造轮子，因为市面上操作.docx的…...
)
点云目标检测训练数据预处理---平面拟合与坐标转换(python实现)
在做centerpoint训练之前，需要先对点云数据进行标注，然后制作kittti数据集。不用nuScenes或者waymo数据集的理由也很简单，因为麻烦，没有kitti数据集直观。 kitti数据集的格式如下，可以看到数据集中只有航向角ÿ…...
Debezium日常分享系列之：对于从Oracle数据库进行快照的性能优化
Debezium日常分享系列之：对于从Oracle数据库进行快照的性能优化 源数据库Kafka Connect监控测试结果 源数据库 Oracle 19c，本地，CDB数据库主机的I/O带宽为6 GB/s，由此主机上运行的所有数据库共享临时表空间由42个文件组成&#x…...
logback日志自定义占位符
前言 在大型系统运维中，很大程度上是需要依赖日志的。在java大型web工程中，一般都会使用slf4jlogback这一个组合来实现日志的管理。 logback中很多现成的占位符可以可以直接使用，比如线程号【%t】、时间【%d】、日志等级【%p】，…...
【Red Hat8】：搭建FTP服务器
目录 一、匿名FTP访问 1、新建挂载文件 2、挂载 3、关闭防火墙 4、搭建yum源 5、安装VSFTPD 6、 打开配置文件 7、设置配置文件如下几个参数 8、重启vsftpd服务 9、进入图形化界面配置网络 10、查看IP地址 11、安装ftp服务 12、遇到拒绝连接 13、测试 二、本地…...
华为AI培训-NLP实验
中文分词、命名实体识别、语义词性标注、语句逻辑推理、文本摘要、机器翻译、文本情感分析、内容创作 1 实验介绍 1.1 实验背景 中文分词、命名实体识别、语义词性标注、语句逻辑推理是自然语言处理领域中的重要任务。中文分词是将连续的汉字序列切分成有意义的词语序列…...
goodreads书籍评论爬取NRC Emotion Lexicon分析
文章目录 目标网站数据获取评论情感分析对爬虫、逆向感兴趣的同学可以查看文章，一对一小班教学：https://blog.csdn.net/weixin_35770067/article/details/142514698 目标网站 https://www.goodreads.com/book/show/3656.The_Sea 就是针对一本书进行3000+评论抓取和情感分析…...
【vitePress】基于github快速添加评论功能（giscus）
一.添加评论插件 使用giscus来做vitepress 的评论模块，使用也非常的简单，具体可以参考：giscus 文档，首先安装giscus npm i giscus/vue 二.giscus操作 打开giscus 文档，如下图所示，填入你的 github 用户…...
论文笔记（六十二）Diffusion Reward Learning Rewards via Conditional Video Diffusion
Diffusion Reward Learning Rewards via Conditional Video Diffusion 文章概括摘要1 引言2 相关工作3 前言4 方法4.1 基于扩散模型的专家视频建模4.2 条件熵作为奖励4.3 训练细节 5 实验5.1 实验设置5.2 主要结果5.3 零样本奖励泛化5.4 真实机器人评估5.5 消融研究 6 结论 文章…...
电梯系统的UML文档07
从这个类中得到的类图，构划出了软件的大部分设计。 系统结构视图提供软件和整个系统结构最复杂的也是最优雅的描述。和通常的软件系统相比，在分布式嵌入系统中了解系统组件如何协同工作是非常重要的。毕竟，每个类图仅仅是一个系统的静态设计…...
【Python】综合案例--人生重开模拟器
1. 设置初始属性 在游戏中我们设定四个属性.: 颜值 (face) 体质 (strong) 智力 (iq) 家境 (home)我们约定每个属性的范围为 [1, 10], 并且总和不能超过 20. 如果玩家输入的初始属性不合理, 就提示输入有误, 重新输入. print("-----------------------------------------…...
vue+高德API搭建前端3D交通页面
1. 模板部分 (<template>) <template><div class"content"><div><div id"container"></div></div></div> </template> 功能：定义了组件的HTML结构。分析： div.content 是最…...
2024年博客之星主题创作｜猫头虎分享AI技术洞察：2025年AI发展趋势前瞻与展望
2025年AI发展趋势前瞻：猫头虎深度解析未来科技与商业机遇 摘要 2024年，AI技术迎来爆发式增长，AIGC、智能体、AIRPA、AI搜索、推理模型等技术不断突破，AI应用场景持续扩展。2025年，AI将进入全新发展阶段，W…...
算法刷题笔记——图论篇
这里写目录标题 理论基础图的基本概念图的种类度 连通性连通图强连通图连通分量强连通分量 图的构造邻接矩阵邻接表 图的遍历方式 深度优先搜索理论基础dfs 与 bfs 区别dfs 搜索过程深搜三部曲所有可达路径广度优先搜索理论基础广搜的使用场景广搜的过程 岛屿数量孤岛的总面积沉…...
)
虚幻基础-1：cpu挑选(14600kf)
能帮到你的话，就给个赞吧 😘 文章目录 ue非常吃cpu拉满主频打开项目编写蓝图运行原因 时间长 关于压力测试 本文以14600kf为例，双12购入，7月份产。 ue非常吃cpu 经本人测试，ue是非常吃cpu的。 拉满主频 无论任何时间…...
IP地址：127.0.0.1
概述 首先，我们需要明确 127.0.0.1 地址的含义。在网络中，127.0.0.1 地址称为本地回环地址，是一种特殊的网络地址，用于让单独的计算机进行自我回路测试和通信。这个地址在 IP 协议中被定义为环回地址。 在网络设备中，…...
深度学习 | pytorch + torchvision + python 版本对应及环境安装
Hi，大家好，我是半亩花海。要让一个基于 torch 框架开发的深度学习模型正确运行起来，配置环境是个重要的问题，本文介绍了 pytorch、torchvision、torchaudio 及 python 的对应版本以及环境安装的相关流程。 目录 一、版本对应 二…...
学习ASP.NET Core的身份认证（基于JwtBearer的身份认证6）
重新创建WebApi项目，安装Microsoft.AspNetCore.Authentication.JwtBearer包，将之前JwtBearer测试项目中的初始化函数，jwt配置类、token生成类全部挪到项目中。 重新编写login函数，之前测试Cookie和Session认证时用的函数适合m…...
企业级流程架构设计思路-基于价值链的流程架构
获取更多企业流程资料 纸上得来终觉浅，绝知此事要躬行 一.企业流程分级规则定义 1.流程分类分级的总体原则 2.完整的流程体系需要体现出流程的分类分级 03.通用的流程分级方法 04.流程分级的标准 二.企业流程架构设计原则 1.流程架构设计原则 流程框架是流程体…...
深度学习 DAY2：Transformer（一部分）
前言 Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mech…...
【2025】拥抱未来 砥砺前行
2024是怎样的一年 2024在历史画卷上是波澜壮阔的一年，人工智能的浪潮来临，涌现出无数国产大模型。 22年11月ChatGPT发布，它的出现如同在平静湖面上投下一颗巨石，激起了层层波澜，短短五天用户数就达到了100万࿰…...
精选100+套HTML可视化大屏模板源码素材
大屏数据可视化以大屏为主要展示载体的数据可视化设计。 “大面积、炫酷动效、丰富色彩”，大屏易在观感上给人留下震撼印象，便于营造某些独特氛围、打造仪式感。 原本看不见的数据可视化后，便能调动人的情绪、引发人的共鸣。 使用方法&…...
安装ProxySQL)
欧拉(Euler 22.03)安装ProxySQL
下载离线安装包 proxysql-2.0.8-1-centos7.x86_64.rpm 链接: https://pan.baidu.com/s/1R-SJiVUEu24oNnPFlm9wRw 提取码: sa2w离线安装proxysql yum localinstall -y proxysql-2.0.8-1-centos7.x86_64.rpm 启动proxysql并检查状态 systemctl start proxysql 启动proxysql syste…...
Electron实践继续
文章目录 前言一、知识储备前提二、开发工具集（一）代码编辑器之选（二）命令行工具运用（三）Git 与 GitHub 协作利器（四）Node.js 与 npm 核心环境 你的第一个Electron应用程序 前言 上…...
【STM32-学习笔记-11-】RTC实时时钟
文章目录 RTC实时时钟一、RTC简介二、RTC框图三、RTC基本结构四、RTC操作注意事项五、RTC函数六、配置RTCMyRTC.c 七、示例：实时时钟①、main.c②、MyRTC.c③、MyRTC.h RTC实时时钟 一、RTC简介 RTC（Real Time Clock）实时时钟 RTC是一个独立…...