当前位置：首页 > news >正文

StableAnimator模型的部署：复旦微软提出可实现高质量和高保真的ID一致性人类视频生成

news 来源：原创 2025/5/14 6:59:24

文章目录

一、项目介绍
二、项目部署
- 模型的权重下载
- 提取目标图像的关节点图像（这个可以先不看先用官方提供的数据集进行生成）
- 提取人脸（这个也可以先不看）
- 进行图片的生成
三、模型部署报错

一、项目介绍

由复旦、微软、虎牙、CMU的研究团队提出的StableAnimator框架，实现了高质量和高保真的ID一致性人类视频生成。
当前的人类图像动画扩散模型很难确保身份 (ID) 的一致性。本文介绍了 StableAnimator，这是第一个端到端保留 ID 的视频扩散框架，它无需任何后处理即可合成高质量视频，以参考图像和一系列姿势为条件。 StableAnimator 以视频扩散模型为基础，包含精心设计的模块，用于训练和推理，力求身份一致性。特别是，StableAnimator 首先分别使用现成的提取器计算图像和面部嵌入，并通过使用全局内容感知面部编码器与图像嵌入交互来进一步细化面部嵌入。然后，StableAnimator 引入了一种新颖的分布感知 ID 适配器，可防止时间层造成的干扰，同时通过对齐保留 ID。在推理过程中，我们提出了一种新颖的基于 Hamilton-Jacobi-Bellman (HJB) 方程的优化，以进一步提高人脸质量。我们证明，求解 HJB 方程可以集成到扩散去噪过程中，所得解约束去噪路径，从而有利于 ID 保留。多个基准测试的实验在定性和定量上都证明了 StableAnimator 的有效性。
在这里插入图片描述

github项目地址

二、项目部署

浏览器下载pytorch、torchvision、torchaudio
下载pytorch相关的网页
下载后用命令安装

pip install torchaudio-2.5.1+cu124-cp310-cp310-linux_x86_64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple

模型的权重下载

将huggingface下的模型权重下的权重文件按照如下的文件目录进行下载
StableAnimator/
├── DWPose
├── animation
├── checkpoints
│ ├── DWPose
│ │ ├── dw-ll_ucoco_384.onnx
│ │ └── yolox_l.onnx
│ ├── Animation
│ │ ├── pose_net.pth
│ │ ├── face_encoder.pth
│ │ └── unet.pth
│ ├── SVD
│ │ ├── feature_extractor
│ │ ├── image_encoder
│ │ ├── scheduler
│ │ ├── unet
│ │ ├── vae
│ │ ├── model_index.json
│ │ ├── svd_xt.safetensors
│ │ └── svd_xt_image_decoder.safetensors
│ └── inference.zip
├── models
│ │ └── antelopev2
│ │ ├── 1k3d68.onnx
│ │ ├── 2d106det.onnx
│ │ ├── genderage.onnx
│ │ ├── glintr100.onnx
│ │ └── scrfd_10g_bnkps.onnx
├── app.py
├── command_basic_infer.sh
├── inference_basic.py
├── requirement.txt

提取目标图像的关节点图像（这个可以先不看先用官方提供的数据集进行生成）

将参考图像，需要提取关节点的图像放在target_images里，命名为frame_i
在这里插入图片描述
运行如代码从target_images中提取关节点的信息

python DWPose/skeleton_extraction.py --target_image_folder_path="/media/dell/DATA/RK/StableAnimator-main/inference/test/target_images" --ref_image_path="/media/dell/DATA/RK/StableAnimator-main/inference/case-1/reference.png" --poses_folder_path="/media/dell/DATA/RK/StableAnimator-main/inference/test/pose"

提取结果报错在pose文件夹里
在这里插入图片描述

提取人脸（这个也可以先不看）

需要将以下模型权重下载到指定文件夹里
Downloading: “https://github.com/xinntao/facexlib/releases/download/v0.1.0/detection_Resnet50_Final.pth” to /home/dell/anaconda3/envs/stableanimator/lib/python3.10/site-packages/facexlib/weights/detection_Resnet50_Final.pth
Downloading: “https://github.com/xinntao/facexlib/releases/download/v0.2.2/parsing_parsenet.pth” to /home/dell/anaconda3/envs/stableanimator/lib/python3.10/site-packages/facexlib/weights/parsing_parsenet.pth
Downloading: “https://github.com/xinntao/facexlib/releases/download/v0.2.0/parsing_bisenet.pth” to /home/dell/anaconda3/envs/stableanimator/lib/python3.10/site-packages/facexlib/weights/parsing_bisenet.pth

运行一下带代码，从一个包含图片的文件夹中提取每张图片的人脸掩码，存储到当前同级文件夹的face文件夹里

python face_mask_extraction.py --image_folder="/media/dell/DATA/RK/StableAnimator-main/inference/case-1"

进行图片的生成

bash command_basic_infer.sh

将以下文件夹的一些参数修改为你自己的参数

CUDA_VISIBLE_DEVICES=0 python inference_basic.py \--pretrained_model_name_or_path="path/checkpoints/SVD/stable-video-diffusion-img2vid-xt" \--output_dir="/media/dell/DATA/RK/StableAnimator-main/inference/output" \--validation_control_folder="/media/dell/DATA/RK/StableAnimator-main/inference/test/pose" \--validation_image="path/inference/case-1/reference.png" \--width=576 \--height=1024 \--guidance_scale=3.0 \--num_inference_steps=25 \--posenet_model_name_or_path="path/checkpoints/Animation/pose_net.pth" \--face_encoder_model_name_or_path="path/checkpoints/Animation/face_encoder.pth" \--unet_model_name_or_path="path/checkpoints/Animation/unet.pth" \--tile_size=16 \--overlap=4 \--noise_aug_strength=0.02 \--frames_overlap=4 \--decode_chunk_size=4 \--gradient_checkpointing

三、模型部署报错

①OSError: Can’t load image processor for ‘/media/dell/DATA/RK/StableAnimator-main/checkpoints/SVD/stable-video-diffusion-img2vid-xt’. If you were trying to load it from ‘https://huggingface.co/models’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘/media/dell/DATA/RK/StableAnimator-main/checkpoints/SVD/stable-video-diffusion-img2vid-xt’ is the correct path to a directory containing a preprocessor_config.json file
模型的路径写错了，/media/dell/DATA/RK/StableAnimator-main/checkpoints/SVD 应该写这个，刚刚的路径最后一个文件夹根本不存在

② Error no file named model.fpl6.safetensors found in directory /media/dell/DATA/RK/StableAnimator-main/checkpoints/SVD.
读取不了图像编码器的权重
OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /media/dell/DATA/RK/StableAnimator-main/checkpoints/SVD/image_encoder.

将inference_basic.py文件中的第226行左右的模型加载代码进行修改
这里是原来的

 image_encoder = CLIPVisionModelWithProjection.from_pretrained(args.pretrained_model_name_or_path, subfolder="image_encoder", revision=args.revision)

将其修改为以下

 image_encoder = CLIPVisionModelWithProjection.from_pretrained("/media/dell/DATA/RK/StableAnimator-main/checkpoints/SVD/image_encoder", revision="fp16",variant="fp16")

注意这两个要一起加才能识别模型的权重

revision="fp16",variant="fp16"

revision=“fp16” 会告诉系统加载 FP16 精度的模型，而 variant=“fp16” 则指定推理或训练过程中的精度
两者协同作用，确保你在运行时使用的是 FP16 精度的模型，避免错误或不一致的精度设置
其他的vae和unet 的加载也要改成类似的

③模型运行后直接被杀死了
在这里插入图片描述

可能是内容爆掉了
我把unet的加载放到了 cuda里，就正常运行了，但是爆别的错误④
在这里插入图片描述
④IndexError: list index out of range

我选择将输入的数据换成官方的数据试试
官方下载权重的文件夹里面的有一个inference的zip的压缩包

可以跑起来了，显存占用15个G
在这里插入图片描述

⑤RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 30 but got size 29 for tensor number 1 in the list.

注意这个问题是由于我自己输出的图像的长宽不是32的整数（宽为904）倍导致的。

四、模型的生成结果
生成的流程
用官方提供的姿势文件夹（pose）
用自己的参考图像一张（png）
然后进行生成

用官方提供的第一个case的pose（包含15张图片）（如果pose的帧数太多很容易被杀死）
这是官方的512 * 512 的像素的
在这里插入图片描述
推理需要一分钟的时间，生成图片的大小改为768*1024
（官方的代码里给的是576 * 1024）
生成的结果①

②参考图像用的自己的
生成图片的大小改为512 * 512的
（官方的代码里给的是576 * 1024，感觉生成的图像有些扭曲）
注意，参考图像需要和pose的比例一致（比如pose是全身的，参考图像是半身的话，生成的内容会不一致。）
参考图像用的这张

生成的结果
在这里插入图片描述
可以看到角色的一致性还是有些问题，需要调整一些参数

③我用动漫的角色作为参考图像的话生成的效果并不保真

④将输入图像裁剪为和实力图像一样的大小：512 * 512 或者 512 * 904
pose 的帧数选择20以内，不然会爆内存被杀死

参考的图像
在这里插入图片描述

生成的结果
在这里插入图片描述

StableAnimator模型的部署：复旦微软提出可实现高质量和高保真的ID一致性人类视频生成

文章目录一、项目介绍二、项目部署模型的权重下载提取目标图像的关节点图像（这个可以先不看先用官方提供的数据集进行生成）提取人脸（这个也可以先不看）进行图片的生成三、模型部署报错一、项目介绍由复旦、微软、虎牙、CMU的…...

编程日记 2025/5/14 6:59:24

蓝桥杯真题 - 异或和 - 题解

题目链接：https://www.lanqiao.cn/problems/3549/learning/ 个人评价：难度 3 星（满星：5） 前置知识：树状数组，dfs 序整体思路查询以节点 x x x 为根的子树下所有节点异或和，用 …...

编程日记 2025/5/12 3:34:25

【ES6复习笔记】let 和 const 命令（1）

ES6 中的 let 和 const 关键字 1. let 关键字 let 关键字用于声明一个变量，它具有块级作用域，这意味着变量只在声明它的块内有效。与 var 不同，let 不允许在同一作用域内重复声明同一个变量。 2. const 关键字 const 关键字用于声明一个常…...

编程日记 2025/5/13 23:38:29

ReconFusion: 3D Reconstruction with Diffusion Priors 论文解读

目录一、概述二、相关工作 1、稀疏视角NeRF 2、用于视角合成的回归模型 3、用于视角合成的生成模型 4、2D扩散用于3D生成三、ReconFusion 四、实验一、概述提出可以利用三张图片生成实景三维重建的方法ReconFusion。并且在合成数据集和多视图数据集上进行训练&…...

编程日记 2025/5/14 5:53:46

企业安装加密软件有什么好处？

加密软件为企业的安全提供了很多便利，从以下几点我们看看比较重要的几个优点： 1、数据保护：企业通常拥有大量的商业机密、客户数据、技术文档等敏感信息。加密软件可以对这些信息进行加密处理，防止未经授权的人员访问。即使数据被…...

编程日记 2025/5/14 1:01:19

Linux(Centos 7.6)目录结构详解

Linux(Centos 7.6)是一个操作系统，其核心设计理念是将一切资源抽象为文件，即一切皆文件。比如系统中的硬件设备硬盘、网络接口等都被视为文件。Windows系统一般是分为C、D、E盘。而Linux(Centos 7.6)是以斜线"/"作为文件系统的开始目录&#x…...

编程日记 2025/5/14 6:26:43

GXUOJ-算法-第二次作业

1.矩阵连（链）乘问题描述 GXUOJ | 矩阵连乘代码解答 #include<bits/stdc.h> using namespace std;const int N50; int m[N][N]; int p[N]; int n;int main(){cin>>n;//m[i][j] 存储的是从第 i 个矩阵到第 j 个矩阵这一段矩阵链相乘的最小…...

编程日记 2025/5/14 5:59:36

BGP基础配置

使用直连接口IP地址来建立EBGP对等体关系 1、启动BGP协议 [r1]bgp 100 ----启动BGP协议，并且规定其AS号2、配置设备的RID数值，一般选择设备的loopback接口的IP地址 [r1-bgp]router-id 1.1.1.13、配置BGP对等体信息，包含了对等体的IP地址以及…...

编程日记 2025/5/10 9:50:18

瑞芯微全新芯片平台RK3506优势详解，高集成低功耗，为工业而生触觉智能测评

RK3506是瑞芯微Rockchip在2024年第四季度全新推出的Arm嵌入式芯片平台，三核Cortex-A7单核Cortex-M0多核异构设计，CPU频率达1.5Ghz, M0 MCU为200Mhz。而RK3506芯片平台下的工业级芯片型号RK3506J，具备-40-85℃的工业宽温性能、发热量小&#…...

编程日记 2025/5/8 16:38:37

Alice与Bob

Alice与Bob factordb.com 用上面链接可以直接分解得到101999和966233 按照要求让小的放前面大的放后面得到接着进行MD5的32位小写哈希 MD5在线加密/解密/破解—MD5在线 flag{d450209323a847c8d01c6be47c81811a}...

编程日记 2025/5/14 5:41:12

【玩转MacBook】Git安装

Git 官网也提到了MacBook 可以使用 Homebrew 安装 Git，所以在此使用 Homebrew 安装。 1、安装 Homebrew 执行安装脚本在 Terminal 中执行如下命令： /bin/bash -c "$(curl -fsSL https://gitee.com/ineo6/homebrew-install/raw/master/install.…...

编程日记 2025/5/14 5:06:12

【IC验证】verilog及systemverilog特殊特性的分析

verilog及systemverilog特殊特性的分析 1.概述2.赋值延迟（0）总结（1）情况一：initial中进行阻塞赋值和非阻塞赋值（不延迟）a代码b 电路图c 结果 （2）时钟a 代码b 电路图c 结果…...

编程日记 2025/5/14 5:45:59

Apollo中间件技术：从入门到精通

一、引言在Java开发的微服务架构中，配置管理是一个不可或缺的重要环节。随着服务数量的增加和部署环境的复杂化，传统的手动配置管理方式已难以满足需求。Apollo作为一款开源的分布式配置中心，凭借其强大的功能和灵活的架构，成为…...

编程日记 2025/5/13 10:02:45

汽车行业的MES系统方案（附案例资料合集）

针对汽车行业的MES系统方案，以下是一些关键点和实施案例： 核心功能： 实时监控：MES系统通过传感器和物联网技术实时监控生产线上的每一个环节，确保信息的及时传递。数据分析：系统对收集的数据进行深度分析&a…...

编程日记 2025/5/14 6:57:16

Python入门：7.Pythond的内置容器

引言 Python 提供了强大的内置容器（container）类型，用于存储和操作数据。容器是 Python 数据结构的核心部分，理解它们对于写出高效、可读的代码至关重要。在这篇博客中，我们将详细介绍 Python 的五种主要内置容器&…...

编程日记 2025/5/13 23:51:50

单片机与MQTT协议

MQTT 协议简述 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布 / 订阅（publish/subscribe）模式的 “轻量级” 通讯协议，该协议构建于 TCP/IP 协议上&#xf…...

编程日记 2025/5/14 5:02:05

记录命令行操作树莓派Wifi的方式

打开WiFi rfkill unblock wlan 关闭WiFi rfkill block wlan 设置可连接的WiFi 方法一（bullseye及以前版本才可用，bookworm版本） sudo nano /etc/wpa_supplicant/wpa_supplicant.conf network{ssid"wifi_name"psk"wifi_pas…...

编程日记 2025/5/14 5:42:38

Docker 安装mysql ,redis,nacos

一、Mysql 一、Docker安装Mysql 1、启动Docker 启动：sudo systemctl start dockerservice docker start 停止：systemctl stop docker 重启：systemctl restart docker 2、查询mysql docker search mysql 3、安装mysql 3.1.默认拉取最新版…...

编程日记 2025/5/14 5:57:20

[C#] 复数乘法的跨平台SIMD硬件加速向量算法（不仅支持X86的Sse、Avx、Avx512，还支持Arm的AdvSimd）

文章目录一、简单算法二、向量算法2.1 算法思路2.1.1 复数乘法的数学定义2.1.2 复数的数据布局2.1.3 第1步：计算 (a*c) (-b*d)i2.1.4 第2步：计算 (a*d) (b*c)i2.1.5 第3步：计算结果合并 2.2 算法实现（UseVectors）2.…...

编程日记 2025/5/14 6:51:15

curl 放弃对 Hyper Rust HTTP 后端的支持

curl 放弃了对使用 Rust 编写 Hyper HTTP 后端的支持，因为用户和开发者对此功能的需求很少。 curl 创始人兼核心开发者 Daniel Stenberg 表示，尽管这项工作最初由 ISRG 赞助并且看起来很有希望，但 Hyper 支持多年来一直处于实验阶段&#xf…...

编程日记 2025/5/11 18:19:57

RK3506开发板：智能硬件领域的新选择，带来卓越性能与低功耗

在现代智能硬件开发中，选择一款性能稳定、功耗低的开发板是确保产品成功的关键。Rockchip最新推出的RK3506芯片，凭借其卓越的能效比、多功能扩展性和优秀的实时性能，已经成为智能家电、工业控制、手持终端等领域的热门选择。而基于RK3506的Ar…...

编程日记 2025/5/13 12:13:27

RBAC权限控制

1、Spring Security 是一个功能强大的Java安全框架，它提供了全面的安全认证和授权的支持。 2 SpringSecurity配置类（源码逐行解析） Spring Security的配置类是实现安全控制的核心部分开启Spring Security各种功能，以确保Web应…...

编程日记 2025/5/4 13:38:38

Linux高并发服务器开发第六天（rwx 对于目录和文件的区别 gcc编译器动态库静态库）

目录 1.rwx 对于目录和文件的区别 2.gcc 编译器 2.1编译过程 2.2gcc 的其他参数 3.动态库和静态库 3.1函数库 1.rwx 对于目录和文件的区别 r 文件的内容可以被查看。支持cat、more、head...vim ；目录的内容可以被查看。ls、tree …...

编程日记 2025/5/11 10:10:02

如何使用远程控制工具管理你的计算机系统

在现代工作环境中，远程控制技术越来越重要，尤其是对于系统管理员、技术支持人员以及需要远程工作的人来说。远程控制不仅仅是便捷，更是提高工作效率、快速解决问题的重要手段。今天，我们将讨论一些常见的远程控制工具，…...

编程日记 2025/5/12 3:54:45

在K8S中，CNI有什么作用？

在kubernetes中，Container Network Interface(CNI)起着至关重要的作用，主要解决了容器网络配置及通信的问题，确保了Pod间网络连通性及其外部世界的通信。CNI的具体作用包括但不限于以下几个方面。 1. 网络配置自动化： 当kuberne…...

编程日记 2025/5/12 18:00:34

C语言性能优化：从基础到高级的全面指南

引言 C 语言以其高效、灵活和功能强大而著称，被广泛应用于系统编程、嵌入式开发、游戏开发等领域。然而，要写出高性能的 C 语言代码，需要对 C 语言的特性和底层硬件有深入的了解。本文将详细介绍 C 语言性能优化的背后技术，并通过…...

编程日记 2025/4/24 22:06:37

JS中Symbol （符号）数据类型详解和应用场景

JavaScript中Symbol数据类型详解 Symbol是ES6引入的一种原始数据类型，表示唯一的标识符。它是通过Symbol()函数生成的，每次调用都会返回一个独一无二的值。Symbol值的主要用途是为对象的属性提供唯一标识，以避免属性名冲突。特点唯一性每…...

编程日记 2025/5/13 7:14:25

Go gin框架（详细版）

目录 0. 为什么会有Go 1. 环境搭建 2. 单-请求&&返回-样例 3. RESTful API 3.1 首先什么是RESTful API 3.2 Gin框架支持RESTful API的开发 4. 返回前端代码 go.main index.html 5. 添加静态文件 main.go?改动的地方 index.html?改动的地方 style.css?改…...

编程日记 2025/5/2 11:12:36

Linux系统 —— 进程控制系列 - 进程的等待：wait 与 waitpid

目录 1. 进程的等待 1.1 为什么需要等待 2. 进程等待的方法 1. wait 2. waitpid 3. 获取子进程status 4. 阻塞与非阻塞等待续接前文： Linux系统 —— 进程控制系列 - 进程的创建与终止 ：fork与exit-CSDN博客https://blog.csdn.net/hedhjd/artic…...

编程日记 2025/5/10 6:17:09

blender中合并的模型，在threejs中显示多个mesh；blender多材质烘培成一个材质

描述：在blender中合并的模型导出为glb，在threejs中导入仍显示多个mesh，并不是统一的整体，导致需要整体高亮或者使用DragControls等不能统一控制。原因：模型有多个材质，在blender中合并的时候，…...

编程日记 2025/5/14 1:58:09

探索多模态大语言模型（MLLMs）的推理能力

探索多模态大语言模型（MLLMs）的推理能力 Multimodal Large Language Models (MLLMs) flyfish 原文：Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Mult…...

编程日记 2025/5/12 1:29:16

[Wireshark] 使用Wireshark抓包https数据包并显示为明文、配置SSLKEYLOGFILE变量（附下载链接）

wireshark 下载链接：https://pan.quark.cn/s/eab7f1e963be 提取码：rRAg 链接失效（可能会被官方和谐）可评论或私信我重发 chrome与firefox在访问https网站的时候会将密钥写入这个环境变量SSLKEYLOGFILE中，在wireshark…...

编程日记 2025/5/12 6:52:17

单片机实物成品-007 汽车防盗系统（代码+硬件+论文）

汽车尾气监测系统（温度震动传感器红外热释电GPS三个指示灯蜂鸣器正常模式防盗模式wifi传输控制送APP源码 ） 把该系统划分为两个不同设计主体，一方面为硬件控制主体，通过C语言来编码实现，以STM32开发板为核心控制器&a…...

编程日记 2025/5/12 17:46:55

redis开发与运维-redis0401-补充-redis流水线与Jedis执行流水线

文章目录【README】【1】redis流水线Pipeline【1.1】redis流水线概念【1.2】redis流水线性能测试【1.2.1】使用流水线与未使用流水线的性能对比【1.2.2】使用流水线与redis原生批量命令的性能对比【1.2.3】流水线缺点【1.3】Jedis客户端执行流水线【1.3.1】Jedis客户端执行流…...

编程日记 2025/5/11 17:46:17

windows系统下使用cd命令切换到D盘的方法

windows系统下使用cd命令切换到D盘的方法系统环境配置 win10系统原装C盘后期自己安装的硬盘D盘 python3.8安装在D盘中问题说明 winR打开终端，使用 cd d:命令，无法将当前目录切换到D盘解决方法方法一：使用下面这条命令 cd /d d:运…...

编程日记 2025/4/8 16:46:47

word参考文献第二行缩进对齐

刚添加完参考文献的格式是这样： ”段落“—>缩进修改、取消孤行控制就可以变成...

编程日记 2025/5/3 17:49:41

Springboot关于格式化记录

日期格式化返回前端日期需要格式化 <dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.9.2</version> </dependency>JsonFormat(pattern "yyyy-MM-dd…...

编程日记 2025/5/10 3:10:06

1.business english--build rapport

build rapport with someone 建立融洽关系 Salespeople often try to build rapport with customers to boost sales. user a variety of appropriate questions. answer the question according to your experience. Do you know how to make a good connection with others…...

编程日记 2025/5/14 0:06:56