当前位置：首页 > news >正文

NeurIPS 2024 | SHMT：通过潜在扩散模型进行自监督分层化妆转移（阿里，武汉理工）

news 来源：原创 2025/5/14 14:24:03

当前的妆容转移技术面临两个主要挑战：

缺乏成对数据，导致模型训练依赖于低质量的伪配对数据，从而影响妆容的真实感；
不同妆容风格对面部的影响各异，现有方法难以有效处理这种多样性。

今天给大家介绍的方法是由阿里联合武汉理工等提出的自监督层次化妆转移方法（SHMT），可以将多样化的妆容风格自然且精准地应用于给定的面部图像。SHMT通过采用“解耦与重构”的自监督学习策略，避免了伪配对数据的误导。同时，SHMT利用拉普拉斯金字塔分解层次化的纹理细节，灵活控制妆容风格的保留与舍弃。除了颜色匹配之外，该方法还可以灵活控制保留或丢弃各种化妆风格的纹理细节，而不会改变脸型。

论文介绍

摘要

本文研究了化妆迁移这一具有挑战性的任务，旨在将各种化妆风格精确而自然地应用于给定的面部图像。由于缺乏配对数据，当前的方法通常合成次优的伪基本事实来指导模型训练，导致化妆保真度低。此外，不同的化妆风格通常对人脸有不同的影响，但现有的方法很难处理这种多样性。为了解决这些问题，我们提出了一种通过潜在扩散模型的新型自监督分层化妆迁移 (SHMT) 方法。遵循“解耦和重建”范式，SHMT 以自监督的方式工作，摆脱了不精确的伪配对数据的误导。此外，为了适应各种化妆风格，通过拉普拉斯金字塔分解分层纹理细节并有选择地引入内容表示。最后，我们设计了一个新颖的迭代双重对齐 (IDA) 模块，该模块可以动态调整扩散模型的注入条件，从而纠正由内容和化妆表示之间的域差距引起的对齐误差。广泛的定量和定性分析证明了我们方法的有效性。

方法

SHMT 的框架。面部图像 I 被分解为背景区域 Ibg、化妆表示 Im 和内容表示 (I3d, hi)。通过从这些组件重建原始图像来模拟化妆传输过程。构建了分层纹理细节 hi 以响应不同的化妆风格。在每个去噪步骤 t 中，IDA 利用嘈杂的中间结果 ˆIt 来动态调整注入条件以纠正对齐错误。

结果

在简单的化妆风格上与基于 GAN 的基线进行定性比较。

与基于gan的复杂妆容基线的定性比较。

简单妆容与稳定妆容基线的定性比较

与稳定妆容基线在复杂妆容上的定性比较。

结论

本文提出了一种自监督分层妆容迁移 (SHMT) 方法。该方法采用自监督策略进行模型训练，摆脱了以前方法中伪配对数据的误导。得益于分层纹理细节，SHMT 可以灵活控制纹理细节的保留或丢弃，使其能够适应各种妆容风格。此外，所提出的 IDA 模块能够有效地纠正对齐错误，从而提高妆容保真度。定量和定性分析都证明了我们的 SHMT 方法的有效性。

NeurIPS 2024 | SHMT：通过潜在扩散模型进行自监督分层化妆转移（阿里，武汉理工）

当前的妆容转移技术面临两个主要挑战： 缺乏成对数据，导致模型训练依赖于低质量的伪配对数据，从而影响妆容的真实感； 不同妆容风格对面部的影响各异，现有方法难以有效处理这种多样性。今天给大家介绍的方法是由阿里联…...

编程日记 2025/5/14 14:24:03

“知识图谱AI教学辅助系统：点亮智慧学习的新灯塔

嘿，各位教育界的小伙伴们！今天咱们来聊聊一个超级有料的话题——知识图谱AI教学辅助系统。想象一下，如果有一个智能导师能根据你的需求定制专属的学习路径，还能像百科全书一样随时解答疑问，是不是感觉学习变得更高效、…...

编程日记 2025/4/29 5:57:11

STM32-ADC模数转换

定义： ADC（Analog-Digital Converter）模拟-数字转换器 ADC可以将引脚上连续变化的模拟电压转换为内存中存储的数字变量，建立模拟电路到数字电路的桥梁 12位逐次逼近型ADC【表示转化的范围是0-2^12 - 1】，1us转换时间输…...

编程日记 2025/5/12 13:29:41

Springboot整合MyBatis-Plus

1、整合MyBatis-Plus 1、导入依赖 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.2.0</version></dependency>2、配置 1）配置数据源，导…...

编程日记 2025/5/7 4:32:58

分类、聚类与回归的评价指标

在cross_validate或cross_val_score中，参数scoring，与分类、聚类和回归算法的评价指标有关。 3.4.3. The scoring parameter: defining model evaluation rules For the most common use cases, you can designate a scorer object with the scoring pa…...

编程日记 2025/4/29 5:51:17

Day28下 - 大模型微调：酒店评论情感分析

一、前置准备 1. 下载 LLaMA Factory https://github.com/hiyouga/LLaMA-Factory.git 搭建过程详见：https://blog.csdn.net/CSBLOG/article/details/144584581 2. 选择预训练模型和 prompt指令模型预训练阶段在实际工作中，一般是用不上的&#xff…...

编程日记 2025/5/14 11:51:23

企业级Nosql数据库和Redis集群

一、关系数据库和Nosql数据库关系数据库定义：关系数据库是建立在关系模型基础上的数据库。它使用表格（关系）来存储数据，通过行和列的形式组织信息。例如，一个简单的学生信息表可能有 “学号”“姓名”“年龄”“班级…...

编程日记 2025/4/22 7:45:48

代码优化方案

① 引入清晰的中间变量即如果判断条件很复杂的情况下，最好的方式是引入清晰的中间变量。 isValid val > someConstant; isAllowed condition2 || condition3; isSecure condition4 && !condition5;// 有了描述性变量，我们就不需要再记住…...

编程日记 2025/4/13 11:57:20

C++直接内存管理new和delete

0、前言 C语言定义了两个运算符来分配和释放动态内存。运算符new分配内存，delete释放new分配的内存。 1、new动态内存的分配 1.1、new动态分配和初始化对象 1）、new内存分配在自由的空间分配的内存是无名的，new无法为其分配的对象…...

编程日记 2025/5/14 13:54:28

CPU过剩是什么意思？有什么对电脑的影响吗?如何确认CPU有没有过剩

CPU 过剩通常是指计算机系统中 CPU 的性能远远超出了当前运行任务的需求。以下从产生原因和对电脑的影响为你详细介绍： 产生原因硬件升级与软件发展不同步：用户为追求高性能提前升级了 CPU，而当前的软件应用程序在算法和功能上没有太大突破&…...

编程日记 2025/5/14 13:51:18

Git的简单介绍与如何安装Git

文章目录前言一、初始git1.git是什么2.为什么要使用git(出现的问题)3.git是如何解决问题的二、git的安装与卸载1.centos系统2.ubuntu系统3.windows 三、搭建git本地环境1.创建git本地仓库2.配置用户信息总结前言本文简单引入git的相关内容。一、初始git 1.git是什么 g…...

编程日记 2025/5/14 13:27:14

Linux vi/vim 编辑器：功能强大的文本处理工具

Linux vi/vim 编辑器：功能强大的文本处理工具引言 Linux 系统中的 vi/vim 是一种功能强大的文本编辑器，它广泛应用于程序员、系统管理员和其他需要处理文本文件的用户群体中。vi 是 visual interface 的缩写，而 vim 则是 vi improved 的缩…...

编程日记 2025/5/14 14:11:59

计算机毕业设计Python电商品推荐系统商品比价系统电商比价系统商品可视化商品爬虫机器学习深度学习京东爬虫国美爬虫淘宝爬虫大数据

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/4/23 0:48:20

正则表达式 - 使用总结

正则表达式 - 使用总结正则表达式（Regular Expression，简称Regex）是一种强大的文本处理工具，它允许我们通过特定的模式（pattern）来搜索、匹配和操作字符串。在编程、数据分析和文本处理等领域，正则表达式发挥着非常重要的作用。本文将总结正则表达式的基本概念、使用方…...

编程日记 2025/5/14 13:45:44

性能测试04|JMeter:连接数据库、逻辑控制器、定时器

目录一、连接数据库 1、使用场景 2、直连数据库的关键配置 3、案例编辑二、逻辑控制器 1、if控制器 2、循环控制器 3、ForEach控制器三、定时器 1、同步定时器 2、常数吞吐量定时器（用的少，了解即可） 3、固定定时器一、连…...

编程日记 2025/5/12 8:04:07

力扣刷题：二叉树OJ篇（上）

大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！ 目录 1.单值二叉树（1）题目描…...

编程日记 2025/4/6 15:22:10

【跨域】解决SpringBoot和openresty跨域问题

平时后端只需要写一个配置类就可以解决跨域但是最近的新项目死活不行先说结论项目中的权限校验(也可以是其他的)拦截器优先级高于跨域拦截器导致跨域处理失效解决办法 1.在addCorsMappings上增加 Order(value -100)// 跨域优先级最高 2.nginx放行OPTIONS请求 SpringBo…...

编程日记 2025/4/29 5:59:49

下载ffmpeg执行文件

打开网址：Download FFmpeg 按下面步骤操作解压文件就可以看到ffmpeg的执行文件了，需要通过命令行进行使用： ffmpeg命令行使用参考： ffmpeg 常用命令-CSDN博客...

编程日记 2025/4/12 16:49:18

SQLite 实际案例研究与创新应用

SQLite 作为一种强大而简单的数据库实现，应用于各类场景，从移动应用到物联网设备，再到边缘计算。在本章中，我们将通过几个典型案例，探讨 SQLite 如何在实际中解决复杂问题，并研究其创新应用的可能性。案例…...

编程日记 2025/5/11 8:33:17

C语言递归编程练习

1.将参数字符串中的字符反向排列，不是逆序打印。要求：不能使用C函数库中的字符串操作函数。比如： char arr[] "abcdef"; 逆序之后数组的内容变成：fedcba 1.非函数实现（循环） 2.用递归方法…...

编程日记 2025/4/30 17:50:24

【HDU】1089 A+B for Input-Output Practice (I)

1089 AB for Input-Output Practice (I):以EOF结尾的输入 Problem Description Your task is to Calculate a b. Too easy?! Of course! I specially designed the problem for acm beginners. You must have found that some problems have the same titles with this one,…...

编程日记 2025/4/29 9:29:27

[python3]Excel解析库-xlwings

xlwings 是一个强大的 Python 库，它允许你直接与 Microsoft Excel 进行交互。通过 xlwings，你可以轻松地在 Python 脚本或 Jupyter Notebook 中读取、写入和操作 Excel 文件，而无需手动打开 Excel 应用程序。此外，xlwings 还支持将…...

编程日记 2025/4/29 4:45:13

[python3]Excel解析库-xlutils

xlutils 是一组用于处理 Excel 文件的 Python 库，它实际上是 xlrd 和 xlwt 的扩展，提供了额外的功能来操作 Excel 文件。xlutils 主要由三个部分组成：xlutils.copy、xlutils.filter 和 xlutils.view，它们分别用于复制和修改现有 E…...

编程日记 2025/5/6 19:36:38

React中的合成事件

合成事件与原生事件区别： 1. 命名不一样，原生用纯小写方式，react用小驼峰的方式原生：onclick React的：onClick 2. 事件处理函数的写法不一样原生的是传入一个字符串，react写法传入一个回调函数 3.…...

编程日记 2025/4/29 12:19:19

记录一次电脑被入侵用来挖矿的过程（Trojan、Miner、Hack、turminoob）

文章目录 0、总结1、背景2、端倪3、有个微软的系统更新，就想着更新看看（能否冲掉问题）4、更新没成功，自动重启电脑5、风险文件（好家伙命名还挺规范，一看名字就知道出问题了）6、开机有一些注册表…...

编程日记 2025/4/12 0:17:24

牛客网刷题 ——C语言初阶（5操作符）——BC107 矩阵转置

1.题目描述：BC107 矩阵转置牛客网OJ链接 KiKi有一个矩阵，他想知道转置后的矩阵（将矩阵的行列互换得到的新矩阵称为转置矩阵），请编程帮他解答。输入描述: 第一行包含两个整数n和m，表示一个矩阵包含n行m列…...

编程日记 2025/4/9 17:42:18

【调试记录】在CARLA中插入可以播放视频的组件

〇、问题描述做实验验证的时候，需要在CARLA仿真环境中添加一个可以播放视频的功能，查了很多现有的实验，基本都是插入图像，而对于插入视频，实现的方法就很麻烦了。一开始考虑的是直接用射影变换进行叠加，计…...

编程日记 2025/5/2 19:21:18

【Linux】RPMSG通讯协议介绍

RPMSG协议通讯协议介绍 RPMSG，全称Remote processor Messaging。是一种核间通讯协议。在Linux Kernel中，已经内置了RPMSG。 Linux RPMSG基于共享内存，利用RPMSG可以高效的实现核间通信。比如Linux与FreeRTOS、Linux与Android，都可…...

编程日记 2025/5/3 1:40:31

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

题目分支-求解-合并改进了大型语言模型的评估和生成摘要大型语言模型(LLM)经常用于多方面的语言生成和评估任务，这些任务涉及满足复杂的用户约束或考虑多个方面和标准。然而，由于模型缺乏一致性，无法计划和分解问题，他们的表现…...

编程日记 2025/5/1 20:02:54

SqlSugar-文章目录

SqlSugar学习总结1(基础操作) SqlSugar学习总结2(主从复制-数据库配置) SqlSugar学习总结3(主从复制-读写分离) SqlSugar学习总结4(树形递归查询) SqlSugar学习总结5(映射)...

编程日记 2025/4/19 19:49:11

如何理解RDD，以及RDD的五大特性和五大特点。

RDD：英文全称Resilient Distributed Dataset，叫做弹性分布式数据集，代表一个不可变、可分区、里面的元素可并行计算的分布式的抽象的数据集合。 Resilient弹性：RDD的数据可以存储在内存或者磁盘当中，RDD的数据可以分区…...

编程日记 2025/5/6 1:01:16

umd格式

umd格式是啥？ umd格式是一种通用模块，他同时支持AMD、CJS、ESM模块和全局变量的方式 umd格式打包后的基本代码结构如下: (function (root, factory) {if (typeof define function && define.amd) {// AMDdefine([dependency], factory);} el…...

编程日记 2025/4/24 0:02:51

node.js之---内置模块

在 Node.js 中，模块系统是基于 CommonJS 模块规范的，这使得开发者可以将代码分成多个独立的模块进行管理。Node.js 提供了很多内置模块（也称为核心模块），这些模块可以直接在代码中使用，而无需安装额外的…...

编程日记 2025/4/29 5:24:47

linux下安装达梦数据库v8详解

目录操作系统、数据库 1、下载达梦数据库 2、安装前准备 2.1、建立数据库用户和组 2.2、修改文件打开最大数 2.3、挂载镜像 2.4、新建安装目录 3、数据库安装 4、配置环境变量 5、初始化数据库实例 6、注册服务 7、使用数据库 8、卸载数据库 9、多实例管理 10、…...

编程日记 2025/4/29 11:31:41

深入理解 Android 中的 ApplicationInfo

深入理解 Android 中的 ApplicationInfo 在 Android 开发中，ApplicationInfo 是一个非常重要的类，它包含了关于应用程序的元信息。这些信息通常是从 AndroidManifest.xml 文件中提取的，开发者可以通过 ApplicationInfo 类来获取和操作这些信…...

编程日记 2025/5/2 14:37:44

【vLLM】使用PagedAttention 进行大型语言模型的高效内存管理

重磅推荐专栏：《大模型AIGC》《课程大纲》《知识星球》本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经…...

编程日记 2025/5/13 13:40:10

STLG_01_12_程序设计C语言 - 联合体和枚举类型

在C语言中，联合体（Union）和枚举类型（Enum）是两种不同的数据结构，它们各自有特定的用途和特点。联合体（Union） 联合体是一种数据结构，允许在相同的内存位置存储不同的数…...

编程日记 2025/4/20 5:58:20

ThreadLocal详解：深入探讨导致JVM内存泄露的原因及预防措施

引言 ThreadLocal 是Java提供的一个线程局部变量工具，它使得每个线程都可以拥有自己的变量副本，而这些副本对于其他线程而言是不可见的。这在多线程编程中非常有用，因为它可以避免共享资源带来的同步问题。然而，如果使用不当&…...

编程日记 2025/4/29 11:48:25

【FlutterDart】拖动改变 widget 的窗口尺寸大小GestureDetector～简单实现（10 /100）

上效果预期的是通过拖动一条边界线改变窗口大小，类似vscode里拖动效果。这个是简单的拖动实现上代码： import package:flutter/material.dart;class MyDraggableViewDemo extends StatelessWidget {const MyDraggableViewDemo({super.key});override…...

编程日记 2025/5/11 14:17:40

【FlutterDart】拖动边界线改变列宽并且有边界高亮和鼠标效果（12 /100）

【Flutter&Dart】拖动改变 widget 的窗口尺寸大小GestureDetector～简单实现（10 /100） 【Flutter&Dart】拖动边界线改变列宽类似 vscode 那种拖动改变编辑框窗口大小（11 /100） 上效果对比一下vscode的效果&…...

编程日记 2025/4/29 11:47:05

鸿蒙应用开发（2）

鸿蒙应用开发启航计划-CSDN博客鸿蒙应用开发（1）-CSDN博客没看过前两篇的，建议请先看上面。如果你学习完了前两篇，那么你学习这篇文章，就很容易理解了。这一篇文章将介绍声明式UI的渲染控制。你需要了解的是&…...

编程日记 2025/5/13 0:02:12

js -动态主题色

学习参考来源： 峰华大佬：https://www.bilibili.com/video/BV1E64y1Z79Q/?spm_id_from333.1391.0.0&vd_sourcea0f31140205458776d3a4ef477cd6561 实际效果： http://www.qingkong.zone/laboratory?typetheme-color 前言本文内容可结合上…...

编程日记 2025/4/18 22:23:04

connect to host github.com port 22: Connection timed out 的解决方法

原因是 Github 被 GFW 屏蔽了。 Windows 系统，打开 C:\Windows\System32\drivers\etc，复制其中的 hosts 文件至桌面，用文本编辑器或者其他工具打开。复制以下内容进去： 140.82.114.4 github.com 151.101.1.6 github.global.ss…...

编程日记 2025/5/9 10:52:27

AI 角色扮演法的深度剖析与实践

📢📢📢 大家好，我是云楼Yunlord，CSDN博客之星人工智能领域前三名，多年人工智能学习工作经验，一位兴趣稀奇古怪的【人工智能领域博主】！！！😜&#…...

编程日记 2025/5/10 6:12:00

ansible-动态inventory及内置函数

一. 简述： 关于inventory的基本用法可以参考上一篇文章：ansible-inventory定义-CSDN博客在实际线上环境中，单纯的靠配置文件管理，是一件很麻烦的事情(比如一致性问题)，特别是规模较大的场景下，会有大量主…...

编程日记 2025/5/10 0:19:18

【每日学点鸿蒙知识】广告ID、NFC手机充值、CSS支持语法、PC与模拟器交互、SO热更新等

1、HamonyOS 样机获取成功返回Oaid为00000000-0000-0000-0000-000000000000？ 请求授权时需要触发动态授权弹窗,看一下是不是没有触发授权弹窗。可以参考以下代码以及文档： // ets import identifier from ohos.identifier.oaid; import hilog from oh…...

编程日记 2025/5/2 3:08:49

MySQL 【多表查询】

一 . 概述多表关系： 一对多(多对一) ， 多对多 ，一对一 1） 一对一案例: 用户与用户详情的关系关系: 一对一关系，多用于单表拆分，将一张表的基础字段放在一张表中，其他详情字段放在另一张表…...

编程日记 2025/5/10 1:37:14

第08章存储管理（二）

一、EXT4文件系统详解 1.1 简介 1.1.1 课程引入 1.1.2 名词解释 1.1.3 类型索引（index）文件系统 1.1.4 系统限制 1.1.5 图示 1.1.6 名词 1.2 inode(index node 索引节点) 1.3 block(块文件内容） 二、文件链接 2.1 符号连接(软连接) 2.…...

编程日记 2025/5/14 9:03:41

win10搭建zephyr开发环境

搭建环境基于 zephyr官方文档基于官方文档一步一步走很快就可以搞定一、安装chocolatey 打开官网 https://community.chocolatey.org/courses/installation/installing?methodinstall-from-powershell-v3 1、用管理员身份打开PowerShell （1）执行 …...

编程日记 2025/5/11 18:02:39

常见框架漏洞

一：ThinkPhp 1.搭建环境，访问 2.访问路径，进行远程代码执行二：struts2 1.搭建环境进行 2.使用工具进行检测三：Spring 1.搭建环境进行访问并进行抓包 2.然后抓取数据包，使用PATCH请求来修改 3.进入容器…...

编程日记 2025/5/13 23:59:10

相关链接

论文介绍

摘要

方法

结果

结论

相关文章：