当前位置：首页 > news >正文

畅游Diffusion数字人(21)：基于Wan2.1的音频驱动数字人FantasyTalking

news 来源：原创 2025/9/21 3:17:46

畅游Diffusion数字人(0)：专栏文章导航

前言：AI数字人是目前视觉AIGC最有希望大规模落地的场景之一。现阶段的商业工具，如字节的OminiHuman-1(即梦大师版)、快手的可灵对口型，虽然效果不错，但是收费昂贵。而开源解决方案，如Hallo3、Sonic，效果与商业工具仍存在不小差距。FantasyTalking是一个基于Wan2.1的对口型工作，相比之前的开源方案在效果上进步显著。

效果速览

原理简介

两阶段音频-视觉对齐

身份保持

运动强度调节

论文和代码

效果速览

可以去原始项目主页观看视频：FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis

原理简介

核心的创新点有三个：两阶段音频-视觉对齐、身份保持和运动强度调节。

两阶段音频-视觉对齐

动机：以往的方法通常过于关注唇部同步而忽视了如动作、表情等微妙但重要的非唇部运动，这导致了在真实的“wild talking”场景下表现不是很好。

做法：FantasyTalking 提出了一种名为DAVA的两阶段学习策略：

Clip-level：首先在片段级别上学习音频与视觉元素（包括表情、身体动作甚至是背景变化）之间的弱相关性，建立全局的视听依赖关系，允许整体特征融合。
Frame-level：然后在帧级别上专注于那些高度与音频相关的视觉特征细化，特别是针对唇部为中心的动作进行精确的音频-视觉对齐。

身份保持

动机：无论是在动作驱动、虚拟换衣、对口型等Diffusion-based的任务中，使用从主干网络复制权重的Reference Net是常规做法，这些Reference Net的输入是整张参考图，这可能会限制视频中人物和背景的大范围自然的变化。

做法：FantasyTalking案聚焦于面部区域并通过交叉注意力机制来解耦身份保留与动作生成，确保在整个生成的视频序列中保持角色的身份特征。这种做法相比于Reference Net不仅更轻量级，聚焦面部的也可以解放Reference Net对背景和人物自然运动的限制。

运动强度调节

动机：不同的人说话风格不一样，例如有的人说话喜欢频繁使用手势，有的人说话表情很夸张。但是只通过音频是很难对这些进行显式控制的，因此需要引入更多的条件作为辅助。

做法：通过基于面部关键点和身体关节的运动强度调节模块，可以控制角色动作的强度，对说话的表情和动作运动强度进行显式的控制。

论文和代码

论文地址：FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis

代码地址：https://github.com/Fantasy-AMAP/fantasy-talking/tree/main

代码和模型将于8月前开源～

效果速览

原理简介

两阶段音频-视觉对齐

身份保持

运动强度调节

论文和代码

相关文章：