新加坡国立大学和字节跳动联合推出的MagicAnimate，可以用一张照片加上骨骼动画制作小姐姐跳舞视频。这和前几天阿里推出的 AnimateAnyone 网页链接 很像。

MagicAnimate：通过扩散模型创造时间连贯的人像动画，并提供了 Gradio 演示

本地演示链接: [MagicAnimate @ GitHub](网页链接)

本论文深入探讨了人像动画任务——其核心目标是制作一段视频，展示一个特定人物身份按照既定动作序列进行动作。传统的动画制作方法多采用帧变形技术，使参考图片按照目标动作进行动画化。这些方法虽然在一定程度上有效，但在保持动画整体时间连贯性方面存在挑战，主要是由于缺乏对时间序列的建模和对原始人物特征的不够精确保留。在这项研究中，我们提出了 MagicAnimate，这是一个以扩散机制为基础的框架，旨在提高时间连贯性、忠实地保留参考图像以及提升动画的真实感。为了达到这些目标，我们首先开发了一个视频扩散模型，用以捕捉时间信息。接着，为了在不同帧之间保持外观的一致性，我们引入了一个创新的外观编码器，以维持参考图像的精细细节。结合这两大创新，我们还采用了一种简单的视频融合技术，确保长视频动画过程中的平滑过渡。经验证实，我们的方法在两个基准测试中均优于现有的基准方法。特别是在挑战性极高的 TikTok 舞蹈数据集上，我们的方法在视频真实度方面比最强基线提高了超过 38%。我们将公开代码和模型。

论文：网页链接
项目首页：网页链接
代码：网页链接 宝玉xp的微博视频
在线测试地址：网页链接

微博新知

发布时间： 2023-12-05 05:06:57