Animate-Anyone，用于生成角色/人物的动画
支持上传一张人物图像，生成一致且可控的视频。

项目：humanaigc.github.io/animate-anyone
论文：Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
（为任何人制作动画：角色动画的一致且可控的图像到视频合成），arxiv.org/abs/2311.17117

论文摘要

角色动画旨在通过驱动信号从静止图像生成角色视频。目前，扩散模型因其强大的生成能力已成为视觉生成研究的主流。然而，图像到视频领域仍然存在挑战，特别是在角色动画中，暂时保持与角色详细信息的一致性仍然是一个艰巨的问题。

在本文中，我们利用扩散模型的力量，提出了一个为角色动画量身定制的新颖框架。为了保持参考图像中复杂外观特征的一致性，我们设计了 ReferenceNet 通过空间注意力来合并细节特征。为了确保可控性和连续性，我们引入了有效的姿势引导器来指导角色的运动，并采用有效的时间建模方法来确保视频帧之间平滑的帧间过渡。

通过扩展训练数据，我们的方法可以对任意角色进行动画处理，与其他图像到视频方法相比，在角色动画方面产生更好的结果。此外，我们还根据时尚视频和人类舞蹈合成的基准评估了我们的方法，取得了最先进的结果。

来自阿里巴巴的研究人员

ChatGPT 黄建同学的微博视频

发布时间： 2023-12-03 07:33:19