HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting

基于3D高斯的，看起来效果不错的文字生成3D人物模型的工具。

从文本提示生成逼真的3D人体是一项极具挑战性但又备受期待的任务。现有方法通过评分蒸馏采样（SDS）优化像网格或神经场这样的3D表示，但这种方法在细节处理不足或训练时间过长等方面存在问题。在本文中，我们提出了一个高效且有效的框架——HumanGaussian，它能生成具有精细几何形状和逼真外观的高质量3D人体。我们关键的洞察是，3D高斯喷射是一种有效率的渲染器，可以进行周期性地高斯收缩或增长，在此基础上自然引导由内在人体结构控制密度调整。具体来说：1) 我们首先提出了一种结构感知型SDS，同时优化人体外观和几何形状。利用RGB空间和深度空间得到多模态评分函数以指导高斯密集化和修剪过程；2) 此外, 我们设计了退火负向提示引导, 通过将SDS分解为更噪声般的生成评分与更清晰分类器评分, 很好地解决了饱和度过大问题. 在仅修剪阶段根据高斯大小进一步消除浮动伪影，以增强生成的平滑性。大量实验表明，我们的框架在效率和质量上都具有优势，能够在多种场景下渲染出生动的3D人体。

- Project: alvinliu0.github.io/projects/HumanGaussian
- Paper: 网页链接
- Code: github.com/alvinliu0/HumanGaussian
- Video: 人工智能艺术虚拟人 Simon的白日梦的微博视频

发布时间： 2023-12-10 11:29:46