StyleAvatar3D 官方仓库

StyleAvatar3D：利用图像-文本扩散模型生成高保真3D头像

Chi Zhang、Yiwen Chen、Yijun Fu、Zhenglin Zhou、Gang YU、Billzb Wang、BIN FU、Tao Chen、Guosheng Lin、Chunhua Shen

[Arxiv]

新闻

我们计划在11月发布此项目的代码。

摘要

近期图像-文本扩散模型的进展激发了对大规模3D生成模型的研究兴趣。然而，多样化3D资源的有限可用性对学习提出了重大挑战。本文提出了一种生成高质量、具有风格化3D头像的新方法，该方法利用预训练的图像-文本扩散模型进行数据生成，并使用基于生成对抗网络（GAN）的3D生成网络进行训练。我们的方法利用图像-文本扩散模型提供的全面外观和几何先验来生成各种风格的头像多视图图像。在数据生成过程中，我们采用从现有3D模型中提取的姿势来指导多视图图像的生成。为解决数据中姿势和图像之间的不一致问题，我们研究了特定视图的提示词，并开发了一个用于GAN训练的粗到细的判别器。我们还深入研究了与属性相关的提示词，以增加生成头像的多样性。此外，我们在StyleGAN的风格空间中开发了一个潜在扩散模型，以实现基于图像输入生成头像。我们的方法在生成头像的视觉质量和多样性方面展现出优于当前最先进方法的性能。

<img src='https://yellow-cdn.veclightyear.com/835a84d5/a8299160-a84f-489a-bf5f-082eeb99bac5.png'>

演示

不同风格的头像

（视频演示）

潜在空间漫游

（视频演示）

卡通人物重建

<img src='https://yellow-cdn.veclightyear.com/835a84d5/6076faa1-7cb9-44c3-8b2a-3641f023e39c.png'>

（视频演示）

代码

将在未来更新 （由于公司政策，我们目前无法开源代码。如果您想重新实现该项目，我们愿意提供帮助和指导。请发送电子邮件给第一作者。）

引用

如果您想引用我们的工作，请使用以下引用条目：

@misc{zhang2023styleavatar3d,
      title={StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation}, 
      author={Chi Zhang and Yiwen Chen and Yijun Fu and Zhenglin Zhou and Gang YU and Billzb Wang and Bin Fu and Tao Chen and Guosheng Lin and Chunhua Shen},
      year={2023},
      eprint={2305.19012},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}