Text2Tex: 基于扩散模型的文本驱动纹理合成

简介

我们提出了Text2Tex，一种根据给定文本提示为3D网格生成高质量纹理的新方法。我们的方法将修复技术融入预训练的深度感知图像扩散模型中，从多个视角逐步合成高分辨率的局部纹理。为避免跨视图累积不一致和拉伸的伪影，我们动态地将渲染视图分割成生成掩码，表示每个可见纹素的生成状态。这种分区视图表示引导深度感知修复模型为相应区域生成和更新局部纹理。此外，我们提出了一种自动视图序列生成方案，以确定更新局部纹理的下一个最佳视图。大量实验表明，我们的方法显著优于现有的文本驱动方法和基于GAN的方法。

请查看项目网站此处。

更多详细信息，请参阅Text2Tex论文： "Text2Tex: 基于扩散模型的文本驱动纹理合成" 作者：Dave Zhenyu Chen、Yawar Siddiqui、 Hsin-Ying Lee、 Sergey Tulyakov和Matthias Nießner 来自慕尼黑工业大学和Snap Research。

设置

代码在安装了PyTorch 1.12.1 CUDA 11.3的Ubuntu 20.04 LTS上测试通过。请按以下步骤先安装PyTorch。要运行我们的方法，你至少需要一个具有12 GB RAM的NVIDIA GPU（NVIDIA GeForce 2080 Ti适用）。

# 创建并激活conda环境
conda create -n text2tex python=3.9.15
conda activate text2tex

# 安装PyTorch 1.12.1
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch

然后，安装PyTorch3D：

# 安装PyTorch3D的运行时依赖
conda install -c fvcore -c iopath -c conda-forge fvcore iopath
conda install -c bottler nvidiacub

# 安装PyTorch3D
conda install pytorch3d -c pytorch3d

安装xformers以加速transformers：

# 请不要使用pip安装，因为它只支持PyTorch>=2.0
conda install xformers -c xformers

安装requirements.txt中列出的必要包：

pip install -r requirements.txt

要使用ControlNet Depth2img模型，请从hugging face页面下载control_sd15_depth.pth，并将其放在models/ControlNet/models/下。

使用方法

尝试演示 / 健全性检查

为确保一切设置和配置正确，你可以运行以下脚本为背包生成纹理。

./bash/run.sh

生成和精炼应分别需要约500秒和360秒。合成完成后，你应该能在outputs/backpack/42-p36-h20-1.0-0.3-0.1下看到所有生成的资源。在MeshLab中加载最终网格outputs/backpack/42-p36-h20-1.0-0.3-0.1/update/mesh/19.obj，你应该能看到这个（或类似的东西）：

尝试你自己的网格

为获得最佳质量的纹理合成，在你自己的网格上运行我们的方法时，有一些必要的预处理步骤：

Y轴朝上。
网格应面向+Z方向。
网格边界框应与原点对齐（注意仅简单平均顶点坐标可能会有问题）。
网格边界框的最大长度应约为1。

我们提供了scripts/normalize_mesh.py和scripts/rotate_mesh.py来简化网格预处理。

~~如果你已经有一个标准化的网格但尚未参数化，请使用scripts/parameterize_mesh.py生成UV图。~~ 现在，由于xatlas，你不必自己参数化网格。

注意：我们期望网格是三角化的。

准备好进行下一步的网格应该看起来像这样：

然后，你可以通过以下方式生成自己的纹理：

python scripts/generate_texture.py \
    --input_dir <mesh路径> \
    --output_dir outputs/<运行名称> \
    --obj_name <mesh名称> \
    --obj_file <mesh名称>.obj \
    --prompt <你的提示> \
    --add_view_to_prompt \
    --ddim_steps 50 \
    --new_strength 1 \
    --update_strength 0.3 \
    --view_threshold 0.1 \
    --blend 0 \
    --dist 1 \
    --num_viewpoints 36 \
    --viewpoint_mode predefined \
    --use_principle \
    --update_steps 20 \
    --update_mode heuristic \
    --seed 42 \
    --post_process \
    --device 2080 \
    --use_objaverse # 假设网格已标准化，y轴朝上

如果你想要高分辨率纹理，可以将--device设置为a6000以获得3k分辨率。要调整其他参数，请查看scripts/generate_texture.py，或直接运行python scripts/generate_texture.py -h。

Objaverse子集基准测试

要为我们在论文中使用的Objaverse对象生成纹理，请运行以下脚本下载并预处理这些网格：

python scripts/download_objaverse_subset.py

所有预处理的网格将被下载到data/objaverse/。

引用

如果你觉得我们的工作有帮助，请引用以下论文：

@article{chen2023text2tex,
    title={Text2Tex: Text-driven Texture Synthesis via Diffusion Models},
    author={Chen, Dave Zhenyu and Siddiqui, Yawar and Lee, Hsin-Ying and Tulyakov, Sergey and Nie{\ss}ner, Matthias},
    journal={arXiv preprint arXiv:2303.11396},
    year={2023},
}