ImageDream重建

Peng Wang, Yichun Shi

项目页面 | 论文 | 演示

imagedream-threestudio-预告片

安装

此部分与原始MVDream-threestudio相同。如果您已经安装了环境，可以跳过此步骤。

快速开始

在./extern/ImageDream/release_models/下克隆Huggingface ImageDream模型页面上的模型卡。

在论文中，我们使用带软着色的配置。在大多数情况下，需要A100 GPU来计算法线：

export PYTHONPATH=$PYTHONPATH:./extern/ImageDream
image_file="./extern/ImageDream/assets/astronaut.png"
ckpt_file="./extern/ImageDream/release_models/ImageDream/sd-v2.1-base-4view-ipmv.pt"
cfg_file="./extern/ImageDream/imagedream/configs/sd_v2_base_ipmv.yaml"

python3 launch.py \
    --config configs/$method.yaml --train --gpu 0 \
    name="imagedream-sd21-shading" tag="astronaut" \
    system.prompt_processor.prompt="一名宇航员骑马" \
    system.prompt_processor.image_path="${image_file}" \
    system.guidance.ckpt_path="${ckpt_file}" \
    system.guidance.config_path="${cfg_file}"

仅用于扩散模型，请参考子目录 ./extern/ImageDream/ 查看 ./threestudio/scripts/run_imagedream.sh 获取bash示例。

致谢

• 本代码是从threestudio和MVDreamfork而来，用于SDS和3D生成。

提示

1. 将物体放在中心，不要在图像中使其过大或过小。
2. 如果您有一个物体切割图像边缘，在配置中，调整仰角和视场角的参数范围为更大范围，例如[0, 30]，否则，您可能需要进行图像外推并遵循提示1。
3. 在3D渲染中使用之前，先用ImageDream扩散模型检查结果，以节省时间。

预计算结果

• 由于扩散模型存在一些随机性，且获取基准结果耗时较长，我们将论文中表1的预计算结果放在了hugging face数据集卡片中，以便复现。

引用

如果您发现ImageDream有帮助，请考虑引用：

@article{wang2023imagedream,
  title={ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation},
  author={Wang, Peng and Shi, Yichun},
  journal={arXiv preprint arXiv:2312.02201},
  year={2023}
}