3D技术推动力

在数字化时代，3D技术正日益成为虚拟现实、游戏设计和电影制作等行业的重要推动力。

近期，来自北京大学的研究团队开发出了名为**“HoloDreamer”的全新技术框架，这一突破性的技术能够通过文本描述直接生成具有高视觉一致性的全景3D场景**，为各行各业带来前所未有的便利和创新可能。

扫码加入AI交流群

获得更多技术支持和交流

（请注明自己的职业）

项目简介

让我们先来看一下HoloDreamer对于室内场景和室外场景的全景3D生成的效果。

可以看到不论是室内还是室外场景，HoloDreamer都能生成非常详细、效果也非常不错的3D全景图，那么HoloDreamer是怎么实现这么突破性的3D生成的效果的呢。

HoloDreamer利用先进的3D高斯涂抹技术，通过文本到图像的扩散模型来初始化并迭代生成全景图像。

也就是说，如果想生成全景3D场景不需要再去一张张的上传图片，只需要上传一张图片再加一段文字描述就可以生成全景3D。

这种方法不仅提高了场景的生成效率，还能确保生成的3D场景在视觉上的一致性和完整性。

具体来说，HoloDreamer首先创建一个高清晰度的全景图作为3D场景的整体基础，然后利用3D高斯涂抹技术快速重建整个三维场景，保证了场景的视觉连贯性和封闭性。

相比传统的3D场景生成技术，HoloDreamer具有多项显著优势。首先，该技术能够从复杂的文本提示中直接生成风格化且细致的全景图，大大降低了3D模型创建的门槛。

通过对比我们也可以看到，我们的方法显著增强了补充视图下渲染图像的质量，有效地提高了重建场景的渲染鲁棒性。

其次，通过结合多个扩散模型，HoloDreamer能够在保持几何特征的基础上实现风格迁移和细节增强，使生成的全景不仅细节丰富，还具有良好的美学效果。

北大团队分别采用了两种图像美学评估质量的方法metrics, TANet和CLIP-aesthetic，定量比较全景图像和立方体图图像的美学质量。

可以看到该团队的方法在两种形式的图像上都获得了更高的美学质量分数，这表明该技术的方法在视觉效果方面优于基线。

增强的两阶段全景重建过程进一步优化了3D场景的完整性和渲染稳健性，使其在多视角下都能保持高质量的视觉表现。

应用前景

HoloDreamer的出现为多个行业提供了新的发展机遇。

就如最近很火的Vision Pro如果应用了该技术可以用于创建更加真实和沉浸式的虚拟环境。

在游戏设计、电影制作中，它能够帮助开发者快速构建复杂的3D场景，提升视觉效果的同时也能减少后期制作的时间和成本。

此外，随着技术的进一步发展，HoloDreamer也有望应用于城市规划、室内设计等更多领域，能够极大地提升工作效率。

项目链接：

https://github.com/zhouhyOcean/HoloDreamer

论文链接：

https://arxiv.org/pdf/2407.15187

关注「向量光年」公众号

加速全行业向AI的改变