HAC: 基于哈希网格辅助的3D高斯散射压缩技术

HAC: 革新3D高斯散射压缩技术

在计算机图形学和计算机视觉领域,3D高斯散射(3DGS)作为一种新兴的3D场景表示方法,正受到越来越多的关注。然而,3DGS模型通常需要大量的存储空间,这限制了其在实际应用中的广泛使用。为了解决这一问题,来自上海交通大学、莫纳什大学等机构的研究人员提出了一种创新的压缩方法 - HAC(Hash-grid Assisted Context for 3D Gaussian Splatting Compression)。

HAC的核心思想

HAC的核心思想是利用二进制哈希网格来建立连续的空间一致性,从而揭示3DGS模型中锚点的内在空间关系。这种方法不仅能够显著减少模型的存储空间,还能保持较高的重建质量。

HAC工作原理图

如上图所示,HAC的工作流程主要包括以下几个步骤:

引入二进制哈希网格,用于建立空间一致性。
设计精心的上下文模型,揭示锚点的内在空间关系。
使用高斯分布来准确估计每个量化属性的概率,以便进行熵编码。
提出自适应量化模块,实现属性的高精度量化,提高重建保真度。
采用自适应掩蔽策略,消除无效的高斯和锚点。

HAC是首个探索基于上下文的3DGS表示压缩方法,实现了显著的尺寸缩减。

HAC的性能表现

研究团队在多个数据集上对HAC进行了广泛的实验和评估。结果表明,HAC在压缩效率和重建质量之间取得了出色的平衡。

HAC性能对比图

如上图所示,HAC在不同的比特率下都能保持较高的PSNR(峰值信噪比)值,这意味着它在大幅减小模型尺寸的同时,仍能保持良好的重建质量。与其他方法相比,HAC在低比特率下的表现尤为突出,这对于资源受限的应用场景非常有利。

HAC的应用与实现

HAC的应用前景广阔,可以用于多种需要高效3D场景表示的领域,如:

虚拟现实(VR)和增强现实(AR)
3D建模与动画
机器人视觉导航
自动驾驶场景理解

为了方便研究人员和开发者使用HAC,研究团队已经将其实现开源。您可以在HAC的GitHub仓库中找到完整的代码和使用说明。

安装与使用

要使用HAC,您需要按照以下步骤进行安装和配置:

克隆HAC仓库:

git clone https://github.com/YihangChen-ee/HAC.git
cd HAC

解压子模块文件:

cd submodules
unzip diff-gaussian-rasterization.zip
unzip gridencoder.zip
unzip simple-knn.zip
cd ..

创建并激活conda环境:

conda env create --file environment.yml
conda activate HAC_env

准备数据集:
- 公开数据集:可以使用BungeeNeRF、MipNeRF360等数据集
- 自定义数据:需要使用Colmap处理图像序列,获取SfM点和相机姿态
运行训练脚本:
- 根据不同的数据集,使用相应的训练脚本,如run_shell_tnt.py、run_shell_mip360.py等
- 训练过程会自动完成:训练、编码、解码和测试

HAC的未来发展

尽管HAC已经取得了令人瞩目的成果,但研究团队表示,这项技术仍有进一步改进的空间。未来的研究方向可能包括:

进一步优化压缩算法,以实现更高的压缩率
改进重建质量,特别是在极低比特率下的表现
探索HAC在动态3D场景中的应用
研究如何结合其他先进的机器学习技术,如神经网络,来增强HAC的性能

结语

HAC作为一种创新的3D高斯散射压缩技术,为解决3DGS模型存储问题提供了一个有效的解决方案。它不仅在学术界引起了广泛关注,也为计算机图形学和计算机视觉领域的实际应用带来了新的可能性。随着技术的不断发展和完善,我们可以期待HAC在未来会有更广泛的应用,为3D场景表示和压缩领域带来更多突破。

如果您对HAC感兴趣,欢迎访问项目主页了解更多详情,或者直接查看GitHub仓库获取源代码和使用指南。让我们一起期待HAC在3D场景压缩领域带来的更多惊喜!

📌 引用信息: 如果您在研究中使用了HAC,请考虑引用以下论文:

@inproceedings{hac2024,
  title={HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression},
  author={Chen, Yihang and Wu, Qianyi and Lin, Weiyao and Harandi, Mehrtash and Cai, Jianfei},
  booktitle={European Conference on Computer Vision},
  year={2024}
}