SAX-NeRF

SAX-NeRF 项目介绍

项目概述

SAX-NeRF 是一个专注于稀疏视角 X 光 3D 重建的工具箱与库，项目集成了两大核心任务：新视角合成（Novel View Synthesis，简称 NVS）和计算机断层扫描（Computed Tomography，简称 CT）重建。这个工具箱内置了11种最先进的方法，包括六种基于 NeRF 的方法、两种基于 3DGS 的方法、两种基于优化的方法以及一种基于解析的方法。此外，还提供了精美的可视化代码（如转台视频）和数据生成工具，助力研究人员进行深入研究。

性能展示

新视角合成

新视角合成模块支持多种最先进的算法，可以高效生成新的三维视角效果。

CT 重建

CT 重建部分集合了多种经典与现代算法，提升低剂量 X 光 CT 的重建精度和效率。

支持的算法

目前工具箱支持多种算法，包括但不限于：

SAX-NeRF
X-Gaussian
R2-Gaussian
TensoRF
NAF
NeAT
NeRF
InTomo

坐标系统

工具箱遵循 OpenCV 标准的圆锥束 X 光扫描坐标系统，准确转换摄像机、世界和图像坐标系。

使用说明

环境创建

推荐使用 Conda 安装开发环境，确保安装所需的包和工具。

conda create -n sax_nerf python=3.9
conda activate sax_nerf
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0
pip install -r requirements.txt

TIGRE 工具箱安装

TIGRE 工具箱可用于执行传统 CT 重建方法并合成 CT 数据。

wget https://github.com/CERN/TIGRE/archive/refs/tags/v2.3.zip
unzip v2.3.zip
cd TIGRE-2.3/Python/
python setup.py develop

数据集准备

从谷歌云盘或百度网盘下载已处理的数据集，并将其放入 data/ 文件夹中。

测试与训练

下载预训练模型并进行测试或训练，以强化对各种场景的调试。

# SAX-NeRF
python test.py --method Lineformer --category chest --config config/Lineformer/chest_50.yaml --weights pretrained/chest.tar --output_path output

可视化与数据生成

提供用于渲染演示的可视化代码，以及生成自有数据的数据生成代码，帮助用户实现个性化的数据分析与可视化。

引用

如项目对您的研究有帮助，请引用相关论文：

# SAX-NeRF
@inproceedings{sax_nerf,
  title={Structure-Aware Sparse-View X-ray 3D Reconstruction},
  author={Yuanhao Cai et al.},
  booktitle={CVPR},
  year={2024}
}

SAX-NeRF 项目为研究社区提供了一个功能强大的平台，帮助解决稀疏视角下 X 光 3D 重建的挑战，推动相关领域的技术进步。