ChatSim

ChatSim 项目介绍

概述

ChatSim 项目旨在通过可编辑的场景模拟技术，推动自动驾驶技术的发展。该项目通过长语言模型（LLM）和智能代理的合作，提供灵活且高效的场景模拟解决方案。ChatSim 的核心在于其可编辑性和高效性，使得用户可以方便地创建和调试自动驾驶环境。

系统要求

要运行 ChatSim 项目，开发环境需要满足以下条件：

Ubuntu 20.04 或以上版本（用于 Blender 3.+）。
Python 3.8 或以上。
Pytorch 1.13 或以上。
CUDA 11.6 或更高版本。
虽然不必须，但 COLMAP 或 Metashape 软件可以用于姿态校正。
发布了 OpenAI API Key 可进行试用，也可选用 NVIDIA AI 的免费 API。

安装步骤

克隆项目仓库

首先，递归克隆 ChatSim 项目仓库：

git clone https://github.com/yifanlu0227/ChatSim.git --recursive

设置环境

创建并激活 Conda 环境：

conda create -n chatsim python=3.9 git-lfs
conda activate chatsim

安装背景渲染引擎

ChatSim 提供两种背景渲染方法，即 McNeRF 和 3D Gaussian Splatting。这两种方法各有优势，用户可以根据需求选择安装。
安装图像修补工具

为实现更真实的场景模拟，安装了视频和图像修补工具，实现对场景中的动态物体或缺失区域的修复。
安装 Blender 软件和实用程序

为了渲染和模拟3D场景，ChatSim 使用 Blender 3.5.1 及相关实用工具。用户需确保系统中已安装 Blender，并通过项目提供的脚本安装相关依赖。
设置轨迹跟踪模块

可选地，用户可以安装轨迹跟踪模块以获得平滑和更真实的运动轨迹。
安装 McLight（可选）

如果用户希望训练天空模型，可以根据项目提供的说明进行安装和训练。

数据准备

ChatSim 使用 Waymo 数据集来支持场景的生成和模拟。用户需要从 Waymo 的官方网站下载数据并进行预处理。此外，项目提供了校准数据和3D资源，以便更好地模拟现实场景。

项目使用

ChatSim 提供了灵活的配置文件和命令行工具，用户可以根据需要自定义场景模拟内容。例如，用户可以通过输入提醒语句，快速在场景中添加移动汽车等对象，并渲染生成效果。

未来计划

发布 arxiv 论文以补充项目背景。
继续改进运动轨迹跟踪模块以提高模拟精度。
增强多轮交互功能。

商业引用

如果您在学术研究中使用 ChatSim 项目，请使用以下引用格式：

@InProceedings{wei2024editable,
    title={Editable Scene Simulation for Autonomous Driving via Collaborative LLM-Agents}, 
    author={Yuxi Wei and Zi Wang and Yifan Lu and Chenxin Xu and Changxing Liu and Hao Zhao and Siheng Chen and Yanfeng Wang},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month={June},
    year={2024},
}

以上就是 ChatSim 项目的详细介绍。希望能够推动自动驾驶技术的进一步发展。