Agent-Driver

这是我们arXiv预印本Agent-Driver的代码仓库[项目主页]。

注意：运行Agent-Driver需要OpenAI API账号

简介

人类级别的驾驶是自动驾驶的终极目标。传统方法将自动驾驶formulate为感知-预测-规划框架，但他们的系统并未充分利用人类固有的推理能力和经验知识。本文提出了一种与当前管道完全不同的基本范式，利用大型语言模型(LLMs)作为认知代理，将人类智能集成到自动驾驶系统中。我们的方法称为Agent-Driver，通过引入可通过函数调用访问的多功能工具库、用于决策的常识和经验知识的认知记忆以及能够进行思维链推理、任务规划、运动规划和自我反思的推理引擎，从而改变了传统的自动驾驶pipeline。在LLMs的支持下，我们的Agent-Driver具备直观的常识和强大的推理能力，从而实现了更加细致入微、类似人类的自动驾驶方法。我们在大规模nuScenes基准测试集上评估了我们的方法，大量实验证实我们的Agent-Driver显著优于最先进的驾驶方法。我们的方法还表现出优越的可解释性和少样本学习能力。

替代文本

安装

a. 克隆此代码库。

git clone https://github.com/PointsCoder/Agent-Driver.git

b. 按如下方式安装依赖库：

pip install -r requirements.txt

数据准备

a. 我们使用了来自nuScenes数据集的预缓存数据。可以从Google Drive下载数据。

b. 你可以将下载的数据放在这里：

Agent-Driver
├── data
│   ├── finetune
|   |   |── data_samples_train.json
|   |   |── data_samples_val.json
│   ├── memory
|   |   |── database.pkl
│   ├── metrics
|   |   |── gt_traj.pkl
|   |   |── gt_traj_mask.pkl
|   |   |── stp3_gt_seg.pkl
|   |   |── uniad_gt_seg.pkl
│   ├── train
|   |   |── [token].pkl
|   |   |── ...
│   ├── val
|   |   |── [token].pkl
|   |   |── ...
│   ├── split.json
├── agentdriver
├── scripts

训练

a. 在开始之前，我们需要微调一个基于GPT的运动规划器（作为推理引擎的一部分）。为此，你首先需要注册一个OpenAI API账号。

b. 注册后，你可以在账户设置中生成你的API密钥和组织密钥。这里是一个例子：

openai.api_key = "sk-**"
openai.organization = "org-**"

c. 你需要在agentdriver/llm_core/api_keys.py中指定你自己的密钥，这将用于运行Agent-Driver。

请注意，这是你自己的密钥，会与你的账单支付关联，所以请保密，不要分享给他人！

d. 要微调运动规划器，只需运行

sh scripts/run_finetune.sh

这将自动收集数据并将微调任务发送给OpenAI。更多细节可以在agentdriver/execution/fine_tune.py中找到。

注意： 微调需要花费金钱。请参考价格页面。为了节省开支，默认情况下我们使用10%的完整训练数据进行微调，这样你可以花费不到10美元就能获得不错的结果。你可以通过使用100%的数据获得更好的结果，在这种情况下，你可能需要在agentdriver/execution/fine_tune.py中指定sample_ratio=1.0。

d. 当你的微调任务成功完成后，你将收到一封电子邮件，通知你微调后的GPT模型ID，如下所示

ft:gpt-3.5-turbo-0613:**::**

这个模型ID表示你自己的基于GPT的运动规划器。你需要在agentdriver/llm_core/api_keys.py的FINETUNE_PLANNER_NAME中指定这个模型ID。

推理

a. 一旦agentdriver/llm_core/api_keys.py中的所有密钥都正确设置，你可以在agentdriver/unit_test/test_lanuage_agent.ipynb中推理整个Agent-Driver pipeline。

b. 你还可以在agentdriver/unit_test文件夹中找到各个组件（工具库、认知记忆、推理引擎）的用法。

评估

a. 如果你想在nuScenes验证集上评估规划性能，你可以首先通过运行以下命令收集运动规划结果

sh scripts/run_inference.sh

你将在experiments文件夹中得到一个pred_trajs_dict.pkl。

b. 对于评估，你可以运行

sh scripts/run_evaluation.sh uniad YOUR_PRED_DICT_PATH

并指定你的pred_trajs_dict.pkl文件位置。

引用

如果你发现这个项目对你的研究有用，请考虑引用：

@article{agentdriver,
  title={A Language Agent for Autonomous Driving},
  author={Mao, Jiageng and Ye, Junjie and Qian, Yuxi and Pavone, Marco and Wang, Yue},
  year={2023}
}