Awesome-LLM-Robotics

本仓库包含了一份精选的使用大型语言/多模态模型进行机器人/强化学习研究的论文清单。模板来自awesome-Implicit-NeRF-Robotics <br>

欢迎通过拉取请求或电子邮件向我发送论文补充！<br>

如果您觉得这个仓库有用，请考虑引用并为其加星。欢迎与他人分享此列表！

概述

综述
推理
规划
操作
指令和导航
仿真框架
引用

综述

"自动驾驶中使用大型语言模型的超对齐框架"，arXiv, 2024年6月，[论文]
"体现人工智能的神经缩放定律"，arXiv, 2024年5月。[论文]
"面向通用机器人的基础模型：综述与元分析"，arXiv, 2023年12月。[论文] [论文列表] [网站]
"基于语言条件的机器人操作学习：综述"，arXiv, 2023年12月，[论文]
"机器人领域的基础模型：应用、挑战和未来"，arXiv, 2023年12月，[论文] [论文列表]
"基础模型时代的机器人学习：综述"，arXiv, 2023年11月，[论文]
"大型语言模型在体现导航中的发展"，arXiv, 2023年11月，[论文]

推理

CLEAR: "语言、相机、自主性！基于提示工程的机器人控制，用于快速演变的部署"，ACM/IEEE人机交互国际会议（HRI），2024年3月。[论文] [代码]
MoMa-LLM: "基于语言的动态场景图用于移动操作的交互式物体搜索"，arXiv, 2024年3月。[论文] [代码] [网站]
AutoRT: "用于大规模机器人代理编排的体现基础模型"，arXiv, 2024年1月。[论文] [网站]
LEO: "3D世界中的体现通用智能体"，arXiv, 2023年11月。[论文] [代码] [网站]
Robogen: "一个能不断提出并掌握新技能的生成式自导向机器人智能体"，arXiv, 2023年11月。[论文] [代码] [网站]
SayPlan: "利用3D场景图接地大型语言模型，实现可扩展的机器人任务规划"，机器人学习会议（CoRL），2023年11月。[论文] [网站]
[LLaRP] "大型语言模型作为体现任务的通用策略"，arXiv, 2023年10月。[论文] [网站]
[RT-X] "开放X-体现：机器人学习数据集和RT-X模型"，arXiv, 2023年7月。[论文] [网站]
[RT-2] "RT-2：视觉-语言-动作模型将网络知识转化为机器人控制"，arXiv, 2023年7月。[论文] [网站]
Instruct2Act: "利用大型语言模型将多模态指令映射到机器人动作"，arXiv, 2023年5月。[论文] [Pytorch代码]
TidyBot: "使用大型语言模型的个性化机器人助手"， arXiv, 2023年5月。[论文] [Pytorch代码] [网站]
生成式智能体: "生成式智能体：人类行为的交互式模拟"，arXiv, 2023年4月。[论文代码]
Matcha: "与环境对话：使用大型语言模型的交互式多模态感知"，IROS, 2023年3月。[论文] [Github] [网站]
PaLM-E: "PaLM-E：一个体现的多模态语言模型"，arXiv, 2023年3月，[论文] [网页]
"大型语言模型作为人机交互的零样本人类模型"，arXiv, 2023年3月。[论文]
CortexBench "我们在寻找体现智能的人工视觉皮层方面处于何种地位？" arXiv, 2023年3月。[论文]
"使用大型语言模型将自然语言转化为规划目标"，arXiv, 2023年2月。[论文]
RT-1: "RT-1：用于大规模真实世界控制的机器人变换器"，arXiv, 2022年12月。[论文] [GitHub] [网站]
"使用预训练大型语言模型进行PDDL规划"，NeurIPS, 2022年10月。[论文] [Github]
ProgPrompt: "使用大型语言模型生成情境化机器人任务计划"，arXiv, 2022年9月。[论文] [Github] [网站]
代码即策略: "代码即策略：用于体现控制的语言模型程序"，arXiv, 2022年9月。[论文] [Colab] [网站]
PIGLeT："PIGLeT：通过3D世界中的神经符号交互进行语言接地"，ACL，2021年6月。[论文] [Pytorch代码] [网站]
Say-Can："做我能做的，而非我说的：将语言接地到机器人能力中"，arXiv，2021年4月。[论文] [Colab] [网站]
Socratic："苏格拉底模型：用语言组合零样本多模态推理"，arXiv，2021年4月。[论文] [Pytorch代码] [网站]

规划

"移动机器人中的具身人工智能：使用大型语言模型进行覆盖路径规划"，arXiV，2024年7月，[论文]
LLM-Personalize："LLM-Personalize：通过强化自训练将LLM规划器与人类偏好对齐，用于家政机器人"，arXiv，2024年4月。[论文] [网站] [代码]
LLM3："LLM3：基于大型语言模型的任务和动作规划，包含运动失败推理"，IROS，2024年3月。[论文][代码]
BTGenBot："BTGenBot：使用轻量级LLM为机器人任务生成行为树"，arXiv，2024年3月。[论文][Github]
Attentive Support："帮还是不帮：基于LLM的人机群体交互注意力支持"，arXiv，2024年3月。[论文] [网站][代码]
Beyond Text："超越文本：通过语音提示改进LLM在机器人导航中的决策"，arxiv，2024年2月。[论文]
SayCanPay："SayCanPay：使用可学习领域知识的大型语言模型启发式规划"，AAAI 2024年1月，[论文] [代码] [网站]
ViLa："三思而后行：揭示GPT-4V在机器人视觉语言规划中的力量"，arXiv，2023年9月，[论文] [网站]
CoPAL："使用大型语言模型对机器人动作进行纠正性规划"，ICRA，2023年10月。[论文] [网站][代码]
LGMCTS："LGMCTS：语言引导的蒙特卡洛树搜索用于可执行语义物体重排"，arXiv，2023年9月。[论文]
Prompt2Walk："用大型语言模型提示机器人行走"，arXiv，2023年9月，[论文] [网站]
DoReMi："通过检测和恢复计划执行不一致来接地语言模型"，arXiv，2023年7月，[论文] [网站]
Co-LLM-Agents："使用大型语言模型模块化构建合作性具身代理"，arXiv，2023年7月。[论文] [代码] [网站]
LLM-Reward："从语言到奖励的机器人技能合成"，arXiv，2023年6月。[论文] [网站]
LLM-BRAIn："LLM-BRAIn：基于大型语言模型的机器人行为树AI驱动快速生成"，arXiv，2023年5月。[论文]
GLAM："在交互环境中通过在线强化学习接地大型语言模型"，arXiv，2023年5月。[论文] [Pytorch代码]
LLM-MCTS："大型语言模型作为大规模任务规划的常识知识"，arXiv，2023年5月。[论文]
AlphaBlock："AlphaBlock：机器人操作中视觉语言推理的具身微调"，arxiv，2023年5月。[论文]
LLM+P："LLM+P：赋予大型语言模型最优规划能力"，arXiv，2023年4月，[论文] [代码]
ChatGPT-Prompts："ChatGPT赋能的长步机器人控制在各种环境中：案例应用"，arXiv，2023年4月，[论文] [代码/提示]
ReAct："ReAct：协同语言模型中的推理和行动"，ICLR，2023年4月。[论文] [Github] [网站]
LLM-Brain："LLM作为机器人大脑：统一自我中心记忆和控制"，arXiv，2023年4月。[论文]
"决策的基础模型：问题、方法和机遇"，arXiv，2023年3月，[论文]
LLM-planner："LLM-Planner：使用大型语言模型进行具身代理的少样本接地规划"，arXiv，2023年3月。[论文] [Pytorch代码] [网站]
Text2Motion："Text2Motion：从自然语言指令到可行计划"，arXiV，2023年3月，[论文] [网站]
GD："接地解码：用接地模型指导文本生成以控制机器人"，arXiv，2023年3月。[论文] [网站]
PromptCraft："机器人领域的ChatGPT：设计原则和模型能力"，博客，2023年2月，[论文] [网站]
"使用语言模型进行奖励设计"，ICML，2023年2月。[论文] [Pytorch代码]
"通过纠正性重新提示进行大型语言模型规划"，arXiv，2022年11月。[论文]
不要复制老师："不要复制老师：实体对话中的数据和模型挑战"，EMNLP，2022年10月。[论文] [网站]
COWP："开放世界中的机器人任务规划和情况处理"，arXiv，2022年10月。[论文] [Pytorch代码] [网站]
LM-Nav："使用语言、视觉和动作的大型预训练模型进行机器人导航"，arXiv，2022年7月。[论文] [Pytorch代码] [网站]
InnerMonlogue："内心独白：通过语言模型规划进行实体推理"，arXiv，2022年7月。[论文] [网站]
Housekeep："Housekeep：使用常识推理整理虚拟家庭"，arXiv，2022年5月。[论文] [Pytorch代码] [网站]
FILM："FILM：使用模块化方法遵循语言指令"，ICLR，2022年4月。[论文] [代码] [网站]
MOO："使用预训练视觉语言模型进行开放世界对象操作"，arXiv，2022年3月。[论文] [网站]
LID："用于交互式决策的预训练语言模型"，arXiv，2022年2月。[论文] [Pytorch代码] [网站]
"与语言模型协作进行实体推理"，NeurIPS，2022年2月。[论文]
ZSP："语言模型作为零样本规划器：为实体代理提取可执行知识"，ICML，2022年1月。[论文] [Pytorch代码] [网站]
CALM："保持CALM并探索：用于文本游戏中动作生成的语言模型"，arXiv，2020年10月。[论文] [Pytorch代码]
"无视觉的视觉引导规划：语言模型从高级指令推断详细计划"，arXiV，2020年10月，[论文]

操作

Plan-Seq-Learn："Plan-Seq-Learn：语言模型引导的强化学习解决长期机器人任务"，ICLR，2024年5月。[论文]，[PyTorch代码] [网站]
ManipVQA："ManipVQA：将机器人可操作性和物理基础信息注入多模态大型语言模型"，arXiv，2024年3月，[论文] [PyTorch代码]
BOSS："自我引导技能：在LLM指导下学习解决新任务"，CoRL，2023年11月。[论文] [网站]
Octopus："章鱼：从环境反馈中的实体视觉语言程序员"，arXiv，2023年10月，[论文] [PyTorch代码] [网站]
[Text2Reward] "Text2Reward：强化学习的自动密集奖励函数生成"，arXiv，2023年9月，[论文] [网站]
PhysObjects："用于机器人操作的物理基础视觉语言模型"，arxiv，2023年9月。[论文]
[VoxPoser] "VoxPoser：用于语言模型机器人操作的可组合3D价值图"，arXiv，2023年7月，[论文] [网站]
Scalingup："扩展和提炼：语言引导的机器人技能获取"，arXiv，2023年7月。[论文] [代码] [网站]
VoxPoser："VoxPoser：用于语言模型机器人操作的可组合3D价值图"，arXiv，2023年7月。[论文] [网站]
LIV："LIV：用于机器人控制的语言图像表示和奖励"，arXiv，2023年6月，[论文] [Pytorch代码] [网站]
"语言指导的强化学习用于人机协作"，arXiv，2023年6月。[论文]
RoboCat："RoboCat：一个自我改进的机器人代理"，arxiv，2023年6月。[论文/PDF] [网站]
SPRINT："SPRINT：通过语言指令重新标记进行语义策略预训练"，arxiv，2023年6月。[论文] [网站]
Grasp Anything："为抓取任何物体铺平道路：转移基础模型以实现通用拾取放置机器人"，arxiv，2023年6月。[论文]
LLM-GROP："使用大型语言模型进行对象重排的任务和运动规划"，arXiv，2023年5月。[论文] [网站]
VOYAGER："VOYAGER：具有大型语言模型的开放式实体代理"，arXiv，2023年5月。[论文] [Pytorch代码] [网站]
TIP："通过双重文本-图像提示进行多模态程序规划"，arXiV，2023年5月，[论文]
ProgramPort："以编程方式基础、可组合地泛化的机器人操作"，ICLR，2023年4月，[论文] [网站]
VLaMP：《作为人类助手的视觉规划器的预训练语言模型》，arXiv，2023年4月，[论文]
《迈向基于基础模型的统一智能体》，ICLR，2023年4月。[论文]
CoTPC：《思维链预测控制》，arXiv，2023年4月，[论文] [代码]
Plan4MC：《Plan4MC：开放世界Minecraft任务的技能强化学习与规划》，arXiv，2023年3月。[论文] [Pytorch代码] [网站]
ELLM：《利用大型语言模型指导强化学习中的预训练》，arXiv，2023年2月。[论文]
DEPS：《描述、解释、规划和选择：利用大型语言模型进行交互式规划，实现开放世界多任务智能体》，arXiv，2023年2月。[论文] [Pytorch代码]
LILAC：《不，向右 - 通过共享自主权实现机器人操作的在线语言纠正》，arXiv，2023年1月，[论文] [Pytorch代码]
DIAL：《通过视觉语言模型的指令增强实现机器人技能获取》，arXiv，2022年11月，[论文] [网站]
Gato：《通用智能体》，TMLR，2022年11月。[论文/PDF] [网站]
NLMap：《用于现实世界规划的开放词汇可查询场景表示》，arXiv，2022年9月，[论文] [网站]
R3M：《R3M：用于机器人操作的通用视觉表示》，arXiv，2022年11月，[论文] [Pytorch代码] [网站]
CLIP-Fields：《CLIP-Fields：用于机器人记忆的弱监督语义场》，arXiv，2022年10月，[论文] [PyTorch代码] [网站]
VIMA：《VIMA：基于多模态提示的通用机器人操作》，arXiv，2022年10月，[论文] [Pytorch代码] [网站]
Perceiver-Actor：《用于机器人操作的多任务Transformer》，CoRL，2022年9月。[论文] [Pytorch代码] [网站]
LaTTe：《LaTTe：语言轨迹转换器》，arXiv，2022年8月。[论文] [TensorFlow代码] [网站]
机器人体现恶性刻板印象：《机器人体现恶性刻板印象》，FAccT，2022年6月。[论文] [Pytorch代码] [网站] [华盛顿邮报] [连线]（代码访问需申请）
ATLA：《利用语言加速学习工具操作》，CoRL，2022年6月。[论文]
ZeST：《基础模型能否执行零样本任务规范用于机器人操作？》，L4DC，2022年4月。[论文]
LSE-NGU：《基于语言抽象和预训练表示的语义探索》，arXiv，2022年4月。[论文]
MetaMorph：《METAMORPH：利用TRANSFORMER学习通用控制器》，arxiv，2022年3月。[论文]
Embodied-CLIP：《简单而有效：用于具身AI的CLIP嵌入》，CVPR，2021年11月。[论文] [Pytorch代码]
CLIPort：《CLIPort：机器人操作的What和Where路径》，CoRL，2021年9月。[论文] [Pytorch代码] [网站]

指令和导航

Navid：《NaVid：基于视频的VLM为视觉语言导航规划下一步》，arxiv，2024年3月 [论文] [网站]
OVSG：《利用开放词汇3D场景图进行上下文感知实体定位》，CoRL，2023年11月。[论文] [代码] [网站]
VLMaps：《用于机器人导航的视觉语言地图》，arXiv，2023年3月。[论文] [Pytorch代码] [网站]
《交互式语言：实时与机器人对话》，arXiv，2022年10月 [论文] [网站]
NLMap：《用于现实世界规划的开放词汇可查询场景表示》，arXiv，2022年9月，[论文] [网站]
ADAPT：《ADAPT：具有模态对齐动作提示的视觉语言导航》，CVPR，2022年5月。[论文]
《预训练视觉模型在控制中的意料之中的有效性》，ICML，2022年3月。[论文] [Pytorch代码] [网站]
CoW：《轮子上的CLIP：将零样本物体导航作为物体定位和探索》，arXiv，2022年3月。[论文]
循环VLN-BERT：《用于导航的循环视觉语言BERT》，CVPR，2021年6月 [论文] [Pytorch代码]
VLN-BERT："利用网络图文对改进视觉语言导航"，ECCV，2020年4月 [论文] [Pytorch代码]

仿真框架

GENESIS："通用机器人和具身人工智能学习的生成世界"，arXiv，2023年11月。[代码]
ARNOLD："ARNOLD：真实3D场景中连续状态语言引导任务学习的基准"，ICCV，2023年4月。[论文] [代码] [网站]
OmniGibson："OmniGibson：基于NVIDIA Omniverse引擎加速具身人工智能研究的平台"。第六届机器人学习年会，2022年。[论文] [代码]
MineDojo："MineDojo：利用互联网规模知识构建开放式具身智能体"，arXiv，2022年6月。[论文] [代码] [网站] [开放数据库]
Habitat 2.0："Habitat 2.0：训练家庭助手重新布置其栖息地"，NeurIPS，2021年12月。[论文] [代码] [网站]
BEHAVIOR："BEHAVIOR：虚拟、交互和生态环境中日常家庭活动的基准"，CoRL，2021年11月。[论文] [代码] [网站]
iGibson 1.0："iGibson 1.0：大型真实场景中交互任务的仿真环境"，IROS，2021年9月。[论文] [代码] [网站]
ALFRED："ALFRED：解释日常任务基于场景的指令的基准"，CVPR，2020年6月。[论文] [代码] [网站]
BabyAI："BabyAI：研究基于场景的语言学习样本效率的平台"，ICLR，2019年5月。[论文] [代码]

安全性、风险、红队测试和对抗性测试

大语言模型驱动的机器人存在实施歧视、暴力和非法行为的风险：arXiv，2024年6月。[论文]
突出在机器人领域部署大语言模型/视觉语言模型的安全隐患：arXiv，2024年2月。[论文]
机器人体现恶性刻板印象：FAccT，2022年6月。[arXiv] [DOI] [代码] [网站]

引用

如果您觉得这个仓库有用，请考虑引用这个列表：

@misc{kira2022llmroboticspaperslist,
    title = {Awesome-LLM-Robotics},
    author = {Zsolt Kira},
    journal = {GitHub repository},
    url = {https://github.com/GT-RIPL/Awesome-LLM-Robotics},
    year = {2022},
}