Awesome-LLM-Robotics: 大语言模型在机器人领域的应用进展

Awesome-LLM-Robotics

Awesome-LLM-Robotics: 大语言模型在机器人领域的应用进展

近年来,大语言模型(Large Language Models, LLMs)在自然语言处理领域取得了突破性进展。随着研究的深入,学者们开始探索将LLMs应用于机器人和强化学习等领域,以增强机器人的认知和决策能力。本文将全面综述LLMs在机器人领域的最新应用进展,涵盖推理、规划、操作等多个方面。

推理能力的提升

大语言模型强大的语言理解和生成能力为机器人的推理能力带来了质的飞跃。例如,CLEAR系统通过提示工程实现了基于语言和视觉的快速机器人控制。MoMa-LLM利用语言模型构建动态场景图,实现了交互式物体搜索。AutoRT则提出了一种基于LLM的机器人代理大规模协调框架。这些工作表明,LLMs可以帮助机器人更好地理解环境、任务指令,并进行复杂的推理。

AutoRT系统架构图

规划能力的增强

在规划方面,LLMs展现出了强大的潜力。LLM-Personalize通过强化学习实现了LLM规划器与人类偏好的对齐。LLM3将LLM与任务和运动规划相结合,能够处理运动失败的情况。BTGenBot则利用轻量级LLM为机器人任务生成行为树。这些研究表明,LLMs可以帮助机器人制定更灵活、更鲁棒的行动计划。

操作技能的提升

在机器人操作方面,LLMs也发挥了重要作用。Plan-Seq-Learn利用LLM指导强化学习解决长期机器人任务。ManipVQA将机器人操作能力和物理约束信息注入多模态大语言模型。BOSS系统则在LLM指导下学习解决新任务的技能。这些工作展示了LLMs在提升机器人操作技能方面的巨大潜力。

Plan-Seq-Learn系统架构图

指令理解与导航

在指令理解和导航方面,LLMs同样带来了新的突破。Navid系统利用视频化的视觉语言模型规划视觉语言导航的下一步。OVSG提出了一种开放词汇的3D场景图方法,实现了上下文感知的实体定位。VLMaps则构建了视觉语言地图用于机器人导航。这些研究极大地增强了机器人理解自然语言指令和在复杂环境中导航的能力。