250美元机器人手臂的模仿学习

本仓库包含了Action Chunking Transformer的重新改编版本，适用于这种低成本机器人设计(250美元)。

我们分享这个仓库是为了让任何人(包括非专业人士)都能在进行几次遥操作演示后训练机器人策略。

视频中的分类任务是在RTX 3080上通过不到30次演示进行训练的，耗时不到30分钟。

https://github.com/Shaka-Labs/ACT/assets/45405956/83c05915-7442-49a4-905a-273fe35e84ee

AI训练

设置

创建conda环境

conda create --name act python=3.9
conda activate act

安装torch(以下是我们使用的版本供参考)

conda install pytorch==1.13.1 torchvision==0.14.1

现在你可以安装所需的依赖:

pip install -r requirements.txt

在config/config.py中找到TASK_CONFIG，更改连接主从机器人到你电脑的端口路径。

在通过遥操作收集数据时，你还需要将摄像头连接到电脑并对准机器人。你可以在配置中更改摄像头端口(默认设置为0)。重要的是摄像头不要移动，否则策略评估可能会失败。

数据收集

要收集数据，只需运行:

python record_episodes.py --task sort

你可以定义正在执行的任务名称，对应的事件将被存储在data/<task>中。你还可以在运行脚本时通过传递参数--num_episodes 1来选择要收集的事件数量(默认设置为1)。熟悉后你可以轻松连续完成20个任务。

打开电脑音量——当你听到"Go"时开始记录每个事件的数据，听到"Stop"时停止。

训练策略

我们稍微重新调整了Action Chunking Transformer以适应我们的设置。要开始训练，只需运行:

python train.py --task sort

策略将被保存在checkpoints/<task>中。

评估策略

确保保持与收集数据时相同的设置。要评估策略，只需运行:

python evaluate.py --task sort