MultiPLY

<h1 align="center">MultiPLY：3D世界中的多感官物体中心化具身大语言模型</h1> <a href="https://evelinehong.github.io">洪怡宁</a>、郑子硕、 <a href="https://peihaochen.github.io">陈培豪</a>、 <a href="https://wangyian-me.github.io/">王一安</a>、 <a href="https://senfu.github.io/">李俊彦</a>、 <a href="https://people.csail.mit.edu/ganchuang">甘闯</a> <a href='https://arxiv.org/abs/2401.08577'> <img src='https://img.shields.io/badge/论文-PDF-red?style=flat&logo=arXiv&logoColor=red' alt='论文PDF'> </a> <a href='https://vis-www.cs.umass.edu/multiply/' style='padding-left: 0.5rem;'> <img src='https://img.shields.io/badge/项目-主页-blue?style=flat&logo=Google%20chrome&logoColor=blue' alt='项目主页'> </a> <img src="https://yellow-cdn.veclightyear.com/835a84d5/3b2dba78-3029-493d-abc9-a84b51e0554c.png" alt="Logo" width="80%">

MultiPLY是一个多感官具身大语言模型，能够主动与3D环境中的物体交互并动态收集其多感官信息。它能够将多感官交互数据（包括视觉、听觉、触觉和热感信息）整合到大语言模型中，从而建立单词、动作和感知之间的关联。

方法

我们首先将场景编码为抽象的以物体为中心的表示，而物体的多感官细节只有在代理执行动作并与之交互时才会揭示。我们设计了一组动作标记，表示代理与环境交互的动作。交互结果通过状态标记被附加回大语言模型。

要求

待完成

训练

我们使用FSDP训练。在不同的集群上可能会有所不同。以下是在训练集群上的一个示例：

RANDOM=$$
DIV=1000
OFFSET=24000
MASTER_PORT=$(($RANDOM%$DIV+$OFFSET))
export OMP_NUM_THREADS=1
export TOKENIZERS_PARALLELISM=true
NODE_RANK=${SLURM_PROCID}

SLURM=${SLURM_NODELIST:0:3}
ip=${SLURM}${SLURM_NODELIST:4:2}

# 运行训练脚本
NUM_GPUS_PER_NODE=${1:-8}
echo $NUM_GPUS_PER_NODE

NUM_NODES=${2:-1}
CMD="torchrun --nnodes=$NUM_NODES --nproc_per_node=$NUM_GPUS_PER_NODE --master_addr=$ip --node_rank=$NODE_RANK"

$CMD \
fsdp_train.py --folder retrieval_attention3 --num_epochs=1000

数据集整理

待完成

引用

@article{multiply,
 author = {Hong, Yining and Zheng, Zishuo and Chen, Peihao and Wang, Yian and Li, Junyan and Chen, Zhenfang and Gan, Chuang},
 title = {MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World},
 journal = {arXiv},
 year = {2024},
}