LISA

LISA 项目介绍

项目概述

LISA，全称为“大语言模型指导的分割助手”（Large Language Instructed Segmentation Assistant），是一个创新的项目，它利用多模态的大语言模型（LLM）进行复杂的图像分割和推理。LISA的核心任务是“推理分割”，即在给定复杂和隐晦的查询文本时，输出对应的分割掩码（segmentation mask）。

背景与意义

LISA项目的独特之处在于结合了大语言模型的语言生成能力与图像分割能力。通过构建一个包含数千对图像与指令的基准数据集，LISA能够处理涉及复杂推理、世界知识、解释性答案以及多轮对话的情景。此外，LISA即使在仅由无推理数据集训练时，也表现出很强的零样本能力，其性能在经过少量推理分割图像-指令对进行微调后进一步提升。

项目亮点

多模态大语言模型能力：通过多模态LLM的能力，LISA能够解决复杂推理任务。
世界知识与解释性回答：不仅能执行简单分割，还能结合世界知识，给出解释性的回答。
零样本能力：模型仅需少量的训练数据即可在推理分割任务中表现优异。

实验结果

在实验中，LISA展示了卓越的性能，尤其是在推理任务的精确性上，超过了许多现有的基准模型。

数据集

为支持LISA的训练和评估，项目收集了一个名为ReasonSeg的数据集，包含1218张图像（其中239张用于训练，200张用于验证，779张用于测试）。每张图像均配有包含文本指令和目标多边形的标注文件，用于指引分割任务。

部署方法

LISA可以通过以下方式进行部署：

支持本地和在线部署。
可选择不同精度（如bf16、fp16、8bit或4bit）进行推理，以适应不同的计算资源环境。

总结

LISA项目通过结合大语言模型和图像分割技术，展示了在多模态AI应用中的巨大潜力。它不仅推动了计算机视觉中的分割技术发展，也为未来利用AI进行复杂推理提供了新的思路。

如果您对这个项目感兴趣或在研究中有所启发，请参考以下引用格式进行学术引用：

@article{lai2023lisa,
  title={LISA: Reasoning Segmentation via Large Language Model},
  author={Lai, Xin and Tian, Zhuotao and Chen, Yukang and Li, Yanwei and Yuan, Yuhui and Liu, Shu and Jia, Jiaya},
  journal={arXiv preprint arXiv:2308.00692},
  year={2023}
}

感谢LLaVA和SAM项目对本项目的支持与启发。