BLIVA简介

BLIVA (Better handling of text-rich visual questions with LLM) 是由加州大学圣地亚哥分校和Coinbase Global Inc.共同开发的一个简单而强大的多模态大语言模型。它专门用于处理富文本视觉问题,在多个基准测试中都取得了优异的表现。

主要特点

• 简单高效的模型架构,基于BLIP-2改进而来
• 在文本丰富的视觉问答任务上表现出色
• 提供了Vicuna-7B和FLAN-T5 XXL两个版本的预训练权重
• 支持商业使用(FLAN-T5版本)

相关资源

📄 论文

• BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions

💻 代码仓库

• GitHub - mlpc-ucsd/BLIVA

⚖️ 模型权重

• BLIVA Vicuna版本
• BLIVA FLAN-T5版本 (可商用)

🎬 在线Demo

• Hugging Face Spaces - BLIVA Demo

📊 数据集

• YTTB-VQA Dataset

📚 其他资源

• 演示幻灯片
• 安装说明
• 推理和训练指南

快速上手

1. 安装BLIVA:

git clone https://github.com/mlpc-ucsd/BLIVA
cd BLIVA
pip install -e .

2. 下载模型权重并配置路径

3. 运行推理:

python evaluate.py --answer_qs \
        --model_name bliva_vicuna \
        --img_path images/example.jpg \
        --question "what is this image about?"

4. 本地运行Demo:

python demo.py

BLIVA为处理富文本视觉问题提供了一个简单而强大的解决方案。无论是研究人员还是开发者,都可以通过上述资源快速了解和使用BLIVA。希望这个汇总能帮助大家更好地探索BLIVA的潜力!