RLHF-V: 通过细粒度纠正性人类反馈对齐多模态大语言模型行为

RLHF-V: 通过细粒度人类反馈提升多模态大语言模型的可信度

多模态大语言模型(MLLMs)在理解和生成跨模态内容方面展现出了巨大潜力,但同时也面临着严重的幻觉问题。为了解决这一挑战,清华大学和新加坡国立大学的研究团队提出了RLHF-V框架,通过细粒度的纠正性人类反馈来对齐MLLMs的行为,显著提升了模型的可信度。

RLHF-V的核心思想

RLHF-V的核心在于收集细粒度的纠正性人类反馈数据。研究人员要求人类标注者对模型回答中的幻觉片段进行修正,这种方法能够更好地识别和奖励理想的行为。得益于这种高效的数据利用方式,RLHF-V只需在8张A100 GPU上训练1小时,就能将基础模型的幻觉率降低34.8%。

数据集与模型权重

RLHF-V团队公开了名为RLHF-V-Dataset的人类偏好数据集。该数据集包含1.4k条经过细粒度人工修正的标注数据,涵盖了各种详细描述指令和问答指令。此外,团队还在Hugging Face上发布了RLHF-V的模型权重。

安装与评估

RLHF-V的安装过程相对简单,主要依赖于Muffin框架。研究者需要首先安装Muffin,然后准备训练和评估环境。RLHF-V提供了多个评估脚本,包括LLaVA Bench、Object HalBench和MMHal Bench,以全面测试模型性能。

RLHF-V训练过程

RLHF-V的训练过程包括以下几个关键步骤:

1. 准备环境:按照安装说明设置训练环境。
2. 准备模型检查点:下载SFT模型检查点。
3. 训练:使用提供的脚本进行DDPO训练,该脚本会自动从HuggingFace下载训练数据,并使用SFT模型生成logps。

RLHF-V的突出表现

RLHF-V在多个方面展现出了卓越的性能:

1. 低幻觉率与高信息量: RLHF-V在保持信息丰富度的同时,显著降低了幻觉率。

2. 数据效率与良好的扩展性: 仅需1.4K的标注数据就能实现34.8%的幻觉率降低,且随着数据量的增加,性能持续提升。

3. 对过度泛化的抵抗力: RLHF-V在处理过度泛化问题上表现出色,甚至超过了GPT-4V。

实际应用案例

RLHF-V在多种场景下展现出了优异的表现:

1. 短答题: RLHF-V能够提供更可信的简短回答。
2. 长答题: 在生成详细的图像描述时,RLHF-V能够保持信息丰富度的同时减少幻觉。
3. 推理能力: RLHF-V能够提供详细的推理过程,同时减少幻觉的出现。
4. 抵抗过度泛化: 在处理复杂场景时,RLHF-V表现出更强的抵抗过度泛化的能力。

最新进展

RLHF-V团队持续推进研究,最新的进展包括:

• 发布RLAIF-V,一个利用开源模型生成反馈的新对齐框架,达到了超越GPT-4V的可信度。
• RLHF-V被CVPR 2024接收。
• 基于RLHF-V构建的OmniLMM-12B在MMHal-Bench上取得了开源模型第一名的成绩,甚至在Object HalBench上超越了GPT-4V。
• 发布了更大、更多样化的细粒度人类修正数据集,包含约5.7k条数据。

结语

RLHF-V为提升多模态大语言模型的可信度提供了一个强有力的解决方案。通过细粒度的人类反馈和高效的训练方法,RLHF-V不仅显著降低了模型的幻觉率,还保持了模型的信息丰富度和推理能力。随着研究的不断深入和数据集的扩展,我们可以期待RLHF-V在未来带来更多突破性的进展,为构建更可靠、更智能的多模态AI系统铺平道路。