OPERA: 通过过度信任惩罚和回顾分配缓解多模态大型语言模型中的幻觉问题（CVPR 2024 亮点论文）

本仓库提供了以下论文的官方 PyTorch 实现：

OPERA: 通过过度信任惩罚和回顾分配缓解多模态大型语言模型中的幻觉问题 黄启东1,2，董晓毅2，张攀2，王斌 2，何聪辉 2，王嘉琦2，林达华2，张卫明1，俞能海1 1中国科学技术大学，2上海人工智能实验室

概述

幻觉作为多模态大型语言模型（MLLMs）的普遍挑战，极大地阻碍了它们在需要精确判断的实际应用中的使用。现有方法通过特定设计的数据训练或推理时使用其他来源的外部知识来缓解这一问题，这不可避免地会带来额外成本。本文提出了OPERA，一种基于过度信任惩罚和回顾分配策略的新型MLLM解码方法，作为一种几乎免费的解决方案，无需额外数据、知识或训练即可缓解幻觉问题。我们的方法始于一个有趣的观察：大多数幻觉与自注意力矩阵中表现出的知识聚合模式密切相关，即MLLMs倾向于通过关注少数摘要标记而不是所有先前标记来生成新标记。这种部分过度信任倾向导致忽视图像标记，并以幻觉描述图像内容。基于这一观察，OPERA在波束搜索解码过程中引入了一个惩罚项来缓解过度信任问题，同时采用回滚策略，回顾先前生成标记中摘要标记的存在，并在必要时重新分配标记选择。通过广泛实验，OPERA在不同MLLMs和指标上显示出显著的幻觉缓解性能，证明了其有效性和通用性。

设置

OPERA的主要实现在transformers-4.29.2/src/transformers/generation/utils.py中。

因此，只需安装我们修改后的transformers包即可方便使用OPERA解码。

conda env create -f environment.yml
conda activate opera
python -m pip install -e transformers-4.29.2

注意：要在其他版本的transformers上实现OPERA，您可以按以下步骤操作：

找到transformers-4.29.2/src/transformers/generation/utils.py文件。
在transformers.generate函数中添加参数这里。
在transformers.generate函数中添加代码这里。
复制并粘贴opera_decoding函数这里。

简介

设置好环境后，您可以直接在自己的MLLM模型上使用OPERA，方法如下：

# 指定一些输入标记的位置索引
START_INDEX_of_IMAGE_TOKENS = <第一个图像标记的位置索引>
END_INDEX_of_IMAGE_TOKENS = <最后一个图像标记的位置索引>
NUM_of_TOKENS_IN_THE_PROMPT = <用户提示中的总标记数（包括图像标记）>

key_position = {
  "image_start": START_INDEX_of_IMAGE_TOKENS,
  "image_end": END_INDEX_of_IMAGE_TOKENS,
  "response_start": NUM_of_TOKENS_IN_THE_PROMPT,
}

# 在生成函数中添加一些参数
outputs = MLLM_model.generate(
    input_ids=input_ids,
    inputs_embeds=inputs_embeds,
    attention_mask=attention_mask,
    do_sample=False,
    num_beams=5,
    max_new_tokens=512,
    # opera
    opera_decoding=True,
    key_position=key_position,
    scale_factor=50,
    threshold=15,
    num_attn_candidates=5,
    penalty_weights=1,
)
# 对于更高效的版本，请使用以下设置：
outputs = MLLM_model.generate(
    input_ids=input_ids,
    inputs_embeds=inputs_embeds,
    attention_mask=attention_mask,
    do_sample=False,
    num_beams=5,
    max_new_tokens=512,
    # opera
    opera_decoding=True,
    key_position=key_position,
    scale_factor=50,
    threshold=25,
    num_attn_candidates=1,
    penalty_weights=1,
)

更多详细信息请参考这里的demo.ipynb。

评估

以下评估需要MSCOCO 2014数据集。请在这里下载并将其解压到您的数据路径中。

此外，您需要准备以下7B基础模型的检查点：

下载LLaVA-1.5合并后的7B模型，并在eval_configs/llava-1.5_eval.yaml的第14行指定其路径。
下载Vicuna 7B v1.1模型，并在minigpt4/configs/models/blip2_instruct_vicuna7b.yaml的第25行指定其路径。
下载Vicuna 7B v0模型，并在minigpt4/configs/models/minigpt4_vicuna0.yaml的第18行指定其路径。
下载MiniGPT-4 7B预训练权重，并在eval_configs/minigpt4_eval.yaml的第8行指定其路径。
下载Shikra合并后的7B模型，并在eval_configs/shikra_eval.yaml的第14行指定其路径。

参数

参数	示例	描述
`--model`	`llava-1.5`	指定MLLM模型，此代码库支持`instructblip`、`minigpt4`、`llava-1.5`、`shikra`。
`--data-path`	`/path/to/dataset`	数据集文件或文件夹的路径，例如`COCO_2014/val2014/`。
`--pope-type`	`random`	POPE评估的类型，支持`random`、`popular`、`adversarial`。
`--scale_factor`	`50`	用于放大自注意力权重的缩放因子。默认值：50。
`--threshold`	`15`	进行回顾注意力的阈值。默认值：15。
`--num_attn_candidates`	`5`	每个束的候选数量。默认值：5。
`--penalty_weights`	`1`	解码中惩罚项的权重。默认值：1。

POPE

python pope_eval.py --model 模型名称 --data_path /COCO数据路径 --pope-type random --gpu-id GPU_ID列表 --beam 5 --scale_factor 50 --threshold 15 --num_attn_candidates 5 --penalty_weights 1

"随机"分组结果:

模型	准确率	精确率	召回率	F1得分	是比率
InstructBLIP 7B	90.3	93.8	87.0	90.3	47.8
MiniGPT-4 7B	79.8	89.7	68.7	77.8	39.5
LLaVA-1.5 7B	89.4	90.4	88.8	89.6	50.6

"常见"分组结果:

模型	准确率	精确率	召回率	F1得分	是比率
InstructBLIP 7B	83.4	81.2	87.0	84.0	53.6
MiniGPT-4 7B	73.6	75.9	69.0	72.3	45.4
LLaVA-1.5 7B	86.0	84.1	88.8	86.4	52.8

"对抗"分组结果:

模型	准确率	精确率	召回率	F1得分	是比率
InstructBLIP 7B	80.7	77.3	87.0	81.9	56.3
MiniGPT-4 7B	71.6	72.9	68.9	70.8	47.3
LLaVA-1.5 7B	79.1	74.4	88.8	81.0	59.7

CHAIR

生成MLLM的响应并保存为jsonl文件:

python chair_eval.py --model 模型名称 --data_path /COCO数据路径 --gpu-id GPU_ID列表 --beam 5 --scale_factor 50 --threshold 15 --num_attn_candidates 5 --penalty_weights 1

注意：请查看我们在log/chair_eval_results中发布的结果以复现。

使用生成的jsonl文件计算CHAIR:

python chair.py --cap_file /jsonl文件路径 --image_id_key image_id --caption_key caption --coco_path /COCO/annotations_trainval2014/annotations/路径 --save_path /保存jsonl的路径

GPT-4V

GPT-4V评估需要您在gpt4v_eval.py的第88行指定API密钥。

python gpt4v_eval.py --model 模型名称 --data_path /COCO数据路径 --gpu-id GPU_ID列表 --scale_factor 50 --threshold 15 --num_attn_candidates 5 --penalty_weights 1

致谢

本仓库基于LAVIS和MiniGPT-4的MLLM代码库，以及Maxlinn的CHAIR代码。感谢他们的出色工作！

引用

如果您发现这项工作对您的研究有用，请引用我们的论文:

@article{huang2023opera,
  title={OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation},
  author={Qidong Huang and Xiaoyi Dong and Pan zhang and Bin Wang and Conghui He and Jiaqi Wang and Dahua Lin and Weiming Zhang and Nenghai Yu},
  journal={arXiv preprint arXiv:2311.17911},
  year={2023}
}