T2I-CompBench++：增强版全面的组合式文本到图像生成基准测试

Kaiyi Huang1、Chengqi Duan3、Kaiyue Sun1、Enze Xie2、Zhenguo Li2和Xihui Liu1。

1香港大学, 2华为诺亚方舟实验室, 3清华大学

🚩 新特性/更新

✅ 2024年6月27日。发布图像-分数对的人工评估。
✅ 2024年3月14日。发布更全面的组合式基准测试 T2I-CompBench++。
✅ 2024年3月5日。💥 评估指标被 🧨 Stable Diffusion 3 采用。
✅ 2023年12月2日。发布用于指标评估的图像生成推理代码。
✅ 2023年10月20日。💥 评估指标被 🧨 DALL-E 3 作为组合性评估指标采用。
✅ 2023年9月30日。💥 评估指标被 🧨 PixArt-α 作为组合性评估指标采用。
✅ 2023年9月22日。💥 论文被Neurips 2023接收。
✅ 2023年7月9日。发布数据集、训练和评估代码。

安装依赖

在运行脚本之前，请确保安装库的训练依赖项：

重要提示

我们建议使用最新代码以确保与论文中呈现的结果一致。为确保您可以成功运行示例脚本，请在新的虚拟环境中执行以下步骤。我们使用的diffusers版本为0.15.0.dev0 您可以从PyPI安装开发版本：

pip install diffusers==0.15.0.dev0

或从提供的源代码安装：

unzip diffusers.zip
cd diffusers
pip install .

然后进入示例文件夹并运行

pip install -r requirements.txt

并使用以下命令初始化🤗Accelerate环境：

accelerate config

微调

LoRA微调

使用LoRA微调方法，请参考以下链接下载"lora_diffusion"目录：

https://github.com/cloneofsimo/lora/tree/master

示例用法

export project_dir=/T2I-CompBench
cd $project_dir

export train_data_dir="examples/samples/"
export output_dir="examples/output/"
export reward_root="examples/reward/"
export dataset_root="examples/dataset/color.txt"
export script=GORS_finetune/train_text_to_image.py

accelerate launch --multi_gpu --mixed_precision=fp16 \
--num_processes=8 --num_machines=1 \
--dynamo_backend=no "${script}" \
--train_data_dir="${train_data_dir}" \
--output_dir="${output_dir}" \
--reward_root="${reward_root}" \
--dataset_root="${dataset_root}"

或运行

cd T2I-CompBench
bash GORS_finetune/train.sh

examples/samples/
        ├── a green bench and a blue bowl_000000.png
        ├── a green bench and a blue bowl_000001.png
        └──...

奖励目录应包含一个名为"vqa_result.json"的json文件，该json文件应是一个从{"question_id", "answer"}映射的字典，例如：

[{"question_id": 0, "answer": "0.7110"},
 {"question_id": 1, "answer": "0.7110"},
 ...]

数据集应放在"examples/dataset/"目录中。

评估

安装要求

MiniGPT4和ShareGPT4V基于它们的仓库，请参考以下链接获取环境依赖和权重：

https://github.com/Vision-CAIR/MiniGPT-4
https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V

为方便起见，您可以尝试以下命令来安装ShareGPT4V的环境并下载所需的权重。

export project_dir=MLLM_eval/ShareGPT4V-CoT_eval/
cd $project_dir
conda create -n share4v python=3.10 -y
conda activate share4v
pip install --upgrade pip
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation
pip install spacy
python -m spacy download en_core_web_sm
mkdir -p Lin-Chen/
cd Lin-Chen/
git lfs install
git clone https://huggingface.co/Lin-Chen/ShareGPT4V-7B_Pretrained_vit-large336-l12

示例用法

对于评估，输入图像文件存储在"examples/samples/"目录中，格式与训练数据相同。

BLIP-VQA:

export project_dir="BLIPvqa_eval/"
cd $project_dir
out_dir="../examples/"
python BLIP_vqa.py --out_dir=$out_dir

或运行

cd T2I-CompBench
bash BLIPvqa_eval/test.sh

输出文件格式化为"examples/annotation_blip/"目录中名为"vqa_result.json"的json文件。

UniDet:

下载权重并放在repo experts/expert_weights下：

mkdir -p UniDet_eval/experts/expert_weights
cd UniDet_eval/experts/expert_weights
wget https://huggingface.co/shikunl/prismer/resolve/main/expert_weights/Unified_learned_OCIM_RS200_6x%2B2x.pth
wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/annotator/ckpts/dpt_hybrid-midas-501f0c75.pt
pip install gdown
gdown https://docs.google.com/uc?id=1C4sgkirmgMumKXXiLOPmCKNTZAc3oVbq

对于**2D空间**评估，运行：

export project_dir=UniDet_eval cd $project_dir

python 2D_spatial_eval.py

要计算来自**"复杂"类别**的提示，将**"--complex"参数设置为True**；否则，将其设置为False。输出文件以json文件格式保存为"examples/labels/annotation_obj_detection_2d"目录中的"vqa_result.json"。

对于**数值**评估，运行：

export project_dir=UniDet_eval cd $project_dir

python numeracy_eval.py

输出文件以json文件格式保存为"examples/annotation_num"目录中的"vqa_result.json"。

对于**3D空间**评估，运行：

export project_dir=UniDet_eval cd $project_dir python 3D_spatial_eval.py

输出文件以json文件格式保存为"examples/labels/annotation_obj_detection_3d"目录中的"vqa_result.json"。

#### CLIPScore:

outpath="examples/" python CLIPScore_eval/CLIP_similarity.py --outpath=${outpath}

或运行

cd T2I-CompBench bash CLIPScore_eval/test.sh

要计算来自**"复杂"类别**的提示，将**"--complex"参数设置为True**；否则，将其设置为False。
输出文件以json文件格式保存为"examples/annotation_clip"目录中的"vqa_result.json"。

#### 3合1:

export project_dir="3_in_1_eval/" cd $project_dir outpath="../examples/" python "3_in_1.py" --outpath=${outpath}

输出文件以json文件格式保存为"examples/annotation_3_in_1"目录中的"vqa_result.json"。

#### MLLM评估:

##### GPT-4V:

在第13行添加你的openai api密钥[(说明)](https://help.openai.com/en/articles/4936850-where-do-i-find-my-openai-api-key)。

export project_dir=MLLM_eval cd $project_dir python MLLM_eval/gpt4v_eval.py --category "color" --start 0 --step 10


输出文件以json文件格式保存为"examples/gpt4v"目录中的"gpt4v_result\_{start}\_{step}.json"。

在论文中，我们测试了600张图像，设置{start=0, step=10}和{start=1, step=10}，从每个类别现有的3000张图像中选取。

##### ShareGPT4V-CoT:
对于ShareGPT4V评估，运行以下命令：

export project_dir=MLLM_eval/ShareGPT4V-CoT_eval/ cd $project_dir category="color" output_path="../../examples/" python Share_eval.py --category ${category} --file-path ${output_path} --cot

输出文件以json文件格式保存为"examples/sharegpt4v"目录中的"vqa_result.json"。

##### MiniGPT4-CoT:
如果要评估的类别是颜色、形状和纹理之一：

export project_dir=MLLM_eval/MiniGPT4-CoT_eval/ cd $project_dir category="color" img_file="../../examples/samples/" output_path="../../examples/" python mGPT_cot_attribute.py --category=${category} --img_file=${img_file} --output_path=${output_path}


如果要评估的类别是空间、非空间和复杂之一：

export project_dir=MLLM_eval/MiniGPT4_CoT_eval/ cd $project_dir category="non-spatial" img_file="../../examples/samples/" output_path="../../examples" python mGPT_cot_general.py --category=${category} --img_file=${img_file} --output_path=${output_path}

输出文件以csv文件格式保存为output_path中的"mGPT_cot_output.csv"。

### 推理
运行inference.py来可视化图像。

export pretrained_model_path="checkpoint/color/lora_weight_e357_s124500.pt.pt" export prompt="A bathroom with green tile and a red shower curtain" python inference.py --pretrained_model_path "${pretrained_model_path}" --prompt "${prompt}"

**生成用于指标计算的图像。** 运行inference_eval.py来生成测试集中的图像。如论文所述，每个提示生成10张图像用于**指标计算**，我们在所有方法中使用固定的种子。
你可以通过更改"from_file"参数在{color_val.txt, shape_val.txt, texture_val.txt, spatial_val.txt, non_spatial_val.txt, complex_val.txt}中指定测试集。

export from_file="../examples/dataset/color_val.txt" python inference_eval.py --from_file "${from_file}"


### 引用
如果您在研究或应用中使用T2I-CompBench，请使用以下BibTeX进行引用：
```bibtex
@article{huang2023t2icompbench,
      title={T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation}, 
      author={Kaiyi Huang and Kaiyue Sun and Enze Xie and Zhenguo Li and Xihui Liu},
      journal={arXiv preprint arXiv:2307.06350},
      year={2023},
}