clip-interrogator

项目介绍

CLIP Interrogator 是一个用于生成图片文本描述（prompt）的工具，能够帮助用户依据已有图片来生成新的、相似风格的图像。它通过结合 OpenAI 的 CLIP 模型和 Salesforce 的 BLIP 模型来优化文本描述，使其更准确地匹配给定的图像。随后，这些描述可以用于文本到图像的生成模型，如使用在 DreamStudio 平台上的 Stable Diffusion，以创建有趣的艺术作品。

如何运行

CLIP Interrogator 现在已作为 Stable Diffusion 的 Web UI 扩展提供。用户还可以在 Colab、HuggingFace 和 Replicate 等平台上运行其第二版。同时，第一版仍然可以通过 Colab 使用，以便比较不同的 CLIP 模型。

库的使用方法

用户可以通过以下步骤在 Python 环境中使用 CLIP Interrogator：

1. 创建并激活 Python 虚拟环境：

   python3 -m venv ci_env
   (对于 Linux) source ci_env/bin/activate
   (对于 Windows) .\ci_env\Scripts\activate

2. 使用 PIP 安装所需的软件包：

   # 示例：安装支持 GPU 的 torch
   pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu117
   
   # 安装 clip-interrogator
   pip install clip-interrogator==0.5.4
   
   # 或安装支持 BLIP2 的最新开发版
   #pip install clip-interrogator==0.6.0

3. 在脚本中使用该工具：

   from PIL import Image
   from clip_interrogator import Config, Interrogator
   image = Image.open(image_path).convert('RGB')
   ci = Interrogator(Config(clip_model_name="ViT-L-14/openai"))
   print(ci.interrogate(image))

CLIP Interrogator 使用了 OpenCLIP，支持多种预训练的 CLIP 模型。对于 Stable Diffusion 1.X 版本，建议使用 ViT-L-14/openai 作为模型名称；对于 Stable Diffusion 2.0 则使用 ViT-H-14/laion2b_s32b_b79k。

配置

用户可以通过 Config 对象来配置 CLIP Interrogator 的处理设置。配置选项包括：

• clip_model_name: 选择使用的 OpenCLIP 预训练模型。
• cache_path: 保存预计算文本嵌入的路径。
• download_cache: 若为 True，将从 Huggingface 下载预计算的嵌入。
• chunk_size: CLIP 的批处理大小，VRAM 较低时需使用较小值。
• quiet: 若为 True，将不显示进度条或文本输出。

对于 VRAM 较低的系统，可以调用 config.apply_low_vram_defaults() 来减少对 VRAM 的需求，代价是速度和质量会有所下降。默认设置需要约 6.3GB 的 VRAM，而低 VRAM 设置只需约 2.7GB。

更多使用 Config 和 Interrogator 类的示例可以参考项目中的 run_cli.py 和 run_gradio.py 文件。

自定义术语排名（需要 0.6.0 版本）

CLIP Interrogator 支持通过上传术语表，根据自己的术语列表来进行排名：

from clip_interrogator import Config, Interrogator, LabelTable, load_list
from PIL import Image

ci = Interrogator(Config(blip_model_type=None))
image = Image.open(image_path).convert('RGB')
table = LabelTable(load_list('terms.txt'), 'terms', ci)
best_match = table.rank(ci.image_to_features(image), top_count=1)[0]
print(best_match)

这段代码示例演示了如何对给定图像进行分析并在自定义的术语列表中寻找最佳匹配。这对于生成定制化的图片文本描述非常有用。