clip-guided-diffusion

项目简介

CLIP Guided Diffusion 是一个利用深度学习技术的图像生成项目。项目结合了OpenAI的CLIP（Contrastive Language–Image Pre-Training）和扩散模型，能够将自然语言描述转化为图像。通过给定的文本提示，CLIP能够引导扩散模型生成与文字描述相符的视觉内容。这种技术可以用于创意图像生成、插图制作，以及其他需要视觉呈现的场景。

安装步骤

要使用CLIP Guided Diffusion项目，首先需要将项目代码克隆到本地计算机上，并安装所需的依赖项。以下是详细的安装步骤：

git clone https://github.com/afiaka87/clip-guided-diffusion.git
cd clip-guided-diffusion
git clone https://github.com/crowsonkb/guided-diffusion.git
pip3 install -e guided-diffusion
python3 setup.py install

使用指南

文本转图像生成

用户可以通过命令行为CLIP Guided Diffusion提供文本提示，从而生成符合该描述的图像。以下是一个简单的例子：

cgd -txt "Alien friend by Odilon Redo"

生成的图像将被保存为GIF格式，保存在./outputs目录中，便于用户查看和使用。

多提示词权重设置

用户可以为不同的提示词指定权重，以更精细地控制生成图像的风格。例如，用户可以这样使用多提示词：

cgd --prompts "Noun to visualize:1.0|style:0.1|location:0.1|something you dont want:-0.1"

在这里，不同的提示词通过“|”分隔，冒号后的数字表示该提示词的权重。

图像大小设置

用户可以选择生成图像的尺寸，支持的选项包括64、128、256、512像素的正方形图像。例如，生成256像素的图片：

cgd --image_size 256 --prompt "8K HUHD Mushroom"

图像混合

CLIP Guided Diffusion还支持将已有图像与生成内容进行融合。用户可以指定起始图像，并设置随着时间推移与生成的图像融合的步骤。

cgd --prompts "A mushroom in the style of Vincent Van Gogh" \
  --timestep_respacing 1000 \
  --init_image "images/32K_HUHD_Mushroom.png" \
  --init_scale 1000 \
  --skip_timesteps 350

高级用法

除了简单的命令行使用，CLIP Guided Diffusion还支持Python编程接口，允许开发者更加灵活的控制和自定义图像生成过程。

from cgd import clip_guided_diffusion

cgd_generator = clip_guided_diffusion(
    prompts=["an image of a fox in a forest"],
    image_size=256,
    device="cuda",
)

for image in cgd_generator:
    # process image

开发与测试

开发者可以通过克隆项目并创建虚拟环境来参与项目开发。以下是创建开发环境的步骤：

git clone https://github.com/afiaka87/clip-guided-diffusion.git
cd clip-guided-diffusion
git clone https://github.com/afiaka87/guided-diffusion.git
python3 -m venv cgd_venv
source cgd_venv/bin/activate
pip install -r requirements.txt
pip install -e guided-diffusion

此外，项目支持单元测试，部分测试需要GPU。如果没有GPU，用户可以忽略这些测试。