InstantID

InstantID：秒级零样本身份保持生成

InstantID 是一种出色的免调整方法，专为仅使用单张图像进行身份保持生成而设计。该方法支持多种下游任务，在该领域树立了新的标准。

本仓库是一个非官方实现，fork 自原始的 InstantID 仓库(https://github.com/InstantID/InstantID )。它包含了原始实现中未包含的额外训练代码。

我们衷心感谢"InstantID：秒级零样本身份保持生成"的创作者将其创新成果公开。在本仓库中，我们开发了训练代码，并在我们自己的专有数据集上进行训练后，成功复现了原作者预训练模型所展示的结果。

演示

为了训练我们的模型，我们使用 train_instantId_sdxl.sh 脚本。该脚本配置为高效处理我们指定的私有数据集上的训练过程。

对于推理，我们使用 infer_from_pkl.py 脚本。该脚本允许我们使用训练好的模型执行推理操作。在处理之前，使用 get_face_info.py 脚本调用 FaceAnalysis，将相关的面部信息存储在 PKL 文件中。

通过遵循这个过程，我们可以在私有数据集上展示训练和官方推理脚本的有效性，从而获得令人印象深刻的结果。

示例图片

下载

你可以直接从 Huggingface 下载模型。你也可以在 Python 脚本中下载模型：

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")

如果你无法访问 Huggingface，可以使用 hf-mirror 下载模型。

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download InstantX/InstantID --local-dir checkpoints

对于人脸编码器，你需要通过此 URL 手动下载到 models/antelopev2，因为默认链接无效。准备好所有模型后，文件夹结构应如下所示：

  .
  ├── models
  ├── checkpoints
  ├── ip_adapter
  ├── pipeline_stable_diffusion_xl_instantid.py
  └── README.md

使用方法

# !pip install opencv-python transformers accelerate insightface
import diffusers
from diffusers.utils import load_image
from diffusers.models import ControlNetModel

import cv2
import torch
import numpy as np
from PIL import Image

from insightface.app import FaceAnalysis
from pipeline_stable_diffusion_xl_instantid import StableDiffusionXLInstantIDPipeline, draw_kps

# 准备 'antelopev2'，位于 ./models 下
app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))

# 准备模型，位于 ./checkpoints 下
face_adapter = f'./checkpoints/ip-adapter.bin'
controlnet_path = f'./checkpoints/ControlNetModel'

# 加载 IdentityNet
controlnet = ControlNetModel.from_pretrained(controlnet_path, torch_dtype=torch.float16)

pipe = StableDiffusionXLInstantIDPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16
... )
pipe.cuda()

# 加载适配器
pipe.load_ip_adapter_instantid(face_adapter)

然后，你可以自定义你自己的人脸图像

# 加载图像
image = load_image("your-example.jpg")

# 准备人脸嵌入
face_info = app.get(cv2.cvtColor(np.array(face_image), cv2.COLOR_RGB2BGR))
face_info = sorted(face_info, key=lambda x:(x['bbox'][2]-x['bbox'][0])*x['bbox'][3]-x['bbox'][1])[-1] # 只使用最大的人脸
face_emb = face_info['embedding']
face_kps = draw_kps(face_image, face_info['kps'])

pipe.set_ip_adapter_scale(0.8)

prompt = "analog film photo of a man. faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage, masterpiece, best quality"
negative_prompt = "(lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured (lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch,deformed, mutated, cross-eyed, ugly, disfigured"

# 生成图像
image = pipe(
...     prompt, image_embeds=face_emb, image=face_kps, controlnet_conditioning_scale=0.8
... ).images[0]

使用技巧

如果你对相似度不满意，可以增加 controlnet_conditioning_scale (IdentityNet) 和 ip_adapter_scale (Adapter) 的权重。
如果生成的图像过饱和，减少 ip_adapter_scale。如果不起作用，减少 controlnet_conditioning_scale。
如果文本控制不如预期，减少 ip_adapter_scale。
好的基础模型总是能带来不同。