ProteusV0.3

ProteusV0.3项目介绍

项目概述

ProteusV0.3是一个基于OpenDalleV1.1的高级图像生成模型。这个版本被称为"动漫更新"，因为它在原有基础上增加了20万张动漫相关图像，并通过精选的1.5万张高质量图像进一步提升了模型的美学表现力，尤其是在光照效果方面。

主要特点

ProteusV0.3在保持其对提示词的理解能力以及生成照片级真实和风格化图像的能力的同时，还具有以下特点：

1. 增强的动漫生成能力
2. 改进的光照效果
3. 避免了灾难性遗忘问题

技术细节

ProteusV0.3的训练过程包括以下几个关键步骤：

1. 使用约22万张GPTV标注的无版权图像（包括部分动漫图像）进行微调
2. 应用直接偏好优化（DPO）技术，使用1万对精心挑选的高质量AI生成图像对
3. 独立训练多个低秩适应（LORA）模型，并通过动态应用方法选择性地整合到主模型中

这些技术的应用使得Proteus在复杂面部特征和逼真皮肤纹理的表现上有了显著提升，同时在超现实主义、动漫和卡通风格等多个美学领域保持了出色的表现。

使用建议

为了获得最佳效果，建议使用以下设置：

• CFG比例：7-8
• 步数：20-60步（更多细节）或20步（更快速度）
• 采样器：DPM++ 2M SDE
• 调度器：Karras
• 分辨率：1280x1280或1024x1024

此外，可以使用以下关键词来改善提示词效果：best quality, HD, ~*~aesthetic~*~。

代码示例

ProteusV0.3可以通过🧨 diffusers库轻松使用。以下是一个Python代码示例，展示了如何设置和使用该模型：

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    KDPM2AncestralDiscreteScheduler,
    AutoencoderKL
)

# 加载VAE组件
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# 配置pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.3", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = KDPM2AncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# 定义提示词并生成图像
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=7,
    num_inference_steps=20
).images[0]

支持与关注

开发者欢迎通过以下方式获得支持：

• 在Buy Me a Coffee上进行捐赠：https://www.buymeacoffee.com/DataVoid
• 在Twitter上关注：https://twitter.com/DataPlusEngine

ProteusV0.3为图像生成领域带来了新的可能性，特别是在动漫和高质量图像生成方面。无论是专业创作者还是爱好者，都可以利用这个强大的工具来实现自己的创意想法。