<sup>*</sup>通讯作者
OMG + LORA:<a href='https://huggingface.co/spaces/Fucius/OMG'><img src='https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'></a>
OMG + InstantID:<a href='https://huggingface.co/spaces/Fucius/OMG-InstantID'><img src='https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'></a>
<a href='https://kongzhecn.github.io/omg-project/'><img src='https://img.shields.io/badge/项目-页面-green'></a>
<a href='https://arxiv.org/abs/2403.10983'><img src='https://img.shields.io/badge/技术-报告-red'></a>
<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/449b1275-5e30-4a2d-ad90-d7fd39c89b9b.png"> </p>简介: OMG是一个多概念图像生成框架,支持Civitai.com上的角色和风格LoRA。它还可以与InstantID结合使用,为每个ID仅使用一张图像实现多ID生成。
OMG简介: 一个用于高质量多角色图像生成的工具。
预告片演示: 使用OMG + SVD创作的短片"家庭防卫"。
python==3.10.6
,以及pytorch==2.0.1
和torchvision==0.15.2
。请按照此处的说明安装PyTorch和TorchVision依赖项。强烈建议安装支持CUDA的PyTorch和TorchVision。conda create -n OMG python=3.10.6 conda activate OMG pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pip install -r requirements.txt pip install git+https://github.com/facebookresearch/segment-anything.git
YoloWorld + EfficientViT SAM
或GroundingDINO + SAM
pip install inference[yolo-world]==0.9.13 pip install onnxsim==0.4.35
inference[yolo-world]
,可以安装GroundingDINO
进行视觉理解。GroundingDINO
需要手动安装。
运行以下命令,使环境变量在当前shell下设置:
export CUDA_HOME=/path/to/cuda-11.3
在这个例子中,/path/to/cuda-11.3
应替换为您安装CUDA工具包的路径。
git clone https://github.com/IDEA-Research/GroundingDINO.git cd GroundingDINO/ pip install -e .
更多安装详情可以在GroundingDINO找到
下载stable-diffusion-xl-base-1.0, controlnet-openpose-sdxl-1.0。
对于InstantID + OMG
,下载:
wangqixun/YamerMIX_v8,
InstantID,
antelopev2。
对于YoloWorld + EfficientViT SAM
:
EfficientViT-SAM-XL1,yolo-world。
对于GroundingDINO + SAM
:
GroundingDINO,SAM。
对于男性角色LoRA
:
Chris Evans,
Gleb Savchenko,
Harry Potter,
Jordan Torres。
对于女性角色LoRA
:
Taylor Swift,
Jennifer Lawrence,
Hermione Granger,
Keira Knightley。
ControlNet、 controlnet-canny-sdxl-1.0、 controlnet-depth-sdxl-1.0、 dpt-hybrid-midas。
将模型放在checkpoint
下,如下所示:
OMG ├── assets ├── checkpoint │ ├── antelopev2 │ │ └── models │ │ └── antelopev2 │ │ ├── 1k3d68.onnx │ │ ├── 2d106det.onnx │ │ ├── genderage.onnx │ │ ├── glintr100.onnx │ │ └── scrfd_10g_bnkps.onnx │ ├── ControlNet │ ├── controlnet-canny-sdxl-1.0 │ ├── controlnet-depth-sdxl-1.0 │ ├── controlnet-openpose-sdxl-1.0 │ ├── dpt-hybrid-midas │ ├── GroundingDINO │ ├── InstantID │ ├── lora │ │ ├── chris-evans.safetensors │ │ ├── Gleb-Savchenko_Liam-Hemsworth.safetensors │ │ ├── Harry_Potter.safetensors │ │ ├── Hermione_Granger.safetensors │ │ ├── jordan_torres_v2_xl.safetensors │ │ ├── keira_lora_sdxl_v1-000008.safetensors │ │ ├── lawrence_dh128_v1-step00012000.safetensors │ │ └── TaylorSwiftSDXL.safetensors │ ├── sam │ │ ├── sam_vit_h_4b8939.pth │ │ └── xl1.pt │ ├── stable-diffusion-xl-base-1.0 │ ├── style │ │ ├── Anime_Sketch_SDXL.safetensors │ │ ├── Cinematic Hollywood Film.safetensors │ │ └── EldritchPaletteKnife.safetensors │ └── YamerMIX_v8 ├── example ├── gradio_demo ├── inference_instantid.py ├── inference_lora.py ├── README.md ├── requirements.txt └── src
将ViT-B-32.pt
(从openai下载)放在~/.cache/clip/ViT-B-32.pt
。
如果使用YoloWorld
,将yolo-world.pt
放在/tmp/cache/yolo_world/l/yolo-world.pt
。
或者你可以手动设置检查点路径,如下所示:
python inference_lora.py \
--pretrained_sdxl_model <stable-diffusion-xl-base-1.0的路径> \
--controlnet_checkpoint <controlnet-openpose-sdxl-1.0的路径> \
--efficientViT_checkpoint <efficientViT-SAM-XL1的路径> \
--dino_checkpoint <GroundingDINO的路径> \
--sam_checkpoint <sam的路径> \
--lora_path <角色1的Lora路径|角色2的Lora路径> \
--style_lora <风格LoRA的路径>
对于OMG + InstantID:
python inference_instantid.py \
--pretrained_model <stable-diffusion-xl-base-1.0的路径> \
--controlnet_path <InstantID controlnet的路径> \
--face_adapter_path <InstantID face adapter的路径> \
--efficientViT_checkpoint <efficientViT-SAM-XL1的路径> \
--dino_checkpoint <GroundingDINO的路径> \
--sam_checkpoint <sam的路径> \
--antelopev2_path <antelopev2的路径> \
--style_lora <风格LoRA的路径>
Harry_Potter.safetensors
的<TOK>是Harry Potter
,Hermione_Granger.safetensors
的<TOK>是Hermione Granger
。
为了视觉理解,你可以设置--segment_type 'yoloworld'
以使用YoloWorld + EfficientViT SAM
,或设置--segment_type 'GroundingDINO'
以使用GroundingDINO + SAM
。
python inference_lora.py \
--prompt <两个人的提示词> \
--negative_prompt <负面提示词> \
--prompt_rewrite "[<人物1的提示词>]-*-[<负面提示词>]|[<人物2的提示词>]-*-[负面提示词]" \
--lora_path "[<角色1的Lora路径|角色2的Lora路径>]"
例如:
python inference_lora.py \
--prompt "特写照片,展示酷炫男性和美丽女性离开岛屿带着宝藏,乘船回到度假海滩,开始他们的爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节。" \
--negative_prompt '噪点,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[特写照片,Chris Evans穿着霍格沃茨校服,表情惊讶,35毫米照片,胶片,专业,4K,高度细节。]-*-[噪点,模糊,柔和,变形,丑陋]|[特写照片,TaylorSwift穿着霍格沃茨校服,表情惊讶,35毫米照片,胶片,专业,4K,高度细节。]-*-[噪点,模糊,柔和,变形,丑陋]' \
--lora_path './checkpoint/lora/chris-evans.safetensors|./checkpoint/lora/TaylorSwiftSDXL.safetensors'
对于OMG + LoRA + ControlNet(人体姿势):
python inference_lora.py \
--prompt "特写照片,展示酷炫男性和美丽女性离开岛屿带着宝藏,乘船回到度假海滩,开始他们的爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节。" \
--negative_prompt '噪点,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[特写照片,Chris Evans穿着霍格沃茨校服,表情惊讶,35毫米照片,胶片,专业,4K,高度细节。]-*-[噪点,模糊,柔和,变形,丑陋]|[特写照片,TaylorSwift穿着霍格沃茨校服,表情惊讶,35毫米照片,胶片,专业,4K,高度细节。]-*-[噪点,模糊,柔和,变形,丑陋]' \
--lora_path './checkpoint/lora/chris-evans.safetensors|./checkpoint/lora/TaylorSwiftSDXL.safetensors' \
--spatial_condition './example/pose.png' \
--controlnet_checkpoint './checkpoint/controlnet-openpose-sdxl-1.0'
对于OMG + LoRA + 风格:
python inference_lora.py \
--prompt "特写照片,展示酷炫男性和美丽女性离开岛屿带着宝藏,乘船回到度假海滩,开始他们的爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,素描。" \
--negative_prompt '噪点,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[特写照片,Chris Evans穿着霍格沃茨校服,表情惊讶,35毫米照片,胶片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,素描。]-*-[噪点,模糊,柔和,变形,丑陋]|[特写照片,TaylorSwift穿着霍格沃茨校服,表情惊讶,35毫米照片,胶片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,素描。]-*-[噪点,模糊,柔和,变形,丑陋]' \
--lora_path './checkpoint/lora/chris-evans.safetensors|./checkpoint/lora/TaylorSwiftSDXL.safetensors' \
--style_lora './checkpoint/style/Anime_Sketch_SDXL.safetensors'
python inference_instantid.py \
--prompt <两个人物的提示词> \
--negative_prompt <负面提示词> \
--prompt_rewrite "[<人物1的提示词>]-*-[<负面提示词>]-*-<参考图片1的路径>|[<人物2的提示词>]-*-[负面提示词]-*-<参考图片2的路径>"
例如:
python inference_instantid.py \
--prompt '特写照片,展现酷炫男子和美丽女子离开岛屿携带宝藏、乘船返回度假海滩并开始爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节。' \
--negative_prompt '杂乱,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[男子特写照片,35毫米照片,专业,4K,高度细节。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/chris-evans.jpg|[女子特写照片,35毫米照片,专业,4K,高度细节。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/TaylorSwift.png'
用于 OMG + InstantID + ControlNet (人体姿势):
python inference_instantid.py \
--prompt '特写照片,展现酷炫男子和美丽女子离开岛屿携带宝藏、乘船返回度假海滩并开始爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节。' \
--negative_prompt '杂乱,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[男子特写照片,35毫米照片,专业,4K,高度细节。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/chris-evans.jpg|[女子特写照片,35毫米照片,专业,4K,高度细节。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/TaylorSwift.png' \
--spatial_condition './example/pose.png' \
--t2i_controlnet_path './checkpoint/controlnet-openpose-sdxl-1.0'
用于 OMG + InstantID + 风格:
python inference_instantid.py \
--prompt '特写照片,展现酷炫男子和美丽女子离开岛屿携带宝藏、乘船返回度假海滩并开始爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,速写。' \
--negative_prompt '杂乱,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[男子特写照片,35毫米照片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,速写。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/chris-evans.jpg|[女子特写照片,35毫米照片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,速写。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/TaylorSwift.png' \
--style_lora './checkpoint/style/Anime_Sketch_SDXL.safetensors'
用于 OMG + InstantID + 风格 + ControlNet (人体姿势):
python inference_instantid.py \
--prompt '特写照片,展现酷炫男子和美丽女子离开岛屿携带宝藏、乘船返回度假海滩并开始爱情故事时脸上幸福的笑容,35毫米照片,胶片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,速写。' \
--negative_prompt '杂乱,模糊,柔和,变形,丑陋' \
--prompt_rewrite '[男子特写照片,35毫米照片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,速写。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/chris-evans.jpg|[女子特写照片,35毫米照片,专业,4K,高度细节,铅笔素描:1.2,凌乱线条,灰度,传统媒介,速写。]-*-[杂乱,模糊,柔和,变形,丑陋]-*-./example/TaylorSwift.png' \
--style_lora './checkpoint/style/Anime_Sketch_SDXL.safetensors' \
--spatial_condition './example/pose.png' \
--t2i_controlnet_path './checkpoint/controlnet-openpose-sdxl-1.0'
如果选择 YoloWorld + EfficientViT SAM
:
python gradio_demo/app.py --segment_type yoloworld
对于 GroundingDINO + SAM
:
python gradio_demo/app.py --segment_type GroundingDINO
如果选择 YoloWorld + EfficientViT SAM
:
python gradio_demo/app_instantID.py --segment_type yoloworld
对于 GroundingDINO + SAM
:
python gradio_demo/app_instantID.py --segment_type GroundingDINO
连接到启动过程完成后显示的公共 URL。
AI小说写作助手,一站式润色、改写、扩写
蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。
字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动 完成功能,是提升开发效率的理想工具。
全能AI智能助手,随时解答生活与工作的多样问题
问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮 助用户在日常生活中提高效率,轻松管理个人事务。
实时语音翻译/同声传译工具
Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等, 都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。
一键生成PPT和Word,让学习生活更轻松
讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。
深度推理能力全新升级,全面对标OpenAI o1
科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅 助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。
一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型
Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。
AI助力,做PPT更简单!
咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支 持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。
选题、配图、成文,一站式创作,让内容运营更高效
讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。
专业的AI公文写作平台,公文写作神器
AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号