SVGDreamer：基于扩散模型的文本引导SVG生成

本仓库包含我们CVPR 2024论文《SVGDreamer：基于扩散模型的文本引导SVG生成》的官方实现。它可以根据文本提示生成高质量的SVG。

:new: 更新

[2024年3月] 🔥 我们已发布SVGDreamer的代码。
[2024年2月] 🎉 SVGDreamer被CVPR2024接收。 🎉
[2023年12月] 🔥 我们已发布**SVGDreamer论文**。SVGDreamer是一种新颖的文本引导矢量图形合成方法。该方法同时考虑了矢量图形的编辑和合成的质量。

安装

1. 安装环境

您可以按照以下步骤快速上手并运行SVGDreamer。这些步骤将让您在本地运行快速推理。

在顶层目录运行：

sh script/install.sh

或使用docker：

docker run --name svgdreamer --gpus all -it --ipc=host ximingxing/svgrender:v1 /bin/bash

2. 下载预训练的Stable Diffusion模型

下载预训练SD模型，首次运行时在/conf/config.yaml中设置diffuser.download=True。（或者，您可以在脚本末尾附加diffuser.download=True。）

您也可以手动下载：

模型链接：https://huggingface.co/stabilityai/stable-diffusion-2-1-base
默认模型存储在/home/user/.cache/huggingface/hub/models--stabilityai--stable-diffusion-2-1-base

🔥 快速开始

SIVE + VPSD

**提示：**蝙蝠侠的图像。全身动作姿势，完整详细的身体，白色背景，高质量，4K，超级真实 预览：

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始p1	初始p2	初始p3	初始p4	初始p5	初始p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/e94803dc-b12a-4567-8ea1-b8144a615bae.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/53fd3246-fc6f-4f94-bf28-b5164f8b826f.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b465d417-85a5-4791-93f4-cb8b3c43edb3.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/3c3c0e21-66ed-4417-93a9-eb3e1a5de474.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/abcba1ae-7717-4f9e-9f1e-f72561e1a4b6.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/99ff497e-859b-43bd-82e9-17f3987898ec.svg">
最终p1	最终p2	最终p3	最终p4	最终p5	最终p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/273b729e-9352-4b06-bcd4-2e87b8474d44.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/ad94846f-b8d6-485f-9b4c-a9d505a11623.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/bc31578b-ff0b-44ea-b692-4fd2927fba84.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/d3c269fd-3930-4977-8120-b99344dbae00.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/41e7f710-a216-4cd5-91f8-3471071442e9.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/008d12f5-0eeb-4afc-a710-8c55a5585211.svg">

脚本：

python svgdreamer.py x=iconography skip_sive=False "prompt='an image of Batman. full body action pose, complete detailed body. white background. empty background, high quality, 4K, ultra realistic'" token_ind=4 x.vpsd.t_schedule='randint' result_path='./logs/batman' multirun=True

x=iconography(str)：样式配置
skip_sive(bool)：启用SIVE阶段
token_ind(int)：文本提示的索引，从1开始
result_path(str)：保存结果的路径
multirun(bool)：使用不同的随机种子多次运行脚本
mv(bool)：保存运行的中间结果并记录视频（这会增加运行时间）

更多参数在./conf/x/style.yaml中，您可以从命令行修改这些参数。例如，在脚本末尾附加x.vpsd.n_particle=4。

SIVE

**提示：**一名宇航员在沙漠中行走，背景是火星，漂浮在行星旁边，太空艺术 预览：

注意力图	背景初始	前景初始	背景最终	前景最终	最终
<img src="https://yellow-cdn.veclightyear.com/835a84d5/96cd8f8c-83c8-4820-b407-f51d89f1a42a.png">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/fd633c2b-be33-4cdb-9045-4f68eaaad715.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/966f150a-78e1-48ae-a872-92fb0e2a1a15.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/7fbc60c5-cbd7-48cf-9e60-a2898294583f.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b6cc6646-52e2-449a-8782-fbdb71cda8d8.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/bbe073de-a014-419c-8def-79a762417931.svg">

脚本：

python svgdreamer.py x=iconography-s1 skip_sive=False "prompt='an astronaut walking across a desert, planet mars in the background, floating beside planets, space art'" token_ind=5 result_path='./logs/astronaut_sive' seed=116740

VPSD

✍️ 图标风格

**提示：**悉尼歌剧院。油画。梵高作品 预览：

粒子 1	粒子 2	粒子 3	粒子 4	粒子 5	粒子 6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/cf134758-f0fc-4997-84dc-5632d8b78bbf.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/0b8762b5-f5d2-4fcf-a234-394596921133.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b1923533-bf77-4d5a-a0c6-c22d66fd3230.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/94ab5f2b-2834-4395-aaf8-c87556d060c4.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/8dcf9737-6cb0-423a-8252-8906d90e8268.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/c6a637d6-7e5a-4513-ac9a-f6b49a3a187f.svg">
最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/453d4b9b-77f9-4490-ac45-8320f9729fb7.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/076c1364-ba40-4173-a8b1-4b44a462ec6f.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/6b0ebb49-fb66-42a6-ac05-2b72cb6684c2.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/04a39a26-ce4d-4a66-8723-5fd787988379.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/9e01a11f-b28f-48f9-b015-c24f1beebc76.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b77b7689-8289-4c9a-8704-b92b0c498029.svg">

脚本：

python svgdreamer.py x=iconography "prompt='悉尼歌剧院。油画。梵高风格'" result_path='./logs/SydneyOperaHouse-OilPainting' state.mprec='fp16'

✍️ 绘画风格

提示： 抽象文森特·梵高油画大象，以绿色和棕色的大地色调为特色 预览：

粒子 1	粒子 2	粒子 3	粒子 4	粒子 5	粒子 6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/1735bdd3-3a95-46f3-b20b-3d8af2a0a447.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/6768ceb8-42fa-4432-9662-32d8f67fcb77.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/13a47b5f-5f03-4d0a-83eb-b547b560b799.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/420827e6-966a-4fc2-af73-25d360d1bf68.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/6808ba3e-87c8-4f3b-a902-7077693714d9.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/d8240599-5919-48d3-9a39-996fbb261304.svg">
最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/f70585fb-0772-414d-96a3-9b089b9bea59.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/cde8f4e3-e08e-4730-a7ed-2224ec959d7a.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b321af9e-1cad-4e2a-8db8-4b7193ccaeb9.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/c3c21cbe-dcc3-4069-b822-76188e09fa64.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/4d700e37-04f5-432b-a810-18d3498756a8.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/f00c237b-e246-4e10-823d-0f1fccf20ee4.svg">

脚本：

python svgdreamer.py x=painting "prompt='抽象文森特·梵高油画大象，以绿色和棕色的大地色调为特色。'" x.num_paths=256 result_path='./logs/Elephant-OilPainting'

✍️ 像素艺术风格

提示： 拿着光剑的达斯·维达 预览：

粒子 1	粒子 2	粒子 3	粒子 4	粒子 5	粒子 6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/d1d68b1c-607a-47e4-a943-5ed9c809cf1e.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/a317ae84-9c2c-4d7b-b94b-865a5097469c.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/ae8b0c6a-d926-4625-93f7-06c383c9b6cd.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/39b89480-c2f4-46cb-aed4-1c0d8a5530fa.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/33a3081c-d808-4058-a17d-36d018ec06d4.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/82aec21b-db83-42e2-8362-b38fb6820109.svg">
最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/044f6f9b-e087-41a5-83bd-b4d34ba54b96.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b2af64f2-2582-4e66-890f-8e5cb978f0f7.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/af5bf5e9-9a95-4ed9-b933-8b923066c173.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b7109036-5770-440d-8db0-bc09d3c50cb7.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/838997a1-9f1f-4a35-b8b7-ff303cecbebb.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/c099224b-fdd9-4200-a36c-b4708cc8a287.svg">

脚本：

python svgdreamer.py x=pixelart "prompt='拿着光剑的达斯·维达。'" result_path='./logs/DarthVader'

✍️低多边形风格

提示： 一幅白头鹰的图片。低多边形。多边形。极简平面2D矢量

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/d12d1e44-9246-4052-a4b6-2329d2afe468.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/5d3d8ebf-f9c3-48ff-8fb3-1075412fdf4c.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/6a346a8b-ad2e-43b4-85d1-a3db1a08b9cf.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/fd048060-f478-4e0a-afb6-a7d99d8ac6a9.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/9e2a6929-aeab-47e0-ac2d-029a381fbedf.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/667e73bb-43f2-4f21-829a-349e96a7fa22.svg">
最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/8d075cad-a7b7-46b1-834f-43b1516ba588.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/1067e99c-938e-41ab-a65d-a695279be572.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/41550495-0ee2-4e52-959b-04beaadfd3dc.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/586b4f3b-c975-4198-9c92-7773613c22a5.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/1edd06d7-171a-4fd4-95d5-2b54d3ab7bcc.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/c273b207-f986-4fa3-9d26-4eb69b897745.svg">

脚本:

python svgdreamer.py x=lowpoly "prompt='A picture of a bald eagle. low-ploy. polygon. minimal flat 2d vector'" neg_prompt='' result_path='./logs/BaldEagle'

✍️ 素描风格

提示词: 一幅兰博基尼高速行驶的手绘画。黑白绘画。 预览:

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/4e1efdfd-9a47-4c7d-99fd-9897d10529e2.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/fb701a32-5e62-4b2b-a7ce-2f7ebcc3b84f.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/ee4c6771-2157-4f06-88f2-4eee5f8de8c3.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/cc8b2154-a404-4094-a2e6-91ec5501add1.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/e97b39d1-71c1-43f0-9304-11028413519a.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b649cfef-ee63-45be-be8f-ef66531c19a3.svg">
最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/06a0a336-2b30-4f0c-89d6-d8c1eda2458a.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/5a58498d-a3f0-48b6-932f-91f7e4025184.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/fc93ccd5-346b-4dfe-aa36-052fd67a98f0.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/d0cba578-efda-43a1-9a10-3481307687dc.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/1f7f68a4-e7d8-4460-befe-5d319bc25390.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/6a7160bf-4a26-4d96-ac92-2e440bbdd576.svg">

脚本:

python svgdreamer.py x=sketch "prompt='A free-hand drawing of A speeding Lamborghini. black and white drawing.'" neg_prompt='' result_path='./logs/Lamborghini'

✍️ 水墨画风格

提示词: 大雁塔。水墨风格。极简抽象艺术灰度水彩。空白背景 预览:

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/f261c54a-17d3-4494-897f-117f8a12cce2.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/34c93719-ede7-495f-9fa8-3a6b0168a212.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/80cb8ddb-6ea7-4b55-9dec-1a2464665874.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/f0b2b3de-b765-46f2-92c2-8a8e031d16bd.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/10905b4f-fc55-497a-9aa7-1f3ed7a1b45d.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/f9bfe2e6-1b90-4f32-af16-a82cf16a0b14.svg">
最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6
<img src="https://yellow-cdn.veclightyear.com/835a84d5/bfbda36f-6160-4dcc-906f-9e7ef49aa796.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/8d3c59db-c2ab-4abe-9e82-fec62e9bb21a.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/11e1ed2b-386e-4b6b-8e08-ffc075deccac.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/0b1deeb5-e51a-4a92-aaeb-901e94b0f9a3.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/2bfa3177-ec50-42e6-b8ec-a36badeb3132.svg">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/94885e51-7f8e-4ea6-9156-88c8a9aa2b72.svg">

脚本:

python svgdreamer.py x=ink "prompt='Big Wild Goose Pagoda. ink style. Minimalist abstract art grayscale watercolor. empty background'" neg_prompt='' result_path='./logs/BigWildGoosePagoda'

🔑 提示

强烈建议开启 xformer enable_xformers=True 以加速优化。
x.vpsd.t_schedule 对结果风格影响很大。请多尝试。
neg_prompt 负面提示词会影响结果质量。
通过设置 state.mprec='fp16'，可以显著减少 GPU 内存使用。

📋 待办事项

发布代码。
添加 docker 镜像。
支持 fp16 优化。

:books: 致谢

本项目基于以下仓库构建：

我们衷心感谢这些作者的杰出工作。

:paperclip: 引用

如果您在研究中使用了此代码，请引用以下论文：

@InProceedings{svgdreamer_xing_2023,
    author    = {Xing, Ximing and Zhou, Haitao and Wang, Chuang and Zhang, Jing and Xu, Dong and Yu, Qian},
    title     = {SVGDreamer: Text Guided SVG Generation with Diffusion Model},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2024},
    pages     = {4546-4555}
}