text-to-video-synthesis-colab

🐣 请在Twitter上关注我以获取最新更新 https://twitter.com/camenduru <br /> 🔥 欢迎加入我们的Discord服务器 https://discord.gg/k5BwmmvJJU <br /> 🥳 诚邀您加入我的Patreon社区 https://patreon.com/camenduru <br />

🦒 Colab

Colab	类型
	longscope 文本生成视频 Colab polyware-ai/longscope <br /> (感谢 @polyware_ai ❤ 提供模型)
	zeroscope v2 xl 文本生成视频 Colab cerspense/zeroscope_v2_XL <br /> (感谢 @cerspense ❤ 提供模型)
	zeroscope v2 576w 文本生成视频 Colab cerspense/zeroscope_v2_576w <br /> (感谢 @cerspense ❤ 提供模型)
	potat1 exp1 文本生成视频 Colab (感谢 lambda labs ❤ 提供 GPU)
	zeroscope v2 dark 文本生成视频 Colab cerspense/zeroscope_v2_dark_30x448x256 <br /> (感谢 @cerspense ❤ 提供模型)
	zeroscope v2 30x448x256 文本生成视频 Colab cerspense/zeroscope_v2_30x448x256 <br /> (感谢 @cerspense ❤ 提供模型)
	zeroscope v1.1 320s 文本生成视频 Colab cerspense/zeroscope_v1-1_320s <br /> (感谢 @cerspense ❤ 提供模型)
	potat1 文本生成视频 Colab camenduru/potat1 (感谢 lambda labs ❤ 提供 GPU)
	zeroscope v1 320s 文本生成视频 Colab cerspense/zeroscope_v1_320s <br /> (感谢 @cerspense ❤ 提供模型)
	ms 1.7b 文本生成视频 Colab damo-vilab/text-to-video-ms-1.7b <br /> (感谢 damo ❤ damo-vilab ❤ 提供模型)
	animov 512x 文本生成视频 Colab strangeman3107/animov-512x <br /> (感谢 @bRuefiRe ❤ 提供模型)
	animov_0_1_1_text_to_video_colab strangeman3107/animov-0.1.1 <br /> (感谢 @bRuefiRe ❤ 提供的模型)

| animov_0_1_text_to_video_colab strangeman3107/animov-0.1.1 <br /> (感谢 @bRuefiRe ❤ 提供的模型)

| 水印去除器

| 文本转视频合成 <br /> (感谢 damo ❤ damo-vilab ❤ 提供的模型)

| 文本转视频合成_扩散器 <br /> (感谢 damo ❤ damo-vilab ❤ 提供的模型)

<!-- [](https://colab.research.google.com/github/camenduru/text-to-video-synthesis-colab/blob/main/zeroscope_video_webui_colab.ipynb) | zeroscope_video_webui_colab [cerspense/zeroscope_v2_576w](https://huggingface.co/cerspense/zeroscope_v2_576w) (576x320 文本生成视频) <br /> [cerspense/zeroscope_v2_30x448x256](https://huggingface.co/cerspense/zeroscope_v2_30x448x256) (448x256 文本生成视频) <br /> [cerspense/zeroscope_v2_XL](https://huggingface.co/cerspense/zeroscope_v2_XL) <br /> (1024x576 视频到视频去噪强度在0.66到0.85之间) <br /> (感谢 [@cerspense](https://twitter.com/cerspense) ❤ 提供模型) <br /> (感谢 [@kabachuha](https://github.com/kabachuha) ❤ 提供 [text2video webui 扩展](https://github.com/deforum-art/sd-webui-text2video)) [](https://colab.research.google.com/github/camenduru/text-to-video-synthesis-colab/blob/main/zeroscope_v2_576w_video_webui_colab.ipynb) | zeroscope_v2_576w_video_webui_colab [cerspense/zeroscope_v2_576w](https://huggingface.co/cerspense/zeroscope_v2_576w) <br /> (576x320 文本生成视频) <br /> (感谢 [@cerspense](https://twitter.com/cerspense) ❤ 提供模型) <br /> (感谢 [@kabachuha](https://github.com/kabachuha) ❤ 提供 [text2video webui 扩展](https://github.com/deforum-art/sd-webui-text2video)) [](https://colab.research.google.com/github/camenduru/text-to-video-synthesis-colab/blob/main/zeroscope_upscale_video_webui_colab.ipynb) | zeroscope_upscale_video_webui_colab [cerspense/zeroscope_v2_XL](https://huggingface.co/cerspense/zeroscope_v2_XL) <br /> (1024x576 视频到视频去噪强度在0.66到0.85之间) <br /> (感谢 [@cerspense](https://twitter.com/cerspense) ❤ 提供模型) <br /> (感谢 [@kabachuha](https://github.com/kabachuha) ❤ 提供 [text2video webui 扩展](https://github.com/deforum-art/sd-webui-text2video)) [](https://colab.research.google.com/github/camenduru/text-to-video-synthesis-colab/blob/main/potat1_video_webui_colab.ipynb) | potat1_video_webui_colab (1024x576 文本生成视频) (感谢 [lambda labs](https://lambdalabs.com/) ❤ 提供 GPU) -->

🦒 社区 Colab

Colab	功能	作者	说明
	potat1_text_to_video_colab_ALM (感谢 snydjos ❤)	snydjos AILostMedia	说明

教程

https://www.youtube.com/watch?v=WHcjD-uraUs (适用于 zeroscope_video_webui_colab 和 zeroscope_upscale_video_webui_colab) <br /> https://www.youtube.com/watch?v=E45AO1w9gRU (适用于 Potat 1️⃣ 和 Zeroscope) <br /> https://www.youtube.com/watch?v=b8D4am73e6I <br />

主要仓库

https://www.modelscope.cn/models/damo/text-to-video-synthesis/summary <br /> https://github.com/modelscope/modelscope <br /> https://github.com/huggingface/diffusers <br />

论文

https://arxiv.org/abs/2308.06571

模型许可

Apache License 2.0

示例

Potat 1️⃣

https://github.com/camenduru/text-to-video-synthesis-colab/assets/54370274/604a8817-5ad3-421a-9240-e5d3b195074d

https://github.com/camenduru/text-to-video-synthesis-colab/assets/54370274/842da028-df43-4dba-bb14-a41d66edeb4e

https://github.com/camenduru/text-to-video-synthesis-colab/assets/54370274/c5201c8a-2815-4533-9474-1e312c564f4e

https://github.com/camenduru/text-to-video-synthesis-colab/assets/54370274/281d1a9e-b930-4e8a-9554-5203e15b4425

https://github.com/camenduru/text-to-video-synthesis-colab/assets/54370274/0bb74810-13bf-4e20-950f-b569a60ea5c8

https://github.com/camenduru/text-to-video-synthesis-colab/assets/54370274/1025f302-9fa1-4bd3-8996-1da94697151e

基础模型

<table><tbody><tr><td><center> 长颈鹿在微波炉下方。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/43bc2a87-d93b-453a-a933-0d9ba3c8af54.gif" alt="长颈鹿在微波炉下方。" style="width: 300px;"> </center></td><td><center> 一只金毛寻回犬在湖边公园玩耍。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/98c8e9be-8adc-428e-b9bf-0724d77f6d2a.gif" alt="一只金毛寻回犬在湖边公园玩耍。" style="width: 300px;"> </center></td><td><center> 熊猫开车。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/828861b8-8759-4508-b040-b835e36b1bf3.gif" alt="熊猫开车。" style="width: 300px;"> </center></td></tr><tr><td><center> 泰迪熊在纽约市奔跑。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/0ec9e5c2-26a4-4e1a-838e-fb2e93da15ac.gif" alt="泰迪熊在纽约市奔跑。" style="width: 300px;"> </center></td><td><center> 无人机穿越反乌托邦外星球上的 <br>快餐店。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/63fc1aa8-6b05-4e9f-9df2-c171c697f40e.gif" alt="无人机穿越反乌托邦外星球上的快餐店。" style="width: 300px;"> </center></td><td><center> 一只身穿红色斗篷超级英雄装的狗 <br>在天空中飞翔。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f99cfccc-df0e-487f-999c-d26e47df1dad.gif" alt="一只身穿红色斗篷超级英雄装的狗在天空中飞翔。" style="width: 300px;"> </center></td></tr><tr><td><center> 猴子学弹钢琴。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6c54b214-dc0f-4d52-93e5-152fbec7bb03.gif" alt="猴子学弹钢琴。" style="width: 300px;"> </center></td><td><center> 一窝小狗在院子里奔跑。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/8a948edc-3d4f-4255-a60b-7a38f4cbf9fa.gif" alt="一窝小狗在院子里奔跑。" style="width: 300px;"> </center></td><td><center> 机器人在时代广场跳舞。 <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/aa20ff3b-8bbd-4551-86dc-1818bb92e0b1.gif" alt="机器人在时代广场跳舞。" style="width: 300px;"> </center></td></tr></tbody></table>

相关Colab

https://github.com/camenduru/text2video-zero-colab