deforum-stable-diffusion

deforum-stable-diffusion

开源AI图像合成项目 支持2D/3D动画生成

Deforum Stable Diffusion是一个开源AI图像合成项目,支持生成插值、2D和3D动画。该项目提供CLIP、美学和调色板条件控制等功能,使稳定扩散技术更易于使用和定制。尽管目前已停止维护,用户仍可通过fork继续开发。Deforum为创作者提供了灵活的AI图像生成工具,可用于创作短视频、艺术动画、视觉效果等领域,为视频制作和创意内容创作提供强大支持。

Deforum Stable Diffusion机器学习图像合成开源项目AI艺术Github

Deforum 稳定扩散

⚠️ 注意:本项目已不再维护。 ⚠️

此存储库不再积极维护或更新。建议用户寻找替代解决方案或者如果希望继续开发,可以复刻该项目。

<p align="left"> <a href="https://github.com/deforum-art/deforum-stable-diffusion/commits"><img alt="最后提交" src="https://img.shields.io/github/last-commit/deforum-art/deforum-stable-diffusion"></a> <a href="https://github.com/deforum-art/deforum-stable-diffusion/issues"><img alt="GitHub 问题" src="https://img.shields.io/github/issues/deforum-art/deforum-stable-diffusion"></a> <a href="https://github.com/deforum-art/deforum-stable-diffusion/stargazers"><img alt="GitHub 星标" src="https://img.shields.io/github/stars/deforum-art/deforum-stable-diffusion"></a> <a href="https://github.com/deforum-art/deforum-stable-diffusion/network"><img alt="GitHub 分支" src="https://img.shields.io/github/forks/deforum-art/deforum-stable-diffusion"></a> <a href="https://colab.research.google.com/github/deforum-art/deforum-stable-diffusion/blob/main/Deforum_Stable_Diffusion.ipynb"><img alt="Colab" src="https://yellow-cdn.veclightyear.com/835a84d5/9950d99e-ecfe-4ed5-9479-d996987b9240.svg"></a> <a href="https://replicate.com/deforum-art/deforum-stable-diffusion"><img alt="Replicate" src="https://replicate.com/deforum-art/deforum-stable-diffusion/badge"></a> </p>

欢迎来到 Deforum 稳定扩散!

目录

简介

我们是一群热衷于让稳定扩散机器学习图像合成技术普及到每个人的程序员和艺术家社区。我们的开源项目旨在免费使用,并且易于根据自定义需求和流程进行修改。我们相信协作的力量,并不断一起努力改进和发展我们的稳定扩散实现。无论你是经验丰富的开发者还是刚刚入门,我们都邀请你加入我们,成为这个激动人心项目的一份子。

现在你也可以在 Replicate 上轻松运行 Deforum 稳定扩散,查看网页演示和 API 请点击这里 Replicate

主要特性

  • 我们的实现是用 IPython notebook 编写的,专为 Google Colab 使用而设计。
  • 为应对积分系统的实施,我们增加了对本地运行时的支持,并将添加网页用户界面。
  • 该 notebook 包含多种功能,用于生成插值、2D 和 3D 动画以及 RANSAC 动画。
  • 我们还提供 CLIP、美学和色彩调色板条件设置。
  • 我们的目标是为用户提供一系列工具和选项来创建稳定扩散图像。

开始之前

在开始安装和使用 Deforum 稳定扩散之前,你需要做以下几件事:

  1. 安装 ffmpeg。FFmpeg 是一个免费的软件项目,用于处理多媒体数据的库和程序。你需要它来处理音频和视频文件。按照网站上的说明下载并安装 FFmpeg 到你的系统上(https://ffmpeg.org/ffmpeg.html)。安装完成后,确保它在你的 PATH 中,在终端中运行 ffmpeg -h。如果没有收到错误消息,就说明安装成功。这里有一个 Windows 系统的安装指南 (https://phoenixnap.com/kb/ffmpeg-windows)。

  2. 安装最新的 NVIDIA 驱动程序,以支持 CUDA 11.7(Windows 用户可能不需要)。NVIDIA CUDA 是一个并行计算平台和编程模型,使开发人员能够利用 NVIDIA 图形处理单元 (GPU) 的力量来加速计算密集型任务。你需要安装最新的 NVIDIA 驱动程序才能使用 Deforum 稳定扩散。你可以在这里找到驱动程序。按照网站上的说明下载并安装驱动程序。

  3. 创建一个 huggingface token。Hugging Face 是一个自然语言处理平台,提供最先进的模型和工具。你需要创建一个 token 才能使用 Deforum 稳定扩散中的一些自动模型下载功能。按照 Hugging Face 网站上的说明创建 token。

  4. 安装 Anaconda。Anaconda 是 Python 和 R 的免费开源发行版。它包含一个名为 conda 的包管理器,可以轻松安装和管理 Python 环境和包。按照 Anaconda 网站上的说明下载并安装 Anaconda 到你的系统上。

  5. 为你的系统安装 Git。Git 是一个版本控制系统,可以帮助你跟踪代码变更并与其他开发者协作。你可以通过在终端中运行 conda install -c anaconda git -y 来使用 Anaconda 安装 Git。如果你在通过 Anaconda 安装 Git 时遇到问题,可以使用以下链接:

完成这些步骤后,你就可以开始安装 Deforum 稳定扩散了。

入门指南

要安装 Deforum 稳定扩散,请按照以下步骤操作:

  1. 为 Deforum 创建一个合适的 anaconda 环境并激活它:
conda create -n dsd python=3.10 -y
conda activate dsd
  1. 克隆这个 GitHub 仓库并进入它:
git clone https://github.com/deforum-art/deforum-stable-diffusion.git
cd deforum-stable-diffusion
  1. 使用安装脚本安装所需的包:
python install_requirements.py
  1. 通过运行 Python 脚本检查你的安装:
python Deforum_Stable_Diffusion.py

运行 Deforum

运行Deforum Stable Diffusion有四种方式:本地运行.py文件、本地运行Jupyter、通过Colab本地运行,以及在Colab服务器上运行。

本地运行

要在本地运行Deforum Stable Diffusion,确保激活了dsd conda环境:

conda activate dsd

然后导航到stable-diffusion文件夹,运行Deforum_Stable_Diffusion.py或Deforum_Stable_Diffusion.ipynb文件。运行.py文件是检查安装是否正常的最快捷简便方法,但它不是调试提示和设置的最佳环境。

python Deforum_Stable_Diffusion.py

如果你更喜欢类似Colab的体验,可以在Jupyter Lab或Jupyter Notebook中运行.ipynb文件。在stable-diffusion文件夹中激活Jupyter Lab或Jupyter Notebook,使用以下任一命令:

jupyter-lab

jupyter notebook

Colab本地运行时

要使用Colab本地运行时运行Deforum Stable Diffusion,确保激活了dsd conda环境:

conda activate dsd

然后,打开Google Colab,选择"文件 > 上传笔记本",选择stable-diffusion文件夹中的.ipynb文件。通过运行以下命令启用Jupyter扩展:

jupyter serverextension enable --py jupyter_http_over_ws

运行以下命令启动服务器:

jupyter notebook --NotebookApp.allow_origin='https://colab.research.google.com' --port=8888 --NotebookApp.port_retries=0

复制粘贴提供的URL和令牌到浏览器以访问Jupyter笔记本。

重新开始

如果需要从头开始,可以删除stable-diffusion文件夹并使用以下命令删除dsd conda环境:

conda deactivate
conda env remove -n dsd

删除dsd环境后,你可以重新开始全新安装。

自定义

Deforum Stable Diffusion提供了广泛的自定义和配置选项,让你可以轻松根据特定需求和偏好调整输出。主推理笔记本中有超过100种不同设置可用,可能性无穷无尽。

有关如何自定义和配置Deforum Stable Diffusion的更多详细信息,请查看指南并关注即将推出的wiki。如果在使用Deforum Stable Diffusion时遇到任何问题,可以尝试以下几点:

  • 确保已安装所有必需的依赖项并正确遵循安装说明。
  • 查看示例文件夹以获取指导。
  • 查看最新的用户指南以获取故障排除提示和解决方案。
  • 如果仍然找不到解决方案,随时联系乐于助人且知识渊博的Deforum Discord。

贡献

我们欢迎任何经验水平的人为Deforum Stable Diffusion做出贡献。如果你有兴趣贡献,请联系Deforum Discord的开发人员以获取更多信息。

所有贡献都通过GitHub管理,我们为正在进行的功能维护分支。我们遵循GitFlow分支模型,dev分支作为主要集成分支。

在提交拉取请求之前,请确保:

  • 编写清晰、简洁且文档完善的代码。
  • 遵循项目中使用的编码风格和约定。
  • 彻底测试你的更改以确保它们按预期工作。

支持我们

Deforum Stable Diffusion是一个社区驱动的开源项目,可以免费使用和修改。我们依靠用户的支持来维持项目运行并帮助我们改进。如果你想支持我们,可以在我们的Patreon页面上捐款。任何金额,无论大小,我们都非常感谢!

你的支持帮助我们支付托管、开发和维护的费用,并允许我们投入更多时间和资源来改进Deforum Stable Diffusion。感谢你的支持!

此readme是与chat-gpt合作编写的

编辑推荐精选

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

聊天机器人AI助手热门AI工具AI对话
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

热门AI工具AI办公办公工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

模型训练热门AI工具内容创作智能问答AI开发讯飞星火大模型多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

AI助手热门AI工具AI创作AI辅助写作讯飞绘文内容运营个性化文章多平台分发
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

下拉加载更多