StoryTeller - 多模态AI讲故事工具入门指南 - 基于Stable Diffusion、GPT和语音合成的创意神器

StoryTeller简介

StoryTeller是一个多模态AI讲故事工具,结合了Stable Diffusion图像生成、GPT文本生成和神经网络语音合成(TTS)技术。它可以根据给定的开场白生成完整的故事情节,为每个句子生成配图,并配上语音朗读,最终生成一个包含音频和视觉效果的完整动画短片。

安装方法

通过PyPI安装

StoryTeller可以通过PyPI安装,运行以下命令:

pip install storyteller-core

从源码安装

1. 克隆仓库:

git clone https://github.com/jaketae/storyteller.git
cd storyteller

2. 安装依赖

注意:对于Apple Silicon用户,需要先用Homebrew安装mecab:

brew install mecab

3. (可选)安装开发依赖:

pip install -e .[dev]
pre-commit install

快速开始

使用命令行界面(CLI)是最快速运行演示的方法。基本用法如下:

storyteller

这将使用默认提示"Once upon a time, unicorns roamed the Earth"初始化故事。

您可以使用--writer_prompt参数自定义故事的开头,例如:

storyteller --writer_prompt "The ravenous cat, driven by an insatiable craving for tuna, devised a daring plan to break into the local fish market's coveted tuna reserve."

生成的最终视频将保存在/out/out.mp4目录中。

高级用法

使用CUDA加速

如果您有支持CUDA的机器,可以运行:

storyteller --writer_device cuda --painter_device cuda

Apple Silicon支持

对于Apple Silicon设备,可以运行:

storyteller --writer_device mps --painter_device mps

Python接口

StoryTeller也提供了Python接口,可以在Python代码中直接使用:

from storyteller import StoryTeller

story_teller = StoryTeller.from_default()
story_teller.generate(...)

总结

StoryTeller为创意写作和视频制作提供了一个强大而有趣的AI工具。无论您是想快速生成短视频,还是探索AI创意的可能性,StoryTeller都值得一试。欢迎访问StoryTeller GitHub仓库了解更多信息,并开始您的AI讲故事之旅!