storyteller

项目介绍

StoryTeller

StoryTeller 是一个多模态人工智能项目，结合了几种强大的技术，包括 Stable Diffusion、GPT 和神经网络文本转语音（TTS），用于自动生成生动的短篇故事视频。它能够根据给定的故事开头提示，自动生成故事情节，绘制图像，并为每句话配上语音，最终呈现出一个完整的音频、视觉兼备的动画视频。

项目功能

StoryTeller 的主要功能是通过输入一个故事的开头，利用 GPT 模型继续生成故事情节，然后通过 Stable Diffusion 为故事中的每句话生成相应的图像。接着，利用TTS技术将这些句子逐条转化为语音。最终生成的输出是一个包含音频和视觉效果的动画短片。

安装指南

StoryTeller 可以通过多种方式安装和使用。以下是一些简单的安装步骤：

使用 PyPI

用户可以通过 PyPI 平台安装 StoryTeller，只需运行以下命令即可：

$ pip install storyteller-core

从源码安装

1. 克隆项目库：

   $ git clone https://github.com/jaketae/storyteller.git
   $ cd storyteller

2. 安装依赖：

   $ pip install .

   注意：对于 Apple Silicon 用户，需要预先安装 mecab 才能继续安装其他依赖。

3. （可选）进行本地开发，需要安装开发依赖并启用预提交钩子：

   $ pip install -e .[dev]
   $ pre-commit install

快速入门

启动 StoryTeller 的最快捷方式是使用命令行界面（CLI）。简单地输入下面的命令即可开始：

$ storyteller

该命令将使用默认的提示语“从前，地球上到处是独角兽”开始生成故事。用户可以通过 --writer_prompt 参数自定义故事的开头。例如：

storyteller --writer_prompt "饥饿的猫因无法抑制对金枪鱼的无限渴望，打算入侵当地鱼市的珍贵金枪鱼储备。"

最终生成的视频文件将保存在 /out/out.mp4 目录中。

使用说明

StoryTeller 支持多种自定义选项，用户可以通过命令行参数调整默认设置。要查看所有可用选项及其说明，可以输入：

$ storyteller --help

高级设置

StoryTeller 提供了一些高级选项来优化性能，比如利用 CUDA（如果可用）来加速处理，或者使用 attention slicing 技术来节省内存。用户还可以将 StoryTeller 直接集成到 Python 代码中，灵活配置模型参数来满足更加复杂的使用需求。

开源许可

这个项目依据 MIT 许可协议开源，允许用户自由使用、复制、修改和分发。

StoryTeller 通过结合先进的人工智能技术，让人们在自动写作、画画及语音叙述方面获得全新的体验。通过简单的几步操作，用户可以创作出独特的数字故事，与他人分享灵感。