multimedia-gpt

Multimedia GPT 项目介绍

项目概述

Multimedia GPT 是一个创新的平台，旨在将 OpenAI 的 GPT 技术与视觉和音频相结合。通过使用 OpenAI 的 API 密钥，用户可以发送图像、音频录音以及 PDF 文档，还可以从中获得文本和图像格式的响应。目前，支持加入了视频功能。所有这些功能的实现都得益于一个名为 prompt manager 的工具，该工具灵感来源于 Microsoft Visual ChatGPT 项目。

模型支持

Multimedia GPT 支持使用 OpenAI 的 Whisper 模型进行语音识别，以及使用 OpenAI 的 DALLE 进行图像生成。用户不再需要自己的 GPU 来进行语音识别和图像生成（当然有GPU亦可使用）。基础聊天模型可以配置为任何 OpenAI 的大语言模型，包括 ChatGPT 和 GPT-4。默认情况下，使用的是 text-davinci-003 模型。

用户也可以将此项目进行分叉，添加适合自己使用的模型。这可以通过使用 llama_index 进行实现。只需在 model.py 文件中为新模型创建一个类，并在 multimedia_gpt.py 中添加一个 run_<model_name> 的运行方法即可。

演示示例

在项目演示中，ChatGPT 被输入一段讲述灰姑娘故事的录音。此演示展示了如何将音频转换为文本响应。

安装指南

以下是项目安装步骤：

1. 克隆项目库：

   git clone https://github.com/fengyuli2002/multimedia-gpt
   cd multimedia-gpt

2. 准备 conda 环境：

   conda create -n multimedia-gpt python=3.8
   conda activate multimedia-gpt
   pip install -r requirements.txt

3. 准备私人 OpenAI 密钥：

   • 对于 Linux / MacOS 用户：

     echo "export OPENAI_API_KEY='yourkey'" >> ~/.zshrc

   • 对于 Windows 用户：

     setx OPENAI_API_KEY “<yourkey>”

4. 启动 Multimedia GPT：

   python multimedia_gpt.py --load ImageCaptioning_cpu,DALLE_cpu,Whisper_cpu

5. 配置使用的 OpenAI LLM：

   python multimedia_gpt.py --llm text-davinci-003

   默认使用 gpt-3.5-turbo（ChatGPT）。

项目计划与已知问题

尽管该项目是一个实验性质的工作，不打算在生产环境中部署，其目标是探索提示的强大功能。

待办事项：

• 支持 OpenAI Whisper 语音识别（已加入默认配置）
• 支持 OpenAI DALLE 进行图像生成（已加入默认配置）
• 支持 OpenAI DALLE 进行图像编辑
• 加入 ChatGPT 和 GPT-4 后端之间的命令行切换
• 实现从视频中提取关键帧的功能

已知问题：

• DALLE 仅接受正方形的 .png 图片，目前需要解决方案
• PDFReader（来自 llama_index）需要更高版本的 langchain，这与 Visual ChatGPT 的实现方式不兼容

支持者

Multimedia GPT 项目感谢所有为其支持的用户和开发者们。