XTTS 流式服务器

警告：XTTS-streaming-server 不支持并发流式请求，它是一个演示服务器，不适用于生产环境。

https://github.com/coqui-ai/xtts-streaming-server/assets/17219561/7220442a-e88a-4288-8a73-608c4b39d06c

1) 运行服务器

使用预构建镜像

CUDA 12.1:

$ docker run --gpus=all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest-cuda121

CUDA 11.8（适用于较旧的显卡）：

$ docker run --gpus=all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest

CPU（不推荐）：

$ docker run -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest-cpu

使用微调模型运行：

确保模型文件夹 /path/to/model/folder 包含以下文件：

• config.json
• model.pth
• vocab.json

$ docker run -v /path/to/model/folder:/app/tts_models --gpus=all -e COQUI_TOS_AGREED=1  --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest`

将 COQUI_TOS_AGREED 环境变量设置为 1 表示您已阅读并同意 CPML 许可 的条款。（微调的 XTTS 模型也受 CPML 许可 约束）

自行构建镜像

要构建 Pytorch 2.1 和 CUDA 11.8 的 Docker 容器：

DOCKERFILE 可以是 Dockerfile、Dockerfile.cpu、Dockerfile.cuda121 或您自定义的 Dockerfile。

$ git clone git@github.com:coqui-ai/xtts-streaming-server.git
$ cd xtts-streaming-server/server
$ docker build -t xtts-stream . -f DOCKERFILE
$ docker run --gpus all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 xtts-stream

将 COQUI_TOS_AGREED 环境变量设置为 1 表示您已阅读并同意 CPML 许可 的条款。（微调的 XTTS 模型也受 CPML 许可 约束）

2) 测试运行中的服务器

Docker 容器运行后，您可以测试它是否正常工作。您需要在一个新的终端中运行以下代码。

如果您还没有克隆 xtts-streaming-server，请先克隆

$ git clone git@github.com:coqui-ai/xtts-streaming-server.git

使用 gradio 演示

$ cd xtts-streaming-server
$ python -m pip install -r test/requirements.txt
$ python demo.py

使用测试脚本

$ cd xtts-streaming-server/test
$ python -m pip install -r requirements.txt
$ python test_streaming.py