june

简介

june 是一个本地语音聊天机器人，结合了 Ollama（用于语言模型能力）、Hugging Face Transformers（用于语音识别）和 Coqui TTS Toolkit（用于文本转语音合成）。它为用户提供了一种灵活、专注隐私的语音助手方案，确保在你的本地机器上进行语音交互时，不会有数据传输到外部服务器。

交互模式

• 文本输入/文本输出： 用户可以输入文本并收到助手的文本回复。
• 语音输入/文本输出： 用户使用麦克风进行语音输入，并从助手那里接收文本回复。
• 文本输入/音频输出： 用户输入文本，得到文本和合成音频的回复。
• 语音输入/音频输出（默认模式）： 使用麦克风进行语音输入，并收到文本与合成音频形式的回复。

安装

前置条件

• 安装 Ollama。
• Python 3.10 或更高版本（包含 pip）。
• 在 GNU/Linux 上，需要安装 Python 开发包和 PortAudio 开发包。
• 在 macOS 上，通过 Homebrew 安装 PortAudio。
• 在 Windows 上，需要安装微软 Visual C++ 14.0 或更高版本。

从源码安装

方法 1：直接安装

通过 GitHub 仓库直接安装 june：

pip install git+https://github.com/mezbaul-h/june.git@master

方法 2：克隆并安装

或者，你可以克隆仓库并进行本地安装：

git clone https://github.com/mezbaul-h/june.git
cd june
pip install .

使用方法

首先，用 Ollama 拉取语言模型（默认是 llama3.1:8b-instruct-q4_0）：

ollama pull llama3.1:8b-instruct-q4_0

接下来，运行程序（使用默认配置）：

june-va

此操作将使用 llama3.1:8b-instruct-q4_0 作为语言模型，openai/whisper-small.en 用于语音识别，以及 tts_models/en/ljspeech/glow-tts 进行音频合成。

你也可以使用 JSON 配置文件自定义程序行为：

june-va --config path/to/config.json

自定义

应用程序可以通过配置文件进行自定义。该配置文件必须是 JSON 格式。默认配置如下：

{
    "llm": {
        "disable_chat_history": false,
        "model": "llama3.1:8b-instruct-q4_0"
    },
    "stt": {
        "device": "torch device identifier (`cuda` if available; otherwise `cpu`",
        "generation_args": {
            "batch_size": 8
        },
        "model": "openai/whisper-small.en"
    },
    "tts": {
        "device": "torch device identifier (`cuda` if available; otherwise `cpu`",
        "model": "tts_models/en/ljspeech/glow-tts"
    }
}

使用配置文件时，它会覆盖默认配置，但不会删除默认设置。比如，如果你不希望使用语音识别，只提供文本提示，可以通过如下配置禁用：

{
  "stt": null
}

同样，你可以禁用音频合成器，或者两者都禁用，只使用文本模式的虚拟助手。

配置属性

llm - 语言模型配置

• llm.device: Torch 设备标识符（如 cpu、cuda、mps），用于分配流水线。
• llm.disable_chat_history: 是否禁用聊天历史的布尔值。
• llm.model: 在 Ollama 上的文本生成模型标签。

stt - 语音转文本模型配置

• tts.device: Torch 设备标识符。
• stt.generation_args: Hugging Face 语音识别流水线接受的生成参数。
• stt.model: Hugging Face 上语音识别模型的名称。

tts - 文本转语音模型配置

• tts.device: Torch 设备标识符。
• tts.generation_args: Coqui TTS API 接受的生成参数。
• tts.model: 支持的文本转语音模型名称。

常见问题

如何进行语音输入？

在看到 [system]> Listening for sound... 消息后，用户可以直接对着麦克风讲话。无需唤醒命令，直接开始说话即可。完成后，保持 3 秒安静以便助手处理语音输入。

可以克隆一个声音吗？

许多模型（如 tts_models/multilingual/multi-dataset/xtts_v2）支持 Coqui TTS Toolkit 的语音克隆。用户可以使用一段简短音频（大约 1 分钟）创建自己的说话人轮廓。

如何在本地使用远程 Ollama 实例？

可以通过设置 OLLAMA_HOST 环境变量，将 OLLAMA_HOST 设置为远程 Ollama 实例的适当 URL，然后正常运行程序。使用远程 Ollama 实例示例如下：

OLLAMA_HOST=http://localhost:11434 june-va