Vocode-Core: 开源语音交互LLM应用开发框架

Vocode-Core: 开源语音交互LLM应用开发框架

在人工智能和自然语言处理技术快速发展的今天,语音交互已经成为人机交互的一个重要方式。Vocode-Core作为一个开源的语音交互LLM应用开发框架,为开发者提供了一套强大而灵活的工具,可以帮助他们快速构建各种基于语音的AI应用。本文将深入介绍Vocode-Core的特性、架构以及使用方法,帮助读者全面了解这个优秀的开源项目。

Vocode-Core简介

Vocode-Core是一个由vocodedev团队开发的开源项目,旨在简化语音交互LLM应用的开发过程。它提供了一系列易用的抽象和集成,使得开发者可以在短时间内构建出功能丰富的语音应用。无论是智能客服、语音助手,还是基于语音的游戏,Vocode-Core都能为开发者提供强有力的支持。

主要特性

Vocode-Core提供了许多令人印象深刻的特性:

1. 实时语音交互: 支持与LLM模型进行实时的语音对话,可以应用于电话、Zoom会议等场景。

2. 多种集成: 提供与多种转录服务、LLM模型和语音合成服务的集成,包括AssemblyAI、Deepgram、OpenAI、Anthropic、Azure等。

3. 灵活的部署选项: 可以部署到电话系统、Zoom会议,甚至是本地系统音频。

4. Langchain集成: 支持将Vocode-Core与Langchain结合使用,扩展AI代理的能力。

5. 开源和可扩展: 作为开源项目,Vocode-Core欢迎社区贡献,并且易于扩展以支持新的服务和功能。

架构概览

Vocode-Core的架构主要包含以下几个核心组件:

1. 转录器(Transcriber): 负责将语音输入转换为文本。支持多种服务,如AssemblyAI、Deepgram等。

2. 代理(Agent): 处理转录后的文本,生成响应。通常使用LLM模型,如OpenAI的GPT系列。

3. 合成器(Synthesizer): 将代理生成的文本响应转换为语音输出。支持多种服务,如Azure、Google Cloud等。

4. 对话管理(Conversation): 协调转录器、代理和合成器,管理整个对话流程。

这种模块化的设计使得Vocode-Core具有很高的灵活性和可扩展性。开发者可以根据需要选择和配置不同的组件,以适应各种应用场景。

快速入门

要开始使用Vocode-Core,首先需要安装依赖:

pip install vocode

然后,可以使用以下代码快速创建一个基本的语音交互应用:

import asyncio
import signal
from pydantic_settings import BaseSettings, SettingsConfigDict

from vocode.helpers import create_streaming_microphone_input_and_speaker_output
from vocode.streaming.agent.chat_gpt_agent import ChatGPTAgent
from vocode.streaming.models.agent import ChatGPTAgentConfig
from vocode.streaming.models.message import BaseMessage
from vocode.streaming.models.synthesizer import AzureSynthesizerConfig
from vocode.streaming.models.transcriber import DeepgramTranscriberConfig, PunctuationEndpointingConfig
from vocode.streaming.streaming_conversation import StreamingConversation
from vocode.streaming.synthesizer.azure_synthesizer import AzureSynthesizer
from vocode.streaming.transcriber.deepgram_transcriber import DeepgramTranscriber

# 配置设置
class Settings(BaseSettings):
    openai_api_key: str = "YOUR_OPENAI_API_KEY"
    azure_speech_key: str = "YOUR_AZURE_SPEECH_KEY"
    deepgram_api_key: str = "YOUR_DEEPGRAM_API_KEY"
    azure_speech_region: str = "eastus"

    model_config = SettingsConfigDict(env_file=".env", env_file_encoding="utf-8", extra="ignore")

settings = Settings()

async def main():
    # 创建音频输入输出
    microphone_input, speaker_output = create_streaming_microphone_input_and_speaker_output(use_default_devices=False)

    # 创建对话
    conversation = StreamingConversation(
        output_device=speaker_output,
        transcriber=DeepgramTranscriber(
            DeepgramTranscriberConfig.from_input_device(
                microphone_input,
                endpointing_config=PunctuationEndpointingConfig(),
                api_key=settings.deepgram_api_key,
            ),
        ),
        agent=ChatGPTAgent(
            ChatGPTAgentConfig(
                openai_api_key=settings.openai_api_key,
                initial_message=BaseMessage(text="Hello! How can I help you today?"),
                prompt_preamble="You are a helpful AI assistant.",
            )
        ),
        synthesizer=AzureSynthesizer(
            AzureSynthesizerConfig.from_output_device(speaker_output),
            azure_speech_key=settings.azure_speech_key,
            azure_speech_region=settings.azure_speech_region,
        ),
    )

    # 启动对话
    await conversation.start()
    print("Conversation started, press Ctrl+C to end")
    
    # 处理音频输入
    while conversation.is_active():
        chunk = await microphone_input.get_audio()
        conversation.receive_audio(chunk)

if __name__ == "__main__":
    asyncio.run(main())

这个示例创建了一个使用Deepgram进行语音转文本、ChatGPT作为对话代理、Azure进行语音合成的应用。用户可以通过麦克风与AI助手进行对话。

高级功能

除了基本的语音交互,Vocode-Core还支持许多高级功能:

1. 电话集成: 可以创建能够接听和拨打电话的AI代理。

from vocode.streaming.telephony.conversation.outbound_call import OutboundCall
from vocode.streaming.telephony.config_manager.redis_config_manager import RedisConfigManager

outbound_call = OutboundCall(
    recipient_phone_number="+1234567890",
    caller_phone_number="+0987654321",
    config_manager=RedisConfigManager(),
    agent=ChatGPTAgent(...),
    synthesizer=AzureSynthesizer(...),
    transcriber=DeepgramTranscriber(...)
)
await outbound_call.start()

2. Zoom会议集成: 允许AI代理加入Zoom会议。

3. 多模态交互: 支持结合文本、语音甚至图像的多模态交互。

4. 自定义行为: 可以通过继承和重写基类来自定义代理的行为。

from vocode.streaming.agent.base_agent import BaseAgent

class MyCustomAgent(BaseAgent):
    async def respond(self, human_input):
        # 自定义响应逻辑
        return "This is a custom response."

社区和贡献

Vocode-Core是一个活跃的开源项目,欢迎社区贡献。开发者可以通过以下方式参与:

1. 提交问题和功能请求
2. 贡献代码和文档
3. 分享使用经验和最佳实践

项目的GitHub仓库提供了详细的贡献指南。

未来展望

Vocode-Core团队有着雄心勃勃的路线图,包括:

• 支持更多的消息平台集成(如Discord、Telegram等)
• 改进填充音频和背景通道功能
• 实现多代理功能
• 增强中断处理能力
• 添加更多的动作类型实现(如日历查询、创建事件等)

这些计划的实现将进一步增强Vocode-Core的功能,使其成为更加强大和灵活的语音交互开发框架。

结语

Vocode-Core作为一个开源的语音交互LLM应用开发框架,为开发者提供了一套强大而灵活的工具。它简化了语音应用的开发过程,使得创建智能语音助手、客服系统等应用变得更加容易。随着AI技术的不断发展和语音交互需求的增长,Vocode-Core无疑将在未来的应用开发中扮演越来越重要的角色。

无论您是AI开发者、语音应用创新者,还是对语音交互技术感兴趣的爱好者,Vocode-Core都值得您深入探索和尝试。通过使用这个框架,您可以快速构建出功能丰富、交互自然的语音应用,为用户提供更加智能和便捷的服务体验。

让我们一起期待Vocode-Core的未来发展,并积极参与到这个激动人心的开源项目中来,共同推动语音交互技术的进步!