drachtio-freeswitch-modules: 开源FreeSWITCH模块集合

drachtio-freeswitch-modules简介

drachtio-freeswitch-modules是一个由drachtio团队开发和维护的开源项目,旨在为FreeSWITCH提供一系列功能强大的扩展模块。这些模块主要用于实现实时语音转写、对话流处理等高级功能,可以在基于drachtio框架的各种应用中灵活使用。

该项目目前在GitHub上已获得171颗星和119次分叉,受到了众多开发者的关注和支持。项目采用MIT开源许可证,允许开发者自由使用、修改和分发代码。

主要模块介绍

mod_google_transcribe

mod_google_transcribe是一个利用Google Speech-to-Text API实现实时语音转写的FreeSWITCH模块。它可以将FreeSWITCH通道中的音频流实时发送到Google云端进行识别,并返回转写结果。

主要特性包括:

• 支持实时流式识别
• 可配置是否返回中间结果
• 支持多种语言
• 可通过语音活动检测(VAD)触发识别,减少不必要的请求
• 提供丰富的配置选项,如单一话语模式、分离识别等

使用示例:

ep.api('uuid_google_transcribe', `${ep.uuid} start en-US interim`);

mod_dialogflow

mod_dialogflow模块可以将FreeSWITCH通道连接到Dialogflow代理,实现完整的IVR交互流程。它会将音频流传输给Dialogflow服务,获取意图识别结果、转写文本以及音频提示等信息。

主要功能:

• 支持实时音频流传输
• 返回意图识别结果
• 支持播放Dialogflow返回的音频提示
• 可配置初始事件触发欢迎提示
• 支持指定Dialogflow环境和区域

使用示例:

ep.api('dialogflow_start', `${ep.uuid} my-agent-uuxr:production en-US welcome`);

mod_aws_transcribe

mod_aws_transcribe模块通过AWS流式转写API实现实时语音转写功能。它可以将FreeSWITCH通道的音频发送到AWS进行识别,并返回转写结果。

主要特性:

• 支持实时流式识别
• 可配置是否返回中间结果
• 支持多种语言
• 提供多种身份验证方式

使用示例:

ep.api('aws_transcribe', `${ep.uuid} start en-US interim`);

使用方法

要使用drachtio-freeswitch-modules中的模块,需要先在FreeSWITCH中加载相应的模块。然后可以通过drachtio-fsrmf包提供的API在Node.js应用中调用这些模块的功能。

一般使用流程如下:

1. 在FreeSWITCH配置中加载所需模块
2. 在Node.js应用中引入drachtio-fsrmf包
3. 创建FreeSWITCH endpoint对象
4. 调用endpoint对象的api方法执行相应的命令

例如,使用Google语音转写的代码示例:

const Srf = require('drachtio-srf');
const Mrf = require('drachtio-fsmrf');

const srf = new Srf();
const mrf = new Mrf(srf);

srf.connect({...});

srf.invite((req, res) => {
  mrf.connectCaller(req, res)
    .then((ep) => {
      ep.api('uuid_google_transcribe', `${ep.uuid} start en-US interim`);
      // 处理转写结果...  
    });
});

构建说明

对于某些模块(如mod_aws_transcribe),可能需要先构建相关的依赖库。例如,构建AWS C++ SDK可以参考项目提供的Ansible角色或具体步骤说明。

结语

drachtio-freeswitch-modules为FreeSWITCH提供了一系列强大的扩展模块,极大地增强了其语音处理和对话交互能力。开发者可以根据具体需求选择合适的模块,快速实现诸如实时语音转写、智能对话等高级功能。该项目仍在持续更新和完善中,欢迎社区贡献代码,共同推动项目的发展。

要了解更多信息,可以访问项目GitHub页面或查阅相关文档。如果在使用过程中遇到问题,也可以通过GitHub Issues与开发团队交流。