drachtio-freeswitch-modules: 开源FreeSWITCH模块集合

drachtio-freeswitch-modules

drachtio-freeswitch-modules简介

drachtio-freeswitch-modules是一个由drachtio团队开发和维护的开源项目,旨在为FreeSWITCH提供一系列功能强大的扩展模块。这些模块主要用于实现实时语音转写、对话流处理等高级功能,可以在基于drachtio框架的各种应用中灵活使用。

该项目目前在GitHub上已获得171颗星和119次分叉,受到了众多开发者的关注和支持。项目采用MIT开源许可证,允许开发者自由使用、修改和分发代码。

主要模块介绍

mod_google_transcribe

mod_google_transcribe是一个利用Google Speech-to-Text API实现实时语音转写的FreeSWITCH模块。它可以将FreeSWITCH通道中的音频流实时发送到Google云端进行识别,并返回转写结果。

主要特性包括:

支持实时流式识别
可配置是否返回中间结果
支持多种语言
可通过语音活动检测(VAD)触发识别,减少不必要的请求
提供丰富的配置选项,如单一话语模式、分离识别等

使用示例:

ep.api('uuid_google_transcribe', `${ep.uuid} start en-US interim`);

mod_dialogflow

mod_dialogflow模块可以将FreeSWITCH通道连接到Dialogflow代理,实现完整的IVR交互流程。它会将音频流传输给Dialogflow服务,获取意图识别结果、转写文本以及音频提示等信息。

主要功能:

支持实时音频流传输
返回意图识别结果
支持播放Dialogflow返回的音频提示
可配置初始事件触发欢迎提示
支持指定Dialogflow环境和区域

使用示例:

ep.api('dialogflow_start', `${ep.uuid} my-agent-uuxr:production en-US welcome`);

mod_aws_transcribe

mod_aws_transcribe模块通过AWS流式转写API实现实时语音转写功能。它可以将FreeSWITCH通道的音频发送到AWS进行识别,并返回转写结果。

主要特性:

支持实时流式识别
可配置是否返回中间结果
支持多种语言
提供多种身份验证方式

使用示例:

ep.api('aws_transcribe', `${ep.uuid} start en-US interim`);

使用方法

要使用drachtio-freeswitch-modules中的模块,需要先在FreeSWITCH中加载相应的模块。然后可以通过drachtio-fsrmf包提供的API在Node.js应用中调用这些模块的功能。

一般使用流程如下:

在FreeSWITCH配置中加载所需模块
在Node.js应用中引入drachtio-fsrmf包
创建FreeSWITCH endpoint对象
调用endpoint对象的api方法执行相应的命令

例如,使用Google语音转写的代码示例:

const Srf = require('drachtio-srf');
const Mrf = require('drachtio-fsmrf');

const srf = new Srf();
const mrf = new Mrf(srf);

srf.connect({...});

srf.invite((req, res) => {
  mrf.connectCaller(req, res)
    .then((ep) => {
      ep.api('uuid_google_transcribe', `${ep.uuid} start en-US interim`);
      // 处理转写结果...  
    });
});