silero-models学习资料汇总 - 简单易用的企业级语音模型

silero-models简介

silero-models是一个开源的语音AI模型项目,主要提供企业级的语音识别(STT)和语音合成(TTS)模型。该项目的特点是:

使用简单,一行代码即可调用
模型小巧,性能优秀
支持多种语言
无需GPU,CPU即可快速推理
依赖少,易于部署

项目地址: https://github.com/snakers4/silero-models

语音识别(STT)模型

silero-models提供了多种语言的STT模型:

英语 (en_v6, en_v5, en_v3)
德语 (de_v4, de_v3, de_v1)
西班牙语 (es_v1)
乌克兰语 (ua_v3)

这些模型支持PyTorch、ONNX和TensorFlow等多种格式。

使用示例:

import torch

language = 'en'
model, decoder, utils = torch.hub.load(repo_or_dir='snakers4/silero-models',
                                       model='silero_stt',
                                       language=language)

# 进行语音识别
audio_paths = ['test.wav']
inputs = utils[0](audio_paths)
output = model(inputs) 
decoded = decoder(output[0])

更多使用方法请参考官方示例。

语音合成(TTS)模型

silero-models的TTS模型支持多种语言和发音人:

英语 (118个发音人)
俄语 (6个发音人)
德语、西班牙语、法语等

TTS模型使用示例:

import torch

language = 'en'
model, _ = torch.hub.load(repo_or_dir='snakers4/silero-models',
                          model='silero_tts',
                          language=language,
                          speaker='en_0')

text = "Hello world!"
audio = model.apply_tts(text=text,
                        speaker='en_0',
                        sample_rate=48000)