whisper-hindi-medium

Whisper Hindi Medium 项目介绍

项目概述

Whisper Hindi Medium 项目是一个针对印地语语音识别任务进行微调的模型版本。它基于开源项目 openai/whisper-medium 并在多个公开可用的自动语音识别（ASR）语料库上的印地语数据进行了微调。这一工作是 Whisper 微调冲刺活动的一部分。

目标和应用场景

Whisper Hindi Medium 项目的主要目标是实现高效且准确的自动语音识别，特别是针对印地语语音。这一模型的应用场景包括语音到文本转换、实时翻译和各类语言处理应用。用户不仅可以评估整套数据集，还可以对单一音频文件进行推断。

技术细节

使用方法

用户可以通过 whisper-finetune 仓库中提供的评价代码来评估整个数据集。为了加快推断速度，还可以使用 whisper-jax 脚本。

以下是一个如何使用这款模型进行单一音频文件推断的代码示例：

import torch
from transformers import pipeline

# 需要转录的音频文件路径
audio = "/path/to/audio.format"
device = "cuda:0" if torch.cuda.is_available() else "cpu"

transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-hindi-medium", chunk_length_s=30, device=device)
transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

print('Transcription: ', transcribe(audio)["text"])

如果需要更快速的推断体验，可以使用 whisper-jax 库，并遵循必要安装步骤。下面是使用该库的代码示例：

import jax.numpy as jnp
from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

# 需要转录的音频文件路径
audio = "/path/to/audio.format"

transcribe = FlaxWhisperPipline("vasista22/whisper-hindi-medium", batch_size=16)
transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

print('Transcription: ', transcribe(audio)["text"])

数据集

训练数据集：项目使用了以下数据集进行模型训练：

• GramVaani ASR 数据集
• ULCA ASR 数据集
• Shrutilipi ASR 数据集
• Google/Fleurs 训练和开发集

评估数据集：以下数据集用于模型评估：

• GramVaani ASR 数据集测试集
• Google/Fleurs 测试集

训练超参数

训练过程中使用了以下超参数：

• 学习率：1e-05
• 训练批次大小：24
• 评估批次大小：48
• 随机种子：22
• 优化器：adamw_bnb_8bit
• 学习率调度类型：线性
• 学习率调度暖启动步数：20000
• 训练步骤数：38754（初始设定为129180步）
• 混合精度训练：开启

致谢

该工作在印度理工学院马德拉斯分校的 Speech Lab 完成。计算资源由印度政府电子和信息技术部（MeitY）的“Bhashini：国家语言翻译任务”项目提供。