whisper-hindi-medium

Whisper Hindi Medium 项目介绍

项目概述

Whisper Hindi Medium 项目是一个针对印地语语音识别任务进行微调的模型版本。它基于开源项目 openai/whisper-medium 并在多个公开可用的自动语音识别（ASR）语料库上的印地语数据进行了微调。这一工作是 Whisper 微调冲刺活动的一部分。

目标和应用场景

Whisper Hindi Medium 项目的主要目标是实现高效且准确的自动语音识别，特别是针对印地语语音。这一模型的应用场景包括语音到文本转换、实时翻译和各类语言处理应用。用户不仅可以评估整套数据集，还可以对单一音频文件进行推断。

技术细节

使用方法

用户可以通过 whisper-finetune 仓库中提供的评价代码来评估整个数据集。为了加快推断速度，还可以使用 whisper-jax 脚本。

以下是一个如何使用这款模型进行单一音频文件推断的代码示例：

import torch
from transformers import pipeline

# 需要转录的音频文件路径
audio = "/path/to/audio.format"
device = "cuda:0" if torch.cuda.is_available() else "cpu"

transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-hindi-medium", chunk_length_s=30, device=device)
transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

print('Transcription: ', transcribe(audio)["text"])

如果需要更快速的推断体验，可以使用 whisper-jax 库，并遵循必要安装步骤。下面是使用该库的代码示例：

import jax.numpy as jnp
from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

# 需要转录的音频文件路径
audio = "/path/to/audio.format"

transcribe = FlaxWhisperPipline("vasista22/whisper-hindi-medium", batch_size=16)
transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

print('Transcription: ', transcribe(audio)["text"])