madlad400-3b-mt

MADLAD-400-3B-MT项目介绍

MADLAD-400-3B-MT是一个多语言机器翻译模型,基于T5架构开发。这个项目旨在为超过450种语言提供高质量的机器翻译能力,是目前覆盖语言最广泛的翻译模型之一。

模型特点

多语言支持:可以处理400多种语言的翻译任务,包括许多低资源语言。
大规模训练:使用了1万亿个token进行训练,数据来源于公开可用的语料。
高效架构:采用T5架构,在3B参数规模下就能达到与更大模型相当的性能。
开源可用:模型以Apache 2.0许可证开源,可供研究和应用。

技术细节

MADLAD-400-3B-MT模型采用了32层的Transformer结构,总参数量为30亿。它使用了一个包含256k个token的SentencePiece词表,在编码器和解码器之间共享。模型的训练数据包括MADLAD-400数据集以及覆盖157种语言的平行语料。

应用场景

该模型主要用于:

多语言机器翻译任务
各类跨语言自然语言处理任务
低资源语言的NLP研究

特别适合需要处理多语言或小语种翻译的应用场景。

使用方法

用户可以通过Hugging Face Transformers库轻松使用这个模型:

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained('jbochi/madlad400-3b-mt')
tokenizer = T5Tokenizer.from_pretrained('jbochi/madlad400-3b-mt')

text = "<2pt> I love pizza!"
input_ids = tokenizer(text, return_tensors="pt").input_ids
outputs = model.generate(input_ids=input_ids)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))