flan-t5-large

FLAN-T5-large项目介绍

FLAN-T5-large是一个功能强大的多语言语言模型,基于T5模型架构进行了指令微调。该模型在保持T5原有能力的基础上,通过在更多任务和语言上进行微调,使其性能得到了全面提升。

模型概述

FLAN-T5-large是FLAN-T5系列模型中的大型版本,具有以下主要特点:

模型类型:条件文本生成
支持语言:英语、法语、德语等多种语言
开源协议:Apache 2.0
模型规模:大型(large)
训练框架:JAX和T5X

该模型在T5的基础上,通过指令微调的方式,在超过1000个额外任务上进行了训练,覆盖了更多语言,从而获得了更强的零样本和少样本学习能力。

主要用途

FLAN-T5-large可以应用于多种自然语言处理任务,包括但不限于:

文本翻译
问答系统
逻辑推理
科学知识问答
数学推理
前提假设判断

模型在这些任务上展现出了优秀的性能,特别是在零样本和少样本场景下。

使用方法

可以通过Hugging Face Transformers库轻松调用FLAN-T5-large模型:

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))