mlong-t5-large-sumstew

mlong-t5-large-sumstew 项目介绍

项目背景

mlong-t5-large-sumstew 是一个多语言、长文本摘要生成模型，能够处理多达16,000个输入标记。这个模型采用了抽象摘要生成的方式，能够根据给定的输入文档生成标题和摘要。模型通过训练数据集Joemgu/sumstew进行训练，并达到了一定的性能表现。

语言与许可

该模型支持多种语言，包括英语、德语、法语、意大利语和西班牙语，使用apache-2.0许可证进行授权，这意味着其在使用上具有很高的灵活性和开放性，适合广泛的研究和应用。

使用库

mlong-t5-large-sumstew 使用了Transformers库，这是一个用于自然语言处理任务的常用库，使得模型调用和应用变得更加简单。

应用场景

mlong-t5-large-sumstew 模型的主要功能是为长文本生成摘要和标题，特别适合用于那些需要处理大量文本并获取关键信息的场景，比如新闻摘要生成、学术文章概括和在线内容整理等。

性能指标

模型采用了一些常见的评估指标来衡量其性能，包括ROUGE指标系列。具体来说，对于名称为Joemgu/mlong-t5-large-sumstew的模型，在samsum数据集的测试集上表现如下：

ROUGE-1得分：29.7108
ROUGE-2得分：8.2261
ROUGE-L得分：23.3337
ROUGE-LSUM得分：26.2366 这些分数反映了模型在文本摘要任务中的精确性和覆盖率。

简单使用方法

用户可以使用Transformers库提供的管道功能快速进行文本摘要：

from transformers import pipeline

summarizer = pipeline("summarization", "joemgu/mlong-t5-large-sumstew")
text = "Alice was beginning to get very tired of sitting by her sister on the bank..."
summary = summarizer(text)[0]["summary_text"]
print(summary)

此代码能快速生成输入文本的摘要和标题，非常适合初学者或快速试用。

高级使用方法

对于需要更多控制的高级用户，可以通过模型的LongT5ForConditionalGeneration类使用自定义参数进行生成：

from transformers import LongT5ForConditionalGeneration, T5Tokenizer

checkpoint = "joemgu/mlong-t5-large-sumstew"

gen_kwargs = {
    "max_length": 1024,
    "do_sample": False,
    "num_beams": 4,
    "use_cache": True,
    "early_stopping": True,
    "num_return_sequences": 1,
    "repetition_penalty": 3.5,
    "encoder_repetition_penalty": 2.0,
    "length_penalty": 1.0,
    "encoder_no_repeat_ngram_size": 4,
    "no_repeat_ngram_size": 6,
}

model = LongT5ForConditionalGeneration.from_pretrained(checkpoint)
tokenizer = T5Tokenizer.from_pretrained(checkpoint)

prefix = "Write a title and summarize: "
input_document = "Alice was beginning to get very tired of sitting by her sister on the bank..."

inputs = tokenizer(prefix + input_document, return_tensors="pt", max_length=16384, truncation=True, add_special_tokens=True)
outputs = model.generate(**inputs, **gen_kwargs)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))