t5-base-finetuned-sst2

项目介绍：t5-base-finetuned-sst2

项目概览

t5-base-finetuned-sst2 是基于 T5 模型在 GLUE SST-2 数据集上进行了微调（fine-tuning）的文本分类模型。在验证集上的准确率达到 93.23%，可以用来高效地进行情感分析。

模型详细信息

T5（Text-to-Text Transfer Transformer）是一种编码器-解码器结构的预训练模型。它通过将不同的任务转换为统一的文本到文本的格式进行学习，能够同时处理无监督和有监督的多任务。通过这样的设计，T5 模型可以在多种自然语言处理任务中表现出色。

训练过程

分词（Tokenization）

由于 T5 模型是一个文本到文本的模型，因此需要将数据集的标签进行转换。在每个示例中，将句子转换为 "sst2 sentence: " 加上实际的句子内容作为输入，然后将其送入分词器以获取输入 ids 和注意力掩码。对于标签，如果标签为 1，则选择为 “positive”，否则为 “negative”，并同样进行分词以获取标签的输入 ids 和注意力掩码。训练过程中，输入 ids 中包含的 pad token 会被替换为 -100，以便在计算损失时忽略这些位置。之后，这些输入 ids 会被作为标签，标签的注意力掩码会用作解码器的注意力掩码。