deberta-small-long-nli

DeBERTa-small-long-nli：一个强大的多任务自然语言处理模型

DeBERTa-small-long-nli是一个基于DeBERTa-v3-small模型微调的自然语言处理模型，它在多个自然语言推理(NLI)和文本分类任务上表现出色。这个模型由tasksource团队开发，通过在大量多样化的NLP数据集上进行训练，大大提升了模型的泛化能力和零样本学习能力。

模型特点

1. 长文本处理能力：模型可以处理长度达1680个token的文本，相比原始DeBERTa-v3-small模型有显著提升。

2. 多任务学习：在250多个NLP任务上进行训练，涵盖了自然语言推理、文本分类、多项选择等多种任务类型。

3. 零样本学习：在许多未见过的任务上展现出强大的零样本学习能力，如在WNLI数据集上达到70%的准确率。

4. 长文本NLI能力：在长文本自然语言推理任务（如ConTRoL、doc-nli）上表现优异。

5. 逻辑推理能力：通过在FOLIO、FOL-nli、LogicNLI等逻辑推理任务上训练，模型具备了一定的逻辑推理能力。

应用场景

1. 零样本文本分类：可以直接用于对任意标签进行零样本分类，无需额外训练。

2. 自然语言推理：适用于判断两个句子之间的推理关系。

3. 模型微调：可作为基础模型，在特定任务上进行进一步微调，如文本分类、标记分类或多项选择任务。

4. 奖励模型：可作为强化学习中的奖励模型的骨干网络。

使用方法

模型可以通过Hugging Face的Transformers库轻松调用。以下是几个典型的使用示例：

1. 零样本分类：

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="tasksource/deberta-small-long-nli")
text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

2. 自然语言推理：

from transformers import pipeline
pipe = pipeline("text-classification",model="tasksource/deberta-small-long-nli")
pipe([dict(text='there is a cat', text_pair='there is a black cat')])

3. 使用Tasknet进行微调：

import tasknet as tn
hparams=dict(model_name='tasksource/deberta-small-long-nli', learning_rate=2e-5)
model, trainer = tn.Model_Trainer([tn.AutoTask("glue/rte")], hparams)
trainer.train()

训练细节

模型在600个任务上训练了250k步，使用了384的批量大小和2e-5的峰值学习率。训练过程持续了14天，使用了Nvidia A30 24GB GPU。训练数据包括HelpSteer v1/v2、逻辑推理任务、OASST、hh/rlhf、语言学导向的NLI任务等。

结语

DeBERTa-small-long-nli是一个功能强大、应用广泛的NLP模型。它不仅在多个任务上表现出色，还具备了处理长文本和进行逻辑推理的能力。无论是直接使用还是作为基础模型进行微调，它都为NLP研究人员和开发者提供了一个有力的工具。