OPT-6B-nerys-v2

OPT-6B-Nerys 项目介绍

项目概述

OPT-6B-Nerys 是基于 Facebook 的 OPT 模型进行微调的项目。该项目旨在进一步提升文本生成方面的能力，通过引入多种文献和小说的数据，丰富了模型的训练语料库。

训练数据

为训练 OPT-6B-Nerys 模型，研发团队使用了丰富多样的训练数据，包括大约 2500 本来自不同流派的电子书（称为 "Pike" 数据集），一个称为 "CYS" 的选择你自己的冒险（CYOA）数据集，以及 50 本亚洲轻小说（即 "Manga-v1" 数据集）。另外，数据集中大多数部分都被标注上文本前缀，例如 [Genre: <genre1>, <genre2>]，以标明其文体类别。这些数据经过特别清洗，与 fairseq-dense-13B-Nerys-v2 使用了相似的处理方法。

使用方法

用户可以利用管道方式直接使用该模型进行文本生成。每次运行示例代码时，模型会生成一段不同的文本，展示出其在文本创作上的独特能力。以下是示例代码：

from transformers import pipeline
generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)

运行结果会创建一段长度至少为 50 个字符的文本，例如：

[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制与偏见

像许多自然语言处理技术一样，OPT-6B-Nerys 模型在使用过程中可能会存在偏见问题。这些偏见可能涉及性别、职业、种族和宗教等方面。因此，在使用模型时需谨慎对待这些潜在的影响因素。

许可信息

OPT-6B-Nerys 模型根据 OPT-175B 许可协议进行授权，版权归 Meta Platforms, Inc. 所有。

学术引用

在相关研究中引用该模型可以使用以下 BibTeX 条目：

@misc{zhang2022opt,
      title={OPT: Open Pre-trained Transformer Language Models}, 
      author={Susan Zhang and Stephen Roller and Naman Goyal and Mikel Artetxe and Moya Chen and Shuohui Chen and Christopher Dewan and Mona Diab and Xian Li and Xi Victoria Lin and Todor Mihaylov and Myle Ott and Sam Shleifer and Kurt Shuster and Daniel Simig and Punit Singh Koura and Anjali Sridhar and Tianlu Wang and Luke Zettlemoyer},
      year={2022},
      eprint={2205.01068},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

OPT-6B-Nerys 项目通过其多样化的数据集和精细化的微调技术，为自然语言生成领域的研究提供了强大的工具与参考。