Awesome-instruction-tuning

项目介绍：Awesome-instruction-tuning

Awesome-instruction-tuning 是一个细心整理的开源项目，专注于指令微调（Instruction Tuning）领域的数据集、模型、研究论文以及相关的代码库。

数据集与模型

从传统自然语言处理 (NLP) 转化 该项目遵循了 Longpre 等人的研究，将来自传统 NLP 任务的所有已知指令微调数据集汇总列出。以下是一些重要的数据集及其相关模型：

• UnifiedQA: 于2020年5月发布，共有46个任务和750k个实例。它以RoBerta为基底，模型规模在110-340 M。
• CrossFit 和 Natural Inst v1.0: 两者都于2021年4月发布，分别包含159和61个任务。
• Flan 2021 和 2022: 分别在21年和22年发布，Flan 2022 包含了1836个任务，其庞大的15M实例数据支持了T5-LM和PaLM这两种基础模型，提供10 M到540 B的模型规模。
• 其他如: P3, MetalCL, Super-Natural Inst., GLM 等数据集也被列入其中，每个数据集都有其特定用途和模型。

通过大型语言模型 (LLM) 生成的内容 大型语言模型生成的数据集也得到收录。这些模型包括如GPT-3、Stanford的 Alpaca、Chinese-Vicuna 等，这些数据集的任务实例和语言种类非常多样，支持多语言环境。

多语言工具

在大多数情况下，现有数据集主要以英语为主，许多全球人口并未得到足够的数据支持。为解决这一问题，项目开发了一个基于Helsinki-NLP的开源翻译工具，能够将英文数据集翻译为100多种语言。虽然这些翻译数据集可能会有一定的噪声，但依旧是一个降低数据成本的有效替代方案。

翻译工具使用示例：

python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

此外，为了解决重复翻译问题，提供了一个名为 "process.py" 的工具来优化翻译结果。

研究论文

项目详细审阅了相关领域的科研论文，并列出了最有价值的几篇，包括强调零样本学习（Zero-Shot Learning）、人类反馈、跨任务泛化等主题的重要研究。

相关代码库

为了方便感兴趣的开发者和研究人员深入探讨，项目还提供了一系列相关的存储库链接：

• Instruction相关: awesome-instruction-learning, awesome-instruction-dataset
• ICL（上下文学习）相关: ICL_PaperList, prompt-in-context-learning
• 推理相关: LM-reasoning, LLM-Reasoning-Papers, Chain-of-ThoughtsPapers
• 框架: OpenICL

Awesome-instruction-tuning 项目正以丰富多样的数据集、模型，并结合最新研究进展，不断推动指令微调研究的前进。它不仅为研究人员提供了扩展现有工作的平台，也为实现多语言与大规模数据处理提供了更多的可能性。