OpenOrca-Platypus2-13B

OpenOrca-Platypus2-13B项目介绍

OpenOrca-Platypus2-13B是一个融合模型，它结合了garage-bAInd/Platypus2-13B和Open-Orca/OpenOrcaxOpenChat-Preview2-13B的优势。这一模型的开发充分结合了两者的优点，致力于在多项评测中再次名列前茅，并为用户提供出色的文本生成体验。

项目背景

这款模型是与Platypus团队合作的成果，通过利用两种不同模型的长处，期望为研究人员和开发者带来更多的可能性。项目使用的数据集包括garage-bAInd/Open-Platypus和Open-Orca/OpenOrca，主要采用Hugging Face Transformers库进行开发。

模型表现

HuggingFace排行榜表现

OpenOrca-Platypus2-13B在包括MMLU、ARC、HellaSwag和TruthfulQA在内的多项基准测试中取得了优秀的成绩：

• MMLU (5-shot)：59.5
• ARC (25-shot)：62.88
• HellaSwag (10-shot)：83.19
• TruthfulQA (0-shot)：52.69
• 平均得分：64.56

这些数据表明，该模型在多个领域具有优越的学习和推理能力。

AGIEval和BigBench-Hard表现

在AGIEval基准测试中，OpenOrca-Platypus2-13B的表现达到了基准模型的112%，标志着大幅度的性能提升。在涉及逻辑推理的LSAT考试部分尤其有显著进步。

在BigBench-Hard测试中，模型的表现达到了基准模型的105%，继续展示了其在处理复杂任务时的出色能力。

模型细节

• 开发人员：Cole Hunter和Ariel Lee负责Platypus2-13B的训练，Open-Orca团队负责训练OpenOrcaxOpenChat-Preview2-13B。
• 模型类型：基于Llama 2变压器架构的自回归语言模型。
• 语言：主要为英语。
• 许可协议：Platypus2-13B基础权重采用非商业创作共享许可协议(CC BY-NC-4.0)；OpenOrcaxOpenChat-Preview2-13B基础权重采用Llama 2商业许可。

提示模板

不同基础模型的提示模板略有不同，用户可以根据需要进行选择和调整。

训练过程

OpenOrca-Platypus2-13B通过使用STEM和逻辑为基础的数据集以及精细化的GPT-4数据进行训练。采用了LoRA技术在A100-80GB上进行了微调。有关训练细节和推断说明，可以参考Platypus的GitHub仓库。

再现评测结果

用户可以通过安装LM Evaluation Harness来再现评测结果，具体操作步骤已在项目说明中详细列出。

注意事项和局限性

由于Llama 2及其微调变体属于新兴技术，且目前所进行的测试主要集中在英语领域，因此可能会在某些情况下产生不准确或有偏见的回答。在使用这些模型时，应进行适当的安全测试和调整。有关责任使用的详细指南，可参考Meta的负责任使用指南。

总体而言，OpenOrca-Platypus2-13B是一个强大的语言模型工具，适用于广泛的文本生成和处理任务，为研究和应用提供了新的选择。