Llama-3-8B-Ultra-Instruct-SaltSprinkle

Llama-3-8B-Ultra-Instruct-SaltSprinkle项目介绍

Llama-3-8B-Ultra-Instruct-SaltSprinkle是一个结合多种预训练语言模型而产生的创新项目。该项目使用了一种称为DARE TIES的特殊合并方法，旨在提升人工智能模型的文本生成能力，特别是在推理、信息检索、德语和故事写作方面的表现。

合并方法和模型

该模型是通过一种称为DARE TIES的方法进行合并的，基础模型是NousResearch/Meta-Llama-3-8B。在此基础上，结合了以下两个模型：

• Dampfinchen/Llama-3-8B-Ultra-Instruct
• NousResearch/Meta-Llama-3-8B-Instruct

模型配置

模型合并使用以下YAML配置：

models:
  - model: NousResearch/Meta-Llama-3-8B-Instruct
    parameters:
      density: 1
      weight: 1
  - model: Dampfinchen/Llama-3-8B-Ultra-Instruct
    parameters:
      density: 0.5
      weight: 0.2

merge_method: dare_ties
base_model: NousResearch/Meta-Llama-3-8B
dtype: bfloat16

该配置旨在保留L3 Instruct的所有功能，同时通过Ultra Instruct增强其在德语和故事写作方面的能力。

性能评估

该模型在多个数据集上进行了评估，结果如下：

• AI2 Reasoning Challenge (25-Shot)： 获得61.35的标准化准确率。
• HellaSwag (10-Shot)： 达到77.76的标准化准确率。
• MMLU (5-Shot)： 取得67.88的准确率。
• TruthfulQA (0-shot)： 标准化模式下得到52.82。
• Winogrande (5-shot)： 达到74.98的准确率。
• GSM8k (5-shot)： 取得70.89的准确率。

平均准确率为67.61，这些结果可以在Open LLM Leaderboard详见。

注意事项

项目作者提醒，该模型可能会生成有害的回应，使用时需要注意其潜在的影响。总的来说，Llama-3-8B-Ultra-Instruct-SaltSprinkle项目展示了通过合并多种先进语言模型来提升文本生成能力的巨大潜力。