CarbonBeagle-11B

CarbonBeagle-11B 项目简介

CarbonBeagle-11B是一个令人兴奋的人工智能项目，旨在将不同架构和规模的模型融合在一起，以实现更强大的文本生成能力。这个项目的核心是将两个大型模型合并，从而为各种文本生成任务提供更好的解决方案。

合并过程

CarbonBeagle-11B的开发过程包含了几个关键步骤：

1. 首先，将mlabonne/NeuralBeagle14-7B 上调至 vicgalle/franken-Beagle-11B。
2. 然后，对vicgalle/franken-Beagle-11B 进行了DPO调整，使其转变为 vicgalle/NeuralBeagle-11B。
3. 最后，将 vicgalle/NeuralBeagle-11B 和 jeonsworld/CarbonVillain-en-10.7B-v4 合并成了CarbonBeagle-11B。

合并细节

合并方法

此模型是通过线性合并方法实现的，这种方法能够有效地整合不同模型的特性。

合并的模型

合并过程中涉及的模型包括：

• vicgalle/NeuralBeagle-11B
• jeonsworld/CarbonVillain-en-10.7B-v4

配置

该模型的生成使用了以下YAML配置：

models:
    - model: jeonsworld/CarbonVillain-en-10.7B-v4
      parameters:
        weight: 1.0
    - model: vicgalle/NeuralBeagle-11B
      parameters:
        weight: 0.5
merge_method: linear

dtype: float16

评估结果

CarbonBeagle-11B在Open LLM Leaderboard中的表现非常出色，位列其尺寸类别（10.7B-11B）以及13B模型中的榜首。该模型的评估结果非常详尽，测试了多个数据集和任务，包括AI2推理挑战、HellaSwag、MMLU等。

在以下几个任务中的性能如下：

• AI2 Reasoning Challenge (25-Shot)：71.84
• HellaSwag (10-Shot)：88.93
• MMLU (5-Shot)：66.62
• Winogrande (5-shot)：84.06
• GSM8k (5-shot)：66.94

CarbonBeagle-11B还在多个其他数据集中进行了评估，如TruthfulQA、IFEval、MATH等。然而，它在某些数据集中（如MATH Lvl 5）得分较低，这表明该模型仍有潜在的改进空间。

详细性能数据

有关CarbonBeagle-11B更详细的性能数据，可以访问以下链接：

• Open LLM Leaderboard Evaluation Results
• Open LLM Leaderboard Evaluation Results

这些评估表明CarbonBeagle-11B能够在多个任务中提供可靠的文本生成能力，具有广泛的应用潜力。