mamba-2.8b-zephyr

mamba-2.8b-zephyr 项目介绍

mamba-2.8b-zephyr 是一个基于 xiuyul/mamba-2.8b-ultrachat 模型进行微调的机器学习模型。这个版本的模型在 HuggingFaceH4/ultrafeedback_binarized 数据集上利用 Direct Preference Optimization (DPO) 方法进行训练。

模型基础

模型的基础来源于 xiuyul/mamba-2.8b-ultrachat，它是基于 state-spaces/mamba-2.8b-slimpj 的指令微调版本，使用的数据集是 HuggingFaceH4/ultrachat_200k。

模型表现

mamba-2.8b-zephyr 模型在评估数据集上的表现如下：

• Loss（损失值）：0.4996
• Rewards/chosen（奖励 - 已选择）：-0.4523
• Rewards/rejected（奖励 - 已拒绝）：-1.6105
• Rewards/accuracies（奖励 - 准确性）：0.7857
• Rewards/margins（奖励 - 边际）：1.1582
• Logps/rejected（对数可能性 - 已拒绝）：-290.1885
• Logps/chosen（对数可能性 - 已选择）：-359.0926
• Logits/rejected（逻辑值 - 已拒绝）：23.0423
• Logits/chosen（逻辑值 - 已选择）：23.1861

训练和评估数据

关于训练和评估数据的具体信息，需要更多资料进行补充。

训练程序

训练超参数

在训练过程中使用了如下超参数：

• 学习率：5e-07
• 训练批量大小：4
• 评估批量大小：4
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：8
• 梯度积累步骤数：2
• 总训练批量大小：64
• 总评估批量大小：32
• 优化器：Adam，参数 betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练轮数：3

训练结果

在训练的多个阶段，模型的损失值、奖励、对数概率和逻辑值等统计数据逐步调整，以优化模型性能。具体数据如上文所述表格中所示，表格展示了从初期到后期训练阶段各指标的变化。

框架版本

mamba-2.8b-zephyr 使用的框架和库版本如下：

• Transformers 4.35.0
• Pytorch 2.1.1+cu121
• Datasets 2.14.6
• Tokenizers 0.14.1

通过该模型的开发和优化，研究人员希望能够提升自然语言处理任务中的自动化表现，特别是在需要复杂指令理解和响应生成的领域中。