HALOs

HALOs 项目介绍

HALOs，全称为Human-Centered Loss Functions，是一个专注于人类中心损失函数的项目。该项目旨在通过各种方法（如DPO、KTO和离线版PPO）对大型语言模型(LLMs)进行校准。最初随KTO论文一起发布，但后续进行了重大更新，以支持LoRAs、参考Logit缓存和便捷评估等功能。

项目特色

模块化：数据加载、训练和采样相互独立，用户可以根据需要对各部分进行定制和修改。
可扩展性：用户可以快速编写自己的数据加载器或实现新的对齐损失。
简洁性：项目代码小巧，便于用户修改和拓展。

HALOs已在规模从1B到30B的大型语言模型上进行测试，早期版本用于训练Huggingface上的Archangel模型套件。

技术实现

配置由Hydra管理。
使用Accelerate启动任务。
默认情况下，通过FSDP进行训练。

快速入门指南

克隆仓库并安装依赖：通过执行 . install.sh 命令来安装所需的包，请注意版本的兼容性。
数据集：如需使用新数据集，可在dataloader.py文件中添加返回Dataset实例的方法。
定制训练器：可根据需求定制训练器，通常需要继承UnpairedPreferenceTrainer或PairedPreferenceTrainer。
训练模型：可以使用命令行的方式启动Llama3-8B模型在特定数据集上的训练，并保存训练结果。
模型评估：支持在不同基准上对模型进行评估，如AlpacaEval和LMEval等。

常见问题

支持多节点训练吗？ 是的，项目提供了启动多节点训练的脚本。
如何保存中间检查点？ 在配置文件中设置intermediate_checkpoints为true即可。
LoRA训练支持：可以通过配置开启LoRA训练，并在最终保存前合并LoRA权重。
FlashAttention支持：支持，通过覆盖配置文件中的相应参数即可使用。
参考模型的日志概率预计算：可以在配置中开启日志概率的预计算以节省内存。

引用

如果该项目对您的工作有所帮助，欢迎引用相关文献：

@inproceedings{ethayarajhmodel,
  title={Model Alignment as Prospect Theoretic Optimization},
  author={Ethayarajh, Kawin and Xu, Winnie and Muennighoff, Niklas and Jurafsky, Dan and Kiela, Douwe},
  booktitle={Forty-first International Conference on Machine Learning}
}