phi-1_5

phi-1.5项目介绍

模型概述

phi-1.5是一个由微软开发的语言模型,它是一个拥有13亿参数的Transformer模型。该模型在phi-1的基础上进行了扩展,增加了新的NLP合成文本数据源进行训练。phi-1.5在测试常识、语言理解和逻辑推理的基准测试中表现出色,在参数量少于100亿的模型中几乎达到了最先进的水平。

值得注意的是,phi-1.5并没有经过指令跟随或人类反馈强化学习的微调。开发团队公开发布这个模型的目的是为研究社区提供一个不受限制的小型模型,以探索诸如减少有害内容、理解社会偏见、增强可控性等重要的安全挑战。

训练数据与安全性

为了增强模型的安全性,phi-1.5的训练数据排除了通用网络爬虫数据源(如common-crawl)。这种策略可以避免模型直接接触潜在的有害在线内容,从而在不使用人类反馈强化学习的情况下提高模型的安全性。然而,该模型仍然可能产生有害内容。研究团队希望通过发布这个模型,能够帮助研究社区进一步研究语言模型的安全性。

模型能力

phi-1.5具备多种能力,包括:

• 写诗
• 起草电子邮件
• 创作故事
• 总结文本
• 编写Python代码(如下载Hugging Face transformer模型)等

使用方法

phi-1.5已集成到transformers库的4.37.0版本中。使用时需确保安装的transformers版本不低于4.37.0。

适用场景

根据训练数据的特点,phi-1.5最适合用于以下格式的提示:

1. 问答(QA)格式
2. 聊天格式
3. 代码格式

需要注意的是,作为一个基础模型,phi-1.5在生成主要答案后可能会产生一些无关的文本。

局限性

尽管phi-1.5表现出色,但它仍存在一些局限性:

1. 可能生成不准确的代码和事实
2. 代码生成范围有限
3. 对复杂指令的响应不可靠
4. 主要理解标准英语,对非正式英语和其他语言理解有限
5. 可能存在社会偏见
6. 在某些情况下可能产生有害内容

技术细节

phi-1.5的训练细节如下:

• 架构:基于Transformer的下一词预测模型
• 数据集大小:300亿tokens
• 训练tokens:1500亿
• 精度:fp16
• 使用GPU:32个A100-40G
• 训练时间:8天

该模型使用PyTorch、DeepSpeed和Flash-Attention等软件进行训练,并在MIT许可证下发布。

总的来说,phi-1.5是一个强大而有趣的语言模型,为研究人员提供了探索AI安全和能力的宝贵工具。然而,使用者应当谨慎对待模型输出,并始终保持批判性思维。