Phi-3-medium-128k-instruct

Phi-3-medium-128k-instruct项目介绍

Phi-3-medium-128k-instruct是微软推出的一个强大的语言模型,属于Phi-3模型家族中的中型版本。这个模型具有以下特点:

模型概述

• 参数规模:14B参数
• 上下文长度:支持128K tokens的长上下文
• 训练数据:使用了4.8万亿tokens的高质量数据进行训练
• 训练时间:在512块H100-80G GPU上训练了42天
• 发布日期:2024年5月21日

主要特性

• 轻量级但性能强大:虽然只有14B参数,但在多项任务上表现出色,可与更大规模模型媲美
• 强大的推理能力:尤其在常识推理、逻辑推理、数学和编程等方面表现突出
• 多语言支持:虽然主要针对英语优化,但也包含10%的多语言训练数据
• 安全性考虑:经过监督微调和直接偏好优化,以提高指令遵循能力和安全性

适用场景

该模型适用于以下场景:

1. 内存/计算资源受限的环境
2. 对延迟要求高的场景
3. 需要强大推理能力的应用,特别是涉及代码、数学和逻辑的任务

使用方法

Phi-3-medium-128k-instruct已集成到transformers库中。使用时需注意:

• 加载模型时需设置trust_remote_code=True
• 支持最多32064个tokens的词汇量
• 最适合使用对话格式的提示

性能表现

在多项标准基准测试中,Phi-3-medium-128k-instruct展现出优秀的表现:

• 在AGI Eval、MMLU、BigBench Hard等测试中得分较高
• 在推理、语言理解、代码生成等方面表现突出
• 与Mixtral-8x22B、GPT-3.5等大型模型相比也毫不逊色

负责任AI考虑

使用该模型时,开发者需要注意:

• 对非英语内容的性能可能较差
• 可能产生不恰当或具有偏见的内容
• 不应在高风险场景中直接使用,需进行额外评估和缓解措施

跨平台支持

Phi-3-medium-128k-instruct提供了ONNX格式的优化版本,可在多种平台和硬件上运行,包括:

• 服务器平台
• Windows、Linux和Mac桌面
• 移动设备CPU
• 支持DirectML加速的Windows GPU(AMD、Intel和NVIDIA)

这为开发者提供了更多的部署选择,可以根据具体需求选择合适的运行环境。