phi3-Chinese

phi3-Chinese 项目介绍

phi3-Chinese 项目是一个开源社区的集合，旨在提供各种phi3的训练变体版本，这些版本虽然可能在一些方面不太为人所知，但却具有独特的性能和优势。这个项目帮助更多开发者和爱好者能够轻松找到这些有趣的版本，并尝试在不同场景下进行应用。

项目优势

phi3-Chinese 项目通过优化体积和性能比来展现其优势。从微软发布的性能数据可以看出，phi3在以不到一半的体积（仅3.8亿参数）情况下能够超越llama3 8B版本的性能。这个特性使得在移动设备上部署phi3模型变得更为可行，这是许多开发者和移动应用团队的福音。

项目内容

该项目不仅仅是一个模型仓库，它还是一个教程资源库。除了收录各种phi3的训练变体版本，phi3-Chinese 项目同时提供与phi相关的训练、推理、部署的简单教程。这些教程能够帮助用户快速上手，了解如何在不同平台上使用这些模型。

模型下载

phi3-Chinese 提供了多个不同版本的模型下载：

Phi-3-chinese

• 增量SFT版本可以从 modelscope 获取。
• 直接DPO版本可以从 modelscope 获取。
• 词表扩充版本尚在计划中。

此外，phi3的英文原版也能够通过 Hugging Face 和 ModelScope 平台下载，例如:

• Hugging Face 提供的 Phi-3-mini-128k-instruct
• ModelScope 上的 Phi-3-mini-128k-instruct

网页部署

如果用户希望在线体验phi3-Chinese模型，可以简单地在自己的网页环境中部署，示例命令如下：

streamlit run deploy/streamlit_for_instruct.py ./Phi-3-mini-128k-instruct-Chinese

当前挑战

尽管phi3在体积和速度上有着显著的优势，但也面临一些挑战：

• 效果与跑分不符：实践中发现，phi3-mini在实际使用中的表现没有预期的那么好，可能存在刷分嫌疑。对其进行叠加block操作后，可能会获得更大提升。
• 词表限制: 目前，phi3使用的词表过小，尤其是缺少汉字的支持。这一限制导致模型在处理中文时效率较低，影响了其在中文环境中的实用性。

总的来说，phi3-Chinese 项目虽然在某些指标上超越了llama3 8B的性能，但仍需进一步改进和优化，也许更适用于一些轻量级的垂直应用场景。未来，它可能会经过更多层次的集成和微调，以改善用户体验和性能。