Phi-3-mini-4k-instruct-bnb-4bit

项目介绍：Phi-3-mini-4k-instruct-bnb-4bit

项目背景

Phi-3-mini-4k-instruct-bnb-4bit是一个基于Transformer框架的项目，使用MIT许可证。这一项目旨在通过名为Unsloth的方法，使得在微调一些大型语言模型时，可以达到更快的效果，并大幅减少内存使用量。

项目的核心优势

Phi-3-mini-4k-instruct-bnb-4bit项目的核心在于它能够让用户以更低的成本和更高的效率来进行模型微调。通过这个项目，用户可以在节省70%内存的情况下，达到比以往快2至5倍的微调速度。

使用工具和资源

该项目提供了多个免费的Google Colab笔记本，这些笔记本对于初学者非常友好。用户只需添加数据集，点击“运行全部”按钮，即可获得加速后的微调模型，这些模型可以被导出和上传。

支持的模型及性能

项目支持多种大型语言模型，每种模型都可以通过提供的Colab笔记本进行启动。以下是项目支持的一些模型及其性能表现：

• Llama-3.1 8b：通过Colab启动，性能提升至2.4倍，内存使用减少58%。
• Phi-3.5 (mini)：通过Colab启动，性能提升至2倍，内存使用减少50%。
• Gemma-2 9b：通过Colab启动，性能提升至2.4倍，内存使用减少58%。
• Mistral 7b：通过Colab启动，性能提升至2.2倍，内存使用减少62%。
• TinyLlama：通过Colab启动，性能提升至3.9倍，内存使用减少74%。
• DPO - Zephyr：通过Colab启动，性能提升至1.9倍，内存使用减少19%。

此外，还有专门用于对话的笔记本和用于文本完成的笔记本，以满足不同的需求。

特别鸣谢

项目对此次模型的创造和发布表示感谢，尤其是感谢Microsoft AI和Phi团队的努力与支持，使得该项目的实现成为可能。

结语

通过这个项目，更多的开发者可以享受到大模型带来的技术红利，而不必为硬件成本或复杂性担忧。Phi-3-mini-4k-instruct-bnb-4bit不仅降低了门槛，也在性能和效率上为业界树立了新标杆。