ms-swift

项目介绍：SWIFT（可扩展轻量化微调基础设施）

SWIFT 是一个致力于支持大规模语言模型（LLM）和多模态大模型（MLLM）的训练、推理和部署的框架。这个项目的全称是 Scalable lightWeight Infrastructure for Fine-Tuning。它为开发人员提供了一个可以直接用于研究和生产环境的完整解决方案，从模型的训练、评估到应用都一应俱全。

支持和功能

• 支持350+ LLM和100+ MLLM：SWIFT 框架支持大量的语言模型和多模态大模型，为用户提供广泛的选择。
• 训练和推理：框架支持预训练、微调、强化学习训练、推理、评估以及模型部署。
• 轻量级训练解决方案：除了现有的轻量训练解决方案，框架还提供完整的适配器库，支持诸如 NEFTune、LoRA+、LLaMA-PRO 等最新训练技术。
• 跨领域应用：SWIFT 的适配器库可以轻松嵌入到用户自定义的工作流中，无需更改原有训练脚本。
• 用户友好性：对于不熟悉深度学习的用户，我们提供了基于 Gradio 的 Web-UI，用于训练和推理控制。同时，还提供相关的深度学习课程和最佳实践。

文档和资源

用户可通过查看 SWIFT 中文文档 了解框架的详细使用指南。此外，SWIFT 的相关论文已发表在 arXiv 上，用户可以通过这篇论文深入了解其理论基础。

安装与上手

想要开始使用 SWIFT，用户可以访问 ModelScope 社区，按照详细的安装说明设置环境。用户还可以通过 SWIFT 的文档网站获取进一步的支持。

用户支持和社区互动

SWIFT 团队欢迎用户通过以下方式与我们联系：

• Discord 群组：用户可以加入 SWIFT 的 Discord 群组，与开发团队和其他用户互动。
• 微信群：通过扫码加入微信交流群，与国内的 SWIFT 用户讨论和分享经验。

最新动态

SWIFT 项目团队会定期发布关于框架的新支持、新功能和重要更新的新闻，确保用户可使用最新的技术和最佳实践进行模型的训练和开发。

开放源码及贡献

SWIFT 是一个开源项目，托管在 GitHub 上，任何人都可以访问其源代码。项目采用通用的开源许可协议，鼓励开发者提交 Pull Request 并为项目发展做出贡献。

SWIFT 致力于通过提供强大而易用的模型开发工具，助力研究者和行业开发人员在各自领域内实现突破性成果。无论是学术研究还是商业应用，SWIFT 都能为用户提供无缝的模型训练和部署解决方案。