self-llm

项目介绍：self-llm

项目概述

self-llm 是一个专门为国内初学者编写的开源大模型教程项目，旨在简化大模型的使用流程。它基于 Linux 平台，为中国用户提供一套全面的指导手册，涵盖了从环境配置、本地部署到高效微调的大模型应用技能。项目的目标是帮助普通学生和研究者能够更好地使用开源大模型，从而使这些技术更快被广泛应用。

项目内容

• 环境配置指南：提供基于 Linux 平台的详细配置步骤，适用于不同开源大模型的多种配置需求。
• 部署使用教程：针对国内外流行的开源大模型如 LLaMA、ChatGLM 和 InternLM，提供部署和使用指南。
• 应用指导：包括通过命令行调用、在线 Demo 部署以及与 LangChain 框架的集成。
• 微调方法：介绍了包括分布式全量微调、LoRA 和 ptuning 在内的多种高效微调技术。

该项目不仅是一个教程库，还鼓励更多的学生和未来的从业者了解大模型如何“使用”。任何人都可以参与，提交问题或贡献代码，协助项目的持续发展。

学习建议

项目建议按照环境配置、模型部署使用、最后到微调的顺序进行学习，因为每个阶段都为下一阶段奠定基础。初学者可以从 Qwen1.5、InternLM2 和 MiniCPM 等模型开始学习。

拓展学习

如果对大模型的结构构成、RAG、Agent 和 Eval 等任务感兴趣，可以进一步探索 Datawhale 的其他相关项目如 Tiny-Universe 和 so-large-llm。

项目意义

大模型是指能够处理复杂自然语言任务的深度学习模型，其应用已经扩展至机器视觉、多模态和科学计算等多个领域。面对百花齐放的开源 LLM，国内外涌现了多个优秀的模型。然而，普通用户要使用这些技术，往往需要一定的技术基础。

self-llm 的目标是降低这一技术门槛，使大模型能够被更广泛、更快速地应用，把开源 LLM 的精髓带给普罗大众。

项目受众

• 无条件获取或者使用相关 API 的用户
• 计划长期、低成本、大量使用 LLM 的用户
• 对开源 LLM 感兴趣并希望动手实践的用户
• 正在学习 NLP 并需要使知识进一步扩展到 LLM 领域的学者
• 希望通过开源 LLM 定制领域专用的私域模型的机构
• 广大的普通学生群体

项目规划及进展

项目围绕开源 LLM 的全流程展开，包括从环境配置、部署应用到微调，覆盖多个主流和具有独特性的开源 LLM。

Example 系列

• Chat-嬛嬛：基于《甄嬛传》剧本台词的 LLM 模型。
• Tianji-天机：社交场景下的 LLM 应用教程。

已支持模型

支持的模型范围广泛，包括 Qwen 系列、Llama 系列、DeepSeek 和 Yi 等，涵盖从基础部署、框架接入到 Lora 微调的详细指导。

该项目不断拓展，未来将加入更多模型和优化措施，为用户提供涵盖开源大模型所有可能操作的完整指南。