Laravel-11-Llama-3.2-1B-Instruct-GGUF

Laravel-11-Llama-3.2-1B-Instruct-GGUF项目介绍

项目概述

Laravel-11-Llama-3.2-1B-Instruct-GGUF是一个专为Laravel 11文档和相关查询优化的语言模型。该模型是在Meta的Llama 3.2 1B Instruct模型基础上进行微调，以提供更准确、简洁的回答，特别适用于关于Laravel 11的复杂问题，其设计旨在为开发者提供逐步的问题解决方案。

模型详情

模型描述

• 微调者： Ryan Yannelli
• 模型类型： 语言模型，专为Laravel 11文档优化
• 自然语言处理语言： 英语
• 许可证： Llama 3.2
• 基础模型： meta-llama/Llama-3.2-1B-Instruct

使用场景

直接使用

该模型的设计目的是为开发者处理Laravel 11相关的查询。它能快速回答简单的Laravel 11问题，并为较为复杂的查询提供逐步指导，有时还会主动提问以获得更清楚的背景。

不适用场景

该模型仅针对Laravel 11文档训练，因此处理超出此领域的查询表现可能不佳。它不适合用于一般语言处理任务或其他PHP框架及Laravel版本的文档。

偏差、风险和限制

• 模型的知识仅限于截至2024年10月3日的Laravel 11文档。
• 由于仅有1B参数，处理较长文本的能力有限。
• 在Laravel 11文档之外的任务中表现可能不佳。

建议

用户应对重要信息或代码片段进行Laravel 11官方文档验证。模型应被视为一个协助工具，而非信息的最终来源。

如何开始使用

用户可以使用以下工具在本地运行模型：

• LM Studio
• Jan
• vLLM
• llama.cpp

选择最符合系统需求和偏好的工具进行使用。

设置推荐

最佳输出观察到的设置：

• Temperature： 0.5
• Top K Sampling： 40
• Repeat penalty： 1.1
• Min P Sampling： 0.05
• Top P Sampling： 0.95

训练详情

训练数据

模型在三个自定义数据集上进行了训练：

• yannelli/laravel-11-qa
• yannelli/laravel-11-qa-long-form
• yannelli/laravel-11-code-samples (私有)

这些数据集包含Laravel 11文档及相关的问答对。

训练过程

采用多阶段训练法，包括离线数据和公开数据集。

训练超参数

• 训练机制： SFTTrainer
• 优化器： AdamW 8-Bit
• 学习率调度类型： 余弦
• 学习率： 0.000095
• GPU： NVIDIA 3070 Ti

环境影响

• 硬件类型： NVIDIA 3070 Ti GPU
• 使用时长： 121小时
• 基础设施： 私有
• 碳排放： 18.14 kg CO2 eq

碳排放是使用机器学习影响计算器计算所得。

技术规格

模型架构和目标

该项目基于Meta Llama 3.2 1B Instruct架构，专为Laravel 11文档任务进行微调。

计算基础设施

硬件

NVIDIA 3070 Ti GPU

模型卡作者

Ryan Yannelli