TinyLlama-1.1B-Chat-v0.3-GPTQ

TinyLlama-1.1B-Chat-v0.3-GPTQ 项目介绍

项目概述

TinyLlama-1.1B-Chat-v0.3-GPTQ 是一款由张培元（Zhang Peiyuan）创建的聊天语言模型，该模型基于 TinyLlama 1.1B 的第三版，并集成了 GPTQ 技术。该项目包含用于 GPU 推理的多种 GPTQ 参数选项模型文件，目的是提供高效的推理性能和多样化的硬件支持。

数据来源

为训练和优化 TinyLlama-1.1B-Chat-v0.3，这款模型使用了多种数据集，包括：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• OpenAssistant/oasst_top1_2023-08-25

模型特点

TinyLlama-1.1B-Chat-v0.3 采用了简化的架构并进行了量化处理，以提升其在硬件资源有限情况下的运算速度。GPTQ（Generalized Pre-trained Transformers Quantization）使得模型可在更低的 bit 数下进行计算，从而降低 VRAM 需求。在不同的量化参数和硬件配置下提供多种不同的模型选择。

模型文件及参数

提供的文件具有多种 GPTQ 参数组合，以满足不同硬件和需求的最佳选择。每个不同的量化选项文件都存储在不同的分支中，例如：

• 分支名称：main
  • 位数：4
  • 组大小：128
  • 动作顺序：是
  • 减震百分比：0.1
  • 数据集：wikitext
  • 序列长度：2048
  • 文件大小：0.77 GB

这个计划提供多种组合方法，如不同的量化位数（4bit、8bit）、组大小和其他参数，以确保其在计算资源和推理精度之间达到最佳平衡。

模型使用

用户可以通过多种方式获取和使用该模型，例如：

• 通过 text-generation-webui 简化安装启动。这需要用户检查使用最新版本，并下载自定义模型。
• 从命令行通过 huggingface-hub 下载相应分支的模型文件。
• 在 Python 代码中使用 transformers 和 AutoGPTQ 库加载模型进行推理。

兼容性

该模型与 AutoGPTQ、ExLlama 等多个框架兼容，并适用于 Huggingface 的 Text Generation Inference。

额外支持

对该项目感兴趣的用户可以加入 TheBloke 的 Discord 服务器进行交流与支持。项目还通过 Patreon 和 Ko-Fi 平台接受贡献，以支持更多关于模型和 AI 项目的问题和请求。

TinyLlama-1.1B-Chat-v0.3-GPTQ 通过整合多种先进技术和工具，成为了一个非常灵活且高效的对话生成模型，适用于不同的使用场景和硬件配置。