MythoMax-L2-13B-GPTQ

MythoMax-L2-13B-GPTQ项目介绍

项目背景

MythoMax-L2-13B-GPTQ是一个由Gryphe创建的模型。其基础模型为Gryphe的MythoMax-L2-13B，这是一种Llama类型模型。这个项目的目标是通过特定的量化参数配置，提供高效且适应不同硬件的文本生成性能。

模型特点

• 模型名称: MythoMax L2 13B
• 创造者: Gryphe
• 模型类型: Llama
• 基准模型: Gryphe/MythoMax-L2-13b
• 量化者: TheBloke

MythoMax-L2-13B-GPTQ特别之处在于其提供多种量化参数选择，以适应不同的计算需求和硬件条件。模型量化使得其在保持高推理质量的同时，能够有效降低对计算资源的需求。

可用资源

MythoMax-L2-13B-GPTQ项目在Hugging Face平台上提供了多种模型资源：

• GPU推理的AWQ模型: 适合在GPU上进行AI推理。
• 多种量化参数选项的GPTQ模型: 提供了多种量化参数选择，以满足不同的推理需求。
• 支持CPU+GPU推理的2到8位GGUF模型: 这种灵活性使其适应性更广。

使用提示

项目提供了一种自定义的提示模板，格式如下：

<System prompt/Character Card>

### Instruction:
您的指令或问题写在这里。
对于角色扮演目的，可建议如下 - 撰写<CHAR NAME>下一个回复在<YOUR NAME>和<CHAR NAME>之间的聊天中。仅撰写单一回复。

### Response:

这种格式特别适合于角色扮演和故事写作，充分发挥模型的特点。

授权与许可

MythoMax-L2-13B-GPTQ模型根据来源模型的许可协议“other”进行发布。此外，由于模型基于Llama 2，因此也受Meta Llama 2许可条款的约束。使用者需要仔细阅读并遵循以上许可能中的条款。

任何关于授权的问题，特别是这两种许可如何相互作用的问题，可以直接与Gryphe的模型仓库联系以获得更多信息。

文件和参数选项

提供了多种量化参数选项，包括位大小、组大小、行动顺序、阻尼比率和使用的数据集等。用户可以根据自己的硬件能力和应用需求选择最合适的选项。

下载和安装

模型可以通过Git下载不同分支的方式来获取特定版本。此外，还有推荐使用的text-generation-webui工具，提供一键安装以便于用户使用。

兼容性

提供的文件已测试与AutoGPTQ兼容，这些模型也适用于Huggingface的Text Generation Inference (TGI)和ExLlama, 后者支持Llama模型的4位版本。

MythoMax-L2-13B-GPTQ项目通过这种多样化的量化选择和便捷的使用工具，帮助用户在不同的应用场景中获得最大性能表现。无论是研究人员还是企业用户，都可以根据需求灵活调整，充分利用这款强大的AI生成模型。