Humanish-LLama3-8B-Instruct-GGUF

Humanish-LLama3-8B-Instruct-GGUF项目介绍

项目概述

Humanish-LLama3-8B-Instruct-GGUF是一个先进的文本生成模型，与众多数据集一起进行训练，旨在提高自然语言生成的质量和准确性。这个模型是基于HumanLLMs机构开发的Humanish-LLama3.1-8B-Instruct模型，并在多个任务上进行评测。

主要特点

• 模型基础：使用HumanLLMs的Humanish-LLama3-8B-Instruct作为基础模型。
• 数据集和训练：利用了HumanLLMs/humanish-dpo-project数据集，并进行了量化处理。
• 开放许可证：模型使用llama3许可证，促进科研和开发者的自由使用。
• 文本生成：该模型专注于各种文本生成应用，具有多样化的使用场景。

评测和性能

该模型在多个任务和数据集上的表现如下：

• IFEval (0-Shot)：严格准确率为64.98%
• BBH (3-Shot)：标准化准确率为28.01%
• MATH Lvl 5 (4-Shot)：精确匹配率为8.46%
• GPQA (0-shot)：标准化准确率为0.78%
• MuSR (0-shot)：标准化准确率为2.0%
• MMLU-PRO (5-shot)：准确率为30.02%

这些结果可以从Open LLM Leaderboard验证。

模型量化

使用llama.cpp进行模型量化，支持多种量化类型，以适应不同的硬件资源和质量需求。每种量化版本在内存占用和推理速度上各有特点，从而提供灵活的选择。

常用版本及推荐

• Q6_K_L和Q6_K：高质量，几乎完美，推荐使用。
• Q5_K_L、Q5_K_M和Q5_K_S：高质量，节省空间，推荐使用。
• Q4_K_L和Q4_K_M：质量良好，适合大多数使用情况，推荐使用。
• Q3_K_S和Q2_K：较低质量，适合资源有限的环境。

使用指南

可以通过huggingface-cli工具，从bartowski/Humanish-LLama3-8B-Instruct-GGUF库中选择并下载所需的量化文件。

筛选指南

为了获取最佳性能，用户需根据自己硬件配置的内存和显存选择合适的量化类型。选择的时候，请依据所需的模型文件大小和可用的硬件资源作出决策。

贡献与支持

感谢kalomaze和Dampf在创建imatrix校准数据集上的帮助，以及ZeroWw的嵌入输出实验的启发。如需支持或了解更多，可以访问作者的ko-fi页面。

以上是针对Humanish-LLama3-8B-Instruct-GGUF项目的简单介绍，涵盖了模型的核心功能、性能表现以及使用指南。该项目为研究者和开发者提供了一个强大的工具，以增强他们的自然语言处理能力。