Grok-1-GGUF

Grok-1 GGUF 项目介绍

Grok-1 GGUF 是一个非官方的量化模型项目，兼容 llama.cpp 这一工具。目前该项目致力于提供对 Grok-1 模型的支持，并且不断进行更新和优化，以便用户能够更简便地使用这些量化分片模型。

项目更新

llama.cpp 的本地分片支持

Grok-1 GGUF 项目与 llama.cpp 合作进行了模型分片的改进。通过这些更新，现在不再需要手动合并分片文件。只需下载所有分片文件，运行时直接使用第一个分片文件即可。系统将自动检测并加载其他相关分片。

直接从 Hugging Face 下载分片

得益于最新的更新，现在能够通过互联网直接从 Hugging Face 下载模型分片。这大大简化了模型的加载和运行。这一改进让用户能够通过如下命令直接下载并运行模型：

server \
    --hf-repo Arki05/Grok-1-GGUF \
    --hf-file grok-1-IQ3_XS-split-00001-of-00009.gguf \
    --model models/grok-1-IQ3_XS-split-00001-of-00009.gguf \
    -ngl 999

这种方式便捷又高效，极大地优化了用户体验。

可用量化模型

Grok-1 GGUF 目前提供以下几种量化模型供下载：

量化模型	分片文件	大小
`Q2_K`	包含9个分片，每个分片文件可以从Hugging Face 获取	112.4 GB
`IQ3_XS`	同样包含9个分片，每个分片文件的链接可在Hugging Face 网站上找到	125.4 GB
`Q4_K`	9个分片文件，总大小为186.0 GB	186.0 GB
`Q6_K`	9个分片文件，合计大小达到259.8 GB	259.8 GB