Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF

项目介绍：Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF

Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF是一个基于Meta-Llama-3-70B的大型语言模型的量化版本。该模型旨在通过使用量化技术来减少模型尺寸，同时保持性能。此项目的量化由legraphista提供，采用了IMatrix数据集来进行模型优化。

基础信息

原始模型：failspy/Meta-Llama-3-70B-Instruct-abliterated-v3.5
原始数据类型：BF16（bfloat16）
量化器：由llama.cpp部分量化
标签：量化、GGUF、IMatrix、静态等

文件及其用途

IMatrix

IMatrix文件已可用，用于优化低量化级别模型的性能表现。

常用量化格式

Q8_0：总大小74.98GB，已切分多文件存储
Q6_K：57.89GB，亦为多文件
Q4_K：42.52GB，单文件使用IMatrix优化
Q3_K：34.27GB，单文件使用IMatrix优化
Q2_K：26.38GB，单文件使用IMatrix优化

全部量化格式

项目提供了一系列量化格式，以满足不同存储容量和性能需求。

下载与使用

项目文件可通过huggingface-cli下载。对于大型文件，支持分片下载和合并。用户需要先安装huggingface-cli，然后可以下载所需的量化文件。

下载示例

pip install -U "huggingface_hub[cli]"
huggingface-cli download legraphista/Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF --include "Meta-Llama-3-70B-Instruct-abliterated-v3.5.Q8_0/*" --local-dir ./

推理模板

简单聊天模板

该模板定义了用户和助手间的基本交互格式。

<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{user_prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{assistant_response}<|eot_id|><|start_header_id|>user<|end_header_id|>
{next_user_prompt}<|eot_id|>

带系统提示的聊天模板

加入了系统提示以丰富对话上下文。

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>
{user_prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{assistant_response}<|eot_id|><|start_header_id|>user<|end_header_id|>
{next_user_prompt}<|eot_id|>