WizardLM-1.0-Uncensored-Llama2-13B-GGUF

项目介绍：WizardLM-1.0-Uncensored-Llama2-13B-GGUF

概述

WizardLM-1.0-Uncensored-Llama2-13B-GGUF是一个由Eric Hartford创建的大型语言模型项目，它基于Ehartford开发的Llama架构模型。该项目的目标是在不牵涉敏感内容审查的背景下，增强人工智能助手的交互能力。

GGUF格式简介

该项目使用了GGUF格式，这是一种由llama.cpp团队在2023年8月21日引入的新格式，替代了不再受支持的GGML格式。GGUF格式在改进标记化的同时，支持特殊标记和元数据，使其具有可扩展性。许多客户端和库已支持GGUF格式，如llama.cpp、text-generation-webui、KoboldCpp等，使得用户可以通过多种平台和工具来运行和测试模型。

提供的文件

该项目提供了多种量化格式的模型文件，适用于不同的使用场景和推理需求。例如：

2至8位的GGUF模型，不同的大小和内存需求，以适应CPU和GPU的推理。
每种量化方法的特点不同，从质量损失较大的Q2_K到质量损失极小的Q6_K，让用户可以根据自己所需的性能和质量权衡进行选择。

如何下载GGUF文件

用户可以通过huggingface-hub库来快速下载所需的模型文件，也可以通过text-generation-webui等界面工具下载。具体操作步骤如下：

pip3 install huggingface-hub>=0.17.1
huggingface-cli download TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGUF wizardlm-1.0-uncensored-llama2-13b.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

如何运行模型

在命令行中，使用llama.cpp可运行如：

./main -ngl 32 -m wizardlm-1.0-uncensored-llama2-13b.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "You are a helpful AI assistant.\n\nUSER: {prompt}\nASSISTANT:"

这允许用户根据自己的GPU加速情况调整参数，以运行不同需求下的模型。

Python代码使用示例

用户可以使用ctransformers或llama-cpp-python库在Python中加载和运行GGUF模型。例如：

from ctransformers import AutoModelForCausalLM

llm = AutoModelForCausalLM.from_pretrained("TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGUF", model_file="wizardlm-1.0-uncensored-llama2-13b.q4_K_M.gguf", model_type="llama", gpu_layers=50)
print(llm("AI is going to"))