Guanaco-13B-Uncensored-GGUF

项目介绍：Guanaco-13B-Uncensored-GGUF

项目背景

Guanaco-13B-Uncensored-GGUF 是一个基于Llama架构的对话模型，由Fredithefish创建。模型采用GGUF格式，这是由llama.cpp团队在2023年8月21日推出的新格式，用于替代不再受支持的GGML格式。GGUF格式在标记化与特殊标记支持方面较GGML有显著优势，并且具有元数据支持，设计更加灵活可扩展。

模型特性

• 模型名称: Guanaco 13B Uncensored
• 模型创造者: Fredithefish
• 基础模型: Fredithefish/Guanaco-13B-Uncensored
• 模型类型: llama
• 用途: 对话
• 提示模板:

  ### Human: {prompt}
  ### Assistant:
  

• 许可证: Apache 2.0

关于GGUF格式

GGUF格式作为GGML的替代，不仅在标记处理上有所改进，还能支持多种元数据，且具备扩展性。这提升了模型在不同场景中的应用效果。

支持GGUF格式的客户端与库包括：

• llama.cpp：提供命令行工具和服务器选项。
• text-generation-webui：最流行的Web界面，支持GPU加速。
• KoboldCpp：专注于故事创作的Web界面。
• LM Studio：适用于Windows和macOS的本地GUI，易于使用。
• LoLLMS Web UI：功能丰富的Web界面。
• Faraday.dev：支持基于剧情的聊天界面。
• ctransformers：Python库，支持GPT加速。
• llama-cpp-python：支持LangChain与OpenAI API的Python库。
• candle：Rust的ML框架，专注于性能与易用性。

数据集与推理

模型使用的数据集是Fredithefish/openassistant-guanaco-unfiltered，当前暂不支持推理。

模型文件与下载

提供了多种量化方法的模型文件，适用于不同的RAM与应用场景，从较小的2-bit到非常大的8-bit不等。用户可以根据需要选择合适的文件进行下载和使用。

下载可以通过多种方式实现，也可以使用huggingface-hub Python库来快速下载所需的模型文件。命令行下载支持批量处理，适合高级用户。

使用指南

模型可以通过llama.cpp、text-generation-webui等工具运行。Python用户可以借助ctransformers库加载模型，还可以通过LangChain框架进行集成和使用。

定点支持

该项目受到a16z的资助，社区用户可以通过TheBlokeAI的Discord服务器获取支持与交流。通过Patreon或Ko-Fi进行贡献的支持者能够获得额外的支持和专属福利。

总结

Guanaco-13B-Uncensored-GGUF是一个功能强大的对话模型，具备高效的标记处理能力和兼容性，适用于多种对话应用场景。用户可根据需求选择合适的模型文件并灵活应用于GPU或CPU推理任务中。