Wizard-Vicuna-7B-Uncensored-GGUF

项目介绍：Wizard Vicuna 7B Uncensored - GGUF

项目概述

Wizard Vicuna 7B Uncensored-GGUF是一个人工智能模型项目，由Eric Hartford创建。该模型基于llama模型结构，并在不设限的环境中运行。项目最初的数据集来自ehartford的wizard_vicuna_70k_unfiltered，旨在为使用者提供一种无过滤、高度响应性的智力支持工具。

GGUF格式介绍

GGUF是一种由llama.cpp团队在2023年8月21日引入的新格式，用于取代不再支持的GGML格式。该格式被多个客户端和库支持，包括：

• llama.cpp：原始GGUF项目，提供CLI和服务器选项。
• text-generation-webui：流行的Web用户界面，支持GPU加速。
• KoboldCpp：一个功能齐全的Web用户界面，适用于各种平台的GPU架构，非常适合讲故事。
• LM Studio：适用于Windows和macOS（硅）的强大本地GUI，支持GPU加速。
• LoLLMS Web UI：具备大量有趣和独特功能的出色Web界面。
• Faraday.dev：基于角色的聊天界面，广泛支持GPU加速。
• ctransformers：支持LangChain和OpenAI兼容的AI服务器的Python库。
• llama-cpp-python：支持LangChain和OpenAI兼容API服务器的Python库。
• candle：强调性能和易用性的Rust机器学习框架，支持GPU。

合作与支持

Wizard Vicuna 7B Uncensored的GGUF模型文件可以在多个代码库中获得，适用于不同的推断需求和设备：

• AWQ模型：用于GPU推断。
• GPTQ模型：提供多种量化参数选项。
• GGUF模型：适用于CPU+GPU推断，提供2至8位的模型。
• Eric Hartford原始未量化fp16模型：适用于GPU推理和进一步转换。

模型提示模板

模型使用一个称为Vicuna的提示模板，用于模拟用户与人工智能助手之间的对话。助手会提供有用、详尽并礼貌的回答。

兼容性

这些量化后的GGUFv2文件与2023年8月27日或更晚的llama.cpp版本兼容。支持的第三方UI和库非常多，使用者可以根据需要选择合适的平台。

文件下载与使用

项目提供了多种安装与使用方法，用户可以通过text-generation-webui、命令行或Python代码进行文件下载和模型使用。此外，用户还可以借助LangChain实现更高级的应用。

贡献与支持

如有兴趣参与项目或提供支持，可以联系TheBloke AI（该项目在社区平台如Discord有活跃的支持网络），还可以通过Patreon等途径贡献支持以助力项目发展。

结语

Wizard Vicuna 7B Uncensored-GGUF项目凭借其灵活、开放及高性能的特性，为不同领域的用户提供了一种有效利用AI进行信息处理和任务解决的工具。无论是科研、教育还是工业应用，该项目展现出了强大的潜力和应用价值。