Wizard-Vicuna-13B-Uncensored-GPTQ

项目介绍：Wizard Vicuna 13B Uncensored-GPTQ

项目概述

Wizard Vicuna 13B Uncensored-GPTQ 是一个基于大规模语言模型的项目，由 Eric Hartford 创建并由 TheBloke 量化。这个项目的主要目的是提供一个没有内置伦理或道德限制的人工智能助手模型，使用者可以根据需要通过其他方法（例如通过 RLHF LoRA）自行添加这些限制。该模型能够给出详细且有礼貌的回答，适用于多种类型的用户提问场景。

模型特色

1. 去限制设计：该模型去除了任何形式的预设伦理或道德限制，使得开发者和研究人员可以自由地进行各种实验和应用，同时强调用户对于其使用方式的完全责任。

2. 多种配置选项：提供了多个 GPTQ 参数设置，用户可以根据硬件条件和需求选择最适合的量化配置。这些参数包括量化位数、组大小、激活顺序等。

3. 支持多种推理平台：模型支持 GPU 和 CPU 的推理，针对不同计算资源进行了优化，提供例如4位、8位的模型版本。

使用指南

下载与配置

1. 通过平台下载：用户可以通过指定的 Hugging Face 仓库下载对应的版本。比如在 Text-generation-webui 中，输入 TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ 即可开始下载。

2. 在 Python 中使用：需要安装相关的库和包，如 Transformers 和 AutoGPTQ，并通过提供的代码片段进行模型加载和推理。

推理和实验

1. 使用 Text-generation-webui：推荐使用 one-click-installer 进行快速安装和配置。设置好模型后，可以立即开始运行文本生成任务。

2. 自定义设置：用户可以根据需要调整并保存模型的自定义设置，以优化生成效果。

技术细节

• 模型类型：Llama
• 数据集：使用 ehartford 的 Wizard Vicuna 13B Uncensored 数据集作为基础。
• 模型版本：提供 ACK 和非 ACK 的设置，以满足不同的推理场景和精度需求。

注意事项

使用此模型时需要注意，由于其去限制的特性，用户需要对模型生成的内容负全部责任，尤其是在发布时。这和使用刀具、枪械等工具需要对个人行为负责一样，不能将责任归于模型本身。

社区支持与贡献机会

用户可以加入 TheBloke AI's Discord 社群 以获得更多支持，参与讨论，并对相关项目的贡献表达意愿。TheBloke 也欢迎通过 Patreon 和其他渠道的支持，以便持续提供更多的模型和新项目的开发。

此项目对开源 AI/ML 社群的支持表示感谢，并鼓励用户在使用过程中反馈建议与问题，帮助项目的持续改进。