nomic-ai-gpt4all-falcon-gguf

项目介绍：nomic-ai-gpt4all-falcon-gguf

nomic-ai-gpt4all-falcon-gguf项目是一个由Nomic AI开发的先进文本生成模型，尤为适合各种交互式助理和对话应用。其核心模型是基于Falcon 7B进行微调，主要被用于创建和处理复杂的文本输入。

项目背景

该模型主要是在一个庞大的对话数据集上进行训练，数据包括关于复杂问题、多轮对话、编程代码、诗歌和故事等多种类型的内容。项目使用的是经过优化的Falcon模型，专注于提升助理交互质量，同时确保高效率和良好的处理性能。

模型特点

模型创建者： Nomic AI
基础模型： Falcon 7B
语言支持： 英语
许可证： Apache-2.0
优化方式： 利用K-量化(Llama.cpp的K-Quantisation技术)支持，提供更优化的模型性能和文件大小。

GGUF格式

该模型使用的是gguf文件格式，由ggml库支持，这一格式被越来越多的软件所使用。与传统的量化方法相比，K-量化可以在文件大小和模型性能之间达到更好的平衡。

量化类型

模型中支持多种量化文件以满足不同需求，其中包括：

传统量化类型： Q4_0, Q4_1, Q5_0, Q5_1以及Q8型。
K-量化： 这是为提升性能和效率专门设计的量化方法。即便在不能完全实现K-量化的情况下，通过替代方案仍可获得明显的性能提升。

下载与使用

用户可以通过以下代码下载并使用该模型：

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-falcon", trust_remote_code=True)

并使用Cuda进行推理，以便加速处理：

from transformers import AutoTokenizer, pipeline
import torch

tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
model.to("cuda:0")

prompt = "Describe a painting of a falcon in a very detailed way."
prompt_template = f"### Instruction: {prompt}\n### Response:"

tokens = tokenizer(prompt_template, return_tensors="pt").input_ids.to("cuda:0")
output = model.generate(input_ids=tokens, max_new_tokens=256, do_sample=True, temperature=0.8)

print(tokenizer.decode(output[0]))