Flacuna：融合Flan的Vicuna模型，提升问题解决能力的新突破

flacuna

Flacuna：融合Flan的全新AI助手 🦙🍮

在人工智能领域，大型语言模型的发展日新月异。最近，一个名为Flacuna的新模型引起了研究人员的关注。Flacuna是通过在Flan-mini指令集上微调Vicuna模型而开发的，旨在提升Vicuna在问题解决方面的能力，同时保持其出色的写作和对话能力。

Flacuna的诞生背景

Vicuna作为一个优秀的写作助手已经广受好评，但研究人员希望进一步提升其解决问题的能力。为此，他们精心策划了一个名为Flan-mini的综合指令数据集。这个数据集包含了各种任务类型，涵盖了从简单问答到复杂推理的广泛范围。

Flacuna Logo

Flan-mini数据集的组成如下：

Flan2021：388K样本
Public Pool of Prompts：320K样本
Natural instructions v2：200K样本
CoT：100K样本
代码相关数据集：共200K样本
GPT-4和ChatGPT生成的数据：132K样本

总计1.34M个样本，这个庞大而多样化的数据集为Flacuna的训练提供了坚实的基础。

Flacuna的性能表现

经过精心调教，Flacuna在多个基准测试中展现出了显著的性能提升，尤其是在问题解决能力方面。以下是Flacuna与其他模型在几个关键指标上的对比：

MMLU（5-shot）：Flacuna得分51.1，比Vicuna提高了0.5个百分点。
BBH（3-shot）：Flacuna得分39.3，比Vicuna提高了1.7个百分点。
DROP（3-shot）：Flacuna得分43.6，比Vicuna大幅提高了11个百分点。
CRASS（3-shot）：Flacuna得分74.1，比Vicuna提高了13.2个百分点。

值得注意的是，Flacuna在零样本（zero-shot）设置下的表现也同样出色：

MMLU（0-shot）：49.4
BBH（0-shot）：32.5
CRASS（0-shot）：67.9

这些数据充分证明了Flacuna在各种任务类型和设置下的强大适应能力。

Flacuna作为聊天机器人和写作助手

虽然Flacuna主要专注于提升问题解决能力，但开发团队也努力保持了Vicuna优秀的写作和对话能力。为此，他们在Flan-mini数据集中纳入了由GPT-4生成的对话数据集，如GPT-4-Alpaca和ShareGPT。

使用Flacuna作为聊天机器人或写作助手时，建议使用以下模板：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {definition of the task}.

{question}
Output: ASSISTANT:

然而，开发团队仍然建议将Vicuna作为首选的聊天机器人或写作助手，因为Flacuna的主要优势在于解决问题的任务上。

Flacuna的写作能力评估

为了评估Flacuna的写作能力，研究人员使用了IMPACT数据集，这是InstructEval评估套件的一部分。生成的响应由ChatGPT进行评估，并在相关性和连贯性方面进行了1到5的评分。结果显示，Flacuna在各种写作任务中表现出色，尤其是在创意写作方面：

信息型写作：相关性3.02，连贯性3.42
专业写作：相关性3.48，连贯性3.52
论证性写作：相关性3.38，连贯性3.02
创意写作：相关性3.92，连贯性3.80

虽然在某些方面略低于Vicuna，但Flacuna仍然展现出了强大的写作能力。

如何使用Flacuna

对于有兴趣尝试Flacuna的开发者和研究人员，可以通过以下方式快速开始：

首先，从Hugging Face下载Flacuna模型。
使用Python代码调用Flacuna：

from flacuna import FLACUNA
model = FLACUNA("declare-lab/flacuna-13b-v1.0")

prompt = (
  "A chat between a curious user and an artificial intelligence assistant. "
  "The assistant gives helpful, detailed, and polite answers to the user's questions. "
  "USER: You are tasked to demonstrate your writing skills in professional or work settings for the following question.\n"
  "Can you help me write a speech for a graduation ceremony, inspiring and motivating the graduates to pursue their dreams and make a positive impact on the world?\n"
  "Output: ASSISTANT: "
)
decoded = model.generate(prompt)
print(decoded)