ghost-7b-alpha

项目介绍：Ghost 7B Alpha

介绍

Ghost 7B Alpha 是一个大型语言模型，拥有 70 亿个参数，从 Mistral 7B 模型进行微调开发而成。其主要目标是优化推理能力、多任务知识以及工具使用支持。Ghost 7B Alpha 在英语和越南语这两种语言上表现出色，并经过精心训练和优化。

总体来说，Ghost 7B Alpha 非常适合作为预训练模型，用户可以在此基础上继续开发所需的任务，包括虚拟助手、编码、翻译、解答问题、创建文档等功能。这个开源模型效率高、速度快且成本低廉。

规格

• 名称: Ghost 7B Alpha
• 模型大小: 70 亿参数
• 上下文长度: 8K（8192）
• 支持语言: 英语、越南语
• 主要任务: 推理、多任务知识与功能工具支持
• 许可证: Ghost 7B LICENSE AGREEMENT
• 基础模型: Mistral 7B
• 分发版本: 标准版 (BF16)、GGUF、AWQ
• 开发者: Ghost X 和 Hieu Lam

链接

• 模型卡片: 🤗 HuggingFace
• 官方网站: Ghost 7B Alpha
• 演示: 与 Ghost 7B Alpha 的 Playground

分发版本

我们提供多种分发版本，以便用户根据需求选择最佳访问选项。在选择分发版本时，请确保了解所需版本及其对操作的具体帮助。

版本	模型卡
BF16	🤗 HuggingFace
GGUF	🤗 HuggingFace
AWQ	🤗 HuggingFace

标准版 (BF16)

标准分发版本用于评估，发现其在文本生成质量上表现最佳。

GGUF

GGUF 是由 llama.cpp 团队于 2023 年 8 月 21 日推出的新格式，取代了不再受支持的 GGML。

AWQ

AWQ 算法适用于 4 位量化，实现推理速度加倍。

提示 / 聊天模板

角色

Ghost 7B Alpha 支持的角色包括：system、plugins、user、assistant、execute、response。

• system: 类似于 OpenAI GPT-4，用于声明上下文或指定模型的特征和专长。
• user: 用户输入，可以是问题或指令。
• assistant: 模型根据 user 的输入进行回应。
• plugins: 声明模型允许使用的工具信息。
• execute: 执行时模型返回的数据类型，包括要使用的工具和参数。
• response: 工具执行后的结果，供模型根据用户输入给出合适回答。

可以查看实际代码这里。

技巧

• 将系统提示设定在正确的上下文和特征中，能够显著提升模型性能。
• 可以通过设定系统提示来防止不必要的事情发生。
• 在大多数情况下，如果没有特别想法，可以将系统提示留空，此时性能对一般情况最优化。

默认聊天

在标准情况下，不使用功能工具时，角色顺序为 system、user 和 assistant，以此类推。

• (1) system
• (2) user
• (3) assistant

重复 (2) 和 (3) 在整个对话过程中。

使用工具的聊天

在使用工具的情况下，角色顺序为：

• (1) system

• (2) plugins

• (3) user

• A. 当模型发现不适合使用工具时:

  • (4) assistant 如果模型能回答或不适合使用工具，模型即回答用户问题。

• B. 当模型选择使用工具时：

  • (4) execute 返回执行指定工具所需的参数。
  • (5) response 返回应用工具获得的结果。
  • (6) assistant 模型回答用户问题。

重复 (3) 和 (A) 或 (B) 在整个对话过程中。

展示案例

英语

这里是一些通过 Ghost 7B Alpha 进行的实际展示示例，包括解决问题的能力（如：日程安排、动物辨识、伦理决策等）以及一些代码实现示例（如：Node.js 应用程序部署、图像分类神经网络构建等）。

越南语

本节展示了对名言态度的响应，以了解模型的回答是否自然流畅。