PhoGPT

PhoGPT 项目介绍

PhoGPT 是一个面向越南语的生成预训练模型，具有强大的语言处理能力。这个项目开源了一个拥有4B参数的先进生成模型系列，包括基础的PhoGPT-4B单语模型和其聊天版本PhoGPT-4B-Chat。基础模型PhoGPT-4B拥有3.7B参数，基于一个包含102B个令牌的越南语语料库从头进行预训练，使用了8192的上下文长度，并采用了20K的词汇量。PhoGPT-4B-Chat则是通过对PhoGPT-4B进行微调而得到的，微调时使用了70K个指令提示及其响应、加上额外的290K条对话数据。在性能上，PhoGPT表现优于以往的开源模型。

模型下载

为了便于研究人员和开发者使用，PhoGPT及其聊天版本PhoGPT-4B-Chat可以通过以下链接下载：

• PhoGPT-4B: 基础模型，3.7B参数，基于482GB文本进行了两次训练。
• PhoGPT-4B-Chat: 支持指令跟随和对话，含70K指令和290K对话数据。

加载“PhoGPT-4B”或“PhoGPT-4B-Chat”时需要7GB的GPU内存。

运行模型

PhoGPT支持多种推理引擎，例如vLLM、Text Generation Inference和llama.cpp。在使用纯transformers库时，可以选择执行指令跟随或进入聊天模式。对于细化推理结果，比如量化操作，也可以使用bitsandbytes库。

使用llama.cpp运行模型

1. 编译llama.cpp。
2. 安装Python依赖。
3. 将模型转换为gguf FP16格式，或选择性地将其量化为4/8位。
4. 开始推理。

模型的转换版本可以在vinai/PhoGPT-4B-Chat-gguf中找到。

使用纯transformers库

指令跟随

可以通过transformers的库从预训练模型中加载PhoGPT-4B-Chat，并使用提供的样本指令模版进行推理。例如，可以实现社论写作、工作描述或语法纠错等功能。

模型微调

用户可以根据需要对PhoGPT进行微调。有关完整微调的例子，请参考llm-foundry 提供的文档。其他微调选项还包括使用transformers的Trainer、lit-gpt 或 LLaMA-Factory。

局限性

PhoGPT在某些任务上的表现有限，例如推理、编码或数学问题。此外，它可能生成有害、含有偏见或不安全的问题回答。因此，在使用PhoGPT时，用户需谨慎对待其可能产生的虚假信息输出。

通过这一项目，研究人员和开发者可以更深入地探索和开发越南语的自然语言处理应用，进一步推动技术进步。