PhoGPT入门指南 - 越南语生成式预训练模型

PhoGPT

PhoGPT简介

PhoGPT是由VinAI Research开发的一个开源的越南语生成式预训练模型系列,包括基础预训练模型PhoGPT-4B和对话变体PhoGPT-4B-Chat。它是目前越南语NLP领域最先进的开源模型之一。

PhoGPT性能对比

🚀 快速开始

从Hugging Face下载模型:
- PhoGPT-4B基础模型
- PhoGPT-4B-Chat对话模型
使用transformers库加载模型:

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat")
tokenizer = AutoTokenizer.from_pretrained("vinai/PhoGPT-4B-Chat")

生成文本:

prompt = "### Câu hỏi: Viết một bài thơ ngắn về Hà Nội\n### Trả lời:"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

📚 学习资源

PhoGPT GitHub仓库: 官方代码、文档和示例
PhoGPT技术报告: 详细介绍模型架构和实验结果
Hugging Face模型页面: 在线试用和API文档
llm-foundry文档: 用于微调PhoGPT的指南

💡 高级用法

使用vLLM进行高效推理

PhoGPT支持使用vLLM进行高效推理:

from vllm import LLM, SamplingParams

llm = LLM(model="vinai/PhoGPT-4B-Chat")
output = llm.generate("Hãy kể một câu chuyện ngắn", SamplingParams(temperature=0.7, max_tokens=100))
print(output[0].text)

量化模型

使用bitsandbytes进行8位量化:

from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", quantization_config=quantization_config)