PhoGPT入门指南 - 越南语生成式预训练模型

PhoGPT简介

PhoGPT是由VinAI Research开发的一个开源的越南语生成式预训练模型系列,包括基础预训练模型PhoGPT-4B和对话变体PhoGPT-4B-Chat。它是目前越南语NLP领域最先进的开源模型之一。

🚀 快速开始

1. 从Hugging Face下载模型:

   • PhoGPT-4B基础模型
   • PhoGPT-4B-Chat对话模型

2. 使用transformers库加载模型:

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat")
tokenizer = AutoTokenizer.from_pretrained("vinai/PhoGPT-4B-Chat")

3. 生成文本:

prompt = "### Câu hỏi: Viết một bài thơ ngắn về Hà Nội\n### Trả lời:"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

📚 学习资源

• PhoGPT GitHub仓库: 官方代码、文档和示例
• PhoGPT技术报告: 详细介绍模型架构和实验结果
• Hugging Face模型页面: 在线试用和API文档
• llm-foundry文档: 用于微调PhoGPT的指南

💡 高级用法

使用vLLM进行高效推理

PhoGPT支持使用vLLM进行高效推理:

from vllm import LLM, SamplingParams

llm = LLM(model="vinai/PhoGPT-4B-Chat")
output = llm.generate("Hãy kể một câu chuyện ngắn", SamplingParams(temperature=0.7, max_tokens=100))
print(output[0].text)

量化模型

使用bitsandbytes进行8位量化:

from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", quantization_config=quantization_config)

⚠️ 使用限制

PhoGPT在推理、编程和数学等任务上表现不佳。此外,它可能会产生有害、仇恨言论或有偏见的回应。使用时请谨慎,并注意输出可能存在事实错误。

🔗 更多资源

• PhoGPT论坛讨论
• 越南语NLP资源列表
• VinAI Research主页

希望这份指南能帮助您快速上手PhoGPT,开启越南语自然语言处理的探索之旅! 如有任何问题,欢迎在GitHub仓库中提issue讨论。 🚀🇻🇳