KoGPT学习资料汇总 - 韩语生成预训练Transformer模型

KoGPT简介

KoGPT(Korean Generative Pre-trained Transformer)是由KakaoBrain开发的韩语生成预训练Transformer模型。它是一个强大的韩语自然语言处理模型,可用于文本生成、分类、摘要等多种NLP任务。

官方资源

• GitHub仓库: https://github.com/kakaobrain/kogpt
• Hugging Face模型: https://huggingface.co/kakaobrain/kogpt

模型版本

KoGPT目前有以下两个版本:

1. KoGPT6B-ryan1.5b: 6B参数的float32版本
2. KoGPT6B-ryan1.5b-float16: 6B参数的float16版本

硬件要求

• KoGPT6B-ryan1.5b: 需要至少32GB GPU显存
• KoGPT6B-ryan1.5b-float16: 需要至少16GB GPU显存,要求NVIDIA Volta/Turing/Ampere架构GPU

使用方法

命令行使用

python -m kogpt
prompt> 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던
temperature(0.8)> 
max_length(128)> 64

Python代码使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',
  bos_token='[BOS]', eos_token='[EOS]', unk_token='[UNK]', pad_token='[PAD]', mask_token='[MASK]'
)
model = AutoModelForCausalLM.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',
  pad_token_id=tokenizer.eos_token_id,
  torch_dtype='auto', low_cpu_mem_usage=True
).to(device='cuda', non_blocking=True)
_ = model.eval()

prompt = '인간처럼 생각하고, 행동하는 \'지능\'을 통해 인류가 이제까지 풀지 못했던'
with torch.no_grad():
  tokens = tokenizer.encode(prompt, return_tensors='pt').to(device='cuda', non_blocking=True)
  gen_tokens = model.generate(tokens, do_sample=True, temperature=0.8, max_length=64)
  generated = tokenizer.batch_decode(gen_tokens)[0]
  
print(generated)

在线Demo

• Hugging Face Spaces: https://huggingface.co/spaces/akhaliq/kogpt

许可证

• 源代码: Apache 2.0 license
• 预训练权重: CC-BY-NC-ND 4.0 license

注意事项

KoGPT是基于原始数据训练的,可能会产生不恰当或有争议的内容。使用时请注意遵守相关法律法规。

以上就是KoGPT的主要学习资源汇总,希望对你了解和使用这个强大的韩语NLP模型有所帮助。如果在使用过程中遇到任何问题,欢迎访问官方GitHub仓库提issue或讨论。