PaddleNLP入门学习资料汇总-易用且强大的NLP开发套件

PaddleNLP

PaddleNLP简介

PaddleNLP是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件,支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP具备简单易用和性能极致的特点,致力于助力开发者实现高效的大模型产业级应用。

主要特性

PaddleNLP具有以下主要特性:

多硬件训推一体:支持英伟达GPU、昆仑XPU、昇腾NPU等多种硬件,实现训练和推理的一体化。
高效易用的预训练:支持4D高性能训练,包括数据并行、张量并行等策略。
高效精调:精调算法与高性能算子深度结合,大幅提升训练吞吐。
无损压缩和高性能推理:内置动态插入和算子融合策略,加快推理速度。

支持模型

PaddleNLP支持众多主流大模型,包括:

LLaMA系列
Baichuan系列
Bloom系列
ChatGLM系列
Qwen系列
等等

详细支持列表请查看官方文档。

安装方法

可以通过pip安装PaddleNLP:

pip install --upgrade paddlenlp==3.0.0b1

快速开始

以下是使用PaddleNLP进行文本生成的简单示例:

from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float16")
input_features = tokenizer("你好！请自我介绍一下。", return_tensors="pd")
outputs = model.generate(**input_features, max_length=128)
print(tokenizer.batch_decode(outputs[0]))