Bonito入门指南 - 无需GPT即可生成指令调优数据集的轻量级库

Bonito是一个开源模型,用于条件任务生成:将未标注文本转换为特定任务的指令调优训练数据集。它是一个轻量级库,可以轻松创建合成数据集,构建在Hugging Face的transformers和vllm库之上。

🐟 Bonito的主要特性

无需依赖GPT等大型语言模型
支持多种NLP任务类型的数据生成
轻量级设计,易于使用和集成
基于Hugging Face生态系统,兼容性好

📦 安装

使用以下命令创建环境并安装Bonito:

conda create -n bonito python=3.9
conda activate bonito
pip install -e .

🚀 基本用法

以下代码展示了如何使用Bonito生成合成指令调优数据集:

from bonito import Bonito
from vllm import SamplingParams
from datasets import load_dataset

# 初始化Bonito模型
bonito = Bonito("BatsResearch/bonito-v1")

# 加载未标注文本数据集
unannotated_text = load_dataset(
    "BatsResearch/bonito-experiment",
    "unannotated_contract_nli"
)["train"].select(range(10))

# 生成合成指令调优数据集
sampling_params = SamplingParams(max_tokens=256, top_p=0.95, temperature=0.5, n=1)
synthetic_dataset = bonito.generate_tasks(
    unannotated_text,
    context_col="input",
    task_type="nli",
    sampling_params=sampling_params
)