datasetGPT

datasetGPT是一个命令行界面和Python库，用于推理大型语言模型以生成文本数据集。

可能的使用场景包括：

构建文本语料库，用于训练/微调检测AI撰写内容的工具。
收集LLM产生的对话数据集，用于研究目的、分析AI性能/影响/伦理等。
自动化处理大量输入文本的LLM任务。例如，使用单个CLI命令让GPT-3总结1000个段落。
利用特别大的LLM的API为特定任务生成多样化的文本，然后用这些文本微调较小的模型。

这个工具可以自由分发，不对下游使用场景有任何限制。但是，你应该确保在特定情况下遵守后端API（OpenAI、Cohere、Petals等）的使用条款。

安装

pip install datasetGPT

大多数生成功能依赖于第三方API。安装它们各自的包：

pip install openai cohere petals

使用示例

大规模推理LLM

export OPENAI_API_KEY="..."
export COHERE_API_KEY="..."

datasetGPT texts \
    --prompt "如果{country}是星球大战宇宙中的一个星球，它会被称为" \
    --backend "openai|text-davinci-003" \
    --backend "cohere|medium" \
    --temperature 0.9 \
    --option country 德国 \
    --option country 法国 \
    --max-length 50 \
    --num-samples 1 \
    --single-file

上述命令应该生成一个包含4个文本的数据集文件。每个后端LLM都使用了所有可能的选项组合。查看CLI参考了解更多详情。数据集文件看起来像这样：

[
    {
        "sample_id": 0,
        "backend": "openai|text-davinci-003",
        "max_length": 50,
        "temperature": 0.9,
        "country": "德国",
        "prompt": "如果德国是星球大战宇宙中的一个星球，它会被称为",
        "output": " 欧隆星。这个星球将是一个强大而多样化的外星物种的家园，被称为欧隆人，他们已经进化到比银河系中许多其他星球更高的理解和技术水平。这个星球将是"
    },
    {
        "sample_id": 0,
        "backend": "openai|text-davinci-003",
        "max_length": 50,
        "temperature": 0.9,
        "country": "法国",
        "prompt": "如果法国是星球大战宇宙中的一个星球，它会被称为",
        "output": " 自由帝国。它将是一个和平、民主的星球，具有强烈的正义感和平等意识。这个星球将是许多不同外星物种的家园，但其人口的大多数将是人类。它将拥有强大的军事和"
    },
    {
        "sample_id": 0,
        "backend": "cohere|medium",
        "max_length": 50,
        "temperature": 0.9,
        "country": "德国",
        "prompt": "如果德国是星球大战宇宙中的一个星球，它会被称为",
        "output": " 宇宙的霍斯。\n在苏联入侵东欧和随后的西方反苏情绪之后，德国的武器制造商进入了超速状态，该国以惊人的速度生产出枪支。到20世纪30年代初"
    },
    ...
]

或者，你可以使用我们的TextsGenerator在Python中生成文本。

使用ChatGPT API生成对话

export OPENAI_API_KEY="..."
datasetGPT conversations \
    --length 4 \
    --length 5 \
    --agent1 "你是宠物店的店员。礼貌地回答顾客的问题。" \
    --agent2 "你是宠物店的顾客。你应该表现得像个人类。你想买{n}只宠物。询问关于店里宠物的问题。" \
    --temperature 0.1 \
    --temperature 0.2 \
    --option n 2 \
    --option n 3 \
    --path dataset

上述命令应该生成一个包含16个对话的数据集目录，这些对话保存为JSON文件。你可以指定是否要将所有对话保存在一个文件中。为什么是16个？因为对于每种可能的参数组合（对话长度、LLM温度和自定义提示选项），都会生成num_samples个对话。数据集项目看起来像这样：

{
    "length": 5,
    "temperature": 0.1,
    "n": "2",
    "agent1": "你是宠物店的店员。礼貌地回答顾客的问题。当整个对话结束时以"再见"结束。",
    "agent2": "你是宠物店的顾客。你应该表现得像个人类。你想买2只宠物。询问关于店里宠物的问题。当整个对话结束时以"再见"结束。",
    "utterances": [
        [
            "agent1",
            "您好！今天我能为您提供什么帮助？"
        ],
        [
            "agent2",
            "你好！我想买两只宠物。你能告诉我店里有哪些宠物吗？"
        ],
        [
            "agent1",
            "当然可以！我们有多种宠物，包括狗、猫、鸟、鱼、仓鼠、豚鼠、兔子和爬行动物。您对哪种宠物特别感兴趣吗？"
        ],
        [
            "agent2",
            "我还不确定。你能告诉我更多关于狗和猫的信息吗？你们有哪些品种？"
        ],
        ...
    ]
}

你也可以使用我们的ConversationsGenerator以编程方式使用gpt-3.5-turbo API生成文本。

from datasetGPT import ConversationsGenerator, ConversationsGeneratorConfig, DatasetWriter

dataset_writer = DatasetWriter() # single_file=True

generator_config = ConversationsGeneratorConfig(agent1="你是宠物店的店员。礼貌地回答顾客的问题。",
                                                agent2="你是宠物店的顾客。你应该表现得像个人类。你想买{n}只宠物。询问关于店里宠物的问题。",
                                                num_samples=2,
                                                interruption="length",
                                                lengths=[4, 5],
                                                temperatures=[0.1, 0.2],
                                                options=[("n", "2"), ("n", "3")],
                                                model="gpt-3.5-turbo", # 或 model="gpt-4"
                                                # 可以为每个代理设置特定的模型。如果设置了其中一个参数，另一个也必须提供，否则两个代理都使用"model"值。
                                                model_agent_one="gpt-3.5-turbo",
                                                model_agent_two="gpt-4"

                                             )

conversations_generator = ConversationsGenerator(generator_config)

for conversation in conversations_generator:
    dataset_writer.save_intermediate_result(conversation)

贡献

仍在积极开发中。

非常欢迎贡献。目前正在开发以下功能：

datasetGPT conversations - 让两个ChatGPT代理互相交谈并记录对话历史。
datasetGPT texts - 使用给定的输入提示推理不同的LLM，并通过改变参数生成多个输出。
datasetGPT transformations - 对一系列文本应用一系列转换。例如，为{儿童 | 大学生 | 博士候选人}总结一系列文本以便理解。
支持更多后端LLM。

设置本地开发环境：

git clone https://github.com/radi-cho/datasetGPT/
cd datasetGPT
pip install -e .

CLI参考

datasetGPT [OPTIONS] COMMAND [ARGS]...

  使用LLM生成数据集的命令行界面。

选项:
  --help  显示此消息并退出。

命令:
  conversations  生成两个gpt-3.5-turbo代理之间的对话...
  texts          大规模推理多个LLM。

datasetGPT texts [OPTIONS]

  大规模推理多个LLM。

选项:
  -p, --prompt TEXT            输入提示。  [必需]
  -b, --backend TEXT           用作后端的LLM API。使用"backend|model_name"表示法。例如："openai|text-davinci-003"。
  -l, --max-length INTEGER     为每个提示生成的最大token数。
  -t, --temperature FLOAT      后端语言模型可能的温度值。
  -n, --num-samples INTEGER    每个配置的对话数量。
  -o, --option <TEXT TEXT>...  提示中由{OPTION_NAME}表示的其他选项的值。
  -f, --path PATH              保存数据集的位置。可以是文件或目录（文件夹）。
  -s, --single-file            将整个数据集保存到单个文件或创建多个文件。
  --help                       显示此消息并退出。

你可以为以下选项指定多个变体：--length、--temperature、--num-samples、--option。数据集项目将针对所提供值的每种可能组合生成。
每个提供的--option必须按以下格式：--option 选项名称 "某个选项值"。
当前支持的后端：OpenAI的GPT-3和GPT-4模型变体，Cohere的语言模型，通过Petals API的BLOOM。

datasetGPT conversations [选项]

  生成两个具有指定角色的gpt-3.5-turbo代理之间的对话。

选项：
  -k, --openai-api-key 文本       OpenAI API密钥。
  -a, --agent1 文本               代理1角色描述。  [必需]
  -b, --agent2 文本               代理2角色描述。  [必需]
  -i, --interruption [length|end_phrase]
                                  中断模式。
  -e, --end-phrase 文本           当其中一个代理输出此短语后中断。
  -d, --end-agent [agent1|agent2|both]
                                  在哪个代理的消息中查找结束短语。
  -l, --length 整数               每个代理的最大话语数。将为每个长度生成一个
                                  对话样本。
  -t, --temperature 浮点数        后端语言模型的可能温度值。
  -m, --model [gpt-3.5-turbo|gpt-4]
                                  使用的OpenAI聊天模型。只有在提供的API密钥
                                  有访问GPT-4权限时才支持GPT-4。默认为
                                  GPT-3.5-Turbo。
  -m1, --model-agent1 [gpt-3.5-turbo|gpt-4]
                                  用于agent1的OpenAI聊天模型。只有在给定的
                                  API密钥有访问GPT-4权限时才支持GPT-4。默认
                                  为GPT-3.5-Turbo。如果设置，必须同时提供
                                  --model-agent2，否则将使用--model的值。
  -m2, --model-agent2 [gpt-3.5-turbo|gpt-4]
                                  用于agent2的OpenAI聊天模型。只有在给定的
                                  API密钥有访问GPT-4权限时才支持GPT-4。默认
                                  为GPT-3.5-Turbo。如果设置，必须同时提供
                                  --model-agent1，否则将使用--model的值。
  -n, --num-samples 整数          每个配置的对话数量。
  -o, --option <文本 文本>...     提示中由{OPTION_NAME}表示的附加选项的值。
  -f, --path 路径                 保存数据集的位置。可以是文件或目录（文件夹）。
  -s, --single-file               将整个数据集保存到单个文件或创建多个文件。
  --help                          显示此消息并退出。

length参数指定每个代理应该发出的话语数量。长度为4通常会产生总共8个话语。
你可以指定length（默认）或end_phrase作为中断策略。使用end_phrase时，一旦--end-phrase出现在--end-agent（可以是两者）的消息中，对话就会被中断。在这种情况下，提供的长度将被视为最大对话长度。