autolabel

Autolabel 项目介绍

项目概述

Autolabel 是一个用于标注、清理和丰富文本数据集的 Python 库。它能够通过用户选择的任意大型语言模型（LLM）来实现自动化的数据标注。这种方法比起传统的手动标注，不仅提高了标注精度，还大大减少了所需的时间和成本。

如何安装

用户可以通过简单的命令来快速安装 Autolabel：

pip install refuel-autolabel

文档与支持资源

有关 Autolabel 的更详细的文档，可以访问 Refuel 的文档页面。此外，用户也可以通过 Discord 和 Twitter 与社区进行互动交流。

Autolabel 如何工作

1. 配置标注指南：用户需要通过一个 JSON 配置文件指定标注指南和所选用的 LLM 模型。
2. 试运行：进行试运行以确保最终提示词满足需求。
3. 运行标注：启动数据集的标注工作。

通过以上简单的三步，用户即可使用 Autolabel 进行高效的数据标注。举个例子，假设用户想要建立一个用于电影评论情感分析的模型，可以使用如下的配置：

{
    "task_name": "MovieSentimentReview",
    "task_type": "classification",
    "model": {
        "provider": "openai",
        "name": "gpt-3.5-turbo"
    },
    "dataset": {
        "label_column": "label",
        "delimiter": ","
    },
    "prompt": {
        "task_guidelines": "You are an expert at analyzing the sentiment of movie reviews. Your job is to classify the provided movie review into one of the following labels: {labels}",
        "labels": [
            "positive",
            "negative",
            "neutral"
        ],
        "few_shot_examples": [
            {
                "example": "I got a fairly uninspired stupid film about how human industry is bad for nature.",
                "label": "negative"
            },
            {
                "example": "I loved this movie. I found it very heart warming to see Adam West, Burt Ward, Frank Gorshin, and Julie Newmar together again.",
                "label": "positive"
            },
            {
                "example": "This movie will be played next week at the Chinese theater.",
                "label": "neutral"
            }
        ],
        "example_template": "Input: {example}\nOutput: {label}"
    }
}

主要功能

1. 支持多种自然语言处理任务，如分类、问答、命名实体识别等。
2. 兼容多种商业或开源的大型语言模型，包括 OpenAI、Anthropic、HuggingFace、Google 等提供的模型。
3. 采用研究验证的 LLM 技术提升标注质量，如少样本学习与链式思维提示。
4. 即时输出的每个标签提供置信度评估与解释。
5. 提供缓存与状态管理功能，帮助降低成本并减少实验时间。

Refuel 托管 LLM 的访问

Refuel 提供了托管的开源 LLM 供标注使用，以及进行置信度评估。这帮助用户为标注任务校准置信度阈值，将低置信度标签交由人类处理，自动标注高置信度的实例。

使用 Refuel 提供的托管 LLM 可通过 申请访问。

项目展望

Autolabel 项目正在快速发展中，用户可以在 公共路线图 上查看即将推出的功能和计划中的改进。欢迎社区成员通过 Discord 加入讨论，或在 Github 上报告问题 和提出建议。

如何贡献

Autolabel 项目欢迎各种形式的贡献，无论是错误报告、拉取请求还是改进建议。感兴趣的贡献者可以通过以下方式参与：

1. 在 Discord 加入交流。
2. 在 Github 上提交问题 表达建议和请求功能。
3. 认领未关闭的问题，并提交拉取请求。