detoxify

Detoxify 项目介绍

项目背景

Detoxify 是一个专门用于识别和分类有害评论的机器学习项目，由 Laura Hanu 和她在 Unitary 的团队开发。该项目的最终目的是通过理解视觉内容的上下文，阻止有害内容在互联网上传播。

项目目标

Detoxify 提供了训练好的模型和代码，适用于 Jigsaw 提出的三类挑战：有害评论分类、无意偏见检测和多语言有害评论分类。它旨在识别和分类在线平台上的有毒评论，并能够识别因提及身份而带来的无意偏见。

项目亮点与更新

• 2021年10月22日更新：推出了改进的多语言模型和标准化的类别名称。新模型在测试集上的最佳 AUC 分数为 92.11。
• 2021年9月3日更新：无偏见模型的权重进行了更新，新模型在测试集上的最好成绩为 93.74。
• 2021年2月15日更新：Detoxify 在《Scientific American》上刊登了一篇关于AI识别有害内容的评论文章。
• 2021年1月14日更新：推出了轻量级版本的模型，适用于不同的使用场景。

使用技术与依赖

Detoxify 主要依赖于 ⚡Pytorch Lightning 和 🤗Transformers，用于推理的过程。此外，如果需要训练模型，还需要使用 Kaggle API 下载数据。

主要功能与分类

Detoxify 针对三大挑战提供了不同的模型：

• 有害评论分类挑战：构建多头模型，能够检测各种类型的有害信息，如威胁、淫秽、侮辱和基于身份的仇恨。
• 无意偏见检测挑战：识别并最小化由于身份特征提及而产生的无意偏见。
• 多语言有害评论分类：建立有效的多语言模型，支持包括英语、法语、西班牙语、意大利语、葡萄牙语、土耳其语和俄语在内的多种语言。

每个挑战的模型各自使用不同的 Transformer 架构来满足其需求，如 BERT、RoBERTa 和 XLM-Roberta。

限制与伦理考量

Detoxify 在识别过程中容易将带有咒骂、侮辱或粗俗词汇的评论归类为有毒，这可能导致对特定少数群体的偏见。这说明在对这些模型进行调优时，需要使用反映真实世界的多元数据集，以减轻潜在的偏见。该库的预期用途主要用于研究目的，帮助内容审核员更快地识别有害内容。

快速预测与使用示例

用户可以快速安装Detoxify，并通过简单的Python代码对单个或批量文本进行预测。Detoxify的模型支持在CPU或CUDA设备上运行，并可以显示详细的预测结果。

例如：

from detoxify import Detoxify

results = Detoxify('original').predict('example text')

结语

Detoxify 使用方便，适用于无数对在线环境有高要求的场景。无论是在研究过程中进行细粒度调试，还是在实操中应用于内容审核，Detoxify 都为用户提供了强有力的工具。此外，Detoxify 也在持续更新，以满足不断变化的需求和挑战。