chatgpt-comparison-detection

ChatGPT-Comparison-Detection项目介绍

项目概述

ChatGPT-Comparison-Detection是一个旨在比较ChatGPT与人类专家表现，并开发ChatGPT生成内容检测工具的开源项目。该项目由来自6所大学/公司的研究人员团队于2022年12月9日发起，正值ChatGPT推出10天后。

项目目标

该项目的主要目标有两个:

1. 创建开源模型，用于高效检测ChatGPT生成的内容。
2. 收集有价值的人类-ChatGPT对比问答语料库(HC3)，以促进相关研究。

HC3语料库

HC3(Human ChatGPT Comparison Corpus)是该项目提出的首个人类与ChatGPT对比语料库。它包含英语和中文两个版本，涵盖了多个领域的问答对。该语料库已在Hugging Face和ModelScope平台上公开发布，供研究人员使用。

ChatGPT检测器

项目开发了三种类型的ChatGPT内容检测器，均支持中英双语:

1. 问答版:检测特定问题的回答是否由ChatGPT生成。
2. 独立文本版:检测单条文本是否由ChatGPT生成。
3. 语言学版:使用语言学特征检测文本是否由ChatGPT生成。

这些检测器的演示版本已在Hugging Face Spaces和ModelScope上提供。此外，项目还开源了相关的模型权重。

研究论文

项目团队基于此研究发表了论文《How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection》，详细介绍了他们的研究方法和发现。

项目意义

ChatGPT-Comparison-Detection项目为比较AI语言模型与人类专家的能力提供了宝贵的资源。通过开发检测工具和收集对比语料，该项目为研究人员和开发者提供了重要的数据和工具，有助于深入理解和评估AI语言模型的性能。

开源贡献

项目团队致力于开放学术研究，欢迎社区成员提供反馈并参与改进模型。所有的数据集和模型都已开源，供研究人员和开发者使用。

通过这个项目，研究团队希望为AI语言模型的发展和评估做出重要贡献，推动相关领域的研究进展。