awesome-llm-human-preference-datasets

项目介绍：awesome-llm-human-preference-datasets

项目概述

awesome-llm-human-preference-datasets 是一个汇集了多个人工偏好数据集的开源项目。这些数据集专注于大语言模型（LLM）的指令调优、强化学习人类反馈（RLHF）和模型评估。这些数据集的目的是帮助开发者提升人工智能模型在理解和满足人类偏好方面的能力。

数据集详解

OpenAI WebGPT 比较数据集

• 包含2万对比实例，每个实例由一个问题、一对模型回答及针对每个回答的人评分构成。
• 用于训练 OpenAI WebGPT 的奖励模型，是RLHF数据集的一部分。

OpenAI 摘要数据集

• 包含6.4万条文本摘要实例，包括人类撰写的和模型生成的人评分响应。
• 荣登 OpenAI 的“学习从人类反馈中总结”的论文中。

Anthropic 帮助性与无害性数据集 (HH-RLHF)

• 总共包括17万个人工偏好对比，分为三个子数据集：基础、RS和在线数据集。
• 内容涵盖帮助性对比、无害性（红队）对比和 RLHF 模型的迭代在线更新数据。

OpenAssistant 会话数据集 (OASST1)

• 一个由人类生成并标注的助手风格对话语料库，共16.1万条消息覆盖35种语言，标注有46.1万条质量评分，构成10,000多个完全注释的对话树。

Stanford 人偏好数据集 (SHP)

• 含有38.5万个集体人偏好样本，来自18个领域的问答和指令，用于训练 RLHF 奖励模型和自然语言生成评估模型。数据收集自 Reddit。

Reddit ELI5 数据集

• 提供27万条 Reddit Q&A 版块的问题、答案及评分实例。

人工 ChatGPT 对比语料库 (HC3)

• 包含6万个人工回答和2.7万条 ChatGPT 的回答，适用于近2.4万个问题。

HuggingFace H4 StackExchange 偏好数据集

• 收集自 Stackoverflow 的1000万条问答，其中包括至少两个答案，每个答案根据投票进行评分。

ShareGPT.com

• 收集了截至2023年4月的9万条用户上传的 ChatGPT 互动记录。HuggingFace 上有预先编译的数据集可供下载。

Alpaca 数据集

• 由 OpenAI 的 text-davinci-003 引擎生成的5.2万条指令和展示，适用于自我指令训练。

GPT4All 数据集

• 使用 GPT-3.5-Turbo API 在2023年3月收集的100万提示-响应对。

Databricks Dolly 数据集

• 包含由 Databricks 员工生成的1.5万条指令记录，涵盖头脑风暴、分类、闭合问答等类。

HH_golden 数据集

• 包含4.2万条无害数据，原始 Harmless 数据集中的“已拒绝”响应已用 GPT4 重写。相比原始数据集，这个数据集能提升各种对齐方法的无害性指标。