RedPajama-Data-v2：一个包含30万亿个标记的开放数据集，用于训练大型语言模型

本仓库包含RedPajama-V2数据集的代码。有关该数据集的更多信息，请查看我们的博客文章。该数据集也可在HuggingFace上获取。关于RedPajama-1T数据集使用的代码，请参考本仓库的rp_v1分支。

数据集

RedPajama-V2是一个用于训练大型语言模型的开放数据集。该数据集包含来自84个CommonCrawl快照的超过1000亿个文本文档，使用CCNet管道进行处理。其中，语料库中有300亿个文档附带质量信号，200亿个文档经过了去重处理。

数据集带注释和去重的`head_middle`部分的文档和标记数量

下表显示了数据集带注释和去重的head_middle部分的文档数量和标记数量。

	文档数量	估计标记数量（去重后）
英语	145亿	20.5万亿
德语	19亿	3.0万亿
法语	16亿	2.7万亿
西班牙语	18亿	2.8万亿
意大利语	9亿	1.5万亿
总计	208亿	30.4万亿

语言

英语、德语、法语、意大利语、西班牙语

设置

配置

将configs/rp_v2.0.conf文件复制到如configs/default.conf，并配置环境变量。这些变量将在整个管道中使用。

构建Docker镜像

要使用docker运行，请使用以下命令构建docker镜像：

. configs/default.conf
cd app
docker build -t "${DOCKER_REPO}:" .

另外，请确保您已安装s5cmd并配置了S3配置文件，以便从S3存储桶拉取数据。

您可以在非容器化环境中运行管道的各个步骤。但是，运行脚本假定您已安装docker和apptainer。

运行管道

该管道由三个步骤组成，分别是1）准备制品，2）计算质量信号，以及3）去重。

**重要提示：**如果您不使用提供的脚本（即使用提供的Dockerfile构建的docker容器）运行步骤（1）和（2），请确保使用以下命令将PYTHONHASHSEED环境变量设置为一个一致的值（例如42）：

export PYTHONHASHSEED=42

这是为了确保用于计算DSIR权重的哈希函数的一致性。

1. 创建制品

管道的这一部分创建后续步骤中使用的制品。这包括构建质量分类器、训练用于重要性权重计算的n-gram生成模型、从LDNOOBW仓库获取不良词列表，以及从UT1黑名单获取最新的黑名单URL列表。

首先，从这里下载英语维基百科参考分类器，并将其放在${DATA_ROOT}/wikiref-model/en/en-model.bin中。这与RedPajama-V1中使用的fasttext分类器相同。

要创建其余制品，请确保在配置文件中设置了环境变量。然后，从仓库的根目录运行：

bash scripts/run_prep_artifacts.sh \
  --config configs/rp_v2.0.conf \
  --listings /path/to/listings/file.txt\
  --max_workers 32

其中/path/to/listings/file.txt是包含要处理的ccnet数据键的文件（例如2023-06/0000/en_head.json.gz）。

您可以将max_workers标志设置为要使用的并行进程数。

此步骤将生成一个ID，您可以将其存储在环境变量ARTIFACTS_ID中，以供下一步使用。

2. 计算质量信号

管道的第二步计算质量信号，包括用于后续步骤中进行模糊去重的最小哈希签名。要运行此步骤，请确保在配置文件中设置了环境变量。然后，从仓库的根目录运行：

bash scripts/apptainer_run_quality_signals.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_base_uri "file:///path/to/outout/data/root" \
  --max_docs -1

3. 去重

管道的第三个组件包括去重步骤。这里我们提供代码来运行精确和模糊去重。

使用布隆过滤器进行精确去重

基于内容的去重在app/src/bloomfilter.py中实现。它可以独立于前一步骤运行，但数据需要存储在S3存储桶中。对于这一步骤，从app目录运行：

python3 app/src/bloomfilter.py \
  --listings /path/to/listings/file.txt \
  --input_base_uri "s3://path/to/ccnet/data" \
  --output_dir "/path/to/output" \
  --s3_profile "..." \
  --endpoint_url "..." \
  --parallel_readers 32 \
  --batch_size 10 \
  --capacity "..." \
  --error_rate "..."

选择正确的容量（即>文档数）很重要，否则无法保证error_rate，并且会出现更多假阳性。该实现基于pybloomfiltermmap3库。

使用局部敏感哈希进行模糊去重

在管道的第三步中，我们对第一步生成的最小哈希签名运行局部敏感哈希。要运行此步骤，请确保使用与质量信号步骤相同的配置。然后，从仓库的根目录运行：

bash scripts/apptainer_run_lsh.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_dir "/path/to/output" \
  --similarity "<similarity_threshold>" \
  --listings "/minhash/listings/file.txt" \
  --max_docs -1

该实现基于polars，并已在一台具有500G RAM的64核机器上使用2亿个文档进行了测试。

质量信号摘要

管道的第二步计算以下一组质量信号。我们希望随着更多信号的开发，这个列表会随时间不断增长。

质量注释

标注标签	描述	类别	参考文献
ccnet_bucket	困惑度分数的头部、中部或尾部桶	CCNet	CCNet
ccnet_language_score	语言识别模型的分数	CCNet	CCNet
ccnet_length	字符数	CCNet	CCNet
ccnet_nlines	行数	CCNet	CCNet
ccnet_original_length	文档内行去重前的字符数	CCNet	CCNet
ccnet_original_nlines	文档内行去重前的行数	CCNet	CCNet
ccnet_perplexity	在维基百科上训练的语言模型的困惑度	CCNet	CCNet
rps_doc_books_importance	给定在图书上训练的{1,2}词组模型p和在源域上训练的模型q，这是p(doc)/q(doc)比率的对数	机器学习启发式	重要性重采样 (Xie et al.)
rps_doc_openwebtext_importance	给定在OpenWebText上训练的{1,2}词组模型p和在源域上训练的模型q，这是p(doc)/q(doc)比率的对数	机器学习启发式	重要性重采样 (Xie et al.)
rps_doc_wikipedia_importance	给定在维基百科文章上训练的{1,2}词组模型p和在源域上训练的模型q，这是p(doc)/q(doc)比率的对数	机器学习启发式	重要性重采样 (Xie et al.)
rps_doc_ml_wikiref_score	文档为维基百科参考文献的Fasttext分类器预测。这是RedPajama-1T数据集中使用的相同Fasttext模型。仅适用于英语数据	机器学习启发式	LLaMA, RedPajama-1T
rps_doc_ml_palm_score	文档为维基百科文章、OpenWebText样本或RedPajama-V1图书的Fasttext分类器预测。仅适用于英语数据	机器学习启发式	PALM, GLaM
rps_doc_ml_wikipedia_score	文档为维基百科文章的Fasttext分类器预测。用于非英语数据	机器学习启发式	-
rps_doc_curly_bracket	原始文本中'{'或'}'出现次数与字符数的比率	自然语言	C4
rps_doc_frac_all_caps_words	内容中仅由大写字母组成的单词比例。基于原始内容	自然语言	预训练指南
rps_doc_frac_lines_end_with_ellipsis	以省略号结尾的行比例，省略号定义为"..."或"…"	自然语言	RefinedWeb, Gopher
rps_doc_frac_no_alph_words	不包含字母字符的单词比例	自然语言	RefinedWeb, Gopher
rps_doc_lorem_ipsum	归一化后内容中"lorem ipsum"出现次数与字符数的比率	自然语言	C4
rps_doc_mean_word_length	归一化后内容中单词的平均长度	自然语言	RefinedWeb, Gopher
rps_doc_stop_word_fraction	文档中停用词数与单词总数的比率。停用词来自stopwords-json仓库	自然语言	RefinedWeb, Gopher
rps_doc_symbol_to_word_ratio	内容中符号与单词的比率。符号定义为"#"、"..."和"…"	自然语言	RefinedWeb, Gopher
rps_doc_frac_unique_words	内容中唯一单词的比例。也称为文本样本的退化度。基于归一化内容计算	自然语言	预训练指南
rps_doc_unigram_entropy	内容的一元分布熵。衡量内容的多样性，使用sum(-x / total * log(x / total))计算，其中sum是在归一化内容中唯一单词计数上进行的	自然语言	-
rps_doc_word_count	归一化后内容中的单词数	自然语言	RefinedWeb, Gopher
rps_lines_ending_with_terminal_punctution_mark	指示一行是否以终止标点符号结尾。终止标点符号定义为以下之一："."、"!"、"?"、"""	自然语言	C4
rps_lines_javascript_counts	每行中"javascript"一词出现的次数	自然语言	C4
rps_lines_num_words	每行的单词数。基于归一化文本计算	自然语言	C4 , RefinedWeb
rps_lines_numerical_chars_fraction	每行数字字符数与总字符数的比率。基于归一化内容	自然语言	RefinedWeb
rps_lines_start_with_bulletpoint	行是否以项目符号开始。以下Unicode被视为项目符号：\u2022（实心圆点）、\u2023（三角形项目符号）、\u25B6（黑色右指三角形）、\u25C0（黑色左指三角形）、\u25E6（白色圆点）、\u25A0（黑色方块）、\u25A1（白色方块）、\u25AA（小黑方块）、\u25AB（小白方块）、\u2013（短破折号）	自然语言	RefinedWeb, Gopher
rps_lines_uppercase_letter_fraction	每行大写字母数与总字符数的比率。基于原始文本	自然语言	RefinedWeb
rps_doc_num_sentences	内容中的句子数。使用正则表达式`r'\b[^.!?]+[.!?]*'`计算	自然语言	C4
rps_doc_frac_chars_dupe_10grams	重复的10个单词词组中的字符比例。在小写、去除标点的内容上操作。确保重叠n-gram中的字符只计算一次	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_5grams	重复五元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_6grams	重复六元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_7grams	重复七元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_8grams	重复八元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_dupe_9grams	重复九元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_top_2gram	最常见二元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_top_3gram	最常见三元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_frac_chars_top_4gram	最常见四元词组中字符的比例。	重复性	RefinedWeb, Gopher
rps_doc_ldnoobw_words	包含在"脏话、下流、淫秽和其他不良词汇列表"黑名单中的词序列数量。该黑名单来自LDNOOBW仓库。	毒性	C4
rps_doc_ut1_blacklist	对应文档域名类别列表的分类ID。类别来自UT1黑名单。该列表来自UT-Capitole。	毒性	RefinedWeb
minhash_signature_0.7	文档的分段最小哈希签名，用于Jaccard相似度为0.7的模糊去重。该签名基于128个哈希函数，并分为14个段和9行用于LSH。	去重
minhash_signature_0.8	文档的分段最小哈希签名，用于Jaccard相似度为0.8的模糊去重。该签名基于128个哈希函数，并分为9个段和13行用于LSH。	去重
minhash_signature_0.9	文档的分段最小哈希签名，用于Jaccard相似度为0.9的模糊去重。该签名基于128个哈希函数，并分为5个段和25行用于LSH。	去重
minhash_signature_1.0	文档的分段最小哈希签名，用于Jaccard相似度为1.0的模糊去重。该签名基于128个哈希函数，并分为1个段和128行用于LSH。	去重

致谢

我们感谢众多合作伙伴和协作者，他们共同推动了开放大语言模型的前沿发展。

感谢AI2的OLMo团队和OpenGPT-X的朋友们就数据集和数据质量进行的富有洞察力的讨论！同时也感谢所有基于RedPajama数据集进行开发的人，包括Cerebras的SlimPajama项目，以及开源AI社区迄今为止基于RedPajama构建的500多个模型。
我们感谢EleutherAI的优秀团队，他们在开放训练数据集方面开辟了道路，创建了The Pile数据集，并开源了我们用于训练部分RedPajama模型的代码。
感谢我们RedPajama-v1的合作伙伴，包括Ontocord.ai、MILA魁北克AI研究所、ETH DS3Lab、蒙特利尔大学、斯坦福基础模型研究中心（CRFM）、斯坦福Hazy Research研究组和LAION。

许可证

版权所有 2023 Together Computer

根据Apache许可证2.0版（"许可证"）授权；
除非遵守许可证，否则您不得使用此文件。
您可以在以下网址获取许可证副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，根据许可证分发的软件是基于
"按原样"分发的，不附带任何明示或暗示的担保或条件。
有关许可证下的特定语言管理权限和限制，请参阅许可证。

有关完整条款，请参阅LICENSE文件。如果您对许可有任何问题、意见或疑虑，请联系我们。

对于数据集本身，请参阅Common Crawl基金会使用条款。

引用RedPajama时，请使用：

@software{together2023redpajama,
  author = {Together Computer},
  title = {RedPajama: an Open Dataset for Training Large Language Models},
  month = October,
  year = 2023,
  url = {https://github.com/togethercomputer/RedPajama-Data}
}