RedPajama-Data-v2: 一个包含30万亿个令牌的开放数据集,用于训练大型语言模型

RedPajama-Data-v2:为大型语言模型训练提供海量开放数据集

在人工智能和自然语言处理领域,大型语言模型(LLM)的发展日新月异。为了推动这一领域的开放研究和创新,Together Computer团队近日发布了RedPajama-Data-v2数据集,这是一个包含30万亿个高质量令牌的开放数据集,专门用于训练大型语言模型。

数据集概况

RedPajama-Data-v2数据集的主要特点如下:

• 包含超过1000亿个文本文档,来自84个CommonCrawl快照
• 使用CCNet管道进行处理
• 提供30万亿个经过过滤和去重的令牌
• 覆盖英语、德语、法语、意大利语和西班牙语5种语言
• 包含40多个预计算的数据质量注释
• 所有数据处理脚本开源,可在GitHub上获取
• 完整数据集可在HuggingFace上下载

与之前的RedPajama-1T相比,RedPajama-Data-v2在数据规模和质量上都有了显著提升。它不仅提供了更大规模的训练数据,还通过精心设计的处理流程和质量控制,确保了数据的高质量和多样性。

数据处理流程

RedPajama-Data-v2的数据处理流程包括以下几个主要步骤:

1. 创建工件: 这一步骤包括构建质量分类器、训练用于重要性权重计算的n-gram生成模型、获取不良词列表和黑名单URL等。

2. 计算质量信号: 对数据进行各种质量评估,包括计算minhash签名用于模糊去重。

3. 去重: 使用Bloom过滤器进行精确去重,并使用局部敏感哈希(LSH)进行模糊去重。

这一处理流程确保了最终数据集的高质量和低冗余度。

质量注释

RedPajama-Data-v2的一个重要特点是提供了40多种预计算的质量注释。这些注释涵盖了多个方面:

• 自然语言特征: 如词数、句子数、大写词比例等
• 重复性指标: 如n-gram重复率
• 机器学习启发式: 如与高质量文本的相似度
• 内容相关指标: 如敏感词出现频率
• 去重相关: 如minhash签名

这些质量注释为研究人员和开发者提供了灵活的数据筛选和权重计算选项,使他们能够根据具体需求定制训练数据集。

数据集统计

RedPajama-Data-v2数据集的规模令人印象深刻。以下是一些关键统计数据:

这些数据显示了RedPajama-Data-v2在不同语言上的覆盖范围,为多语言模型训练提供了丰富的资源。

使用指南

研究人员和开发者可以通过多种方式使用RedPajama-Data-v2数据集:

1. 直接下载: 可以从HuggingFace上直接下载完整数据集。

2. 自定义筛选: 利用提供的质量注释,用户可以根据自己的需求进行数据筛选。例如:

def gopher_rules_pass(sample) -> bool:
    signals = json.loads(sample["quality_signals"])
    
    # 规则1: 单词数在50到10,000之间
    word_count = signals["rps_doc_word_count"][0][2]
    if word_count < 50 or word_count > 10_000:
        return False
    
    # 规则2: 平均单词长度在3到10之间
    mean_word_length = signals["rps_doc_mean_word_length"][0][2]
    if mean_word_length < 3 or mean_word_length > 10:
        return False
    
    # 更多规则...
    
    return True

filtered_dataset = list(filter(gopher_rules_pass, dataset))

3. 加载特定子集: 用户可以选择加载特定的语言或时间段的数据。

ds_iterator = load_dataset(
    "togethercomputer/RedPajama-Data-V2", 
    partition="head_middle",
    snapshots=["2023-14"], 
    languages=["en"], 
    name="default"
)

未来展望

RedPajama-Data-v2的发布只是一个开始。Together Computer团队将其视为一个"活跃"的项目,计划在未来不断扩展和改进:

• 增加更多数据源和新的快照
• 添加新的质量注释
• 与社区合作,开发更好的数据处理和筛选方法

这种开放和协作的方式,将有助于推动大型语言模型训练数据的研究和创新。

结语

RedPajama-Data-v2的发布,为大型语言模型的研究和开发提供了一个重要的开放资源。它不仅提供了海量的高质量训练数据,还通过开源处理流程和丰富的质量注释,为研究人员和开发者提供了极大的灵活性。这一数据集的出现,将有助于推动开源AI社区的发展,促进更多创新模型的诞生。

随着RedPajama-Data-v2的不断发展和完善,我们可以期待看到更多基于这一数据集训练的优秀模型,以及在自然语言处理领域的突破性进展。🚀🤖💡

参考链接:

• RedPajama-Data GitHub仓库
• RedPajama-Data-V2 HuggingFace数据集
• Together Computer官方博客