dolma入门指南 - 用于语言模型预训练的开放数据集和处理工具

dolma简介

dolma是AI2(Allen Institute for AI)为其OLMo语言模型开发的预训练数据集和工具包,主要包括两部分:

1. dolma数据集:包含3万亿词元的开放预训练语料库,涵盖网页内容、学术出版物、代码、书籍和百科全书等多种来源。

2. dolma工具包:用于处理和检查大规模语言模型预训练数据的高性能工具包。

dolma数据集

dolma数据集是一个包含3万亿词元的开放语料库,可在Hugging Face上免费获取: https://huggingface.co/datasets/allenai/dolma

数据集采用ODC-BY许可发布,更多信息可参考官方博客文章。

如需了解更多细节,可查看数据集说明文档。

dolma工具包

dolma工具包是一个强大的数据处理工具,主要用于处理大规模语言模型预训练数据。其主要特性包括:

1. 高性能:支持并行处理数十亿文档
2. 可移植性:可在单机、集群或云环境中使用
3. 内置标记器:包含常用的数据处理标记器
4. 快速去重:使用Rust实现的Bloom过滤器进行文档去重
5. 可扩展性:支持自定义标记器和兼容AWS S3的存储位置

安装

可通过pip安装dolma工具包:

pip install dolma

使用方法

dolma工具包的详细使用说明可参考官方文档。

引用

如使用dolma数据集或工具包,请引用以下论文:

@article{dolma,
  title = {{Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research}},
  author={Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Nathan Lambert and Ian Magnusson and Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and Oyvind Tafjord and Pete Walsh and Luke Zettlemoyer and Noah A. Smith and Hannaneh Hajishirzi and Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo},
  year={2024},
  journal={arXiv preprint},
  url={https://arxiv.org/abs/2402.00159}
}

dolma为语言模型预训练提供了宝贵的开放资源,欢迎研究人员和开发者使用并为其做出贡献!