bloom

项目介绍：BLOOM

BLOOM是一个由BigScience开发的自回归大型语言模型(LLM)，这个模型使用工业规模的计算资源，在海量的文本数据上进行训练，以帮助实现从一个给定的提示继续生成文本的功能。BLOOM的训练使其能够支持46种自然语言和13种编程语言，所生成的文本达到接近人类编写的水平。此外，它还能完成并没有专门训练过的文本任务，方法是将这些任务转化为文本生成任务。

基本信息

开发者：BigScience项目，所有的协作者都是志愿者或者与其雇主有合作协议。

模型类型：基于Transformer的语言模型。

版本：1.0.0

语言支持：多种自然语言和编程语言

许可证：RAIL License v1.0

支持单位：法国政府、Hugging Face及其他更多合作机构。

技术规格

BLOOM的技术结构基于修改过的Megatron-LM GPT2模型，其中包括一个仅解码器的结构、应用于词嵌入层的层归一化、ALiBI位置编码及GeLU激活函数等。该模型拥有约1762亿参数，使用的计算硬件为法国政府提供的Jean Zay超级计算机。训练使用的设备包括384个A100 80GB的GPU，具备充足的计算与内存资源以支持如此大规模的训练。

训练数据

BLOOM模型的训练基于丰富的多语种与编程语文本数据集，总计1.6TB的预处理文本，被转换为3500亿个独特的token。在这些数据中，覆盖了46种自然语言及13种编程语言。其token化由BLOOM特制的tokenizer来完成，利用了一种字节级的BPE算法。

训练速度与环境影响

BLOOM的训练从2022年3月11日开始，预计2022年7月5日结束。基于Jean Zay超级计算机，主要使用核能，这一过程产生的热量被用于为校园供暖。预计的训练成本约为200万到500万美元。这次训练考虑了环境的可持续性，充分利用可再生资源及能源再利用措施。

使用指南

BLOOM模型可以通过HuggingFace的生态系统轻松使用。为了部署这个模型，用户需要安装transformers和accelerate两个库。BLOOM提供了一个开源的平台以进行公开研究，特别是在与大型语言模型相关的领域。直接应用类型包括文本生成，以及进一步微调以应用于特定任务的预训练基础模型。

通过以上的详细介绍，我们可以看到BLOOM作为一个开源的大型多语种语言模型，在自然语言处理与生成领域有着巨大的潜力和灵活性，为研究人员提供了探索大型语言模型特性的重要工具。