pixel

PIXEL 项目介绍

PIXEL 是一个创新的语言模型项目，名为基于像素的语言编码器（PixEl-based Language Encoder）。与传统的语言模型不同，PIXEL 可将文本渲染为图像，从而完全消除对固定词汇表的依赖。这样一来，它能够方便地适用于任何能够在计算机屏幕上呈现的语言和文字。

项目背景

PIXEL 的设计目的在于解决跨语言和跨文字的处理问题。在项目实施过程中，团队首先在英语维基百科和图书语料库中预训练了一个单语种 PIXEL 模型，总共处理了约32亿个单词的数据，此数据集与 BERT 相同。研究结果表明，PIXEL 在处理不属于预训练数据系统中的词法和句法任务时，相较于 BERT 展示了优越的表现，但在处理拉丁字母表任务时稍逊于 BERT。

技术细节

PIXEL 模型由三个主要组件构成：

1. 文本渲染器：将文本绘制为图像。
2. 编码器：对渲染图像中未被遮蔽的区域进行编码。
3. 解码器：在像素级重建被遮蔽的区域。

PIXEL 的设计基础是 Vision Transformer-MAE（ViT-MAE）。在预训练阶段，渲染器将训练中的句子转变为图像。这些图像会被划分为小块，并投影生成对应的嵌入。模型会将其中25%的图像块遮蔽起来，之后编码器仅处理未遮蔽的部分。而解码器则通过插入可学习的遮罩标记，对编码器的输出进行重构。

经过预训练后，解码器则可被丢弃，仅使用包含8600万个参数的编码器。其上可以叠加特定任务的分类器，从而在不同实际应用中达到目标。

项目演示与未来计划

用户可以通过 Gradio 演示平台体验 PIXEL 的文本重建功能。未来计划包括发布渲染指南、微调模型以提升鲁棒性，并将其集成到 HuggingFace 的 Transformers 框架中。

安装与设置

PIXEL 的代码库基于 Transformers 框架，并受 ViT-MAE 项目的启发。用户可以按照以下步骤设置环境并安装相关工具，以便开始使用 PIXEL 模型：

1. 克隆项目库并初始化子模块。
2. 创建并激活新的 Conda 环境。
3. 安装必要的 Python 软件包。
4. （可选）安装 Nvidia Apex 以提高性能。
5. 使用越南语词性标注任务验证安装是否正确。

训练与微调

详细的预训练和微调说明可在项目的文档中找到。我们提供了各种自然语言处理任务的效果评估数据，包括普遍依存关系任务、MasakhaNER 和 GLUE 验证集等。

项目引用与联系信息

若对于 PIXEL 项目有疑问或需要反馈，用户可以通过 GitHub 提交问题或发送邮件至负责联系人的邮箱。项目论文《Language Modelling with Pixels》于第十一届国际学习表现会议中发表，若使用相关代码或技术，请参照提供的引用格式进行引用。