UD_English-EWT: 英语通用依存关系树库

UD_English-EWT项目简介

UD_English-EWT(英语网络树库)是一个基于网络文本的英语通用依存关系树库。该项目由斯坦福大学开发和维护,旨在为英语自然语言处理研究提供高质量的语法分析数据集。

数据来源与规模

UD_English-EWT的语料来源于五种网络文本类型:博客、新闻组、电子邮件、评论和Yahoo!问答。语料库共包含254,820个单词和16,622个句子,为英语依存句法分析提供了丰富的训练和测试数据。

标注方法与质量控制

该树库的标注过程采用了以下步骤:

1. 首先使用自动方法将原始文本转换为斯坦福依存关系格式。
2. 然后人工校正为通用依存关系(Universal Dependencies)格式。
3. 所有基本依存关系均经过单人标注,部分数据还进行了双人标注。
4. 后续还进行了多轮校对以提高一致性。

其他方面如通用词性(Universal POS)、特征和增强依存关系等,主要是自动生成,仅进行了有限的人工校正。

数据格式与兼容性

UD_English-EWT采用CoNLL-U格式,与通用依存关系项目定义的标准完全兼容。数据文件包含原始句子文本、分词、词性、词形还原、语法特征以及依存关系等多层面的标注信息。

版本更新与维护

UD_English-EWT项目一直在持续更新和完善中。最新的2.14版本(2024年5月发布)主要有以下改进:

• 为约700个缩减关系从句添加了增强边缘
• 在MISC属性中添加了关系从句类型标记
• 修正了动词标签和特征的错误
• 改进了网络地址的处理方式
• 完善了多词表达式的标注

项目团队欢迎研究者对数据进行错误报告和改进建议,以不断提高树库的质量。

数据使用许可

UD_English-EWT的标注数据采用知识共享署名-相同方式共享4.0国际许可协议(CC BY-SA 4.0)授权。使用该数据集时,需要注明数据来源,并以相同的许可方式共享。

原始文本来自多个来源,部分属于公共领域,部分可能受版权保护。使用时请注意遵守相关规定。

项目贡献者

UD_English-EWT项目由斯坦福大学自然语言处理小组的多位研究人员共同完成,主要贡献者包括:

• Natalia Silveira
• Timothy Dozat
• Sebastian Schuster
• Miriam Connor
• Marie-Catherine de Marneffe
• Nathan Schneider
• 等

项目得到了Google公司的部分资助支持。

引用与致谢

如果您在研究中使用了UD_English-EWT数据集,建议引用以下论文:

@inproceedings{silveira14gold,
  year = {2014},
  author = {Natalia Silveira and Timothy Dozat and Marie-Catherine de
	Marneffe and Samuel Bowman and Miriam Connor and John Bauer and
	Christopher D. Manning},
  title = {A Gold Standard Dependency Corpus for {E}nglish},
  booktitle = {Proceedings of the Ninth International Conference on Language
    Resources and Evaluation (LREC-2014)}
}

总结

UD_English-EWT作为一个高质量的英语依存句法树库,为自然语言处理研究提供了宝贵的语料资源。它采用统一的标注规范,支持跨语言的对比研究。该项目的持续更新和开放共享精神,也为语言资源建设树立了良好的典范。

希望这个树库能够推动英语自然语言处理技术的进步,为更多创新应用提供基础支持。欢迎感兴趣的研究者下载使用,并为项目贡献自己的力量。