通用依存关系 - 英语依存树库通用依存关系英语网络树库 v2.14 -- 2024-05-15 https://github.com/UniversalDependencies/UD_English-EWT

概述

这是一个基于英语网络树库LDC2012T13(https://catalog.ldc.upenn.edu/LDC2012T13)源材料构建的英语通用依存关系黄金标准语料库。

简介

该语料库包含254,820个单词和16,622个句子,取自五种网络媒体类型:博客、新闻组、电子邮件、评论和Yahoo!问答。有关句子来源的更多详细信息,请参阅LDC2012T13文档。这些树结构最初被自动转换为斯坦福依存关系,然后经人工校正为通用依存关系。所有基本依存注释均经过单人标注,其中一部分经过双人标注,随后进行了校正以提高一致性。树库的其他方面,如通用词性、特征和增强依存关系,主要是通过自动方式完成的,只进行了非常有限的人工校正。

许可/版权

通用依存关系英语网络树库的注释和数据库权利依据知识共享署名-相同方式共享 4.0 国际许可协议进行许可。

您应该已经收到了随附于本作品的许可协议。如果没有,请参阅http://creativecommons.org/licenses/by-sa/4.0/。

结构

该目录包含一个使用通用依存关系注释的句子语料库。语料库包含254,820个单词和16,622个句子,取自各种网络媒体,包括博客、新闻组、电子邮件、评论和Yahoo!问答;有关句子来源的更多详细信息,请参阅LDC2012T13文档。这些树结构最初被自动转换为斯坦福依存关系,然后经人工校正为通用依存关系。所有依存注释均经过单人标注,其中一部分经过双人标注,标注者间一致性约为96%。句子ID包含原始LDC2012T13文件名的体裁和文件名。

该语料库兼容为通用依存关系定义的CoNLL-U格式。请参阅:

https://universaldependencies.org/format.html

依存关系分类可在通用依存关系网站上找到:

http://www.universaldependencies.org

对于v2的转换,我们进行了自动转换并进行了广泛的抽查,同时对模棱两可的情况进行了人工裁决。

大多数增强依存关系是通过运行Schuster和Manning (2016)转换器的改编版本自动获得的。这些依存关系尚未经过人工检查。v2.14中为省略的关系从句添加了增强依存关系。

与UD的偏差

英语UD树库的2.14版本在几乎所有方面都符合UD指南,但仍存在以下偏差:

UD依存关系flat主要仅用于人名。
日期的注释不一致。

更新日志

2024-05-15 v2.14

亮点:

关系从句
- 为省略的关系从句添加了约700条增强边(#392)(感谢@xiulinyang!)
- 在MISC的Cxn属性中添加了关系从句类型(#474)
  - 例如Cxn=rc-wh-nsubj:pass(被动主语WH),Cxn=rc-red-obj(省略宾语),Cxn=rc-red-obl-pstrand(带介词分离的省略斜格), Cxn=rc-free-obj_xcomp(自由关系从句,嵌套在xcomp下的宾语)
  - 由not-to-release/tools/rc-types.sh生成 - 见代码文档
  - 参见UCxn项目(一个更大的提议在UD中添加构式注释的项目, 尽管目前这种用于关系从句的用法仅限于EWT)
将列表项枚举符(LS)作为discourse附加(#518)
动词标签/特征
- 清理错误
- VBG:新规则区分VerbForm=Ger和Tense=Pres|VerbForm=Part(#305)
- 实现虚拟语气"were"(#511)
名词特征:为复数名词实现Number=Ptan(docs#999)
改进了网址的处理(#440, #487)
多词表达式
- 用goeswith处理带空格的电子邮件地址
- 用flat处理带空格的电话号码

2023-11-15 v2.13

亮点:

结构
- 采用子类型obl:agent表示被动语态中的by短语,并更广泛地应用Voice=Pass特征以区分过去分词形式的被动用法和主动完成时用法(#290)
- 移除flat:foreign的使用,与大多数其他英语树库保持一致(#459)
- 实现关于充分/过度构式的新指南(#423)
- 使用Udapi标准化punct附加(感谢@martin-popel)
特征
- 完善限定词的特征(#416)
- 使数字的特征更加统一,并与其他树库保持一致(由@rhdunn标记:#451, #458, #464, #465)
- 确保动词特征完整且与标签一致
由于省略而孤立的"have"和"do"使用AUX(而非VERB)(#403)
将缺少撇号的动词缩写标记为拼写错误(由@rhdunn标记:#443)
广泛清理基于UPOS的内容

2023-05-15 v2.12

亮点:

实施关于单独iobj的新政策(#55)
清理自由关系从句(部分#278)
使xcomp的使用更加一致
对"etc.",将Number=Sing改为Number=Plur

2022-11-15 v2.11

亮点:

根据多个主语政策实施:outer(#310)
实施advcl:relcl(#346)
实施英语代词的修订指南(词元,特征)(问题)
修订WH副词在从句中的附加,改为advmod而非mark(#88)
改进数值/实体的词元/特征
将"etc."标记为NOUN(#353)
添加neaten.py,实现英语特定的验证规则

2022-05-15 v2.10

亮点:

修复所有验证错误
实施新的goeswith政策(#314)
对"X so Y"等使用parataxis(#313)

2021-11-15 v2.9

修复所有验证错误
对各种词语和结构的注释进行了许多其他改进

2021-05-15 v2.8

修复了许多错误的词元、词性标记和关系
重新分析了许多依存关系以符合UD验证
重新标记名称中的词,将PROPN限制在真正的名词上
修复了某些元数据问题
修复了一些拼写错误,添加了CorrectForms
为缩写/缩略形式添加了缺失的多词标记
为表达性拼写添加了Style=Expr特征
修复了许多错误的非投射图,重新分析为投射图
将列表项重新注释为NUM而非X

2020-11-15 v2.7

为缩略动词形式添加了适当的多词标记
修复了一些错误的词元和词性标记

2020-05-15 v2.6

添加了段落边界
修复了一些错误的词元和词性标记
修复了一些goeswith依存关系的方向性

2019-11-15 v2.5

修复了各种句法问题
修复了CoNLL-U语法错误

2019-05-15 v2.4

修复了一些错误的词元和词性标记
修复了各种句法问题
修复了一些标点附加
修复了格式错误的增强图

2018-11-15 v2.3

修复了几个词元 2018年4月15日 v2.2版本
仓库名从UD_English更改为UD_English-EWT
自动添加增强依存关系(这些尚未经过人工检查!)
修正了一些错误的词条和词性标注
修正了各种句法问题

2017年11月15日 v2.1版本

修正了一些错误的词条、词性标注
修正了各种句法问题
根据CONLL-U v2格式在"DEPS"列中添加了基本依存关系

2017年2月15日 v2.0版本

更新树库以符合v2指南
修正了一些错误的词条
修正了各种句法问题
在增强表示中为缺失结构添加了空节点

2016年11月15日 v1.4版本

将融合的限定词-名词代词(如"somebody"、"nothing")的词性标注改为"PRON"
在CoNLL-U文件中添加了原始的未分词句子
修正了一些词性错误、特征和错误的词条
修正了少数句子中的各种句法问题

2016年5月15日 v1.3版本

改进了"WDT"到UPOS的映射
将"n't"的词条更正为"not"
修正了"advcl"、"ccomp"和"parataxis"之间的一些错误
修正了开发集和训练集之间重复句子的不一致分析
修正了少数句子中的各种句法问题

2015年11月15日 v1.2版本

错误修复：删除了一些词条中的"_NFP"后缀
修正日期注释以采用UD标准
从单词标记中移除"("和")"的转义(XPOSTAG仍为"-LRB-"和"-RRB-")
提高了"xcomp"关系的精确度
提高了"name"关系的召回率
更正了缩略助动词的词条
更正了代词性使用的this/that/these/those的UPOS标签(从"DET"改为"PRON")
更正了从属连词的UPOS标签(从"ADP"改为"SCONJ")
更正了一些主要动词的UPOS标签(从"AUX"改为"VERB")

贡献

为帮助改进语料库，请告知我们您发现的任何错误。最好的方式是在以下地址提交GitHub问题：

https://github.com/UniversalDependencies/UD_English-EWT/issues

我们也欢迎拉取请求。如果您想进行编辑，请修改"not-to-release/sources"目录中各个文件的树，而不是直接更改"en_ewt-ud-{dev,test,train}.conllu"。

致谢

通用依存英语网络树库的注释工作由以下人员完成(按贡献大小排序)：

Natalia Silveira
Timothy Dozat
Sebastian Schuster
Miriam Connor
Marie-Catherine de Marneffe
Nathan Schneider
Ethan Chi
Samuel Bowman
Christopher Manning
Hanzhi Zhu
Daniel Galbraith
John Bauer

CoNLL-U文件的创建，包括计算UPOS、特征和词条信息，主要由以下人员完成：

Sebastian Schuster
Natalia Silveira

通用依存英语网络树库的构建部分由Google公司的赠款资助，我们在此表示感谢。

引用

如果您使用通用依存英语网络树库，我们建议您引用以下论文：

@inproceedings{silveira14gold,
  year = {2014},
  author = {Natalia Silveira and Timothy Dozat and Marie-Catherine de
	  Marneffe and Samuel Bowman and Miriam Connor and John Bauer and
	  Christopher D. Manning},
  title = {A Gold Standard Dependency Corpus for {E}nglish},
  booktitle = {Proceedings of the Ninth International Conference on Language
    Resources and Evaluation (LREC-2014)}
}

元数据

=== 机器可读元数据(请勿删除!) ================================
数据可用时间：UD v1.0
许可证：CC BY-SA 4.0
包含文本：是
体裁：博客 社交 评论 电子邮件 网页
词条：自动校正
UPOS：转换并校正
XPOS：手动原生
特征：转换并校正
关系：手动原生
贡献者：Silveira, Natalia; Dozat, Timothy; Manning, Christopher; Schuster, Sebastian; Chi, Ethan; Bauer, John; Connor, Miriam; de Marneffe, Marie-Catherine; Schneider, Nathan; Bowman, Sam; Zhu, Hanzhi; Galbraith, Daniel; Bauer, John
贡献：此处来源
联系方式：syntacticdependencies@lists.stanford.edu
===============================================================================