OmniEvent: 全面、统一和模块化的事件抽取工具包

OmniEvent:全面、统一和模块化的事件抽取工具包

在自然语言处理领域,事件抽取是一项具有挑战性但意义重大的任务。它旨在从非结构化文本中识别和提取事件信息,包括事件类型、触发词和事件论元等要素。为了推动这一领域的研究发展,清华大学知识工程实验室(THU-KEG)推出了一个名为OmniEvent的开源事件抽取工具包。OmniEvent是一个全面、统一和模块化的事件抽取系统,为研究人员和开发者提供了强大而灵活的工具。

主要特点

OmniEvent具有以下几个突出的特点:

全面的能力覆盖

OmniEvent支持完整的事件抽取任务,也可以独立进行事件检测和事件论元抽取两个子任务。它涵盖了多种主流范式,包括令牌分类、序列标注、机器阅读理解和序列到序列生成。同时实现了基于Transformer的模型(如BERT、T5等)和经典模型(如DMCNN、CRF等)。OmniEvent还同时支持中文和英文的所有事件抽取相关任务、范式和模型。

统一的评测基准

为了公平比较不同模型的性能,OmniEvent将各种数据集处理成统一格式,并将不同范式的预测结果转换为统一的候选集进行评估。它还提供了四种评估模式(gold、loose、default、strict),全面覆盖了以往的各种评估设置。

模块化实现

OmniEvent将所有模型分解为四个模块:输入工程、主干网络、聚合和输出头。用户可以灵活组合和重新实现不同模块,设计并实现新的模型。

大模型训练与推理

借助BMTrain库,OmniEvent支持大规模事件抽取模型的高效训练和推理。

易用性与可扩展性

OmniEvent提供了简单的命令行接口用于下载和处理开放数据集。它完全兼容Hugging Face的Transformers库及其Trainer API,使用户能够轻松复现现有模型并构建自定义模型。

支持的数据集和模型

OmniEvent支持多个主流的事件抽取数据集,涵盖了不同语言和领域:

英文通用领域:MAVEN、ACE-EN、ACE-DYGIE、RichERE (KBP+ERE)
中文法律领域:LEVEN
中文通用领域:DuEE、ACE-ZH
中文金融领域:FewFC

在模型方面,OmniEvent实现了多种范式和架构:

范式:令牌分类、序列标注、序列到序列生成、机器阅读理解
主干网络:CNN/LSTM、Transformers (BERT、T5等)
聚合方法:选择[CLS]、动态/最大池化、标记、图卷积网络
输出头:线性层、条件随机场、机器阅读理解头

使用示例

OmniEvent提供了简单易用的API,以下是一些基本用法示例:

事件抽取(EE)任务:

from OmniEvent.infer import infer

text = "2022年北京市举办了冬奥会"
results = infer(text=text, task="EE")
print(results[0]["events"])

输出结果:

[
    {
        "type": "组织行为开幕", "trigger": "举办", "offset": [8, 10],
        "arguments": [
            {"mention": "2022年", "offset": [9, 16], "role": "时间"},
            {"mention": "北京市", "offset": [81, 89], "role": "地点"},
            {"mention": "冬奥会", "offset": [0, 4], "role": "活动名称"},
        ]
    }
]

事件检测(ED)任务:

text = "U.S. and British troops were moving on the strategic southern port city of Basra \
Saturday after a massive aerial assault pounded Baghdad at dawn"

results = infer(text=text, task="ED")
print(results[0]["events"])

输出结果:

[
    { "type": "attack", "trigger": "assault", "offset": [113, 120]},
    { "type": "injure", "trigger": "pounded", "offset": [121, 128]}
]

事件论元抽取(EAE)任务:

results = infer(text=text, triggers=[("assault", 113, 120), ("pounded", 121, 128)], task="EAE")
print(results[0]["events"])

输出结果:

[
    {
        "type": "attack", "trigger": "assault", "offset": [113, 120],
        "arguments": [
            {"mention": "U.S.", "offset": [0, 4], "role": "attacker"},
            {"mention": "British", "offset": [9, 16], "role": "attacker"},
            {"mention": "Saturday", "offset": [81, 89], "role": "time"}
        ]
    },
    {
        "type": "injure", "trigger": "pounded", "offset": [121, 128],
        "arguments": [
            {"mention": "U.S.", "offset": [0, 4], "role": "attacker"},
            {"mention": "Saturday", "offset": [81, 89], "role": "time"},
            {"mention": "British", "offset": [9, 16], "role": "attacker"}
        ]
    }
]

训练自定义模型

OmniEvent还允许用户在特定数据集上训练和评估自定义模型。以下是在ACE-EN数据集上训练序列到序列范式的事件检测模型的步骤示例:

数据处理:

dataset=ace2005-en
cd scripts/data_processing/$dataset
bash run.sh

设置配置:

from OmniEvent.arguments import DataArguments, ModelArguments, TrainingArguments, ArgumentParser
from OmniEvent.input_engineering.seq2seq_processor import type_start, type_end

parser = ArgumentParser((ModelArguments, DataArguments, TrainingArguments))
model_args, data_args, training_args = parser.parse_yaml_file(yaml_file="config/all-datasets/ed/s2s/ace-en.yaml")

training_args.output_dir = 'output/ACE2005-EN/ED/seq2seq/t5-base/'
data_args.markers = ["<event>", "</event>", type_start, type_end]

初始化模型和分词器:

from OmniEvent.backbone.backbone import get_backbone
from OmniEvent.model.model import get_model

backbone, tokenizer, config = get_backbone(model_type=model_args.model_type, 
                                           model_name_or_path=model_args.model_name_or_path, 
                                           tokenizer_name=model_args.model_name_or_path, 
                                           markers=data_args.markers,
                                           new_tokens=data_args.markers)
model = get_model(model_args, backbone)

初始化数据集和评估指标:

from OmniEvent.input_engineering.seq2seq_processor import EDSeq2SeqProcessor
from OmniEvent.evaluation.metric import compute_seq_F1

train_dataset = EDSeq2SeqProcessor(data_args, tokenizer, data_args.train_file)
eval_dataset = EDSeq2SeqProcessor(data_args, tokenizer, data_args.validation_file)
metric_fn = compute_seq_F1

定义Trainer并开始训练:

from OmniEvent.trainer_seq2seq import Seq2SeqTrainer

trainer = Seq2SeqTrainer(
    args=training_args,
    model=model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    compute_metrics=metric_fn,
    data_collator=train_dataset.collate_fn,
    tokenizer=tokenizer,
)
trainer.train()

统一评估:

from OmniEvent.evaluation.utils import predict, get_pred_s2s
from OmniEvent.evaluation.convert_format import get_trigger_detection_s2s

logits, labels, metrics, test_dataset = predict(trainer=trainer, tokenizer=tokenizer, data_class=EDSeq2SeqProcessor,
                                                data_args=data_args, data_file=data_args.test_file,
                                                training_args=training_args)
print(f"{test_dataset.dataset_name} test performance before converting: {metrics['test_micro_f1']}")  

preds = get_pred_s2s(logits, tokenizer)
pred_labels = get_trigger_detection_s2s(preds, labels, data_args.test_file, data_args, None)
print(f"{test_dataset.dataset_name} test performance after converting: {metrics['test_micro_f1']}")

一致性评估

OmniEvent还提供了解决事件抽取评估中三个主要差异的方案:

一致的数据预处理:提供了多个主流的预处理脚本,如ACE 2005数据集的ace2005-dygie、ace2005-oneie和ace2005-en。
输出标准化:实现了不同范式输出到令牌分类方法输出空间的转换。
流水线评估:提供了多种事件论元抽取评估模式,并推荐使用strict模式进行可比较的评估。同时提供了统一的抽取触发词集合用于不同事件论元抽取方法的流水线评估。

结语

OmniEvent为事件抽取研究提供了一个全面、统一和灵活的工具包。它不仅支持多种主流范式和模型,还提供了一致的评估框架,有助于公平比较不同方法的性能。模块化的设计使得研究人员可以轻松地复现现有模型并开发新的方法。随着自然语言处理技术的不断发展,OmniEvent将继续更新和扩展,为推动事件抽取领域的进步做出贡献。

研究人员和开发者可以通过GitHub访问OmniEvent项目(https://github.com/THU-KEG/OmniEvent),并参考详细的文档来开始使用这个强大的工具包。OmniEvent的出现无疑将加速事件抽取技术的发展,为信息抽取、知识图谱构建等下游应用提供更加可靠和高效的支持.