Jury: 一个全面的自然语言处理评估系统

Jury:全面的NLP评估系统

Jury是一个用于评估自然语言处理(NLP)实验的综合工具包,提供了各种自动化评估指标。它具有以下主要优势:

• 易于在任何NLP项目中使用
• 所有指标使用统一的计算输入结构
• 可一次性计算多个指标
• 支持并发计算指标,节省处理时间
• 无缝支持多预测/多参考的评估

主要特性

1. 支持多种评估指标

Jury支持包括BLEU、METEOR、ROUGE、BERTScore等在内的20多种常用NLP评估指标。用户可以根据需要选择使用一种或多种指标。

2. 灵活的API

只需两行代码即可完成评估:

from jury import Jury
scorer = Jury()
scores = scorer(predictions=predictions, references=references)

3. 单独使用指标

可以直接导入单个指标类使用:

from jury.metrics import Bleu
bleu = Bleu.construct()
score = bleu.compute(predictions=predictions, references=references)

4. 命令行接口

提供命令行工具,可以直接评估预测文件和参考文件:

jury eval --predictions predictions.txt --references references.txt

5. 自定义指标

可以通过继承jury.metrics.Metric类来实现自定义指标。

安装和使用

通过pip安装:

pip install jury

详细的使用说明请参考项目文档。

贡献

欢迎提交Pull Request。开发环境设置和测试运行方法请参考贡献指南。

引用

如果您在工作中使用了Jury,请按如下方式引用:

@misc{cavusoglu2023jury,
  title={Jury: A Comprehensive Evaluation Toolkit}, 
  author={Devrim Cavusoglu and Ulas Sert and Secil Sen and Sinan Altinuc},
  year={2023},
  eprint={2310.02040},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  doi={10.48550/arXiv.2310.02040}
}

Jury为NLP研究人员和工程师提供了一个强大而灵活的评估工具,可以大大简化模型评估流程,提高实验效率。它的开源和可扩展性也为NLP评估技术的发展做出了贡献。