Sage: 多语言拼写纠错、文本增强和评估工具包

Sage: 多语言拼写纠错、文本增强和评估工具包

Sage(Spell checking via Augmentation and Generative distribution Emulation)是一个全面的拼写纠错解决方案,为NLP研究者和开发者提供了一站式服务。该项目由AI-forever团队开发,包含了最先进的预训练模型、数据增强方法以及评估指标,支持多种语言。

主要功能

1. 拼写纠错模型

Sage提供了多个基于Transformer的预训练模型用于拼写纠错任务:

• 俄语模型:sage-fredt5-large、sage-fredt5-distilled-95m、sage-m2m100-1.2B等
• 英语模型:T5-large、sage-mt5-large

这些模型在大规模合成错误数据上预训练,并在真实拼写错误数据集上微调,在多个基准测试中取得了优异的性能。

2. 文本增强

Sage提供了两种文本增强方法来生成拼写错误:

• SBSC(Statistic-based Spelling Corruption): 基于统计分析真实错误,模拟人类犯错模式
• Augmentex: 基于规则和常见错误的启发式方法

这两种方法都能生成自然的拼写错误,有助于增强训练数据。

3. 评估指标

Sage实现了两种评估拼写纠错系统性能的指标:

• ruspelleval: 适用于俄语的评估指标
• ERRANT: 改编自英语的评估框架

这些指标可以计算precision、recall和F1分数,全面评估纠错效果。

使用示例

1. 文本增强:

from sage.spelling_corruption import SBSCConfig, SBSCCorruptor

config = SBSCConfig(
    reference_dataset_name_or_path="MedSpellchecker",  
    reference_dataset_split="test"
)
corruptor = SBSCCorruptor.from_config(config)

text = "Заметьте, не я это предложил!"
corrupted = corruptor.corrupt(text, seed=1)
print(corrupted)
# 'Заиетьте, не я эт о пред ложил!'

2. 拼写纠错:

from sage.spelling_correction import AvailableCorrectors, T5ModelForSpellingCorruption

corrector = T5ModelForSpellingCorruption.from_pretrained(AvailableCorrectors.sage_fredt5_large.value)

text = "Замтьте не я это предложил"
corrected = corrector.correct(text)
print(corrected)
# ['Заметьте, не я это предложил.']

3. 评估:

metrics = corrector.evaluate("RUSpellRU", metrics=["errant", "ruspelleval"])
print(metrics)
# {'Precision': 83.48, 'Recall': 74.75, 'F1': 78.87, ...}

主要优势

• 全面的功能:集成了拼写纠错、数据增强和评估等全流程工具
• 多语言支持:提供了俄语和英语的预训练模型和评估指标
• 先进的性能:在多个基准测试中达到了最优水平
• 易用性:提供了简单直观的API,可快速上手使用
• 可扩展性:支持自定义数据集训练和评估

Sage为拼写纠错任务提供了一站式解决方案,有望推动该领域的研究和应用发展。无论是学术研究还是工业应用,Sage都是一个值得关注的强大工具包。