JamSpell

项目介绍：JamSpell

JamSpell 是一个高效的拼写检查库，提供了一系列强大的功能。其设计初衷是为多种语言提供快速、准确的拼写纠正支持。

主要功能

• 高准确性：JamSpell 在拼写检查中考虑了单词的上下文，以提供更精确的纠正。
• 高速度：每秒可处理约5000个单词，性能表现优异。
• 多语言支持：用C++编写，利用SWIG绑定为多种语言提供支持。

JamSpellPro

JamSpell 网站提供了最新版本JamSpellPro，新增了一些更高级的功能：

• 提高的准确性：使用CatBoost增强模型，提升纠正效果。
• 可拆分合并的单词：可以处理连着的单词并正确纠正。
• 多语言预训练模型：提供多种语言的小型、中型、大型预训练模型，包括英语、俄语、德语、法语等。
• 可在运行时添加单词或句子：增强了动态的语言适应能力。
• 细调和附加训练：可进一步优化训练过程。
• 大模型内存优化：为训练大模型进行了内存使用优化。
• 静态字典支持：用户可以使用静态字典进行操作。
• 内置多语言支持：包括Java、C#、Ruby等开发环境的集成。
• Windows支持：可在Windows系统下运行。

性能对比

在进行性能测试时，JamSpell与其他拼写检查工具（如Norvig和Hunspell）进行了对比。评估标准包括：

• 错误率：拼写检查器处理后的错误单词比例。
• Top 7错误率：前7个候选词中丢失的单词比例。
• 修正率：拼写检查器修正的错误单词比例。
• Top 7修正率：前7个候选词纠正的错误单词比例。
• 损坏率：拼写检查器因修正导致原本正确的单词被错误替换的比例。
• 速度：每秒处理的单词数量。

通过对比，JamSpell 表现出更低的错误率和更高的修正率，同时在速度上也大幅领先其他工具。

使用指南

Python

1. 安装swig3，通常可以通过发行版的包管理器获取。
2. 使用pip安装JamSpell。

pip install jamspell

3. 下载或训练语言模型。

4. 开始使用：

import jamspell

corrector = jamspell.TSpellCorrector()
corrector.LoadLangModel('en.bin')

# 示例使用
corrector.FixFragment('I am the begt spell cherken!')
# 输出：'I am the best spell checker!'

C++

1. 将 jamspell 和 contrib 目录添加到项目中。
2. 使用如下：

#include <jamspell/spell_corrector.hpp>

// 示例使用
int main(int argc, const char** argv) {
    NJamSpell::TSpellCorrector corrector;
    corrector.LoadLangModel("model.bin");

    corrector.FixFragment(L"I am the begt spell cherken!");
    // 输出："I am the best spell checker!"
    return 0;
}

其他语言

用户可以根据SWIG教程生成其他语言的扩展，SWIG接口文件为 jamspell.i。

HTTP API 使用

1. 安装CMake。
2. 克隆并构建JamSpell（包含HTTP服务器）。

git clone https://github.com/bakwc/JamSpell.git
cd JamSpell
mkdir build
cd build
cmake ..
make

3. 运行HTTP服务器：

./web_server/web_server en.bin localhost 8080

训练自定义模型

想要训练自定义模型，可以按照以下步骤：

1. 安装CMake。
2. 克隆并构建JamSpell。
3. 准备一份utf-8编码的句子文件用于训练，以及语言字母表文件。
4. 训练模型：

./main/jamspell train ../test_data/alphabet_en.txt ../test_data/sherlockholmes.txt model_sherlock.bin

5. 使用 evaluate/evaluate.py 脚本评估拼写检查器。

JamSpell 提供了多语言支持、高效的纠正机制和良好的可扩展性，对于需要快速准确的拼写检查功能的用户，JamSpell 是一个很好的选择。