关于Hunspell

Hunspell是一个免费的拼写检查和形态分析库及命令行工具,采用LGPL/GPL/MPL三重许可。

Hunspell被LibreOffice办公套件、Mozilla Firefox和Google Chrome等免费浏览器以及其他工具和操作系统(如Linux发行版和macOS)所使用。它也是Linux、类Unix和其他操作系统的命令行工具。

它专为具有词级书写系统的语言设计,提供快速高质量的拼写检查和纠正功能,包括具有丰富形态学、复杂词语组合和字符编码的语言。

Hunspell接口:使用Curses库的类Ispell终端界面、Ispell管道接口、C++/C API和共享库,以及其他编程语言的现有语言绑定。

Hunspell的代码基础来自OpenOffice.org的MySpell库,由Kevin Hendricks开发(最初是从头开始用C++重新实现Geoff Kuenning的International Ispell的拼写检查和词缀功能,后来扩展了例如n-gram建议等功能),请参见http://lingucomponent.openoffice.org/MySpell-3.zip,以及其README、CONTRIBUTORS和license.readme(此处为license.myspell)文件。

由László Németh开发的Hunspell库的主要特性:

• Unicode支持
• 高度可定制的建议:词部替换表和词干级别的语音及其他替代转写,以识别和修复所有典型的拼写错误,不建议使用冒犯性词语等
• 复杂形态学:词典和词缀同音异义词;双重词缀剥离,用于处理黏着语(如阿塞拜疆语、巴斯克语、爱沙尼亚语、芬兰语、匈牙利语、土耳其语)的屈折和派生形态素组;64000个词缀类,每个类可有任意数量的词缀;条件词缀、环缀、插入形态素、零形态素、虚拟词典词干、禁用词以避免过度生成等
• 处理复杂的复合词(例如,芬兰-乌戈尔语族、德语和印度-雅利安语系):识别由任意数量单词组成的复合词,处理复合词内的词缀等
• 带词缀的自定义词典
• 词干提取
• 形态分析(采用自定义项目和排列风格)
• 形态生成
• SPELLML XML API构建在普通spell() API函数之上,便于集成词干提取、形态生成和带词缀的自定义词典
• 特定语言的算法,如阿塞拜疆语或土耳其语带点的i和德语锐音s的特殊大小写处理,以及匈牙利语的特殊复合规则。

由László Németh开发的Hunspell命令行工具的主要特性:

• 重新实现Geoff Kuenning的Ispell的快速交互界面
• 解析格式:文本、OpenDocument、TeX/LaTeX、HTML/SGML/XML、nroff/troff
• 可选带词缀的自定义词典,由模型词指定
• 多词典使用(例如hunspell -d en_US,de_DE,de_medical)
• 各种过滤选项(错误或正确的单词/行)
• 形态分析(选项-m)
• 词干提取(选项-s)

完整手册请参见man hunspell、man 3 hunspell、man 5 hunspell。

翻译:Hunspell已被翻译成多种语言。如果您的语言缺失或不完整,请使用Weblate帮助翻译Hunspell。

<a href="https://hosted.weblate.org/engage/hunspell/"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/92bb067e-3bc9-4ae5-8749-1f4616d98657.svg" alt="翻译状态" /> </a>

依赖

仅构建依赖:

g++ make autoconf automake autopoint libtool

运行时依赖:

	必需	可选
libhunspell
hunspell工具	libiconv gettext	ncurses readline

在GNU/Linux和Unix上编译

我们首先需要下载依赖项。在Linux上,gettext和libiconv是标准库的一部分。在其他Unix系统上,我们需要手动安装它们。

对于Ubuntu:

sudo apt install autoconf automake autopoint libtool

然后运行以下命令:

autoreconf -vfi
./configure
make
sudo make install
sudo ldconfig

对于词典开发,请使用configure的--with-warnings选项。

对于Hunspell可执行文件的交互用户界面,请使用--with-ui选项。

可选的开发包:

• ncurses(需要--with-ui),例如用于UTF-8的libncursesw5
• readline(用于花哨的输入行编辑,配置参数:--with-readline)

在Ubuntu中,这些包是:

libncurses5-dev libreadline-dev

在OSX和macOS上编译

在macOS上,编译器始终使用clang而不是g++,因为Homebrew依赖项是用它构建的。

brew install autoconf automake libtool gettext
brew link gettext --force

然后运行:

autoreconf -vfi
./configure
make

在Windows上编译

使用Mingw64和MSYS2编译

下载Msys2,更新所有内容并安装以下包:

pacman -S base-devel mingw-w64-x86_64-toolchain mingw-w64-x86_64-libtool

打开Mingw-w64 Win64提示符,按照与Linux相同的方式编译,请参见上文。

在Cygwin环境中编译

为Windows下载并安装Cygwin环境,并安装以下额外包:

• make
• automake
• autoconf
• libtool
• gcc-g++开发包
• ncurses, readline(用于用户界面)
• iconv(字符转换)

然后按照与Linux相同的方式编译。Cygwin构建依赖于Cygwin1.dll。

调试

建议安装标准库的调试构建:

libstdc++6-6-dbg

为了调试,我们需要创建一个调试构建,然后启动gdb。

./configure CXXFLAGS='-g -O0 -Wall -Wextra'
make
./libtool --mode=execute gdb src/tools/hunspell

您也可以直接将CXXFLAGS传递给make,而无需调用./configure,但我们不推荐在长期开发会话中使用这种方式。

如果您想使用IDE进行开发和调试,请参阅https://github.com/hunspell/hunspell/wiki/IDE-Setup的文档。

测试

测试Hunspell(参见tests/子目录中的测试):

make check

或使用Valgrind调试器:

make check
VALGRIND=[Valgrind_tool] make check

例如:

make check
VALGRIND=memcheck make check

文档

特性和词典格式:

man 5 hunspell
man hunspell
hunspell -h

http://hunspell.github.io/

使用

编译和安装后(参见INSTALL),您可以使用Hunspell或Myspell词典运行Hunspell拼写检查器(带用户界面编译):

hunspell -d en_US text.txt

或不带界面:

hunspell
hunspell -d en_GB -l <text.txt

词典由一个词缀(.aff)和词典(.dic)文件组成,例如,下载LibreOffice的美式英语词典文件(较旧版本,但带词干提取和形态生成):

wget -O en_US.aff  https://cgit.freedesktop.org/libreoffice/dictionaries/plain/en/en_US.aff?id=a4473e06b56bfe35187e302754f6baaa8d75e54f
wget -O en_US.dic https://cgit.freedesktop.org/libreoffice/dictionaries/plain/en/en_US.dic?id=a4473e06b56bfe35187e302754f6baaa8d75e54f

使用命令行输入和输出,可以快速检查其工作,例如输入单词"example"、"examples"、"teached"和"verybaaaaaaaaaaaaaaaaaaaaaad":

$ hunspell -d en_US
Hunspell 1.7.0
example
*

examples
+ example

teached & teached 9 0: taught, teased, reached, teaches, teacher, leached, beached

verybaaaaaaaaaaaaaaaaaaaaaad

verybaaaaaaaaaaaaaaaaaaaaaad 0

在输出中，""和"+"表示正确（被接受）的单词（""=字典词干，"+"=以下字典词干的词缀形式），而"&"和"#"表示错误（被拒绝）的单词（"&"=有建议，"#"=无建议）（参见hunspell手册）。

词干提取示例：

$ hunspell -d en_US -s
mice
mice mouse

形态分析示例（此英语词典的功能非常有限）：

$ hunspell -d en_US -m
mice
mice  st:mouse ts:Ns

cats
cats  st:cat ts:0 is:Ns
cats  st:cat ts:0 is:Vs

其他可执行文件

编译后，src/tools目录包含以下可执行文件：

• 主要可执行文件：
  • hunspell：拼写检查和其他功能的主程序（参见手册）
• 示例工具：
  • analyze：拼写检查、词干提取和形态分析的示例
  • chmorph：自动形态生成和转换的示例
  • example：拼写检查和建议的示例
• 词典开发工具：
  • affixcompress：从大型（数百万词）词汇表生成词典
  • makealias：别名压缩（仅适用于Hunspell，不向后兼容MySpell）
  • wordforms：单词生成（Hunspell版本的unmunch）
  • hunzip：hzip格式的解压缩器
  • hzip：hzip格式的压缩器
  • munch（已弃用，请使用affixcompress）：从词汇表生成词典（还需要一个词缀文件）
  • unmunch（已弃用，请使用wordforms）：列出MySpell词典中所有可识别的单词

形态生成示例：

$ ~/hunspell/src/tools/analyze en_US.aff en_US.dic /dev/stdin
cat mice
generate(cat, mice) = cats
mouse cats
generate(mouse, cats) = mice
generate(mouse, cats) = mouses

使用GCC和Hunspell库

在程序中包含：

#include <hunspell.hxx>

链接Hunspell静态库：

g++ -lhunspell-1.7 example.cxx
# 或者更好的方法，使用pkg-config
g++ $(pkg-config --cflags --libs hunspell) example.cxx

安装Hunspell（vcpkg）

或者，您可以使用vcpkg依赖管理器来构建和安装hunspell：

git clone https://github.com/Microsoft/vcpkg.git
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg integrate install
./vcpkg install hunspell

vcpkg中的hunspell端口由Microsoft团队成员和社区贡献者保持更新。如果版本过时，请在vcpkg仓库上创建问题或拉取请求。

词典

Hunspell（MySpell）词典：

• https://wiki.documentfoundation.org/Language_support_of_LibreOffice
• http://cgit.freedesktop.org/libreoffice/dictionaries
• http://extensions.libreoffice.org
• https://extensions.openoffice.org
• https://wiki.openoffice.org/wiki/Dictionaries

Aspell词典（转换：man 5 hunspell）：

• ftp://ftp.gnu.org/gnu/aspell/dict

László Németh，nemeth at numbertext org