Kiwi

Kiwi 项目介绍

什么是 Kiwi？

Kiwi 是一个旨在高效和通用性能的韩语形态素分析器库。它支持开源，任何对韩语处理感兴趣的人都可以轻松使用。Kiwi 用 C++ 实现了核心库，并为多种编程语言提供绑定，使开发者可以在他们所使用的语言环境中利用 Kiwi 的功能。

形态素分析能力

Kiwi 的形态素分析基于"세종 품사"（Sejong 词性）标签体系，结合"세종계획 말뭉치"（Sejong 语料库）和"모두의 말뭉치"来进行训练。Kiwi 能够在不同类型的文本中进行高精确度的分析：

• 网页文本：约 87% 的准确度
• 书面文本：约 94% 的准确度

在版本 0.13.0 以后，Kiwi 还提供了简单的拼写错误自动校正功能。

Kiwi 的特点

• 速度快：与其他韩语形态素分析程序相比，Kiwi 的文本分析速度相当快。
• 模糊性消解性能：借助轻量级语言模型，Kiwi 能够准确分析含有模糊性的句子。使用 SBG 模型时尤其明显。
• 多样功能：提供如句子分离等多种实用功能。
• 多线程支持：能够充分利用多核处理器进行快速的文本分析，适合处理大批量文本。
• 多种模型：针对不同需求提供小型、中型和大型三种模型。

如何安装？

Kiwi 支持多种平台的安装，包括 Windows、Linux 和 macOS。用户可以下载已经编译好的二进制文件，也可以根据需要自行编译。以下是一些安装途径：

• C++ 开发者：可以从 GitHub 获取编译所需的文件，并使用 Visual Studio 或 cmake 进行编译。
• Python 开发者：可以使用为 Python3 准备的 Kiwipiepy API。
• C#、Java、R 和 GO 使用者：有相应的 Wrapper 可以使用。
• Web 和 GUI 应用：Kiwi 也提供了基于 C# 的 GUI 版本，适用于没有编程知识的用户。

词性标签

Kiwi 基于"세종"标签体系，但做了一些增补和修改。支持基本的词性如名词、动词、形容词以及韩语特有的词尾形式等。同时还引入了一些独特的标签，用来标记例如 URL、邮箱、哈希标签等特征。

性能评价

Kiwi 使用不同大小的模型在多种文本上测试，其形态素分析的精确性和速度都优于许多现有的韩语形态分析器。

开源与贡献

Kiwi 是开源的，遵循 LGPL v3 许可证发布。非常欢迎开发者对该项目进行更多的关注和贡献。

对 Kiwi 感兴趣的用户可以访问项目的 GitHub 页面，了解更多有关实现与更新的信息，同时也可以尝试运行在线 demo。Kiwi 因其高效的性能和灵活的功能，广泛应用于文本挖掘、自然语言处理和人文学科研究等领域。