khaiii

khaiii是"Kakao Hangul Analyzer III"的首字母缩写，是由Kakao开发的第三代形态素分析器。这个名称也是继承自第二版形态素分析器dha2（Daumkakao Hangul Analyzer 2）的命名传统。

在语言学中，形态素是具有特定含义的最小语言单位，可以在话语中单独分离出来。换句话说，它是进一步分析就会失去意义的语言单位。形态素分析器是一种能够将单词分解成形态素单位的软件。形态素分析是自然语言处理中最基础的步骤，可以视为进行句法分析或语义分析之前必须完成的过程。（引自韩国维基百科）

基于数据

与之前版本基于词典和规则进行分析不同，khaiii使用基于数据（或机器学习）的算法进行分析。用于训练的语料库是由国立国语院发布的[21世纪世宗计划最终成果]，我们Kakao对其进行了错误修正和部分内容补充。

在预处理过程中，我们排除了会产生错误的句子，最终使用了约85万句、一千万词的语料库进行训练。关于语料库和词性体系的详细内容，请参考[语料库]文档。

算法

在机器学习算法中，我们使用了卷积神经网络（CNN）。我们认为，在韩语中，形态素分析是自然语言处理最基本的预处理步骤，因此速度是非常重要的因素。因此，我们排除了在自然语言处理中广泛使用的长短期记忆（LSTM）等循环神经网络（RNN）算法，因为它们在速度方面可能不太适用。

关于CNN模型的详细内容，请参考[CNN模型]文档。

性能

准确度

v0.3

CNN模型的主要超参数是表示要分类的音节左右上下文大小的win值，以及表示音节嵌入维度的emb值。win值可以是{2, 3, 4, 5, 7, 10}，emb值可以是{20, 30, 40, 50, 70, 100, 150, 200, 300, 500}。因此，这两个值的组合共有6 x 10 = 60种，我们进行了实验，性能如下所示。性能指标是精确率和召回率的调和平均值F-Score。

win参数在3或4时性能最佳，超过这个值反而性能下降。emb参数在150以下时，性能随之提高，超过150后差异不大。在前5名中，相对较小的模型是win=3，emb=150，F-Score值为97.11。我们将这个模型命名为large模型。

v0.4

通过[为提高抗空格错误能力的模型实验]，我们改进了模型。v0.4模型对空格不规范的输入表现更好，但在世宗语料库上的准确度略有下降。为了弥补这一点，我们稍微调整了base和large模型的参数，如下：

base模型：win=4，emb=35，F-Score：94.96
large模型：win=4，emb=180，F-Score：96.71

速度

v0.3

模型规模越大，准确度越高，但计算量也随之增加，速度会下降。因此，我们选择了一个具有适当准确度的小型模型作为base模型，以保证速度。F-Score值在95以上且模型规模较小的是win=3，emb=30，F-Score为95.30。

为了比较速度，我们分析了1万句文本（总计903KB，平均每句91个字符）。base模型用时约10.5秒，large模型用时约78.8秒。

v0.4

随着模型规模的增大，我们重新测量了base和large模型的速度，v0.4版本略有变慢：

base模型：10.8 -> 14.4
large模型：87.3 -> 165

用户词典

神经网络算法是所谓的黑盒算法，人们很难追踪结果的推导过程。因此，当出现错误分析时，通过修改模型参数来获得正确结果是非常困难的。为此，khaiii在神经网络算法的前端设置了预分析词典，在后端设置了错误分析修复这两种用户词典机制。

预分析词典

预分析词典用于对单个词语进行与上下文无关的统一分析结果。例如,如果有以下条目:

输入词语	分析结果
以太坊*	以太坊/NNP

句子中所有以"以太坊"开头的词语都会被统一分析为"以太坊/NNP",而不使用神经网络算法。

从世宗语料库中自动提取没有分析歧义的词语,大约可以生成8万个条目。应用这些条目后,可以略微提高速度,在base模型中应用后速度提升了约10%,达到9.2秒。

关于预分析词典的详细说明和技术方法,请参考预分析词典文档。

错误分析修正

错误分析修正用于在多个词语之间需要充分考虑上下文来纠正错误分析的情况。例如,如果有以下条目:

输入文本	错误分析结果	正确分析结果
이 다른 것	이/JKS + _ + 다/VA + 른/MM + _ + 것/NNB	이/JKS + _ + 다르/VA + ㄴ/ETM + _ + 것/NNB

如果khaiii产生了如上"错误分析结果",则将其修正为正确的"正确分析结果"。这里"_"表示词语之间的边界,即空格。

关于错误分析修正的详细说明和技术方法,请参考错误分析修正文档。

构建和安装

关于khaiii的构建和安装,请参考构建和安装文档。

贡献

如果您想为khaiii做出贡献,请参考CONTRIBUTING和开发者指南文档。

许可证

本软件使用Apache 2许可证,内容如下。

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this project except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0.

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.