Sudachi

日本語 README

Sudachi是一个日语形态分析器。形态分析主要包括以下任务：

分词
词性标注
标准化

教程

有关安装教程，请参阅教程页面。

有关插件教程，请参阅插件教程页面。

有关从源代码构建Sudachi或进行开发的信息，请参阅开发页面。

特点

Sudachi具有以下特点：

多长度分词
- 可以更改分词模式
- 同时提取形态素和命名实体
大型词典
- 基于UniDic和NEologd
插件
- 可以更改处理行为
与同义词词典紧密配合
- 我们将在稍后发布同义词词典

词典

Sudachi有三种类型的词典：

小型：仅包含UniDic的词汇
核心：包含基本词汇（默认）
完整：包含各种专有名词

点击此处获取预构建词典。更多详情，请参阅SudachiDict。

如何使用小型/完整词典

使用配置字符串运行命令行工具

$ java -jar sudachi-XX.jar -s '{"systemDict":"system_small.dic"}'

命令行使用

$ java -jar sudachi-XX.jar [-r conf] [-s json] [-m mode] [-a] [-d] [-f] [-o output] [file...]

选项

-r conf 指定设置文件（覆盖-s）
-s json 附加设置（覆盖-r）
-p directory 资源的根目录
-m {A|B|C} 指定分词模式
-a 输出词典形式和读音形式
-d 输出调试信息
-o file 指定输出文件（默认：标准输出）
-t 用空格分隔单词
-ts 用空格分隔单词，每个句子换行
-f 忽略错误
--systemDict file 指定系统词典的路径。将覆盖其他设置。
--userDict file 添加用户词典。不会覆盖其他设置，而是添加另一个用户词典。
--format class 使用提供的类进行输出格式化，而不是默认配置

示例

$ echo 東京都へ行く | java -jar target/sudachi.jar
東京都  名詞,固有名詞,地名,一般,*,*     東京都
へ      助詞,格助詞,*,*,*,*     へ
行く    動詞,非自立可能,*,*,五段-カ行,終止形-一般       行く
EOS

$ echo 東京都へ行く | java -jar target/sudachi.jar -a
東京都  名詞,固有名詞,地名,一般,*,*     東京都  東京都  トウキョウト
へ      助詞,格助詞,*,*,*,*     へ      へ      エ
行く    動詞,非自立可能,*,*,五段-カ行,終止形-一般       行く    行く    イク
EOS

$ echo 東京都へ行く | java -jar target/sudachi.jar -m A
東京    名詞,固有名詞,地名,一般,*,*     東京
都      名詞,普通名詞,一般,*,*,*        都
へ      助詞,格助詞,*,*,*,*     へ
行く    動詞,非自立可能,*,*,五段-カ行,終止形-一般       行く
EOS

$ echo 東京都へ行く | java -jar target/sudachi.jar -t
東京都 へ 行く

如何使用API

您可以在Javadoc中找到详细信息。要使用Sudachi API编译应用程序，请在maven项目中声明对Sudachi的依赖。

<dependency>
  <groupId>com.worksap.nlp</groupId>
  <artifactId>sudachi</artifactId>
  <version>0.5.3</version>
</dependency>

分词模式

Sudachi提供三种分词模式。 A模式将文本分割成与UniDic短单位等效的最短单位。C模式提取命名实体。 B模式则分割成中等长度的单位。

以下是核心词典中的示例：

A：選挙/管理/委員/会
B：選挙/管理/委員会
C：選挙管理委員会

A：客室/乗務/員
B：客室/乗務員
C：客室乗務員

A：労働/者/協同/組合
B：労働者/協同/組合
C：労働者協同組合

A：機能/性/食品
B：機能性/食品
C：機能性食品

以下是完整词典中的示例：

A：医薬/品/安全/管理/責任/者
B：医薬品/安全/管理/責任者
C：医薬品安全管理責任者

A：消費/者/安全/調査/委員/会
B：消費者/安全/調査/委員会
C：消費者安全調査委員会

A：さっぽろ/テレビ/塔
B：さっぽろ/テレビ塔
C：さっぽろテレビ塔

A：カンヌ/国際/映画/祭
B：カンヌ/国際/映画祭
C：カンヌ国際映画祭

在全文搜索中，使用A和B模式可以提高精确度和召回率。

插件

您可以使用或制作修改Sudachi行为的插件。

插件类型	示例
修改输入	字符规范化
创建未登录词	考虑书写风格
连接词语	禁止连接、覆盖连接代价
修改分词路径	修正人名、均衡分词

预置插件

我们准备了以下插件：

插件类型	插件
修改输入	字符规范化	全角/半角、大小写、变体
	长音符号规范化	规范化"~"、"ー"
	删除注音假名	删除括号中的注音假名
创建未登录词	创建单字未登录词	作为后备方案使用
	MeCab兼容的未登录词
连接词语	禁止连接	根据词性指定
修改分词路径	连接片假名未登录词
	连接数字
	均衡分词*	平衡未登录词和已知词的分词
	数字规范化	规范化汉字数字和单位
	人名估计*

* 将在稍后发布。

规范化形式

Sudachi对以下变体进行规范化：

送假名
- 例如：打込む → 打ち込む
文字
- 例如：かつ丼 → カツ丼
异体字
- 例如：附属 → 付属
拼写错误
- 例如：シュミレーション → シミュレーション
缩略形式
- 例如：ちゃあ → ては

字符规范化

DefaultInputTextPlugin按以下顺序对输入文本进行规范化：

使用Character.toLowerCase()转换为小写
使用NFKC进行Unicode规范化

当rewrite.def有以下描述时，DefaultInputTextPlugin会停止上述处理并应用以下规则：

忽略

# 单个代码点：在字符规范化中跳过此字符
髙

替换

# 重写规则：<目标> <替换>
A' Ā

如果字符规范化导致字符数增加，Sudachi可能会输出原始输入文本中长度为0的形态素。

用户词典

要创建和使用自己的词典，请参考docs/user_dict.md。

与MeCab和Kuromoji的比较

	Sudachi	MeCab	kuromoji
多重分割	支持	不支持	有限 ^a
标准化	支持	不支持	有限 ^b
连接、修正	支持	不支持	有限 ^b
使用多个用户词典	支持	支持	不支持
节省内存	良好 ^c	较差	良好
准确性	良好	良好	良好
速度	良好	优秀	良好

^a: 通过n-best近似
^b: 使用Lucene过滤器
^c: 多个Java虚拟机之间共享内存

未来版本

提高速度
发布插件
提高准确性
增加更多分割信息
增加更多标准化形式
修复读音形式（发音 -> 假名注音）
协调与同义词词典的分割

许可证

Sudachi

Sudachi 由 Works Applications Co., Ltd. 开发，基于 Apache License, Version 2.0 许可

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.

标志

Sudachi Logo

任何人都可以使用此标志或其修改版本来指代形态素分析器 Sudachi，但这并不表示 Works Applications Co., Ltd. 的认可。

Elasticsearch

我们发布了 Elasticsearch 的插件。

https://github.com/WorksApplications/elasticsearch-sudachi

Python

Sudachi 的 Python 实现

https://github.com/WorksApplications/SudachiPy

Slack

我们为开发者和用户提供了 Slack 工作空间，用于提问和讨论各种话题。

https://sudachi-dev.slack.com/
(请从这里获取邀请)

引用 Sudachi

我们发表了一篇关于 Sudachi 及其语言资源的论文："Sudachi: a Japanese Tokenizer for Business"（Takaoka et al.，LREC2018）。

在论文、书籍或服务中引用 Sudachi 时，请使用以下 BibTex 条目：

@InProceedings{TAKAOKA18.8884,
  author = {Kazuma Takaoka and Sorami Hisamoto and Noriko Kawahara and Miho Sakamoto and Yoshitaka Uchida and Yuji Matsumoto},
  title = {Sudachi: a Japanese Tokenizer for Business},
  booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)},
  year = {2018},
  month = {may},
  date = {7-12},
  location = {Miyazaki, Japan},
  editor = {Nicoletta Calzolari (Conference chair) and Khalid Choukri and Christopher Cieri and Thierry Declerck and Sara Goggi and Koiti Hasida and Hitoshi Isahara and Bente Maegaard and Joseph Mariani and Hélène Mazo and Asuncion Moreno and Jan Odijk and Stelios Piperidis and Takenobu Tokunaga},
  publisher = {European Language Resources Association (ELRA)},
  address = {Paris, France},
  isbn = {979-10-95546-00-9},
  language = {english}
  }

Sudachi（日文说明）

英文说明

Sudachi 是一个日语形态素分析器。形态素分析主要执行以下三种处理：

文本分割
词性标注
标准化处理

教程

安装教程请参考安装教程。

插件教程请参考插件教程。 我们使用插件机制实现了分词功能。

Sudachi 的特点

与传统的形态素分析器相比，Sudachi 具有以下特点：

同时使用多种分割单位
- 可根据需要切换
- 融合形态素分析和专有名词提取
收录大量词汇
- 基于 UniDic 和 NEologd 进行调整
功能插件化
- 可为字符规范化和未知词处理添加功能
与同义词词典连接
- 计划稍后公开

获取词典

Sudachi 有三种词典：

Small：收录 UniDic 的词条及其规范化表记和分割单位
Core：收录基本词汇（默认）
Full：收录各种专有名词

预构建的词典可在这里下载。详情请参阅 SudachiDict。

使用小型/完整词典的方法

在命令行工具中指定配置字符串

$ java -jar sudachi-XX.jar -s '{"systemDict":"system_small.dic"}'

命令行工具

$ java -jar sudachi-XX.jar [-r conf] [-s json] [-m mode] [-a] [-d] [-f] [-o output] [file...]

选项

-r conf 指定配置文件（与 -s 互斥）
-s json 覆盖默认配置（与 -r 互斥）
-p directory 指定资源的起始目录
-m {A|B|C} 分割模式
-a 同时输出读音和词典形式
-d 输出调试信息
-o 输出文件（未指定时为标准输出）
-t 以空格分隔输出单词
-ts 以空格分隔输出单词，句末换行
-f 忽略错误继续处理

输出示例

$ echo 东京都へ行く | java -jar target/sudachi.jar
东京都  名词,固有名词,地名,一般,*,*     东京都
へ      助词,格助词,*,*,*,*     へ
行く    动词,非自立可能,*,*,五段-カ行,终止形-一般       行く
EOS

$ echo 东京都へ行く | java -jar target/sudachi.jar -a
东京都  名词,固有名词,地名,一般,*,*     东京都  东京都  トウキョウト
へ      助词,格助词,*,*,*,*     へ      へ      エ
行く    动词,非自立可能,*,*,五段-カ行,终止形-一般       行く    行く    イク
EOS

$ echo 东京都へ行く | java -jar target/sudachi.jar -m A
东京    名词,固有名词,地名,一般,*,*     东京
都      名词,普通名词,一般,*,*,*        都
へ      助词,格助词,*,*,*,*     へ
行く    动词,非自立可能,*,*,五段-カ行,终止形-一般       行く
EOS

$ echo 东京都へ行く | java -jar target/sudachi.jar -t
东京都 へ 行く

作为库使用

作为库使用时请参考 Javadoc。

在 Maven 项目中使用时，请添加以下依赖：

<dependency>
  <groupId>com.worksap.nlp</groupId>
  <artifactId>sudachi</artifactId>
  <version>0.5.3</version>
</dependency>

分割模式

Sudachi提供从短到长的A、B、C三种分割模式。 A相当于UniDic短单位，C相当于固有表达，B是A和C之间的中间单位。

以下是一些例子：

(使用核心词典时)

A：选举/管理/委员/会
B：选举/管理/委员会
C：选举管理委员会

A：客舱/乘务/员
B：客舱/乘务员
C：客舱乘务员

A：劳动/者/协同/组合
B：劳动者/协同/组合
C：劳动者协同组合

A：功能/性/食品
B：功能性/食品
C：功能性食品

(使用完整词典时)

A：医药/品/安全/管理/责任/者
B：医药品/安全/管理/责任者
C：医药品安全管理责任者

A：消费/者/安全/调查/委员/会
B：消费者/安全/调查/委员会
C：消费者安全调查委员会

A：札幌/电视/塔
B：札幌/电视塔
C：札幌电视塔

A：戛纳/国际/电影/节
B：戛纳/国际/电影节
C：戛纳国际电影节

对于搜索用途，同时使用A和C可以提高召回率和准确率。

功能扩展插件

Sudachi提供了一种插件机制，可以在形态素分析的各个步骤中插入处理。

插件	处理示例
输入文本修正	异体字统一、表记校正
未知词处理	基于字符类型的调整
词语连接处理	词性连接限制、覆盖成本值
输出结果修正	人名处理、分割粒度调整

用户可以通过创建插件来执行自定义处理。

系统提供的插件

系统提供以下可用插件：

处理部分	插件
输入文本修正	字符串规范化	全半角、大小写、异体字
		可自定义
	长音规范化	"~"和连续长音符号的规范化
	注音假名删除	删除括号内的注音假名
未知词处理	单字符未知词	用作回退策略
	MeCab兼容
词语连接处理	词性连接限制	可自定义
输出结果修正	片假名未知词合并
	数词合并
	分割粒度调整*	平滑未知词/已知词的分割粒度
	数词规范化	汉数字和位值的规范化
	人名修正*	根据敬称和上下文推断人名部分

* 计划稍后发布

表记规范化

Sudachi的系统词典提供以下表记规范化：

送假名错误
- 例）打込む → 打ち込む
字体
- 例）かつ丼 → カツ丼
异体字
- 例）附属 → 付属
误用
- 例）シュミレーション → シミュレーション
缩略
- 例）ちゃあ → ては

文字规范化

默认应用的插件 DefaultInputTextPlugin 会按以下顺序对输入文本进行规范化处理：

使用 Character.toLowerCase() 进行小写转换
使用 NFKC 进行 Unicode 规范化

但是，如果 rewrite.def 中有以下描述，则上述处理不会应用，而优先使用以下处理：

抑制规范化

# 仅描述一个代码点时，将抑制文字规范化
髙

替换

# 替换目标字符串 替换后字符串
A' Ā

文字规范化后，如果字符数增加，可能会在原文中输出长度为0的形态素。

用户词典

关于用户词典的创建和使用方法，请参阅 docs/user_dict.md。

与 MeCab / kuromoji 的比较

	Sudachi	MeCab	kuromoji
分割单位的并用	○	×	△ ^1
文字规范化、表记规范化	○	×	△ ^2
合并、修正处理	○	×	△ ^2
多用户词典的使用	○	○	×
节省内存	◎ ^3	△	○
分析精度	○	○	○
分析速度	△	○	△

^1: 通过 n-best 解近似
^2: 结合使用 Lucene 过滤器
^3: 通过使用内存映射在多个 JavaVM 之间共享词典

未来版本的计划

提高速度
完善未实现的插件
提高分析精度
扩充分割信息
扩充规范化表记
完善读音信息（发音读音 → 假名读音）
与同义词词典的连接

Elasticsearch

我们还发布了在 Elasticsearch 中使用 Sudachi 的插件。

https://github.com/WorksApplications/elasticsearch-sudachi

Python

我们也发布了 Python 版本。

https://github.com/WorksApplications/SudachiPy

Slack

我们为开发者和用户提供了一个 Slack 工作空间，用于提问和讨论。

https://sudachi-dev.slack.com/
（请从这里获取邀请）

引用 Sudachi

我们发表了关于 Sudachi 及其语言资源的论文："Sudachi: a Japanese Tokenizer for Business"（Takaoka et al.，LREC2018）。

在论文、书籍或服务中引用 Sudachi 时，请使用以下 BibTeX：

@会议论文{TAKAOKA18.8884,
  作者 = {高冈和马 and 久本空美 and 川原典子 and 坂本美穗 and 内田义孝 and 松本裕治},
  标题 = {Sudachi：一个面向商业的日语分词器},
  会议名称 = {第十一届国际语言资源与评估会议论文集（LREC 2018）},
  年份 = {2018},
  月份 = {5月},
  日期 = {7-12},
  地点 = {日本宫崎},
  编辑 = {Nicoletta Calzolari（会议主席）and Khalid Choukri and Christopher Cieri and Thierry Declerck and Sara Goggi and Koiti Hasida and Hitoshi Isahara and Bente Maegaard and Joseph Mariani and Hélène Mazo and Asuncion Moreno and Jan Odijk and Stelios Piperidis and Tokunaga Takenobu},
  出版社 = {欧洲语言资源协会（ELRA）},
  地址 = {法国巴黎},
  ISBN = {979-10-95546-00-9},
  语言 = {英语}
  }