懂AI
vibrato

vibrato

Viterbi算法驱动的高效分词器

Vibrato是利用Viterbi算法的高效分词器，用Rust重写并优化了MeCab分词器，显著提高分词性能。它支持与MeCab兼容的输出，并允许从自己的数据训练分词参数。Vibrato擅长处理大规模矩阵数据，加快分词速度。项目提供了Python接口和WebAssembly演示，兼顾多种应用场景。详见项目文档，可通过Slack社区进行讨论。支持Apache 2.0和MIT双许可。

VibratotokenizationGithub开源项目形态素分析MeCabRust
访问官网GitHub论文文档

项目介绍：vibrato

vibrato是一个基于维特比算法的快速分词工具，它的主要作用是进行快速的分词或者形态分析。该项目采用Rust语言实现，因此具有高效的性能。在分词领域，vibrato旨在提供与MeCab兼容的功能，但经过简单化和针对快速分词进行了优化。特别是在处理大型语言资源方面，其缓存高效的ID映射使得vibrato的速度更快。

核心特性

快速分词

vibrato作为MeCab的Rust语言重实现版本，简化并优化了实现过程，确保更快的分词速度。对于拥有大量矩阵数据的语言资源，例如 unidic-cwj-3.1.1 的459 MiB矩阵，vibrato依托于缓存高效的ID映射，运行速度显著提高。

实验数据显示，与其他MeCab实现相比，vibrato在分词时间上表现更加出色。

MeCab兼容性

vibrato支持生成与MeCab输出相同的分词结果，例如可以选择忽略空白字符。此外，它还允许从语料库中为词典训练参数（或代价）。

基本用法

vibrato软件使用Rust语言实现，因此首先需要安装rustc和cargo。具体安装步骤可以参阅Rust语言官方网站的工具安装指导。

词典准备

用户可以通过下载预编译的词典快速开始使用vibrato。这些词典可以从Releases页面获取，如使用 mecab-ipadic v2.7.0。

分词操作

要使用词典进行句子分词，可以运行如下命令：

echo '本とカレーの街神保町へようこそ。' | cargo run --release -p tokenize -- -i ipadic-mecab-2_7_0/system.dic.zst

这将输出分词结果，默认格式与MeCab相同。如果需要输出以空格分隔的词语，可以指定-O wakati选项。

API中的注意事项

由于模型是以zstd格式压缩分发的，如需加载这些压缩模型，需在API之外进行解压。

分词选项

vibrato与MeCab算法相似，但默认设置下，可能产生不同的分词结果。例如，MeCab在处理时会忽略空格，而vibrato会将空格视为一个标记。若想要获得与MeCab一致的结果，可指定参数-S和-M 24。

用户词典

用户可以同时使用系统和用户词典。用户词典需为CSV格式，首四列是必须的，剩下的特征列可以根据需要选加。

高级用法及支持

项目文档提供了关于训练和基准测试的更多高级用法说明。此外，vibrato拥有一个Slack社区，供开发者和用户进行技术交流和问题讨论。

许可证

本项目可以选择以下任一许可证进行授权：

  • Apache License, Version 2.0
  • MIT license

初始版本由LegalOn Technologies, Inc.开发，但不是其官方产品。

参考文献

vibrato的技术细节记录在多篇文章和博客中，其中包括语言处理学会年次大会的相关著作。

编辑推荐精选

TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
蛙蛙写作

蛙蛙写作

AI小说写作助手，一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台，涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能，助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
问小白

问小白

全能AI智能助手，随时解答生活与工作的多样问题

问小白，由元石科技研发的AI智能助手，快速准确地解答各种生活和工作问题，包括但不限于搜索、规划和社交互动，帮助用户在日常生活中提高效率，轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力，做PPT更简单！

咔片是一款轻量化在线演示设计工具，借助 AI 技术，实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT，提供海量模板、智能美化、素材替换等功能，适用于销售、教师、学生等各类人群，能高效制作出高品质 PPT，满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台，公文写作神器

AI 材料星，专业的 AI 公文写作辅助平台，为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能，支持 30 + 文稿类型生成，助力快速完成领导讲话、工作总结、述职报告等材料，提升办公效率，是体制打工人的得力写作神器。

下拉加载更多