Towhee: 革新非结构化数据处理的开源机器学习框架

引言

在当今数字时代，非结构化数据的处理和分析已成为许多组织面临的一大挑战。文本、图像、音频和视频等多模态数据的爆炸式增长，使得传统的数据处理方法难以应对。为了解决这一问题，Towhee应运而生。这个开源机器学习框架旨在简化非结构化数据的处理流程，为开发者提供一个强大而灵活的工具，以构建高效的数据处理管道。

Towhee Logo

Towhee的核心特性

多模态数据处理

Towhee的一大亮点是其处理多种数据类型的能力。无论是长文本、图像、音频还是视频文件，Towhee都能够轻松应对。这种多模态处理能力使得Towhee成为处理复杂、多样化数据集的理想选择。

基于LLM的管道编排

Towhee提供了与不同大型语言模型（LLMs）集成的灵活性。它不仅支持使用各种LLMs，还允许在本地托管开源大模型。此外，Towhee还提供了提示管理和知识检索等功能，使与这些LLMs的交互更加高效和有效。

丰富的预训练模型和操作符

Towhee提供了超过700个预训练的嵌入模型，涵盖了计算机视觉、自然语言处理、多模态、音频和医疗等五个领域的15个任务和140多个模型架构。这些模型包括BERT、CLIP、ViT、SwinTransformer和data2vec等。除了模型之外，Towhee还提供了丰富的功能，如视频解码、音频切片、帧采样和降维等，这些都有助于高效构建数据处理管道。

预构建的ETL管道

对于常见任务，如检索增强生成、文本图像搜索和视频复制检测，Towhee提供了现成的ETL（提取、转换、加载）管道。这意味着即使不是AI专家，也可以轻松构建使用这些功能的应用程序。

高性能后端

Towhee利用Triton推理服务器的强大功能，可以在CPU和GPU上加速模型服务，支持TensorRT、PyTorch和ONNX等平台。更重要的是，开发者只需几行代码就可以将Python管道转换为高性能的Docker容器，实现高效部署和扩展。

Python风格的API

Towhee包含了一个Python风格的方法链式API，用于描述自定义数据处理管道。它还支持模式（schemas），使得处理非结构化数据变得像处理表格数据一样简单。

Towhee的工作原理

Towhee的核心由四个主要构建块组成：操作符（Operators）、管道（Pipelines）、DataCollection API和引擎（Engine）。

操作符：操作符是神经数据处理管道的基本构建块。不同的操作符实现按任务分类，每个任务都有标准接口。操作符可以是深度学习模型、数据处理方法或Python函数。
管道：管道由多个以有向无环图（DAG）形式互连的操作符组成。这个DAG可以指导复杂的功能，如嵌入特征提取、数据标记和跨模态数据分析。
DataCollection API：这是一个Python风格的方法链式API，用于构建自定义管道。它提供了多种数据转换接口：map、filter、flat_map、concat、window、time_window和window_all。通过这些接口，可以快速构建复杂的数据处理管道来处理视频、音频、文本、图像等非结构化数据。
引擎：引擎是Towhee的核心。给定一个管道，引擎将驱动各个操作符之间的数据流，调度任务，并监控计算资源（CPU/GPU等）的使用情况。Towhee提供了一个基本引擎，用于在单实例机器上运行管道，以及一个基于Triton的引擎，用于Docker容器。

使用Towhee

安装

Towhee需要Python 3.7+环境。可以通过pip轻松安装：

pip install towhee towhee.models

预定义管道示例

Towhee提供了一些预定义的管道，帮助用户快速实现某些功能。以下是使用句子嵌入管道的示例：

from towhee import AutoPipes, AutoConfig

# 加载内置的sentence_embedding管道
config = AutoConfig.load_config('sentence_embedding')
config.model = 'paraphrase-albert-small-v2'
config.device = 0
sentence_embedding = AutoPipes.pipeline('sentence_embedding', config=config)

# 为单个句子生成嵌入
embedding = sentence_embedding('how are you?').get()

# 批量为多个句子生成嵌入
embeddings = sentence_embedding.batch(['how are you?', 'how old are you?'])
embeddings = [e.get() for e in embeddings]

自定义管道示例

如果在Towhee Hub中找不到所需的管道，也可以通过Towhee Python API实现自定义管道。以下是基于CLIP创建跨模态检索管道的示例：

from towhee import ops, pipe, DataCollection

# 创建图像嵌入并构建索引
p = (
    pipe.input('file_name')
    .map('file_name', 'img', ops.image_decode.cv2())
    .map('img', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='image'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    .map(('vec', 'file_name'), (), ops.ann_insert.faiss_index('./faiss', 512))
    .output()
)

for f_name in ['https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog1.png',
               'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog2.png',
               'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog3.png']:
    p(f_name)

# 将faiss数据刷新到磁盘
p.flush()

# 通过文本搜索图像
decode = ops.image_decode.cv2('rgb')
p = (
    pipe.input('text')
    .map('text', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='text'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    .map('vec', 'row', ops.ann_search.faiss_index('./faiss', 3))
    .map('row', 'images', lambda x: [decode(item[2][0]) for item in x])
    .output('text', 'images')
)

DataCollection(p('puppy Corgi')).show()

Towhee Example

Towhee的应用场景

Towhee的versatility使其适用于多种应用场景：

内容推荐系统：利用Towhee的跨模态检索能力，可以构建基于图像、文本或视频的智能推荐系统。
智能搜索引擎：Towhee可以处理和分析多种数据类型，非常适合构建高级搜索引擎，支持图像搜索、语义搜索等功能。
自动标记和分类：利用Towhee的预训练模型，可以快速实现对图像、视频或文本的自动标记和分类。
数据清洗和预处理：Towhee的ETL管道可以高效地清洗和预处理大量非结构化数据。
知识图谱构建：通过处理和分析文本数据，Towhee可以辅助知识图谱的构建过程。
多模态分析：在需要同时分析文本、图像和视频等多种数据类型的场景中，Towhee的多模态处理能力尤为突出。

社区和贡献

Towhee是一个开源项目，欢迎社区成员的贡献。贡献不仅限于编写代码，还包括提交问题、回答问题和改进文档等多种方式。有兴趣的开发者可以查看贡献指南了解更多信息。

此外，Towhee还提供了丰富的资源供开发者学习和使用：

TowheeHub：查找和分享预定义的管道和操作符
文档：详细的使用指南和API文档
示例：各种应用场景的实际示例

结语

Towhee作为一个创新的开源机器学习框架，为非结构化数据处理带来了新的可能性。通过结合LLM、先进的深度学习模型和高效的数据处理管道，Towhee为开发者提供了一个强大而灵活的工具，以应对当今数据密集型应用的挑战。无论是构建智能搜索引擎、内容推荐系统，还是进行复杂的多模态数据分析，Towhee都能提供所需的工具和功能。

随着人工智能和机器学习技术的不断发展，Towhee也将持续演进，为开发者提供更多创新功能和优化性能。对于那些希望在非结构化数据处理领域保持领先地位的组织和开发者来说，Towhee无疑是一个值得关注和尝试的框架。

通过简化复杂的数据处理流程，Towhee不仅提高了开发效率，还为创新应用的快速原型设计和部署铺平了道路。在数据驱动决策日益重要的今天，Towhee的出现无疑为组织充分利用其非结构化数据资产提供了新的可能性。