superduper

superduper

将人工智能集成到您的数据库中,提升数据处理与分析能力

superduper.io 是一个强大的Python框架,专门为现有数据库直接集成人工智能模型、API 和向量搜索引擎而设计。此平台支持实时数据处理、可扩展的模型训练和简化的Python接口,使得 AI 集成变得简单高效。无需重复数据迁移,即可在您信赖的数据库中进行多模态向量搜索,以及存储和管理AI模型的输入输出。探索如何通过少量代码实现高级AI功能,并通过社区支持和丰富的文档资源加速您的AI项目。

superduper.io人工智能数据库集成模型训练向量搜索Github开源项目热门

superduper:构建端到端AI数据工作流和应用的强大框架

superduper是一个基于Python的开源框架,旨在帮助开发者在自己的数据上构建端到端的AI数据工作流和应用。它与主流数据库无缝集成,支持最新的技术和技巧,包括大型语言模型(LLMs)、向量搜索、检索增强生成(RAG)、多模态处理以及传统的AI和机器学习范式。

核心理念:CAPE

superduper的核心理念可以概括为"CAPE":

  • Connect(连接):连接到您的数据源
  • Apply(应用):对数据应用任意AI处理
  • Package(打包):将应用打包并在任意数据上复用
  • Execute(执行):在AI输出和数据上执行AI数据库查询和预测

主要特性

  • 创建superduper数据AI连接层,包括数据后端、元数据存储和工件存储
  • 使用声明式编程模型构建复杂的功能单元(Component)
  • 将多个相关的Component封装成更大的AI数据应用(Application)
  • 通过Template复用经过测试的Component、Model和Application
  • 提供透明、人类可读、Web友好且高度可移植的序列化协议
  • 执行结合Model输出和原始数据的查询,支持各种AI数据应用

主要优势

  1. 灵活性强:可以结合任何基于Python的AI模型和API,支持多种主流数据库和数据仓库。

  2. 无缝集成:通过声明式和组合式的superduper组件,避免了实现MLOps的需求。

  3. 代码复用和可移植性:将组件打包为模板,方便在组织内重用和交流AI应用。

  4. 成本节约:无需专用向量数据库即可实现向量搜索和嵌入生成,轻松切换自托管模型和API托管模型。

  5. 轻松部署:内置REST API,无需额外开发即可提供已安装模型的服务。

最新特性

superduper正在开发0.4.0版本,主要更新包括:

  • 改进Component触发计算的方式
  • 创建通用的变更数据捕获(CDC)基类
  • 开发Template概念,实现功能单元的可重用性
  • 添加具体的Template实现
  • 新增用户界面和REST实现

入门指南

  1. 安装:
pip install superduper-framework
  1. 查看可用的预构建模板: