amphi-etl

<div align="center"> <img height="60" src="https://yellow-cdn.veclightyear.com/0a4dffa0/4a4c4cb4-380c-4eaf-9347-30901a9bb635.svg"> 基于Python的低代码ETL工具，用于数据操作和转换。 <hr> <a href="https://github.com/amphi-ai/amphi-etl/stargazers" target="_blank"> <img src="https://img.shields.io/github/stars/amphi-ai/amphi-etl?style=social&label=Star&maxAge=2592000" alt="Test"> </a> <a href="https://join.slack.com/t/amphi-ai/shared_invite/zt-2ci2ptvoy-FENw8AW4ISDXUmz8wcd3bw" target="_blank"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7e3d4148-cc79-4481-96e8-8f3f161d6c9f.svg?logo=slack" alt="Slack"> </a> <a href="https://github.com/amphi-ai/amphi-etl/blob/main/LICENSE" target="_blank"> <img src="https://img.shields.io/static/v1?label=license&message=ELv2&color=white" alt="License"> </a>

Screenshot 2024-05-29 at 3 47 44 PM

中文 · 更新日志 · 报告错误 · 功能请求

</div> <details> <summary><kbd>目录</kbd></summary>

📦 安装

要安装amphi-etl，请运行以下命令：

pip install amphi-etl

[!注意]

如果你更喜欢安装Amphi的Jupyterlab扩展，请在你的环境中使用pip install jupyterlab-amphi。更多信息请点击这里。

🔨 使用方法

要启动Amphi，只需运行：

amphi start

使用以下参数指定你的工作空间（你可以在系统上访问文件和创建管道的地方）和要使用的端口：

amphi start -w /your/workspace/path -p 8888

📚 文档
🚀 入门指南

要更新Amphi ETL，请运行以下命令：

pip install --upgrade amphi-etl

✨ 特性

[!注意]

Amphi专注于数据和AI管道的结构化和非结构化数据处理。它旨在使数据科学家和数据工程师能够通过直观的低代码界面轻松开发管道，同时生成可以在任何地方部署的Python代码。

amphi-screenshot-github

AI时代的现代ETL：

🧑‍💻 低代码：加速数据和AI管道开发，减少维护时间。
🐍 Python代码生成：生成利用常见库（如pandas、DuckDB和LangChain）的原生Python代码，可以在任何地方运行。
🔒 私密且安全：在你的笔记本电脑或云端自托管Amphi，完全保护你的数据隐私和安全。

结构化和非结构化

🔢 结构化 - 从各种来源导入数据，包括CSV和Parquet文件，以及数据库。使用聚合、过滤、连接、SQL查询等方法转换结构化数据。将转换后的数据导出到常见文件或数据库中。
📝 非结构化 - 从PDF、Word文档和网站（HTML）中提取数据。执行解析、分块和嵌入处理。将处理后的数据加载到Pinecone和ChromaDB等向量存储中。
🔁 转换 - 轻松将结构化数据转换为非结构化文档以用于向量存储，反之亦然，用于RAG管道。

正在进行中的功能