amphi-etl

<div align="center"> <img height="60" src="https://yellow-cdn.veclightyear.com/0a4dffa0/4a4c4cb4-380c-4eaf-9347-30901a9bb635.svg"> <p align="center"> <em>基于Python的低代码ETL工具，用于数据操作和转换。</em> </p> <hr> <p align="center"> <a href="https://github.com/amphi-ai/amphi-etl/stargazers" target="_blank"> <img src="https://img.shields.io/github/stars/amphi-ai/amphi-etl?style=social&label=Star&maxAge=2592000" alt="Test"> </a> <a href="https://join.slack.com/t/amphi-ai/shared_invite/zt-2ci2ptvoy-FENw8AW4ISDXUmz8wcd3bw" target="_blank"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7e3d4148-cc79-4481-96e8-8f3f161d6c9f.svg?logo=slack" alt="Slack"> </a> <a href="https://github.com/amphi-ai/amphi-etl/blob/main/LICENSE" target="_blank"> <img src="https://img.shields.io/static/v1?label=license&message=ELv2&color=white" alt="License"> </a> </p>

中文 · 更新日志 · 报告错误 · 功能请求

</div> <details> <summary><kbd>目录</kbd></summary>

目录

• 📦 安装
• 🔨 使用方法
• ✨ 特性
• 👀 展示
• 🤝 贡献
• 🛣️ 生态系统

</details>

📦 安装

要安装amphi-etl，请运行以下命令：

pip install amphi-etl

[!注意]

如果你更喜欢安装Amphi的Jupyterlab扩展，请在你的环境中使用pip install jupyterlab-amphi。更多信息请点击这里。

<br/>

🔨 使用方法

要启动Amphi，只需运行：

amphi start

使用以下参数指定你的工作空间（你可以在系统上访问文件和创建管道的地方）和要使用的端口：

amphi start -w /your/workspace/path -p 8888

• 📚 文档
• 🚀 入门指南

<br/>

要更新Amphi ETL，请运行以下命令：

pip install --upgrade amphi-etl

✨ 特性

[!注意]

Amphi专注于数据和AI管道的结构化和非结构化数据处理。它旨在使数据科学家和数据工程师能够通过直观的低代码界面轻松开发管道，同时生成可以在任何地方部署的Python代码。

AI时代的现代ETL：

• 🧑‍💻 低代码：加速数据和AI管道开发，减少维护时间。
• 🐍 Python代码生成：生成利用常见库（如pandas、DuckDB和LangChain）的原生Python代码，可以在任何地方运行。
• 🔒 私密且安全：在你的笔记本电脑或云端自托管Amphi，完全保护你的数据隐私和安全。

结构化和非结构化

• 🔢 结构化 - 从各种来源导入数据，包括CSV和Parquet文件，以及数据库。使用聚合、过滤、连接、SQL查询等方法转换结构化数据。将转换后的数据导出到常见文件或数据库中。
• 📝 非结构化 - 从PDF、Word文档和网站（HTML）中提取数据。执行解析、分块和嵌入处理。将处理后的数据加载到Pinecone和ChromaDB等向量存储中。
• 🔁 转换 - 轻松将结构化数据转换为非结构化文档以用于向量存储，反之亦然，用于RAG管道。

<br/>

正在进行中的功能

• 自定义组件 - 添加开发自己的组件和封装已配置组件的能力
• 实现连接 - 添加安全创建连接以在组件中重复使用的能力
• 开发者文档 - 编写全面的文档以允许扩展
• 保存组件 - 保存组件并在其他管道中重复使用它们

<br/> <!-- ## 👀 展示 待定 <br/> -->

🤝 贡献

• 使用和创新：尝试Amphi并与我们分享你的使用案例。你的实际使用和反馈帮助我们改进产品。
• 表达你的见解：遇到问题？有疑问？通过提交issues来分享它们，帮助我们改善用户体验。
• 塑造未来：有代码改进或功能想法？我们邀请你提出pull requests并直接贡献。

我们欢迎每一份贡献，无论大小。加入我们的使命，完善和提升ETL在数据和AI领域的世界。😃

<br/>

🛣️ 生态系统

Amphi可作为Jupyterlab的扩展使用，Amphi ETL基于Jupyterlab。因此，Jupyterlab扩展可以安装在Amphi ETL上。

• Jupyterlab - JupyterLab计算环境。
• jupyterlab-git - JupyterLab的Git扩展。

---

📝 许可证

版权所有 © 2024 - 现在 Amphi Labs。<br/> 本项目采用ELv2许可。