steampipe

steampipe

高效数据集成工具 直接访问 API 无需 ETL

Steampipe 是一款创新的数据集成工具,能够直接从各类 API 和服务获取数据,无需传统的 ETL 过程。该工具提供多种引擎,包括命令行界面、Postgres 外部数据包装器、SQLite 扩展和独立导出工具。借助丰富的插件生态系统,Steampipe 可将 API 数据轻松映射为数据库表,便于快速查询和分析。不论是本地部署还是云端使用,Steampipe 都为数据访问和整合提供了灵活而高效的解决方案。

SteampipeAPI数据查询开源工具数据库集成云服务Github开源项目

<picture><source media="(prefers-color-scheme: dark)" srcset="https://yellow-cdn.veclightyear.com/b77ea3a9/8d417658-d2cd-404d-b768-697861d40fbf.svg"><source media="(prefers-color-scheme: light)" srcset="https://yellow-cdn.veclightyear.com/b77ea3a9/8d417658-d2cd-404d-b768-697861d40fbf.svg"><img width="67%" alt="Steampipe 标志" src="https://yellow-cdn.veclightyear.com/b77ea3a9/8d417658-d2cd-404d-b768-697861d40fbf.svg"></picture>

插件   Slack   维护者

Steampipe 是一种零 ETL 解决方案,可直接从 API 和服务获取数据。我们提供以下 Steampipe 引擎:

  • Steampipe CLI。使用 Steampipe 核心引擎将 API 转换为 Steampipe 捆绑的 Postgres 实例中的表。

  • Steampipe Postgres FDW。使用原生 Postgres 外部数据包装器将 API 转换为外部表。

  • Steampipe SQLite 扩展。使用 SQLite 扩展将 API 转换为 SQLite 虚拟表。

  • Steampipe 导出工具。使用独立二进制文件从 API 导出数据,无需数据库。

  • Turbot Pipes。使用 Turbot Pipes 在云端运行 Steampipe。

Steampipe API 插件

Steampipe 社区开发了一系列插件,将 API 映射到数据库表。这些插件可与所有 Steampipe 引擎配合使用。

安装 Steampipe

<a href="https://steampipe.io/downloads?utm_id=gspreadme&utm_source=github&utm_medium=repo&utm_campaign=github&utm_content=readme">下载</a>页面会告诉你如何安装,但简而言之:

Linux 或 WSL

sudo /bin/sh -c "$(curl -fsSL https://steampipe.io/install/steampipe.sh)"

MacOS

brew tap turbot/tap brew install steampipe

安装插件

插件中心选择一个插件,例如:Hacker News

运行 steampipe plugin 命令安装它。

steampipe plugin install hackernews

使用插件查询

使用 psql —— 或其他 Postgres 客户端,或 Powerpipe —— 来查询已安装插件提供的表。

psql -h localhost -p 9193 -d steampipe -U steampipe
steampipe=> select * from hackernews_new limit 10

开发

前提条件:

  • Golang 1.19 或更高版本。

克隆仓库。

git clone https://github.com/turbot/steampipe cd steampipe

构建,这会自动将新版本安装到你的 /usr/local/bin/steampipe 目录:

make

检查版本。

$ steampipe -v
steampipe version 0.21.1

按上述方法安装插件并运行查询。

开源与贡献

本仓库根据 AGPL 3.0 许可证发布。请查看我们的行为准则。贡献者必须在第一次拉取请求中签署我们的贡献者许可协议。我们期待与你合作!

Steampipe 是由 Turbot HQ, Inc 基于此开源软件独家生产的产品。它根据我们的商业条款分发。其他人可以自行分发该软件,但不能使用任何 Turbot 商标、云服务等。你可以在我们的开源常见问题中了解更多信息。

Turbot Pipes

想要 Steampipe 的托管版本吗?带领你的团队加入 Turbot Pipes

参与其中

加入 Slack 上的 #steampipe 频道 →

想要帮忙但不知从何开始?选择一个标记为 help wanted 的问题:

编辑推荐精选

Qwen2.5-VL

Qwen2.5-VL

一款强大的视觉语言模型,支持图像和视频输入

Qwen2.5-VL 是一款强大的视觉语言模型,支持图像和视频输入,可用于多种场景,如商品特点总结、图像文字识别等。项目提供了 OpenAI API 服务、Web UI 示例等部署方式,还包含了视觉处理工具,有助于开发者快速集成和使用,提升工作效率。

HunyuanVideo

HunyuanVideo

HunyuanVideo 是一个可基于文本生成高质量图像和视频的项目。

HunyuanVideo 是一个专注于文本到图像及视频生成的项目。它具备强大的视频生成能力,支持多种分辨率和视频长度选择,能根据用户输入的文本生成逼真的图像和视频。使用先进的技术架构和算法,可灵活调整生成参数,满足不同场景的需求,是文本生成图像视频领域的优质工具。

WebUI for Browser Use

WebUI for Browser Use

一个基于 Gradio 构建的 WebUI,支持与浏览器智能体进行便捷交互。

WebUI for Browser Use 是一个强大的项目,它集成了多种大型语言模型,支持自定义浏览器使用,具备持久化浏览器会话等功能。用户可以通过简洁友好的界面轻松控制浏览器智能体完成各类任务,无论是数据提取、网页导航还是表单填写等操作都能高效实现,有利于提高工作效率和获取信息的便捷性。该项目适合开发者、研究人员以及需要自动化浏览器操作的人群使用,在 SEO 优化方面,其关键词涵盖浏览器使用、WebUI、大型语言模型集成等,有助于提高网页在搜索引擎中的曝光度。

xiaozhi-esp32

xiaozhi-esp32

基于 ESP32 的小智 AI 开发项目,支持多种网络连接与协议,实现语音交互等功能。

xiaozhi-esp32 是一个极具创新性的基于 ESP32 的开发项目,专注于人工智能语音交互领域。项目涵盖了丰富的功能,如网络连接、OTA 升级、设备激活等,同时支持多种语言。无论是开发爱好者还是专业开发者,都能借助该项目快速搭建起高效的 AI 语音交互系统,为智能设备开发提供强大助力。

olmocr

olmocr

一个用于 OCR 的项目,支持多种模型和服务器进行 PDF 到 Markdown 的转换,并提供测试和报告功能。

olmocr 是一个专注于光学字符识别(OCR)的 Python 项目,由 Allen Institute for Artificial Intelligence 开发。它支持多种模型和服务器,如 vllm、sglang、OpenAI 等,可将 PDF 文件的页面转换为 Markdown 格式。项目还提供了测试框架和 HTML 报告生成功能,方便用户对 OCR 结果进行评估和分析。适用于科研、文档处理等领域,有助于提高工作效率和准确性。

飞书多维表格

飞书多维表格

飞书多维表格 ×DeepSeek R1 满血版

飞书多维表格联合 DeepSeek R1 模型,提供 AI 自动化解决方案,支持批量写作、数据分析、跨模态处理等功能,适用于电商、短视频、影视创作等场景,提升企业生产力与创作效率。关键词:飞书多维表格、DeepSeek R1、AI 自动化、批量处理、企业协同工具。

CSM

CSM

高质量语音生成模型

CSM 是一个开源的语音生成项目,它提供了一个基于 Llama-3.2-1B 和 CSM-1B 的语音生成模型。该项目支持多语言,可生成多种声音,适用于研究和教育场景。通过使用 CSM,用户可以方便地进行语音合成,同时项目还提供了水印功能,确保生成音频的可追溯性和透明度。

agents-course

agents-course

Hugging Face 的 AI 智能体课程,涵盖多种智能体框架及相关知识

本项目是 Hugging Face 推出的 AI 智能体课程,深入介绍了 AI 智能体的相关概念,如大语言模型、工具使用等。课程包含多个单元,详细讲解了不同的智能体框架,如 smolagents 和 LlamaIndex,提供了丰富的学习资源和实践案例。适合对 AI 智能体感兴趣的开发者和学习者,有助于提升他们在该领域的知识和技能。

RagaAI-Catalyst

RagaAI-Catalyst

用于 AI 项目管理和 API 交互的工具集,助力 AI 项目高效开发与管理。

RagaAI-Catalyst 是一款专注于 AI 领域的强大工具集,为开发者提供了便捷的项目管理、API 交互、令牌管理等功能。支持多 API 密钥上传,能快速创建、列出和管理 AI 项目,还可获取项目用例和指标信息。适用于各类 AI 开发场景,提升开发效率,推动 AI 项目顺利开展。

smolagents

smolagents

一个包含多种工具和文档处理功能,适用于 LLM 使用的项目。

smolagents 是一个功能丰富的项目,提供了如文件格式转换、网页内容读取、语义搜索等多种工具,支持将常见文件类型或网页转换为 Markdown,方便进行文档处理和信息提取,能满足不同场景下的需求,提升工作效率和数据处理能力。

下拉加载更多