bitsail

bitsail

ByteDance开源的分布式数据集成引擎

BitSail是一个开源的分布式数据集成引擎,支持多种异构数据源间的同步。该引擎提供批处理、流处理和增量场景的数据集成解决方案,采用分布式和云原生架构,具备高性能和可靠性。BitSail在ByteDance多个业务线中得到应用,每日处理海量数据,展现了其强大的数据集成能力。

BitSail数据集成分布式架构开源字节跳动Github开源项目
<!-- 版权所有 2022-2023 字节跳动有限公司及其附属公司。 根据 Apache 许可证 2.0 版("许可证")授权; 除非遵守许可证,否则您不得使用此文件。 您可以在以下位置获取许可证副本: http://www.apache.org/licenses/LICENSE-2.0 除非适用法律要求或书面同意,否则根据许可证分发的软件 是基于"按原样"分发的,不附带任何明示或暗示的担保或条件。 有关许可证下的特定语言管理权限和限制,请参阅许可证。 -->

标志

English | 简体中文

构建 许可证 加入 Slack 网站

简介

BitSail 是字节跳动开源的基于分布式架构的高性能数据集成引擎。它支持多种异构数据源之间的数据同步,并提供批处理、流处理和增量场景下的全局数据集成解决方案。目前,它几乎服务于字节跳动的所有业务线,如抖音、今日头条等,每天同步数百万亿条数据。

BitSail 官方网站:https://bytedance.github.io/bitsail/

为什么选择 BitSail

BitSail 已被广泛使用,支持数百万亿的大流量。同时,它已在火山引擎的云原生环境和本地私有云环境等各种场景中得到验证。

我们积累了大量经验并进行了多项优化,以改进数据集成功能

  • 全局数据集成,涵盖批处理、流处理和增量场景

  • 分布式和云原生架构,支持水平扩展

  • 在准确性、稳定性和性能方面具有高度成熟度

  • 丰富的基本功能,如类型转换、脏数据处理、流量控制、数据湖集成、自动并行度计算等

  • 任务运行状态监控,如流量、QPS、脏数据、延迟等

BitSail 使用场景

  • 异构数据源之间的大规模数据同步

  • 流批一体化数据处理能力

  • 数据湖仓一体化数据处理能力

  • 高性能、高可靠性数据同步

  • 分布式、云原生架构数据集成引擎

BitSail 特点

  • 启动成本低,灵活性高

  • 流批一体和数据湖仓一体架构,一个框架几乎涵盖所有数据同步场景

  • 高性能、海量数据处理能力

  • DDL 自动同步

  • 类型系统,不同数据源类型之间的转换

  • 引擎无关的读写接口,开发成本低

  • 实时显示任务进度,开发中

  • 实时监控任务状态

BitSail 架构

源[输入源] -> 框架[数据传输] -> 目标[输出目标]

数据处理流程如下:首先通过输入源拉取源数据,然后通过中间框架层处理,最后通过输出目标将数据写入目标

在框架层,我们提供丰富的功能,并适用于所有同步场景,如脏数据收集、自动并行度计算、任务监控等

在数据同步场景中,涵盖批处理、流处理和增量数据同步

在运行时层,支持多种执行模式,如 yarn、local,k8s 正在开发中

支持的连接器

<table> <tr> <th>数据源</th> <th>子模块</th> <th>读取器</th> <th>写入器</th> </tr> <tr> <td>Assert</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>ClickHouse</td> <td>-</td> <td>✅</td> <td>-</td> </tr> <tr> <td>Doris</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Druid</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Elasticsearch</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Fake</td> <td>-</td> <td>✅</td> <td> </td> </tr> <tr> <td>FTP/SFTP</td> <td>-</td> <td>✅</td> <td> </td> </tr> <tr> <td>Hadoop</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>HBase</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Hive</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Hudi</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>本地文件系统</td> <td>-</td> <td>✅</td> <td></td> </tr> <tr> <td rowspan="4">JDBC</td> <td>MySQL</td> <td rowspan="4">✅</td> <td rowspan="4">✅</td> </tr> <tr> <td>Oracle</td> </tr> <tr> <td>PostgreSQL</td> </tr> <tr> <td>SqlServer</td> </tr> <tr> <td>Kafka</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Kudu</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>飞书表格</td> <td>-</td> <td>✅</td> <td> </td> </tr> <tr> <td>MongoDB</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Print</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Redis</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>RocketMQ</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>SelectDB</td> <td>-</td> <td> </td> <td>✅</td> </tr> </table>

连接器文档请参见Connectors

社区支持

Slack

通过此链接加入BitSail Slack频道。

邮件列表

目前,BitSail社区使用Google Group作为邮件列表提供商。 在开始对话之前,您需要先订阅邮件列表。

订阅:发送邮件至 bitsail+subscribe@googlegroups.com

开始对话:发送邮件至 bitsail@googlegroups.com

取消订阅:发送邮件至 bitsail+unsubscribe@googlegroups.com

微信群

欢迎扫描以下二维码加入微信群聊。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/e23bb618-913f-4f18-9309-e4c0e7724c04.png" alt="qr" width="100"/>

环境设置

参见环境设置

部署指南

参见部署指南

BitSail配置

参见配置指南

贡献指南

链接到贡献指南

贡献者

感谢所有贡献者<br>

<a href="https://github.com/bytedance/bitsail/graphs/contributors"> <img src="https://contrib.rocks/image?repo=bytedance/bitsail" /> </a>

许可证

Apache 2.0 许可证

编辑推荐精选

博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。

下拉加载更多