bitsail

English | 简体中文

简介

BitSail 是字节跳动开源的基于分布式架构的高性能数据集成引擎。它支持多种异构数据源之间的数据同步，并提供批处理、流处理和增量场景下的全局数据集成解决方案。目前，它几乎服务于字节跳动的所有业务线，如抖音、今日头条等，每天同步数百万亿条数据。

BitSail 官方网站：https://bytedance.github.io/bitsail/

为什么选择 BitSail

BitSail 已被广泛使用，支持数百万亿的大流量。同时，它已在火山引擎的云原生环境和本地私有云环境等各种场景中得到验证。

我们积累了大量经验并进行了多项优化，以改进数据集成功能

全局数据集成，涵盖批处理、流处理和增量场景
分布式和云原生架构，支持水平扩展
在准确性、稳定性和性能方面具有高度成熟度
丰富的基本功能，如类型转换、脏数据处理、流量控制、数据湖集成、自动并行度计算等
任务运行状态监控，如流量、QPS、脏数据、延迟等

BitSail 使用场景

异构数据源之间的大规模数据同步
流批一体化数据处理能力
数据湖仓一体化数据处理能力
高性能、高可靠性数据同步
分布式、云原生架构数据集成引擎

BitSail 特点

启动成本低，灵活性高
流批一体和数据湖仓一体架构，一个框架几乎涵盖所有数据同步场景
高性能、海量数据处理能力
DDL 自动同步
类型系统，不同数据源类型之间的转换
引擎无关的读写接口，开发成本低
实时显示任务进度，开发中
实时监控任务状态

BitSail 架构

源[输入源] -> 框架[数据传输] -> 目标[输出目标]

数据处理流程如下：首先通过输入源拉取源数据，然后通过中间框架层处理，最后通过输出目标将数据写入目标

在框架层，我们提供丰富的功能，并适用于所有同步场景，如脏数据收集、自动并行度计算、任务监控等

在数据同步场景中，涵盖批处理、流处理和增量数据同步

在运行时层，支持多种执行模式，如 yarn、local，k8s 正在开发中

支持的连接器

<table> <tr> <th>数据源</th> <th>子模块</th> <th>读取器</th> <th>写入器</th> </tr> <tr> <td>Assert</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>ClickHouse</td> <td>-</td> <td>✅</td> <td>-</td> </tr> <tr> <td>Doris</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Druid</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Elasticsearch</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Fake</td> <td>-</td> <td>✅</td> <td> </td> </tr> <tr> <td>FTP/SFTP</td> <td>-</td> <td>✅</td> <td> </td> </tr> <tr> <td>Hadoop</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>HBase</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Hive</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Hudi</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>本地文件系统</td> <td>-</td> <td>✅</td> <td></td> </tr> <tr> <td rowspan="4">JDBC</td> <td>MySQL</td> <td rowspan="4">✅</td> <td rowspan="4">✅</td> </tr> <tr> <td>Oracle</td> </tr> <tr> <td>PostgreSQL</td> </tr> <tr> <td>SqlServer</td> </tr> <tr> <td>Kafka</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Kudu</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>飞书表格</td> <td>-</td> <td>✅</td> <td> </td> </tr> <tr> <td>MongoDB</td> <td>-</td> <td>✅</td> <td>✅</td> </tr> <tr> <td>Print</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>Redis</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>RocketMQ</td> <td>-</td> <td> </td> <td>✅</td> </tr> <tr> <td>SelectDB</td> <td>-</td> <td> </td> <td>✅</td> </tr> </table>

连接器文档请参见Connectors。