一站式全场景海量数据集成框架

• 什么是Apache InLong?
• 特性
• 什么时候应该使用InLong?
• 构建InLong
• 部署InLong
• 为InLong做贡献
• 联系我们
• 文档
• 许可证

什么是Apache InLong?

Star数量变化	贡献者数量变化

Apache InLong是一个一站式、全场景的海量数据集成框架，支持数据接入、数据同步和数据订阅，并提供自动、安全、可靠的数据传输能力。InLong还同时支持批处理和流处理数据，这为基于流数据构建数据分析、建模和其他实时应用提供了强大的支持。

InLong（应龙）是中国神话中引导河流入海的神兽，被视为InLong系统在报告数据流方面的一个比喻。

InLong最初由腾讯开发，已经服务在线业务超过8年，支持海量数据（每天超过80万亿条数据）在大数据场景下的报告服务。整个平台集成了5个模块：接入、汇聚、缓存、分拣和管理，业务只需要提供数据源、数据服务质量、数据落地集群和数据落地格式，数据就可以从源头持续推送到目标集群，这极大地满足了业务大数据场景下的数据报告服务要求。

要获取更多信息，请访问我们的项目文档：https://inlong.apache.org/。

特性

Apache InLong提供了多种特性：

• 易用性：基于SaaS的服务平台。用户可以通过基于主题的发布和订阅轻松快速地报告、传输和分发数据。
• 稳定性和可靠性：源自实际的在线生产环境。它为10万亿级数据流提供高性能处理能力，为1000亿级数据流提供高度可靠的服务。
• 全面的功能：支持各种类型的数据访问方法，可以与不同类型的消息队列（MQ）集成。它还提供基于规则的实时数据提取、转换和加载（ETL）以及排序功能。InLong还允许用户插入功能以扩展系统能力。
• 服务集成：提供统一的系统监控和警报服务。它提供细粒度的指标以方便数据可视化。用户可以在统一的数据指标平台中查看队列的运行状态和基于主题的数据统计。用户还可以根据业务需求配置警报服务，以便在发生错误时收到警报。
• 可扩展性：采用可插拔架构，允许您根据特定协议将模块插入系统。用户可以根据业务需求替换组件和添加功能。

什么时候应该使用InLong?

InLong旨在提供一站式、全场景的海量数据集成框架，用户可以轻松构建基于流的数据应用。它同时支持数据接入、数据同步和数据订阅，适用于需要快速构建数据报告平台的环境，以及InLong非常适合的超大规模数据报告环境，以及需要自动对报告数据进行分类和落地的环境。

您可以通过以下方式使用InLong：

• 集成InLong，通过SDK管理数据流。
• 使用InLong命令行工具查看和创建数据流。
• 在InLong仪表板上可视化您的操作。

支持的数据节点（持续更新中）

类型	名称	版本
抽取节点	自动推送	无
	文件	无
	Kafka	2.x
	MongoDB	>= 3.6
	MQTT	>= 3.1
	MySQL	5.6, 5.7, 8.0.x
	Oracle	11,12,19
	PostgreSQL	9.6, 10, 11, 12
	Pulsar	2.8.x
	Redis	2.6.x
	SQLServer	2012, 2014, 2016, 2017, 2019
加载节点	自动消费	无
	ClickHouse	20.7+
	Elasticsearch	6.x, 7.x
	Greenplum	4.x, 5.x, 6.x
	HBase	2.2.x
	HDFS	2.x, 3.x
	Hive	1.x, 2.x, 3.x
	Iceberg	0.12.x
	Hudi	0.12.x
	Kafka	2.x
	MySQL	5.6, 5.7, 8.0.x
	Oracle	11, 12, 19
	PostgreSQL	9.6, 10, 11, 12
	SQLServer	2012, 2014, 2016, 2017, 2019
	TDSQL-PostgreSQL	10.17
	Doris	>= 0.13
	StarRocks	>= 2.0
	Kudu	>= 1.12.0
	Redis	>= 3.0
	OceanBase	>= 1.0

构建 InLong

更详细的说明可以在文档的快速开始部分找到。

要求：

• Java JDK 8
• Maven 3.6.1+
• Docker 19.03.1+

代码风格：

mvn spotless:apply

编译和安装：

mvn clean install -DskipTests

（可选）使用 Docker 镜像编译：

docker pull maven:3.6-openjdk-8
docker run -v `pwd`:/inlong  -w /inlong maven:3.6-openjdk-8 mvn clean install -DskipTests

编译成功后，你可以在 inlong-distribution/target 目录下找到分发文件。

部署 InLong

• InLong 单机部署
• Docker Compose
• Kubernetes 上的 InLong
• 裸机部署

开发 InLong

• Agent 插件扩展抽取数据节点
• Sort 插件扩展数据节点
• Manager 插件扩展数据节点
• Dashboard 插件扩展数据节点页面

为 InLong 做贡献

• 在 GitHub Issue 上报告任何问题
• 根据如何贡献提交代码拉取请求。

联系我们

• 加入 Apache InLong 邮件列表：

  名称	范围
  dev@inlong.apache.org	开发相关讨论	订阅	取消订阅	归档

• 在 Apache InLong Slack 上提问

文档

• 主页：https://inlong.apache.org/
• 问题：https://github.com/apache/inlong/issues

许可证

© 贡献者根据 Apache-2.0 许可证授权。