AGEIPort 阿里巴巴通用导入导出框架

简介

AGEIPort 是由数字供应链孵化并在阿里巴巴集团内广泛使用的一套性能卓越、稳定可靠、功能丰富、易于扩展、生态完整的数据导入导出方案。它致力于帮助开发者在复杂的企业级业务场景下快速交付高性能、体验优、易维护的数据导入导出功能，如用户页面上的Excel/CSV数据文件上传和下载。目前在阿里巴巴集团内部已有盒马、菜鸟、本地生活、阿里健康、钉钉、淘系等部门广泛使用，并成为多个技术组件的基础底座。经历多次618和双11大促考验，每月稳定导入导出数据300~400亿条。

AGEIPort 基于事件驱动架构设计整体框架，并遵循以下先进的设计理念：

透明化的集群/单机执行、串行/并行执行，大幅提升数据处理性能，开发者只需关注业务逻辑处理。
支持实时任务进度计算和反馈，避免模拟数据处理进度，提升用户体验。
面向企业级复杂业务场景，通过多种方式（声明定义、动态定义）和多个维度（配置、插件、策略、SPI）满足各种场景的个性化需求，可作为平台化、PaaS/SaaS型产品的基础底座。
沉淀多种组件，多种场景、多种功能开箱即用。
秉承GitOps设计理念，将相关的不可变基础设施封装在应用Git仓库内部，使交付物能更快、更稳定和更安全地发布和回滚。
去中心化架构，业务应用自组集群资源隔离，保证业务功能有较高的隔离性、可伸缩性和可用性。
标准化任务处理流程和代码编写，定义数据处理任务的流程与用户需实现的接口，接口间职责分离，标准化用户导入导出代码的编写，提高代码的可维护性。
明确业务领域对象，通过设计泛型接口，明确导入导出代码中的领域模型，避免业务代码中大量使用Map、JSON传参，提高代码的可维护性。
记录业务代码执行过程，辅助支持业务代码性能优化。

GEI整体架构如图所示

代码层面主要分为3个模块：

ageiport-processor（必须模块）：processor模块是框架的核心，对应上图的大部分逻辑。开发者在需要执行数据处理的业务应用中依赖并实现此模块中对应的接口，将业务逻辑编写到接口实现中。任务执行过程中会回调用户实现的接口，向用户的业务代码传输数据执行业务逻辑。processor模块中包括本地API和HTTP API，用户可以在当前或外部应用调用接口，创建任务实例在processor所在的业务应用创建并执行。
ageiport-task（必须模块）：task模块是框架任务处理模块，与数据库交互，向processor模块暴露HTTP接口，以支持processor模块任务执行过程中对任务定义和任务实例进行增删改查。开发者需要部署此模块并连接自己的数据库，设置部署此模块的节点网络（如DNS/K8S Service等）保证processor模块网络能访问到此task模块的部署节点。
ageiport-web（可选模块）：web模块为前端页面提供HTTP/Websocket接口（如任务创建、查询、上传文件、下载文件等），减少开发者重复开发Controller代码，对应上图中红色部分。若web模块的功能不符合要求，用户可以自行编写Controller代码，调用processor模块的HTTP API创建任务实例在processor所在的业务应用创建并执行。后续会开源与web模块配套的前端组件，提高开发者生产效率。