Feathr: 企业级数据和AI工程的统一平台

Feathr简介

Feathr是由LinkedIn开发并开源的数据和AI工程平台,旨在简化和统一企业级机器学习工作流程。作为一个功能强大的特征存储系统,Feathr能够帮助数据科学家和工程师更高效地管理和使用特征,从而提高机器学习模型的开发效率和质量。

Feathr的核心功能

1. 特征定义与转换: Feathr提供了Pythonic API,允许用户基于原始数据源(批处理和流式)定义和转换特征。

2. 特征注册与共享: 用户可以为转换后的特征命名并注册,方便在团队和公司内部共享和重用。

3. 特征服务: Feathr支持将特征部署到在线环境中,为生产环境中的实时推理提供支持。

4. 时间点正确性: 在训练数据集成过程中,Feathr自动应用时间点正确语义,有效防止数据泄露。

Feathr的优势

• 云原生集成: Feathr采用简化且可扩展的架构,与云服务紧密集成。
• 生产验证: LinkedIn已在生产环境中使用Feathr超过6年,由专门的团队支持。
• 高度可扩展: Feathr能够处理数十亿行和PB级数据,内置优化如布隆过滤器和加盐连接。
• 丰富的转换API: 支持基于时间的聚合、滑动窗口连接、查找特征等,并保证AI应用的时间点正确性。
• 易用性: 提供Pythonic API和高度可定制的用户定义函数(UDF),支持原生PySpark和Spark SQL。
• 统一API: 在离线批处理、流处理和在线环境中使用统一的数据转换API。
• 内置注册表: 便捷地管理命名转换和数据/特征重用。

快速开始

要快速体验Feathr,最简单的方法是使用Feathr Sandbox。这是一个自包含的容器,集成了Feathr的大部分功能,只需5分钟即可上手使用。

运行以下命令启动Sandbox:

docker run -it --rm -p 8888:8888 -p 8081:80 -p 7080:7080 -e GRANT_SUDO=yes feathrfeaturestore/feathr-sandbox:releases-v1.0.0

启动后,可以通过以下地址访问Jupyter notebook:

http://localhost:8888/lab/workspaces/auto-w/tree/local_quickstart_notebook.ipynb

运行notebook后,所有特征将被注册到UI中,您可以通过以下地址访问Feathr UI:

http://localhost:8081

Feathr的核心概念

特征定义

Feathr允许用户使用Python API定义各种类型的特征:

1. 原始特征: 直接从数据源提取的特征。

2. 派生特征: 基于其他特征计算得出的新特征。

3. 聚合特征: 通过在时间窗口内聚合数据得到的特征。

示例代码:

# 定义原始特征
raw_feature = Feature(name="fare_amount", feature_type=FLOAT)

# 定义派生特征
derived_feature = DerivedFeature(
    name="fare_amount_dollars",
    feature_type=FLOAT,
    input_features=[raw_feature],
    transform="fare_amount / 100"
)

# 定义聚合特征
agg_feature = Feature(
    name="avg_fare_7d",
    feature_type=FLOAT,
    transform=WindowAggTransformation(
        agg_expr="fare_amount",
        agg_func="AVG",
        window="7d"
    )
)

特征注册与共享

Feathr提供了直观的UI界面,允许用户搜索和探索所有可用的特征及其对应的血缘关系。这大大提高了特征的可发现性和可重用性。

特征服务

Feathr支持将特征部署到在线环境中,为实时推理提供支持。它与多种在线存储系统集成,如Redis和Azure Cosmos DB,确保低延迟的特征检索。

Feathr的技术架构

Feathr采用模块化的架构设计,与云服务紧密集成:

主要组件包括:

• 离线存储: 支持Azure Blob Storage、Azure ADLS Gen2、AWS S3等对象存储,以及Azure SQL DB、Azure Synapse等SQL数据库。
• 流式数据源: 集成Kafka、EventHub等流处理系统。
• 在线存储: 支持Redis、Azure Cosmos DB等高性能数据库。
• 特征注册与治理: 利用Azure Purview或ANSI SQL数据库进行元数据管理。
• 计算引擎: 与Azure Synapse Spark Pools、Databricks等大数据处理平台集成。
• 机器学习平台: 支持Azure Machine Learning、Jupyter Notebook、Databricks Notebook等。

Feathr的应用场景

Feathr在多个领域都有广泛的应用,以下是一些典型的使用场景:

1. 推荐系统: 利用Feathr管理用户和物品特征,支持实时个性化推荐。

2. 欺诈检测: 快速构建和部署复杂的时序特征,提高欺诈检测模型的准确性。

3. 客户画像: 整合多源数据,构建全面的客户特征,支持精准营销和风险评估。

4. 预测性维护: 管理设备传感器数据的特征工程,预测设备故障并优化维护计划。

5. 金融风控: 处理大量历史交易数据,构建复杂的金融风险评估模型。

社区与支持

Feathr是一个开源项目,欢迎社区贡献。以下是一些参与Feathr社区的方式:

• GitHub: 在Feathr GitHub仓库上提交问题、功能请求或贡献代码。
• Slack: 加入Feathr Slack频道讨论问题和想法。
• 文档: 查阅Feathr官方文档获取详细信息。

结语

Feathr作为一个强大的特征存储和特征工程平台,为企业级机器学习工作流程提供了一站式解决方案。它不仅简化了特征管理的复杂性,还提高了数据科学团队的生产力。随着AI和机器学习在各行各业的广泛应用,Feathr无疑将在未来扮演越来越重要的角色,助力企业更好地利用数据驱动决策和创新。