awesome-open-data-centric-ai

项目介绍：Awesome Open Data-Centric AI

项目概述

"Awesome Open Data-Centric AI" 是一个专注于数据为中心的人工智能开发范式的开源工具集。这一理念由知名学者吴恩达提出，强调通过系统化工程化处理数据来建立人工智能系统。在这一框架下，数据在训练和改进机器学习模型中的角色显得尤为重要，而各种开源工具可以帮助日常应用中的数据处理问题，从而提高人工智能模型的表现。Renumics 团队将这些工具进行整合，旨在为用户提供一个开源工具库，以改善非结构化数据（如图像、音频、视频、时序和文本）的AI工作流程。

范围

该项目主要收集具有开源许可证并被积极维护的工具，这些工具适用于处理非结构化数据的 DCAI 工作流程。为了保持聚焦和避免重复工作，项目中不包含表格数据、专用标签工具、MLOps 和研究论文。对于这些主题的工具和文献，用户可以在其他推荐阅读中找到相关的列表。

工具类别

"Awesome Open Data-Centric AI" 包含的工具涵盖多个类别，帮助用户在数据处理和模型训练中创建完善的工作流程，具体类别包括：

• 数据版本控制
• 嵌入和预训练模型
• 可视化和互动
• 异常值和噪声检测
• 可解释性
• 主动学习
• 不确定性量化
• 偏差和公平性
• 可观察性和监控
• 数据增强和合成数据
• 安全性和稳健性

数据集中AI手册

项目还提供了一个数据集中AI手册，展示了如何通过开源工具解决常见任务。手册中包括了一些工作流片段，如数据探索性分析 (EDA)、数据清洗、标注、建模、验证和监测。

数据探索性分析 (EDA)

• 使用 Huggingface transformers 计算图像嵌入，探索数据集的分布。

数据清洗

• 使用 Annoy 库检测嵌入空间的相邻邻居，识别和检查数据中的重复或近似重复项。

标注

• 使用 Cleanlab 库依据模型概率计算标签错误标志，并手动检查关键数据段。

建模

• 使用最近邻距离识别数据泄漏候选，并进行手动检查。

验证

• 计算基于确定性比率的决策边界分数，并在散点图中检验结果。

监测

• 计算嵌入空间中k-最近邻居的余弦距离作为漂移距离，并检查关键段。

参与贡献

如果用户认为项目中缺少某些有用工具，可以通过联系或者拉取请求的方式贡献到这个列表中。

进一步阅读

项目为了保持目标明确且避免重复工作，已从列表中排除一些赛主题。用户可以通过以下资源了解更多相关内容：

1. 面向表格数据的 DCAI 工具。
2. 标签工具。
3. MLOps 相关工具。
4. 研究论文的视角。

"Awesome Open Data-Centric AI" 项目致力于提供一个包含多种工具的开放式平台，帮助开发者更好地进行数据为中心的人工智能开发工作。它不仅解决了常见的非结构化数据问题，还通过社区的支持不断扩展其工具集。这个项目不仅适合有经验的开发者，也对希望深入了解数据为中心的AI开发的新手充满吸引力。