懂AI
data-validation

data-validation

用于机器学习数据验证和探索的高扩展性工具库

TensorFlow Data Validation (TFDV) 是一个高度可扩展的机器学习数据验证和探索库。它与TensorFlow和TFX生态系统无缝集成,提供数据统计计算、分布可视化、自动模式生成和异常检测等功能。TFDV能够帮助开发者有效识别数据问题,保障数据质量,从而提升机器学习模型的可靠性和性能。

TensorFlow数据验证机器学习数据探索数据分析Github开源项目
访问官网GitHub论文文档

TensorFlow 数据验证

Python PyPI 文档

TensorFlow 数据验证 (TFDV) 是一个用于探索和验证机器学习数据的库。它设计为高度可扩展，并与 TensorFlow 和 TensorFlow Extended (TFX) 良好配合。

TF 数据验证包括：

  • 训练和测试数据的可扩展摘要统计计算。
  • 与数据分布和统计信息查看器集成，以及特征对的分面比较（Facets）。
  • 自动生成数据模式，以描述对数据的期望，如必需值、范围和词汇表。
  • 模式查看器帮助您检查模式。
  • 异常检测，以识别异常，如缺失特征、超出范围的值或错误的特征类型等。
  • 异常查看器，让您可以查看哪些特征存在异常并了解更多信息以进行修正。

有关使用 TFDV 的说明，请参阅入门指南并尝试示例笔记本。TFDV 实现的一些技术在发表于 SysML'19 的技术论文中有所描述。

从 PyPI 安装

推荐使用 PyPI 包安装 TFDV：

pip install tensorflow-data-validation

每日构建包

TFDV 还在 Google Cloud 上托管每日构建包。要安装最新的每日构建包，请使用以下命令：

export TFX_DEPENDENCY_SELECTOR=NIGHTLY
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-data-validation

这将安装 TFDV 主要依赖项的每日构建包，如 TFX 基础共享库（TFX-BSL）和 TensorFlow 元数据（TFMD）。

有时 TFDV 会使用这些依赖项的最新更改，而这些更改尚未发布。因此，使用每日构建版本的 TFDV 时，使用这些依赖库的每日构建版本会更安全。导出 TFX_DEPENDENCY_SELECTOR 环境变量可以实现这一点。

注意：这些每日构建包不稳定，可能会出现问题。修复可能需要一周或更长时间，具体取决于复杂程度。

使用 Docker 构建

这是在 Linux 下构建 TFDV 的推荐方式，并在 Google 进行持续测试。

1. 安装 Docker

请先按照以下说明安装 docker 和 docker-compose： docker； docker-compose。

2. 克隆 TFDV 仓库

git clone https://github.com/tensorflow/data-validation
cd data-validation

注意，这些说明将安装 TensorFlow 数据验证的最新主分支。如果您想安装特定分支（如发布分支），请在 git clone 命令中传递 -b <分支名>。

3. 构建 pip 包

然后，在项目根目录运行以下命令：

sudo docker-compose build manylinux2010
sudo docker-compose run -e PYTHON_VERSION=${PYTHON_VERSION} manylinux2010

其中 PYTHON_VERSION 是 {39, 310, 311} 之一。

将在 dist/ 目录下生成一个 wheel 文件。

4. 安装 pip 包

pip install dist/*.whl

从源代码构建

1. 先决条件

要编译和使用 TFDV，您需要设置一些先决条件。

安装 NumPy

如果您的系统上未安装 NumPy，请按照这些说明现在安装。

安装 Bazel

如果您的系统上未安装 Bazel，请按照这些说明现在安装。

2. 克隆 TFDV 仓库

git clone https://github.com/tensorflow/data-validation
cd data-validation

注意，这些说明将安装 TensorFlow 数据验证的最新主分支。如果您想安装特定分支（如发布分支），请在 git clone 命令中传递 -b <分支名>。

3. 构建 pip 包

TFDV wheel 文件依赖于 Python 版本 -- 要构建适用于特定 Python 版本的 pip 包，请使用该 Python 二进制文件运行：

python setup.py bdist_wheel

您可以在 dist 子目录中找到生成的 .whl 文件。

4. 安装 pip 包

pip install dist/*.whl

支持的平台

TFDV 在以下 64 位操作系统上经过测试：

  • macOS 12.5 (Monterey) 或更高版本。
  • Ubuntu 20.04 或更高版本。

重要依赖项

需要 TensorFlow。

需要 Apache Beam；它是支持高效分布式计算的方式。默认情况下，Apache Beam 以本地模式运行，但也可以使用 Google Cloud Dataflow 和其他 Apache Beam 运行器在分布式模式下运行。

还需要 Apache Arrow。TFDV 内部使用 Arrow 表示数据，以便使用向量化的 numpy 函数。

兼容版本

下表显示了相互兼容的软件包版本。这是由我们的测试框架确定的，但其他未经测试的组合也可能有效。

tensorflow-数据验证apache-beam[gcp]pyarrowtensorflowtensorflow-元数据tensorflow-转换tfx-bsl
GitHub 主分支2.47.010.0.0每日构建版 (2.x)1.15.0不适用1.15.1
1.15.12.47.010.0.02.151.15.0不适用1.15.1
1.15.02.47.010.0.02.151.15.0不适用1.15.0
1.14.02.47.010.0.02.131.14.0不适用1.14.0
1.13.02.40.06.0.02.121.13.1不适用1.13.0
1.12.02.40.06.0.02.111.12.0不适用1.12.0
1.11.02.40.06.0.01.15 / 2.101.11.0不适用1.11.0
1.10.02.40.06.0.01.15 / 2.91.10.0不适用1.10.1
1.9.02.38.05.0.01.15 / 2.91.9.0不适用1.9.0
1.8.02.38.05.0.01.15 / 2.81.8.0不适用1.8.0
1.7.02.36.05.0.01.15 / 2.81.7.0不适用1.7.0
1.6.02.35.05.0.01.15 / 2.71.6.0不适用1.6.0
1.5.02.34.05.0.01.15 / 2.71.5.0不适用1.5.0
1.4.02.32.04.0.11.15 / 2.61.4.0不适用1.4.0
1.3.02.32.02.0.01.15 / 2.61.2.0不适用1.3.0
1.2.02.31.02.0.01.15 / 2.51.2.0不适用1.2.0
1.1.12.29.02.0.01.15 / 2.51.1.0不适用1.1.1
1.1.02.29.02.0.01.15 / 2.51.1.0不适用1.1.0
1.0.02.29.02.0.01.15 / 2.51.0.0不适用1.0.0
0.30.02.28.02.0.01.15 / 2.40.30.0不适用0.30.0
0.29.02.28.02.0.01.15 / 2.40.29.0不适用0.29.0
0.28.02.28.02.0.01.15 / 2.40.28.0不适用0.28.1
0.27.02.27.02.0.01.15 / 2.40.27.0不适用0.27.0
0.26.12.28.00.17.01.15 / 2.30.26.00.26.00.26.0
0.26.02.25.00.17.01.15 / 2.30.26.00.26.00.26.0
0.25.02.25.00.17.01.15 / 2.30.25.00.25.00.25.0
0.24.12.24.00.17.01.15 / 2.30.24.00.24.10.24.1
0.24.02.23.00.17.01.15 / 2.30.24.00.24.00.24.0
0.23.12.24.00.17.01.15 / 2.30.23.00.23.00.23.0
0.23.02.23.00.17.01.15 / 2.30.23.00.23.00.23.0
0.22.22.20.00.16.01.15 / 2.20.22.00.22.00.22.1
0.22.12.20.00.16.01.15 / 2.20.22.00.22.00.22.1
0.22.02.20.00.16.01.15 / 2.20.22.00.22.00.22.0
0.21.52.17.00.15.01.15 / 2.10.21.00.21.10.21.3
0.21.42.17.00.15.01.15 / 2.10.21.00.21.10.21.3
0.21.22.17.00.15.01.15 / 2.10.21.00.21.00.21.0
0.21.12.17.00.15.01.15 / 2.10.21.00.21.00.21.0
0.21.02.17.00.15.01.15 / 2.10.21.00.21.00.21.0
0.15.02.16.00.14.01.15 / 2.00.15.00.15.00.15.0
0.14.12.14.00.14.01.140.14.00.14.0不适用
0.14.02.14.00.14.01.140.14.00.14.0不适用
0.13.12.11.0不适用1.130.12.10.13.0不适用
0.13.02.11.0不适用1.130.12.10.13.0不适用
0.12.02.10.0不适用1.120.12.10.12.0不适用
0.11.02.8.0不适用1.110.9.00.11.0不适用
0.9.02.6.0不适用1.9不适用不适用不适用

问题

如果您在使用TF数据验证时有任何问题，请在Stack Overflow上使用tensorflow-data-validation标签提问。

链接

编辑推荐精选

潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯�飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

AI助手热门AI工具AI创作AI辅助写作讯飞绘文内容运营个性化文章多平台分发
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

下拉加载更多