懂AI
data-validation

data-validation

用于机器学习数据验证和探索的高扩展性工具库

TensorFlow Data Validation (TFDV) 是一个高度可扩展的机器学习数据验证和探索库。它与TensorFlow和TFX生态系统无缝集成,提供数据统计计算、分布可视化、自动模式生成和异常检测等功能。TFDV能够帮助开发者有效识别数据问题,保障数据质量,从而提升机器学习模型的可靠性和性能。

TensorFlow数据验证机器学习数据探索数据分析Github开源项目
访问官网GitHub论文文档

TensorFlow 数据验证

Python PyPI 文档

TensorFlow 数据验证 (TFDV) 是一个用于探索和验证机器学习数据的库。它设计为高度可扩展，并与 TensorFlow 和 TensorFlow Extended (TFX) 良好配合。

TF 数据验证包括：

  • 训练和测试数据的可扩展摘要统计计算。
  • 与数据分布和统计信息查看器集成，以及特征对的分面比较（Facets）。
  • 自动生成数据模式，以描述对数据的期望，如必需值、范围和词汇表。
  • 模式查看器帮助您检查模式。
  • 异常检测，以识别异常，如缺失特征、超出范围的值或错误的特征类型等。
  • 异常查看器，让您可以查看哪些特征存在异常并了解更多信息以进行修正。

有关使用 TFDV 的说明，请参阅入门指南并尝试示例笔记本。TFDV 实现的一些技术在发表于 SysML'19 的技术论文中有所描述。

从 PyPI 安装

推荐使用 PyPI 包安装 TFDV：

pip install tensorflow-data-validation

每日构建包

TFDV 还在 Google Cloud 上托管每日构建包。要安装最新的每日构建包，请使用以下命令：

export TFX_DEPENDENCY_SELECTOR=NIGHTLY
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-data-validation

这将安装 TFDV 主要依赖项的每日构建包，如 TFX 基础共享库（TFX-BSL）和 TensorFlow 元数据（TFMD）。

有时 TFDV 会使用这些依赖项的最新更改，而这些更改尚未发布。因此，使用每日构建版本的 TFDV 时，使用这些依赖库的每日构建版本会更安全。导出 TFX_DEPENDENCY_SELECTOR 环境变量可以实现这一点。

注意：这些每日构建包不稳定，可能会出现问题。修复可能需要一周或更长时间，具体取决于复杂程度。

使用 Docker 构建

这是在 Linux 下构建 TFDV 的推荐方式，并在 Google 进行持续测试。

1. 安装 Docker

请先按照以下说明安装 docker 和 docker-compose： docker； docker-compose。

2. 克隆 TFDV 仓库

git clone https://github.com/tensorflow/data-validation
cd data-validation

注意，这些说明将安装 TensorFlow 数据验证的最新主分支。如果您想安装特定分支（如发布分支），请在 git clone 命令中传递 -b <分支名>。

3. 构建 pip 包

然后，在项目根目录运行以下命令：

sudo docker-compose build manylinux2010
sudo docker-compose run -e PYTHON_VERSION=${PYTHON_VERSION} manylinux2010

其中 PYTHON_VERSION 是 {39, 310, 311} 之一。

将在 dist/ 目录下生成一个 wheel 文件。

4. 安装 pip 包

pip install dist/*.whl

从源代码构建

1. 先决条件

要编译和使用 TFDV，您需要设置一些先决条件。

安装 NumPy

如果您的系统上未安装 NumPy，请按照这些说明现在安装。

安装 Bazel

如果您的系统上未安装 Bazel，请按照这些说明现在安装。

2. 克隆 TFDV 仓库

git clone https://github.com/tensorflow/data-validation
cd data-validation

注意，这些说明将安装 TensorFlow 数据验证的最新主分支。如果您想安装特定分支（如发布分支），请在 git clone 命令中传递 -b <分支名>。

3. 构建 pip 包

TFDV wheel 文件依赖于 Python 版本 -- 要构建适用于特定 Python 版本的 pip 包，请使用该 Python 二进制文件运行：

python setup.py bdist_wheel

您可以在 dist 子目录中找到生成的 .whl 文件。

4. 安装 pip 包

pip install dist/*.whl

支持的平台

TFDV 在以下 64 位操作系统上经过测试：

  • macOS 12.5 (Monterey) 或更高版本。
  • Ubuntu 20.04 或更高版本。

重要依赖项

需要 TensorFlow。

需要 Apache Beam；它是支持高效分布式计算的方式。默认情况下，Apache Beam 以本地模式运行，但也可以使用 Google Cloud Dataflow 和其他 Apache Beam 运行器在分布式模式下运行。

还需要 Apache Arrow。TFDV 内部使用 Arrow 表示数据，以便使用向量化的 numpy 函数。

兼容版本

下表显示了相互兼容的软件包版本。这是由我们的测试框架确定的，但其他未经测试的组合也可能有效。

tensorflow-数据验证apache-beam[gcp]pyarrowtensorflowtensorflow-元数据tensorflow-转换tfx-bsl
GitHub 主分支2.47.010.0.0每日构建版 (2.x)1.15.0不适用1.15.1
1.15.12.47.010.0.02.151.15.0不适用1.15.1
1.15.02.47.010.0.02.151.15.0不适用1.15.0
1.14.02.47.010.0.02.131.14.0不适用1.14.0
1.13.02.40.06.0.02.121.13.1不适用1.13.0
1.12.02.40.06.0.02.111.12.0不适用1.12.0
1.11.02.40.06.0.01.15 / 2.101.11.0不适用1.11.0
1.10.02.40.06.0.01.15 / 2.91.10.0不适用1.10.1
1.9.02.38.05.0.01.15 / 2.91.9.0不适用1.9.0
1.8.02.38.05.0.01.15 / 2.81.8.0不适用1.8.0
1.7.02.36.05.0.01.15 / 2.81.7.0不适用1.7.0
1.6.02.35.05.0.01.15 / 2.71.6.0不适用1.6.0
1.5.02.34.05.0.01.15 / 2.71.5.0不适用1.5.0
1.4.02.32.04.0.11.15 / 2.61.4.0不适用1.4.0
1.3.02.32.02.0.01.15 / 2.61.2.0不适用1.3.0
1.2.02.31.02.0.01.15 / 2.51.2.0不适用1.2.0
1.1.12.29.02.0.01.15 / 2.51.1.0不适用1.1.1
1.1.02.29.02.0.01.15 / 2.51.1.0不适用1.1.0
1.0.02.29.02.0.01.15 / 2.51.0.0不适用1.0.0
0.30.02.28.02.0.01.15 / 2.40.30.0不适用0.30.0
0.29.02.28.02.0.01.15 / 2.40.29.0不适用0.29.0
0.28.02.28.02.0.01.15 / 2.40.28.0不适用0.28.1
0.27.02.27.02.0.01.15 / 2.40.27.0不适用0.27.0
0.26.12.28.00.17.01.15 / 2.30.26.00.26.00.26.0
0.26.02.25.00.17.01.15 / 2.30.26.00.26.00.26.0
0.25.02.25.00.17.01.15 / 2.30.25.00.25.00.25.0
0.24.12.24.00.17.01.15 / 2.30.24.00.24.10.24.1
0.24.02.23.00.17.01.15 / 2.30.24.00.24.00.24.0
0.23.12.24.00.17.01.15 / 2.30.23.00.23.00.23.0
0.23.02.23.00.17.01.15 / 2.30.23.00.23.00.23.0
0.22.22.20.00.16.01.15 / 2.20.22.00.22.00.22.1
0.22.12.20.00.16.01.15 / 2.20.22.00.22.00.22.1
0.22.02.20.00.16.01.15 / 2.20.22.00.22.00.22.0
0.21.52.17.00.15.01.15 / 2.10.21.00.21.10.21.3
0.21.42.17.00.15.01.15 / 2.10.21.00.21.10.21.3
0.21.22.17.00.15.01.15 / 2.10.21.00.21.00.21.0
0.21.12.17.00.15.01.15 / 2.10.21.00.21.00.21.0
0.21.02.17.00.15.01.15 / 2.10.21.00.21.00.21.0
0.15.02.16.00.14.01.15 / 2.00.15.00.15.00.15.0
0.14.12.14.00.14.01.140.14.00.14.0不适用
0.14.02.14.00.14.01.140.14.00.14.0不适用
0.13.12.11.0不适用1.130.12.10.13.0不适用
0.13.02.11.0不适用1.130.12.10.13.0不适用
0.12.02.10.0不适用1.120.12.10.12.0不适用
0.11.02.8.0不适用1.110.9.00.11.0不适用
0.9.02.6.0不适用1.9不适用不适用不适用

问题

如果您在使用TF数据验证时有任何问题，请在Stack Overflow上使用tensorflow-data-validation标签提问。

链接

编辑推荐精选

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能，助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手，复杂任务高效处理

AI办公助手，复杂任务高效处理。办公效率低？扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作，覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应，生活工作无缝切换，提升50%效率！

TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
蛙蛙写作

蛙蛙写作

AI小说写作助手，一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台，涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能，助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
问小白

问小白

全能AI智能助手，随时解答生活与工作的多样问题

问小白，由元石科技研发的AI智能助手，快速准确地解答各种生活和工作问题，包括但不限于搜索、规划和社交互动，帮助用户在日常生活中提高效率，轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

下拉加载更多