datasets

TensorFlow Datasets 项目介绍

TensorFlow Datasets (TFDS) 是一个方便的数据集工具库，它提供了众多公共数据集，供机器学习研究和应用使用。这些数据集以 tf.data.Dataset 格式提供，方便用户直接用于 TensorFlow 相关项目。

项目特点

TFDS 项目的核心价值体现在以下几个方面：

• 简单性：TFDS 设计简洁易用，标准使用场景开箱即用，可以大大减少数据预处理的复杂性。
• 性能：TFDS 遵循优化实践，能够实现最先进的处理速度，使得数据加载和预处理过程更加高效。
• 确定性与可重复性：所有用户在使用相同数据集时会得到相同的样例和顺序，这确保了实验结果的可重复性。
• 可定制性：高级用户可以根据需要进行细致的控制，定制数据集的加载和处理方式。

快速入门

用户可以通过官方的 开始使用指南 来安装和使用 TensorFlow Datasets。以下是一个简单的代码示例，展示了如何加载和处理常用的 MNIST 数据集：

# !pip install tensorflow-datasets
import tensorflow_datasets as tfds
import tensorflow as tf

# 加载并构造一个 tf.data.Dataset 对象
ds = tfds.load('mnist', split='train', as_supervised=True, shuffle_files=True)

# 构建数据输入管道
ds = ds.shuffle(1000).batch(128).prefetch(10).take(5)
for image, label in ds:
  pass

如何请求与添加数据集

对于用户想要特定数据集而库中未包含的情况，TFDS 提供了简单的方法来添加新数据集。用户可以按照 指南 来添加数据集，或者通过在 GitHub 上提交数据集请求来建议特定数据集。

注释与免责声明

在用于任何学术研究或文章中引用 tensorflow-datasets 时，用户可以使用以下的引用格式：

@misc{TFDS,
  title = {{TensorFlow Datasets}, A collection of ready-to-use datasets},
  howpublished = {\url{https://www.tensorflow.org/datasets}},
}

需要注意的是，TFDS 是一个实用程序库，它下载并准备公共数据集。它不会托管或分发数据集，也不对它们的质量或公正性负责。用户需自行确定是否有使用数据集的权限。

若用户是某个数据集的拥有者，需要更新数据集的描述、引用等信息，或者不希望数据集被包含在库中，可以通过 GitHub 提交问题与开发团队联系。TFDS 在推动机器学习社区进步中扮演着重要角色，而社区的贡献对于不断完善库功能至关重要。

最后，tensorflow/datasets 遵循 Apache 2.0 许可协议。