Neptune-client 入门指南 - 为基础模型训练打造的实验追踪工具

Neptune-client 简介

Neptune-client 是一款专为基础模型训练设计的实验追踪工具。它可以帮助机器学习团队记录、组织和比较数百万次实验运行，实现高效的模型开发流程。

Neptune logo

主要特性

Neptune-client 具有以下核心功能:

日志记录与展示
- 支持任何框架:PyTorch、TensorFlow、Keras等
- 记录任何类型的元数据:指标、参数、数据集版本等
- 可从ML管道的任何位置记录日志
实验组织
- 嵌套的元数据结构
- 自定义仪表板
- 自定义表格视图
结果比较
- 比较学习曲线、参数、图像等
- 搜索、排序和过滤实验
- 实时监控硬件使用情况
模型版本控制
- 版本控制模型
- 审查和更改模型阶段
- 访问和共享模型
结果共享
- 分享持久链接
- 通过API查询元数据
- 管理用户和项目

快速入门

创建免费账户: 注册 Neptune
安装 Neptune 客户端库:

pip install neptune

在代码中添加实验追踪片段:

import neptune

run = neptune.init_run(project="workspace-name/project-name")
run["parameters"] = {"lr": 0.1, "dropout": 0.4}
run["test_accuracy"] = 0.84

与其他 MLOps 工具集成

Neptune-client 可以与 25+ 种框架集成,包括 PyTorch Lightning、TensorFlow、Keras、scikit-learn 等。

以下是与 PyTorch Lightning 集成的示例:

from pytorch_lightning import Trainer
from lightning.pytorch.loggers import NeptuneLogger

neptune_logger = NeptuneLogger(
    api_key=ANONYMOUS_API_TOKEN,
    project="common/pytorch-lightning-integration",
    tags=["training", "resnet"],
)

trainer = Trainer(max_epochs=10, logger=neptune_logger)
trainer.fit(my_model, my_dataloader)