PyTorch Forecasting: 简化神经网络时间序列预测

PyTorch Forecasting: 简化神经网络时间序列预测

PyTorch Forecasting 是一个基于 PyTorch 的开源 Python 包,旨在简化使用最先进的神经网络架构进行时间序列预测。它为数据科学从业者和研究人员提供了一个高级 API,可以轻松地在 pandas 数据框上训练网络模型,同时利用 PyTorch Lightning 实现可扩展的训练,支持在 CPU、单个或多个 GPU 上进行训练,并提供自动日志记录功能。

主要特性

PyTorch Forecasting 的目标是为实际应用和研究提供最先进的时间序列预测功能。该包提供了以下主要特性:

1. 时间序列数据集类:抽象处理变量转换、缺失值、随机子采样、多种历史长度等。

2. 基础模型类:提供时间序列模型的基本训练功能,包括 TensorBoard 日志记录和通用可视化,如实际值与预测值对比图和依赖关系图。

3. 多种神经网络架构:提供多种针对时间序列预测的神经网络架构,这些架构经过优化可用于实际部署,并具有内置的解释能力。

4. 多步预测指标:提供多种用于评估多步预测的时间序列指标。

5. 超参数调优:集成 Optuna 库用于超参数调优。

安装

PyTorch Forecasting 可以通过 pip 或 conda 安装:

pip install pytorch-forecasting

或

conda install pytorch-forecasting pytorch -c pytorch>=1.7 -c conda-forge

可用模型

PyTorch Forecasting 提供了多种先进的时间序列预测模型:

1. Temporal Fusion Transformers: 用于可解释的多步时间序列预测,在基准测试中比亚马逊的 DeepAR 模型性能提高了 36-69%。

2. N-BEATS: 用于可解释的时间序列预测的神经基扩展分析,在 M4 竞赛中(作为集成模型)超越了所有其他方法,包括传统统计方法的集成。

3. N-HiTS: 支持协变量并持续击败 N-BEATS 的神经分层插值时间序列预测模型,特别适合长期预测。

4. DeepAR: 基于自回归递归网络的概率预测模型,是最流行的预测算法之一,常用作基准。

5. 简单标准网络:用于基准测试的 LSTM、GRU 网络以及解码器上的 MLP。

6. 基线模型:始终预测最新已知值的基线模型。

使用示例

以下是使用 PyTorch Forecasting 训练 Temporal Fusion Transformer 模型的简单示例:

import lightning.pytorch as pl
from lightning.pytorch.loggers import TensorBoardLogger
from lightning.pytorch.callbacks import EarlyStopping, LearningRateMonitor
from pytorch_forecasting import TimeSeriesDataSet, TemporalFusionTransformer, QuantileLoss
from lightning.pytorch.tuner import Tuner

# 加载数据
data = ...  # 这是一个 pandas DataFrame

# 定义数据集
max_encoder_length = 36
max_prediction_length = 6
training_cutoff = "YYYY-MM-DD"  # 截止日期

training = TimeSeriesDataSet(
    data[lambda x: x.date <= training_cutoff],
    time_idx= ...,  # 观察时间的列名
    target= ...,  # 预测目标的列名
    group_ids=[ ... ],  # 时间序列 ID 的列名
    max_encoder_length=max_encoder_length,
    max_prediction_length=max_prediction_length,
    static_categoricals=[ ... ],
    static_reals=[ ... ],
    time_varying_known_categoricals=[ ... ],
    time_varying_known_reals=[ ... ],
    time_varying_unknown_categoricals=[ ... ],
    time_varying_unknown_reals=[ ... ],
)

# 创建验证数据集
validation = TimeSeriesDataSet.from_dataset(training, data, min_prediction_idx=training.index.time.max() + 1, stop_randomization=True)

# 转换数据集为 DataLoader
batch_size = 128
train_dataloader = training.to_dataloader(train=True, batch_size=batch_size, num_workers=2)
val_dataloader = validation.to_dataloader(train=False, batch_size=batch_size, num_workers=2)

# 创建 PyTorch Lightning Trainer
early_stop_callback = EarlyStopping(monitor="val_loss", min_delta=1e-4, patience=1, verbose=False, mode="min")
lr_logger = LearningRateMonitor()
trainer = pl.Trainer(
    max_epochs=100,
    accelerator="auto",
    gradient_clip_val=0.1,
    limit_train_batches=30,
    callbacks=[lr_logger, early_stop_callback],
    logger=TensorBoardLogger("lightning_logs")
)

# 定义模型
tft = TemporalFusionTransformer.from_dataset(
    training,
    hidden_size=32,
    attention_head_size=1,
    dropout=0.1,
    hidden_continuous_size=16,
    loss=QuantileLoss(),
    log_interval=2,
    learning_rate=0.03,
    reduce_on_plateau_patience=4
)

# 找到最佳学习率
res = Tuner(trainer).lr_find(
    tft, train_dataloaders=train_dataloader, val_dataloaders=val_dataloader, early_stop_threshold=1000.0, max_lr=0.3,
)

# 训练模型
trainer.fit(
    tft, train_dataloaders=train_dataloader, val_dataloaders=val_dataloader,
)

这个示例展示了如何使用 PyTorch Forecasting 加载数据、创建数据集、定义模型、找到最佳学习率并训练模型。

结论

PyTorch Forecasting 为时间序列预测提供了一个强大而灵活的框架。通过提供高级 API 和先进的模型架构,它使得使用神经网络进行时间序列预测变得更加简单和高效。无论是对于数据科学实践者还是研究人员,PyTorch Forecasting 都是一个值得考虑的工具,可以帮助他们更好地处理时间序列预测任务。

通过使用 PyTorch Forecasting,用户可以轻松地实现复杂的时间序列预测模型,同时享受 PyTorch 生态系统的所有优势。无论是进行需求预测、价格优化还是其他涉及时间序列的任务,PyTorch Forecasting 都提供了必要的工具和模型来提高预测准确性和效率。

随着深度学习在时间序列预测领域的不断发展,PyTorch Forecasting 将继续跟进最新的研究成果,为用户提供最先进的预测模型和技术。这使得它成为一个既适合实际应用又适合学术研究的理想工具。

总之,PyTorch Forecasting 为时间序列预测带来了深度学习的力量,同时保持了使用的简便性。它的出现无疑将推动时间序列预测技术的进步,为各行各业带来更准确、更可靠的预测能力。