统一时间序列模型

UniTS是一个统一的时间序列模型，它可以使用共享参数处理多个领域的各种任务，且没有任何特定任务的模块。

作者：Shanghua Gao Teddy Koker Owen Queen Thomas Hartvigsen Theodoros Tsiligkaridis Marinka Zitnik

概述

基础模型，尤其是大型语言模型（LLMs），正在深刻改变深度学习。我们不再需要训练许多特定任务的模型，而是可以通过少样本提示或微调来适应单个预训练模型到多个任务。然而，当前的基础模型适用于序列数据，但不适用于时间序列，后者由于固有的多样化和多领域时间序列数据集、预测、分类和其他类型任务的不同规格，以及明显需要任务专门化模型而带来独特挑战。

我们开发了UniTS，一个统一的时间序列模型，支持通用任务规范，包括分类、预测、插值和异常检测任务。这是通过一个新颖的统一网络骨架实现的，该骨架结合了序列和变量注意力以及动态线性算子，并作为一个统一模型进行训练。

在38个多领域数据集上，UniTS相比特定任务模型和重新利用的基于自然语言的LLMs展示了卓越的性能。当在新的数据领域和任务上评估时，UniTS表现出了显著的零样本、少样本和提示学习能力。

设置

1. 要求

安装Pytorch2.0+和所需的包。

pip install -r requirements.txt

2. 准备数据

bash download_data_all.sh

不同多任务设置的数据集配置显示在data_provider文件夹的.ymal文件中。

默认情况下，所有实验都遵循多任务设置，其中一个UniTS模型在多个数据集上联合训练。

3. 训练和评估模型

1. 预测和分类任务的多任务学习：

预训练 + 提示学习

bash ./scripts/pretrain_prompt_learning/UniTS_pretrain_x128.sh

监督学习

bash ./scripts/supervised_learning/UniTS_supervised.sh

2. 新预测和分类任务的少样本迁移学习：

注意：请按照以下训练脚本中的指示先获取预训练的检查点。

微调

# 请在脚本中设置预训练模型路径。
bash ./scripts/few_shot_newdata/UniTS_finetune_few_shot_newdata_pct20.sh

提示调优

# 请在脚本中设置预训练模型路径。
bash ./scripts/few_shot_newdata/UniTS_prompt_tuning_few_shot_newdata_pct20.sh

3. 异常检测任务的小样本迁移学习：

微调

# 请在脚本中设置预训练模型路径。
bash ./scripts/few_shot_anomaly_detection/UniTS_finetune_few_shot_anomaly_detection.sh

提示调优

# 请在脚本中设置预训练模型路径。
bash ./scripts/few_shot_anomaly_detection/UniTS_prompt_tuning_few_shot_anomaly_detection.sh

4. 插补任务的小样本迁移学习：

微调

# 请在脚本中设置预训练模型路径。
bash ./scripts/few_shot_imputation/UniTS_finetune_few_shot_imputation_mask050.sh

提示调优

# 请在脚本中设置预训练模型路径。
bash ./scripts/few_shot_imputation/UniTS_prompt_tuning_few_shot_imputation_mask050.sh

5. 新预测长度的零样本学习：

# 请在脚本中设置预训练模型路径。
bash ./scripts/zero_shot/UniTS_forecast_new_length_unify.sh

6. 新预测数据集的零样本学习：

# 此设置需要训练一个具有共享提示/掩码标记的特殊版本UniTS。
bash ./scripts/zero_shot/UniTS_zeroshot_newdata.sh

在您自己的数据上使用UniTS

UniTS是一个高度灵活的统一时间序列模型，支持使用单一共享模型和共享权重进行预测、分类、插补和异常检测等任务。我们提供了一个教程来帮助您在UniTS上使用自己的数据。

预训练权重

我们在checkpoints中提供了上述提到的模型的预训练权重。

引用

@article{gao2024building,
  title={UniTS: Building a Unified Time Series Model},
  author={Gao, Shanghua and Koker, Teddy and Queen, Owen and Hartvigsen, Thomas and Tsiligkaridis, Theodoros and Zitnik, Marinka},
  journal={arXiv},
  url={https://arxiv.org/pdf/2403.00131.pdf},
  year={2024}
}