HyperTS：全管道自动化时间序列分析工具包

HyperTS简介

HyperTS是由DataCanvas公司开发的一款全面而强大的时间序列分析工具包。它为用户提供了端到端的自动化时间序列分析解决方案，涵盖了从数据清洗、预处理、特征工程到模型选择、超参数优化、结果评估和可视化的完整工作流程。

HyperTS的设计理念是"多模式驱动，轻重结合"。它支持统计模型(STATS)、深度学习(DL)和神经架构搜索(NAS)三种模式，用户可以根据需求灵活切换，以获得强大的时间序列估计器。作为一个易用且门槛较低的API，用户只需简单运行实验，就可以得到一个模型，然后执行 .predict()、.predict_proba()、.evaluate()、.plot()等方法进行各种时间序列分析。

主要特性

HyperTS支持以下主要特性：

1. 多任务支持：时间序列预测、分类、回归和异常检测。
2. 多模式支持：集成了大量时间序列模型，包括统计模型(如Prophet、ARIMA、VAR、iForest等)、深度学习模型(如DeepAR、GRU、LSTNet、NBeats、VAE等)，以及神经架构搜索。
3. 多变量支持：从单变量到多变量时间序列分析。
4. 协变量支持：深度学习模型支持将协变量作为输入特征用于时间序列预测。
5. 概率区间支持：时间序列预测可视化可以显示置信区间。
6. 多样化预处理：异常值裁剪、缺失值填充、序列平滑、归一化等。
7. 丰富的评估指标：提供多种性能指标来评估结果和指导模型优化，包括MSE、SMAPE、Accuracy、F1-Score等。
8. 强大的搜索策略：结合网格搜索、蒙特卡罗树搜索、进化算法和元学习器，实现强大而高效的时间序列分析流程。
9. 集成学习：通过精炼贪婪集成方法，将最强大的模型组合在一起。
10. 交叉验证：多种时间序列交叉验证策略确保模型的泛化能力。

安装

HyperTS可以通过pip或conda安装。需要注意的是，HyperTS依赖Prophet，建议先通过conda安装Prophet，然后再用pip安装HyperTS。Tensorflow是HyperTS的可选依赖，如果需要使用DL和NAS模式，则需要安装Tensorflow。

通过pip安装：

pip install hyperts
pip install tensorflow  # 可选，建议版本：>=2.0.0,<=2.10.0

通过conda安装：

conda install -c conda-forge hyperts

如果想安装最新版本，可以直接从GitHub安装：

git clone git@github.com:DataCanvasIO/HyperTS.git
cd HyperTS
pip install -e . 
pip install tensorflow  # 可选，建议版本：>=2.0.0,<=2.10.0

更多安装提示，请参阅安装文档。

快速入门

下面我们通过一个简单的时间序列预测示例来快速了解HyperTS的使用：

from hyperts import make_experiment
from hyperts.datasets import load_network_traffic
from sklearn.model_selection import train_test_split

# 加载数据
data = load_network_traffic()
train_data, test_data = train_test_split(data, test_size=0.2, shuffle=False)

# 创建并运行实验
model = make_experiment(train_data.copy(),
                        task='multivariate-forecast',
                        mode='stats',
                        timestamp='TimeStamp',
                        covariates=['HourSin', 'WeekCos', 'CBWD']).run()

# 预测和评估
X_test, y_test = model.split_X_y(test_data.copy())
y_pred = model.predict(X_test)
scores = model.evaluate(y_test, y_pred)

# 可视化
model.plot(forecast=y_pred, actual=test_data)

这个例子展示了如何使用HyperTS进行多变量时间序列预测。我们首先加载网络流量数据，然后将数据分为训练集和测试集。接着，我们创建一个实验，指定任务类型为多变量预测，使用统计模型模式。运行实验后，我们得到一个训练好的模型，然后用它来进行预测、评估和可视化。

进阶使用

HyperTS不仅支持时间序列预测，还支持分类、回归和异常检测等任务。以下是一些进阶使用示例：

时间序列分类

from hyperts import make_experiment
from hyperts.datasets import load_basic_motions
from sklearn.metrics import f1_score
from sklearn.model_selection import train_test_split

data = load_basic_motions()
train_data, test_data = train_test_split(data, test_size=0.2)

model = make_experiment(train_data.copy(),
                        task='classification',
                        mode='dl',
                        tf_gpu_usage_strategy=1,
                        reward_metric='accuracy',
                        max_trials=30,
                        early_stopping_rounds=10).run()

X_test, y_test = model.split_X_y(test_data.copy())
y_pred = model.predict(X_test)
y_proba = model.predict_proba(X_test)

scores = model.evaluate(y_test, y_pred, y_proba=y_proba, metrics=['accuracy', 'auc', f1_score])
print(scores)

时间序列异常检测

from hyperts import make_experiment
from hyperts.datasets import load_real_known_cause_dataset
from sklearn.model_selection import train_test_split

data = load_real_known_cause_dataset()
ground_truth = data.pop('anomaly')

detection_length = 15000
train_data, test_data = train_test_split(data, test_size=detection_length, shuffle=False)

model = make_experiment(train_data.copy(),
                        task='detection',
                        mode='stats',
                        reward_metric='f1',
                        max_trials=30,
                        early_stopping_rounds=10).run()

X_test, _ = model.split_X_y(test_data.copy())
y_test = ground_truth.iloc[-detection_length:]

y_pred = model.predict(X_test)
y_proba = model.predict_proba(X_test)

scores = model.evaluate(y_test, y_pred, y_proba=y_proba)

model.plot(y_pred, actual=test_data, history=train_data, interactive=False)

时间序列元特征提取

from hyperts.toolbox import metafeatures_from_timeseries
from hyperts.datasets import load_random_univariate_forecast_dataset

data = load_random_univariate_forecast_dataset()

metafeatures = metafeatures_from_timeseries(x=data, timestamp='ds', scale_ts=True)

这些示例展示了HyperTS在不同时间序列任务中的应用。用户可以根据自己的需求，选择适合的任务类型和模型模式，轻松地进行各种时间序列分析。

高级配置

HyperTS提供了丰富的配置选项，允许用户根据具体需求进行调整。以下是一些常用的高级配置：

1. 模型选择：通过mode参数选择模型类型，如'stats'、'dl'或'nas'。
2. 评估指标：使用reward_metric参数指定优化目标，如'mse'、'mae'、'accuracy'等。
3. 搜索策略：可以通过searcher参数选择不同的搜索算法，如'random'、'evolution'等。
4. GPU使用：对于深度学习模型，可以通过tf_gpu_usage_strategy参数控制GPU使用策略。
5. 交叉验证：使用cv参数设置交叉验证策略，如'timeseries_split'。
6. 早停策略：通过early_stopping_rounds参数设置早停轮数，避免过拟合。
7. 自定义模型：HyperTS支持用户自定义模型和搜索空间，以满足特定需求。

更多高级配置选项，请参考高级配置文档。

社区与贡献

HyperTS是一个开源项目，欢迎社区成员参与贡献。如果您想为项目做出贡献，请参阅贡献指南。如果您有任何问题或想法，也可以参与讨论社区。

相关项目

HyperTS是DataCanvas AutoML工具包的一部分。其他相关项目包括：

• Hypernets：一个通用的自动机器学习（AutoML）框架。
• HyperGBM：集成各种GBM模型的全管道AutoML工具。
• HyperDT/DeepTables：用于表格数据的AutoDL工具。
• HyperKeras：基于Tensorflow和Keras的神经架构搜索和超参数优化AutoDL工具。
• HyperBoard：Hypernets的可视化工具。
• Cooka：轻量级交互式AutoML系统。

总结

HyperTS作为一个全面的时间序列分析工具包，为用户提供了强大而灵活的解决方案。它支持多种任务类型，集成了统计模型、深度学习和神经架构搜索等多种方法，并提供了易用的API接口。无论是初学者还是专业数据科学家，都能够利用HyperTS快速构建高质量的时间序列分析模型。

随着时间序列数据在各个领域的广泛应用，HyperTS的重要性将继续增长。我们期待看到更多创新应用和社区贡献，进一步推动时间序列分析技术的发展。🚀📊

如果您在项目中使用了HyperTS，欢迎引用并分享您的使用体验。让我们一起探索时间序列数据的无限可能！🌟