AutoTS: 强大的自动化时间序列预测工具

AutoTS简介

AutoTS是一个功能强大的Python时间序列预测库,专为快速部署高精度的大规模预测而设计。该项目由Colin Catlin开发,也被称为Project CATS (Catlin's Automated Time Series)。

AutoTS Logo

AutoTS的核心优势在于其自动化的特性和出色的性能。2023年,AutoTS在著名的M6预测竞赛中脱颖而出,在12个月的股市预测中提供了最高性能的投资决策,充分展示了其强大的预测能力。

主要特性

多样化的模型支持:AutoTS包含数十种预测模型,涵盖了朴素模型、统计模型、机器学习模型和深度学习模型。这些模型都遵循sklearn风格的.fit()和.predict()接口,使用起来非常方便。
时间序列特定转换:AutoTS提供了30多种专门用于时间序列的转换方法,同样遵循sklearn风格的.fit(), .transform()和.inverse_transform()接口。
直接支持Pandas DataFrame:所有模型和转换方法都可以直接处理Pandas DataFrame,无需转换为专有对象格式。
多变量和概率预测:所有模型都支持多变量(多个时间序列)输出,以及概率(上/下界)预测。
可扩展性:大多数模型可以轻松扩展到处理数万甚至数十万个输入序列。
外生回归器支持:许多模型支持传入用户定义的外生回归器。
AutoML特征搜索:所有模型都设计用于集成到AutoML特征搜索中,通过遗传算法自动为给定数据集找到最佳的模型、预处理和集成方法。
高级集成方法:水平和马赛克风格的集成是AutoTS的旗舰集成类型,允许每个序列获得最准确的模型,同时保持可扩展性。

安装和基本使用

安装

AutoTS的安装非常简单,只需要一行命令:

pip install autots

这将安装基本模型所需的依赖项。对于某些高级模型和方法,可能需要安装额外的包。

基本使用

AutoTS支持两种数据输入格式:长格式和宽格式。

宽格式:一个pandas.DataFrame,带有pandas.DatetimeIndex,每列代表一个不同的序列。
长格式:包含三列 - 日期、序列ID和值。

以下是一个基本使用示例:

from autots import AutoTS, load_daily

# 加载示例数据
long = False
df = load_daily(long=long)

# 创建并配置AutoTS模型
model = AutoTS(
    forecast_length=21,
    frequency='infer',
    prediction_interval=0.9,
    ensemble='auto',
    model_list="fast",  # 可选: "superfast", "default", "fast_parallel"
    transformer_list="fast",  # 可选: "superfast"
    drop_most_recent=1,
    max_generations=4,
    num_validations=2,
    validation_method="backwards"
)

# 拟合模型
model = model.fit(
    df,
    date_col='datetime' if long else None,
    value_col='value' if long else None,
    id_col='series_id' if long else None,
)

# 进行预测
prediction = model.predict()

# 绘制样本图
prediction.plot(model.df_wide_numeric,
                series=model.df_wide_numeric.columns[0],
                start_date="2019-01-01")

# 打印最佳模型详情
print(model)

# 获取点预测结果
forecasts_df = prediction.forecast

# 获取上下界预测结果
forecasts_up, forecasts_low = prediction.upper_forecast, prediction.lower_forecast

# 获取所有尝试过的模型结果
model_results = model.results()

# 获取交叉验证的聚合结果
validation_results = model.results("validation")

性能优化技巧

为了在处理大规模数据时获得更好的性能,AutoTS提供了一些有用的技巧:

使用适当的模型列表:
- superfast: 简单的朴素模型
- fast: 更复杂但仍然较快的模型,针对多序列优化
- fast_parallel: 适合多核CPU环境
- scalable: 最适合避免在处理大量序列时崩溃
利用subset参数:当有许多相似的序列时,subset=100通常可以很好地推广到成千上万个相似序列。
使用model_interrupt=True:允许在按下ctrl+c时跳过当前模型。
利用.fit()的result_file方法:在每一代后保存进度,有助于保存长时间训练的进度。
调整转换参数:降低transformer_max_depth可以提高速度。
使用pandas UDF:对于非常大的数据集,考虑使用pandas UDF来分布式处理。
调整集成方法:
- ensemble='horizontal-max'与model_list='no_shared_fast'结合使用可以在多核CPU环境中较好地扩展。
减少验证:减少num_validations和models_to_validate可以降低运行时间,但可能导致模型选择不够理想。
考虑上采样:对于具有大量记录的数据集,上采样(例如,从每日频率到每月频率)可以减少训练时间。
预填充NaN值:如果不需要搜索最佳的NaN填充方法,请在传递给类之前填充任何NaN。
调整metric_weighting:增加runtime_weighting的值可以引导搜索朝更快的模型方向进行,但可能会牺牲一些准确性。