PyAF（Python自动预测）

PyAF是一个基于流行的数据科学Python模块（NumPy、SciPy、Pandas和scikit-learn）构建的开源Python自动预测库。

PyAF作为一个自动化过程，使用机器学习方法预测信号的未来值。它提供了一套与一些流行的商业自动预测产品相当的功能。

PyAF使用Python 3.x版本进行开发、测试和基准测试。

PyAF基于3-Clause BSD许可证分发。

演示

import numpy as np, pandas as pd
import pyaf.ForecastEngine as autof

if __name__ == '__main__':
   # 在pandas数据框中生成覆盖2016年一整年的每日信号
   N = 360
   df_train = pd.DataFrame({"Date": pd.date_range(start="2016-01-25", periods=N, freq='D'),
   	                    "Signal": (np.arange(N)//40 + np.arange(N) % 21 + np.random.randn(N))})
				  
   # 创建预测引擎，这是处理所有操作的主要对象
   lEngine = autof.cForecastEngine()

   # 获取用于预测一周的最佳时间序列模型
   lEngine.train(iInputDS=df_train, iTime='Date', iSignal='Signal', iHorizon=7);
   lEngine.getModelInfo() # => 相对误差7%（MAPE）

   # 预测一周
   df_forecast = lEngine.forecast(iInputDS=df_train, iHorizon=7)
   # 列出预测数据集的列
   print(df_forecast.columns)

   # 打印实际预测结果
   # 未来日期：['2017-01-19T00:00:00.000000000' '2017-01-20T00:00:00.000000000' '2017-01-21T00:00:00.000000000' '2017-01-22T00:00:00.000000000' '2017-01-23T00:00:00.000000000' '2017-01-24T00:00:00.000000000' '2017-01-25T00:00:00.000000000']
   print(df_forecast['Date'].tail(7).values)

   # 信号预测：[ 9.74934646  10.04419761  12.15136455  12.20369717  14.09607727 15.68086323  16.22296559]
   print(df_forecast['Signal_Forecast'].tail(7).values)

也可作为Jupyter笔记本使用

特性

PyAF允许以完全自动化的方式预测时间序列（或信号）的未来值。为了构建预测，PyAF利用时间信息（通过识别长期演变和周期性模式），分析信号的过去，利用外生数据（用户提供的可能与信号相关的时间序列）以及信号的层次结构（例如，通过聚合空间组件预测）。

PyAF使用Pandas作为数据访问层。它消耗来自pandas数据框（包含时间和信号列）的数据，构建时间序列模型，并将预测结果输出到pandas数据框中。Pandas是一个出色的数据访问层，它允许读取/写入大量文件格式，访问各种数据源（数据库），并具有一套广泛的算法来处理数据框（聚合、统计、线性代数、绘图等）。

PyAF的统计时间序列模型使用scikit-learn构建/估计/训练。 以下功能可用：

1. 训练模型以预测时间序列（在包含时间和信号列的pandas数据框中给出）。

   • PyAF使用机器学习方法（将信号分为估计部分和验证部分，分别占信号的80%和20%）。
   • 也可以使用时间序列交叉验证。

2. 在给定的预测期内预测时间序列模型（预测结果也是pandas数据框），并为预测提供预测/置信区间。

3. 通用训练功能

   • 将信号分解为趋势、周期和AR组件的总和。
   • PyAF作为全面的可能信号转换和线性分解集之间的竞争工作。对于每个转换后的信号，生成一组可能的趋势、周期组件和AR模型，并估计所有可能的组合。保留性能最佳的分解来预测信号（性能是在未用于估计的部分信号上计算的）。
   • 在信号分解之前支持信号转换。默认支持四种转换。其他转换也可用（如Box-Cox等）。
   • 所有模型都使用标准程序和最先进的时间序列建模进行估计。例如，趋势回归和AR/ARX模型使用scikit-learn线性回归模型进行估计。
   • 使用标准性能指标（L1、RMSE、MAPE、MedAE、LnQ等）

4. PyAF分析时间变量并从数据中推断频率。

   • 支持自然时间频率：分钟、小时、日、周和月。
   • 如果数据按相应方式记录，支持奇特的频率，如每3.2天或每17分钟（每隔一个星期一 => 两周频率）。
   • 默认情况下，频率计算为连续观测之间的平均持续时间（作为pandas DateOffset）。
   • 频率用于自动生成未来日期的值。
   • 当日期不规则观测时，PyAF尽力处理。在这种情况下，时间频率是近似的。
   • 也支持实数/整数值（伪）日期，并以类似方式处理。

5. 外生数据支持

   • 可以提供外生数据来改善预测。这些数据预期存储在外部数据框中（该数据框将与训练数据框合并）。
   • 外生数据通过其过去值集成到建模过程中（ARX模型）。
   • 外生变量可以是任何类型（数值、字符串、日期或对象）。
   • 非数值类型的外生变量进行虚拟编码，数值类型进行标准化。

6. PyAF实现分层预测。遵循Rob J Hyndman和George Athanasopoulos的书中使用的优秀方法。感谢@robjhyndman

   • 支持层次结构和分组时间序列。
   • 实现了自下而上、自上而下（使用比例）、中间输出和最优组合方法。

7. 建模过程是可定制的，有大量选项。这些选项的默认值应该足以在有限时间内（几分钟）生成合理质量的模型。

   • 这些选项提供了完整的信号转换和类AR模型集合，默认情况下不启用。
   • 引入Logit、Fisher变换以及XGBoost、支持向量回归、Croston间歇性模型、LGBM等。
   • 默认情况下，PyAF使用快速模式，激活许多流行模型。也可以激活慢速模式，PyAF将探索所有可能的模型。
   • 可以定制特定模型和功能。

8. 建立了基准测试过程（使用M1、M2、M3竞赛、NN3、 NN5预测竞赛)。

• 这个过程将用于控制未来版本PyAF引入的建模变更的质量。已创建一个相关的GitHub问题。
• 基准数据/报告保存在单独的GitHub仓库中。
• 来自M1预测竞赛的1001个数据集的样本基准报告。

8. 使用matplotlib的基本绘图功能，包括标准时间序列和预测图。

9. 软件质量亮点

   • 系统设计采用面向对象的方法。关注点分离是这里的关键因素。
   • 完全用Python编写，使用NumPy、SciPy、Pandas和scikit-learn对象。出于性能考虑，尽量在各处采用基于列的方法（遵守一些建模时间和内存约束）。
   • 内部使用受scikit-learn启发的拟合/预测模式，以估计/预测不同的信号组件（趋势、周期和AR模型）。
   • 采用测试驱动开发（TDD）方法。测试脚本位于tests目录中，每个功能一个目录。
   • TDD意味着即使是最新的功能也在此目录中有一些示例脚本。想知道如何在PyAF中使用交叉验证吗？这里有一些脚本。
   • 提供一些Jupyter笔记本用于演示目的，包含标准时间序列和预测图。
   • 训练和预测的API非常简单。

10. 提供基本的RESTful Web服务（Flask）。

    • 该服务允许通过在JSON请求体中提供信号的最小规范（至少是包含数据的CSV文件链接）来构建时间序列模型、预测未来数据和一些标准图表。
    • 更多详情请参阅此文档和相关的GitHub问题。 PyAF 是一个正在进行中的项目。功能集正在不断发展。我们非常欢迎您提出功能请求、评论、帮助和建议。

安装

PyAF 已在 Python 3.x 版本上开发、测试和使用。

可以通过 PyPI 安装最新的官方发布版本：

pip install pyaf

也可以通过执行以下命令安装开发版本：

pip install scipy pandas scikit-learn matplotlib pydot xgboost statsmodels
pip install --upgrade git+git://github.com/antoinecarme/pyaf.git

开发

欢迎代码贡献。欢迎提交错误报告、新功能请求、文档和测试。请使用 GitHub 平台进行这些任务。

您可以使用以下命令从 GitHub 检出 PyAF 的最新源代码：

git clone http://github.com/antoinecarme/pyaf.git

项目历史

该项目始于 2016 年夏天，最初是一个概念验证，旨在检验基于 Python 现有数据科学软件（NumPy、SciPy、Pandas、scikit-learn 等）构建自动预测工具的可行性。

有关贡献者的完整列表，请参阅 AUTHORS.rst 文件。

帮助和支持

PyAF 目前由原开发者维护。我们会尽可能提供 PyAF 支持。即使您不创建问题，我们也鼓励您遵循这些指南。

欢迎提交错误报告、改进请求、文档、提示和测试脚本。请使用 GitHub 平台进行这些任务。

请不要过多询问新功能。PyAF 仅涉及预测（最后一个 F）。为了保持 PyAF 设计的简单性和灵活性，我们避免功能蔓延。

对于您的商业预测项目，请考虑使用附近预测专家的服务（无论是 R 还是 Python 专家）。

文档

这里提供了一个使用 PyAF 进行时间序列预测的入门笔记本。它包含一些真实世界的示例和用例。

这里提供了一个描述外生数据使用的特定笔记本。

描述层次预测模型示例的笔记本分别适用于信号层次和分组信号。

Python 代码尚未完全记录。这是一个优先事项（待办事项）。

交流

欢迎评论、赞赏、意见等。如果您在项目或出版物中使用此库，我们欢迎您的反馈。