CEEMDAN_LSTM

GitHub: https://github.com/FateMurphy/CEEMDAN_LSTM 未来工作：CFS

背景

CEEMDAN_LSTM 是一个基于 EMD 方法和 LSTM 的分解-集成预测模型的 Python 模块。它旨在帮助初学者快速使用 CEEMDAN（带自适应噪声的完整集成经验模态分解）和 LSTM（长短期记忆循环神经网络）进行分解-集成预测。如果您使用或参考本模块的内容，请引用以下论文：（F. Zhou, Z. Huang, C. Zhang, 基于 CEEMDAN 和 LSTM 的碳价预测, Applied Energy, 2022, Volume 311, 118601, ISSN 0306-2619.）。

流程图

注意，由于它首先对整个序列进行分解，因此存在一些前瞻性偏差。

安装

(1) PyPi（推荐）

安装软件包最快的方法是通过 pip。

pip install CEEMDAN_LSTM

(2) 从软件包安装

通过点击 Code -> Download ZIP 下载 CEEMDAN_LSTM-1.2.tar.gz 软件包。解压后，将软件包移动到您喜欢的位置。

pip install .(您的文件路径)/CEEMDAN_LSTM-1.2.tar.gz

(3) 从源代码安装

如果您想修改代码，应该下载源代码并自行构建软件包。源代码公开可用，托管在 GitHub 上：https://github.com/FateMurphy/CEEMDAN_LSTM。要下载代码，您可以访问源代码页面并点击 Code -> Download ZIP，或使用 git 命令行。 修改代码后，可以使用命令行安装修改后的软件包：

python setup.py install

或者，您可以链接到路径以方便修改，例如 sys.path.append(.您的文件路径/)，然后导入。

导入并快速预测

import CEEMDAN_LSTM as cl
cl.quick_keras_predict(data=None) # 默认数据集：sse_index.csv

加载数据集

data = cl.load_dataset() # 一些内置数据集，如 sp500.csv hsi.csv ftse.csv nsdaq.csv n225.csv
# data = pd.read_csv(您的文件路径 + 文件名 + '.csv', header=0, index_col=['date'], parse_dates=['date'])

帮助和示例

您可以使用代码调用帮助。您可以从 cl.show_keras_example() 的输出中复制代码来运行预测并帮助您更好地了解代码。

cl.help()
cl.show_keras_example()
cl.show_keras_example_model()
cl.details_keras_predict(data=None)

开始预测

以 Class: keras_predictor() 为例。

简要总结和预测

data = cl.load_dataset()
series = data['close'] # 选择一个 DataFrame 列
cl.statis_tests(series)
kr = cl.keras_predictor()
df_result = kr.hybrid_keras_predict(data=series, show=True, plot=True, save=True)

0. 统计测试（非必需）

代码将输出 ADF 检验、Ljung-Box 检验和 Jarque-Bera 检验的结果，并绘制 ACF 和 PACF 图以评估平稳性、自相关性和正态性。

cl.statis_tests(series=None)

1. 声明参数

注意，在声明 PATH 时，将自动创建文件夹，包括图表和日志文件夹。

kr = cl.keras_predictor(PATH=None, FORECAST_HORIZONS=30, FORECAST_LENGTH=30, KERAS_MODEL='GRU', 
                        DECOM_MODE='CEEMDAN', INTE_LIST='auto', REDECOM_LIST={'co-imf0':'ovmd'},
                        NEXT_DAY=False, DAY_AHEAD=1, NOR_METHOD='minmax', FIT_METHOD='add', 
                        USE_TPU=False, **kwargs))

超参数	描述
PATH	图表和日志的保存路径，例如 'D:/CEEMDAN_LSTM/'
FORECAST_HORIZONS	每个输入行的长度（x_train.shape），表示与今天相关的前几天数量，在一些论文中也称为时间步长、预测视野或滑动窗口长度
FORECAST_LENGTH	要预测的天数（测试集长度）
KERAS_MODEL	Keras 模型，例如 'GRU'、'LSTM'、'DNN'、'BPNN'、model = Sequential() 或 load_model
DECOM_MODE	分解方法，例如 'EMD'、'EEMD'、'CEEMDAN'、'VMD'、'OVMD'、'SVMD'
INTE_LIST	集成列表，例如 'auto'、pd.Dataframe、(int) 3、(str) '233'、(list) [0,0,1,1,1,2,2,2]...
REDECOM_LIST	重新分解列表，例如 '{'co-imf0':'vmd', 'co-imf1':'emd'}'、pd.DataFrame
NEXT_DAY	设置为 True 仅预测下一个样本外值
DAY_AHEAD	定义预测未来 n 天，例如 0、1、2（默认为整数 1）
NOR_METHOD	归一化方法，例如 'minmax'-MinMaxScaler、'std'-StandardScaler，否则不进行归一化
FIT_METHOD	用于稳定预测结果的拟合方法（不一定有用），例如 'add'、'ensemble'（ensemble FIT_METHOD 有一些错误，请使用 add 方法作为默认值）
USE_TPU	将 Keras 模型更改为 TPU 模型（适用于 Google Colab）

Keras 参数	描述（更多详情请参考 https://keras.io）
epochs	训练轮数/迭代次数，例如 30-1000
dropout	3 个 dropout 层的丢弃率，例如 0.2-0.5
units	网络层的单元数，（3 层）将设置为 4units、2units、units，例如 4-32
activation	激活函数，所有层都相同，例如 'tanh'、'relu'
batch_size	用于并行计算的训练批次大小，例如 4-128
shuffle	是否在训练过程中随机打乱训练集，例如 True、False
verbose	训练过程的报告，例如 0 不显示、1 详细、2 粗略
valid_split	训练过程中验证集的比例，例如 0.1-0.2
opt	网络优化器，例如 'adam'、'sgd'
opt_lr	优化器学习率，例如 0.001-0.1
opt_loss	优化器损失函数，例如 'mse'、'mae'、'mape'、'hinge'，参考 https://keras.io/zh/losses/
opt_patience	自适应学习率的优化器耐心值，例如 10-100
stop_patience	提前停止的耐心值，例如 10-100

2. 预测

你可以尝试以下预测方法。注意，kr.是在第1步中定义的类，代码中必须使用。

df_result = kr.single_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.ensemble_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.respective_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.hybrid_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.multiple_keras_predict(data, show=True, plot=True, save=True)

预测方法	描述
单一方法	使用Keras模型直接对向量输入进行预测
集成方法	使用分解-集成Keras模型直接对矩阵输入进行预测
分别预测方法	使用分解-集成Keras模型分别对每个IMF进行向量输入预测
混合方法	使用集成方法预测高频IMF，使用分别预测方法预测其他IMF
多次方法	多次运行上述方法
滚动方法	滚动运行上述方法以避免前瞻偏差，但需要很长时间

3. 验证

(1) 绘制热力图

你需要先安装seaborn，输入应为2D数组。

cl.plot_heatmap(data, corr_method='pearson', fig_path=None)

(2) Diebold-Mariano检验（DM检验）

DM检验将输出DM检验统计量及其p值。你可以参考 https://github.com/johntwk/Diebold-Mariano-Test。

rt = cl.dm_test(actual_lst, pred1_lst, pred2_lst, h=1, crit="MSE", power=2)

4. 次日预测

设置 NEXT_DAY=True。

kr = cl.keras_predictor(NEXT_DAY=True)
df_result = kr.hybrid_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.rolling_keras_predict(data, predict_method='single')

Sklearn预测

你可以尝试以下预测方法。注意，sr.是定义的类，代码中必须使用。

# SKLEARN_MODEL = LASSO, SVM, 或 LGB(LightGBM); OPTIMIZER = Bayes, GS(GridSearch)
sr = cl.sklearn_predictor(PATH=path, FORECAST_HORIZONS=30, FORECAST_LENGTH=30,
                          SKLEARN_MODEL='LASSO', OPTIMIZER='Bayes',
                          DECOM_MODE='OVMD', INTE_LIST='auto')
df_result = sr.single_sklearn_predict(data, show=True, plot=True, save=True)
# df_result = sr.respective_sklearn_predict(data, show=True, plot=True, save=True)
# df_result = sr.multiple_sklearn_predict(series_close, run_times=10, predict_method='single')

讨论

1. 前瞻偏差

由于预测器会先对整个序列进行分解，然后再划分训练集和测试集，因此存在前瞻偏差。如何避免前瞻偏差仍是一个问题。

2. VMD分解

vmdpy模块只能分解偶数长度的时间序列。当预测奇数长度的序列时，该模块会删除最早的一个数据点。如何修改VMD分解仍是一个问题。此外，选择K参数对VMD方法很重要，因此我将添加一些方法来选择合适的K，比如OVMD、REI、SampEn等。

3. 滚动预测

滚动预测需要大量时间。例如，30步长的预测需要运行30次cl.hybrid_keras_predict()，所以我不确定它是否真的有效。