Tensorflow/Keras条件循环神经网络

基于时间不变数据对时间序列预测进行条件化。
ConditionalRecurrent是一个完全兼容的Keras包装器，支持任何循环层。

已在Tensorflow 2.9、2.10、2.11、2.12、2.13、2.14和2.15版本上测试通过（2023年11月17日）。

安装 / PyPI

ConditionalRecurrent可在PyPI上获取。你也可以从源代码安装。

pip install cond-rnn

什么是条件循环神经网络？

ConditionalRecurrent层在处理带有不依赖时间的外部输入的时间序列数据时非常有用。让我们考虑两个不同城市的天气数据：巴黎和旧金山。目标是预测下一个温度数据点。根据我们的知识，天气在不同城市的表现是不同的。你可以：

将辅助特征与时间序列数据结合（不太优雅！）。
将辅助特征与RNN层的输出连接。这是一种RNN后调整，因为RNN层不会看到这些辅助信息。
或者直接使用这个库！简而言之，我们用条件（如巴黎或旧金山）的学习表示来初始化RNN状态。这样，你就可以优雅地建模P(x_{t+1}|x_{0:t}, cond)。

API

这个Keras包装器ConditionalRecurrent使用作为单独输入给出的条件来初始化循环层的内部状态。它可以与Keras支持的任何循环层一起使用，并支持如Bidirectional这样的包装器。

参数

layer：一个tf.keras.layers.Layer实例（LSTM、GRU或SimpleRNN等）。

调用参数

inputs：形状为[batch_size, timesteps, input_dim]的3-D张量。
inputs_cond：形状为[batch_size, cond_dim]的2-D张量或张量列表。如果是列表，张量可以有不同的cond_dim。
training：Python布尔值，指示层应该在训练模式还是推理模式下运行。这个参数会传递给被包装的层。

异常

AssertionError：如果没有用tf.keras.layers.Layer实例初始化。

示例

from tensorflow.keras import Input
from tensorflow.keras.layers import LSTM

from cond_rnn import ConditionalRecurrent

time_steps, input_dim, output_dim, batch_size, cond_size = 128, 6, 12, 32, 5
inputs = Input(batch_input_shape=(batch_size, time_steps, input_dim))
cond_inputs = Input(batch_input_shape=(batch_size, cond_size))

outputs = ConditionalRecurrent(LSTM(units=output_dim))([inputs, cond_inputs])
print(outputs.shape)  # (batch_size, output_dim)

你也可以查看一个真实世界的例子，了解ConditionalRecurrent的表现：这里。

更多背景...

这个实现受到了这个很好的回答的启发：将特征添加到时间序列模型LSTM，我在下面引用了这个回答。这个库实现了选项3（稍有修改：我们不是将𝑣⃗添加到隐藏状态，而是用𝑣⃗覆盖隐藏状态。我们可以说这几乎是完全相同的，因为𝑣⃗是通过𝑣⃗=𝐖𝑥⃗+𝑏⃗获得的，其中𝑏⃗可以是隐藏状态）。

对于RNN（如LSTM和GRU），层输入是时间步的列表，每个时间步是一个特征张量。这意味着你可以有这样的输入张量（用Python表示法）：

# RNN的输入张量
[
    # 时间步1
    [ 巴黎温度, 纳斯达克指数, 失业率 ],
    # 时间步2
    [ 巴黎温度, 纳斯达克指数, 失业率 ],
    # 时间步3
    [ 巴黎温度, 纳斯达克指数, 失业率 ],
    ...
]

所以你绝对可以在每个时间步有多个特征。在我看来，天气是一个时间序列特征：在我居住的地方，它恰好是时间的函数。因此，将天气信息编码为每个时间步的一个特征是很合理的（使用适当的编码，如多云=0，晴天=1等）。

如果你有非时间序列数据，那么通过LSTM传递它就没有太大意义了。也许LSTM仍然能工作，但即使能工作，可能也会以更高的损失/每训练时间更低的准确率为代价。

另外，你可以通过额外的层在LSTM之外将这种"额外"信息引入你的模型。你可能会有这样的数据流：

时间序列输入 ------> LSTM -------\
                                 *---> 合并 ---> [更多处理]
辅助输入 --> [做些处理] ----------/

这样，你就将辅助输入与LSTM输出合并，然后继续你的网络。现在你的模型就简单地变成了多输入模型。例如，假设在你的特定应用中，你只保留LSTM输出序列的最后一个输出。假设它是一个长度为10的向量。你的辅助输入可能是编码后的天气信息（即一个标量）。你的合并层可以简单地将辅助天气信息附加到LSTM输出向量的末尾，生成一个长度为11的单一向量。但你不需要只保留LSTM的最后一个输出时间步：如果LSTM输出了100个时间步，每个时间步都有10个特征向量，你仍然可以附加上你的辅助天气信息，最终得到100个时间步，每个时间步包含11个数据点的向量。

Keras文档中关于其函数式API的部分对此有很好的概述。

在其他情况下，你可能想要用非时序数据来调节LSTM。例如，根据位置预测明天的天气。在这种情况下，这里有三个建议，每个都有优点和缺点：

让第一个时间步包含你的条件数据，因为它会有效地"设置"RNN的内部/隐藏状态。坦白说，我不会这样做，原因有很多：你的条件数据需要与其他特征具有相同的形状，这使得创建有状态RNN变得更困难（在terms of being really careful to track how you feed data into the network方面），网络可能会随着时间的推移"忘记"条件数据（例如，长训练序列或长预测序列）等。
将数据作为时序数据本身的一部分包含进来。因此，特定时间步的每个特征向量主要包含时间序列数据，但在每个特征向量的末尾附加了条件数据。网络能学会识别这一点吗？可能会，但即便如此，你也在用非序列信息污染序列数据，从而创造了一个更困难的学习任务。所以我也不建议这样做。
可能最好的方法是直接在时间零点影响RNN的隐藏状态。这是Karpathy和Fei-Fei以及Vinyals等人采用的方法。它是这样工作的：
- 对于每个训练样本，取你的条件变量𝑥⃗。
- 用仿射变换转换/重塑你的条件变量，使其形状与RNN的内部状态相匹配：𝑣⃗ =𝐖𝑥⃗ +𝑏⃗（这里的𝐖和𝑏⃗是可训练的权重）。你可以在Keras中使用Dense层来实现。
- 对于第一个时间步，在计算RNN隐藏状态值时加上𝑣⃗。

这种方法在"理论上"是最正确的，因为它恰当地用非时序输入调节了RNN，自然地解决了形状问题，并且避免了用额外的非时序信息污染输入时间步。缺点是这种方法通常需要对你的架构进行图级别的控制，所以如果你使用像Keras这样的高级抽象，除非你添加自己的层类型，否则你会发现很难实现。

引用

@misc{CondRNN,
  author = {Philippe Remy},
  title = {Conditional RNN for Keras},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/philipperemy/cond_rnn}},
}