CN108470212B - 一种能利用事件持续时间的高效lstm设计方法 - Google Patents

Abstract

本发明公开了一种能利用事件持续时间的高效LSTM设计方法，提出使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，同时合理高效地进行神经元的计算。针对现有循环神经网络LSTM单元在处理长序列时，不能有效利用序列中事件的持续时间信息、导致计算冗余，训练时间开销大的问题，设计了一种能利用事件持续时间的高效LSTM结构；包括基于事件持续时间的序列编码方法和高效LSTM隐藏层神经元记忆更新方法，本发明模拟生物神经元对外界激励的应激模式，在利用事件持续时间建模的同时有效减少了LSTM隐藏层神经元的冗余计算，提高了LSTM的训练效率，从而保证在处理长序列时LSTM模型的有效性和实用性。

Description

一种能利用事件持续时间的高效LSTM设计方法

技术领域

本发明涉及人工智能深度学习领域,尤其涉及一种能利用事件持续时间的高效LSTM设计方法。

背景技术

近年来，随着多媒体技术、社交网络的快速发展，多媒体数据(图像、视频)呈爆发式的增长，人工实现海量数据的分类、标注已经变得不现实，需要借助人工智能技术实现多媒体数据的智能分析、理解。深度学习技术在机器视觉、语音识别、自然语言处理等领域取得了很大的成功。其中，循环神经网络(RNN)在网络结构中加入了记忆单元，使得模型能够充分利用上下文信息，很好地处理序列化问题。但是传统的RNN存在梯度消失与梯度***的问题，在较长序列的处理方面不能取得很好的效果；LSTM神经网络作为RNN的一种变体，不仅能够利用上下文的信息，并且还能通过其自身的门控机制获取更长的历史信息，解决了传统RNN面临的梯度消失的问题。

通常RNN/LSTM处理序列化数据时，不考虑输入状态的持续时间，在各输入时刻以相同的方式计算隐藏层神经元的单元状态，即神经元的记忆，没有考虑到这种处理方式在网络输入状态持续不变的情况下会造成大量冗余的隐藏层计算。当需要处理的序列长度较长时，这一问题将更加突出。隐藏层状态更新会涉及到大量的矩阵运算，导致循环神经网络的训练时间过长，训练效率降低。当序列中包含多个事件时，利用事件具有时间持续的特点，可以将事件持续时间属性作为LSTM建模和隐藏层神经元计算的一个重要考虑因素，也是提高RNN/LSTM训练效率的一个关键。

发明内容

本发明的目的在于提供一种能利用事件持续时间的高效LSTM设计方法，以解决现有LSTM无法有效利用序列中事件的时间持续属性进行建模、冗余的神经元更新导致的计算量大、神经网络训练效率低的问题，提高LSTM模型的训练效率和实用性。

一种能利用事件持续时间的高效LSTM设计方法，包括以下步骤：

步骤1，使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；

步骤2，通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，合理高效地进行神经元的计算。

进一步，所述步骤1中，获得各时刻LSTM网络的输入的方法主要包括以下步骤：

步骤1.1，使用α表示序列数据的采样间隔时间，每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码；

步骤1.2，为了表示序列数据中包含的所有事件和事件的起止时间，使用N维向量x_t表示高效LSTM在输入时刻t的输入编码，即编码向量，其中N为所有事件的种类，向量x_t中的每一元素分别对应一种事件；

步骤1.3，在输入时刻t，判断对应的采样时刻是否有事件j发生，若有，则向量x_t中的第j位置置为1；若无，向量x_t中的第j位置置为0；由此得到的编码向量x_t，即为各时刻LSTM网络的输入。

进一步，所述步骤2中，高效LSTM隐藏层神经元记忆更新方法主要包括以下步骤：

步骤2.1，确定LSTM单元中的掩门mask gate和时长duration，mask gate的开、关由网络各时刻输入的变化情况决定，若某一时刻的编码向量x_t与上一时刻x_t-1不同，则说明序列在t时刻事件状态发生了改变，此时隐藏层神经元及时更新记忆，mask gate打开；若编码向量x_t与x_t-1相同，则说明序列在t和t-1时刻的事件状态一致，此时神经元记忆无需更新，mask gate关闭，进入保持阶段；每当记忆保持的持续时间增加一个时刻，duration的值增1；

步骤2.2根据各时刻的mask gate和duration，使用门控选择更新方法计算隐藏层神经元记忆和输出。

进一步，所述mask gate和duration的计算方法分别如下：

其中，m_t表示t时刻的mask gate，x_t和x_t-1分别表示t和t-1时刻的编码向量，d_t表示t时刻的duration，在每个记忆保持时刻，duration的值持续累积。

进一步，所述步骤2.2中门控选择更新方法主要包括以下步骤：

步骤2.2.1根据输入编码x_t和上一时刻隐藏层输出h_t-1，计算LSTM单元的遗忘门f_t、输入门i_t、输出门o_t和当前隐藏层的输入c_in_t，计算方法分别如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)

其中，W_xi和W_hi是输入门权重矩阵，W_xf和W_hf是遗忘门权重矩阵，W_xo和W_ho是输出门权重矩阵，W_xc和W_hc为当前隐藏层权重矩阵，b_i、b_f、b_o、

分别是输入门，遗忘门，输出门和输入的偏置，σ是sigmoid函数，tanh函数为输入的激活函数。

步骤2.2.2根据mask gate、duration、遗忘门f_t、输入门i_t、输出门o_t和上一时刻神经元的记忆，高效计算隐藏层新的记忆和输出，计算方法分别如下：

其中，

是Hadamard积，c_t，h_t分别表示t时刻隐藏层神经元的记忆和输出，

为t-d_t+1时刻记忆，为t时刻神经元记忆参考值，c_in_t为t时刻隐藏层神经元的输入，

为t时刻神经元输出参考值，

为t-d_t+1时刻神经元输出，KC_t为t时刻记忆持续，KH_t为t时刻输出持续，A为1向量；

由于受m_t的控制，只在m_t＝1时，c_t和h_t被更新为

和

m_t＝0时，无需计算

和

和

将利用之前最近一次更新的状态

和duration进行计算。

本发明的有益效果：

1、本发明利用序列数据中事件的持续时间这一属性，构建了具有mask gate和duration的新型LSTM单元，与现有LSTM模型在每个输入时刻都更新隐藏层神经元记忆的方法不同；

2、利用事件持续时间的高效LSTM设计方法，根据网络输入状态的变化有选择地进行神经元记忆更新，使得隐藏层神经元记忆事件持续时间的同时避免了在输入状态不变时不必要的隐藏层计算，减少了大规模的矩阵计算量，提高了LSTM模型的训练效率；尤其在处理长序列时，效率的提高也保证了LSTM方法的有效性和可用性。

附图说明

图1为高效LSTM的工作流程图；

图2为高效LSTM单元结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

实施例1：

如图1所示，一种能利用事件持续时间的高效LSTM设计方法，包括参数初始化模块、基于事件持续时间的序列编码模块和高效LSTM隐藏层神经元记忆更新模块；其中，参数初始化模块作用是对高效LSTM模型中的所有参数进行初始化；基于事件持续时间的序列编码模块作用是将序列在各采样时间点的事件及其持续时间信息进行编码作为LSTM网络每一时刻的输入；高效LSTM隐藏层神经元记忆更新模块作用是根据各时刻输入编码x_t，将神经元记忆的更新与LSTM输入状态的变化相关联，计算m_t，d_t，c_t和h_t，有选择地更新i_t，f_t，o_t，c_in_t，

和

从而能够根据网络输入状态的变化有选择地进行神经元记忆更新，避免了在输入状态不变时不必要的隐藏层计算，减少了大规模的矩阵计算量，提高了LSTM模型的训练效率。

实施例2：

以一个视频为例，它由多个时序关联的事件组成，每个视频事件都有各自的起止时间，会持续一段时间，有些事件还可能在时间上重叠。当前视频中共有AC1、AC2和AC3三个事件，故所有事件的种类N＝3。AC1的持续时间为0s～5s，AC2的持续时间为4s～9s，AC3的持续时间为3s～6s，采样间隔时间α为1s,由此对每隔时间间隔1s对序列进行采样并由此构建输入高效LSTM的序列编码。

首先，在输入时刻t，判断对应的采样时刻是否有事件j发生，若有，则向量x_t中的第j位置置为1；若无，向量x_t中的第j位置置为0；由此得到的编码向量x_t，即为各时刻LSTM网络的输入。

根据LSTM单元中的掩门mask gate和时长duration，mask gate的开、关由网络各时刻输入的变化情况决定，若某一时刻的编码向量x_t与上一时刻x_t-1不同，则说明序列在t时刻事件状态发生了改变，此时隐藏层神经元及时更新记忆，mask gate打开；若编码向量x_t与x_t-1相同，则说明序列在t和t-1时刻的事件状态一致，此时神经元记忆无需更新，maskgate关闭，进入保持阶段；每当记忆保持的持续时间增加一个时刻，duration的值增1；获得各时刻的mask gate和duration，此视频序列在0～9时刻的编码向量如下表所示：

在此基础上，按照图2所示的高效LSTM单元结构，根据输入编码x_t和上一时刻隐藏层输出h_t-1，计算LSTM单元的遗忘门f_t、输入门i_t、输出门o_t和当前隐藏层的输入c_in_t，计算方法分别如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (3)

其中，W_xi和W_hi是输入门权重矩阵，W_xf和W_hf是遗忘门权重矩阵，W_xo和W_ho是输出门权重矩阵，W_xc和W_hc为当前隐藏层权重矩阵，b_i、b_f、b_o、分别是输入门，遗忘门，输出门和输入的偏置，σ是sigmoid函数，tanh函数为输入的激活函数。

根据mask gate、duration、遗忘门f_t、输入门i_t、输出门o_t和上一时刻神经元的记忆，高效计算隐藏层新的记忆和输出，计算方法分别如下：

其中，

是Hadamard积，c_t,h_t分别表示t时刻隐藏层神经元的记忆和输出，

为t-d_t+1时刻记忆，

为t时刻神经元记忆参考值，c_in_t为t时刻隐藏层神经元的输入，为t时刻神经元输出参考值，

为t-d_t+1时刻神经元输出，KC_t为t时刻记忆持续，KH_t为t时刻输出持续，A为1向量；

计算m_t，d_t，i_t，f_t，o_t，c_in_t，

c_t,

和h_t的值。由编码向量可知，输入状态在t＝0，3，4，6，7时刻发生改变，故mask gate在t＝0，3，4，6，7时刻打开，在其它时刻关闭。m_t的值依次为1，0，0，1，1，0，1，1，0，0；d_t的值依次为1，2，3，1，1，2，1，1，2，3。和

的更新只在t＝0，3，4，6，7时发生，i_t，f_t，o_t和c_in_t也仅在这五个时刻需要计算，而传统LSTM在0～9的10个时刻均需要计算i_t，f_t，o_t，c_in_t，

和故，高效LSTM设计方法充分利用事件持续时间，大大减少了矩阵计算，提高了LSTM的训练效率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (3)

1.一种能利用事件持续时间的高效LSTM设计方法，其特征在于，包括以下步骤：

步骤1，使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；

步骤2，通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，合理高效地进行神经元的计算；所述事件为视频事件；

所述步骤1中，获得各时刻LSTM网络的输入的方法主要包括以下步骤：

步骤1.1，使用α表示序列数据的采样间隔时间，每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码；

步骤1.2，为了表示序列数据中包含的所有事件和事件的起止时间，使用N维向量x_t表示高效LSTM在输入时刻t的输入编码，即编码向量，其中N为所有事件的种类，向量x_t中的每一元素分别对应一种事件；

步骤1.3，在输入时刻t，判断对应的采样时刻是否有事件j发生，若有，则向量x_t中的第j位置置为1；若无，向量x_t中的第j位置置为0；由此得到的编码向量x_t，即为各时刻LSTM网络的输入；

所述步骤2中，高效LSTM隐藏层神经元记忆更新方法主要包括以下步骤：

步骤2.1，确定LSTM单元中的掩门mask gate和时长duration，mask gate的开、关由网络各时刻输入的变化情况决定，若某一时刻的编码向量x_t与上一时刻x_t-1不同，则说明序列在t时刻事件状态发生了改变，此时隐藏层神经元及时更新记忆，mask gate打开；若编码向量x_t与x_t-1相同，则说明序列在t和t-1时刻的事件状态一致，此时神经元记忆无需更新，mask gate关闭，进入保持阶段；每当记忆保持的持续时间增加一个时刻，duration的值增1；

步骤2.2根据各时刻的mask gate和duration，使用门控选择更新方法计算隐藏层神经元记忆和输出。

2.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法，其特征在于，所述mask gate和duration的计算方法分别如下：

其中，m_t表示t时刻的mask gate，x_t和x_t-1分别表示t和t-1时刻的编码向量，d_t表示t时刻的duration，在每个记忆保持时刻，duration的值持续累积。

3.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法，其特征在于：所述步骤2.2中门控选择更新方法主要包括以下步骤：

步骤2.2.1根据输入编码x_t和上一时刻隐藏层输出h_t-1，计算LSTM单元的遗忘门f_t、输入门i_t、输出门o_t和当前隐藏层的输入c_in_t，计算方法分别如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)

其中，W_xi和W_hi是输入门权重矩阵，W_xf和W_hf是遗忘门权重矩阵，W_xo和W_ho是输出门权重矩阵，W_xc和W_hc为当前隐藏层权重矩阵，b_i、b_f、b_o、

分别是输入门，遗忘门，输出门和输入的偏置，σ是sigmoid函数，tanh函数为输入的激活函数；

步骤2.2.2根据mask gate、duration、遗忘门f_t、输入门i_t、输出门o_t和上一时刻神经元的记忆，高效计算隐藏层新的记忆和输出，计算方法分别如下：

其中，⊙是Hadamard积，c_t,h_t分别表示t时刻隐藏层神经元的记忆和输出，

为t-d_t+1时刻记忆，

为t时刻神经元记忆参考值，c_in_t为t时刻隐藏层神经元的输入，为t时刻神经元输出参考值，

为t-d_t+1时刻神经元输出，KC_t为t时刻记忆持续，KH_t为t时刻输出持续，A为1向量，m_t表示t时刻的mask gate，d_t表示t时刻的duration；

受m_t的控制，只在m_t＝1时，c_t和h_t被更新为和

m_t＝0时，无需计算

和

和将利用之前最近一次更新的状态

和duration进行计算。

Images