CN113642231A - 一种基于压缩激励网络的cnn-gru滑坡位移预测方法及应用 - Google Patents

Abstract

本发明属于滑坡位移预测技术领域，公开了一种基于压缩激励网络的CNN‑GRU滑坡位移预测方法及应用，对滑坡中的降水、土壤含水率、库水位及滑坡位移等影响因素利用偏相关灰色关联度分析，计算各个滑坡影响因素和滑坡位移的关联程度，依据重要关联度筛选滑坡关键影响因素并进行归一化处理，作为CNN模型的输入；与此同时，将压缩激励网络(Squeeze‑and‑ExcitationNetworks，SENet)引入CNN模型，构建基于压缩激励的卷积神经网络，自适应调整网络特征通道，提取时间序列特征，增强输入与输出紧致性，优化网络结构；其次，将卷积产生的特征序列作为GRU的输入，通过MSE损失函数与Adam优化算法更新模型参数；最后将训练好的模型进行滑坡位移预测，提升滑坡位移短期预测精度。

Description

一种基于压缩激励网络的CNN-GRU滑坡位移预测方法及应用

技术领域

本发明属于滑坡位移预测技术领域，尤其涉及一种基于压缩激励网络的CNN-GRU滑坡位移预测方法及应用。

背景技术

目前：滑坡是一种常见的地质灾害，容易造成巨大的损失，提高预测区间内滑坡位移最大值的预测能力，才能更好的防范滑坡灾害，减少人员伤亡以及财产损失。

滑坡位移预测属于时间序列预测，传统时间序列预测方法利用统计学知识对时间序列表现出的发展过程、方向和趋势进行建模，并以此模型为研究对象进行延伸和外推，最终达到预测的目的。然而，传统时间序列预测方法没有考虑外界影响因素和被预测对象间的因果关系，而是将所有影响因素综合作用的结果归结到时间上，仅从时间的维度对被预测对象建模。因此，当某些影响因素发生较大变化时，传统时间序列预测方法的预测精度会大大降低。随着人工智能和机器学习研究的不断深入，神经网络在许多领域都发挥着重要的作用。相比于传统的机器学习方法，深度学习方法无需人工提取特征，且在面对大量数据样本时，往往表现出更好的性能。常见的时间序列预测模型多使用LSTM这类循环神经网络，当输入序列较长时，计算参数过多，而且当一次性输入过长的时间序列时，会导致训练时间大大增加，如果在很长的序列里进行反向传播可能会导致梯度消失，反过来会削弱模型的可靠性。同时，在使用多种属性进行滑坡位移预测时，由于滑坡影响因素数据收集有限，当影响因素比较少时，滑坡影响因素特征尺度单一、信息丰富度低的问题会很大影响预测准确度。另一方面，现有的模型很少考虑每种属性对滑坡位移的影响程度不同的问题，这会在一定程度上影响模型的预测精度。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统时间序列预测方法没有考虑外界影响因素和被预测对象间的因果关系，当某些影响因素发生较大变化时，传统时间序列预测方法的预测精度会大大降低。

(2)常见的时间序列预测模型多使用LSTM这类循环神经网络，当输入序列较长时，计算参数过多，而且当一次性输入过长的时间序列时，会导致训练时间大大增加，如果在很长的序列里进行反向传播可能会导致梯度消失，反过来会削弱模型的可靠性。

(3)在使用多种属性进行滑坡位移预测时，滑坡影响因素特征尺度单一、信息丰富度低，现有的模型很少考虑每种属性对滑坡位移的影响程度不同的问题，这会在一定程度上影响模型的预测精度。

解决以上问题及缺陷的难度为：影响滑坡位移的因素较多，各因素之间的关系非常复杂,很难用准确的数学方程进行描述,这些方法在准确性、及时性及智能性方面存在缺陷；很难确定各因素对滑坡位移的影响程度，各影响因素因素的权重计算方式不够准确；采用深度学习方法进行预测，模型结构以及超参数设置需要大量试验取最优，使预测效果最佳，并且复杂的模型参数过多预测速度慢，对计算设备要求比较高。

解决以上问题及缺陷的意义为：优化预测***的参数选择,良好的选择参数可以使预测***的稳定性和鲁棒性得到大大提高；随着人工智能、人工神经网络、模式识别等新技术的发展,利用人工智能来建立更高精度的信息预测模型成为可能,为预测控制的快速发展提供了条件；在提高预测精度的前提下，降低了预测过程中的计算成本。

发明内容

针对现有技术存在的问题，本发明提供了一种基于压缩激励网络的CNN-GRU滑坡位移预测方法。

本发明是这样实现的，一种基于压缩激励网络的CNN-GRU滑坡位移预测方法，所述基于压缩激励网络的CNN-GRU滑坡位移预测方法包括：

处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；所述滑坡位移数据包括：位移数据、月降水量、和水位库存量，收集对滑坡位移造成影响的外界因素作为预测数据；

按照6：1：3的比例将数据集划分为训练集、验证集和测试集，所述训练集用于训练模型，验证集验证是否停止训练，测试集测试模型预测预测能力；对所有数据进行归一化处理，数据处理后符合标准正态分布，即均值为0，标准差为1；

构造CNN模型，加入SENet结构，通过CNN模型进行特征提取，将输入的特征值进行维度提升，获取更多信息用来进行预测；CNN模型由输入层、卷积层和SENet层组成，用于对数据进行特征处理；

将经过卷积之后产生的特征序列作为门控循环单元网络层GRU的输入，用于对输入数据进行长短期预测；GRU网络由新门和重置门两个门函数构成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多；重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少。

初始化模型的权重，进行预测模型训练，将处理好的数据输入到模型中，使用均方误差MSE作为损失函数，并用Adam优化算法来更新模型参数；每个epoch用验证集验证误差是否下降，否则停止训练；

训练完成后参数不再更新，将测试集数据输入模型进行预测，得到基于SENet改进的CNN-GRU组合模型的预测结果，使用损失函数对预测值与真实值进行评估，得到模型预测的精确度，度量预测值与真实值的相似性。

进一步，通过偏相关灰色关联度分析法计算每个滑坡影响因素和滑坡位移的关联度，筛选影响因素，包括：通过偏相关和灰色关联法综合分析的方法，将偏相关系数作为计算灰色关联度的权重，获得影响滑坡位移的各因素的关联顺序，即代表各因素在滑坡位移影响中的主次关系，选择关联度较大的若干属性作为预测模型的输入数据。

进一步，所述对各影响因素数据与滑坡位移数据进行关联度分析，筛选预测模型的输入参数，包括：

(1)确定一个因变量因素和m个自变量因素：x₀＝[x₀(1),x₀(2),...,x₀(n)]，

x_i＝[x_i(1),x_i(2),...,x_i(n)]，i＝1,2,...,m；

其中，x₀为参考序列；x₀(n)为参考序列中的变量；x_i为第i个比较序列；x_i(n)为第i个比较序列中的变量；

(2)计算每个属性序列和滑坡位移序列之间的关联度，得到比较序列和参考序列在各个点处的关联系数值，计算关联系数，定义如下点关联系数的计算公式：

其中，ξ为分辨系数ξ∈(0,1)，取0.5；令q(X₀,X_i)为x_i对于x₀在k点的灰色关联系数，记为q_0i，k点关联系数q(X₀(k),X_i(k))记为q_0i(k)；

(3)通过计算关联系数得到比较序列和参考序列在各个点处的关联系数值，将每个比较序列的各个点处的关联系数值进行统计处理，并集中为一个值，即灰色关联度；为反映某个比较序列与参考序列之间的灰色关联度，计算两个数据序列各个点处的关联系数的平均值：

其中，i＝1,2,...,m，k＝1,2,...,n；

(4)得到各影响因素的灰色关联度后还应赋予各影响参数不同的权重；偏相关系数在研究某一个要素对另一个要素的影响或相关程度时，可不考虑其他要素的影响，单独研究两个要素之间的相互关系的密切程度；

(5)将偏相关系数计算结果ω_i作为各比较序列对参考序列的影响权重，对关联系数求加权平均值：

求得加权后的灰色关联度值q_0i′。

进一步，所述求解偏相关系数的步骤，包括：

1)计算x，y之间的关联程度，即简单相关系数r_xy：

2)设一组变量x₁,x2,...,x_m，则由简单相关系数r_ij组成的相关矩阵R，对矩阵R求逆得到R^-1：

求得x_i和x_j间的偏相关系数：

3)将参考序列与各比较序列的偏相关系数归一化，得到各影响因素的权重值；如假定变量x_n为参考序列，则其余比较序列对x_n的影响权重ω_i的计算公式为：

其中，ω_i(i＝1,2,...,n-1)表示变量x_i在研究变量x_n的影响因素之中所占的比重，即权重；偏相关系数的计算结果可能为负值，表示负相关，在进行归一化时，对负值先进行绝对值处理，再进行权重计算。

进一步，对所有数据进行归一化处理，包括：通过Z-score归一化步骤对数据进行预处理，数据处理后符合标准正态分布，即均值为0，标准差为1；按列求出一组数据的均值x和标准差σ，归一化的公式为：

标准差计算公式为：

构造的CNN模型，结构为两层1dCNN，分别使用64个和16个3×1的卷积核，激活函数为ReLu函数；其中每个卷积层的计算公式为：

式中：conv函数为CNN网络中的卷积操作；

和

分别为卷积过程中的输入与输出，其中l为交通流序列的长度，i和j分别表示卷积过程中的处理位置；

为该层卷积层的权重；

为该层卷积层的偏置；

每个卷积层的输出为：

式中：非线性激活函数f()为ReLu函数；

和

分别为激活函数的输入和输出。

进一步，加入的SENet结构，包括Squeeze和Excitation两个操作：Squeeze部分，为压缩部分，将原始维度的特征图压缩到1×1大小；Excitation部分，通过激活函数来为每个特征通道生成权重，对每个通道的重要性进行预测，得到不同通道的重要性大小后作用到输入层的对应通道上，再进行后续操作；

将CNN提取的特征数据作为GRU层的输入数据，用于进行长短期预测；在GRU模型中只有两个门：分别是更新门r_t和重置门z_t，r_t用于控制前一时刻的状态h_t-1对候选状态h_t的影响程度，z_t用于决定h_t-1中有多少信息可以传递到当前状态h_t中，GRU神经网络的更新方式如下：

r_t＝σ(i_tW_ir+h_t-1W_hr+b_r)

z_t＝σ(i_tW_iz+h_t-1W_hz+b_z)

其中σ(·)是sigmoid函数，tanh(·)是双曲正切函数；i_t是t时刻的输入，y_t是t时刻的输出；W_ir、W_iz和W_ih是输入—状态权重矩阵，W_hr、W_hz和W_hh是状态—状态权重矩阵，b_r、b_z和b_h是偏置量；

是元素乘法。

进一步，模型训练使用早停机制，经过一轮一轮的训练，算法不断地学习，训练集上的预测误差自然不断下降，同样在验证集上的预测误差也随之下降；当验证误差停止下降反而开始上升时，说明模型开始过度拟合训练数据；通过早期停止法，一旦验证误差达到最小值就立刻停止训练；

采用均方误差MSE损失函数，用来检测模型的预测值与真实值之间的偏差，公式为：

其中，y_m为滑坡位移预测模型的预测值，

是滑坡位移的真实值。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法。

本发明的另一目的在于提供一种实施所述基于压缩激励网络的CNN-GRU滑坡位移预测方法的CNN-GRU滑坡位移预测***，所述CNN-GRU滑坡位移预测***包括：

影响因素筛选模块，用于处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；

数据归一化处理模块，用于按照6：1：3的比例将数据集划分为训练集、验证集和测试集，并将所有数据进行归一化处理；

数据特征提取模块，用于构造CNN模型，加入SENet结构，对输入数据进行特征提取；

长短期预测模块，用于在模型中加入GRU层，卷积之后产生的特征序列作为输入，进行长短期预测；

模型参数训练模块，用于初始化模型超参数，进行模型训练，训练时将训练数据输入至基于SENet改进的CNN-GRU模型；通过数据实际值和测试值的差值得到模型损失函数，并反向传播来训练模型参数；

模型验证模块，用于训练完成后，用测试数据进行模型测试，对比测试集的预测值与真实值的误差，验证模型是否有效。

本发明的另一目的在于提供一种所述基于压缩激励网络的CNN-GRU滑坡位移预测方法在滑坡位移数据预测中的应用。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于SENet改进的基于压缩激励网络的CNN-GRU滑坡位移预测方法，采用加入了SENet结构改进的CNN-GRU组合模型，融合了CNN的特征表达能力和GRU的时间序列记忆优势，提高了预测精度和泛化能力，加入SENet结构使模型具有更好的特征提取能力，从而提高滑坡位移预测效果，一定程度上解决了滑坡影响因素特征尺度单一、信息丰富度低的问题。

与现有技术相比，本发明具有以下有益效果：

(1)通过偏相关系数-灰色关联度分析法选择影响因素，灰色关联度分析方法更能准确的反映出因素间的关联度情况，但由于各影响参数对滑坡位移的影响程度不同，因此在得到各影响因素的灰色关联度后，还应计算偏相关系数为各影响参数加入不同的权重，从而够更选择最合适的滑坡影响因素。

(2)在使用GRU进行预测之前，使用一维的卷积神经网络对数据进行维度提升和特征提取，充分利用了卷积操作的特性，结合时间序列特点，能更好的提取数据特征，提高了对滑坡位移的预测准确率。

(3)CNN在从多通道数据中提取特征方面表现良好，按照不同属性将时间序列划分为多个通道，有助于CNN提取距离较远的数据点之间的关系且不会增加过多计算量，极大减少了神经网络的参数。卷积层和池化层有助于减少复杂模型的计算量、避免过拟合问题，更高效地抽象出输入特征的本质，提高了特征提取的质量。

(4)在CNN中加入构造非常简单，而且很容易被部署的SENet结构，不需要引入新的函数或者层。除此之外，它还在模型和计算复杂度上具有良好的特性。SENet结构用于计算不同影响因素通道的权重，精细计算各影响因素的关联度，使得最终得到的预测结果更加准确。

附图说明

图1是本发明实施例提供的基于压缩激励网络的CNN-GRU滑坡位移预测方法流程图。

图2是本发明实施例提供的CNN-GRU滑坡位移预测***的结构示意图；

图2中：1、影响因素筛选模块；2、数据归一化处理模块；3、数据特征提取模块；4、长短期预测模块；5、模型参数训练模块；6、模型验证模块。

图3是本发明实施例提供的基于压缩激励网络的CNN-GRU滑坡位移预测方法的实现流程图。

图4是本发明实施例提供SENet内部结构图。

图5是本发明实施例提供的基于SENet改进的CNN-GRU组合模型结构图。

图6是本发明实施例提供GRU内部结构图。

图7是本发明实施例提供的模型的预测结果图。

图8是本发明实施例提供的GRU预测结果图。

图9是本发明实施例提供的CNN预测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于压缩激励网络的CNN-GRU滑坡位移预测方法及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的基于压缩激励网络的CNN-GRU滑坡位移预测方法包括以下步骤：

S101，处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；

S102，按照6：1：3的比例将数据集划分为训练集、验证集和测试集，并将所有数据进行归一化处理；

S103，构造CNN模型，加入SENet结构，对输入数据进行特征提取；

S104，模型中加入GRU层，卷积之后产生的特征序列作为输入，进行长短期预测；

S105，初始化模型超参数，进行模型训练，训练时将训练数据输入至基于SENet改进的CNN-GRU模型；通过数据实际值和测试值的差值得到模型损失函数，并反向传播来训练模型参数；

S106，训练完成后，用测试数据进行模型测试，对比测试集的预测值与真实值的误差，验证模型是否有效。

本发明提供的基于压缩激励网络的CNN-GRU滑坡位移预测方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于压缩激励网络的CNN-GRU滑坡位移预测方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的CNN-GRU滑坡位移预测***包括：

影响因素筛选模块1，用于处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；

数据归一化处理模块2，用于按照6：1：3的比例将数据集划分为训练集、验证集和测试集，并将所有数据进行归一化处理；

数据特征提取模块3，用于构造CNN模型，加入SENet结构，对输入数据进行特征提取；

长短期预测模块4，用于在模型中加入GRU层，卷积之后产生的特征序列作为输入，进行长短期预测；

模型参数训练模块5，用于初始化模型超参数，进行模型训练，训练时将训练数据输入至基于SENet改进的CNN-GRU模型；通过数据实际值和测试值的差值得到模型损失函数，并反向传播来训练模型参数；

模型验证模块6，用于训练完成后，用测试数据进行模型测试，对比测试集的预测值与真实值的误差，验证模型是否有效。

下面结合附图对本发明的技术方案作进一步的描述。

实施例1

本发明提供一种基于SENet改进的CNN-GRU组合模型滑坡位移预测方法，用于解决现有技术中存在的模型预测精确不高，滑坡影响因素特征尺度单一、信息丰富度低的问题，没有考虑各种属性对滑坡位移的影响程度等问题。

为了实现上述目的，本发明采用如下技术方案予以解决：

如图3所示，本发明提供的基于SENet改进的CNN-GRU组合模型滑坡位移预测方法，具体包括如下步骤：

步骤一：处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；所述滑坡位移数据包括：位移数据、月平均降水量、每月最大降水量和水位库存量，收集对滑坡位移造成影响的外界因素作为预测数据；

步骤二：按照6：1：3的比例对数据集进行划分，生成训练集用于训练模型，验证集验证是否停止训练，测试集测试模型预测预测能力以及泛化能力。使用归一化步骤对数据进行预处理，数据处理后符合标准正态分布，即均值为0，标准差为1；

步骤三：构造CNN模型，加入SENet结构，通过CNN模型进行特征提取，将输入的特征值进行维度提升，获取更多信息用来进行下一步预测；所述CNN模型由输入层、卷积层和SENet层组成，用于对数据进行特征处理；

步骤四：将经过卷积之后产生的特征序列作为门控循环单元网络层(GRU)的输入，用于对输入数据进行长短期预测。GRU网络由新门和重置门两个门函数构成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多；重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少；

步骤五：初始化模型的权重，进行预测模型训练，将处理好的数据输入到模型中，使用均方误差(MSE)作为损失函数，并用Adam优化算法来更新模型参数；每个epoch用验证集验证误差是否下降，否则停止训练；

步骤六：步骤五训练完成后参数不再更新，将测试集数据输入模型进行预测，得到基于SENet改进的CNN-GRU组合模型的预测结果，使用损失函数对预测值与真实值进行评估，得到模型预测的精确度，度量预测值与真实值的相似性。

本发明的方法采用CNN和SVR组合模型进行预测，融合了CNN的特征表达能力和GRU的时间序列记忆优势，提高了预测精度和泛化能力，加入SENet结构使模型具有更好的特征提取能力，从而提高滑坡位移预测效果，一定程度上解决了滑坡影响因素特征尺度单一、信息丰富度低的问题，并且提高了预测结果的可信度。

在本发明的实施例中，步骤一中对各影响因素数据与滑坡位移数据进行关联度分析，筛选预测模型的输入参数，具体包括如下步骤：

步骤1-1：根据所研究的具体问题需求，确定一个因变量因素和m个自变量因素，x₀＝[x₀(1),x₀(2),...,x₀(n)]，x_i＝[x_i(1),x_i(2),...,x_i(n)]，i＝1,2,...,m；

式中：x₀为参考序列；x₀(n)为参考序列中的变量；x_i为第i个比较序列；x_i(n)为第i个比较序列中的变量。

步骤1-2：计算每个属性序列和滑坡位移序列之间的关联度，得到比较序列和参考序列在各个点处的关联系数值，计算关联系数，可以定义以下点关联系数的计算公式：

其中，ξ为分辨系数，它可以提高关联系数之间的显著差异性，ξ∈(0,1)，一般取0.5。令q(X₀,X_i)为x_i对于x₀在k点的灰色关联系数，可记为q_0i，k点关联系数q(X₀(k),X_i(k))记为q_0i(k)。

通过计算关联系数可以得到比较序列和参考序列在各个点处的关联系数值，但结果繁杂，不便于进行比较，因此需要将每个比较序列的各个点处的关联系数值进行统计处理，并集中为一个值，即灰色关联度。通常为反映某个比较序列与参考序列之间的灰色关联度，是计算这两个数据序列各个点处的关联系数的平均值，即：

其中，i＝1,2,...,m，k＝1,2,...,n；

步骤1-4：但由于各影响参数对滑坡位移的影响程度不同，因此在得到各影响因素的灰色关联度后还应赋予各影响参数不同的权重。偏相关系数在研究某一个要素对另一个要素的影响或相关程度时，可以不考虑其他要素的影响，单独研究两个要素之间的相互关系的密切程度。求解偏相关系数的一般步骤为：

(1)计算x，y之间的关联程度，即简单相关系数r_xy：

(2)设一组变量x₁,x2,...,x_m，则由简单相关系数r_ij组成的相关矩阵R，对矩阵R求逆得到R^-1：

则可求得x_i和x_j间的偏相关系数：

(3)将参考序列与各比较序列的偏相关系数归一化，即可得到各影响因素的权重值；如假定变量x_n为参考序列，则其余比较序列对x_n的影响权重ω_i的计算公式为：

式中，ω_i(i＝1,2,...,n-1)表示变量x_i在研究变量x_n的影响因素之中所占的比重，即权重。

需要注意的是，偏相关系数的计算结果可能为负值，表示负相关，在进行归一化时，需要对负值先进行绝对值处理，再进行权重计算。

步骤1-5：将偏相关系数计算结果ω_i作为各比较序列对参考序列的影响权重，对关联系数求加权平均值，即：

根据上式可以求得加权后的灰色关联度值q_0i′，而在关联度分析中，关联度值的大小实际意义并不大，而将各比较序列对同一参考序列的关联度从大到小依次排列的关联序起着较为重要的作用，因为它直接反映了各比较序列对同一参考序列的影响大小。

在本发明的实施例中，步骤二中，通过Z-score归一化步骤对数据进行预处理，数据处理后符合标准正态分布，即均值为0，标准差为1。按列求出一组数据的均值x和标准差σ，归一化的公式为：

标准差计算公式为：

在本发明的实施例中，步骤三中构造的CNN模型，结构为两层1dCNN，分别使用64个和16个3×1的卷积核，激活函数为ReLu函数；其中每个卷积层的计算公式为：

式中：conv函数为CNN网络中的卷积操作；

和

分别为卷积过程中的输入与输出，其中l为交通流序列的长度，i和j分别表示卷积过程中的处理位置；

为该层卷积层的权重；

为该层卷积层的偏置。

卷积层的输出为：

式中：非线性激活函数f()为ReLu函数；

和

分别为激活函数的输入和输出。

在本发明的实施例中，步骤三中加入的SENet结构，主要包括Squeeze和Excitation两个操作：Squeeze部分，即为压缩部分，将原始维度的特征图压缩到1×1大小，相当于这一维参数获得了之前全局的视野，感受区域更广；Excitation部分，通过激活函数来为每个特征通道生成权重，对每个通道的重要性进行预测，得到不同通道的重要性大小后作用到输入层的对应通道上，再进行后续操作。

在本发明的实施例中，步骤四中将CNN提取的特征数据作为GRU层的输入数据，用于进行长短期预测；在GRU模型中只有两个门：分别是更新门r_t和重置门z_t，r_t用于控制前一时刻的状态h_t-1对候选状态h_t的影响程度，z_t用于决定h_t-1中有多少信息可以传递到当前状态h_t中。GRU神经网络的更新方式如下：

r_t＝σ(i_tW_ir+h_t-1W_hr+b_r)

z_t＝σ(i_tW_iz+h_t-1W_hz+b_z)

其中σ(·)是sigmoid函数，tanh(·)是双曲正切函数；i_t是t时刻的输入，y_t是t时刻的输出；W_ir、W_iz和W_ih是输入—状态权重矩阵，W_hr、W_hz和W_hh是状态—状态权重矩阵，b_r、b_z和b_h是偏置量；

是元素乘法；

在本发明的实施例中，步骤五中所述模型训练使用早停机制，经过一轮一轮的训练，算法不断地学习，训练集上的预测误差自然不断下降，同样其在验证集上的预测误差也随之下降；当验证误差停止下降反而开始上升时，说明模型开始过度拟合训练数据；通过早期停止法，一旦验证误差达到最小值就立刻停止训练。

在本发明的实施例中，步骤五中采用均方误差MSE损失函数，用来检测模型的预测值与真实值之间的偏差，公式为：

其中，y_m为滑坡位移预测模型的预测值，

是滑坡位移的真实值。

相较于现有技术，本发明的有益效果如下：

(1)在步骤一中，偏相关系数-灰色关联度分析法选择影响因素，灰色关联度分析方法更能准确的反映出因素间的关联度情况，但由于各影响参数对滑坡位移的影响程度不同，因此在得到各影响因素的灰色关联度后，还应计算偏相关系数为各影响参数加入不同的权重，从而够更选择最合适的滑坡影响因素。

(2)在步骤三中，CNN在从多通道数据中提取特征方面表现良好，按照不同属性将时间序列划分为多个通道，将输入的特征值进行维度提升，获取更多信息用来进行下一步预测，解决了数据比较单一时预测准确率低的问题。卷积层有助于减少复杂模型的计算量、避免过拟合问题，更高效地抽象出输入特征的本质，提高了特征提取的质量。

(4)在步骤三中，又在CNN中加入构造非常简单，而且很容易被部署的SENet结构，不需要引入新的函数或者层。除此之外，它还在模型和计算复杂度上具有良好的特性。SENet结构用于计算不同影响因素通道的权重，精细计算各影响因素的关联度，使得最终得到的预测结果更加准确。

(5)在步骤四中，讲CNN的输出作为GRU网络的输入，进行下一步预测。预测时间序列常用的神经网络有循环神经网络(RNN)和长短记忆网络(LSTM)，RNN在学习长期依赖关系时存在梯度消失和***等常见问题，LSTM神经网络引入了3个“选通单元”：输入门、遗忘门和输出门，但参数过多计算时间比较长，GRU简化了LSTM神经网络的内部结构，使整个预测模型更易于计算和实现。

实施例2

如图2所示，本实施例提供的基于螺旋结构的基于SENet改进的CNN-GRU组合模型滑坡位移预测方法，具体包括如下步骤：

步骤一：处理采集的滑坡各种数据，本实施例中由滑坡山***移监测点和影响因素传感器获取到200组滑坡位移数据，包括当月降雨量a1、前两个月降雨量a2、前三个月降雨量a3、库水位高度b1、当月库水位变化b2、双月库水位变化、当月位移量c1、双月位移增量c2、三月位移增量c3；其中c1为预测结果，其他项为影响滑坡位移的相关因素。

通过偏相关和灰色关联综合分析法，计算各种数据与滑坡位移数据的偏相关-灰色关联系数，计算结果见表1，挑选关联度最大的前5个作为模型输入数据。

表1关联度表

属性	a1	a2	a3	b1	b2	b3	c2	c3
									关联系数	0.6614	0.6312	0.6153	0.7541	0.6816	0.7210	0.5618	0.5530

步骤二：划分数据集，对步骤1选出的所有数据进行归一化处理，将得到的数据集中的前114个数据作为训练集(100个)和验证集(14个)，将后27个数据作为测试项。通过Z-score归一化步骤对数据进行预处理，数据处理后符合标准正态分布，即均值为0，标准差为1，归一化后加快了梯度下降求最优解的速度。

步骤三：构造CNN模型，加入SENet结构，通过CNN模型进行特征提取，将输入的特征值进行维度提升，获取更多信息用来进行下一步预测；所述CNN模型由输入层、卷积层和SENet层组成，用于对数据进行特征处理，SENet内部结构如图4所示；

步骤四：建立如图5所示基于SENet改进的CNN-GRU组合模型，将经过卷积之后产生的特征序列作为门控循环单元网络层(GRU)的输入，用于对输入数据进行长短期预测。GRU网络由新门和重置门两个门函数构成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，重置门控制前一状态有多少信息被写入到当前的候选集上，GRU内部结构如图6所示；

步骤五：初始化步骤4中模型的权重，使用步骤二中划分的训练集和验证集进行模型训练，采用Adam优化算法来更新模型参数；加入早停机制训练模型，在每个epoch中，先用训练集更新权重，更新完后用验证集检验损失函数变化，当验证集的损失函数超过5次不下降时，说明模型过拟合，停止模型训练；如果没有触发早停机制，神经网络训练200个Epoch结束；

步骤六：基于SENet改进的CNN-GRU预测模型训练结束，将测试集数据输入模型进行预测，得到基于SENet改进的CNN-GRU组合模型的最终滑坡位移预测如图7所示；所提出的模型预测误差MSE达到了40.3，与传统的GRU相比预测误差下降了62％，与CNN模型相比，预测误差下降了83％。

图8和图9为使用传统的GRU方法和CNN方法得到的预测结果图，将图7和图8、图9进行对比可以看出，图7的预测结果和真实值更加接近，预测更为准确，而图8、图9中预测结果和真实数据相差较大。可见本发明基于SENet改进的CNN-GRU组合模型滑坡位移预测方法，能够更好的适应滑坡数据的各项特征，优于现有的GRU预测模型和CNN预测模型。

本发明基于压缩激励网络(Squeeze-And-Excitation Network，SENet)的CNN-GRU滑坡位移预测方法。在该方法中，首先对滑坡中的降水、土壤含水率、XXX、库水位及滑坡位移等影响因素利用偏相关灰色关联度分析，计算各个滑坡影响因素和滑坡位移的关联程度，依据重要关联度筛选滑坡关键影响因素并进行归一化处理，作为CNN模型的输入；与此同时，将SENet引入CNN模型，构建基于压缩激励的卷积神经网络，自适应调整网络特征通道，提取时间序列特征，增强输入与输出紧致性，优化网络结构；其次，将卷积产生的特征序列作为GRU的输入，通过MSE损失函数与Adam优化算法更新模型参数；最后将训练好的模型进行滑坡位移预测，提升滑坡位移短期预测精度。该方法利用偏相关灰色关联度有效降低弱滑坡致灾影响因素选择空间，融合CNN特征表达能力、GRU时间序列记忆优势、SENet特征通道自适应调节能力，增强网络紧致结构，提升了滑坡位移的预测精度和泛化能力。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，所述基于压缩激励网络的CNN-GRU滑坡位移预测方法包括：

处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；所述滑坡位移数据包括：位移数据、月降水量、和水位库存量，收集对滑坡位移造成影响的外界因素作为预测数据；

按照6：1：3的比例将数据集划分为训练集、验证集和测试集，所述训练集用于训练模型，验证集验证是否停止训练，测试集测试模型预测预测能力；对所有数据进行归一化处理，数据处理后符合标准正态分布，即均值为0，标准差为1；

构造CNN模型，加入SENet结构，通过CNN模型进行特征提取，将输入的特征值进行维度提升，获取更多信息用来进行预测；CNN模型由输入层、卷积层和SENet层组成，用于对数据进行特征处理；

将经过卷积之后产生的特征序列作为门控循环单元网络层GRU的输入，用于对输入数据进行长短期预测；GRU网络由新门和重置门两个门函数构成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多；重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少；

初始化模型的权重，进行预测模型训练，将处理好的数据输入到模型中，使用均方误差MSE作为损失函数，并用Adam优化算法来更新模型参数；每个epoch用验证集验证误差是否下降，否则停止训练；

训练完成后参数不再更新，将测试集数据输入模型进行预测，得到基于SENet改进的CNN-GRU组合模型的预测结果，使用损失函数对预测值与真实值进行评估，得到模型预测的精确度，度量预测值与真实值的相似性。

2.如权利要求1所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，通过偏相关灰色关联度分析法计算每个滑坡影响因素和滑坡位移的关联度，筛选影响因素，包括：通过偏相关和灰色关联法综合分析的方法，将偏相关系数作为计算灰色关联度的权重，获得影响滑坡位移的各因素的关联顺序，即代表各因素在滑坡位移影响中的主次关系，选择关联度较大的若干属性作为预测模型的输入数据。

3.如权利要求2所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，所述对各影响因素数据与滑坡位移数据进行关联度分析，筛选预测模型的输入参数，包括：

(1)确定一个因变量因素和m个自变量因素：x₀＝[x₀(1),x₀(2),...,x₀(n)]，

x_i＝[x_i(1),x_i(2),...,x_i(n)]，i＝1,2,...,m；

其中，x₀为参考序列；x₀(n)为参考序列中的变量；x_i为第i个比较序列；x_i(n)为第i个比较序列中的变量；

(2)计算每个属性序列和滑坡位移序列之间的关联度，得到比较序列和参考序列在各个点处的关联系数值，计算关联系数，定义如下点关联系数的计算公式：

其中，ξ为分辨系数ξ∈(0,1)，取0.5；令q(X₀,X_i)为x_i对于x₀在k点的灰色关联系数，记为q_0i，k点关联系数q(X₀(k),X_i(k))记为q_0i(k)；

(3)通过计算关联系数得到比较序列和参考序列在各个点处的关联系数值，将每个比较序列的各个点处的关联系数值进行统计处理，并集中为一个值，即灰色关联度；为反映某个比较序列与参考序列之间的灰色关联度，计算两个数据序列各个点处的关联系数的平均值：

其中，i＝1,2,...,m，k＝1,2,...,n；

(4)得到各影响因素的灰色关联度后还应赋予各影响参数不同的权重；偏相关系数在研究某一个要素对另一个要素的影响或相关程度时，可不考虑其他要素的影响，单独研究两个要素之间的相互关系的密切程度；

(5)将偏相关系数计算结果ω_i作为各比较序列对参考序列的影响权重，对关联系数求加权平均值：

求得加权后的灰色关联度值q_0i′。

4.如权利要求3所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，所述求解偏相关系数的步骤，包括：

1)计算x，y之间的关联程度，即简单相关系数r_xy：

2)设一组变量x₁,x2,...,x_m，则由简单相关系数r_ij组成的相关矩阵R，对矩阵R求逆得到R^-1：

求得x_i和x_j间的偏相关系数：

3)将参考序列与各比较序列的偏相关系数归一化，得到各影响因素的权重值；如假定变量x_n为参考序列，则其余比较序列对x_n的影响权重ω_i的计算公式为：

其中，ω_i(i＝1,2,...,n-1)表示变量x_i在研究变量x_n的影响因素之中所占的比重，即权重；偏相关系数的计算结果可能为负值，表示负相关，在进行归一化时，对负值先进行绝对值处理，再进行权重计算。

5.如权利要求1所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，对所有数据进行归一化处理，包括：通过Z-score归一化步骤对数据进行预处理，数据处理后符合标准正态分布，即均值为0，标准差为1；按列求出一组数据的均值

和标准差σ，归一化的公式为：

标准差计算公式为：

构造的CNN模型，结构为两层1dCNN，分别使用64个和16个3×1的卷积核，激活函数为ReLu函数；其中每个卷积层的计算公式为：

式中：conv函数为CNN网络中的卷积操作；

和

分别为卷积过程中的输入与输出，其中l为交通流序列的长度，i和j分别表示卷积过程中的处理位置；

为该层卷积层的权重；

为该层卷积层的偏置；

每个卷积层的输出为：

式中：非线性激活函数f()为ReLu函数；

和

分别为激活函数的输入和输出。

6.如权利要求1所述、的基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，加入的SENet结构，包括Squeeze和Excitation两个操作：Squeeze部分，为压缩部分，将原始维度的特征图压缩到1×1大小；Excitation部分，通过激活函数来为每个特征通道生成权重，对每个通道的重要性进行预测，得到不同通道的重要性大小后作用到输入层的对应通道上，再进行后续操作；

将CNN提取的特征数据作为GRU层的输入数据，用于进行长短期预测；在GRU模型中只有两个门：分别是更新门r_t和重置门z_t，r_t用于控制前一时刻的状态h_t-1对候选状态h_t的影响程度，z_t用于决定h_t-1中有多少信息可以传递到当前状态h_t中，GRU神经网络的更新方式如下：

r_t＝σ(i_tW_ir+h_t-1W_hr+b_r)

z_t＝σ(i_tW_iz+h_t-1W_hz+b_z)

其中σ(·)是sigmoid函数，tanh(·)是双曲正切函数；i_t是t时刻的输入，y_t是t时刻的输出；W_ir、W_iz和W_ih是输入—状态权重矩阵，W_hr、W_hz和W_hh是状态—状态权重矩阵，b_r、b_z和b_h是偏置量；

是元素乘法。

7.如权利要求1所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法，其特征在于，模型训练使用早停机制，经过一轮一轮的训练，算法不断地学习，训练集上的预测误差自然不断下降，同样在验证集上的预测误差也随之下降；当验证误差停止下降反而开始上升时，说明模型开始过度拟合训练数据；通过早期停止法，一旦验证误差达到最小值就立刻停止训练；

采用均方误差MSE损失函数，用来检测模型的预测值与真实值之间的偏差，公式为：

其中，y_m为滑坡位移预测模型的预测值，

是滑坡位移的真实值。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～7任意一项所述的基于压缩激励网络的CNN-GRU滑坡位移预测方法。

9.一种实施权利要求1～7任意一项所述基于压缩激励网络的CNN-GRU滑坡位移预测方法的CNN-GRU滑坡位移预测***，其特征在于，所述CNN-GRU滑坡位移预测***包括：

影响因素筛选模块，用于处理采集的滑坡位移数据，通过灰色关联度分析法计算每个滑坡影响因素和滑坡位移数据的关联度，筛选影响因素；

数据归一化处理模块，用于按照6：1：3的比例将数据集划分为训练集、验证集和测试集，并将所有数据进行归一化处理；

数据特征提取模块，用于构造CNN模型，加入SENet结构，对输入数据进行特征提取；

长短期预测模块，用于在模型中加入GRU层，卷积之后产生的特征序列作为输入，进行长短期预测；

模型参数训练模块，用于初始化模型超参数，进行模型训练，训练时将训练数据输入至基于SENet改进的CNN-GRU模型；通过数据实际值和测试值的差值得到模型损失函数，并反向传播来训练模型参数；

模型验证模块，用于训练完成后，用测试数据进行模型测试，对比测试集的预测值与真实值的误差，验证模型是否有效。

10.一种如权利要求1～7任意一项所述基于压缩激励网络的CNN-GRU滑坡位移预测方法在滑坡位移数据预测中的应用。

Images