CN114385614A

CN114385614A - 基于Informer模型的水质预警方法

Info

Publication number: CN114385614A
Application number: CN202210026715.9A
Authority: CN
Inventors: 毕敬; 王宇枫; 乔俊飞
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2022-01-11
Filing date: 2022-01-11
Publication date: 2022-04-22

Abstract

本发明公开一种基于Informer模型的水质预警方法，包括对于时序水质数据的预测及异常检测模型两部分。首先，选取时序数据并对缺失值进行补齐，并对补齐后的数据进行多项式平滑滤波(Savitzky‑Golay,SG)处理。在此基础上，对SG滤波平滑处理后的数据进行训练，接着对生成的时序预测模型输出的预测值进行基于Loess的季节性特征分解并剔除季节性分量。此外，采用孤立森林对分解后的多维特征数据进行建模，超出安全区间之外的数据设定为异常值，从而达到水质预警的效果。其中，异常值结合《地表水环境质量标准》GB3838‑2002作为评判的标准。本发明能够有效地解决实时性预测和安全区间的设置问题，使得准确率和召回率得到进一步提高。

Description

基于Informer模型的水质预警方法

技术领域

本发明涉及一种面向水质指标的预警方法，主要是设计一种基于Informer模型的水质预警方法。

背景技术

近年来随着物联网技术的发展，各种检测数据能有效的及时的进行传输与分析，同时数据的采集具有高频性，数据量的规模足以满足神经网络方法的应用。时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列，相邻的时刻存在着一定的规律来相互影响，传统神经网络很难捕捉到这种跨度很长的关键信息，导致预测精度下降。循环神经网络虽然可以按照数据的先后顺序输入到模型中进行训练，但很难关注到两个距离很远的时序数据，以至于影响其预测精度。基于注意力机制的神经网络模型可以很好的关注到两个距离较远的时序数据并学习它们之间的特征关系，大大提升预测精度。而在水质预警工作中，传统的预警方法大多是设置了固定的预警阈值，阈值设置较高，会导致预警***灵敏度低，影响突发污染时间的应急处理；阈值设置过低，会导致预警***频繁报警，增加不必要的工作负担。准确的对水质进行预测以及动态设置阈值是实现水质预警的技术依据。

发明内容

针对以上现有技术的不足，本发明提供一种基于Informer模型的水质预警方法，该方法包括如下的步骤：基于Informer模型的时序预测；基于孤立森林的预警阈值计算。

本发明的目的通过以下技术来实现。

一种基于Informer模型的水质预警方法，该方法包括如下的步骤：

步骤S1：获取过去一段时间水质指标的时间序列数据并选择一维水质特征，组成时间戳和指定水质特征构成的二维时间序列数据，对二维数据中的缺失值采用多项式插值的方式补齐；

步骤S2：在步骤S1的基础上，对水质特征数据进行SG滤波平滑降噪；

步骤S3：在步骤S2的基础上，将SG处理之后的数据输入Informer模型中，输出水质指标的多步预测值，获得未来的水质指标预测值；

步骤S4：在步骤S2的基础上，将SG处理之后的数据进行STL特征分解，将其分解为趋势分量、季节分量和残余分量三部分，并剔除季节分量；结合时间戳作为孤立森林模型的输入，IsoForest来对分解后的多维特征数据进行建模，将IsoForest非异常点的中心偏离程度作为安全区间的阈值设定标准；

步骤S5：在步骤S3的基础上，得到的未来水质指标值，将其进行STL特征分解并剔除季节性分量，与IsoForest的安全阈值进行预警；

步骤S6：在步骤S5的基础上，得到的异常值再结合地表水环境质量标准GB3838-2002计算水质等级，根据水质等级解释其异常的合理性。

本发明的优点在于：

1.该方法对时间序列数据进行SG滤波平滑能够很好的消除数据噪声。在此基础上，采用Informer的自注意力蒸馏技术、概率稀疏自注意力机制以及生成式解码器作为基础网络，可以提高训练速度，减少网络的内存开销，并提高多步预测精度。

2.Informer的多步预测结果经过STL特征分解并剔除季节性分量，可使得网络更加专注学习复杂特征；且使用随机森林作为异常检测模型，不容易发生过拟合，多颗决策树训练时相互独立，在速度和精度方面表现更佳；在此基础上，本发明结合地表水环境质量标准GB3838-2002对异常值进行解释，应用到水质预警***中具有更好的解释性。

附图说明

图1基于Informer模型的的水质预警方法概念框架示意图；

图2 SG滤波流程图；

图3 STL特征分解图。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施方式。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖相关元素、部件和算法的任何修改、替换和改进。

下面将参照附图1来描述根据本发明实施例的一种基于Informer模型的水质预警方法的具体步骤如下：

第一步，获取过去一段时间水质指标组成的时间序列数据，由于水质自动监测***的监测频次通常为四小时一次；然后获取对预警指标影响较大的特征变量，此处选择溶解氧作为影响水质好坏的特征变量；对于监测数据中缺失部分的值，采用多项式插值的方式进行填充。多项式插值的具体方法如下：

给定一组n+1个数据点(x_i,y_i)，其中任意两个x_i都不相同，需要找到一个满足不大于n阶的p阶多项式：

p(x_i)＝y_i,i＝0,...,n，

假设插值多项式的形式为：

p(x)＝a_nxⁿ+a_n-1x^n-1+…+a₂x²+a₁x+a₀，

对数据点进行插值的含义为：

p(x_i)＝y_ifor all ini∈{0,1,...,n}。

求解出a₀,a₁,...,a_n就可以利用p(x)进行插值，从而补充缺失值。

第二步，将水质指标时间序列数据用SG滤波预处理。

由于数据中可能存在噪声点，往往会导致非线性模型的过拟合出现，通过使用SG方法对原始数据进行平滑滤波，降低噪声的干扰，可以有效的抑制非线性模型过拟合的出现。图2为SG滤波的实施方法流程图。SG滤波的原理如下：

SG平滑滤波算法是移动平滑算法的改进。在保持原有数据的形状和长度不变的情况下使用SG平滑滤波，会提高时间序列的平滑性，并降低噪声的干扰。核心思想是对窗口内的数据进行加权滤波，但是它的加权权重是对给定的高阶多项式进行最小二乘拟合得到。对当前时刻的前后一共2n+1个观测值进行滤波，用k-1阶多项式对其进行拟合。对于当前时刻的观测值，用下面的公式进行拟合：

x_t＝a₀+a₁·t+a₂·t²+…+a_k-1·t^k-1，

同样，对于前后时刻(如t-1、t+1、t-2、t+2等时刻)的预测值，可以用上式来计算，这样一共得到2n+1个式子，具体如下：

要使得整个矩阵有解，必须满足2n+1>k，才能够通过最小二乘法确定参数a₀,a₁,a₂,...,a_k-1,公式为：

X_(2n+1)×1＝T_(2n+1)×k+A_k×1+E_(2n+1)×1，

各个参数下标表示它们各自的维度，如A_k×1表示有k行1列的参数，通过最小二乘法，可以求得A_k×1的解为：

A＝(T^Trans·T)^-1·T^Trans·X，

上标Trans表示转置，那么模型的滤波值P为：

P＝T·A＝T·(T^Trans·T)^-1·T^Trans·X

最终可以得到滤波值和观测值之间的关系矩阵：

B＝T·(T^Trans·T)^-1·T^TTans。

通过矩阵B将观测值转换为滤波值，滤波后的数据要做以下滑动窗口处理，以便模型输入。

第三步，构建Informer的时序预测模型，对溶解氧特征进行多步预测。

本发明使用Informer网络模型来分析水环境相关指标，数据经过上一步处理后，设置输入序列x₁,x₂,...,x_t,...,x_T,通过Informer模型来实现时序数据的预测；经过Informer网络模型其处理流程如下：

模型输入由经过滤波平滑的特征标量

局部时间戳PE和全局时间戳SE组成；转换公式为：

式中：i∈{1,...,L_x},α为平衡标量映射和局部/全局嵌入之间大小的因子。

特征标量所对应公式中的

具体操作为通过Conv1D将i维转换为512维向量。局部时间戳采用Transformer中的Positional Embedding，计算公式为：

其中d_model为输入的特征维度，

全局时间戳使用一个全连接层将输入的时间戳映射到512维的Embedding。

生成编码器的具体方法包括：

统一转换后的输入

输入到模型的编码器Encoder部分，首先在注意力模块对其进行稀疏性自注意力计算，每个Key只关注u个主要Query，Q为查询向量，K为键向量，V为值向量，计算公式如下所示：

其中，

是大小与Q相同的稀疏矩阵且其只包含稀疏度量M(q_i,K)下的Top-u个Query。加入一个采样因子c，设置u＝clnL_q。首先，为每个Query都随机采样c*lnL个Key，并计算每个Query的稀疏性得分M(q_i,K)。Q_i,K_i,V_i分别为Q,K,V的第i行，d为q_i的维度，而L_k＝L_q＝L，稀疏度量M(q_i,K)的近似计算公式为：

然后，选择稀疏性得分最高的N个Query，N默认为c*lnL，只计算N个Query和Key的点积结果，其余的L-N个Query不计算。

经过稀疏性自注意力计算后的输出存在V值的冗余组合，因此需要蒸馏操作对具有主要特征的优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征图。具体通过四层Convld卷积层和一个最大池化层来实现。

经过多次稀疏性自注意力层计算以及蒸馏操作的组合之后，得到解码器Decoder的输入。而对于解码器Decoder，Informer使用的Decoder和传统的Decoder类似，为了让算法生成长序列的输出，Decoder需要如下输入：

其中，

为输入Decoder的原始序列，

为需要预测序列(用0填充)，随后将序列通过一个基于掩码的稀疏性自注意力层，它可以防止每个位置都关注未来的位置，从而避免了自回归。将该层的输出以及Encoder的输出再传递给一个多头注意力层，经过一次计算输出结果。最终通过一个全连接层，得到最后的输出。将预测得到的输出和真实值进行损失函数Loss计算，损失函数采用RMSE，计算公式如下：

其中，m为样本数，y_i为真实数据，

为预测数据。重新迭代，直至训练条件终止(达到模型迭代次数或因Loss不下降而触发早停机制)，生成训练好的模型，可用于预测未来时刻的水环境特征值，模型的输出可以得到多步预测值。

第四步，对SG滤波平滑的数据进行STL特征分解，剔除季节分量特征；利用孤立森林(IsoForest)在剔除季节分量之后的数据上进行建模；IsoForest属于非参数化和无监督学***面来切割数据空间，且一次可以生成两个子空间。之后再继续用一个随机超平面来切割每个子空间，循环下去，知道每个子空间只有一个数据点为止。而本方法的二维数据，只需要在固定维度上切割，将密度低的切割边界与中心的偏离距离作为安全区间阈值，安全区间则等于预测值±最大最小偏离距离。而对于STL特征分解之后的三维特征分量需要剔除季节分量，因为季节性特征分量是随时间定期重复的，从特征数据中将该特征分量剔除，使得输入和输出变量之间的关系更加清晰，更加专注学习剩余特征间的关系，图3为STL特征分解之后的特征分量图。具体方法如下，

(1)分解趋势项，采用中心化移动平均值的方法，具体如下：

当f为奇数时采用上述计算方法。

当f为偶数时采用上述计算方法。

其中，T_t为趋势项，f为时间序列频率，1为时间序列长度，结果为长度为1的时间序列，当t超出上述下标的定义域时，其值为空，如T₁，即t＝1。

(2)分解季节分量并将其剔除，具体如下：

在t时刻，Y_t为原始时间序列的观测值，T_t为该时刻的趋势值，S_t为该时刻季节性周期项，采用将原始时间序列减去趋势项：

S_t＝Y_t-T_t，

将各个周期内相同频率下的值平均化，得到季节项Figure：

其中，n＝1对f取整，即max(n,nf≤1)，将Figure中心化，得到中心化的季节项Figure，公式可表述为：

Figure＝Figure-mean(Figure)。

最终得到的长度为f的季节项并将其剔除，作为IsoForest的训练数据。

第五步，对Informer网络预测的多步结果，将其进行STL分解，同样需要剔除季节性分量，然后与第四步得到的阈值进行比较；如果超出安全区间则认为是异常。

第六步，对于异常的数据，可以结合GB3838-2002来对其进行解释，解释其异常情况的原因，使得异常数据具有可解释性。

本发明充分利用注意力机制实现长序列预测，并解决了假设检验的局限性，不再假设数据服从某个分布，而是采用一种更通用的方式来进行异常检测。

本发明对上面提出的一种基于Informer模型的水质预警方法。应当理解，显然，本发明的上述具体实施方式仅仅是为清楚地说明本发明所作的举例，而并非是对本发明实施方式的具体限定。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，然而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于Informer模型的水质预警方法，其特征在于，包括如下步骤：

步骤S1，获取过去一段时间的水质指标所组成的时间序列数据并挑选对于水质好坏影响程度较大的水质指标特征，采用多项式差值的方式补齐缺失数据；并补齐缺失数据；

步骤S2，对该数据进行多项式平滑滤波(Savitzky-Golay,SG)降噪；

步骤S3，将步骤S2中处理好的数据输入Informer模型，Informer模型实现对未来水质的多步预测；

步骤S4，将步骤S2中处理好的数据基于局部加权回归进行特征分解(Seasonal-Trenddecomposition procedure based on Loess,STL)并剔除季节性分量，通过孤立森林(Isolation Forest,IsoForest)来对分解后的多维特征数据进行建模，将IsoForest非异常点的中心偏离程度作为安全区间的阈值设定标准；

步骤S5，将步骤S3中预测好的多步数据STL特征分解并剔除季节性分量，在IsoForest阈值之外的数据便是异常值；

步骤S6，参考地表水环境质量标准GB3838-2002，对异常值的真实性进行评判。

2.根据权利要求1所述的基于Informer模型的水质预警方法，其特征在于：选取自动监测站点采集的水质数据，其数据本身即为时间序列数据，选取对于水质影响较大的水质单一指标，例如溶解氧、PH值、氨氮等，并采用多项式插值的方式对特征缺失的部分进行补齐。

3.根据权利要求1所述的基于Informer模型的水质预警方法，其特征在于：对多项式插值补齐之后的数据，受数据采集器自身的影响及其他可能性，数据存在一定程度的噪声，采用SG滤波对数据进行平滑，该滤波器的最大特点在于滤除噪声的同时可以确保信号的形状、宽度不变。

4.根据权利要求1所述的基于Informer模型的水质预警方法，其特征在于：对于SG滤波平滑之后的二维数据，由水质特征组成的一维数据通过卷积转换为512维向量，局部时间戳采用Transformer的位置编码Positional Embedding；另外一维数据为特征值对应的采集时间，通过全连接层将其映射到512维的Embedding。转换得到的向量输入到模型的Encoder部分，在注意力模块对其进行稀疏性自注意力计算，每个Key只关注u个主要的Query，以便加快模型的运算速度。经过稀疏性自注意力计算后的输出通过四层Convld卷积层和一个最大池化层来对具有主要特征的优势特征赋予更高的权重。对于解码器Decoder部分，Encoder的输出通过基于掩码的稀疏性自注意力层防止每个位置都关注未来的位置，从而避免自回归，从而提高预测精度，Decoder的输出便是预测的多步结果。

5.根据权利要求1所述的基于Informer模型的水质预警方法，其特征在于：经过滤波平滑的二维数据，将其进行STL特征分解并剔除季节性分量，让特征数据不包含有季节性的因素；接着二维数据特征值与残差值通过随机森林IsoForest来进行异常检测，将IsoForest非异常点的中心偏离程度作为安全区间的阈值设定标准，避免了使用假设检验的缺陷。

6.根据权利要求1所述的基于Informer模型的水质预警方法，其特征在于：步骤S3中预测结果为多步数据，经过STL特征分解并剔除季节性分量，使得数据特征脱离季节性因素的干扰，预测的多步结果如果超出安全区间就是异常数据，异常数据在STL特征分解前的数据是需要关注的重点。

7.根据权利要求1所述的基于Informer模型的水质预警方法，其特征在于：对于超出安全区间的异常数据，参考现行地表水环境质量标准GB3838-2002，可以得出该值对应的水质等级，从而得知其异常程度。