CN113837364B - 基于残差网络和注意力机制的污水处理软测量方法及*** - Google Patents

Abstract

本发明涉及用于污水处理的软测量方法及***。其中的方法包括：通过获取传感器采集水体参数的历史数据，所述历史数据包括输入特征变量和输出目标变量，并且将历史数据划分到训练集、验证集和测试集；对训练集进行标准化处理，得到标准化后的训练特征以及标准化参数，并且构建基于残差网络和注意力机制的污水处理软测量模型；使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集对基于残差网络和注意力机制的污水处理软测量模型进行训练；采用已训练的污水处理软测量模型，利用当前的输入特征变量对输出目标变量进行软测量预测。其中的***包括：用于获取水体参数的传感器以及实施上述方法的计算机装置。

Description

基于残差网络和注意力机制的污水处理软测量方法及***

技术领域

本发明涉及用于污水处理的软测量方法及***，属于水体检测技术领域。

背景技术

在废水处理过程中，存在着大量难以测量或无法在线测量的参数，同时这类参数密切影响着出水指标的控制。

目前废水处理过程中的出水化学需氧量(COD)和出水悬浮固形物(SS)，主要采用传统的基于统计学方法的回归方法如主成分回归(PCR)、偏最小二乘回归(PLSR)、多元线性回归(MLR)等，基于机器学习方法的反向传播人工神经网络回归(BP-ANN)、支持向量回归(SVR)等，基于深度学习的卷积神经网络回归(CNN)、递归神经网络(GRU)等软测量模型进行预测。

传统的软测量方法主要适用于线性***预测，机器学习软测量方法受限于工程师的知识储备，自适应性不强。

深度学习对复杂网络的非线性***预测具有较好的适用性，并且具有自动特征工程能力，其中的卷积神经网络回归具有短序列特征抽象能力，但是缺乏长序列的时间依赖性，导致在长序列回归模型钟泛化性能不强；GRU相对CNN是一种有效处理长序列数据的高效深度学习模型，同时也是一种更高效的时域特征信息提取方法，一个好的方法是将这两种特征采用残差结构进行融合。同时在与目标值进行回归过程当中，融合的特征其对应的重要程度是不同的，一种好的方法采用注意力机制对融合特征进行重要程度分析。

发明内容

本发明提供一种用于污水处理的软测量方法方法及装置，旨在至少解决现有技术中存在的技术问题之一，比如，至少解决现有的水体软测量方法中深度学习对长短序列回归泛化性能不强的问题。

本发明的技术方案涉及一种用于污水处理的软测量方法，包括以下步骤：

S1、通过获取传感器采集水体参数的历史数据，所述历史数据包括输入特征变量和输出目标变量，并且将所述历史数据划分到训练集、验证集和测试集；

S2、对所述训练集进行标准化处理，得到标准化后的训练特征以及标准化参数，并且构建基于残差网络和注意力机制的污水处理软测量模型；

S3、使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集对基于残差网络和注意力机制的污水处理软测量模型进行训练；

S4、采用已训练的污水处理软测量模型，基于测试集上的性能指标，对所述输出目标变量进行实时的软测量预测并且运算得到当前水体分析结果，以及根据需要对污水处理软测量方法进行误差监控以更新所述污水处理软测量模型的模型参数。

其中，所述输入特征变量包含进水的水体中的COD、流量、悬浮固形物浓度、溶解氧浓度和pH值，所述输出目标变量包含出水的水体中COD和悬浮固形物浓度。

进一步，所述步骤S1包括：以均匀随机抽样的方式对所述历史数据中的输入特征变量和输出目标变量分别进行划分，其中，以80％的输入特征变量和输出目标变量组成训练集，10％的输入特征变量和输出目标变量组成验证集，其余的输入特征变量和输出目标变量组成测试集；所述训练集用于在污水处理软测量模型的训练过程中作为模型拟合的数据样本；所述验证集用于模型训练过程中单独留出的样本集，以用于调整模型的超参数和用于对模型的预测能力进行初步评估。

进一步，所述步骤S2包括通过下式对所述训练集的变量实施变量序列标准化处理：

其中，x′_k是标准化后的序列，x_k是所述训练集的输入特征变量或输出目标变量，μ是序列x₁,…,x_n的均值，σ是该序列的标准差；使标准化后的序列值的均值为0，标准差为1；然后用存储的μ和σ值对验证值和测试集进行标准化，使得验证值和测试集与训练集服从同一分布。

进一步，所述步骤S2包括构建基于残差网络和注意力机制的污水处理软测量模型，使得所述污水处理软测量模型包括：输入模块、CNN模块、GRU模块、残差网络结构、注意力模块、全连接模块和回归模块；其中，所述CNN模块包括卷积层、批归一化层、激活层、池化层、丢弃层；其中，所述残差网络结构用于CNN模块输出的特征与GRU模块输出的特征进行融合，所述注意力模块用于对融合特征进行筛选。

进一步，所述步骤S3包括：使用训练集标准化得到的参数对验证集进行标准化，得到标准化的验证集；输入标准化的训练集和标准化的验证集对污水处理软测量模型进行训练，得到训练后的污水处理软测量模型并保存为CNN-GRU-ATTENTION残差模型；使用训练后标准化参数对测试集进行标准化，用于输入训练后的CNN-GRU-ATTENTION残差模型进行性能指标评价。

进一步，所述步骤S3包括：对污水处理软测量模型的模型参数进行初始化；使输入数据经过卷积层、下采样层、GRU层、注意力层的前向传播得到输出值；获取训练过程中的污水处理软测量模型所计算的预测值与目标值之间的误差；当误差大于阈值时，将误差传回污水处理软测量模型中，依次求得注意力层、GRU层、下采样层和卷积层的误差，其中将各层的误差为整合为污水处理软测量模型的总误差；如果总误差小于或等于预设的总阈值时，则停止训练，完成污水处理软测量模型的构建。

进一步，在所述步骤S3中：所述批归一化层为批标准化归一层；所述激活层所采用的激活函数为ReLU函数，所述激活层所采用的池化函数为最大池化函数；所述注意力模块采用自注意力机制，对CNN模块和GRU模块的残差结构输出的融合特征进行筛选，其中，通过污水数据空时域上的信息，将CNN模块和GRU模块提取的特征利用残差结构进行融合，并引入注意力机制完成空时融合后的关键特征提取，获取该关键特征的充分表达。

进一步，所述步骤S4包括：对输出值进行反标准化处理，得到预测目标值，通过预测目标值和实际目标值获取平均绝对误差和确定相关系数，以实施水体软测量预测结果的误差监控；其中，所述平均绝对误差计算式为：

其中，MAE为平均绝对误差，y_i为预测值，x_i为实际值；

其中，所述的确定相关系数计算式为：

其中，R²为确定相关系数，

为序列x_i的均值。

本发明的技术方案还涉及一种用于污水处理的软测量***，包括：用于从污水处理单元获取水体参数的传感器以及与所述传感器通信连接的计算机装置，所述计算机装置上储存有程序指令，所述程序指令被计算机装置的处理器执行时实施上述的方法。

本发明的有益效果如下：

(1)充分利用了模型中各网络的优势，采用CNN学习污水数据的高层的空间特征，GRU 学习污水数据低层的时序特征，并引入注意力机制完成空时融合后的关键特征提取，获得了污水数据特征用以软测量目标的充分特征表示；(2)本发明技术方案中的模型避免了人工特征所存在的有区分度特征表达不充分的问题，同时提升了模型的收敛速度和泛化性能。

附图说明

图1是根据本发明的基于残差网络和注意力机制的污水处理软测量方法的流程图。

图2是根据本发明的方法在实施例中的总体流程框架图。

图3a是根据本发明的实施例中的污水处理软测量的源输入数据的示意图。

图3b是根据本发明的实施例中的污水处理软测量模型网络结构的示意图。

图4是根据本发明的实施例中的已训练的模型预测出水COD结果的评价示意图。

图5是根据本发明的实施例中的已训练的模型预测出水SS结果的评价示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

在对本发明实施例进行进一步详细说明之前，先对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：

BOD：生物需氧量；

BP-ANN：基于深度学习的反向传播人工神经网络回归；

CNN：基于深度学习的卷积神经网络回归

COD：化学需氧量；

DO：溶解氧；

GRU：递归神经网络；

MLR：多元线性回归；

PCR：主成分回归；

PLSR：偏最小二乘回归；

SS：悬浮固形物；

SVR：支持向量回归。

本发明的方案一般适用于污水处理单元，通过传感器获取污水处理***的进水和出水的水体参数和数据，然后通过计算机设备读取进水和/或出水的水体参数和数据，来实施根据本发明的污水处理软测量方法，以利用历史水体参数和数据所训练好的基于残差网络和注意力机制的神经网络模型，对当前采集的进水水体数据来出水水体数据进行软测量(包含估测或者预测)。

参照图1，在一些实施例中，根据本发明的污水处理软测量方法包括以下步骤：

S1、对从水体中获取的历史数据中的特征以及对应的目标值划分为训练集、验证值和测试集；

S2、对训练集进行标准化处理，得到标准化后的训练特征以及标准化参数；

S3、使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集训练模型；

S4、使用训练后得到的模型计算其再测试集上的性能指标，进而对污水处理软测量方法进行评价。

下面基于某污水处理车间的污水处理单元中的一些具体的实施方式来分别描述上述步骤。

对于步骤S1

以均匀随机抽样的方式对所述历史数据中的输入特征变量和输出目标变量分别进行划分。所述的特征变量包括进水COD、进水流量Q、进水SS、温度T、溶解氧DO、pH；所述的目标变量包括出水COD、出水SS。在进一步的实施例中，以超过半数的输入特征变量和输出目标变量组成训练集，其余的输入特征变量和输出目标变量组成验证集和测试集。所述训练集用于在污水处理软测量模型的训练过程中作为模型拟合的数据样本；所述验证集用于模型训练过程中单独留出的样本集，以用于调整模型的超参数和用于对模型的预测能力进行初步评估。

在图2所示的步骤201中，首先，通过传感器从该车间的污水处理单元的水体中获取数据，其中的数据包括自变量数据和因变量数据。自变量数据为进水COD、进水流量Q、进水 SS、好氧池温度T、好氧池溶解氧DO和好氧池pH；因变量数据为出水COD和出水SS。然后，分别对于上述的自变量数据和因变量数据，例如，采集好氧段废水的工况下的1000个样本点，采样间隔为2小时。将1000个样本点按照8:1:1的比例随机划分为训练集、验证集和测试集，即其中的训练集、验证集和测试集的样本点数分别为800、100和100。

对于步骤S2

在图2所示的步骤202中，实施数据标准化处理，其中分别对模型特征输入值进水COD、进水流量Q、进水SS、好氧池温度T、好氧池溶解氧DO、好氧池PH，模型输出值出水COD 和出水SS中的训练集进行标准化。

设某一变量序列x_i为x₁,…,x_n，其中记序列的均值为μ，标准差为σ，则标准化后的序列为：

其中，标准化后的序列值的均值为0，标准差为1，存储μ和σ的值；然后用存储的μ和σ值对验证值和测试集进行标准化，使得验证值和测试集与训练集服从同一分布。多组的输入源数据的概览如图3a所示。

此外，在下一步骤之前，构建基于残差网络和注意力机制的污水处理软测量模型，使得所述污水处理软测量模型包括：输入模块、CNN模块、GRU模块、残差网络结构、注意力模块、全连接模块和回归模块。如图3b所示，所述CNN模块包括卷积层、批归一化层、激活层、池化层、丢弃层；所述残差网络结构用于CNN模块输出的特征与GRU模块输出的特征进行融合，所述注意力模块用于对融合特征进行筛选。优选地，所述的批归一化层为BatchNormalization，其能解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或***、加快训练速度。优选地，激活层采用的激活函数为ReLU函数，并且激活层采用的池化函数为最大池化函数。优选地，GRU模块采用一层包含20个隐藏单元的GRU层。优选地，注意力模块采用一层使用Softmax函数的自注意力层。优选地，全连接模块采用一层全连接层，其中由于回归的因变量包括出水COD和出水SS，因此全连接层的输出数一般为2。优选地，回归模块采用的损失函数为均方误差(MSE)。

对于步骤S3

在图2所示的步骤203中，实施模型训练，其中，将标准化后的训练集和验证集作为模型的输入，选择Adam优化器，对数据进行迭代训练，使loss到达最小。其中的训练集用于模型拟合，验证集用于调整模型的超参数和用于对模型的能力进行初步评估。

对于步骤S4

在图2所示的步骤204中，实施模型评价，其中可以采用平均绝对误差(简称MAE)和确定相关系数(R² score)来实现。

具体地，平均绝对误差计算如下：

其中确定相关系数的计算公式为：

上式中，y_i,x_i分别为预测值和实际值，

为序列x_i的均值。

然后，将训练后的CNN-GRU-ATTENTION残差模型保存。这里的模型为训练好的各层的权系数，通过输入标准化的自变量进水COD、进水流量Q、进水SS、好氧池温度T、好氧池溶解氧DO、好氧池pH，可以得到标准化下的预测输出目标出水COD和出水SS。

最后对输出的目标进行反标准化，得到预测目标出水COD和出水SS的数值。

通过设置训练参数，得到CNN-GRU-ATTENTION残差模型对测试集的软测量结果与实测的值的进行对比结果如图4和图5所示，其中出水COD指标和出水SS指标都在预设的阈值之下。

优选地，可以对污水处理单元的，进行输出目标变量实时的软测量预测并且运算得到当前水体分析结果，以及根据需要对污水处理软测量方法进行误差监控以更新所述污水处理软测量模型的模型参数。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码 (例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (7)

1.一种用于污水处理的软测量方法，其特征在于，所述方法包括以下步骤：

S1、通过获取传感器采集水体参数的历史数据，所述历史数据包括输入特征变量和输出目标变量，并且将所述历史数据划分到训练集、验证集和测试集；

S2、对所述训练集进行标准化处理，得到标准化后的训练特征以及标准化参数，并且构建基于残差网络和注意力机制的污水处理软测量模型；

S3、使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集对基于残差网络和注意力机制的污水处理软测量模型进行训练；

S4、采用已训练的污水处理软测量模型，基于测试集上的性能指标，利用当前的输入特征变量对输出目标变量进行实时的软测量预测并且运算得到当前水体分析结果，以及根据需要对污水处理软测量方法进行误差监控以更新所述污水处理软测量模型的模型参数；

所述步骤S2包括构建基于残差网络和注意力机制的污水处理软测量模型，使得所述污水处理软测量模型包括：

输入模块、CNN模块、GRU模块、残差网络结构、注意力模块、全连接模块和回归模块；

其中，所述CNN模块包括卷积层、批归一化层、激活层、池化层、丢弃层；

其中，所述残差网络结构用于CNN模块输出的特征与GRU模块输出的特征进行融合，

所述注意力模块用于对融合特征进行筛选；

所述步骤S3包括：

对污水处理软测量模型的模型参数进行初始化；

使输入数据经过卷积层、下采样层、GRU层、注意力层的前向传播得到输出值；

获取训练过程中的污水处理软测量模型所计算的预测值与目标值之间的误差；

当误差大于阈值时，将误差传回污水处理软测量模型中，依次求得注意力层、GRU层、下采样层和卷积层的误差，其中将各层的误差为整合为污水处理软测量模型的总误差；

如果总误差小于或等于预设的总阈值时，则停止训练，完成污水处理软测量模型的构建；

所述步骤S4包括：

对输出值进行反标准化处理，得到预测目标值，通过预测目标值和实际目标值获取平均绝对误差和确定相关系数，以实施水体软测量预测结果的误差监控；

其中，所述平均绝对误差计算式为：

，

其中，MAE为平均绝对误差，

为预测值，/>

为实际值；

其中，所述的确定相关系数计算式为：

,

其中，

为确定相关系数，/>

为序列/>

的均值。

2.根据权利要求1所述的方法，其中，所述输入特征变量包含进水的水体中的COD、流量、悬浮固形物浓度、溶解氧浓度和pH值，所述输出目标变量包含出水的水体中COD和悬浮固形物浓度。

3.根据权利要求1所述的方法，其中，所述步骤S1包括：

以均匀随机抽样的方式对所述历史数据中的输入特征变量和输出目标变量分别进行划分，其中，以80%的输入特征变量和输出目标变量组成训练集，10%的输入特征变量和输出目标变量组成验证集，其余的输入特征变量和输出目标变量组成测试集；

所述训练集用于在污水处理软测量模型的训练过程中作为模型拟合的数据样本；

所述验证集用于模型训练过程中单独留出的样本集，以用于调整模型的超参数和用于对模型的预测能力进行初步评估。

4.根据权利要求1所述的方法，其中，所述步骤S2包括通过下式对所述训练集的变量

实施变量序列标准化处理：

，

其中，

是标准化后的序列，/>

是所述训练集的输入特征变量或输出目标变量，/>

是序列/>

的均值，/>

是该序列的标准差；

使标准化后的序列值的均值为0，标准差为1；

然后用存储的

和/>

值对验证值和测试集进行标准化，使得验证值和测试集与训练集服从同一分布。

5.根据权利要求1所述的方法，其中，所述步骤S3包括：

使用训练集标准化得到的参数对验证集进行标准化，得到标准化的验证集；

输入标准化的训练集和标准化的验证集对污水处理软测量模型进行训练，得到训练后的污水处理软测量模型并保存为CNN-GRU-ATTENTION残差模型；

使用训练后标准化参数对测试集进行标准化，用于输入训练后的CNN-GRU-ATTENT ION残差模型进行性能指标评价。

6.根据权利要求1所述的方法，其中，在所述步骤S3中：

所述批归一化层为批标准化归一层；

所述激活层所采用的激活函数为ReLU函数，所述激活层所采用的池化函数为最大池化函数；

所述注意力模块采用自注意力机制，对CNN模块和GRU模块的残差结构输出的融合特征进行筛选，其中，通过污水数据空时域上的信息，将CNN模块和GRU模块提取的特征利用残差结构进行融合，并引入注意力机制完成空时融合后的关键特征提取，获取该关键特征的充分表达。

7.一种用于污水处理的软测量***，其特征在于，包括：

用于从污水处理单元获取水体参数的传感器以及与所述传感器通信连接的计算机装置，所述计算机装置上储存有程序指令，所述程序指令被计算机装置的处理器执行时实施如权利要求1至6中任一项所述的方法。

Images