CN110675374B - 一种基于生成对抗网络的二维图像污水流量检测方法 - Google Patents

Abstract

本发明提供了一种基于生成对抗网络的二维图像污水流量检测方法，该方法包括：首先采集污水口视频数据；然后处理采集到视频数据，制作训练集；随后训练污水流量检测模型并验证得到的污水流量检测模型；最后利用所述污水流量检测模型检测实时污水流量，同时还给出了用于训练的模型结构。本发明的污水流量检测方法能稳定、准确、有效地检测二维图像中的污水信息，不仅能检测出所有污水水流区域及其边缘，而且能够判别污水水流等级，有效解决了传统方法中在实际生产中受环境影响大、无法提取出全部污水水流区域，并实时描绘出污水水流边缘以及进行污水水流等级判定的缺陷，具有广阔的应用前景。

Description

一种基于生成对抗网络的二维图像污水流量检测方法

技术领域

本发明涉及污水流量检测领域，尤其涉及一种基于生成对抗网络的二维图像污水流量检测方法。

背景技术

现有的污水排放流量检测方法主要包含以下4种：1、水文测验法；2、容积法；3、流量计法；4、化学法。水文测验法又包含流速仪法、圆管流速仪法以及浮标法；容积法是指通过将污水引入固定体积的容器，从而计算得出流量；流量计法通常采用智能电磁流量计来测量流速；化学法利用化学反应，测算出水中指示剂浓度，从而得出流量。

通过分析和对比，现存的4种方法均存在缺点。水文测验法、容积法、化学法都不能够得出污水排放的瞬时流量，无法达到实时的要求；流量计法虽然能够测量出实时流量，但是由于管道中环境恶劣，电磁流量计安装、维修以及更换都十分麻烦，而且由于电磁流量计长期浸泡在污水中，使得流量计的故障率高且不稳定，在实际生产环境中，此方法会造成维修困难、延误生产等许多问题。

现有的基于二维图像的污水流量检测方法不稳定且不准确，主要是通过背景建模差分、运动轨迹建模等方法。由于背景的不确定以及污水水流运动轨迹的不确定导致这些方法在实际生产中无法检测完全所有污水区域，而且准确率较差。

发明内容

针对上述缺陷，本发明提出了一种稳定高效的基于生成对抗网络(GAN)的二维(2D)图像污水流量检测方法。该方法以图像处理技术中的图像分割技术为基础，构建基于生成对抗网络的二维图像污水流量检测模型，所述污水流量检测模型包括生成器、分类器和判别器，所述生成器包括编码器和解码器，并且所述编码器和解码器构成U-Net网络结构。向所述污水流量检测模型输入二维(2D)图像，可以检测出污水流量等级以及污水水流区域。具体地，所述污水流量检测模型基于神经网络，所述神经网络包括生成器、判别器和分类器。在所述污水流量检测模型中采用多层卷积网络作为编码器，提取2D图像内的深度信息，这些深度信息可以用于所述分类器来进行污水流量等级的预测，同时也可以用于所述生成器中的解码器生成预测污水水流区域，采用多层卷积网络作为解码器，并加入残差直连，和所述编码器构成U-Net网络结构。此外，借鉴了生成对抗网络(GAN)的思想，训练了所述判别器来促进生成器学习更加深层次的污水水流区域信息，帮助所述生成器注意到除了像素值之外的特征。

本发明提供了一种基于生成对抗网络的二维图像污水流量检测方法，该方法包括如下步骤：

S1)采集污水口视频数据：利用污水处理口的摄像头，拍摄一定量的视频数据，在采集前，要求将所述摄像头的角度、焦距调整至预设数值，使得摄像头能够完全且清晰地拍摄到所述污水处理口排出的污水水流，同时调整所述摄像头的位置，在不同的位置进行拍摄，以获取更多的视频数据；

S2)处理采集到视频数据，制作训练集：采用特定的视频处理软件切割出步骤S1)获取的视频数据中有污水水流区域的视频，并将切割后的视频截取成原始序列帧图像，然后使用特定的图像标记工具，依次在所述原始序列帧图像的每一帧污水水流原图像中分别描绘出有污水水流的像素点区域，并将此像素点区域用红色标记；然后通过c++及opencv编写的特定程序将所述每一帧污水水流原图像中的非红部分全都标记为黑色，从而将所述每一帧污水水流原图像转换成一帧使用黑红标注的污水水流标注图像，所述使用黑红标注的污水水流标注图像中的污水水流区域称为人为标记污水水流区域；依次将所述原始序列帧图像的每一帧污水水流原图像及其对应的使用黑红标注的污水水流标注图像拼接成拼接二维图像，并根据每一张该拼接二维图像中使用黑红标注的污水水流标注图像的污水水流流量大小，将污水水流分成0-7共8个等级，以此作为该张拼接二维图像的人为标记污水流量等级，这8个人为标记污水流量等级中，等级0标识的是该张拼接二维图像中没有污水水流的情况，数字越大表明污水水流的流量越大、污水流量等级越高；此外，为每一张拼接二维图像命名，使得每一张拼接二维图像有唯一的名称；这些标记了唯一的名称和人为标记污水流量等级的拼接二维图像构成了数据集，采用预设比例将所述数据集分为训练集、验证集和测试集；

S3)训练部分：根据步骤S2)得到的训练集对污水流量检测模型进行训练，观察训练过程中反映所述污水流量检测模型训练效果的参数变化，当所述污水流量检测模型中的生成器的损失参数趋于稳定且不再减小时，停止训练，得到训练完成的污水流量检测模型；

S4)验证得到的污水流量检测模型：采用根据步骤S3)得到的训练完成的污水流量检测模型对根据步骤S2)得到的验证集进行污水流量检测；

S5)检测实时污水流量：将步骤S2)得到的测试集中任意一个待检测测试样本的污水水流原图像输入经过步骤S4)验证的所述训练完成的污水流量检测模型，所述训练完成的污水流量检测模型中的编码器获取所述待检测测试样本的污水水流原图像中污水水流区域的形状、大小特征，根据所述污水水流区域的形状、大小特征，所述生成器输出生成图像，该生成图像中的污水水流区域为预测污水水流区域，所述分类器输出该待检测测试样本对应的预测污水流量等级。

本发明提出的一种基于生成对抗网络的二维图像污水流量检测方法以图像处理技术中的图像分割技术为基础，构建基于生成对抗网络的二维图像污水流量检测模型，在所述污水流量检测模型中采用多层卷积网络作为编码器，提取二维(2D)图像内的深度信息，这些深度信息可以用于所述分类器来进行污水流量等级的预测，同时也可以用于所述生成器中的解码器生成预测污水水流区域，采用多层卷积网络作为解码器，并加入残差直连，和所述编码器构成U-Net网络结构。此外，借鉴了生成对抗网络(GAN)的思想，训练了所述判别器来促进生成器学习更加深层次的污水水流区域信息。本发明可稳定、准确、有效检地测二维图像中的污水流量信息，不仅能检测出所有污水水流区域及其边缘，而且能够判别污水水流等级，有效解决了传统方法中在实际生产中受环境影响大、无法同时提取出全部污水水流区域并描绘出污水水流边缘以及进行污水水流等级判定的缺陷，具有广阔的应用前景。

附图说明

图1为本发明的污水流量检测模型结构图

图2为本发明的生成器具体构造图

图3为本发明的污水流量检测模型对图像进行实时污水流量检测流程

图4-7为本发明污水流量检测模型训练效果参数变化图

图8为本发明的模型对验证集污水水流区域预测结果

图9为本发明的验证集污水流量等级预测结果

图10为本发明的模型对测试集污水水流区域预测结果

图11为本发明的测试集污水流量等级预测结果

图12为本发明拼接二维图像示例图

具体实施方式

为使本发明目的，实施方式，技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅以用以解释本发明，并不用于限定本发明。

本发明提出了一种基于生成对抗网络(GAN)的二维(2D)图像污水流量检测方法，该方法采用污水流量检测模型实现，向所述污水流量检测模型输入的二维图像是经过特殊处理的污水水流原图像和使用黑红标注的污水水流标注图像拼接成的拼接二维图像，所述使用黑红标注的污水水流标注图像中的污水水流区域称为人为标记污水水流区域(即实际污水水流区域)。所述拼接二维图像中的污水水流原图像首先送入生成器中，所述生成器能够学习和发掘所述污水水流原图像中污水水流区域的信息，例如像素值以及边缘等特征，以此输出生成图像，生成图像中的污水水流区域称为预测污水水流区域。所述拼接二维图像中的使用黑红标注的污水水流标注图像作为所述判别器的输入，所述判别器会对所述生成器的输出加以判别，判断生成的预测污水水流区域是真还是假，此处，真假表示生成的预测污水水流区域是否与所述人为标记污水水流区域相似。所述判别器的判别信息会反作用于所述生成器，帮助所述生成器不断学习所述污水水流原图像中污水水流区域的信息，从而生成更加准确的预测污水水流区域。所述生成器包含编码器和解码器，其中编码器的输出，是所述分类器的输入，所述分类器根据所述编码器输出的信息，对污水流量等级信息进行学习和判别，并且，所述分类器的输出也会反作用于所述生成器，帮助所述生成器更好地生成与人为标记污水水流区域大小相似的预测污水水流区域。所述污水流量检测模型训练过程完成后，该污水流量检测模型达到的状态是：所述生成器生成的预测污水水流区域，与人为标记污水水流区域对比，所述判别器无法判别其是真的还是假的，并且所述分类器能够准确的判断污水流量等级的大小。

在本发明中，训练完成的污水流量检测模型要完成的污水流量检测任务包含两个子任务：第一，基于待检测污水水流原图像，获取待检测污水水流原图像中的污水水流区域位置、大小、形状特征，将待检测污水水流原图像中污水水流区域的边缘准确的在图像中识别划分出来，并联通边缘所围起来的封闭区间，从而提取出待检测污水水流原图像中污水水流区域形状、大小特征。第二，使用第一子任务得到的污水水流区域大小特征标识污水排放口瞬时排量，对污水流量等级大小进行分类。

在训练所述污水流量检测模型的过程中，所述分类器和所述判别器产生的误差会同时作用于所述编码器，从而使得所述编码器同时提取污水流量等级以及污水水流区域的特征，进而促进上述两个子任务都向有利的方向发展。最终完成的污水流量检测模型可以同时进行污水流量等级预警以及污水水流区域标记。

本发明提出的一种基于生成对抗网络(GAN)的二维(2D)图像污水流量检测方法，是通过以下步骤来实现的：1、采集污水口的监控图像；2、利用监控视频制作任务的训练集；3、通过训练集训练得到污水流量检测模型；4、验证污水流量检测模型；5、使用模型检测实时污水流量。下面将详细叙述每一个步骤的具体实现，并在图3中展示所述污水流量检测模型对图像进行实时污水流量检测流程：

S1)采集污水口视频数据：利用污水处理口的摄像头，拍摄一定量的视频数据。在采集前，要求将所述摄像头的角度、焦距调整至合适数值，使得摄像头能够完全且清晰地拍摄到所述污水处理口排出的污水水流。为了获取更多的视频数据，可以调整所述摄像头的位置，在不同的位置拍摄视频，这样的做法可以扩展训练集，使得训练完成的污水流量检测模型的检测效果更准确稳定。

S2)处理采集到的视频数据：由于步骤S1)中的视频数据在拍摄过程中，会将大量的背景拍摄下来，但是我们所感兴趣的部分是视频数据中有污水水流流过的区域，因此，可以使用一些视频处理软件切割出视频数据中有污水水流区域的视频，之后将切割后的视频截取成原始序列帧图像，所述原始序列帧图像的每一帧污水水流原图像为大小为256×256×3的RGB图像，表示图像的长×宽×通道数，输入的通道数是3，表示了R、G、B3个颜色通道，则对于所述污水流量检测模型，所述原始序列帧图像的每一帧污水水流原图像对应一个大小为256×256×3的矩阵X。得到原始序列帧图像之后，使用自己编写的图像标记工具，依次在所述原始序列帧图像的每一帧污水水流原图像中分别描绘出有污水水流的像素点区域，并将此像素点区域用红色标记；然后通过c++及opencv编写的特定程序将原始序列帧图像的每一帧污水水流原图像中的非红部分全都标记为黑色(即黑色背景)，以区分模型训练中感兴趣以及不感兴趣的图像区域，完成上述操作后的原始序列帧图像的每一帧污水水流原图像均被转换成一帧使用黑红标注的污水水流标注图像，每一帧使用黑红标注的污水水流标注图像对应一个大小为256×256×3的矩阵Y，图8、10、12中的黑色背景中的灰色部分表示用红色标记的污水水流像素点区域，该标注方法使用黑红两种颜色标注，突出感受野；将所述原始序列帧图像的每一帧污水水流原图像及其对应的使用黑红标注的污水水流标注图像拼接成一张拼接二维图像，所述使用黑红标注的污水水流标注图像中的污水水流区域称为人为标记污水水流区域，如图12所示，并根据该拼接二维图像中使用黑红标注的污水水流标注图像的污水水流流量大小，将污水水流分成0-7共8个等级，以此标记该张拼接二维图像的人为标记污水流量等级，这8个人为标记污水流量等级中，等级0标识的是该张拼接二维图像中没有污水水流的情况，数字越大表明污水水流的流量越大，污水流量等级越高；此外，为每一张拼接二维图像命名，使得每一张拼接二维图像有唯一的名称；将具有同一人为标记污水流量等级的所有张拼接二维图像放入同一个文本文件中，例如，文本文件txt level1中有10张拼接二维图像，其中每一张拼接二维图像均有一个唯一的名称，并且这10张拼接二维图像的污水流量等级都为1。这些标记了名称和人为标记污水流量等级的拼接二维图像构成了数据集，采用400：40：1的比例将上述数据集分为训练集、验证集和测试集，其中，所述训练集包含2000组训练样本，所述验证集包含200组验证样本，所述测试集包含5组测试样本。当所述训练集中的训练样本数量不够多时，可以通过图像的剪裁、缩放等方式来扩充训练集。

S3)训练部分：根据步骤S2)得到的训练集，所述污水流量检测模型就可以开始训练了。通过对整个网络的损失(LOSS)变化来判别训练情况，从图4-7中为训练过程中反映所述污水流量检测模型训练效果的参数变化图，其中图4中的参数genarator-loss-L1表示模型中生成器的损失、图5中的参数generator_loss_GAN表示模型中生成对抗网络(GAN)的自身损失、图6中的参数discriminator_loss_1表示模型中判别器的损失、图7中的参数classifier_loss表示模型中分类器的损失。由于所述判别器和所述分类器的输入主要来自所述生成器，对所述污水流量检测模型准确性的影响主要来自生成器损失，因此当生成器的损失参数genarator-loss-L1降低到足够低，并趋于稳定且不再减小时，就可以停止训练，得到训练完成的污水流量检测模型，所述污水流量检测模型的训练效果优良。

S4)验证得到的污水流量检测模型：采用验证集对所述训练完成的污水流量检测模型正确性进行验证，使用步骤S3)得到的所述训练完成的污水流量检测模型对所述验证集进行污水流量检测，从图8中可以看出，从第1张图片开始，从左至右每相邻3张图片为一个验证样本的一组图片，每一组图片的第一张图片为该验证样本的污水水流原图像，第二张图片的红色区域(即图片中的灰色部分)标出了所述训练完成的污水流量检测模型生成的对应于该污水水流原图像的预测污水水流区域，第三张图片的红色区域(即图片中的灰色部分)标出了该污水水流原图像对应的人为标记污水水流区域，验证集中预测污水水流区域和人为标记污水水流区域的相似度达到90％左右，即采用验证集中的每个验证样本生成的预测污水水流区域与其对应的人为标记污水水流区域相差无几；图9展示了对验证集中的每个验证样本采用所述训练完成的污水流量检测模型得到的预测污水流量等级，其与对应验证样本的人为标记污水流量等级相同的概率达到95％左右。所述训练完成的污水流量检测模型在对验证集进行污水流量检测的时候表现优良；

S5)检测实时污水流量：接下来采用测试集对经过步骤S4)验证得到的污水流量检测模型进行测试。将测试集中任意一个待检测测试样本的污水水流原图像输入所述验证得到的污水流量检测模型，所述验证得到的污水流量检测模型中的编码器获取所述待检测测试样本的污水水流原图像中污水水流区域的形状、大小等特征，根据所述污水水流区域的形状、大小等特征，所述生成器输出生成图像，该生成图像中的污水水流区域为预测污水水流区域，所述分类器输出该待检测测试样本对应的预测污水流量等级。从图10可以看出，每1行的3张图片为一个测试样本的一组图片，每一组图片从左至右的第一张图片为该测试样本的污水水流原图像，第二张图片的红色区域(即图片中的灰色部分)标出了该污水水流原图像对应的预测污水水流区域，第三张图片的红色区域(即图片中的灰色部分)为人为标记污水水流区域，测试集中预测污水水流区域和人为标记污水水流区域的相似度达到90％左右，图11展示了测试集的预测污水流量等级与对应的人为标记污水流量等级相同的概率达到100％。所以，在面对测试集时，所述污水流量检测模型的表现效果同样也比较理想。用于实时污水流量检测中，可达到20fps的处理效率，适用于工业应用。

步骤S1)和步骤S2)使用训练集标注模块完成，步骤S3)和步骤S4)使用污水等级及区域特征训练模块完成，所述步骤S3)中用于训练的污水流量检测模型结构如图1所示，其由1个生成器G、1个判别器D和1个分类器CL组成，其中，所述生成器G是由1个编码器和1个解码器构成的U-Net网络结构，所述U-Net网络结构编码器用于特征提取，解码器用于上采样，由于此U-Net网络整体结构类似于大写的英文字母U，故得名U-net。

将标记了名称和人为标记污水流量等级的拼接二维图像输入所述污水流量检测模型，该拼接二维图像对应的人为标记污水流量等级标签为C，是一个0-7的整数，输出为从生成器输出的生成图像及从分类器输出的预测污水流量等级。如图2所示，编码器由8层卷积构成，每个卷积核的大小是3×3，每层卷积的卷积核个数分别是64、128、256、512、512、512、512、512，所述编码器读取所述拼接二维图像中的污水水流原图像，并从所述编码器的第1层卷积输入，所述编码器的第1层卷积的输出与所述编码器的第2层卷积输入相连接，所述编码器的第2层卷积的输出与所述编码器的第3层卷积的输入相连接，依次类推，所述编码器每层卷积操作后均使用Leak Relu函数激活，见公式(1-1)，并在激活后进行最大池化操作，将该层卷积输出的图像大小缩小为上一层卷积输出(即该层卷积输入)的图像大小的1/4，所述编码器的第8层卷积输出一个1×1×512的特征向量H，将其作为所述解码器的输入。所述解码器同样由8层卷积构成，每层卷积执行的操作是反卷积操作。所述解码器的输入从所述解码器的第8层卷积输入，所述解码器的第8层卷积的输出与所述解码器的第7层卷积的输入相连接，所述解码器的第7层卷积的输出与所述解码器的第6层卷积的输入相连接，依次类推，所述解码器的第1层卷积输出所述解码器的最终结果，每一层反卷积操作会将该层卷积输出的图像大小扩大为上一层卷积输出的图像大小的4倍，所述解码器每一层的卷积核个数与所述编码器每一层卷积核个数对称，即所述编码器的第1-8层与所述解码器的第1-8层卷积核个数一一对应相同，每个卷积核的大小均为3×3，所述解码器每层反卷积操作后均使用Leak Relu函数激活，见公式(1-1)，并且所述编码器的每一层卷积输出还作为所述解码器对应卷积层的输入之一，所述解码器的第1层卷积最终输出一个256×256×3的矩阵Y′。Leak Relu函数的形式如下：

其中，a_i是(1,+∞)区间内的固定参数，x_i为所述编码器第i层卷积操作后或所述解码器第i层反卷积操作后的Leak Relu函数输入，i＝1,2,...,8。

假设所述编码器第i层卷积操作为L_i，其输入为上一层卷积输出X_i-1，第1层卷积输入是X。那么其计算过程为：

X_i＝L_i(X_i-1) (1-2)

X_i＝maxpooling(ReLu(X^* _i)) (1-4)

其中，i＝1,2,...,8，X₀＝X，X₀为初始输入，

表示X^* _i的第j,k,m个元素，即中间层元素，j,k,m的取值范围均为0-255。W_i,m是所述编码器第i层的第m个卷积核的参数，其为3×3×channel的三维矩阵，其中channel为上一层卷积输出的通道数；

为卷积操作，表示将卷积核与对应输入按位相乘后的和，与之进行卷积操作的是X_i的第j-1:j+1,k-1:k+1维组成的正方形区域的所有通道，b_i,m是所述编码器的一个偏置参数；最大池化操作采用maxpooling表示，是一种特殊的下采样操作，对于一个区域内的一个通道中的所有数值，只保留最大的那个，此处最大池化的宽度为2，步长为2，这样，每次有2×2的区域进行池化，选择一个，下一步将窗口移至下一个2×2窗口，这样最大池化产生的图像是原来的1/4；X_i表示所述编码器第i层卷积操作后使用Leak Relu函数激活并进行最大池化操作后的输出，第8层卷积操作后使用Leak Relu函数激活并进行最大池化操作后输出所述编码器最终输出，记作H。

在所述U-Net网络结构中，所述解码器第i层卷积的输入是所述解码器第i+1层卷积的输出以及所述编码器第i层卷积的输出，然而，对于所述解码器第8层卷积，其输入仅是所述编码器第8层卷积输出。所述解码器的命名顺序是和执行顺序相反的，即第1次执行第8层反卷积操作，第2次执行第7层反卷积操作，以此类推，第8次执行第1层反卷积操作，目的是为了和所述编码器进行匹配。

设所述解码器第i层反卷积操作为D_i，对于i＝1,2…,7，其输入是所述解码器上一层第i+1层的输出Y_i+1，以及对应编码器的输出X_i；对于i＝8，其输入仅为对应编码器的输出X_i。每一层反卷积操作首先对输入的图像进行为维度扩充，然后再进行正常的卷积过程，维度扩充的方法就是将输入的图像中每个位置的像素点的像素值均匀地放入更大的图像中，其计算过程如下，

Y_i＝D_i(Y**_i+1) (1-7)

其中公式(1-8)是公式(1-7)的细化公式，Y*_i+1是所述解码器上一层第i+1层卷积的输出和对应编码器第i层卷积输出拼接后的拼接图，i是整数且1≤i≤7。最低级下角标表示当前中间层矩阵元素在矩阵中的坐标，Y**_i+1是Y*_i+1维度扩充后的矩阵。W_Di,m是所述解码器当前层(第i层)卷积的第m个卷积核的参数，其大小为3×3×channel′，其中channel′为拼接后的拼接图的总通道数，b_Di,m是所述解码器的偏置参数。

表示所述编码器第i层反卷积操作后使用Leak Relu函数激活后的输出，第1层反卷积操作后使用Leak Relu函数激活后输出所述生成器最终输出，记作Y′。

所述判别器，是用于评估所述生成器中的输出Y′的网络结构，所述判别器读取所述拼接二维图像中的使用黑红标注的污水水流标注图像对应的矩阵Y，训练所述判别器的目的是用于分辨所述生成器生成图像对应的矩阵Y′和使用黑红标注的污水水流标注图像对应的矩阵Y，当所述判别器可以准确的分辨上述两者时，说明其掌握了所述生成器中的某些缺陷或者使用黑红标注的污水水流标注图像中的某些核心语义特征，所以，当训练所述生成器用于欺骗所述判别器时，所述生成器就会对这些特征进行学习。所述判别器由1层卷积层和1层全连接层构成，所述判别器的最终输出是所述判别器对所述生成器最终输出Y′的认可度D_iscriminator(Y′)。

其计算过程如下，

p_real＝D_iscriminator(Y′) (1-9)

h*＝flatten(h) (1-11)

p_real＝Sigmoid(W_Ph*+b_P) (1-12)

其中，W_P,m是所述判别器卷积层中第m个卷积核的参数，b_P,m是所述判别器的偏置参数，Y_i′表示整个模型中判别器的第i层输出，最低级下脚标表示当前判别器第i层输出中元素在矩阵中的坐标，flatten是将矩阵参数按照行优先的顺序变成一个一维向量的操作，h_j,k中下标j,k表示元素的位置，W_P是线性变换的矩阵参数，b_P是其偏置，Sigmoid是激活函数，该激活函数的计算方法如公式(1-14)所示：

其中，x为Sigmoid函数的输入。

所述分类器的输入是所述编码器的输出H。对H进行两层全连接，全连接的输出维度分别是256和128，并且每层全连接后均使用Leak Relu函数激活。得到128维的特征向量后，再用1层全连接生成8维向量，并使用归一化指数函数Softmax得到H对应的污水流量等级分类的预测概率P_C，根据该预测概率P_C，得到预测污水流量等级C′即：

h_C＝ReLu(W_C1flatten(H)+b_C1) (1-14)

p_c＝Softmax(W_C2h_C+b_C2) (1-15)

其中W_C1为第一层全连接的矩阵参数，b_C1为其偏置参数，W_C2为第二层全连接的矩阵参数，b_C2为其偏置。

在训练所述污水流量检测模型的过程中，所述污水流量检测模型的输入包含两个数据，即矩阵X和矩阵Y。所述分类器使用所述生成器生成图像对应的矩阵Y′和使用黑红标注的污水水流标注图像对应的矩阵Y之间的交叉熵作为损失，所述判别器每次会进行两种训练，一个是训练其接受使用黑红标注的污水水流标注图像对应的矩阵Y，另一个是训练其拒绝所述生成器生成图像对应的矩阵Y′。对于生成器，由以下两种损失进行来约束，一个是Y′和Y之间的均方误差，另一个是所述判别器对Y′的评判结果，此部分误差包含在生成对抗网络(GA N)误差中。

综合上述对于整个所述污水流量检测模型的具体说明可以得到，对于整个所述污水流量检测模型来说，其损失函数L为：

其中，

E表示期望，X～P_data(X)表示随机变量，即矩阵X服从P_data(X)分布，P_data(X)表示变量X的分布函数，D(X)表示X的方差，Y′～P_Y′(Y′)表示矩阵Y′服从P_Y′(Y')分布，P_Y′(Y')表示变量Y'的分布函数，G(X)表示所述生成器的输出，G(X)即Y'，MSE表示均方误差，cross_Entropy()表示交叉熵，C表示人为标记污水流量等级标签，C'表示预测污水流量等级标签，且C′∈[0,7]时，有one_hot(C)_C′＝0,C′≠C；one_hot(C)_C′＝1,C＝C′，λ和β是控制损失影响力的超参数，其可根据实际情况进行调节，此处λ取0.01，β取0.5。

当所述污水流量检测模型训练完成后，其中的所述生成器和所述判别器达到了纳什平衡状态，所述判别器已经无法分辨所述生成器生成图像对应的矩阵Y′与使用黑红标注的污水水流标注图像对应的矩阵Y了，且所述分类器也完成了对污水流量等级分类的学习。此时，用所述生成器去生成新输入的待检测污水水流原图像Z中的污水水流区域，获取该污水水流区域的形状、大小等特征，所述污水流量检测模型检测输出数据为G(Z)，G(Z)为一个256×256×3的矩阵，代表了生成图像的RGB矩阵。以及待检测污水水流原图像Z中污水流量等级概率分布值，并根据上述概率分布值，得到预测污水流量等级C_z′。

本发明提出的一种基于生成对抗网络的二维图像污水流量检测方法以图像处理技术中的图像分割技术为基础，构建基于生成对抗网络的二维图像污水流量检测模型，在所述污水流量检测模型中采用多层卷积网络作为编码器，提取二维(2D)图像内的深度信息，这些深度信息可以用于所述分类器来进行污水流量等级的预测，同时也可以用于所述生成器中的解码器生成预测污水水流区域，采用多层卷积网络作为解码器，并加入残差直连，和所述编码器构成U-Net网络结构。此外，借鉴了生成对抗网络(GAN)的思想，训练了所述判别器来促进生成器学习更加深层次的污水水流区域信息，帮助所述生成器注意到除了像素值之外的特征。同时在前期做数据处理以得到拼接二维图像时，将采集得到的图像进行红黑标记，并按照水流大小将水流进行分级，使得在实际的生产中，不仅能够准确的标记出感兴趣的水流区域，而且可以对水流流量分级，从而通过自动化监测，当水流流量达到一定级别时，采取告警措施。本发明可稳定、准确、有效地检测二维图像中的污水信息，不仅能检测出所有污水水流区域及其边缘，而且能够判别污水水流等级，有效解决了传统方法中在实际生产中受环境影响大、无法提取出全部污水水流区域，并实时描绘出污水水流边缘以及进行污水水流等级判定的缺陷，具有广阔的应用前景。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围。凡采用等同替换或等效替换，这些变化是显而易见，一切利用本发明构思的发明创造均在保护之列。

Claims (7)

1.一种基于生成对抗网络的二维图像污水流量检测方法，其特征在于，该方法包括如下步骤：

S1)采集污水口视频数据：利用污水处理口的摄像头，拍摄一定量的视频数据，在拍摄前，将所述摄像头的角度、焦距调整至预设数值，使得摄像头能够完全且清晰地拍摄到所述污水处理口排出的污水水流，同时调整所述摄像头的位置，在不同的位置进行拍摄，以获取更多的视频数据；

S2)处理采集到视频数据，制作训练集：采用特定的视频处理软件切割出步骤S1)获取的视频数据中有污水水流区域的视频，并将切割后的视频截取成原始序列帧图像，所述原始序列帧图像的每一帧污水水流原图像对应一个大小为256×256×3的矩阵X，然后使用特定的图像标记工具，依次在所述每一帧污水水流原图像中分别描绘出有污水水流的像素点区域，并将此像素点区域用红色标记；然后通过c++及opencv编写的特定程序将所述每一帧污水水流原图像中的非红部分全都标记为黑色，从而将所述每一帧污水水流原图像转换成一帧使用黑红标注的污水水流标注图像，所述使用黑红标注的污水水流标注图像中的污水水流区域称为人为标记污水水流区域，每一帧使用黑红标注的污水水流标注图像对应一个大小为256×256×3的矩阵Y；依次将所述原始序列帧图像的每一帧污水水流原图像及其对应的使用黑红标注的污水水流标注图像拼接成一张拼接二维图像，并根据每一张拼接二维图像中使用黑红标注的污水水流标注图像的污水水流流量大小，将污水水流分成0-7共8个等级，以此作为该张拼接二维图像的人为标记污水流量等级，这8个人为标记污水流量等级中，等级0标识的是该张拼接二维图像中没有污水水流的情况，数字越大表明污水水流的流量越大、污水流量等级越高；此外，为每一张拼接二维图像命名，使得每一张拼接二维图像有唯一的名称；这些标记了唯一的名称和人为标记污水流量等级的拼接二维图像构成了数据集，采用400：40：1的比例将所述数据集分为训练集、验证集和测试集，其中，所述训练集包含2000组训练样本，所述验证集包含200组验证样本，所述测试集包含5组测试样本；

S3)训练部分：根据步骤S2)得到的训练集对污水流量检测模型进行训练，观察训练过程中反映所述污水流量检测模型训练效果的参数变化，其中参数genarator-loss-L1表示所述污水流量检测模型中的生成器的损失、参数generator_loss_GAN表示所述污水流量检测模型中的生成对抗网络(GAN)的自身损失、参数discriminator_loss_1表示所述污水流量检测模型中的判别器的损失、参数classifier_loss表示所述污水流量检测模型中的分类器的损失，当所述污水流量检测模型中的生成器的损失参数genarator-loss-L1趋于稳定且不再减小时，停止训练，得到训练完成的污水流量检测模型，

其中，用于训练的污水流量检测模型结构由1个生成器G、1个判别器D和1个分类器CL组成，其中，所述生成器G是由1个编码器和1个解码器构成的U-Net网络结构，标记了唯一的名称和人为标记污水流量等级的拼接二维图像作为所述污水流量检测模型的输入；

S4)验证得到的污水流量检测模型：采用根据步骤S3)得到的训练完成的污水流量检测模型对根据步骤S2)得到的验证集进行污水流量检测，所述训练完成的污水流量检测模型在对所述验证集进行污水流量检测的时候表现优良；

S5)检测实时污水流量：将步骤S2)得到的测试集中任意一个待检测测试样本的污水水流原图像输入经过步骤S4)验证的所述训练完成的污水流量检测模型，经过步骤S4)验证的所述训练完成的污水流量检测模型中的编码器获取所述待检测测试样本的污水水流原图像中污水水流区域的形状、大小特征，根据所述污水水流区域的形状、大小特征，所述生成器输出生成图像，该生成图像中的污水水流区域为预测污水水流区域，所述分类器输出该待检测测试样本对应的预测污水流量等级。

2.根据权利要求1所述的基于生成对抗网络的二维图像污水流量检测方法，其特征在于，所述步骤S2)中，当所述训练集中的训练样本数量不够多时，可以通过图像的剪裁、缩放扩充训练集。

3.根据权利要求2所述的基于生成对抗网络的二维图像污水流量检测方法，其特征在于，所述编码器由8层卷积构成，每层卷积的卷积核个数分别是64、128、256、512、512、512、512、512，每个卷积核的大小均为3×3，所述编码器读取所述拼接二维图像中的污水水流原图像对应的矩阵X，并从所述编码器的第1层卷积输入，第1-8层卷积依次相连，每层卷积操作后均使用Leak Relu函数激活，并在激活后进行最大池化操作，将该层卷积输出的图像大小缩小为上一层卷积输出的图像大小的1/4，所述编码器的第8层卷积输出一个1×1×512的特征向量H，将其作为所述解码器的输入，

具体表示为：假设所述编码器第i层卷积操作为L_i，其输入为上一层卷积输出X_i-1，第1层卷积输入是X，其计算过程为：

X_i＝L_i(X_i-1)

X_i＝maxpooling(ReLu(X^* _i))

其中，i＝1,2,...,8，X₀＝X，X₀为初始输入，

表示X^* _i的第j,k,m个元素，即中间层元素，j,k,m的取值范围均为0-255，W_i,m是所述编码器第i层的第m个卷积核的参数，其为3×3×channel的三维矩阵，其中channel为上一层卷积输出的通道数，

为卷积操作，表示将卷积核与对应输入按位相乘后的和，与之进行卷积操作的是X_i的第j-1:j+1,k-1:k+1维组成的正方形区域的所有通道，b_i,m是所述编码器的一个偏置参数，最大池化操作采用maxpooling表示，是一种特殊的下采样操作，对于一个区域内的一个通道中的所有数值，只保留最大的那个，此处最大池化的宽度为2，步长为2，使得每次有2×2的区域进行池化，选择一个，下一步将窗口移至下一个2×2窗口，这样最大池化产生的图像是原来的1/4，X_i表示所述编码器第i层卷积操作后使用Leak Relu函数激活并进行最大池化操作后的输出，第8层卷积操作后使用Leak Relu函数激活并进行最大池化操作后输出所述编码器最终输出，记作特征向量H；

所述解码器同样由8层卷积构成，每层卷积执行的操作是反卷积操作，所述特征向量H从所述解码器的第8层卷积输入，第8-1层卷积依次相连，所述解码器的第1-8编码器的第1-8层卷积核个数一一对应相同，每个卷积核的大小均为3×3，每一层反卷积操作会将该层卷积输出的图像大小扩大为上一层卷积输出的图像大小的4倍，所述解码器每层反卷积操作后均使用Leak Relu函数激活，并且所述编码器的每一层卷积输出还作为所述解码器对应卷积层的输入，所述解码器的第1层卷积最终输出一个256×256×3的矩阵Y′，作为所述生成器的输出，

具体表示为：假设所述解码器第i层反卷积操作为D_i，对于i＝1,2…,7，其输入是所述解码器上一层第i+1层的输出Y_i+1，以及对应编码器的输出X_i；对于i＝8，其输入仅为对应编码器的输出X_i，每一层反卷积操作首先对输入的图像进行为维度扩充，然后再进行正常的卷积过程，维度扩充的方法就是将输入的图像中每个位置的像素点的像素值均匀的放入更大的图像中，其计算过程如下：

Y_i＝D_i(Y**_i+1)

Y_i＝D_i(Y**_i+1)的细化公式如下所示

其中Y*_i+1是所述解码器上一层第i+1层卷积的输出和对应编码器第i层卷积输出拼接后的拼接图，i是整数且1≤i≤7，最低级下角标表示当前中间层元素在矩阵中的坐标，Y**_i+1是Y*_i+1维度扩充后的矩阵，W_Di,m是所述解码器第i层的第m个卷积核，其大小为3×3×channel′，其中channel′为拼接后的拼接图的总通道数，b_Di,m是所述解码器第i层的第m个卷积核的偏置参数，

表示所述编码器第i层反卷积操作后使用Leak Relu函数激活后的输出，第1层反卷积操作后使用Leak Relu函数激活后输出所述生成器最终输出，记作Y′；

所述Leak Relu函数表示为

其中，x_i为所述编码器第i层卷积操作后或所述解码器第i层反卷积操作后的Leak Relu函数输入，a_i是对应输入x_i在(1,+∞)区间内的固定参数，i＝1,2,...,8。

4.根据权利要求3所述的基于生成对抗网络的二维图像污水流量检测方法，其特征在于，所述判别器读取所述拼接二维图像中的使用黑红标注的污水水流标注图像对应的矩阵Y，训练所述判别器的目的是用于分辨所述生成器生成图像对应的矩阵Y′和使用黑红标注的污水水流标注图像对应的矩阵Y，所述判别器由1层卷积层和1层全连接层构成，所述判别器的最终输出是所述判别器对所述生成器最终输出Y′的认可度D_iscriminator(Y′)，其计算过程如下：

p_real＝D_iscriminator(Y′)

h*＝flatten(h)

p_real＝Sigmoid(W_Ph*+b_P)

其中，W_P,m是所述判别器卷积层中第m个卷积核，b_P,m是所述判别器卷积层中第m个卷积核的偏置参数，Y_i′表示整个模型中判别器的第i层输出，其中i的取值i＝1,2，i＝1表示第1层为卷积层，i＝2表示第2层为全连接层，最低级下脚标表示当前判别器第i层输出中元素在矩阵中的坐标，flatten是将矩阵参数按照行优先的顺序变成一个一维向量的操作，h_j,k中下标j，k表示元素的位置，W_P是线性变换的矩阵参数，b_P是其线性变换的矩阵偏置，Sigmoid是激活函数，表示为

其中，x为Sigmoid函数的输入。

5.根据权利要求4所述的基于生成对抗网络的二维图像污水流量检测方法，其特征在于，所述分类器的输入是所述编码器的输出H，对H进行两层全连接，两层全连接的输出维度分别是256和128，并且每层全连接后均使用Leak Relu函数激活，得到128维的特征向量后，再用1层全连接生成8维向量，并使用归一化指数函数Softmax得到H对应的污水流量等级分类的预测概率P_C，根据该预测概率P_C，得到预测污水流量等级C′，其计算过程如下：

h_C＝ReLu(W_C1flatten(H)+b_C1)

p_c＝Softmax(W_C2h_C+b_C2)

其中W_C1为第1层全连接的矩阵参数，b_C1为其偏置参数，W_C2为第2层全连接的矩阵参数，b_C2为其偏置。

6.根据权利要求5所述的基于生成对抗网络的二维图像污水流量检测方法，其特征在于，所述步骤S3)中用于训练的污水流量检测模型的损失函数L为

其中，

E表示期望，X～P_data(X)表示随机变量，即矩阵X服从P_data(X)分布，P_data(X)为变量X的分布函数，D(X)表示X的方差，Y′～P_Y′(Y′)表示Y′服从P_Y′(Y′)分布，P_Y′(Y′)为变量Y′的分布函数，G(X)表示所述生成器的输出Y′，G(X)即Y′，MSE表示均方误差，cross_Entropy()表示交叉熵，C表示标记污水流量等级标签，C′表示预测污水流量等级标签，且C′∈[0,7]时，有one_hot(C)_C′＝0,C′≠C；one_hot(C)_C′＝1,C＝C′，λ和β是控制损失影响力的超参数，其根据实际情况进行调节；

在训练所述污水流量检测模型的过程中，所述分类器和所述判别器产生的误差会同时作用于所述编码器，从而使得所述编码器同时提取污水流量等级以及污水水流区域的特征，从而帮助所述生成器生成更加准确的生成图像；

当所述污水流量检测模型训练完成后，其中的所述生成器和所述判别器达到纳什平衡状态，所述判别器无法分辨所述生成器生成图像对应的矩阵Y′与使用黑红标注的污水水流标注图像对应的矩阵Y，且所述分类器也完成了对污水流量等级分类的学习。

7.根据权利要求6所述的基于生成对抗网络的二维图像污水流量检测方法，其特征在于，所述λ的取值为0.01，所述β的取值为0.5。

Images