CN107564025B - 一种基于深度神经网络的电力设备红外图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的电力设备红外图像语义分割方法。采集电力设备红外图像，构成图像语义分割数据集并分为多部分，每个部分的图像数量相同，从图像语义分割数据集中选取一部分作增强预处理；处理获得语义分割结果图；比较后用交叉熵计算预测误差，然后使用随机梯度下降算法在基于DeepLab的深度卷积网络中对预测误差进行反向传播，更新基于DeepLab的深度卷积网络的网络参数值，迭代更新训练获得最终语义分割结果图，最后选择使用全连接的条件随机场进行后处理优化。本发明充分利用大量数据进行训练和学习出图像的本质特征，与以往的电力设备检测与分割方法相比，取得了更好的分割性能与结果。

Description

一种基于深度神经网络的电力设备红外图像语义分割方法

技术领域

本发明涉及图像语义分割方法，具体涉及了一种基于深度神经网络的电力设备红外图像语义分割方法。

背景技术

图像语义分割是对图像中的每个像素点，给出该像素点的语义类别值。对图像进行语义分割可以获取图像的语义信息，更好的理解图像的高层次内容和代表的信息，因此在实际中得到了十分广泛的应用，如图像中特定目标的定位、图像搜索、自动驾驶中道路场景的识别和理解、以及目前广受关注的虚拟现实技术(VR)和穿戴式设备等。

对于电力***来说，电力设备的正常运行，是保证电力***正常、安全供电的基础。电力设备在运行过程中存在发热现象，设备运行时的温度反映了设备的运行状态。从电力设备的红外图像中获取设备的温度信息，可以用来对电力设备是否正常运行进行判断和监测，因此具有十分重要的实际应用意义。对电网中电力设备红外图像进行语义分割，可以从背景环境区域中分割出设备区域，得到设备主体区域的精细位置和区域信息，以便于在此基础上，以设备主体区域温度作为输入，利用相关的电力设备故障诊断规则，对电力设备进行后续的故障诊断和处理。

以往对电力设备图像进行目标检测与语义分割的方法，大多数基于传统图像处理技术来实现，例如基于阈值对图像进行二值分割，基于电力设备图像中的重复结构来对设备进行分割，以及基于传统特征提取方法，如SIFT，Mean Shift等来提取图像特征，实现对目标设备的检测。

近年来，深度学习在图像处理和机器视觉其他领域(如图像分类，目标检测和识别领域)得到了良好应用，并取得了卓越的性能表现。因此，本发明提出了一种基于深度学习中的卷积神经网络，来对电力设备图像进行语义分割的方法。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供了一种基于深度神经网络的电力设备红外图像语义分割方法。

本发明采用的技术方案是包括如下步骤：

(1)采集一系列已知像素级标签(图像语义分割的真值)的电力设备红外图像，构成图像语义分割数据集；

图像中的每个像素均具有像素级标签y，像素级标签y的取值为y＝0或1； 0代表像素点属于图像的背景场景，1代表像素点属于图像的前景目标，前景目标即图像中的电力设备。

一个像素具有一个像素级标签y，图像I所有像素的像素级标签y组成像素级标签集合，记T＝{y_i,j|y_i,j,i∈[1,M],j∈[1,N]}，其中y_i,j表示图像中第i行第j列像素点的像素级标签，i表示行数，M表示图像总行数，j表示列数，N表示图像总列数。

(2)将图像语义分割数据集随机分为多部分，每个部分的图像数量相同；

(3)从图像语义分割数据集中选取一部分，对其中的图像进行数据增强的预处理，来对图像数据集进行增强，使得经过预处理之后的图像数据集更加富有变化；

所述步骤(3)中进行数据增强的预处理具体包括大小裁剪、随机镜像翻转和尺度随机变换。尺度随机变换是指图像大小上的尺度。

(4)对于预处理后的图像输入基于DeepLab的深度卷积网络进行处理获得语义分割结果图；

所述的基于DeepLab的深度卷积网络是以VGG-16为基本网络结构的深度卷积网络。

(5)将语义分割结果图与图像原有已知的像素级标签真值进行比较，用交叉熵计算预测误差，然后使用随机梯度下降(SGD)算法在基于DeepLab的深度卷积网络中对预测误差进行反向传播，更新基于DeepLab的深度卷积网络的网络参数值；

(6)重复步骤(3)-(5)对基于DeepLab的深度卷积网络进行迭代更新，每次进行步骤(3)时从数据集中选取不同一部分，直至最大迭代次数完成训练；

(7)采用步骤(6)训练获得的分割网络对未知像素级真值标签的待测图像进行处理，获得最终语义分割结果图；

(8)选择使用全连接的条件随机场进行后处理，对最终语义分割结果图进行平滑和边缘的优化。

所述步骤(3)的预处理具体为：

(3.1)设定裁剪后的图像大小，对每张图像随机选取区域，进行图像大小的裁剪；

(3.2)对每张图像，以一定的概率(例如0.5)进行随机的镜像翻转；

(3.3) 根据电力设备红外图像中目标设备的尺寸大小分布设置尺度变换参数集合{s1,s2,...}，对每张图像随机地选取尺度变换参数集合中一项，对原始输入图像进行尺度的变换。

例如可设置尺度变换参数为{0.5,0.7,1,1.5,2}。其中当尺度变换参数值大于1时，表示变换之后的图像相比原始图像放大，当尺度变换参数值小于1时，表示变换之后的图像相比原始图像缩小。

所述步骤(4)具体为：所述的基于DeepLab的深度卷积网络主要由Convs 模块、ASPP(Atrous Spatial Pyramid Pooling)模块和上采样(Upsampling)模块组成，网络结构如图2所示，将图像输入到Convs模块提取出图像的初步特征图，再输入到ASPP模块进一步提取获得图像低分辨率的多尺度特征图，最后经过上采样模块对多尺度特征图进行上采样，获得与输入到深度卷积网络原始图像大小相同的语义分割结果图。

多尺度特征图中的尺度是指卷积采样率上的不同尺度。

所述的低分辨率是指相对于输入到深度卷积网络原始图像大小的1/8。

所述的Convs模块为VGG-16网络，包含Conv5及其之前的所有运算层，主要由三层卷积层、池化层和非线性激活层依次连接组成，其中对于Conv5的三个卷积层均用小孔卷积作为三个卷积层中的卷积操作；

如图2所示，所述的Convs模块具体从前到后的级联网络结构为：

conv_1_1,conv_1_2,pool_1,conv_2_1,conv_2_2,pool_2,

conv_3_1,conv_3_2,conv_3_3,pool3,conv_4_1,conv_4_2,conv_4_3,pool4,

conv_5_1,conv_5_2,conv_5_3,pool5

其中每个卷积层后还会紧跟有一个Relu激活层。对于前3个池化层 pool1-pool3，每经过一次池化层，特征图的大小变成输入的一半；最后两个池化层的输入与输出大小相同。

所述的ASPP(小孔空间金字塔池化)模块主要包括四个并行的子模块，用四个子模块分别处理提取后的特征图进行对应元素叠加，获得ASPP模块输出的多尺度特征图；

所述的上采样模块主要包括一个上采样层，上采样层通过双线性插值的方式对ASPP模块的输出进行采样，获得与输入到深度卷积网络原始图像分辨率相同的语义分割结果图。

如图3所示，所述ASPP模块中，每个子模块均有相同的三层组成，三层分别为FC6层、FC7层和FC8层，FC6层是由一个输出神经元个数为N1的卷积层、一个Relu非线性激活层和一个Dropout层依次连接构成，FC7层是由一个输出神经元个数为N2的全连接层、一个Relu非线性激活层和一个Dropout层依次连接构成，FC8层是由一个输出神经元个数为C＝2的全连接层构成；在四个子模块的FC6层的卷积层处理时，使用不同的小孔卷积采样率来进行卷积操作。

所述的Convs模块中的小孔卷积采用以下公式进行处理：

其中，r为采样率，也称为采样步长，i表示输入信号的索引值，g[n]表示小孔卷积后的输出，x[n]表示小孔卷积的输入，w[k]表示滤波器，k表示滤波器w[k] 的索引值，K表示滤波器w[k]的长度。

二维情况下的小孔卷积是在图像的x和y两个方向分别进行小孔卷积。

所述步骤(5)中计算预测误差具体为：

经过一个Softmax层将语义分割结果图进行归一化转换分为前景目标与背景场景两类的概率图，再与像素级标签集合绘制的像素级标签图进行比较，通过以下公式计算获得损失函数值L，作为预测误差：

其中，N是所述步骤(2)中每一部分所包含的图像数量，m代表图像中的每个像素点，y是像素级标签图中每个像素点的像素级标签真值，a是语义分割结果图上对应像素点的值。

所述步骤(8)中全连接条件随机场具体为：

全连接条件随机场具体计算过程是：

对于全连接的条件随机场，势能函数E(x)如下：

上式中，i代表图像中的每个像素点，j代表图像中的其它像素点，x_i,x_j分别代表语义分割结果图上像素点i和像素点j的值，ψ_u(x_i)为每个像素点的一元势能函数，具体计算如下：

ψ_u(x_i)＝-logP(x_i)

上式中，P(x_i)代表对语义分割结果图上像素点i的值进行归一化所得出的概率值；

ψ_p(x_i,x_j)为二元势能函数，具体计算如下：

上式中，μ(x_i,x_j)为指示函数，仅在x_i≠x_j时不为0；I_i和I_j分别为图像i,j点的像素值，p_i和p_j分别为图像中的i,j点的像素点位置，

表示双边高斯核函数，

表示第二项核函数，σ_γ ²和σ_β ²分别是双边高斯核函数中与位置相关的核函数方差和与像素值相关的核函数方差，σ_γ ²是第二项核函数的方差，w¹和w²是加权权值；

通过在所设置的电力设备红外图像验证集上进行验证和实验，来对全连接条件随机场中参数进行学习，得出适应于电力设备红外图像的语义分割任务的参数设置。所需学习的参数包括：权值w¹,w²，以及高斯核函数标准差σ_α,σ_β,σ_γ。

本发明方法构造的深度卷积神经网络，通过逐层抽象，可提取出图像的高层抽象语义信息，从而得出图像中前景目标设备的分割结果。

本发明方法构造了一个基于DeepLab的深度卷积神经网络作为模型，以VGG-16为基本网络结构，通过在人工标注的电力设备红外图像数据集上进行训练，来学习网络参数，实现对于输入图像的两类语义分割。此外，在验证集上学习得出全连接条件随机场的参数，可用于对任一未知像素级标签的待测图像经过深度神经网络得出的分割结果进行修正和优化。

本发明的有益效果是：

本发明在卷积网络中的ASPP模块通过结合所感知的不同尺度大小的信息，可以捕捉图像的多尺度特征，使得不同尺度大小的设备图像都能够得到很好的分割。

本发明在网络后端所添加的全连接条件随机场，可进一步对于图像的分割结果进行平滑，以及对目标设备的分割边缘进行优化。

综合来说，本发明与以往的电力设备图像分割方法相比，得到了更好的性能。以往的电力设备图像分割方法大多基于传统图像处理技术，例如采用二值化、阈值分割、聚类方法进行分割，易出现欠分割(即目标设备不能完全从背景中区分开)或者过分割(目标设备周围环境也被分割为物体)的情况。本发明所提出的方法实现了对目标设备的精准分割，目标设备可清楚地与背景环境区分开来，并且在分割结果中目标设备边缘轮廓较为清晰。对于基于图像的场景理解应用(例如电力设备故障检测与分析)来说，得到精确的目标设备位置与轮廓具有十分重要的作用。

附图说明

图1是本发明所述基于DeepLab的深度卷积神经网络的模块处理流程图。

图2是本发明所述基于DeepLab的深度卷积神经网络的具体结构图。

图3是ASPP(Atrous Spatial Pyramid Pooling)模块的具体结构框图。

图4是本发明在电力设备红外图像测试集上的分割结果示例图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明的实施例及其实施过程是：

(1)数据采集。采集一系列已知像素级标签(图像语义分割的真值)的电力设备红外图像，构成图像语义分割数据集；

图像中的每个像素均具有像素级标签y，像素级标签y的取值为y＝0或1； 0代表像素点属于图像的背景场景，1代表像素点属于图像的前景目标，前景目标即图像中的电力设备。

一个像素具有一个像素级标签y，图像I所有像素的像素级标签y组成像素级标签集合，记T＝{y_p,q|y_p,q,p∈[1,Row],q∈[1,Col]}，其中y_p,q表示图像中第p行第q 列像素点的像素级标签，p表示行数，Row表示图像总行数，q表示列数，Col表示图像总列数。

(2)将图像语义分割数据集随机分为多部分，每个部分的图像数量相同；

(3)从图像语义分割数据集中选取一部分，对其中的图像进行数据增强的预处理，来对图像数据集进行增强，使得经过预处理之后的图像数据集更加富有变化；

(4)对于预处理后的图像输入基于DeepLab的深度卷积网络进行处理获得语义分割结果图；所述的基于DeepLab的深度卷积网络是以VGG-16为基本网络结构的深度卷积网络，主要由Convs模块、ASPP(Atrous Spatial Pyramid Pooling) 模块和上采样(Upsampling)模块组成，网络处理流程如图1所示，具体结构如图2所示。将图像输入到Convs模块提取出图像的初步特征图，再输入到ASPP 模块进一步提取获得图像低分辨率的多尺度特征图，最后经过上采样模块对多尺度特征图进行上采样，获得与输入到深度卷积网络原始图像大小相同的语义分割结果图。

所述的ASPP模块如图3所示，所述的全连接条件随机场模块如图3所示。

(5)将语义分割结果图与图像原有已知的像素级标签真值进行比较，用交叉熵计算预测误差，然后使用随机梯度下降(SGD)算法在基于DeepLab的深度卷积网络中对预测误差进行反向传播，更新基于DeepLab的深度卷积网络的网络参数值；

(6)重复步骤(3)-(5)对基于DeepLab的深度卷积网络进行迭代更新，每次进行步骤(3)时从数据集中选取不同一部分，利用带动量的随机梯度下降(SGD)算法训练深度神经网络，直至最大迭代次数完成训练，获得训练好以后的深度卷积神经网络的参数；

具体实施中，动量设置为0.9，最大迭代次数设置为20000次，每次批训练随机选取的图像数目为2，,基本学习率为10^-3，学习率调整策略为多项式(poly) 衰减，其中多项式的指数为0.9。对整个图像数据集分为训练集、验证集和测试集，大小比例为5.9:0.1:4。训练结束后，保存深度神经网络的参数。

(7)采用步骤(6)进行参数训练后的基于DeepLab的深度卷积网络对未知像素级真值标签的待测图像进行处理，获得最终语义分割结果图；

(8)选择使用全连接的条件随机场进行后处理，对最终语义分割结果图进行平滑和边缘的优化。

实施例具体实施进行了四类电力设备的实施分割，结果如图4所示。图4 中，每行所示均为一张实验图像过程，在每行中，左图为原始采集的电力设备红外图像伪彩图，中图为对应获得的像素级标签真值图，右图为采用本发明处理获得的最终语义分割结果图。图4中，第一行为一张避雷器电力设备的红外图像实验过程，第二行为一张避雷器电力设备的红外图像实验过程，第三行为一张断路器电力设备的红外图像实验过程，第四行为一张电流互感器电力设备的红外图像实验过程。图中可见本发明所分割的结果非常准确。

本实施例最后使用所标注的电力设备图像数据集中，所分出的测试集进行测试，所分出的训练集和验证集进行训练。训练集、验证集和测试集相互独立，分别具有2434,41,1656张图像。使用图像语义分割的标准评判指标mIoU进行评测，表1给出了本方法在不同的实验设置情况下，从电力设备红外图像总数据中所分出的测试集上的mIoU值测试结果。值越大，说明性能越好。

表1本方法在电力设备红外图像数据集上的性能

从上表可见，本方法在三种不同的实验设置下，mIoU值均能达到82％以上，其中以伪彩图作为网络输入，并且对测试图像数据集用全连接条件随机场作为后处理时，能够取得相对最优的图像分割性能。由此可见，本发明具有其突出显著的技术效果。

Claims (8)

1.一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是，包括如下步骤：

(1)采集一系列已知像素级标签的电力设备红外图像，构成图像语义分割数据集；

(2)将图像语义分割数据集随机分为多部分，每个部分的图像数量相同；

(3)从图像语义分割数据集中选取一部分，对其中的图像进行数据增强的预处理；

(4)对于预处理后的图像输入基于DeepLab的深度卷积网络进行处理获得语义分割结果图；

(5)将语义分割结果图与图像原有已知的像素级标签进行比较，用交叉熵计算预测误差，然后使用随机梯度下降算法在基于DeepLab的深度卷积网络中对预测误差进行反向传播，更新基于DeepLab的深度卷积网络的网络参数值；

(6)重复步骤(3)-(5)对基于DeepLab的深度卷积网络进行迭代更新，每次进行步骤(3)时从数据集中选取不同一部分，直至最大迭代次数完成训练；

(7)采用步骤(6)训练获得的分割网络对未知像素级真值标签的待测图像进行处理，获得最终语义分割结果图；

(8)选择使用全连接的条件随机场进行后处理，对最终语义分割结果图进行平滑和边缘的优化。

2.根据权利要求1所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：所述步骤(3)的预处理具体为：

(3.1)设定裁剪后的图像大小，对每张图像随机选取区域，进行图像大小的裁剪；

(3.2)对每张图像，进行随机的镜像翻转；

(3.3)根据电力设备红外图像中目标设备的尺寸大小分布设置尺度变换参数集合{s1,s2,...}，对每张图像随机地选取尺度变换参数集合中一项，对原始输入图像进行尺度的变换。

3.根据权利要求1所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：

所述步骤(4)具体为：所述的基于DeepLab的深度卷积网络主要由Convs模块、ASPP模块和上采样模块组成，将图像输入到Convs模块提取出图像的初步特征图，再输入到ASPP模块进一步提取获得图像低分辨率的多尺度特征图，最后经过上采样模块对多尺度特征图进行上采样，获得与输入到深度卷积网络原始图像大小相同的语义分割结果图。

4.根据权利要求3所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：

所述的Convs模块为VGG-16网络，包含Conv5及其之前的所有运算层，主要由三层卷积层、池化层和非线性激活层依次连接组成，其中对于Conv5的三个卷积层均用小孔卷积作为三个卷积层中的卷积操作；

所述的ASPP模块主要包括四个并行的子模块，用四个子模块分别处理提取后的特征图进行对应元素叠加，获得ASPP模块输出的多尺度特征图；

所述的上采样模块主要包括一个上采样层，上采样层通过双线性插值的方式对ASPP模块的输出进行采样，获得与输入到深度卷积网络原始图像分辨率相同的语义分割结果图。

5.根据权利要求4所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：所述ASPP模块中，每个子模块均有相同的三层组成，三层分别为FC6层、FC7层和FC8层，FC6层是由一个输出神经元个数为N1的卷积层、一个Relu非线性激活层和一个Dropout层依次连接构成，FC7层是由一个输出神经元个数为N2的全连接层、一个Relu非线性激活层和一个Dropout层依次连接构成，FC8层是由一个输出神经元个数为C＝2的全连接层构成；在四个子模块的FC6层的卷积层处理时，使用不同的小孔卷积采样率来进行卷积操作。

6.根据权利要求4所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：所述的Convs模块中的小孔卷积采用以下公式进行处理：

其中，r为采样率，g[n]表示小孔卷积后的输出，x[n]表示小孔卷积的输入，w[k]表示滤波器，k表示滤波器w[k]的索引值，K表示滤波器w[k]的长度。

7.根据权利要求1所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：所述步骤(5)中计算预测误差具体为：

经过一个Softmax层将语义分割结果图进行归一化转换分为前景目标与背景场景两类的概率图，再与像素级标签集合绘制的像素级标签图进行比较，通过以下公式计算获得损失函数值L，作为预测误差：

其中，N是所述步骤(2)中每一部分所包含的图像数量，m代表图像中的每个像素点，y是像素级标签图中每个像素点的像素级标签真值，a是语义分割结果图上对应像素点的值。

8.根据权利要求1所述的一种基于深度神经网络的电力设备红外图像语义分割方法，其特征是：所述步骤(8)中全连接条件随机场具体为：全连接条件随机场具体计算过程是：

对于全连接的条件随机场，势能函数E(x)如下：

上式中，i代表图像中的每个像素点，j代表图像中的其它像素点，x_i,x_j分别代表语义分割结果图上像素点i和像素点j的值，ψ_u(x_i)为每个像素点的一元势能函数，具体计算如下：

ψ_u(x_i)＝-log P(x_i)

上式中，P(x_i)代表对语义分割结果图上像素点i的值进行归一化所得出的概率值；

ψ_p(x_i,x_j)为二元势能函数，具体计算如下：

上式中，μ(x_i,x_j)为指示函数，仅在x_i≠x_j时不为0；I_i和I_j分别为图像i,j点的像素值，p_i和p_j分别为图像中的i,j点的像素点位置，

表示双边高斯核函数，

表示第二项核函数，σ_α ²和σ_β ²分别是双边高斯核函数中与位置相关的核函数方差和与像素值相关的核函数方差，σ_γ ²是第二项核函数的方差，w¹和w²是加权权值；

通过在所设置的电力设备红外图像验证集上进行验证和实验，来对全连接条件随机场中参数进行学习，得出适应于电力设备红外图像的语义分割任务的参数设置；所需学习的参数包括：权值w¹,w²，以及高斯核函数标准差σ_α,σ_β,σ_γ。

Images