基于电力巡线红外巡检视频数据的电力设备异常发热检测方法
技术领域
本发明属于应用于电力巡线的红外视频图像处理技术领域,具体是指基于电力巡线红外巡检视频数据的电力设备异常发热检测方法。
背景技术
自动化的电力设备目标探测技术是电力巡线红外视频异常发热诊断过程中的关键技术。这在许多有关基于红外影像进行故障诊断的技术文档和研究论文中都有论述,Huangqiang.Research on HV-Power Equipment Diagnosis by Infrared ImageEdge Detection,Power and Energy Engineering Conference,[c],2009,.APPEEC2009.Asia-Pacific.APPEEC2009.Asia-Pacific;Mohd Shawal Jadin.Recent progressin diagnosing the reliability of electrical equipmentby using infraredthermography[J]Infrared Physics&Technology,2012Vol.55No.4.张越,基于红外热像技术的电力设备故障在线监测与诊断,2012,大连理工大学。
基于红外视频进行目标探测的方法主要分为两种。即:运用神经网络和运用图像处理的方法。大多数专家学者都把研究重点放在运用图像处理的方法进行运动目标榆测和跟踪,现有的比较有效的图像运动目标检测的主要是光流法和差分图像法。一般来说,光流法的时问开销很大,其实时性和实用性较差。相反,图像差分法比较简单,易于实时,因而成为目前应用最广泛、最成功的运动目标检测方法。图像差分法可分为两类:背景图像差分法和帧间差分法。由于帧间查分的方法简单、易于实现,且行之有效。因此,是一种红外视频目标探测的有效方法。
相关文献:林佳乙等.基于背景差分法和帧间差分法的视频运动检测,仪器仪表学报,2008Vol.29No.3.许静等,基于帧间差分和光流法的红外图像运动检测,计算机仿真,2012Vol.29No.6。
但是,帧间差分进行目标探测具有如下缺点:1.不适用与目标和背景都不动而探测器运动的情况,不能提取对象的完整区域。2.同时依赖于选择的帧间时间间隔。对快速运动的物体,需要选择较小的时间间隔,如果选择不合适,当物体在前后两帧中没有重叠时,会被检测为两个分开的物体;而对慢速运动的物体,应该选择较大的时问差,如果时间选择不适当,当物体在前后两帧中几乎完全重叠时,则检测不到物体。
因而,提出了一种基于图像拼接的帧间差分方法,考虑到在图像拼接的过程中,建立了统一的物方坐标系,因此,相邻两帧的背景信息(如树木)通过拼接后重合在了一起,而电力设备信息由于离物方较远所以并未完全重合。基于此,在拼接的基础上进行帧间差分,从拼接后的重叠区域中,用后一帧数据减去前一帧数据。并且由于采集到的红外视频数据,相邻两帧之间有较大的重叠区域,重叠区域面积和无人机飞行速率以及视频的采样频率相关,不过一般在70%~97%左右。这为图像拼接奠定了良好的基础。
但是,由于由于差分后的影像中电力设备具有不连续、噪声多等特征,传统的图像处理方式,如经典的Canny算子会受阈值参数影像,采用Hough变换检测出来的直线也受边缘检测性能的影响。因此,有关学者提出了一种基于输电线主方向来提取输电线的方法。从傅里叶频谱角度来看,对一个具有方向性的规则纹理而言,它在傅里叶频域的能量聚集在过原点的直线上。对帧间差分后的图像做实验,对其进行二维的傅里叶变换得到图像对应的功率谱矩阵。并将每个矩阵元素所对应的能量转换到其对应的极坐标上,将相同角度的极坐标所对应的能量进行叠加,得到一个角度-能量直方图,其中,能量所对应的最大值即为求得的主方向。
参考文献:张道兵等,一种稳健的道路主方向提取算法,光子学报,2007Vol.36No.6。张红英等,利用图像边缘信息估算图像纹理主方向,西南科技大学学报,2007Vol.22No.2.
为最终识别在图像中的目标,需要使用相应的目标识别算法对其进行识别,常用的目标识别算法有两种包括:一种是自下而上的数据驱动(data-driven)算法;另一种是自上而下的模型驱动算法(model-driven)算法。由于输电线本身具有相互平行且连续不间断的特性,利用主方向所给出的先验知识,可以采用模型驱动的方法,得到连续的完整的电力设备目标。
参考文献:吴秀芸等,基于航空影像的建筑物边缘直线特征提取方法,山东师范大学学报,2010,No.2;Eunju Kwak,etc.Automatic3D Building Model GenerationUsing A Hybrid Approach[c],2012,ASPRS.
结合相关的电力行业的故障诊断标准,沿着定位出来的输电线,采用直接判别法、温差判别法等方法,自动化进行诊断,得出诊断结果,并且,对温度异常点采用特别的红色标注标志出来,并生成诊断结果报表,供人工辅助判断。
参考文献:李德刚,红外诊断技术在电气设备状态检测中的研究与应用,2010,山东大学;杨振勃等,基于红外图像识别的输电线路故障诊断,现代电力,2012,Vol.29,No.2。
发明内容
本发明的目的是提供基于电力巡线红外巡检视频数据的电力设备异常发热检测方法,该检测方法无需使用高压试验设备,避免了对故障部位造成新的损伤,而且拆卸工作量小、检测过程简单,能够快速确定故障部位。
本发明的上述目的通过如下技术方案来实现的:基于电力巡线红外巡检视频数据的电力设备异常发热检测方法,该方法包括如下步骤:
基于电力巡线红外巡检视频数据的电力设备异常发热检测方法,该方法包括如下步骤:
(1)用红外视频拍摄电力设备,获得电力设备的红外视频影像,将电力设备的红外视频影像转换为红外序列影像帧;所述的电力设备包括电塔和输电线,其中,电塔包括塔身、绝缘子、地线和电塔金具,输电线包括输电导线、避雷线和输电线金具;
(2)对步骤(1)获得的红外序列影像进行图像预处理,通过图像预处理削弱红外图像中的随机噪声,从而提高红外图像的对比度;
(3)将步骤(2)预处理后的图像分成两类:一类为电塔的电塔序列影像,另一类为驾临于地形上空的输电线的输电线序列影像;
(4)对电塔序列影像进行图像分割,从电塔序列影像中分割出电塔的塔身、绝缘子、地线和电塔金具的图像;
(5)提取和定位影像中电塔的塔身、绝缘子、地线和电塔金具;
(6)结合现有电力行业的故障诊断标准,沿着步骤(5)定位出来电塔的塔身、绝缘子、地线和电塔金具各自的直线,诊断得出电塔的塔身、绝缘子、地线和电塔金具故障的故障诊断结果,将温度异常点标志出来,并且根据故障诊断结果生成故障诊断结果报表,供人工辅助判断。
本发明中,所述步骤(1)中将红外视频影像转换为红外序列影像帧采用的是Opencv函数。
本发明中,所述步骤(2)中图像预处理的方法包括双边滤波去噪和直方图均衡。
本发明中,所述步骤(4)中采用自适应分割算法对电塔序列影像进行图像分割。
本发明中,所述步骤(5)中采用CANNY算子从分割后的图像中提取直线特征,并利用Hough变换,提取分割后的图像中的直线,从而提取和定位影像中电塔的塔身、绝缘子、地线和电塔金具。
为了能够进一步对输电线故障进行诊断,本发明还可以做如下进一步改进:本发明还包括如下步骤:
(7)对于驾临于地形上空的输电线序列影像,相邻两帧图像之间有较高的重叠度,采用基于SURF描述子对输电线序列影像的影像尺度不变特征进行提取,使用人工神经网络的匹配算法,完成提取特征点的匹配,形成匹配点对;
(8)对步骤(7)获得的匹配点对中存在的错误匹配点对,对错误匹配点进行滤除,提高匹配精度;
(9)匹配得到的相邻两帧图像之间的重叠区域,通过帧间差分的方式,能够消除背景信息和噪声,将两帧图像数据的输电线信息保留下来;
(10)对步骤(9)获得的帧间差分图像结果,将输电线信息从图像中分割出来;
(11)通过图像傅里叶频谱分析,对步骤(10)分割出来的输电线信息图像进行分析,求取输电线信息主方向;
(12)利用步骤(11)中获得的输电线信息的主方向,采用模型驱动的方法,得到连续的完整的输电线;
(13)结合现有电力行业的故障诊断标准,沿着步骤(12)定位出来的输电线直线,采用直接判别法、温差判别法诊断得出输电线故障的故障诊断结果,将温度异常点标志出来,并且根据故障诊断结果生成故障诊断结果报表,供人工辅助判断,其中,输电线故障包括输电导线、避雷线和输电线金具的故障,输电导线、避雷线和输电线金具故障的诊断方法均通过与步骤(7)~步骤(13)中诊断输电线故障相同的步骤进行诊断。
本发明中,所述步骤(8)中,使用RANSAC方法对错误匹配点进行滤除。
本发明中,所述步骤(10)中,对步骤(9)获得的帧间差分图像结果进行双边滤波去噪,然后对图像进行ostu法图像分割,将输电线信息从图像中分割出来。
本发明中,所述步骤(11)中求取输电线信息主方向的具体步骤为:对步骤(10)分割出来的输电线信息图像进行二维傅里叶变换,得到FM(u,v),并求其功率谱:PM(u,v)=|FM(u,v)|2;将直角坐标系下的功率谱转换到极坐标系(θ,r)下,固定极坐标下的某一角度,对所有同一角度的功率谱求和,功率谱最大所对应的角度,即为求得的输电线信息的主方向。
本发明中,所述步骤(12)得到连续的完整的输电线的具体实现方式为:对步骤(11)获得的图像,设置一个和输电线信息的主方向平行的平行四边形窗口,四边形的高等于图像的高,四边形的底边和帧间差分图像的底边在同一直线上,沿着图像所在的底边平移四边形窗口,计算落在该区域内的前景信息的填充度,当填充度大于设定阈值的80%时保留该窗口信息,根据该窗口信息绘制相应的输电线直线,从而提取和定位影像中输电线。
本发明的电力设备异常发热检测方法通过基于拼接的方法进行帧间差分,能够克服传统的帧间差分方法进行目标探测时探测器移动时难以将前景从背景中区分出来的特点;基于图像能量进行主方向提取的方法,能自动提取图像主方向,用于进一步的目标探测;利用图像主方向的先验知识,采用模型驱动的思想,基于模型来提取图像中的电力设备,提取的完整度高、连续性好;基于红外图像目标探测结果来进行故障诊断,能够有效的规避图像中其他辐射因素对红外图像的可能影响,有更好的诊断结果。并且,在处理过程中,与传统的红外图像处理的方法相比,不需要过多的阈值设置,自动化程度高、执行效率高。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明获得的红外视频单帧原始影像;
图2对图1进行预处理前后对比图;
图3a为本发明拼接前的相邻的一帧图像;
图3b为本发明拼接前的相邻的另一帧图像;
图4为本发明拼接后的图像;
图5为本发明帧间差分结果;
图6为本发明主方向求取结果;
图7为本发明输电线定位结果;
图8a为本发明输电线预处理后的红外影像;
图8b为本发明输电线的定位结果。
具体实施方式
本发明基于电力巡线红外巡检视频数据的电力设备异常发热检测方法的理论基础如下:
在图像拼接的过程中,建立了统一的物方坐标系,因此,相邻两帧的背景信息通过拼接后重合在了一起,而电力设备信息由于离物方较远所以并未完全重合。基于此,在拼接的基础上进行帧间差分,从拼接后的重叠区域中,用后一帧数据减去前一帧数据,从而大部分的背景信息会被消除,但是输电线信息仍然保留了下来。所采用的拼接方法如下:通过基于SURF描述子对影像尺度不变特征进行提取,使用人工神经网络的匹配算法,完成提取特征的匹配,能实现大旋角像对的特征匹配。对于存在的错误匹配点对,使用RANSAC方法对其进行滤除,提高匹配精度。
在消除了噪声和背景对红外图像的影响后,在红外影像中的电力设备往往是不连续和不完整了,为了提取出完整连续的目标,可以通过图像能量求取主方向,然后基于主方向的先验知识,采用模型驱动的方式从原始图像中进行目标探测。
相应的基于图像能量信息求取输电线主方向的方法是通过对其进行二维的傅里叶变换得到图像对应的功率谱矩阵。并将每个矩阵元素所对应的能量转换到其对应的极坐标上,将相同角度的极坐标所对应的能量进行叠加,得到一个角度-能量直方图,其中,能量所对应的最大值即为求得的主方向。
具体步骤如下:对图像进行二维傅里叶变换得到FM(u,v),并求其功率谱:PM(u,v)=|FM(u,v)|2;将直角坐标系下的功率谱转换到极坐标系(θ,r)下,固定极坐标下的某一角度,对所有同一角度的功率谱求和,功率谱最大所对应的角度,即为求得的主方向。再采用基于模型驱动的方式来求直线,由于输电线本身具有相互平行且连续不间断的特性,利用主方向所给出的先验知识,可以采用模型驱动的方法,得到连续的完整的输电线。对红外图像,设置了一个和主方向平行的平行四边形窗口,四边形的高等于图像的高,四边形的底边和图像的底边在同一直线上,沿着图像所在的底边平移四边形窗口,将落在图像图幅和窗口重叠区域内的像素,计算落在该区域内的前景信息的填充度,当填充度大于某一阈值时保留该窗口信息,绘制相应的直线。
本发明基于电力巡线红外巡检视频数据的电力设备异常发热检测方法的具体实现过程如下:
(1)用红外视频拍摄电力设备,获得电力设备的红外视频影像,将电力设备的红外视频影像转换为红外序列影像帧;其中,将红外视频影像转换为红外序列影像帧采用的是Opencv函数;本发明中的电力设备包括电塔和输电线,其中,电塔包括塔身、绝缘子、地线和电塔金具,输电线包括输电导线、避雷线和输电线金具;图1给出了由红外视频影像得到的单帧影像。
(2)对步骤(1)获得的红外序列影像进行图像预处理;图像预处理的方法包括双边滤波去噪和直方图均衡,通过图像预处理削弱红外图像中的随机噪声,从而提高红外图像的对比度;图2为对图1进行预处理后的前后对比图。
(3)将步骤(2)预处理后的图像分成两类:一类为电塔的电塔序列影像,另一类为驾临于地形上空的输电线的输电线序列影像;
(4)采用自适应分割算法对电塔序列影像进行图像分割,从电塔序列影像中分割出电塔的塔身、绝缘子、地线和电塔金具的图像;
(5)采用CANNY算子从分割后的图像中提取直线特征,并利用Hough变换,提取分割后的图像中的直线,从而提取和定位影像中电塔的塔身、绝缘子、地线和电塔金具;
(6)结合现有电力行业的故障诊断标准,沿着步骤(5)定位出来电塔的塔身、绝缘子、地线和电塔金具各自的直线,采用直接判别法或温差判别法,诊断得出电塔的塔身、绝缘子、地线和电塔金具故障的故障诊断结果,将温度异常点标志出来,并且根据故障诊断结果生成故障诊断结果报表,供人工辅助判断;
(7)对于驾临于复杂地形上空的输电线序列影像,输电线信息往往淹没在大量的背景和噪声中,考虑到采集到的红外视频数据,相邻两帧图像之间有较高的重叠度,重叠区域面积和无人机飞行速率以及视频的采样频率相关,不过一般在70%~97%左右。这为图像拼接奠定了良好的基础,本发明采用基于SURF描述子对输电线序列影像的影像尺度不变特征进行提取,使用人工神经网络的匹配算法,完成提取特征点的匹配,形成匹配点对;
(8)对步骤(7)获得的匹配点对中存在的错误匹配点对,使用RANSAC方法对其进行滤除,提高匹配精度;
使用RANSAC方法对其进行滤除的具体流程为:
首先是基于Ransac的变换参数估计。
获得图像间的匹配对后,要估算图像间的变换关系,图像间存在仿射变换关系:
设p=(x1,y1),q=(x2,y2)是匹配的特征点对,则有:
式\
上述最近邻匹配法得到的匹配对中,还可能有错误的匹配对,要结合Ransac和最小二乘来计算图像间的变换关系。在图像与图像的匹配过程中,目的是为了计算两个平面之间的转换关系H,其变换关系为:
H为单应矩阵,要使下式中的反投影误差最小:
H矩阵可以变换尺度,所以被归一化使得h33=1。即H是一个包含8个自由度的3*3的矩阵,它最少可以由2个平面中4对匹配点计算得到,但是同一平面任意3点不能共线。
基于Ransac算法,采用如下的基本思路:
1)重复采样n次(n由采样自适应确定)随即取出3组对应点对组成一个样本并计算矩阵M;据算每组假设对应的距离d;通过门限值比较,将与M一致的点作为内点。
2)选取包含内点树木最多的一个点集(内点数据相等时,选择标准方差最小的点集)。
用所选取的点集中的匹配对重新计算M,用最小二乘法来最小化误差,这样在求取最终解之前,先去除掉了不符合大多数点对所满足关系的“外点”去除了误匹配的影响,得到多数匹配点对所满足的最终解。图3a、图3b为拼接前的相邻的两帧图像,图4为经过本发明进行拼接后的图像。
(9)由于在图像拼接的过程中,建立了统一的物方坐标系,因此,相邻两帧的背景信息(如树木)通过拼接后重合在了一起,而输电线信息由于离物方较远所以并未完全重合。基于此,匹配得到的相邻两帧图像之间的重叠区域,通过帧间差分的方式,能够消除背景信息和噪声,将两帧图像数据的输电线信息保留下来,图5为帧间差分结果;
拼接后的帧间差分,实现步骤如下:
帧间差分法它是利用基于时间序列图像中相邻两帧或几帧图像逐个像素进行对比得到的差值图像,然后通过事先确定的阈值对差值图像进行二值化。两幅图像在时间ti和tj时的绝对值图像可以定义为:
其中T为阈值。两幅图像间坐标的像素差大于T,则在差值图像中该点像素设置为1,否则为0。在实际对经过拼接后的红外序列影像进行处理时,由于帧间差分是逐像素计算的过程,在经过拼接处理后位于同一图像坐标系的两帧影像,其物理像素并不是完全重合的,只有在公共重叠区域才重合。选取其重叠区域的最大内接矩形为兴趣区域进行帧间差分。
从拼接后的重叠区域中,用后一帧数据减去前一帧数据可知,其中大部分的背景信息将被消除,但是输电线信息仍然保留了下来。图5为帧间差分结果。
(10)对步骤(9)获得的帧间差分图像结果进行双边滤波去噪,然后对图像进行ostu法图像分割,将输电线信息从图像中分割出来;图6为帧间差分图像分割后的结果。
(11)在消除了噪声和背景对红外图像的影响后,在红外影像中的电力设备往往是不连续和不完整了,为了提取出完整连续的目标,通过图像傅里叶频谱分析,对步骤(10)分割出来的输电线信息图像进行分析,求取输电线信息主方向;求取输电线信息主方向的具体步骤为:对步骤(10)分割出来的输电线信息图像进行二维傅里叶变换,得到FM(u,v),并求其功率谱:PM(u,v)=|FM(u,v)|2;将直角坐标系下的功率谱转换到极坐标系(θ,r)下,固定极坐标下的某一角度,对所有同一角度的功率谱求和,功率谱最大所对应的角度,即为求得的输电线信息的主方向;图7为输电线信息主方向求取结果。
(12)利用步骤(11)中获得的输电线信息的主方向,采用模型驱动的方法,得到连续的完整的输电线;具体实现方式为:对步骤(11)获得的图像,设置一个和输电线信息的主方向平行的平行四边形窗口,四边形的高等于图像的高,四边形的底边和帧间差分图像的底边在同一直线上,沿着图像所在的底边平移四边形窗口,计算落在该区域内的前景信息的填充度,当填充度大于设定阈值的80%时保留该窗口信息,根据该窗口信息绘制相应的输电线直线,从而提取和定位影像中输电线;图8a为本发明输电线预处理后的红外影像;图8b为本发明输电线的定位结果。
(13)结合现有电力行业的故障诊断标准,沿着步骤(12)定位出来的输电线直线,采用直接判别法、温差判别法诊断得出输电线故障的故障诊断结果,将温度异常点标志出来,并且根据故障诊断结果生成故障诊断结果报表,供人工辅助判断,其中,输电线故障包括输电导线、避雷线和输电线金具的故障,输电导线、避雷线和输电线金具故障的诊断方法均通过与步骤(7)~步骤(13)中诊断输电线故障相同的步骤进行诊断。
本发明的上述实施例并不是对本发明保护范围的限定,本发明的实施方式不限于此,凡此种种根据本发明的上述内容,按照本领域的普通技术知识和惯用手段,在不脱离本发明上述基本技术思想前提下,对本发明上述结构做出的其它多种形式的修改、替换或变更,均应落在本发明的保护范围之内。