CN108154496B - 一种适用于电力作业机器人的电力设备外观变化识别方法 - Google Patents
一种适用于电力作业机器人的电力设备外观变化识别方法 Download PDFInfo
- Publication number
- CN108154496B CN108154496B CN201711166123.2A CN201711166123A CN108154496B CN 108154496 B CN108154496 B CN 108154496B CN 201711166123 A CN201711166123 A CN 201711166123A CN 108154496 B CN108154496 B CN 108154496B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- scale
- value
- electric power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008859 change Effects 0.000 title claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 230000005856 abnormality Effects 0.000 claims abstract description 3
- 238000001914 filtration Methods 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 33
- 238000005286 illumination Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007430 reference method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种适用于电力作业机器人的电力设备外观变化识别方法，本发明的方法主要包括以下几条：(1)图像预处理，对原始图像处理后计算加速；(2)特征提取，在特征空间上表征图像；(3)特征匹配，在采集图像中获取目标区域；(4)主观模型，消除主观上不认为是变化的差异；(5)计算差异，计算设备外观差异，判定差异的位置、大小。本发明用于对变电站设备外观进行检测，判断该设备是否污染、破损、有异物等异常现象。本发明及时、准确、快速的识别设备外观异常，为电力***故障监测与故障分析提供一种新的手段，提高电力***的信息化水平。
Description
技术领域
本发明涉及一种适用于电力作业机器人的电力设备外观变化识别方法，所属技术领域为数字图像处理、模式识别和机器学习领域。
背景技术
随着国家飞速发展各行各业对电力越来越依赖，对电力网路安全稳定运行提出更严格的要求。变电站电力设备可靠状态是决定其安全稳定的关键因素之一。电力设备外观是日常巡检中内容最多、最繁重的任务之一。电力设备外观检测内容主要包含：破损、变形、污染和外来异物等。
当前电力设备外观巡检主要依靠变电站值班人员巡检。依靠人力巡检有四个问题：
1.对巡检人员专业技能要求高，需要专门培训；
2.日常巡检工作十分辛苦；
3.工作环境不安全，变电站存在高压和放电问题，可能对巡检人员造成伤害；
4.巡检人员的巡检周期较长，不能及时发现问题。
随着技术发展，图像处理技术在各领域得到了广泛应用。在电力设备巡检方向图像处理技术也取得了喜人的成绩。机器人技术今年发展迅猛，逐渐代替了值班人员巡检。通过图像处理技术和机器人巡检相结合，不但节约了人力成本，避免人在危险的环境下工作，而且可以及时的发现异常，做出处理。
现有的技术依旧存在一些问题：
1.机器人每次停靠的位置有差异，不能保证每次拍摄的视角完全一致；
2.外界环境干扰问题，如光照过强，光照过暗，大雾等；
3.客观存在的差异和主观上认为的差异不一致问题，如雨珠，光线变化等；
4.差异程度的量化。
发明内容
本发明的目的就是为了解决上述问题，提供一种适用于电力作业机器人的电力设备外观变化识别方法。该方法可将巡检机器人在同一停靠点、不同视角拍摄的图像比对，并且忽略主观上不认为是异常的变化。以得分的形式将差异量化。
本发明的技术方案为：
一种适用于电力作业机器人的电力设备外观变化识别方法，包括如下步骤：
(1-1)采集并标定设备模板图，所述的设备模板图为对设备的正视角图，将设备模板图、辅助定位区域A模板图、辅助定位区域B模板图、设备模板图特征、辅助定位区域A模板图特征和辅助定位区域B模板图特征保存在模板库中；
(1-2)采集电力设备当前时刻的图像为待检测图像；
(1-3)对步骤(1-2)中获取的待检测图像做预处理，预处理包括图像灰度化、自适应亮度校正、双边滤波去噪和自适应尺度变换；
(1-4)提取步骤(1-3)中预处理后图像的尺度不变(SIFT)特征；
(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角；
(1-6)对模板图像做步骤(1-3)预处理中的自适应尺度变换；
(1-1)(1-7)将步骤(1-5)和步骤(1-6)中两幅处理图像变换到HSI色彩空间，针对HSI空间的各分量做主观模型滤波，消除主观上不认为是异常的差异，主观上不认为是异常的差异包括光线变化、雨珠影响和大雾影响；
(1-8)计算当前图像和模板结构相似性(SSIM)，判定差异位置和差异程度。
所述步骤(1-3)待检测预处理过程是为了消除采集图像噪声和后续计算加速。利用基于统计的方法判定光照过强还是不足。所述步骤(1-3)待检测图像预处理中的图像灰度化、自适应亮度校正和自适应尺度变换具体为：
步骤(1-3-1)将采集的待检测图像灰度化，得到灰度图像；
步骤(1-3-2)统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(i,j)代表图像在(i,j)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；k代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(k)代表图像中灰度值为k的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D；图像亮度存在异常，E>0表示过量，E<0表示过暗，根据E的值调整gamma校正的变换参数，得到gamma校正图像；
步骤(1-3-3)计算gamma校正图像的双边滤波去噪图像；
步骤(1-3-4)对双边滤波图像做自适应尺度变换，得到待检测预处理后图像；
自适应尺度变换具体为：确定一个合适的变换因子scale，变换因子scale计算公式如下：
scale＝max(min(1，scale_X)，min(1，scale_Y))
scale_X＝sw/w，scale_Y＝sh/h
其中scale代表变换因子，scale_X代表X方向变换因子，scale_Y代表Y方向变换因子；w代表待检图像宽度，h代表待检图像高度；sw代表参考图像宽度，取1920，sh代表参考图像高度，取1080。
所述步骤(1-4)提取图像尺度不变(SIFT)特征。SIFT特征是图像的局部特征，SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。
SIFT特征计算过程：
计算图像高斯金字塔后再计算高斯差分金字塔；
在尺度空间内寻找高斯差分局部极值点，确定关键点的尺度、位置；
计算特征点邻域梯度主方向，为该点方向特征；
计算该特征点4*4个邻域，每个邻域8个方向的梯度直方图信息，得到128维特征向量表征该特征点。
在拍摄过程中不能保证每次与建立模型时视角一致，故要匹配图像并转换到同一视角，所述步骤(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角，具体为：
(1-5-1)利用模板图像的SIFT特征建立kd树；
(1-5-2)待匹配图像的SIFT特征在kd树上做二叉搜索，在搜索过程中利用最小优先队列建立回溯搜索的索引，最小优先队列键值为对应维度特征值差值的绝对值；
(1-5-3)按照最小优先队列顺序回溯搜索，当达到最小优先队列为空或者达到搜索次数上限时停止搜索；
(1-5-4)当模板图像特征点对应多个带匹配特征点时，仅保留搜索过程中的最优值和次优值；
(1-5-5)搜索完毕后，根据匹配特征点与最优值和次优值的欧氏距离关系筛选出最终匹配结果；参考方法是min_Dis＜max_Dis*0.6；
其中min_Dis是特征点与最优值的欧氏距离，max_Dis是特征点与次优值的欧氏距离；
(1-5-6)根据模板图像和待检测图像匹配点的坐标关系，计算出透视变换矩阵H；
(1-5-7)计算出待检测图像中模板图像区域；
(1-5-8)计算出H的逆变换矩阵H_inv；
(1-5-9)将待检测图像中模板图像区域，通过逆变换矩阵H_inv映射到与模板图像同一视角。
相较于Flann算法，本发明方法具有更好的稳定性；相较于暴力搜索本发明方法速度上具有优势。
所述步骤(1-6)中对模板图像做自适应尺度变换，是为了计算加速。尺度变换因子与步骤(1-3)中一致，为scale。
所述步骤(1-7)中HSI色彩空间反映了人的视觉***感知彩色的方式，以色调分量(H)、饱和度分量(S)和亮度分量(I)三种基本特征量来感知颜色，灰度空间表达的信息不全面，很多颜色的变化在灰度空间上无法体现；传统RGB色彩空间在计算中会出现负值，对于计算来说非常不方便。主观模型滤波是针对一些客观存在，主观上不认为是设备异常的差异包括光线变化、雨珠影响和大雾影响，主观模型滤波包含：消除光线干扰滤波、消除雨珠滤波和消除大雾滤波。其中雨珠滤波和大雾滤波均采用引导滤波方法。
所述步骤(1-7)中针对光线变化滤波，模拟人眼针对光线变化的非线性响应，将图像分解为反射分量和照度分量，照度分量在主观上是被忽略的成分；
f(x，y)＝i(x，y)*(x，y)
其中f(x,y)表示在点(x,y)图像，i(x,y)表示在点(x,y)照度分量，r(x,y)表示在点(x,y)反射分量。两边取对数后转化为线性相加关系：
lnf(x，y)＝lni(x，y)+lnr(x，y)
等式两边同时做傅里叶变换：
F(u，v)＝I(u，v)+R(u，v)
其中F(u，v)是lnf(x，y)的傅里叶变换；I(u，v)是lnf(x，y)的傅里叶变换；R(u，v)是lnr(x，y)的傅里叶变换；
针对频域图像滤波：
H(u，v)F(u，v)＝H(u，v)I(u，v)+H(u，v)R(u，v)
其中H(u，v)为滤波器；
滤波后图像逆变换：
hf＝hi+hr
其中hf为H(u，v)F(u，v)的傅里叶逆变换；hi为H(u，v)I(u，v)的傅里叶逆变换；hr为H(u，v)R(u，v)的傅里叶逆变换；
等式两边同时取指数：
g(x，y)＝exp(hf)＝exp(hi)*exp(hr)
其中g(x，y)为滤波后的图像；
照度变化是低频信号，H(u，v)选择高通滤波器即可削弱照度对整体的影响。
所述步骤(1-8)中当前图像和模板结构相似性(SSIM)，判定差异位置和差异程度，具体为：
(1-8-1)计算模板图像和待匹配图像的色调分量(H)、饱和度分量(S)和亮度分量(I)的结构相似性(SSIM)；
(1-8-2)利用二维大津法分割SSIM地图；
(1-8-3)根据差异部分的面积、周长和曲率排除噪声干扰；
(1-8-4)统计有差异部分的位置和面积大小。
所述步骤(1-8-2)中利用正交分解方法快速计算二维大津法阈值分割，可将复杂度由O(n4)降低到O(n)。
本发明用于对变电站设备外观进行检测，判断该设备是否污染、破损、有异物等异常现象。本发明及时、准确、快速的识别设备外观异常，为电力***故障监测与故障分析提供一种新的手段，提高电力***的信息化水平。
附图说明
图1为本发明的算法流程图。
具体实施方式
下面结合附图与实施例对比发明做进一步说明。
如图1所示。本发明的方法步骤如下：
第一步：采集并标定设备模板图，所述的设备模板图为对设备的正视角图，将设备模板图、辅助定位区域A模板图、辅助定位区域B模板图、设备模板图特征、辅助定位区域A模板图特征和辅助定位区域B模板图特征保存在模板库中；
第二步：采集电力设备当前时刻的图像为待检测图像，对图像做预处理。预处理包含4个步骤：(1)图像灰度化；(2)自适应亮度矫正；(3)双边滤波去噪；(4)自适应尺度变换。
步骤(1-3-1)将采集的待检测图像灰度化，得到灰度图像；
灰度化公式为：Gray＝0.299*R+0.587*G+0.114*B+0.5，其中Gray为灰度值，R、G、B分别为红、绿、蓝三种颜色分量。
步骤(1-3-2)自适应亮度矫正：灰度图像距离参考亮度的灰度平均偏移值，
统计图像加权偏移，其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(i,j)代表图像在(i,j)处灰度值；w代表图像宽度；h代表图像高度；
其中D代表加权偏移；k代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(k)代表图像中灰度值为k的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过量，E<0表示过暗。根据E的值调整gamma校正的变换参数。
步骤(1-3-3)计算gamma校正图像的双边滤波去噪图像；同时考虑了灰度值和空间位置关系，去噪同时不改变边界位置。
步骤(1-3-4)对双边滤波图像做自适应尺度变换，得到待检测预处理后图像：这里的核心是确定一个合适的变换因子，保证后续计算加速且不会影响精度。计算公式如下：
scale＝max(min(1，scale_X)，min(1，scale_Y))
scale_X＝sw/w，scale_Y＝sh/h
其中scale代表变换因子，scale_X代表X方向变换因子，scale_Y代表Y方向变换因子；w代表图像宽度，h代表图像高度；sw代表参考图像宽度，一般取1920，sh代表参考图像高度，一般取1080。
第三步：提取待检测图像尺度不变(SIFT)特征。
计算图像高斯金字塔后再计算高斯差分金字塔；
在尺度空间内寻找高斯差分局部极值点，确定关键点的尺度、位置；
计算特征点邻域梯度主方向，为该点方向特征；
计算该特征点4*4个邻域，每个邻域8个方向的梯度直方图信息，得到128维特征向量表征该特征点。
SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。
第四步：预处理图像中匹配到模板图像即为进行kd树的搜索，过程为：
(1-5-1)利用模板图像的SIFT特征建立kd树；
(1-5-2)待匹配图像的SIFT特征在kd树上做二叉搜索，在搜索过程中利用最小优先队列建立回溯搜索的索引，最小优先队列键值为对应维度特征值差值的绝对值；
(1-5-3)按照最小优先队列顺序回溯搜索，当达到最小优先队列为空或者达到搜索次数上限时停止搜索；
(1-5-4)当模板图像特征点对应多个待匹配特征点时，仅保留搜索过程中的最优值和次优值；
(1-5-5)搜索完毕后，根据匹配特征点与最优值和次优值的欧氏距离关系筛选出最终匹配结果；参考方法是min_Dis＜max_Dis*0.6；
其中min_Dis是特征点与最优值的欧氏距离，max_Dis是特征点与次优值的欧氏距离；
相较于Flann算法，本发明方法具有更好的稳定性；相较于暴力搜索本发明方法速度上具有优势。
第五步：将待检测图像转换到模板图像视角，其过程如下：
(1-5-6)根据模板图像和待检测图像匹配点的坐标关系，计算出透视变换矩阵H；
(1-5-7)计算出待检测图像中模板图像区域；
(1-5-8)计算出H的逆变换矩阵H_inv；
(1-5-9)将待检测图像中模板图像区域，通过逆变换矩阵H_inv映射到与模板图像同一视角。
第六步：对模板图像做步骤(1-3)预处理中的自适应尺度变换，是为了计算加速。尺度变换因子与步骤(1-3)中一致，为scale。
第七步：将模板图像和匹配图像转到HSI色彩空间，转换公式如下：
其中
为HSI色彩空间色调分量的角度值；R、G、B分别为红、绿、蓝三种颜色分量；H为色调分量，S为饱和度分量，I为亮度分量。
所述步骤七中HSI色彩空间反映了人的视觉***感知彩色的方式，以色调分量(H)、饱和度分量(S)和亮度分量(I)三种基本特征量来感知颜色，灰度空间表达的信息不全面，很多颜色的变化在灰度空间上无法体现；传统RGB色彩空间在计算中会出现负值，对于计算来说非常不方便。
第八步：主观模型滤波，主观模型滤波是针对一些客观存在，主观上不认为是设备异常的差异包括光线变化、雨珠影响和大雾影响，主观模型滤波包含：光线滤波、雨珠滤波和大雾滤波。其中雨珠滤波和大雾滤波均采用引导滤波方法；
主要介绍光线滤波，模拟人眼针对光线变化的非线性响应，将图像分解为反射分量和照度分量，照度分量在主观上是被忽略的成分。
f(x，y)＝i(x，y)*r(x，y)
其中f(x,y)表示图像在点(x,y)的数据，i(x,y)表示在点(x,y)照度分量，r(x,y)表示在点(x,y)反射分量。两边取对数后转化为线性相加关系：
ln f(x，y)＝ln i(x，y)+ln r(x，y)
等式两边同时做傅里叶变换：
F(u，v)＝I(u，v)+R(u，v)
其中F(u，v)是lnf(x，y)的傅里叶变换；I(u，v)是lni(x，y)的傅里叶变换；R(u，v)是lnr(x，y)的傅里叶变换；
针对频域图像滤波：
H(u，v)F(u，v)＝H(u，v)I(u，v)+H(u，v)R(u，v)
其中H(u，v)为滤波器；
滤波后图像逆变换：
hf＝hi+hr
其中hf为H(u，v)F(u，v)的傅里叶逆变换；hi为H(u，v)I(u，v)的傅里叶逆变换；hr为H(u，v)R(u，v)的傅里叶逆变换；
等式两边同时取指数：
g(x，y)＝exp(hf)＝exp(hi)*exp(hr)
其中g(x，y)为滤波后的图像；
照度变化是低频信号，H(u，v)选择高通滤波器即可削弱照度对整体的影响。
第九步：计算结构相似性(SSIM)，过程如下：
(1-8-1)计算模板图像和待匹配图像的色调分量(H)、饱和度分量(S)和亮度分量(I)的结构相似性(SSIM)；
SSIM由3个模块构成：亮度、对比度和结构。
SSIM(X，Y)＝L(X，Y)*C(X，Y)*S(X，Y)
其中SSIM(X，Y)是结构相似性函数，L(X,Y)是亮度对比函数，C(X,Y)是对比度对比函数，S(X,Y)是结构对比函数。
取C3＝C2/2，可将公式化简为：
其中：X为模板图像，Y为匹配图像；R，C为均值窗体大小，C1，C2，C3为常数；
(1-8-2)利用二维大津法分割SSIM地图；
所述步骤(1-8-2)中利用正交分解方法快速计算二维大津法阈值分割，可将复杂度由O(n4)降低到O(n)。
第十步：统计差异过程如下：
(1-8-3)根据差异部分的面积、周长和曲率排除噪声干扰；
(1-8-4)统计有差异部分的位置和面积大小。
上述虽然结合附图对本发明的具体实施方式进行了描述，但非对本发明保护范围的先知，所属领域技术人员应该明白，在本发明的技术方案基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围内。
Claims (7)
1.一种适用于电力作业机器人的电力设备外观变化识别方法，包括如下步骤：
(1-1)采集并标定设备模板图，所述的设备模板图为对设备的正视角图，将设备模板图、辅助定位区域A模板图、辅助定位区域B模板图、设备模板图特征、辅助定位区域A模板图特征和辅助定位区域B模板图特征保存在模板库中；
(1-2)采集电力设备当前时刻的图像为待检测图像；
(1-3)对步骤(1-2)中获取的待检测图像做预处理，预处理包括图像灰度化、自适应亮度校正、双边滤波去噪和自适应尺度变换；
(1-4)提取步骤(1-3)中预处理后图像的尺度不变SIFT特征；
(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角；
(1-6)对模板图像做步骤(1-3)预处理中的自适应尺度变换；
(1-7)将步骤(1-5)和步骤(1-6)中两幅处理图像变换到HSI色彩空间，针对HSI空间的各分量做主观模型滤波，消除主观上不认为是异常的差异，主观上不认为是异常的差异包括光线变化、雨珠影响和大雾影响；
(1-8)计算当前图像和模板结构相似性SSIM，判定差异位置和差异程度。
2.根据权利要求1所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-3)待检测图像预处理中的图像灰度化、自适应亮度校正和自适应尺度变换具体为：
步骤(1-3-1)将采集的待检测图像灰度化，得到灰度图像；
步骤(1-3-2)统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，取128；G(i,j)代表图像在(i,j)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；k代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(k)代表图像中灰度值为k的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过量，E<0表示过暗，根据E的值调整gamma校正的变换参数，得到gamma校正图像；
步骤(1-3-3)计算gamma校正图像的双边滤波去噪图像；
步骤(1-3-4)对双边滤波图像做自适应尺度变换，得到待检测预处理后图像；
自适应尺度变换具体为：确定一个合适的变换因子scale，变换因子scale计算公式如下：
scale＝max(min(1，scale_X)，min(1，scale_Y))
scale_X＝sw/w，scale_Y＝sh/h
其中scale代表变换因子；scale_X代表X方向变换因子；scale_Y代表Y方向变换因子；w代表待检图像宽度，h代表待检图像高度；sw代表参考图像宽度，取1920，sh代表参考图像高度，取1080。
3.根据权利要求1所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角，具体为：
(1-5-1)利用模板图像的SIFT特征建立kd树；
(1-5-2)待匹配图像的SIFT特征在kd树上做二叉搜索，在搜索过程中利用最小优先队列建立回溯搜索的索引，最小优先队列键值为对应维度特征值差值的绝对值；
(1-5-3)按照最小优先队列顺序回溯搜索，当达到最小优先队列为空或者达到搜索次数上限时停止搜索；
(1-5-4)当模板图像特征点对应多个待匹配特征点时，仅保留搜索过程中的最优值和次优值；
(1-5-5)搜索完毕后，根据匹配特征点与最优值和次优值的欧氏距离关系筛选出最终匹配结果；参考方法是min_Dis＜max_Dis*0.6；
其中min_Dis是特征点与最优值的欧氏距离，max_Dis是特征点与次优值的欧氏距离；
(1-5-6)根据模板图像和待检测图像匹配点的坐标关系，计算出透视变换矩阵H；
(1-5-7)计算出待检测图像中模板图像区域；
(1-5-8)计算出H的逆变换矩阵H_inv；
(1-5-9)将待检测图像中模板图像区域，通过逆变换矩阵H_inv映射到与模板图像同一视角。
4.根据权利要求2所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-6)对模板图像做自适应尺度变换，尺度变换因子与步骤(1-3)中一致，为scale。
5.根据权利要求1所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-7)HSI色彩空间反映人的视觉***感知彩色的方式，以色调分量H、 饱和度分量S和亮度分量I三种基本特征量来感知颜色，主观模型滤波是针对一些客观存在，主观上不认为是设备异常的差异包括光线变化、雨珠影响和大雾影响，主观模型滤波包含：光线滤波、雨珠滤波和大雾滤波。
6.根据权利要求5所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-7)中光线滤波具体为：
模拟人眼针对光线变化的非线性响应，将图像分解为反射分量和照度分量，照度分量在主观上是被忽略的成分；
f(x，y)＝i(x，y)*r(x，y)
其中f(x,y)表示在点(x,y)图像，i(x,y)表示在点(x,y)照度分量，r(x,y)表示在点(x,y)反射分量，两边取对数后转化为线性相加关系：
lnf(x，y)＝lni(x，y)+lnr(x，y)
等式两边同时做傅里叶变换：
F(u，v)＝I(u，v)+R(u，v)
其中F(u，v)是lnf(x，y)的傅里叶变换；I(u，v)是lni(x，y)的傅里叶变换；R(u，v)是lnr(x，y)的傅里叶变换；
针对频域图像滤波：
H(u，v)F(u，v)＝H(u，v)I(u，v)+H(u，v)R(u，v)
其中H(u，v)为滤波器；
滤波后图像逆变换：
hf＝hi+hr
其中hf为H(u，v)F(u，v)的傅里叶逆变换；hi为H(u，v)I(u，v)的傅里叶逆变换；hr为H(u，v)R(u，v)的傅里叶逆变换；
等式两边同时取指数：
g(x，y)＝exp(hf)＝exp(hi)*exp(hr)
其中g(x，y)为滤波后的图像；
照度变化是低频信号，H(u，v)选择高通滤波器即可削弱照度对整体的影响。
7.根据权利要求5所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-8)中当前图像和模板结构相似性SSIM，判定差异位置和差异程度，具体为：
(1-8-1)计算模板图像和待匹配图像的色调分量H、饱和度分量S和亮度分量I的结构相似性SSIM；
(1-8-2)利用二维大津法分割SSIM地图；
(1-8-3)根据差异部分的面积、周长和曲率排除噪声干扰；
(1-8-4)统计有差异部分的位置和面积大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711166123.2A CN108154496B (zh) | 2017-11-21 | 2017-11-21 | 一种适用于电力作业机器人的电力设备外观变化识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711166123.2A CN108154496B (zh) | 2017-11-21 | 2017-11-21 | 一种适用于电力作业机器人的电力设备外观变化识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154496A CN108154496A (zh) | 2018-06-12 |
| CN108154496B true CN108154496B (zh) | 2021-09-10 |
Family
ID=62468046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711166123.2A Active CN108154496B (zh) | 2017-11-21 | 2017-11-21 | 一种适用于电力作业机器人的电力设备外观变化识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154496B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583486A (zh) * | 2018-11-21 | 2019-04-05 | 银河水滴科技（北京）有限公司 | 一种检测待测环境异常区域的方法及装置 |
| CN109685075A (zh) * | 2018-11-27 | 2019-04-26 | 山东鲁能软件技术有限公司 | 一种基于图像的电力设备识别方法、装置及*** |
| CN110197185B (zh) * | 2019-05-23 | 2021-07-16 | 北京云星宇交通科技股份有限公司 | 一种基于尺度不变特征变换算法监测桥下空间的方法和*** |
| CN113052260A (zh) * | 2021-04-21 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 基于图像配准和目标检测的变电站异物识别方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957325A (zh) * | 2010-10-14 | 2011-01-26 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人变电站设备外观异常识别方法 |
| CN102314615A (zh) * | 2011-07-30 | 2012-01-11 | 山东电力研究院 | 基于变电站巡检机器人的断路器状态模板匹配识别方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8923656B1 (en) * | 2014-05-09 | 2014-12-30 | Silhouette America, Inc. | Correction of acquired images for cutting pattern creation |
-
2017
- 2017-11-21 CN CN201711166123.2A patent/CN108154496B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957325A (zh) * | 2010-10-14 | 2011-01-26 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人变电站设备外观异常识别方法 |
| CN102314615A (zh) * | 2011-07-30 | 2012-01-11 | 山东电力研究院 | 基于变电站巡检机器人的断路器状态模板匹配识别方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Region-based moving object detection Using SSIM;Guofeng Chen 等;《2015 4th International Conference on Computer Science and Network Technology (ICCSNT)》;20151220;第1361-1364页 * |
| 双向快速SIFT匹配在电力设备识别中的应用研究;侯一民 等;《制造业自动化》;20140116;第36卷(第1期);第62-65页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154496A (zh) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN108154496B (zh) | 一种适用于电力作业机器人的电力设备外观变化识别方法 | |
| CN109409355B (zh) | 一种新型变压器铭牌识别的方法及装置 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN111325769B (zh) | 一种目标对象检测方法及装置 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查***及方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| JP2009086926A (ja) | 画像認識方法および装置 | |
| CN108133460B (zh) | 一种适用于电力作业机器人的颜色型状态指示器识别方法 | |
| CN111695373B (zh) | 斑马线的定位方法、***、介质及设备 | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN107944393B (zh) | 人脸鼻尖定位方法 | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| Jia et al. | Design of Traffic Sign Detection and Recognition Algorithm Based on Template Matching | |
| CN116843581A (zh) | 一种多场景图的图像增强方法、***、设备和存储介质 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| US10115195B2 (en) | Method and apparatus for processing block to be processed of urine sediment image | |
| CN107977663B (zh) | 一种适用于电力作业机器人的指向型状态指示器识别方法 | |
| CN114842335B (zh) | 用于建筑机器人的开槽目标识别方法及*** | |
| CN116563306A (zh) | 自适应火灾痕迹光谱图像分割方法及*** | |
| CN116188763A (zh) | 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |