CN111523423B - 一种电力设备识别方法及装置 - Google Patents

一种电力设备识别方法及装置 Download PDF

Info

Publication number
CN111523423B
CN111523423B CN202010295326.7A CN202010295326A CN111523423B CN 111523423 B CN111523423 B CN 111523423B CN 202010295326 A CN202010295326 A CN 202010295326A CN 111523423 B CN111523423 B CN 111523423B
Authority
CN
China
Prior art keywords
region
size
similarity
light image
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010295326.7A
Other languages
English (en)
Other versions
CN111523423A (zh
Inventor
苟先太
黄勤琴
曾德华
周维超
钱照国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Scom Intelligent Technology Co ltd
Southwest Jiaotong University
Original Assignee
Sichuan Scom Intelligent Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Scom Intelligent Technology Co ltd, Southwest Jiaotong University filed Critical Sichuan Scom Intelligent Technology Co ltd
Priority to CN202010295326.7A priority Critical patent/CN111523423B/zh
Publication of CN111523423A publication Critical patent/CN111523423A/zh
Application granted granted Critical
Publication of CN111523423B publication Critical patent/CN111523423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电力设备识别方法及装置，该方法包括：获取电力设备的红外光图像和关联的可见光图像；从红外光图像中获取电力设备的目标框；在可见光图像的相应位置绘制目标框；从绘制目标框的可见光图像中识别目标框对应的电力设备。本技术方案将红外光图像和可见光图像结合，共同完成设备识别，可减小设备识别误差，从而准确判断电力设备是否存在缺陷。

Description

一种电力设备识别方法及装置
技术领域
本发明涉及电力设备识别领域，具体涉及一种电力设备识别方法及装置。
背景技术
随着智能电网的发展，电力设备的安全问题引起了广泛关注。针对电力设备的过热问题而引起的事故也比较突出，为了保证电力设备在使用时的安全，通常会根据测得的设备表面温度值，对照GB/T11022-1999《高压开关设备和控制设备标准的共用技术要求》中对高压开关设备和控制设备各种部件、材料和绝缘介质的温度和温升极限的有关规定，判断出是否有缺陷。为了应对这一情况，通常根据巡检机器人获取到待检测电力设备的图像数据，因为巡检机器人有两个摄像头，能同时获取到设备的红外图像数据和可见光图像数据。为了检测电力设备的发热情况，使用对待检测电力设备的红外图像数据进行处理，获得检测设备表面的温度值。为了识别电力设备，使用对待检测电力设备的红外光图像进行识别，获得图像中的电力设备；但是使用红外光图像对物体进行检测时，由于红外光图像识别难以区分如电压互感器、电流互感器和断路器等具体发热的设备，设备识别误差大。由于无法准确识别出设备，难以根据GB/T11022-1999《高压开关设备和控制设备标准的共用技术要求》对目标电力设备是否存在缺陷进行准确的判断。
发明内容
针对以上内容的上述不足，本发明提供了一种电力设备识别方法及装置，其可以减小设备识别误差。
为了达到上述发明目的，本发明采用的技术方案为：一种电力设备识别方法，包括以下步骤：
获取电力设备的红外光图像和关联的可见光图像；
从红外光图像中获取电力设备的目标框；
在可见光图像的相应位置绘制目标框；
从绘制目标框的可见光图像中识别目标框对应的电力设备
作为一种可选的实施方式，在本发明实施例第一方面中，从红外光图像中获取电力设备的目标框，包括：
将红外光图像输入红外识别模型的区域预处理层，获得红外光图像的候选区域；
将红外光图像输入红外识别模型的卷积层，提取红外光图像的特征区域；
将候选区域映射到特征区域上；
将映射后的特征区域输入红外识别模型的池化层，获得特征区域的目标特征图；
将目标特征图通过红外识别模型的全连接层传送到回归分类层，获得电力设备的目标框。
作为一种可选的实施方式，在本发明实施例第一方面中，区域预处理层对输入的红外光图像采用区域合并算法进行处理，区域合并算法的步骤包括：
生成包含两个以上区域的区域集；
计算区域集中的每两个相邻区域的相似度；
根据相似度确定相似度最高的两个区域，把区域集中的这两个区域合并为一个区域；
当区域集中的区域大于一个时，继续计算区域集中的每两个相邻区域的相似度的步骤。
作为一种可选的实施方式，在本发明实施例第一方面中，计算区域集中的每两个相邻区域的相似度，包括：
计算颜色相似度，计算公式为：
其中，scolor(ri，rj)为相邻两个区域的颜色相似度，rx，rj为区域集R中的两个相邻的区域，为每个区域中的颜色直方图，min()为最小值函数；
计算纹理相似度，计算公式为：
其中，stexture(ri，rj)为相邻两个区域的纹理相似度，为每个区域中的纹理直方图；
计算尺寸相似度，计算公式为：
其中，ssize(ri，rj)为相邻两个区域的尺寸相似度，size(ri)为ri区域的尺寸，size(rj)为rj区域的尺寸，size(im)为图像的尺寸；
计算交叠相似度，计算公式为：
其中，sfill(ri，rj)为相邻两个区域的交叠相似度，size(BBij)为合并后区域的尺寸；
计算最终相似度，计算公式为：
s(ri，rj)＝a1scolor(ri，rj)+a2stexture(ri，rj)+a3ssize(ri，rj)
+a4sfill(ri，rj)
a1+a2+a3+a4＝1
其中，s(ri，rj)为相邻两个区域的最终相似度，a1，a2，a3，a4表示对应相似度的预定取值概率。
作为一种可选的实施方式，在本发明实施例第一方面中，红外识别模型的卷积层的个数为14个，池化层的个数为5个。
卷积层的参数包括：卷积核的大小＝3，卷积核步长＝2，扩充边缘＝0：
池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
回归分类层对目标特征图采用探测分类概率算法和探测边框回归算法进行处理；
探测分类概率算法的步骤包括：
A1、计算每个样本的输出概率，计算公式为：
其中，sj表示样本属于第j类的概率，aj表示输入向量中的第j个值，ak表示输入向量中的第k个值,T表示类别数；
A2、计算输出结果损失，计算公式为：
L＝-log sj
其中，L表示输出结果损失；
探测边框回归算法的步骤包括：
B1、计算损失函数曲线，计算公式为：
上式中，为损失函数曲线；
B2、计算图片对应的损失函数，计算公式为：
其中，为图片对应的损失函数，ti为预测的目标框的位置，/>是与修正锚点对应的目标框的位置。
作为一种可选的实施方式，在本发明实施例第一方面中，在可见光图像的相应位置绘制目标框，包括：
使用python中cv2库中的cv2.putText函数，在可见光图像的相应位置绘制目标框。
作为一种可选的实施方式，在本发明实施例第一方面中，从绘制目标框的可见光图像中识别目标框对应的电力设备，包括：
将绘制目标框的可见光图像输入可见光模型中进行训练，得到目标框对应的电力设备；所述目标框对应的电力设备为电压互感器、电流互感器或断路器。
作为一种可选的实施方式，在本发明实施例第一方面中，可见光模型包括卷积层、池化层和全连接层；卷积层的个数为11个，池化层的个数为4个；
卷积层的参数包括：卷积核的大小＝3，卷积核步长＝1，扩充边缘＝1；
池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
全连接层的输入输出关系如下：
其中，ai为全连接层输出，xj为全连接层的输入，Wij为当前输入所占的权重，bi为偏置参数。
本发明还提供一种电力设备识别装置，包括：
图像获取单元，用于获取电力设备的红外光图像和关联的可见光图像；
目标框获取单元，用于从红外光图像中获取电力设备的目标框；
绘制单元，用于在可见光图像的相应位置绘制目标框；
识别单元，用于从绘制目标框的可见光图像中识别目标框对应的电力设备。
本发明还提供一种计算机设备，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行根据权利要求1至8任一项的电力设备识别方法。
与现有技术相比，本发明具有以下有益效果：
本技术方案中，从红外光图像中获取电力设备的目标框，在红外光图像关联的可见光图像的相应位置绘制所述目标框，从所述绘制目标框的可见光图像中识别目标框对应的电力设备；本技术方案将红外光图像和可见光图像结合，共同完成设备识别，可减小设备识别误差。在本技术方案准确识别出设备的基础上，可以准确判断电力设备是否存在缺陷，也可以准确判断电力设备是否工作正常、是否产生告警，还可以有效进行设备统计等。
附图说明
图1为本发明一种电力设备识别方法的流程图。
图2为本发明一种电力设备识别装置的示意图。
图3为本发明计算机设备的示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
为了更好的理解本发明公开的一种电力设备识别方法，具体可参见图1，图1是本发明实施例公开的一种电力设备识别的流程示意图，本发明一种电力设备识别方法具体包括如下步骤：
101、获取电力设备的红外光图像和关联的可见光图像。
具体在本实施例中，利用包括红外光图像摄像头和可见光图像摄像头的巡检机器人，可同时采集电力设备的红外光图像和可见光图像，获得待检测电力设备的红外光图像和可见光图像；获取到的红外光图像和可见光图像存在一一对应的关联关系。
102、从红外光图像中获取电力设备的目标框。
作为一个实施例，步骤102包括：
1021、将红外光图像输入红外识别模型的区域预处理层，获得红外光图像的候选区域。
作为一个实施方式，区域预处理层对输入的红外光图像采用区域合并算法进行处理，区域合并算法的步骤包括：
1、生成包含两个以上区域的区域集；
2、计算区域集中的每两个相邻区域的相似度；
3、根据相似度确定相似度最高的两个区域，把区域集中的这两个区域合并为一个区域；
4、当区域集中的区域大于一个时，继续计算区域集中的每两个相邻区域的相似度的步骤。
上述步骤2中，计算区域集中的每两个相邻区域的相似度，包括：
计算颜色相似度，计算公式为：
其中，scolor(ri，rj)为相邻两个区域的颜色相似度，ri，rj为区域集R中的两个相邻的区域，为每个区域中的颜色直方图，min()为最小值函数；
计算纹理相似度，计算公式为：
其中，stexture(ri，rj)为相邻两个区域的纹理相似度，为每个区域中的纹理直方图；
计算尺寸相似度，计算公式为：
其中，ssize(ri，rj)为相邻两个区域的尺寸相似度，size(ri)为ri区域的尺寸，size(rj)为rj区域的尺寸，size(im)为图像的尺寸；
计算交叠相似度，计算公式为：
其中，sfill(ri，rj)为相邻两个区域的交叠相似度，size(BBij)为合并后区域的尺寸；
计算最终相似度，计算公式为：
s(ri，rj)＝a1scolor(ri，rj)+a2stexture(ri，rj)+a3ssize(ri，rj)
+a4sfill(ri，rj)
a1+a2+a3+a4＝1
其中，s(ri，rj)为相邻两个区域的最终相似度，a1，a2，a3，a4表示对应相似度的预定取值概率。
采用上述区域合并算法，可以准确合并区域，进而准确识别设备。
1022、将红外光图像输入红外识别模型的卷积层，提取红外光图像的特征区域。该红外识别模型的卷积层和区域预处理层并行执行，输入为获取的红外图像数据。该卷积层可以提取红外图像的特征区域。
1023、将候选区域映射到特征区域上。
1024、将映射后的特征区域输入红外识别模型的池化层，获得特征区域的目标特征图。
在本实施例中，通过卷积层生成的特征区域会缩小为原始红外图像的n倍，而n为红外识别模型的卷积层中最大池化层的个数。红外识别模型使用池化层获取目标特征图，该池化层的输入为映射后的候选区域所框选的特征区域。所谓映射即把原图像的坐标系映射到通过卷积网络提取到的特征区域上。原因是原始红外图像经过红外识别模型的卷积层后会缩小，为了将候选区域和特征区域联合使用，需将候选区域对应的四元组坐标做出相应的映射，比如生成的特征区域缩小为原始红外图像的n倍，候选区域对应的四元组坐标应该除以n。
通过红外识别模型的池化层后，会生成一组固定大小的目标特征图，原因是池化层会利用划分网络将映射后的特征区域划分为相同大小的部分，例如划分网络大小为m*m，经过最大池化处理后就会获得m*m的目标特征图。
作为一个实施例，红外识别模型的卷积层的个数为14个，池化层的个数为5个。卷积层的参数包括：卷积核的大小＝3，卷积核步长＝2，扩充边缘＝0；池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0。
1025、将目标特征图通过红外识别模型的全连接层传送到回归分类层，获得电力设备的目标框。
回归分类层对目标特征图采用探测分类概率算法和探测边框回归算法进行处理；
探测分类概率算法的步骤包括：
A1、计算每个样本的输出概率，计算公式为：
其中，sj表示样本属于第j类的概率，aj表示输入向量中的第j个值，ak表示输入向量中的第k个值,T表示类别数；
A2、计算输出结果损失，计算公式为：
L＝-log sj
其中，L表示输出结果损失；
探测边框回归算法的步骤包括：
B1、计算损失函数曲线，计算公式为：
上式中，为损失函数曲线；
B2、计算图片对应的损失函数，计算公式为：
其中，为图片对应的损失函数，ti为预测的目标框的位置，/>是与修正锚点对应的目标框的位置。
采用上述探测分类概率算法和探测边框回归算法，可以准确计算数据，进而准确识别设备。
103、在可见光图像的相应位置绘制目标框。
在本实施例中，具体的是使用python中cv2库中的cv2.putText函数，在可见光图像的相应位置绘制目标框。cv2.putText函数通过获取到的红外图像的坐标，对与红外图像相对应的可见光图像绘制上方框。
由于可见光图像中保留着完整的色彩和纹理信息，若能将可见光图像中某一设备精确框选，则可以轻松地识别出框选的设备。但是可见光图像中存在较多干扰信息，比如设备交叠，这样就难以获得精确的目标框。考虑到设备的红外光图像和可见光图像是一一对应的关系，利用函数对与红外图像相对应的可见光图像进行框选绘制。
104、从绘制目标框的可见光图像中识别目标框对应的电力设备。
在本实施例中，具体的是将绘制目标框的可见光图像输入可见光模型中进行训练，得到目标框对应的电力设备；所述目标框对应的电力设备为电压互感器、电流互感器或断路器。
可见光模型除全连接层外，还包括卷积层、池化层；卷积层的个数为11个，池化层的个数为4个；卷积层的参数包括：卷积核的大小＝3，卷积核步长＝1，扩充边缘＝1；池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0。
全连接层的输入输出关系如下：
其中，ai为全连接层输出，xj为全连接层的输入，Wij为当前输入所占的权重，bi为偏置参数。
本技术方案将红外光图像和可见光图像结合，共同完成设备识别，可减小设备识别误差。在本技术方案准确识别出设备的基础上，可以准确判断电力设备是否存在缺陷，也可以准确判断电力设备是否工作正常、是否产生告警，还可以有效进行设备统计等；比如，可结合设备表面温度，对电力设备是否存在缺陷进行检测。
本技术方案是基于特征提取、回归分类技术并且结合红外和可见光识别优点的新型智能识别方法。该方法通过获取到待检测的电力设备的红外光图像和可见光图像，利用红外识别模型对红外光图像数据采集信息准确，可见光模型对可见光图像数据识别准确的特点，将两者优点进行结合，从而减小设备识别误差；进而在红外图像中识别电力设备是否异常，保障了电力设备的安全运行，提高了设备状态检测的自动化程度，同时节约了时间和人力成本，促进了智能电网的发展。
实施例2
本发明实施例还公开电力设备识别装置。图2为本发明一种电力设备识别装置的示意图。本发明的电力设备识别方法实施例与电力设备识别装置实施例属于同一构思，在电力设备识别装置实施例中未详尽描述的细节内容，可以参考上述方法实施例。
该电力设备识别装置可以包括：
图像获取单元21，用于获取电力设备的红外光图像和关联的可见光图像；
目标框获取单元22，用于从红外光图像中获取电力设备的目标框；
绘制单元23，用于在可见光图像的相应位置绘制目标框；
识别单元24，用于从绘制目标框的可见光图像中识别目标框对应的电力设备。
其中，从红外光图像中获取电力设备的目标框，包括：
将红外光图像输入红外识别模型的区域预处理层，获得红外光图像的候选区域；
将红外光图像输入红外识别模型的卷积层，提取红外光图像的特征区域；
将候选区域映射到特征区域上；
将映射后的特征区域输入红外识别模型的池化层，获得特征区域的目标特征图；
将目标特征图通过红外识别模型的全连接层传送到回归分类层，获得电力设备的目标框。
其中，区域预处理层对输入的红外光图像采用区域合并算法进行处理，区域合并算法的步骤包括：
生成包含两个以上区域的区域集；
计算区域集中的每两个相邻区域的相似度；
根据相似度确定相似度最高的两个区域，把区域集中的这两个区域合并为一个区域；
当区域集中的区域大于一个时，继续计算区域集中的每两个相邻区域的相似度的步骤。
其中，计算区域集中的每两个相邻区域的相似度，包括：
计算颜色相似度，计算公式为：
其中，scolor(ri，rj)为相邻两个区域的颜色相似度，ri，rj为区域集R中的两个相邻的区域，为每个区域中的颜色直方图，min()为最小值函数；
计算纹理相似度，计算公式为：
其中，stexture(ri，rj)为相邻两个区域的纹理相似度，为每个区域中的纹理直方图；
计算尺寸相似度，计算公式为：
其中，ssize(ri，rj)为相邻两个区域的尺寸相似度，size(ri)为ri区域的尺寸，size(rj)为rj区域的尺寸，size(im)为图像的尺寸；
计算交叠相似度，计算公式为：
其中，sfill(ri，rj)为相邻两个区域的交叠相似度，size(BBij)为合并后区域的尺寸；
计算最终相似度，计算公式为：
s(ri，rj)＝a1scolor(ri，rj)+a2stexture(ri，rj)+a3ssize(ri，rj)
+a4sfill(ri，rj)
a1+a2+a3+a4＝1
其中，s(ri，rj)为相邻两个区域的最终相似度，a1，a2，a3，a4表示对应相似度的预定取值概率。
其中，红外识别模型的卷积层的个数为14个，池化层的个数为5个。
卷积层的参数包括：卷积核的大小＝3，卷积核步长＝2，扩充边缘＝0；
池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
回归分类层对目标特征图采用探测分类概率算法和探测边框回归算法进行处理；
探测分类概率算法的步骤包括：
A1、计算每个样本的输出概率，计算公式为：
其中，sj表示样本属于第j类的概率，aj表示输入向量中的第j个值，ak表示输入向量中的第k个值,T表示类别数；
A2、计算输出结果损失，计算公式为：
L＝-log sx
其中，L表示输出结果损失；
探测边框回归算法的步骤包括：
B1、计算损失函数曲线，计算公式为：
上式中，为损失函数曲线；
B2、计算图片对应的损失函数，计算公式为：
其中，为图片对应的损失函数，ti为预测的目标框的位置，/>是与修正锚点对应的目标框的位置。
其中，在可见光图像的相应位置绘制目标框，包括：
使用python中cv2库中的cv2.putText函数，在可见光图像的相应位置绘制目标框。
其中，从绘制目标框的可见光图像中识别目标框对应的电力设备，包括：
将绘制目标框的可见光图像输入可见光模型中进行训练，得到目标框对应的电力设备。
其中，可见光模型包括卷积层、池化层和全连接层；卷积层的个数为11个，池化层的个数为4个；
卷积层的参数包括：卷积核的大小＝3，卷积核步长＝1，扩充边缘＝1；
池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
全连接层的输入输出关系如下：
其中，ai为全连接层输出，xj为全连接层的输入，Wij为当前输入所占的权重，bi为偏置参数。
本技术方案将红外光图像和可见光图像结合，共同完成设备识别，可减小设备识别误差；从而准确判断电力设备是否存在缺陷。
本技术方案将红外光图像和可见光图像结合，共同完成设备识别，可减小设备识别误差。
实施例3
图3为本发明实施例计算机设备的示意图。计算机设备可以为服务器，笔记本电脑，台式电脑，平板电脑，移动终端等设备。本发明提供的计算机设备，包括处理器31、存储器32、输入单元33、显示单元34等部件。本领域技术人员可以理解，图3中示出的计算机设备结构并不构成对所有计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器32可用于存储应用程序35以及各功能模块，处理器31通过运行存储在存储器32的应用程序35，从而执行计算机设备的各种功能应用以及数据处理。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。输入单元33可用于接收图像等数据，以及与计算机设备的用户设置以及功能控制有关的信号输入。具体地，输入单元33可包括触控面板以及其它输入设备。显示单元34可用于显示各种数据，比如显示识别的结果。显示单元34可采用液晶显示器、有机发光二极管等形式。处理器31是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器32内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，本发明实施例的计算机设备，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行实施例1的电力设备识别方法。
本技术方案将红外光图像和可见光图像结合，共同完成设备识别，可减小设备识别误差。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括存储器、磁盘或光盘等。
最后应说明的是：本发明实施例公开的内容所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离奔放各项实施例技术方案的精神和范围。

Claims (6)

1.一种电力设备识别方法，其特征在于，包括：
获取电力设备的红外光图像和关联的可见光图像；
从所述红外光图像中获取电力设备的目标框；
其中，所述从所述红外光图像中获取电力设备的目标框，包括：
将所述红外光图像输入红外识别模型的区域预处理层，获得所述红外光图像的候选区域；
所述区域预处理层对输入的红外光图像采用区域合并算法进行处理，所述区域合并算法的步骤包括：
生成包含两个以上区域的区域集；
计算区域集中的每两个相邻区域的相似度；
所述计算区域集中的每两个相邻区域的相似度，包括：
计算颜色相似度，计算公式为：
其中，scolor(ri,rj)为相邻两个区域的颜色相似度，ri,rj为区域集R中的两个相邻的区域，为每个区域中的颜色直方图，min()为最小值函数；
计算纹理相似度，计算公式为：
其中，stexture(ri,rj)为相邻两个区域的纹理相似度，为每个区域中的纹理直方图；
计算尺寸相似度，计算公式为：
其中，ssize(ri),rj)为相邻两个区域的尺寸相似度，size(ri)为ri区域的尺寸，size(rj)为rj区域的尺寸,size(im)为图像的尺寸；
计算交叠相似度，计算公式为：
其中，sfill(ri,rj)为相邻两个区域的交叠相似度，size(BBij)为合并后区域的尺寸；
计算最终相似度，计算公式为：
s(ri,rj)＝a1scolor(ri,rj)+a2stexture(ri,rj)+a3ssize(ri,rj)+a4sfill(ri,rj)
a1+a2+a3+a4＝1
其中，s(ri,rj)为相邻两个区域的最终相似度，a1，a2，a3，a4表示对应相似度的预定取值概率；
根据所述相似度确定相似度最高的两个区域，把区域集中的这两个区域合并为一个区域；
当区域集中的区域大于一个时，继续所述计算区域集中的每两个相邻区域的相似度的步骤；
将所述红外光图像输入红外识别模型的卷积层，提取所述红外光图像的特征区域；
将所述候选区域映射到所述特征区域上；
将所述映射后的特征区域输入红外识别模型的池化层，获得所述特征区域的目标特征图；
将所述目标特征图通过红外识别模型的全连接层传送到回归分类层，获得电力设备的目标框；
所述红外识别模型的卷积层的个数为14个，所述池化层的个数为5个；
所述卷积层的参数包括：卷积核的大小＝3，卷积核步长＝2，扩充边缘＝0；
所述池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
所述回归分类层对所述目标特征图采用探测分类概率算法和探测边框回归算法进行处理；
所述探测分类概率算法的步骤包括：
A1、计算每个样本的输出概率，计算公式为：
其中，sj表示样本属于第j类的概率，aj表示输入向量中的第j个值，ak表示输入向量中的第k个值,T表示类别数；
A2、计算输出结果损失，计算公式为：
L＝-logsj
其中，L表示输出结果损失；
所述探测边框回归算法的步骤包括：
B1、计算损失函数曲线，计算公式为：
上式中，为损失函数曲线；
B2、计算图片对应的损失函数，计算公式为：
其中，为图片对应的损失函数，ti为预测的目标框的位置，/>是与修正锚点对应的目标框的位置；
在所述可见光图像的相应位置绘制所述目标框；
从绘制目标框的可见光图像中识别目标框对应的电力设备。
2.如权利要求1所述的电力设备识别方法，其特征在于，所述在所述可见光图像的相应位置绘制所述目标框，包括：
使用python中cv2库中的cv2.putText函数，在所述可见光图像的相应位置绘制所述目标框。
3.如权利要求1所述的电力设备识别方法，其特征在于，所述从绘制目标框的可见光图像中识别目标框对应的电力设备，包括：
将绘制目标框的可见光图像输入可见光模型中进行训练，得到目标框对应的电力设备；
所述目标框对应的电力设备为电压互感器、电流互感器或断路器。
4.如权利要求3所述的电力设备识别方法，其特征在于，所述可见光模型包括卷积层、池化层和全连接层；所述卷积层的个数为11个，所述池化层的个数为4个；
所述卷积层的参数包括：卷积核的大小＝3，卷积核步长＝1，扩充边缘＝1；
所述池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
所述全连接层的输入输出关系如下：
其中，ai为全连接层输出，xj为全连接层的输入，Wij为当前输入所占的权重，bi为偏置参数。
5.一种电力设备识别装置，其特征在于，包括：
图像获取单元，用于获取电力设备的红外光图像和关联的可见光图像；
目标框获取单元，用于从所述红外光图像中获取电力设备的目标框；
其中，所述从所述红外光图像中获取电力设备的目标框，包括：
将所述红外光图像输入红外识别模型的区域预处理层，获得所述红外光图像的候选区域；
所述区域预处理层对输入的红外光图像采用区域合并算法进行处理，所述区域合并算法的步骤包括：
生成包含两个以上区域的区域集；
计算区域集中的每两个相邻区域的相似度；
所述计算区域集中的每两个相邻区域的相似度，包括：
计算颜色相似度，计算公式为：
其中，scolor(ri,rj)为相邻两个区域的颜色相似度，ri,rj为区域集R中的两个相邻的区域，为每个区域中的颜色直方图，min()为最小值函数；
计算纹理相似度，计算公式为：
其中，stexture(ri,rj)为相邻两个区域的纹理相似度，为每个区域中的纹理直方图；
计算尺寸相似度，计算公式为：
其中，ssize(ri,rj)为相邻两个区域的尺寸相似度，size(ri)为ri区域的尺寸，size(rj)为rj区域的尺寸,size(im)为图像的尺寸；
计算交叠相似度，计算公式为：
其中，sfill(ri,rj)为相邻两个区域的交叠相似度，size(BBij)为合并后区域的尺寸；
计算最终相似度，计算公式为：
s(ri,rj)＝a1scolor(ri,rj)+a2stexture(ri,rj)+a3ssize(ri,rj)+a4sfill(ri,rj)
a1+a2+a3+a4＝1
其中，s(ri,rj)为相邻两个区域的最终相似度，a1，a2，a3，a4表示对应相似度的预定取值概率；
根据所述相似度确定相似度最高的两个区域，把区域集中的这两个区域合并为一个区域；
当区域集中的区域大于一个时，继续所述计算区域集中的每两个相邻区域的相似度的步骤；
将所述红外光图像输入红外识别模型的卷积层，提取所述红外光图像的特征区域；
将所述候选区域映射到所述特征区域上；
将所述映射后的特征区域输入红外识别模型的池化层，获得所述特征区域的目标特征图；
将所述目标特征图通过红外识别模型的全连接层传送到回归分类层，获得电力设备的目标框；
所述红外识别模型的卷积层的个数为14个，所述池化层的个数为5个；
所述卷积层的参数包括：卷积核的大小＝3，卷积核步长＝2，扩充边缘＝0；
所述池化层的参数包括：池化核的大小＝2，池化步长＝2，扩充边缘＝0；
所述回归分类层对所述目标特征图采用探测分类概率算法和探测边框回归算法进行处理；
所述探测分类概率算法的步骤包括：
A1、计算每个样本的输出概率，计算公式为：
其中，sj表示样本属于第j类的概率，aj表示输入向量中的第j个值，ak表示输入向量中的第k个值,T表示类别数；
A2、计算输出结果损失，计算公式为：
L＝-logsj
其中，L表示输出结果损失；
所述探测边框回归算法的步骤包括：
B1、计算损失函数曲线，计算公式为：
上式中，为损失函数曲线；
B2、计算图片对应的损失函数，计算公式为：
其中，为图片对应的损失函数，ti为预测的目标框的位置，/>是与修正锚点对应的目标框的位置；
绘制单元，用于在所述可见光图像的相应位置绘制所述目标框；
识别单元，用于从绘制目标框的可见光图像中识别目标框对应的电力设备。
6.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据权利要求1至4任一项所述的电力设备识别方法。
CN202010295326.7A 2020-04-15 2020-04-15 一种电力设备识别方法及装置 Active CN111523423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010295326.7A CN111523423B (zh) 2020-04-15 2020-04-15 一种电力设备识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010295326.7A CN111523423B (zh) 2020-04-15 2020-04-15 一种电力设备识别方法及装置

Publications (2)

Publication Number Publication Date
CN111523423A CN111523423A (zh) 2020-08-11
CN111523423B true CN111523423B (zh) 2023-08-08

Family

ID=71904392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010295326.7A Active CN111523423B (zh) 2020-04-15 2020-04-15 一种电力设备识别方法及装置

Country Status (1)

Country Link
CN (1) CN111523423B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215114A (zh) * 2020-09-30 2021-01-12 中航(成都)无人机***股份有限公司 一种目标识别方法、装置、设备及计算机可读存储介质
CN113032597A (zh) * 2021-03-31 2021-06-25 广东电网有限责任公司 一种基于图像处理的输电设备分类方法及***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605365A (zh) * 2013-11-07 2014-02-26 成都赛康信息技术有限责任公司 变电站设备污秽巡检、判定及清洗的全自动作业方法
WO2015180483A1 (zh) * 2014-05-26 2015-12-03 中国铁路总公司 卷铁芯牵引变压器
EP3151164A2 (en) * 2016-12-26 2017-04-05 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和***、电力设备的识别方法
CN107563412A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度学习的红外图像电力设备实时检测方法
CN108898077A (zh) * 2018-06-15 2018-11-27 杭州天铂红外光电技术有限公司 电力设备红外热图的识别方法和电力设备红外识别***
CN109031057A (zh) * 2018-06-15 2018-12-18 华北电力大学（保定） 一种高压电力设备局部放电模式识别方法和装置
CN109446925A (zh) * 2018-10-08 2019-03-08 中山大学 一种基于卷积神经网络的电力设备检测算法
CN109784205A (zh) * 2018-12-25 2019-05-21 国网河北省电力有限公司电力科学研究院 一种基于多光谱巡检图像的杂草智能识别方法
CN109872317A (zh) * 2019-02-22 2019-06-11 西南交通大学 一种基于电力设备缺陷识别学习模型的缺陷识别方法
CN110148117A (zh) * 2019-04-22 2019-08-20 南方电网科学研究院有限责任公司 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN110288578A (zh) * 2019-06-24 2019-09-27 国网上海市电力公司 一种高识别率的电力设备缺陷红外图像识别***
CN110472510A (zh) * 2019-07-16 2019-11-19 上海电力学院 基于红外及可见图像的电力设备故障检测方法及评估设备
CN110738179A (zh) * 2019-10-18 2020-01-31 国家电网有限公司 一种电力设备的识别方法及相关装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605365A (zh) * 2013-11-07 2014-02-26 成都赛康信息技术有限责任公司 变电站设备污秽巡检、判定及清洗的全自动作业方法
WO2015180483A1 (zh) * 2014-05-26 2015-12-03 中国铁路总公司 卷铁芯牵引变压器
EP3151164A2 (en) * 2016-12-26 2017-04-05 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
CN107563412A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度学习的红外图像电力设备实时检测方法
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和***、电力设备的识别方法
CN109031057A (zh) * 2018-06-15 2018-12-18 华北电力大学（保定） 一种高压电力设备局部放电模式识别方法和装置
CN108898077A (zh) * 2018-06-15 2018-11-27 杭州天铂红外光电技术有限公司 电力设备红外热图的识别方法和电力设备红外识别***
CN109446925A (zh) * 2018-10-08 2019-03-08 中山大学 一种基于卷积神经网络的电力设备检测算法
CN109784205A (zh) * 2018-12-25 2019-05-21 国网河北省电力有限公司电力科学研究院 一种基于多光谱巡检图像的杂草智能识别方法
CN109872317A (zh) * 2019-02-22 2019-06-11 西南交通大学 一种基于电力设备缺陷识别学习模型的缺陷识别方法
CN110148117A (zh) * 2019-04-22 2019-08-20 南方电网科学研究院有限责任公司 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN110288578A (zh) * 2019-06-24 2019-09-27 国网上海市电力公司 一种高识别率的电力设备缺陷红外图像识别***
CN110472510A (zh) * 2019-07-16 2019-11-19 上海电力学院 基于红外及可见图像的电力设备故障检测方法及评估设备
CN110738179A (zh) * 2019-10-18 2020-01-31 国家电网有限公司 一种电力设备的识别方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于红外与可见光图像的电力设备识别的研究;王传洋;《中国优秀硕士学位论文全文数据库信息科技辑》;20180315;6-40 *

Also Published As

Publication number Publication date
CN111523423A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及***
CN110209273B (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
CN116168351B (zh) 电力设备巡检方法及装置
EP2660753B1 (en) Image processing method and apparatus
CN111523423B (zh) 一种电力设备识别方法及装置
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、***
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
JP2016110290A (ja) 情報処理装置及び情報処理方法
CN109598177B (zh) 用于识别电气设备的状态的方法和装置
CN111221996B (zh) 仪表屏幕视觉检测方法和***
CN107274382B (zh) 一种硬压板的状态辨识方法、装置及电子设备
CN113409296A (zh) 一种卷绕电芯的抽芯检测方法、电子设备及存储介质
Nassu et al. A computer vision system for monitoring disconnect switches in distribution substations
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN111080665A (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN114581654A (zh) 一种基于互感器状态监测方法及装置
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN113313125A (zh) 图像处理方法和装置、电子设备、计算机可读介质
CN114418951A (zh) 一种焊盘检测方法、装置、计算机设备及存储介质
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN117788935A (zh) 石墨膜材缺陷检测方法和石墨膜材缺陷检测装置
CN118038552A (zh) 一种蒙头行为检测方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant