CN113838056A - 一种电力设备联合检测识别方法、***、设备及存储介质 - Google Patents
一种电力设备联合检测识别方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN113838056A CN113838056A CN202111429591.0A CN202111429591A CN113838056A CN 113838056 A CN113838056 A CN 113838056A CN 202111429591 A CN202111429591 A CN 202111429591A CN 113838056 A CN113838056 A CN 113838056A
- Authority
- CN
- China
- Prior art keywords
- power equipment
- electric power
- auxiliary
- main
- power device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 25
- 238000004088 simulation Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种电力设备联合检测识别方法、***、设备及存储介质,包括:获取电力设备的图像信息,使用旋转回归框对电力设备的图像信息中各电力设备进行标注;将标注后的电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合;根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别,该方法、***、设备及存储介质能够较为准确进行电力设备联合检测。
Description
技术领域
本发明属于自动检测技术领域,涉及一种电力设备联合检测识别方法、***、设备及存储介质。
背景技术
我国当前正处在清洁能源转型的关键阶段,大规模清洁能源的接入对电力***的稳定性提出了更高要求。电力设备的稳定运行是电力网络安全运行的基础和保证,对电力设备状态进行实时的感知和监控对于设备状态评价、潜在隐患排查、故障实时诊断具有重要意义。近年来,电力设备特征信息的采集手段不断丰富,传统的传感技术和设备故障诊断方法难以适应电网智能化要求。
目标检测是模式识别领域的重点研究问题,近年来,基于人工智能技术,尤其是深度学习技术的图像识别和目标检测迅猛发展,目标检测模型性能显著提升,在电力设备识别、缺陷检测等领域取得了巨大突破,推动智能运检技术的发展。目前,目标检测算法主要分为三类:以Faster R-CNN、Cascade R-CNN等为代表的双阶段网络,采用RPN对默认框进行筛选,网络检测精度较高,但模型运算量较大;以SSD、YOLO等为代表的单阶段网络,直接在特征图上进行基于默认框的预测,模型结构简单,计算速度快,但在检测精度,尤其是小目标检测上效果较差;以FCOS、CornerNet等为代表的无锚框网络,不再预设默认框,在对特征图上直接回归中心点位置、检测宽高、检测框关键点等信息。
小型器件和形状特征模糊器件是电力设备检测的难点之一,容易出现漏检和错检,对其故障的检测更加困难。小型器件的运行状态直接影响电力设备运行安全,如:输电线路和变电设备的小尺寸金具。已有基于图像的目标检测技术对各类型独立进行检测,未考虑相邻检测目标的逻辑关联性,难以结合专家知识,学***标注框,这种水平的矩形框在狭长物体和旋转物体的检测上效果较差。随着目标在图像内角度的变化,水平检测框不具备旋转不变性,在特征和检测区域上引入大量噪声,影响模型的学习效果,检测结果较差。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供了一种电力设备联合检测识别方法、***、设备及存储介质,该方法、***、设备及存储介质能够准确进行电力设备联合检测。
为达到上述目的,本发明采用如下技术方案:
本发明一方面,本发明提供了一种电力设备联合检测识别方法,包括:
获取待识别电力设备的图像信息;
将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
本发明所述电力设备联合检测识别方法的进一步改进在于:
所述方法还包括:使用旋转回归框对电力设备的图像样本中的各电力设备进行标注,其中,旋转回归框的标注方向与电力设备的形状方向保持一致,同时建立主电力设备以及附属电力设备的关联关系标注。
所述网络模型包括基于注意力机制的特征提取网络、多任务检测网络、方向向量预测分支以及角度预测分支,其中,角度预测分支由可变形卷积模块及第一卷积模块拼接而成,所述方向向量预测分支包括第二卷积模块。
角度预测分支对应的损失函数为:
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,基于电力专业知识关联距离的电力设备配对算法,以确定主电力设备对应的附属电力设备。
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
根据旋转回归框的位置信息及角度信息,计算主电力设备与附属电力设备集合中各附属电力设备之间的关联距离;
其中,为主电力设备M及附属电力设备D的关联性偏置,为主电力设备对应旋转回归框的中心与附属电力设备对应旋转回归框的中心点之间的欧氏距
离,为主电力设备对应旋转回归框的中心到附属电力设备对应旋转回归框的中
心的方向向量的垂直距离,之间距离对应的权重超参数,为主
设备在当前图像中的宽度,为主设备在当前图像中的高度。
本发明二方面,本发明提供了一种电力设备联合检测识别***,包括:
标注模块,用于获取待识别电力设备的图像信息;
计算模块,用于将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
配对模块,用于根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
本发明三方面,本发明提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述电力设备联合检测识别方法的步骤。
本发明四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述电力设备联合检测识别方法的步骤。
本发明具有以下有益效果:
本发明所述的电力设备联合检测识别方法、***、设备及存储介质在具体操作时,使用旋转回归框对电力设备的图像样本中各电力设备进行标注,其中,旋转回归框具备旋转可变性,从而避免在特征和检测区域上引入噪声,并且避免传统水平检测框对检测目标形状适应性较差的问题,从而提高网络模型检测识别的准确性,继而提高检测结果的准确性,然后根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,实现电力设备的联合检测,方便、简单,实用性极强。
进一步,角度预测分支对应的损失函数中考虑旋转回归框的长宽比,以提高旋转回归框角度预测的准确性。
进一步,基于电力专业知识关联距离的电力设备配对算法,确定主电力设备对应的附属电力设备,以提升召回率。
附图说明
图1为本发明的原理图;
图2为本发明的方法流程图;
图3为本发明的***结构图;
图4为仿真实验一中标注旋转回归框后的示意图;
图5为仿真实验一的检测结果图;
图6a为仿真实验二的一处效果图;
图6b为仿真实验二的另一处效果图;
图6c为仿真实验二的另一处效果图;
图6d为仿真实验二的另一处效果图;
图6e为仿真实验二的另一处效果图;
图6f为仿真实验二的另一处效果图;
图6g为仿真实验二的另一处效果图;
图6h为仿真实验二的另一处效果图;
图6i为仿真实验二的另一处效果图;
图6j为仿真实验二的另一处效果图。
其中,1为标注模块、2为计算模块、3为配对模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,不是全部的实施例,而并非要限制本发明公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本发明公开的概念。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
参考图1及图2,本发明所述的面向图像数据的电力设备联合检测识别方法包括以下步骤:
1)获取电力设备的图像样本,使用旋转回归框对电力设备进行标注,使用标注后的电力设备的图像样本对网络模型进行训练;
11)考虑网络模型对分辨率要求及检测目标尺寸,在保持原图尺寸不变情况下,以较小方向像素尺寸为608进行图像缩放,形成若干规定尺寸的图像样本。
旋转回归框的标注采用五参数标注法,即对于任意旋转回归框,使用进行标注及保存,其中,为旋转回归框中心点的横坐标,为旋转回归框
中心点的纵坐标,为旋转回归框的宽度,为旋转回归框的高度,为旋转回归框的旋转
角度,考虑角度的周期性及宽高的可替换性,设定:旋转回归框的宽度为矩形的长边,旋
转回归框的高度为矩形的短边;旋转回归框的旋转角度为图像的纵轴正方向与矩形的
任意长边顺时针形成的夹角;旋转回归框标注方向与电力设备的形状方向保
持一致,同时建立主电力设备以及附属电力设备的关联关系标注,对于部分因为遮挡无法
体现特征的目标,仍按照其形状结构进行完整标注。
12)利用图像样本对网络模型进行训练;
具体过程为:对图像样本进行预处理,预处理的方式包括图像尺寸映射、随机翻转
及数据拼接融合,根据预设均值和方差对图像样本进行归一化处理,得尺寸为的输入数据,然后输入到网络模型中进行训练,得训练后的网络模型,所述
网络模型包括特征提取网络、多任务检测网络、方向向量预测分支及角度预测分支。
特征提取网络使用引入注意力机制的Hourglass网络,特征提取网络由一组串联的不同特征尺寸的Hourglass模块组成,下一个Hourglass模块的分辨率为上一个Hourglass模块的分辨率的一半,分辨率较高的Hourglass模块倾向于较小样本的特征提取,分辨率较低的Hourglass模块倾向于较大型目标的特征提取,同时结合不同尺寸下的空间注意力网络分支实现关注区域的自动生成及特征信息增强。
所述多任务检测网络包括中心点及类别分支、中心点偏置分支、宽高尺寸分支及回归角度分支。
中心点和类别分支的长宽与特征图相同,深度为待检测的类别,对于提取得到的
特征图,通过2个3x3的卷积网络回归及Softmax函数得到检测结果,通过一个3x3的非极大
值抑制计算,按照各点的得分进行排序,并将排序结果作为最终输出的旋转回归框,为建立
真实检测框和特征图的对应关系,使用高斯核建立真实检测框的热图;
中心点偏置及宽高预测网络深度均为2,通过2个3x3的卷积网络回归得到,全部类别共享预测结果,在训练中,仅在有真实目标中心点的位置设置宽高及偏置的预测值,其余位置填充为零。
所述方向向量预测分支包括一组3x3的第二卷积模块,用于预测各附属电力设备对应旋转回归框的中心点到主电力设备对应旋转回归框中心点的方向向量,所述方向向量用于附属电力设备的从属性判断,主电力设备及无对应主电力设备的附属电力设备处的方向向量为零。
所述角度预测分支包括一个3x3的可变形卷积模块及一个3x3的第一卷积模块结合,用于增强对旋转目标的适应性,可变形卷积模型通过预测每个特征点对应的所有卷积点的位置偏移,使卷积核自由在特征图上提取任意特征,对异构物体、旋转目标等复杂检测结果具备更好的适应性。
考虑到角度对目标检测精度的影响权重较大及线性角度回归与检测框交并比不统一的问题,本发明提出一种基于目标框长宽比的角度预测损失函数AR L1 Loss,即,
2)获取待识别电力设备的图像信息;
3)将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合;
4)根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
步骤4)的具体过程为:
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,基于电力专业知识关联距离(CorrelationDistance, CoD)的电力设备配对算法,以确定主电力设备对应的附属电力设备。
对于主电力设备M及其附属电力设备D,构建集合、及,其中,为第p个主电力设备
对应旋转回归框的中心点,为第q个附属电力设备对应旋转回归框的中心点,为第q个附属电力设备的方向向量预测结果,则主电力设备与附属电力设备的关联距离为:
其中,为主电力设备M及附属电力设备D的关联性偏置,当越大,则主电力
设备M及附属电力设备D的关联性越弱;为主电力设备M对应旋转回归框的中心点与附属
电力设备D对应旋转回归框的中心点之间的欧氏距离;为主电力设备M对应旋转回归框
的中心点到附属电力设备D对应旋转回归框的中心点的方向向量的垂直距离,之间距离对应的权重超参数,为主设备在当前图像中的宽
度,为主设备在当前图像中的高度。
仿真实验一
变压器广泛存在于电力***中,变压器能否稳定运行直接影响着电力***的运行安全,对变压器运行状态的检测及故障分析预判具有重要的实际价值。在实际工作环境下,由于背景混乱、相邻设备与线路干扰等因素,变压器及其附属设备的检测难度较大,容易出现漏检和误检的情况。
参考图4,本发明首先采集变电站变压器及其附属设备的图像,针对变压器本体、绝缘套管、油枕、呼吸器和散热器等设备进行旋转回归框标注,并建立相关附属设备与变压器本体的关联关系标注,其中,变压器本体的标注需包油枕、冷却器在内的全部附属设备区域,绝缘套管的标注方向以与输电线路相连的方向为头方向,然后,将整合标注好的数据送入网络模型进行训练,考虑到样本中设备的尺寸,设置三个串联的Hourglass模块作为特征提取器,并分别连接注意力网络层,各注意力层独立训练和预测。特征提取结果输送至输出全部类型设备的检测结果。最后,进行变压器本体及其相关设备的联合检测,考虑到变压器本体结构特点,一个变压器应识别到对应的油枕、散热器、呼吸器不超过一个,套管不超过8个,基于以上特征进一步进行检测结果的筛选,参考图5。
经过实验,本发明通过变压器相关设备的联合学习,有效提升了各类设备的识别准确率,通过方向自适应检测实现套管、油枕等设备的精细化检测,可有效减少背景信息的干扰。
仿真实验二
本仿真实验针对输电杆塔及阴影进行联合检测,具体过程为:
首先,收集输电杆塔及其阴影的影像数据,并使用旋转回归框进行标注,考虑后续模型对分辨率要求和检测目标尺寸,在保持原图尺寸不变情况下以较小方向像素尺寸为608进行图像缩放,形成若干规定尺寸的图像样本。
旋转回归框的标注采用五参数标注法,即对于任意旋转回归框,使用标注及保存,其中,为旋转框中心点横坐标、为旋转框中心点纵坐标、
为旋转框宽度、为旋转框高度、为旋转框旋转角度。考虑角度的周期性和宽高的可替换
性,设置以下规则保证标注结果唯一且训练结果不产生歧义:设旋转回归框的宽度为矩
形的长边,旋转回归框的高度为矩形的短边;旋转回归框的旋转角度为图像的纵轴正方
向与矩形的任意长边顺时针形成的夹角,;旋转回归框标注的方向与输电杆塔
及其阴影的顶部朝向保持一致,对于部分因为遮挡无法体现特征的目标,仍按照其形状结
构进行完整标注。
依据标注数据对模型进行训练,对原始图片进行预处理,包括:图像尺寸映射、随
机翻转及数据拼接融合等。根据给定的均值和方差对数据进一步进行归一化处理,得到尺
寸为的输入数据,送入网络模型进行训练,如图1所示,网络模型分为特征提
取网络和多任务检测网络两部分,分别负责高维特征提取和检测参数的回归。
特征提取网络使用引入注意力机制的Hourglass网络,由两个串联的不同特征尺寸的Hourglass模块组成。考虑到输电杆塔和阴影的数据分布具有明显特征,阴影面积和长宽比都大于杆塔本体,建立了两个不同尺寸的特征网络,分辨率较高的网络分支倾向于杆塔本体中较小样本的特征提取,分辨率较低的网络分支复杂较大型目标的特征提取,并结合不同尺寸下的空间注意力网络分支实现关注区域的自动生成和特征信息增强。
注意力层的结果与特征层逐点相乘后,输出一组分辨率不同的特征图集合,用
于多任务分支回归。多任务分支网络包括四部分:中心点及类别分支、中心点偏置分支、宽
高尺寸分支和回归角度分支。各部分在多尺度特征图上独立进行计算,分别对小目标和大
尺寸目标进行检测。
中心点和类别尺寸分支长宽与特征图相同,深度为需检测的类别。对于提取得到
的特征图,通过2个3x3的卷积网络回归和Softmax函数得到检测结果,通过一个3x3的非极
大值抑制计算,按照各点的得分进行排序,作为最终输出的回归框。为建立真实检测框和特
征图的对应关系,使用高斯核建立真实检测框的热图,其中,
中心点偏置和宽高预测网络深度均为2,通过2个3x3的卷积网络回归得到,全部类别共享预测结果,在训练中,仅在有真实目标中心点的位置设置宽高及偏置预测值,其余位置填充为零,亦不参与训练。
角度预测采用一个3x3的可变形卷积模块和一个3x3的卷积模块结合,增强对旋转目标的适应性。可变形卷积通过预测每个特征点对应的所有卷积点的位置偏移,使卷积核可以自由在特征图上提取任意特征,对异构物体、旋转目标等复杂检测结果具备更好的适应性。
考虑到角度对目标检测精度的影响权重较大和线性角度回归与检测框交并比不统一的问题,本发明提出一种基于目标框长宽比的角度预测损失函数AR L1 Loss:
最后,根据输电杆塔与阴影的一一对应关系和空间近邻性,提出一种基于中心点
距离的输电杆塔和阴影配对算法,对于有确定关联性的两种电力设备,将网络检
测结果划分为集合,其中,为第i个类设备中心
点,为第j个类设备中心点。依次找出集合T和S中距离最近的一组点,并将其
从集合中取出,作为一对目标保留,直至集合T或S没有元素,或T和S中距离最近的点的距离
超过设定的阈值超参数。
参考图6a至图6j,本发明可实现遥感影像下输电杆塔及其类型的有效识别,检测准确率和AP均在90%以上,较好的解决了前后景分离困难和类型信息模糊的问题。同时,本发明可在区域输电线路统计,偏远地区杆塔防倾倒与运维管理,输电线路及杆塔施工作业等场景下发挥重要作用,具有实际应用价值。
实施例二
参考图3,本发明所述电力设备联合检测识别***包括:
标注模块1,用于获取待识别电力设备的图像信息;
计算模块2,用于将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
配对模块3,用于根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
实施例三
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述电力设备联合检测识别方法的步骤,其中,所述存储器可能包含内存,例如高速随机存储器,也可能还包括非易失性存储器,例如,至少一个磁盘存储器等;处理器、网络接口、存储器通过内部总线互相连接,该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等,总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序,具体地,程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
实施例四
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述电力设备联合检测识别方法的步骤,具体地,所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种电力设备联合检测识别方法,其特征在于,包括:
获取待识别电力设备的图像信息;
将待识别电力设备的图像信息输入到训练后的网络模型中,获得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
2.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述方法还包括:
使用旋转回归框对电力设备的图像样本中的各电力设备进行标注,其中,旋转回归框的标注方向与电力设备的形状方向保持一致,同时建立主电力设备以及附属电力设备的关联关系标注。
3.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述网络模型包括基于注意力机制的特征提取网络、多任务检测网络、方向向量预测分支以及角度预测分支,其中,所述角度预测分支由可变形卷积模块及第一卷积模块拼接而成,所述方向向量预测分支包括第二卷积模块。
5.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
基于电力专业知识关联距离的电力设备配对算法,根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备。
8.一种电力设备联合检测识别***,其特征在于,包括:
标注模块,用于获取待识别电力设备的图像信息;
计算模块,用于将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
配对模块,用于根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述电力设备联合检测识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述电力设备联合检测识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111429591.0A CN113838056B (zh) | 2021-11-29 | 2021-11-29 | 一种电力设备联合检测识别方法、***、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111429591.0A CN113838056B (zh) | 2021-11-29 | 2021-11-29 | 一种电力设备联合检测识别方法、***、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113838056A true CN113838056A (zh) | 2021-12-24 |
CN113838056B CN113838056B (zh) | 2022-03-01 |
Family
ID=78971866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111429591.0A Active CN113838056B (zh) | 2021-11-29 | 2021-11-29 | 一种电力设备联合检测识别方法、***、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113838056B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
EP3623882A1 (en) * | 2018-09-13 | 2020-03-18 | Siemens Aktiengesellschaft | Identifying type and alignment of a workpiece |
CN111382687A (zh) * | 2020-03-05 | 2020-07-07 | 平安科技(深圳)有限公司 | 人脸检测方法及*** |
CN111414931A (zh) * | 2019-12-31 | 2020-07-14 | 杭州电子科技大学 | 一种基于图像深度的多分支多尺度小目标检测方法 |
CN112542800A (zh) * | 2020-11-24 | 2021-03-23 | 广西电网有限责任公司电力科学研究院 | 一种输电线路故障识别的方法及其*** |
CN113158789A (zh) * | 2021-03-15 | 2021-07-23 | 华南理工大学 | 一种遥感图像的目标检测方法、***、装置及介质 |
-
2021
- 2021-11-29 CN CN202111429591.0A patent/CN113838056B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3623882A1 (en) * | 2018-09-13 | 2020-03-18 | Siemens Aktiengesellschaft | Identifying type and alignment of a workpiece |
CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
CN111414931A (zh) * | 2019-12-31 | 2020-07-14 | 杭州电子科技大学 | 一种基于图像深度的多分支多尺度小目标检测方法 |
CN111382687A (zh) * | 2020-03-05 | 2020-07-07 | 平安科技(深圳)有限公司 | 人脸检测方法及*** |
CN112542800A (zh) * | 2020-11-24 | 2021-03-23 | 广西电网有限责任公司电力科学研究院 | 一种输电线路故障识别的方法及其*** |
CN113158789A (zh) * | 2021-03-15 | 2021-07-23 | 华南理工大学 | 一种遥感图像的目标检测方法、***、装置及介质 |
Non-Patent Citations (1)
Title |
---|
刘钦: "基于大数据的电力设备数据融合与应用", 《信息化建设》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113838056B (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
CN109712118A (zh) | 一种基于Mask RCNN的变电站隔离开关检测识别方法 | |
CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
CN108710913A (zh) | 一种基于深度学习的开关柜图像开关状态自动识别方法 | |
CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测***及方法 | |
US11810348B2 (en) | Method for identifying power equipment targets based on human-level concept learning | |
CN109784375A (zh) | 基于Faster RCNN的自适应变压器部件检测识别方法 | |
CN113902792A (zh) | 基于改进RetinaNet网络的建筑物高度检测方法、***和电子设备 | |
Tian et al. | Research on flower image classification method based on YOLOv5 | |
Zhao et al. | G3DOA: Generalizable 3D descriptor with overlap attention for point cloud registration | |
CN114219753A (zh) | 一种基于深度学习的电力设备表面缺陷检测方法及终端 | |
CN113838056B (zh) | 一种电力设备联合检测识别方法、***、设备及存储介质 | |
CN116205905B (zh) | 基于移动端的配电网施工安全及质量图像检测方法及*** | |
Zhang et al. | Recognition and detection of wolfberry in the natural background based on improved YOLOv5 network | |
CN116912774A (zh) | 一种基于边缘计算的输变电设备红外图像目标识别方法、电子装置及存储介质 | |
CN112818836B (zh) | 一种变电站场景的人员目标检测方法及*** | |
Wang et al. | Research on surface defect detection of disc harrow based on YOLOv5 | |
Feng et al. | Recognition of insulator based on yolov5 algorithm | |
Chen et al. | Smart Grid Image Recognition Based on Neural Network and SIFT Algorithm | |
Wang et al. | Leakage Detection and Identification of Power Plant Pipelines Based on Improved Faster RCNN | |
Lu et al. | MStrans: Multiscale Vision Transformer for Aerial Objects Detection | |
Hong et al. | Target Registration of Electric Power Installation Based on Hybrid Network Model Under the Application of Intelligent Inspection Application | |
Liao | Road Damage Intelligent Detection with Deep Learning Techniques | |
Wu et al. | Liquid Drip Detection in Power Plant based on Machine Vision | |
Dong et al. | PLPD-SLAM: Point-Line-Plane-Based RGB-D SLAM for Dynamic Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |