CN112308850A - 一种多尺度特征融合的输电线路检测方法与*** - Google Patents
一种多尺度特征融合的输电线路检测方法与*** Download PDFInfo
- Publication number
- CN112308850A CN112308850A CN202011238992.3A CN202011238992A CN112308850A CN 112308850 A CN112308850 A CN 112308850A CN 202011238992 A CN202011238992 A CN 202011238992A CN 112308850 A CN112308850 A CN 112308850A
- Authority
- CN
- China
- Prior art keywords
- feature
- scale
- feature map
- level
- power transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 69
- 230000005540 biological transmission Effects 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 230000007547 defect Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 19
- 230000003321 amplification Effects 0.000 claims abstract description 17
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002715 modification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域，提供了一种多尺度特征融合的输电线路检测方法与***。其中，多尺度特征融合的输电线路检测方法包括基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测；输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置；其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。其极大地增强了预测层特征的表达能力，提升了检测目标的效果。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及一种多尺度特征融合的输电线路检测方法与***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
输电杆塔是架空线路的支撑点，是整个电力输送***中最重要的基础设施之一，其状态决定着整个电网的运行稳定与安全。随着近些年城乡建设步伐的加快，输电杆塔遭到破坏的现象也频频发生，由绝缘子掉串、电网异物以及其他外力破坏导致电网存在大规模停电的风险，电网公司每年要花费大量的人力物力对这些隐患进行处理。发明人发现，传统的输电线路检测方法是通过人工审核图片，但是由于图片众多，极大的增加了工作人员的负担，且容易造成视觉疲劳，导致图片审核出现错误，因此对于大规模的图片审核检测，传统的人工方法并不能取得良好的效果。
发明内容
为了解决上述问题，本发明提供一种多尺度特征融合的输电线路检测方法与***，其将特征尺度缩小和特征尺度放大迁移充分融合，在预测层提供了丰富的细粒度特征和抽象特征，极大地增强了预测层特征的表达能力，提升检测目标的效果。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种多尺度特征融合的输电线路检测方法。
在一个或多个实施例中，一种多尺度特征融合的输电线路检测方法，包括：
基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测；
输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置；
其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。
本发明的第二个方面提供一种多尺度特征融合的输电线路检测***。
在一个或多个实施例中，一种多尺度特征融合的输电线路检测***，包括：
缺陷检测模块，其用于基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测；
检测结果输出模块，其用于输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置；
其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的多尺度特征融合的输电线路检测方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的多尺度特征融合的输电线路检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
提出了多尺度特征融合技术，解决了现有技术中大规模图片审核检测的困难，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测，使得特征预测既包含细粒度特征，又包含抽象特征，增强了预测层特征的表达能力，提升了检测目标的准确率，从而能够准确地确定出缺陷类型及缺陷在输电杆塔图像中的位置。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的多尺度特征融合的输电线路检测方法流程图；
图2是本发明实施例的基于多尺度特征融合的网络模型；
图3是本发明实施例的低级特征图做特征尺度缩小操作；
图4是本发明实施例的高级特征图做特征尺度放大操作。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
参照图1，本实施例提供了一种多尺度特征融合的输电线路检测方法，其包括：
步骤S101：基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测。
其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。
本实施例的基于多尺度特征融合的网络模型为yolov3网络，特征提取网络为Darknet-53，如图2所示。
在具体实施中，基于多尺度特征融合的网络模型的训练数据集在标注之后，生成符合PASCAL VOC数据集格式的xml文件；通过darknet框架，将PASCAL VOC数据集转换为适合在yolov3网络运行的格式，并生成相应的labels文件夹。
此处需要说明的是，在其他实施例中，基于多尺度特征融合的网络模型也可采用其他网络结构。
下面以yolov3网络为例来详细说明基于多尺度特征融合的网络模型的具体结构及其训练过程。
在训练yolov3网络之前，采集大规模清晰杆塔巡检图像，构建大规模杆塔缺陷数据集。使用Labellmg工具将数据集进行标注，生成符合PASCAL VOC数据集格式的xml文件。其中，在图像上标注缺陷位置的边界框。而且在训练基于多尺度特征融合的网络模型之前，根据已知的缺陷类型及标注好的缺陷位置的边界框的输电杆塔图像对基于多尺度特征融合的网络模型进行训练。
使用K-means聚类算法生成新的尺寸大小和数量的锚框。将数据集进行分类，分为训练集、测试集、验证集，并在ImageSets中的Main中形成train.txt，test.txt，val.txt，trainval.txt文件。通过darknet框架，将PASCAL VOC数据集转换为适合在yolov3运行的格式，并生成相应的labels文件夹。
对yolov3的原特征提取网络Darknet-53进行修改，基于修改之前保存的预训练模型权重，对数据集加载预训练模型对修改网络后的神经网络进行二次训练，修改方法如下：
如图3所示，将低级特征做特征尺度缩小操作，设置下采样因子，并通过64个1*1卷积核进行降维操作，在通过3*3卷积核的卷积操作提取特征，然后选择与融合层数量匹配的1*1的卷积核进行卷积升维操作，最后与融合层相加作为后序网络的输入继续提取特征。对参考特征尺度为128*128、64*64的特征层加入尺度缩小迁移融合的方法
如图4所示，将主干网络Darknet-53中参考尺度特征尺度为8*8和16*16的特征层采用特征尺度放大迁移融合的方法，代替原网络中的上采样方法。首先将高级特征图做特征尺度放大操作，合理设置上采样因子，通过64个1*1的卷积核进行卷积升维操作，然后采用3*3卷积核的卷积操作提取特征，再选择与融合层数量匹配的1×1的卷积升维操作，最后与融合层相加作为特征预测。
在训练模型之前，设置初始状态信息，包括学***方误差总和损失。
例如：
设置网络参数并训练，每批处理图片数为32张图片，权值衰减项为0.0005，前75个训练轮次学习率设置为0.001，中间30个训练轮次学习率设置为0.0001，最后30个训练轮次学习率设置为0.00001。设置完毕，make clean并make。
判读是否达到训练的迭代次数，若是，则训练完毕，保存得到的多尺度特征融合的网络模型，否则，重新设置初始状态信息，包括学习率、迭代次数。
将待检测的杆塔图片输入到训练保存的网络模型中，根据最终的检测效果，计算检测评价指标。
为了使特征图和梯度信息的传递利用更加的有效，本实施例中采用DenseNet网络，每一层的输入都是前面所有层的输出的累加和，同时该层的输出也会向后传播，成为其后每一层输入的部分，采用此种密集连接机制将最大程度地传递信息。
步骤S102：输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置。
其中，缺陷类型及缺陷位置，根据训练完成的基于多尺度特征融合的网络模型即可输出得到。
本实施例基于多尺度特征融合技术，解决了现有技术中大规模图片审核检测的困难，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测，使得特征预测既包含细粒度特征，又包含抽象特征，增强了预测层特征的表达能力，提升了检测目标的准确率，从而能够准确地确定出缺陷类型及缺陷在输电杆塔图像中的位置。
实施例二
本实施例提供了一种多尺度特征融合的输电线路检测***，其包括：
(1)缺陷检测模块，其用于基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测。
其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。
本实施例的基于多尺度特征融合的网络模型为yolov3网络，特征提取网络为Darknet-53，如图2所示。
在具体实施中，基于多尺度特征融合的网络模型的训练数据集在标注之后，生成符合PASCAL VOC数据集格式的xml文件；通过darknet框架，将PASCAL VOC数据集转换为适合在yolov3网络运行的格式，并生成相应的labels文件夹。
此处需要说明的是，在其他实施例中，基于多尺度特征融合的网络模型也可采用其他网络结构。
下面以yolov3网络为例来详细说明基于多尺度特征融合的网络模型的具体结构及其训练过程。
在训练yolov3网络之前，采集大规模清晰杆塔巡检图像，构建大规模杆塔缺陷数据集。使用LabelImg工具将数据集进行标注，生成符合PASCAL VOC数据集格式的xml文件。其中，在图像上标注缺陷位置的边界框。而且在训练基于多尺度特征融合的网络模型之前，根据已知的缺陷类型及标注好的缺陷位置的边界框的输电杆塔图像对基于多尺度特征融合的网络模型进行训练。
使用K-means聚类算法生成新的尺寸大小和数量的锚框。将数据集进行分类，分为训练集、测试集、验证集，并在ImageSets中的Main中形成train.txt，test.txt，val.txt，trainval.txt文件。通过darknet框架，将PASCAL VOC数据集转换为适合在yolov3运行的格式，并生成相应的labels文件夹。
对yolov3的原特征提取网络Darknet-53进行修改，基于修改之前保存的预训练模型权重，对数据集加载预训练模型对修改网络后的神经网络进行二次训练，修改方法如下：
如图3所示，将低级特征做特征尺度缩小操作，设置下采样因子，并通过64个1*1卷积核进行降维操作，在通过3*3卷积核的卷积操作提取特征，然后选择与融合层数量匹配的1*1的卷积核进行卷积升维操作，最后与融合层相加作为后序网络的输入继续提取特征。对参考特征尺度为128*128、64*64的特征层加入尺度缩小迁移融合的方法
如图4所示，将主干网络Darknet-53中参考尺度特征尺度为8*8和16*16的特征层采用特征尺度放大迁移融合的方法，代替原网络中的上采样方法。首先将高级特征图做特征尺度放大操作，合理设置上采样因子，通过64个1*1的卷积核进行卷积升维操作，然后采用3*3卷积核的卷积操作提取特征，再选择与融合层数量匹配的1×1的卷积升维操作，最后与融合层相加作为特征预测。
在训练模型之前，设置初始状态信息，包括学***方误差总和损失。
例如：
设置网络参数并训练，每批处理图片数为32张图片，权值衰减项为0.0005，前75个训练轮次学习率设置为0.001，中间30个训练轮次学习率设置为0.0001，最后30个训练轮次学习率设置为0.00001。设置完毕，make clean并make。
判读是否达到训练的迭代次数，若是，则训练完毕，保存得到的多尺度特征融合的网络模型，否则，重新设置初始状态信息，包括学习率、迭代次数。
将待检测的杆塔图片输入到训练保存的网络模型中，根据最终的检测效果，计算检测评价指标。
为了使特征图和梯度信息的传递利用更加的有效，本实施例中采用DenseNet网络，每一层的输入都是前面所有层的输出的累加和，同时该层的输出也会向后传播，成为其后每一层输入的部分，采用此种密集连接机制将最大程度地传递信息。
(2)检测结果输出模块，其用于输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置；
其中，缺陷类型及缺陷位置，根据训练完成的基于多尺度特征融合的网络模型即可输出得到。
本实施例基于多尺度特征融合技术，解决了现有技术中大规模图片审核检测的困难，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测，使得特征预测既包含细粒度特征，又包含抽象特征，增强了预测层特征的表达能力，提升了检测目标的准确率，从而能够准确地确定出缺陷类型及缺陷在输电杆塔图像中的位置。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的多尺度特征融合的输电线路检测方法中的步骤。
本实施例基于多尺度特征融合技术，解决了现有技术中大规模图片审核检测的困难，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测，使得特征预测既包含细粒度特征，又包含抽象特征，增强了预测层特征的表达能力，提升了检测目标的准确率，从而能够准确地确定出缺陷类型及缺陷在输电杆塔图像中的位置。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的多尺度特征融合的输电线路检测方法中的步骤。
本实施例基于多尺度特征融合技术，解决了现有技术中大规模图片审核检测的困难，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测，使得特征预测既包含细粒度特征，又包含抽象特征，增强了预测层特征的表达能力，提升了检测目标的准确率，从而能够准确地确定出缺陷类型及缺陷在输电杆塔图像中的位置。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种多尺度特征融合的输电线路检测方法，其特征在于，包括：
基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测；
输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置；
其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。
2.如权利要求1所述的多尺度特征融合的输电线路检测方法，其特征在于，在将低级特征图做特征尺度缩小操作之后，还包括：
设置下采样因子，依次进行降维操作、卷积操作提取特征和卷积升维操作，再与高级特征图融合相加。
3.如权利要求1所述的多尺度特征融合的输电线路检测方法，其特征在于，在将高级特征图做特征尺度放大操作之后，还包括：
设置上采样因子，依次进行第一次卷积升维操作、卷积操作提取特征和第二次卷积升维操作，再与低级特征图融合相加。
4.如权利要求1所述的多尺度特征融合的输电线路检测方法，其特征在于，基于多尺度特征融合的网络模型的训练过程，对缺陷在输电杆塔图像中的位置的定位框的坐标、高和宽采用平方误差总和损失。
5.如权利要求1所述的多尺度特征融合的输电线路检测方法，其特征在于，基于多尺度特征融合的网络模型的训练数据集使用LabelImg工具进行标注。
6.如权利要求1所述的多尺度特征融合的输电线路检测方法，其特征在于，所述基于多尺度特征融合的网络模型为yolov3网络，特征提取网络为Darknet-53。
7.如权利要求6所述的多尺度特征融合的输电线路检测方法，其特征在于，基于多尺度特征融合的网络模型的训练数据集在标注之后，生成符合PASCAL VOC数据集格式的xml文件；通过darknet框架，将PASCAL VOC数据集转换为适合在yolov3网络运行的格式，并生成相应的labels文件夹。
8.一种多尺度特征融合的输电线路检测***，其特征在于，包括：
缺陷检测模块，其用于基于多尺度特征融合的网络模型对输电杆塔图像进行缺陷检测；
检测结果输出模块，其用于输出缺陷检测结果，确定出缺陷类型及缺陷在输电杆塔图像中的位置；
其中，在基于多尺度特征融合的网络模型的特征提取网络中，将提取的待检测输电杆塔图像的卷积特征图分成低级特征图和高级特征图，将低级特征图做特征尺度缩小操作，将高级特征图做特征尺度放大操作，再将尺度操作后的低级特征图和高级特征图融合相加作为特征预测。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的多尺度特征融合的输电线路检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的多尺度特征融合的输电线路检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238992.3A CN112308850A (zh) | 2020-11-09 | 2020-11-09 | 一种多尺度特征融合的输电线路检测方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238992.3A CN112308850A (zh) | 2020-11-09 | 2020-11-09 | 一种多尺度特征融合的输电线路检测方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112308850A true CN112308850A (zh) | 2021-02-02 |
Family
ID=74326632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011238992.3A Pending CN112308850A (zh) | 2020-11-09 | 2020-11-09 | 一种多尺度特征融合的输电线路检测方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308850A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950605A (zh) * | 2021-03-15 | 2021-06-11 | 西安电子科技大学 | 基于MYOLOv3网络的杆塔图像检测方法 |
| CN113744224A (zh) * | 2021-08-26 | 2021-12-03 | 成都盛锴科技有限公司 | 一种轨道车辆走行部焊缝的检测方法及其*** |
| CN115659258A (zh) * | 2022-11-10 | 2023-01-31 | 国网山东省电力公司德州供电公司 | 一种基于多尺度图卷积孪生网络的配电网故障检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及*** |
| CN109949296A (zh) * | 2019-03-21 | 2019-06-28 | 北京中飞艾维航空科技有限公司 | 一种输电线路缺陷识别方法、装置及存储介质 |
| WO2019168429A1 (ru) * | 2018-03-01 | 2019-09-06 | Общество с ограниченной ответственностью "Лаборатория будущего" | Способ цифрового управления процессом мониторинга, технического обслуживания и локального ремонта вл и система для его осуществления |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
-
2020
- 2020-11-09 CN CN202011238992.3A patent/CN112308850A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019168429A1 (ru) * | 2018-03-01 | 2019-09-06 | Общество с ограниченной ответственностью "Лаборатория будущего" | Способ цифрового управления процессом мониторинга, технического обслуживания и локального ремонта вл и система для его осуществления |
| CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及*** |
| CN109949296A (zh) * | 2019-03-21 | 2019-06-28 | 北京中飞艾维航空科技有限公司 | 一种输电线路缺陷识别方法、装置及存储介质 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950605A (zh) * | 2021-03-15 | 2021-06-11 | 西安电子科技大学 | 基于MYOLOv3网络的杆塔图像检测方法 |
| CN113744224A (zh) * | 2021-08-26 | 2021-12-03 | 成都盛锴科技有限公司 | 一种轨道车辆走行部焊缝的检测方法及其*** |
| CN115659258A (zh) * | 2022-11-10 | 2023-01-31 | 国网山东省电力公司德州供电公司 | 一种基于多尺度图卷积孪生网络的配电网故障检测方法 |
| CN115659258B (zh) * | 2022-11-10 | 2024-04-30 | 国网山东省电力公司德州供电公司 | 一种基于多尺度图卷积孪生网络的配电网故障检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308850A (zh) | 一种多尺度特征融合的输电线路检测方法与*** | |
| CN109886359B (zh) | 基于卷积神经网络的小目标检测方法及检测*** | |
| CN107193876A (zh) | 一种基于最近邻knn算法的缺失数据填补方法 | |
| CN110298321A (zh) | 基于深度学习图像分类的道路阻断信息提取 | |
| CN113407694B (zh) | 客服机器人知识库歧义检测方法、装置及相关设备 | |
| CN102236693A (zh) | 确定文档之间的相似度的方法和设备 | |
| CN110502445B (zh) | 软件故障严重等级判定方法及装置、模型训练方法及装置 | |
| CN111899225A (zh) | 基于多尺度金字塔结构的核电管道缺陷检测方法 | |
| WO2023241272A1 (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
| CN108647574A (zh) | 漂浮物图像检测模型生成方法、识别方法及设备 | |
| CN110132626A (zh) | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 | |
| CN110992307A (zh) | 基于yolo的绝缘子定位识别方法及装置 | |
| CN113762265A (zh) | 肺炎的分类分割方法及*** | |
| CN112070040A (zh) | 一种用于视频字幕的文本行检测方法 | |
| CN114639102B (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| CN113515402A (zh) | 用于工程设备的故障信息分类方法、装置及工程设备 | |
| CN113569852A (zh) | 语义分割模型的训练方法、装置、电子设备及存储介质 | |
| CN115423796A (zh) | 一种基于TensorRT加速推理的芯片缺陷检测方法及*** | |
| CN104021180A (zh) | 一种组合式软件缺陷报告分类方法 | |
| CN116992522A (zh) | 深基坑围护结构变形预测方法、装置、设备及存储介质 | |
| CN117132584B (zh) | 一种基于深度学习的液晶显示屏瑕疵检测方法及装置 | |
| CN112767351B (zh) | 一种基于敏感位置依赖分析的变电设备缺陷检测方法 | |
| CN117253188A (zh) | 基于改进的YOLOv5的变电站接地线状态目标检测方法 | |
| CN116522912B (zh) | 一种包装设计语言模型的训练方法、装置、介质及设备 | |
| CN112001484A (zh) | 一种基于多任务深度学习的安全缺陷报告预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210202 |