CN115018784B - 一种导线散股缺陷的检测方法、装置、设备及介质 - Google Patents

一种导线散股缺陷的检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115018784B
CN115018784B CN202210615506.8A CN202210615506A CN115018784B CN 115018784 B CN115018784 B CN 115018784B CN 202210615506 A CN202210615506 A CN 202210615506A CN 115018784 B CN115018784 B CN 115018784B
Authority
CN
China
Prior art keywords
infrared
image
detection image
wire
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210615506.8A
Other languages
English (en)
Other versions
CN115018784A (zh
Inventor
吴杰辉
郑风雷
夏云峰
涂智豪
张健榕
周晋多
刘贯科
苏华锋
熊浩南
翟润辉
喻天
黄靖欣
李俊鹏
李中宇
彭毅杰
李健中
何志彬
吴栩欣
吴浩儿
胡诗敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202210615506.8A priority Critical patent/CN115018784B/zh
Publication of CN115018784A publication Critical patent/CN115018784A/zh
Application granted granted Critical
Publication of CN115018784B publication Critical patent/CN115018784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种导线散股缺陷的检测方法、装置、设备及介质。所述方法包括：获取电力线路场景中的红外检测图像和可见光检测图像；对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征；将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图；根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷。通过采用上述技术方案，能够提高导线散股缺陷检测的准确率。

Description

一种导线散股缺陷的检测方法、装置、设备及介质
技术领域
本发明涉及电力检测技术领域，尤其涉及一种导线散股缺陷的检测方法、装置、设备及介质。
背景技术
在电力***中，电能的安全输送是电力***稳定运行的关键。导线负责输送电网中的电能，而导线散股缺陷容易造成电力线功率的急剧增大，从而产生线路短路或导线断股等现象。在导线散股缺陷的早期阶段对其准确检测并予以解决，可以有效防止导线进一步损坏，从而保证电力线路输电的安全性和稳定性。
目前，导线散股缺陷检测方法可大致分为两类，一类采用计算机视觉算法处理可见光图像，利用散股特征直接检测导线散股区域；另一类利用导线散股区域电阻升温的特性，对红外图像映射成的热力图进行温度阈值判断，预测导线散股情况。
然而，利用计算机视觉算法在可见光图像中检测导线散股区域的方法，难以检测导线轻微散股的情况，算法召回率欠佳；利用红外图像映射成的热力图预测导线散股情况的方法，由于红外图像的背景复杂，对比度低且噪声大，判断导线散股缺陷时容易出现大量误判。
发明内容
本发明提供了一种导线散股缺陷的检测方法、装置、设备及介质，以提高导线散股缺陷检测的准确率。
根据本发明的一方面，提供了一种导线散股缺陷的检测方法，该方法包括：
获取电力线路场景中的红外检测图像和可见光检测图像；
对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征；
将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图；
根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷。
根据本发明的另一方面，提供了一种导线散股缺陷的检测装置，包括：
图像获取模块，用于获取电力线路场景中的红外检测图像和可见光检测图像；
图像融合模块，用于对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征；
掩模图获取模块，用于将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图；
散股缺陷检测模块，用于根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的导线散股缺陷的检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的导线散股缺陷的检测方法。
本发明实施例的技术方案，通过获取电力线路场景中的红外检测图像与可见光检测图像，并将同一帧的红外检测图像与可见光检测图像融合，得到四通道的融合检测图像，利用图像分割模型从所述融合检测图像中获取导线掩模图，再根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，利用类间方差法计算异常温度阈值，将分割出的红外导线区域内大于异常温度阈值的各像素点组合得到异常温度区域，提供了一种精准识别导线是否存在散股缺陷的方法，对导线散股缺陷的检测不受光照条件影响，可以在导线散股的早期阶段对其及时检出，有效防止导线进一步损坏。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种导线散股缺陷的检测方法的流程图；
图2a是根据本发明实施例二提供的一种导线散股缺陷的检测方法的流程图；
图2b是由本发明实施例二提供的一种UNet模型的结构图；
图2c是由本发明实施例二提供的一种残差模块结构图；
图2d是由本发明实施例二提供的一种译码模块结构图；
图3是根据本发明实施例三提供的一种导线散股缺陷的检测装置的结构示意图；
图4是实现本发明实施例的导线散股缺陷的检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种导线散股缺陷的检测方法的流程图，本实施例可适用于利用无人机拍摄的电力线路场景中的红外图像和可见光图像，判断图像中的导线区域是否具有导线散股缺陷的情况，该方法可以由导线散股缺陷的检测装置来执行，该导线散股缺陷的检测装置可以采用硬件和/或软件的形式实现，该导线散股缺陷的检测装置可配置于具备图像处理功能的设备中。如图1所示，该方法包括：
S110、获取电力线路场景中的红外检测图像和可见光检测图像。
在一个具体的实施方式中，所述红外检测图像和可见光检测图像可以通过无人机拍摄得到，所述无人机搭配红外传感器和可见光传感器。可选的，在电力线路场景中，无人机在距离电力线约10米的地方飞行，同时以低帧速率拍摄红外和可见光图像。
所述红外图检测像通过无人机上搭载的红外传感器得到，为用灰度值表示的单通道图像。所述红外传感器将接收到的场景(包括其中的动态目标、静态目标以及背景)的向外辐射的热量映射成灰度值，转化为红外检测图像，场景中某一部分向外辐射的热量越大，即场景中某一部分的温度越高，反应在红外检测图像中这一部分的灰度值越高，图像越亮。所述灰度值范围一般在0到255，为整数值，0表示黑色，255表示白色，中间值是一些不同等级的灰色。
所述可见光检测图像通过无人机上搭载的可见光传感器得到，可见光是电磁波谱中人眼可以感知的部分。所述可见光检测图像为RGB模式图像，RGB模式图像由三个颜色通道组成，分别为红色通道(Red)、绿色通道(Green)和蓝色通道(Blue)，RGB值可代表每个颜色的亮度，其范围一般在0到255，为整数值。
所述帧速率是指所述红外传感器与所述可见光传感器每秒所生成的图像的帧数。
S120、对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征。
本实施例考虑到在光源充足的情况下，可见光检测图像中的导线具有明显区分于背景的特征，然而，可见光传感器在暗光、眩光、浓雾等条件下其探测性能受限，无法获取清晰的可见光检测图像，后续对图像的导线区域和非导线区域进行分割时准确率较低，而红外传感器根据物体的温度成像，即使在光照条件不佳的情况下，也可以捕捉温度较高的导线目标。因此，本实施例采用对可见光检测图像与红外检测图像进行图像融合的方式，使融合检测图像同时包含红外检测图像与可见光检测图像中的信息，不受光照条件的影响。
其中，像素为组成图像的最小单位，每个最小单位可看作一个像素点，每个像素点都有一个明确的在图像中的位置和被分配的色彩数值，所述色彩数值在本实施例中为图像的灰度值和RGB值。
其中，所述图像融合具体是指，将同一帧的三通道可见光RGB图像和单通道红外灰度图像的每一通道的特征相融合，获得一张包含可见光颜色特征和红外灰度特征的四通道图像。
所述可见光颜色特征为可见光RGB值特征，所述红外灰度特征为红外灰度值特征。
这样设置的好处在于：克服了在照明条件较差的情况下所获得的可见光图像不清晰的缺陷，融合后的图像所包含的信息更全面，能够较为容易的在融合后的图片中分割出导线区域和非导线区域。
S130、将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图。
其中，所述图像分割模型可以为UNet分割模型。UNet分割模型是一个基于深度卷积神经网络进行训练的模型，具有较高的识别准确率和泛化能力，其提取的特征代表性较强，克服了传统的图像处理法需要特定的背景条件或光照条件、实时监测性差、泛化能力弱等缺陷。
具体的，所述导线掩模图主要用于划分导线区域与非导线区域，是一个由0和1组成的二进制图像，其中，所述导线区域均由1组成，在所述掩模图中显示为白色区域；所述非导线区域均由0组成，在所述掩模图中显示为黑色区域。
基于上述实施例，本发明创造性的提出，将可见光检测图像与红外检测图像融合后的融合检测图像输入至图像分割模型中，获取与所述融合检测图像对应的导线掩模图，使得UNet模型在对于光照条件差的图像进行分割时也具有较高的准确性。
S140、根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷。
其中，根据所述导线掩模图从所述红外检测图像中分割出红外导线区域具体是指，根据导线掩模图中分割出的导线区域所包含的像素点位置，在其对应的经图像融合前的红外检测图像中找出相应的像素点，这些像素点组成的区域就为红外导线区域。
其中，根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷，具体可以包括：在所述红外导线区域中识别异常温度区域，并确定所述异常温度区域内的导线存在导线散股缺陷。
进一步的，在所述红外导线区域中识别异常温度区域，具体可以包括：
采用类间方差法获取与所述红外导线区域匹配的异常温度阈值；
将所述红外导线区域中灰度值大于所述异常温度阈值的各像素点，组合得到所述异常温度区域。
进一步的，采用类间方差法获取与所述红外导线区域匹配的异常温度阈值，具体包括：
获取所述红外导线区域匹配的灰度级范围[0,L-1],其中，L为大于1的整数；
获取所述红外导线区域中，归属于每个灰度级i的像素点数量ni，导线区域的总像素数为N；
根据公式：pi＝ni/N，i＝0，1，2…，L-1，计算得到与每个灰度级i分别对应的几率pi；
依次在所述灰度级范围中获取一个当前处理灰度级T，获取所述红外导线区域中灰度值位于[0，T]的第一像素点集合C0，以及灰度值位于[T+1，L-1]的第二像素点集合C1；
根据公式：
计算得到与C0对应的均值u0，以及与C1对应的均值u1；其中，ω1＝1-ω0；
根据公式：uT＝ω0u0+ω1u1，计算得到所述红外导线区域的图像均值uT；
根据公式：计算得到与所述当前处理灰度级T匹配的类间方差/>
返回执行依次在所述灰度级范围中获取一个当前处理灰度级T的操作，直至计算得到与每个灰度级分别对应的类间方差；
将与最大类间方差对应的目标灰度级，确定为所述异常温度阈值。
在上述实施例的基础上，可以简单理解为，利用图像中的参数点与灰度值等各已知参数，与在所述灰度级范围中获取的当前处理灰度级T，计算得到与所述当前处理灰度级T匹配的类间方差在计算出的所有类间方差/>中，找到数值最大的/>则将与该/>对应的灰度级T确定为异常温度阈值。
本发明实施例的技术方案，通过获取电力线路场景中的红外检测图像与可见光检测图像，并将同一帧的红外检测图像与可见光检测图像融合，得到四通道的融合检测图像，利用图像分割模型从所述融合检测图像中获取导线掩模图，再根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，利用类间方差法计算异常温度阈值，将分割出的红外导线区域内大于异常温度阈值的各像素点组合得到异常温度区域，提供了一种精准识别导线是否存在散股缺陷的方法，对导线散股缺陷的检测不受光照条件影响，可以在导线散股的早期阶段对其及时检出，有效防止导线进一步损坏。
实施例二
图2a为本发明实施例二提供了一种导线散股缺陷的检测方法的流程图，本实施例在上述实施例的基础上，进一步具体化了导线散股缺陷的检测流程。如图2a所示，该方法包括：
S210、获取待训练的原始UNet模型。
在图2b中示出了所述UNet模型的结构图。如图2b所示，所述UNet模型由编码网络和译码网络组成，图2b的左半部分由输入至最下方Res Block为编码网络，图2b的右半部分由最下方Decode Block至输出为译码网络，整个网络共进行5次下采样和5次上采样。每次下采样都将特征图的大小减半，通道数加倍，特征图从扁平状变得小而密，更加立体；每次上采样都将特征图的大小加倍，通道数减半，特征图最终恢复到输入时的大小。
其中，所述原始UNet模型的编码网络中包括具有6个跨层连接的ResNet50网络；所述原始UNet模型的的译码网络中包括5个译码模块，所述编码网络和所述译码网络之间具有4个跳跃连接。
所述原始UNet模型的编码网络采用具有6个跨层连接的ResNet50网络，这样设置的好处在于：由于导线的语义较为简单，其边缘细节信息很难捕捉，所以图像的深层语义信息和浅层特征细节都很重要，因此在ResNet50基础上增加了6个跨层连接，通过最大池化操作(Maxpool)统一维度，形成了稠密的网络结构，本结构能够重用浅层特征，增强特征的深度延展，同时，跨层连接可以防止反向传播时梯度消失。
所述编码网络和译码网络之间具有4个跳跃连接，这样设置的好处在于：利用跳跃连接的方式，拼接同维度的特征，实现了浅层特征的复用。
所述编码网络包括4个残差模块(Res Block)，残差模块结构如图2c所示，每个模块包含两个卷积层(Convolution，Conv)、激活函数层(Rectified Linear Unit,ReLU)和两个批量归一化层(Batch Normalization,BN)，卷积层卷积核的大小为3*3。
所述译码网络包括五个译码模块(Decode Block)，译码模块结构如图2d所示，每个模块包含上采样(Up Sample)、两个卷积层Conv2d、两个激活函数层ReLU。所述上采样方法采用最近邻插值法，用于加倍特征图尺寸，卷积核为3*3大小，步长为1，用于融合特征。
S220、定义损失函数。
所述损失函数Ldice计算公式为：
所述损失函数采用了Dice函数，其中，W为图像宽度，H为图像高度，P为模型输出图像，pij为P中的一个像素点，T为训练样本图像，tij为T中的一个像素点。
这样设置的好处在于：在电力线路图像中，背景负样本的数量远大于导线正样本的数量，Dice函数常用于计算样本间相似度，它重点关注前景图像是否分类正确，不关注背景像素，采用Dice函数作为损失函数，可有效解决前景、背景样本失衡的问题。
S230、使用预先标注的训练样本集，对所述原始UNet模型进行迭代训练，得到UNet分割模型。
其中，所述训练样本集，为多个电力场景中预先标注有匹配的导线掩模图的融合图像，所述融合图像为无人机拍摄的红外图像与可见光图像融合后的图像。
具体的迭代训练方法包括：在物理电脑平台Windows上训练UNet模型，模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练100轮次。学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9。观察训练损失函数的变化，当损失函数值连续5个轮次没有下降的时候，停止训练，获取收敛效果最好的模型，即最终损失函数值最低时的模型。
S240、获取电力线路场景中的红外检测图像和可见光检测图像。
S250、对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像。
需要注意的是，用于图像融合的每一组红外监测图像和可见光图像，都必须为同一帧的图像，也即，每一组红外监测图像和可见光图像中同一位置的像素点，对应现实空间中的同一位置点。
S260、将所述融合检测图像输入至预先训练的UNet模型中，获取与所述融合检测图像对应的导线掩模图。
S270、根据所述导线掩模图从所述红外检测图像中分割出红外导线区域。
具体的，根据导线掩模图中分割出的导线区域所包含的像素点位置，在其对应的经图像融合前的红外检测图像中找出相应的像素点，这些像素点组成的区域就为红外导线区域。
S280、采用类间方差法获取与所述红外导线区域匹配的异常温度阈值。
S290、比较所述红外导线区域中灰度值与所述异常温度阈值的大小，将红外导线区域中灰度值大于所述异常温度阈值的各像素点，组合得到所述异常温度区域。
S2100、将所述异常温度区域，判定为具有导线散股缺陷的区域。
本发明实施例的技术方案，通过预先训练UNet分割模型，将所述融合检测图像输入至UNet分割模型中获取导线掩模图，并从导线掩模图中分割出红外导线区域，再将红外导线区域中异常温度区域判定为具有导线散股缺陷的区域的方式，解决了红外图像中导线与背景对比度低难以区分的问题，降低了导线散股检测的误报率，消除了光照条件对导线散股检测的影响。
实施例三
图3为本发明实施例三提供的一种导线散股缺陷的检测装置的结构示意图。如图3所示，该装置包括：图像获取模块310、图像融合模块320、掩模图获取模块330以及散股缺陷检测模块340，其中：
图像获取模块310，用于获取电力线路场景中的红外检测图像和可见光检测图像。
图像融合模块320，用于对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征。
掩模图获取模块330，用于将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图。
散股缺陷检测模块340，用于根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷。
本发明实施例的技术方案，通过获取电力线路场景中的红外检测图像与可见光检测图像，并将同一帧的红外检测图像与可见光检测图像融合，得到四通道的融合检测图像，利用图像分割模型从所述融合检测图像中获取导线掩模图，再根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，利用类间方差法计算异常温度阈值，将分割出的红外导线区域内大于异常温度阈值的各像素点组合得到异常温度区域，提供了一种精准识别导线是否存在散股缺陷的方法，对导线散股缺陷的检测不受光照条件影响，可以在导线散股的早期阶段对其及时检出，有效防止导线进一步损坏。
在上述各实施例的基础上，所述图像分割模型为UNet分割模型。
在上述各实施例的基础上，图像获取模块310，可以具体用于：获取无人机在距离所述电力线路场景预设高度进行飞行作业时，以低帧速率采集得到的红外检测图像和可见光检测图像。
在上述各实施例的基础上，散股缺陷检测模块340，可以具体用于：在所述红外导线区域中识别异常温度区域，并确定所述异常温度区域内的导线存在导线散股缺陷。
在上述各实施例的基础上，还可以包括UNet模型训练模块，用于：
获取待训练的原始UNet模型；所述原始UNet模型的编码网络中包括具有6个跨层连接的ResNet50网络；所述原始UNet模型的的译码网络中包括5个译码模块，所述编码网络和所述译码网络之间具有4个跳跃连接；
使用预先标注的训练样本集，对所述原始UNet模型进行迭代训练，得到所述UNet分割模型；
其中，在对所述UNet模型进行训练的过程中，使用Dice函数作为损失函数。
在上述各实施例的基础上，还可以包括：异常温度区域检测单元，包括：
异常温度阈值获取子单元，用于采用类间方差法获取与所述红外导线区域匹配的异常温度阈值；
异常温度区域获取子单元，用于将所述红外导线区域中灰度值大于所述异常温度阈值的各像素点，组合得到所述异常温度区域。
在上述各实施例的基础上，异常温度阈值获取子单元，可以具体用于：
获取所述红外导线区域匹配的灰度级范围[0,L-1],其中，L为大于1的整数；
获取所述红外导线区域中，归属于每个灰度级i的像素点数量ni，导线区域的总像素数为N；
根据公式：pi＝ni/N，i＝0，1，2…，L-1，计算得到与每个灰度级i分别对应的几率pi；
依次在所述灰度级范围中获取一个当前处理灰度级T，获取所述红外导线区域中灰度值位于[0，T]的第一像素点集合C0，以及灰度值位于[T+1，L-1]的第二像素点集合C1；
根据公式：
计算得到与C0对应的均值u0，以及与C1对应的均值u1；其中，ω1＝1-ω0；
根据公式：uT＝ω0u0+ω1u1，计算得到所述红外导线区域的图像均值uT；
根据公式：计算得到与所述当前处理灰度级T匹配的类间方差/>
返回执行依次在所述灰度级范围中获取一个当前处理灰度级T的操作，直至计算得到与每个灰度级分别对应的类间方差；
将与最大类间方差对应的目标灰度级，确定为所述异常温度阈值。
本发明实施例所提供的导线散股缺陷的检测装置可执行本发明任意实施例所提供的导线散股缺陷的检测方法，具备执行方法相应的功能模块和有益效果。
实施例4
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如导线散股缺陷的检测方法。
也即：
获取电力线路场景中的红外检测图像和可见光检测图像；
对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征；
将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图；
根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷。
在一些实施例中，导线散股缺陷的检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的导线散股缺陷的检测方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行导线散股缺陷的检测方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (7)

1.一种导线散股缺陷的检测方法，其特征在于，包括：
获取电力线路场景中的红外检测图像和可见光检测图像；
对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征；
将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图；其中，所述图像分割模型为UNet分割模型；
根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷；
其中，在将所述融合检测图像输入至预先训练的图像分割模型中之前，还包括：
获取待训练的原始UNet模型；所述原始UNet模型的编码网络中包括具有6个跨层连接的ResNet50网络；所述原始UNet模型的的译码网络中包括5个译码模块，所述编码网络和所述译码网络之间具有4个跳跃连接；
使用预先标注的训练样本集，对所述原始UNet模型进行迭代训练，得到所述UNet分割模型；
其中，在对所述UNet模型进行训练的过程中，使用Dice函数作为损失函数；
其中，所述编码网络包括4个残差模块，每个残差模块包含两个卷积层、激活函数层和两个批量归一化层，卷积层卷积核的大小为3*3；所述译码网络包括五个译码模块，每个译码模块包含上采样、两个卷积层以及两个激活函数层；所述上采样采用最近邻插值法；
其中，根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷，包括：
在所述红外导线区域中识别异常温度区域，并确定所述异常温度区域内的导线存在导线散股缺陷。
2.根据权利要求1所述的方法，其特征在于，获取电力线路场景中的红外检测图像和可见光检测图像，包括：
获取无人机在距离所述电力线路场景预设高度进行飞行作业时，以低帧速率采集得到的红外检测图像和可见光检测图像。
3.根据权利要求1所述的方法，其特征在于，在所述红外导线区域中识别异常温度区域，包括：
采用类间方差法获取与所述红外导线区域匹配的异常温度阈值；
将所述红外导线区域中灰度值大于所述异常温度阈值的各像素点，组合得到所述异常温度区域。
4.根据权利要求3所述的方法，其特征在于，采用类间方差法获取与所述红外导线区域匹配的异常温度阈值，包括：
获取所述红外导线区域匹配的灰度级范围[0,L-1],其中，L为大于1的整数；
获取所述红外导线区域中，归属于每个灰度级i的像素点数量ni，所述红外导线区域的总像素数为N；
根据公式：pi＝ni/N,i＝0,1,2…,L-1，计算得到与每个灰度级i分别对应的几率pi；
依次在所述灰度级范围中获取一个当前处理灰度级T，获取所述红外导线区域中灰度值位于[0,T]的第一像素点集合C0，以及灰度值位于[T+1,L-1]的第二像素点集合C1；
根据公式：
计算得到与C0对应的均值u0，以及与C1对应的均值u1；其中，ω1＝1-ω0；
根据公式：uT＝ω0u0+ω1u1，计算得到所述红外导线区域的图像均值uT；
根据公式：计算得到与所述当前处理灰度级T匹配的类间方差/>
返回执行依次在所述灰度级范围中获取一个当前处理灰度级T的操作，直至计算得到与每个灰度级分别对应的类间方差；
将与最大类间方差对应的目标灰度级，确定为所述异常温度阈值。
5.一种导线散股缺陷的检测装置，其特征在于，包括：
图像获取模块，用于获取电力线路场景中的红外检测图像和可见光检测图像；
图像融合模块，用于对所述红外检测图像和可见光检测图像进行图像融合，得到融合检测图像，所述融合检测图像中的像素点包括可见光颜色特征和红外灰度特征；
掩模图获取模块，用于将所述融合检测图像输入至预先训练的图像分割模型中，获取与所述融合检测图像对应的导线掩模图；其中，所述图像分割模型为UNet分割模型；
散股缺陷检测模块，用于根据所述导线掩模图从所述红外检测图像中分割出红外导线区域，并根据所述红外导线区域，检测所述电力线路检测区域中是否存在导线散股缺陷；
其中，还包括UNet模型训练模块，用于：
获取待训练的原始UNet模型；所述原始UNet模型的编码网络中包括具有6个跨层连接的ResNet50网络；所述原始UNet模型的的译码网络中包括5个译码模块，所述编码网络和所述译码网络之间具有4个跳跃连接；
使用预先标注的训练样本集，对所述原始UNet模型进行迭代训练，得到所述UNet分割模型；
其中，在对所述UNet模型进行训练的过程中，使用Dice函数作为损失函数；
其中，所述编码网络包括4个残差模块，每个残差模块包含两个卷积层、激活函数层和两个批量归一化层，卷积层卷积核的大小为3*3；所述译码网络包括五个译码模块，每个译码模块包含上采样、两个卷积层以及两个激活函数层；所述上采样采用最近邻插值法；
其中，散股缺陷检测模块，具体用于：在所述红外导线区域中识别异常温度区域，并确定所述异常温度区域内的导线存在导线散股缺陷。
6.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的导线散股缺陷的检测方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的导线散股缺陷的检测方法。
CN202210615506.8A 2022-05-31 2022-05-31 一种导线散股缺陷的检测方法、装置、设备及介质 Active CN115018784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210615506.8A CN115018784B (zh) 2022-05-31 2022-05-31 一种导线散股缺陷的检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210615506.8A CN115018784B (zh) 2022-05-31 2022-05-31 一种导线散股缺陷的检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115018784A CN115018784A (zh) 2022-09-06
CN115018784B true CN115018784B (zh) 2024-03-12

Family

ID=83070868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210615506.8A Active CN115018784B (zh) 2022-05-31 2022-05-31 一种导线散股缺陷的检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115018784B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710366B (zh) * 2024-02-02 2024-05-14 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120936A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN108492292A (zh) * 2018-03-20 2018-09-04 西安工程大学 基于红外图像处理的导线散股检测方法
CN109544497A (zh) * 2018-11-21 2019-03-29 国网江苏省电力有限公司扬州供电分公司 用于输电线路检测的图像融合方法及电子设备
CN112465745A (zh) * 2020-10-26 2021-03-09 脉得智能科技(无锡)有限公司 一种基于全卷积回归网络的细胞计数方法
CN112819784A (zh) * 2021-02-01 2021-05-18 广东电网有限责任公司广州供电局 一种配电线路导线断股散股检测方法及***
CN113822865A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于深度学习的腹部ct图像肝脏自动分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120936A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN108492292A (zh) * 2018-03-20 2018-09-04 西安工程大学 基于红外图像处理的导线散股检测方法
CN109544497A (zh) * 2018-11-21 2019-03-29 国网江苏省电力有限公司扬州供电分公司 用于输电线路检测的图像融合方法及电子设备
CN112465745A (zh) * 2020-10-26 2021-03-09 脉得智能科技(无锡)有限公司 一种基于全卷积回归网络的细胞计数方法
CN112819784A (zh) * 2021-02-01 2021-05-18 广东电网有限责任公司广州供电局 一种配电线路导线断股散股检测方法及***
CN113822865A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于深度学习的腹部ct图像肝脏自动分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Deep Learning Method to Detect Foreign Objects for Inspecting Power Transmission Lines;J. Zhu等;IEEE;第8卷;全文 *
Attention-Based Multimodal Image Feature Fusion Module for Transmission Line Detection;H. Choi等;IEEE Transactions on Industrial Informatics;第2-30页 *
Real-time power line detection network using visible light and infrared images;Choi H等;IEEE;第1-6页 *
Research on antenna for detecting the corona discharge of transmission line;Yunfeng Xia等;The Journal of Engineering;全文 *
吴良斌.《SAR图像处理与目标识别》.北京：航空工业出版社,2013,第152-153页. *
基于无人机的输电线路立体巡检***设计及图像处理研究;王定松;中国优秀硕博论文全文库 信息科技辑;全文 *

Also Published As

Publication number Publication date
CN115018784A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112801164A (zh) 目标检测模型的训练方法、装置、设备及存储介质
CN117392733B (zh) 一种痤疮分级检测方法、装置、电子设备及存储介质
CN115018784B (zh) 一种导线散股缺陷的检测方法、装置、设备及介质
CN113569708A (zh) 活体识别方法、装置、电子设备以及存储介质
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN116703925B (zh) 一种轴承缺陷检测方法、装置、电子设备及存储介质
CN113705380A (zh) 雾天的目标检测方法、装置、电子设备以及存储介质
CN116778386A (zh) 一种六氟化硫的泄露检测方法、装置、设备及存储介质
CN116205874A (zh) 一种绝缘子缺陷检测方法、装置、设备及存储介质
US10146042B2 (en) Image processing apparatus, storage medium, and image processing method
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
CN114219744B (zh) 图像生成方法、装置、设备及存储介质
CN118212668A (zh) 一种目标识别方法、装置、电子设备及介质
CN115908982B (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN116091785A (zh) 识别模型的生成方法、装置、电子设备及存储介质
CN116977332A (zh) 摄像头补光灯性能测试方法、装置、电子设备及存储介质
CN117934897A (zh) 一种设备异常检测方法、装置、设备以及存储介质
CN115527257A (zh) 人脸识别方法及装置
CN116912194A (zh) 一种绝缘子检测方法、装置、电子设备及存储介质
CN114037865A (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN114757845A (zh) 基于人脸识别的光线调节方法、装置、电子设备及介质
CN116052181A (zh) 图像方向的确定方法、装置、电子设备和介质
CN117808775A (zh) 一种缺陷层级的确定方法、装置、电子设备及存储介质
CN114842464A (zh) 图像方向识别方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant