CN113695256A - 一种电网异物检测识别方法及装置 - Google Patents

一种电网异物检测识别方法及装置 Download PDF

Info

Publication number
CN113695256A
CN113695256A CN202110950237.6A CN202110950237A CN113695256A CN 113695256 A CN113695256 A CN 113695256A CN 202110950237 A CN202110950237 A CN 202110950237A CN 113695256 A CN113695256 A CN 113695256A
Authority
CN
China
Prior art keywords
frame
foreign matter
determining
information
foreign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110950237.6A
Other languages
English (en)
Other versions
CN113695256B (zh
Inventor
谭笑
陈杰
李鸿泽
高超
邱刚
柏仓
张廼龙
高嵩
刘建军
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202110950237.6A priority Critical patent/CN113695256B/zh
Publication of CN113695256A publication Critical patent/CN113695256A/zh
Application granted granted Critical
Publication of CN113695256B publication Critical patent/CN113695256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B7/00—Cleaning by methods not provided for in a single other subclass or a single group in this subclass
    • B08B7/0035—Cleaning by methods not provided for in a single other subclass or a single group in this subclass by radiant energy, e.g. UV, laser, light beam or the like
    • B08B7/0042—Cleaning by methods not provided for in a single other subclass or a single group in this subclass by radiant energy, e.g. UV, laser, light beam or the like by laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种电网异物检测识别方法及装置，首先确定与异物图像一一对应的区域建议框，对正样本和负样本进行划分。提取正样本的区域建议框，生成正样本的区域建议框的掩膜结果。将异物图像输入到损失函数中确定确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。获取区域提议框，并确定区域提议框到异物图像实际位置的偏移量。对候选框进行筛选并确定目标候选框，输出异物信息、电缆的分类信息和像素区域信息。通过从异物图像中提取不同尺度的特征图用于异物的检测，并且进行了一次分割操作。由于每个特征图的尺度大小和感受都不尽相同，因此对每个特征图的处理和分析能够检测出不同大小的异物，并且提取出更加精准的异物区域信息。

Description

一种电网异物检测识别方法及装置
技术领域
本申请涉及激光清除器异物识别技术领域，尤其涉及一种电网异物检测识别方法及装置。
背景技术
近年来，随着电网建设的步伐加快，建设在市郊城镇的架空输电线路越来越多。架空输电线路很容易被异物缠绕，如风筝、风筝线、农用塑料布、遮阳网等。架空输电线路上的异物悬挂极易造成导地线的单相接地、相间短路等跳闸事故，严重影响电网的安全稳定运行。
现有技术中，一般会采用视频监控的方式对架空输电线路中的电网异物进行识别。目前视频监控方法首先获取异物图像，然后对前景和背景进行建模，再针对性的提取具有区分度的电网异物与背景特征，最后通过分类器对提取的特征进行分类，从而实现对电网异物的检测识别。
但是视频监控的方式鲁棒性较差，在变换使用场景时，电网异物检测识别的精度很低。例如将使用场景由变电站换为其他场景时会导致方法检测精度的急剧下降，当摄像头采集的图片由近景换为远景时也会导致识别精度降低。
发明内容
本申请公开了一种电网异物检测识别方法及装置，用于解决现有技术对电网异物的检测识别中，视频监控的方式鲁棒性较差，在变换使用场景时，电网异物检测识别的精度很低。例如将使用场景由变电站换为其他场景时会导致方法检测精度的急剧下降，当摄像头采集的图片由近景换为远景时也会导致识别精度降低的技术问题。
本申请第一方面公开了一种电网异物检测识别方法，包括：
获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像；
针对任一异物图像，获取所述任一异物图像多个特征图；
根据所述多个特征图，确定所述任一异物图像对应的区域建议框；
获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本；所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框；
获取所述正样本的区域建议框，以及获取所述正样本的特征图；
根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果；
根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息；
获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量；
根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框；
根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息；
根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线；
根据所述目标灼烧线对异物进行灼烧清除。
可选的，所述根据所述多个特征图，确定所述任一异物图像对应的区域建议框，包括：
根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框；
根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
可选的，所述根据所述电网悬挂异物数据集、所述默认框和预设的真实样本值，确定正样本和负样本，包括：
获取预设的交并比阈值；
根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本；若否，则确定为负样本。
可选的，所述根据所述目标灼烧线对异物进行灼烧清除，包括：
根据所述异物信息，确定该类异物熔断时所需最小激光功率密度；
根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
可选的，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
本申请第二方面公开了一种电网异物检测识别装置，所述电网异物检测识别装置应用于本申请第一方面公开的电网异物检测识别方法，所述电网异物检测识别装置包括：
异物数据集获取模块，用于获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像；
特征图获取模块，用于针对任一异物图像，获取所述任一异物图像多个特征图；
区域建议框确定模块，用于根据所述多个特征图，确定所述任一异物图像对应的区域建议框；
样本划分模块，用于获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本；所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框；
正样本参数模块，用于获取所述正样本的区域建议框，以及获取所述正样本的特征图；
掩膜结果确定模块，用于根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果；
信息获取模块，用于根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息；
偏移量确定模块，用于获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量；
目标候选框确定模块，用于根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框；
目标信息获取模块，用于根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息；
参考线确定模块，用于根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线；
异物清除模块，用于根据所述目标灼烧线对异物进行灼烧清除。
可选的，所述区域建议框确定模块包括：
待定区域建议框获取单元，用于根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框；
区域建议框获取单元，用于根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
可选的，所述样本划分模块包括：
阈值获取单元，用于获取预设的交并比阈值；
样本划分单元，用于根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本；若否，则确定为负样本。
可选的，所述异物清除模块包括：
密度获取单元，用于根据所述异物信息，确定该类异物熔断时所需最小激光功率密度；
灼烧清除单元，用于根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
可选的，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
本申请涉及激光清除器异物识别领域，公开了一种电网异物检测识别方法及装置，在该方法中，首先针对电网悬挂异物数据集中任一异物图像，确定一一对应的区域建议框。然后确定电网悬挂异物数据集中的正样本和负样本。进一步提取正样本的区域建议框，生成所述正样本的区域建议框的掩膜结果。完成正负样本的选取后，将正样本和负样本输入到损失函数中进行计算，确定确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。然后获取预设的区域提议框，确定所述区域提议框到异物图像实际位置的偏移量，进一步对候选框进行筛选，确定目标候选框。最后根据所述目标候选框，输出异物信息、电缆的分类信息和像素区域信息，并根据信息完成对异物的识别与清除。
本申请通过从异物图像中提取不同尺度的特征图用于异物的检测，并且在检测结果后进行了一次分割操作。由于每个特征图的尺度大小和感受都不尽相同，因此对每个特征图的处理和分析能够将检测出不同大小的异物，并且提取出更加精准的异物区域信息。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种电网异物检测识别方法的工作流程示意图；
图2为本申请实施例公开的一种电网异物检测识别方法中，获得不同激光功率密度的结构示意图；
图3为本申请实施例公开的一种电网异物检测识别装置的结构示意图。
具体实施方式
为了解决现有技术中，对电网异物的检测识别中，视频监控的方式鲁棒性较差，在变换使用场景时，电网异物检测识别的精度很低。例如将使用场景由变电站换为其他场景时会导致方法检测精度的急剧下降，当摄像头采集的图片由近景换为远景时也会导致识别精度降低的技术问题，本申请通过以下两个实施例公开了一种电网异物检测识别方法及装置。
本申请第一实施例公开了一种电网异物检测识别方法，参见图1所示的工作流程示意图，所述电网异物检测识别方法包括：
步骤S101，获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像。
具体来说，在深度学习模型的测试过程中，用于训练的数据集与训练模型同样重要，一个高质量的数据集往往能够提高模型训练的质量和预测的准确率。通过查找资料后发现，目前存在的电网异物图片数量较少，且背景干扰较多，无法作为该项目中的数据图片参与训练，因此，需要预先建立一个电网悬挂异物数据集。
输电线上缠绕异物的现象一般出现在远离城区旷野地区，因此在构建电网悬挂异物数据集时，选择在野外搭建异物架设、拍摄异物图片平台，尽量满足异物拍摄背景真实、不同距离下异物图像。由于异物架设的地点移动很麻烦，所以将电线及异物固定在一个视野开阔的地方，采用笔记本、移动电源供电、小拖车搭建可移动的拍摄异物图片平台。拍摄数据集时将异物悬挂在300米外楼顶平台的钢芯铝绞线上，采用52倍相机拍摄，背景首先考虑理想情况，即为晴朗天空，无风或微风环境。
常见的挂线异物一般包括树枝、风筝、气球、农用塑料大棚的薄膜碎片，在构建电网悬挂异物数据集时首先选取了广告横幅、风筝、布条、塑料袋等常见异物，由于不同风筝的形态差异较大，在拍摄数据集时总选取了四种不同类型的风筝。
本实施例为实现对电力高压线激光清除异物场景中的挂网异物识别，以及激光灼烧点检测，提出了一种基于Mask R-CNN实例分割的电网异物检测识别方法，采用轻量级深度学习神经网络，从图像中充分提取不同尺度特征，并生成区域提议框，经过非极大值抑制提取出最终的结果，异物信息、电缆的分类信息和像素区域信息。
本实施例主要从特征提取的角度对传统方法进行改进，通过深度卷积层结构从图像中提取不同尺度的特征响应图用于目标的检测，并且在检测结果后进行了一次分割操作。由于每个特征图的尺度大小和感受野都不尽相同，因此对每个特征图的处理和分析能够将检测出不同大小的目标，并且提取出更加精准的物体区域信息，这是传统方法难以实现的。
步骤S102，针对任一异物图像，获取所述任一异物图像多个特征图。
步骤S103，根据所述多个特征图，确定所述任一异物图像对应的区域建议框。
在本申请的部分实施例中，所述根据所述多个特征图，确定所述任一异物图像对应的区域建议框，包括：
根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框。
根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
具体来说，步骤S102和步骤S103是基于特征金字塔的多层特征图区域建议框生成，读入图像后首先经过多层卷积，生成一系列深度不同的特征图，并在这一系列的特征图上，利用ROI Align技术生成一系列大小相同、深度不同的区域建议框，并通过非极大值抑制算法得到最终的区域建议框。
步骤S104，获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本。所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框。
在本申请的部分实施例中，所述根据所述电网悬挂异物数据集、所述默认框和预设的真实样本值，确定正样本和负样本，包括：
获取预设的交并比阈值。
根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本。若否，则确定为负样本。
具体来说，在尺度和宽高比多样的默认框中，会有小部分异物图像和真实样本值(GroundTruth)有部分重合。此时，设置重合度样本为正样本，而其余的异物图像会被视作负样本。其中默认框和真实样本值的重合度采用交并比来衡量。
若存在A框与B框，其交并比计算方式为：交并比就是A与B相交叉的范围与A与B的并集的比值。本算法在正负样本判断中取交并比阈值为0.5，即所有默认框中，与真实样本值的交并比超过0.5时被视为正样本，相反的视为负样本。在训练时，所有正样本都会参与训练。负样本的数量远多于正样本，且过多的负样本不利于网络的训练，因此随机取负样本与正样本数量为3:1。
步骤S105，获取所述正样本的区域建议框，以及获取所述正样本的特征图。
步骤S106，根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果。
具体来说，提取出正样本的区域建议框，通过ROI Align和一次deconv处理后生成特征图，并对每个类别进行sigmoid处理，最终生成区域建议框的掩膜结果。
步骤S107，根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。
具体来说，完成正负样本的选取后，会将这些异物图像分别输入到损失函数中进行计算，为网络调参的提供依据。Mask RCNN是端对端的深度学习网络，最后输出的是候选框的位置信息、候选框所代表的类别与异物的掩膜信息。将位置信息、类别信息和掩膜信息列入同一个损失函数中，这个损失函数为：
L＝L_cls+L_box+L_mask；
其中，Lcls是一个Softmax损失函数，其工作原理与常用的图像分类网络相同，这里用于对算法的分类精度的计算。
Lbox是位置损失函数Smooth L1 Loss，它负责回归位置的损失。
Lmask是Mask的损失函数，对于每一个ROI，mask分支有Km*m维度的输出，其对K个大小为m*m的mask进行编码，即K个分辨率为m*m的二值的掩膜。
完成损失函数的计算后即可开始反向传播对参数进行更新。
步骤S108，获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量。
具体来说，区域提议框在识别过程中主要的作用是提供给深度神经网络一个初始值。因为卷积神经网络本身难以在没有锚框提供初值的情况下，只通过卷积和池化等运算生成对应的检测框。
在本申请的部分实施例中，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
具体来说，卷积网络获得初值后，会对默认框的类别和位置进行预测。由于默认框仅仅是在固定位置上生成的不同大小和宽高比的框，并不能准确预测出不同位置和尺度的目标，因此算法需要预测区域提议框到实际位置的偏移量。该位置的偏移量包括4个值，分别对应框的左上角的横纵坐标，以及框的宽和高。
步骤S109，根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框。
具体来说，通过非极大值抑制，去除识别统一目标的多余候选框，最终留下的候选框作为待识别目标，即所述目标候选框。
步骤S110，根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息。
步骤S111，根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线。
具体来说，根据步骤S110输出的异物信息、电缆的分类信息和像素区域信息，在目标候选框对应的图像上绘制与电缆平行的、经过异物区域的灼烧参考线，并采用灼烧参考线与异物边界的两个交点作为灼烧的起止点。
步骤S112，根据所述目标灼烧线对异物进行灼烧清除。
在本申请的部分实施例中，所述根据所述目标灼烧线对异物进行灼烧清除，包括：
根据所述异物信息，确定该类异物熔断时所需最小激光功率密度。
根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
具体来说，开始灼烧后，重复步骤S101至步骤S110得到更新的异物区域及灼烧点，直至异物清除，灼烧结束。
在本申请的部分实施例中，异物熔断时所需最小激光功率密度通过如下方式获取：
结合激光清除作业实际工作场景以及激光器的作业范围，选取了一些常见的异物材料，其中不同颜色、透明度的异物区分为不同的异物类别，分别用不同功率百分比的100％圆光斑灼烧熔断异物，通过激光灼烧实验记录异物熔断时对应激光最大功率的百分比，并计算异物材料最佳熔断清除的功率密度。
激光功率的调节一般难以精确调节，因此可以采用改变光斑大小的方法进行实验，以此获得不同激光功率密度。采用一个焦距为F的聚焦镜，放置在激光管输出口前面，激光光束将在焦点聚焦后发散，在发散后的不同位置，可以得到不同的光斑大小，根据公式可以计算出该位置光斑大小对应的激光功率密度。
将实验异物材料放置在光轴上，从远及近依次移动，如图2所示，从pn开始一直向p1位置移动，当异物在某个位置熔断或者燃烧时，记录下该位置的光斑大小，计算可得该类异物熔断时所需最小激光功率密度。
实验环境中空气温度15.7℃，湿度61％，实验结果如表1所示：
表1
Figure BDA0003218150910000081
本实施例针对自行构建的电网悬挂异物数据集，为实现对电力高压线激光清除异物场景中的挂网异物识别，以及激光灼烧点检测，提出了一种基于Mask R-CNN实例分割的电网异物检测识别方法，采用轻量级深度学习神经网络，从图像中充分提取不同尺度特征，并生成区域提议框，经过非极大值抑制提取出最终的结果，异物信息、电缆的分类信息和像素区域信息。在识别到异物种类后，会根据最佳熔断密度给出推荐的出光功率。
本申请上述实施例公开的一种电网异物检测识别方法，首先针对电网悬挂异物数据集中任一异物图像，确定一一对应的区域建议框。然后确定电网悬挂异物数据集中的正样本和负样本。进一步提取正样本的区域建议框，生成所述正样本的区域建议框的掩膜结果。完成正负样本的选取后，将正样本和负样本输入到损失函数中进行计算，确定确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。然后获取预设的区域提议框，确定所述区域提议框到异物图像实际位置的偏移量，进一步对候选框进行筛选，确定目标候选框。最后根据所述目标候选框，输出异物信息、电缆的分类信息和像素区域信息，并根据信息完成对异物的识别与清除。
本实施例通过从异物图像中提取不同尺度的特征图用于异物的检测，并且在检测结果后进行了一次分割操作。由于每个特征图的尺度大小和感受都不尽相同，因此对每个特征图的处理和分析能够将检测出不同大小的异物，并且提取出更加精准的异物区域信息。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
本申请第二实施例公开了一种电网异物检测识别装置，所述电网异物检测识别装置应用于本申请第一实施例公开的电网异物检测识别方法，参见图3所示的结构示意图，所述电网异物检测识别装置包括：
异物数据集获取模块201，用于获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像。
特征图获取模块202，用于针对任一异物图像，获取所述任一异物图像多个特征图。
区域建议框确定模块203，用于根据所述多个特征图，确定所述任一异物图像对应的区域建议框。
进一步的，所述区域建议框确定模块203包括：
待定区域建议框获取单元，用于根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框。
区域建议框获取单元，用于根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
样本划分模块204，用于获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本。所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框。
进一步的，所述样本划分模块204包括：
阈值获取单元，用于获取预设的交并比阈值。
样本划分单元，用于根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本。若否，则确定为负样本。
正样本参数模块205，用于获取所述正样本的区域建议框，以及获取所述正样本的特征图。
掩膜结果确定模块206，用于根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果。
信息获取模块207，用于根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息。
偏移量确定模块208，用于获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量。
目标候选框确定模块209，用于根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框。
目标信息获取模块210，用于根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息。
参考线确定模块211，用于根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线。
异物清除模块212，用于根据所述目标灼烧线对异物进行灼烧清除。
进一步的，所述异物清除模块212包括：
密度获取单元，用于根据所述异物信息，确定该类异物熔断时所需最小激光功率密度。
灼烧清除单元，用于根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
在本申请的部分实施例中，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (10)

1.一种电网异物检测识别方法，其特征在于，包括：
获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像；
针对任一异物图像，获取所述任一异物图像多个特征图；
根据所述多个特征图，确定所述任一异物图像对应的区域建议框；
获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本；所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框；
获取所述正样本的区域建议框，以及获取所述正样本的特征图；
根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果；
根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息；
获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量；
根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框；
根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息；
根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线；
根据所述目标灼烧线对异物进行灼烧清除。
2.根据权利要求1所述的电网异物检测识别方法，其特征在于，所述根据所述多个特征图，确定所述任一异物图像对应的区域建议框，包括：
根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框；
根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
3.根据权利要求1所述的电网异物检测识别方法，其特征在于，所述根据所述电网悬挂异物数据集、所述默认框和预设的真实样本值，确定正样本和负样本，包括：
获取预设的交并比阈值；
根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本；若否，则确定为负样本。
4.根据权利要求1所述的电网异物检测识别方法，其特征在于，所述根据所述目标灼烧线对异物进行灼烧清除，包括：
根据所述异物信息，确定该类异物熔断时所需最小激光功率密度；
根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
5.根据权利要求1所述的电网异物检测识别方法，其特征在于，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
6.一种电网异物检测识别装置，其特征在于，所述电网异物检测识别装置应用于权利要求1-5任一项所述的电网异物检测识别方法，所述电网异物检测识别装置包括：
异物数据集获取模块，用于获取电网悬挂异物数据集，所述电网悬挂异物数据集包括多个异物图像；
特征图获取模块，用于针对任一异物图像，获取所述任一异物图像多个特征图；
区域建议框确定模块，用于根据所述多个特征图，确定所述任一异物图像对应的区域建议框；
样本划分模块，用于获取预先设定的默认框，以及获取预设的真实样本值，并根据所述电网悬挂异物数据集、所述默认框和所述真实样本值，确定正样本和负样本；所述默认框是指在所述异物图像的固定位置上生成的不同大小和宽高比的框；
正样本参数模块，用于获取所述正样本的区域建议框，以及获取所述正样本的特征图；
掩膜结果确定模块，用于根据所述正样本的区域建议框和所述正样本的特征图，确定所述正样本的区域建议框的掩膜结果；
信息获取模块，用于根据所述正样本、所述负样本、所述正样本的区域建议框的掩膜结果，确定候选框的位置信息、候选框的类别信息和异物的掩膜信息；
偏移量确定模块，用于获取预设的区域提议框，并根据所述区域提议框，确定所述区域提议框到异物图像实际位置的偏移量；
目标候选框确定模块，用于根据所述候选框的位置信息、所述候选框的类别信息、所述异物的掩膜信息、所述偏移量，确定目标候选框；
目标信息获取模块，用于根据所述目标候选框，确定异物信息、电缆的分类信息和像素区域信息；
参考线确定模块，用于根据所述异物信息、所述电缆的分类信息和所述像素区域信息，确定目标灼烧线，所述目标灼烧线是指所述目标候选框上与电缆平行的、经过异物区域的灼烧参考线；
异物清除模块，用于根据所述目标灼烧线对异物进行灼烧清除。
7.根据权利要求6所述的电网异物检测识别装置，其特征在于，所述区域建议框确定模块包括：
待定区域建议框获取单元，用于根据所述多个特征图，确定与所述多个特征图的多个待定的区域建议框；
区域建议框获取单元，用于根据所述多个待定的区域建议框，确定所述任一异物图像对应的区域建议框。
8.根据权利要求6所述的电网异物检测识别装置，其特征在于，所述样本划分模块包括：
阈值获取单元，用于获取预设的交并比阈值；
样本划分单元，用于根据所述电网悬挂异物数据集，判断所述默认框与所述真实样本值的交并比是否超过所述交并比阈值，若是，则确定为正样本；若否，则确定为负样本。
9.根据权利要求6所述的电网异物检测识别装置，其特征在于，所述异物清除模块包括：
密度获取单元，用于根据所述异物信息，确定该类异物熔断时所需最小激光功率密度；
灼烧清除单元，用于根据所述目标灼烧线和所述该类异物熔断时所需最小激光功率密度，对异物进行灼烧清除。
10.根据权利要求6所述的电网异物检测识别装置，其特征在于，所述偏移量包括：所述区域提议框的左上角的横坐标、所述区域提议框的左上角的纵坐标、所述区域提议框的宽和所述区域提议框的高。
CN202110950237.6A 2021-08-18 2021-08-18 一种电网异物检测识别方法及装置 Active CN113695256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110950237.6A CN113695256B (zh) 2021-08-18 2021-08-18 一种电网异物检测识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110950237.6A CN113695256B (zh) 2021-08-18 2021-08-18 一种电网异物检测识别方法及装置

Publications (2)

Publication Number Publication Date
CN113695256A true CN113695256A (zh) 2021-11-26
CN113695256B CN113695256B (zh) 2023-05-23

Family

ID=78653352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110950237.6A Active CN113695256B (zh) 2021-08-18 2021-08-18 一种电网异物检测识别方法及装置

Country Status (1)

Country Link
CN (1) CN113695256B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4692623A (en) * 1986-02-13 1987-09-08 The United States Of America As Represented By The Secretary Of The Army Precision laser beam positioner and spatially resolved laser beam sampling meter
CN109191438A (zh) * 2018-08-17 2019-01-11 中科光绘（上海）科技有限公司 一种用于激光异物清除器的异物识别方法
CN109409371A (zh) * 2017-08-18 2019-03-01 三星电子株式会社 用于图像的语义分割的***和方法
CN109829908A (zh) * 2019-01-31 2019-05-31 广东电网有限责任公司 基于双目影像的电力线下方地物安全距离检测方法及设备
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
CN110200598A (zh) * 2019-06-12 2019-09-06 天津大学 一种大型养殖场体征异常禽类检测***及检测方法
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN111008567A (zh) * 2019-11-07 2020-04-14 郑州大学 一种驾驶员行为识别方法
CN111346842A (zh) * 2018-12-24 2020-06-30 顺丰科技有限公司 煤矸石分拣方法、装置、设备及存储介质
CN111695622A (zh) * 2020-06-09 2020-09-22 全球能源互联网研究院有限公司 变电作业场景的标识模型训练方法、标识方法及装置
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
WO2020216008A1 (zh) * 2019-04-25 2020-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN112950634A (zh) * 2021-04-22 2021-06-11 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和***
US20220092869A1 (en) * 2019-01-17 2022-03-24 Toyota Motor Europe System and method for generating a mask for object instances in an image

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4692623A (en) * 1986-02-13 1987-09-08 The United States Of America As Represented By The Secretary Of The Army Precision laser beam positioner and spatially resolved laser beam sampling meter
CN109409371A (zh) * 2017-08-18 2019-03-01 三星电子株式会社 用于图像的语义分割的***和方法
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
CN109191438A (zh) * 2018-08-17 2019-01-11 中科光绘（上海）科技有限公司 一种用于激光异物清除器的异物识别方法
CN111346842A (zh) * 2018-12-24 2020-06-30 顺丰科技有限公司 煤矸石分拣方法、装置、设备及存储介质
US20220092869A1 (en) * 2019-01-17 2022-03-24 Toyota Motor Europe System and method for generating a mask for object instances in an image
CN109829908A (zh) * 2019-01-31 2019-05-31 广东电网有限责任公司 基于双目影像的电力线下方地物安全距离检测方法及设备
WO2020216008A1 (zh) * 2019-04-25 2020-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110200598A (zh) * 2019-06-12 2019-09-06 天津大学 一种大型养殖场体征异常禽类检测***及检测方法
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN111008567A (zh) * 2019-11-07 2020-04-14 郑州大学 一种驾驶员行为识别方法
CN111695622A (zh) * 2020-06-09 2020-09-22 全球能源互联网研究院有限公司 变电作业场景的标识模型训练方法、标识方法及装置
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN112950634A (zh) * 2021-04-22 2021-06-11 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周维维等: "激光异物清除器装置研究", 《计算机测量与控制》 *
葛瑞婷: "基于改进Mask RCNN网络模型的幼龄枸杞剪枝关键算法研究", 《中国优秀硕士学位论文全文数据库农业科技辑》 *

Also Published As

Publication number Publication date
CN113695256B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN109147254B (zh) 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
CN108596165B (zh) 基于无人机低空航拍图像的道路交通标线检测方法及***
CN110473221B (zh) 一种目标物体自动扫描***及方法
CN104048969A (zh) 一种隧道病害的识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
EP2124194B1 (en) Method of detecting objects
CN107689157B (zh) 基于深度学习的交通路口可通行道路规划方法
CN110610483A (zh) 裂纹图像获取、检测方法、计算机设备及可读存储介质
CN106599776B (zh) 一种基于轨迹分析的人数统计方法
CN104597057A (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN115546170B (zh) 一种基于激光测距的风机叶片缺陷定位方法及***
CN106600643A (zh) 一种基于轨迹分析的人数统计方法
CN108074232A (zh) 一种基于体元分割的机载lidar建筑物检测方法
CN112308913A (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN115965934A (zh) 一种停车位检测方法及装置
Li et al. 3D map system for tree monitoring in hong kong using *** street view imagery and deep learning
CN106228560B (zh) 一种复杂场景下的人数统计方法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN113695256B (zh) 一种电网异物检测识别方法及装置
CN116189136A (zh) 一种基于深度学习的雨雪天气下交通信号灯检测方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN115239621A (zh) 一种基于虚实匹配的变电站视觉智能巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant