CN115239646A - 输电线路的缺陷检测方法、装置、电子设备及存储介质 - Google Patents

输电线路的缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115239646A
CN115239646A CN202210786002.2A CN202210786002A CN115239646A CN 115239646 A CN115239646 A CN 115239646A CN 202210786002 A CN202210786002 A CN 202210786002A CN 115239646 A CN115239646 A CN 115239646A
Authority
CN
China
Prior art keywords
image
power transmission
transmission line
defect
algorithm model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210786002.2A
Other languages
English (en)
Inventor
刘洪�
冯宇
李光国
李捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayan Intelligent Technology Group Co ltd
Original Assignee
Huayan Intelligent Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayan Intelligent Technology Group Co ltd filed Critical Huayan Intelligent Technology Group Co ltd
Priority to CN202210786002.2A priority Critical patent/CN115239646A/zh
Publication of CN115239646A publication Critical patent/CN115239646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20Checking timed patrols, e.g. of watchman
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了输电线路的缺陷检测方法、装置、电子设备及存储介质,该缺陷检测方法包括:获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。根据所述缺陷检测方法和缺陷检测装置,有效提高了输电线路缺陷类型的检测结果的准确性。

Description

输电线路的缺陷检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像识别技术领域,具体而言,涉及输电线路的缺陷检测方法、装置、电子设备及存储介质。
背景技术
传统输电线路的缺陷检测方法主要有以下两种:其一是人工巡检方式,也就是人工现场检查,该方式巡检人工成本高,工作效率低,尤其对于穷途远郊、高山大岭、人烟稀少的输电线路,其巡检工作面临巨大挑战。其二是无人机巡检,也就是电力巡检人员对无人机航拍的输电线路图像数据进行人工检查,该方式虽然比人工巡检方式节省人力与时间,但人工判读这些影像数据的工作量巨大并且常发生漏判,难以应用到实际运维工作中,导致只能完成少量及明显有缺陷的数据的判读,并且随着工作时间的拉长,人眼很容易产生视觉疲劳,误判、漏判的情况也就相继发生。
发明内容
有鉴于此,本申请的目的在于提供输电线路的缺陷检测方法、装置、电子设备及存储介质,采用分级检测策略,先利用预先训练好的基础基座区域算法模型检测出基础基座区域,再利用预先训练好的输电线路缺陷算法模型检测出基础基座区域内的输电线路的缺陷类型,可以有效提高输电线路缺陷类型的检测结果的准确性,解决了现有技术中对于输电线路缺陷类型的检测效率不高,且检测准确性不高的问题。
第一方面,申请实施例提供了一种输电线路的缺陷检测方法,所述缺陷检测方法包括:
获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;
基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;
将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
进一步的,所述将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框,包括:
基于所述输电线路巡检图像,利用所述基础基座区域算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第一跨阶层融合特征图;
利用所述基础基座区域算法模型中的RPN检测网络,得到所述第一跨阶层融合特征图对应的第一初步候选框;
对所述第一初步候选框进行放大与缩小,得到不同大小的多个第一目标候选框;其中,所述第一目标候选框与所述第一初步候选框之间存在比例关系;
将多个第一目标候选框映射到所述第一跨阶层融合特征图上,形成多层第一候选框金字塔特征图;
针对于每层第一候选框金字塔特征图,对该层第一候选框金字塔特征图采用ROIAlign算子进行处理,以得到第一ROI Align金字塔特征图;
基于每层第一ROI Align金字塔特征图,生成输电线路融合特征图;
将所述输电线路融合特征图输入到所述基础基座区域算法模型中的检测网络层中,以得到所述输电线路融合特征图中的基础基座区域框。
进一步的,通过以下方式训练所述基础基座区域算法模型:
获取输电巡检图像数据集;其中,所述输电巡检图像数据集中包括输电巡检样本图像;
利用标注工具对所述输电巡检图像数据集中的每张输电巡检样本图像进行基础基座区域标注,得到带有标注的输电巡检图像标注数据集;
根据所述输电巡检图像标注数据集确定出第一训练样本集、第一验证样本集和第一测试样本集;
针对所述第一训练样本集中的每张输电巡检样本标注图像,对该输电巡检样本标注图像进行数据增强处理,得到输电巡检增强图像;其中,所述数据增强处理包括随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种;
根据每张输电巡检样本标注图像以及每张输电巡检样本标注图像对应的输电巡检增强图像,确定输电巡检训练数据集;
将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型。
进一步的,所述将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型,包括:
针对所述输电巡检训练数据集中的每张第一训练样本图像,将该第一训练样本图像输入到所述基础基座区域初始算法模型中,得到该第一训练样本图像对应的基座预测框;
将该第一训练样本图像对应的基座真实框与所述基座预测框进行对比,计算当前状态下所述基础基座区域初始算法模型的第一损失值;其中,该第一训练样本图像对应的基座真实框为第一训练样本图像中所标注的区域;
若所述第一损失值大于预先设置的损失阈值,则调整所述基础基座区域初始算法模型的网络参数,直至训练的基础基座区域初始算法模型的第一损失值不大于所述损失阈值,得到目标基础基座区域算法模型;
利用所述第一验证样本集对所述目标基础基座区域算法模型进行评估,确定所述目标基础基座区域算法模型的第一验证指标,并判断所述第一验证指标是否达到预先设置的指标阈值;其中,所述第一验证指标包括发现率、准确率、漏检率和误检率;
若是,则将所述目标基础基座区域算法模型确定为最终的基础基座区域算法模型;
若否,则将所述第一测试样本集输入到所述目标基础基座区域算法模型中,确定出所述第一测试样本集中的第一漏检样本图像、第一误检样本图像以及第一漏检与误检样本图像;其中,第一漏检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量,第一误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座预测框的数量,第一漏检与误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量也小于基座预测框的数量,基座预测框与基座真实框匹配成功是指基座真实框与基座预测框之间的重叠率大于预设的重叠率阈值;
针对每张第一漏检样本图像,对该第一漏检样本图像进行数据增强处理,得到第一漏检样本增强图像,针对每张第一误检样本图像,对该第一误检样本图像进行数据增强处理,得到第一误检样本增强图像,针对每张第一漏检与误检样本图像,对该第一漏检与误检样本图像进行数据增强处理,得到第一漏检与误检样本增强图像;
将每张第一漏检样本图像、每张第一漏检样本图像对应的第一漏检样本增强图像、每张第一误检样本图像、每张第一误检样本图像对应的第一误检样本增强图像、每张第一漏检与误检样本图像以及每张第一漏检与误检样本图像对应的第一漏检与误检样本增强图像添加到所述输电巡检训练数据集中;
利用所述输电巡检训练数据集继续对所述目标基础基座区域算法模型进行训练,直至所述目标基础基座区域算法模型的第一验证指标达到了预先设置的指标阈值,得到最终的基础基座区域算法模型。
进一步的,所述基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像,包括:
将所述基础基座区域框的宽度和高度分别扩大预设倍数,以得到扩大后的基础基座区域框;
将所述扩大后的基础基座区域框确定为所述基础基座区域检测框;
利用所述基础基座区域检测框对所述输电线路巡检图像进行剪裁,以得到所述基础基座区域图像。
进一步的,所述将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型,包括:
基于所述基础基座区域图像,利用所述输电线路缺陷算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第二跨阶层融合特征图;
利用所述输电线路缺陷算法模型中的RPN检测网络,得到所述第二跨阶层融合特征图对应的第二初步候选框;
对所述第二初步候选框进行放大与缩小,得到不同大小的多个第二目标候选框;其中,所述第二目标候选框与所述第二初步候选框之间存在比例关系;
将多个第二目标候选框映射到所述第二跨阶层融合特征图上,形成多层第二候选框金字塔特征图;
针对于每层第二候选框金字塔特征图,对该层第二候选框金字塔特征图采用ROIAlign算子进行处理,以得到第二ROI Align金字塔特征图;
基于每层第二ROI Align金字塔特征图,生成基础基座区域融合特征图;
将所述基础基座区域融合特征图输入到所述输电线路缺陷算法模型的检测网络层中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
进一步的,通过以下方式训练所述输电线路缺陷算法模型:
获取基础基座图像数据集;其中,所述基础基座图像数据集中包括基础基座样本图像;
利用标注工具对所述基础基座图像数据集中的每张基础基座样本图像进行缺陷类型和缺陷位置的标注,得到带有标注的基础基座图像标注数据集;
根据所述基础基座图像标注数据集确定出第二训练样本集、第二验证样本集和第二测试样本集;
针对所述第二训练样本集中的每张基础基座样本标注图像,对该基础基座样本标注图像进行数据增强处理,得到基础基座增强图像;其中,所述数据增强处理包括随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种;
根据每张基础基座样本标注图像以及每张基础基座样本标注图像对应的基础基座增强图像,确定基础基座区域训练数据集;
将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型。
进一步的,所述将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型,包括:
针对所述基础基座区域训练数据集中的每张第二训练样本图像,将该第二训练样本图像输入到所述输电线路缺陷初始算法模型中,得到该第二训练样本图像对应的缺陷预测框和预测缺陷类型;
将该第二训练样本图像对应的缺陷真实框与所述缺陷预测框进行对比,将该第二训练样本图像对应的真实缺陷类型与所述预测缺陷类型进行对比,计算当前状态下所述输电线路缺陷初始算法模型的第二损失值;其中,该第二训练样本图像对应的缺陷真实框为第二训练样本图像中所标注的区域;
若所述第二损失值大于预先设置的损失阈值,则调整所述输电线路缺陷初始算法模型的网络参数,直至训练的输电线路缺陷初始算法模型的第二损失值不大于所述损失阈值,得到目标输电线路缺陷算法模型;
利用所述第二验证样本集对所述目标输电线路缺陷算法模型进行评估,确定所述目标输电线路缺陷算法模型的第二验证指标,并判断所述第二验证指标是否达到预先设置的指标阈值;其中,所述第二验证指标包括发现率、准确率、漏检率和误检率;
若是,则将所述目标输电线路缺陷算法模型确定为最终的输电线路缺陷算法模型;
若否,则将所述第二测试样本集输入到所述目标输电线路缺陷算法模型中,确定出所述第二测试样本集中的第二漏检样本图像、第二误检样本图像以及第二漏检与误检样本图像;其中,第二漏检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量,第二误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷预测框的数量,第二漏检与误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量也小于缺陷预测框的数量,缺陷预测框与缺陷真实框匹配成功是指缺陷真实框与缺陷预测框之间的重叠率大于预设的重叠率阈值且真实缺陷类型与预测缺陷类型完全相同;
针对每张第二漏检样本图像,对该第二漏检样本图像进行数据增强处理,得到第二漏检样本增强图像,针对每张第二误检样本图像,对该第二误检样本图像进行数据增强处理,得到第二误检样本增强图像,针对每张第二漏检与误检样本图像,对该第二漏检与误检样本图像进行数据增强处理,得到第二漏检与误检样本增强图像;
将每张第二漏检样本图像、每张第二漏检样本图像对应的第二漏检样本增强图像、每张第二误检样本图像、每张第二误检样本图像对应的第二误检样本增强图像、每张第二漏检与误检样本图像以及每张第二漏检与误检样本图像对应的第二漏检与误检样本增强图像添加到所述基础基座区域训练数据集中;
利用所述基础基座区域训练数据集继续对所述目标输电线路缺陷算法模型进行训练,直至所述目标输电线路缺陷算法模型的第二验证指标达到了预先设置的指标阈值,得到最终的输电线路缺陷算法模型。
第二方面,本申请实施例还提供了一种输电线路的缺陷检测装置,所述缺陷检测装置包括:
基础基座区域框确定模块,用于获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;
基础基座区域图像确定模块,用于基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;
缺陷类型确定模块,用于将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的输电线路的缺陷检测方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的输电线路的缺陷检测方法的步骤。
本申请实施例提供的输电线路的缺陷检测方法,采用分级检测策略,先利用预先训练好的基础基座区域算法模型检测出基础基座区域,再利用预先训练好的输电线路缺陷算法模型检测出基础基座区域内的输电线路的缺陷类型,可以有效提高输电线路缺陷类型的检测结果的准确性,解决了现有技术中对于输电线路缺陷类型的检测效率不高,且检测准确性不高的问题。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种输电线路的缺陷检测方法的流程图;
图2为本申请实施例所提供的基础基座区域框的确定方法的流程图;
图3为本申请实施例所提供的输电线路缺陷类型的确定方法的流程图;
图4为本申请实施例所提供的一种输电线路的缺陷检测装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
《架空输电线路隐患、缺陷及故障表象辨识图册》,较详细地说明了接地引下线在杆塔中的位置以及防雷、防电等作用,并通过图文方式阐述了接地引下线断裂、缺失、锈蚀等常见缺陷。《电力铁塔接地引下线结构》,介绍了接地引下线通过扁钢相连于铁塔,通过接地体相连于大地,并通过介绍一种新型接地引下线结构,解决了施工过程中刚度大、弯曲困难等操作不便问题。《铁塔防雷设施在线监测装置》,介绍了一种铁塔防雷设施在线监测装置,通过采集接地网异频信号返回值、接地引下线电阻值和避雷线电阻值,并通过CPU模块进行运算处理,并对处理后的数据结果传递到上位机,若结果超阈值则进行告警提醒,从而达到对铁塔防雷设施的在线监测。
随着电网规模的快速增长,输电线路的缺陷检修难度也越来越大。接地引下线作为输电线路中重要的防雷防电设施,如果出现断裂、缺失、锈蚀、被保护帽封住等情况,就会造成雷电由铁塔流入接地引下线再流入大地时无法进行有效泄流,严重影响输电线路的正常运行。为了能够快速地发现输电线路中接地引下线缺陷类型,以便运维人员进行现场检修,起到输电设备的防雷泄流作用,电力相关部门开展了定期或不定期的输电线路巡检工作。
目前,针对输电线路接地引下线缺陷巡检方式,主要有以下两种:其一是人工巡检方式,也就是人工现场检查,该方式巡检人工成本高,工作效率低,尤其对于穷途远郊、高山大岭、人烟稀少的输电线路,其巡检工作面临巨大挑战。其二是无人机巡检,也就是电力巡检人员对无人机航拍的输电线路图像数据进行人工检查,该方式虽然比人工巡检方式节省人力与时间,但后期大量的输电巡检图像需要人眼逐一检查,随着工作时间的拉长,人眼很容易产生视觉疲劳,误判、漏判也就相继发生。
《铁塔防雷设施在线监测装置》中“通过采集接地网异频信号返回值、接地引下线电阻值和避雷线电阻值,并通过CPU模块进行运算处理,并对处理后的数据结果传递到上位机,若结果超阈值则进行告警提醒,从而达到对铁塔防雷设施的在线监测”,只是采集了接地引下线电阻值以及采集接地网异频信号返回值和避雷线电阻值,并通过综合运算来判断是否到达铁塔防雷设施告警的阈值,并不是通过接地引下线图像信息来判断接地引下线的缺陷类型。
基于此,本申请实施例提供了一种输电线路的缺陷检测方法,有效提高输电线路缺陷类型的检测结果的准确性,解决了现有技术中对于输电线路缺陷类型的检测效率不高,且检测准确性不高的问题。
请参阅图1,图1为本申请实施例所提供的一种输电线路的缺陷检测方法的流程图。如图1中所示,本申请实施例提供的输电线路的缺陷检测方法,包括:
S101,获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框。
需要说明的是,输电线路巡检图像指的是预先采集的,输电线路的图像。这里的输电线路可以为接地引下线,对此本申请不做具体限定。基础基座区域算法模型指的是用于确定输电线路融合特征图中基础基座区域框的模型。基础基座区域框指的是用于标注输电线路融合特征图中存在的基础基座区域的标注框。
针对上述步骤S101,在具体实施时,获取无人机或直升机采集的输电线路巡检图像,通过采用无人机或者直升机搭载图像采集设备,在巡视输电线路的过程中对主要输电设备进行拍摄,获取电力设备的输电线路巡检图像,并将采集到的输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到输电线路巡检图像中的基础基座区域框。
请参阅图2,图2为本申请实施例所提供的基础基座区域框的确定方法的流程图。如图2中所示,所述将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框,包括:
S201,基于所述输电线路巡检图像,利用所述基础基座区域算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第一跨阶层融合特征图。
针对上述步骤S201,在具体实施时,输电线路巡检图像通过基础基座区域算法模型中的ResNet101骨干网络卷积层得到4层特征图(F2~F5),融合FPN特征金字塔网络层上采集特征图,得到具有更强表达的第一跨阶层融合特征图(P2~P5)。这里,如何通过ResNet101骨干网络卷积层得到4层特征图,以及如何融合FPN特征金字塔网络层上采集特征图,得到第一跨阶层融合特征图,在现有技术中有详细说明,在此不再赘述。
S202,利用所述基础基座区域算法模型中的RPN检测网络,得到所述第一跨阶层融合特征图对应的第一初步候选框。
需要说明的是,第一初步候选框指的是利用基础基座区域算法模型中的RPN检测网络得到的第一跨阶层融合特征图的候选框。RPN检测网络的本质是基于该第一跨阶层融合特征图,对特征图中的每一个点提取K个预先设定好长宽比和尺寸大小的候选框。
针对上述步骤S202,在具体实施时,步骤S201确定出第一跨阶层融合特征图后,将第一跨阶层融合特征图输入到基础基座区域算法模型中的RPN检测网络,利用RPN检测网络得到第一跨阶层融合特征图对应的第一初步候选框。这里,如何利用RPN检测网络确定候选框在现有技术中有详细说明,在此不再赘述。
S203,对所述第一初步候选框进行放大与缩小,得到不同大小的多个第一目标候选框。
需要说明的是,第一目标候选框指的是对第一初步候选框进行放大或缩小得到的候选框。这里,第一目标候选框与第一初步候选框之间存在比例关系。
针对上述步骤S203,在具体实施时,将RPN检测网络输出的第一初步候选框进行放大与缩小,得到不同大小的多个第一目标候选框,即将第一初步候选框的长宽按照一定比例进行放大或缩小,形成不同大小的第一目标候选框。例如,这里可以将比例分别设置为0.8、1、1.2。当比例为0.8时,则将第一初步候选框的宽和高分别缩小到0.8倍,得到第一目标候选框。当比例为1时,则将第一初步候选框不变,作为第一目标候选框。例如比例为1.2时,则将第一初步候选框的宽和高分别扩大到1.2倍,得到第一目标候选框。
S204,将多个第一目标候选框映射到所述第一跨阶层融合特征图上,形成多层第一候选框金字塔特征图。
需要说明的是,第一候选框金字塔特征图指的是使用第一目标候选框对第一跨阶层融合特征图进行剪裁后得到的特征图。
针对上述步骤S204,在具体实施时,步骤S203得到了多个第一目标候选框后,分别使用每个第一目标候选框对第一跨阶层融合特征图进行剪裁,以得到第一候选框金字塔特征图。延续步骤S203中的实施例,当得到了三个不同大小的第一目标候选框后,利用每个第一目标候选框区剪裁第一跨阶层融合特征图,得到三个不同大小的第一候选框金字塔特征图,这三个第一候选框金字塔特征图之间的比例为0.8:1:1.2。
S205,针对于每层第一候选框金字塔特征图,对该层第一候选框金字塔特征图采用ROI Align算子进行处理,以得到第一ROI Align金字塔特征图。
需要说明的是,第一ROI Align金字塔特征图指的是对第一候选框金字塔特征图做ROI Align操作后得到的特征图。
针对上述步骤S205,在具体实施时,RPN网络获得的每层特征图都要分别做ROIAlign操作,这样N个ROI就提取到N个不同的特征图。延续步骤S204中的实施例,得到了三层第一候选框金字塔特征图后,对每层第一候选框金字塔特征图做ROI Align操作,就可以得到三层第一ROI Align金字塔特征图。在具体实施时,为准确量化候选区域特征,得到统一池化特征,本申请摒弃了ROI Pooling操作方式,选择更准确的ROI Align操作,其具体操作过程如下:
(1)将候选区域映射到特征图上。假设第一候选框金字塔特征图的候选区域大小w*h,原图到特征图缩放倍数为k,则候选区域在第一候选框金字塔特征图的大小为(w/k)*(h/k),而w/k与h/k很可能不是整数,也就意味着候选区域框端点坐标没有落在特征图像素点上。
(2)将特征图候选区域分割成r*r个单元,每个单元的边界也不做量化。(w/k)*(h/k)的候选区域分割成r*r个单元,那么每个单元大小为(w/(kr))*(h/(kr)),显然w/(kr)与h/(kr)也很可能不是整数,但w/(kr)与h/(kr)通常都大于2个像素。
(3)在每个单元中选取四个中心点坐标位置,使用双线性插值法计算出这四个位置像素值。对于每个中心点位置,选取最近邻的四个特征值进行插值运算。具体的,如何使用双线性插值法计算像素值在现有技术中有详细说明,在此不再赘述。
(4)选取四个中心点像素值中的最大值,作为当前单元池化结果。对于其他单元,采用同样操作方法可以获取,这样就得到了ROI Align池化后的r*r第一ROI Align金字塔特征图。
S206,基于每层第一ROI Align金字塔特征图,生成输电线路融合特征图。
需要说明的是,输电线路融合特征图指的是对输电线路巡检图像进行特征融合后得到的融合特征图。
针对上述步骤S206,在具体实施时,将金字塔中每层第一ROI Align金字塔特征图赋予不同权重,得到输电线路融合特征图。具体的,输电线路融合特征图通过以下公式确定:
Figure BDA0003728620860000101
其中,
Figure BDA0003728620860000102
这里,g(x,y)表示输电线路融合特征图的像素值,fl(x,y)表示第l层第一ROIAlign金字塔特征图的像素值,n表示金字塔特征图层数,αl为第l层第一ROI Align金字塔特征图的权重系数。这里,每层特征图的权重系数可以预先设定。延续上述步骤中的实施例,n=3,对于比例为0.8,1,1.2的第一目标候选框所产生的第一ROI Align金字塔特征图对应权重系数可以分别设置为0.2,0.4,0.4。根据本申请提供的实施例,在确定输电线路融合特征图时,引入候选框金字塔特征图结构,通过ROI Align处理得到ROI Align特征金字塔,并赋予每层ROI Align特征图不同权值,融合成区域感知更强的ROI Align融合特征图。
S207,将所述输电线路融合特征图输入到所述基础基座区域算法模型中的检测网络层中,以得到所述输电线路融合特征图中的基础基座区域框。
需要说明的是,基础基座区域算法模型指的是用于确定输电线路融合特征图中基础基座区域框的模型。基础基座区域框指的是用于标注输电线路融合特征图中存在的基础基座区域的标注框。
针对上述步骤S207,在具体实施时,将步骤S206中确定的输电线路融合特征图输入到训练好的基础基座区域算法模型中,以得到输电线路融合特征图中的基础基座区域框。根据本申请提供的实施例,在具体实施时,输电线路融合特征图通过预先训练好的基础基座区域算法模型进行基础基座区域检测,如果该输电线路融合特征图未检测出存在基础基座区域,则将该输电线路融合特征图对应的输电线路巡检图像的检测结果记录为没有基础基座区域,并保存,该输电线路巡检图像的检测流程结束,不再继续执行下述步骤S102。如果该输电线路融合特征图检测出存在基础基座区域,则将该输电线路融合特征图对应的输电线路巡检图像的检测结果记录为有基础基座区域,并保存,该图像检测流程继续执行下述步骤S102。
作为一种可选的实施方式,通过以下方式训练所述基础基座区域算法模型:
步骤1011,获取输电巡检图像数据集。
需要说明的是,输电巡检图像数据集指的是预先构建好的,模型训练集中用于训练基础基座区域算法模型的初始数据集。这里,输电巡检图像数据集中包括输电巡检样本图像,可以包括不同背景、不同光照、不同角度的输电巡检样本图像。
针对上述步骤1011,在具体实施时,获取预先采集好的输电巡检图像数据集。
步骤1012,利用标注工具对所述输电巡检图像数据集中的每张输电巡检样本图像进行基础基座区域标注,得到带有标注的输电巡检图像标注数据集。
需要说明的是,基础基座区域标注指的是对输电巡检样本图像中的基础基座区域进行标注的过程。
针对上述步骤1012,在具体实施时,针对输电巡检图像数据集中的每张输电巡检样本图像,利用标注工具对该输电巡检样本图像进行基础基座区域标注,得到带有标注的输电巡检样本图像。具体的,利用工具labelImg中pascal_voc格式进行标注,标注区域为基础基座区域,内部包含了接地引下线,标签中文类别为基础基座区域,将上述标注信息用xml进行保存。再根据标注后的每张输电巡检样本图像确定带有标注的输电巡检图像标注数据集。
步骤1013,根据所述输电巡检图像标注数据集确定出第一训练样本集、第一验证样本集和第一测试样本集。
需要说明的是,第一训练样本集指的是用于训练模型的样本数据。第一验证样本集指的是用于对训练后的模型进行验证的样本数据。第一测试样本集指的是用于测试模型训练结果的样本数据。
针对上述步骤1013,在具体实施时,根据输电巡检图像标注数据集确定出第一训练样本集、第一验证样本集和第一测试样本集。具体的,制作输电巡检图像标注数据集VOC格式:先将输电巡检图像标注数据集中每张输电巡检样本标注图像放在VOC2007_jichujizou/JPEGImages文件中,将输电巡检样本标注图像对应的标注xml文件放在VOC2007_jichujizou/Annotations文件中。然后按照7:2:1比例分为第一训练样本集、第一测试样本集与第一验证样本集,将对应的训练、测试、验证样本图像前缀名字依次写入各自对应的文件中,完成训练前的数据准备。
步骤1014,针对所述第一训练样本集中的每张输电巡检样本标注图像,对该输电巡检样本标注图像进行数据增强处理,得到输电巡检增强图像。
需要说明的是,数据增强处理包括:随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种。输电巡检增强图片指的是对输电巡检样本标注图像进行数据增强处理后得到的图片。随机缩放指的是对输电巡检样本标注图像进行大小缩放的操作,色域变化指的是对输电巡检样本标注图像的明亮度、饱和度、色调进行改变的操作,图像翻转指的是对输电巡检样本标注图像进行左右的翻转的操作,图像裁剪指的是对输电巡检样本标注图像进行随机剪裁的操作,图像模糊指的是对输电巡检样本标注图像进行模糊的操作,加入噪声指的是向输电巡检样本标注图像中添加图像数据中不必要的或多余的干扰信息的操作,例如,向输电巡检样本标注图像中加入高斯噪声等。
针对上述步骤1014,在具体实施时,针对于第一训练样本集中的每张输电巡检样本标注图像,对该输电巡检样本标注图像进行上述几种数据增强处理,得到输电巡检增强图片。在具体实施时,当进行数据增强操作时,输电巡检样本标注图像内部的基础基座区域标注框也需要进行对应的操作。例如,当数据增强操作为放大1.5倍时,输电巡检样本标注图像需要放大到原来的1.5倍,相对应的,输电巡检样本标注图像中的基础基座区域标注框也需要放大到原来的1.5倍。这种数据增强处理大大丰富了模型训练集,特别是随机缩放增加了很多小目标,可以使算法模型的鲁棒性更好。
步骤1015,根据每张输电巡检样本标注图像以及每张输电巡检样本标注图像对应的输电巡检增强图像,确定输电巡检训练数据集。
需要说明的是,输电巡检训练数据集指的是模型训练集中用于训练基础基座区域算法模型的每一条训练数据所构成的数据集。
针对上述步骤1015,在具体实施时,将确定出的每张输电巡检样本标注图像,以及确定出的每张输电巡检样本标注图像对应的输电巡检增强图像确定为训练时需要使用的输电巡检训练数据集。
步骤1016,将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型。
需要说明的是,基础基座区域初始算法模型指的是指的是用于确定输电线路融合特征图中基础基座区域框的原始模型。
针对上述步骤1016,在具体实施时,将确定好的输电巡检训练数据集输入到基础基座区域初始算法模型中,对基础基座区域初始算法模型进行训练,以得到基础基座区域算法模型。
作为一种可选的实施方式,针对上述步骤1016,所述将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型,包括:
步骤10161,针对所述输电巡检训练数据集中的每张第一训练样本图像,将该第一训练样本图像输入到所述基础基座区域初始算法模型中,得到该第一训练样本图像对应的基座预测框。
需要说明的是,基座预测框指的是基础基座区域初始算法模型根据第一训练样本图像得到的基础基座区域的预测结果。
针对上述步骤10161,在具体实施时,针对输电巡检训练数据集中的每张第一训练样本图像,将该第一训练样本图像输入到基础基座区域初始算法模型中,得到该第一训练样本图像对应的基座预测框。
根据本申请提供的实施例,当输电巡检训练数据集输入到基础基座区域初始算法模型中,输电巡检训练数据集中的每张第一训练样本图像也需要进行特征融合,转换为对应的融合特征图,具体的,进行特征融合的方法与上述步骤S201-步骤S206中所描述的方法相同,在此不再赘述。
步骤10162,将该第一训练样本图像对应的基座真实框与所述基座预测框进行对比,计算当前状态下所述基础基座区域初始算法模型的第一损失值。
需要说明的是,该第一训练样本图像对应的基座真实框为第一训练样本图像中所标注的区域。损失值是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数值。在应用中,损失值通常作为学习准则与优化问题相联系,即通过最小化损失值求解和评估模型。
针对上述步骤10162,在具体实施时,该第一训练样本图像对应的基座真实框与基座预测框进行对比,并计算在当前状态下基础基座区域初始算法模型的第一损失值。具体的,为了达到更快的收敛速度以及更高的收敛精度,本申请采用CIOU回归损失函数,不仅考虑了重叠面积,还考虑了中心点距离与长宽比,具体通过以下公式计算第一损失值:
Figure BDA0003728620860000131
其中:
Figure BDA0003728620860000141
Figure BDA0003728620860000142
这里,bp表示预测框,bg表示真实框(ground truth),wp、hp表示预测框的宽、高,wg、hg表示真实框的宽、高,IOU表示预测框与真实框之间的重叠率,d(bp,bg)表示预测框与真实框最小外接矩形的对角线长度,p(bp,bg)表示预测框与真实框中心点之间的欧氏距离,v表示宽高比一致性参数,α表示重叠面积、中心点距离、长宽比之间的权衡因子。
步骤10163,若所述第一损失值大于预先设置的损失阈值,则调整所述基础基座区域初始算法模型的网络参数,直至训练的基础基座区域初始算法模型的第一损失值不大于所述损失阈值,得到目标基础基座区域算法模型。
需要说明的是,损失阈值指的是提前设定好的一个标准,作为一种可选的实施方式,最小阈值可以设定为第一损失值的二阶导数接近于0,因为在二阶导数接近0时,则第一损失值的斜率最小,即基础基座区域初始算法模型两次迭代之间的第一损失值变化已经很小,当第一损失值接近于这个损失阈值时,则认为基础基座区域初始算法模型达到收敛状态,此时的基础基座区域初始算法模型的预测比较准确。
针对上述步骤10163,在步骤10162中计算出在当前状态下基础基座区域初始算法模型的第一损失值后,不断调节基础基座区域初始算法模型中的网络参数,具体的,网络参数可以是基础基座区域初始算法模型的各个网络层的参数,例如,骨干网络卷积层的参数、FPN特征金字塔网络层的参数和检测网络层的参数等。具体地,基础基座区域初始算法模型会通过迭代的方式不断对损失最小化,在迭代的每一步,都会计算出基础基座区域初始算法模型的第一损失值,当基础基座区域初始算法模型的第一损失值不能达到损失阈值时,不断更新基础基座区域初始算法模型的网络参数,新的参数会计算得到新的第一损失值,从而使得迭代过程中第一损失值呈现波动下降的趋势。最后当第一损失值到达损失阈值并趋于平滑的时候,即训练的基础基座区域初始算法模型的第一损失值不大于损失阈值时,也就是第一损失值与上一次计算的第一损失值相比下降不明显时,认为基础基座区域初始算法模型达到收敛,这时结束训练,得到目标基础基座区域算法模型。
步骤10164,利用所述第一验证样本集对所述目标基础基座区域算法模型进行评估,确定所述目标基础基座区域算法模型的第一验证指标,并判断所述第一验证指标是否达到预先设置的指标阈值。
需要说明的是,第一验证指标中包括目标基础基座区域算法模型的发现率、准确率、漏检率和误检率。指标阈值指的是预先设定好的,用于判断目标基础基座区域算法模型是否训练准确的阈值。
针对上述步骤10164,在具体实施时,得到目标基础基座区域算法模型后,利用第一验证样本集中的第一验证样本图像对目标基础基座区域算法模型进行评估,确定目标基础基座区域算法模型的第一验证指标,并判断第一验证指标是否达到预先设置的指标阈值。若达到了指标阈值,则执行下述步骤10165,若没有达到指标阈值,则执行下述步骤10166。具体的,如何计算模型的发现率、准确率、漏检率和误检率,在现有技术中有详细说明,在此不再赘述。
步骤10165,若是,则将所述目标基础基座区域算法模型确定为最终的基础基座区域算法模型。
针对上述步骤10256,在具体实施时,如果目标基础基座区域算法模型的第一验证指标达到了预先设置的指标阈值,则将目标基础基座区域算法模型确定为最终的基础基座区域算法模型。
步骤10166,若否,则将所述第一测试样本集输入到所述目标基础基座区域算法模型中,确定出所述第一测试样本集中的第一漏检样本图像、第一误检样本图像以及第一漏检与误检样本图像。
需要说明的是,第一漏检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量,第一误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座预测框的数量,第一漏检与误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量也小于基座预测框的数量。作为示例,第一测试样本集中的某一张第一训练样本图像中有三个基座真实框,如果目标基础基座区域算法模型针对该第一训练样本图像预测出了两个基座预测框,并且预测出的两个基座预测框均与基座真实框匹配成功,则将该第一训练样本图像确定为第一漏检样本图像;如果目标基础基座区域算法模型针对该第一训练样本图像预测出了四个基座预测框,但是有三个基座预测框与基座真实框匹配成功,则将该第一训练样本图像确定为第一误检样本图像;如果目标基础基座区域算法模型针对该第一训练样本图像预测出了两个基座预测框,但是只有一个基座预测框与基座真实框匹配成功,则将该第一训练样本图像确定为第一漏检与误检样本图像。这里,基座预测框与基座真实框匹配成功是指基座真实框与基座预测框之间的重叠率大于预设的重叠率阈值。例如,预设的重叠率阈值为70%,基座真实框与基座预测框之间的重叠率大于70%,则认为基座预测框与基座真实框匹配成功。具体的,如何计算基座真实框与基座预测框之间的重叠率在现有技术中有详细说明,在此不再赘述。
针对上述步骤10166,在具体实施时,如果目标基础基座区域算法模型的第一验证指标没有达到预先设置的指标阈值,则将第一测试样本集输入到所述目标基础基座区域算法模型中,使用目标基础基座区域算法模型对第一测试样本集中的每张第一测试样本图像进行预测,确定出第一测试样本集中的第一漏检样本图像、第一误检样本图像以及第一漏检与误检样本图像。
步骤10167,针对每张第一漏检样本图像,对该第一漏检样本图像进行数据增强处理,得到第一漏检样本增强图像,针对每张第一误检样本图像,对该第一误检样本图像进行数据增强处理,得到第一误检样本增强图像,针对每张第一漏检与误检样本图像,对该第一漏检与误检样本图像进行数据增强处理,得到第一漏检与误检样本增强图像。
需要说明的是,第一漏检样本增强图像指的是对第一漏检样本图像进行数据增强处理后得到的图像。第一误检样本增强图像指的是对第一误检样本图像进行数据增强处理后得到的图片。第一漏检与误检样本增强图像指的是对第一漏检与误检样本图像进行数据增强处理后得到的图像。
针对上述步骤10167,在具体实施时,针对每张第一漏检样本图像,对该第一漏检样本图像进行数据增强处理,得到第一漏检样本增强图像,针对每张第一误检样本图像,对该第一误检样本图像进行数据增强处理,得到第一误检样本增强图像,针对每张第一漏检与误检样本图像,对该第一漏检与误检样本图像进行数据增强处理,得到第一漏检与误检样本增强图像。具体的,数据增强处理的方法与上述步骤1014中描述的数据增强处理的方法相同,并且可以达到相同的技术效果,在此不再赘述。
步骤10168,将每张第一漏检样本图像、每张第一漏检样本图像对应的第一漏检样本增强图像、每张第一误检样本图像、每张第一误检样本图像对应的第一误检样本增强图像、每张第一漏检与误检样本图像以及每张第一漏检与误检样本图像对应的第一漏检与误检样本增强图像添加到所述输电巡检训练数据集中。
步骤10169,利用所述输电巡检训练数据集继续对所述目标基础基座区域算法模型进行训练,直至所述目标基础基座区域算法模型的第一验证指标达到了预先设置的指标阈值,得到最终的基础基座区域算法模型。
针对上述步骤10168和10169,在具体实施时,将每张第一漏检样本图像、每张第一漏检样本图像对应的第一漏检样本增强图像、每张第一误检样本图像、每张第一误检样本图像对应的第一误检样本增强图像、每张第一漏检与误检样本图像以及每张第一漏检与误检样本图像对应的第一漏检与误检样本增强图像添加到输电巡检训练数据集中,得到全新的输电巡检训练数据集。再将输电巡检训练数据集输入到目标基础基座区域算法模型中进行训练,训练的方法与上述步骤中描述的方法相同,在此不再赘述。直至目标基础基座区域算法模型的验证指标达到了预先设置的指标阈值,得到最终的基础基座区域算法模型。
S102,基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像。
需要说明的是,基础基座区域检测框指的是对基础基座区域框进行放大后得到的检测框。基础基座区域图像指的是利用基础基座区域检测框在输电线路巡检图像上进行剪裁后得到的图像。
针对上述步骤S102,在具体实施时,基于基础基座区域算法模型确定的基础基座区域框确定基础基座区域检测框,并将基础基座区域检测框映射到原始的输电线路巡检图像中,确定出基础基座区域图像。
作为一种可选的实施方式,针对上述步骤S102,所述基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像,包括:
步骤1021,将所述基础基座区域框的宽度和高度分别扩大预设倍数,以得到扩大后的基础基座区域框。
步骤1022,将所述扩大后的基础基座区域框确定为所述基础基座区域检测框。
步骤1023,利用所述基础基座区域检测框对所述输电线路巡检图像进行剪裁,以得到所述基础基座区域图像。
需要说明的是,需要说明的是,预设倍数指的是预先设定好的,对基础基座区域框进行扩大的倍数。例如,可以设定预设倍数为0.2,对此本申请不做具体限定。
针对上述步骤1021-步骤1023,在具体实施时,首先将得到的基础基座区域框的宽度和高度分别扩大预设倍数,以得到扩大后的基础基座区域框。例如,当预设倍数为0.2时,将基础基座区域检测框上下区域扩大到基础基座区域检测框宽度的0.2倍,左右区域扩大基础基座区域检测框高度的0.2倍,得到扩大后的基础基座区域框。将扩大后的基础基座区域框作为基础基座区域检测框,并利用得到的基础基座区域检测框对原始的输电线路巡检图像进行剪裁,以得到基础基座区域图像。由于输电线路在基础基座区域周围,考虑到不同的拍摄角度会造成基础基座区域与输电线路区域不同的重叠率,严格按照基础基座区域检测框裁剪,容易造成不能完全裁剪出输电线路区域的情况,影响后续输电线路缺陷检测。鉴于输电线路巡检图像分辨率高,输电线路区域在图像中占比较小,再加上输电线路特征不明显,所处的场景复杂多变,直接检测输电线路效果不太好。本申请将适当扩大基础基座区域框,将扩大后的基础基座区域框作为基础基座区域检测框,再利用基础基座区域检测框将输电线路图像剪裁下来,再利用训练好的输电线路缺陷算法模型进行检测,可有效检出输电线路的缺陷。
S103,将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
需要说明的是,输电线路缺陷算法模型指的是用于确定基础基座区域图像中的输电线路缺陷类型的模型。具体的,输电线路缺陷类型可以包括接地引下线锈蚀、只有连扳或连扳痕迹、接地引下线断开、接地引下线连板断开、接地引下线被保护帽封住等类型,对此本申请不做具体限定。
针对上述步骤S103,在具体实施时,将步骤S102中得到的基础基座区域图像到预先训练好的输电线路缺陷算法模型中,进行输电线路缺陷检测,如果该基础基座区域图像未检测出中存在输电线路缺陷区域,则将基础基座区域图像对应的输电线路巡检图像的检测结果记录为没有缺陷,并保存,该输电线路巡检图像的检测流程结束,不再继续进行输电线路缺陷类型的检测。如果该基础基座区域图像检测出中存在输电线路缺陷区域,则继续对该基础基座区域图像进行缺陷类型的检测。如果检测到接地引下线锈蚀、只有连扳或连扳痕迹、接地引下线断开、接地引下线连板断开、接地引下线被保护帽封住等缺陷类型,则将该基础基座区域图像对应的输电线路巡检图像的检测结果记录为对应的缺陷类型。
请参阅图3,图3为本申请实施例所提供的输电线路缺陷类型的确定方法的流程图。如图3中所示,所述将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型,包括:
S301,基于所述基础基座区域图像,利用所述输电线路缺陷算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第二跨阶层融合特征图。
S302,利用所述输电线路缺陷算法模型中的RPN检测网络,得到所述第二跨阶层融合特征图对应的第二初步候选框。
S303,对所述第二初步候选框进行放大与缩小,得到不同大小的多个第二目标候选框。
其中,所述第二目标候选框与所述第二初步候选框之间存在比例关系。
S304,将多个第二目标候选框映射到所述第二跨阶层融合特征图上,形成多层第二候选框金字塔特征图。
S305,针对于每层第二候选框金字塔特征图,对该层第二候选框金字塔特征图采用ROI Align算子进行处理,以得到第二ROI Align金字塔特征图。
S306,基于每层第二ROI Align金字塔特征图,生成基础基座区域融合特征图。
需要说明的是,基础基座区域融合特征图指的是对基础基座区域图像进行特征融合后得到的融合特征图。
其中,S301至步骤S306的描述可以参照S201至S206的描述,并且能达到相同的技术效果,对此不做赘述。
S307,将所述基础基座区域融合特征图输入到所述输电线路缺陷算法模型的检测网络层中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
作为一种可选的实施方式,通过以下方式训练所述输电线路缺陷算法模型:
步骤1031,获取基础基座图像数据集。
需要说明的是,基础基座图像数据集指的是预先构建好的,模型训练集中用于训练输电线路缺陷算法模型的初始数据集。这里,基础基座图像数据集中包括基础基座样本图像,可以包括不同背景、不同光照、不同角度的基础基座样本图像。
针对上述步骤1031,在具体实施时,获取预先采集好的基础基座图像数据集。
步骤1032,利用标注工具对所述基础基座图像数据集中的每张基础基座样本图像进行缺陷类型和缺陷位置的标注,得到带有标注的基础基座图像标注数据集。
针对上述步骤1032,在具体实施时,针对基础基座图像数据集中的每张基础基座样本图像,利用标注工具对该基础基座样本图像进行缺陷类型和缺陷位置的标注,得到带有标注的基础基座样本图像。具体的,利用工具labelImg中pascal_voc格式进行标注,标注区域一包含了基础基座区域,标签中文类别为基础基座区域,标注区域二为缺陷位置,标签中文分别为接地引下线锈蚀、接地引下线缺失(表现为只有连扳或连扳痕迹)、接地引下线断开、接地引下线连板断开、接地引下线被保护帽封住等等存在的输电线路的缺陷类型,其中缺陷位置位于基础基座区域内部,将上述标注信息用xml进行保存。再根据标注后的每张基础基座样本图像确定带有标注的基础基座图像标注数据集。
步骤1033,根据所述基础基座图像标注数据集确定出第二训练样本集、第二验证样本集和第二测试样本集。
步骤1034,针对所述第二训练样本集中的每张基础基座样本标注图像,对该基础基座样本标注图像进行数据增强处理,得到基础基座增强图像。
其中,所述数据增强处理包括:随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种。
这里,步骤1033至步骤1034的描述可以参照上述步骤1013至步骤1014的描述,并且能达到相同的技术效果,对此不做赘述。
步骤1035,根据每张基础基座样本标注图像以及每张基础基座样本标注图像对应的基础基座增强图像,确定基础基座区域训练数据集。
需要说明的是,基础基座区域训练数据集指的是模型训练集中用于训练输电线路缺陷算法模型的每一条训练数据所构成的数据集。
针对上述步骤1035,在具体实施时,将确定出的每张基础基座样本标注图像,以及确定出的每张基础基座样本标注图像对应的基础基座增强图像确定为训练时需要使用的基础基座区域训练数据集。
步骤1036,将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型。
需要说明的是,输电线路缺陷初始算法模型指的是指的是用于确定输电线路的缺陷类型的原始模型。
针对上述步骤1036,在具体实施时,将确定好的基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对基输电线路缺陷初始算法模型进行训练,以得到输电线路缺陷算法模型。
作为一种可选的实施方式,针对上述步骤1036,所述将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型,包括:
A:针对所述基础基座区域训练数据集中的每张第二训练样本图像,将该第二训练样本图像输入到所述输电线路缺陷初始算法模型中,得到该第二训练样本图像对应的缺陷预测框和预测缺陷类型。
需要说明的是,缺陷预测框指的是输电线路缺陷初始算法模型根据第二训练样本图像得到的线路缺陷区域的预测结果。预测缺陷类型指的是输电线路缺陷初始算法模型根据第二训练样本图像得到的线路缺陷类型的预测结果。
针对上述步骤A,在具体实施时,针对基础基座区域训练数据集中的每张第二训练样本图像,将该第二训练样本图像输入到输电线路缺陷初始算法模型中,得到该第二训练样本图像对应的缺陷预测框和预测缺陷类型。
根据本申请提供的实施例,当基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,基础基座区域训练数据集中的每张第二训练样本图像也需要进行特征融合,转换为对应的融合特征图,具体的,进行特征融合的方法与上述S301-S306中所描述的方法相同,在此不再赘述。
B:将该第二训练样本图像对应的缺陷真实框与所述缺陷预测框进行对比,将该第二训练样本图像对应的真实缺陷类型与所述预测缺陷类型进行对比,计算当前状态下所述输电线路缺陷初始算法模型的第二损失值。
需要说明的是,该第二训练样本图像对应的缺陷真实框为第二训练样本图像中所标注的区域。
针对上述步骤B,在具体实施时,该第二训练样本图像对应的缺陷真实框与缺陷预测框进行对比,将真实缺陷类型与预测缺陷类型进行对比,并计算在当前状态下输电线路缺陷初始算法模型的第二损失值。具体的,计算第二损失值的方法与上述步骤10162中计算第一损失值的方法相同,在此不再赘述。
C:若所述第二损失值大于预先设置的损失阈值,则调整所述输电线路缺陷初始算法模型的网络参数,直至训练的输电线路缺陷初始算法模型的第二损失值不大于所述损失阈值,得到目标输电线路缺陷算法模型。
针对上述步骤C,在步骤B中计算出在当前状态下输电线路缺陷初始算法模型的第二损失值后,不断调节输电线路缺陷初始算法模型中的网络参数,具体的,网络参数可以是输电线路缺陷初始算法模型的各个网络层的参数,例如,骨干网络卷积层的参数、FPN特征金字塔网络层的参数和检测网络层的参数等。具体地,输电线路缺陷初始算法模型会通过迭代的方式不断对损失最小化,在迭代的每一步,都会计算出输电线路缺陷初始算法模型的第二损失值,当输电线路缺陷初始算法模型的第二损失值不能达到损失阈值时,不断更新输电线路缺陷初始算法模型的网络参数,新的参数会计算得到新的第二损失值,从而使得迭代过程中第二损失值呈现波动下降的趋势。最后当第二损失值到达损失阈值并趋于平滑的时候,即训练的输电线路缺陷初始算法模型的第二损失值不大于损失阈值时,也就是第二损失值与上一次计算的第二损失值相比下降不明显时,认为输电线路缺陷初始算法模型达到收敛,这时结束训练,得到目标输电线路缺陷算法模型。
D:利用所述第二验证样本集对所述目标输电线路缺陷算法模型进行评估,确定所述目标输电线路缺陷算法模型的第二验证指标,并判断所述第二验证指标是否达到预先设置的指标阈值。
需要说明的是,第二验证指标中包括目标输电线路缺陷算法模型的发现率、准确率、漏检率和误检率。
针对上述步骤D,在具体实施时,得到目标输电线路缺陷算法模型后,利用第二验证样本集中的第二验证样本图像对目标输电线路缺陷算法模型进行评估,确定目标输电线路缺陷算法模型的第二验证指标,并判断第二验证指标是否达到预先设置的指标阈值。若达到了指标阈值,则执行下述步骤E,若没有达到指标阈值,则执行下述步骤F。具体的,如何计算模型的发现率、准确率、漏检率和误检率,在现有技术中有详细说明,在此不再赘述。
E:若是,则将所述目标输电线路缺陷算法模型确定为最终的输电线路缺陷算法模型。
针对上述步骤E,在具体实施时,如果目标输电线路缺陷算法模型的第二验证指标达到了预先设置的指标阈值,则将目标输电线路缺陷算法模型确定为最终的输电线路缺陷算法模型。
F:若否,则将所述第二测试样本集输入到所述目标输电线路缺陷算法模型中,确定出所述第二测试样本集中的第二漏检样本图像、第二误检样本图像以及第二漏检与误检样本图像。
需要说明的是,第二漏检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量,第二误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷预测框的数量,第二漏检与误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量也小于缺陷预测框的数量。缺陷预测框与缺陷真实框匹配成功是指缺陷真实框与缺陷预测框之间的重叠率大于预设的重叠率阈值且真实缺陷类型与预测缺陷类型完全相同。
针对上述步骤F,在具体实施时,如果目标输电线路缺陷算法模型的第二验证指标没有达到预先设置的指标阈值,则将第二测试样本集输入到所述目标输电线路缺陷算法模型中,使用目标输电线路缺陷算法模型对第二测试样本集中的每张第二测试样本图像进行预测,确定出第二测试样本集中的第二漏检样本图像、第二误检样本图像以及第二漏检与误检样本图像。
G:针对每张第二漏检样本图像,对该第二漏检样本图像进行数据增强处理,得到第二漏检样本增强图像,针对每张第二误检样本图像,对该第二误检样本图像进行数据增强处理,得到第二误检样本增强图像,针对每张第二漏检与误检样本图像,对该第二漏检与误检样本图像进行数据增强处理,得到第二漏检与误检样本增强图像。
需要说明的是,第二漏检样本增强图像指的是对第二漏检样本图像进行数据增强处理后得到的图像。第二误检样本增强图像指的是对第二误检样本图像进行数据增强处理后得到的图片。第二漏检与误检样本增强图像指的是对第二漏检与误检样本图像进行数据增强处理后得到的图像。
针对上述步骤G,在具体实施时,针对每张第二漏检样本图像,对该第二漏检样本图像进行数据增强处理,得到第二漏检样本增强图像,针对每张第二误检样本图像,对该第二误检样本图像进行数据增强处理,得到第二误检样本增强图像,针对每张第二漏检与误检样本图像,对该第二漏检与误检样本图像进行数据增强处理,得到第二漏检与误检样本增强图像。具体的,数据增强处理的方法与上述步骤1014中描述的数据增强处理的方法相同,并且可以达到相同的技术效果,在此不再赘述。
H:将每张第二漏检样本图像、每张第二漏检样本图像对应的第二漏检样本增强图像、每张第二误检样本图像、每张第二误检样本图像对应的第二误检样本增强图像、每张第二漏检与误检样本图像以及每张第二漏检与误检样本图像对应的第二漏检与误检样本增强图像添加到所述基础基座区域训练数据集中。
I:利用所述基础基座区域训练数据集继续对所述目标输电线路缺陷算法模型进行训练,直至所述目标输电线路缺陷算法模型的第二验证指标达到了预先设置的指标阈值,得到最终的输电线路缺陷算法模型。
针对上述步骤H和步骤I,在具体实施时,将每张第二漏检样本图像、每张第二漏检样本图像对应的第二漏检样本增强图像、每张第二误检样本图像、每张第二误检样本图像对应的第二误检样本增强图像、每张第二漏检与误检样本图像以及每张第二漏检与误检样本图像对应的第二漏检与误检样本增强图像添加到基础基座区域训练数据集中,得到全新的基础基座区域训练数据集。再将基础基座区域训练数据集输入到目标输电线路缺陷算法模型中进行训练,训练的方法与上述步骤中描述的方法相同,在此不再赘述。直至目标输电线路缺陷算法模型的验证指标达到了预先设置的指标阈值,得到最终的输电线路缺陷算法模型。
本申请实施例提供的输电线路的缺陷检测方法,首先,获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;然后,基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;最后,将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
本申请采用分级检测策略,先利用预先训练好的基础基座区域算法模型检测出基础基座区域,再利用预先训练好的输电线路缺陷算法模型检测出基础基座区域内的输电线路的缺陷类型,可以有效提高输电线路缺陷类型的检测结果的准确性,解决了现有技术中对于输电线路缺陷类型的检测效率不高,且检测准确性不高的问题。并且算法模型中均采用了ResNet101、FPN、RPN检测、RCNN检测、NMS对输入到算法模型中的图像进行处理,输入到模型中的图像都采用了FPN增强特征表达,引入候选框金字塔特征图结构,通过ROI Align处理得到ROI Align特征金字塔,并赋予每层ROI Align特征图不同权值,融合成区域感知更强的ROI Align融合特征图,算法模型使用ROI Align融合特征图进行检测时,检测的准确率更高。
请参阅图4,图4为本申请实施例所提供的一种输电线路的缺陷检测装置的结构示意图。如图4中所示,所述缺陷检测装置400包括:
基础基座区域框确定模块401,用于获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;
基础基座区域图像确定模块402,用于基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;
缺陷类型确定模块403,用于将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
进一步的,所述基础基座区域框确定模块401在用于将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框时,所述基础基座区域框确定模块401还用于:
基于所述输电线路巡检图像,利用所述基础基座区域算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第一跨阶层融合特征图;
利用所述基础基座区域算法模型中的RPN检测网络,得到所述第一跨阶层融合特征图对应的第一初步候选框;
对所述第一初步候选框进行放大与缩小,得到不同大小的多个第一目标候选框;其中,所述第一目标候选框与所述第一初步候选框之间存在比例关系;
将多个第一目标候选框映射到所述第一跨阶层融合特征图上,形成多层第一候选框金字塔特征图;
针对于每层第一候选框金字塔特征图,对该层第一候选框金字塔特征图采用ROIAlign算子进行处理,以得到第一ROI Align金字塔特征图;
基于每层第一ROI Align金字塔特征图,生成输电线路融合特征图;
将所述输电线路融合特征图输入到所述基础基座区域算法模型中的检测网络层中,以得到所述输电线路融合特征图中的基础基座区域框。
进一步的,所述基础基座区域框确定模块401还用于通过以下方式训练所述基础基座区域算法模型:
获取输电巡检图像数据集;其中,所述输电巡检图像数据集中包括输电巡检样本图像;
利用标注工具对所述输电巡检图像数据集中的每张输电巡检样本图像进行基础基座区域标注,得到带有标注的输电巡检图像标注数据集;
根据所述输电巡检图像标注数据集确定出第一训练样本集、第一验证样本集和第一测试样本集;
针对所述第一训练样本集中的每张输电巡检样本标注图像,对该输电巡检样本标注图像进行数据增强处理,得到输电巡检增强图像;其中,所述数据增强处理包括随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种;
根据每张输电巡检样本标注图像以及每张输电巡检样本标注图像对应的输电巡检增强图像,确定输电巡检训练数据集;
将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型。
进一步的,所述基础基座区域框确定模块401在用于将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型时,所述基础基座区域框确定模块401还用于:
针对所述输电巡检训练数据集中的每张第一训练样本图像,将该第一训练样本图像输入到所述基础基座区域初始算法模型中,得到该第一训练样本图像对应的基座预测框;
将该第一训练样本图像对应的基座真实框与所述基座预测框进行对比,计算当前状态下所述基础基座区域初始算法模型的第一损失值;其中,该第一训练样本图像对应的基座真实框为第一训练样本图像中所标注的区域;
若所述第一损失值大于预先设置的损失阈值,则调整所述基础基座区域初始算法模型的网络参数,直至训练的基础基座区域初始算法模型的第一损失值不大于所述损失阈值,得到目标基础基座区域算法模型;
利用所述第一验证样本集对所述目标基础基座区域算法模型进行评估,确定所述目标基础基座区域算法模型的第一验证指标,并判断所述第一验证指标是否达到预先设置的指标阈值;其中,所述第一验证指标包括发现率、准确率、漏检率和误检率;
若是,则将所述目标基础基座区域算法模型确定为最终的基础基座区域算法模型;
若否,则将所述第一测试样本集输入到所述目标基础基座区域算法模型中,确定出所述第一测试样本集中的第一漏检样本图像、第一误检样本图像以及第一漏检与误检样本图像;其中,第一漏检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量,第一误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座预测框的数量,第一漏检与误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量也小于基座预测框的数量,基座预测框与基座真实框匹配成功是指基座真实框与基座预测框之间的重叠率大于预设的重叠率阈值;
针对每张第一漏检样本图像,对该第一漏检样本图像进行数据增强处理,得到第一漏检样本增强图像,针对每张第一误检样本图像,对该第一误检样本图像进行数据增强处理,得到第一误检样本增强图像,针对每张第一漏检与误检样本图像,对该第一漏检与误检样本图像进行数据增强处理,得到第一漏检与误检样本增强图像;
将每张第一漏检样本图像、每张第一漏检样本图像对应的第一漏检样本增强图像、每张第一误检样本图像、每张第一误检样本图像对应的第一误检样本增强图像、每张第一漏检与误检样本图像以及每张第一漏检与误检样本图像对应的第一漏检与误检样本增强图像添加到所述输电巡检训练数据集中;
利用所述输电巡检训练数据集继续对所述目标基础基座区域算法模型进行训练,直至所述目标基础基座区域算法模型的第一验证指标达到了预先设置的指标阈值,得到最终的基础基座区域算法模型。
进一步的,所述基础基座区域图像确定模块402在用于基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像时,所述基础基座区域图像确定模块402还用于:
将所述基础基座区域框的宽度和高度分别扩大预设倍数,以得到扩大后的基础基座区域框;
将所述扩大后的基础基座区域框确定为所述基础基座区域检测框;
利用所述基础基座区域检测框对所述输电线路巡检图像进行剪裁,以得到所述基础基座区域图像。
进一步的,所述缺陷类型确定模块403在用于将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型时,所述缺陷类型确定模块403还用于:
基于所述基础基座区域图像,利用所述输电线路缺陷算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第二跨阶层融合特征图;
利用所述输电线路缺陷算法模型中的RPN检测网络,得到所述第二跨阶层融合特征图对应的第二初步候选框;
对所述第二初步候选框进行放大与缩小,得到不同大小的多个第二目标候选框;其中,所述第二目标候选框与所述第二初步候选框之间存在比例关系;
将多个第二目标候选框映射到所述第二跨阶层融合特征图上,形成多层第二候选框金字塔特征图;
针对于每层第二候选框金字塔特征图,对该层第二候选框金字塔特征图采用ROIAlign算子进行处理,以得到第二ROI Align金字塔特征图;
基于每层第二ROI Align金字塔特征图,生成基础基座区域融合特征图;
将所述基础基座区域融合特征图输入到所述输电线路缺陷算法模型的检测网络层中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
进一步的,所述缺陷类型确定模块403通过以下方式训练所述输电线路缺陷算法模型:
获取基础基座图像数据集;其中,所述基础基座图像数据集中包括基础基座样本图像;
利用标注工具对所述基础基座图像数据集中的每张基础基座样本图像进行缺陷类型和缺陷位置的标注,得到带有标注的基础基座图像标注数据集;
根据所述基础基座图像标注数据集确定出第二训练样本集、第二验证样本集和第二测试样本集;
针对所述第二训练样本集中的每张基础基座样本标注图像,对该基础基座样本标注图像进行数据增强处理,得到基础基座增强图像;其中,所述数据增强处理包括随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种;
根据每张基础基座样本标注图像以及每张基础基座样本标注图像对应的基础基座增强图像,确定基础基座区域训练数据集;
将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型。
进一步的,所述缺陷类型确定模块403在用于将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型时,所述缺陷类型确定模块403还用于:
针对所述基础基座区域训练数据集中的每张第二训练样本图像,将该第二训练样本图像输入到所述输电线路缺陷初始算法模型中,得到该第二训练样本图像对应的缺陷预测框和预测缺陷类型;
将该第二训练样本图像对应的缺陷真实框与所述缺陷预测框进行对比,将该第二训练样本图像对应的真实缺陷类型与所述预测缺陷类型进行对比,计算当前状态下所述输电线路缺陷初始算法模型的第二损失值;其中,该第二训练样本图像对应的缺陷真实框为第二训练样本图像中所标注的区域;
若所述第二损失值大于预先设置的损失阈值,则调整所述输电线路缺陷初始算法模型的网络参数,直至训练的输电线路缺陷初始算法模型的第二损失值不大于所述损失阈值,得到目标输电线路缺陷算法模型;
利用所述第二验证样本集对所述目标输电线路缺陷算法模型进行评估,确定所述目标输电线路缺陷算法模型的第二验证指标,并判断所述第二验证指标是否达到预先设置的指标阈值;其中,所述第二验证指标包括发现率、准确率、漏检率和误检率;
若是,则将所述目标输电线路缺陷算法模型确定为最终的输电线路缺陷算法模型;
若否,则将所述第二测试样本集输入到所述目标输电线路缺陷算法模型中,确定出所述第二测试样本集中的第二漏检样本图像、第二误检样本图像以及第二漏检与误检样本图像;其中,第二漏检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量,第二误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷预测框的数量,第二漏检与误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量也小于缺陷预测框的数量,缺陷预测框与缺陷真实框匹配成功是指缺陷真实框与缺陷预测框之间的重叠率大于预设的重叠率阈值且真实缺陷类型与预测缺陷类型完全相同;
针对每张第二漏检样本图像,对该第二漏检样本图像进行数据增强处理,得到第二漏检样本增强图像,针对每张第二误检样本图像,对该第二误检样本图像进行数据增强处理,得到第二误检样本增强图像,针对每张第二漏检与误检样本图像,对该第二漏检与误检样本图像进行数据增强处理,得到第二漏检与误检样本增强图像;
将每张第二漏检样本图像、每张第二漏检样本图像对应的第二漏检样本增强图像、每张第二误检样本图像、每张第二误检样本图像对应的第二误检样本增强图像、每张第二漏检与误检样本图像以及每张第二漏检与误检样本图像对应的第二漏检与误检样本增强图像添加到所述基础基座区域训练数据集中;
利用所述基础基座区域训练数据集继续对所述目标输电线路缺陷算法模型进行训练,直至所述目标输电线路缺陷算法模型的第二验证指标达到了预先设置的指标阈值,得到最终的输电线路缺陷算法模型。
请参阅图5,图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示,所述电子设备500包括处理器510、存储器520和总线530。
所述存储器520存储有所述处理器510可执行的机器可读指令,当电子设备500运行时,所述处理器510与所述存储器520之间通过总线530通信,所述机器可读指令被所述处理器510执行时,可以执行如上述图1、图2以及图3所示方法实施例中的输电线路的缺陷检测方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1、图2以及图3所示方法实施例中的输电线路的缺陷检测方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种输电线路的缺陷检测方法,其特征在于,所述缺陷检测方法包括:
获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;
基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;
将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
2.根据权利要求1所述的缺陷检测方法,其特征在于,所述将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框,包括:
基于所述输电线路巡检图像,利用所述基础基座区域算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第一跨阶层融合特征图;
利用所述基础基座区域算法模型中的RPN检测网络,得到所述第一跨阶层融合特征图对应的第一初步候选框;
对所述第一初步候选框进行放大与缩小,得到不同大小的多个第一目标候选框;其中,所述第一目标候选框与所述第一初步候选框之间存在比例关系;
将多个第一目标候选框映射到所述第一跨阶层融合特征图上,形成多层第一候选框金字塔特征图;
针对于每层第一候选框金字塔特征图,对该层第一候选框金字塔特征图采用ROIAlign算子进行处理,以得到第一ROIAlign金字塔特征图;
基于每层第一ROIAlign金字塔特征图,生成输电线路融合特征图;
将所述输电线路融合特征图输入到所述基础基座区域算法模型中的检测网络层中,以得到所述输电线路融合特征图中的基础基座区域框。
3.根据权利要求1所述的缺陷检测方法,其特征在于,通过以下方式训练所述基础基座区域算法模型:
获取输电巡检图像数据集;其中,所述输电巡检图像数据集中包括输电巡检样本图像;
利用标注工具对所述输电巡检图像数据集中的每张输电巡检样本图像进行基础基座区域标注,得到带有标注的输电巡检图像标注数据集;
根据所述输电巡检图像标注数据集确定出第一训练样本集、第一验证样本集和第一测试样本集;
针对所述第一训练样本集中的每张输电巡检样本标注图像,对该输电巡检样本标注图像进行数据增强处理,得到输电巡检增强图像;其中,所述数据增强处理包括随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种;
根据每张输电巡检样本标注图像以及每张输电巡检样本标注图像对应的输电巡检增强图像,确定输电巡检训练数据集;
将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型。
4.根据权利要求3所述的缺陷检测方法,其特征在于,所述将所述输电巡检训练数据集输入到基础基座区域初始算法模型中,对所述基础基座区域初始算法模型进行训练,以得到所述基础基座区域算法模型,包括:
针对所述输电巡检训练数据集中的每张第一训练样本图像,将该第一训练样本图像输入到所述基础基座区域初始算法模型中,得到该第一训练样本图像对应的基座预测框;
将该第一训练样本图像对应的基座真实框与所述基座预测框进行对比,计算当前状态下所述基础基座区域初始算法模型的第一损失值;其中,该第一训练样本图像对应的基座真实框为第一训练样本图像中所标注的区域;
若所述第一损失值大于预先设置的损失阈值,则调整所述基础基座区域初始算法模型的网络参数,直至训练的基础基座区域初始算法模型的第一损失值不大于所述损失阈值,得到目标基础基座区域算法模型;
利用所述第一验证样本集对所述目标基础基座区域算法模型进行评估,确定所述目标基础基座区域算法模型的第一验证指标,并判断所述第一验证指标是否达到预先设置的指标阈值;其中,所述第一验证指标包括发现率、准确率、漏检率和误检率;
若是,则将所述目标基础基座区域算法模型确定为最终的基础基座区域算法模型;
若否,则将所述第一测试样本集输入到所述目标基础基座区域算法模型中,确定出所述第一测试样本集中的第一漏检样本图像、第一误检样本图像以及第一漏检与误检样本图像;其中,第一漏检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量,第一误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座预测框的数量,第一漏检与误检样本图像是指基座预测框与基座真实框匹配成功的数量小于基座真实框的数量也小于基座预测框的数量,基座预测框与基座真实框匹配成功是指基座真实框与基座预测框之间的重叠率大于预设的重叠率阈值;
针对每张第一漏检样本图像,对该第一漏检样本图像进行数据增强处理,得到第一漏检样本增强图像,针对每张第一误检样本图像,对该第一误检样本图像进行数据增强处理,得到第一误检样本增强图像,针对每张第一漏检与误检样本图像,对该第一漏检与误检样本图像进行数据增强处理,得到第一漏检与误检样本增强图像;
将每张第一漏检样本图像、每张第一漏检样本图像对应的第一漏检样本增强图像、每张第一误检样本图像、每张第一误检样本图像对应的第一误检样本增强图像、每张第一漏检与误检样本图像以及每张第一漏检与误检样本图像对应的第一漏检与误检样本增强图像添加到所述输电巡检训练数据集中;
利用所述输电巡检训练数据集继续对所述目标基础基座区域算法模型进行训练,直至所述目标基础基座区域算法模型的第一验证指标达到了预先设置的指标阈值,得到最终的基础基座区域算法模型。
5.根据权利要求1所述的缺陷检测方法,其特征在于,所述基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像,包括:
将所述基础基座区域框的宽度和高度分别扩大预设倍数,以得到扩大后的基础基座区域框;
将所述扩大后的基础基座区域框确定为所述基础基座区域检测框;
利用所述基础基座区域检测框对所述输电线路巡检图像进行剪裁,以得到所述基础基座区域图像。
6.根据权利要求1所述的缺陷检测方法,其特征在于,所述将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型,包括:
基于所述基础基座区域图像,利用所述输电线路缺陷算法模型中的骨干网络卷积层以及FPN特征金字塔网络层得到第二跨阶层融合特征图;
利用所述输电线路缺陷算法模型中的RPN检测网络,得到所述第二跨阶层融合特征图对应的第二初步候选框;
对所述第二初步候选框进行放大与缩小,得到不同大小的多个第二目标候选框;其中,所述第二目标候选框与所述第二初步候选框之间存在比例关系;
将多个第二目标候选框映射到所述第二跨阶层融合特征图上,形成多层第二候选框金字塔特征图;
针对于每层第二候选框金字塔特征图,对该层第二候选框金字塔特征图采用ROIAlign算子进行处理,以得到第二ROIAlign金字塔特征图;
基于每层第二ROI Align金字塔特征图,生成基础基座区域融合特征图;
将所述基础基座区域融合特征图输入到所述输电线路缺陷算法模型的检测网络层中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
7.根据权利要求1所述的缺陷检测方法,其特征在于,通过以下方式训练所述输电线路缺陷算法模型:
获取基础基座图像数据集;其中,所述基础基座图像数据集中包括基础基座样本图像;
利用标注工具对所述基础基座图像数据集中的每张基础基座样本图像进行缺陷类型和缺陷位置的标注,得到带有标注的基础基座图像标注数据集;
根据所述基础基座图像标注数据集确定出第二训练样本集、第二验证样本集和第二测试样本集;
针对所述第二训练样本集中的每张基础基座样本标注图像,对该基础基座样本标注图像进行数据增强处理,得到基础基座增强图像;其中,所述数据增强处理包括随机缩放、色域变化、图像翻转、图像裁剪、图像模糊和加入噪声中的至少一种或多种;
根据每张基础基座样本标注图像以及每张基础基座样本标注图像对应的基础基座增强图像,确定基础基座区域训练数据集;
将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型。
8.根据权利要求7所述的缺陷检测方法,其特征在于,所述将所述基础基座区域训练数据集输入到输电线路缺陷初始算法模型中,对所述输电线路缺陷初始算法模型进行训练,以得到所述输电线路缺陷算法模型,包括:
针对所述基础基座区域训练数据集中的每张第二训练样本图像,将该第二训练样本图像输入到所述输电线路缺陷初始算法模型中,得到该第二训练样本图像对应的缺陷预测框和预测缺陷类型;
将该第二训练样本图像对应的缺陷真实框与所述缺陷预测框进行对比,将该第二训练样本图像对应的真实缺陷类型与所述预测缺陷类型进行对比,计算当前状态下所述输电线路缺陷初始算法模型的第二损失值;其中,该第二训练样本图像对应的缺陷真实框为第二训练样本图像中所标注的区域;
若所述第二损失值大于预先设置的损失阈值,则调整所述输电线路缺陷初始算法模型的网络参数,直至训练的输电线路缺陷初始算法模型的第二损失值不大于所述损失阈值,得到目标输电线路缺陷算法模型;
利用所述第二验证样本集对所述目标输电线路缺陷算法模型进行评估,确定所述目标输电线路缺陷算法模型的第二验证指标,并判断所述第二验证指标是否达到预先设置的指标阈值;其中,所述第二验证指标包括发现率、准确率、漏检率和误检率;
若是,则将所述目标输电线路缺陷算法模型确定为最终的输电线路缺陷算法模型;
若否,则将所述第二测试样本集输入到所述目标输电线路缺陷算法模型中,确定出所述第二测试样本集中的第二漏检样本图像、第二误检样本图像以及第二漏检与误检样本图像;其中,第二漏检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量,第二误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷预测框的数量,第二漏检与误检样本图像是指缺陷预测框与缺陷真实框匹配成功的数量小于缺陷真实框的数量也小于缺陷预测框的数量,缺陷预测框与缺陷真实框匹配成功是指缺陷真实框与缺陷预测框之间的重叠率大于预设的重叠率阈值且真实缺陷类型与预测缺陷类型完全相同;
针对每张第二漏检样本图像,对该第二漏检样本图像进行数据增强处理,得到第二漏检样本增强图像,针对每张第二误检样本图像,对该第二误检样本图像进行数据增强处理,得到第二误检样本增强图像,针对每张第二漏检与误检样本图像,对该第二漏检与误检样本图像进行数据增强处理,得到第二漏检与误检样本增强图像;
将每张第二漏检样本图像、每张第二漏检样本图像对应的第二漏检样本增强图像、每张第二误检样本图像、每张第二误检样本图像对应的第二误检样本增强图像、每张第二漏检与误检样本图像以及每张第二漏检与误检样本图像对应的第二漏检与误检样本增强图像添加到所述基础基座区域训练数据集中;
利用所述基础基座区域训练数据集继续对所述目标输电线路缺陷算法模型进行训练,直至所述目标输电线路缺陷算法模型的第二验证指标达到了预先设置的指标阈值,得到最终的输电线路缺陷算法模型。
9.一种输电线路的缺陷检测装置,其特征在于,所述缺陷检测装置包括:
基础基座区域框确定模块,用于获取输电线路巡检图像,并将所述输电线路巡检图像输入到预先训练好的基础基座区域算法模型中,以得到所述输电线路巡检图像中的基础基座区域框;
基础基座区域图像确定模块,用于基于所述基础基座区域框确定基础基座区域检测框,并基于所述基础基座区域检测框在所述输电线路巡检图像中确定出基础基座区域图像;
缺陷类型确定模块,用于将所述基础基座区域图像输入到预先训练好的输电线路缺陷算法模型中,以得到所述输电线路巡检图像对应的输电线路缺陷类型。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至8任一所述的输电线路的缺陷检测方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至8任一所述的输电线路的缺陷检测方法的步骤。
CN202210786002.2A 2022-07-04 2022-07-04 输电线路的缺陷检测方法、装置、电子设备及存储介质 Pending CN115239646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210786002.2A CN115239646A (zh) 2022-07-04 2022-07-04 输电线路的缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210786002.2A CN115239646A (zh) 2022-07-04 2022-07-04 输电线路的缺陷检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115239646A true CN115239646A (zh) 2022-10-25

Family

ID=83672119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210786002.2A Pending CN115239646A (zh) 2022-07-04 2022-07-04 输电线路的缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115239646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116994354A (zh) * 2023-09-28 2023-11-03 上海闪马智能科技有限公司 道路电力设施巡检方法、装置、存储介质及电子装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116342607B (zh) * 2023-05-30 2023-08-08 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116994354A (zh) * 2023-09-28 2023-11-03 上海闪马智能科技有限公司 道路电力设施巡检方法、装置、存储介质及电子装置
CN116994354B (zh) * 2023-09-28 2024-01-23 上海闪马智能科技有限公司 道路电力设施巡检方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN111242123B (zh) 一种基于红外图像的电力设备故障诊断方法
CN109977921B (zh) 一种输电线路隐患检测方法
CN109376768B (zh) 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN115239646A (zh) 输电线路的缺陷检测方法、装置、电子设备及存储介质
CN110346699B (zh) 基于紫外图像处理技术的绝缘子放电信息提取方法及装置
CN110610483B (zh) 裂纹图像获取、检测方法、计算机设备及可读存储介质
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN110619623B (zh) 一种变电设备接头发热的自动识别方法
CN111044149A (zh) 电压互感器的温度异常点检测方法、装置及可读存储介质
CN113222949B (zh) 一种电力设备导体插接位置的x射线影像自动检测方法
CN108664997A (zh) 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及***
CN110751642A (zh) 一种绝缘子裂缝检测方法和***
CN115359239A (zh) 风电叶片缺陷检测定位方法、装置、存储介质和电子设备
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN116311211A (zh) 一种气体检测仪检测识别方法、***及存储介质
CN115410154A (zh) 一种风电机舱电气设备热故障识别方法
CN113538411A (zh) 一种绝缘子缺陷检测方法及装置
CN112529881A (zh) 一种电力控制柜线缆异常识别方法及装置
CN113487541B (zh) 绝缘子检测方法及装置
CN109376749A (zh) 基于深度学习的输变电设备红外图像温宽范围识别方法
CN118164196B (zh) 一种基于机器视觉的输煤皮带健康状态监测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination