CN116228778A - 一种基于多模态信息融合的绝缘子破裂的检测方法及*** - Google Patents

一种基于多模态信息融合的绝缘子破裂的检测方法及*** Download PDF

Info

Publication number
CN116228778A
CN116228778A CN202310518728.2A CN202310518728A CN116228778A CN 116228778 A CN116228778 A CN 116228778A CN 202310518728 A CN202310518728 A CN 202310518728A CN 116228778 A CN116228778 A CN 116228778A
Authority
CN
China
Prior art keywords
insulator
cracking
breakage
visible light
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310518728.2A
Other languages
English (en)
Other versions
CN116228778B (zh
Inventor
李继攀
田克强
刘宏领
王帅
荆树志
郭奇军
杜银景
张红敏
周广闯
杨宇
徐海霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heze Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
Heze Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heze Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical Heze Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority to CN202310518728.2A priority Critical patent/CN116228778B/zh
Publication of CN116228778A publication Critical patent/CN116228778A/zh
Application granted granted Critical
Publication of CN116228778B publication Critical patent/CN116228778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明属于绝缘子检测技术领域，为解决单纯依靠单模态信息方法难以实现精确识别的问题，提供了一种基于多模态信息融合的绝缘子破裂的检测方法及***。其中，基于多模态信息融合的绝缘子破裂的检测方法包括从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域；当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值的比较结果，最终判定绝缘子是否存在破裂缺陷，其提高了绝缘子破裂缺陷的准确性。

Description

一种基于多模态信息融合的绝缘子破裂的检测方法及***
技术领域
本发明属于绝缘子检测技术领域，尤其涉及一种基于多模态信息融合的绝缘子破裂的检测方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在电力***中，绝缘子的用途是将单位不同的导体在机械上相互连接，作为在电网中用量庞大、种类繁多的零部件，绝缘子对电气设备或导体既要起到绝缘作用，又要起到固定悬挂作用。由于绝缘子长期运行于强电场、高温日照、机械应力、湿度、污秽等环境下，当其劣化到一定程度时，其绝缘性能就会下降，特别是在高压线路上，绝缘子的劣化直接威胁着电力***的安全运行。
一方面，变电站设备类型多样、场景复杂且电力设备部件相似度较高，导致设备缺陷识别误检率较高；另一方面，实际变电站场景内，绝缘子缺陷发生频率低，且本身处于变电站高处，人工无法模拟摆拍，造成样本少且难以收集的现象。在绝缘子状态监测中，仅仅考虑绝缘子温升数值的大小或者设备缺陷智能检测，容易造成检测结果的误差，进而影响绝缘的正常工作。因此，单纯依靠单模态信息方法难以实现精确识别。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于多模态信息融合的绝缘子破裂的检测方法及***，其能够实现绝缘子破裂缺陷的精确识别及定位。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于多模态信息融合的绝缘子破裂的检测方法。
一种基于多模态信息融合的绝缘子破裂的检测方法，其包括：
获取绝缘子巡检可见光图像以及绝缘子巡检红外图像；
从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域；
当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值的比较结果，最终判定绝缘子是否存在破裂缺陷。
作为一种实施方式，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，首先检测绝缘子巡检可见光图像中所有的破裂异常以及其对应矩形框位置；然后截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
作为一种实施方式，采用两阶段级联模型对绝缘子巡检可见光图像进行处理，识别出是否存在绝缘子破裂异常区域；所述两阶段级联模型包括串联的变电绝缘子破裂缺陷模型和二分类器。
作为一种实施方式，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，还包括：
根据变电绝缘子破裂缺陷模型和二分类器的预设输出结果影响因子，分别与变电绝缘子破裂缺陷模型和二分类器输出结果的概率进行加权，当加权后的结果超过预设第二阈值时，判定存在缘子破裂异常区域。
作为一种实施方式，当所述交并比大于预设第一阈值时，则判断绝缘子存在破裂缺陷。
作为一种实施方式，当所述交并比小于或等于预设第一阈值时，则判断绝缘子存在潜在破裂缺陷，并发出需进一步核检的通知。
作为一种实施方式，当判断绝缘子存在潜在破裂缺陷时，且分时段多次监测后仍存在潜在破裂缺陷，则发出报警信息以通知人工复检故障。
本发明的第二个方面提供一种基于多模态信息融合的绝缘子破裂的检测***。
一种基于多模态信息融合的绝缘子破裂的检测***，其包括：
图像获取模块，其用于获取绝缘子巡检可见光图像以及绝缘子巡检红外图像；
图像处理模块，其用于从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域；
缺陷判断模块，其用于当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值的比较结果，最终判定绝缘子是否存在破裂缺陷。
作为一种实施方式，在所述图像处理模块中，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，首先检测绝缘子巡检可见光图像中所有的破裂异常以及其对应矩形框位置；然后截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
作为一种实施方式，在所述图像处理模块中，采用两阶段级联模型对绝缘子巡检可见光图像进行处理，识别出是否存在绝缘子破裂异常区域；所述两阶段级联模型包括串联的变电绝缘子破裂缺陷模型和二分类器。
与现有技术相比，本发明的有益效果是：
创新性提出了多模态信息融合绝缘子破裂检测技术，采用可见光图像与红外图像相结合的多模态处理图像方法，对可见光图像先缺陷检测再分类获取可见光图像设备缺陷区域，实现绝缘子破裂缺陷的精确定位的同时，对红外图像采用红外测温得到绝缘子片的温度，根据温度分布情况，进一步判断是否是绝缘子破裂缺陷，解决了单纯依靠单模态信息方法难以实现精确识别的问题，提高了绝缘子破裂缺陷的准确性。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于多模态信息融合的绝缘子破裂的检测方法流程图；
图2是本发明实施例的基于多模态信息融合的绝缘子破裂的检测***结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
参照图1，本实施例一种基于多模态信息融合的绝缘子破裂的检测方法，其包括：
步骤1：获取绝缘子巡检可见光图像以及绝缘子巡检红外图像。
其中，绝缘子巡检可见光图像以及绝缘子巡检红外图像包括视频监控、机器人或无人机巡检图像。
步骤2：从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域。
绝缘子设备正常运行时，表面温度一般为10-40度。一旦绝缘子瓷体出现破裂等缺陷，导致绝缘子内部出现泄露电流引发发热。由于劣化绝缘子会造成破损处温升、内部穿透性泄漏电流电流加大、发热增加等现象，表面温度可能会升到几百度，甚至几千度。
在具体实施过程中，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，首先检测绝缘子巡检可见光图像中所有的破裂异常以及其对应矩形框位置；然后截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
例如：利用两阶段级联模型对绝缘子巡检可见光图像进行处理。其中，所述两阶段级联模型包括串联的变电绝缘子破裂缺陷模型和二分类器。
利用两阶段级联模型对绝缘子巡检可见光图像进行处理的过程包括：
利用变电绝缘子破裂缺陷模型处理巡检图像，判断出绝缘子巡检可见光图像中所有的破裂异常以及其对应的矩形框位置；
根据所有的绝缘子破裂异常区域的矩形框位置，从巡检图像中截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
在其他实施例中，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，还包括：
根据变电绝缘子破裂缺陷模型和二分类器的预设输出结果影响因子，分别与变电绝缘子破裂缺陷模型和二分类器输出结果的概率进行加权，当加权后的结果超过预设第二阈值时，判定存在缘子破裂异常区域。
其中，本领域技术人员可根据实际精度需求来具体设置第二阈值的数值，此处不再详述。
在该实施例中，绝缘子破裂并不完全依赖于分类模型的结果，通过评估模型的准确性来分别设定两阶段模型（分别为变电绝缘子破裂缺陷模型和二分类器）检测结果影响因子。阶段1模型为变电绝缘子破裂缺陷模型。阶段2模型为二分类器。
如果阶段1模型的检测结果识别率很高，则阶段1检测结果影响因子范围0.7-1，阶段2 影响因子范围0-0.3；反之，阶段2检测结果影响因子范围0.7-1，阶段1 影响因子范围0-0.3；若两阶段模型识别率不相上下，则二者影响因子分别为0.5。
在对变电绝缘子破裂缺陷模型及二分类器进行训练的过程中，基于绝缘子破裂样本库的图像信息和xml文件，截取设备缺陷的矩形框区域，构建绝缘子破裂与绝缘子正常分类样本库。
例如：变电绝缘子破裂缺陷模型采用常用目标检测算法（YOLO算法、Cascade-Rcnn算法、Faster-Rcnn算法等），用于定位巡检图像中变电设备；然后，二分类器采用比如：AlexNet算法、VGG算法、ResNet算法等来实现。本实施例结合检测和分类结果进一步判断是否是设备缺陷，从而实现设备缺陷的精确定位。
步骤3：当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值（如：0.5或其他数值）的比较结果，最终判定绝缘子是否存在破裂缺陷。
其中，当所述交并比大于预设第一阈值时，则判断绝缘子存在破裂缺陷。当所述交并比小于或等于预设第一阈值时，则判断绝缘子存在潜在破裂缺陷，并发出需进一步核检的通知。当判断绝缘子存在潜在破裂缺陷时，且分时段多次监测后仍持续异常，则发出报警以通知人工复检故障存在的可能性。
在本实施例中，若同时满足可见光图像分析结果和红外图像分析结果异常，则判断存在绝缘子破裂缺陷，作为紧急缺陷信息发送至一线运维人员手机，及时解决潜在故障；若只存在可见光图像分析结果或红外图像分析结果异常，则作为潜在缺陷上报至后台，进行分时段多次监测，若持续异常，则报警至后台，人工复检故障存在的可能性。
实施例二
如图2所示，本实施例提供了一种基于多模态信息融合的绝缘子破裂的检测***，其包括：
（1）图像获取模块，其用于获取绝缘子巡检可见光图像以及绝缘子巡检红外图像。
（2）图像处理模块，其用于从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域。
具体地，在所述图像处理模块中，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，首先检测绝缘子巡检可见光图像中所有的破裂异常以及其对应矩形框位置；然后截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
在所述图像处理模块中，采用两阶段级联模型对绝缘子巡检可见光图像进行处理，识别出是否存在绝缘子破裂异常区域；所述两阶段级联模型包括串联的变电绝缘子破裂缺陷模型和二分类器。
（3）缺陷判断模块，其用于当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值的比较结果，最终判定绝缘子是否存在破裂缺陷。
在所述缺陷判断模块中，当所述交并比大于预设第一阈值时，则判断绝缘子存在缺陷。在所述缺陷判断模块中，当所述交并比小于或等于预设第一阈值时，则判断绝缘子存在潜在缺陷，并发出需进一步核检的通知。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
在其他实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多模态信息融合的绝缘子破裂的检测方法中的步骤。
在一些实施例中，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多模态信息融合的绝缘子破裂的检测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，包括：
获取绝缘子巡检可见光图像以及绝缘子巡检红外图像；
从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域；
当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值的比较结果，最终判定绝缘子是否存在破裂缺陷。
2.如权利要求1所述的基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，首先检测绝缘子巡检可见光图像中所有的破裂异常以及其对应矩形框位置；然后截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
3.如权利要求1或2所述的基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，采用两阶段级联模型对绝缘子巡检可见光图像进行处理，识别出是否存在绝缘子破裂异常区域；所述两阶段级联模型包括串联的变电绝缘子破裂缺陷模型和二分类器。
4.如权利要求3所述的基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，还包括：
根据变电绝缘子破裂缺陷模型和二分类器的预设输出结果影响因子，分别与变电绝缘子破裂缺陷模型和二分类器输出结果的概率进行加权，当加权后的结果超过预设第二阈值时，判定存在缘子破裂异常区域。
5.如权利要求1所述的基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，当所述交并比大于预设第一阈值时，则判断绝缘子存在破裂缺陷。
6.如权利要求1所述的基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，当所述交并比小于或等于预设第一阈值时，则判断绝缘子存在潜在破裂缺陷，并发出需进一步核检的通知。
7.如权利要求6所述的基于多模态信息融合的绝缘子破裂的检测方法，其特征在于，当判断绝缘子存在潜在破裂缺陷时，且分时段多次监测后仍存在潜在破裂缺陷，则发出报警信息以通知人工复检故障。
8.一种基于多模态信息融合的绝缘子破裂的检测***，其特征在于，包括：
图像获取模块，其用于获取绝缘子巡检可见光图像以及绝缘子巡检红外图像；
图像处理模块，其用于从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域，从绝缘子巡检红外图像中识别出是否存在绝缘子温度异常状态区域；
缺陷判断模块，其用于当存在绝缘子破裂异常区域和绝缘子温度异常状态区域时，计算所述绝缘子破裂区域与绝缘子温度异常状态区域的交并比，再根据所述交并比与预设第一阈值的比较结果，最终判定绝缘子是否存在破裂缺陷。
9.如权利要求8所述的基于多模态信息融合的绝缘子破裂的检测***，其特征在于，在所述图像处理模块中，在从绝缘子巡检可见光图像中识别出是否存在绝缘子破裂异常区域的过程中，首先检测绝缘子巡检可见光图像中所有的破裂异常以及其对应矩形框位置；然后截取出所有的绝缘子破裂异常区域图像，再根据二分类器最终识别出存在缘子破裂异常区域的图像。
10.如权利要求8或9所述的基于多模态信息融合的绝缘子破裂的检测***，其特征在于，在所述图像处理模块中，采用两阶段级联模型对绝缘子巡检可见光图像进行处理，识别出是否存在绝缘子破裂异常区域；所述两阶段级联模型包括串联的变电绝缘子破裂缺陷模型和二分类器。
CN202310518728.2A 2023-05-10 2023-05-10 一种基于多模态信息融合的绝缘子破裂的检测方法及*** Active CN116228778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310518728.2A CN116228778B (zh) 2023-05-10 2023-05-10 一种基于多模态信息融合的绝缘子破裂的检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310518728.2A CN116228778B (zh) 2023-05-10 2023-05-10 一种基于多模态信息融合的绝缘子破裂的检测方法及***

Publications (2)

Publication Number Publication Date
CN116228778A true CN116228778A (zh) 2023-06-06
CN116228778B CN116228778B (zh) 2023-09-08

Family

ID=86570007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310518728.2A Active CN116228778B (zh) 2023-05-10 2023-05-10 一种基于多模态信息融合的绝缘子破裂的检测方法及***

Country Status (1)

Country Link
CN (1) CN116228778B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496133A (zh) * 2024-01-03 2024-02-02 山东工商学院 基于多模态数据的封闭母线r-cnn温度故障监测方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005164565A (ja) * 2003-11-28 2005-06-23 3B System Inc 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法
CN105043993A (zh) * 2015-07-14 2015-11-11 国网山东省电力公司电力科学研究院 一种基于多光谱的复合绝缘子检测方法
CN204992418U (zh) * 2015-09-22 2016-01-20 南方电网科学研究院有限责任公司 一种无人机输电线路缺陷自动巡检装置
CN105486751A (zh) * 2016-01-26 2016-04-13 国网上海市电力公司 一种设备缺陷综合检测***
US20170094228A1 (en) * 2015-06-29 2017-03-30 Quantum IR Technologies, LLC Methods and systems for hotspot detection
CN107766801A (zh) * 2017-09-28 2018-03-06 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于红外热点追踪的绝缘子识别方法及装置
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及***
CN108872819A (zh) * 2018-07-29 2018-11-23 湖南湖大华龙电气与信息技术有限公司 基于红外热像和可见光的绝缘子检测无人机及方法
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及***
CN111652857A (zh) * 2020-05-20 2020-09-11 国网河北省电力有限公司检修分公司 一种绝缘子缺陷红外检测方法
WO2022052181A1 (zh) * 2020-09-09 2022-03-17 华北电力大学（保定） 一种基于零样本学习的绝缘子缺陷检测方法及***
CN114359695A (zh) * 2021-12-31 2022-04-15 三峡大学 基于不确定性估计的绝缘子破损识别方法
CN114429457A (zh) * 2022-01-19 2022-05-03 中国电建集团中南勘测设计研究院有限公司 一种基于双模态融合的风机叶片缺陷智能检测方法
CN114612406A (zh) * 2022-03-03 2022-06-10 南京理工大学 一种基于可见光和红外视觉的光伏板缺陷检测方法
CN114792319A (zh) * 2022-06-23 2022-07-26 国网浙江省电力有限公司电力科学研究院 一种基于变电图像的变电站巡检方法及***
CN114841980A (zh) * 2022-05-19 2022-08-02 国网山东省电力公司潍坊市寒亭区供电公司 基于巡线航拍图像的绝缘子缺陷检测方法及***
CN115049663A (zh) * 2022-08-16 2022-09-13 星逻智能科技(苏州)有限公司 基于无人机双光融合绝缘子缺陷检测方法及***
CN115546909A (zh) * 2022-10-11 2022-12-30 重庆紫光华山智安科技有限公司 活体检测方法、装置、门禁***、设备及存储介质
CN115601355A (zh) * 2022-11-10 2023-01-13 四川启睿克科技有限公司（Cn） 一种产品表面缺陷检测与分类方法、装置及存储介质
CN116091472A (zh) * 2023-02-20 2023-05-09 浙江大学 一种融合可见光和红外图像的光伏组件缺陷智能检测方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005164565A (ja) * 2003-11-28 2005-06-23 3B System Inc 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法
US20170094228A1 (en) * 2015-06-29 2017-03-30 Quantum IR Technologies, LLC Methods and systems for hotspot detection
CN105043993A (zh) * 2015-07-14 2015-11-11 国网山东省电力公司电力科学研究院 一种基于多光谱的复合绝缘子检测方法
CN204992418U (zh) * 2015-09-22 2016-01-20 南方电网科学研究院有限责任公司 一种无人机输电线路缺陷自动巡检装置
CN105486751A (zh) * 2016-01-26 2016-04-13 国网上海市电力公司 一种设备缺陷综合检测***
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及***
CN107766801A (zh) * 2017-09-28 2018-03-06 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于红外热点追踪的绝缘子识别方法及装置
CN108872819A (zh) * 2018-07-29 2018-11-23 湖南湖大华龙电气与信息技术有限公司 基于红外热像和可见光的绝缘子检测无人机及方法
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及***
CN111652857A (zh) * 2020-05-20 2020-09-11 国网河北省电力有限公司检修分公司 一种绝缘子缺陷红外检测方法
WO2022052181A1 (zh) * 2020-09-09 2022-03-17 华北电力大学（保定） 一种基于零样本学习的绝缘子缺陷检测方法及***
CN114359695A (zh) * 2021-12-31 2022-04-15 三峡大学 基于不确定性估计的绝缘子破损识别方法
CN114429457A (zh) * 2022-01-19 2022-05-03 中国电建集团中南勘测设计研究院有限公司 一种基于双模态融合的风机叶片缺陷智能检测方法
CN114612406A (zh) * 2022-03-03 2022-06-10 南京理工大学 一种基于可见光和红外视觉的光伏板缺陷检测方法
CN114841980A (zh) * 2022-05-19 2022-08-02 国网山东省电力公司潍坊市寒亭区供电公司 基于巡线航拍图像的绝缘子缺陷检测方法及***
CN114792319A (zh) * 2022-06-23 2022-07-26 国网浙江省电力有限公司电力科学研究院 一种基于变电图像的变电站巡检方法及***
CN115049663A (zh) * 2022-08-16 2022-09-13 星逻智能科技(苏州)有限公司 基于无人机双光融合绝缘子缺陷检测方法及***
CN115546909A (zh) * 2022-10-11 2022-12-30 重庆紫光华山智安科技有限公司 活体检测方法、装置、门禁***、设备及存储介质
CN115601355A (zh) * 2022-11-10 2023-01-13 四川启睿克科技有限公司（Cn） 一种产品表面缺陷检测与分类方法、装置及存储介质
CN116091472A (zh) * 2023-02-20 2023-05-09 浙江大学 一种融合可见光和红外图像的光伏组件缺陷智能检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JALIL,BUSHRA等: "Fault detection in power equipment via an unmanned aerial system using multi modal data", 《SENSORS》 *
姚楠;蔡越;苗佳;: "基于智能图像的变电站设备绝缘子破裂裂纹识别研究", 现代电子技术, no. 22 *
武建华;梁利辉;纪欣欣;刘云鹏;裴少通;: "基于YOLOv3算法的绝缘子红外图像故障检测方法", 广东电力, no. 09 *
金立军;田治仁;高凯;肖嵘;: "基于红外与可见光图像信息融合的绝缘子污秽等级识别", 中国电机工程学报, no. 13 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496133A (zh) * 2024-01-03 2024-02-02 山东工商学院 基于多模态数据的封闭母线r-cnn温度故障监测方法
CN117496133B (zh) * 2024-01-03 2024-03-22 山东工商学院 基于多模态数据的封闭母线r-cnn温度故障监测方法

Also Published As

Publication number Publication date
CN116228778B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN111582235B (zh) 用于实时监控站内异常事件的警报方法、***及设备
CN116228778B (zh) 一种基于多模态信息融合的绝缘子破裂的检测方法及***
CN111599031A (zh) 一种电力巡检机器人巡检数据采集分析方法及***
CN117590223B (zh) 断路器的在线监测***及其方法
CN111797725A (zh) 一种设备状态检测方法、装置及***
CN112001327A (zh) 一种阀厅设备故障识别方法及***
CN109902373A (zh) 一种辖区变电站故障诊断、定位方法及***
CN109474333A (zh) 一种基于深度学习的电力光缆实时监测保护***
CN113012107B (zh) 电网缺陷检测方法及***
CN117031182B (zh) 配电站所终端遥测值异常检测方法及***
CN115587312B (zh) 一种基于多维大数据分析的故障点定位方法和***
CN111898872A (zh) 一种基于微服务架构的电网故障诊断方法及存储介质
Adami et al. New approach to improve high-voltage transmission line reliability
CN114942364A (zh) 一种基于知识图谱技术的变电站故障诊断方法与***
CN115690659A (zh) 一种遮挡条件下的变电站安全检测方法及装置
CN113449767B (zh) 一种多图像融合的变电站设备异常识别定位方法
KR102282505B1 (ko) 전기 설비의 이상 검출 장치 및 방법
CN113672658A (zh) 基于复相关系数的电力设备在线监测错误数据识别方法
CN106125643A (zh) 一种基于机器学习技术的工控安防方法
CN116319269B (zh) 具备通讯故障自检及快速隔离的新能源边缘侧通信模块
AU2021103901A4 (en) Method for identifying abnormity of overhead lines with unbalanced samples
CN109507631A (zh) 一种提高接驳率的检定方法和装置
CN109066618B (zh) 基于短时间尺度的开关量检验方法、装置及存储介质
CN113659709B (zh) 一种基于声音识别的开关站运行监测***及方法
Jiang et al. Insulator fault feature extraction system of substation equipment based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant