CN117649374A - 一种变电站销钉缺失的智能检测方法及装置 - Google Patents

一种变电站销钉缺失的智能检测方法及装置 Download PDF

Info

Publication number
CN117649374A
CN117649374A CN202311367918.5A CN202311367918A CN117649374A CN 117649374 A CN117649374 A CN 117649374A CN 202311367918 A CN202311367918 A CN 202311367918A CN 117649374 A CN117649374 A CN 117649374A
Authority
CN
China
Prior art keywords
pin
image
different
images
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311367918.5A
Other languages
English (en)
Inventor
王磊
王振利
王万国
张斌
孙志周
周大洲
贾昭鑫
郭修宵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN202311367918.5A priority Critical patent/CN117649374A/zh
Publication of CN117649374A publication Critical patent/CN117649374A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种变电站销钉缺失的智能检测方法及装置，获取销钉多时间点、多角度、多拍摄距离的图像数据；对图像数据进行预处理；对预处理后的各个图像中的销钉位置进行标注，作为销钉检测的训练样本数据集；利用训练样本数据集训练构建的销钉检测网络模型，所述销钉检测网络模型利用多次倍数不同的下采样操作获取训练样本图像不同感受野的特征图，再进行特征图融合，保留销钉在不同感受野下的特征，并优化模型参数；利用训练后的销钉检测网络模型，处理目标销钉图像，判断图像中是否存在销钉，若未检测到销钉，则发出警报信号。本发明能够提升变电站销钉缺失的智能性和准确性。

Description

一种变电站销钉缺失的智能检测方法及装置
技术领域
本发明属于电力设备目标检测技术领域，具体涉及一种变电站销钉缺失的智能检测方法及装置。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在变电站设备的运行过程中，销钉的完好程度对设备的安全运行至关重要。然而，由于变电站设备众多，传统的人工检测方法耗时且易出错，难以满足实际需求。
另外，销钉的体积较小，在大场景巡检画面和特写画面中像素面积差距很大，且不同变电站设备上使用的销钉外形上存在一定的差异，因此，利用现有的神经网络模型进行图像处理时，也存在正确率低的问题。
发明内容
本发明为了解决上述问题，提出了一种变电站销钉缺失的智能检测方法及装置，本发明能够提升变电站销钉缺失的智能性和准确性。
根据一些实施例，本发明采用如下技术方案：
一种变电站销钉缺失的智能检测方法，包括以下步骤：
获取包含销钉的多时间点、多角度、多拍摄距离的图像数据；
对图像数据进行预处理；
对预处理后的各个图像中的销钉位置进行标注，作为销钉检测的训练样本数据集；
利用所述训练样本数据集训练构建的销钉检测网络模型，所述销钉检测网络模型利用多次倍数不同的下采样操作获取训练样本图像不同感受野的特征图，再进行特征图融合，保留销钉在不同感受野下的特征，并优化模型参数；
利用训练后的销钉检测网络模型，处理目标销钉图像，判断图像中是否存在销钉，若未检测到销钉，则发出警报信号。
作为可选择的实施方式，所述图像数据包含多组不同时间点、不同角度、不同拍摄距离拍摄的同一销钉图像，各组图像拍摄的销钉不同。
作为进一步的，所述不同拍摄距离拍摄的销钉图像，销钉在图像内的画面占比不同。
作为可选择的实施方式，所述预处理过程包括图像去噪、旋转、亮度调整和图像增强。
作为可选择的实施方式，所述销钉检测网络模型使用大小为3*3，步长为2的卷积核对训练图像进行卷积操作，获取训练样本的卷积特征图，此操作为下采样。
作为可选择的实施方式，下采样倍数较小的特征图感受野较小，适合处理画面占比较大小的销钉图像，下采样倍数较大的特征图感受野较大，适合处理画面占比较大的销钉图像。
作为进一步的实施方式，将高倍下采样的特征图上采样，使其与浅层特征图保持相同的大小。
作为可选择的实施方式，优化模型参数的具体过程包括通过损失函数约束和反向传播网络，训练模型参数，直到满足迭代条件。
一种变电站销钉缺失的智能检测装置，包括：
图像获取模块，被配置为获取销钉多时间点、多角度、多拍摄距离的图像数据；
预处理模块，被配置为对图像数据进行预处理；
训练样本数据集构建模块，被配置为获取预处理后的各个图像中的销钉位置的标注信息，作为销钉检测的训练样本数据集；
销钉检测网络模型优化模块，被配置为利用所述训练样本数据集训练构建的销钉检测网络模型，所述销钉检测网络模型利用多次倍数不同的下采样操作获取训练样本图像不同感受野的特征图，再进行特征图融合，保留销钉在不同感受野下的特征，并优化模型参数；
目标检测模块，被配置为利用训练后的销钉检测网络模型，处理目标销钉图像，判断图像中是否存在销钉，若未检测到销钉，则发出警报信号。
作为可选择的实施方式，还包括摄像设备，所述摄像设备的分辨率超过设定值。
作为可选择的实施方式，还包括输出模块，被配置为显示目标检测结果。
与现有技术相比，本发明的有益效果为：
本发明创新性提供了一种利用人工智能和目标检测技术实现变电站销钉缺失的智能检测方法及装置，利用包含销钉的多时间点、多角度、多拍摄距离的图像数据，能够获取不同状态下、不同画面占比的销钉图像，保证后续检测的准确性；利用多次下采样，利用不同感受野的特征图，自适应处理不同的图像，有效提高画面中不同大小的销钉检出率。本发明能够实现可以实时监测销钉的完好程度，及时发现异常情况，节省了人力资源和成本。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本实施例的流程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
一种变电站销钉缺失的智能检测方法，包括以下步骤：
步骤1:数据采集
由于销钉的体积较小，在大场景巡检画面和特写画面中像素面积差距很大；不同变电站设备上使用的销钉外形上存在一定的差异。使用高分辨率的摄像设备对变电站设备销钉安装部位进行拍摄，确保能够全面拍摄销钉安装部位的细节和特征。通过摄像设备多时间点、多角度拍摄获取一系列图像，以确保获取到不同状态下的销钉图像数据。通过多距离拍摄，以保证获取到不同画面占比的销钉图像。
步骤2:数据预处理
对采集到的图像数据进行预处理，包括图像去噪、旋转、亮度调整、马赛克图像增强等，以提高后续目标检测的准确性。
步骤3:目标检测神经网络训练
对预处理后的图像中的销钉位置进行标注，作为销钉检测算法训练数据集。训练销钉检测网络模型。
进一步地，使用大小为3*3，步长为2的卷积核对训练图像进行卷积操作，获取训练样本的卷积特征图，此操作为下采样。
进一步地，经过多次下采样，获得图像不同感受野的特征图，下采样倍数小的特征图感受野小，几何细节信息表征能力强，适合处理小目标，下采样倍数大的特征图感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱，适合处理较大的目标。通过将高倍下采样的特征图上采样，使其与浅层特征图保持相同的大小，然后进行特征图融合，保留销钉在不同感受野下的特征；有效提高画面中不同大小的销钉检出率。
进一步地，通过损失函数约束和反向传播网络，训练模型参数，得到最优的销钉检测模型。
步骤4:销钉缺失判断
输入变电站设备销钉部位图像，经过销钉检测模型预测，判断图像中是否存在销钉。如果未检测到销钉，则发出警报信号。
步骤5:结果输出
将检测结果输出到显示设备或存储设备，以供操作人员查看和分析。
实施例二
一种变电站销钉缺失的智能检测装置，包括：
摄像设备:用于采集变电站设备的图像数据。
图像获取模块，被配置为获取销钉多时间点、多角度、多拍摄距离的图像数据；
预处理模块，被配置为对图像数据进行预处理；
训练样本数据集构建模块，被配置为获取预处理后的各个图像中的销钉位置的标注信息，作为销钉检测的训练样本数据集；
销钉检测网络模型优化模块，被配置为利用所述训练样本数据集训练构建的销钉检测网络模型，所述销钉检测网络模型利用多次倍数不同的下采样操作获取训练样本图像不同感受野的特征图，再进行特征图融合，保留销钉在不同感受野下的特征，并优化模型参数；
目标检测模块，被配置为利用训练后的销钉检测网络模型，处理目标销钉图像，判断图像中是否存在销钉，若未检测到销钉，则发出警报信号。
结果输出模块:将检测结果输出到显示设备或存储设备。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，本领域技术人员不需要付出创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种变电站销钉缺失的智能检测方法，其特征是，包括以下步骤：
获取销钉多时间点、多角度、多拍摄距离的图像数据；
对图像数据进行预处理；
对预处理后的各个图像中的销钉位置进行标注，作为销钉检测的训练样本数据集；
利用所述训练样本数据集训练构建的销钉检测网络模型，所述销钉检测网络模型利用多次倍数不同的下采样操作获取训练样本图像不同感受野的特征图，再进行特征图融合，保留销钉在不同感受野下的特征，并优化模型参数；
利用训练后的销钉检测网络模型，处理目标销钉图像，判断图像中是否存在销钉，若未检测到销钉，则发出警报信号。
2.如权利要求1所述的一种变电站销钉缺失的智能检测方法，其特征是，所述图像数据包含多组不同时间点、不同角度、不同拍摄距离拍摄的同一销钉图像，各组图像拍摄的销钉不同。
3.如权利要求2所述的一种变电站销钉缺失的智能检测方法，其特征是，所述不同拍摄距离拍摄的销钉图像，销钉在图像内的画面占比不同。
4.如权利要求1所述的一种变电站销钉缺失的智能检测方法，其特征是，所述预处理过程包括图像去噪、旋转、亮度调整和图像增强。
5.如权利要求1所述的一种变电站销钉缺失的智能检测方法，其特征是，所述销钉检测网络模型使用大小为3*3，步长为2的卷积核对训练图像进行卷积操作，获取训练样本的卷积特征图，此操作为下采样。
6.如权利要求1所述的一种变电站销钉缺失的智能检测方法，其特征是，下采样倍数较小的特征图感受野较小，适合处理画面占比较大小的销钉图像，下采样倍数较大的特征图感受野较大，适合处理画面占比较大的销钉图像。
7.如权利要求1或6所述的一种变电站销钉缺失的智能检测方法，其特征是，将高倍下采样的特征图上采样，使其与浅层特征图保持相同的大小。
8.如权利要求1所述的一种变电站销钉缺失的智能检测方法，其特征是，优化模型参数的具体过程包括通过损失函数约束和反向传播网络，训练模型参数，直到满足迭代条件。
9.一种变电站销钉缺失的智能检测装置，其特征是，包括：
图像获取模块，被配置为获取销钉多时间点、多角度、多拍摄距离的图像数据；
预处理模块，被配置为对图像数据进行预处理；
训练样本数据集构建模块，被配置为获取预处理后的各个图像中的销钉位置的标注信息，作为销钉检测的训练样本数据集；
销钉检测网络模型优化模块，被配置为利用所述训练样本数据集训练构建的销钉检测网络模型，所述销钉检测网络模型利用多次倍数不同的下采样操作获取训练样本图像不同感受野的特征图，再进行特征图融合，保留销钉在不同感受野下的特征，并优化模型参数；
目标检测模块，被配置为利用训练后的销钉检测网络模型，处理目标销钉图像，判断图像中是否存在销钉，若未检测到销钉，则发出警报信号。
10.如权利要求9所述的一种变电站销钉缺失的智能检测装置，其特征是，还包括摄像设备，所述摄像设备的分辨率超过设定值；
或/和，还包括输出模块，被配置为显示目标检测结果。
CN202311367918.5A 2023-10-20 2023-10-20 一种变电站销钉缺失的智能检测方法及装置 Pending CN117649374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311367918.5A CN117649374A (zh) 2023-10-20 2023-10-20 一种变电站销钉缺失的智能检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311367918.5A CN117649374A (zh) 2023-10-20 2023-10-20 一种变电站销钉缺失的智能检测方法及装置

Publications (1)

Publication Number Publication Date
CN117649374A true CN117649374A (zh) 2024-03-05

Family

ID=90042266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311367918.5A Pending CN117649374A (zh) 2023-10-20 2023-10-20 一种变电站销钉缺失的智能检测方法及装置

Country Status (1)

Country Link
CN (1) CN117649374A (zh)

Similar Documents

Publication Publication Date Title
CN112528971B (zh) 基于深度学习的输电线路异常目标检测方法及***
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其***、设备、介质
CN106851229B (zh) 一种基于图像识别的安防智能决策的方法与***
CN103605983B (zh) 一种遗留物检测和跟踪方法
CN111222478A (zh) 一种工地安全防护检测方法和***
CN111147768A (zh) 一种提高回看效率的智能监控视频回看方法
CN111815623A (zh) 输电线路开口销缺失识别方法
CN111832398A (zh) 一种无人机影像的配电线路杆塔导地线断股图像检测方法
CN109297978B (zh) 基于双目成像的电力线路无人机巡检及缺陷智能诊断***
CN111695493A (zh) 一种输电线路隐患的检测方法及***
CN113299073A (zh) 识别车辆违章停车的方法、装置、设备和存储介质
CN115082813A (zh) 检测方法、无人机、检测***及介质
CN114863311A (zh) 一种变电站机器人巡检目标自动跟踪方法及***
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN117351637A (zh) 一种基于yolo的电动车棚起火预警***及方法
CN117392568A (zh) 一种复杂场景下无人机巡检变电设备的方法
CN111147815A (zh) 一种视频监控***
CN117649374A (zh) 一种变电站销钉缺失的智能检测方法及装置
CN116739963A (zh) 一种基于多层级多尺度特征融合的电网设备缺陷检测方法
CN111985497B (zh) 架空输电线路下吊车作业识别方法及***
CN114494931A (zh) 一种针对视频图像故障的智能分类处理方法和***
CN110765932B (zh) 一种场景变化感知方法
CN109325441B (zh) 一种输电线路绝缘子对象识别方法
CN113239931A (zh) 一种物流站车牌识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination