CN115564773B - 基于元学习的小样本图像缺陷检测方法、装置和设备 - Google Patents

基于元学习的小样本图像缺陷检测方法、装置和设备 Download PDF

Info

Publication number
CN115564773B
CN115564773B CN202211446408.2A CN202211446408A CN115564773B CN 115564773 B CN115564773 B CN 115564773B CN 202211446408 A CN202211446408 A CN 202211446408A CN 115564773 B CN115564773 B CN 115564773B
Authority
CN
China
Prior art keywords
image
power grid
grid image
defect detection
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211446408.2A
Other languages
English (en)
Other versions
CN115564773A (zh
Inventor
黄文琦
曾群生
吴洋
周锐烨
姚森敬
李端姣
李雄刚
刘高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202211446408.2A priority Critical patent/CN115564773B/zh
Publication of CN115564773A publication Critical patent/CN115564773A/zh
Application granted granted Critical
Publication of CN115564773B publication Critical patent/CN115564773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于元学习的小样本图像缺陷检测方法、装置和设备。所述方法包括：根据对待检测的多张电网图像进行数据增广处理，得到电网图像集合，并从电网图像集合中确定第一电网图像，从各电网图像子集中确定各第二电网图像，将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果。采用本方法能够根据预设的识别模型和常见的样本增广方式检测出待检测小样本图像的缺陷位置和类别，从而提高了小样本图像的检测缺陷的准确率。

Description

基于元学习的小样本图像缺陷检测方法、装置和设备
技术领域
本申请涉及图像数据处理技术领域，特别是涉及一种基于元学习的小样本图像缺陷检测方法、装置和设备。
背景技术
随着电网***的发展，电网架空线路的无人机巡视已经越来越普遍，无人机巡视后得到的图像由人工审图寻找缺陷的方式存在工作量大的问题，从而出现了图像智能缺陷检测技术。该技术需要将巡视后的图像与电网***中现有样本库中的样本进行对比，从而确定缺陷的位置和类别。
然而，现有的图像智能缺陷检测技术存在检测缺陷的准确率较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高缺陷检测率的基于元学习的小样本图像缺陷检测方法、装置和设备。
第一方面，本申请提供了一种基于元学习的小样本图像缺陷检测方法。所述方法包括：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
在其中一个实施例中，识别模型包括特征提取网络和融合网络，将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果，包括：
将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征；
将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。
在其中一个实施例中，融合网络用于执行以下步骤：
将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征；
将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；
根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
在一个实施例中，上述方法还包括：
对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像；
对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
在一个实施例中，特征提取网络为resnet101网络，和/或，融合网络为Transformer网络。
在其中一个实施例中，识别模型的训练方法包括：
根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量大于第二阈值；
将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合；第二样本图像的数量小于第一阈值；
根据第二样本图像集合对初始识别模型进行训练，得到识别模型。
在其中一个实施例中，根据第二样本图像集合对初始识别模型进行训练，得到识别模型，包括：
在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像；
根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
第二方面，本申请还提供了一种基于元学习的小样本图像缺陷检测装置。上述装置包括：
第一获取模块，用于对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
确定模块，用于从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
第二获取模块，用于将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
上述基于元学习的小样本图像缺陷检测方法、装置和设备，根据对待检测的多张电网图像进行数据增广处理，得到电网图像集合，并从电网图像集合中确定第一电网图像，从各电网图像子集中确定各第二电网图像，将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果。和现有技术相比，本申请的技术方案对待检测的多张电网图像进行数据增广处理，这增加了极小样本的电网图像集的丰富性，并且，基于从数据增广处理之后的电网图像集中确定出第一电网图像和各第二电网图像，并将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，从而得到缺陷检测结果，采用预设的识别模型和常见的样本增广方式检测出待检测小样本图像的缺陷位置和类别，从而提高了小样本图像的检测缺陷的准确率。
附图说明
图1为一个实施例中基于元学习的小样本图像缺陷检测方法的应用环境图；
图2为一个实施例中基于元学习的小样本图像缺陷检测方法的流程示意图；
图3为一个实施例中获取缺陷检测结果步骤的流程示意图；
图4为另一个实施例中获取缺陷检测结果方法的流程示意图；
图5为一个实施例中确定第一电网图像和第二电网图像位置信息的流程示意图；
图6为一个实施例中确定识别模型的流程示意图；
图7为一个实施例中确定识别模型的流程示意图；
图8为一个实施例中基于元学习的小样本图像缺陷检测方法的流程示意图；
图9为一个实施例中识别模型训练的流程示意图；
图10为一个实施例中基于元学习的小样本图像缺陷检测装置的结构框图；
图11为一个实施例中基于元学习的小样本图像缺陷检测装置的结构框图；
图12为一个实施例中基于元学习的小样本图像缺陷检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在电网的缺陷检测领域，电网架空线路的无人机巡视技术已经基本上全面代替了传统的人工巡检方式，对巡视后的图像进行人工审图寻找缺陷存在工作量大，耗时长的问题，从而出现了图像智能缺陷检测技术。
绝缘子是用来支撑固定母线与带电导体、并使带电导体之间或带电导体与大地之间有足够的距离的电子元器件。绝缘子具有足够的电气绝缘强度和耐潮湿性能。绝缘子一般安装在不同电位的导体之间或导体与地电位之间，能够耐受电压和机械应力的双重作用。绝缘子是一种特殊的绝缘控件，能够在架空输电线路中起到重要作用，一旦绝缘子部件本身出现缺陷可能导致输电线路的故障从而发生供电问题，然而绝缘子的M销钉缺失既存在目标小又存在样本少的难题，这使得现有的图像智能缺陷检测技术在应用到绝缘子的M销钉缺失缺陷检测时难以达到实用化，从而导致图像智能缺陷检测技术的准确率较低。
下面将对本申请实施例提供的基于元学***板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
在一个实施例中，如图2所示，提供了一种基于元学习的小样本图像缺陷检测方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S201、对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值。
其中，待检测的多张电网图像可以为无人机巡视电网架空线路后采集到的图像，待检测的多张电网图像的图像数量小于第一阈值，例如，待检测的多张电网图像为样本量比较少的图像，也即，该电网图像为小样本图像，比如，该电网图像可以为包括绝缘子的M销钉缺失的图像，也可以为包括绝缘子自爆缺陷等类型的图像。其中，第一阈值可以为根据样本量比较少的图像的数量统计得到的阈值。电网图像集合中既包括上述的小样本电网图像，该可以包括一些样本量比较大的电网图像，例如，该电网图像集合中还可以包括不同的缺陷类型的大样本电网图像，不同的缺陷类型的大样本电网图像可以包括电网线路断线缺陷图像，也可以包括电网线路腐蚀缺陷图像等，本申请实施例中不加以限制。其中，相同缺陷类型的电网图像划分为一个电网图像子集，也即，可以根据电网图像的缺陷类型划分多个电网图像子集。
在本申请实施例中，数据增广处理方式可以包括但不限于对比度调整、直方图均衡化、随机噪声、锐化和翻转等处理方式。可选地，还可以对待检测的多张电网图像进行数据增广处理，将数据增广处理后的各电网图像的尺寸统一缩放到一个特定的尺寸，得到统一尺寸的电网图像归类到电网图像集合。需要说明的是，将数据增广处理后的各电网图像的尺寸统一缩放到一个特定的尺寸，例如，该图像的宽高尺寸大小可以统一为672*480。
S202、从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像。
其中，第一电网图像可以为从上述S202得到的电网图像集合中随机抽取的一张电网图像。各电网图像子集可以为根据电网图像集合按照特定的规则确定的，需要说明的是，特定的规则可以为按照电网图像中的缺陷类型，例如，将电网图像为电网线路断线缺陷的图像归类为第一电网图像子集，将电网图像为电网线路腐蚀缺陷的图像归类为第二电网图像子集。第二电网图像可以为从各电网图像子集中随机抽取一张电网图像确定的。
在本申请实施例中，可以从上述S202得到的电网图像集合中确定一张第一电网图像，并从各电网图像子集中确定多张第二电网图像。示例性的，假设该电网图像集合中共有N张电网图像，可以从这N张电网图像中随机一张作为第一电网图像，将这N张电网图像按照缺陷类型分为M类网图像，并从这M类网图像中分别抽取一张电网图像，一共抽取M张作为第二电网图像。
S203、将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
其中，预设的识别模型可以为神经网络模型，特征提取可以为通过预设的识别模型提取电网图像的纹理、边缘和颜色等特征，本申请实施例中不加以限制。
在本申请实施例中，可以将上述S202得到的第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取，并根据提取到的第一电网图像的特征和各第二电网图像的特征中进行缺陷检测，从而得到缺陷检测结果。其中，缺陷检测结果包括缺陷的位置和类型。
本申请实施例提供的基于元学习的小样本图像缺陷检测方法，根据对待检测的多张电网图像进行数据增广处理，得到电网图像集合，并从电网图像集合中确定第一电网图像，从各电网图像子集中确定各第二电网图像，将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果。和现有技术相比，本申请的技术方案对待检测的多张电网图像进行数据增广处理，这增加了极小样本的电网图像集的丰富性，并且，基于从数据增广处理之后的电网图像集中确定出第一电网图像和各第二电网图像，并将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，从而得到缺陷检测结果，采用预设的识别模型和常见的样本增广方式检测出待检测小样本图像的缺陷位置和类别，从而提高了小样本图像的检测缺陷的准确率。
在一个实施例中，在图2所示实施例的基础上，本实施例对上述获取缺陷检测结果的过程进行详细描述，如图3所示，上述S203“将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果”，可以包括：
S301、将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征。
在本申请实施例中，上述实施例提到的识别模型可以包括特征提取网络和融合网络。其中，特征提取网络可以为resnet网络、overfeat网络和alexnet网络等。在本申请实施例中，可选地，特征提取网络选择resnet101网络，resnet101网络即在预训练模型的基础上，采用101层的深度残差网络ResNet-101，可以利用其极强的特征提取能力快速提取原始图像的特征并实现对原始图像的分类。融合网络可以为Transformer网络，相比于其他类型的神经网络，Transformer网络可以进行并行计算从而缩短计算时间，Transformer网络还可以在计算两个位置之间的关联时，所需的操作次数不会随着操作距离的延长而增加从而降低了计算的操作次数。第一图像特征和第二图像特征可以为电网图像的纹理、边缘和颜色特征等特征。
在本申请实施例中，可以将上述S202获取的第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，根据第一电网图像提取到的特征得到第一电网图像的第一图像特征，根据第二电网图像提取到的特征得到第二电网图像的第二图像特征。需要说明的是，在本申请实施例中，可以将第一电网图像的和各第二电网图像依次输入特征提取网络进行特征提取，也可以是将第一电网图像和各第二电网图像同时输入特征提取网络进行特征提取。
S302、将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。
其中，特征融合可以为将第一图像特征和第一图像的位置特征进行融合，也可以为将第二图像特征和第二图像的位置特征进行融合。缺陷检测可以为第一图像特征和各第二图像特征进行特征融合后，通过融合网络对融合后的特征检测得到的待检测电网图像的缺陷位置和缺陷类型等信息。
在本实施例中，可以将上述S301获取的第一图像特征和各第二图像特征输入至融合网络中进行特征融合，并将特征融合后的新第一图像特征和特征融合后的新第二图像特征进行缺陷检测，从而得到缺陷检测结果。或者，也可以是将特征融合后的新第一图像特征和特征融合后的新第二图像特征再次融合，对于最终融合的图像特征进行缺陷检测，从而得到缺陷检测结果。
本申请实施例提供的缺陷检测结果的获取方法，根据将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征，将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。由于第一图像特征是第一电网图像通过特征提取能力比较强的resnet101网络提取的，各第二图像特征是第二电网图像通过特征提取能力比较强的resnet101网络提取的，这使得获取的第一图像特征和第二图像特征更加精确，进一步的，将第一图像特征和第二图像特征输入至融合网络中进行特征融合和缺陷检测，采用融合特征使得得到缺陷检测结果更加精确。
在一个实施例中，在图3所示实施例的基础上，如图4所示，本实施例对上述融合网络的执行步骤进行详细描述，融合网络用于执行以下步骤：
S401、将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征。
其中，第一电网图像的位置信息可以为将第一电网图像上无限小的区域定义成一个点，该点的位置信息。例如，可以将第一电网图像网格化处理，对于网格位置信息进行编码，得到第一电网图像的位置信息，或者，也可以是对第一电网图像的各像素位置进行编码，得到第一电网图像的位置信息。
在本实施例中，可以将上述S301获取的第一图像特征和第一电网图像的位置信息进行融合，并将融合后的特征作为第一融合特征。
S402、将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征。
其中，第二电网图像的位置信息可以为将任意一张第二电网图像上无限小的区域定义成一个点，该点的位置信息。例如，可以将第二电网图像网格化处理，对于网格位置信息进行编码，得到第二电网图像的位置信息，或者，也可以是对第二电网图像的各像素位置进行编码，得到第二电网图像的位置信息。第二电网图像的任务标识可以为将各第二电网图像按照顺序标号后，每张第二电网图像的标号，示例性的，假设第二电网图像共有5张，可以按照数字顺序依次为这5张第二电网图像标号，可以为1、2、3、4、5，那么其中第一张第二电网图像的任务标识可以为1，第三张第二电网图像的任务标识也可以为3。
在本实施例中，可以将上述S301获取的第二图像特征和第二电网图像的位置信息和任务标识进行融合，并将融合后的特征作为第二融合特征。
S403、根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
在本申请实施例中，可以将上述S401获取的第一融合特征和S402获取的第二融合特征进行缺陷检测，并将检测结果作为最终的缺陷检测结果。
本申请实施例提供的融合网络的执行步骤，将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征，将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征，并根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。由于第一融合特征是根据第一图像特征、第一电网图像的位置信息得到的，第二融合特征是根据第二图像特征、第二电网图像的位置信息和任务标识得到的，这使得融合特征中不仅包含图像的颜色等特征，还包含图像中每一个点的位置信息，从而使得融合特征的确定更加精确，进一步的，基于第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果，从而使得缺陷的位置更加精确。
在一个实施例中，在图4所示实施例的基础上，如图5所示，本方法还包括：
S501、对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像。
其中，网格划分可以为对图像按照直角坐标轴进行正交划分。网格图像可以为将图像按照直角坐标轴进行正交划分后得到的网格图像。
在本申请实施例中，可以对第一电网图像进行网格划分，得到网格划分后的多个第一网格图像，也可以对各第二电网图像进行网格划分，得到网格划分后的多个第二网格图像。
S502、对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
其中，网格位置编码可以为对上述S501获取的多个第一网格图像中的每一个第一网格图像进行位置编码。
在本申请实施例中，可以对上述S501获取的任意一个第一网格图像进行网格位置编码，并将第一网格图像位置编码后的位置编码作为该第一网格图像的位置信息，遍历所有第一网格图像，得到所有第一网格图像的位置信息，该所有第一网格图像的位置信息即为第一电网图像的位置信息。
在本申请实施例中，可以对上述S501获取的任意一个第二网格图像进行网格位置编码，并将第二网格图像位置编码后的位置编码作为该第二网格图像的位置信息，遍历所有第二网格图像，得到所有第二网格图像的位置信息，该所有第二网格图像的位置信息即为第二电网图像的位置信息。
本申请实施例提供的电网图像的位置信息的确定方法，对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像，对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。由于是对图像进行网格划分，再根据网格确定每一个网格图像的位置信息，进一步根据每一个网格图像的位置信息确定图像的位置信息，这样使得确定的图像的位置信息更加精确，从而使得融合特征的确定更加准确，进一步使得确定的缺陷的位置更加精确。
在一个实施例中，在图5所示实施例的基础上，如图6所示，本实施例对上述识别模型的训练方法进行详细描述，上述识别模型的训练方法包括：
S601、根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量大于第二阈值。
其中，第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量可以大于第二阈值，也即，各样本图像子集的第一样本图像的数量可以较多。
在本申请实施例中，可以根据第一样本图像集合，对预设的初始神经网络模型进行训练，训练后得到初始的图像识别模型。例如，从第一样本图像集合中任意抽取一张图像作为第一电网图像，并从第一样本图像的每个子集合中随机各抽取一张作为第二电网图像，每次将第一电网图像和各第二电网图像输入初始神经网络中迭代，直到该神经网络收敛的模型，得到初始识别模型。
S602、将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合；第二样本图像的数量小于第一阈值。
其中，第二样本图像的数量可以为极难获取的小样本新类别图像的数量，第二样本图像的数量可以小于第一阈值，需要说明的是，第二样本图像为极小样本。
在本申请实施例中，将第二样本图像添加至上述第一样本集合中，得到第二样本图像集合。示例性的，假设第二样本图像的数量为k张，第一样本图像可以根据图像特征划分为2个样本图像子集，则从第一样本图像集合的各个样本图像子集中各抽取k张，与第二样本图像的k张共同组成3k张第二样本图像集合。又一示例性的，假设第二样本图像的数量为k张，第一样本图像可以根据图像特征划分为4个样本图像子集，则从第一样本图像集合的各个样本图像子集中各抽取k张，与第二样本图像的k张共同组成5k张第二样本图像集合。
S603、根据第二样本图像集合对初始识别模型进行训练，得到识别模型。
其中，根据第二样本图像集合对初始识别模型进行训练的过程可以是在每次迭代训练过程中，从第二样本图像集合中确定一张第一待训练样本图像，并从每个第二样本图像子集中分别确定一张第二待训练样本图像，并根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，将训练后的模型作为识别模型。
在本申请实施例中，在上述实施例的基础上，如图7所示，上述根据第二样本图像集合对初始识别模型进行训练，得到识别模型的过程，可以包括：
S701、在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像。
其中，第一待训练样本图像可以为从第二样本图像集合中随机抽取的一张图像作为第一待训练样本图像。第二待训练样本图像可以为将第二样本图像集合按照一定的特征进行分类，相同类别的图像归为一个样本图像子集，共N个样本图像子集，从N个样本图像子集中各随机抽取一张图像，共抽取的N张图像作为第二待训练样本图像。
S702、根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
其中，预设的收敛条件可以为迭代次数到达预设的次数，也可以为多次训练后的初始识别模型的损失函数的值到达预设值。
在本申请实施例中，可以根据上述S701获取的第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。需要说明的是，在第一次训练初始识别模型时，可以将第一待训练样本图像和各第二待训练样本图像输入至初始识别模型中进行训练，在第一次训练结束后，循环上述步骤S701和S702，直至满足预设的收敛条件，得到最后的识别模型。
示例性的，通过实验证明，经过初始识别模型的500次训练和识别模型的500次训练，神经网络收敛后，采用该识别模型对20张瓷质绝缘子M销钉缺失的图像进行识别，识别结果的平均准确率为71%，平均召回率为74%。
本申请实施例提供的识别模型的确定方法，根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型，使得识别模型可以对大样本电网图像的缺陷进行识别，将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合，并根据第二样本图像集合对初始识别模型进行训练，得到识别模型，使得识别模型可以精确识别小样本电网图像的缺陷，从而提高了缺陷检测的准确率。
在一个实施例中，图8为本申请实施例提供的一种基于元学习的小样本图像缺陷检测方法的流程图，该方法可以包括以下步骤：
S801、对待检测的多张电网图像进行数据增广处理，得到电网图像集合。
S802、从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像。
S803、将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征。
S804、对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像。
S805、对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
S806、将第一图像特征、第一电网图像的位置信息输入至融合网络中进行融合，得到第一融合特征。
S807、将第二图像特征、第二电网图像的位置信息和任务标识输入至融合网络中进行融合，得到第二融合特征。
S808、根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
其中，如图9所示，识别模型的训练方法可以包括：
S901、根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型。
S902、将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合。
S903、在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像。
S904、根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
本申请实施例提供的基于元学习的小样本图像缺陷检测方法，根据对待检测的多张电网图像进行数据增广处理，得到电网图像集合，并从电网图像集合中确定第一电网图像，从各电网图像子集中确定各第二电网图像，将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果。和现有技术相比，本申请的技术方案对待检测的多张电网图像进行数据增广处理，这增加了极小样本的电网图像集的丰富性，并且，基于从数据增广处理之后的电网图像集中确定出第一电网图像和各第二电网图像，并将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，从而得到缺陷检测结果，采用预设的识别模型和常见的样本增广方式检测出待检测小样本图像的缺陷位置和类别，从而提高了小样本图像的检测缺陷的准确率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于元学习的小样本图像缺陷检测方法的基于元学习的小样本图像缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于元学习的小样本图像缺陷检测装置实施例中的具体限定可以参见上文中对于基于元学习的小样本图像缺陷检测方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种基于元学习的小样本图像缺陷检测装置，包括：第一获取模块101、确定模块102和第二获取模块103，其中：
第一获取模块101，用于对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
确定模块102，用于从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
第二获取模块103，用于将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
在一个实施例中，上述识别模型包括特征提取网络和融合网络，上述第二获取模块103，包括：第一获取单元和第二获取单元。其中，
第一获取单元，具体用于将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征；
第二获取单元，具体用于将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。
在一个实施例中，上述融合网络用于执行以下步骤：
将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征；
将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；
根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
在一个实施例中，如图11所示，上述装置还包括：
划分模块104，用于对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像；
编码模块105，用于对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
在一个实施例中，上述特征提取网络为resnet101网络，和/或，融合网络为Transformer网络。
在一个实施例中，如图12所示，上述装置还包括：
第一训练模块106，用于根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量大于第二阈值；
添加模块107，用于将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合；第二样本图像的数量小于第一阈值；
第二训练模块108，用于根据第二样本图像集合对初始识别模型进行训练，得到识别模型。
在一个实施例中，上述第二训练模块108包括：
确定单元，具体用于在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像；
第三获取单元，具体用于根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
上述基于元学习的小样本图像缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征；
将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征；
将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；
根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像；
对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下内容：
特征提取网络为resnet101网络，和/或，融合网络为Transformer网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量大于第二阈值；
将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合；第二样本图像的数量小于第一阈值；
根据第二样本图像集合对初始识别模型进行训练，得到识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像；
根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征；
将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征；
将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；
根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像；
对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下内容：
特征提取网络为resnet101网络，和/或，融合网络为Transformer网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量大于第二阈值；
将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合；第二样本图像的数量小于第一阈值；
根据第二样本图像集合对初始识别模型进行训练，得到识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像；
根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；电网图像集合中包括至少两种不同类型的电网图像子集，多张电网图像的图像数量小于第一阈值；
从电网图像集合中确定第一电网图像，从各电网图像子集中确定第二电网图像；
将第一电网图像和各第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；缺陷检测结果包括缺陷的位置和类型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一电网图像和各第二电网图像输入至特征提取网络中进行特征提取，得到第一电网图像的第一图像特征和各第二电网图像的第二图像特征；
将第一图像特征和各第二图像特征输入至融合网络中进行特征融合和缺陷检测，得到缺陷检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一图像特征、第一电网图像的位置信息进行融合，得到第一融合特征；
将第二图像特征、第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；
根据第一融合特征和第二融合特征进行缺陷检测，得到缺陷检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对第一电网图像和第二电网图像进行网格划分，得到第一电网图像对应的第一网格图像和第二电网图像对应的第二网格图像；
对第一网格图像进行网格位置编码，得到第一电网图像的位置信息，以及对第二网格图像进行网格位置编码，得到第二电网图像的位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下内容：
特征提取网络为resnet101网络，和/或，融合网络为Transformer网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；第一样本图像集合中包括至少两种类型的样本图像子集，各样本图像子集的第一样本图像的数量大于第二阈值；
将第二样本图像添加至第一样本图像集合中，得到第二样本图像集合；第二样本图像的数量小于第一阈值；
根据第二样本图像集合对初始识别模型进行训练，得到识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在每次迭代训练过程中，从第二样本图像集合中确定第一待训练样本图像，从各样本图像子集中确定第二待训练样本图像；
根据第一待训练样本图像和各第二待训练样本图像对初始识别模型进行训练，直至满足预设的收敛条件，得到识别模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于元学习的小样本图像缺陷检测方法，其特征在于，所述方法包括：
对待检测的多张电网图像进行数据增广处理，得到电网图像集合；所述电网图像集合中包括至少两种不同类型的电网图像子集，所述多张电网图像的图像数量小于第一阈值；所述多张电网图像为小样本图像，所述不同类型的电网图像子集包括不同的缺陷类型的大样本电网图像；
从所述电网图像集合中确定第一电网图像，从各所述电网图像子集中确定第二电网图像；
将所述第一电网图像和各所述第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；所述缺陷检测结果包括缺陷的位置和类型；
所述识别模型包括特征提取网络和融合网络；所述将所述第一电网图像和各所述第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果，包括：将所述第一电网图像和各所述第二电网图像输入至所述特征提取网络中进行特征提取，得到所述第一电网图像的第一图像特征和各所述第二电网图像的第二图像特征；将所述第一图像特征和各所述第二图像特征输入至所述融合网络中进行特征融合和缺陷检测，得到所述缺陷检测结果；
所述融合网络用于执行以下步骤：将所述第一图像特征、所述第一电网图像的位置信息进行融合，得到第一融合特征；将所述第二图像特征、所述第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；根据所述第一融合特征和所述第二融合特征进行缺陷检测，得到所述缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，特征提取通过所述识别模型提取所述电网图像的纹理、边缘和颜色特征。
3.根据权利要求2所述的方法，其特征在于，所述特征提取网络包括resnet网络、overfeat网络和alexnet网络中的任一种。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对所述第一电网图像和所述第二电网图像进行网格划分，得到所述第一电网图像对应的第一网格图像和所述第二电网图像对应的第二网格图像；
对所述第一网格图像进行网格位置编码，得到所述第一电网图像的位置信息，以及对所述第二网格图像进行网格位置编码，得到所述第二电网图像的位置信息。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述特征提取网络为resnet101网络，和/或，所述融合网络为Transformer网络。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述识别模型的训练方法包括：
根据第一样本图像集合，对预设的初始神经网络模型进行训练，得到初始识别模型；所述第一样本图像集合中包括至少两种类型的样本图像子集，各所述样本图像子集的第一样本图像的数量大于第二阈值；
将第二样本图像添加至所述第一样本图像集合中，得到第二样本图像集合；所述第二样本图像的数量小于所述第一阈值；
根据所述第二样本图像集合对所述初始识别模型进行训练，得到所述识别模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第二样本图像集合对所述初始识别模型进行训练，得到所述识别模型，包括：
在每次迭代训练过程中，从所述第二样本图像集合中确定第一待训练样本图像，从各所述样本图像子集中确定第二待训练样本图像；
根据所述第一待训练样本图像和各所述第二待训练样本图像对所述初始识别模型进行训练，直至满足预设的收敛条件，得到所述识别模型。
8.一种基于元学习的小样本图像缺陷检测装置，其特征在于，所述装置包括：
第一获取模块，用于对待检测的多张电网图像进行数据增广处理，得到电网图像集合；所述电网图像集合中包括至少两种不同类型的电网图像子集，所述多张电网图像的图像数量小于第一阈值；所述多张电网图像为小样本图像，所述不同类型的电网图像子集包括不同的缺陷类型的大样本电网图像；
确定模块，用于从所述电网图像集合中确定第一电网图像，从各所述电网图像子集中确定第二电网图像；
第二获取模块，用于将所述第一电网图像和各所述第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果；所述缺陷检测结果包括缺陷的位置和类型；所述识别模型包括特征提取网络和融合网络；所述将所述第一电网图像和各所述第二电网图像输入至预设的识别模型中进行特征提取和缺陷检测，得到缺陷检测结果，包括：将所述第一电网图像和各所述第二电网图像输入至所述特征提取网络中进行特征提取，得到所述第一电网图像的第一图像特征和各所述第二电网图像的第二图像特征；将所述第一图像特征和各所述第二图像特征输入至所述融合网络中进行特征融合和缺陷检测，得到所述缺陷检测结果；所述融合网络用于执行以下步骤：将所述第一图像特征、所述第一电网图像的位置信息进行融合，得到第一融合特征；将所述第二图像特征、所述第二电网图像的位置信息和任务标识进行融合，得到第二融合特征；根据所述第一融合特征和所述第二融合特征进行缺陷检测，得到所述缺陷检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202211446408.2A 2022-11-18 2022-11-18 基于元学习的小样本图像缺陷检测方法、装置和设备 Active CN115564773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211446408.2A CN115564773B (zh) 2022-11-18 2022-11-18 基于元学习的小样本图像缺陷检测方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211446408.2A CN115564773B (zh) 2022-11-18 2022-11-18 基于元学习的小样本图像缺陷检测方法、装置和设备

Publications (2)

Publication Number Publication Date
CN115564773A CN115564773A (zh) 2023-01-03
CN115564773B true CN115564773B (zh) 2023-04-18

Family

ID=84770444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211446408.2A Active CN115564773B (zh) 2022-11-18 2022-11-18 基于元学习的小样本图像缺陷检测方法、装置和设备

Country Status (1)

Country Link
CN (1) CN115564773B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908988B (zh) * 2023-03-09 2023-05-30 苏州苏映视图像软件科技有限公司 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN116205916B (zh) * 2023-04-28 2023-09-15 南方电网数字电网研究院有限公司 电力小样本缺陷检测方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179253B (zh) * 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN112001902A (zh) * 2020-08-19 2020-11-27 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质
CN114663729A (zh) * 2022-03-29 2022-06-24 南京工程学院 一种基于元学习的气缸套小样本缺陷检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN115564773A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN115564773B (zh) 基于元学习的小样本图像缺陷检测方法、装置和设备
CN110135428B (zh) 图像分割处理方法和装置
CN106897683B (zh) 一种遥感图像的地物检测方法及***
CN110992306B (zh) 基于深度学习的红外图像中劣化绝缘子的分割方法及装置
CN117289097A (zh) 电力设备局部放电检测方法、模型训练方法、装置和设备
CN117036855A (zh) 目标检测模型训练方法、装置、计算机设备和存储介质
CN114397306B (zh) 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法
CN111753729A (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN116579998A (zh) 变电设备的缺陷检测方法、装置、设备、介质和程序产品
CN116524357A (zh) 高压线路鸟巢检测方法、模型训练方法、装置及设备
Peng et al. Volatility-based measurements allocation for distributed data storage in mobile crowd sensing
CN115797291A (zh) 回路端子的识别方法、装置、计算机设备和存储介质
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
CN116205916B (zh) 电力小样本缺陷检测方法、装置、计算机设备及存储介质
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN113449626A (zh) 隐马尔科夫模型振动信号分析方法装置、存储介质和终端
CN113628089A (zh) 图像处理方法、装置、存储介质及计算机设备
CN115965856B (zh) 图像检测模型构建方法、装置、计算机设备及存储介质
CN118227463A (zh) 测试数据生成方法、装置、计算机设备、存储介质和产品
CN117372801A (zh) 变电站缺陷异常检测方法、装置和计算机设备
CN117372348A (zh) 缺陷分析方法、装置、计算机设备及其存储介质
CN116484920A (zh) 轻量化YOLOv5s网络模型训练方法、绝缘子缺陷检测方法
CN115830374A (zh) 变电站的异物检测方法、装置、计算机设备和存储介质
CN117237826A (zh) 基于空间位姿信息的配电网的缺陷去重方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant