CN115240023A - 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备 - Google Patents

一种缺陷检测网络的训练方法、缺陷检测方法及相关设备 Download PDF

Info

Publication number
CN115240023A
CN115240023A CN202210665933.7A CN202210665933A CN115240023A CN 115240023 A CN115240023 A CN 115240023A CN 202210665933 A CN202210665933 A CN 202210665933A CN 115240023 A CN115240023 A CN 115240023A
Authority
CN
China
Prior art keywords
image
defect detection
sample
defect
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210665933.7A
Other languages
English (en)
Inventor
严谨
孙海涛
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210665933.7A priority Critical patent/CN115240023A/zh
Publication of CN115240023A publication Critical patent/CN115240023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种缺陷检测网络的训练方法、缺陷检测方法及相关设备,该方法包括:获取训练样本图像与缺陷样本图像,训练样本图像为不包含缺陷的图像,缺陷样本图像为在训练样本图像中加入缺陷生成的图像;将缺陷样本图像输入缺陷检测网络,得到重建样本图像,重建样本图像为不包含缺陷的图像;采用缺陷检测网络对重建样本图像与缺陷样本图像进行处理,得到样本缺陷检测图像,样本缺陷检测图像由对缺陷样本图像中的缺陷进行预测得到;基于样本缺陷检测图像、重建样本图像以及训练样本图像,对缺陷检测网络进行训练,得到训练后的缺陷检测网络。通过上述方式,本申请能够实现无监督学习,提升缺陷检测的准确率。

Description

一种缺陷检测网络的训练方法、缺陷检测方法及相关设备
技术领域
本申请涉及缺陷检测技术领域,具体涉及一种缺陷检测网络的训练方法、缺陷检测方法及相关设备。
背景技术
目前对于某些设备或物品的缺陷检测的需求在快速增长,人工巡检方案受限于地形以及天气等因素的影响,效率低下;基于传统图像处理的缺陷检测方法受光照变化的影响较大,泛化性较差,且对于较小缺陷的检测精确度较低。
发明内容
本申请提供一种缺陷检测网络的训练方法、缺陷检测方法及相关设备,能够实现无监督学习,提升缺陷检测的准确率。
为解决上述技术问题,本申请采用的技术方案是:提供一种缺陷检测网络的训练方法,该方法包括:获取训练样本图像与缺陷样本图像,训练样本图像为不包含缺陷的图像,缺陷样本图像为在训练样本图像中加入缺陷生成的图像;将缺陷样本图像输入缺陷检测网络,得到重建样本图像,重建样本图像为不包含缺陷的图像;采用缺陷检测网络对重建样本图像与缺陷样本图像进行处理,得到样本缺陷检测图像,样本缺陷检测图像由对缺陷样本图像中的缺陷进行预测得到;基于样本缺陷检测图像、重建样本图像以及训练样本图像,对缺陷检测网络进行训练,得到训练后的缺陷检测网络。
为解决上述技术问题,本申请采用的技术方案是:提供一种缺陷检测方法,该方法包括:获取待检测图像,待检测图像为包含缺陷的图像;将待检测图像输入训练后的缺陷检测网络,得到缺陷检测图像;其中,训练后的缺陷检测网络通过上述技术方案中的缺陷检测网络的训练方法得到。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种缺陷检测装置,该缺陷检测装置包括互相连接的存储器和处理器,其中,存储器用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的缺陷检测网络的训练方法或上述技术方案中的缺陷检测方法。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的缺陷检测网络的训练方法或上述技术方案中的缺陷检测方法。
通过上述方案,本申请的有益效果是:先获取不包含缺陷的训练样本图像;然后在训练样本图像中添加缺陷,得到缺陷样本图像;然后,将缺陷样本图像输入缺陷检测网络,得到不包含缺陷的重建样本图像;再采用缺陷检测网络对重建样本图像与缺陷样本图像进行处理,得到样本缺陷检测图像,样本缺陷检测图像由对缺陷样本图像中的缺陷进行预测得到;然后,利用样本缺陷检测图像、重建样本图像以及训练样本图像,对缺陷检测网络进行训练,得到训练后的缺陷检测网络;本方案只需采用不包含缺陷的训练样本图像便可实现对缺陷检测网络的训练,无需事先获取包含缺陷的图像,实现了无监督式训练,能够有效降低收集包含缺陷的图像以及标注缺陷所需的人力、物力,降低模型训练的成本,且检测的准确率更高;相比需要事先获取有缺陷图像的检测方案来说,能够在缺少带有缺陷的图像的情况下进行缺陷检测,泛化性更高,且由于实际应用中不包含缺陷的图像的数量较多,因此容易捕获不包含缺陷的图像,实现简单。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的缺陷检测网络的训练方法一实施例的流程示意图;
图2是本申请提供的原始图像的示意图;
图3是图2对应的样本分割图像的示意图;
图4是图3中区域D对应的矫正后的图像的示意图;
图5是本申请提供的缺陷检测网络的训练方法另一实施例的流程示意图;
图6是本申请提供的缺陷检测网络的示意图;
图7是本申请提供的缺陷检测方法一实施例的流程示意图;
图8是本申请提供的缺陷检测图像的示意图;
图9是本申请提供的缺陷检测装置一实施例的结构示意图;
图10是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例,对本申请作进一步的详细描述。特别指出的是,以下实施例仅用于说明本申请,但不对本申请的范围进行限定。同样的,以下实施例仅为本申请的部分实施例而非全部实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
需要说明的是,本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请提供的缺陷检测网络的训练方法一实施例的流程示意图,该方法包括:
S11:获取训练样本图像与缺陷样本图像。
可以采用摄像设备或无人机对目标场景进行拍摄,得到训练样本图像,该训练样本图像为不包含缺陷的图像;或者,从图像数据库中获取训练样本图像。然后,在训练样本图像中加入噪声或缺陷,得到缺陷样本图像,即缺陷样本图像为在训练样本图像中加入缺陷生成的图像,缺陷可以为块状缺陷、线条缺陷或面状缺陷。
在一具体的实施例中,训练样本图像中的目标对象的倾斜角小于预设角度,该预设角度可以为落在0°附近的角度值;但是,由于拍摄角度的影响,目标对象的倾斜角可能大于预设角度,因此需要对目标对象所在的图像进行矫正,以使得矫正后的图像中目标对象的倾斜角小于预设角度。
进一步地,获取原始图像,原始图像为不包含缺陷的图像,原始图像可以为红外热成像图像或彩色图像,且原始图像包括目标对象,该目标对象可以为光伏板、管道或显示面板等;对该原始图像进行目标检测,以确定原始图像中目标对象所在的位置;基于目标对象所在的位置,对原始图像进行矫正,得到训练样本图像。可以理解地,矫正所采用的方案为相关技术中常用的矫正方案,比如:通过透视变换将原始图像变换为训练样本图像,或者,将原始图像输入预先训练好的矫正模型中得到训练样本图像。
S12:将缺陷样本图像输入缺陷检测网络,得到重建样本图像。
先获取一个缺陷检测网络,该缺陷检测网络为基于神经网络的模型;在获取到缺陷样本图像后,将该缺陷样本图像输入预先构建的缺陷检测网络中,以使得缺陷检测网络对该缺陷样本图像进行重建处理,实现去除缺陷样本图像中的缺陷,得到重建样本图像,即重建样本图像为不包含缺陷的图像。
S13:采用缺陷检测网络对重建样本图像与缺陷样本图像进行处理,得到样本缺陷检测图像。
在获取到重建样本图像后,采用缺陷检测网络对重建样本图像与缺陷样本图像进行缺陷检测处理,生成样本缺陷检测图像,即该样本缺陷检测图像由对缺陷样本图像中的缺陷进行预测得到。具体地,样本缺陷检测图像为掩膜图,其包括缺陷所在的区域(记作缺陷区域)与非缺陷区域,可将缺陷区域的像素值设置为第一预设值,将非缺陷区域的像素值设置为第二预设值。可以理解地,第一预设值与第二预设值可以根据应用具体需要或经验进行设置,比如:第一预设值为255,第二预设值为0;或者,第一预设值为0,第二预设值为255;或者,第一预设值为1,第二预设值为0。
进一步地,可以对重建样本图像与缺陷样本图像进行拼接,对拼接后生成的图像进行预测处理,得到样本缺陷检测图像。或者,对样本缺陷图像进行特征提取处理,得到缺陷特征;对重建样本图像进行特征提取处理,得到重建特征;将缺陷特征与重建特征拼接,得到拼接特征;对拼接特征进行预测处理,得到样本缺陷检测图像。
S14:基于样本缺陷检测图像、重建样本图像以及训练样本图像,对缺陷检测网络进行训练,得到训练后的缺陷检测网络。
在获取到样本缺陷检测图像后,利用样本缺陷检测图像、重建样本图像以及训练样本图像,计算出当前缺陷检测网络的损失值(记作当前损失值);然后,计算基于该当前损失值或当前累计训练次数,确定是否结束对缺陷检测网络的训练;如果判定出结束对缺陷检测网络的训练,则获得训练后的缺陷检测网络;如果判定出不结束对缺陷检测网络的训练,则返回S11,继续对进行缺陷检测网络训练。
在一具体的实施例中,以目标对象为光伏板为例,热斑是影响光伏板正常工作的主要缺陷,为了排除非光伏板区域的干扰,正确检测出热斑,将原始图像输入图像分割网络,得到样本分割图像,样本分割图像包括光伏板区域与非光伏板区域,光伏板区域为光伏板所在的区域。具体地,如图3所示,光伏板区域由四条边界线构成,可四条边界线的连接点(即伏板区域的顶点)作为光伏板的位置;分割模型可以为Unet网络、高分辨率网络(HighResolution Network,HRNet)或全卷积网络(Fully Convolutional Networks,FCN)等常用的实现分割功能的模型。可以理解地,还可采用目标检测模型或其他方法来确定光伏板的位置,在此不做限定。
然后,基于光伏板的位置,对原始图像进行旋转矫正,得到训练样本图像,训练样本图像中光伏板的倾斜角度小于预设角度。例如,采用无人机对光伏板进行拍摄,得到如图2所示的原始图像,原始图像为红外热成像图像;将原始图像输入Unet网络,得到图3所示的样本分割图像,其中,虚线框围成的区域D为光伏板区域;对区域D中的光伏板进行矫正后,可以得到图4所示的正常视角下的光伏板的红外热成像图像;将矫正后的图像输入缺陷检测网络,便可得到样本缺陷检测图像。
本实施例提供了一种无监督式缺陷检测网络的训练方法,在训练样本图像上自行生成缺陷,得到缺陷样本图像;利用缺陷样本图像与训练样本图像来训练缺陷检测网络,无需事先获取包含缺陷的图像,只需获取不包含缺陷的训练样本图像便可训练缺陷检测网络,实现了无监督式训练,能够有效降低收集包含缺陷的图像以及标注缺陷所需的人力、物力,降低模型训练的成本;相比需要事先获取有缺陷图像的检测方案来说,能够在缺少带有缺陷的图像的情况下进行缺陷检测,泛化性更高,且由于实际应用中不包含缺陷的图像的数量较多,因此实施难度较小;另外,采用了基于神经网络的缺陷检测网络替代传统图像处理技术,来识别缺陷,检测的准确率更高。
请参阅图5,图5是本申请提供的缺陷检测网络的训练方法另一实施例的流程示意图,该方法包括:
S51:获取训练样本图像。
训练样本图像为不包含缺陷的图像。
S52:随机生成掩膜图像,并对掩膜图像与训练样本图像进行合成,得到缺陷样本图像。
掩膜图像为包含缺陷的图像,将正常视角的训练样本图像与随机生成的掩膜图像进行合成,得到合成的具有缺陷的缺陷样本图像,即缺陷样本图像为在训练样本图像中加入缺陷生成的图像。
在一具体的实施例中,如图6所示,缺陷检测网络包括重建子网络、拼接子网络以及判别子网络,其中,“Anomaly generation”为异常生成模块,其用于生成掩膜图像Mask;下面具体说明该缺陷检测网络的处理过程。
S53:将缺陷样本图像输入重建子网络,得到重建样本图像;采用拼接子网络对重建样本图像与缺陷样本图像进行拼接,得到样本拼接图像;将样本拼接图像输入判别子网络,得到第一检测结果图像。
如图6所示,采用以下方案来生成第一检测结果图像Mask_pred:
1)将训练样本图像I与掩膜图像Mask合并,得到缺陷样本图像Ia
训练样本图像I的维度与掩膜图像Mask的维度相同。
2)将缺陷样本图像Ia送入重建子网络,以重建出不包含缺陷的图像(即重建样本图像Ir)。
重建子网络包括第一编码器与第一解码器,采用第一解码器对缺陷样本图像Ia进行编码,得到第一编码信息;采用第一解码器对第一编码信息进行解码,得到重建样本图像Ir,重建样本图像Ir为不包含缺陷的图像,第一编码器与第一解码器可以为基于稠密网络(Dense Network,Densenet)的编码器与解码器。
3)采用拼接子网络对重建样本图像Ir与缺陷样本图像Ia进行通道方向上的拼接,得到样本拼接图像。
例如,假设重建样本图像Ir的维度为m×n×h,缺陷样本图像Ia的维度为m×n×h,则样本拼接图像的维度为m×n×(2×h)。
4)将样本拼接图像输入判别子网络,得到第一检测结果图像Mask_pred。
判别子网络包括第二编码器与第二解码器,采用第二编码器对样本拼接图像进行编码,得到第二编码信息;采用第二解码器对第二编码信息进行解码,得到第一检测结果图像Mask_pred;第二编码器与第二解码器可以为基于Densenet的编码器与解码器。
S54:基于第一检测结果图像,生成样本缺陷检测图像。
如图6所示,对第一检测结果图像Mask_pred进行平均池化,得到第二检测结果图像;对第二检测结果图像进行最大池化,得到样本缺陷检测图像Im,样本缺陷检测图像Im含了缺陷样本图像Ia中缺陷的信息。
S55:计算训练样本图像与重建样本图像之间的损失,得到第一损失值;计算样本缺陷检测图像与掩膜图像之间的损失,得到第二损失值。
采用相关技术中的损失计算方法计算训练样本图像与重建样本图像之间的损失,比如:结构相似性(Structural Similarity,SSIM)、L1损失函数、L2损失函数或峰值信噪比(PSNR,Peak Signal to Noise Ratio)。同样地,采用相关技术中的损失计算方法计算样本缺陷检测图像与掩膜图像之间的损失,比如:采用聚焦损失(Focal Loss)。
S56:基于第一损失值与第二损失值,生成当前损失值。
在获取到训练样本图像与重建样本图像之间的损失(即第一损失值)以及样本缺陷检测图像与掩膜图像之间的损失(即第二损失值)后,通过对第一损失值与第二损失值进行处理,生成当前损失值。
在一实施方式中,如图6所示,计算当前损失值采用的损失函数如下所示:
L=Lrec+Lfocal
其中,Lrec为第一损失值,Lfocal为第二损失值。
可以理解地,除了直接将第一损失值与第二损失值叠加来生成当前损失值以外,还可以采用其他合理方案,比如:对第一损失值与第二损失值进行加权求和,加权系数可根据具体应用需要进行设置;或者,将第一损失值与第二损失值相乘。
S57:基于当前损失值,判断缺陷检测网络是否满足预设训练结束条件。
在计算出当前损失值后,可判断缺陷检测网络是否满足预设训练结束条件,以确定缺陷检测网络是否收敛;若确定缺陷检测网络不满足预设训练结束条件,则调整缺陷检测网络的模型参数,并返回获取训练样本图像的步骤,即返回执行S51,直至缺陷检测网络满足预设训练结束条件。可以理解地,调整模型参数所采用的方案与相关技术中类似,在此不再赘述,比如:将当前损失值反向传播值至缺陷检测网络中,以调整模型参数。
进一步地,预设训练结束条件包括:损失值收敛,即上一损失值与当前损失值的差值小于设定值;判定当前损失值是否小于预设损失值,该预设损失值为预先设置的损失阈值,若当前损失值小于预设损失值,则确定达到预设训练结束条件;训练次数达到设定值(例如:训练10000次);或者使用测试集进行测试时获得的准确率达到设定条件(比如:超过预设准确率)等。
S58:生成训练后的缺陷检测网络。
如果判定缺陷检测网络满足预设训练结束条件,则表明当前缺陷检测网络的准确率已经满足要求,此时结束对缺陷检测网络的训练,将当前的缺陷检测网络记作训练后的缺陷检测网络。
本实施例将训练样本图像与随机生成的掩膜图像进行叠加,以实现在训练样本图像中添加缺陷,得到缺陷样本图像;然后,将缺陷样本图像输入缺陷检测网络,得到重建样本图像;然后,利用样本缺陷检测图像、训练样本图像以及重建样本图像,计算出当前损失值;在缺陷检测网络满足预设训练结束条件时,结束训练缺陷检测网络;本实施例采用了无监督的学习方式,无须事先采集带有缺陷的图像,只需利用正常图像(即无缺陷的图像)便可训练缺陷检测网络,实现简单,且检测的准确率较高。
请参阅图7,图7是本申请提供的缺陷检测方法一实施例的流程示意图,该方法包括:
S71:获取待检测图像。
可以采用摄像设备或无人机对目标场景进行拍摄,得到包含缺陷的待检测图像。
S72:将待检测图像输入训练后的缺陷检测网络,得到缺陷检测图像。
将待检测图像输入训练后的缺陷检测网络,便可得到缺陷检测图像,该缺陷检测图像包括待检测图像中的缺陷,训练后的缺陷检测网络通过上述实施例中的缺陷检测网络的训练方法得到。
在一具体的实施例中,以待检测图像为光伏板的红外热成像图像为例,缺陷为热斑,为了识别出光伏板上的热斑,可以采用如下方案:
1)将待检测图像输入重建子网络,得到当前重建图像。
重建子网络包括第一编码器与第一解码器,采用第一编码器对将待检测图像进行编码,得到第三编码信息;采用第一解码器对第三编码信息进行解码,得到当前重建图像。
2)采用拼接子网络对当前重建图像与待检测图像进行通道方向上的拼接,得到拼接图像。
3)将拼接图像输入判别子网络,得到第三检测结果图像。
判别子网络包括第二编码器与第二解码器,采用第二编码器对拼接图像进行编码,得到第四编码信息;采用第二解码器对第四编码信息进行解码,得到第三检测结果图像。
4)基于第三检测结果图像,生成缺陷检测图像。
对第三检测结果图像进行平均池化处理,得到第四检测结果图像;对第四检测结果图像进行最大池化处理,得到缺陷检测图像;比如,如图8所示,B为热斑,gfb_dzrb为热斑的标识。
可以理解地,还可将待检测图像输入图像分割网络,得到分割图像,该分割图像包括光伏板区域与非光伏板区域,光伏板区域为光伏板所在的区域;基于光伏板区域,对待检测图像进行矫正,将矫正后的检测图像输入重建子网络,后续处理过程与上述实施例类似,在此不再赘述。
本实施例提供了一种基于无监督式缺陷检测网络来检测光伏板的红外热成像图像的热斑的方法,由于采用深度学习技术识别光伏板的热斑,具备更好的泛化能力,实现更加简单;而且,由于采用无监督学习方式,无须事先采集带有热斑的光伏板的红外热成像图像,在缺乏带有热斑的光伏板的红外热成像图像的应用场景下仍然能够正常使用,应用范围较为广泛。
请参阅图9,图9是本申请提供的缺陷检测装置一实施例的结构示意图,缺陷检测装置90包括互相连接的存储器91和处理器92,存储器91用于存储计算机程序,计算机程序在被处理器92执行时,用于实现上述实施例中的缺陷检测网络的训练方法或上述实施例中的缺陷检测方法。
请参阅图10,图10是本申请提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质100用于存储计算机程序101,计算机程序101在被处理器执行时,用于实现上述实施例中的缺陷检测网络的训练方法或上述实施例中的缺陷检测方法。
计算机可读存储介质100可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种缺陷检测网络的训练方法,其特征在于,包括:
获取训练样本图像与缺陷样本图像,所述训练样本图像为不包含缺陷的图像,所述缺陷样本图像为在所述训练样本图像中加入缺陷生成的图像;
将所述缺陷样本图像输入缺陷检测网络,得到重建样本图像,所述重建样本图像为不包含缺陷的图像;
采用所述缺陷检测网络对所述重建样本图像与所述缺陷样本图像进行处理,得到样本缺陷检测图像,所述样本缺陷检测图像由对所述缺陷样本图像中的缺陷进行预测得到;
基于所述样本缺陷检测图像、所述重建样本图像以及所述训练样本图像,对所述缺陷检测网络进行训练,得到训练后的缺陷检测网络。
2.根据权利要求1所述的缺陷检测网络的训练方法,其特征在于,所述缺陷检测网络包括重建子网络、拼接子网络以及判别子网络,所述将所述缺陷样本图像输入缺陷检测网络,得到重建样本图像的步骤,包括:
将所述缺陷样本图像输入所述重建子网络,得到重建样本图像;
所述采用所述缺陷检测网络对所述重建样本图像与所述缺陷样本图像进行处理,得到样本缺陷检测图像的步骤,包括:
采用所述拼接子网络对所述重建样本图像与所述缺陷样本图像进行拼接,得到样本拼接图像;
将所述样本拼接图像输入所述判别子网络,得到第一检测结果图像;
基于所述第一检测结果图像,生成所述样本缺陷检测图像。
3.根据权利要求2所述的缺陷检测网络的训练方法,其特征在于,所述基于所述第一检测结果图像,生成所述样本缺陷检测图像的步骤,包括:
对所述第一检测结果图像进行平均池化,得到第二检测结果图像;
对所述第二检测结果图像进行最大池化,得到所述样本缺陷检测图像。
4.根据权利要求1所述的缺陷检测网络的训练方法,其特征在于,所述获取训练样本图像与缺陷样本图像的步骤之前,包括:
随机生成掩膜图像,所述掩膜图像为包含缺陷的图像;
对所述掩膜图像与所述训练样本图像进行合成,得到所述缺陷样本图像。
5.根据权利要求4所述的缺陷检测网络的训练方法,其特征在于,所述基于所述样本缺陷检测图像、所述重建样本图像以及所述训练样本图像,对所述缺陷检测网络进行训练,得到训练后的缺陷检测网络的步骤,包括:
计算所述训练样本图像与所述重建样本图像之间的损失,得到第一损失值;
计算所述样本缺陷检测图像与所述掩膜图像之间的损失,得到第二损失值;
基于所述第一损失值与所述第二损失值,生成当前损失值;
基于所述当前损失值,判断所述缺陷检测网络是否满足预设训练结束条件;
若否,则返回所述获取训练样本图像的步骤,直至所述缺陷检测网络满足所述预设训练结束条件,得到所述训练后的缺陷检测网络。
6.根据权利要求1所述的缺陷检测网络的训练方法,其特征在于,所述获取训练样本图像的步骤,包括:
获取原始图像,并确定所述原始图像中目标对象所在的位置,所述原始图像为不包含缺陷的图像;
基于所述位置,对所述原始图像进行矫正,得到所述训练样本图像。
7.根据权利要求6所述的缺陷检测网络的训练方法,其特征在于,所述目标对象为光伏板,所述训练样本图像中光伏板的倾斜角度小于预设角度,所述确定所述原始图像中目标对象所在的位置的步骤,包括:
将所述原始图像输入图像分割网络,得到样本分割图像;
其中,所述样本分割图像包括光伏板区域与非光伏板区域,所述光伏板区域为所述光伏板所在的区域。
8.一种缺陷检测方法,其特征在于,包括:
获取待检测图像,所述待检测图像为包含缺陷的图像;
将所述待检测图像输入训练后的缺陷检测网络,得到缺陷检测图像;
其中,所述训练后的缺陷检测网络通过权利要求1-7中任一项所述的缺陷检测网络的训练方法得到。
9.一种缺陷检测装置,其特征在于,包括互相连接的存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理器执行时,用于实现权利要求1-7中任一项所述的缺陷检测网络的训练方法或权利要求8所述的缺陷检测方法。
10.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序在被处理器执行时,用于实现权利要求1-7中任一项所述的缺陷检测网络的训练方法或权利要求8所述的缺陷检测方法。
CN202210665933.7A 2022-06-13 2022-06-13 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备 Pending CN115240023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210665933.7A CN115240023A (zh) 2022-06-13 2022-06-13 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210665933.7A CN115240023A (zh) 2022-06-13 2022-06-13 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备

Publications (1)

Publication Number Publication Date
CN115240023A true CN115240023A (zh) 2022-10-25

Family

ID=83670225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210665933.7A Pending CN115240023A (zh) 2022-06-13 2022-06-13 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN115240023A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439721A (zh) * 2022-11-08 2022-12-06 南方电网数字电网研究院有限公司 电力设备异常少样本缺陷分类模型训练方法、装置
CN116030038A (zh) * 2023-02-23 2023-04-28 季华实验室 基于缺陷生成的无监督oled缺陷检测方法
CN116188917A (zh) * 2023-04-24 2023-05-30 苏州苏映视图像软件科技有限公司 缺陷数据生成模型训练方法、缺陷数据生成方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439721A (zh) * 2022-11-08 2022-12-06 南方电网数字电网研究院有限公司 电力设备异常少样本缺陷分类模型训练方法、装置
CN116030038A (zh) * 2023-02-23 2023-04-28 季华实验室 基于缺陷生成的无监督oled缺陷检测方法
CN116188917A (zh) * 2023-04-24 2023-05-30 苏州苏映视图像软件科技有限公司 缺陷数据生成模型训练方法、缺陷数据生成方法及装置

Similar Documents

Publication Publication Date Title
CN115240023A (zh) 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN110751630B (zh) 基于深度学习的输电线路异物检测方法、装置及介质
CN103581660B (zh) 基于线对的全场清晰度测试方法和***
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
JP2003501850A (ja) 基準映像を用いることなくデジタル映像の品質を推定する方法と装置
Ghosh et al. Quantitative evaluation of image mosaicing in multiple scene categories
CN103093458A (zh) 关键帧的检测方法及装置
CN111696049A (zh) 基于深度学习的水下扭曲图像重建方法
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN105469413B (zh) 一种基于归一化振铃加权的无参考模糊复原图像综合质量评估方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN115272340B (zh) 工业产品缺陷检测方法和装置
KR101559724B1 (ko) 센서 어레이의 불량 픽셀 검출과 에러 은폐를 위한 방법 및 장치
CN113902739B (zh) Nut线夹缺陷识别方法、装置及设备、可读存储介质
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
CN113628125B (zh) 基于空间视差先验网络的多幅红外图像增强方法
CN112950592B (zh) 基于高维离散余弦变换的无参考光场图像质量评价方法
CN110992257B (zh) 基于深度学习的遥感影像敏感信息自动屏蔽方法及装置
CN113160104A (zh) 一种基于密集连接网络的图像融合方法
CN113887489A (zh) 基于位置增强和多尺度融合网络的车厢内人群计数方法
Anitha et al. Quality assessment of resultant images after processing
CN117041531B (zh) 一种基于图像质量评估的手机摄像头聚焦检测方法和***
CN117893989B (zh) 一种基于全景行车记录仪的时序画面追溯方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination