CN115908988A

CN115908988A - 一种缺陷检测模型生成方法、装置、设备以及存储介质

Info

Publication number: CN115908988A
Application number: CN202310218749.2A
Authority: CN
Inventors: 林鹏; 蔡利冰; 黄冠杰
Original assignee: Suzhou Suyingshi Image Software Technology Co ltd
Current assignee: Suzhou Suyingshi Image Software Technology Co ltd
Priority date: 2023-03-09
Filing date: 2023-03-09
Publication date: 2023-04-04
Anticipated expiration: 2043-03-09
Also published as: CN115908988B

Abstract

本发明公开了一种缺陷检测模型生成方法、装置、设备以及存储介质。该方法包括：对候选样本进行分时图像采集，确定候选样本对应的目标图像，并根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本；确定目标样本对应的目标图像，并采用预设的标注工具，对目标图像进行缺陷像素标注，得到各目标图像对应的目标标签；基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签；根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型。本发明的技术方案，可以合理利用质检员的检查信息，确定出更有效且缺陷检测准确率更高的缺陷检测模型。

Description

一种缺陷检测模型生成方法、装置、设备以及存储介质

技术领域

本发明涉及工业制造缺陷检测领域，尤其涉及一种缺陷检测模型生成方法、装置、设备以及存储介质。

背景技术

在工业制造领域，往往需要对大量的产品样本进行缺陷检测，现有的缺陷检测算法在样本形态差异较大时，检测准确率会受到较大影响。

如何合理利用质检员的检查信息，同时在原有目标图像的基础上增加缺陷检测模型的训练样本，从而确定出更有效且缺陷检测准确率更高的缺陷检测模型用于缺陷检测，是目前亟待解决的问题。

发明内容

本发明提供了一种缺陷检测模型生成方法、装置、设备以及存储介质，可以确定出更有效且缺陷检测准确率更高的缺陷检测模型。

根据本发明的一方面，提供了一种缺陷检测模型生成方法，包括：

对候选样本进行分时图像采集，确定候选样本对应的目标图像，并根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本；

确定目标样本对应的目标图像，并采用预设的标注工具，对目标图像进行缺陷像素标注，得到各目标图像对应的目标标签；

基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签；

根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型。

根据本发明的另一方面，提供了一种缺陷检测模型生成装置，包括：

样本确定模块，用于对候选样本进行分时图像采集，确定候选样本对应的目标图像，并根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本；

标注模块，用于确定目标样本对应的目标图像，并采用预设的标注工具，对目标图像进行缺陷像素标注，得到各目标图像对应的目标标签；

增广模块，用于基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签；

模型生成模块，用于根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的缺陷检测模型生成方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的缺陷检测模型生成方法。

本发明实施例的技术方案，对候选样本进行分时图像采集，确定候选样本对应的目标图像，并根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本；确定目标样本对应的目标图像，并采用预设的标注工具，对目标图像进行缺陷像素标注，得到各目标图像对应的目标标签；基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签；根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型。通过结合分时图像和增广图像，可以对缺陷检测模型进行更全面的训练，从而有效提高缺陷模型的缺陷检测准确率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本发明实施例一提供的一种缺陷检测模型生成方法的流程图；

图1B是本发明实施例一提供的目标图像的标注示意图；

图1C是本发明实施例一提供的数据增广的过程示意图；

图1D是本发明实施例一提供的融合特征提取的过程示意图；

图1E是本发明实施例一提供的分类分割子模型联合学习示意图；

图2是本发明实施例二提供的一种缺陷检测模型生成方法的示意图；

图3是本发明实施例三提供的一种缺陷检测模型生成装置的结构框图；

图4是本发明实施例四提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”、“候选”、“备选”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1A是本发明实施例一提供的一种缺陷检测模型生成方法的流程图，图1B是本发明实施例一提供的目标图像的标注示意图，图1C是本发明实施例一提供的数据增广的过程示意图，图1D是本发明实施例一提供的融合特征提取的过程示意图，图1E是本发明实施例一提供的分类分割子模型联合学习示意图，本实施例适用于生成用于对产品进行缺陷检测的模型的情况，该方法可以由缺陷检测模型生成装置来执行，该装置可以采用软件和/或硬件方式实现，并可集成于具有缺陷检测模型生成功能的电子设备中。如图1A所示，本实施例提供的缺陷检测模型生成方法具体包括：

S101、对候选样本进行分时图像采集，确定候选样本对应的目标图像，并根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本。

其中，候选样本是指工业制造过程中涉及到的产品样本，例如可以是某次工业生产任务中生产的所有产品。分时图像是指在不同时刻对样本进行图像采集所生成的一组图像帧。合成图像是对分时图像进行合成生成的图像。检查信息是指质检员粗略的对候选样本进行检测分类之后生成的信息。检查信息包含质检员确定各候选样本为包含缺陷的NG目标样本，以及不包含缺陷的OK正常样本的信息。目标样本是指候选样本中由质检员初步确定的包含缺陷的样本。候选样本可以是指质检员还未检测的所有样本，候选样本中可能包含NG样本，也可能包含OK样本。

需要说明的是，目标图像可以仅包含分时图像，也可以同时包括分时图像和合成图像，即合成图像为非必要的目标图像。受不同合成算法的影响，目标样本的部分缺陷在合成图像中可能出现特征不明显的情况，因此，结合合成图像和分时图像进行特征分析可以有效的标记检测出合成图像上特征不明显的缺陷。

可选的，目标图像可以包括分时图像和合成图像，相应的，对候选样本进行分时图像采集，确定候选样本对应的目标图像，包括：基于预设的采集方式，对候选样本进行分时图像采集，确定候选样本不同类型的分时图像；基于预设的合成算法，对采集的不同类型的分时图像进行合成处理，确定候选样本对应的合成图像；根据候选样本不同类型的分时图像和对应的合成图像，确定候选样本对应的目标图像。

其中，预设的采集方式是指对候选样本进行分时图像采集的方式。预设的合成算法是指对分时图像进行合成处理的算法，例如可以是多曝光融合、多焦距融合或光度立体等合成算法。分时图像的类型可以包括以下至少一种：多曝光参数分时图像、多焦距分时图像、多角度曝光分时图像以及多时间段分时图像。

可选的，基于预设的采集方式，对候选样本进行分时图像采集，确定候选样本不同类型的分时图像，包括以下至少一种：在同一场景拍摄一组不同曝光度的图像，确定候选样本的多曝光参数分时图像；在同一场景拍摄一组不同焦平面的图像，确定候选样本的多焦距分时图像；在同一场景拍摄一组不同光照条件的图像，确定候选样本的多角度曝光分时图像；基于预设时间间隔，采集预设时间段内的一组视频图像帧，作为候选样本的多时间段分时图像。

可选的，根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本，包括：根据质检员对候选样本的检查信息，确定检查信息中质检员记录为缺陷的产品二维码UID，并将该产品二维码对应的候选样本，确定为目标样本。

其中，产品二维码（Unique Identification，UID）是指可以唯一标识不同的产品的二维码，每个产品（即候选样本）上都附着有对应的二维码。

需要说明的是，分时图像可以通过以产品二维码UID为基础，增加后缀及帧序号命名的方式来区分和命名，例如可以是：UID_Frame_001.bmp或UID_Fuse_001.bmp，可通过该标识与实物（即具体产品样本）建立一一映射关系，方便数据回溯及标记，比如质检员发现某件商品存在缺陷时，扫描产品上的二维码，得到其UID，建立缺陷样本UID及描述数据库。根据UID可筛选出相应的合成及分时图像。

可选的，质检员可以在现场进行目视检查，将样本分为OK与NG两类，如为NG利用扫码枪将该目标样本相应的UID添加到缺陷样本数据库中，得到图像的弱标注信息，即分类信息，便于后续通过UID筛选得到目标样本的分时图像与合成图像。

S102、确定目标样本对应的目标图像，并采用预设的标注工具，对目标图像进行缺陷像素标注，得到各目标图像对应的目标标签。

其中，标注工具是指预设的可以进行像素级别的分割标注的工具，标注工具例如可以是Labelme图片标注工具。目标标签可以表征目标图像中是否包含缺陷，具体可以包括缺陷在目标图像中的像素位置信息金额缺陷类型信息等。

可选的，从候选样本中筛选出包含缺陷的目标样本后，可以根据该目标样本的产品二维码，从预存的数据库中提取对应候选样本的目标图像，作为目标样本对应的目标图像，即从候选样本中筛选出目标样本。

可选的，可以将目标样本对应的目标图像导入到预设的标注工具中，进行缺陷像素级标注(分割标注)，并在目标图像为多张图像帧的情况下，利用该标注工具，确定多张图像的联合标注，进行UID关联标注，即使得在同一UID样本的任意一张目标图像上进行标注后，生成的标注标签可以自动映射到相同UID的所有其他目标图像中。

可选的，在项目前期标注规则不清晰时，可让质检员用记号笔圈注缺陷区域，辅助图像标注，形成缺陷特征图像数据库。当标注规则完善后，取消记号笔圈注缺陷，仅将NG样本添加到缺陷样本数据库，仅通过预设的标注工具标注NG图像（即目标图像），未入库候选样本视为OK样本。

示例性的，参见图1B，UID_Frame_001、UID_Frame_002、UID_Frame_003以及UID_Frame_004为目标样本（即缺陷样本）的一组分时图像，UID_Fuse_001为这组分时图像对应的合成图像，仅在分时图像UID_Frame_002和UID_Frame_004中可见的椭圆形标注为压伤1，在合成图像UID_Fuse_001上不可见，在标注时若在UID_Frame_002图上标注缺陷，该标注会自动映射到相同UID的所有图像。压伤2-虚线正方形框标注，该缺陷在合成图UID_Fuse_001与分时图UID_Frame_002、UID_Frame_004均较明显，可在任意一张图上标记该缺陷，最终采用标注工具（Label Tool），可以生成所有目标图像的像素级标注标签集合，如图1B中Labels图像所示。

S103、基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签。

其中，数据增广算法是指预设的可以对目标图像进行数据增广，从而生成新的图像和其对应标签，即增广图像和增广图像的标签的算法。数据增广算法例如可以是将复制粘贴算法（Copy-Paste方法）、匹配算法以及融合算法相结合的算法，如Copy Paste +Match的数据增广方法。融合算法例如可以是比例融合，高斯融合，泊松融合等算法。增广图像是指基于数据增广算法对目标图像进行处理生成的新的图像。

可选的，基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签，包括：根据各目标图像对应的目标标签，从目标图像中确定出缺陷图像和正常图像；基于预设的数据增广算法，对缺陷图像进行几何形变增广处理，生成缺陷数据，并基于预设的融合算法，根据缺陷数据和正常图像，确定增广图像和增广图像的标签。

其中，缺陷图像是指目标标签为包含缺陷的目标图像。正常图像是指目标标签为不包含缺陷的目标图像，例如，参见图1B，分时图像UID_Frame_001和UID_Frame_003为正常图像，UID_Frame_002、UID_Frame_004以及UID_Fuse_001为缺陷图像。

可选的，基于预设的数据增广算法，对缺陷图像进行几何形变增广处理，生成缺陷数据，并基于预设的融合算法，根据缺陷数据和正常图像，确定增广图像和增广图像的标签，包括：对缺陷图像进行图像处理，确定缺陷图像对应的背景掩膜和缺陷掩膜，并结合缺陷图像及其背景掩膜，得到模板图像；基于预设的数据增广算法，对模板图像和背景掩膜进行几何形变增广，确定增广后的缺陷数据；基于预设的复制粘贴算法，将增广后的缺陷数据和缺陷掩模，拷贝到正常图像中最佳匹配位置，并利用预设的融合算法，将拷贝后的图像信息进行融合，生成增广图像，并根据缺陷掩膜，确定增广图像的标签。其中，背景掩膜是指缺陷图像中除缺陷之外的背景区域的掩膜（Mask）信息。

缺陷掩膜是指缺陷图像中缺陷区域的掩膜信息。模板图像是指根据背景掩膜，对缺陷图像进行ROI + expand处理之后生成的图像掩膜。ROI（region of interest，最小外接矩形）是指缺陷图像中缺陷所处的最小外接矩形区域。ROI + expand处理是指确定出缺陷图像中最小外接矩形ROI的处理过程。

示例性的，参见图1C，可以根据缺陷图像的标签，对缺陷图像NG Img进行二值化处理，确定缺陷图像的掩膜信息，即NG Mask，其中，缺陷图像的掩膜信息包括背景掩膜和缺陷掩膜。进一步的，可以结合缺陷图像及其背景掩膜，进行ROI + expand处理，得到模板图像（Background Mask）。

具体的，ROI + expand处理过程可以是：提取NG mask中每个连通区域的外接矩形即ROI，得到左上角点坐标(xs, ys) , 右下角点(xe, ye), 宽高为rw, rh。为提高背景匹配准确度，常对ROI区域外扩后，取反得到背景区域。设置最小最大外扩半径分别为minR，maxR(单位像素)，外扩比例为δ，输入图像的宽高为W, H, 则外扩大小epRx, epRy。

外扩ROI坐标(xe_s，ye_s)，(xe_e，ye_e))的计算公式可以如下所示：

示例性的，参见图1C，可以结合正常图像（OK img）和模板图像（BackgroundMask），进行模板匹配（Template Match），确定正常图像和模板图像的最大相似度，并确定该最大相似度是否大于设定的相似度阈值，若是，则Ignore ROI（忽略该外接矩形），不进行增广处理，若否，则基于预设的数据增广算法，进行几何形变增广，确定增广后的缺陷数据，进一步将正常图像中与模板图像相似度最大的位置作为最佳匹配位置，基于预设的复制粘贴算法，将增广后的缺陷数据和缺陷掩模，拷贝到正常图像中最佳匹配位置，并利用预设的融合算法，将拷贝后的图像信息进行融合，生成增广图像，并根据缺陷掩膜，确定增广图像的标签。

具体的，可以外扩ROI提取单个缺陷Mask，取反得到背景图像M，联合NG Img和Background Mask提取得到带Mask的模板T，模板在OK图上I搜索背景相似度最高的位置，即得到最佳增广粘贴位置，避免任意位置数据增广，造成部分区域模型过杀。模板匹配相似度评价函数，可采用最大归一化互相关系数，例如，相似度R(x,y)的计算公式可以为：

其中，T(i, j)为NG Img模板(i, j)处灰度值，M(i, j)为背景掩模(i, j)处值, I(x+i, y+j)为OK图像(x+i, y+j)处灰度值。

具体的，可以遍历搜索匹配空间中最大的相似度R(x, y)，得到最大相似度阈值和最佳匹配位置(x, y),判断相似度阈值是否小于设定阈值，如果小于设定值则不做数据增广，避免生成与真实缺陷差异较大的干扰数据，降低模型精度。如不小于设定值则进行增广该缺陷。

具体的，可以将背景掩模M取反得到缺陷掩模M^NG,进一步对模板T及掩模M，进行几何形变增广，例如可以采用左右翻转，上下翻转，仿射变换，弹性变换等增广缺陷数据形态，或者采用灰度级缺陷增广方法，模拟光照变化对成像的影响，提高缺陷数据多样性，从而提高模型泛化能力。

具体的，可以拷贝增广后的缺陷数据T，缺陷掩模M^NG，到OK Img中最佳匹配位置(x,y), 利用比例融合，高斯融合，泊松融合等融合算法生成合成缺陷图像，即增广图像，相应的M^NG为其标注标签，即确定增广图像和其对应的标签。

可选的，预设的融合算法可以从多种融合算法中随机选择，避免单一融合算法形成强特征，干扰后续的模型训练。

需要说明的是，通过数据增广，可以解决工业应用场景下缺陷样本较少的问题。除翻转，平移，缩放等常规数据增广方法之外，本发明涉及的数据增广方式，可以解决NG样本（即缺陷图像）漏标注，记号笔干扰问题，使缺陷生成位置与实际生产缺陷位置分布尽可能一致，避免位置不准确造成过杀。另外，还充分利用了OK样本（即正常图像），可有效降低最后训练得到的缺陷检测模型的过杀率。

S104、根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型。

其中，多任务联合学习模型是指包含预设的特征提取模块（如Conv3D模块）、分类子模型和分割子模型的多任务模型。例如可以是基于卷积神经网络的多任务联合学习模型。缺陷检测模型是指对预设的多任务联合学习模型进行迭代训练之后得到的最终模型。

可选的，可以基于多任务联合学习模型的Conv3D模块，通过注意力机制，自动学习分时图像之间的权重与空间关注区域，进一步利用预设的多任务联合学习模型中分类子模型和分割子模型，进行分类和分割联合学习，降低数据标注成本，提高多任务联合学习模型骨干网络的特征融合提取能力，从而提升模型检测能力。

可选的，根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型，包括：基于预设的多任务联合学习模型中的特征提取模块，对目标样本对应的目标图像和增广图像进行特征融合处理，生成融合图像和融合特征；基于预设的多任务联合学习模型中分类子模型和分割子模型，根据目标图像和对应的标签，融合图像和融合特征，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练；将训练之后的多任务联合学习模型确定为最终的缺陷检测模型。

示例性的，参见图1D，可以假设拍摄1组分时图像为：8帧大小均为512*512的灰度图像，生成合成图像后，则构成大小为(B,C,N,H,W)的输入张量，即(1, 1, 9, 512, 512)，如为RGB图像则输入张量为(1, 3, 9, 512, 512)，其中B为图像组数，C为图像通道数，N为输入图像帧数，H为图像高度，W为图像宽度，采用Conv3D模块，使得输入张量经过3D卷积，得到空间和多帧融合的图像特征，Frame注意力模块自动加权各帧间权重，利用5x5x5卷积核卷积，帧通道维度不做Padding处理（单行填充处理），降低特性，逐步完成帧间特征融合，最终得到去除N的多帧融合图像(B,C,H,W)，其中C为卷积核数量。至此Conv3D模块完成多帧图像特征的自动加权提取，生成融合图像和融合特征。将后续任务转换为2D分割分类任务。

示例性的，参见图1E，可以基于预设的训练规则，根据目标图像和对应的标签，融合图像和融合特征，以及增广图像和对应的标签，将标签为不包含缺陷的正常图像，仅输入分类子模型进行训练，将其他图像和对应标签，同时输入分类子模型和分割子模型，进行加权联合学习，对预设的多任务联合学习模型进行训练。

示例性的，参见图1E，分类子模型与分割子模型任务公用多任务模型的Back-Bone骨干网络（其中包含Conv3D模块），当仅有分类弱标签时，仅训练分类子模型分支；当同时有分类和分割标记时，加权分割与分类loss联合学习。可以基于预设的损失函数，根据分割子模型训练得到的分割输出和分类子模型训练得到的分类输出，对预设的多任务联合学习模型的相关参数进行修正，得到最终的缺陷检测模型。

需要说明的是，本发明可以充分利用仅含分类弱标签的数据（即质检员确定的分类标签），降低所有数据均需分割细粒度特征工作量。分割与分类子模型共用骨干网络（backbone），与分开训练相比骨干网络特征提取能力得到加强，从而提高模型的整体检测精度。

需要说明的是，本发明通过对分时图像样本进行采集和预处理，进一步结合合成图像和增广图像，从而可以对多任务模型进行更全面的训练，以便于后续采用训练好的多任务模型，进行有效的缺陷检测。

需要说明的是，传统缺陷检测方法，常使用生成的合成图像检测缺陷，然而部分缺陷在合成图像中特征不明显，仅用合成图检缺陷困难，本发明的技术方案，通过联合分时图像标记检测合成图上特征不明显的缺陷，可以有效提高缺陷检测的准确性。

实施例二

图2是本发明实施例二提供的一种缺陷检测模型生成方法的示意图；本实施例在上述实施例的基础上，给出了一种生成缺陷检测模型的优选实例，参见图2，该方法具体可以包括如下过程：

利用图像采集设备，进行分时图像采集，可选的，可以基于合成算法，对采集的每一组分时图像进行合成，生成对应的合成图像，并确定每个候选样本的产品二维码（UID），采用标注工具，为每个候选图像的分时图像进行缺陷像素标注，并基于质检员的目视质检分类，结合产品二维码（UID），确定目标样本及其对应的目标标签，采用预设的数据增广模块，进行数据增广，确定增广图像和其对应的标签，进一步利用深度学习模型（DL（deeplearning） model）的Conv3D模块，进行多帧图像特征融合，确定融合图像和融合特征，将任务转换为2D分割分类任务，采用Conv2D骨干网络（Backbone）的分类子网络和分割子网络，进行分类子任务和分割子任务的学习，对预设的多任务联合学习模型进行训练，得到最终的缺陷检测模型，并导出该模型的相关参数，便于后续采用该模型进行缺陷检测，或执行相关的测试和部署任务。

本发明实施例的技术方案，通过利用Conv3D模块，可以实现多帧图像缺陷特征的自动融合与提取，避免合成图像信息损失；通过利用数据增广方法，可以提高缺陷数据生成质量；通过构造包含分类子任务，分割子任务的多任务联合学习端到端模型，可以降低数据标注工作量，提高模型骨干网络的特征提取能力，从而有效提高模型缺陷检测精度。

实施例三

图3是本发明实施例三提供的一种缺陷检测模型生成装置的结构框图，本发明实施例所提供的一种缺陷检测模型生成装置可执行本发明任一实施例所提供的缺陷检测模型生成方法，具备执行方法相应的功能模块和有益效果。

如图3所示，该装置包括：

样本确定模块301，用于对候选样本进行分时图像采集，确定候选样本对应的目标图像，并根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本；

标注模块302，用于确定目标样本对应的目标图像，并采用预设的标注工具，对目标图像进行缺陷像素标注，得到各目标图像对应的目标标签；

增广模块303，用于基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签；

模型生成模块304，用于根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型。

进一步的，样本确定模块301可以包括：

分时图像确定单元，用于基于预设的采集方式，对候选样本进行分时图像采集，确定候选样本不同类型的分时图像；

合成图像确定单元，用于基于预设的合成算法，对采集的不同类型的分时图像进行合成处理，确定候选样本对应的合成图像；

目标图像确定单元，用于根据候选样本不同类型的分时图像和对应的合成图像，确定候选样本对应的目标图像。

进一步的，分时图像确定单元具体用于：

在同一场景拍摄一组不同曝光度的图像，确定候选样本的多曝光参数分时图像；在同一场景拍摄一组不同焦平面的图像，确定候选样本的多焦距分时图像；在同一场景拍摄一组不同光照条件的图像，确定候选样本的多角度曝光分时图像；基于预设时间间隔，采集预设时间段内的一组视频图像帧，作为候选样本的多时间段分时图像。

进一步的，样本确定模块301还用于：根据质检员对候选样本的检查信息，确定检查信息中质检员记录为缺陷的产品二维码UID，并将该产品二维码对应的候选样本，确定为目标样本。

进一步的，增广模块303可以包括：

筛选单元，用于根据各目标图像对应的目标标签，从目标图像中确定出缺陷图像和正常图像；

增广图像确定单元，用于基于预设的数据增广算法，对缺陷图像进行几何形变增广处理，生成缺陷数据，并基于预设的融合算法，根据缺陷数据和正常图像，确定增广图像和增广图像的标签。

进一步的，增广图像确定单元具体用于：

对缺陷图像进行图像处理，确定缺陷图像对应的背景掩膜和缺陷掩膜，并结合缺陷图像及其背景掩膜，得到模板图像；

基于预设的数据增广算法，对模板图像和背景掩膜进行几何形变增广，确定增广后的缺陷数据；

基于预设的复制粘贴算法，将增广后的缺陷数据和缺陷掩模，拷贝到正常图像中最佳匹配位置，并利用预设的融合算法，将拷贝后的图像信息进行融合，生成增广图像，并根据缺陷掩膜，确定增广图像的标签。

进一步的，模型生成模块304具体用于：

基于预设的多任务联合学习模型中的特征提取模块，对目标样本对应的目标图像和增广图像进行特征融合处理，生成融合图像和融合特征；

基于预设的多任务联合学习模型中分类子模型和分割子模型，根据目标图像和对应的标签，融合图像和融合特征，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练；

将训练之后的多任务联合学习模型确定为最终的缺陷检测模型。

实施例四

图4是本发明实施例四提供的电子设备的结构示意图。图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如缺陷检测模型生成方法。

在一些实施例中，缺陷检测模型生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的缺陷检测模型生成方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行缺陷检测模型生成方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种缺陷检测模型生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标图像包括分时图像和合成图像，相应的，对候选样本进行分时图像采集，确定候选样本对应的目标图像，包括：

基于预设的采集方式，对候选样本进行分时图像采集，确定候选样本不同类型的分时图像；

基于预设的合成算法，对采集的不同类型的分时图像进行合成处理，确定候选样本对应的合成图像；

根据候选样本不同类型的分时图像和对应的合成图像，确定候选样本对应的目标图像。

3.根据权利要求2所述的方法，其特征在于，基于预设的采集方式，对候选样本进行分时图像采集，确定候选样本不同类型的分时图像，包括以下至少一种：

4.根据权利要求1所述的方法，其特征在于，根据质检员对候选样本的检查信息，从候选样本中筛选出包含缺陷的目标样本，包括：

根据质检员对候选样本的检查信息，确定检查信息中质检员记录为缺陷的产品二维码UID，并将该产品二维码对应的候选样本，确定为目标样本。

5.根据权利要求1所述的方法，其特征在于，基于预设的数据增广算法，根据各目标图像和目标标签，确定增广图像和增广图像的标签，包括：

根据各目标图像对应的目标标签，从目标图像中确定出缺陷图像和正常图像；

基于预设的数据增广算法，对缺陷图像进行几何形变增广处理，生成缺陷数据，并基于预设的融合算法，根据缺陷数据和正常图像，确定增广图像和增广图像的标签。

6.根据权利要求5所述的方法，其特征在于，基于预设的数据增广算法，对缺陷图像进行几何形变增广处理，生成缺陷数据，并基于预设的融合算法，根据缺陷数据和正常图像，确定增广图像和增广图像的标签，包括：

7.根据权利要求1所述的方法，其特征在于，根据目标图像和对应的标签，以及增广图像和对应的标签，对预设的多任务联合学习模型进行训练，得到缺陷检测模型，包括：

8.一种缺陷检测模型生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的缺陷检测模型生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的缺陷检测模型生成方法。