CN114299034A - 一种缺陷检测模型的训练方法、缺陷检测方法及装置 - Google Patents
一种缺陷检测模型的训练方法、缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN114299034A CN114299034A CN202111648994.4A CN202111648994A CN114299034A CN 114299034 A CN114299034 A CN 114299034A CN 202111648994 A CN202111648994 A CN 202111648994A CN 114299034 A CN114299034 A CN 114299034A
- Authority
- CN
- China
- Prior art keywords
- training
- image
- defect detection
- training image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种缺陷检测模型的训练方法、缺陷检测方法及装置，所述方法包括：获取训练图像；采用无监督训练方式，确定训练图像的伪标签；基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。由于本发明实施例的方案中，是采用无监督训练方式获取训练图像的伪标签，根据训练图像及其对应的伪标签对缺陷检测模型进行训练，所以解决了无法获取大量缺陷图像样本而导致训练出的模型检测精度不高的问题，提高了缺陷检测模型的检测精度，本发明实施例的方案中还可以根据不同应用场景的需求，选择采用弱监督和/或有监督训练方式对缺陷检测模型进行训练，具有可以灵活部署最小化人力成本的优点。
Description
技术领域
本发明涉及缺陷检测技术领域，特别是涉及一种缺陷检测模型的训练方法、缺陷检测方法及装置。
背景技术
在工业生产过程中，由于原料、配件、工艺、程序等生产上的原因，或者产品结构、配方等设计上的原因，导致产品可能会存在各种缺陷，因此，在产品生产完成后，需要对产品进行缺陷检测。
目前的缺陷检测技术中，首先需要获取较多的缺陷图像样本来构建缺陷检测模型的训练样本数据集，而在工业生产初期，是无法产生大量有缺陷的产品的，也就没有足够的缺陷图像样本，所以训练出的缺陷检测模型的检测精度不高，无法满足实际应用的需求。
发明内容
本发明实施例的目的在于提供一种缺陷检测模型的训练方法、缺陷检测方法及装置，以提高缺陷检测模型的检测精度。具体技术方案如下：
第一方面，本发明实施例提供了一种缺陷检测模型的训练方法，所述方法包括：
获取训练图像；
采用无监督训练方式，确定所述训练图像的伪标签；
基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
可选的，所述方法还包括：
获取所述缺陷检测模型输出的检测结果；
如果所述检测结果不满足预设检测条件，获取目标图像；
将所述目标图像加入所述训练图像，并返回所述基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练的步骤，直到所述缺陷检测模型输出的检测结果满足所述预设检测条件。
可选的，所述无监督训练方式，包括：
获取多个样本图像以及初始特征重构网络，其中，所述样本图像包括无缺陷的对象；
对每个样本图像进行特征提取，得到每个样本图像对应的多个不同分辨率的样本特征图；
采用所述初始特征重构网络，基于每个样本特征图分别进行特征重构，得到该样本特征图对应的重构样本特征图；
基于所述每个样本特征图与其对应的重构样本特征图之间的重构误差，调整所述初始特征重构网络的参数，直到所述初始特征重构网络收敛，得到特征重构网络。
可选的，所述采用无监督训练方式，确定所述训练图像的伪标签的步骤，包括：
将所述训练图像输入残差网络，对所述训练图像进行特征提取，得到多个不同分辨率的目标特征图；
将多个所述目标特征图输入所述特征重构网络，对多个所述目标特征图分别进行进行特征重构，得到每个目标特征图对应的重构特征图；
基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签，并输出所述伪标签。
可选的，所述基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签的步骤，包括：
计算所述每个目标特征图与其对应的重构特征图之间的重构误差；
根据所述重构误差，按照公式
计算得到融合误差d；
基于所述融合误差与预设阈值的大小关系，确定所述训练图像的伪标签；
其中，fi表示第i个目标特征图，fi′表示第i个目标特征图对应的重构特征图，K表示所述目标特征图的数量。
可选的，所述目标特征图为所述训练图像中的像素点对应的特征图；
所述基于所述融合误差与预设阈值的大小关系，确定所述训练图像的伪标签的步骤，包括：
在所述融合误差不小于预设阈值时，确定该像素点为所述训练图像中的缺陷像素点，并基于所有缺陷像素点确定所述训练图像中的缺陷区域，作为所述训练图像的伪标签。
可选的，所述弱监督训练方式，包括：
获取初始分割网络；
将每个训练图像输入所述初始分割网络，得到该训练图像对应的预测得分图，其中，所述预测得分图中像素点的像素值表示该训练图像中对应的像素点为缺陷像素点的预测概率；
基于每个训练图像对应的预测得分图以及标注区域，计算该训练图像对应的采样损失；
基于所述每个训练图像中标注区域内的各个像素点的像素值，计算该训练图像对应的一致性损失；
将所述采样损失以及所述一致性损失的加权值作为总损失，并基于所述总损失调整所述初始分割网络的参数，直到所述初始分割网络收敛，得到分割网络，作为所述缺陷检测模型。
可选的，所述基于每个训练图像对应的预测得分图以及标注区域，计算该训练图像对应的采样损失的步骤，包括：
针对每个训练图像中标注区域外的像素点，基于所述预测得分图计算每个像素点对应第一损失函数值；
计算对应的第一损失函数值最大的第一预设数量个像素点的像素值的平均值，作为第一损失；
针对每个训练图像中标注区域内的像素点，将每个像素点作为缺陷像素点，基于所述预测得分图计算每个像素点对应第二损失函数值；
计算对应的第二损失函数值最小的第二预设数量个像素点的像素值的平均值，作为第二损失；
针对每个训练图像中标注区域内的像素点，将每个像素点作为非缺陷像素点，基于所述预测得分图计算每个像素点对应第三损失函数值；
计算对应的第三损失函数值最小的第三预设数量个像素点的像素值的平均值，作为第三损失；
将所述第一损失、所述第二损失和所述第三损失的加和，作为采样损失。
可选的，所述基于所述每个训练图像中标注区域内的各个像素点的像素值，计算该训练图像对应的一致性损失的步骤，包括：
对所述每个训练图像中标注区域内各个像素点按照像素值进行聚类，得到多个簇；
针对每个簇，计算其所包括的各像素点在所述预测得分图中对应的像素值的方差的均值，作为一致性损失。
第二方面，本发明实施例提供了一种缺陷检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果，其中，所述缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，所述伪标签为采用无监督训练方式确定的所述训练图像的伪标签。
第三方面，本发明实施例提供了一种缺陷检测模型的训练装置，所述装置包括：
样本获取模块，用于获取训练图像；
伪标签确定模块，用于采用无监督训练方式，确定所述训练图像的伪标签；
模型训练模块，用于基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
第四方面，本发明实施例提供了一种缺陷检测装置，所述装置包括：
图像获取模块，用于获取待检测图像；
图像检测模块，用于将所述待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果，其中，所述缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，所述伪标签为采用无监督训练方式确定的所述训练图像的伪标签。
第五方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面或第二方面任一所述的方法步骤。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第二方面任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的方案中，电子设备可以获取训练图像；采用无监督训练方式，确定训练图像的伪标签；基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。由于本发明实施例的方案中，可以先采用无监督训练方式获取训练图像的伪标签，然后再根据该训练图像及其对应的伪标签对缺陷检测模型进行训练，所以在此模型训练过程中无需获取缺陷图像样本，解决了无法获取大量缺陷图像样本而导致训练出的缺陷检测模型检测精度不高的问题，因而提高了缺陷检测模型的检测精度。同时，本发明实施例的方案中，还可以根据不同应用场景中对于检测精度的要求，选择采用弱监督和/或有监督训练方式对缺陷检测模型进行训练，具有可以灵活部署最小化人力成本的优点。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的一种缺陷检测模型训练方法的流程图；
图2为基于图1所示实施例的模型训练方式的一种流程示意图；
图3为基于图1所示实施例的模型迭代训练方式的一种流程图；
图4为基于图1所示实施例的无监督训练方式的一种流程图；
图5为基于图4所示实施例的无监督训练方式的一种流程示意图；
图6为基于图4所示实施例的确定伪标签方式的一种流程图；
图7为基于图1所示实施例的弱监督训练方式的一种流程图；
图8为基于图7所示实施例的弱监督训练方式的一种流程示意图；
图9为本发明实施例所提供的一种缺陷检测方法的流程图；
图10为本发明实施例所提供的一种缺陷检测模型训练装置的结构示意图；
图11为本发明实施例所提供的一种缺陷检测装置的结构示意图；
图12为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
为了提高缺陷检测模型的检测精度，本发明实施例提供了一种缺陷检测模型的训练方法及装置、缺陷检测方法及装置、电子设备、计算机可读存储介质以及计算机程序产品。下面首先对本发明实施例所提供的一种缺陷检测模型的训练方法进行介绍。
本发明实施例所提供的一种缺陷检测模型的训练方法可以应用于任意需要进行缺陷检测模型训练的电子设备，例如，可以为服务器、处理设备等，在此不做具体限定。为了描述清楚，以下称为电子设备。
如图1所示，一种缺陷检测模型的训练方法，所述方法包括：
S101，获取训练图像；
S102，采用无监督训练方式，确定所述训练图像的伪标签；
S103，基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
可见，本发明实施例提供的方案中，电子设备可以获取训练图像；采用无监督训练方式，确定训练图像的伪标签；基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。由于本发明实施例的方案中，可以先采用无监督训练方式获取训练图像的伪标签，然后再根据该训练图像及其对应的伪标签对缺陷检测模型进行训练，所以在此模型训练过程中无需获取缺陷图像样本，解决了无法获取大量缺陷图像样本而导致训练出的缺陷检测模型检测精度不高的问题，因而提高了缺陷检测模型的检测精度。同时，本发明实施例的方案中，还可以根据不同应用场景中对于检测精度的要求，选择采用弱监督和/或有监督训练方式对缺陷检测模型进行训练，具有可以灵活部署最小化人力成本的优点。
在缺陷检测模型的训练过程中，由于在工业生产初期等情况下可能无法获取大量有缺陷的产品，也就没有足够的具有缺陷的训练图像，所以采用弱监督训练方式和/或有监督训练方式训练出的缺陷检测模型的检测精度不高，无法满足实际应用的需求。因此，在本发明实施例提供的缺陷检测模型的训练方法中，获取训练图像后，可以执行上述步骤S102，即采用无监督训练方式，确定训练图像的伪标签。
例如，如图2所示，可以首先采用无监督训练方式作为冷启动，即获取训练图像后，通过无监督训练方式确定出训练图像的伪标签，伪标签可以用于表示训练图像中的缺陷区域或标识训练图像是否包括有缺陷的对象，例如，可以采用标注框的方式将训练图像中的缺陷区域标注出来，作为伪标签。
但是仅采用无监督训练方式所确定出的伪标签的精度较低，可能无法满足工业生产的需求，即无法满足实际落地的场景，因此，在采用无监督训练方式确定出训练图像的伪标签后，可以基于训练图像及其对应的伪标签，根据实际应用场景的需求，选择采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
在一种实施方式中，电子设备在通过无监督训练方式，确定出训练图像的伪标签后，可以由少量人工进行粗略标定和修改，得到该训练图像的粗标签，进而电子设备可以基于该训练图像及其对应的粗标签，采用弱监督训练方式对缺陷检测模型进行训练。
在另一种实施方式中，电子设备在通过无监督训练方式，确定出训练图像的伪标签后，可以由人工进行的精细化标定和修改，从而得到该训练图像的精细标签，进而电子设备可以基于该训练图像及其对应的精细标签，采用有监督训练方式对缺陷检测模型进行训练。
在另一种实施方式中，在基于该训练图像及其对应的粗标签，采用弱监督训练方式对缺陷检测模型进行训练后，为了进一步提高缺陷检测模型的精确度，还可以采用基于该训练图像及其对应的精细标签，采用有监督训练方式对缺陷检测模型进行进一步优化训练，这都是合理的。
本发明实施例提供的方案中，可以先通过无监督训练方式确定训练图像的伪标签，然后再基于训练图像及其对应的伪标签采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练，由于无监督训练方式可以为复杂缺陷检测问题提供大量的伪标签。可以解决工业产线冷启动问题，在推理耗时和空间占用上有明显优势，易于部署。弱监督训练方式可以利用无监督训练方式得到的伪标签对检测模型进行训练。所以解决了无法获取大量缺陷图像样本而导致训练出的缺陷检测模型检测精度不高的问题，提高了缺陷检测模型的检测精度。同时，本发明实施例的方案中，还可以根据不同应用场景中对于检测精度的要求，选择采用弱监督和/或有监督训练方式对缺陷检测模型进行训练，所以还具有可以灵活部署同时最小化人力成本的优点。
作为本发明实施例的一种实施方式，如图3所示，上述方法还包括：
S301，获取所述缺陷检测模型输出的检测结果；
在训练得到缺陷检测模型后，可以将该缺陷检测模型部署到生产线中，实时对产品进行缺陷检测。可以将产品的图像输入该缺陷检测模型，进而该缺陷检测模型可以输出检测结果，其中，该检测结果可以为输入的产品的图像中的缺陷区域。
S302，如果所述检测结果不满足预设检测条件，获取目标图像；
在获取到缺陷检测模型的检测结果后，可以判断该检测结果是否满足预设检测条件，其中，预设检测条件用于标识缺陷检测模型的检测结果的准确度满足实际应用需求。当判断出检测结果不满足预设检测条件时，可以获取目标图像，其中，目标图像可以为输入的该产品的图像。
在一种实施方式中，电子设备可以判断缺陷检测模型所输出的缺陷区域与产品实际的缺陷区域之间的误差是否小于预设阈值，如果不小于该预设阈值，可以确定检测结果不满足预设检测条件。
S303，将所述目标图像加入所述训练图像，并返回所述基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练的步骤，直到所述缺陷检测模型输出的检测结果满足所述预设检测条件。
由于检测结果不满足预设检测条件，说明此时的缺陷检测模型还不能满足实际产线上的缺陷检测的精确度的要求，所以在获取到目标图像后，电子设备可以将目标图像加入到训练图像中，继续基于该训练图像采用弱监督和/或有监督训练方式对缺陷检测模型进行迭代优化训练。即返回上述基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练的步骤，直到缺陷检测模型输出的检测结果满足预设检测条件，可以停止迭代训练。
可见，本发明实施例提供的方案中，在训练得到缺陷检测模型后，可以将其部署到生产线中，实时对产品进行检测并判断检测结果是否满足预设检测条件，若不满足预设检测条件则可以对模型进行迭代训练，从而实现对缺陷检测模型的优化，使得缺陷检测模型具有优异的缺陷检测性能，保证缺陷检测能够满足实际应用的精度要求。
作为本发明实施例的一种实施方式，如图4所示，上述无监督训练方式可以包括：
S401，获取多个样本图像以及初始特征重构网络；
在采用无监督训练方式对检测模型进行训练时，可以获取多个样本图像以及初始特征重构网络，其中样本图像可以为包括无缺陷的对象的图像，初始特征重构网络用于根据从图像中提取出的特征图，重构出与该特征图相对应的重构样本特征图，具体可以为自编码器等能够进行特征重构的网络模型。
S402，对每个样本图像进行特征提取，得到每个样本图像对应的多个不同分辨率的样本特征图；
在获取到样本图像后，可以对每个样本图像进行特征提取，得到每个样本图像对应的多个不同分辨率的样本特征图。作为一种实施方式，电子设备可以采用特征提取器对样本图像进行特征提取，其中，特征提取器可以为利用大型公开数据集预先训练的残差网络(Resnet)。
在利用该预先训练的残差网络对样本图像进行特征提取时，可以获取多尺度即不同分辨率的区域特征信息，该特征信息不仅可以描述相应区域的局部特征，而且还可以对其多个空间上下文信息进行编码，使其具有很强的识别力，有利于进行缺陷检测。当然，特征提取器也可以为其他可以进行特征提取的网络模型，在此不做具体限定。
在进行特征提取时，电子设备可以从不同的分辨率对样本图像进行特征提取，从而得到样本图像对应的多个不同分辨率的样本特征图，例如，图5所示，Resnet可以包括三个网络层，分别为layer1、layer2和layer3，样本图像分别经过layer1、layer2和layer3的特征提取处理，可以得到三张分辨率不同的样本特征图f，例如，得到分辨率分别为分辨率A、分辨率B和分辨率C的样本特征图fi、f2和f3。
S403，采用所述初始特征重构网络，基于每个样本特征图分别进行特征重构，得到该样本特征图对应的重构样本特征图；
在得到上述样本特征图后，可以采用预先获取的初始特征重构网络对样本特征图进行特征重构，得到该样本特征图对应的重构样本特征图。例如，如图5所示，Resnet输出的样本特征图可以输入对应的Auto Encoder(特征重构自编码器)，Auto Encoder可以对样本图像进行特征重构，获得该样本特征图对应的重构样本特征图f′。
S404，基于所述每个样本特征图与其对应的重构样本特征图之间的重构误差，调整所述初始特征重构网络的参数，直到所述初始特征重构网络收敛，得到特征重构网络。
如果样本图像中的对象存在缺陷，特征重构网络的特征重构效果则会比较差，进行特征重构所得到的重构样本特征图与其样本特征图的差异则会较大，如果样本图像中的对象不存在缺陷，特征重构网络的特征重构效果则会比较好，进行特征重构所得到的重构样本特征图与其样本特征图的差异则会较小。因此，可以基于此来训练初始特征重构网络。
在一种实施方式中，在确定样本特征图与其对应的重构样本特征图后，可以计算每个样本特征图与其对应的重构样本特征图之间的重构误差，并基于该重构误差调整初始特征重构网络的参数，以使初始特征重构网络的参数越来越合适。其中，重构误差可以通过余弦距离、L1距离、L2距离或其他能够衡量两个向量之间的差异的计算方式得到，在此不做具体限定。
随着迭代训练不断调整初始特征重构网络的参数，初始特征重构网络的性能越来越好，输出结果越来越准确。当样本图像迭代次数达到预设次数或者输出结果的准确度到达预设阈值时，初始特征重构网络收敛，可以停止训练，此时初始特征重构网络训练完成，得到特征重构网络。其中，预设次数可以根据模型准确度等因素设定，例如，可以为1万次、2万次、5万次等，在此不做具体限定。预设阈值也可以根据模型准确度等因素设定，例如，可以为90％、95％、98％等，在此也不做具体限定。
可见，在本发明实施例提供的方案中，在进行无监督训练时，可以获取多个样本图像以及初始特征重构网络，对每个样本图像进行特征提取，得到每个样本图像对应的多个不同分辨率的样本特征图，进而，采用初始特征重构网络，基于每个样本特征图分别进行特征重构，得到该样本特征图对应的重构样本特征图，基于每个样本特征图与其对应的重构样本特征图之间的重构误差，调整初始特征重构网络的参数，直到初始特征重构网络收敛，得到特征重构网络。采用特征重构网络对应的重构误差来进行模型训练，可以利用正样本训练得到能够进行缺陷检测的检测模型，无须进行人工标注，节省了人力成本。
作为本发明实施例的一种实施方式，针对上述检测模型是基于样本图像采用无监督训练方式训练得到的情况，检测模型可以包括上述残差网络和上述特征重构网络。
相应的，如图6所示，上述采用无监督训练方式，确定所述训练图像的伪标签的步骤，可以包括：
S601，将所述训练图像输入所述残差网络，对所述训练图像进行特征提取，得到多个不同分辨率的目标特征图；
S602，将多个所述目标特征图输入所述特征重构网络，对多个所述目标特征图分别进行进行特征重构，得到每个目标特征图对应的重构特征图；
电子设备在获取到训练图像后，可以将该训练图像输入至通过上述无监督训练方式训练完成的检测模型中，检测模型获取该训练图像，其包括的残差网络可以对训练图像进行特征提取，从而得到训练图像对应的多个不同分辨率的目标特征图。
残差网络可以将提取得到的目标特征图输入特征重构网络，进而，特征重构网络可以对每个目标特征图分别进行特征重构，得到每个目标特征图对应的重构特征图。
S603，基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签，并输出所述伪标签。
由于在训练图像包括的目标对象存在缺陷部位时，特征重构网络进行特征重构所得到的重构特征图与目标特征图之间的差异越大，在训练图像包括的目标对象不存在缺陷部位时，特征重构网络进行特征重构所得到的重构特征图与目标特征图之间的差异越小。所以可以通过目标特征图与其对应的重构特征图之间的重构误差来确定训练图像的伪标签。检测模型在确定出训练图像的伪标签后，可以输出该伪标签。
可见，本发明实施例提供的方案中，电子设备可以将训练图像输入残差网络，对训练图像进行特征提取，得到多个不同分辨率的目标特征图，将多个目标特征图输入特征重构网络，对多个目标特征图分别进行进行特征重构，得到每个目标特征图对应的重构特征图，进而，基于每个目标特征图与其对应的重构特征图之间的重构误差，确定训练图像的伪标签。这样，由于利用残差网络，可以获取多尺度的区域特征信息即目标特征图，该目标特征图不仅描述了训练图像中相应区域的局部特征，而且对其多个空间上下文信息进行编码，使其具有很强的识别力，非常有利于缺陷检测，通过在Imagenet(大型公开数据集)上预训练的残差网络引入了更多的先验信息，使得目标特征图更加准确，进而进一步提高输入的伪标签的准确性。
作为本发明实施例的一种实施方式，上述基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签的步骤，可以包括：
计算所述每个目标特征图与其对应的重构特征图之间的重构误差；根据所述重构误差，按照公式
计算得到融合误差d；基于所述融合误差与预设阈值的大小关系，确定所述训练图像的伪标签。
由于在进行特征提取时，针对训练图像得到了多个不同分辨率的目标特征图，所以在计算重构误差时，针对每个目标特征图会得到一个重构误差，电子设备在得到每个目标特征图与其对应的重构特征图之间的重构误差后，可以将训练图像所对应的不同分辨率的重构误差进行融合，得到融合误差。
在一种实施方式中，可以根据如下公式计算得到融合误差d：
其中，fi表示第i个目标特征图，fi′表示第i个目标特征图对应的重构特征图，K表示目标特征图的数量。
例如，针对图5所示的残差网络和特征重构网络，输入的训练图像为RGB图像，K则为3，
其中，f1、f2和f3即为残差网络输出的不同分辨率的目标特征图，f′1、f′2和f′3分别为f1、f2和f3对应的重构特征图。
在得到融合误差后，电子设备可以基于该融合误差与预设阈值的大小关系，确定训练图像的伪标签。具体来说，电子设备可以将该融合误差与预设阈值的进行大小比较，当融合误差不小于预设阈值时，表示重构特征图与目标特征图之间的差异较大，此时，说明训练图像中的目标对象存在缺陷的可能性非常大。
当融合误差小于预设阈值时，表示重构特征图与目标特征图之间的差异较小，此时，说明训练图像中的目标对象不存在缺陷的可能性比较大。因此，在得到融合误差后，电子设备基于融合误差与预设阈值的大小关系，可以确定训练图像的伪标签。
可见，本发明实施例提供的方案中，电子设备可以计算每个目标特征图与其对应的重构特征图之间的重构误差，基于上述公式计算得到融合误差，进而，基于该融合误差与预设阈值的大小关系，确定训练图像的伪标签，这样，可以根据融合误差与预设阈值的大小关系准确确定训练图像的伪标签。
作为本发明实施例的一种实施方式，上述目标特征图为上述训练图像中的像素点对应的特征图，上述基于融合误差与预设阈值的大小关系，确定训练图像的伪标签的步骤，可以包括：
在所述融合误差不小于预设阈值时，确定该像素点为所述训练图像中的缺陷像素点，并基于所有缺陷像素点确定所述训练图像中的缺陷区域，作为所述训练图像的伪标签。
针对像素级别的缺陷检测的情况而言，在利用上述残差网络对训练图像进行特征提取时，可以针对训练图像进行像素级别的特征提取，得到的目标特征图为训练图像中各个像素点对应的特征图，反映的是每个像素点的特征。进而，在通过特征重构网络进行特征重构时，得到的也是每个像素点所对应的重构特征图，这样，融合误差即反映了训练图像中的像素点是否为缺陷区域的像素点。
所以当融合误差不小于预设阈值时，说明该融合误差对应的像素点为缺陷区域的像素点；当融合误差小于预设阈值时，说明该融合误差对应的像素点不为缺陷区域的像素点。
这样，在确定了训练图像中的每个像素点对应的检测结果后，电子设备便可以基于缺陷区域的像素点的位置，确定出训练图像中的缺陷区域，作为训练图像的伪标签，例如，图5所示的缺陷检测结果图，其中可以标注出缺陷区域。
作为一种实施方式，电子设备可以将所有缺陷区域的像素点的最小外接矩形区域确定为训练图像中的缺陷区域。可以采用标注框的方式将该缺陷区域标注出来。
可见，在本发明实施例提供的方案中，电子设备可以根据融合误差和预设阈值之间的关系，确定出训练图像中的缺陷像素点，进而基于该缺陷像素点确定训练图像中的缺陷区域，可以得到能够标识训练图像中的缺陷区域的伪标签。
作为本发明实施例的一种实施方式，如图7所示，上述弱监督训练方式，可以包括：
S701，获取初始分割网络；
S702，将每个训练图像输入所述初始分割网络，得到该训练图像对应的预测得分图；
电子设备在获取到训练图像以及初始分割网络后，可以将每个训练图像输入初始分割网络，初始分割网络基于当前网络参数对训练图像进行像素级别的分割，确定训练图像中哪些像素点属于缺陷区域，哪些像素点不属于缺陷区域，进而，得到该训练图像对应的预测得分图。其中，预测得分图中像素点的像素值用于表示该训练图像中对应的像素点为缺陷像素点的预测概率。
例如，像素值为0可以用于表示训练图像中对应的像素点为缺陷区域的像素点，像素值为255可以用于表示训练图像中对应的像素点不为缺陷区域的像素点，像素值为1-254可以用于表示训练图像中对应的像素点为缺陷区域的像素点的概率大小，越接近0则表示训练图像中对应的像素点为缺陷区域的像素点的概率越大，越接近255则表示训练图像中对应的像素点为缺陷区域的像素点的概率越小。
S703，基于每个训练图像对应的预测得分图以及标注区域，计算该训练图像对应的采样损失；
确定了每个训练图像对应的预测得分图后，可以根据该预测得分图和对应的训练图像中的标注区域的差异，计算该训练图像对应的采样损失。为了保证训练得到的分割网络的缺陷检测的准确性，弱监督训练方式中，每个训练图像的标注区域外可以严格为背景，标注区域内既存在前景也存在背景。标注区域内使用高置信度的少量前景/背景的像素点来计算采样损失，以确保分割网络的分割能力。基于该原理，采样损失具体可以包括第一损失、第二损失和第三损失。具体来说：
如图8所示，将训练图像输入分割网络后，可以得到对应的预测得分图(Scoremap)，基于该Scoremap以及标注区域(弱标签)，可以计算得到该训练图像对应的第一损失(OHEM loss)、第二损失(OEEM loss)和第三损失(Consist loss)。
对于上述第一损失来说，针对每个训练图像中标注区域外的像素点，电子设备可以基于预测得分图计算得到每个像素点对应第一损失函数值。得到每个训练图像对应的预测得分图后，由于该预测得分图标识了训练图像中每个像素点属于缺陷区域的概率，而训练图像中的标注区域即为标定的训练图像中的缺陷区域，因此，电子设备可以根据预测得分图和标注区域之间的差异以及初始分割网络的损失函数，计算得到训练图像中标注区域外的每个像素点对应第一损失函数值。
接下来，电子设备可以确定出第一损失函数值最大的第一预设数量个像素点，进而计算这些像素点的像素值的平均值，作为第一损失，可以记为Lohem＝Topk(L背景)，也就是图8中的OHEM loss。其中，第一预设数量可以根据像素点的总数量等因素确定，例如，可以为总数量的1％、2％、40个等，在此不做具体限定。该第一损失可以反映针对训练图像中标注区域之外的背景区域，初始分割网络的分割能力的损失。
对于上述第二损失来说，针对每个训练图像中标注区域内的像素点，电子设备可以每个像素点均作为缺陷像素点，进而基于预测得分图计算每个像素点对应第二损失函数值。由于训练图像中的标注区域是人工粗标注得到的粗略结果，标注区域内也会存在不属于缺陷区域的像素点。
为了使训练得到的分割网络能够准确分割出缺陷区域，可以先将标注区域内的像素点均作为前景，也就是将标注区域内的像素点均作为缺陷像素点，进而基于预测得分图和标注区域之间的差异以及初始分割网络的损失函数，计算得到训练图像中标注区域内的每个像素点对应第二损失函数值。
接下来，电子设备可以确定出第二损失函数值最小的第二预设数量个像素点，进而计算这些像素点的像素值的平均值，作为第二损失，可以记为Loeem-前景＝Bottomk(L前景)，也就是图8中的OEEM loss。其中，第二预设数量可以根据像素点的总数量等因素确定，可以与上述第一预设数量相同，也可以不同，例如，可以为总数量的1％、2％、50个等，在此不做具体限定。
对于上述第三损失来说，针对每个训练图像中标注区域内的像素点，电子设备可以每个像素点均作为非缺陷像素点，也就是将标注区域内的像素点均作为背景，进而基于预测得分图和标注区域之间的差异以及初始分割网络的损失函数，计算得到训练图像中标注区域内的每个像素点对应第三损失函数值。
接下来，电子设备可以确定出第三损失函数值最小的第三预设数量个像素点，进而计算这些像素点的像素值的平均值，作为第三损失，可以记为Loeem-背景＝Bottomk(L背景)，也就是图7中的Consist loss。其中，第三预设数量可以根据像素点的总数量等因素确定，可以与上述第一预设数量、第二预设数量相同，也可以不同，例如，可以为总数量的1％、2％、100个等，在此不做具体限定。
在得到上述第一损失、第二损失和第三损失后，可以将第一损失、第二损失和第三损失的总和作为采样损失。或者，也可以为第一损失、第二损失和第三损失分别设置相应的权重，计算第一损失、第二损失和第三损失的加权和值，作为采样损失，这都是合理的，在此不做具体限定。
S704，基于所述每个训练图像中标注区域内的各个像素点的像素值，计算该训练图像对应的一致性损失；
为了对未采样到的区域根据训练图像的原始像素值进行一致性约束，来保证原始像素值近似的区域对应的分割网络的输出结果不会相差过大，可以基于每个训练图像中标注区域内的各个像素点的像素值，计算出训练图像对应的一致性损失。
在一种实施方式中，电子设备可以对每个训练图像中标注区域内各个像素点按照像素值进行聚类，得到多个簇。其中，可以用K-means、均值漂移聚类、高斯混合模型聚类等方式对标注区域内各个像素点按照像素值进行聚类，在此不做具体限定。
由于每个簇所包括的像素点的像素值相近，在像素值近似的区域对应的分割网络的输出结果一致的情况下，每个簇的特征经过交叉熵损失后的分值应该是一致的，所以基于此原理，针对每个簇，电子设备可以计算其所包括的各像素点在预测得分图中对应的像素值的方差的均值，作为一致性损失，其标识了第二图像样本中像素值近似的区域对应的分割网络的输出结果的差异。
S705，将所述采样损失以及所述一致性损失的加权值作为总损失，并基于所述总损失调整所述初始分割网络的参数，直到所述初始分割网络收敛，得到分割网络，作为所述缺陷检测模型。
在得到上述采样损失和一致性损失后，电子设备可以将采样损失以及一致性损失的加权值作为总损失，其中，采样损失和一致性损失对应的权重可以实际应用场景以及经验值等设置，在此不做具体限定。例如，采样损失对应的权重可以为0.7，一致性损失对应的权重可以为0.3等。
在一种实施方式汇总，为了保证每个训练图像中的缺陷区域都可以被采样到，均针对一个批次的每个第二图像样本，可以分别计算采样损失和一致性损失，然后再计算出各自的均值，再对采样损失和一致性损失的均值进行加权求和，得到总损失。
得到总损失后，可以基于该总损失调整初始分割网络的参数，以使初始分割网络的参数越来越合适，分割结果越来越准确。直到训练图像的迭代次数达到预设次数，或者分割网络的准确度达到预设准确度，初始分割网络收敛，可以停止训练，得到分割网络。
上述特征重构网络以及分割网络的训练过程中，调整网络参数的具体方式可以为梯度下降算法、随机梯度下降算法等，在此不做具体限定即说明。
将训练图像输入该分割网络，该分割网络则可以基于训练图像的图像特征，确定得分图并输出该得分图，该得分图中每个像素点的像素值则可以准确标识训练图像中相同位置的像素点为缺陷像素点的概率，从而实现对训练图像进行准确的像素级别的缺陷检测。
可见，在本发明实施例提供的方案中，在弱监督训练方式中，将标注区域外严格设定为背景，标注区域内设定既存在前景也存在背景。标注框内使用高置信度的少量前景/背景的像素点的像素值来计算采样损失，确保分割网络的分割能力。同时对未采样到的区域根据训练图像的原始像素值进行一致性约束来保证训练图像的原始像素值近似的区域所对应的分割网络的输出结果不会相差过大。从而保证检测模型的检测准确度。同时，在弱监督训练方式中，提出采样损失—一致性损失匹配的弱监督算法，对大部分工业场景能够得到良好的分割性能，可以基于已有分割网络进行修改，便于部署。
相应于上述缺陷检测模型的训练方法，本发明实施例还提供了一种缺陷检测方法。下面对本发明实施例所提供的一种缺陷检测方法进行介绍。
如图9所示，一种缺陷检测方法，所述方法包括：
S901，获取待检测图像；
S902，将所述待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果；
其中，所述缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，所述伪标签为采用无监督训练方式确定的所述训练图像的伪标签。
可见，本发明实施例提供的方案中，电子设备可以获取待检测图像，将待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果；其中，缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，伪标签为采用无监督训练方式确定的训练图像的伪标签。由于在本发明实施例的方案中，由于缺陷检测模型是基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到的，缺陷检测模型的精确度高，因此，得到缺陷检测结果的精确度也较高。
在需要对目标对象进行缺陷检测时，电子设备可以执行上述步骤S901，即获取待检测图像，其中，待检测图像可以包括目标对象。目标对象可以为任意需要进行缺陷检测的产品。在一种实施方式中，电子设备可以集成有图像采集设备，通过该图像采集设备采集目标对象的图像，作为待检测图像，例如，当用户想要对目标对象进行缺陷检测时，可以控制电子设备中的图像采集设备对目标对象进行图像采集，将采集得到的图像作为待检测图像。或者，当达到预设的缺陷检测周期时，电子设备自动控制图像采集设备对目标对象进行图像采集，将采集得到的图像作为待检测图像。
在另一种实施方式中，电子设备也可以获取从其他设备获取包括目标对象的图像，作为待检测图像，例如，图像采集设备布置在工业生产流程的检测环节，负责对目标对象进行图像采集，在采集得到目标对象的图像后，图像采集设备可以将该待检测图像发送至电子设备。
电子设备可以对该待检测图像实时进行缺陷检测，也可以将该待检测图像进行存储，当到达预设的缺陷检测周期时，电子设备可以获取所存储的待检测图像，进而进行缺陷检测。当然，电子设备也可以接收用户输入的包括目标对象的图像，将其作为待检测图像，这都是合理的，在此不做具体限定。
电子设备在获取到待检测图像后，可以将该待检测图像输入预先训练的缺陷检测模型中，其中，缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，伪标签为采用无监督训练方式确定的训练图像的伪标签。也就是说，该缺陷检测模型是采用上述缺陷检测模型的训练方法训练得到，因此可以输出待检测图像的准确的检测结果。
相应于上述缺陷检测模型的训练方法，本发明实施例还提供了一种缺陷检测模型的训练装置。下面对本发明实施例所提供的一种缺陷检测模型的训练装置进行介绍。
如图10所示，一种缺陷检测模型的训练装置，所述装置包括：
样本获取模块1010，用于获取训练图像；
伪标签确定模块1020，用于采用无监督训练方式，确定所述训练图像的伪标签；
模型训练模块1030，用于基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
可见，本发明实施例提供的方案中，电子设备可以获取训练图像；采用无监督训练方式，确定训练图像的伪标签；基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。由于本发明实施例的方案中，可以先采用无监督训练方式获取训练图像的伪标签，然后再根据该训练图像及其对应的伪标签对缺陷检测模型进行训练，所以在此模型训练过程中无需获取缺陷图像样本，解决了无法获取大量缺陷图像样本而导致训练出的缺陷检测模型检测精度不高的问题，因而提高了缺陷检测模型的检测精度。同时，本发明实施例的方案中，还可以根据不同应用场景中对于检测精度的要求，选择采用弱监督和/或有监督训练方式对缺陷检测模型进行训练，具有可以灵活部署最小化人力成本的优点。
作为本发明实施例的一种实施方式，上述缺陷检测模型的训练装置，还可以包括：
检测结果获取模块，用于获取所述缺陷检测模型输出的检测结果；
目标图像获取模块，用于在所述检测结果不满足预设检测条件时，获取目标图像；
迭代训练模块，用于将所述目标图像加入所述训练图像，并触发所述模型训练模块1030，直到所述缺陷检测模型输出的检测结果满足所述预设检测条件。
作为本发明实施例的一种实施方式，上述伪标签确定模块1020，可以包括：
第一数据获取单元，用于获取多个样本图像以及初始特征重构网络；
其中，所述样本图像包括无缺陷的对象。
样本特征提取单元，用于对每个样本图像进行特征提取，得到每个样本图像对应的多个不同分辨率的样本特征图；
样本特征重构单元，用于采用所述初始特征重构网络，基于每个样本特征图分别进行特征重构，得到该样本特征图对应的重构样本特征图；
第一参数调整单元，用于基于所述每个样本特征图与其对应的重构样本特征图之间的重构误差，调整所述初始特征重构网络的参数，直到所述初始特征重构网络收敛，得到特征重构网络。
作为本发明实施例的一种实施方式，上述伪标签确定模块1020，可以包括：
特征提取单元，还用于将所述训练图像输入所述残差网络，对所述训练图像进行特征提取，得到多个不同分辨率的目标特征图；
特征重构单元，还用于将多个所述目标特征图输入所述特征重构网络，对多个所述目标特征图分别进行进行特征重构，得到每个目标特征图对应的重构特征图；
伪标签确定单元，用于基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签，并输出所述伪标签。
作为本发明实施例的一种实施方式，上述伪标签确定单元，可以包括：
重构误差计算子单元，用于计算所述每个目标特征图与其对应的重构特征图之间的重构误差；
融合误差计算子单元，用于根据所述重构误差，按照公式
计算得到融合误差d；
伪标签确定子单元，基于所述融合误差与预设阈值的大小关系，确定所述训练图像的伪标签；
其中，fi表示第i个目标特征图，fi′表示第i个目标特征图对应的重构特征图，K表示所述目标特征图的数量。
作为本发明实施例的一种实施方式，所述目标特征图为所述训练图像中的像素点对应的特征图；
上述伪标签确定子单元，具体用于在所述融合误差不小于预设阈值时，确定该像素点为所述训练图像中的缺陷像素点，并基于所有缺陷像素点确定所述训练图像中的缺陷区域，作为所述训练图像中的目标对象的检测结果。
作为本发明实施例的一种实施方式，上述模型训练模块1030，可以包括：
第二数据获取单元，用于获取初始分割网络；
得分图确定单元，用于将每个训练图像输入所述初始分割网络，得到该训练图像对应的预测得分图；
其中，所述预测得分图中像素点的像素值表示该训练图像中对应的像素点为缺陷像素点的预测概率。
采样损失确定单元，用于基于每个训练图像对应的预测得分图以及标注区域，计算该训练图像对应的采样损失；
一致性损失确定单元，用于基于所述每个训练图像中标注区域内的各个像素点的像素值，计算该训练图像对应的一致性损失；
第二参数调整单元，用于将所述采样损失以及所述一致性损失的加权值作为总损失，并基于所述总损失调整所述初始分割网络的参数，直到所述初始分割网络收敛，得到分割网络，作为所述缺陷检测模型。
作为本发明实施例的一种实施方式，上述采样损失确定单元，可以包括：
第一损失函数值计算子单元，用于针对每个训练图像中标注区域外的像素点，基于所述预测得分图计算每个像素点对应第一损失函数值；
第一损失计算子单元，用于计算对应的第一损失函数值最大的第一预设数量个像素点的像素值的平均值，作为第一损失；
第二损失函数值计算子单元，用于针对每个训练图像中标注区域内的像素点，将每个像素点作为缺陷像素点，基于所述预测得分图计算每个像素点对应第二损失函数值；
第二损失函数值计算子单元，用于计算对应的第二损失函数值最小的第二预设数量个像素点的像素值的平均值，作为第二损失；
第三损失函数值计算子单元，用于针对每个训练图像中标注区域内的像素点，将每个像素点作为非缺陷像素点，基于所述预测得分图计算每个像素点对应第三损失函数值；
第三损失函数值计算子单元，用于计算对应的第三损失函数值最小的第三预设数量个像素点的像素值的平均值，作为第三损失；
采样损失确定子单元，用于将所述第一损失、所述第二损失和所述第三损失的加和，作为采样损失。
作为本发明实施例的一种实施方式，上述一致性损失确定单元，可以包括：
聚类子单元，用于对所述每个训练图像中标注区域内各个像素点按照像素值进行聚类，得到多个簇；
一致性损失确定子单元，用于针对每个簇，计算其所包括的各像素点在所述预测得分图中对应的像素值的方差的均值，作为一致性损失。
相应于上述缺陷检测方法，本发明实施例还提供了一种缺陷检测装置。下面对本发明实施例所提供的一种缺陷检测装置进行介绍。
如图11所示，一种缺陷检测装置，所述装置包括：
图像获取模块1110，用于获取待检测图像；
图像检测模块1120，用于将所述待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果。
其中，所述缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，所述伪标签为采用无监督训练方式确定的所述训练图像的伪标签。
可见，本发明实施例提供的方案中，电子设备可以获取待检测图像，将待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果；其中，缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，伪标签为采用无监督训练方式确定的训练图像的伪标签。由于在本发明实施例的方案中，由于缺陷检测模型是基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到的，缺陷检测模型的精确度高，因此，得到缺陷检测结果的精确度也较高。
本发明实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现上述任一实施例所述的缺陷检测模型的训练方法或缺陷检测方法步骤。
可见，本发明实施例提供的方案中，电子设备执行上述任一实施例所述的缺陷检测模型的训练方法时，可以获取训练图像，采用无监督训练方式，确定训练图像的伪标签；基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。可以先采用无监督训练方式获取训练图像的伪标签，然后再根据该训练图像及其对应的伪标签对缺陷检测模型进行训练，所以在此模型训练过程中无需获取缺陷图像样本，解决了无法获取大量缺陷图像样本而导致训练出的缺陷检测模型检测精度不高的问题，因而提高了缺陷检测模型的检测精度。同时，本发明实施例的方案中，还可以根据不同应用场景中对于检测精度的要求，选择采用弱监督和/或有监督训练方式对缺陷检测模型进行训练，具有可以灵活部署最小化人力成本的优点。电子设备执行上述任一实施例所述的缺陷检测方法时，可以获取待检测图像，将待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果；其中，缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，伪标签为采用无监督训练方式确定的训练图像的伪标签。由于在本发明实施例的方案中，由于缺陷检测模型是基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到的，缺陷检测模型的精确度高，因此，得到缺陷检测结果的精确度也较高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的缺陷检测方法步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一实施例所述的缺陷检测方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (13)
1.一种缺陷检测模型的训练方法，其特征在于，所述方法包括：
获取训练图像；
采用无监督训练方式，确定所述训练图像的伪标签；
基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
2.如权利要求1所述方法，其特征在于，所述方法还包括：
获取所述缺陷检测模型输出的检测结果；
如果所述检测结果不满足预设检测条件，获取目标图像；
将所述目标图像加入所述训练图像，并返回所述基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练的步骤，直到所述缺陷检测模型输出的检测结果满足所述预设检测条件。
3.如权利要求1所述方法，其特征在于，所述无监督训练方式，包括：
获取多个样本图像以及初始特征重构网络，其中，所述样本图像包括无缺陷的对象；
对每个样本图像进行特征提取，得到每个样本图像对应的多个不同分辨率的样本特征图；
采用所述初始特征重构网络，基于每个样本特征图分别进行特征重构，得到该样本特征图对应的重构样本特征图；
基于所述每个样本特征图与其对应的重构样本特征图之间的重构误差，调整所述初始特征重构网络的参数，直到所述初始特征重构网络收敛，得到特征重构网络。
4.如权利要求3所述方法，其特征在于，所述采用无监督训练方式，确定所述训练图像的伪标签的步骤，包括：
将所述训练图像输入残差网络，对所述训练图像进行特征提取，得到多个不同分辨率的目标特征图；
将多个所述目标特征图输入所述特征重构网络，对多个所述目标特征图分别进行进行特征重构，得到每个目标特征图对应的重构特征图；
基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签，并输出所述伪标签。
5.如权利要求4所述方法，其特征在于，所述基于所述每个目标特征图与其对应的重构特征图之间的重构误差，确定所述训练图像的伪标签的步骤，包括：
计算所述每个目标特征图与其对应的重构特征图之间的重构误差；
根据所述重构误差，按照公式
计算得到融合误差d；
基于所述融合误差与预设阈值的大小关系，确定所述训练图像的伪标签；
其中，fi表示第i个目标特征图，f′i表示第i个目标特征图对应的重构特征图，K表示所述目标特征图的数量。
6.如权利要求5所述方法，其特征在于，所述目标特征图为所述训练图像中的像素点对应的特征图；
所述基于所述融合误差与预设阈值的大小关系，确定所述训练图像的伪标签的步骤，包括：
在所述融合误差不小于预设阈值时，确定该像素点为所述训练图像中的缺陷像素点，并基于所有缺陷像素点确定所述训练图像中的缺陷区域，作为所述训练图像的伪标签。
7.如权利要求1所述方法，其特征在于，所述弱监督训练方式，包括：
获取初始分割网络；
将每个训练图像输入所述初始分割网络，得到该训练图像对应的预测得分图，其中，所述预测得分图中像素点的像素值表示该训练图像中对应的像素点为缺陷像素点的预测概率；
基于每个训练图像对应的预测得分图以及标注区域，计算该训练图像对应的采样损失；
基于所述每个训练图像中标注区域内的各个像素点的像素值，计算该训练图像对应的一致性损失；
将所述采样损失以及所述一致性损失的加权值作为总损失，并基于所述总损失调整所述初始分割网络的参数，直到所述初始分割网络收敛，得到分割网络，作为所述缺陷检测模型。
8.如权利要求7所述方法，其特征在于，所述基于每个训练图像对应的预测得分图以及标注区域，计算该训练图像对应的采样损失的步骤，包括：
针对每个训练图像中标注区域外的像素点，基于所述预测得分图计算每个像素点对应第一损失函数值；
计算对应的第一损失函数值最大的第一预设数量个像素点的像素值的平均值，作为第一损失；
针对每个训练图像中标注区域内的像素点，将每个像素点作为缺陷像素点，基于所述预测得分图计算每个像素点对应第二损失函数值；
计算对应的第二损失函数值最小的第二预设数量个像素点的像素值的平均值，作为第二损失；
针对每个训练图像中标注区域内的像素点，将每个像素点作为非缺陷像素点，基于所述预测得分图计算每个像素点对应第三损失函数值；
计算对应的第三损失函数值最小的第三预设数量个像素点的像素值的平均值，作为第三损失；
将所述第一损失、所述第二损失和所述第三损失的加和，作为采样损失。
9.如权利要求7所述方法，其特征在于，所述基于所述每个训练图像中标注区域内的各个像素点的像素值，计算该训练图像对应的一致性损失的步骤，包括：
对所述每个训练图像中标注区域内各个像素点按照像素值进行聚类，得到多个簇；
针对每个簇，计算其所包括的各像素点在所述预测得分图中对应的像素值的方差的均值，作为一致性损失。
10.一种缺陷检测方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果，其中，所述缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，所述伪标签为采用无监督训练方式确定的所述训练图像的伪标签。
11.一种缺陷检测模型的训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取训练图像；
伪标签确定模块，用于采用无监督训练方式，确定所述训练图像的伪标签；
模型训练模块，用于基于所述训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式对缺陷检测模型进行训练。
12.一种缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测图像；
图像检测模块，用于将所述待检测图像输入预先训练的缺陷检测模型进行缺陷检测，得到缺陷检测结果，其中，所述缺陷检测模型基于训练图像及其对应的伪标签，采用弱监督训练方式和/或有监督训练方式训练得到，所述伪标签为采用无监督训练方式确定的所述训练图像的伪标签。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9或10任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111648994.4A CN114299034A (zh) | 2021-12-30 | 2021-12-30 | 一种缺陷检测模型的训练方法、缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111648994.4A CN114299034A (zh) | 2021-12-30 | 2021-12-30 | 一种缺陷检测模型的训练方法、缺陷检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299034A true CN114299034A (zh) | 2022-04-08 |
Family
ID=80974489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111648994.4A Pending CN114299034A (zh) | 2021-12-30 | 2021-12-30 | 一种缺陷检测模型的训练方法、缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299034A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693685A (zh) * | 2022-06-02 | 2022-07-01 | 深圳市华汉伟业科技有限公司 | 无监督的缺陷检测模型的训练方法、缺陷检测方法 |
| CN114697139A (zh) * | 2022-05-25 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 基于特征迁移的设备异常检测、训练方法、***和装置 |
| CN114998330A (zh) * | 2022-07-28 | 2022-09-02 | 季华实验室 | 无监督的晶圆缺陷检测方法、装置、设备及存储介质 |
| CN115019133A (zh) * | 2022-06-16 | 2022-09-06 | 华中科技大学 | 基于自训练和标签抗噪的图像中弱目标的检测方法及*** |
| CN115147418A (zh) * | 2022-09-05 | 2022-10-04 | 东声(苏州)智能科技有限公司 | 缺陷检测模型的压缩训练方法和装置 |
| CN115147353A (zh) * | 2022-05-25 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 |
| CN115147426A (zh) * | 2022-09-06 | 2022-10-04 | 北京大学 | 基于半监督学习的模型训练与图像分割方法和*** |
| CN115359054A (zh) * | 2022-10-19 | 2022-11-18 | 福建亿榕信息技术有限公司 | 一种基于伪缺陷空间生成的电力设备缺陷检测方法 |
| CN116542980A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
| CN116862903A (zh) * | 2023-07-31 | 2023-10-10 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备 |
| CN117853876A (zh) * | 2024-03-08 | 2024-04-09 | 合肥晶合集成电路股份有限公司 | 一种晶圆缺陷检测模型的训练方法以及*** |
-
2021
- 2021-12-30 CN CN202111648994.4A patent/CN114299034A/zh active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697139A (zh) * | 2022-05-25 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 基于特征迁移的设备异常检测、训练方法、***和装置 |
| CN114697139B (zh) * | 2022-05-25 | 2022-09-02 | 杭州海康威视数字技术股份有限公司 | 基于特征迁移的设备异常检测、训练方法、***和装置 |
| CN115147353A (zh) * | 2022-05-25 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 |
| CN114693685A (zh) * | 2022-06-02 | 2022-07-01 | 深圳市华汉伟业科技有限公司 | 无监督的缺陷检测模型的训练方法、缺陷检测方法 |
| CN115019133A (zh) * | 2022-06-16 | 2022-09-06 | 华中科技大学 | 基于自训练和标签抗噪的图像中弱目标的检测方法及*** |
| CN114998330A (zh) * | 2022-07-28 | 2022-09-02 | 季华实验室 | 无监督的晶圆缺陷检测方法、装置、设备及存储介质 |
| CN115147418A (zh) * | 2022-09-05 | 2022-10-04 | 东声(苏州)智能科技有限公司 | 缺陷检测模型的压缩训练方法和装置 |
| CN115147426B (zh) * | 2022-09-06 | 2022-11-29 | 北京大学 | 基于半监督学习的模型训练与图像分割方法和*** |
| CN115147426A (zh) * | 2022-09-06 | 2022-10-04 | 北京大学 | 基于半监督学习的模型训练与图像分割方法和*** |
| CN115359054A (zh) * | 2022-10-19 | 2022-11-18 | 福建亿榕信息技术有限公司 | 一种基于伪缺陷空间生成的电力设备缺陷检测方法 |
| CN115359054B (zh) * | 2022-10-19 | 2023-04-18 | 福建亿榕信息技术有限公司 | 一种基于伪缺陷空间生成的电力设备缺陷检测方法 |
| CN116542980A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
| CN116542980B (zh) * | 2023-07-06 | 2023-11-03 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
| CN116862903A (zh) * | 2023-07-31 | 2023-10-10 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备 |
| CN117853876A (zh) * | 2024-03-08 | 2024-04-09 | 合肥晶合集成电路股份有限公司 | 一种晶圆缺陷检测模型的训练方法以及*** |
| CN117853876B (zh) * | 2024-03-08 | 2024-06-11 | 合肥晶合集成电路股份有限公司 | 一种晶圆缺陷检测模型的训练方法以及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114299034A (zh) | 一种缺陷检测模型的训练方法、缺陷检测方法及装置 | |
| Ni et al. | Pixel‐level crack delineation in images with convolutional feature fusion | |
| CN109117876B (zh) | 一种稠密小目标检测模型构建方法、模型及检测方法 | |
| CN107545262B (zh) | 一种在自然场景图像中检测文本的方法及装置 | |
| US20200074222A1 (en) | System and method for performing image processing based on a damage assessment image judgement model | |
| CN110111334B (zh) | 一种裂缝分割方法、装置、电子设备及存储介质 | |
| CN108647732B (zh) | 一种基于深度神经网络的病理图像分类方法及装置 | |
| CN108629772B (zh) | 图像处理方法及装置、计算机设备和计算机存储介质 | |
| WO2016064547A1 (en) | Iterative defect filtering process | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN110928862A (zh) | 数据清洗方法、数据清洗设备以及计算机存储介质 | |
| CN113554643B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
| CN111383246B (zh) | 条幅检测方法、装置及设备 | |
| CN116596875B (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN111178364A (zh) | 一种图像识别方法和装置 | |
| CN110298302B (zh) | 一种人体目标检测方法及相关设备 | |
| CN114462469B (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN111931721B (zh) | 年检标签颜色和个数的检测方法、装置及电子设备 | |
| Oga et al. | River state classification combining patch-based processing and CNN | |
| CN112668637B (zh) | 网络模型的训练方法、识别方法、装置及电子设备 | |
| CN115984646A (zh) | 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星 | |
| CN112784691B (zh) | 一种目标检测模型训练方法、目标检测方法和装置 | |
| CN111753625B (zh) | 一种行人检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |