CN117011216A - 一种缺陷检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及数据处理技术领域，尤其涉及一种缺陷检测方法、装置、电子设备及存储介质，该方法为：分别获取在预设的各目标点位上针对待检测对象采集的点位图像，并基于针对各点位图像分别检测得到的子检测结果，得到待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：获取与对应的目标点位关联的点位模板图，并在点位图像确定与点位图像中的检测指示区域对应的目标区域；基于针对目标区域内每个候选缺陷识检测得到的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定待检测对象在目标点位的子检测结果。这样，提高了缺陷检测的鲁棒性，降低缺陷检测的实现难度，提高了缺陷检测的准确性。

Description

一种缺陷检测方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种缺陷检测方法、装置、电子设备及存储介质。

背景技术

随着科技的现代化发展，目前可以采用自动化检测的方式实现对于各类器件的缺陷检测，如，实现对于3C结构件的自动化质检。

相关技术下，可以借助于已训练的缺陷检测模型，基于针对待检测对象采集的点位图，检测得到包括缺陷类别、缺陷类别对应的置信度取值、缺陷的定位框，或者，借助于已训练的缺陷检测算法，基于针对待检测对象采集的点位图，检测得到包括缺陷类别、缺陷类别对应的置信度取值、缺陷的定位框，以及缺陷像素位置在内的缺陷检测结果；进而基于得到的检测结果，判断待检测对象是否存在缺陷。

这样，在依据缺陷类别和定位框，判断待检测对象是否存在缺陷时，仅能从缺陷类别上实现对于不同类型缺陷的笼统判断；而且，由于无法避免在采集点位图像时，出现待检测对象偏离规定目标点位的问题，这使得针对不同目标点位上的点位图像得到的检测结果中，极易出现漏检和误检的情况，造成了对于是否存在缺陷的误判，极大地降低了缺陷检测效率。

发明内容

本申请实施例提供一种缺陷检测方法、装置、电子设备及存储介质，以解决现有技术下缺陷检测的效率和准确率低，易出现误判的问题。

第一方面，提出一种缺陷检测方法，包括：

分别获取在预设的各目标点位上针对待检测对象采集的点位图像；

基于针对各点位图像分别检测得到的子检测结果，得到所述待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：

获取与对应的目标点位关联的点位模板图，并通过将所述点位图像与所述点位模板图进行图像对齐处理，在所述点位图像中确定与检测指示区域对应的目标区域，其中，所述点位模板图中配置有相应的检测指示区域；

采用已训练的缺陷分类模型，基于所述点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；

基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果。

第二方面，提出一种缺陷检测装置，包括：

获取单元，用于分别获取在预设的各目标点位上针对待检测对象采集的点位图像；

检测单元，用于基于针对各点位图像分别检测得到的子检测结果，得到所述待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：

获取与对应的目标点位关联的点位模板图，并通过将所述点位图像与所述点位模板图进行图像对齐处理，在所述点位图像中确定与检测指示区域对应的目标区域，其中，所述点位模板图中配置有相应的检测指示区域；

采用已训练的缺陷分类模型，基于所述点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；

基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果。

可选的，训练得到缺陷分类模型时，所述装置还包括训练单元，所述训练单元具体用于：

基于预设的目标检测算法构建待训练的缺陷分类模型，并获取样本点位图像集合，其中，所述缺陷分类模型中包括实现缺陷程度预测功能的子网络，所述样本点位图像集合中包括由不同类型采集设备采集的、对应不同目标点位的样本点位图像，每个样本点位图像标注有缺陷分类类别标签、缺陷程度类别标签，以及定位框标签；

采用所述样本点位图像集合对所述待训练的缺陷分类模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分类模型。

可选的，所述基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果时，所述检测单元用于：

在所述目标区域内的各候选缺陷中，筛选出分类类别信息关联的置信度取值高于设定阈值，或程度类别信息不属于预设的正常程度信息的目标缺陷；

针对每个目标缺陷，执行以下操作：基于所述目标缺陷对应的缺陷像素位置信息集合，确定所述目标缺陷对应的面积信息，并基于所述面积信息和预设的面积检测条件，得到对应的面积检测结果；

基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果。

可选的，所述基于所述面积信息和预设的面积检测条件，得到对应的面积检测结果之后，所述基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果之前，所述检测单元还用于：

确定所述目标缺陷对应的缺陷区域框，并基于构建所述缺陷区域框边缘的像素数目，以及像素与尺寸量的映射关系，确定所述目标缺陷对应的长度信息；

基于所述长度信息和预设的长度检测条件，得到对应的长度检测结果。

可选的，所述基于预设的面积检测条件，得到对应的面积检测结果时，所述检测单元用于：

根据所述目标缺陷对应的定位框在所述点位图像中归属的区域信息，以及所述目标缺陷对应的分类类别信息，获取针对所述目标缺陷的面积信息配置的面积阈值；

当确定所述目标缺陷的面积信息，达到预设的面积阈值时，将对应的面积检测结果判定为面积待定异常，以及当确定所述目标缺陷的面积信息，未达到预设的面积阈值时，将面积检测结果判定为面积检测正常。

可选的，所述基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果时，所述检测单元用于：

获取针对每个分类类别信息设置的缺陷总数阈值，并分别统计归属于相同分类类别信息的目标缺陷中，对应的面积检测结果为面积待定异常的目标缺陷总数；

确定存在一类分类类别信息对应的目标缺陷总数，高于相应的缺陷总数阈值时，将所述待检测对象在所述目标点位的子检测结果判定为检测异常；以及，确定各类分类类别信息对应的目标缺陷总数，均不高于相应的缺陷总数阈值时，将所述待检测对象在所述目标点位的子检测结果判定为检测正常。

可选的，所述通过将所述点位图像与所述点位模板图进行图像对齐处理，在所述点位图像中确定与检测指示区域对应的目标区域时，所述检测单元用于：

计算将所述点位图像转换为与所述点位模板图对齐时，针对所述点位图像配置的参数变换矩阵；

基于所述参数变换矩阵和所述点位模板图中检测指示区域对应的位置信息，在所述点位图像中确定与所述检测指示区域对应的目标区域。

可选的，所述采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合时，所述检测单元用于：

获取已训练的缺陷分割模型，其中，所述缺陷定位模型是基于预设的分割算法构建的，用于定位缺陷覆盖的缺陷像素位置集合；

将各缺陷区域框所框选的图像内容，分别输入所述缺陷定位模型中，得到所述缺陷定位模型对应各图像内容分别确定的缺陷像素位置集合。

可选的，所述基于针对各点位图像分别检测得到的子检测结果，得到所述待检测对象对应的缺陷检测结果时，所述检测单元用于：

确定针对所述各点位图像分别检测得到的子检测结果中，存在被判定为检测异常的子检测结果时，将所述待检测对象对应的缺陷检测结果判定为检测不合格；以及，

确定针对所述各点位图像分别检测得到的子检测结果均为检测正常时，将所述待检测对象对应的缺陷检测结果判定为检测合格。

第三方面，提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述缺陷检测方法。

第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述缺陷检测方法。

第五方面，提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述缺陷检测方法。

本申请有益效果如下：

本申请实施例中，提出了一种缺陷检测方法、装置、电子设备及存储介质，分别获取在预设的各目标点位上针对待检测对象采集的点位图像，并基于针对各点位图像分别检测得到的子检测结果，得到待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：获取与对应的目标点位关联的点位模板图，并通过将点位图像与点位模板图进行图像对齐处理，得到与检测指示区域对应的目标区域，其中，点位模板图中配置有相应的检测指示区域；采用已训练的缺陷分类模型，基于点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；基于目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定待检测对象在目标点位的子检测结果。

这样，通过将对应相同目标点位的点位图像和点位模板图进行对齐处理，保障了相同目标点位的点位图像成像的一致性，降低了进行自动化缺陷检测时的处理难度，提高了缺陷检测的鲁棒性，与此同时，通过在点位图像中有效定位检测指示区域对应的目标区域，使得后续基于点位图像的缺陷检测能够聚焦在目标区域内，避免由于点位图像中其他区域的缺陷造成误判；而且，考虑到训练缺陷检测模型和缺陷定位模型所依据的样本量不同，故采用不同模型进行定位框的识别和缺陷像素位置信息的识别，而不是采用一个模型同时实现定位框的识别和缺陷像素位置信息的识别，能够在降低样本生成难度的同时，降低缺陷检测的实现难度；另外，在获得的缺陷检测结果中，包括有针对缺陷检测到的程度类别信息，相当于对缺陷的异常程度进行了学习分类，为缺陷检测结果的判定提供了更多可考量的依据；再者，在最终针对待检测对象确定对应的缺陷检测结果时，是基于各点位图像中每个候选缺陷的检测信息进行综合判定的，相当于考量了各候选缺陷的综合影响，有助于提高了缺陷检测的准确性。

附图说明

图1为本申请实施例中可能的应用场景示意图；

图2A为本申请实施例中缺陷检测流程示意图；

图2B为本申请实施例中在不同目标点位上采集的点位图像示意图；

图2C为本申请实施例中针对点位图像得到子检测结果的流程示意图；

图2D为本申请实施例中构建的缺陷分类模型的组成示意图；

图3为本申请实施例中缺陷检测的通用流程示意图；

图4为本申请实施例中缺陷检测过程中涉及到整体流程示意图；

图5为本申请实施例中缺陷检测装置的逻辑结构示意图；

图6为本申请实施例的一种电子设备的一个硬件组成结构示意图；

图7为本申请实施例中的一个计算装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请提出的缺陷检测方法，可以应用于人工智能技术的处理过程中。

以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

缺陷：是指检测确定的待检测对象不能提供使用者有权期待的安全性，或者，检测确定的待检测对象存在不合理的危险；本申请实施例中，检测确定的缺陷可能具有不同的分类类别信息和程度类别信息，对待检测对象进行缺陷检测后，依据得到的缺陷检测结果能够确定待检测对象是否合格，其中，在待检测对象为零件的情况下，缺陷检测结果为检测不合格的零件是指无法满足正常出厂需要的零件，需要从被测的全部零件中去除，或者，需要被修复；缺陷检测结果为检测合格的零件是指检测出的缺陷均为可忽略的缺陷的零件，或者，未检测出缺陷的零件。

过杀率：是指进行缺陷检测后，检出的各存在缺陷的零件中实际为合格(记为OK)的零件数量，占已检测零件总数的百分比。

漏检率：是指进行缺陷检测后，未检出的存在缺陷的零件总数占已检测零件总数的百分比。

批退率：是指被退货的批数占交货总批数的百分比，代表了一批产品不合格被退回的概率。

目标点位：本申请实施例中，是指针对一个待检测对象配置的拍摄位置；本申请中，为了实现对于待检测对象的缺陷检测，可以预先确定针对待检测对象配置的各检测区域，并确定能够采集到不同检测区域的目标点位，以及针对各目标点位分别拍摄生成点位模板图，并通过配置检测指示区域，标识在对应的目标点位所关注检测的、待检测对象上的内容。

点位图像：本申请实施例中，一个点位图像是指在一个目标点位，针对待检测对象拍摄的一个图像。

图像对齐：本申请实施例中，进行图像对齐处理后的两张图像，具有一致的拍摄角度，图像上的产品结构能够完全对齐，无明显偏移，旋转，尺寸差异。

下面对本申请实施例的设计思想进行简要介绍：

相关技术下，在进行缺陷检测时，可以借助人工智能算法实现检测，现有技术下一些可能的实现方式中，可以采用深度学习算法与规则判定相结合的方式进行缺陷检测。

具体的，在一些可能的实现方式中，可以采用深度学习算法，训练得到缺陷检测模型，进而采用缺陷检测模型基于待检测对象的点位图，输出缺陷检出信息，其中，缺陷检出信息中包括缺陷的分类类别信息、分类类别信息对应的置信度取值，以及缺陷的定位框，训练缺陷检测模型所采用的训练样本，是通过采集产线上存在缺陷的实物的成像图片后，进行缺陷的分类类别与定位框标注后得到的；

在其他一些可能的实施例中，可以采用深度学习算法，训练得到实现缺陷精准检测的缺陷检测模型，使得在处理过程中，采用训练得到的缺陷检测模型基于待检测对象的成像点位图输出缺陷检测结果，其中，缺陷检测结果中包括缺陷类别、缺陷置信度、缺陷的定位框，以及缺陷精细像素位置。

进而，基于采用上述不同实现方式处理得到的检测结果，进行规则判定，在具体的判定过程中可以借助于预设的缺陷置信度阈值，以及缺陷面积阈值进行综合判定，最终判定待检测对象是否存在缺陷。

然而，对于现有技术下的处理方式而言，由于在采集点位图像时，难免会存在不同零件在同一个目标点位进行图像采集时，相机或待检测对象有偏移情况，造成在同一个目标点位针对不同待检测对象拍摄的点位图像，成像一致性较差的问题，在当前技术框架下大概率会进行误检测，容易将待检测对象误判为存在缺陷。而且，现有技术下在进行模型训练时仅会依据当前产线下拍摄的点位图像进行训练，使得当待检测对象中不同目标点位的工艺参数差别导致的成像差异较大时，缺陷检出效果很差。

另外，在需要考量缺陷像素位置的场景下，需要同时在样本点位图像中标注缺陷类别、缺陷位置与缺陷像素位置，这需要耗费极大的人力成本和物力成本，且训练结果对样本数据依赖极高，使得由于样本数据的生成效率低造成模型应用检测的效率低。再者，由于点位图像中可能覆盖其他目标点位的内容，因此不同目标点位的点位图像之间会造成缺陷检测的干扰，进而造成由于误检引起的过杀问题，在该场景中，现有方法不能较好解决上述问题。

有鉴于此，本申请实施例中，提出了一种缺陷检测方法、装置、电子设备及存储介质，分别获取在预设的各目标点位上针对待检测对象采集的点位图像，并基于针对各点位图像分别检测得到的子检测结果，得到待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：获取与对应的目标点位关联的点位模板图，并通过将点位图像与点位模板图进行图像对齐处理，得到与检测指示区域对应的目标区域，其中，点位模板图中配置有相应的检测指示区域；采用已训练的缺陷分类模型，基于点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；基于目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定待检测对象在目标点位的子检测结果。

这样，通过将对应相同目标点位的点位图像和点位模板图进行对齐处理，保障了相同目标点位的点位图像成像的一致性，降低了进行自动化缺陷检测时的处理难度，提高了缺陷检测的鲁棒性，与此同时，通过在点位图像中有效定位检测指示区域对应的目标区域，使得后续基于点位图像的缺陷检测能够聚焦在目标区域内，避免由于点位图像中其他区域的缺陷造成误判；而且，考虑到训练缺陷检测模型和缺陷定位模型所依据的样本量不同，故采用不同模型进行定位框的识别和缺陷像素位置信息的识别，而不是采用一个模型同时实现定位框的识别和缺陷像素位置信息的识别，能够在降低样本生成难度的同时，降低缺陷检测的实现难度；另外，在获得的缺陷检测结果中，包括有针对缺陷检测到的程度类别信息，相当于对缺陷的异常程度进行了学习分类，为缺陷检测结果的判定提供了更多可考量的依据；再者，在最终针对待检测对象确定对应的缺陷检测结果时，是基于各点位图像中每个候选缺陷的检测信息进行综合判定的，相当于考量了各候选缺陷的综合影响，有助于提高了缺陷检测的准确性。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。

参阅图1所示，为本申请实施例中可能的应用场景示意图。该应用场景示意图中，包括图像采集设备110，以及处理设备120。

需要说明的是，当图像采集设备110为具有信息发送功能的图像采集设备时，图像采集设备110与处理设备120之间可以通过有线通信或无线通信的方式建立通信连接，当图像采集设备110为不具有信息发送功能的图像采集设备时，可以直接从图像采集设备110的存储卡中导出采集的图像，并提供给处理设备120进行处理。

在本申请实施例中，图像采集设备110用于采集二维图像，具体可以是终端设备相机、二维线扫相机、能够拍摄二维图像的普通相机，以及工业上常规使用的灰度相机等；

处理设备120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。也可以是具有分析处理功能的计算机设备，如个人计算机、笔记本。

本申请提出的技术方案，可以在各样的应用场景中，基于在不同目标点位针对待检测对象采集的点位图像，实现对于待检测对象的缺陷检测，下面对几种可能的应用场景进行示意性说明：

场景一、应用于对零件的自动化检测。

在诸如3C结构件等结构零件的自动化缺陷检测中，本申请提出的技术方案可以应用于工厂车间。待检测零件被放置在零件模具中后，由传送带传输至实现缺陷检测的自动化检测车间；进而由机械手从零件模具中抓取待检测零件，并按照预设的位置旋转待检测零件，使得图像采集设备能够针对待检测零件，采集到不同目标点位处的点位图像，其中，机械手的旋转操作与图像采集设备的拍摄操作是对应的，即，机械手旋转待检测零件达到一个目标点位时，图像采集设备采集对应的点位图像，在一个目标点位采集的点位图像为至少一张。

进而，图像采集设备每采集一张点位图像，将该点位图像上传至处理设备，其中，在一些可能的实现方式中，图像采集设备可以集成在处理设备上；处理设备针对获得的点位图像进行缺陷检测，得到针对该点位图像得到的子检测结果；最后，处理设备基于在各目标点位上采集的点位图像，分别确定对应的子检测结果后，基于获得的各子检测结果，得到待检测对象最终对应的缺陷检测结果。

场景二、应用于对产品外观的缺陷检测。

具体的，待检测对象可以是需要对外观缺陷进行检测的组装产品，如，家电(电视、冰箱等)、家具(柜子、沙发等)、办公设备(办公桌、电脑等)、交通工具(各种类型的汽车等)等。

针对每个组装产品，处理设备可以分别配置对应的拍摄点位(或称目标点位)和点位模板图，进而可以根据实际处理需要针对每个组装产品分别训练得到缺陷分类模型和缺陷分割模型；在此基础上，在进行自动化缺陷检测时，处理设备获取在不同目标点位拍摄的点位图像，进而基于各点位图像实现对一个组装产品的缺陷检测，得到缺陷检测结果。

本申请实施例中，处理设备进行缺陷检测所使用的已训练的缺陷分类模型和缺陷分割模型，可以是由自身基于训练样本分别训练得到的，或者，可以是从其他设备处获取的，本申请对此不做具体限制，本申请以下的说明中，将仅以处理设备自行训练缺陷分类模型和缺陷分割模型为例，对涉及到的缺陷检测过程进行详细说明：

下面首先结合附图，从处理设备的角度，对本申请实施例中涉及到的缺陷检测流程进行详细说明：

参阅图2A所示，其为本申请实施例中缺陷检测流程示意图，下面结合附图2A，对本申请实施例中进行缺陷检测的过程进行说明：

步骤201：处理设备分别获取在预设的各目标点位上针对待检测对象采集的点位图像。

本申请实施例中，为了满足针对待检测对象的缺陷检测需要，可以预先针对待检测对象预设各目标点位，其中，针对待检测对象设置的各目标点位的总数根据实际的处理需要设置，本申请对此不做具体限制；而且，在每个目标点位，分别针对待检测对象生成有对应的点位模板图，每个点位模板图中标识有对应的检测指示区域。

处理设备分别获取在预设的各目标点位上针对待检测对象采集的点位图像，使得后续能够依据获取的各点位图像实现对待检测对象的缺陷检测。

例如，参阅图2B所示，其为本申请实施例中在不同目标点位上采集的点位图像示意图，根据图2B所示意的内容可知，假设待检测对象为六棱柱，那么，为了实现对六棱柱表面的缺陷检测，可以针对六棱柱的8个面分别设置目标点位，使得在不同的目标点位上采集的点位图像中，能够包含需要识别的内容；结合图2B可知，假设目标点位1针对的检测内容为粗线所示意的矩形区域，那么对应目标点位1采集的点位图像形如其右侧的内容示意；假设目标点位7针对的检测内容为粗线所示意的六边形区域，那么对应目标点位7采集的点位图像形如其右侧的内容示意。

步骤202：处理设备基于针对各点位图像分别检测得到的子检测结果，得到待检测对象对应的缺陷检测结果。

本申请实施例中，处理设备分别针对获得的每个点位图像，检测得到对应的子检测结果后，基于得到的各子检测结果，确定待检测对象对应的缺陷检测结果。

处理设备在基于各子检测结果，确定待检测对象对应的缺陷检测结果时，处理设备确定针对各点位图像分别检测得到的子检测结果中，存在被判定为检测异常的子检测结果时，将待检测对象对应的缺陷检测结果判定为检测不合格；以及，处理设备确定针对各点位图像分别检测得到的子检测结果均为检测正常时，将待检测对象对应的缺陷检测结果判定为检测合格。

具体的，若处理设备确定各子检测结果均为检测正常，即，处理设备在针对待检测对象的各点位图像进行检测时，若均没有得到检测异常的子检测结果，则可以判定待检测对象为检测合格；反之，若处理设备确定存在检测异常的子检测结果，即，处理设备在针对待检测对象的各点位图像进行检测时，确定存在至少一个检测异常的子检测结果，则可以判定待检测对象为检测不合格，其中，子检测结果中包括检测正常和检测异常两种，缺陷检测结果中包括检测合格和检测不合格两种。

这样，在确定待检测对象的缺陷检测结果时，考量了不同目标点位处点位图像的子检测结果的影响，能够在综合考量各个点位图像对应的子检测结果后，实现对待检测对象的缺陷结果的有效判定。

本申请实施例中，处理设备针对每个点位图像检测得到对应的子检测结果时，参阅图2C所示，其为本申请实施例中针对点位图像得到子检测结果的流程示意图，下面结合附图2C，对本申请实施例中，处理设备每获取一个点位图像，执行的检测过程进行说明：

步骤2021：处理设备获取与对应的目标点位关联的点位模板图，并通过将点位图像与点位模板图进行图像对齐处理，得到与检测指示区域对应的目标区域，其中，点位模板图中配置有相应的检测指示区域。

本申请实施例中，处理设备将点位图像和对应的点位模板图进行对齐处理，并得到与检测指示区域对应的目标区域时，处理设备计算将点位图像转换为与点位模板图对齐时，针对点位图像配置的参数变换矩阵；再基于该参数变换矩阵和点位模板图中检测指示区域对应的位置信息，在点位图像中确定与检测指示区域对应的目标区域。

具体的，处理设备在计算将点位图像转换为与点位模板图对齐的参数变换矩阵时，可以采用包括但不限于以下任意一种的实现方式：

实现方式一、通过进行区域的相关性比对，计算参数变换矩阵。

具体的，处理设备可以在点位模板图中标记定位区域和对应的各邻近区域，并在点位图像中确定与定位区域的位置对应的待匹配区域；进而采用尺度不变特征变换(Scale-invariant feature transform，SIFT)算法，在定位区域和各邻近区域中确定与待匹配区域之间，相关性最高的匹配区域后，通过建立待匹配区域与匹配区域之间的特征映射关系，得到参数变换矩阵。

实现方式二、通过特征点提取与匹配的方式，计算参数变换矩阵。

本申请实施例中，处理设备可以采用预设的特征提取算法，对点位模板图进行特征提取得到第一特征图，并对点位图像进行特征提取得到第二特征图，以及采用预设的特征比对算法，建立第一特征图和第二特征图中各个特征点之间的匹配关系后，基于得到的匹配关系建立参数变换矩阵。

具体的，处理设备可以采用超级算力(SuperPoint)与超级胶(SuperGlue)相结合的方法，实现特征点提取与匹配。处理设备可以采用训练好的、基于Superpoint算法构建的特征点提取模型，针对点位模板图进行特征提取，得到HxWxC维度的特征图，再同理对点位图像进行特征提取，其中，H表示特征图的高度，W表示特征图的宽度，C表示特征图的通道数；进而，处理设备将提取得到的两个特征图，输入到已训练好的、基于SuperGlue算法构建的特征匹配模型中，经过图卷积处理得到点对匹配关系，再通过几何校验滤除不满足几何约束的点对匹配关系后，基于剩余的点对匹配关系，估计参数变换矩阵。

实现方式三、采用最近点迭代法计算参数变换矩阵。

本申请实施例中，处理设备可以采用预设的边缘特征提取算法，针对点位模板图和点位图像，分别得到由提取的轮廓点构成的轮廓图，并采用最近邻搜索算法，确定当各匹配点对之间的像素值误差最小时，两个轮廓图之间的各匹配点对，以及根据各匹配点对的位置关系，建立参数变换矩阵。

具体的，处理设备可以针对点位图像与点位模版图进行边缘提取，得到轮廓图，并采用迭代器构建误差后，通过最近邻搜索算法，建立轮廓图之间的匹配点对，然后根据匹配点对之间的像素值误差更新迭代器中构建的误差，使得将误差向更小的方向优化；最终确定误差最小时的各匹配点对，进而基于各匹配点对的位置关系，建立参数变换矩阵，其中，基于已知的位置关系建立参数变换矩阵方式，为本领域的常规技术，本申请对此不做具体说明。

这样，借助于实现方式一至三中任一种计算参数变换矩阵的方式，能够将点位图像变换至与点位模板图对齐。

进而，处理设备获取的参数变换矩阵后，基于该参数变换矩阵和点位模板图中检测指示区域对应的位置信息，在点位图像中确定与检测指示区域对应的目标区域。

具体的，处理设备在确定将点位图像变换至与点位模板图对齐时的参数变换矩阵后，可以依据该参数变换矩阵，以及点位模板图中检测指示区域的位置信息，在点位图像中反向确定与检测指示区域对应的目标区域。

这样，能够在点位图像中确定检测所针对的目标区域，为后续的检测过程中仅关注目标区域内的缺陷情况，而不关注不在目标区域内的缺陷提供了处理依据，进而能够避免由于其他区域的缺陷造成对于当前目标点位处缺陷情况的误判。

步骤2022：处理设备采用已训练的缺陷分类模型，基于点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合。

本申请实施例中，处理设备在对待训练的缺陷分类模型进行训练，得到已训练的缺陷分类模型时，处理设备可以基于预设的目标检测算法构建待训练的缺陷分类模型，并获取样本点位图像集合，其中，缺陷分类模型中包括实现缺陷程度预测功能的子网络，样本点位图像集合中包括由不同类型采集设备采集的、对应不同目标点位的样本点位图像，每个样本点位图像标注有缺陷分类类别标签、缺陷程度类别标签，以及定位框标签；再采用样本点位图像集合对待训练的缺陷分类模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分类模型。

需要说明的是，本申请实施例中，在构建待训练的缺陷分类模型时，采用的目标检测算法具体可以是快速区域卷积神经网络(Faster RCNN)或Cascade RCNN算法、YOLOv5算法。但相关技术下的确定检测模型无法输出缺陷程度类别信息；本申请中，为了使得构建的缺陷分类模型能够输出缺陷程度类别信息，需要在原有算法的基础上，添加实现缺陷程度预测功能的子网络，使得能够实现对于缺陷程度类别信息的预测，其中，在Faster RCNN算法上，实现缺陷程度预测功能的子网络，是在head结构中增加一个实现缺陷程度预测功能的分支，一般由4个卷积层、1个平均池化层，以及1个激活层顺序组成。在YOLOv5算法上，实现缺陷程度预测功能的子网络是在head结构中增加一个程度分支，一般由4个卷积层组成。

参阅图2D所示，其为本申请实施例中构建的缺陷分类模型的组成示意图，根据图2D所示意的内容可知，构建的缺陷分类模型中包括Faster RCNN的主干(backbone)网络、Faster RCNN的颈部(neck)网络，以及Faster RCNN的头部(head)网络，其中，backbone和neck部分延用了相关技术下的网络结构，head网络中新增了实现缺陷程度预测功能的支路(或称子网络)，且实现缺陷程度预测功能的支路由4个卷积层、1个平均池化层，以及1个激活层顺序组成。

在对缺陷分类模型进行训练的过程中，处理设备首先构建用于进行模型训练的样本点位图像集合，其中，样本点位图像集合中包括由不同类型的图像采集设备，在不同的目标点位针对待检测对象采集的样本点位图像，每个样本点位图像中标注有缺陷的分类类别标签、程度类别标签，以及定位框标签；缺陷分类类别可能包括诸如压伤、划伤等类别，缺陷程度类别可能包括诸如严重、轻微等类别；根据实际的处理需要，定位框具体可以是用于框选缺陷所在的小范围区域的矩形框。

在具体的训练过程中，处理设备可以采用样本点位图像集合，对待训练的缺陷分类模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分类模型；预设的收敛条件可以是相关技术下判定模型收敛的收敛条件，例如，损失值持续低于第一设定值的次数达到第二设定值，或者，训练轮数达到第三设定值，其中，第一设定值、第二设定值，以及第三设定值根据实际处理需要设置。

在一轮的迭代训练过程中，处理设备将样本点位图像输入待训练的缺陷分类模型中，得到缺陷的分类类别信息、定位框，以及程度类别信息；进而采用交叉熵损失函数，基于缺陷的分类类别信息与对应的分类类别标签之间的类别差异、定位框与对应的定位框标签之间的位置差异，以程度类别信息与对应的程度类别标签之间的类别差异，计算损失值；再根据得到的损失值进行反向调节，调整模型参数，其中，在一轮训练过程中并行输入的样本点位图像数根据实际的处理需要设置，本申请对此不做具体限制。

本申请实施例中，处理设备采用待训练的缺陷分类模型进行处理时，可以先对样本点位图片进行第一阶段的定位框提取，再对定位框进行回归分析，确定缺陷的分类类别信息和程度类别信息。

这样，对于训练得到的缺陷分类模型而言，采用已训练的缺陷分类模型，能够输出缺陷的分类类别信息、程度类别信息，以及定位框，相当于对缺陷的异常程度进行了同步界定，为缺陷检测提高更多可参考的依据；而且，由于生成的样本点位图像集合中，包括各类采集设备在不同目标点位采集的图像，使得训练后得到的缺陷分类模型，具有对不同采集设备采集的图像进行处理的能力；而且，能够兼顾不同目标点位上的图像内容，使得分类结果不会受待检测对象在不同目标点位上的工艺参数差别的影响，降低了成像差异对于检测结果的影响，保障了对于缺陷的分类类别、程度类别，以及定位框的检测效果。

与此同时，处理设备在采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合时，处理设备可以获取已训练的缺陷定位模型，其中，缺陷分割模型是基于预设的分割算法构建的，用于定位缺陷覆盖的缺陷像素位置集合；再将各缺陷区域框所框选的图像内容，分别输入缺陷定位模型中，得到缺陷定位模型对应各图像内容分别确定的缺陷像素位置集合。

具体的，处理设备可以基于预设的分割算法构建待训练的缺陷分割模型，其中，采用的分割算法包括但不限于目标语义像素表示网络(object-contextual representationnetwork，OCR Net)算法，以及Unet语义分割网络算法。

对于Unet语义分割算法而言，在进行处理时，先对图片进行卷积和池化，假设图片大小是224×224，则会被处理为112×112、56×56、28×28，以及14×14四个不同尺寸的特征图。然后，针对尺寸为14×14的特征图进行上采样或者反卷积处理，得到尺寸为28×28的特征图；进而将得到的尺寸为28×28的特征图与先前处理得到的28×28的特征图进行通道上的拼接(concat)；之后，对拼接之后的特征图做卷积和上采样处理，得到尺寸为56×56的特征图，再与先前处理得到的56×56的特征拼接，并同理对拼接后的特征图进行卷积和上采样处理，得到尺寸为112×112；进而同理，经过四次上采样可以得到一个与输入图像尺寸相同的224x224的预测结果。

处理设备在对待训练的缺陷分割模型进行训练时，可以在各待检测对象的、包含缺陷的图像内容中，分别标注图像内容中的各缺陷像素位置，得到针对每个图像内容得到的缺陷像素位置集合标签；进而依据同理标注构建的样本图像内容集合，实现多轮迭代训练，直至满足预设的收敛条件为止，得到训练后的缺陷分割模型；另外，得到的已训练的缺陷分割模型，可以应用到对于其他产品(或称其他待检测对象)的缺陷分割场景下，无需再次进行训练，在实际的处理过程中，已训练的缺点分割模型，能够基于输入的缺陷兴趣区域(即定位框所框选的图像内容)，直接进行推理得到缺陷精细化像素，即，缺陷像素位置信息集合。

对于缺陷分割模型的训练，可以遵循相关技术下的训练方式，采用样本图像内容集合对待训练的缺陷分割模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分割模型，其中，得到的缺陷分割模型可以作为预训练模型，应用在对于其他待检测对象的缺陷分割场景下；预设的收敛条件可以是相关技术下判定模型收敛的收敛条件，例如，损失值持续低于第四设定值的次数达到第五设定值，或者，训练轮数达到第六设定值，其中，第四设定值、第五设定值，以及第六设定值根据实际处理需要设置。

在一轮的迭代训练过程中，处理设备将样本图像内容输入待训练的缺陷分割模型中，得到预测缺陷像素位置集合；进而采用交叉熵损失函数，基于预测缺陷像素位置集合与对应的缺陷像素位置集合标签之间的位置差异，计算损失值；再根据得到的损失值进行反向调节，调整模型参数，其中，在一轮训练训练过程中并行输入的样本图像内容数根据实际的处理需要设置，本申请对此不做具体限制。

这样，借助于缺陷分割模型，将图像内容中的缺陷部分作为前景内容，并将图像内容中除缺陷外的其他部分作为后景内容，进行了前后景分割处理，使得能够从像素层面上，实现对图像内容中缺陷的精准定位。

另外，考虑到训练缺陷检测模型和缺陷定位模型所依据的样本量不同，故采用不同模型进行缺陷区域框的识别和缺陷像素位置信息集合的识别，能够极大的降低样本生成难度，进而能够降低缺陷检测的实现难度。

步骤2023：处理设备基于目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定待检测对象在目标点位的子检测结果。

本申请实施例中，处理设备在点位图像中，确定与点位模板图中的检测指示区域所对应的目标区域后，可以将对应的定位框的内容中至少部分位于目标区域中的缺陷，或者，对应的缺陷像素位置集合中至少部分像素位置位于目标区域中的缺陷，确定为候选缺陷；进而针对候选缺陷进行进一步筛选，筛选出需要进一步判定的目标缺陷，并结合目标缺陷对应的分类结果和分割结果，实现对目标缺陷的具体判定。

具体的，处理设备可以在目标区域内的各候选缺陷中，筛选出分类类别信息关联的置信度取值高于设定阈值，或程度类别信息不属于预设的正常程度信息的目标缺陷；再针对每个目标缺陷，执行以下操作：基于目标缺陷对应的缺陷像素位置信息集合，确定目标缺陷对应的面积信息，并基于面积信息和预设的面积检测条件，得到对应的面积检测结果；进而基于每个目标缺陷对应的面积检测结果，确定待检测对象在目标点位的子检测结果。

需要说明的是，本申请实施例中，对于已训练的缺陷分类模型而言，缺陷分类模型输出缺陷的分类类别信息、程度类别信息，以及定位框时，针对每类可能的分类类别信息识别有对应的置信度取值，针对每类可能的程度类别信息识别有对应的置信度取值，并通常将置信度取值最高的缺分类类别信息，确定为针对缺陷检测到的分类类别信息，以及将置信度取值最高的程度类别信息，确定为针对缺陷检测到的程度类别信息。

基于此，处理设备通过衡量与缺陷的分类类别信息置关联的置信度取值，与设定阈值之间的大小关系，以及衡量缺陷的程度类别信息与正常程度信息的匹配情况，从候选缺陷中筛选出目标缺陷，其中，对于程度类别信息而言，可以根据实际的处理需要，将程度类别信息笼统划分为正常程度信息和异常程度信息，正常程度信息和异常程度信息分别对应至少一类程度分类类别。

本申请实施例中，最终针对某候选缺陷(假设为候选缺陷A)确定的分类类别信息关联的置信度取值，小于设定阈值，且针对候选缺陷A确定的程度类别信息属于预设的正常程度信息时，则候选缺陷A不是目标缺陷；否则，可以将候选缺陷A确定为目标缺陷。

例如，假设程度类别信息包括有：轻微、中度、重度、极度四种，那么，可以根据实际的处理需要，将“轻微”的程度类别信息确定为正常程度信息，以及将“中度”、“重度”、“极度”这三种程度类别信息，确定为异常程度信息。

又例如，假设针对分类类别信息设定的设定阈值为85％，分类类别信息中包括划伤、压伤和缺件；假设针对候选缺陷1检测得到的分类类别信息为：划伤60％(即，60％的可能是划伤)；压伤45％；缺件10％，那么，可以针对候选缺陷1得到的分类类别信息为：划伤；假设针对候选缺陷1检测得到的程度类别信息为中度，那么，虽然候选缺陷1的分类类别信息不高于设定阈值，但由于候选缺陷1对应的程度类别信息为“中度”，不属于预设的正常程度信息，那么，候选缺陷1被筛选为目标缺陷。

处理设备在针对目标缺陷进行面积检测时，根据分割确定的缺陷像素位置信息集合，以及像素点位与面积的换算比例，计算当前目标缺陷的真实物理面积，得到对应的面积信息；进而根据得到的面积信息与预设的面积检测条件，得到对应的面积检测结果，其中，由于通常图像采集设备在采集点位图像时，会给出一个像素精度值，也就是一个像素对应的物理量长度，故可以将一个像素对应的物理量长度的平方，作为一个像素对应的面积量。

具体的，处理设备可以根据目标缺陷对应的定位框在点位图像中归属的区域信息，以及目标缺陷对应的分类类别信息，获取针对目标缺陷的面积信息配置的面积阈值；之后，当确定目标缺陷的面积信息，达到预设的面积阈值时，将对应的面积检测结果判定为面积待定异常，以及当确定目标缺陷的面积信息，未达到预设的面积阈值时，将面积检测结果判定为面积检测正常。

需要说明的是，本申请实施例中，根据实际的处理需要，针对点位图像中不同区域的缺陷，以及不同分类类别信息的缺陷，可以设置有不同的面积阈值。处理设备可以根据历史检测结果，标记待检测对象上的缺陷高发区，和/或，标记因不同批次的待检测对象的纹理差异导致的过杀区域；进而可以预先在点位模板图中，将缺陷高发区域对应的区域设置为敏感区域，以及将过杀区域对应的区域设置为屏蔽区域，并动态调节预设区域内的置信度阈值、面积阈值来解决缺陷过杀和漏检问题。

在具体确定目标缺陷对应的面积检测结果时，处理设备确定目标缺陷对应的面积阈值后，根据目标对象的面积信息与对应的面积阈值之间的大小关系，确定目标缺陷的面积检测结果，其中，面积检测结果可能是面积检测正长和面积待定异常中的任意一项。

这样，通过针对性获取目标缺陷对应的面积阈值，能够在考量目标缺陷的分类类别信息，以及目标缺陷在点位图像中归属的区域的情况下，实现对缺陷面积的有效界定，相当于从缺陷面积的角度出发，实现了对于目标缺陷的判定。

在针对目标缺陷考量面积检测结果的情况下，处理设备基于每个目标缺陷对应的面积检测结果，确定待检测对象在目标点位的子检测结果时，处理设备可以获取针对每个分类类别信息设置的缺陷总数阈值，并分别统计归属于相同分类类别信息的目标缺陷中，对应的面积检测结果为面积待定异常的目标缺陷总数；确定存在一类分类类别信息对应的目标缺陷总数，高于相应的缺陷总数阈值时，将待检测对象在目标点位的子检测结果判定为检测异常；以及，确定各类分类类别信息对应的目标缺陷总数，均不高于相应的缺陷总数阈值时，将待检测对象在目标点位的子检测结果判定为检测正常。

具体的，处理设备在确定待检测对象在目标点位的子检测结果时，可以综合目标区域内各目标缺陷的面积检测结果进行综合判定；在具体的判定过程中，首先确定目标区域内各目标缺陷各自对应的分类类别信息，并分别获取预先针对每种分类类别信息配置的缺陷总数阈值；进而，分别统计归属于每个分类类别信息的、面积检测结果为面积待定异常的目标缺陷总数，并在确定存在一类分类类别信息下的目标缺陷总数，达到对应的缺陷总数阈值时，则可以将待检测对象在目标点位的子检测结果判定为检测异常，以及确定各类分类类别信息对应的目标缺陷总数，均不高于相应的缺陷总数阈值时，将待检测对象在目标点位的子检测结果判定为检测正常。

这样，在确定待检测对象在目标点位的子检测结果时，基于多个目标缺陷的面积检测结果进行了综合判定，相当于在缺陷检测过程中引入了多实例级别的判定，考量了同类型目标缺陷的叠加影响，保障了缺陷检测效果。

另外，本申请实施例中，在进行多实例综合判定确定子检测结果时，还可以结合诸如缺陷长度在内的其他考量因素。

具体的，处理设备基于面积信息和预设的面积检测条件，得到对应的面积检测结果之后，基于每个目标缺陷对应的面积检测结果，确定待检测对象在目标点位的子检测结果之前，还可以确定目标缺陷对应的定位框，并基于构建该定位框边缘的像素数目，以及像素与尺寸量的映射关系，确定目标缺陷对应的长度信息；再基于长度信息和预设的长度检测条件，得到对应的长度检测结果。

与上述确定面积检测结果的方式同理，处理设备可以预先根据实际的处理需要，针对点位图像中不同区域的缺陷，以及对应不同分类类别信息的缺陷，可以设置有不同的长度阈值。

在具体确定目标缺陷对应的长度检测结果时，根据像素点位与毫米的比例关系，以及目标缺陷的定位框的边缘像素点总数，计算目标缺陷的物理长度(或称长度信息)；若确定长度信息大于对应设置的长度阈值，则将目标缺陷的长度检测结果确定为长度待定异常，以及若确定长度信息不大于对应设置的长度阈值，则将目标缺陷的长度检测结果确定为长度检测正常。

进而，处理设备可以获取针对每个分类类别信息设置的缺陷总数门限值，并分别统计归属于相同分类类别信息的目标缺陷中，对应的长度检测结果为长度待定异常的目标缺陷总数；之后，确定存在一类分类类别信息对应的、属于长度待定异常的目标缺陷总数，高于相应的缺陷总数门限值时，将待检测对象在目标点位的子检测结果判定为检测异常；以及，确定各类分类类别信息对应的、属于长度待定异常的目标缺陷总数，均不高于相应的缺陷总数门限值时，将待检测对象在目标点位的子检测结果判定为检测正常。

这样，通过综合不同目标缺陷的长度信息情况，考量了不同目标缺陷的长度信息的叠加效果，有助于提高缺陷检测效果。

基于此，在最终确定待检测对象在目标点位的子检测结果时，处理设备在基于面积检测结果确定子检测结果为检测异常的情况下，或者，处理设备在基于长度检测结果确定子检测结果为检测异常的情况下，可以判定待检测对象在目标点位的子检测结果为检测异常。

下面以对3C结构件进行质检为例，对本申请实施例中实现缺陷检测的过程进行说明，其中，3C结构件具体可以是手机摄像头支架，手机中框，SIM卡槽，电脑外壳，智能手表外壳等。

参阅图3所示，其为本申请实施例中缺陷检测的通用流程示意图，下面结合附图3，对本申请实施例中进行缺陷检测的通用过程进行说明：

结合附图3所示意的内容可知，本申请实施例中实现的缺陷检测过程，具体可以由四个功能模块实现，分别是：图像对齐模块、缺陷分类模块、缺陷前后景分割模块，以及规则判定模块。

在具体的处理过程中，处理设备首先借助于图像对齐模块，将目标点位处的点位图像与对应的点位模板图进行图像对齐处理，计算点位图像变换至与点位模板图对齐时的参数变换矩阵；

之后，处理设备借助于缺陷分类模块，调用已训练的缺陷分类模型推理缺陷信息，其中，缺陷信息中包括缺陷的分类类别信息、程度类别信息，以及定位框。

需要说明的是，在本申请一些可能的实施例中，处理设备可以针对每个目标点位，分别训练得到缺陷分类模型；进而在获得某个目标点位对应的点位图像后，可以采用与目标定位对应的缺陷分类模型，实现对点位图像的处理，其中，在缺陷分类模型的训练过程中，可以采用在相应的目标点位采集的样本图像实现训练，相关的处理过程与上述提及的训练缺陷分类模型的方式相同，在此不做具体说明。

例如，在某产品的外壳与键盘属于不同的材质的情况下，可以使用同样的算法构建不同的缺陷分类模型，并采用不同数据实现对不同的缺陷分类模型的训练。

这样，通过针对不同目标点位训练得到不同的缺陷分类模型，能够在不同目标点位下工艺参数差异较大时，实现对不同目标点位上的点位图像的有效检测，能够提高对于不同目标点位上的缺陷的检出效果。

进而，处理设备借助于缺陷前后景分割模块，调用已训练的缺陷分割模型，基于定位框中的图像内容，得到精细的像素位置信息集合；

最后，处理设备借助于规则判定模块，基于得到的缺陷信息和像素位置信息集合，采用单实例级规则和多实例级规则进行判定，其中，单实例级规则针对单个检测信息进行判定，主要通过对目标区域、屏蔽区域与敏感区域、分类类别信息、置信度取值、程度类别、长度信息、面积信息等进行判定；多实例级规则针对多个检测信息进行综合判定，例如，判定多个缺陷中满足长度检测条件、面积检测条件下的数量，其中，一个实例表征一个缺陷。

参阅图4所示，其为本申请实施例中缺陷检测过程中涉及到整体流程示意图，下面结合附图4，对本申请实施例中实现缺陷检测过程涉及到处理过程进行说明：

结合附图4所示意的内容，在进行缺陷检测时，处理设备先将当前的点位图像，当前点位图像对应的目标点位的点位号、当前目标点位对应的点位模板图，以及点位模板图中的检测区域指示区域四个信息输入图像对齐模块，输出点位图像转换至与点位模板图对齐时，需要采用的参数变换矩阵；

其次，处理设备将目标点位的点位号与当前的点位图像，送入缺陷分类模块，得到由已训练的缺陷分类模型输出的缺陷信息，其中，缺陷信息中包括缺陷的分类类别信息、定位框、置信度，以及程度类别信息；

之后，处理设备根据当前的点位图像与定位框，确定兴趣区域后，将兴趣区域输入到已训练的缺陷分割模型中，计算出当前缺陷的精细像素，即，得到像素位置信息集合，其中，图4所示意的N表征识别出的缺陷总数，针对每个缺陷确定有对应的缺陷信息，M表征经过规则判定滤除可忽略缺陷后，剩余的缺陷总数。

最后，处理设备将得到的N个缺陷的缺陷信息汇总送入到规则判定模块中，由规则判定模块进行判定，在具体的执行过程中，可以采用如下七条规则实现并行判定。

规则一是对焦区域规则，用于判定缺陷是否位于目标区域内。具体的，根据点位模板图中的检测指示区域，与当前点位图像对应的对齐变换参数(或称参数变换矩阵)，计算当前点位图像中的对焦区域(或称目标区域)，再判定当前缺陷是否在当前点位图像的对焦区域中，若是，则判定缺陷为候选缺陷，否则，判定缺陷为可忽略缺陷。

规则二是置信度规则，用于判定缺陷置信度值是否达到置信度阈值。在根据目标点位和缺陷的分类类别信息，获取对应设置的置信度阈值后，判定缺陷的分类类别的置信度是否满足对应的置信度阈值，如是，则将当前缺陷确定为目标缺陷，否则判定当前缺陷为可忽略缺陷。

规则三是面积规则，用于判定面积信息是否达到对应的面积阈值。具体的，根据***输入的像素点位与面积的比例关系，计算当前缺陷的真实物理面积，根据面积阈值判定是否为面积待定异常。

规则四是长度规则，用于判定长度信息是否得到对应的长度阈值。具体的，根据***输入的像素点位与毫米的比例关系，以及缺陷的定位框的长度，计算当前缺陷的物理长度(或称长度信息)；进而根据度信息与对应的长度阈值之间的取值关系，判定是否为长度待定异常。

规则五是通过缺陷信息中的程度类别信息进行判定，用于判定程度类别信息是否匹配程度范围，具体的，可以根据客户对于3C零件的质量要求，对缺陷做程度定义，进而确定能够允收的程度范围(或称正常程度信息)，使得当确定程度类别信息在该程度范围内时，可以视为可忽略缺陷，以及当确定程度类别信息不在该程度范围内时，判定为不可忽略缺陷，即，目标缺陷。

规则六是基于屏蔽区域与敏感区域进行判定，用于判定缺陷是否在敏感区域或者屏蔽区域内，通过***预设的屏蔽区域与敏感区域，可以标记产品(3C结构件)上的缺陷高发区，或因缺陷批次纹理导致的过杀区域；基于此，可以针对性的设置屏蔽区域与敏感区域，并通过动态调节屏蔽区域和敏感区域内缺陷的置信度阈值、面积阈值、长度阈值等来解决缺陷过杀和漏检问题。

规则七是多实例级别的判定规则，用于实现多实例综合判定，根据缺陷达到某长度阈值的数量是否达标判定，或者，缺陷达到某面积阈值的数量是否达标，确定对应类型的缺陷是否能够被忽略。

进而，整体规则判定下来，可以检测确定点位图像中的可忽略缺陷和不可忽略的缺陷，进而在确定某个点位图像中存在不可忽略的缺陷时，即，确定零件在某个目标点位的子检测结果为检测异常，则可判定零件为检测不合格，记为NG；否则，若确定在各个目标点位检测的缺陷均为可忽略缺陷，则可判定零件为合格零件，记为OK。

这样，借助于本申请提出的面向3C结构件的自动化缺陷检测方式，能够采用通用的人工智能算法。通过先后进行图像对齐、缺陷分类、缺陷前后景分割，以及规则判定处理，保障了相同目标点位上针对同类待检测对象采集的点位图像，成像质量的一致性；而且，由于缺陷分类模型的训练过程中，依据了结构件不同分区(即不同目标点位)的点位图像，降低了结构件分区工艺差异对检测带来的影响，提升了缺陷检出精度与检测的鲁棒性。

进一步的，结合表1-5，对本申请提出的缺陷检测方式，与已有的缺陷检测方式的性能差异，进行比对分析，其中，人工漏检率来自产线观察统计，人工过杀率不统计。

表1

手机摄像头支架	重点缺陷漏检率	过杀率	批退率	单件质检时间
					本发明技术	0.0015％	16.4％	0.35％	4s
以往发明技术	0.01％	22％	-	-
					人工	0.1％	-	2.48％	30s

表1为本申请实施例中对手机摄像头支架进行缺陷检测时的检测效果差异比对表，根据表1所示意的内容可知，采用本申请提出的缺陷检测方式，能够极大地降低重点缺陷漏检率、批退率，以及单件质检时间。

表2

手机中框	漏检率	过杀率	单件质检时间
				该发明技术	0.5％	20％	5s
人工	5％	-	120s

表2为本申请实施例中对手机中框进行缺陷检测时的检测效果差异比对表，根据表2所示意的内容可知，采用本申请提出的缺陷检测方式，能够降低漏检率和单件质检时间。

表3

Sim卡槽	漏检率	过杀率	单件质检时间
				该发明技术	0.5％	5％	3s
人工	2％	-	15s

表3为本申请实施例中对Sim卡槽进行缺陷检测时的检测效果差异比对表，根据表3所示意的内容可知，采用本申请提出的缺陷检测方式，能够极大地降低漏检率和单件质检时间。

表4

电脑外壳	漏检率	过杀率	单件质检时间
				该发明技术	2.3％	20％	15s
人工	15％	-	60s

表4为本申请实施例中对电脑外壳进行缺陷检测时的检测效果差异比对表，根据表4所示意的内容可知，采用本申请提出的缺陷检测方式，能够极大地降低漏检率和单件质检时间。

表5

智能手表外壳	漏检率	过杀率	单件质检时间
				该发明技术	0.001％	2％	3s
人工	0.3％	-	10s

表5为本申请实施例中对智能手表外壳进行缺陷检测时的检测效果差异比对表，根据表5所示意的内容可知，采用本申请提出的缺陷检测方式，能够极大地降低漏检率和单件质检时间。

基于同一发明构思，参阅图5所示，其为本申请实施例中缺陷检测装置的逻辑结构示意图，缺陷检测装置500中包括，其中，

获取单元501，用于分别获取在预设的各目标点位上针对待检测对象采集的点位图像；

检测单元502，用于基于针对各点位图像分别检测得到的子检测结果，得到待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：

获取与对应的目标点位关联的点位模板图，并通过将点位图像与点位模板图进行图像对齐处理，在点位图像中确定与检测指示区域对应的目标区域，其中，点位模板图中配置有相应的检测指示区域；

采用已训练的缺陷分类模型，基于点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；

基于目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定待检测对象在目标点位的子检测结果。

可选的，训练得到缺陷分类模型时，装置还包括训练单元503，训练单元具体503用于：

基于预设的目标检测算法构建待训练的缺陷分类模型，并获取样本点位图像集合，其中，缺陷分类模型中包括实现缺陷程度预测功能的子网络，样本点位图像集合中包括由不同类型采集设备采集的、对应不同目标点位的样本点位图像，每个样本点位图像标注有缺陷分类类别标签、缺陷程度类别标签，以及定位框标签；

采用样本点位图像集合对待训练的缺陷分类模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分类模型。

可选的，基于目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定待检测对象在目标点位的子检测结果时，检测单元502用于：

在目标区域内的各候选缺陷中，筛选出分类类别信息关联的置信度取值高于设定阈值，或程度类别信息不属于预设的正常程度信息的目标缺陷；

针对每个目标缺陷，执行以下操作：基于目标缺陷对应的缺陷像素位置信息集合，确定目标缺陷对应的面积信息，并基于面积信息和预设的面积检测条件，得到对应的面积检测结果；

基于每个目标缺陷对应的面积检测结果，确定待检测对象在目标点位的子检测结果。

可选的，基于面积信息和预设的面积检测条件，得到对应的面积检测结果之后，基于每个目标缺陷对应的面积检测结果，确定待检测对象在目标点位的子检测结果之前，检测单元502还用于：

确定目标缺陷对应的缺陷区域框，并基于构建缺陷区域框边缘的像素数目，以及像素与尺寸量的映射关系，确定目标缺陷对应的长度信息；

基于长度信息和预设的长度检测条件，得到对应的长度检测结果。

可选的，基于预设的面积检测条件，得到对应的面积检测结果时，检测单元502用于：

根据目标缺陷对应的定位框在点位图像中归属的区域信息，以及目标缺陷对应的分类类别信息，获取针对目标缺陷的面积信息配置的面积阈值；

当确定目标缺陷的面积信息，达到预设的面积阈值时，将对应的面积检测结果判定为面积待定异常，以及当确定目标缺陷的面积信息，未达到预设的面积阈值时，将面积检测结果判定为面积检测正常。

可选的，基于每个目标缺陷对应的面积检测结果，确定待检测对象在目标点位的子检测结果时，检测单元502用于：

获取针对每个分类类别信息设置的缺陷总数阈值，并分别统计归属于相同分类类别信息的目标缺陷中，对应的面积检测结果为面积待定异常的目标缺陷总数；

确定存在一类分类类别信息对应的目标缺陷总数，高于相应的缺陷总数阈值时，将待检测对象在目标点位的子检测结果判定为检测异常；以及，确定各类分类类别信息对应的目标缺陷总数，均不高于相应的缺陷总数阈值时，将待检测对象在目标点位的子检测结果判定为检测正常。

可选的，通过将点位图像与点位模板图进行图像对齐处理，在点位图像中确定与检测指示区域对应的目标区域时，检测单元502用于：

计算将点位图像转换为与点位模板图对齐时，针对点位图像配置的参数变换矩阵；

基于参数变换矩阵和点位模板图中检测指示区域对应的位置信息，在点位图像中确定与检测指示区域对应的目标区域。

可选的，采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合时，检测单元502用于：

获取已训练的缺陷分割模型，其中，缺陷定位模型是基于预设的分割算法构建的，用于定位缺陷覆盖的缺陷像素位置集合；

将各缺陷区域框所框选的图像内容，分别输入缺陷定位模型中，得到缺陷定位模型对应各图像内容分别确定的缺陷像素位置集合。

可选的，基于针对各点位图像分别检测得到的子检测结果，得到待检测对象对应的缺陷检测结果时，检测单元502用于：

确定针对各点位图像分别检测得到的子检测结果中，存在被判定为检测异常的子检测结果时，将待检测对象对应的缺陷检测结果判定为检测不合格；以及，

确定针对各点位图像分别检测得到的子检测结果均为检测正常时，将待检测对象对应的缺陷检测结果判定为检测合格。

在介绍了本申请示例性实施方式的缺陷检测方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为***、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备，参阅图6所示，其为应用本申请实施例的一种电子设备的一个硬件组成结构示意图，电子设备600可以至少包括处理器601、以及存储器602。其中，存储器602存储有程序代码，当程序代码被处理器601执行时，使得处理器601执行上述任意一种缺陷检测的步骤。

在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的地图数据的渲染的步骤。例如，处理器可以执行如图2A、图2C中所示的步骤。

下面参照图7来描述根据本申请的这种实施方式的计算装置700。如图7所示，计算装置700以通用计算装置的形式表现。计算装置700的组件可以包括但不限于：上述至少一个处理单元701、上述至少一个存储单元702、连接不同***组件(包括存储单元702和处理单元701)的总线703。

总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元702可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)7021和/或高速缓存存储器7022，还可以进一步包括只读存储器(ROM)7023。

存储单元702还可以包括具有一组(至少一个)程序模块7024的程序/实用工具7025，这样的程序模块7024包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置700也可以与一个或多个外部设备704(例如键盘、指向设备等)通信，还可与一个或者多个使得对象能与计算装置700交互的设备通信，和/或与使得该计算装置700能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口705进行。并且，计算装置700还可以通过网络适配器706与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器706通过总线703与用于计算装置700的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

与上述方法实施例基于同一发明构思，本申请提供的缺陷检测的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的缺陷检测方法中的步骤，例如，电子设备可以执行如图2A、2C中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种缺陷检测方法，其特征在于，包括：

分别获取在预设的各目标点位上针对待检测对象采集的点位图像；

基于针对各点位图像分别检测得到的子检测结果，得到所述待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：

获取与对应的目标点位关联的点位模板图，并通过将所述点位图像与所述点位模板图进行图像对齐处理，在所述点位图像中确定与检测指示区域对应的目标区域，其中，所述点位模板图中配置有相应的检测指示区域；

采用已训练的缺陷分类模型，基于所述点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；

基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果。

2.如权利要求1所述的方法，其特征在于，训练得到缺陷分类模型，包括：

基于预设的目标检测算法构建待训练的缺陷分类模型，并获取样本点位图像集合，其中，所述缺陷分类模型中包括实现缺陷程度预测功能的子网络，所述样本点位图像集合中包括由不同类型采集设备采集的、对应不同目标点位的样本点位图像，每个样本点位图像标注有缺陷分类类别标签、缺陷程度类别标签，以及定位框标签；

采用所述样本点位图像集合对所述待训练的缺陷分类模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分类模型。

3.如权利要求1所述的方法，其特征在于，所述基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果，包括：

在所述目标区域内的各候选缺陷中，筛选出分类类别信息关联的置信度取值高于设定阈值，或程度类别信息不属于预设的正常程度信息的目标缺陷；

针对每个目标缺陷，执行以下操作：基于所述目标缺陷对应的缺陷像素位置信息集合，确定所述目标缺陷对应的面积信息，并基于所述面积信息和预设的面积检测条件，得到对应的面积检测结果；

基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果。

4.如权利要求3所述的方法，其特征在于，所述基于所述面积信息和预设的面积检测条件，得到对应的面积检测结果之后，所述基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果之前，还包括：

确定所述目标缺陷对应的缺陷区域框，并基于构建所述缺陷区域框边缘的像素数目，以及像素与尺寸量的映射关系，确定所述目标缺陷对应的长度信息；

基于所述长度信息和预设的长度检测条件，得到对应的长度检测结果。

5.如权利要求3所述的方法，其特征在于，所述基于预设的面积检测条件，得到对应的面积检测结果，包括：

根据所述目标缺陷对应的定位框在所述点位图像中归属的区域信息，以及所述目标缺陷对应的分类类别信息，获取针对所述目标缺陷的面积信息配置的面积阈值；

当确定所述目标缺陷的面积信息，达到预设的面积阈值时，将对应的面积检测结果判定为面积待定异常，以及当确定所述目标缺陷的面积信息，未达到预设的面积阈值时，将面积检测结果判定为面积检测正常。

6.如权利要求5所述的方法，其特征在于，所述基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果，包括：

获取针对每个分类类别信息设置的缺陷总数阈值，并分别统计归属于相同分类类别信息的目标缺陷中，对应的面积检测结果为面积待定异常的目标缺陷总数；

确定存在一类分类类别信息对应的目标缺陷总数，高于相应的缺陷总数阈值时，将所述待检测对象在所述目标点位的子检测结果判定为检测异常；以及，确定各类分类类别信息对应的目标缺陷总数，均不高于相应的缺陷总数阈值时，将所述待检测对象在所述目标点位的子检测结果判定为检测正常。

7.如权利要求1-6任一项所述的方法，其特征在于，所述通过将所述点位图像与所述点位模板图进行图像对齐处理，在所述点位图像中确定与检测指示区域对应的目标区域，包括：

计算将所述点位图像转换为与所述点位模板图对齐时，针对所述点位图像配置的参数变换矩阵；

基于所述参数变换矩阵和所述点位模板图中检测指示区域对应的位置信息，在所述点位图像中确定与所述检测指示区域对应的目标区域。

8.如权利要求1-6任一项所述的方法，其特征在于，所述采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合，包括：

获取已训练的缺陷分割模型，其中，所述缺陷定位模型是基于预设的分割算法构建的，用于定位缺陷覆盖的缺陷像素位置集合；

将各缺陷区域框所框选的图像内容，分别输入所述缺陷定位模型中，得到所述缺陷定位模型对应各图像内容分别确定的缺陷像素位置集合。

9.如权利要求1-6任一项所述的方法，其特征在于，所述基于针对各点位图像分别检测得到的子检测结果，得到所述待检测对象对应的缺陷检测结果，包括：

确定针对所述各点位图像分别检测得到的子检测结果中，存在被判定为检测异常的子检测结果时，将所述待检测对象对应的缺陷检测结果判定为检测不合格；以及，

确定针对所述各点位图像分别检测得到的子检测结果均为检测正常时，将所述待检测对象对应的缺陷检测结果判定为检测合格。

10.一种缺陷检测装置，其特征在于，包括：

获取单元，用于分别获取在预设的各目标点位上针对待检测对象采集的点位图像；

检测单元，用于基于针对各点位图像分别检测得到的子检测结果，得到所述待检测对象对应的缺陷检测结果，其中，每获取一个点位图像，执行以下操作：

获取与对应的目标点位关联的点位模板图，并通过将所述点位图像与所述点位模板图进行图像对齐处理，在所述点位图像中确定与检测指示区域对应的目标区域，其中，所述点位模板图中配置有相应的检测指示区域；

采用已训练的缺陷分类模型，基于所述点位图像，得到识别出的各候选缺陷各自对应的分类类别信息、程度类别信息和定位框，并采用已训练的缺陷分割模型，基于各定位框中的图像，分别识别得到缺陷像素位置信息集合；

基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果。

11.如权利要求10所述的装置，其特征在于，训练得到缺陷分类模型时，所述装置还包括训练单元，所述训练单元具体用于：

基于预设的目标检测算法构建待训练的缺陷分类模型，并获取样本点位图像集合，其中，所述缺陷分类模型中包括实现缺陷程度预测功能的子网络，所述样本点位图像集合中包括由不同类型采集设备采集的、对应不同目标点位的样本点位图像，每个样本点位图像标注有缺陷分类类别标签、缺陷程度类别标签，以及定位框标签；

采用所述样本点位图像集合对所述待训练的缺陷分类模型进行多轮迭代训练，直至满足预设的收敛条件为止，得到已训练的缺陷分类模型。

12.如权利要求10所述的装置，其特征在于，所述基于所述目标区域内每个候选缺陷的分类类别信息、程度类别信息，及缺陷像素位置信息集合，确定所述待检测对象在所述目标点位的子检测结果时，所述检测单元用于：

在所述目标区域内的各候选缺陷中，筛选出分类类别信息关联的置信度取值高于设定阈值，或程度类别信息不属于预设的正常程度信息的目标缺陷；

针对每个目标缺陷，执行以下操作：基于所述目标缺陷对应的缺陷像素位置信息集合，确定所述目标缺陷对应的面积信息，并基于所述面积信息和预设的面积检测条件，得到对应的面积检测结果；

基于所述每个目标缺陷对应的面积检测结果，确定所述待检测对象在所述目标点位的子检测结果。

13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9任一项所述的缺陷检测方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的缺陷检测方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的缺陷检测方法。