CN116245808A - 工件缺陷检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种工件缺陷检测方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：获取待测工件的第一工件图像；将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息；其中，将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息进一步包括：对第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，第一工件图像的掩膜区域基于目标缺陷分布密度图确定；对第二工件图像进行缺陷检测，得到第一缺陷信息；其中，缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，目标缺陷分布密度图用于表征样本图像集中各个缺陷类别分布的相对密度。该方法可以精准定位图像中的掩膜区域。

Description

工件缺陷检测方法、装置、电子设备及存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种工件缺陷检测方法、装置、电子设备及存储介质。

背景技术

随着图像处理技术的发展和视觉硬件的升级，机器视觉的缺陷检测方法逐渐取代了人工检测，在工业生产检测环节得到验证和广泛应用，机器视觉检测技术是一种非接触式的自动检测技术，具有安全可靠、检测精度高、可在复杂的生产环境中长时间运行等优点，是实现工业智能化和自动化的重要技术。

机器视觉检测先通过机器视觉设备将摄取目标转换成图像信号传送给专用的图像处理***，根据像素分布、亮度及颜色等信息，转变成数字化信号，图像处理***对这些信号进行各种运算来获取目标的特征，进行检测，进而根据检测的结果来控制产线其他设备动作。

机器视觉缺陷检测技术越来越普及，常用深度学习分割模型实现视觉检测，当获取图像较大时，图像的检测以及模型的训练都会非常耗时，通常是将原图像中不需要检测的区域进行掩膜，以缩小图像分析区域。

因此，如何确定掩膜区域，提升检测效率是亟待解决的技术问题。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种工件缺陷检测方法、装置、电子设备及存储介质，精准确定图像掩膜区域，有效提升检测效率，还能避免掩膜区域干扰检测效果。

第一方面，本申请提供了一种工件缺陷检测方法，该方法包括：

获取待测工件的第一工件图像；

将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息；

其中，所述将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息进一步包括：

对所述第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，所述第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对所述第二工件图像进行缺陷检测，得到所述第一缺陷信息；

其中，所述缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，所述目标缺陷分布密度图用于表征所述样本图像集中各个缺陷类别分布的相对密度。

根据本申请的工件缺陷检测方法，通过目标缺陷分布密度图对图像缺陷类别分布的相对密度规律进行分析，精准定位图像中的掩膜区域，有效提升缺陷检测效率，避免掩膜区域干扰检测结果。

根据本申请的一个实施例，在获得所述缺陷检测模型输出的第一缺陷信息之后，所述方法还包括：

基于所述第一缺陷信息，得到第一缺陷分布密度图，所述第一缺陷分布密度图用于表征所述第一工件图像中各个缺陷类别分布的相对密度；

在确定所述第一缺陷分布密度图的缺陷分布密度大于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，基于所述第一缺陷信息，获得所述待测工件的缺陷检测结果；

在确定所述待测工件的缺陷检测结果不正确的情况下，重新训练所述缺陷检测模型。

根据本申请的一个实施例，在所述基于所述第一缺陷信息，得到第一缺陷分布密度图之后，所述方法还包括：

在确定所述第一缺陷分布密度图的缺陷分布密度小于或等于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，获取所述待测工件所属产线的不良品率；

在确定所述不良品率大于不良品率阈值的情况下，重新确定所述第一缺陷分布密度图的缺陷分布密度。

根据本申请的一个实施例，在所述获得所述待测工件的缺陷检测结果之后，所述方法还包括：

在确定所述待测工件的缺陷检测结果正确的情况下，对所述待测工件的生产工艺进行检查；

在确定所述待测工件的生产工艺正确的情况下，重新生成所述目标缺陷分布密度图。

根据本申请的一个实施例，所述确定所述第一缺陷分布密度图的缺陷分布密度大于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，包括：

获取所述第一缺陷分布密度图的第一缺陷坐标信息，并获取目标缺陷分布密度图中对应种类缺陷的目标缺陷坐标信息；

基于所述第一缺陷坐标信息和所述目标缺陷坐标信息，确定缺陷坐标差值；

在确定所述缺陷坐标差值大于目标阈值的情况下，确定所述第一缺陷分布密度图的缺陷分布密度大于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

根据本申请的一个实施例，所述目标缺陷分布密度图通过如下步骤生成：

将所述样本图像集的多个样本图像分别输入至所述缺陷检测模型进行训练，得到所述缺陷检测模型输出的多个样本缺陷信息，所述多个样本缺陷信息与所述多个样本图像一一对应；

基于所述多个样本图像和所述多个样本缺陷信息，生成所述目标缺陷分布密度图，所述样本缺陷信息包括样本图像中各种缺陷的类别信息和位置信息。

第二方面，本申请提供了一种工件缺陷检测装置，该装置包括：

获取模块，用于获取待测工件的第一工件图像；

处理模块，用于将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息；

其中，所述将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息进一步包括：

对所述第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，所述第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对所述第二工件图像进行缺陷检测，得到所述第一缺陷信息；

其中，所述缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，所述目标缺陷分布密度图用于表征所述样本图像集中各个缺陷类别分布的相对密度。

根据本申请的工件缺陷检测装置，通过目标缺陷分布密度图对图像缺陷类别分布的相对密度规律进行分析，精准定位图像中的掩膜区域，有效提升缺陷检测效率，避免掩膜区域干扰检测结果。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的工件缺陷检测方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的工件缺陷检测方法。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的工件缺陷检测方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的工件缺陷检测方法的流程示意图之一；

图2是本申请实施例提供的工件缺陷检测方法的流程示意图之二；

图3是本申请实施例提供的工件缺陷检测装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图；

图5是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的工件缺陷检测方法、工件缺陷检测装置、电子设备和可读存储介质进行详细地说明。

其中，工件缺陷检测方法可应用于终端，具体可由，终端中的硬件或软件执行。

该终端包括但不限于具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话或平板电脑等便携式通信设备。还应当理解的是，在某些实施例中，该终端可以不是便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。

本申请实施例提供的工件缺陷检测方法，该工件缺陷检测方法的执行主体可以为电子设备或者电子设备中能够实现该工件缺陷检测方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的工件缺陷检测方法进行说明。

如图1所示，该工件缺陷检测方法包括：步骤110和步骤120。

步骤110、获取待测工件的第一工件图像。

其中，待测工件指的是需要进行缺陷检测的工件。

在该步骤中，可以在工业产线上设置工业视觉***，工业视觉***可以包括相机、光源和采集卡等设备，由工业视觉***采集待测工件的图像数据，获得待测工件的第一工件图像。

在实际生成过程中，待测工件可以为经过生产工艺加工的锂电池、屏幕、杆件等工件，工业视觉***所采集的待测工件的第一工件图像可以为彩色图像，也可以为灰度图像。

步骤120、将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息。

其中，缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，缺陷检测模型用于对图像中的缺陷位置以及缺陷类别进行检测。

在该步骤中，将第一工件图像输入至缺陷检测模型，由缺陷检测模型进行缺陷检测，得到的第一缺陷信息包括表征第一工件图像缺陷位置以及缺陷类别的信息。

可以理解的是，样本图像集包括多个样本图像，每个样本图像上存在一定数据的缺陷，可以人工对每个缺陷标注对应的样本标签，让缺陷检测模型学习样本图像上缺陷的特征与标签之间的关系。

在该实施例中，步骤120、将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息进一步包括：

对第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对第二工件图像进行缺陷检测，得到第一缺陷信息。

其中，目标缺陷分布密度图用于表征样本图像集中各个缺陷类别分布的相对密度。

在实际执行中，将第一工件图像输入至缺陷检测模型，由缺陷检测模型先对第一工件图像的掩膜区域进行掩膜处理，再对掩膜处理后的图像进行缺陷检测，得到待测工件的第一缺陷信息。

目标缺陷分布密度图用于表征样本图像集中各个缺陷类别分布的相对密度，目标缺陷分布密度图可以准确反映图像中缺陷类别分布的相对密度规律。

例如，图像A包括第一区域、第二区域和第三区域，图像A存在第一缺陷、第二缺陷、第三缺陷和第四缺陷共四种缺陷，第一缺陷和第二缺陷在第一区域密集分布，第一缺陷和第二缺陷在第一区域分布的相对密度大，第三缺陷和第四缺陷在第三区域密集分布，第三缺陷和第四缺陷在第三区域分布的相对密度大。

根据目标缺陷分布密度图反映的图像中缺陷类别分布的相对密度规律，可以确定图像A中的第二区域是无缺陷分布的区域。

缺陷检测模型根据目标缺陷分布密度图确定第一工件图像的掩膜区域，根据目标缺陷分布密度图所表征的图像缺陷类别分布相对密度规律，可以准确判断出图像中的无缺陷区域，进而对无缺陷区域自动生成掩膜区域进行掩膜处理。

在该实施例中，缺陷检测模型根据目标缺陷分布密度图准确判断出图像中的无缺陷区域(即掩膜区域)，对掩膜区域进行掩膜处理得到第二工件图像，对第二工件图像进行缺陷检测，得到第一缺陷信息，有效提升缺陷检测效率，避免掩膜区域干扰检测结果。

根据本申请实施例提供的工件缺陷检测方法，通过目标缺陷分布密度图对图像缺陷类别分布的相对密度规律进行分析，精准定位图像中的掩膜区域，有效提升缺陷检测效率，避免掩膜区域干扰检测结果。

在一些实施例中，在步骤120、获得缺陷检测模型输出的第一缺陷信息之后，工件缺陷检测方法还可以包括：

基于第一缺陷信息，得到第一缺陷分布密度图；

在确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，基于第一缺陷信息，获得待测工件的缺陷检测结果；

在确定待测工件的缺陷检测结果不正确的情况下，重新训练缺陷检测模型。

其中，第一缺陷分布密度图用于表征第一工件图像中各个缺陷类别分布的相对密度。

第一缺陷信息包括表征第一工件图像缺陷位置以及缺陷类别的信息，根据第一缺陷信息可以得到第一工件图像中各个类别的缺陷分布位置，进而确定各个缺陷类别分布的相对密度，得到第一缺陷分布密度图。

在该实施例中，根据第一缺陷分布密度图和目标缺陷分布密度图进行对比，判断第一缺陷分布密度图所表征的缺陷类别分布的相对密度规律是否符合目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律。

在实际执行中，将第一缺陷分布密度图中每一种缺陷分布的相对密度，与目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值进行比较。

例如，第一缺陷分布密度图包括第一缺陷、第二缺陷、第三缺陷和第四缺陷共四种5缺陷，将第一缺陷分布密度图中第一缺陷分布的相对密度，与目标缺陷分布密度图中第

一缺陷的缺陷分布密度阈值进行比较；将第一缺陷分布密度图中第二缺陷分布的相对密度，与目标缺陷分布密度图中第二缺陷的缺陷分布密度阈值进行比较。

需要说明的是，目标缺陷分布密度图中每种缺陷的缺陷分布密度阈值可以为预先设

置的，可以根据样本图像集中各个样本图像的每种缺陷的缺陷分布密度范围进行设置。0在该实施例中，确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图

中对应种类缺陷的缺陷分布密度阈值，即第一缺陷分布密度图中任一种缺陷的缺陷分布密度大于了目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，表明第一缺陷分布密度图所表征的缺陷类别分布的相对密度规律不符合目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律。

5在一些实施例中，确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度

图中对应种类缺陷的缺陷分布密度阈值，可以进行自动预警，以提示用户当前的待测工件的缺陷类别分布的相对密度规律不符合目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律。

在确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺0陷的缺陷分布密度阈值的情况下，基于第一缺陷信息，获得待测工件的缺陷检测结果，

对待测工件的缺陷检测结果进行人工判断或其他模型判断，以判断缺陷检测模型的检测情况。

在该实施例中，确定待测工件的缺陷检测结果不正确，表明缺陷检测模型执行的缺陷检测有误，需要重新训练缺陷检测模型，对缺陷检测模型进行迭代更新。

5在一些实施例中，在基于第一缺陷信息，得到第一缺陷分布密度图之后，工件缺陷

检测方法还可以包括：

在确定第一缺陷分布密度图的缺陷分布密度小于或等于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，获取待测工件所属产线的不良品率；

在确定不良品率大于不良品率阈值的情况下，重新确定第一缺陷分布密度图的缺陷0分布密度。

在该实施例中，确定第一缺陷分布密度图的缺陷分布密度小于或等于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，即第一缺陷分布密度图中全部种类缺陷的缺陷分布密度均小于或等于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，表明第一缺陷分布密度图所表征的缺陷类别分布的相对密度规律符合目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律。

在第一缺陷分布密度图所表征的缺陷类别分布的相对密度符合规律的情况下，对待测工件所属产线的不良品率进行检测，其中，不良品率是指某一时间段内的产品中不良品占所有产品的比率，是衡量生产质量的一项关键指标。

确定不良品率大于不良品率阈值，表明生产待测工件的时段内不良品占所有产品的比率，待测工件为不良品的概率较大，需要重新确定第一缺陷分布密度图的缺陷分布密度，将第一缺陷分布密度图的缺陷分布密度和目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值进行比较，重新判定待测工件的缺陷类别分布的相对密度规律。

在一些实施例中，获得待测工件的缺陷检测结果之后，工件缺陷检测方法还可以包括：

在确定待测工件的缺陷检测结果正确的情况下，对待测工件的生产工艺进行检查；

在确定待测工件的生产工艺正确的情况下，重新生成目标缺陷分布密度图。

在该实施例中，确定待测工件的缺陷检测结果正确，表明缺陷检测模型执行的缺陷检测无误，无需重新训练缺陷检测模型，需要对待测工件的生产工艺进行检查，判断是否是由于待测工件的生产工艺出错，导致待测工件的缺陷类别分布的相对密度不符合相应的规律。

需要说明的是，当判断待测工件的生产工艺正确时，表明目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律可能不够全面或精准，重新生成目标缺陷分布密度图，修正目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律。

在实际执行中，可以将待测工件的第一工件图像和第一缺陷分布密度图引入样本训练集，补充修正目标缺陷分布密度图所表征的缺陷类别分布的相对密度规律。

在一些实施例中，确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，可以包括：

获取第一缺陷分布密度图的第一缺陷坐标信息，并获取目标缺陷分布密度图中对应种类缺陷的目标缺陷坐标信息；

基于第一缺陷坐标信息和目标缺陷坐标信息，确定缺陷坐标差值；

在确定缺陷坐标差值大于目标阈值的情况下，确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

获取第一缺陷分布密度图中每种缺陷的第一缺陷坐标信息，并在目标缺陷分布密度图中获取对应种类缺陷的，求取同种缺陷在第一缺陷分布密度图和目标缺陷分布密度图中的坐标信息的差值，以缺陷坐标差值判断第一缺陷分布密度图的缺陷分布密度是否大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

可以理解的是，缺陷分布于待测工件的不同位置，第一缺陷坐标信息和目标缺陷坐标信息均包括多个坐标值，第一缺陷坐标信息和目标缺陷坐标信息的缺陷坐标差值可以为多个坐标值的标准方差，在标准方差大于目标阈值，判断第一缺陷分布密度图的缺陷分布密度是否大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，触发预警。

在一些实施例中，目标缺陷分布密度图通过如下步骤生成：

将样本图像集的多个样本图像分别输入至缺陷检测模型进行训练，得到缺陷检测模型输出的多个样本缺陷信息，多个样本缺陷信息与多个样本图像一一对应；

基于多个样本图像和多个样本缺陷信息，生成目标缺陷分布密度图，样本缺陷信息包括样本图像中各种缺陷的类别信息和位置信息。

在该实施例中，遍历每张样本图像的每个坐标，统计每张样本图像包括此坐标点的某种缺陷的个数之和，然后除以样本图像集的样本图像的个数，得到该种缺陷的分布相对密度，遍历样本图像集中所有的缺陷类别，生成目标缺陷分布密度图。

下面介绍一个具体的实施例。

如图2所示，左侧流程框为缺陷检测模型的训练阶段，右侧流程框为缺陷检测模型的应用阶段。

训练阶段包括：

步骤一、对样本图像进行缺陷标注，训练缺陷检测模型，并测试缺陷检测模型。

步骤二、使用缺陷检测模型执行图像缺陷检测，生成目标缺陷分布密度图，根据目标缺陷分布密度图，设置无缺陷区域判定的条件，判定无缺陷区域，自动生成掩膜区域。

步骤三、判断掩膜区域是否符合产线要求，当掩膜区域不符合产线要求，重新设置无缺陷区域判定的条件，重新生成目标缺陷分布密度图，判定无缺陷区域，自动生成掩膜区域。

当掩膜区域符合产线要求，继续完成缺陷检测模型的训练工作。

应用阶段包括：

步骤四、在产线部署缺陷检测模型和对应的目标缺陷分布密度图，并设置判定缺陷分布异常的预警阈值，即目标缺陷分布密度图中各个种类缺陷的缺陷分布密度阈值。

步骤五、产线检测，当达到一个生成周期时，检测待测工件的缺陷分布密度是否正常，即确定待测工件的缺陷分布密度图的缺陷分布密度是否大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

当待测工件的第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应5种类缺陷的缺陷分布密度阈值，即待测工件的缺陷分布密度不正常的时候，进行预警。

步骤六、执行预警后，根据待测工件的缺陷检测结果进行图像分析，当检测结果不正确时，重新训练缺陷检测模型。

步骤七、当检测结果正确时，对产线的生成工艺是否正常进行判断。

生产工艺正常的情况下，对待测工件生成新的缺陷分布密度图，重新进行缺陷分布0密度阈值的判断。

若生产工艺不正常，修改生产工艺后，继续执行其他工件的曲线检测。

本申请实施例的工件缺陷检测方法，通过图像缺陷类别分布相对密度规律进行分析，自动生成掩膜区域，并能够在检测过程中对不符合缺陷类别的分布相对密度规律的结果

进行预警，及时确认检测结果可靠性，有助于用户对生产工艺进行及时的检测，有效提5升产线的生产效率。

本申请实施例提供的工件缺陷检测方法，执行主体可以为工件缺陷检测装置。本申请实施例中以工件缺陷检测装置执行工件缺陷检测方法为例，说明本申请实施例提供的工件缺陷检测装置。

本申请实施例还提供一种工件缺陷检测装置。

0如图3所示，该工件缺陷检测装置包括：

获取模块310，用于获取待测工件的第一工件图像；

处理模块320，用于将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息；

其中，将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信5息进一步包括：

对第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对第二工件图像进行缺陷检测，得到第一缺陷信息；

其中，缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，目标缺陷0分布密度图用于表征样本图像集中各个缺陷类别分布的相对密度。

根据本申请实施例提供的工件缺陷检测装置，通过目标缺陷分布密度图对图像缺陷类别分布的相对密度规律进行分析，精准定位图像中的掩膜区域，有效提升缺陷检测效率，避免掩膜区域干扰检测结果。

在一些实施例中，处理模块320在获得缺陷检测模型输出的第一缺陷信息之后，还用于基于第一缺陷信息，得到第一缺陷分布密度图，第一缺陷分布密度图用于表征第一工件图像中各个缺陷类别分布的相对密度；

在确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，基于第一缺陷信息，获得待测工件的缺陷检测结果；

在确定待测工件的缺陷检测结果不正确的情况下，重新训练缺陷检测模型。

在一些实施例中，处理模块320在基于第一缺陷信息，得到第一缺陷分布密度图之后，还用于在确定第一缺陷分布密度图的缺陷分布密度小于或等于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，

获取待测工件所属产线的不良品率；

在确定不良品率大于不良品率阈值的情况下，重新确定第一缺陷分布密度图的缺陷分布密度。

在一些实施例中，处理模块320在获得待测工件的缺陷检测结果之后，还用于在确定待测工件的缺陷检测结果正确的情况下，对待测工件的生产工艺进行检查；

在确定待测工件的生产工艺正确的情况下，重新生成目标缺陷分布密度图。

在一些实施例中，处理模块320用于获取第一缺陷分布密度图的第一缺陷坐标信息，并获取目标缺陷分布密度图中对应种类缺陷的目标缺陷坐标信息；

基于第一缺陷坐标信息和目标缺陷坐标信息，确定缺陷坐标差值；

在确定缺陷坐标差值大于目标阈值的情况下，确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

在一些实施例中，处理模块320用于通过如下步骤生成目标缺陷分布密度图：

将样本图像集的多个样本图像分别输入至缺陷检测模型进行训练，得到缺陷检测模型输出的多个样本缺陷信息，多个样本缺陷信息与多个样本图像一一对应；

基于多个样本图像和多个样本缺陷信息，生成目标缺陷分布密度图，样本缺陷信息包括样本图像中各种缺陷的类别信息和位置信息。

本申请实施例中的工件缺陷检测装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的工件缺陷检测装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为IOS操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的工件缺陷检测装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

在一些实施例中，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401、存储器402及存储在存储器402上并可在处理器401上运行的计算机程序，该程序被处理器401执行时实现上述工件缺陷检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509以及处理器510等部件。

本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器510逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，输入单元504，在本申请实施例中为摄像头，用于获取待测工件的第一工件图像；

处理器510，用于将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息；

其中，将第一工件图像输入至缺陷检测模型，获得缺陷检测模型输出的第一缺陷信息进一步包括：

对第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对第二工件图像进行缺陷检测，得到第一缺陷信息；

其中，缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，目标缺陷分布密度图用于表征样本图像集中各个缺陷类别分布的相对密度。

根据本申请实施例提供的电子设备，通过目标缺陷分布密度图对图像缺陷类别分布的相对密度规律进行分析，精准定位图像中的掩膜区域，有效提升缺陷检测效率，避免掩膜区域干扰检测结果。

在一些实施例中，处理器510，还用于基于第一缺陷信息，得到第一缺陷分布密度图，第一缺陷分布密度图用于表征第一工件图像中各个缺陷类别分布的相对密度；

在确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，基于第一缺陷信息，获得待测工件的缺陷检测结果；

在确定待测工件的缺陷检测结果不正确的情况下，重新训练缺陷检测模型。

在一些实施例中，处理器510，还用于在确定第一缺陷分布密度图的缺陷分布密度小于或等于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，

获取待测工件所属产线的不良品率；

在确定不良品率大于不良品率阈值的情况下，重新确定第一缺陷分布密度图的缺陷分布密度。

在一些实施例中，处理器510，还用于在确定待测工件的缺陷检测结果正确的情况下，对待测工件的生产工艺进行检查；

在确定待测工件的生产工艺正确的情况下，重新生成目标缺陷分布密度图。

在一些实施例中，处理器510，还用于获取第一缺陷分布密度图的第一缺陷坐标信息，并获取目标缺陷分布密度图中对应种类缺陷的目标缺陷坐标信息；

基于第一缺陷坐标信息和目标缺陷坐标信息，确定缺陷坐标差值；

在确定缺陷坐标差值大于目标阈值的情况下，确定第一缺陷分布密度图的缺陷分布密度大于目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

在一些实施例中，处理器510，还用于通过如下步骤生成目标缺陷分布密度图：

将样本图像集的多个样本图像分别输入至缺陷检测模型进行训练，得到缺陷检测模型输出的多个样本缺陷信息，多个样本缺陷信息与多个样本图像一一对应；

基于多个样本图像和多个样本缺陷信息，生成目标缺陷分布密度图，样本缺陷信息包括样本图像中各种缺陷的类别信息和位置信息。

应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器509可以包括易失性存储器或非易失性存储器，或者，存储器509可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。

处理器510可包括一个或多个处理单元；处理器510集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。

本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述工件缺陷检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述工件缺陷检测方法。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述工件缺陷检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种工件缺陷检测方法，其特征在于，包括：

获取待测工件的第一工件图像；

将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息；

其中，所述将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息进一步包括：

对所述第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，所述第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对所述第二工件图像进行缺陷检测，得到所述第一缺陷信息；

其中，所述缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，所述目标缺陷分布密度图用于表征所述样本图像集中各个缺陷类别分布的相对密度。

2.根据权利要求1所述的工件缺陷检测方法，其特征在于，在获得所述缺陷检测模型输出的第一缺陷信息之后，所述方法还包括：

基于所述第一缺陷信息，得到第一缺陷分布密度图，所述第一缺陷分布密度图用于表征所述第一工件图像中各个缺陷类别分布的相对密度；

在确定所述第一缺陷分布密度图的缺陷分布密度大于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，基于所述第一缺陷信息，获得所述待测工件的缺陷检测结果；

在确定所述待测工件的缺陷检测结果不正确的情况下，重新训练所述缺陷检测模型。

3.根据权利要求2所述的工件缺陷检测方法，其特征在于，在所述基于所述第一缺陷信息，得到第一缺陷分布密度图之后，所述方法还包括：

在确定所述第一缺陷分布密度图的缺陷分布密度小于或等于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值的情况下，获取所述待测工件所属产线的不良品率；

在确定所述不良品率大于不良品率阈值的情况下，重新确定所述第一缺陷分布密度图的缺陷分布密度。

4.根据权利要求2所述的工件缺陷检测方法，其特征在于，在所述获得所述待测工件的缺陷检测结果之后，所述方法还包括：

在确定所述待测工件的缺陷检测结果正确的情况下，对所述待测工件的生产工艺进行检查；

在确定所述待测工件的生产工艺正确的情况下，重新生成所述目标缺陷分布密度图。

5.根据权利要求2所述的工件缺陷检测方法，其特征在于，所述确定所述第一缺陷分布密度图的缺陷分布密度大于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值，包括：

获取所述第一缺陷分布密度图的第一缺陷坐标信息，并获取目标缺陷分布密度图中对应种类缺陷的目标缺陷坐标信息；

基于所述第一缺陷坐标信息和所述目标缺陷坐标信息，确定缺陷坐标差值；

在确定所述缺陷坐标差值大于目标阈值的情况下，确定所述第一缺陷分布密度图的缺陷分布密度大于所述目标缺陷分布密度图中对应种类缺陷的缺陷分布密度阈值。

6.根据权利要求1-5任一项所述的工件缺陷检测方法，其特征在于，所述目标缺陷分布密度图通过如下步骤生成：

将所述样本图像集的多个样本图像分别输入至所述缺陷检测模型进行训练，得到所述缺陷检测模型输出的多个样本缺陷信息，所述多个样本缺陷信息与所述多个样本图像一一对应；

基于所述多个样本图像和所述多个样本缺陷信息，生成所述目标缺陷分布密度图，所述样本缺陷信息包括样本图像中各种缺陷的类别信息和位置信息。

7.一种工件缺陷检测装置，其特征在于，包括：

获取模块，用于获取待测工件的第一工件图像；

处理模块，用于将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息；

其中，所述将所述第一工件图像输入至缺陷检测模型，获得所述缺陷检测模型输出的第一缺陷信息进一步包括：

对所述第一工件图像的掩膜区域进行掩膜处理，得到第二工件图像，所述第一工件图像的掩膜区域基于目标缺陷分布密度图确定；

对所述第二工件图像进行缺陷检测，得到所述第一缺陷信息；

其中，所述缺陷检测模型是基于样本图像集及其对应的样本标签训练得到的，所述目标缺陷分布密度图用于表征所述样本图像集中各个缺陷类别分布的相对密度。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述工件缺陷检测方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的工件缺陷检测方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述工件缺陷检测方法。

Images