CN115995023A - 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法 - Google Patents

Abstract

本发明属于工业自动化领域，公开了瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法。该瑕疵检测方法，通过瑕疵识别模型识别瑕疵类型，通过瑕疵轮廓提取模型，提取瑕疵轮廓，并基于轮廓量化瑕疵，最终，结合瑕疵的类型和量化值，判定瑕疵为可接受或不可接受，其能判定瑕疵的大小，且针对不同型号以及不同拍摄参数等情形获得的同类产品图像，均能进行瑕疵识别并进行量化判定，具有更好的通用性。该产品检测方法，分为两个阶段，阶段一首先采用上述瑕疵检测方法进行检测；阶段二，在收集足够样本后，训练获得最终的瑕疵识别模型，因此，避免了由于缺乏训练样本而导致的无模型可用的尴尬局面。

Description

瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法

技术领域

本发明属于工业自动化领域，尤其涉及一种瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法。

背景技术

语义分割，是将图像分割为若干个视觉上有意义的或感兴趣的区域，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。以利于后续的图像分析和视觉理解。自从以全卷积神经网络FCN为代表的语义分割模型出现后，该方法就被广泛地应用到各类图像的分类及识别任务中，包括物体识别和检测、智能安防、无人驾驶技术、人机交互、虚拟现实等，并取得了良好的效果，也得到了极大的发展，现有常见的语义分割模型包括：U-NET、SegNet、DeepLab、DilatedConvolutions、RefineNet、PSPNet等。因此，在现有技术中，也存在大量采用语义分割对产品外观瑕疵进行识别、判断的研究和应用。

但应当注意到，对语义分割模型的利用，依赖于模型训练，因此，制备相应场景下的训练样本数据，是利用语义分割模型的前提。但在采用语义分割对产品外观、功能瑕疵进行识别、判断的工业自动化领域时，通常存在一下问题：

一、由于产品之间差异性，以及同类不同型号产品之间规格的差异性，甚至产品拍摄参数的差异性，导致模型泛化性能不佳，因此，在模型训练时，需要针对每一个情形分别进行训练并获得相应的模型，以也即需要针对每一个情形分别建立训练样本数据集。而为了保证模型的识别，训练样本数据集需要包括大量的瑕疵样本，这在实际的工业生产中，是存在极大困难的，尤其是针对新产品导入时。

二、语义分割模型是对图像的每个像素点进行分类，其主要用于图像分析和视觉理解，因此，针对产品瑕疵，其能识别瑕疵的存在以及类型，但针对产品瑕疵的数值型规格，其无法进行判定大小，因此，也即无法对产品是否为良品进行判断。

发明内容

本发明所要解决的技术问题是：提出一种瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法，其能判定瑕疵的大小，且针对不同型号以及不同拍摄参数等情形获得的同类产品图像，均能进行瑕疵识别并进行量化判定，具有更好的通用性。

本发明解决上述技术问题采用的技术方案是：

瑕疵检测方法，包括如下步骤：

S1、将产品图像输入至瑕疵识别模型，以提取所述产品图像的特征，并基于提取的所述产品图像的特征识别瑕疵，输出所识别瑕疵的瑕疵类型，获得包括所识别瑕疵的瑕疵图像；

S2、将步骤S1获取的所述瑕疵图像输入至瑕疵轮廓提取模型，以提取所述瑕疵图像所对应瑕疵的轮廓；并基于提取的所述瑕疵图像所对应瑕疵的轮廓，计算所述瑕疵图像所对应瑕疵的量化值；

S3、基于步骤S1输出的瑕疵类型，提取该瑕疵类型的预设规格；根据提取的该瑕疵类型的预设规格，依据步骤S2计算获得的所述瑕疵图像所对应瑕疵的量化值，判定所述瑕疵图像所对应瑕疵为可接受或不可接受。

进一步的，根据预定义的各瑕疵类型的预设规格的单位类型，将瑕疵分类为布尔型瑕疵或数值型瑕疵；在完成步骤S1以后、执行步骤S2之前，基于步骤S1输出的瑕疵类型，判定所述瑕疵图像所对应瑕疵的瑕疵类型为布尔型瑕疵或数值型瑕疵，若为布尔型瑕疵，则判定所述瑕疵图像所对应瑕疵为不可接受，并结束该瑕疵图像的检测；若为数值型瑕疵，则执行步骤S2。

进一步的，步骤S1中，所述瑕疵图像和所述产品图像为相同的图像；或者，所述瑕疵图像为截取所述产品图像中瑕疵所在区域获得的局部图。

进一步的，步骤S2中，所述瑕疵轮廓提取模型采用轮廓提取算法，其提取所述瑕疵图像所对应瑕疵的轮廓，包括如下步骤：

首先，根据步骤S1输出的瑕疵类型，根据该瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图；

然后，基于所述二值化图，通过遍历并消除内部点的方式，获得与所述瑕疵图像相对应的瑕疵轮廓图；

所述二值化图的统一定义为：二值化图中对应瑕疵区域的像素点定义为目标像素点、对应瑕疵区域以外的非瑕疵区域的像素点定义为背景像素点。

进一步的，根据瑕疵图像中瑕疵区域的亮度，将瑕疵分为亮斑型瑕疵和暗斑型瑕疵，其中，瑕疵区域亮度大于非瑕疵区域亮度的为亮斑型瑕疵，瑕疵区域亮度小于非瑕疵区域亮度的为暗斑型瑕疵；

步骤S2中，根据步骤S1输出的瑕疵类型，根据该瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图，包括如下步骤：

首先，根据步骤S1输出的瑕疵类型，判定所述瑕疵图像所对应瑕疵为亮斑型瑕疵或暗斑型瑕疵；

然后，将所述瑕疵图像转换为灰度图，计算所述灰度图的平均灰度值作为阈值；

之后，选择预定义模板：若为亮斑型瑕疵，则将所述灰度图中灰度值小于阈值的像素点作为目标像素点，所述灰度图的其他像素点作为背景像素点；若为暗斑型瑕疵，则将所述灰度图中灰度值大于阈值的像素点作为目标像素点，所述灰度图的其他像素点作为背景像素点；

最后，对所述灰度图的背景像素点和目标像素点按预设值进行赋值，获得所述二值化图。

进一步的，步骤S2中，基于提取的所述瑕疵图像所对应瑕疵的轮廓，确定轮廓的最小外接圆，并依据最小外接圆的半径确定瑕疵的尺寸和/或面积。

另一方面，本发明还提供了一种瑕疵检测装置，包括瑕疵类型识别单元、瑕疵轮廓提取单元、瑕疵量化单元和瑕疵检测单元；

所述瑕疵类型识别单元，用于提取所述产品图像的特征，并基于提取的所述产品图像的特征识别瑕疵，输出所识别瑕疵的瑕疵类型，获得包括所识别瑕疵的瑕疵图像；

所述瑕疵轮廓提取单元，用于提取所述瑕疵图像所对应瑕疵的轮廓；

所述瑕疵量化单元，用于基于所述瑕疵轮廓提取单元所提取的所述瑕疵图像所对应瑕疵的轮廓，计算所述瑕疵图像所对应瑕疵的量化值；

所述瑕疵检测单元，用于根据所述瑕疵图像所对应瑕疵的瑕疵类型的预设规格，依据所述瑕疵量化单元计算获得的所述瑕疵图像所对应瑕疵的量化值，判定所述瑕疵图像所对应瑕疵为可接受或不可接受。

另一方面，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上所述的瑕疵检测方法。

另一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上所述的瑕疵检测方法。

另一方面，本发明还提供了一种产品检测方法，包括如下步骤：

首先，采用产品通用的训练数据集，训练获得第一瑕疵识别模型；

然后，输入待测产品的产品图像，基于训练获得的第一瑕疵识别模型，利用如上所述的瑕疵检测方法，针对包含瑕疵的产品图像，判断其所包含瑕疵为可接受或不可接受，并根据判断结果，将包含瑕疵的产品图像所对应待测产品判定为良品或不良品；

同时，收集可接受瑕疵和不可接受瑕疵的图像样本，构建产品专用的训练数据集；

在完成产品专用的训练数据集的构建后，采用产品专用的训练数据集，训练获得第二瑕疵识别模型；

最后，基于训练获得的第二瑕疵识别模型，判断输入产品图像所对应待测产品为良品或不良品。

本发明的有益效果是：

本发明的瑕疵检测方法，包括解耦的瑕疵识别模型和瑕疵轮廓提取模型。

其中，瑕疵识别模型仅对瑕疵类型进行识别，因此，可以采用同类产品通用的训练数据集，训练瑕疵识别模型；同时，由于瑕疵识别模型仅对瑕疵类型进行识别，因此，可以通过上采样等方式提高瑕疵图像的显示精度，以提高模型对瑕疵的识别的效率和准确率，而无需担忧图像的放大导致的大小比例改变，尤其是针对液晶面板亮点等微小瑕疵时，能极大的提高识别效果。

其次，通过瑕疵轮廓提取模型提取瑕疵轮廓，并基于提取的轮廓对瑕疵进行量化，因此，能够判定瑕疵的大小。且瑕疵轮廓提取模型主要基于图像分割算法，并不依赖于训练，针对不同型号以及不同拍摄参数等情形获得的同类产品图像，只需调整产品的验收规格，改变量化过程中瑕疵图像与产品之间的放大比例关系，即可适应于不同型号以及不同拍摄参数等情形获得的同类产品图像的瑕疵检测，具有更好的通用性。

基于本发明的瑕疵检测方法，本发明还提供了一种产品检测方法，其主要针对批量产品的生产，并分为两个阶段。其中，阶段一，适用于上线初期，采用本发明的瑕疵检测方法，避免了由于批量产品刚上线时，由于缺乏训练样本而导致的无模型可用的尴尬局面；阶段二，适用于具有足够的训练样本后，为提高效率，减少工时，通过在阶段一所收集的训练样本训练获得新的瑕疵识别模型，直接对瑕疵进行检测。

附图说明

图1为本发明实施例一瑕疵检测方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面结合实施例，对本发明进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

本实施例为一种瑕疵检测方法，其采用一种电子设备运行。

电子设备，包括处理器和存储器，处理器是电子设备的控制部件，并通过接口和线路连接电子设备的各个部件，通过运行存储在存储器内的程序，实现各种功能。也即在本实施例中，电子设备的所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行本实施例的瑕疵检测方法。

具体的，在本实施例中，电子设备为个人计算机，其处理器为CPU，存储器采用硬盘存储器。本领域技术人员可以理解，电子设备的举例，并不构成对电子设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件。比如：可以是一种计算机可读存储介质，比如U盘，其上存储有计算机程序，所述计算机程序被处理器执行时运行如本实施例所述的瑕疵检测方法。

本实施例的瑕疵检测方法，如图1所示，包括如下步骤：

步骤1、获取瑕疵图像

本步骤中，将产品图像输入至瑕疵识别模型，以提取所述产品图像的特征，并基于提取的所述产品图像的特征识别瑕疵，输出所识别瑕疵的瑕疵类型，获得包括所识别瑕疵的瑕疵图像。

在本实施例中，产品为液晶面板，图像为液晶面板通电后所拍摄的图像，由于液晶面板的外观和功能性缺陷，会导致液晶面板在通电后，瑕疵区域的亮度区别于正常显示区域，可以很方便的识别其图像中是否包含瑕疵。因此，在本实施例中，输入本步骤的产品图像一定是包含瑕疵的图像。也即在本实施例所在的生产线，在进行本实施例所述的瑕疵检测前，还存在一个步骤对产品是否存在瑕疵进行检测，针对无瑕疵的产品，不在需要进行本实施例的瑕疵检测，以节约工时。

在另一实施方式中，其产品识别其图像中是否包含瑕疵较困难，则需要通过本发明瑕疵检测方法的瑕疵识别模型，识别是否存在瑕疵以及瑕疵的类型。因此，其实施过程为：首先，将前序工序拍摄获得的产品图像的原始图像，加载到电子设备中；然后，瑕疵识别模型读取原始图像，提取原始图像的特征，并基于提取的特征识别并输出瑕疵类型，若无瑕疵，则输出瑕疵类型为无瑕疵，若存在瑕疵，则输出瑕疵的类型名称或编码。

其次，在不同的实施方式中，所述瑕疵图像和所述产品图像为相同的图像；或者所述瑕疵图像为截取所述产品图像中瑕疵所在区域获得的局部图。采用相同的图像或者局部图所构成的瑕疵图像，瑕疵图像与产品图像对应像素点的值相同，因此，针对瑕疵所在区域两者的成像相同。

在另一实施方式中，瑕疵图像是在瑕疵识别基础上对原图进行区域着色的色块图。具体的讲，瑕疵识别模型所采用的语义分割模型是对图像的每个像素点进行分类，因此，可以对不同的像素点分类赋不同的值，从而使得不同分类的像素点显示不同的颜色、而相同分类的像素点显示相同的颜色，从而构成色块图。色块图能更方便的进行瑕疵轮廓提取，但其在瑕疵识别基础上对原图进行区域着色，因此，受到瑕疵识别模型本身性能的影响，会由于其分类性能的差异导致区域范围的差异，进而导致在此基础上所提取轮廓的差异。

因此，最好的，采用相同的图像或者局部图构成瑕疵图像，其能保证瑕疵识别模型和瑕疵轮廓提取模型之间的解耦，降低对两者之间的依赖性，进一步保证本发明方法的通用性。在本实施例中，由于产品为液晶面板，原始图像像素高、画幅大，因此，在本步骤中，为满足由FCN(全卷积网络，Fully Convolutional Networks)所构成瑕疵识别模型的输入要求，依照512*512的格式对原始图像进行裁切，并将剪裁获得的512*512图像作为产品图像，输入瑕疵识别模型,边缘不足部分补上背景色，背景色也即液晶面板正常显示时拍摄所获得的颜色。因此，在本实施例中，产品图像和瑕疵图像为相同的图像，其不同仅由于其所处阶段的不同而导致。

步骤2、提取瑕疵轮廓

本步骤中，将步骤1获取的所述瑕疵图像输入至瑕疵轮廓提取模型，以提取所述瑕疵图像所对应瑕疵的轮廓。

通常的，针对产品瑕疵，可以根据其规格的单位类型分为布尔型瑕疵和数值型瑕疵。

所述布尔型瑕疵，其规格为有或者无，也即布尔值的FALSE和TRUE。针对该类瑕疵，只要存在，对应产品即判定为不良品，比如线路板中的断路、漏焊，以及本实施例中液晶面板的暗线。

所述数值型瑕疵，其规格为数值，对瑕疵存在一定的可接受范围。针对该类瑕疵，对应产品为有瑕疵良品或有瑕疵不良品，比如边缘崩裂，以及本实施例中液晶面板的亮点。当然，布尔型瑕疵，可以理解为规格为0，大于0即为超规格判定为不良，从而可以将布尔型瑕疵和数值型瑕疵，在统一的瑕疵量化后进行判定。

为了加快处理效率，在本实施例中：根据预定义的各瑕疵类型的预设规格的单位类型，将瑕疵分类为布尔型瑕疵和数值型瑕疵；在完成步骤1以后，并在执行本步骤的瑕疵轮廓提取之前，基于步骤1输出的瑕疵类型，判定所述瑕疵图像所对应瑕疵的瑕疵类型为布尔型瑕疵或数值型瑕疵，若为布尔型瑕疵，则判定所述瑕疵图像所对应瑕疵为不可接受，并结束该瑕疵图像的检测；若为数值型瑕疵，则执行后续步骤。也即，本实施例，针对布尔型瑕疵仅根据有无进行判定，而针对数值型瑕疵，在量化的基础上进行判定。

针对瑕疵轮廓的提取，可以采用任意的现有技术，包括但不限于：轮廓提取法、边界跟踪法、区域增长法、区域***合并法等。在本实施例中，所述瑕疵轮廓提取模型采用轮廓提取算法，其提取所述瑕疵图像所对应瑕疵的轮廓，包括如下步骤：

首先，根据步骤1输出的瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图；

然后，基于所述二值化图，通过遍历并消除内部点的方式，获得与所述瑕疵图像相对应的瑕疵轮廓图；

所述二值化图的统一定义为：二值化图中对应瑕疵区域的像素点定义为目标像素点、对应瑕疵区域以外的非瑕疵区域的像素点定义为背景像素点。

轮廓提取法，其算法思路为掏空内部点。所谓内部点，根据当前像素点的邻域来进行判断，假设邻域窗口为3*3窗口，如果当前像素点P(x,y)的八个邻域像素点满足如下条件，则该像素点即内部点：

1、P(x,y)为目标像素点，假设目标像素点为黑色0，背景像素点为白色255，那么P(x,y)＝0；

2、P(x,y)的N个邻域像素点均为目标像素0，N为设置值，在刚开始进行内部点掏空时，N＝8；随着过程的进行，如后所述，N逐步降低，最终获得的轮廓图，其轮廓上的每一个目标像素点的八个邻域像素点中均只有两个为目标像素点，也即，最终N＝2。

通过遍历像素点，把满足条件的内部点置白，也即置为背景像素点的配色，逐步的掏空内部点，并逼近边缘，最终，即可获得与所述瑕疵图像相对应的瑕疵轮廓图。最终获得的轮廓图，其轮廓上的每一个目标像素点的八个邻域像素点中均只有两个为目标像素点，通过目标像素点之间的连线皆可获得轮廓。

采用轮廓提取法的前提在于图像的二值化，但应当注意到，产品的瑕疵并不是统一的，其在图像显示中的成像也并不是一致的，比如：本实施例的液晶面板，其瑕疵包括亮点和暗点，亮点在图像中的灰度低于其他区域，暗点在图像中的灰度高于其他区域，并不统一，这会导致后期轮廓提取过程中算法配置的不统一。因此，为了保证二值化的图像的统一，以保证轮廓的提取，在本实施例中，根据步骤1输出的瑕疵类型，根据该瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图；所述二值化图的统一定义为：二值化图中对应瑕疵区域的像素点定义为目标像素点、对应瑕疵区域以外的非瑕疵区域的像素点定义为背景像素点。因此，通过二值化获得的图像，无论为何种瑕疵，其瑕疵所对应区域均为相同的颜色。

为了方便预定义模板的设置，进一步的，根据瑕疵图像中瑕疵区域的亮度，将瑕疵分为亮斑型瑕疵和暗斑型瑕疵。其中，瑕疵区域亮度大于非瑕疵区域亮度的为亮斑型瑕疵，比如本实施例中的亮点；瑕疵区域亮度小于非瑕疵区域亮度的为暗斑型瑕疵，比如本实施例中的暗点和偏光片异物。具体的，本步骤中，根据步骤1输出的瑕疵类型，根据该瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图，包括如下步骤：

首先，根据步骤1输出的瑕疵类型，判定所述瑕疵图像所对应瑕疵为亮斑型瑕疵或暗斑型瑕疵；

然后，将所述瑕疵图像转换为灰度图，计算所述灰度图的平均灰度值作为阈值；

之后，选择预定义模板：若为亮斑型瑕疵，则将所述灰度图中灰度值小于阈值的像素点作为目标像素点，所述灰度图的其他像素点作为背景像素点；若为暗斑型瑕疵，则将所述灰度图中灰度值大于阈值的像素点作为目标像素点，所述灰度图的其他像素点作为背景像素点；

最后，对所述灰度图的背景像素点和目标像素点按预设值进行赋值，获得所述二值化图。

步骤3、瑕疵量化

本步骤，基于步骤2提取的所述瑕疵图像所对应瑕疵的轮廓，计算所述瑕疵图像所对应瑕疵的量化值。

预设规格的单位类型包括比例数值、几何单位等，瑕疵的量化即为：依据对瑕疵区域所占像素点的计数，结合拍摄对物品的放大关系，转换获得瑕疵的尺寸、占比和/或面积等量化指标。尺寸和/或占比，可以是沿所拍摄平面方向的长宽方向上，瑕疵的最大尺寸及其占比，也可以是瑕疵外接图形，比如外接圆、外接矩形的尺寸及其占比。

在本实施例中，液晶面板的瑕疵规格包括但不限于：

1、亮点:大小规格占比超过0.03以上为不可接受；

2、偏光片异物:大小规格占比超过0.03以上为不可接受；

3、暗点:大小规格占比超过0.03以上为不可接受；

4、碎亮点:512*512图中之两颗点类大小规格占比超过0.01以上为不可接受。

本步骤中，基于提取的所述瑕疵图像所对应瑕疵的轮廓，确定轮廓的最小外接圆，并依据最小外接圆的半径确定瑕疵的尺寸和/或面积。进一步的讲，本步骤：

首先，遍历步骤2所获得轮廓的所有轮廓点,找出沿所拍摄平面方向的长宽方向，最左上方、最右上方、最左下方、最右下方的四个点；

然后，调用二值图像拓扑结构分析函数求出包围这四个点的最小圆和半径。

步骤4、瑕疵判定

本步骤，基于步骤1输出的瑕疵类型，提取该瑕疵类型的预设规格；根据所述瑕疵图像所对应瑕疵的瑕疵类型的预设规格，依据步骤3计算获得的所述瑕疵图像所对应瑕疵的量化值，判定所述瑕疵图像所对应瑕疵为可接受或不可接受。

具体的讲，根据步骤3获得的最小外接圆的半径，若沿所拍摄平面方向的长宽方向，半径超过规格的要求，则判定为不可接受。

基于同一发明构思，本发明还提供了一种瑕疵检测装置，包括瑕疵类型识别单元、瑕疵轮廓提取单元、瑕疵量化单元和瑕疵检测单元；

所述瑕疵类型识别单元，用于提取所述产品图像的特征，并基于提取的所述产品图像的特征识别瑕疵，输出所识别瑕疵的瑕疵类型，获得包括所识别瑕疵的瑕疵图像；

所述瑕疵轮廓提取单元，用于提取所述瑕疵图像所对应瑕疵的轮廓；

所述瑕疵量化单元，用于基于所述瑕疵轮廓提取单元所提取的所述瑕疵图像所对应瑕疵的轮廓，计算所述瑕疵图像所对应瑕疵的量化值；

所述瑕疵检测单元，用于根据所述瑕疵图像所对应瑕疵的瑕疵类型的预设规格，依据所述瑕疵量化单元计算获得的所述瑕疵图像所对应瑕疵的量化值，判定所述瑕疵图像所对应瑕疵为可接受或不可接受。

由于上述装置解决问题的原理与方法相一致，因此，上述装置的实施可以参见方法的实施，不再赘述。

实施例二

通过实施例一对本发明瑕疵检测方法的描述，可以理解到：本发明的瑕疵检测方法，包括解耦的瑕疵识别模型和瑕疵轮廓提取模型，瑕疵识别模型仅对瑕疵类型进行识别；同时，通过瑕疵轮廓提取模型提取瑕疵轮廓，并对瑕疵进行量化，而瑕疵轮廓提取模型主要基于图像分割算法，并不依赖于训练，因此，可以采用同类产品通用的训练数据集，训练瑕疵识别模型，避免新产品上线时无模型可以的尴尬局面。进一步的讲，本实施例为采用实施例一所述瑕疵检测方法所构建的一种产品检测方法，包括如下步骤：

首先，采用产品通用的训练数据集，训练获得第一瑕疵识别模型；

然后，输入待测产品的产品图像，基于训练获得的第一瑕疵识别模型，利用实施例一所述的瑕疵检测方法，针对包含瑕疵的产品图像，判断其所包含瑕疵为可接受或不可接受，并根据判断结果，将包含瑕疵的产品图像所对应待测产品判定为有瑕疵良品或有瑕疵不良品。如实施例一中所述，其输入的产品图像一定是包含瑕疵的图像，因此，在本实施例中，输出的判定为：有瑕疵良品或有瑕疵不良品。当然，本实施例，也可以直接输出良品或不良品，而不对良品进行分类。针对其他的实施方式，如前述的产品识别其图像中是否包含瑕疵较困难的，这里的输出可以是：无瑕疵良品、有瑕疵良品或有瑕疵不良品；或者直接输出良品或不良品。

同时，收集可接受瑕疵和不可接受瑕疵的图像样本，构建产品专用的训练数据集。在本实施例中，其输入的产品图像一定是包含瑕疵的图像，因此，主要针对模型的分类能力进行训练，训练数据集可以仅包括瑕疵的图像样本。针对其他的实施方式，可以是在瑕疵的图像样本，增加无瑕疵图像样本，完成产品专用的训练数据集的构建；而由于无瑕疵图像样本存在数量较大，因此，并不用专门进行收集，仅需在构建时，增加即可。

在完成产品专用的训练数据集的构建后，采用产品专用的训练数据集，训练获得第二瑕疵识别模型；

最后，基于训练获得的第二瑕疵识别模型，判断输入产品图像所对应待测产品为有瑕疵良品或有瑕疵不良品。针对其他的实施方式，如前述的产品识别其图像中是否包含瑕疵较困难的，这里的输出可以是：无瑕疵良品、有瑕疵良品或有瑕疵不良品；或者直接输出良品或不良品。

应当说明的是，上述实施例仅是优选实施方式，并不用以限制本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出若干修改，等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.瑕疵检测方法，其特征在于，包括如下步骤：

S1、将产品图像输入至瑕疵识别模型，以提取所述产品图像的特征，并基于提取的所述产品图像的特征识别瑕疵，输出所识别瑕疵的瑕疵类型，获得包括所识别瑕疵的瑕疵图像；

S2、将步骤S1获取的所述瑕疵图像输入至瑕疵轮廓提取模型，以提取所述瑕疵图像所对应瑕疵的轮廓；并基于提取的所述瑕疵图像所对应瑕疵的轮廓，计算所述瑕疵图像所对应瑕疵的量化值；

S3、基于步骤S1输出的瑕疵类型，提取该瑕疵类型的预设规格；根据提取的该瑕疵类型的预设规格，依据步骤S2计算获得的所述瑕疵图像所对应瑕疵的量化值，判定所述瑕疵图像所对应瑕疵为可接受或不可接受。

2.根据权利要求1所述的瑕疵检测方法，其特征在于，

根据预定义的各瑕疵类型的预设规格的单位类型，将各瑕疵分类为布尔型瑕疵或数值型瑕疵；

在完成步骤S1以后、执行步骤S2之前，基于步骤S1输出的瑕疵类型，判定所述瑕疵图像所对应瑕疵的瑕疵类型为布尔型瑕疵或数值型瑕疵，若为布尔型瑕疵，则判定所述瑕疵图像所对应瑕疵为不可接受，并结束该瑕疵图像的检测；若为数值型瑕疵，则执行步骤S2。

3.根据权利要求1或2所述的瑕疵检测方法，其特征在于，步骤S1中，所述瑕疵图像和所述产品图像为相同的图像；或者所述瑕疵图像为截取所述产品图像中瑕疵所在区域获得的局部图。

4.根据权利要求3所述的瑕疵检测方法，其特征在于，

步骤S2中，所述瑕疵轮廓提取模型采用轮廓提取算法，其提取所述瑕疵图像所对应瑕疵的轮廓，包括如下步骤：

首先，根据步骤S1输出的瑕疵类型，根据该瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图；

然后，基于所述二值化图，通过遍历并消除内部点的方式，获得与所述瑕疵图像相对应的瑕疵轮廓图；

所述二值化图的统一定义为：二值化图中对应瑕疵区域的像素点定义为目标像素点、对应瑕疵区域以外的非瑕疵区域的像素点定义为背景像素点。

5.根据权利要4所述的瑕疵检测方法，其特征在于，根据瑕疵图像中瑕疵区域的亮度，将瑕疵分为亮斑型瑕疵和暗斑型瑕疵，其中，瑕疵区域亮度大于非瑕疵区域亮度的为亮斑型瑕疵，瑕疵区域亮度小于非瑕疵区域亮度的为暗斑型瑕疵；

步骤S2中，根据步骤S1输出的瑕疵类型对应的预定义模板，将所述瑕疵图像转化为统一定义的二值化图，包括如下步骤：

首先，根据步骤S1输出的瑕疵类型，判定所述瑕疵图像所对应瑕疵为亮斑型瑕疵或暗斑型瑕疵；

然后，将所述瑕疵图像转换为灰度图，计算所述灰度图的平均灰度值作为阈值；

之后，选择预定义模板：若为亮斑型瑕疵，则将所述灰度图中灰度值小于阈值的像素点作为目标像素点，所述灰度图的其他像素点作为背景像素点；若为暗斑型瑕疵，则将所述灰度图中灰度值大于阈值的像素点作为目标像素点，所述灰度图的其他像素点作为背景像素点；

最后，对所述灰度图的背景像素点和目标像素点按预设值进行赋值，获得所述二值化图。

6.根据权利要求1所述的瑕疵检测方法，其特征在于，步骤S2中，基于提取的所述瑕疵图像所对应瑕疵的轮廓，确定轮廓的最小外接圆，并依据最小外接圆的半径确定瑕疵的尺寸和/或面积。

7.瑕疵检测装置，其特征在于，包括瑕疵类型识别单元、瑕疵轮廓提取单元、瑕疵量化单元和瑕疵检测单元；

所述瑕疵类型识别单元，用于提取所述产品图像的特征，并基于提取的所述产品图像的特征识别瑕疵，输出所识别瑕疵的瑕疵类型，获得包括所识别瑕疵的瑕疵图像；

所述瑕疵轮廓提取单元，用于提取所述瑕疵图像所对应瑕疵的轮廓；

所述瑕疵量化单元，用于基于所述瑕疵轮廓提取单元所提取的所述瑕疵图像所对应瑕疵的轮廓，计算所述瑕疵图像所对应瑕疵的量化值；

所述瑕疵检测单元，用于根据所述瑕疵图像所对应瑕疵的瑕疵类型的预设规格，依据所述瑕疵量化单元计算获得的所述瑕疵图像所对应瑕疵的量化值，判定所述瑕疵图像所对应瑕疵为可接受或不可接受。

8.电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1～6任一项所述的瑕疵检测方法。

9.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1～6任一项所述的瑕疵检测方法。

10.产品检测方法，其特征在于，包括如下步骤：

首先，采用产品通用的训练数据集，训练获得第一瑕疵识别模型；

然后，输入待测产品的产品图像，基于训练获得的第一瑕疵识别模型，利用如权利要求1～6任一项所述的瑕疵检测方法，针对包含瑕疵的产品图像，判断其所包含瑕疵为可接受或不可接受，并根据判断结果，将包含瑕疵的产品图像所对应待测产品判定为良品或不良品；

同时，收集可接受瑕疵和不可接受瑕疵的图像样本，构建产品专用的训练数据集；

在完成产品专用的训练数据集的构建后，采用产品专用的训练数据集，训练获得第二瑕疵识别模型；

最后，基于训练获得的第二瑕疵识别模型，判断输入产品图像所对应待测产品为良品或不良品。

Images