CN115661160B - 一种面板缺陷检测方法及***及装置及介质 - Google Patents

Abstract

本发明公开了一种面板缺陷检测方法及***及装置及介质，涉及显示面板检测技术领域，本发明分别建立目标检测模型和异常检测模型，对待检测面板进行检测时，首先将面板图像输入所述目标检测模型中，将所述目标检测模型输出的无缺陷图像再次输入所述异常检测模型中，最后综合两个模型的输出结果获得面板缺陷信息，实现了自动化对面板已知缺陷和未知缺陷的检出；根据对OLED面板在弯折测试前后的图像确定了OLED面板缺陷产生原因，提高了面板生产效率，降低了面板的未知质量风险，具有良好的实用性。

Description

一种面板缺陷检测方法及***及装置及介质

技术领域

本发明涉及显示面板检测技术领域，具体地，涉及一种面板缺陷检测方法及***及装置及介质。

背景技术

随着面板行业的蓬勃发展，面板制造工艺愈加复杂化、细致化，面板制程中涉及生产工艺繁多，对环境要求极高。但在生产过程中，面板由于工艺波动、机台差异等原因难免会产生各种缺陷。由于面板缺陷繁杂且缺陷形态各异，目前的AOI（Automated OpticalInspection，光学自动检测）技术无法实现自动分类，因此各工厂对于面板的缺陷检测主要还是采用人工目检的方式进行，但人工目检存在极大的不稳定性，不同检测工人的主观标准存在差异，且长时间工作下工人的疲劳状态也会影响目检结果。针对这一问题，机器视觉在面板缺陷检测上的应用就变得尤为重要。然而，目前针对面板类产品的缺陷检测方法只能检测出已知的面板缺陷类型，但由于面板制程带来的复杂影响，面板可能存在具有巨大风险的新型未知缺陷，现有机器视觉检测方案不能满足实际生产中对面板质量检测的需要。

发明内容

为了实现自动对面板存在的已知和未知缺陷检出，提高面板生产效率，降低未知质量风险，本发明提供了一种面板缺陷检测方法，所述面板缺陷检测方法包括以下步骤：

步骤1：获得面板缺陷样本集，对所述面板缺陷样本集进行标注，获得第一训练样本集；

步骤2：建立第一机器学习模型，根据所述第一训练样本集对所述第一机器学习模型进行训练，获得目标检测模型；

步骤3：获得面板标准样本集，建立第二机器学习模型，根据所述面板标准样本集对所述第二机器学习模型进行训练，获得异常检测模型；

步骤4：获得待检测面板并进行图像采集，获得第一面板图像，根据所述目标检测模型对所述第一面板图像进行检测，获得第一检测结果；

步骤5：分析所述第一检测结果，若所述第一检测结果为异常，则获得第一面板缺陷信息，并返回步骤4，若所述第一检测结果为正常，则执行步骤6；

步骤6：根据所述异常检测模型对所述第一面板图像进行检测，获得第二检测结果；

步骤7：分析所述第二检测结果，获得第二面板缺陷信息，并返回步骤4。

其中，本方法原理为：获得面板缺陷样本集，建立第一机器学习模型，并根据所述面板缺陷样本集对所述进行训练，获得目标检测模型，所述目标检测模型用于检测面板已知缺陷；获得面板标准样本集，建立第二机器学习模型，并根据所述面板标准样本集对所述第二机器学习模型进行训练，获得异常检测模型，所述异常检测模型用于检测面板未知缺陷。对待检测面板进行检测时，首先将面板图像输入所述目标检测模型中，然后将所述目标检测模型输出的无缺陷图像再次输入所述异常检测模型中，最后综合两个模型的输出结果获得面板缺陷信息，实现了自动化对面板已知缺陷和未知缺陷的检出，提高了面板生产效率，降低了面板的未知质量风险，具有良好的实用性。

进一步的，由于同一面板上可能存在多个缺陷，同一面板上存在的多个缺陷种类可能不同，为了准确对面板已知缺陷进行分类，需要提取缺陷面板图像中的缺陷部分，分别对所述缺陷部分进行标注，获得准确的训练样本集，使所述目标检测模型具有更好的检测效果，因此，所述步骤1具体为：

获得面板缺陷样本集，所述面板缺陷样本集包括至少一个缺陷面板图像；

获得每个所述缺陷面板图像对应的缺陷位置，并记录坐标；

根据所述坐标对所述缺陷面板图像进行切割，获得缺陷图像；

对所述缺陷图像进行分类，并根据分类结果对所述缺陷图像进行标注，获得第一训练样本集。

进一步的，要通过机器学习实现自动化检出面板中已知的缺陷，就需要通过已知的样本集对机器学习模型进行训练，但对于面板缺陷而言，由于没有现成的面板缺陷数据集，且各面板生产厂商生产的面板存在差异，数据难以共用，因此需要人工对现有的面板缺陷图像进行标注，从而获得用于训练机器学习模型的训练样本集；一般而言，训练样本集中包含的数据量越大，机器学习模型的训练效果就更好，但大量的图像标注工作会产生大量的人工成本，因此，为了在保证模型检测效率的前提下降低人工工作量，提高效率，所述第一机器学习模型优选基于FPN结构的faster-RCNN目标检测框架，结合FPN结构的faster-RCNN目标检测框架适用于小样本量的机器学习问题，在训练样本量较少的情况下仍能够保持良好的学习效果。

进一步的，为了实现对面板图像中未知缺陷的检出，首先需要基于无监督模型对面板正常图像进行学习，然后将面板缺陷作为测试集对模型进行测试，使机器学习模型能够将面板正常图像和面板缺陷图像相区分，获得可信的异常检测模型，因此，为了获得面板缺陷图像，根据所述缺陷样本集建立对应的蒙版，所述蒙版用于遮住图像正常部分，保留图像缺陷部分，将所述面板缺陷样本与所述蒙版相乘即可获得面板缺陷图像，所述步骤3具体为：

获得所述缺陷样本集中每个图像对应的缺陷轮廓；

根据所述缺陷轮廓产生二值化蒙版图像，所述二值化蒙版图像用于提取所述缺陷样本集中图像缺陷部分；

根据所述二值化蒙版对所述缺陷样本集进行处理，获得测试样本集；

获得面板标准样本集，建立第二机器学习模型；

根据所述面板标准样本集对所述第二机器学习模型进行训练，并根据所述测试样本集对训练后的模型进行测试，获得异常检测模型。

进一步的，为了保证所述缺陷检测的可靠性，需要尽可能获得更多的测试样本调节模型参数，从而保证检测结果的准确性；但在实际生产中，存在新缺陷的测试样本获取难度较大，因此，通过调整蒙版大小提高缺陷样本的复用率，所述二值化蒙版图像中取值为1的图像面积小于或等于所述缺陷轮廓围成的图像面积，通过调整蒙版的大小和位置即可获得不同的测试样本。

进一步的，异常检测算法在检测图像未知缺陷时，首先将图像送入模型，提取图像特征，然后在特征空间中构造评分规则，通过评分结果将图像分为有异常和无异常两类，SPADE模型（Semantic Pyramid Anomaly Detection，预训练模型）在异常检测中具有良好的效果，能够实现像素级的特征提取与分类，但基于SPADE模型的异常检测方法测试时间复杂度与数据量成线性关系，当SPADE模型随着检测过程储存了更多的特征，其耗费的时间也随之提高，为了提高未知缺陷检出的效率，基于PatchCore异常检测算法的模型在相同条件下储存的特征更少，但同样具有良好的图像分类效果，因此优选所述第二机器学习模型为PatchCore异常检测算法。

进一步的，在对面板的实际检测中，对发现的未知缺陷进行分析后，需要对经常出现的未知缺陷进行分析，确定缺陷产生的原因，并将所述未知缺陷确定为已知缺陷加以长期监测，通过反馈学习提高本方法的缺陷检出率，因此，所述步骤6中获得第二检测结果后还包括以下步骤：

步骤a：分析所述第二检测结果，若所述第二检测结果为异常，则认为通过异常检测模型发现面板存在未知类型的缺陷，获得对应的第二面板图像；

步骤b：对所述第二面板图像进行标注，并将所述第二面板图像加入所述第一训练样本集，获得第二训练样本集，即将未知缺陷进行定义后作为已知类型的缺陷加入至所述第一训练样本集；

步骤c：根据所述第二训练样本集重新训练所述第一机器学习模型，更新所述目标检测模型，当所述目标检测模型再次检测到上述未知缺陷时能够及时检出；

步骤d：将所述第二面板图像加入所述面板缺陷样本集，获得第二面板缺陷样本集，更新后的第二面板缺陷样本集数据量增大，能够为所述第二机器学习模型提供更优的训练样本；

步骤e：根据所述第二面板缺陷样本集和所述面板标准样本集重新训练所述第二机器学习模型，更新所述异常检测模型。

进一步的，对于用于折叠屏的OLED面板，由于需要对面板进行弯折测试，OLED面板缺陷产生的原因包括但不限于工艺制程缺陷、来料质量缺陷和测试不当引入的新缺陷，为了准确定位OLED面板缺陷产生的原因，需要对OLED面板进行测试前后的图像作差，根据结果确定缺陷产生的原因，因此，所述步骤6中获得第二检测结果后还包括以下步骤：

对所述待检测面板进行测试，并对测试后的所述待检测面板进行图像采集，获得第三面板图像；

其中，由于所述第一面板图像和所述第三面板图像均在工业环境下采集，通过控制图像采集设备相对待检测面板的方位和距离一致、照射待检测面板的面源入射强度和方向一致时，所述第一面板图像和所述第三面板图像差异即为弯折测试带来的面板表面差异；

为了便于计算图像差异对所述第三面板图像对应的所述第一面板图像进行处理，获得第一灰度图像；对所述第三面板图像进行处理，获得第二灰度图像；

计算所述第一灰度图像和所述第二灰度图像的差获得计算结果，增强所述计算结果，获得第一数据，所述第一数据表示所述第一面板图像和所述第三面板图像的差异大小；

分析所述第一数据，获得面板缺陷类型。

为实现上述目的，本发明还提供了一种面板缺陷检测***，所述***包括：

图像采集单元，用于获得面板缺陷样本集、面板标准样本集和第一面板图像；

图像处理单元，用于对所述面板缺陷样本集进行标注，获得第一训练样本集；

模型建设单元，用于建立第一机器学习模型，根据所述第一训练样本集对所述第一机器学习模型进行训练，获得目标检测模型；建立第二机器学习模型，根据所述面板标准样本集对所述第二机器学习模型进行训练，获得异常检测模型；

缺陷检测单元，用于对所述第一面板图像进行缺陷检测；

其中，对所述第一面板图像进行缺陷检测具体为：

根据所述目标检测模型对所述第一面板图像进行检测，获得第一检测结果；

若所述第一检测结果正常，则根据所述异常检测模型对所述第一面板图像进行检测，获得第二检测结果；

分析所述第一检测结果和所述第二检测结果，获得面板缺陷信息。

其中，本***原理为：图像采集单元获得面板缺陷样本集、面板标准样本集和待检测面板第一面板图像；图像处理单元对所述面板缺陷样本进行标注，获得第一训练样本集；模型建设单元建立第一机器学习模型，并根据所述第一缺陷样本集对所述进行训练，获得目标检测模型，所述目标检测模型用于检测面板已知缺陷；建立第二机器学习模型，并根据所述面板标准样本集对所述第二机器学习模型进行训练，获得异常检测模型，所述异常检测模型用于检测面板未知缺陷；缺陷检测单元将面板图像输入所述目标检测模型中，将所述目标检测模型输出的无缺陷图像再次输入所述异常检测模型中，最后综合两个模型的输出结果获得面板缺陷信息，实现了自动化对面板已知缺陷和未知缺陷的检出，提高了面板生产效率，降低了面板的未知质量风险，具有良好的实用性。

为实现上述目的，本发明还提供了一种面板缺陷检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一个面板缺陷检测方法的步骤。

为实现上述目的，本发明还提供了一种计算机可读介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任意一个面板缺陷检测方法的步骤。

本发明提供的一个或多个技术方案，结合有监督的目标检测模型和无监督的异常检测模型对待检测面板进行检测，综合两个模型的输出结果获得面板缺陷信息，实现了自动化对面板已知缺陷和未知缺陷的检出，降低了面板的未知质量风险；根据异常检测模型获得的结果对目标检测模型进行更新，优化了方案的泛化能力，提高了检测结果的可靠性；同时，能够针对OLED面板的特性定位面板缺陷产生原因，提高了面板生产效率，具有良好的实用性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中面板缺陷检测方法流程示意图；

图2是本发明中OLED面板缺陷检测流程示意图；

图3是本发明中面板缺陷检测***框架示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

请参考图1，本发明实施例一提供了一种面板缺陷检测方法，所述面板缺陷检测方法包括以下步骤：

步骤1：获得面板缺陷样本集，对所述面板缺陷样本集进行标注，获得第一训练样本集；

步骤2：建立第一机器学习模型，根据所述第一训练样本集对所述第一机器学习模型进行训练，获得目标检测模型；

步骤3：获得面板标准样本集，建立第二机器学习模型，根据所述面板标准样本集对所述第二机器学习模型进行训练，获得异常检测模型；

步骤4：获得待检测面板并进行图像采集，获得第一面板图像，根据所述目标检测模型对所述第一面板图像进行检测，获得第一检测结果；

步骤5：分析所述第一检测结果，若所述第一检测结果为异常，则获得第一面板缺陷信息，并返回步骤4，若所述第一检测结果为正常，则执行步骤6；

步骤6：根据所述异常检测模型对所述第一面板图像进行检测，获得第二检测结果；

步骤7：分析所述第二检测结果，获得第二面板缺陷信息，并返回步骤4。

其中，所述第一机器学习模型可以为基于线性回归算法、基于逻辑回归算法、基于K临近算法、基于神经网络或基于支持向量机算法的有监督机器学习算法，所述第一机器学习模型算法的选择根据实际需要确定，本实施例在此不做具体限定。

其中，所述第一机器学习模型用于检测面板图像中已知的缺陷，需要对已知类型的缺陷进行学习，因此，所述第一机器学习模型可以为基于RCNN系列、YOLO系列或SSD系列的有监督目标检测框架，RCNN系列目标检测框架中包括RCNN、 Fast-RCNN和Faster-RCNN框架，Faster-RCNN目标检测框架将目标检测所需要的四个步骤，即候选区域生成、特征提取、分类器分类和回归器回归四个步骤全都交给深度神经网络来做，并且所述四个步骤全部运行在 GPU上，大大提高了操作效率，因此，本实施例优选所述第一机器学习模型为基于FPN结构的faster-RCNN目标检测框架，能够有效的适用于小样本量的目标检测问题。

其中，所述第二机器学习模型用于检测面板图像中未知的缺陷，仅需要对标准面板图像进行学习，因此，所述第二机器学习模型可以为基于KNN算法、Kmeans算法、PatchCore异常检测算法或DBScan算法的无监督模型，由于PatchCore算法简单高效，相对而言测试速度比较优秀，因此本实施例优选所述第二机器学习模型为基于PatchCore异常检测算法的无监督模型。

具体的，对于某一待检测面板，若所述第一检测结果为正常，所述第二检测结果为正常，则认为该待检测面板不存在任何缺陷，属于合格品；若所述第一检测结果为正常，所述第二检测结果为异常，则认为该待检测面板不存在已知类型的缺陷，但存在未知类型的缺陷，属于残次品；若所述第一检测结果为异常，则不对该待检测面板进行第二次检测，认为该待检测面板存在已知类型的缺陷，属于残次品。

其中，在本实施例中，所述步骤1具体为：

获得面板缺陷样本集，所述面板缺陷样本集包括至少一个缺陷面板图像；

获得每个所述缺陷面板图像对应的缺陷位置，并记录坐标；

根据所述坐标对所述缺陷面板图像进行切割，获得缺陷图像；

对所述缺陷图像进行分类，并根据分类结果对所述缺陷图像进行标注，获得第一训练样本集。

其中，所述获得每个所述缺陷面板图像对应的缺陷位置即获得缺陷面板图像中缺陷对应的外接矩形，记录坐标即记录所述外接矩形的左上角和右下角的坐标，所述外接矩形可以通过基于像素的轮廓检测算法、基于边缘的轮廓检测算法或基于区域的轮廓检测算法获得，具体获得方法根据实际需要确定，本实施例在此不做具体限定。

其中，对所述缺陷进行分类，并根据分类结果对所述缺陷图像进行标注过程中，分类标准以及标注内容根据实际需要确定，本实施例在此不做具体限定。

其中，在本实施例中，所述步骤3具体为：

获得所述缺陷样本集中每个图像对应的缺陷轮廓；

根据所述缺陷轮廓生产二值化蒙版图像，所述二值化蒙版图像用于提取所述缺陷样本集中图像缺陷部分；

根据所述二值化蒙版对所述缺陷样本集进行处理，获得测试样本集；

获得面板标准样本集，建立第二机器学习模型；

根据所述面板标准样本集对所述第二机器学习模型进行训练，并根据所述测试样本集对训练后的模型进行测试，获得异常检测模型。

其中，可以通过基于像素的轮廓检测算法、基于边缘的轮廓检测算法或基于区域的轮廓检测算法获得所述缺陷样本集中每个图像对应的缺陷轮廓，具体获得方法根据实际需要确定，本实施例在此不做具体限定。

其中，由于所述二值化蒙版图像用于提取所述缺陷样本集中图像缺陷部分，即遮住图像中标准部分，露出图像中缺陷部分，因此，所述二值化蒙版图像中对应所述缺陷轮廓内的部分取值为1，其余部分取值为0，根据所述二值化蒙版对所述缺陷样本集进行处理即将所述二值化蒙版与所述缺陷样本集中对应的图像相与，获得测试样本集。

其中，在本实施例中，为了保证所述缺陷检测的可靠性，需要尽可能获得更多的测试样本调节模型参数，从而保证检测准确性；但在实际生产中，存在新缺陷的测试样本获取难度较大，因此，通过调整蒙版大小提高缺陷样本的复用率,所述二值化蒙版图像中取值为1的图像面积小于或等于所述缺陷轮廓围成的图像面积，具体面积根据实际需要确定，本实施例在此不做具体限定。

实施例二

请参考图1-图2，本发明实施例二提供了一种面板缺陷检测方法，在实施例一的基础上，所述步骤6中获得第二检测结果后还包括以下步骤：

步骤a：分析所述第二检测结果，若所述第二检测结果为异常，则获得对应的第二面板图像；

步骤b：对所述第二面板图像进行标注，并将所述第二面板图像加入所述第一训练样本集，获得第二训练样本集；

步骤c：根据所述第二训练样本集重新训练所述第一机器学习模型，更新所述目标检测模型；

步骤d：将所述第二面板图像加入所述面板缺陷样本集，获得第二面板缺陷样本集；

步骤e：根据所述第二面板缺陷样本集和所述面板标准样本集重新训练所述第二机器学习模型，更新所述异常检测模型。

其中，对所述第二面板图像进行标注并加入所述第一训练样本集具体包括以下步骤：

获得所述第二面板图像对应的缺陷位置，并记录坐标；

根据所述坐标对所述第二面板图像进行切割，获得缺陷图像；

对所述缺陷图像进行标注，并加入所述第一训练样本集，获得第二训练样本集；

其中，对所述缺陷图像进行标注的具体内容根据实际需要确定，本实施例在此不做具体限定。

其中，在本实施例中，对于用于折叠屏的OLED面板，由于需要对面板进行弯折测试，所述步骤6中获得第二检测结果后还包括以下步骤：

对所述待检测面板进行测试，并对测试后的所述待检测面板进行图像采集，获得第三面板图像；

对所述第三面板图像对应的所述第一面板图像进行处理，获得第一灰度图像；

对所述第三面板图像进行处理，获得第二灰度图像；

计算所述第一灰度图像和所述第二灰度图像的差获得计算结果，增强所述计算结果，获得第一数据；

分析所述第一数据，获得面板缺陷类型。

其中，由于所述第一面板图像和所述第三面板图像均在工业环境下采集，通过控制图像采集设备相对待检测面板的方位和距离一致、照射待检测面板的面源入射强度和方向一致时，所述第一面板图像和所述第三面板图像差异即为弯折测试带来的面板表面差异，因此，将所述第一面板图像和所述第三面板图像进行处理后，分别获得第一灰度图像和第二灰度图像，通过计算第一灰度图像和第二灰度图像的差异即可定位OLED面板缺陷产生的原因。

其中，通过直方图均衡、均值滤波或高斯滤波对所述计算结果进行增强，具体增强方法根据实际需要确定，本实施例在此不做具体限定。

其中，所述第一数据表示所述第一面板图像和所述第三面板图像的差异大小，通过设置第一数据对应的第一阈值和第二阈值定位OLED面板缺陷产生的原因，具体的，若所述第一数据小于第一阈值时，认为OLED面板没有在弯折测试阶段产生新的缺陷，面板生产流程正常；若所述第一数据大于或等于第一阈值，且小于第二阈值时，认为OLED面板在弯折测试阶段产生新的缺陷，需要对弯折测试阶段对应的制程进行检查；若所述第一数据大于或等于第二阈值，认为OLED面板在弯折测试阶段产生的严重的新缺陷，需要对弯折测试阶段对应的制程以及面板来料质量进行检查，所述第一阈值和所述第二阈值的具体大小根据实际需要确定，本实施例在此不做具体限定。

实施例三

请参考图3，本发明实施例三提供了一种面板缺陷检测***，所述***包括：

图像采集单元，用于获得面板缺陷样本集、面板标准样本集和第一面板图像；

图像处理单元，用于对所述面板缺陷样本集进行标注，获得第一训练样本集；

模型建设单元，用于建立第一机器学习模型，根据所述第一训练样本集对所述第一机器学习模型进行训练，获得目标检测模型；建立第二机器学习模型，根据所述面板标准样本集对所述第二机器学习模型进行训练，获得异常检测模型；

缺陷检测单元，用于对所述第一面板图像进行缺陷检测；

其中，对所述第一面板图像进行缺陷检测具体为：

根据所述目标检测模型对所述第一面板图像进行检测，获得第一检测结果；

若所述第一检测结果正常，则根据所述异常检测模型对所述第一面板图像进行检测，获得第二检测结果；

分析所述第一检测结果和所述第二检测结果，获得面板缺陷信息。

实施例四

本发明实施例四提供了一种面板缺陷检测置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述面板缺陷检测方法的步骤。

实施例五

本发明实施例五提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述面板缺陷检测方法的步骤。

其中，所述处理器可以是中央处理器（CPU，Central Processing Unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（Application Specific Integrated Circuit）、现成可编程门阵列（Field programmablegate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器也可以是任何常规的处理器。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中面板缺陷检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述面板缺陷检测装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序存储于一个计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种面板缺陷检测方法，其特征在于，所述面板缺陷检测方法包括以下步骤：

步骤1：获得面板缺陷样本集，对所述面板缺陷样本集进行标注，获得第一训练样本集；

步骤2：建立第一机器学习模型，根据所述第一训练样本集对所述第一机器学习模型进行训练，获得目标检测模型；

步骤3：获得所述面板缺陷样本集中每个图像对应的缺陷轮廓；根据所述缺陷轮廓产生二值化蒙版图像，所述二值化蒙版图像用于提取所述面板缺陷样本集中图像缺陷部分；根据所述二值化蒙版对所述面板缺陷样本集进行处理，获得测试样本集；获得面板标准样本集，建立第二机器学习模型；根据所述面板标准样本集对所述第二机器学习模型进行训练，并根据所述测试样本集对训练后的模型进行测试，获得异常检测模型；

步骤4：获得待检测面板并进行图像采集，获得第一面板图像，根据所述目标检测模型对所述第一面板图像进行检测，获得第一检测结果；

步骤5：分析所述第一检测结果，若所述第一检测结果为异常，则获得第一面板缺陷信息，并返回步骤4，若所述第一检测结果为正常，则执行步骤6；

步骤6：根据所述异常检测模型对所述第一面板图像进行检测，获得第二检测结果；

步骤7：对所述待检测面板进行测试，并对测试后的所述待检测面板进行图像采集，获得第三面板图像；

对所述第三面板图像对应的所述第一面板图像进行处理，获得第一灰度图像；

对所述第三面板图像进行处理，获得第二灰度图像；

计算所述第一灰度图像和所述第二灰度图像的差获得计算结果，增强所述计算结果，获得第一数据；

分析所述第一数据，分别判断所述第一数据和第一阈值和第二阈值的大小关系，若所述第一数据小于所述第一阈值，则面板生产流程正常；若所述第一数据大于或等于所述第一阈值且小于所述第二阈值，则面板弯折测试流程异常；若所述第一数据大于或等于所述第二阈值，则面板弯折测试流程和面板来料质量均存在异常；

步骤8：分析所述第二检测结果，获得第二面板缺陷信息，并返回步骤4。

2.根据权利要求1所述的一种面板缺陷检测方法，其特征在于，所述步骤1具体为：

获得面板缺陷样本集，所述面板缺陷样本集包括至少一个缺陷面板图像；

获得每个所述缺陷面板图像对应的缺陷位置，并记录坐标；

根据所述坐标对所述缺陷面板图像进行切割，获得缺陷图像；

对所述缺陷图像进行分类，并根据分类结果对所述缺陷图像进行标注，获得第一训练样本集。

3.根据权利要求1所述的一种面板缺陷检测方法，其特征在于，所述第一机器学习模型为基于FPN结构的faster-RCNN目标检测框架。

4.根据权利要求1所述的一种面板缺陷检测方法，其特征在于，所述二值化蒙版图像中取值为1的图像面积小于或等于所述缺陷轮廓围成的图像面积。

5.根据权利要求1所述的一种面板缺陷检测方法，其特征在于，所述第二机器学习模型为PatchCore异常检测算法。

6.根据权利要求1所述的一种面板缺陷检测方法，其特征在于，所述步骤6中获得第二检测结果后还包括以下步骤：

步骤a：分析所述第二检测结果，若所述第二检测结果为异常，则获得对应的第二面板图像；

步骤b：对所述第二面板图像进行标注，并将所述第二面板图像加入所述第一训练样本集，获得第二训练样本集；

步骤c：根据所述第二训练样本集重新训练所述第一机器学习模型，更新所述目标检测模型；

步骤d：将所述第二面板图像加入所述面板缺陷样本集，获得第二面板缺陷样本集；

步骤e：根据所述第二面板缺陷样本集和所述面板标准样本集重新训练所述第二机器学习模型，更新所述异常检测模型。

7.一种面板缺陷检测***，其特征在于，所述***包括：

图像采集单元，用于对待检测面板进行图像采集，获得面板缺陷样本集、面板标准样本集和第一面板图像；

图像处理单元，用于对所述面板缺陷样本集进行标注，获得第一训练样本集；

模型建设单元，用于建立第一机器学习模型，根据所述第一训练样本集对所述第一机器学习模型进行训练，获得目标检测模型；获得所述面板缺陷样本集中每个图像对应的缺陷轮廓；根据所述缺陷轮廓产生二值化蒙版图像，所述二值化蒙版图像用于提取所述面板缺陷样本集中图像缺陷部分；根据所述二值化蒙版对所述面板缺陷样本集进行处理，获得测试样本集；获得面板标准样本集，建立第二机器学习模型；根据所述面板标准样本集对所述第二机器学习模型进行训练，并根据所述测试样本集对训练后的模型进行测试，获得异常检测模型；

缺陷检测单元，用于对所述第一面板图像进行缺陷检测；

其中，对所述第一面板图像进行缺陷检测具体为：

根据所述目标检测模型对所述第一面板图像进行检测，获得第一检测结果；

若所述第一检测结果正常，则根据所述异常检测模型对所述第一面板图像进行检测，获得第二检测结果；

对所述待检测面板进行测试，并对测试后的所述待检测面板进行图像采集，获得第三面板图像；

对所述第三面板图像对应的所述第一面板图像进行处理，获得第一灰度图像；

对所述第三面板图像进行处理，获得第二灰度图像；

计算所述第一灰度图像和所述第二灰度图像的差获得计算结果，增强所述计算结果，获得第一数据；

分析所述第一数据，分别判断所述第一数据和第一阈值和第二阈值的大小关系，若所述第一数据小于所述第一阈值，则面板生产流程正常；若所述第一数据大于或等于所述第一阈值且小于所述第二阈值，则面板弯折测试流程异常；若所述第一数据大于或等于所述第二阈值，则面板弯折测试流程和面板来料质量均存在异常；分析所述第一检测结果和所述第二检测结果，获得面板缺陷信息。

8.一种面板缺陷检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一个所述面板缺陷检测方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一个所述面板缺陷检测方法的步骤。

Images