CN110009622A - 一种显示面板外观缺陷检测网络及其缺陷检测方法 - Google Patents

Abstract

本发明公开了一种显示面板外观缺陷检测网络及其缺陷检测方法，包括至少两个特征提取模块、至少两个检测预测输出模块、上采样模块以及输出层，通过特征提取模块对待处理的图像进行特征提取，并输出对应位置和深度的特征映射图，通过上采样模块将不同分辨率的特征映射图，上采样至分辨率一致的特征映射图，通过检测预测输出模块，对接收的特征映射图进行层叠、卷积降维后，输出对应尺度的预测结果；通过输出层获得检测结果后进行输出。本发明不仅降低了深度学习模型对于训练样本数量的要求，且大幅降低了显示面板缺陷检测的过检率和漏检率，而且更加的鲁棒。

Description

一种显示面板外观缺陷检测网络及其缺陷检测方法

技术领域

本发明涉及缺陷检测技术领域，具体涉及一种显示面板外观缺陷检测网络及其缺陷检测方法。

背景技术

在显示面板制作的过程中，往往因为显示面板上的划伤、压痕、破片、灰尘、污渍等缺陷，最终导致显示面板质量和成品等级的输出结果。因此，在显示面板制作的过程中，对组成显示面板的各个组件以及最终组装成功显示面板的表面进行缺陷检测，这至关重要。目前，显示面板各组件及其显示面板的检测主要依靠人眼观察和借助传统的图像处理算法进行检测。基于人眼的缺陷检测不仅存在很强的主观因素；并且，人眼进行长时间的检测也会存在视觉疲劳；而基于传统图像处理算法的面板缺陷检测算法泛化能力差、待调参数冗余、智能化程度低、过检率和漏检率很高，这些因素叠加起来导致显示面板缺陷检测设备后期的维护成本非常高昂，因此，并不能进行大规模的应用。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

[1]根据缺陷样本中的缺陷特点，构建各种用于提取缺陷特征的特征提取器，基于特征提取器提取的特征向量，训练一个基于机器学习算法的分类器，然后，这个分类器配合滑动窗口算法完成缺陷的检测。该类算法的主要问题在于需要根据不同的缺陷设计不同的特征提取方法，一旦缺陷的形状、面积发生较大的变化，则无法进行有效的缺陷检测；并且，此类方法针对微弱的缺陷，也会造成漏检和过检；

[2]基于传统的图像处理算法开发的缺陷检测算法，该类算法最大的问题就是泛化能力不强、需要调节的参数过多、检测过程需要人为干预，此类方法不仅会使得整个缺陷检测过程不能完全自动化，并且因为不可控因素众多，也会造成大量的过检和漏检；

[3]由质检员进行逐个人工检测。这样不仅会带来大量的人力成本和时间成本，并且效率低下；随着人眼疲劳程度的增加，也会造成微弱缺陷的大量漏检和过检。

由此可知，现有技术中存在检测准确性不高的技术问题。

发明内容

有鉴于此，本发明提供了一种显示面板外观缺陷检测网络及其缺陷检测方法，用以解决或者至少部分解决现有技术中存在的检测准确性不高的技术问题。

本发明提供了第一方面提供了一种显示面板外观缺陷检测网络，包括：至少两个特征提取模块、至少两个检测预测输出模块、上采样模块以及输出层，

特征提取模块，用于对待处理的图像进行特征提取，并输出对应位置和深度的特征映射图；各个特征提取模块之间采用密集连接的方式进行连接，每个特征提取模块包括四个DBL模块，且四个DBL模块之间采用密集连接的方式进行连接；

上采样模块，将不同分辨率的特征映射图，上采样至分辨率一致的特征映射图，输出至检测预测输出模块；

检测预测输出模块，用于对接收的特征映射图进行层叠、卷积降维后，输出对应尺度的预测结果；

输出层，用于根据检测预测输出模块输出的对应尺度的预测结果，获得检测结果，进行输出。

在一种实施方式中，特征提取模块和检测预测输出模块的数量都为六个。

在一种实施方式中，每个检测预测输出模块对应三个目标检测算法，其中，目标检测算法用以在特征映射图上进行目标检测框的预测。

在一种实施方式中，检测预测输出模块包括：一个连接层和三个DBL模块，其中，连接层用于对接收的特征映射图进行层叠，DBL模块用于对层叠后的特征映射图进行卷积降维，获得不同尺度上的检测预测输出。

在一种实施方式中，输出层具体用于：

对检测预测输出中目标检测框的矩形框置信度阈值、类别概率阈值进行阈值过滤；

对经过阈值过滤之后的结果进行非极大值抑制操作，获得整个检测网络最终的检测输出结果。

在一种实施方式中，每个DBL模块包括一个卷积层、一个BatchNorm层和一个激活函数ReLU，卷积层、BatchNorm层和激活函数ReLU依次连接。

基于同样的发明构思，本发明第二方面提供了一种缺陷检测方法，包括：

将待处理的面板图像输入第一方面所述的缺陷检测网络，获得缺陷检测结果。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种显示面板外观缺陷检测网络，包括至少两个特征提取模块、至少两个检测预测输出模块、上采样模块以及输出层，可以通过特征提取模块对待处理的图像进行特征提取，并输出对应位置和深度的特征映射图，且各个特征提取模块之间采用密集连接的方式进行短连接，每个特征提取模块包括四个DBL模块，且四个DBL模块之间采用密集连接的方式进行短连接；通过上采样模块，将不同分辨率的特征映射图，上采样至分辨率一致的特征映射图；通过检测预测输出模块对接收的特征映射图进行层叠、卷积降维后，输出对应尺度的预测结果；最后通过输出层获得检测结果，进行输出。

由于本发明提供的显示面板外观缺陷检测网络中，每个特征提取模块的四个DBL模块之间采用密集连接的方式连接，不同的特征提取模块之间也采用密集连接的方式进行连接。也就是除了常规的依次连接外，还将本层卷积提取的特征通过短连接的这种方式密集的向后面非相邻的DBL模块传递，从而可以更好的利用DBL模块从样本中提取到的特征，并降低网络对于样本量的需求，进而可以提高检测网络的准确性。

并且，本发明提供缺陷检测网络还进行多尺度连接预测，包括至少两个检测预测输出模块，不同的检测预测输出模块输入分别来自对应的特征提取模块，其中的特征提取模块分别输出网络的不同位置和不同的网络深度，从而，每一个检测预测输出模块可以得到一个尺度上的检测输出，解决了显示面板外观缺陷检测中遇到的小样本、大尺寸、检测缺陷尺度跨度大的问题，同时也解决了传统图像处理算法因为参数冗余、鲁棒性差而造成的显示设备后期维护成本过高而不能大规模应用的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为缺陷图像的缺陷尺度跨度示意图；

图2为一种具体示例中构建的检测网络DCDDNet的结构示意图；

图3为现有技术中一种主流网络连接方式示意图；

图4为本发明实施例提供的密集连接神经网络的连接方式示意图；

图5本发明实施例提供检测网络DCDDNet的各组件结构示意图。

具体实施方式

本发明的主要目的是提出一种稳定的、泛化能力强的、可以对显示面板外观缺陷图像中的缺陷进行有效检测的深度学习检测网络模型；同时解决显示面板外观缺陷检测领域中的小样本训练数据集合、待检测图像分辨率过大、缺陷尺度跨度太大的而引起的主流深度学习检测网络模型不能很好的检测和实时检测的问题。

该方法无需对当前的显示面板缺陷检测***结构进行修改，不会增加任何的硬件成本，同时该方法简单有效，具有容易实现、成本低、实用性高的特点。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请发明人通过大量的研究与实践发现，深度学习，特别是深度学习中的卷积神经网络，自2012年12月以来，陆续在图像识别、目标检测、图像语义分割、实例语义分割等领域取得了巨大的成功。为了使得面板缺陷检测算法对于缺陷的泛化能力更强、过漏检率更低、显示面板缺陷检测***更加智能、相关设备后期维护成本更低，本发明创造性地将深度学习算法引入面板缺陷检测领域。但是，主流的深度学习算法并不能直接应用于工业的显示面板缺陷检测。其主要原因有以下三点：

[1]小样本：基于深度学习算法的显示面板缺陷检测算法需要大量的缺陷图像作为训练数据集合，而在工业显示面板缺陷检测领域，要获得一定规模的缺陷样本数据集合极其困难；因此，能用于显示面板缺陷分类或者检测的训练样本非常少；

[2]大尺寸：工业面板缺陷图像的分辨率一般都为类似6480像素*3840像素这样的大尺寸图像，因此，主流的目标检测网络直接用于显示面板的外观缺陷检测，其单幅图像的前向传播预测过程将会是一个非常耗时的过程，不能达到工业检测上实时检测的要求；

[3]缺陷多尺度：显示面板外观缺陷图像中的缺陷的尺度变化非常之大，在一幅1024像素*1024像素分辨率的外观缺陷图像中，小的缺陷尺度可以小到4像素*4像素，大的缺陷尺度可以达到1000像素*1000像素，如图1所示，黑色矩形框内的为待检测缺陷，其具有很大的缺陷尺度变化，主流的目标检测网络模型是不能很好地进行检测的；

基于以上考虑，本发明提出了一种基于密集连接方式多尺度预测的显示面板外观缺陷检测网络，这种检测网络不仅可以解决显示面板外观缺陷检测中遇到的小样本、大尺寸、检测缺陷尺度跨度大的问题，同时也可以解决传统图像处理算法因为参数冗余、鲁棒性差而造成的显示设备后期维护成本过高而不能大规模应用的问题。

实施例一

本实施例提供了一种显示面板外观缺陷检测网络，包括：至少两个特征提取模块、至少两个检测预测输出模块、上采样模块以及输出层，

特征提取模块，用于对待处理的图像进行特征提取，并输出对应位置和深度的特征映射图；各个特征提取模块之间采用密集连接的方式进行连接，每个特征提取模块包括四个DBL模块，且四个DBL模块之间采用密集连接的方式进行连接；

上采样模块，将不同分辨率的特征映射图，上采样至分辨率一致的特征映射图，输出至检测预测输出模块；

检测预测输出模块，用于对接收的特征映射图进行层叠、卷积降维后，输出对应尺度的预测结果；

输出层，用于根据检测预测输出模块输出的对应尺度的预测结果，获得检测结果，进行输出。

具体来说，特征提取模块和检测预测输出模块的数量可以根据实际情况进行设置，特征提取模块即由四个DBL模块构成，用于特征提取。检测预测输出模块以特征提取模块传递的特征映射图为输入，分别输出不同尺度上的预测结果。

在具体的实施过程中，四个DBL模块之间采用密集连接的方式进行连接；请参见图3，第3个DBL层，除了接收第二个DBL层的输出外，还接收第一个DBL层的输出，同时第4个DBL层的输出至第4个DBL层外，还输出至OUT层。同理，特征提取模块之间也采用密集连接的方式进行连接，请参见图2，特征提取模块即DenseBlock_4模块。

也就是说，本发明中提出的DCDDNet检测网络模型中的密集连接不仅指各DBL模块之间使用密集连接的方式连接，各特征提取模块：DenseBlock_4模块之间的连接方式也是通过密集连接的方式进行连接的，从而可以提高样本信息的复用率，以降低对训练样本数量的需求。本发明通过密集连接方式缺陷目标检测领域的，基于此可以构建不同的检测网络；

总体来说，本发明的主要创新点在于构建了一种基于密集连接方式多尺度预测的显示面板外观缺陷检测网络模型，并将该检测网络命名为DCDDNet，该检测网络模型相对于主流的目标检测网络模型主要包括以下两点改进：

[1]密集连接：由于在实际的显示面板外观检测检测领域，很难获得一定规模的外观缺陷图像数据集合作为深度检测学习模型的训练数据集合，但是，如果没有足够的训练数据集合，最终训练出来的缺陷检测模型又不能很好的对缺陷图像中的外观缺陷进行检测，为了解决这一问题，本发明在构建检测网络模型的时候，将密集连接这一思想引入检测网络模型，密集连接网络可以最大限度的提取训练样本中可以利用的信息，并通过密集连接的方式可以最大限度的减少在网络传递的过程中，提取的特征信息的损失，这样就在无形中提高了训练样本信息的利用率，从而降低了整个网络模型对于训练样本的依赖。

目前，主流的深度学习检测网络模型的连接方式如图3所示，密集连接方式的网络结构示意图如图4所示。图3和图4中的In表示网络输入层，Out表示网络输出层，DBL表示一个卷积模块。从图3和图4的对比可知，密集连接网络中的卷积模块之间，除了常规的依次连接，还将本层卷积提取的特征通过短连接的这种方式密集的向后面非相邻的卷基层传递，这样就会更好的利用各卷积层从样本中提取到的特征，从而降低网络对于样本量的需求。

在一种实施方式中，本发明实施例提供的缺陷检测网络中，特征提取模块和检测预测输出模块的数量都为六个。

在一种实施方式中，每个检测预测输出模块对应三个目标检测算法，其中，目标检测算法用以在特征映射图上进行目标检测框的预测。

具体来说，请参见图2，为DCDDNet检测网络结构图。该图中，Dec模块表示检测预测输出模块，DenseBlock_4模块表示特征提取模块，UP表示上采样模块，OUT表示输出层。

其中，每一个Dec模块为一个尺度上的检测输出，DCDDNet检测网络共计有6个检测预测输出模块，这六个Dec模块的输入，分别来自DCDDNet检测网络特征提取部分的6个DenseBlock_4模块。而这6个DenseBlock_4模块分别输出网络的不同位置和不同的网络深度。

[2]多尺度连接预测：每一个Dec模块中对应3个Anchor。Anchor为目标检测领域中的一种算法，其主要的作用是用于在输入层的图像上或者整个特征提取部分得到的最后的特征映射图上，进行目标检测框Bounding Box的预测。因此，本实施例提供的缺陷检测网络，共需要设置18个Anchor长宽比。构造一个包含6个来自不同网络深度的多尺度预测检测模型，并使用18个不同尺度比例的Anchor机制，主要的目的是为了解决显示面板缺陷检测中，缺陷尺度跨度太大的问题，使用多尺度预测，就可以在不同大小的尺度上去捕获图像上待检测目标的特征信息；同时这样的网络构建方式最大程度上压缩了检测网络模型的深度，也增加了特征提取层的信息复用，从而有助于减少单幅图像单次前向传播时间消耗，也可以降低整个检测模型在模型训练阶段对于训练样本数量的需求。

在一种实施方式中，本发明实施例提供的缺陷检测网络中，检测预测输出模块包括：一个连接层和三个DBL模块，其中，连接层用于对接收的特征映射图进行层叠，DBL模块用于对层叠后的特征映射图进行卷积降维，获得不同尺度上的检测预测输出。

在一种实施方式中，本发明实施例提供的缺陷检测网络中，输出层具体用于：

对检测预测输出中目标检测框的矩形框置信度阈值、类别概率阈值进行阈值过滤；

对经过阈值过滤之后的结果进行非极大值抑制操作，获得整个检测网络最终的检测输出结果。

在一种实施方式中，本发明实施例提供的缺陷检测网络中，每个DBL模块包括一个卷积层、一个BatchNorm层和一个激活函数ReLU，卷积层、BatchNorm层和激活函数ReLU依次连接。

具体来说，卷积层的主要作用是用于提取图像中的局部特征；BatchNorm层，一般称为正则化层，主要是用于方式网络出现过拟合、梯度消失、进入局部最优解的问题；ReLU是一种激活函数，主要是增加整个网络的非线性预测，这将会大大提高网络解决负责问题的能力。

请参见图5，其中DBL为基本的卷积特征提取模块，DBL模块由卷积层、BatchNorm层、ReLU层依次连接构成；Dec模块由连接层Cont、三个DBL模块依次连接构成；DenseBlock_4模块，由4个DBL通过密集连接的方式连接构成；图5中的Up模块为上采样层，其主要功能为将不同分辨率的特征映射图上采样为分辨率一致的特征映射图后，将这些特征映射图送入Dec。其中Up层的输入来自两处，分别为Dec的输出和不同的DenseBlock_4模块，该检测网络Up模块有5个。

Dec模块再利用其中的连接层Cont，将这些特征映射层叠加起来，然后通过三个卷积层进行卷积降维，以便获得不同尺度上的检测预测输出。

对于一幅待检测的图像，六个尺度上的预测模块都将会给出各自尺度上的预测结果，这些结果输入Out层，Out层内将会对这些结果中的目标检测框中的矩形框置信度阈值、类别概率阈值进行阈值过滤，经过这些阈值过滤之后的结果，最终会通过NMS模块，经过NMS模块过滤之后的结果，就是整个检测网络最终的检测输出结果。

需要说明的是，如没有特殊说明，本发明中涉及的英文简写的具体含义如表2所示。

表2术语解释

总体来说，本发明的主要目的是提出一种稳定的、泛化能力强的、可以对显示面板外观缺陷图像中的缺陷进行有效检测的深度学习检测网络模型；同时解决显示面板外观缺陷检测领域中的小样本训练数据集合、待检测图像分辨率过大、缺陷尺度跨度太大的而引起的主流深度学习检测网络模型不能很好的检测和实时检测的问题。该检测网络或者算法的优点如下所示：

1、无需对当前的AOI结构进行修改，不会增加任何的硬件成本，

2、与现有深度学习网络模型相比，不仅降低了深度学习模型对于训练样本数量的要求，而且，该检测网络使用了更少的卷积层，因此，前向传播的速度更快，满足显示面板外观缺陷检测领域对于缺陷实时检测的要求。

3、与传统的图像处理算法相比，不仅大幅降低了显示面板缺陷检测的过检率和漏检率，而且更加的鲁棒。

4、基于该检测网络构建的显示面板外观缺陷检测***将会极大的推动显示面板外观缺陷检测***的自动化、智能化，提高AOI检测设备的性能，减少人工检测的人力投入。

基于同一发明构思，本申请还提供了一种基于实施例一中缺陷检测网络的缺陷检测方法，详见实施例二。

实施例二

本实施例提供了一种缺陷检测方法，包括：

将待处理的面板图像输入实施例一所述的缺陷检测网络，获得缺陷检测结果。

由于本发明实施例二所介绍的缺陷检测方法，为基于本发明实施例一中缺陷检测网络所实现的方法，故而基于本发明实施例一所介绍的缺陷检测网络，本领域所属人员能够了解该方法的具体实施方式，故而在此不再赘述。凡是给予本发明实施例一的缺陷检测网络所实现的方法都属于本发明所欲保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种显示面板外观缺陷检测网络，其特征在于，包括：至少两个特征提取模块、至少两个检测预测输出模块、上采样模块以及输出层，

特征提取模块，用于对待处理的图像进行特征提取，并输出对应位置和深度的特征映射图；各个特征提取模块之间采用密集连接的方式进行连接，每个特征提取模块包括四个DBL模块，且四个DBL模块之间采用密集连接的方式进行连接；

上采样模块，将不同分辨率的特征映射图，上采样至分辨率一致的特征映射图，输出至检测预测输出模块；

检测预测输出模块，用于对接收的特征映射图进行层叠、卷积降维后，输出对应尺度的预测结果；

输出层，用于根据检测预测输出模块输出的对应尺度的预测结果，获得检测结果，进行输出。

2.如权利要求1所述的缺陷检测网络，其特征在于，特征提取模块和检测预测输出模块的数量都为六个。

3.如权利要求1所述的缺陷检测网络，其特征在于，每个检测预测输出模块对应三个目标检测算法，其中，目标检测算法用以在特征映射图上进行目标检测框的预测。

4.如权利要求1所述的缺陷检测网络，其特征在于，检测预测输出模块包括：一个连接层和三个DBL模块，其中，连接层用于对接收的特征映射图进行层叠，DBL模块用于对层叠后的特征映射图进行卷积降维，获得不同尺度上的检测预测输出。

5.如权利要求1所述的缺陷检测网络，其特征在于，输出层具体用于：

对检测预测输出中目标检测框的矩形框置信度阈值、类别概率阈值进行阈值过滤；

对经过阈值过滤之后的结果进行非极大值抑制操作，获得整个检测网络最终的检测输出结果。

6.如权利要求1或4所述的缺陷检测网络，其特征在于，每个DBL模块包括一个卷积层、一个BatchNorm层和一个激活函数ReLU，卷积层、BatchNorm层和激活函数ReLU依次连接。

7.一种缺陷检测方法，其特征在于，包括：

将待处理的面板图像输入如权利要求1至6任一项所述的缺陷检测网络，获得缺陷检测结果。