CN110599455A - 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质。其中该模型包括：用于提取图像特征的骨干特征提取网络模型和用于根据图像特征获取显示屏缺陷信息的检测模型，所述骨干特征提取网络模型包括传递方向连接的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块，其中中层网络特征提取模块、高层网络特征提取模块向后传递的特征映射图数量是按照S倍率递减的方式传递。该技术方案适用于显示屏面板缺陷检测，准确率高。

Description

显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质

技术领域

本申请涉及显示技术领域，尤其涉及一种显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质。

背景技术

在显示屏制作的过程中，往往因为显示屏上的划伤、压痕、破片、灰尘、污渍等缺陷，最终导致显示屏质量和成品等级的输出结果。因此，在显示屏制作的过程中，对组成显示屏的各个组件以及最终组装成功显示屏的表面进行缺陷检测至关重要。目前，显示屏各组件及其显示屏的检测主要依靠人眼观察和借助传统的图像处理算法进行检测。基于人眼的缺陷检测不仅存在很强的主观因素；并且，人眼进行长时间的检测也会存在视觉疲劳；而基于传统图像处理算法的面板缺陷检测算法泛化能力差、待调参数冗余、智能化程度低、过检率和漏检率很高，这些因素叠加起来导致显示屏缺陷检测设备后期的维护成本非常高昂，因此，并不能进行大规模的应用。

现有技术中还提出了一种把深度学习的卷积神经网络技术应用在目标检测的方法。主流的深度学习检测方法通常都是基于背景纹理丰富、轮廓信息、色彩信息富有、待分类对象和检测对象十分清晰的自然图像构建的分类网络或者目标检测网络，其中卷积神经网络中的骨干特征提取网络的连接方式如图1及图2所示。图1中，图中的特征网络提取组件DBL为一个卷积层、一个正则化层和一个ReLU的顺序连接的缩写，构成一个特征网络提取组件。相邻特征提取组件网络结构之间的数据流动和特征依赖传递关系，各相邻特征提取组件网络结构之间的特征映射图数量依次递增，如k、2k、4k....22k....。图2中，骨干特征提取网络采用网络连接结构-残差网络连接结构。

然而，现有的深度学习目标检测方法存在并不适用于显示屏缺陷检测的问题，主要由于：

(1)显示屏缺陷检测图像的特殊性。如图3所示，第一行为自然图像示例，第二行为显示屏缺陷检测图像示例，图中矩形框中的对象就是分类算法或者检测算法需要识别的目标对象。可以看出，显示屏缺陷检测图像的缺陷多为线性缺陷和一些简单的点状缺陷、斑状缺陷，没有丰富的背景纹理信息、背景色彩信息或轮廓信息。

(2)显示屏检测领域难以获取一定规模数量的缺陷样本集合。基于深度学习算法的目标检测算法需要大量的缺陷图像作为训练数据集合，而在工业显示屏缺陷检测领域，想要获得一定规模的缺陷样本数据集合极其困难，能用于显示屏缺陷分类或者检测的训练样本非常少。

发明内容

本申请提出了一种显示屏缺陷检测模型、方法、装置、电子设备及存储介质，能够至少解决由于显示屏图像特殊性或显示屏样本少所导致现有深度学习目标检测算法不适用于显示屏检测的一个问题。

根据本申请的第一方面，本申请提出了一种显示屏缺陷检测网络模型，包括用于提取图像特征的骨干特征提取网络模型和用于根据图像特征获取显示屏缺陷信息的检测模型，所述骨干特征提取网络模型包括沿传递方向连接的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块，所述高层网络特征提取模块接收的特征映射图是所述低层网络特征提取模块和中层网络特征提取模块传递的特征映射图之和再以S倍率递减，所述检测模型接收的特征映射图是所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块传递的特征映射图之和再以S倍率递减。

通过采用上述结构，使得模型更加侧重于输入图像的中层、低层特征映射图提取的中层、低层图像特征，从而更加适用于显示屏图像的缺陷检测。

所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块均包括和上层卷积块；

其中，所述上层卷积块包括三个串联的下层卷积块，每个下层卷积块包括沿传递方向连接的四个下层特征网络提取组件；

沿传递反向上，在后的每个下层特征网络提取组件接收的特征映射图是所在的下层卷积块内其前面所有下层特征网络提取组件传递的特征映射图之和。

通过采用上述结构，使得将网络前层获得的有效信息往后传播，大量的特征被复用，因此可以极大地降低所需用来训练网络的样本数量。

作为本申请的进一步改进，所述中层网络特征提取模块的卷积核数量是所述低层网络特征提取模块的卷积核数量再以y倍率递减的数量，且所述高层网络特征提取模块的卷积核数量是所述中层网络特征提取模块的卷积核数量再以y倍率递减的数量。

通过采用上述结构，可以进一步加重整个网络低层特征和中层特征在准确率计算的时候贡献度，更加适用于显示屏缺陷的检测。

作为本申请的进一步改进，所述检测模型包括低层预测模块、中层预测模块、高层预测模块和输出层；

其中，所述高层预测模块用来接收所述高层网络特征提取模块提取的高层特征映射图，获取高层预测信息；

所述中层预测模块用来接收所述中层网络特征提取模块提取的中层特征映射图和所述高层预测信息，获取中层预测信息；

所述低层预测模块用来接收所述低层网络特征提取模块提取的低层特征映射图和所述中层预测信息，获取低层预测信息；

所述输出层用来接收所述高层预测信息、中层预测信息和低层预测信息获取显示屏缺陷信息。

作为本申请的进一步改进，所述输出层用来接收所述高层预测信息、中层预测信息和低层预测信息并分别对其中目标检测框的矩形框置信度阈值和类别概率阈值进行阈值过滤和非极大值抑制过滤，获取显示屏缺陷信息。

作为本申请的进一步改进，所述检测模型还包括第一上采样层模块和/或第二上采样层模块；

所述中层预测模块接收所述高层预测信息之前，先将所述高层预测信息输入到所述第一上采样层模块，所述第一上采样层模块用来将所述高层预测信息采样为分辨率一致的特征映射图；

所述低层预测模块接收所述高层预测信息之前，先将所述中层预测信息输入到所述第一上采样层模块，所述第一上采样层模块用来将所述高层预测信息采样为分辨率一致的特征映射图。

根据本申请的第二方面，本申请提出了一种基于显示屏缺陷检测网络模型的显示屏缺陷检测方法，包括：

采用骨干特征提取网络模型提取图像特征，采用检测模型根据所述图像特征获取显示屏缺陷信息；

所述骨干特征提取网络模型包括沿传递方向连接的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块，其中所述高层网络特征提取模块接收的特征映射图是所述低层网络特征提取模块和中层网络特征提取模块传递的特征映射图之和再以S倍率递减，所述检测模型接收的特征映射图是所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块传递的特征映射图之和再以S倍率递减。

根据本申请的第三方面，本申请提出了一种显示屏缺陷检测方法，包括步骤：

获取训练样本集，所述训练样本集包括缺陷样本、标定样本；

利用所述训练样本集对如第一方面各种可能实现方式中任一所述的显示屏缺陷检测网络模型进行训练；

接收图像采集设备采集的待检测显示屏图像；

将所述待检测显示屏图像输入到训练后的如第一方面各种可能实现方式中任一所述的显示屏缺陷检测网络模型获取显示屏缺陷信息。

根据本申请的第四方面，本申请提出了一种显示屏缺陷检测装置，包括：

如第一方面各种可能实现方式中任一所述的显示屏缺陷检测网络模型；

训练样本获取模块，用来获取训练样本集，所述训练样本集包括缺陷样本、标定样本；

训练模块，用来利用所述训练样本集对如第一方面各种可能实现方式中任一所述的显示屏缺陷检测网络模型进行训练；

接收模块，用来接收待检测显示屏图像并输入到显示屏缺陷检测网络模型。

根据本申请的第五方面，本申请提出了一种电子设备，包括处理器和存储器，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第二方面和第三方面各种可能实现方式中任一项所述的方法。

根据本申请的第六方面，本申请提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面和第三方面各种可能实现方式中任一项所述的方法。

综上所述，总体而言，通过本申请所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)现有连接方式的骨干特征提取网络通常没有考虑低层网络特征部分、中层网络特征特征部分、高层网络特征特征部分提取的图像特征之间的关系或这三部分图像特征对检测结果的影响，适用于自然图像的处理。而本申请通过采用这种S倍率递减连接方式构建的骨干特征提取网络模型，使得模型更加侧重于输入图像的中低层特征映射图提取的中低层图像特征。由于显示屏缺陷检测图像的缺陷多为线性缺陷和一些简单的点状缺陷、斑状缺陷，没有丰富的背景纹理信息、背景色彩信息或轮廓信息，即缺陷更多地由低、中层特征反映出来，因此采用这种连接方式构建的骨干特征提取网络结构对于显示屏缺陷图像中缺陷的检测和分类是合理的，从而使得本申请的显示屏缺陷检测方法能够解决现有深度学习目标检测算法不适用于显示屏检测领域的问题，能够提高显示屏检测的准确率。

(2)能够解决由于显示面板缺陷检测获取样本少导致的现有深度学习目标检测算法不适用于显示屏检测领域的问题，将网络前层获得的有效信息往后传播，大量的特征被复用，使得使用少量的卷积核就可以生成大量的特征，这样整个骨干特征提取网络就极大程度上利用了样本的信息，因此可以极大地降低所需用来训练网络的样本数量。

附图说明

图1是现有技术中一种骨干提取网络的连接方式；

图2是现有技术中另一种骨干提取网络的连接方式；

图3是自然图像和显示屏缺陷图像的示意图；

图4是本申请实施例提供的显示屏缺陷检测装置的结构示意图；

图5是本申请实施例提供的骨干特征提取网络模型实施例一的结构示意图；

图6是本申请实施例提供的骨干特征提取网络模型实施例二的结构示意图；

图7是本申请实施例提供的显示屏缺陷检测模型的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用以解释本申请，并不用于限定本申请。此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本申请提出了一种显示屏缺陷检测模型、方法、装置、电子设备及存储介质，由于这种显示屏缺陷检测网络模型中的骨干特征提取网络模型中的低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块通过递减连接的方式，使得模型更加侧重于输入图像的中层、低层特征映射图提取的中层、低层图像特征，从而更加适用于显示屏图像的缺陷检测。

图4是本申请的显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质应用到实际显示屏检测中的示意图。本申请可以应用到现有电脑、通讯、消费型电子等行业中，本文所指的显示屏包括但不限于各种类型的电视显示面板、LED屏、LCD屏、OLED屏、手机屏、游戏机屏幕等。

相机等图像采集设备对生产线上的显示屏采集图像，将待检测显示屏图像发送给显示屏缺陷检测装置。显示屏缺陷检测装置包括：显示屏缺陷检测网络模型；训练样本获取模块，用来从样本数据库中获取训练样本集，训练样本集包括缺陷样本、标定样本；训练模块，用来利用所述训练样本集对显示屏缺陷检测网络模型进行训练；接收模块，用来接收图像采集设备采集的待检测显示屏图像，将接收到的待检测显示屏图像输入到显示屏缺陷检测模型。

利用上述的显示屏缺陷检测装置的显示屏缺陷检测方法，包括步骤：

步骤1，获取训练样本集，所述训练样本集包括缺陷样本、标定样本。

步骤2，利用训练样本集对显示屏缺陷检测网络模型进行训练。当把模型训练好之后，就可以将显示屏缺陷检测网络模型部署到电子设备上，对产线上的显示屏进行缺陷检测。

步骤3，接收待检测显示屏图像。

步骤4，将待检测显示屏图像输入到训练后的显示屏缺陷检测网络模型获取显示屏缺陷信息。显示屏缺陷信息可以包括缺陷在一幅图像中的像素坐标位置、缺陷的类别、缺陷的置信度概率等。

可选的，将待检测显示屏图像送入训练好的显示屏缺陷检测网络模型之前，可以进行图像的预处理，例如比如图像亮度的拉伸、ROI区域的提取、畸变的矫正等。

本申请实施例的显示屏缺陷检测网络模型包括包括用于提取图像特征的骨干特征提取网络模型和用于根据图像特征获取显示屏缺陷信息的检测模型，所述骨干特征提取网络模型包括沿传递方向连接的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块。骨干特征提取网络模型用来提取图像特征，按照低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块的连接方式提取低层特征映射图、中层特征映射图、高层特征映射图给检测模型。图像可以是训练样本，也可以是待检测显示屏图像。检测模型，用来获取显示屏缺陷信息获取显示屏缺陷信息。

在一可选实施例中，骨干特征提取网络模型如图5所示，骨干特征提取网络模型被划分为三个模块，包括低层网络特征提取模块DenseBlock_L、中层网络特征提取模块DenseBlock_M、高层网络特征提取模块DenseBlock_H,分别对输入图像的低层网络特征部分、中层网络特征部分、高层网络特征部分进行特征提取。每一个特征提取模块DenseBlock_X(X＝L或M或H)包含若干个特征网络提取组件DBL模块，用于每一个部分的特征提取。每个特征网络提取组件DBL由顺序连接的一个卷积层Conv、一个正则化层BatchNorm和一个激活函数ReLU构成。

骨干特征提取网络模型的低层网络特征提取模块DenseBlock_L一般提取的是物体的边缘信息；骨干特征提取网络的中层网络特征提取模块DenseBlock_M不仅包含边缘信息，还会包含一些具体的物体构建信息，例如耳朵的轮廓、鼻子的轮廓、手臂等局部信息；骨干特征提取网络的高层网络特征提取模块DenseBlock_H会提取物体的全局信息，例如说一个人的整体轮廓以及颜色、问题的细节信息。

低层网络特征提取模块DenseBlock_L、中层网络特征提取模块DenseBlock_M、高层网络特征提取模块DenseBlock_H采用递减连接方式。低层网络特征提取模块DenseBlock_L模块在向后面传递的时候，特征映射图的连接数量是没有递减的。而中层网络特征提取模块DenseBlock_M在向高层网络特征提取模块DenseBlock_H、高层网络特征提取模块DenseBlock_H在向检测模型进行输出的时候，特征映射图的连接数量都是按照S这个数字进行倍数递减的。S的取值为大于或等于2的偶数。

连接方式具体是：所述高层网络特征提取模块DenseBlock_H接收的特征映射图是所述低层网络特征提取模块和中层网络特征提取模块传递的特征映射图之和再以S倍率递减，所述检测模型接收的特征映射图是所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块传递的特征映射图之和再以S倍率递减。

k为每个特征网络结构传递给后面特征提取网络结构的特征映射图的数量基数，每经过一个特征提取模块，特征映射图数量翻倍。中层网络特征提取模块DenseBlock_M、高层网络特征提取模块DenseBlock_H、检测模型接收的特征映射图数量C1、C2、C3通过以下公式计算：

现有连接方式的骨干特征提取网络通常没有考虑低层网络特征部分、中层网络特征特征部分、高层网络特征特征部分提取的图像特征之间的关系或这三部分图像特征对检测结果的影响，适用于自然图像的处理。而本申请实施例通过采用这种S倍率递减连接方式构建的骨干特征提取网络模型，使得模型更加侧重于输入图像的中低层特征映射图提取的中低层图像特征。由于显示屏缺陷检测图像的缺陷多为线性缺陷和一些简单的点状缺陷、斑状缺陷，没有丰富的背景纹理信息、背景色彩信息或轮廓信息，即缺陷更多地由低、中层特征反映出来，因此采用这种连接方式构建的骨干特征提取网络结构对于显示屏缺陷图像中缺陷的检测和分类是合理的，从而使得本申请的显示屏缺陷检测方法能够解决现有深度学习目标检测算法不适用于显示屏检测领域的问题，能够提高显示屏检测的准确率。并且可以实现显示屏缺陷检测***的自动化、智能化，并且无须对其他检测装置如光学检测结构进行修改，不会增加任何的硬件成本。

可选的，中层网络特征提取模块DenseBlock_M的卷积核数量是低层网络特征提取模块DenseBlock_L的卷积核数量再以y倍率递减的数量，高层网络特征提取模块DenseBlock_H是中层网络特征提取模块DenseBlock_L的卷积核数量再以y倍率递减的数量，所述y为大于或等于2的偶数。现有的骨干特征提取网络中，各卷积阶段的卷积核数量通常是32、64、128、256、512、1024这样的递增方式进行的，这一点对于显示屏的缺陷检测是不合适的。在本专利构建的递减网络中，不仅各DenseBlock_X模块之间的连接是按S倍率递减的，在DenseBlock_M和DenseBlock_H这两个阶段，其内部的卷积核数量也是按照y倍率进行递减的，例如512，256，64这样递减的方式，这样也可以进一步加重整个网络低层特征和中层特征在准确率计算的时候贡献度，更加适用于显示屏缺陷检测。

可选的，S的取值可以根据所需检测的样本缺陷信息进行调整。如果待检测图片中的缺陷主要是检测的轮廓信息，则可以通过增加网络前半部分的卷积核数量，而加大S的递减倍率，这样整个骨干特征提取网络模型提取提取的主要是物体的轮廓信息；如果待检测的物体不仅有轮廓信息，需要网络前面提取的信息，我们也需要网络后面提取的颜色、纹理、全局信息还有颜色和纹理信息，则S的递减倍率不能太大。可选地，S可以设为2。

在另一可选的实施例中，骨干特征提取网络模型如图6所示，卷积网络DDBNet-39包括输入层Input、骨干特征提取网络模型，输出层OutPut。其中输入层Input即为待特征提取的输入图像，可以为512像素*512像素；OutPut层即为一个N*1的列向量，N为待图像分类的数量，列向量中的每一个元素机位每一类的预测概率。

骨干特征提取网络模型包括低层网络特征提取模块DenseBlock_L、中层网络特征提取模块DenseBlock_M、高层网络特征提取模块DenseBlock_H，三个模块间采用递减连接的结构构建，在此不再赘述。每一个DenseBlock_X(X为L或M或H)包含一个上层特征网络提取组件DBL模块和一个上层卷积块DenseBlock_3。其中，特征网络提取组件DBL模块由一个卷积层、一个正则化层BatchNorm、一个激活函数ReLU构成，如图6中的左下角的图所示。上层卷积块DenseBlock_3模块由3个串联的下层卷积块DenseBlock4组成，每个下层卷积块DenseBlock4模块由4个下层特征网络提取组件DBL模块通过图6中右下角图的方式所示。

连接方式具体是：4个特征网络提取组件DBL沿传递方向两两连接，使得网络中在后的每一下层特征网络提取组件DBL都接收所在的下层卷积块DenseBlock4内其前面所有下层特征网络提取组件DBL的提取的特征映射图作为输入。k为每个特征网络结构传递给后面特征提取网络结构的特征映射图的数量基数，每经过一个特征提取网络结构，传递给后面的特征映射图数量是前一个特征映射图的数量加上前一个特征映射图数量的2的倍数。

现有的深度学习目标检测方法的骨干特征提取网络模型将面层的信息通过直接连接的方式向后传播，这样的连接方式将会造成后面的网络层获得的有效信息大大减少；因此，需要更多的训练样本才能够获得一个较好准确率的网络。而本实施例通过递减连接和卷积块DenseBlock_4内部密集连接的方式，能够将网络前层获得的有效信息往后传播，大量的特征被复用，使得使用少量的卷积核就可以生成大量的特征，这样整个骨干特征提取网络就极大程度上利用了样本的信息，因此可以极大地降低所需用来训练网络的样本数量。

可选的，中层网络特征提取模块DenseBlock_M的卷积核数量可以按照低层网络特征提取模块DenseBlock_L的卷积核数量倍率递减，高层网络特征提取模块DenseBlock_H可以按照中层网络特征提取模块DenseBlock_L的卷积核数量倍率递减。DenseBlock_M或者DenseBlock_H中的Denseblock_4模块里面包含4个卷积层，这四个卷积层之间的卷积核数量是递减的，可以为按照2的倍数递减。

具体的骨干特征提取网络结构参数及网络卷积核的大小如表1所示，表1中的第一列为组成网络相应的结构模块名称；表1中的第二列为组成特征提取网络主要的组成部分卷积核的详细情况，例如：3X3Conv(Stride2)表示改成的类型为卷积层，该层卷积层使用的卷积核尺寸为3像素x3像素大小的卷积核，Stride2表示该卷积层使用的卷积核的滑动步长大小为2。

表1 DDBNet-39网络结构参数列表

在另一可选的实施例中，显示屏缺陷检测网络模型如图7所示，显示屏缺陷检测网络模型骨干特征提取网络模型及检测模型。为了适用于本申请的骨干特征提取网络模型，检测模型包括高层预测模块Dec1、中层预测模块Dec2、低层预测模块Dec3和输出层Out。

高层预测模块Dec1，接收所述高层网络特征提取模块DenseBlock_H的输出，分别输出高层预测信息到输出层Out和中层预测模块Dec2。中层预测模块Dec2接收中层网络特征提取模块DenseBlock_M的输出和高层预测模块Dec1的输出，分别输出中层预测信息到输出层Out和低层预测模块Dec3。低层预测模块Dec3，用来接收低层网络特征提取模块DenseBlock_L的输出和中层预测模块Dec2的输出，输出低层预测信息到所述输出层Out。

高层预测模块Dec1、中层预测模块Dec2、低层预测模块Dec3均对应3个检测锚框Anchor，因此，使用该网络需要设置9个检测锚框Anchor。高层预测模块Dec1、中层预测模块Dec2、低层预测模块Dec3利用其中的连接层Cont，将这些特征映射层叠加起来，然后通过三个卷积层进行卷积降维，以便获得不同尺度上的检测预测输出。对于一幅待检测的图像，三个尺度上的预测模块都将会给出各自尺度上的预测信息。

这些预测信息输入Out层，输出层Out对预测信息中的目标检测框的矩形框置信度阈值和类别概率阈值进行阈值过滤，并对阈值过滤后的预测信息进行非极大值抑制(NMS)过滤，获取显示屏缺陷信息获取显示屏缺陷信息。

可选的，检测模型还包括上采样层UP，其主要功能为将不同分辨率的特征映射图上采样为分辨率一致的特征映射图。具体的是检测模型包括第一上采样层模块和第二上采样层。高层预测模块Dec1分别输出高层预测信息到输出层Out和第一上采样层模块，第一上采样层模块对输入的高层预测信息采样为分辨率一致的特征映射图并输出到中层预测模块Dec2。中层预测模块Dec2输出中层预测信息到所述输出层Out和第二上采样层模块。第二上采样层模块对输入的中层预测信息采样为分辨率一致的特征映射图并输出到所述低层预测模块Dec3。

在另一可选的实施例中，本申请的一种基于显示屏缺陷检测网络模型的显示屏缺陷检测方法，包括：

低层网络特征提取模块接收输入图像并提取低层特征映射图；

中层网络特征提取模块接收所述低层特征映射图，提取中层特征映射图；

高层网络特征提取模块接收所述低层特征映射图和中层特征映射图并提取高层特征映射图，其接收的特征映射图数量是所述低层特征映射图和中层特征映射图的数量之和再以S倍率递减的数量；

检测模型接收所述低层特征映射图、中层特征映射图和高层特征映射图获取显示屏缺陷信息获取显示屏缺陷信息并获取显示屏缺陷信息，其接收的特征映射图数量是所述低层特征映射图、中层特征映射图和高层特征映射图的数量之和再以S倍率递减的数量；

其中，S为大于或等于2的偶数。

可选的，所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块均包括第一特征网络提取组件和上层卷积块；

所述上层卷积块包括三个串联的下层卷积块，每个下层卷积块包括沿传递方向连接的四个第二特征网络提取组件；

每个第二特征网络提取组件接收所在的下层卷积块内其前面所有第二特征网络提取组件提取的特征映射图作为输入。

可选的，所述中层网络特征提取模块的卷积核数量是所述低层网络特征提取模块的卷积核数量再以y倍率递减的数量，所述高层网络特征提取模块的卷积核数量是所述中层网络特征提取模块的卷积核数量再以y倍率递减的数量；

所述y为大于或等于2的偶数。

可选的，检测模型包括低层预测模块、中层预测模块、高层预测模块和输出层；

所述高层预测模块接收所述高层特征映射图，分别输出高层预测信息到所述输出层和所述中层预测模块；

所述中层预测模块接收所述中层特征映射图和所述高层预测模块的输出，分别输出中层预测信息到所述输出层和所述低层预测模块；

所述低层预测模块接收所述低层特征映射图和所述中层预测模块的输出，输出低层预测信息到所述输出层；

所述输出层对所述高层预测信息、中层预测信息和低层预测信息中目标检测框的矩形框置信度阈值、类别概率阈值进行阈值过滤，并对阈值过滤后的预测信息进行非极大值抑制过滤，获取显示屏缺陷信息获取显示屏缺陷信息。

可选的，所述检测模型还包括第一上采样层模块和第二上采样层模块；

所述分别输出高层预测信息到所述输出层和所述中层预测模块具体是输出高层预测信息到所述输出层和输出高层预测信息到所述第一上采样层模块，所述第一上采样层模块将输入的高层预测信息采样为分辨率一致的特征映射图并输出到所述中层预测模块；

所述分别输出中层预测信息到所述输出层和所述低层预测模块具体是输出中层预测信息到所述输出层和输出中层预测信息到所述第二上采样层模块，所述第二上采样层模块将输入的中层预测信息采样为分辨率一致的特征映射图并输出所述低层预测模块。

为了实现上述实施例，本申请实施例还提出一种电子设备，包括：处理器和存储器。其中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。

存储器中存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例的技术方案。存储器中存储有显示屏缺陷检测方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。

处理器可以是一种集成电路芯片，具有信号的处理能力。处理器在接收到执行指令后，执行程序。可选的，上述存储器内的软件程序以及模块还可包括操作***，其可包括各种用于管理***任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

本实施例提供的电子设备，可以用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一方法实施例的技术方案。

本领域的技术人员容易理解，以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种显示屏缺陷检测网络模型，包括用于提取图像特征的骨干特征提取网络模型和用于根据图像特征获取显示屏缺陷信息的检测模型，所述骨干特征提取网络模型包括沿传递方向连接的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块，其特征在于，

所述高层网络特征提取模块接收的特征映射图是所述低层网络特征提取模块和中层网络特征提取模块传递的特征映射图之和再以S倍率递减，所述检测模型接收的特征映射图是所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块传递的特征映射图之和再以S倍率递减。

2.根据权利要求1所述的一种显示屏缺陷检测网络模型，其特征在于，

所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块均包括上层卷积块；

所述上层卷积块包括三个串联的下层卷积块，每个下层卷积块包括沿传递方向连接的四个下层特征网络提取组件；

沿传递反向上，在后的每个下层特征网络提取组件接收的特征映射图是所在的下层卷积块内其前面所有下层特征网络提取组件传递的特征映射图之和。

3.根据权1或2所述的一种显示屏缺陷检测网络模型，其特征在于，

所述中层网络特征提取模块的卷积核数量是所述低层网络特征提取模块的卷积核数量再以y倍率递减，且所述高层网络特征提取模块的卷积核数量是所述中层网络特征提取模块的卷积核数量再以y倍率递减。

4.根据权利要求1或2所述的一种显示屏缺陷检测网络模型，其特征在于，所述检测模型包括低层预测模块、中层预测模块、高层预测模块和输出层；

其中，所述高层预测模块用来接收所述高层网络特征提取模块提取的高层特征映射图，获取高层预测信息；

所述中层预测模块用来接收所述中层网络特征提取模块提取的中层特征映射图和所述高层预测信息，获取中层预测信息；

所述低层预测模块用来接收所述低层网络特征提取模块提取的低层特征映射图和所述中层预测信息，获取低层预测信息；

所述输出层用来接收所述高层预测信息、中层预测信息和低层预测信息获取显示屏缺陷信息。

5.根据权利要求4所述的一种显示屏缺陷检测网络模型，其特征在于，所述输出层用来接收所述高层预测信息、中层预测信息和低层预测信息并分别对其中目标检测框的矩形框置信度阈值和类别概率阈值进行阈值过滤和非极大值抑制过滤，获取显示屏缺陷信息。

6.根据权利要求4或5所述的一种显示屏缺陷检测网络模型，其特征在于，

所述检测模型还包括第一上采样层模块和/或第二上采样层模块；

所述中层预测模块接收所述高层预测信息之前，先将所述高层预测信息输入到所述第一上采样层模块，所述第一上采样层模块用来将所述高层预测信息采样为分辨率一致的特征映射图；

所述低层预测模块接收所述高层预测信息之前，先将所述中层预测信息输入到所述第一上采样层模块，所述第一上采样层模块用来将所述高层预测信息采样为分辨率一致的特征映射图。

7.一种显示屏缺陷检测方法，其特征在于，包括：

采用骨干特征提取网络模型提取图像特征的第一步骤，和采用检测模型根据所述图像特征获取显示屏缺陷信息的第二步骤；

其中，所述骨干特征提取网络模型包括沿传递方向连接的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块，其中所述高层网络特征提取模块接收的特征映射图是所述低层网络特征提取模块和中层网络特征提取模块传递的特征映射图之和再以S倍率递减，所述检测模型接收的特征映射图是所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块传递的特征映射图之和再以S倍率递减。

8.如权利要求7所述的一种显示屏缺检测方法，其特征在于，

所述低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块均包括上层卷积块；

其中，所述上层卷积块包括三个串联的下层卷积块，每个下层卷积块包括沿传递方向连接的四个下层特征网络提取组件；

沿传递方向上，在后的每个下层特征网络提取组件接收的特征映射图是所在的下层卷积块内其前面所有下层特征网络提取组件传递的特征映射图之和。

9.一种显示屏缺陷检测方法，包括步骤：

获取训练样本集，所述训练样本集包括缺陷样本、标定样本；

利用所述训练样本集对权利要求1至6中任一项所述的显示屏缺陷检测网络模型进行训练；

接收图像采集设备采集的待检测显示屏图像；

将所述待检测显示屏图像输入到训练后的所述显示屏缺陷检测网络模型获取显示屏缺陷信息。

10.一种显示屏缺陷检测装置，包括：

权利要求1至6中任一项所述的显示屏缺陷检测网络模型；

训练样本获取模块，用来获取训练样本集，所述训练样本集包括缺陷样本、标定样本；

训练模块，用来利用所述训练样本集对所述显示屏缺陷检测网络模型进行训练；

接收模块，用来接收待检测显示屏图像并输入到所述显示屏缺陷检测网络模型。

11.一种电子设备，包括处理器和存储器，其特征在于，

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求6-8中任一项所述的显示屏缺陷检测方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6-8中任一项所述的显示屏缺陷检测方法。