CN107561738A - 基于fcn的tft‑lcd表面缺陷快速检测方法 - Google Patents

Abstract

为了克服TFT‑LCD表面缺陷检测中边缘模糊、对比度低、图像中存在重复纹理背景等噪声的干扰，本发明提出了一种基于全卷积神经网络的端到端的快速检测方法。该方法先通过多个样本训练得到FCN_21×21检测模型，之后将对待检测图像进行预处理，获得多个子图像，计算机的多个处理核对多个子图像进行并行处理，所述处理为使用训练后的FCN_21×21检测模型对子图像进行缺陷检测，最后将多个并行处理结果进行合成，获得待检测图像的缺陷检测结果。本发明的方法对于高分辨率图像具有很好的检测效果，同时在处理速度上也具有突出的性能优势。

Description

基于FCN的TFT-LCD表面缺陷快速检测方法

技术领域

本发明属于TFT-LCD表面缺陷检测技术领域，具体涉及一种基于FCN的TFT-LCD缺陷快速检测方法。

背景技术

薄膜晶体管液晶显示器(Thin Film Transistor Liquid Crystal Display,TFT-LCD)作为一种功耗低、重量轻、亮度高、分类率高的材料，已经广泛应用于监视器、笔记本、手机等领域。因其制造工艺复杂，TFT-LCD在制造过程中难免会受到噪声干扰而产生各种缺陷。这些缺陷边缘模糊、对比度低、图像中存在重复纹理背景和整体的亮度不均匀等特点，严重影响着TFT-LCD的显示质量。基于机器视觉的TFT-LCD表面缺陷自动检测是确保自动化生产产品质量的一个非常重要的环节，目前的表面缺陷检测方法在低分辨率图像中通常能有效的检测某一类型缺陷，但是当使用高分辨率图像时检测效果降低，同时，处理速度慢，无法达到实时要求。

发明内容：

针对现有技术的缺陷，本发明提出了一种基于全卷积神经网络(Fully ConvolutionalNetworks, FCN)的快速的TFT-LCD表面缺陷检测算法，旨在解决TFT-LCD表面缺陷检测算法在高分辨率图像时检测效果低、检测速度慢的问题。

为达到上述目的，本发明提供的技术方案为：

一种基于全卷积神经网络(FCN)的薄膜晶体管液晶显示器(TFT-LCD)表面缺陷快速检测方法，其特征在于，所述检测方法包括以下步骤：

1)通过多个样本训练得到FCN_21×21 检测模型；

2)对待检测图像进行预处理，获得多个子图像；

3)计算机的每个处理核分别对每一个子图像进行处理，所述处理为使用训练后的FCN_21×21 检测模型对子图像进行缺陷检测，其具体包括：

（3a）像素信息获取阶段，将子图像作为输入图像，为保证输出特征图大小与输入子图像大小一致，先对输入图像进行补0处理，然后采用第一层卷积将补0处理后的图像每一个像素点以及周围区域信息进行卷积运算生成低对比特征图，所述第一层卷积卷积核大小为21×21；

（3b）非线性映射阶段，采用第二层卷积将生成的低对比度特征图一对一映射到高对比度特征图上，所述第二层卷积卷积核大小为1×1；

（3c）像素重构阶段，对高对比度特征图进行补0处理，之后采用第三层卷积对补0处理后的高对比度特征图进行卷积运算生成高对比度图像并输出，完成从低对比度图像到高对比度图像的端到端映射，所述第三层卷积的卷积核大小为21×21；

其中， 三层卷积映射关系分别为：

式中，*为卷积操作，为输入图像像素，为第层输出图像像素，为第层的卷积核，为第层的偏置，；

（3d）将步骤（3c）输出图像的所有的像素点的值进行归一化，使其取值范围在[0,1]之间，并将归一化后的每个像素点的值与预先设定的阈值H进行比较，如果大于等于H，标记为1，如果小于H，标记为0，根据标记获得子图像的缺陷检测结果；

4）将多个子图像的缺陷检测结果进行合成，获得待检测图像的缺陷检测结果。

更进一步地，所述步骤1）具体包括以下子步骤：

步骤1a）：使用Xavier算法对FCN_21×21检测模型的参数进行初始化，获得初始的FCN_21×21检测模型；

步骤1b）：从实际生产车间采集不同类型的屏幕检测图像样本，所述屏幕检测图像样本的分辨率为W×H，从采集的屏幕检测图像样本中挑选M个合格的样本，将每个样本切割为N个大小为w×h的图像块，其中， ，stride为切割步长；

步骤1c）：采用数据扩增方法对切割后的图像块进行数据扩增，获得扩增后的样本集P；将扩增后的样本集中的每个样本进行标注，缺陷像素标注为1，正常像素标注为0，获得每个样本的标签；

步骤1d）：选择样本集P中的一个样本p，使用初始的FCN_21×21检测模型对样本p进行缺陷检测，将检测结果与样本p的标签进行比较，根据比较结果调整FCN_21×21检测模型的参数；

步骤1e）：重复步骤1d），直至样本集P中所有的样本都完成处理，获得训练后的FCN_21×21检测模型。

更进一步地，步骤2）中所述对待检测图像进行预处理，获得多个子图像具体包括：

步骤2a)：将获取的待检测图像转化为灰度图像；

步骤2b)：将灰度图像均匀划分为多个子图像，所述子图像的数目等于计算机的处理核数目。

更进一步地，所述对切割后的图像块进行数据扩增具体为对切割后得到的每个图像块进行90°旋转、180°旋转、270°旋转以及上下镜像、左右镜像、对角镜像的变换。

更进一步地，步骤（3a）和步骤（3c）中对图像进行补0处理具体为：将大小为U×V的图像四周进行0像素填充，使填充完之后的图像大小为(，其中为卷积核大小。

更进一步地，所述预先设定的阈值的取值范围为[0,1]，优选为0.5。

本发明的有益效果是：

1）克服了高分辨率情况下检测效果差的问题，同时由于深度学习强大的学习能力，它能检测多种类型噪声。

2）对于高分辨率图像，可通过并行处理的方式加速处理速度，实现实时处理。

附图说明

图1是本发明的基于FCN的TFT-LCD表面缺陷快速检测方法的流程图。

图2是本发明的FCN_21×21检测结构。

图3是本发明的FCN_21×21处理结果对比。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

本发明的一种基于FCN的TFT-LCD表面缺陷快速检测方法的流程示意图如图1所示，其包括四个步骤：

步骤101：通过多个样本训练得到FCN_21×21 检测模型。

该步骤的具体处理如下：

步骤a：获取初始的FCN_21×21检测模型。使用Xavier算法对FCN_21×21检测模型的参数进行初始化，得到初始的FCN_21×21检测模型。

步骤b：构造训练样本集。从实际生产车间采集多张不同类型的高分辨率屏幕检测图像，从其中挑选M张合格的图像作为样本，其中各样本包含均匀分布的不同类型的缺陷，将样本配置为分辨率为6500×4500的单通道图像。本发明中选择M=10，由于仅用了10张高分辨率图像，数据量少，直接用它训练FCN网络无法得到精准的网络模型，因此我们对样本集进行了扩充。先将每个分辨率为W×H的样本按照切割步长stride切割为N个大小为w×h的图像块，其中，。

当stride=100时，则1张分辨率为6500×4500的图像可切割成2604张400×400的图像。切块后再对每张图像块进行90°、180°、270°旋转以及上下、左右、对角镜像七种变换。最后，10个6500×4500的样本扩充为了208320个400×400的样本，形成训练样本集P。

步骤c：将样本集P中的每个样本进行标注，缺陷像素标注为1，正常像素标注为0，获得每个样本的标签。

步骤d：选择样本集P中的一个样本p，使用初始的FCN_21×21检测模型对样本p进行缺陷检测。检测方式如图2所示，其具体包括：首先采用第一层卷积将样本p的像素点以及周围区域信息进行卷积运算生成低对比度特征图，第一层卷积卷积核大小为21×21，为保证输出的特征图大小为400×400，需要在进行第一层卷积运算之前对样本p进行补0处理，补0处理方式为将大小为U×V的图像四周进行0像素填充，使填充完之后的图像大小为，其中为卷积核大小，由于本发明中样本p的大小为400×400，第一层卷积卷积核大小为21×21，填充后的图像大小为420×420；其次，采用第二层卷积将第一层卷积运算生成的低对比度特征图一对一映射到高对比度特征图上，第二层卷积为一对一非线性映射，卷积核大小为1×1；然后采用第三层卷积对高对比度特征图进行卷积运算生成高对比度图像，完成了从低对比度图像到高对比度图像的端到端映射，之后输出高对比度图像，第三层卷积的卷积核大小为21×21，为保证输出的高对比度图像大小为400×400，在进行第三次卷积运算之前也需要对高对比度特征图进行补0处理，补0处理方式为将大小为u×v的高对比度特征图四周进行0像素填充，使填充完之后的图像大小为，其中为卷积核大小；最后，将输出的高对比度图像所有的像素点的值进行归一化，使其取值范围在[0,1]之间，并将归一化后的每个像素点的值与预先设定的阈值H进行比较，如果大于等于H，将该像素点标记为1，如果小于H，将该像素点标记为0，之后根据标记获得样本p的缺陷检测结果，这里H的取值范围为[0,1]，通常情况下，H=0.5。

上述步骤d中， 三层卷积映射关系如公式（1）-（3）所示：

（1）

（2）

（3）

式中，*为卷积操作，Y为输入图像像素，F (Y)为第层输出图像像素，为第层的卷积核，为第层的偏置，。

将样本p的缺陷检测结果与样本p的标签进行比较，根据比较结果调整FCN_21×21检测模型的参数，本申请中采用Adam优化算法来对检测模型的参数进行调整。

步骤e：重复执行步骤d，直至样本集P中所有的样本都完成处理，获得训练后的FCN_21×21检测模型。

步骤102：对待检测图像进行预处理，获得多个子图像。

预处理是指先将获取的待检测图像转化为灰度图像，然后将灰度图像均匀划分为多个子图像，划分的数目根据计算机的处理核数目来确定，例如，使用四核处理器来进行处理时，可以将待检测图像划分为4个大小相同的子图像。

为了方便后续步骤中合成子图像，在进行划分时记录每个子图像在原图像中的位置。

步骤103：计算机的多个处理核对多个子图像进行并行处理，所述处理为使用训练后的FCN_21×21 检测模型对子图像进行缺陷检测，其具体包括以下几个阶段：

像素信息获取阶段，输入子图像，对其进行补0处理，以保证该阶段输出图像的大小与输入子图像一致。所述补0处理的方式为：将大小为U×V的子图像四周均进行0像素填充，使填充完之后的图像大小为(，其中为卷积核大小。

采用第一层卷积将补0处理后的图像的每个像素点以及周围区域信息进行卷积处理生成低对比度特征图，第一层卷积卷积核大小为21×21，卷积映射关系如下式所示：

（4）

式（4）中，*为卷积操作，为输入图像像素，为第1层输出图像像素，为第1层的卷积核，为第1层的偏置。

非线性映射阶段，采用第二层卷积将像素信息获取阶段生成的低对比度特征图一对一映射到高对比度特征图上，该阶段卷积为一对一非线性映射，输出特征图与输入尺寸一致，无需补0填充，第二层卷积卷积核大小为1×1，卷积映射关系如下式所示：

（5）

式（5）中，*为卷积操作，为1层输出图像像素，为第2层输出图像像素，为第2层的卷积核，为第2层的偏置。

像素重构阶段，对非线性映射阶段获得的高对比度特征图进行补0处理，该阶段补0处理的方式与像素获取阶段的补0处理方式相同，然后采用第三层卷积将补0处理后的高对比度特征图进行卷积运算生成高对比度图像，第三层卷积的卷积核大小为21×21，卷积映射关系如下式所示：

（6）

式（6）中，*为卷积操作，为2层输出图像像素，为第3层输出图像像素，为第3层的卷积核，为第3层的偏置。

子图像经过像素信息获取阶段、非线性映射阶段、像素重构阶段，完成了从低对比度图像到高对比度图像的端到端映射。图3为图像从低对比度转化到高对比度的示例，图中，原图像的像素点之间差值较小，对比度低，缺陷点（像素值明显高于周围像素点的像素值的点）与正常点之间的差异不明显，经过处理后获得的图像像素间差值增大，对比度高，缺陷点像素值向255逼近，正常点像素值向0逼近，这就使得后续的缺陷标记更准确。

检测结果标记阶段，将像素重构阶段输出图像的所有的像素值进行归一化，使每个像素的取值范围在[0,1]之间，并将归一化后的每个像素点的值与预先设定的阈值H进行比较，如果大于等于H，标记为1，如果小于H，标记为0，根据标记获得子图像的缺陷检测结果；这里H的取值范围为[0,1]，通常情况下，H=0.5。

步骤104：将多个并行处理结果进行合成，获得待检测图像的缺陷检测结果。

步骤104中，按照各子图像在原图像中的位置，将各子图像的缺陷检测结果图按照对应子图像在原图像中的位置进行合成，得到原图像的缺陷检测结果图，其中，标记为0的像素点为正常点，标记为1像素点为缺陷点，这样，就可以快速获得图像的缺陷检测结果。

以上实施方式仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于全卷积神经网络(FCN)的薄膜晶体管液晶显示器(TFT-LCD)表面缺陷快速检测方法，其特征在于，所述检测方法包括以下步骤：

1)通过多个样本训练得到FCN_21×21 检测模型；

2)对待检测图像进行预处理，获得多个子图像；

3)计算机的每个处理核分别对每一个子图像进行处理，所述处理为使用训练后的FCN_21×21 检测模型对子图像进行缺陷检测，其具体包括：

（3a）像素信息获取阶段，将子图像作为输入图像，为保证输出特征图大小与输入子图像大小一致，先对输入图像进行补0处理，然后采用第一层卷积将补0处理后的图像每一个像素点以及周围区域信息进行卷积运算生成低对比特征图，所述第一层卷积卷积核大小为21×21；

（3b）非线性映射阶段，采用第二层卷积将生成的低对比度特征图一对一映射到高对比度特征图上，所述第二层卷积卷积核大小为1×1；

（3c）像素重构阶段，对高对比度特征图进行补0处理，之后采用第三层卷积对补0处理后的高对比度特征图进行卷积运算生成高对比度图像并输出，完成从低对比度图像到高对比度图像的端到端映射，所述第三层卷积的卷积核大小为21×21；

其中， 三层卷积映射关系分别为：

式中，*为卷积操作，为输入图像像素，为第层输出图像像素，为第层的卷积核，为第层的偏置，；

（3d）将步骤（3c）输出图像的所有的像素点的值进行归一化，使其取值范围在[0,1]之间，并将归一化后的每个像素点的值与预先设定的阈值H进行比较，如果大于等于H，标记为1，如果小于H，标记为0，根据标记获得子图像的缺陷检测结果；

4）将多个子图像的缺陷检测结果进行合成，获得待检测图像的缺陷检测结果。

2.根据权利要求1所述的基于全卷积神经网络的薄膜晶体管液晶显示器表面缺陷快速检测方法，其特征在于：所述步骤1）具体包括以下子步骤：

1a）使用Xavier算法对FCN_21×21检测模型的参数进行初始化，获得初始的FCN_21×21检测模型；

1b）从实际生产车间采集不同类型的屏幕检测图像样本，所述屏幕检测图像样本的分辨率为W×H，从采集的屏幕检测图像样本中挑选M个合格的样本，将挑选出的每个样本切割为N个大小为w×h的图像块，其中， ，stride为切割步长；

1c）采用数据扩增方法对切割后的每个图像块进行数据扩增，获得扩增后的样本集P；将扩增后的样本集中的每个样本进行标注，缺陷像素标注为1，正常像素标注为0，获得每个样本的标签；

1d）选择样本集P中的一个样本p，使用初始的FCN_21×21检测模型对样本p进行缺陷检测，将检测结果与样本p的标签进行比较，根据比较结果调整FCN_21×21检测模型的参数；

1e)重复步骤1d)，直至样本集P中所有的样本都完成处理，获得训练后的FCN_21×21检测模型。

3.根据权利要求1所述的基于全卷积神经网络的薄膜晶体管液晶显示器表面缺陷快速检测方法，其特征在于：所述对待检测图像进行预处理，获得多个子图像具体包括：

2a）将获取的待检测图像转化为灰度图像；

2b）将灰度图像均匀划分为多个子图像，所述子图像的数目等于计算机的处理核数目。

4.根据权利要求2所述的基于全卷积神经网络的薄膜晶体管液晶显示器表面缺陷快速检测方法，其特征在于：所述步骤（3a）和步骤（3c）中对图像进行补0处理具体为：将大小为U×V的图像四周进行0像素填充，使填充完之后的图像大小为(，其中为卷积核大小。

5.根据权利要求2所述的基于全卷积神经网络的薄膜晶体管液晶显示器表面缺陷快速检测方法，其特征在于：所述对切割后的每个图像块进行数据扩增具体为对切割后得到的每个图像块进行90°旋转、180°旋转、270°旋转以及上下镜像、左右镜像、对角镜像的变换。

6.根据权利要求1-5任一项所述的基于全卷积神经网络的薄膜晶体管液晶显示器表面缺陷快速检测方法，其特征在于：所述预先设定的阈值的取值范围为[0,1]，优选为0.5。