CN110910372A - 基于深度卷积神经网络的匀光板缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的匀光板缺陷检测方法。包括：使用相机自顶向下采集原始匀光板图像；对原始匀光板图像进行灰度化处理；对灰度化处理结果进行降采样；对降采样结果进行基于阈值化的差分归一化处理；对归一化结果进行伽马变换，得到增强匀光板图像；构建形态学结构算子，根据形态学结构算子对增强匀光板图像进行膨胀运算；对膨胀后的匀光板图像进行边缘检测，得到匀光板梯度图；进行阈值分割、连通域过滤处理，生成标注结果；将标注结果与匀光板图像作为样本数据集，训练深度卷积神经网络，实现匀光板缺陷的自动检测。利用本发明，可以在匀光板质量检测场景中，使匀光板缺陷检测更容易，提高检测准确率。

Description

基于深度卷积神经网络的匀光板缺陷检测方法

技术领域

本发明涉及计算机视觉、深度学习领域，具体涉及一种基于深度卷积神经网络的匀光板缺陷检测方法。

背景技术

目前，匀光板的使用主要用于布景灯、工业光源和室内装潢中。然而，市场上匀光板质量参差不齐，质量较差的匀光板存在光照不均匀，明暗相间或者出光的面板里面有异物造成有亮斑。

造成匀光板质量参差不齐的诸多因素中，匀光板质量检测漏检率高是一个关键因素。匀光板在生产过程中，由于技术条件限制，难以保证每一个匀光板都能够实现均匀光照。后续在质量环节，现有的匀光板质量检测仍然靠人工肉眼检验。因为匀光板的光照较强，亮度的均匀性通过肉眼很难分辨清楚，肉眼在亮斑等光照不均匀的方面存在鉴别困难的问题。而且，人工在检验时，难以察觉亮斑。尤其是在检测大量的匀光板时，由于视觉疲劳等原因，很容易出现错误的检测难免出现误检，导致匀光板缺陷检测误检率高。

一些高端的生产线主要使用基于机器视觉***的检测流水线，但对于各种性能的匀光板而言，检测过程中调参难、工作量较大，且容易因为生产环境的小幅度变化而导致误检、漏检。一般的机器视觉***是基于阈值分割的，对相机、光照等问题极为敏感，匀光板不均匀处的细小亮斑属于一种MURA特征，因此难以稳定分割。目前，用于检测目标位置的深度神经网络在匀光板缺陷检测方面误检率很高，主要是因为肉眼鉴别困难导致样本标注困难。

因此，现有匀光板缺陷检测技术存在鉴别困难、误检率高的问题。

发明内容

本发明提供了一种基于深度卷积神经网络的匀光板缺陷检测方法，该方法基于形态学运算对匀光板图像进行处理，然后基于深度卷积神经网络对处理后的图像进行缺陷分割，实现了匀光板缺陷检测，使匀光板缺陷检测更容易，提高检测准确率。

一种基于深度卷积神经网络的匀光板缺陷检测方法，该方法包括：

步骤一，将匀光板置于黑色背景上，开启黑色背景后的光源，使用彩色面阵相机自顶向下采集原始匀光板图像；

步骤二，根据原始匀光板图像的RGB数据进行灰度化处理，得到匀光板灰度图像；

步骤三，设置降采样系数，根据降采样系数，对匀光板灰度图像进行降采样处理，得到降采样匀光板灰度图像；

步骤四，根据匀光板的特性，设置阈值，对降采样匀光板灰度图像进行基于阈值化的差分归一化处理，得到归一化匀光板图像；

步骤五，设置伽马变换系数，对归一化匀光板图像进行伽马变换增强处理，得到增强匀光板图像；

步骤六，构建形态学结构算子，根据形态学结构算子对增强匀光板图像进行膨胀运算；

步骤七，对膨胀后的匀光板图像进行边缘检测，得到匀光板梯度图；

步骤八，对匀光板梯度图进行阈值分割、连通域过滤处理，将处理结果作为标注结果；

步骤九，将标注结果与原始匀光板图像组成样本数据集，基于交叉熵损失函数训练深度卷积神经网络，实现匀光板缺陷的自动检测。

步骤二中的灰度化处理具体为：

根据原始匀光板图像的RGB数据，取三通道中的最大值作为像素点的灰度值，描述匀光板的光照强度：P’_mn＝max(R_mn,G_mn，B_mn)，其中，R_mn,G_mn，B_mn分别表示(m，n)位置处像素的红、绿、蓝通道分量值，P’_mn为匀光板灰度图像P’在位置(m，n)处的灰度值。

步骤四具体为：

根据匀光板的特性，设置阈值为150；

根据

对降采样匀光板灰度图像进行基于阈值化的差分归一化处理，得到归一化匀光板图像I，其中，I_mn为I在位置(m，n)处的像素值，P_mn为降采样匀光板灰度图像P在位置(m，n)处的像素值，P_max为降采样匀光板灰度图像P中的最大像素值。

步骤五中的伽马变换具体为：

其中，I_mn为归一化匀光板图像I在位置(m，n)处的像素值，S为增强匀光板图像，γ取1.5。

步骤七具体为：

使用Sobel算子对膨胀后的匀光板图像分别计算x方向的梯度图和y方向的梯度图，其中，x方向和y方向的卷积核分别为：

和

对x方向的梯度图和y方向的梯度图进行差分归一化处理；

对归一化处理后的x方向的梯度图、y方向的梯度图进行合并操作，得到匀光板梯度图。

步骤九包括：

采集多个匀光板的原始匀光板图像，生成对应的标注结果；

将原始匀光板图像与标注结果组成样本数据集，输入深度卷积神经网络；

基于交叉熵损失函数训练深度卷积神经网络，保存训练好的深度卷积神经网络；

将待检测匀光板图像输入训练好的深度卷积神经网络，得到匀光板缺陷检测结果，实现匀光板缺陷的自动检测。

本发明的有益效果在于：

1、本发明采用基于阈值化的差分归一化处理、图像增强、边缘检测等图像处理技术，得到匀光板缺陷结果，降低了检测匀光板缺陷的难度；

2、本发明基于匀光板缺陷结果进行样本自动标注，根据标注结果训练深度卷积神经网络，降低了匀光板缺陷检测的误检率，提高了缺陷检测准确率。

附图说明

图1为基于深度卷积神经网络的匀光板缺陷检测方法流程图；

图2为原始匀光板图像；

图3为归一化匀光板图像；

图4为增强匀光板图像；

图5为x方向的梯度图；

图6为y方向的梯度图；

图7为匀光板梯度图；

图8为分割结果示意图；

图9为标注结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于深度卷积神经网络的匀光板缺陷检测方法。本发明方法流程如图1所示。下面通过具体实施例来进行说明。

实施例一：

基于深度卷积神经网络的匀光板缺陷检测方法包括：

步骤一，将匀光板置于黑色背景上，开启黑色背景后的光源，使用彩色面阵相机自顶向下采集原始匀光板图像。

首先将匀光板置于较黑的背景底色之上，在黑色背景之后设置光源，将彩色面阵相机固定置于匀光板正上方，自顶向下采集图像，获得原始匀光板图像。原始匀光板图像如图2所示。

使用较黑的背景底色，是为了较好地将匀光板的光照度与背景色隔开，便于后续处理。在开发和制作灯具时更容易从处理结果中判断灯具的光照效果。

步骤二，根据原始匀光板图像的RGB数据进行灰度化处理，得到匀光板灰度图像。

光源经过匀光板透出来的光大都是LED三基色光源，有暖光、冷光等多种颜色。因此，取采样图像的3个通道中的最大值作为像素点的灰度值，以便更合适地描述其光照强度。根据以下公式进行计算：

P'_mn＝max(R_mn，G_mn，B_mn)

其中，R_mn,G_mn，B_mn分别表示(m，n)位置处像素的红、绿、蓝通道分量值，P’_mn为匀光板灰度图像P’在位置(m，n)处的灰度值。

步骤三，设置降采样系数，根据降采样系数，对匀光板灰度图像进行降采样处理，得到降采样匀光板灰度图像。

根据降采样系数，在匀光板灰度图像P’的像素矩阵中每隔k个点取一个点组成降采样图像，得到降采样匀光板灰度图像P，可以提高后续匀光板图像处理效率。其中，取点时可以将所取目标点的值作为降采样值，也可采用均值采样赋值、最大值采样赋值。一种实施例是，k取5。

步骤四，根据匀光板的特性，设置阈值，对降采样匀光板灰度图像进行基于阈值化的差分归一化处理，得到归一化匀光板图像。

相比于背景，光源照射的匀光板光照强度很强。通过阈值化处理，可以得到较为准确的匀光板前景图像。所以首先对降采样结果P做阈值化处理。设定阈值150，将灰度值小于150的像素点的灰度值重置为0。

为了提高图像的可比性，将图像转换为标准化图像数据，可以对阈值化处理结果进行差分归一化处理。在阈值化处理后，小于150灰度的像素点都为0，因此，需要对在灰度值为150到255的范围内对图像做差分归一化。对上述阈值化与差分归一化处理进行合并，根据下述公式对降采样结果进行基于阈值化的差分归一化处理：

其中，I_mn为归一化匀光板图像I在位置(m，n)处的像素值，P_mn为降采样结果P在位置(m，n)处的像素值，P_max为降采样结果P中的最大像素值。至此，得到了归一化匀光板图像I。

对归一化匀光板图像I进行可视化，此时，匀光板的光照的亮度变化已经被拉大，不缺陷变得明显可见，如图3所示。由于匀光板两边的LED是不均匀分布的，造成两端光强的不均匀性，而左上角的亮斑已经变得稍微清晰。

步骤五，设置伽马变换系数，对归一化匀光板图像进行伽马变换增强处理，得到增强匀光板图像。

为了进一步凸显左上角亮斑，增强左上角的亮斑与周围的对比度，使亮斑更明显，对归一化匀光板图像进行增强处理。伽马变换用于图像的矫正，对灰度过高或者灰度过低的图片进行修正，增强对比度。函数y＝x^γ(γ>0)在x>0时是递增函数，而且其斜率为γx^γ-1，也是逐渐增大的。γ值以1为分界，值越小，对图像低灰度部分的扩展作用就越强，可以拉伸图像中灰度级较低的区域，同时压缩灰度级较高的区域；值越大，对图像高灰度部分的扩展作用就越强，可以拉伸图像中灰度级较高的区域，同时压缩灰度级较低的区域。通过不同的γ值，达到增强低灰度或高灰度部分细节的作用，实现图像增强。因为函数y＝x^γ(γ>1)在x>0时是递增函数，而且其斜率为γx^γ-1，是逐渐增大的。因此，当γ>1时，γ变换会使得灰度值大的比灰度值小的变大的更快。

使用伽马变换做增强处理：

其中，I_mn为归一化匀光板图像I在位置(m，n)处的像素值，S为增强匀光板图像，γ取1.5。增强后的匀光板图像如图4所示。

步骤六，构建形态学算子结构，根据形态学算子结构对增强匀光板图像进行膨胀运算。

为了使匀光板图像中的缺陷更加明显，对增强匀光板图像做膨胀操作，使得左上角亮斑的范围变大，其膨胀原理如下：

构建k×k大小的矩阵

k为奇数，以确保矩阵锚点位置为

将矩阵M_kk与增强匀光板图像I位置(m，n)处邻域的每个元素对齐，以步长为1，依次相乘，没有元素的地方补0。(m，n)处邻域为：

对确定的k值，如果邻域中元素的下标为负数，则将该邻域元素赋值为0。

D就是膨胀后的匀光板图像。

步骤七，对膨胀后的匀光板图像进行边缘检测，得到匀光板梯度图。

接下来是对膨胀后的图像取导数运算，这里使用Sobel算子。x方向和y方向的卷积核分别为：

和

沿x方向的梯度图如图5所示，其运算为：

沿y方向的梯度图如图6所示，其运算为：

因为梯度中是存在负值的，这里把两个梯度图做差分归一化：

图像总的梯度图即匀光板梯度图为两个x，y方向梯度的平方和的平方根：

匀光板梯度图如图7所示。从图7中，可以很明显的看到两个在原始图中不易发现的亮斑，在其梯度图中变得容易被看到。

步骤八，对匀光板梯度图进行阈值分割、连通域过滤处理，将处理结果作为标注结果。

根据匀光板梯度图的结果，通过大津法阈值化可以得到粗略的不均匀处的缺陷分割结果。分割结果如图8所示。对分割后得到的连通域进行长宽比的过滤：

其中，w、h分别为连通域的宽、长。设置阈值，对连通域进行过滤。经过大量实验，一种实施例是阈值为0.2，得到小于0.2的连通域。过滤后得到的分割结果即为标注结果。标注结果如图9所示。

步骤九，将标注结果与原始匀光板图像组成样本数据集，基于交叉熵损失函数训练深度卷积神经网络，实现匀光板缺陷的自动检测。

通过步骤八得到的标注结果具有一定的不可靠性，主要问题在于匀光板不均匀处的亮斑缺陷容易被过滤掉。因此使用以下方法进行深度神经网络的训练，提高结果的可靠性。

采集多个匀光板图像，生成对应的标注结果。将匀光板图像与标注结果作为样本数据集，输入预设的深度卷积神经网络。本发明训练的卷积神经网络为语义分割用途的深度卷积神经网络。语义分割深度卷积神经网络具有多种结构，如FCN、Segnet、ENet、DeepLabV3。一种实施例是采用ENet，在此使用二分类交叉熵损失函数：

GE(S₁(i,j),L₁(i,j))＝L₁(i,j)*lo_g(S_i(i，j))

其中S₁为通道1的输出结果，L₁是标注结果，其中缺陷处标注为1，其余位置为0。将输出结果与样本标注结果所有对应点的损失相加，即输出结果与期望结果之间的损失。

对于一个批次的训练，由于存在错误标注的问题，网络的训练批量应足够大，使得在该批次的样本分布中保证正确标注占主要分布。

网络训练的前期不对交叉熵损失函数进行修改，以保证网络能够被成功初始化。

对于错误标注的结果，网络训练的后期会出现错误标注时网络对该图像的损失函数变大的问题，因此，需要对整个批次进行最小值处理，又因为反向传播的可导性限制，无法使用绝对的最小值判断作为损失，因此使用软最小损失：

其中，CE_p为第p个样本的交叉熵损失，即使用当前批次中近似最小的损失作为当前批次的损失值，在网络训练后期使用软最小损失可以极大地提高训练精度。

何时使用软最小损失需要根据当前训练损失的波动情况而定，一般遇到损失逐渐出现震荡时即可停止训练，使用软最小损失继续训练。

由于是交叉熵损失函数，因此得到的最终分割图像不在第0通道，需要使用第1通道来进行后续处理。对网络输出的图像进行阈值为1的二值化处理，得到光照不均匀处的亮斑，即匀光板缺陷位置，至此完成了本发明的最终实现，实施者可反复使用本发明训练的深度卷积神经网络进行端到端的匀光板缺陷检测，将待检测匀光板图像输入训练好的深度卷积神经网络，得到匀光板缺陷检测结果，实现匀光板缺陷的自动检测。

本发明也可以为匀光板的研制和制作中提供数据，以便研发和制作出更加均匀、质量更高的匀光板。本发明通过图像处理，提高光照的对比度，以及提取图像的梯度，使得肉眼能够较轻松的分辨出光照缺陷以及亮斑的存在，使用二值化进行粗略标注，无需调整参数。得到的粗略的数据集通过软最小损失进行训练，可以保证深度卷积神经网络训练的准确性。直接借助图像处理的结果，有助于开发人员在研发匀光板时较轻松地观察瑕疵的种类和位置，从而针对性地对工艺进行改进。同时，借助网络输出后二值化处理的结果，开发人员可以在研发过程中、当日生产过程中产生足够多的数据集，对网络进行二次训练，得到更具有泛化性能的深度卷积神经网络。本发明实用性强，能够提高工作效率和产品质量，无需使用者具备深度学习知识即可得到自己的数据集并训练端到端的缺陷检测深度卷积神经网络，还可以在生产过程中不断产生更优质的数据集，不断训练该网络，实现半监督效果，可以轻松嵌入至流水化的质量检测中。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度卷积神经网络的匀光板缺陷检测方法，其特征在于，该方法包括：

步骤一，将匀光板置于黑色背景上，开启黑色背景后的光源，使用彩色面阵相机自顶向下采集原始匀光板图像；

步骤二，根据原始匀光板图像的RGB数据进行灰度化处理，得到匀光板灰度图像；

步骤三，设置降采样系数，根据降采样系数，对匀光板灰度图像进行降采样处理，得到降采样匀光板灰度图像；

步骤四，根据匀光板的特性，设置阈值，对降采样匀光板灰度图像进行基于阈值化的差分归一化处理，得到归一化匀光板图像；

步骤五，设置伽马变换系数，对归一化匀光板图像进行伽马变换增强处理，得到增强匀光板图像；

步骤六，构建形态学结构算子，根据形态学结构算子对增强匀光板图像进行膨胀运算；

步骤七，对膨胀后的匀光板图像进行边缘检测，得到匀光板梯度图；

步骤八，对匀光板梯度图进行阈值分割、连通域过滤处理，将处理结果作为标注结果；

步骤九，将标注结果与原始匀光板图像组成样本数据集，基于交叉熵损失函数训练深度卷积神经网络，实现匀光板缺陷的自动检测。

2.如权利要求1所述的基于深度卷积神经网络的匀光板缺陷检测方法，其特征在于，所述步骤二中的灰度化处理具体为：

根据原始匀光板图像的RGB数据，取三通道中的最大值作为像素点的灰度值，描述匀光板的光照强度：P’_mn＝max(R_mn,G_mn，B_mn)，其中，R_mn,G_mn，B_mn分别表示(m，n)位置处像素的红、绿、蓝通道分量值，P’_mn为匀光板灰度图像P’在位置(m，n)处的灰度值。

3.如权利要求1所述的基于深度卷积神经网络的匀光板缺陷检测方法，其特征在于，所述步骤四具体为：

根据匀光板的特性，设置阈值为150；

根据

对降采样匀光板灰度图像进行基于阈值化的差分归一化处理，得到归一化匀光板图像I，其中，I_mn为I在位置(m，n)处的像素值，P_mn为降采样匀光板灰度图像P在位置(m，n)处的像素值，P_max为降采样匀光板灰度图像P中的最大像素值。

4.如权利要求1所述的基于深度卷积神经网络的匀光板缺陷检测方法，其特征在于，所述步骤五中的伽马变换具体为：

其中，I_mn为归一化匀光板图像I在位置(m，n)处的像素值，S为增强匀光板图像，γ取1.5。

5.如权利要求1所述的基于深度卷积神经网络的匀光板缺陷检测方法，其特征在于，所述步骤七具体为：

使用Sobel算子对膨胀后的匀光板图像分别计算x方向的梯度图和y方向的梯度图，其中，x方向和y方向的卷积核分别为：

和

对x方向的梯度图和y方向的梯度图进行差分归一化处理；

对归一化处理后的x方向的梯度图、y方向的梯度图进行合并操作，得到匀光板梯度图。

6.如权利要求1所述的基于深度卷积神经网络的匀光板缺陷检测方法，其特征在于，所述步骤九包括：

采集多个匀光板的原始匀光板图像，生成对应的标注结果；

将原始匀光板图像与标注结果组成样本数据集，输入深度卷积神经网络；

基于交叉熵损失函数训练深度卷积神经网络，保存训练好的深度卷积神经网络；

将待检测匀光板图像输入训练好的深度卷积神经网络，得到匀光板缺陷检测结果，实现匀光板缺陷的自动检测。

Images