CN109242829A - 基于小样本深度学习的液晶屏缺陷检测方法、***及装置 - Google Patents

Abstract

本发明公开了基于小样本深度学习的液晶屏缺陷检测方法，方法包括：对缺陷图像进行分类标注，得到缺陷样本集；根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型；根据缺陷特征检测模型对需检测图像进行检测并同时进行增量学习，得到检测结果和学习后的缺陷特征检测模型。本发明通过对已标注的缺陷样本集学习，获得缺陷特征检测模型，并通过缺陷特征检测模型进行缺陷识别，进而利用需检测图像进行增量学习从而调整模型参数，有效了提升LED TV屏的智能检测的准确度。本发明可广泛应用于LED TV检测中。

Description

基于小样本深度学习的液晶屏缺陷检测方法、***及装置

技术领域

本发明涉及TV检测技术领域，尤其涉及基于小样本深度学习的液晶屏缺陷 检测方法、***及装置。

背景技术

当前，液晶显示已广泛应用于电子生产与消费领域，液晶屏的质量直接关 乎电子产品的整体品质。因此，在液晶屏的生产过程中，由工艺及环境导致液 晶屏显示的诸如包括亮点、漏光、白点、异物、斑纹、BLOB(几何形态)、MURA、 黑点、颜色不均、划伤、气泡、褶皱等缺陷问题。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能提高缺陷识别率的基 于小样本深度学习的液晶屏缺陷检测方法、***及装置。

本发明所采取的技术方案是：

基于小样本深度学习的液晶屏缺陷检测方法，包括以下步骤：

对缺陷图像进行分类标注，得到缺陷样本集；

根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型；

根据缺陷特征检测模型对需检测图像进行检测并同时进行增量学习，得到 检测结果和学习后的缺陷特征检测模型。

作为所述的基于小样本深度学习的液晶屏缺陷检测方法的进一步改进，所 述的根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型，这一步 骤具体包括：

建立神经网络模型，所述神经网络模型的分类器包括有全连接层和线性化 单元；

根据缺陷样本集和神经网络模型，通过迁移学习算法进行处理，得到缺陷 特征检测模型。

作为所述的基于小样本深度学习的液晶屏缺陷检测方法的进一步改进，所 述的增量学习具体包括：

对需检测图像进行预训练；

计算适应性误差函数，参数更新误差函数和代价函数，并对神经网络模型 进行参数调整，得到缺陷特征模型。

作为所述的基于小样本深度学习的液晶屏缺陷检测方法的进一步改进，所 述适应性误差函数的具体计算公式为：

其中，W为权重矩阵，取值为：θ表示神 经网络模型的原始参数，Δθ表示参数θ的增量，μ为学习效率， 表示神经网络模型参数由θ更新为θ+Δθ后的重构误差，T 表示训练样本。

作为所述的基于小样本深度学习的液晶屏缺陷检测方法的进一步改进，所 述参数更新误差函数的具体计算公式为：

作为所述的基于小样本深度学习的液晶屏缺陷检测方法的进一步改进，所 述代价函数的具体计算公式为：

P(x,θ+Δθ)＝E_adp+E_pers。

本发明所采用的另一个技术方案是：

基于小样本深度学习的液晶屏缺陷检测***，包括：

分类标注单元，用于对缺陷图像进行分类标注，得到缺陷样本集；

模型生成单元，用于根据缺陷样本集，通过迁移学习算法建立得到缺陷特 征检测模型；

检测学习单元，用于根据缺陷特征检测模型对需检测图像进行检测并同时 进行增量学习，得到检测结果和学习后的缺陷特征检测模型。

作为所述的基于小样本深度学习的液晶屏缺陷检测***的进一步改进，所 述的模型建立单元具体包括：

模型建立单元，用于建立神经网络模型，所述神经网络模型的分类器包括 有全连接层和线性化单元；

模型学习单元，用于根据缺陷样本集和神经网络模型，通过迁移学习算法 进行处理，得到缺陷特征检测模型。

作为所述的基于小样本深度学习的液晶屏缺陷检测方法的进一步改进，所 述的检测学习单元包括：

预训练单元，用于对需检测图像进行预训练；

计算单元，用于计算适应性误差函数，参数更新误差函数和代价函数，并 对神经网络模型进行参数调整，得到缺陷特征模型。

本发明所采用的再一个技术方案是：

基于小样本深度学习的液晶屏缺陷检测装置，包括：

存储器，用于存放程序；

处理器，用于执行所述程序，所述程序使得所述处理器执行所述的基于小 样本深度学习的液晶屏缺陷检测方法。

本发明的有益效果是：

本发明基于小样本深度学习的液晶屏缺陷检测方法、***及装置通过对已 标注的缺陷样本集学习，获得缺陷特征检测模型，并通过缺陷特征检测模型进 行缺陷识别，进而利用需检测图像进行增量学习从而调整模型参数，有效了提 升LED TV屏的智能检测的准确度。

附图说明

图1是本发明基于小样本深度学习的液晶屏缺陷检测方法的步骤流程图；

图2是本发明基于小样本深度学习的液晶屏缺陷检测***的模块方框图；

图3是本发明实施例的融合迁移学习与FCNet学习的误差率示意图；

图4是本发明实施例的测试数据集实验结果示意图；

图5是本发明实施例的测试数据集连续性实验结果示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

参考图1，本发明基于小样本深度学习的液晶屏缺陷检测方法，包括以下步 骤：

对缺陷图像进行分类标注，得到缺陷样本集；

根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型；

根据缺陷特征检测模型对需检测图像进行检测并同时进行增量学习，得到 检测结果和学习后的缺陷特征检测模型。

本实施例中，要实现基于机器视觉的智能屏检，必需完成液晶屏的点灯和 外观检测过程，在像素级层面对LED-TV的液晶屏出现的亮点、漏光、白点、 异物、斑纹、MURA、黑点、颜色不均、划伤、气泡、褶皱等完成缺陷的检测， 因此从宏观、微观的角度，依据缺陷的形状，可以讲缺陷划分为点缺陷(像素缺 陷)、线缺陷和面缺陷这三类。

而且，本发明通过迁移学习，获得更利于分类的特征表达模型。由此，基 于深度学习的特征提取和分类方法为转移学习任务提供了其他特征提取和分类 方法无法比拟的优势。当前，由于训练的数据量有限，可能会由于训练不足导 致性能不可靠甚至影响深度学习的模型。迁移学习正好具有改善分类性能和减 少数据标记所需的人力、无力的潜力。实现迁移学习的方法很多，包括样本、 特征、模型和关系的迁移。

通常，构成深度学习的网络框架层数越多，取得的分类效果越好，考虑到 更深的网络需要更多的训练数据，否则待优化的损失函数不能收敛。然而在LED TV缺陷检测中，已有标注的样本数量有限，要获取更多的样本需要通过增量取， 存在着一定的困难。

为了在有限的样本图像数据集中提高待分类任务的分类性能，引用包含3 个全连接层的FCNet分类器，如图2所示。图中FCNet的输入数据集中每幅样 本采用模型迁移学习方法提取的4096维全连接层的特征的集合[9]，为了避免过 拟合，在FCNet全连接层采用了DropOut策略[10]，为解决梯度下降消失的问题， 可以在全连接的层之后引入修正的线性化单元(Rectified Linear Units，ReLU)层 [10]。FCNet模型的损失函数定义为：

其中，N为训练样本数，y_n是第n个样本的真实标 签。在全连接网络FCNet反向传播调节神经元之间的连接权重过程中，可采用 随机梯度下降(Stochastic Gradient Decent，SGD)的方法，采用公式(2)计算偏导为 0时的W,b，最终为公式(1)寻找到最优解。

由此，给定被检测样本x_j，由公式(3)可得到其分类情况。

[p,C]＝max(W^Tx_j+b) (3)

其中,W,b是在训练过程中得到的参数，p表示样本x_j属于类别C的概率。

进一步作为优选的实施方式，所述的根据缺陷样本集，通过迁移学习算法 建立得到缺陷特征检测模型，这一步骤具体包括：

建立神经网络模型，所述神经网络模型的分类器包括有全连接层和线性化 单元；

根据缺陷样本集和神经网络模型，通过迁移学习算法进行处理，得到缺陷 特征检测模型。

进一步作为优选的实施方式，所述的增量学习具体包括：

对需检测图像进行预训练；

计算适应性误差函数，参数更新误差函数和代价函数，并对神经网络模型 进行参数调整，得到缺陷特征模型。

进一步作为优选的实施方式，所述适应性误差函数的具体计算公式为：

其中，W为权重矩阵，取值为：θ表示神 经网络模型的原始参数，Δθ表示参数θ的增量，μ为学习效率， 表示神经网络模型参数由θ更新为θ+Δθ后的重构误差，T 表示训练样本。

进一步作为优选的实施方式，所述参数更新误差函数的具体计算公式为：

进一步作为优选的实施方式，所述代价函数的具体计算公式为：

P(x,θ+Δθ)＝E_adp+E_pers。

本实施例中，在预训练阶段，训练模型的各基础模块，构建增量式深度计 算模型。在微调阶段，使用已标注的数据对整个模型的参数进行微调，获得最 终参数解。

在更新参数时，要尽量使得更新的模型能够学习新数据的特征，同时尽力 保持模型的原始特性，使得更新后的模型能够有效学习历史数据的特征，即适 应性与保持性。因此对于给定的训练的新增数据X，定义基于权重的适应性的 误差函数如公式4所示。

其中，W为权重矩阵，通常取值为：θ表 示模型的原始参数，Δθ表示参数θ的增量，μ为学习效率。表示模型参数由θ更新为θ+Δθ后的重构误差。

为衡量参数更新后模型的连续性，定义参数更新误差E_pers函数如公式5所 示。

为顾及参数更新的适应性与连续性，定义了代价函数如公式6。

P(x,θ+Δθ)＝E_adp+E_pers. (6)

为计算参数的增量Δθ，利用泰勒定理对展开，可求得，

可见，Δθ的这个近似解与在线梯度下降算法具有相似的形式。不同的是θ和 Δθ是参数张量及其增量的向量表示。

本实施例中，要实现自动屏检，必需计算覆盖屏幕范围的最大像素个数， 以及单个相机的可视范围，对平面、曲面LED屏的机架测试参数等。如图3所 示，LED液晶屏的长宽比为16：9，TV测试的最大尺寸为65Inch。则有：

Resolution max＝4K×2K×3＝24MP,(16x)²+(9x)²＝65²→x＝3.54Inch，

则单相机可视范围σ为：

水平LED屏检的机架测试参数：上下相机中心安装距离为405mm；水平相 机中心安装距离为520mm。而针对曲面4000R LED屏检的机架参数，上下相机 中心安装距离为405mm；相机水平安装需要变形,成4000R曲面；水平相机中 心安装距离为：500mm。

本发明实施例中提出的智能屏检***，对检测的缺陷目标进行了分类：亮/ 暗点、横/竖线、亮/暗斑的检测，分别表示在可视区域内点、线、面的检测情况。

表1所示不同尺寸TV屏检所对应的测试参数，是以往生产过程中经验的总结。

表1

实验伊始，对已标注缺陷样本采用机器学习获得融合3类特征的特征表达 模型；接着对上位机采集的图像采用特征模型进行边检测边增量学习的策略， 并对特征模型依照适应性和连续性进行参数调整。

在缺陷检测中，缺陷图像的分割是非常关键的环节。由于缺陷具有边缘模 糊、对比度低以及图像背景不均匀等特点，因此必须针对3类缺陷进行多级训 练获得特征模型，从而更好地进行识别。即，第一级，训练和边界相关的小块， 通过小的变换和旋转增强数据。在接下来的级中，我们训练以ground truth位置 随机变换得到的位置为中心的小块，第二级在水平和竖直最大的shift为0.05， 第三级为0.02，这个距离是以bounding box的大小为基准。参数可通过随机初 始化和随机梯度下降法得到。

已通过算法检测了5个缺陷标识，包括点状、线状以及图斑。特征提取自 30个样本数据块，包括了10个区域、3种尺度以及RGB或者灰度。而后我们 训练生产了60个FCNets网络，每一个都从某一个面部块及其水平对称图像中 提取了两个160维特征。最后，我们得到了19200维的特征(160×2×60)。

在实际生产中只要满足缺陷特征模型范围值就能达到检测的目的，据不完 全统计，缺陷检测的识别率可达到97％以上。

考虑到训练样本集和测试集数据特征变化不明显，参数更新量很小，仅需 要通过参数更新即可使得更新的网络模型学习新检测数据的特征，因此除验证 检测效率与准确性外，

现取已标注样本数据100张缺陷图片作为训练集，记为S0；测试数据集500 张中随机选择100张图片作为増量式训练数据集，记为S1；剩余400张图片测 试数据集记为S2.针对上述三个数据子集训练如下四种参数：

(1)在S0上训练获得特征参数P；

(2)以P作为原始参数，在S1上执行增量学习算法，获得增量更新参数 P1；

(3)在数据集S0,S1上执行基本的深度学习算法，获得参数P2；

(4)在数据集S2上执行基本的深度学习算法，获得参数P3；

在图3中，可以看到，融合了迁移学***均 误差将随着样本数量的增加，我们提出的模型平均误差最小。这也表明我们的 学习模型可以非常有效地从不同的特征空间中学到知识，能改善缺陷识别率。

依据测试数据集S2的平均方差(误差)可以验证上述4个参数针对分类的 正确性，检验参数对新数据的适应能力。平方误差越小,说明更新模型对新数据 的适应性越强。实验结果如图4所示。

平均平方误差统计结果如表2所示。

表2

从实验结果可知，θ作为参数对数据集进行分类得到的MSE最大。原因是 基本的深度学习模型是静态学习模型，而增量学习能有效学习新数据的特征， 因此P1作为参数对数据集S2进行分类时，得到的MSE明显小于0，同时我们 注意到，P2作为参数进行学习，其分类结果与P1比较接近，因为新数据实例与 原始数据整体执行基本深度学习获得了较好的结果。因而P3作为参数对S2进 行分类时，获得的MSE最小。

接下来，需要验证以S0作为测试数据集验证四个参数对S0分类的有效性。 目的是测试四个参数对历史数据的连续性，即保持性，平均平方误差越小，说 明更新模型对历史数据的保持性越强。重复实验5次，平均平方误差统计结果 如表3所示。

表3

以上实验结果表明，采用θ作为参数对S0进行分类时，MSE最小。这是由 于θ是原始学习获得的参数，可获得最佳的分类效果，体现了具有较强的连续性。 且使用参数P1，P2进行分类，MSE值仍比较小，表明其对历史数据的特征学 习具有良好的保持性。实验结果进一步表明，提出的学习策略优于其他2种识 别算法。

参考图2，本发明基于小样本深度学习的液晶屏缺陷检测***，包括：

分类标注单元，用于对缺陷图像进行分类标注，得到缺陷样本集；

模型生成单元，用于根据缺陷样本集，通过迁移学习算法建立得到缺陷特 征检测模型；

检测学习单元，用于根据缺陷特征检测模型对需检测图像进行检测并同时 进行增量学习，得到检测结果和学习后的缺陷特征检测模型。

进一步作为优选的实施方式，所述的模型建立单元具体包括：

模型建立单元，用于建立神经网络模型，所述神经网络模型的分类器包括 有全连接层和线性化单元；

模型学习单元，用于根据缺陷样本集和神经网络模型，通过迁移学习算法 进行处理，得到缺陷特征检测模型。

进一步作为优选的实施方式，所述的检测学习单元包括：

预训练单元，用于对需检测图像进行预训练；

计算单元，用于计算适应性误差函数，参数更新误差函数和代价函数，并 对神经网络模型进行参数调整，得到缺陷特征模型。

本发明基于小样本深度学习的液晶屏缺陷检测装置，包括：

存储器，用于存放程序；

处理器，用于执行所述程序，所述程序使得所述处理器执行所述的基于小 样本深度学习的液晶屏缺陷检测方法。

从上述内容可知，本发明通过对已标注的缺陷样本集学习，获得缺陷特征 检测模型，并通过缺陷特征检测模型进行缺陷识别，进而利用需检测图像进行 增量学习从而调整模型参数，有效了提升LED TV屏的智能检测的准确度。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述 实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种 的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的 范围内。

Claims (10)

1.基于小样本深度学习的液晶屏缺陷检测方法，其特征在于，包括以下步骤：

对缺陷图像进行分类标注，得到缺陷样本集；

根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型；

根据缺陷特征检测模型对需检测图像进行检测并同时进行增量学习，得到检测结果和学习后的缺陷特征检测模型。

2.根据权利要求1所述的基于小样本深度学习的液晶屏缺陷检测方法，其特征在于：所述的根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型，这一步骤具体包括：

建立神经网络模型，所述神经网络模型的分类器包括有全连接层和线性化单元；

根据缺陷样本集和神经网络模型，通过迁移学习算法进行处理，得到缺陷特征检测模型。

3.根据权利要求1所述的基于小样本深度学习的液晶屏缺陷检测方法，其特征在于：所述的增量学习具体包括：

对需检测图像进行预训练；

计算适应性误差函数，参数更新误差函数和代价函数，并对神经网络模型进行参数调整，得到缺陷特征模型。

4.根据权利要求3所述的基于小样本深度学习的液晶屏缺陷检测方法，其特征在于：所述适应性误差函数的具体计算公式为：

其中，W为权重矩阵，取值为：θ表示神经网络模型的原始参数，Δθ表示参数θ的增量，μ为学习效率，表示神经网络模型参数由θ更新为θ+Δθ后的重构误差，T表示训练样本。

5.根据权利要求4所述的基于小样本深度学习的液晶屏缺陷检测方法，其特征在于：所述参数更新误差函数的具体计算公式为：

6.根据权利要求5所述的基于小样本深度学习的液晶屏缺陷检测方法，其特征在于：所述代价函数的具体计算公式为：

P(x,θ+Δθ)＝E_adp+E_pers。

7.基于小样本深度学习的液晶屏缺陷检测***，其特征在于，包括：

分类标注单元，用于对缺陷图像进行分类标注，得到缺陷样本集；

模型生成单元，用于根据缺陷样本集，通过迁移学习算法建立得到缺陷特征检测模型；

检测学习单元，用于根据缺陷特征检测模型对需检测图像进行检测并同时进行增量学习，得到检测结果和学习后的缺陷特征检测模型。

8.根据权利要求7所述的基于小样本深度学习的液晶屏缺陷检测***，其特征在于：所述的模型建立单元具体包括：

模型建立单元，用于建立神经网络模型，所述神经网络模型的分类器包括有全连接层和线性化单元；

模型学习单元，用于根据缺陷样本集和神经网络模型，通过迁移学习算法进行处理，得到缺陷特征检测模型。

9.根据权利要求7所述的基于小样本深度学习的液晶屏缺陷检测***，其特征在于：所述的检测学习单元包括：

预训练单元，用于对需检测图像进行预训练；

计算单元，用于计算适应性误差函数，参数更新误差函数和代价函数，并对神经网络模型进行参数调整，得到缺陷特征模型。

10.基于小样本深度学习的液晶屏缺陷检测装置，其特征在于，包括：

存储器，用于存放程序；

处理器，用于执行所述程序，所述程序使得所述处理器执行如权利要求1～6任一项所述的基于小样本深度学习的液晶屏缺陷检测方法。