CN109859207A - 一种高密度柔性基板的缺陷检测方法 - Google Patents

Abstract

本发明公开了一种高密度柔性基板的缺陷检测方法，包括采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为faster R‑CNN卷积神经网络模型的训练样本；将标记号的训练样本作为faster R‑CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于faster R‑CNN卷积神经网络模型；然后将待检测的FICS图像输入训练好的基于faster R‑CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。本发明实现高密度柔性基板外观缺陷的快速定位与类型判断，解决了传统缺陷检测方法速度慢，正确率低的问题。

Description

一种高密度柔性基板的缺陷检测方法

技术领域

本发明涉及机器视觉表面缺陷检测技术领域，具体涉及一种高密度柔性基板的缺陷检测方法。

背景技术

高密度柔性基板(Flexible Integrated Circuit Substrate,简称FICS)，是一种可作为IC封装基板的高密度挠性印刷电路板。在高密度FICS的生产过程中，由于工艺过程控制的精度问题，难免产生外观上的缺陷。通过高精度的视觉检测，对FICS的多种外观缺陷进行快速定位与类型识别，是实现高密度FICS制造过程中质量控制的关键。

柔性基板制造商主要采用人工目检的方法，来对高密度FICS进行外观缺陷的检测。人工目检的检测效率比较低，造成劳动力资源的极大浪费，而且该方法误检率较高，难以保证检测的质量。一些学者提出了基于图像特征的外观缺陷检测方法，但这些方法检测速度较慢，难以满足FICS检测的实际应用需求；同时，这些方法只能针对某种特殊缺陷进行检测，无法对FICS上的多种类型的外观缺陷同时进行识别。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种高密度柔性基板的缺陷检测方法。

本发明采用如下技术方案：

一种高密度柔性基板的缺陷检测方法，包括：

深度神经网络模型训练步骤，具体为：

采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为faster R-CNN卷积神经网络模型的训练样本；

将标记号的训练样本作为faster R-CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于faster R-CNN卷积神经网络模型；

缺陷检测步骤，具体为：

将待检测的FICS图像输入训练好的基于faster R-CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。

所述faster R-CNN卷积神经网络模型包括

将预处理后的待检测FICS图像作为输入，输出特征图的共享卷积神经网络

对输出特征图进行采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，并输出特征图对应目标点值的平行空间变换网络；

输入特征图对应目标点值得到候选框的候选框生成网络；

输入候选框，输出为缺陷的位置信息及类别的感兴趣区域池化分类网络。

所述共享卷积神经网络由5个卷积层和2个池化层构成。

所述平行空间变换网络包括

由三个全连接层构成的定位网络，用于通过特征图得到转换矩阵θ；

通过转换矩阵θ，获取输出特征图上每一个采样点在输入特征图上的位置，然后对特征图进行变换的像素***；

通过双线性插值，对采样点坐标得到值进行计算，输出特征图上目标点值的采样器。

像素***包括缩放、平移及旋转的变换方式。

所述候选框生成网络采用滑动窗口结合锚的机制，确定滑动窗口的目标。

所述感兴趣区域池化分类网络包括一个感兴趣区域层和两个全连接层。

所述感兴趣区域池化分类网络的损失函数为：

L_hard＝L_class(p，u)+δL_regre(t，v)

L_class(p，u)代表分类的log损失，L_regre(t，v)代表预测框坐标的回归损失；p代表了该预测框对其包含的物体的真实类别的预测值，t和v分别代表了预测框的4个坐标组合起来的向量和实际位置坐标组合起来的向量；

4个坐标分别为(x，y，w，h)，x代表候选框的相对横坐标，y代表候选框的相对纵坐标，w代表候选框的宽度，h代表候选框的高度，δ用于平衡分类损失和坐标回归损失；

在训练过程中，将损失最大的前128个候选框视为难样本，利用小批次随机梯度下降法进行反向传播，更新网络参数。

本发明统一尺寸具体为224×224像素的标准尺寸。

本发明的有益效果：

(1)本发明一种基于改进的faster R-CNN的高密度柔性基板外观缺陷视觉检测方法，它可以被应用于柔性基板制造过程中外观缺陷的快速检测，取代人工目检，避免人工目检所带来的人力资源的浪费，并且极大地提高工作效率；

(2)该检测方法能够自动快速地检测出高密度柔性基板上不同类型的缺陷，并将缺陷的位置和类型标记出来，解决了传统图像方法难以解决的随机位置情况下的缺陷快速定位与检测问题；

(3)无需进行图像特征分析，将待检测图片输入训练完的神经网络模型后，可以直接输出缺陷的位置和类别信息，从而解决了传统的基于特征分析的图像处理方法速度慢并且无法同时检测多种类型缺陷的问题。

附图说明

图1是本发明的工作流程图；

图2是本发明基于faster R-CNN的深度神经网络模型的结构图；

图3是图2中的共享卷积神经网络的示意图；

图4是图2中平行空间变换网络的示意图；

图5是图2中候选框生成网络的示意图；

图6是图2中感兴趣区域池化分类网络的示意图；

图7(a)-图7(f)是本发明中FICS的检测效果图，分别是短路、断路、划痕、针孔、氧化及破孔缺陷。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种高密度柔性基板的缺陷检测方法，包括深度神经网络模型训练和缺陷检测两个步骤。

所述深度神经网络模型训练步骤，本实施例中深度神经网络模型采用fasterR-CNN，具体如下：

S1：收集大量带有不同种类外观缺陷的FICS图像；

S2：将收集到的图像的尺寸进行预处理，统一为224×224的标准尺寸；

S3：标记出每张图像中的缺陷位置和类别，将标记好的图像作为下一步faster R-CNN卷积神经网络的训练样本；

S4：以标记好的训练样本图像作为深度卷积神经网络模型的输入，并且将FICS缺陷的位置与类型信息作为模型输出，对基于改进的faster R-CNN的神经网络检测模型进行训练，得到用于FICS图像外观缺陷定位与类型识别的深度神经网络模型。

缺陷检测步骤，具体如下：

将所有待检测的FICS图像统一为标准尺寸224×224；

按顺序将FICS图像输入已经训练好的卷积神经网络模型，输出是否有缺陷、缺陷位置与类型信息，并将信息保存到数据库中；

对下一张输入的图像进行检测，直到检测结束。

如图2所示，本实施例中基于改进的faster R-CNN的深度卷积神经网络模型。它由4个部分组成，第一部分是共享卷积神经网络，第二部分是平行空间变换网络，第三部分是候选框生成网络，第四部分是感兴趣区域与池化网络。

如图3所示，第一部分是共享卷积神经网络。这一部分网络由5个卷积层和2个池化层组成，输入是预处理后大小为224*224的图像，输出是特征图。池化层采用最大池化的方法，来减少大量的参数计算，以及防止过拟合。

如图4所示，第二部分是平行空间变换网络。每一个空间变换网络都包含了3个部分，分别是：1)定位网络，它由3个全连接层组成。它的输入是宽为w，高为h，通道数为c的特征图/，输出是一个转换矩阵θ；2)像素***，它通过转换矩阵θ，获取输出特征图上每一个点在输入特征图上的位置，对转换矩阵θ进行特殊化处理时，就可以产生出不同种类的特征图变换，该平行空间变换网络包含了缩放，平移，旋转3种变换方式；3)采样器，通过上一步获取了输出特征图在输入特征图上的采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，确定了输出特征图上对应目标点的值。

如图5及图6所示，所述候选框生成网络的作用是输入一张图像，然后输出一批分数较高的候选框。在该网络中，候选框的生成采用了滑动窗口结合锚的机制，来确定每个滑动窗口所对应的区域里面是否有目标存在。由于目标的长宽不一致，因此需要多种尺度的窗口来进行覆盖。锚的机制便是在一个基准窗口大小的基础上，按照长宽和倍数比例来生成不同的候选框。该发明采用了(8，16，32)三种倍数和(0.5，1，2)三种比例来生成候选框，可以得到9种不同尺度的锚。

第四部分是结合难样本检测的感兴趣区域池化分类网络。感兴趣区域池化分类网络由一个感兴趣区域层和两个全连接层组成。它的输入是一系列的候选框，由上一个部分的候选框生成网络所生成，输出是神经网络对于缺陷的位置和类别信息，损失函数如下：

L_hard＝L_class(p，u)+δL_regre(t，v)

L_class(p，u)代表分类的log损失，L_regre(t，v)代表预测框坐标的回归损失；p代表了该预测框对其包含的物体的真实类别的预测值，t和v分别代表了预测框的4个坐标组合起来的向量和实际位置坐标组合起来的向量。4个坐标分别为(x，y，w，h)，x代表候选框的相对横坐标，y代表候选框的相对纵坐标，w代表候选框的宽度，h代表候选框的高度。δ用于平衡分类损失和坐标回归损失。在训练过程中，将损失最大的前128个候选框视为难样本，利用小批次随机梯度下降法进行反向传播，更新网络参数。

本实施例基于改进的faster R-CNN的深度卷积神经网络模型的训练步骤为：

1)对四个部分的卷积神经网络分别进行初始化；

2)对共享卷积神经网络，平行空间变换网络，候选框生成网络进行训练，得到一系列的候选框；

3)利用第2步生成的候选框，对共享卷积神经网络，平行空间变换网络和感兴趣区域池化分类网络进行训练，每次都挑选出前128个损失最大的候选框，利用小批次随机梯度下降算法进行网络参数更新；

4)固定共享卷积神经网络，平行空间变换网络，对候选框生成网络进行单独训练，得到一系列的候选框；

5)利用第4步生成的候选框，对共享卷积神经网络，平行空间变换网络和感兴趣区域池化分类网络进行训练，每次都挑选出损失最大的128个候选框，利用小批次随机梯度下降算法进行网络参数更新；

将本发明所述的外观缺陷检测***与方法用于FICS图像中线路的短路、断路，破损，破孔缺陷等缺陷的检测，检测结果如图7(a)、图7(b)、图7(c)、图7(d)、图7(e)及图7(f)所示。本发明方法通过训练出基于深度学习的深度卷积网络模型，将待检测的FICS图像输入训练完的模型，便可以快速输出FICS图像上的缺陷的位置与其类型信息。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种高密度柔性基板的缺陷检测方法，其特征在于，包括：

深度神经网络模型训练步骤，具体为：

采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为faster R-CNN卷积神经网络模型的训练样本；

将标记号的训练样本作为faster R-CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于faster R-CNN卷积神经网络模型；

缺陷检测步骤，具体为：

将待检测的FICS图像输入训练好的基于faster R-CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型。

2.根据权利要求1所述的缺陷检测方法，其特征在于，所述faster R-CNN卷积神经网络模型包括

将预处理后的待检测FICS图像作为输入，输出特征图的共享卷积神经网络

对输出特征图进行采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，并输出特征图对应目标点值的平行空间变换网络；

输入特征图对应目标点值得到候选框的候选框生成网络；

输入候选框，输出为缺陷的位置信息及类别的感兴趣区域池化分类网络。

3.根据权利要求2所述的缺陷检测方法，其特征在于，所述共享卷积神经网络由5个卷积层和2个池化层构成。

4.根据权利要求2所述的缺陷检测方法，其特征在于，所述平行空间变换网络包括

由三个全连接层构成的定位网络，用于通过特征图得到转换矩阵θ；

通过转换矩阵θ，获取输出特征图上每一个采样点在输入特征图上的位置，然后对特征图进行变换的像素***；

通过双线性插值，对采样点坐标得到值进行计算，输出特征图上目标点值的采样器。

5.根据权利要求4所述的缺陷检测方法，其特征在于，像素***包括缩放、平移及旋转的变换方式。

6.根据权利要求2所述的缺陷检测方法，其特征在于，所述候选框生成网络采用滑动窗口结合锚的机制，确定滑动窗口的目标。

7.根据权利要求2所述的缺陷检测方法，其特征在于，所述感兴趣区域池化分类网络包括一个感兴趣区域层和两个全连接层。

8.根据权利要求7所述的缺陷检测方法，其特征在于，所述感兴趣区域池化分类网络的损失函数为：

L_hard＝L_class(p，u)+δL_regre(t，v)

L_class(p，u)代表分类的log损失，L_regre(t，v)代表预测框坐标的回归损失；p代表了该预测框对其包含的物体的真实类别的预测值，t和v分别代表了预测框的4个坐标组合起来的向量和实际位置坐标组合起来的向量；

4个坐标分别为(x，y，w，h)，x代表候选框的相对横坐标，y代表候选框的相对纵坐标，w代表候选框的宽度，h代表候选框的高度，δ用于平衡分类损失和坐标回归损失；

在训练过程中，将损失最大的前128个候选框视为难样本，利用小批次随机梯度下降法进行反向传播，更新网络参数。

9.根据权利要求1所述的缺陷检测方法，其特征在于，统一尺寸具体为224×224像素的标准尺寸。