CN114092441A - 一种基于双重神经网络的产品表面缺陷检测方法及*** - Google Patents

Abstract

本发明公开了一种基于双重神经网络的产品表面缺陷检测方法，包括以下步骤：S1：收集带有缺陷的样本图像；S2：对样本图像进行处理，形成数据集；S3：采用数据集分别训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；S4：利用CCD探测阵列实时采集待测图像；S5：将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。本发明解决模型训练所需数据量较大，漏检率高、误检率高、效率低等问题。

Description

一种基于双重神经网络的产品表面缺陷检测方法及***

技术领域

本发明涉及机器视觉检测技术领域，具体涉及一种基于双重神经网络的产品表面缺陷检测方法及***。

背景技术

随着我国国民经济的高速发展，人们对工业产品的质量要求也越来越高，作为影响产品质量的重要因素之一，产品表面的缺陷检测是最直观也是最重要的检测环节。产品表面缺陷的存在往往是由生产中工艺制度的破坏或运输过程的差错而造成的，及时对产品进行缺陷检测有利于提高产品品质，节约生产成本，避免工艺浪费。

目前工业产品的表面缺陷检测大多采用人工目检的方式，人工检测需要耗费大量的时间和精力，并且很难保证长时间的检测准确度。尤其是在细微的缺陷检测方面，宽度小于50μm的极细微缺陷很难被人工成功检出。

现有的深度学习网络对明显的划痕等缺陷检测准确度较高，但对宽度小于50μm的轻微缺陷存在比较严重的误检测与漏检测情况，难以满足实际需求，且学习模型参数多，训练难度大，效率低。

发明内容

本发明的目的是提供一种基于双重神经网络的产品表面缺陷检测方法及***，解决模型训练所需数据量较大，漏检率高、误检率高、效率低等问题。

为了解决上述技术问题，本发明提供了一种基于双重神经网络的产品表面缺陷检测方法，包括以下步骤：

S1：收集带有缺陷的样本图像；

S2：对样本图像进行处理，形成数据集；

S3：采用数据集分别训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

S4：利用CCD探测阵列实时采集待测图像；

S5：将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

作为本发明的进一步改进，所述步骤S2中对样本图像进行处理包括以下步骤：

S21：统一样本图像的尺寸；

S22：采用中值滤波算法对样本图像进行降噪，使用自适应限制对比度自适应直方图均衡化算法通过计算图像的局部直方图，重新分布亮度改变图像对比度对图像进行增强，使样本图像中的缺陷更加突出；

S23：对样本图像进行平移、翻转或旋转，扩充样本；

S24：采用labelimg标记样本图像上的缺陷区域以及缺陷的缺陷的类型、尺寸和位置，将标记好的样本图像作为训练的数据集。

作为本发明的进一步改进，所述步骤S3中第一神经网络采用yolo-v3神经网络进行训练得到第一缺陷预测模型，所述yolo-v3神经网络包括Darknet-53主干特征提取网络、25个卷积层以及两个全连接层，其中，Darknet-53采用残差网络Residual。

作为本发明的进一步改进，所述yolo-v3神经网络进行训练前，将进行训练的数据集中每张样本图片分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张样本图片上标签的位置由六个参数构成，分别为w，h，x，y，conf，其中，w，h是矩形框宽高，x，y是矩形框中心位置的调整参数，conf是矩形框中是否含有缺陷的置信度。

作为本发明的进一步改进，所述Darknet-53主干特征提取网络中的每个卷积部分采用DraknetConv2D结构，所述DraknetConv2D结构每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU，LeakyReLU是给所有负值增加一个非零的斜率。

作为本发明的进一步改进，所述步骤S3中第二神经网络采用Faster RCNN神经网络进行训练得到第二缺陷预测模型，包括以下步骤：

S31：采用带有残差结构的ResNet50作为主干特征提取网络，以提取数据集中缺陷图像特征；

S32：使用RPN生成检测框，将得到的特征图像作为输入，经过一次3*3的卷积，和两次1*1的卷积，得到预选框；

S33：将预选框和原始的特征图像一起输入到ResNet50的池化层，通过全连接层与softmax函数计算每个目标具体属于的类别。

作为本发明的进一步改进，所述ResNet50包括依次设置的Conv2d卷积层、批量标准化层、ReLU函数层、最大池化层、4个卷积块、12个标识块、平均池化层以及全连接层。

作为本发明的进一步改进，利用Imagenet数据集对Faster RCNN神经网络进行预训练，将预训练好的Faster RCNN神经网络用于步骤S3中的训练。

一种基于双重神经网络的产品表面缺陷检测***，包括：

采集装置，用于收集带有缺陷的样本图像和实时采集待测图像；

数据处理模块，用于对样本图像进行处理，形成数据集；

神经网络模块，用于采用数据集训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

检测模块，用于将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

作为本发明的进一步改进，所述采集装置包括1200万像素CCD探测阵列，所述1200万像素CCD探测阵列配置有25mm焦距镜头，所述数据处理模块、神经网络模块和检测模块均配置于FPGA内。

本发明的有益效果：本发明使用深度学习通过对大量样本特征的提取学习，机器得到的标签特征信息不断加深，大大缩减了传统机器视觉人工特征提取的过程，且能够对随机性很强的缺陷实现自主学习，并且随着样本数量的增加，通过双重神经网络的检测，能有极大地提高对缺陷的分类效率和精度；本发明提出的检测方法区别于传统的语义分割神经网络，所需数据量较小，采用labelimg对样本进行标注，标注任务大大减轻，学习模型参数少，训练时间短，精度高，误检率、漏检率较低；本发明搭建的缺陷检测***，可以检测宽度小于20微米的划痕，既保证了精度，也保证了检测效率。

附图说明

图1是本发明检测方法流程示意图；

图2是本发明实施例中yolo-v3神经网络训练流程图；

图3是本发明实施例中yolo-v3神经网络检测流程图；

图4是本发明实施例中yolo-v3神经网络在缺陷检测上的检测结果一示意图；

图5是本发明实施例中yolo-v3神经网络在缺陷检测上的检测结果二示意图；

图6是本发明实施例中Faster RCNN神经网络训练流程图；

图7是本发明实施例中Faster RCNN神经网络检测流程图；

图8是本发明实施例中光学显微镜测量的极细微划痕的具体尺寸标记示意图；

图9是本发明实施例中Faster RCNN神经网络在极细微划痕上的检测结果示意图；

图10是本发明实施例中***平台结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参考图1，本发明实施例提供了一种基于双重神经网络的产品表面缺陷检测方法，包括以下步骤：

S1：收集带有缺陷的样本图像；

S2：对样本图像进行处理，形成数据集；

S3：采用数据集分别训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

S4：利用CCD探测阵列实时采集待测图像；

S5：将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

具体的，收集适量带有各种缺陷的样品图像(缺陷包括污点、细微划痕等)，将收集的图像尺寸统一为标准尺寸，对图像进行处理，处理方式包括先使用中值滤波算法对图像进行降噪，然后再对图像进行图像对比度增强，使缺陷更加清晰可见；扩充样本，扩充方式包括上下翻转、左右反转、平移、旋转；如果是细微划痕利用光学显微镜获取样本上划痕的具体尺寸，标记样本图片的缺陷区域，形成完整的数据集，采用所制作的数据集训练神经网络；此处采用双重神经网络，提高检测精度，通过训练得到的网络模型两层检测需要检测的样本，对样本进行特征提取，确定是否有缺陷，并标记缺陷的名称和位置区域。本发明深度学习与机器视觉结合，在细微缺陷检测方面表现异常优越，深度学习的优点在于通过对大量样本特征的提取学习，机器得到的标签特征信息不断加深，深度学***缩减了传统机器视觉人工特征提取的过程，且能够对随机性很强的细微划痕实现自主学习，并且随着样本数量的增加，深度学习能有极大地提高细微划痕的检测效率和精度，两重神经网络检测后，得到置信度较高的细微检测结果。

进一步的，对于图像的处理：本发明使用了中值滤波加自适应限制对比度自适应直方图均衡化(CLAHE)算法对图像进行增强，首先采用一个3*3的中值滤波过滤样本标签中的椒盐噪声，再对过滤后的图像进行自适应限制对比度自适应直方图均衡化(CLAHE)，CLAHE和普通的直方图均衡算法不同，CLAHE算法通过计算图像的局部直方图，然后重新分布亮度来来改变图像对比度，可以获得更好的增强效果，提高缺陷和背景之间的对比度，有利于检测。

进一步的，对图像的标注：采用labelimg对样本进行标注，标注任务大大减轻，学习模型参数少，训练时间短，精度高，误检率、漏检率较传统U-net神经网络要低得多。

实施例一

如图2-图9所示，本实施例在上述检测方法的基础上，第一神经网络采用yolo-v3神经网络对工业产品表面上总体缺陷进行检测，第二神经网络采用Faster RCNN神经网络对工业产品表面缺陷中的细微划痕进一步检测；

如图2和图3所示，第一神经网络采用yolo-v3神经网络对工业产品表面上总体缺陷进行检测，包括以下步骤：

步骤1，收集适量带有各种缺陷的样品图像(缺陷主要为污点，划痕)；

步骤2，将收集的图像尺寸统一为416*416的标准尺寸；

步骤3，对图像进行处理，处理方式包括先使用中值滤波算法对图像进行降噪，然后再对图像进行图像对比度增强，使缺陷更加清晰可见；

步骤4，扩充样本，扩充方式包括上下翻转、左右反转、平移、旋转；

步骤5，制作数据集；

步骤6，采用所制作的数据集训练yolo-v3神经网络；

步骤7，通过训练得到的yolo-v3网络模型检测需要检测的样本，对样本进行特征提取，确定是否有缺陷，并标记缺陷的名称和位置区域。

具体的，如图2所示，模型训练过程：收集大量带有不同缺陷的训练样本；将收集到的样本图标准化，统一为416*416尺寸；对图像进行预处理，先使用中值滤波对图像进行降噪，这一步可以有效过滤图像的椒盐噪声，再使用限制对比度自适应直方图均衡化对图像进行增强，可以使缺陷更加突出；扩充样本，对样本图像进行平移，翻转，旋转，这一步是为了增加数据集的规模，同时防止训练时模型过拟合，使训练效果更好；制作数据集；将标记好的数据集输入到yolo-v3神经网络中进行训练；得到缺陷分类检测的第一预测权重。

如图3所示，在检验过程中，利用1200万像素CCD探测阵列实时采集图像；将采集的图像进行标准化，统一为416*416尺寸大小；对采集到的图像进行预处理，先中值滤波再对比度增强，提高预测的准确度；载入训练得到的第一预测权重，即训练好的神经网络，进行检测，将检测到的缺陷类型，位置以及置信度标记出来；对下一张图片进行检测，一直持续到检测结束。

此时检测结果如图4和图5所示(scratch，stain，dust为标签名，0.85等数字代表置信度)。可以看出，此时检测的置信度结果较低，缺陷中划痕结果不明显，需要对缺陷结果进一步检测。

如图6和图7所示，第二神经网络采用Faster RCNN神经网络，进一步检测细微划痕过程，包括以下步骤：

步骤1，收集适量带有细微划痕缺陷的样品图像；

步骤2，将收集的图像尺寸统一为416*416的标准尺寸；

步骤3，对图像进行处理，处理方式包括先使用中值滤波算法对图像进行降噪，然后再对图像进行图像对比度增强，使划痕更加清晰可见；

步骤4，扩充样本，扩充方式包括上下翻转、左右反转、平移、旋转；

步骤5，利用光学显微镜获取样本上划痕的具体尺寸，参考图8，标记样本图片的缺陷区域，形成完整的数据集；

步骤6，采用所述规模数据集训练Faster RCNN神经网络；

步骤7，通过训练得到的Faster RCNN网络模型检测需要检测yolo-v3网络模型的检测结果图片，对图片进行特征提取，确定最终划痕的位置。

具体的，如图6所示，模型训练过程：收集大量带有不同极细微划痕的训练样本；将收集到的样本图标准化，统一为416*416尺寸；对图像进行预处理，先使用中值滤波对图像进行降噪，这一步可以有效过滤图像的椒盐噪声，再使用限制对比度自适应直方图均衡化对图像进行增强，可以使划痕更加突出；扩充样本，对样本图像进行平移，翻转，旋转，这一步是为了增加数据集的规模，使训练效果更好；利用光学显微镜获取样本上划痕的具体尺寸，手动标记样本图片的缺陷区域，尺寸，将标记好的图像作为下一步训练的数据集；将标记好的数据集输入到Faster RCNN神经网络中进行训练；得到用于极细微划痕缺陷检测的预测权重。

如图7所示，在检测过程中，输入第一重神经网络检测结果图像进行检测，将检测到的划痕具***置标记出来；对下一张图片进行检测，一直持续到检测结束。

将本实施例所述的极细微划痕检测方法用于玻璃屏幕表面划痕的检测中，检测结果如图9所示(scratch是标签名，0.95等数字代表置信度)，置信度较高，本发明被证实可以快速准确地检测玻璃屏幕上是否有划痕，划痕的位置。

进一步的，本实施例训练所用的yolo-v3神经网络，每张训练样本分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张训练样本上标签的位置由六个参数构成，分别为w,h,x,y,conf，其中w，h是先验框宽高，x，y是先验框中心位置的调整参数，conf是先验框中是否含有缺陷的置信度。模型包括了一个Darknet-53的主干特征提取网络以及25个卷积层以及两个全连接层，Darknet-53使用了残差网络Residual，Darknet53中的残差卷积就是首先进行一次卷积核大小为3*3、步长为2的卷积，通过这次卷积对特征层进行压缩，压缩后的特征层命名为layer。之后再对layer特征层进行一次1*1的卷积和一次3*3的卷积，将得到的新特征层与layer相加，构成了残差结构。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。在所述的yolo-v3神经网络中，引入了迁移学习的思想，对模型进行预训练，可以加快模型的收敛速度，提高训练效率跟准确度；Darknet-53主干提取网络中的每个卷积部分采用的特有的DraknetConv2D结构，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU。普通的ReLu是将所有的负值都设置为0，LeakyReLU是给所有负值增加一个非零的斜率，数学表达式为：

在本实施例中，采用中值滤波加自适应限制对比度自适应直方图均衡化处理图像，提高缺陷的对比度；采用yolo-v3神经网络对缺陷进行分类检测，相比传统语义分割网络精度更高，速度更快；引入迁移学习的思想，对模型进行预训练，提高训练的效率。

进一步的，还可以利用手动标注的数据训练Faster RCNN神经网络，获得极细微划痕目标检测模型；初始化训练参数设置，将步骤2中输入图像尺寸统一为800*800大小的RGB(Red、Green、Blue)三通道图像作为Faster RCNN神经网络的输入，同时，设置Faster RCNN神经网络初始学习率0.0001，初始迭代次数50，批处理数据量8；训练时随机抽选所有输入数据的90％用于训练，10％用于验证。

进一步的，利用迁移学习的思想，将Faster RCNN神经网在知名大型数据集Imagenet上进行预训练，得到预训练权重，载入到本发明所用Faster RCNN神经网络中，大大减少了训练时间，同时提高了训练精度。

进一步的，本发明所述的Faster RCNN神经网络，采用带有残差结构的ResNet50作为主干特征提取网络，以网络提取数据集中细微划痕的图像特征,残差结构能够将靠前若干层的某一层数据输出直接跳过多层引入到后面数据层的输入部分，可以有效克服由于网络深度加深而产生的学***均池化层以及1个全连接层；Conv Block的作用是改变网络的维度，Identity Block的作用是加深网络。直接使用RPN生成检测框，能极大提升检测框的生成速度，RPN将一系列卷积操作得到的公共特征图作为输入，然后先经过一次3*3的卷积，又经过两次1*1的卷积，经过后处理得到预选框，然后将预选框和原始的特征图一起输入到ROI池化层，最后通过全连接层与softmax函数计算每个目标具体属于哪个类别。

在本实施例中，采用中值滤波加自适应限制对比度自适应直方图均衡化处理图像，提高划痕的对比度；采用Faster RCNN神经网络检测极细微划痕，准确度高；采用labelimg对样本进行标注，标注任务大大减轻，学习模型参数少，训练时间短，精度高，误检率、漏检率较传统U-net神经网络要低得多。

实施例二

在上述缺陷检测方法的基础上，搭建采集装置，用于收集带有缺陷的样本图像和实时采集待测图像；

数据处理模块，用于对样本图像进行处理，形成数据集；

神经网络模块，用于采用数据集训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

检测模块，用于将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

如图10所示，具体的，***包括图像采集平台：

采集装置：1200万像素CCD探测阵列，所述1200万像素CCD探测阵列，用于采集图像；

方形LED照明光源，用于对样品提供高强度和均匀的光；

光源调节器，用于调节光源的亮度，获得最合适的光强度；

25mm焦距的镜头，与探测阵列搭配可用于检测宽度小于二十微米的缺陷；

基于FPGA的图像采集***和检测算法实施平台，用于连接探测阵列接收图像数据，并对检测图像进行处理；

使用时，将待检测的样品放在光源的上方的固定位置，相机为1200万像素，镜头焦距为25mm，镜头距离样品的距离为16cm，可以检测40cm*50cm大小的矩形区域内的宽度小于二十微米的缺陷，既保证了精度，也保证了检测效率。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：包括以下步骤：

S1：收集带有缺陷的样本图像；

S2：对样本图像进行处理，形成数据集；

S3：采用数据集分别训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

S4：利用CCD探测阵列实时采集待测图像；

S5：将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

2.如权利要求1所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述步骤S2中对样本图像进行处理包括以下步骤：

S21：统一样本图像的尺寸；

S22：采用中值滤波算法对样本图像进行降噪，使用自适应限制对比度自适应直方图均衡化算法通过计算图像的局部直方图，重新分布亮度改变图像对比度对图像进行增强，使样本图像中的缺陷更加突出；

S23：对样本图像进行平移、翻转或旋转，扩充样本；

S24：采用labelimg标记样本图像上的缺陷区域以及缺陷的缺陷的类型、尺寸和位置，将标记好的样本图像作为训练的数据集。

3.如权利要求1所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述步骤S3中第一神经网络采用yolo-v3神经网络进行训练得到第一缺陷预测模型，所述yolo-v3神经网络包括Darknet-53主干特征提取网络、25个卷积层以及两个全连接层，其中，Darknet-53采用残差网络Residual。

4.如权利要求3所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述yolo-v3神经网络进行训练前，将进行训练的数据集中每张样本图片分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张样本图片上标签的位置由六个参数构成，分别为w，h，x，y，conf，其中，w，h是矩形框宽高，x，y是矩形框中心位置的调整参数，conf是矩形框中是否含有缺陷的置信度。

5.如权利要求4所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述Darknet-53主干特征提取网络中的每个卷积部分采用DraknetConv2D结构，所述DraknetConv2D结构每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU，LeakyReLU是给所有负值增加一个非零的斜率。

6.如权利要求1所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述步骤S3中第二神经网络采用Faster RCNN神经网络进行训练得到第二缺陷预测模型，包括以下步骤：

S31：采用带有残差结构的ResNet50作为主干特征提取网络，以提取数据集中缺陷图像特征；

S32：使用RPN生成检测框，将得到的特征图像作为输入，经过一次3*3的卷积，和两次1*1的卷积，得到预选框；

S33：将预选框和原始的特征图像一起输入到ResNet50的池化层，通过全连接层与softmax函数计算每个目标具体属于的类别。

7.如权利要求6所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述ResNet50包括依次设置的Conv2d卷积层、批量标准化层、ReLU函数层、最大池化层、4个卷积块、12个标识块、平均池化层以及全连接层。

8.如权利要求6所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：利用Imagenet数据集对Faster RCNN神经网络进行预训练，将预训练好的Faster RCNN神经网络用于步骤S3中的训练。

9.一种基于双重神经网络的产品表面缺陷检测***，其特征在于：包括：

采集装置，用于收集带有缺陷的样本图像和实时采集待测图像；

数据处理模块，用于对样本图像进行处理，形成数据集；

神经网络模块，用于采用数据集训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

检测模块，用于将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

10.如权利要求9所述的一种基于双重神经网络的产品表面缺陷检测***，其特征在于：所述采集装置包括1200万像素CCD探测阵列，所述1200万像素CCD探测阵列配置有25mm焦距镜头，所述数据处理模块、神经网络模块和检测模块均配置于FPGA内。

Images