CN109872313A - 一种基于深度卷积自编码器的产品表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积自编码器的产品表面缺陷检测方法，其包括以下步骤：步骤一，使用成像设备采集不包含缺陷的良品图片；步骤二，使用深度卷积自编码器网络模型和训练数据集进行训练；步骤三，使用训练完的深度卷积自编码器对测试数据集中的每一张的切片图进行重建，并计算出重建前与重建后两张图片像素之差的差异参数；步骤四，对待检测图片的切片使用进行重建，计算出重建前与重建后两张图片像素之差的差异参数；步骤五：对良品图进行多个倍率的缩小，每一个缩小倍率的良品图都重复进行以上的流程。

Description

一种基于深度卷积自编码器的产品表面缺陷检测方法

技术领域

本发明涉及机器视觉外观检测领域，特别是涉及一种基于深度卷积自编码器的产品表面缺陷检测方法。

背景技术

机器视觉是用机器代替人眼来做测量和检测的技术和方法。机器视觉技术可用于替代人工进行自动化产品质量检测。一般情况使用机器视觉进行产品质量检测主要可以分成尺寸检测和外观检测。

在机器视觉产品外观检测领域。使用传统的非神经网络方法开发新项目时需要工程师调试大量的图像处理参数，这导致了新项目开发周期长。并且假如需要更换不同样式的产品（比如换一种图案的布匹）时可能需要工程师重新调试图像处理参数，在一些情况下这可能导致这类机器视觉检测***无法投入实际生产使用。

随着神经网络的发展与在机器视觉领域的应用，出现了不少基于神经网络的有监督机器视觉方法，比如基于卷积神经网络（CNN）或者BP神经网络，这类方法的应用解决了许多传统非神经网络机器视觉方法无法解决的复杂程度很高的产品外观检测问题。这类有监督方法也存在着明显的缺陷。第一个缺点是需要收集大量的良品与不良品的图片进行神经网络训练才能提高识别正确率，然而在大部分的机器视觉实际使用场景下不易采集到大量的不良品的图片，通常良品的数量会远多于不良品的数量，而实际训练时需要控制不同种类的训练图片比例不能差别过大。一般情况下为了将有监督学习神经网络的判断错误率降低为原来的十分之一往往需要十倍数量的训练图。所以使用基于神经网络的有监督机器视觉方法在实际项目开发时会遇到开发难度大的问题，遇到需要经常更换不同样式产品的项目时可能需要工程师重新采集大量新样式产品的图像重新训练，在一些情况下这类机器视觉检测技术无法应用到实际生产中。

在神经网络有监督学习领域，使用深度卷积的神经网络在处理数字图像方面在准确度和速度上优于没有使用深度卷积的神经网络（比如BP神经网络），经过研究与实际测试发现使用深度卷积自编码器对于数字图像处理的效果要好于没有使用深度卷积的自编码器。通常使用不同参数的网络模型和图片预处理方式会使得机器学习方法无法兼顾图像的全局和局部。

发明内容

本发明所要解决的技术问题是提供一种基于深度卷积自编码器的产品表面缺陷检测方法，其使用卷积自编码器能大大提高对处理数字图像的处理效果。

本发明是通过下述技术方案来解决上述技术问题的：一种基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，其包括以下步骤：

步骤一，使用成像设备采集不包含缺陷的良品图片，将良品图片按一定比例划分为两部分，一部分用于训练深度卷积自编码器，另一部分用于测试深度卷积自编码器训练效果并用于计算参考的缺陷区分阈值；对所有图片进行切片，获得训练数据集和测试数据集；

步骤二，使用深度卷积自编码器网络模型和训练数据集进行训练；

步骤三，使用训练完的深度卷积自编码器对测试数据集中的每一张的切片图进行重建，并计算出重建前与重建后两张图片像素之差的差异参数；

步骤四，对待检测图片的切片使用进行重建，计算出重建前与重建后两张图片像素之差的差异参数；根据差异参数的值将图片区分为良品和不良品，并获得缺陷检测结果；

步骤五：对良品图进行多个倍率的缩小，每一个缩小倍率的良品图都重复进行以上的流程；重复步骤一到步骤四直到处理完所有的缩放比率，可计算出不同缩小比率下某一张待检测图片是否包含缺陷；在重复流程中待检测图片也将进行对应比例的缩小；由此在维持神经网络结构不变的情况下对不同尺度下的物体表面结构进行检测。

优选地，所述步骤二使用深度卷积自编码器神经网络和训练数据集进行训练。

优选地，所述待检测图片为使用实际检测过程中使用工业相机或其他成像设备拍摄的用于检测产品是否有缺陷的图片。

优选地，所述成像设备采用用工业相机。

优选地，所述步骤五使用滑动窗口方法对待检测图片进行扫描，持续对窗口中的切片图片进行缺陷检测。

优选地，所述步骤三找到最大的差异参数作为阈值分割的参考。

优选地，所述深度卷积自编码器采用分为编码部分和解码两部分的网络架构。

本发明的积极进步效果在于：本发明提出的基于深度卷积自编码器的产品缺陷检测方法能应用于高度复杂的纹理图像，比如木头纹理和纺织品纤维结构，这些高度复杂，高度抽象的图像是没有使用神经网络技术的传统机器视觉方法难以准确处理的。本发明使用卷积自编码器能大大提高对处理数字图像的处理效果。有监督神经网络方法需要人工采集缺陷图，正常情况下缺陷图的采集难度远高于良品图的采集难度，这将制约项目的开发效率并大大提高项目的开发成本。在一些检测产品经常更变的项目有监督神经网络方法无法自动学习新样式的产品，导致无法用于这些项目的开发。本发明提出的方法属于无监督学习，训练神经网络只需提供易于采集的良品图片。在更换新样式的待检测产品后也能自动重新学习。传统的有监督学习神经网络方法在更换新品种的产品后需要人工进行缺陷的大量的缺陷图片采集以保证检测正确率。正常情况下缺陷图片的采集难度高，产生缺陷品的数量会远低于良品的数量，并且难以采集到种类齐全的缺陷。使用本发明提出的技术在更换新品种的待检测产品之后只需在人工监督下采集易获取的良品图片，就能自动完成训练和参数计算，开始进行新品种产品的缺陷检测。本发明在深度卷积基础上进行了优化和改良，使用了算法生成的自编码器网络结构，使得神经网络的复杂程度可以自由调节以解决不同抽象程度和复杂程度的产品外观检测项目。有些缺陷在宏观上更容易发现，有些缺陷在微观上更容易发现，通过将原图进行不同比例的缩小并切片剪裁，使用相同的神经网络模型训练出不同缩放比例下的神经网络权重，让本发明提出的方法具有更高的准确性，并且也减少了需要调试的参数数量，更加智能与高效。

附图说明

图1为深度卷积自编码器的网络架构示意图。

图2是本发明实施例公开的一种深度卷积自编码器的网络结构图。

图3为本发明训练后的深度卷积自编码器对三张切片图分别进行重建的结果的示意图。

图4为本发明基于深度卷积自编码器的产品表面缺陷检测方法的流程图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1至图4所示，本发明基于深度卷积自编码器的产品表面缺陷检测方法包括以下步骤：

步骤一，使用成像设备采集不包含缺陷的良品图片，将良品图片按一定比例划分为两部分，一部分用于训练深度卷积自编码器，另一部分用于测试深度卷积自编码器训练效果并用于计算参考的缺陷区分阈值；对所有图片进行切片，获得训练数据集和测试数据集。具体步骤如下：良品图片为使用工业相机或其他成像设备拍摄的不包含缺陷的良品图片，其可以为黑白图片或者多通道图片，比如彩色图片。将良品图像按一定比例划分为两部分，一部分用于训练自编码器，另一部分用于测试自编码器训练效果并用于计算参考的缺陷区分阈值。对所有图片进行切片，生成训练用良品切片图和测试用良品切片图，切片和切片之间允许存在重合，由此获得训练数据集和测试数据集。正常情况下切片的尺寸与深度卷积自编码器神经网络输入图像尺寸保持一致，特殊情况无法保持一致则需要对切片图片进行缩放以匹配神经网络输入图像尺寸。

步骤二，使用深度卷积自编码器网络模型和训练数据集进行训练，自编码器是一种主要用于数据降维或提取特征的无监督学习神经网络，卷积自编码器在传统自编码器的基础上结合了卷积神经网络的卷积和池化操作，在处理图像数据时效果更好。深度卷积自编码器的网络架构示意图如图1所示，分为编码部分和解码两部分，编码部分将图片压缩成特征图，解码部分将特征图还原出重建图。实际训练时使用例如图2所示的深度卷积自编码器神经网络和训练数据集进行训练，训练完成后保存神经网络权重。训练以python语言和keras作为backend为例子，首先需要导入依赖的python库，然后搭建特定神经网络，之后设置训练图片文件夹在电脑硬盘中的路径，最后设置训练参数，开始训练。

步骤三，使用训练完的深度卷积自编码器对测试数据集中的每一张的切片图进行重建，并计算出重建前与重建后两张图片像素之差的差异参数L1范数，找到其中最大的差异参数L1范数作为阈值分割的参考。步骤三以python语言和keras为例子进行重建，首先需要导入依赖的python库，然后搭建与训练时相同特定神经网络并载入训练完成后保存的神经网络权重，之后设置需要重建的图片文件夹在电脑硬盘上的路径，最后用该神经网络进行图像重建，一次得到重建的图片。

使用训练完的深度卷积自编码器对测试数据集中的每一张切片图进行重建，图3为对三张不同的切片图进行重建的结果。计算出原图与重建图上对应像素亮度差的绝对值，并计算出全部像素差的绝对值并求和。也就是原图与重建图上对应像素亮度之差的差异参数L1范数，计算方程式如下式（1）：

…………………………（1）

其中为原图上某个像素的亮度值，为重建图上某个像素的亮度值，N代表每张切片 图上总共的像素数量。a为原图，b为重建图，i为图片上像素的序号，从1开始计数。║a-b║₁ 表 示原图和重建图的L1范数。

将以上操作应用在测试数据集中所有的切片上，找到其中差异参数L1范数的最大值，可以作为区分良品与不良品的阈值参考。

步骤四，对待检测图片的切片使用进行重建，计算出重建前与重建后两张图片像素之差的差异参数L1范数；根据差异参数L1范数的值将图片区分为良品和不良品，并获得缺陷检测结果。使用工业相机采集待检测产品的图片，对图片的切片进行重建，算出重建前与重建后两张图片像素之差的差异参数L1范数；根据差异参数L1范数的值将图片区分为良品和不良品，并获得缺陷检测结果。

待检测图片为使用实际检测过程中使用工业相机或其他成像设备拍摄的用于检测产品是否有缺陷的图片。默认使用与处理训练图相同的参数对待检测图片进行切片。使用训练完的深度卷积自编码器对切片进行重建，训练后的网络能将带缺陷的纺织品纤维结构图还原为假如不存在缺陷时纤维结构最有可能呈现的状态。需要说明的是，假如将良品的切片图输入此神经网络，输出的结果与输入基本一致。通过算法比对原图与重建图之间的差异程度可以用来判断图片中是否包含缺陷。将以上操作应用在所有切片上，以步骤三中计算出的最大L1范数为参考阈值，用来判断当前切片是否包含缺陷并生成检测报告。将原图与重建图差值的绝对值图片进行合成，获得缺陷检测效果图，缺陷检测效果图对检测产品表面被分类为缺陷区域进行了标注，可用于人工复检。

步骤五：对良品图进行多个倍率的缩小，每一个缩小倍率的良品图都重复进行以上的流程。对良品图进行多个倍率的缩小，比如保存长宽比将良品图尺寸缩小为原来的二分之一，四分之一和八分之一。重复步骤一到步骤四直到处理完所有的缩放比率，可以计算出不同缩小比率下某一张待检测图片是否包含缺陷；在重复流程中待检测图片也将进行对应比例的缩小；由此可以在维持神经网络结构不变的情况下对不同尺度下的物体表面结构进行检测。

本实施例将本发明技术方案应用在经纬编在线缺陷检测***上。用于训练的良品图像为10张由工业相机采集并切割得到的分辨率为640*384的灰度图。本实施例具体的过程如下：

一，经纬编图像数据集的准备：

对经纬编良品图像进行分类，将80%的良品图片用于训练，剩下的20%用于测试。对图片数据集进行切片处理，切片的尺寸为64*64像素，步进为32像素，则每张分辨率为640*384的图像可以切割出209张64*64的图像，形成训练集。卷积自编码器训练数据集为1672张经纬编切片图片，测试数据集为418张切片图片。

二，进行神经网络训练

使用如图2所示的深度卷积自编码器，迭代次数为300，批尺寸（batch size）为128，选用二值交叉熵作为损失函数，使用1672张训练用经纬编切片图片，也就是训练数据集进行训练。训练完成之后保存神经网络的权重数据。

三，对测试数据集进行重建并计算判别阈值

使用训练之后的神经网络对测试数据集进行重建，图3为对三张不同的切片图进行重建的结果以供参考，从中可以看出训练后的网络能将带缺陷的纺织品纤维结构图还原为假如不存在缺陷时纤维结构最有可能呈现的状态。使用L1范数来计算原图和重建图之间的差异程度。 对全部测试数据集进行以上计算，找到最大值,以此最大值为基准提高10%作为图片中是否包含缺陷的判别阈值。

四，对原数据集按比例缩小，重复以上步骤

将10张用于训练得良品图像长宽同时缩小为原来的四分之一，重复上述流程直至计算出神经网络权重与判别阈值。在本实施例中进行了一次缩小，也可以多设置几个不同得缩小比例重复流程，获得不同缩小比例下的神经网络权重与判别阈值。此步骤是为了提高检测不同尺度缺陷的效果。

五，进行在线检测

使用选定的深度卷积自编码器神经网络模型，训练得到的网络权重，和对测试数据集进行计算得到的判别阈值，可以进行在线经纬编检测。使用工业相机拍摄经纬编图片，使用滑动窗口（sliding window）方法对待检测图片进行扫描，持续对窗口中的切片图片进行缺陷检测。对待检测图片按比例缩小后应用对应缩小比例下的神经网络权重与判别权重进行缺陷检测。最终归纳不同缩小比例下的缺陷检测生成检测报告。

假如要更换一种新品种的产品进行缺陷检测，需要人工监督重新采集十多张无大面积缺陷图像，小概率产生的缺陷混入训练数据集不会对最终检测质量产生明显影响，之后软件将按照上述的方法自动完成重新训练，完成参数计算，并开始新品种产品的缺陷检测。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，其包括以下步骤：

步骤一，使用成像设备采集不包含缺陷的良品图片，将良品图片按一定比例划分为两部分，一部分用于训练深度卷积自编码器，另一部分用于测试深度卷积自编码器训练效果并用于计算参考的缺陷区分阈值；对所有图片进行切片，获得训练数据集和测试数据集；

步骤二，使用深度卷积自编码器网络模型和训练数据集进行训练；

步骤三，使用训练完的深度卷积自编码器对测试数据集中的每一张的切片图进行重建，并计算出重建前与重建后两张图片像素之差的差异参数；

步骤四，对待检测图片的切片使用进行重建，计算出重建前与重建后两张图片像素之差的差异参数；根据差异参数的值将图片区分为良品和不良品，并获得缺陷检测结果；

步骤五：对良品图进行多个倍率的缩小，每一个缩小倍率的良品图都重复进行以上的流程；重复步骤一到步骤四直到处理完所有的缩放比率，可计算出不同缩小比率下某一张待检测图片是否包含缺陷；在重复流程中待检测图片也将进行对应比例的缩小；由此在维持神经网络结构不变的情况下对不同尺度下的物体表面结构进行检测。

2.如权利要求1所述的基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，所述步骤二使用深度卷积自编码器神经网络和训练数据集进行训练。

3.如权利要求1所述的基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，所述待检测图片为使用实际检测过程中使用工业相机或其他成像设备拍摄的用于检测产品是否有缺陷的图片。

4.如权利要求1所述的基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，所述成像设备采用用工业相机。

5.如权利要求1所述的基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，所述步骤五使用滑动窗口方法对待检测图片进行扫描，持续对窗口中的切片图片进行缺陷检测。

6.如权利要求1所述的基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，所述步骤三找到最大的差异参数作为阈值分割的参考。

7.如权利要求1所述的基于深度卷积自编码器的产品表面缺陷检测方法，其特征在于，所述深度卷积自编码器采用分为编码部分和解码两部分的网络架构。