CN112200766A - 基于区域关联神经网络的工业产品表面缺陷检测方法 - Google Patents

Abstract

本发明提供一种基于区域关联神经网络的工业产品表面缺陷检测方法，首先对图像进行预处理，然后构建区域关联神经网络，包括目标检测网络分支和光流预测网络分支：再将训练集中的图像进行随机反转，输入区域关联神经网络中进行特征提取；对目标检测网络分支和光流预测网络分支的特征信息进行融合；最后通过目标检测网络分支进行缺陷预测；本发明方法通过多尺度特征金字塔的方式把提取出的差异性特征信息与目标检测网络分支中特征信息进行融合，增强缺陷区域的特征信息，从而提高网络在缺陷检测中检测精度和鲁棒性。

Description

基于区域关联神经网络的工业产品表面缺陷检测方法

技术领域

本发明涉及计算机视觉，深度学习和工业产品缺陷检测领域，尤 其目标检测，光流预测以及印刷电路板表面缺陷检测。

背景技术

工业生产中的产品缺陷将大大降低商品的价值。对于工业产品 表面的缺陷，缺陷不仅影响产品外观，而且破坏产品的功能和可靠性。 产品中的缺陷可能是设备精度不够，人工操作失误等原因造成的，为 了在避免在生产中出现严重的质量问题，在实际的工业生产中需要大 量的人力物力进行缺陷检测检查和筛选。因此，设计工业产品表面缺 陷自动检测算法具有重要的意义。

由于工业生产中缺陷变化多样，形式不一，难以设计出统一的人 工特征，使得很多基于特征设计的传统的计算机室视觉算法在缺陷检 测方面的检测精度和鲁棒性都不是特别好。近年来基于深度卷积神经 网络的方法在一系列困难的计算机视觉问题上取得了显着进展，其中 在目标检测方面使得算法的检测精度有了极大的提高，因此基于目 标检测算法的应用在逐渐应用的很多领域。但在工业产品中，由于缺 陷种类多，差异大以及尺寸小，使得通用的目标检测算法(例如Faster R-CNN，SSD)在工业数据中检测缺陷的表现难以使人满意。因此，在 工业产品缺陷检测方面需要针对其特点设计专用的检测方法。

只有通过对处理的工业产品数据进行充分的分析才能较好的设 计出特有的工业产品缺陷检测深度神经网络模型。工业数据的特征没 有统一的特征表示(例如颜色，大小和形状)，因此，难以通过统一 的特征描述符来表达缺陷。但通过分析我们发现，许多工业产品在生 产前要制定统一的产品生产标准，并按照预先设计的标准统一生产产 品。产品缺陷是指不符合标准设计的产品。对于带有标准模板的此 类产品，存在缺陷的产品区域与标准模板完全不同。根据一些工人 的检查经验，将要测试的产品与产品的标准模板进行手动比较，以检 查缺陷。根据该工业产品标准模板的存在以及手工缺陷检测的一些 启发，可以以有助于数据缺陷检测的方式引入产品模板数据信息。

通过对工业数据特点的分析，我们认为提取工业产品表面缺陷和 没有缺陷的模板图像之间的差异可以作为我们提高工业产品缺陷检 测精度的一种思路。近来，由于已经提出了一些基于光流技术的表面 缺陷检测方法，这极大地启发了我们的工作。我们调查了工业缺陷信 息特征与额外数据形式之间的联系。光流可以表示帧之间数据的变化。 这意味着，对于工业产品的表面缺陷检测，可以使用光流来表示缺陷 区域相对于模板的数据变化。同时由于目标检测网络较高的精度，在 算法设计时可以对当前目标检测算法进行充分的融合和利用。

发明内容

针对现有技术中存在的不足，本发明提出一种基于区域关联神经 网络的工业产品表面缺陷检测方法。在发明过程中我们发现工业数据 中存在产品生产模版这一数据特点，设计通过光流网络关联模版数据 凸显缺陷特征，并通过多尺度特征金字塔方式把差异信息与目标检测 网络中的特征信息进行融合，从而提高网络对缺陷的检测精度。

在本发明中使用电路印刷板作为工业数据的代表，缺陷检测网络 由通用目标检测网络分支和光流预测网络FlowNetC组成，其中目标 检测网络主要使用的是YOLO V3网络结构。在目标检测网络分支中对 检测图像进行特征提取，光流分支网络中同时输入相同产品区域的模 版图像和测试图像，通过FlowNetC的多层网络进行特征提取，特征 关联以及光流的预测，然后通过融合两个网络分支中提取出的特征信 息，并对融合后的特征图进行缺陷的预测。

在缺陷检测领域，许多传统的算法研究都是基于具体的行业数据， 针对其数据和缺陷的具体特征设计特征描述符，由于缺陷变化多样， 特征不一，这种手工设计的特征描述符难以全面的对特征进行表达， 使得算法在精度和鲁棒性方面表现的都不是特别好。本发明通过神经 网络进行特征提取，使对工业数据由更好的普适性，通过光流分支关 联模版图像和测试图像之间的差异性，并与目标检测网络分支进行融 合能增强缺陷的差异性信息，可以提高在缺陷检测中检测精度和鲁棒 性。

基于区域关联神经网络的工业产品表面缺陷检测方法，步骤如下：

步骤1：对图像进行预处理。

步骤2：构建区域关联神经网络；

所述的区域关联神经网络包括目标检测网络分支和光流预测网 络分支：

所述的目标检测网络分支采用YOLO v3，通过YOLO v3中的 Darknet53网络结构对输入图像进行特征提取；

所述的光流预测网络分支采用FlowNetC光流预测网络，进行特征 提取和特征关联。

步骤3：将训练集中的图像进行随机反转，输入区域关联神经网 络中进行特征提取；

步骤4：对目标检测网络分支和光流预测网络分支的特征信息进 行融合；

步骤5：通过目标检测网络分支进行缺陷预测；

通过目标检测网络分支对步骤4获得的融合后的特征图进行缺 陷预测，由于只预测是否存在缺陷，所以目标检测网络分支的目标预 测类别为1。

步骤1：对图像进行预处理；

具体步骤如下：

1).将测试图像和模版图像进行特征匹配，使两张图像的区域相 对应；

2).对匹配后的图像进行裁剪，使得每张图像大小为512×512；

3).把图像分成训练集和测试集；

5).对图像进行像素归一化，把像素从[0，255]转化为[0，1]。

步骤3具体操作如下：

通过目标检测网络分支对输入的训练集中的测试图像进行特征 提取，输出大小为64×64×256、大小为32×32×770和大小为16× 16×1026的特征图；

将测试图像和模版图像输入光流预测网络分支中；通过FlownetC 网络的前三层卷积块对测试图像和模版图像进行下采样，提取它们的 特征信息；

通过FlownetC网络的卷积关联模块对提取出的测试图像信息和 模版图像信息进行特征关联，其数学表达为：

其中f₁和f₂分别表示测试图像和模版图像中参与关联的图像区 域，x₁和x₂表示f₁和f₂的中心坐标；

对关联后得到的特征图进行上采样和下采样，下采样的特征图和 上采样生成的特征图进行组合生成新的特征图和光流信息，在光流预 测网络分支中生成三种不同尺度的光流和特征图的组合信息：大小为 64×64×386的sacle1，大小为32×32×770的scale2和大小为 16×16×1026的scale3。

步骤4具体步骤如下：

1)在光流预测网络中选取scale1与目标检测网络分支中生成的 64×64×256大小的特征图通过合并操作融合形成新的特征图，同 时通过目标检测网络分支中的卷积块下采样生成32×32×512大小 的特征图；

2)光流预测网络中的scale2与目标检测网络分支中生成的大小 为32×32×512的特征图合并融合形成新的特征图，同时通过目标 检测网络分支下采样生成16×16×1024大小的特征图；

3)光流预测网络中的scale3与目标检测网络分支中生成的大小 为16×16×1024的特征图合并融合形成新的特征图，并通过卷积生 成新的特征图，大小为16×16×1024。

步骤5具体步骤如下：

1)为了充分利用目标检测网络分支中提取的特征信息，在目标 预测过程中依旧采用特征金字塔结构；

2)对目标检测分子网络中生成的16×16×1024的特征图上采 样，并与之前生成的大小为32×32×512的特征图合并组合，生成 新的32×32×768用于目标的预测；

3)对生成的32×32×768大小的特征图上采样，并与之前生 成的64×64×256的特征图合并组合，生成新的64×64×384大 小的特征图用于目标的预测；

4)对通过三种尺度的特征图预测出的目标进行非极大值抑制， 筛选出符合要求的预测结果，并进行下一步的计算，最后把预测出的 结果进行可视化，把预测出的缺陷绘制在测试图像中。

本发明的有益效果如下：

本发明通过发现很多工业产品在生产过程中存在模版数据这样 特点，产品中的缺陷相比于标准模版，缺陷区域即为差异区域，因此 提出了通过光流网络来提取和关联模版图像和测试图像之间的差异 性信息，并通过多尺度特征金字塔的方式把提取出的差异性特征信息 与目标检测网络分支中特征信息进行融合，增强缺陷区域的特征信息， 从而提高网络在缺陷检测中检测精度和鲁棒性。

附图说明

图1是本发明提出的网络结构图；

图2是关联计算示意图。

具体实施方式

下面根据附图详细说明本发明，本发明的目的和效果将变得更加 明显。

图1是本发明提出的网络结构图。该结构主要包含两个网络分支 结构，图中清晰的表示了网络的输入输出以及两个分支结构的融合。

目标检测网络分支中Backbone表示目标检测的主要网络结构， 在本发明中我们使用的是YOLO v3中的Darknet53网络结构，YOLO v3 是一种非常优秀的一阶段的目标检测算法，在检测精度和速度上都有 非常好的表现。Darknet53是YOLO v3中的主要网络结构，在网络中 我们通过Darknet53的部分结构对输入的测试图像Test image进行 特征提取，输出特征图大小为64×64×256，其中64×64为特征 图的高和宽，256为特征图的通道数。如图1所示，测试图像Test image和模版图像Template image同时输入光流预测网络分支中，FlowNetC是FlowNet方法中的一种，FlowNet光流预测网络是第一个 通过深度学习直接提取光流的端到端深度神经光流预测网络。将测试 图像和模版图像同时输入到FlowNetC网络中，然后通过相同的网络 结构进行特征提取，提取后的特征图通过FlowNetC网络的correlation模块进行卷积关联，形成一个新的特征图，然后继续进 行卷积。在图中的光流预测网络分支网络中，FlownetC’s downsampled network表示下采样网络，upsampling表示上采样。在 经过FlowNetC卷积关联模块以后，通过下采样的特征图和上采样生 成的特征图进行组合生成新的特征图，并生成新的特征信息。在图中 可以看出，光流预测网络分支网络共生成三种尺度的光流和特征图的 组合信息，分别为sacle1(大小为64×64×386)，scale2(大小 为32×32×770)和scale3(大小为16×16×1026)。从图中可 以看到，在本发明中的分支网络多尺度特征金字塔融合部分，两个分 支网络生成的相同尺度的特征图通过合并操作进行融合，光流预测网 络分支中的scale1和目标检测网络分支中大小为64×64×256的 特征图进行合并融合；scale2和目标检测网络分支中大小为32× 32×512的特征图进行合并融合；scale3和目标检测网络分支中大 小为16×16×1024的特征图进行合并融合。在目标预测阶段，为 了充分的利用网络中提取的多个层次的特征信息，发明中使用目标检 测网络中经典的特征金字塔结构，生成三种尺度的特征图(64×64×384，32×32×768和16×16×1024)用于缺陷的预测。图中 Non-maximum为非极大值抑制模块，用于对预测出的结果进行筛选。 Detection Results是网络输出结果在输入测试图上的可视化。

图2是卷积关联过程示意图，左边图表示模版图像的特征图，中 间图像表示测试图像的特征图，右边图像表示卷积关联生成的特征图。

本发明提出一种基于区域关联神经网络的工业产品表面缺陷检 测方法，该方法步骤包括：

步骤1：对图像进行预处理，具体步骤如下：

1)把测试图像和模版图像进行特征匹配，使两张图像的区域相 对应；

2)对匹配后的图像进行裁剪，使得每张图像大小为512×512；

3)把图像分成训练集和测试集；

4)对图像进行像素归一化，把像素从[0，255]转化为[0，1]。

步骤2：构建区域关联神经网络；

所述的区域关联神经网络包括目标检测网络分支和光流预测网 络分支：

所述的目标检测网络分支采用YOLO v3，通过YOLO v3中的 Darknet53网络结构对输入图像进行特征提取；

所述的光流预测网络分支采用FlowNetC光流预测网络，进行特征 提取和特征关联。

步骤3：将训练集中的图像进行随机反转；然后输入区域关联神 经网络中进行特征提取；

通过目标检测网络分支对输入的训练集中的测试图像进行特征 提取，输出大小为64×64×256、大小为32×32×770和大小为16× 16×1026的特征图；

光流预测网络分支网络进行特征提取和特征关联。

1)同时输入测试图像和模版图像；

2)使用FlowNetC网络中的前三层卷积块同时对输入的测试图像 和模版图像进行特征提取，如图1中的FlowNetC所示，该过程使用 的两个网络结构相同，且在网络计算过程中参数共享；

3)对提取出的测试图像和模版图像的特征图通过卷积关联模块 进行计算，如图1中FlowNetC模块中的绿色部分，其关联计算的数 学表达为：

其中f₁和f₂分别比表示模版图像和测试图像中参与关联的图像 区域，x₁和x₂表示f₁和f₂的中心坐标。在测试图像中选取一个区域作 为卷积核，其中心坐标为x₂，大小为(2k+1)×(2k+1)，在模版图 像中选取一个对应大小为(2d+1)×(2d+1)的区域，在该区域中进行c(x₁，x₂)卷积计算(图中为corr)，每次corr计算可得到一个值。 通过这样的计算，最后可得到一个w×h×D²的特征图，其中D＝ 2d+1。

4)对关联后得到的特征图进行上采样和下采样，下采样的特征 图和上采样生成的特征图进行组合生成新的特征图和光流信息，在光 流预测网络分支中生成三种不同尺度的光流和特征图的组合信息 scale1，scale2和scale3。

步骤4：目标检测网络分支和光流预测网络分支的特征信息进行 融合。

1)在光流预测网络中选取scale1(大小为64×64×386)与 目标检测网络分支中生成的64×64×256大小的特征图合并融合形 成新的特征图，同时通过目标检测网络分支中的神经网络下采样生成 32×32×512大小的特征图；

2)光流预测网络中的scale2(大小为32×32×770)与目标 检测网络分支中生成的大小为32×32×512的特征图合并融合形成 新的特征图，同时通过目标检测网络分支下采样生成16×16×1024 大小的特征图；

3)光流预测网络中的scale3(大小为16×16×1026)与目标 检测网络分支中生成的大小为16×16×1024的特征图合并融合形 成新的特征图，并通过卷积生成新的特征图，大小为16×16×1024。

步骤5：通过目标检测网络分支进行缺陷预测；

1)为了充分利用目标检测网络分支中提取的特征信息，在目标 预测过程中依旧采用特征金字塔结构；

2)对目标检测分子网络中生成的16×16×1024的特征图上采 样，并与之前生成的大小为32×32×512的特征图合并组合，生成 新的32×32×768用于目标的预测；

3)对生成的32×32×768大小的特征图上采样，并与之前生 成的64×64×256的特征图合并组合，生成新的64×64×384大 小的特征图用于目标的预测；

4)对通过三种尺度的特征图预测出的目标进行非极大值抑制， 筛选出符合要求的预测结果，并进行下一步的计算，最后把预测出的 结果进行可视化，把预测出的缺陷绘制在测试图像中。

Claims (5)

1.基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤如下：

步骤1：对图像进行预处理；

步骤2：构建区域关联神经网络；

所述的区域关联神经网络包括目标检测网络分支和光流预测网络分支：

所述的目标检测网络分支采用YOLO v3，通过YOLO v3中的Darknet53网络结构对输入图像进行特征提取；

所述的光流预测网络分支采用FlowNetC光流预测网络，进行特征提取和特征关联；

步骤3：将训练集中的图像进行随机反转，输入区域关联神经网络中进行特征提取；

步骤4：对目标检测网络分支和光流预测网络分支的特征信息进行融合；

步骤5：通过目标检测网络分支进行缺陷预测；

通过目标检测网络分支对步骤4获得的融合后的特征图进行缺陷预测，由于只预测是否存在缺陷，所以目标检测网络分支的目标预测类别为1。

2.根据权利要求1所述的基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤1具体步骤如下：

1).将测试图像和模版图像进行特征匹配，使两张图像的区域相对应；

2).对匹配后的图像进行裁剪，使得每张图像大小为512×512；

3).把图像分成训练集和测试集；

5).对图像进行像素归一化，把像素从[0，255]转化为[0，1]。

3.根据权利要求2所述的基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤3具体操作如下：

通过目标检测网络分支对输入的训练集中的测试图像进行特征提取，输出大小为64×64×256、大小为32×32×770和大小为16×16×1026的特征图；

将测试图像和模版图像输入光流预测网络分支中；通过FlownetC网络的前三层卷积块对测试图像和模版图像进行下采样，提取它们的特征信息；

通过FlownetC网络的卷积关联模块对提取出的测试图像信息和模版图像信息进行特征关联，其数学表达为：

其中f₁和f₂分别表示测试图像和模版图像中参与关联的图像区域，x₁和x₂表示f₁和f₂的中心坐标；

对关联后得到的特征图进行上采样和下采样，下采样的特征图和上采样生成的特征图进行组合生成新的特征图和光流信息，在光流预测网络分支中生成三种不同尺度的光流和特征图的组合信息：大小为64×64×386的sacle1，大小为32×32×770的scale2和大小为16×16×1026的scale3。

4.根据权利要求3所述的基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤4具体步骤如下：

1)在光流预测网络中选取scale1与目标检测网络分支中生成的64×64×256大小的特征图通过合并操作融合形成新的特征图，同时通过目标检测网络分支中的卷积块下采样生成32×32×512大小的特征图；

2)光流预测网络中的scale2与目标检测网络分支中生成的大小为32×32×512的特征图合并融合形成新的特征图，同时通过目标检测网络分支下采样生成16×16×1024大小的特征图；

3)光流预测网络中的scale3与目标检测网络分支中生成的大小为16×16×1024的特征图合并融合形成新的特征图，并通过卷积生成新的特征图，大小为16×16×1024。

5.根据权利要求4所述的基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤5具体操作如下：

1)为了充分利用目标检测网络分支中提取的特征信息，在目标预测过程中依旧采用特征金字塔结构；

2)对目标检测分子网络中生成的16×16×1024的特征图上采样，并与之前生成的大小为32×32×512的特征图合并组合，生成新的32×32×768用于目标的预测；

3)对生成的32×32×768大小的特征图上采样，并与之前生成的64×64×256的特征图合并组合，生成新的64×64×384大小的特征图用于目标的预测；

4)对通过三种尺度的特征图预测出的目标进行非极大值抑制，筛选出符合要求的预测结果，并进行下一步的计算，最后把预测出的结果进行可视化，把预测出的缺陷绘制在测试图像中。

Images