CN108427969A - 一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法 - Google Patents

Abstract

一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法，用不同尺度的结构元对原始图像进行形态学运算，对不同尺度下的梯度图像加权融合得到多尺度形态学梯度图像，为了增强纸张缺陷对比度，突出缺陷梯度特征和缺陷边缘的信息特征，将多尺度形态学梯度图像与原始缺陷图像进行加权融合，实现缺陷图像增强，输入至卷积神经网络进行特征提取并分类，把卷积神经网络用在纸张缺陷分类中，能够快速实现纸张缺陷的准确分类，具有方法简单、耗时短、识别精度高的特点。

Description

一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法

技术领域

本发明属于图像处理及模式识别技术领域，特别涉及一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法。

背景技术

特征提取是模式识别的关键步骤，在图像分析和模式识别中有着重要应用。图像分类的传统特征提取方法都是预先定义一种特征，再根据定义好的特征进行特征提取并分类。实际应用中纸张图像容易受到光照、环境等因素影响，使得缺陷检测、特征提取及分类成为造纸行业中的热点。目前，学者们已经提出了多种纸张缺陷分类算法。袁浩等人通过对纸张缺陷灰度图像进行固定特征选择，提出将支持向量机应用于实际的纸张缺陷分类，但对于纸张缺陷灰度图像而言，灰度表现单一，且采集到的缺陷图可能存在亮度上的变化，导致分类效果不理想。因此，胡慕伊等人提出根据不同纸张缺陷图像的灰度特征，利用动态双阈值分割纸张缺陷区域，提取缺陷特征进行分类，但阈值分割需要对不同的纸张缺陷设置不同的阈值，导致参数设置困难。为了降低参数设置复杂度，周强等人利用Hough变换检测直线特征的方法对纸张缺陷进行分类，该方法在缺陷形状为线型时识别效果较好，但不适用于大多数非线型形状的纸张缺陷分类，且运算复杂不利于后期的在线实现。基于以上问题，杨雁南等人提出使用模糊融合器对纸张缺陷的多种特征值进行特征层融合，利用径向基神经网络对纸张缺陷图像进行分类，扩大了纸张缺陷辨识的范围，但提取的特征单一且为浅层特征，从而导致分类精度较低。为此，罗磊等人提出提取纸张灰度图像的LBP(LocialBinary Pattern，局部二进制模式)特征，进行缺陷识别。但由于LBP方法对纸张表面图像纹理清晰度要求较高，需要增加复杂的预处理算法。因此，吴一全等人提出一种基于Krawtchouk矩不变量和小波支持向量机的纸张缺陷识别方法，通过计算纸张缺陷图像的Krawtchouk矩不变量，来构造纸张缺陷图像的特征向量，根据训练样本的特征向量构造支持向量机，对纸张缺陷图像进行缺陷分类，但前期计算步骤复杂会降低识别速度。为了提高缺陷辨识精度，周强等人提出利用二维小波变换去噪、奇异值分解方法提取纸张缺陷特征，进行缺陷类别识别。但提取纸张缺陷特征仍然存在特征计算复杂等问题。且现有纸张缺陷分类方法依赖于传统特征描述子和分类器选择、特征计算复杂等问题。

针对传统图像分类方法依赖于特征描述子的问题，Hinton等人提出的深度学习能够分层学习图像特征，有效避免传统图像分类方法依赖于人工特征描述子的问题，在图像处理及计算机视觉等众多领域中得到了广泛应用。作为深度学习的代表性模型，卷积神经网络(CNN)能自动学习图像特征，对复杂图像的形状特征、纹理特征、颜色特征以及空间关系特征进行深层特征信息提取并分类。通常可获得比传统特征提取方法更好的分类效果。而纸张缺陷图像纹理简单，背景单一，且纸张缺陷图像比如黑斑、孔洞、垫痕、褶皱都属于小而少量缺陷。传统方法只能提取到单一底层特征，导致分类效果不理想。因此，如何将深度卷积神经网络应用在纸张缺陷图像中实现快速准确分类是一个热点问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法，把卷积神经网络用在纸张缺陷分类中，能够快速实现纸张缺陷的准确分类，具有方法简单、耗时短、识别精度高的特点。

为了达到上述目的，本发明采取的技术方案为：

一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法，包括以下步骤：

步骤1：准备纸张缺陷图像数据，并随机划分训练集和测试集；

步骤2：初始化，给定Matlab程序运行参数，输入纸张缺陷训练集图像；

步骤3：对输入图像进行不同尺度形态学梯度运算，得到多个尺度下的形态学梯度图像；

步骤4：对不同尺度下的梯度图像加权融合，取均值得到最终的多尺度形态学梯度图像；

步骤5：将多尺度形态学梯度图像与纸张缺陷图像进行融合实现图像增强，得到卷积神经网络输入图像；

步骤6：增强后的训练图像输入至卷积神经网络训练模型；

步骤7：测试集重复步骤3-5得到梯度增强图像，输入至训练好的模型上进行缺陷特征提取并分类；

步骤8：将预测标签与实际标签对比，计算缺陷分类正确率。

所述步骤3具体实现过程为：

利用数学形态学方法计算纸张缺陷图像f(x,y)的形态学梯度图像G(i)：

(a)计算f的不同尺度大小的结构元se_i对应的梯度图像g(i)，公式如下：

(b)对g(i)与se_i-1进行腐蚀运算，得f的形态学梯度图像G(i)，公式如下：

G(i)＝g(i)！se_i-1。

本发明与现有技术相比的有益效果为：

针对传统纸张缺陷分类方法依赖于特征描述子和分类器选择、特征描述计算步骤复杂、纸张缺陷图像的光照不均影响分类精度等问题，利用深度卷积神经网络对纸张缺陷图像进行特征提取并分类，解决了传统分类方法存在的问题，结合纸张缺陷特点，利用多尺度形态学方法对缺陷图像实现梯度增强，然后利用卷积神经网络(CNN)能够自动学习图像特征的优势对纸张缺陷图像进行特征提取并分类。本发明与现有的传统特征纸张缺陷分类方法相比，不需针对各种缺陷进行缺陷特征提取和特征描述，能够快速实现纸张缺陷的准确分类，同时解决了由于纸张缺陷图像光照不均影响分类精度的问题，具有耗时低、精度高优点。

附图说明

图1(a)是本发明实验中的纸张缺陷图像“黑斑”、“孔洞”、“垫痕”、“折痕”；

图1(b)是本发明利用预处理对比方法Canny算子对四类纸张缺陷图像的图像增强结果；

图1(c)是本发明利用预处理对比方法Sobel算子对四类纸张缺陷图像的图像增强结果；

图1(d)是本发明利用预处理对比方法Prewitt算子对四类纸张缺陷图像的图像增强结果；

图1(e)是本发明利用本发明方法对四类纸张缺陷图像的图像增强结果。

图2(a)是本发明利用纸张缺陷“孔洞”图像在卷积神经网络各卷积层的可视化特征图；

图2(b)是本发明利用本发明方法进行梯度增强的纸张缺陷“孔洞”图像在卷积神经网络各卷积层的可视化特征图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

用不同尺度的结构元对原始图像进行形态学运算，对不同尺度下的梯度图像加权融合得到多尺度形态学梯度图像。为了增强纸张缺陷对比度，突出缺陷梯度特征和缺陷边缘的信息特征，将多尺度形态学梯度图像与原始缺陷图像进行加权融合，实现缺陷图像增强，输入至卷积神经网络进行特征提取并分类，具体实现步骤如下：

步骤1：准备纸张缺陷图像数据，并随机划分训练集和测试集；

步骤2：初始化，给定程序的运行参数，se_i为第i个尺度对应的结构元，此处取半径大小为1，3，5，7的圆形结构元素，l＝0,m＝0,k＝length(训练集)；

其中，l表示预测标签与实际标签相等的个数，m为常数，k表示测试集图像个数，输入纸张缺陷训练集图像；

步骤3：利用数学形态学方法计算纸张缺陷图像f(x,y)的形态学梯度图像G(i)：

(a)计算f的不同尺度大小的结构元se_i对应的梯度图像g(i)，公式如下：

(b)对g(i)与se_i-1进行腐蚀运算，得f的形态学梯度图像G(i)，公式如下：

G(i)＝g(i)！se_i-1；

步骤4：对不同尺度下的形态学梯度图像加权融合取均值，得最终的多尺度形态学梯度图像MG，公式如下：

其中，n表示尺度数目；

步骤5：计算梯度增强图像f_MG，公式如下：

f_MG＝(f+MG)；

步骤6：将训练集对应的梯度增强图像f_MG输入至卷积神经网络训练模型；

步骤7：测试集重复步骤3-5，得测试集梯度增强图像f_MG，输入至训练好的模型上进行缺陷特征提取并分类，得训练集数据对应的预测标签prel_k；

步骤8：训练集的预测标签prel_k与实际标签l_k对比；

(a)若prel_k＝l_k，l＝l+1，m＝m+1；

(b)否则，l不变，终止条件为：m＝k；

(c)计算缺陷分类识别率，公式如下：

实施例一：

为了测试本发明对纸张缺陷图像分类的有效性和优越性，仿真实验是在CPU:Intel(TM)i7-6700U,3.3GHz，内存16GB，NVIDIA Quadro K620显卡的硬件环境和MATLABR2017a的软件环境下进行的。

利用三种对比方法：传统方法提取纸张缺陷HOG特征进行分类，得到分类结果(HOG+SVM),提取LBP特征进行分类得到分类结果(LBP+SVM)，预处理方法Canny算子对四类纸张缺陷图像增强后输入至CNN模型得到的分类结果(Canny+CNN)，Sobel算子对四类纸张缺陷图像增强后输入至CNN模型得到的分类结果(Sobel+CNN)，Prewitt算子对四类纸张缺陷图像增强后输入至CNN模型得到的分类结果(Prewitt+CNN)和本发明方法对四类纸张缺陷图像增强后进行特征提取并分类的结果，实验结果参照表1。

表1为利用表中各方法对本发明中所用纸张缺陷图像进行分类和所用时间对比结果。

表1

由表1可以看出，采用本发明方法得到的纸张缺陷图像分类正确率均高于其他几种传统方法，优势明显；分类所用时间虽然不是最短，但是已经明显低于其他大多数传统方法，处于优势状态，因此，能够表明本发明方法是一种良好的纸张缺陷分类方法。

表2为本发明中为了证明本发明的可行性和实用性，利用表中各方法对Caltech101图像物体识别数据集和KTH-TIPS纹理图像数据集进行分类和所用时间对比结果。

表2

表2显示各算子对纸张缺陷图像进行梯度增强后的结果，边缘轮廓对比度相对原图有所提升，但其对缺陷边缘方向性依赖比较大。Canny算子和Prewitt算子比Sobel算子的去噪能力强，容易平滑掉一些边缘信息，Sobel算子对图像边缘有增强作用，但所用算子为固定尺寸的结构元素，不适合存在弱边界的纸张缺陷图像进行梯度增强。而本发明能增强纸张缺陷图像中边缘轮廓信息和梯度特征，同时保留原图的背景信息和缺陷目标周边信息，兼顾形态学中小尺度结构元素有利于梯度细节的检测，大尺度结构元素有利于抑制噪声的优点，有效突出缺陷梯度特征和边缘信息特征，解决了纸张缺陷分类依赖于特征描述子和分类器选择，特征计算复杂等问题。

Claims (2)

1.一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法，其特征在于，包括如下步骤：

步骤1：准备纸张缺陷图像数据，并随机划分训练集和测试集；

步骤2：初始化，给定Matlab程序运行参数，输入纸张缺陷训练集图像；

步骤3：对输入图像进行不同尺度形态学梯度运算，得到多个尺度下的形态学梯度图像；

步骤4：对不同尺度下的梯度图像加权融合，取均值得到最终的多尺度形态学梯度图像；

步骤5：将多尺度形态学梯度图像与纸张缺陷图像进行融合实现图像增强，得到卷积神经网络输入图像；

步骤6：增强后的训练图像输入至卷积神经网络训练模型；

步骤7：测试集重复步骤3-5得到梯度增强图像，输入至训练好的模型上进行缺陷特征提取并分类；

步骤8：将预测标签与实际标签对比，计算缺陷分类正确率。

2.根据权利要求1所述的一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法，其特征在于，所述步骤3具体实现过程为：

利用数学形态学方法计算纸张缺陷图像f(x,y)的形态学梯度图像G(i)：

(a)计算f的不同尺度大小的结构元se_i对应的梯度图像g(i)，公式如下：

(b)对g(i)与se_i-1进行腐蚀运算，得f的形态学梯度图像G(i)，公式如下：

G(i)＝g(i)！se_i-1。