CN111461259B - 基于红黑形态小波池化网络的图像分类方法及*** - Google Patents

Abstract

本发明提供一种基于红黑形态小波池化网络的图像分类方法及***，包括准备待分类图像数据集；将红黑形态小波与最大池化融合，构建提升方案池化层，用于提取待分类图像的特征并进行降采样；基于待分类图像数据集，构建及训练提升方案卷积神经网络，并通过Softmax分类器实现分类，所述提升方案卷积神经网络包含提升方案池化层；所述提升方案池化层包含两个支路，分别是红黑形态小波支路和最大池化支路，提升方案池化层的最终输出y红黑形态小波的输出和最大池化分支的输出融合得到；所述红黑形态小波支路包含垂直和水平方向的提升过程和对角方向的提升过程。本发明能够有效提高神经网络的识别能力，在基准图像的分类任务上有明显的准确率提升。

Description

基于红黑形态小波池化网络的图像分类方法及***

技术领域

本发明属于图像处理和深度学习技术领域，特别涉及一种基于红黑形态小波池化网络用于图像分类的方案。

背景技术

卷积神经网络(CNN)是图像分类、目标检测和图像分割等计算机视觉任务的流行方法。CNN的目标是提取不同抽象层次的判别特征，以增强类内一致性和类间的差异性。在前面几层中，CNN提取一些底层特征，如边缘、端点、角点等，在后续层中，CNN将这些底层特征结合起来，得到高层特征。最后，CNN根据这些高层特征将一个类别与其他类别区分开来。然而，常用的最大池化层只是对一个固定大小的窗口提取出最大值，而不考虑前一层的结构，这可能会导致特征图中的一些结构和几何特征的丢失。此外，图像中的噪声会阻碍CNN学习有用的特征。

基于提升方案的第二代小波变换是解决这些问题的一种有效方法。利用提升方案，人们构造出了若干种非线性小波。例如，Heijmans和Goutsias提出了形态小波，其中重要的几何信息在低分辨率图像中被很好地保存。这是因为信号分析算子(预测算子和更新算子)是非线性的。形态小波的一个例子是最大提升形态小波，它在模式识别的应用中很有用，因为它保留了被处理图像的局部最大值。二维形态小波可以通过张量积扩展为一维形态小波，但会引入各向异性，不能对图像在任何方向上进行描述。它可以检测垂直、水平和对角特征，但对其他方向的特征检测能力较弱。相反，由Uytterhoeven和Bultheel提出的红黑小波是非线性且不可分离的，它是由二维提升方案构造的。红黑小波更加适应二维自然图像的结构，可以更好地检测各个方向的特征。第二代小波变换除了具有非线性和不可分性这些良好特性外，还可以通过去除小波分解后的高频分量来降低原始图像中的噪声。因此，本发明提出引入红黑小波来促进形态小波适应二维自然图像的结构，可以增强小波变换的表征能力。

发明内容

本发明目的在于结合形态小波和红黑小波各自的优点，构造红黑形态小波作为最大池化层的补充，提出一种新的图像分类方案。

本发明的技术方案为一种基于红黑形态小波池化网络的图像分类方法，包括准备待分类图像数据集；将红黑形态小波与最大池化融合，构建提升方案池化层，用于提取待分类图像的特征并进行降采样；基于待分类图像数据集，构建及训练提升方案卷积神经网络，并通过Softmax分类器实现分类，所述提升方案卷积神经网络包含提升方案池化层；

所述提升方案池化层包含两个支路，分别是红黑形态小波支路和最大池化支路，提升方案池化层的最终输出y由红黑形态小波的输出r和最大池化分支的输出m融合得到；所述红黑形态小波支路包含垂直和水平方向的提升过程和对角方向的提升过程，

所述垂直和水平方向的提升过程，包括对输入的特征图x按以下规则分成Red子集和Black子集，实现***，然后基于形态学腐蚀运算进行预测和更新，

Red＝{x_ij|x_ij∈x,i％2＝j％2}

Black＝{x_ij|x_ij∈x,i％2≠j％2}

其中，x_ij是特征图x中处于坐标(i,j)的元素；

所述垂对角方向的提升过程，包括对垂直和水平方向的提升过程所得输出集合按以下规则分成Blue子集和Green子集，实现***，然后基于形态学腐蚀运算进行预测和更新，

Blue＝{x_ij|x_ij∈x,i％2＝0,j％2＝0}

Green＝{x_ij|x_ij∈x,i％2≠0,j％2≠0}

其中，x_ij是特征图x中处于坐标(i,j)的元素。

而且，所述提升方案池化层的最终输出由红黑形态小波的输出r和最大池化分支的输出m融合得到，实现方式如下，

y＝α·r+(1-α)·m

其中，标量α是权重参数，取值为在0到1之间。

而且，垂直和水平方向的提升过程中，基于形态学腐蚀运算进行预测和更新实现如下，

1)首先，取4个相邻红子集样本的最小值来预测黑子集中的对应元素，预测的结果原位取代原来的黑子集元素；

2)然后，将预测的结果进行腐蚀处理来更新红子集，更新的结果原位取代原来的红子集，并作为垂直和水平方向的提升过程的输出。

而且，对角方向的提升过程中，基于形态学腐蚀运算进行预测和更新实现如下，

1)首先，取4个相邻蓝子集样本的最小值来预测绿子集中的对应元素，预测的结果原位取代原来的绿子集元素；

2)然后，将预测的结果进行腐蚀处理来更新蓝子集，更新的结果原位取代原来的蓝子集，并作为本步骤的输出。

而且，所述提升方案卷积神经网络采用局部二进制阈值网络结构实现，其中依次包括输入层、卷积层C1、提升方案池化层L1、卷积层C2、提升方案池化层L2、全连接层F1、全连接层F2和输出层。

而且，所述输出层采用欧氏径向基函数实现，通过softmax函数获取。

本发明提供一种基于红黑形态小波池化网络的图像分类***，用于上述基于红黑形态小波池化网络的图像分类方法。

本发明结合形态小波及红黑小波的优点，构造了一种新的池化层，用到深度学习领域，提出了一种基于红黑形态小波的提升方案卷积神经网络方法，能够在降维时尽可能地保留特征图信息。本发明提出的提升方案池化层是红黑形态小波与最大池化层的融合。红黑形态小波结合了红黑形态小波的不可分离性和形态小波的非线性特性，在低分辨率特征图中具有保留任意方向的几何和结构特征的优点。本发明通过创造性提出提升方案池化层，将小波变换的提升方案引入了神经网络领域，克服了前人提出的神经网络池化层会丢失特征图中部分结构和几何特征、无法削弱噪声的缺陷。本发明能够有效提高神经网络的识别能力，在基准图像的分类任务上有明显的准确率提升。

附图说明

图1本发明实施例的提升方案池化层原理说明图。

图2本发明实施例的提升方案卷积神经网络结构说明图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明提供的基于红黑形态小波的提升方案池化方法能够很好地保留特征图中的几何与结构特征。红黑形态小波结合了非线性和不可分离性的优点，它被用作最大池化层的补充，以保留被最大池化层弱化的特征。本发明将红黑形态小波与最大池化融合，提出一种新的提升方案池化层。该方法用于构造提升方案卷积神经网络，在压缩特征图尺寸的同时可以尽可能保留结构和几何特征，提高整个网络的图像分类准确率。

结合红黑形态小波和最大池化提出的提升方案池化层，在神经网络上对特征图进行降维时，能够较大限度地保持几何和二维结构信息。因此，这些特征在下采样后仍具有判别性，可以增强类内一致性和类间差异性，提高分类精度。并且，本发明提出基于红黑形态小波的提升方案卷积神经网络图像分类方法，用该方法可以在降维的同时较好地保留图像特性，对于图像的分类效果具有较明显的提升。

本发明提供基于红黑形态小波的提升方案池化方法，原理如图1所示，对应的实施例用于图像分类的网络结构如图2所示。实施例提供的基于红黑形态小波池化网络的图像分类方法包括以下3个步骤：

步骤1准备待分类图像数据集，实现方式如下：

在执行之前需要准备好M张待分类的图像数据集D，将数据集D平均分成两个不重叠的子数据集D_train,D_test，分别用于训练和测试；所有数据集图像的大小为n×n像素。

步骤2将红黑形态小波与最大池化融合，构建提升方案池化层，用于提取待分类图像的特征并进行降采样。实现方式如下：

本发明实施例中，使用普通卷积层(具体实现为现有技术，本发明不予赘述)进行特征提取，然后以基于红黑形态小波的提升方案池化层对特征降维。提升方案池化层如图1所示。

提升方案池化层包含两个支路，分别是红黑形态小波支路和最大池化支路。红黑形态小波支路包含以下两个处理过程：

(1)垂直和水平方向的提升过程：

假设以子数据集D_train,D_test中任一图像为输入的特征图x，输入特征图x以坐标(i,j)满足一定的条件为规则被分成两个子集，分别为Red子集(红子集)和Black子集(黑子集)，即实现***。划分的规则如下所示。

Red＝{x_ij|x_ij∈x,i％2＝j％2} (1)

Black＝{x_ij|x_ij∈x,i％2≠j％2} (2)

其中，x_ij是特征图x中处于坐标(i,j)的元素。

然后使用形态学腐蚀运算进行进一步处理：

1)首先，取4个相邻红子集样本的最小值来预测黑子集中的对应元素，预测的结果原位取代原来的黑子集元素。

2)然后，将预测的结果进行腐蚀处理来更新红子集，更新的结果原位取代原来的红子集，并作为本步骤的输出。

这两个步骤如公式(3)和(4)所示。

x_ij＝x_ij-(x_i-1,j^x_i,j-1^x_i,j+1^x_i+1,j),x_ij∈Black (3)

x_ij＝x_ij+(0^x_i-1,j^x_i,j-1^x_i,j+1^x_i+1,j),x_ij∈Red (4)

(2)对角方向的提升过程：

步骤(1)中得到的结果作为本步骤的输入，继续进行处理。由于操作都是原位实现的，此时步骤(1)的输出集合在红子集所在位置上。对此输出集合按照坐标(i,j)划分成Blue子集(蓝子集)和Green子集(绿子集)，即实现进一步***。具体划分规则如下所示。

Blue＝{x_ij|x_ij∈x,i％2＝0,j％2＝0} (5)

Green＝{x_ij|x_ij∈x,i％2≠0,j％2≠0} (6)

然后使用形态学腐蚀运算进行进一步处理：

1)首先，取4个相邻蓝子集样本的最小值来预测绿子集中的对应元素，预测的结果原位取代原来的绿子集元素。

2)然后，将预测的结果进行腐蚀处理来更新蓝子集，更新的结果原位取代原来的蓝子集，并作为本步骤的输出。

利用腐蚀运算，预测和更新步骤分别为公式(9)和(10)。

x_ij＝x_ij-(x_i-1,j-1^x_i-1,j+1^x_i+1,j-1^x_i+1,j+1),x_ij∈Green (7)

x_ij＝x_ij+(0^x_i-1,j-1^x_i-1,j+1^x_i+1,j-1^x_i+1,j+1),x_ij∈Blue (8)

更新后的蓝子集就是整个红黑形态小波分支的输出，用r表示。

提升方案池化层的最终输出y由红黑形态小波的输出r和最大池化分支的输出m融合得到，如下式所示。

y＝α·r+(1-α)·m (9)

其中标量α是一个介于0到1之间的权重参数。实施例中，α取优选值0.3。

最大池化分支部分可取得局部最大值，例如对于输入图像，在一个大小为2×2的局部范围内输出最大值。对整张图像都进行这样的操作。所以输入图像大小是h×w的话，输出图像的大小会是0.5h×0.5w，h，w表示高和宽数值。最大池化实现方式为现有技术，本发明将其作为支路使用，不予赘述。

步骤3构建及训练提升方案卷积神经网络，并通过Softmax分类器实现分类。

如图2所述，本发明采用的局部二进制阈值网络结构中包括1个输入层、2个卷积层、2个下采样层、2个全连接层和1个输出层，可见本发明的局部二进制阈值网络共有8层，依次如下，每层的参数设置分别为：

输入层：输入数据为n×n像素的纹理图像。

C1层：该层为卷积层，卷积核大小为5×5，卷积深度为6；

L1层：该层为提升方案池化层，其中最大池化支路窗口大小为2×2，滑动步长为2；

C2层：该层为卷积层，卷积核大小为5×5，卷积深度为16；

L2层：该层同样为提升方案池化层，其中最大池化支路窗口大小为2×2，滑动步长为2；

F1层：该层为全连接层，输出维度为120；

F2层：该层为全连接层，输出维度为84；

输出层：由10个欧氏径向基函数构成。输出层的10个欧氏径向基函数是用softmax函数获取的，表示的是某张图像分别属于10个类的概率，概率最高的那个类就是图像的分类结果。

设置好网络结构后，通过误差敏感项的反向传播和随机梯度算法(具体实现为现有技术，本发明不予赘述)对网络进行训练，学习网络中的未知参数，即通过网络的反复迭代学习各个模块的参数，得到充分具有图像信息的特征表达。

基于步骤1所得结果，D_train是训练集，用于训练网络参数。这个数据集作为网络的输入，通过反向传播和随机梯度算法将网络参数训练优化。训练好之后，D_test用于测试，此时网络参数已经固定，将网络的输出与真实的标签对比，得出分类的准确率，用于评价网络的性能。

当确定网络性能满足要求后，输入任意待分类图像到训练好的网络，均可可得相应的分类结果。

将本发明与普通卷积神经网络进行对比实验，在SVHN数据集上，本发明方法分类准确率提高了2.029％，在MNIST数据集上则提高了0.580％。对比实验中本发明方法网络与所使用的普通卷积神经网络唯一区别是前者使用了提升方案池化层而后者在对应部分使用的是最大池化层，其余所有设置是一样的。

具体实施时，以上流程可采用计算机软件技术实现自动运行，运行方法的***装置也应当在本发明的保护范围内。

本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于红黑形态小波池化网络的图像分类方法，其特征在于：包括准备待分类图像数据集；将红黑形态小波与最大池化融合，构建提升方案池化层，用于提取待分类图像的特征并进行降采样；基于待分类图像数据集，构建及训练提升方案卷积神经网络，并通过Softmax分类器实现分类，所述提升方案卷积神经网络包含提升方案池化层；

所述提升方案池化层包含两个支路，分别是红黑形态小波支路和最大池化支路，提升方案池化层的最终输出y由红黑形态小波的输出r和最大池化分支的输出m融合得到；所述红黑形态小波支路包含垂直和水平方向的提升过程和对角方向的提升过程，

所述垂直和水平方向的提升过程，包括对输入的特征图x按以下规则分成Red子集和Black子集，实现***，然后基于形态学腐蚀运算进行预测和更新，得到垂直和水平方向的提升过程的输出集合，

Red＝{x_ij|x_ij∈x,i％2＝j％2}

Black＝{x_ij|x_ij∈x,i％2≠j％2}

其中，x_ij是特征图x中处于坐标(i,j)的元素；

所述对角方向的提升过程，包括对垂直和水平方向的提升过程所得输出集合按以下规则分成Blue子集和Green子集，实现***，然后基于形态学腐蚀运算进行预测和更新，更新后的蓝子集就是整个红黑形态小波分支的输出，用r表示；

Blue＝{x_ij|x_ij∈x,i％2＝0,j％2＝0}

Green＝{x_ij|x_ij∈x,i％2≠0,j％2≠0}

其中，x_ij是对输入的特征图x经垂直和水平方向的提升过程所得输出集合中处于坐标(i,j)的元素。

2.根据权利要求1所述基于红黑形态小波池化网络的图像分类方法，其特征在于：所述提升方案池化层的最终输出由红黑形态小波的输出r和最大池化分支的输出m融合得到，实现方式如下，

y＝α·r+(1-α)·m

其中，标量α是权重参数，取值为在0到1之间。

3.根据权利要求1所述基于红黑形态小波池化网络的图像分类方法，其特征在于：垂直和水平方向的提升过程中，基于形态学腐蚀运算进行预测和更新实现如下，

1)首先，取4个相邻红子集样本的最小值来预测黑子集中的对应元素，预测的结果原位取代原来的黑子集元素；

2)然后，将预测的结果进行腐蚀处理来更新红子集，更新的结果原位取代原来的红子集，并作为垂直和水平方向的提升过程的输出。

4.根据权利要求3所述基于红黑形态小波池化网络的图像分类方法，其特征在于：对角方向的提升过程中，基于形态学腐蚀运算进行预测和更新实现如下，

1)首先，取4个相邻蓝子集样本的最小值来预测绿子集中的对应元素，预测的结果原位取代原来的绿子集元素；

2)然后，将预测的结果进行腐蚀处理来更新蓝子集，更新的结果原位取代原来的蓝子集，并作为本步骤的输出。

5.根据权利要求1或2或3或4所述基于红黑形态小波池化网络的图像分类方法，其特征在于：所述提升方案卷积神经网络采用局部二进制阈值网络结构实现，其中依次包括输入层、卷积层C1、提升方案池化层L1、卷积层C2、提升方案池化层L2、全连接层F1、全连接层F2和输出层。

6.根据权利要求5所述基于红黑形态小波池化网络的图像分类方法，其特征在于：所述输出层采用欧氏径向基函数实现，通过softmax函数获取。

7.一种基于红黑形态小波池化网络的图像分类***，其特征在于：用于权利要求1-6任一所述基于红黑形态小波池化网络的图像分类方法。