CN107506822A - 一种基于空间融合池化的深度神经网络方法 - Google Patents

Abstract

本发明涉及一种基于空间融合池化的深度神经网络方法，用于图像分类，包括：收集各种不同类别的图像，并标注图像类别，作为图像标签信息；图像集划分；将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络；设计应用于图像分类的深度神经网络结构，包括所用的卷积层层数和空间融合池化层的层数，设计卷积层中滤波器的个数，设计空间融合池化层的中的融合函数形式和空间滑动步长和池化函数和池化窗口尺寸以及步长，设计用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数；将训练数据批量的输入到该网络中，进行计算和训练。

Description

一种基于空间融合池化的深度神经网络方法

技术领域

本发明涉及计算机视觉领域中高性能的图像识别分类和物体识别的方法，特别是涉及采用深度学习方法的图像识别分类和物体识别的方法。

背景技术

近年来，深度学习技术广泛的应用于计算机视觉领域的图像分类、语义分割和物体检测以及自动驾驶等多个任务上。作为深度学习技术中重要的实现方法，深度卷积神经网络在众多任务上取得了显著的效果。

深度卷积神经网络往往由多层卷积层和池化层组成，其中卷积层包含滤波器参数用于提取特征，池化层用于保持神经网络的平移不变性，减少数据扰动对神经网络性能产生的影响，并实现对输入特征的选择和采样。深度卷积神经网络的卷积层通常设有多个卷积核，输出多张特征图(也称为多个通道)，因此池化层的输入也具有多个通道。

在深度卷积神经网络中，传统的池化操作是通过对输入特征的某个正方形邻域进行特征采样，来达到维度降低和保持平移不变性。传统的池化操作是对单特征图分别处理，即正方形邻域是在单特征图上进行滑动选取。如较为简单的最大值池化，通过在正方形邻域内选择特征值最大的特征作为池化输出，均值池化则通过求取邻域内特征值的平均值作为池化输出。改进的池化操作，如随机池化[1]则根据邻域各个特征值大小设定的概率值，随机选择某个特征值进行输出，起到了一定的正则化的作用，提升了网络的性能。[2]提出通过学习一个池化函数来实现对传统的多种池化方法的组合，是一种混合的方法，有助于提升特征的多样性，选择更具有代表性的特征。基于频域变换的方法[3]，提出将特征图变换到频域，并在频域进行特征选取，通过削减能量占比较小的高频成分，保留能量较大的低频成分，使得大部分特征信息得到保持。

虽然上述提到的池化方法，使得深度卷积神经网络性能得到了一定的提升，但是仍然存在一定缺陷。传统的池化操作是在单张特征图上进行采样，并未利用各特征图之间的通道信息，也就是说存在空间信息损失。此外，传统的池化操作只是对特征进行采样，并未涉及到特征融合，进一步的特征融合将有助于提升池化的效果，得到更具表达力，更稳定的特征。由于传统池化操作是对各个通道分别进行操作，所以池化操作前后，特征通道数保持不变，单特征通道的维度因为特征采样而降低。随着深度卷积神经网络的广泛应用，对于处理能力较弱的硬件，降低网络复杂度同时保持网络性能，成为改进网络结构需要解决的问题。因此，通过池化操作得到更具表达力的少数特征，有助于提升网络效率。

对比以上方法存在的缺陷，本专利提出一种基于空间融合池化的深度神经网络方法，用于融合并提取更具表达力的特征，进一步提升深度卷积神经网络的性能。在降低各特征图维度的同时，通过降低特征通道数以提升网络效率。以图像识别分类任务为例：首先，输入的图像数据经过深度神经网络的卷积层用于提取层次特征。之后，将卷积层特征输入到空间信息融合池化层，该池化层先将利用特征通道信息，将各特征通道进行融合，在此基础上进行进一步的特征采样。通过迭代的对深度神经网络进行训练，得到最后的网络模型。最后，应用该模型进行图像识别和分类。

参考文献：

[1]M.Zeiler and R.Fergus,“Stochastic pooling for regularization ofdeep convolutional neural networks,”In Proc.International Conference onLearning Representations,2013.

[2]C.Lee,P.Gallagher,Z.Tu,“Generalizing pooling functions inconvolutional neural networks:mixed,gated,and tree,”CoRR,abs/1509.08985,2015.

[3]Rippel,J.Snoek,and R.Adams,“Spectral representations forconvolutional neural networks,”In Proc.Advances in Neural InformationProcessing Systems,2015,pp.2449-2457.

发明内容

本发明的目的是针对现有深度卷积神经网络的池化层无法有效提取深层次特征的问题，提出一种适用于图像分类的基于空间融合池化的深度卷积神经网络方法，通过融合特征通道之间的通道(空间)信息，提取更有代表力的特征，同时通过空间信息融合，降低特征通道数，以进一步提升神经网络的效率。技术方案如下：

一种基于空间融合池化的深度神经网络方法，用于图像分类，包括下列步骤：

1)收集各种不同类别的图像，并标注图像类别，作为图像标签信息；

2)图像集划分；将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；

3)设计应用于图像分类的深度神经网络结构，包括所用的卷积层层数和空间融合池化层的层数，设计卷积层中滤波器的个数，设计空间融合池化层的中的融合函数形式和空间滑动步长S₁和池化函数f(·)和池化窗口尺寸以及步长S₂，设计用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数；

4)将训练数据批量的输入到该网络中，进行计算和训练，具体步骤如下：

a)将训练数据输入网络中，计算第一个空间融合池化层之前的所有卷积层，并得到卷积层特征Y∈R^H×W×D，其中H×W表示输出的特征图的大小，D表示输出的特征图的通道数，并将其输入到池化层；

b)对输入到当前池化层的特征Y进行空间融合池化操作；

1)进行通道间的特征融合，经过空间融合，得到的特征图Y′；

2)对融合后的特征图Y′进行特征池化采样，在此选用最大值max(·)函数作为池化函数进行池化操作，经过池化后的输出特征图为Z；

3)将输出的特征图Z输出到后续的卷积层进行操作；

c)按照步骤a)和步骤b)计算后续的卷积层和空间融合池化层

d)计算损失并进行反向传播，按照梯度下降法更新网络权重；

e)循环步骤a)～d)，经过多次迭代后，损失收敛，验证集错误率降到最低，得到训练好的神经网络模型。

采用本发明所述方法，将基于空间融合池化的深度卷积神经网络用于计算机视觉领域的各个任务中，可以在提取更为稳定特征的同时，保持网络的平移不变性，得到更具表达力的特征。经过空间融合池化，单特征图的维度得到降低，同时空间通道数也得到降低，可以有效提升网络运行效率，促进深度神经网络的广泛应用。通过应用本专利方法，实现图像识别分类任务，分类效率和准确率得到提升。

附图说明

图1为传统的池化操作

图2为本专利提出的空间融合的池化操作

图3为基于空间融合池化操作的深度卷积神经网络应用于图像分类示例

具体实施方式

下面结合附图对本发明作进一步的描述。

图1描述了传统的池化操作。传统的池化操作是在单特征图进行池化操作，通常选取单特征图上的某个邻域P_j中的某一个值，如a，代替整个邻域(a,b,c,d)作为池化的输出，其主要作用是进行通道内的降采样操作，以降低空间维度，降低计算复杂度。但是由于其并未考虑到通道间的信息，使得提取的特征表征能力较弱，无法提取深层次的特征。

图2描述了本专利提出的空间融合池化操作，其充分利用通道间和通道内的信息，实现信息的空间融合，进而提取更有表征力的特征。具体的，空间融合池化的操作步骤如下：

(1)对输入到当前池化层的特征Y进行通道间的特征融合(空间融合)，以实现空间特征融合，更好的保持平移不变性，同时降低通道数，得到更具有表达力的特征。空间融合操作如下：取输入特征Y的一个空间块P∈R^h×w×k，其中k<D，经过空间融合后的特征为

其中P′∈R^h×w×1，为各通道的融合系数，可根据不同任务进行设定，常用的设定方法有高斯分布或者均匀分布得到。即经过空间融合之后，k个通道融合成1个通道并输出，假设选取空间块时，滑动步长为S₁，则通过融合，输出的特征Y′∈R^H×W×D′，并取整，特征的通道数得到降低。

(2)对融合后的特征Y′进行特征池化采样，选取更具有代表力的特征。取第j张特征图的一个邻域块P_j′∈R^h×w×1，其中h×w代表池化的窗口尺寸。设置采样函数f(·),对该邻域进行池化：

P_j″＝f(P_j′),j＝1,2,…,D′

其中P_j″∈R^1×1×1。经过空间融合池化，最终的输出Z∈R^{H′×W′×D′}，其中1并取整,并取整，并取整，S₂表示池化窗口的滑动步长。

本专利可应用于图像识别分类任务，但不局限于此任务。基于空间融合的深度卷积神经网络可用于解决深度学习可应用场景中的诸多任务。图3描述了基于空间融合池化的深度卷积神经网络用于图像分类识别的示例，在此介绍本专利用于图像分类识别任务上的具体实施方式。

本发明主要包含三个步骤：(1)收集图像，准备数据集；(2)设计并训练基于空间融合池化的卷积神经网络；(3)测试/应用识别模型。

第一步：收集图像，准备数据集。

(1)收集图像。收集各种不同类别的图像，并标注图像类别，作为图像标签信息。收集图像的大小尺寸不做限制，网络结构可据此调整。作为一种示例，在此数据采用的格式为32x32x3的彩色图像格式，所有图像经过随机翻转的数据增强和归一化操作。

(2)图像集划分。将收集的图像划分为训练集，验证集和测试集。训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用。

第二步：设计并训练基于空间融合池化的卷积神经网络。

(1)设计基于空间融合池化的卷积神经网络结构。设计应用于图像分类的深度神经网络结构，包括所用的卷积层层数和空间融合池化层的层数，设计卷积层中滤波器的个数，设计空间融合池化层的中的融合函数形式和空间滑动步长S₁和池化函数f(·)和池化窗口尺寸以及步长S₂，设计用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数。

具体的，作为一种实例，本发明的空间融合池化层使用的空间滑动步长S₁＝2，空间融合尺寸k＝3,融合权重池化函数f(·)为最大值max(·)函数，池化窗口尺寸为3×3,步长S₂＝2.

(2)训练设计好的基于空间融合池化的卷积神经网络。将训练数据批量的输入到该网络中，进行计算和训练，具体步骤如下：

f)将训练数据输入网络中，计算第一个空间融合池化层之前的所有卷积层，并得到卷积层特征Y∈R^H×W×D，其中H×W表示输出的特征图的大小(以H×W＝28×28为例进行说明)，D(以D＝196为例进行说明)表示输出的特征图的通道数，并将其输入到池化层。

g)对输入到当前池化层的特征Y进行空间融合池化操作。

1)进行通道间的特征融合(空间融合)。即在通道间，每3个特征图进行融合得到一个特征图，融合权重为融合权重滑动步长为2.则经过空间融合，得到的特征图Y′∈R^28×28×97，由于97<196,经过空间融合之后，特征的通道数减少，计算复杂度降低。

2)对融合后的特征Y′进行特征池化采样。在此选用最大值max(·)函数作为池化函数进行池化操作。经过池化后的输出特征图为Z∈R^13×13×97，特征图尺寸在单通道上得到降低，计算复杂度进一步降低。

3)将输出的特征图Z输出到后续的卷积层进行操作。

h)按照步骤a)和步骤b)计算后续的卷积层和空间融合池化层

i)计算损失并进行反向传播，按照梯度下降法更新网络权重。

j)循环步骤a)～d)，经过多次迭代后，损失收敛，验证集错误率降到最低，得到训练好的神经网络模型。

第三步：测试/应用训练好的模型

(1)准备好测试集数据，调用设计好的网络结构和训练好的网络参数，并将测试集批量或单张的输入到训练好的模型中。

(2)前向计算，将数据依次通过神经网络的各卷积层和空间融合池化层，计算各层的特征。

(3)输出分为各类的概率，并选择概率最大的类别作为最终的图像分类结果。

Claims (1)

1.一种基于空间融合池化的深度神经网络方法，用于图像分类，包括下列步骤：

1)收集各种不同类别的图像，并标注图像类别，作为图像标签信息；

2)图像集划分；将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；

3)设计应用于图像分类的深度神经网络结构，包括所用的卷积层层数和空间融合池化层的层数，设计卷积层中滤波器的个数，设计空间融合池化层的中的融合函数形式和空间滑动步长S₁和池化函数f(·)和池化窗口尺寸以及步长S₂，设计用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数。

4)将训练数据批量的输入到该网络中，进行计算和训练，具体步骤如下：

a)将训练数据输入网络中，计算第一个空间融合池化层之前的所有卷积层，并得到卷积层特征Y∈R^H×W×D，其中H×W表示输出的特征图的大小，D表示输出的特征图的通道数，并将其输入到池化层；

b)对输入到当前池化层的特征Y进行空间融合池化操作；

1)进行通道间的特征融合，经过空间融合，得到的特征图Y′；

2)对融合后的特征图Y′进行特征池化采样，在此选用最大值max(·)函数作为池化函数进行池化操作，经过池化后的输出特征图为Z；

3)将输出的特征图Z输出到后续的卷积层进行操作；

c)按照步骤a)和步骤b)计算后续的卷积层和空间融合池化层

d)计算损失并进行反向传播，按照梯度下降法更新网络权重；

e)循环步骤a)～d)，经过多次迭代后，损失收敛，验证集错误率降到最低，得到训练好的神经网络模型。