CN114612761A - 一种面向图像识别的网络架构搜索方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的网络架构搜索方法，首先采用基于单元搜索的网络基础架构设计，限定在特定单元而非整个网络架构进行搜索，有效缩小搜索空间。接着提出一种高效公平的可微分网络架构搜索新方法，解决搜索过程计算代价过高且输出的网络分类性能不稳定的问题。最后为进一步提升网络泛化能力，在搜索过程中引入网络复杂度正则化项，使得网络在性能和复杂度两者之间取得平衡。本发明实现的网络架构搜索方法，具有高效、稳定的特点，无需人工干预即可自动输出高效的网络架构来解决图像识别任务。

Description

一种面向图像识别的网络架构搜索方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种面向图像识别的网络架构搜索方法。

背景技术

卷积神经网络(Convolutional Neural Networks,CNN)在计算机视觉领域，特别是图像识别，取得了前所未有的巨大成功。图像识别的整体性能依赖高质量的特征表示，CNN通过卷积和池化操作自动学习图像在各个层次上的特征，是目前图像领域特征提取最好的方式，显著提升了图像分类准确率。

CNN整体架构由输入层、卷积层、激活层、池化层和全连接层构成，其中卷积层、激活层和池化层交叉堆叠，从原始图像中提取出更抽象的特征表示，并作为全连接层的输入，进行标签集的映射，即分类。在训练过程中，CNN使用反向传播算法迭代调整网络权重。卷积层是CNN的核心部分，它具有局部感知和参数共享的特点。局部感知即卷积核只对图像的局部像素进行感知，然后在更高层将局部信息进行整合，从而得到图像的整体信息。因此，网络前面的卷积层捕捉图像局部、细节信息，其感受野较小，后面的卷积层感受野逐层加大，用于捕获图像更复杂，更抽象的全局信息。权值共享指的是在卷积过程中，卷积核的权重不会改变，每个卷积核对应提取原图不同位置的相同特征。权重共享的好处是减少了权值的数量，从而降低了网络的复杂度。激活层在卷积层的线性操作之后，通过加入偏置,并引入非线性激活函数对卷积运算的输出进行转换。引入非线性激活函数目的是增加网络的非线性，以拟合任意复杂的函数。在连续的卷积层之间会周期性地***一个池化层，通过降采样操作，降低特征空间维度，从而减少网络中参数的数量，防止拟合。上述精心设计的网络结构，使得CNN自动提取的图像特征具有一定程度上的平移、缩放和旋转不变性，提高网络的分类性能，且参数更少，容易训练，网络泛化能力更好。

高效的网络架构确保CNN具有强大的分类性能，然而现有的网络架构依靠人工设计，存在主观性和学习曲线长的问题。网络架构搜索(Neural Architecture Search,NAS)通过强化学习、进化计算和基于梯度优化等方法自动搜索适合特定数据和任务的网络架构，无需人工干预，且搜索空间不局限于专家经验。NAS在图像识别上已取得一定进展，但仍面临计算代价过高的挑战。

如何在有限的计算资源条件下，设计高效的网络架构搜索方法，自动快速地输出适合图像识别任务的卷积神经网络，是目前亟待解决的问题。

发明内容

本发明的目的是解决现有的网络架构依靠人工设计，存在主观性和学习曲线长的问题以及计算代价过高的缺陷，提出一种面向图像识别的网络架构搜索方法。

为实现以上发明目的，采用的技术方案是：

一种面向图像识别的网络架构搜索方法，包括以下步骤：

S1：设计基于单元搜索的网络基础架构，所述网络为卷积神经网络，限定在特定单元而非整个网络基础架构进行搜索，通过可计算的有向无环图表示待搜索单元，整个网络由若干个单元组成的特征提取模块和全连接层组成；

S2：构建基于ReLU函数的连接操作权重归一化方法，删除权重不大于0的连接，加速搜索过程；

S3：在搜索过程中引入网络复杂度正则化项，使网络在性能和复杂度两者之间取得平衡。

优选的是，所述基于单元搜索的网络基础架构，在训练过程中采用随机平滑函数优化网络参数。

进一步的，所述网络训练中网络的目标函数由训练损失构成，设定图像数据集为D，其中标注数据子集和无标注数据子集分别为：D⁺和D^-，x为预处理后的图像，y为有标注样本x对应的类别标签，y'表示卷积神经网络C对x的预测结果：y'＝C(x)，网络参数记为θ，CE为交叉熵损失函数，Ω表示正则化项，描述网络复杂度；

网络的目标函数l(θ)由训练损失l_c构成：

l(θ)＝l_c,

其中，l_c定义如下：

优选的是，所述待搜索单元种类包括普通单元和降维单元，每个单元之间由若干块以特定操作连接起来，块之间的连接操作为该单元待搜索参数。

优选的是，所述普通单元本质上是不改变输入特征图大小的卷积，降维单元是将特征图缩小为原来的一半。

优选的是，所述有向无环图表示待搜索单元，有向无环图中的节点代表特征图，边则是两个节点之间的连接操作。

优选的是，所述连接操作总共有8种，分别为3×3最大池化、3×3平均池化、3×3扩张卷积、5×5扩张卷积、3×3深度可分卷积、5×5深度可分卷积、跳跃连接和无连接。

优选的是，所述全连接层包括两层神经元，以特征图为输入，输入层神经元数目与特征图大小一致，输出层神经元与图像类别数量相同，输出图像在各个类别的概率分布，选取最大概率值对应类别为预测结果。

优选的是，所述步骤S2具体包括：

设定N个有序节点组成的有向无环图，节点代表样本在卷积神经网络不同位置的特征图，节点x_i和x_j之间的每一条有向边e_i,j代表一种连接操作o_i,j，包含M个连接操作候选集为

经过o_i,j后，节点x_i变换为o_i,j(x_i)，而节点x_j等于相连节点的输出变换求和：xj＝∑_i＜joi,j(xi)；与oi,j关联的连续权重参数记为

节点x_i和x_j之间的连接松弛为整个连接操作候选集与权重参数向量

的乘积求和；选择ReLU函数对连接操作权重分量归一化，则节点x_i的变换重新定义如下：

网络架构搜索由离散的有向无环图节点间连接操作类型选择问题，转化为连续的连接操作权重参数优化问题，通过基于梯度的优化方法，同时求解得到最优的网络架构α'和网络参数θ'；从已知α'中选取每个权重向量α_i,j的最大分量，即获得对应节点之间的唯一连接操作；

综上，网络架构搜索的优化目标如下：

其中，α＝{α_i,j}_{i∈[0,N),j∈(i,N)}为增强网络抗干扰能力在训练过程中引入的随机平滑函数，θ'不再是当前α'约束下的最优网络参数，而是α'近邻的最优期望损失下的网络参数；由此可得优化目标调整为：

α'＝argmin_αl_val(θ'(α),α)

进一步的，步骤S3中所述在搜索过程中引入网络复杂度正则化项具体为在优化目标中引入网络复杂度正则化项Ω，并将优化目标调整为：

与现有技术相比，本发明的有益效果是：

本发明提出了一种面向图像识别的网络架构搜索方法，通过可计算的有向无环图表示待搜索单元，整个网络由若干单元组成的特征提取模块和全连接层构成，有效减小搜索空间。考虑搜索过程计算代价过高且输出的网络分类性能不稳定的问题，提出一种高效公平的可微分网络架构搜索新方法。首先，在有向无环图搜索中容易出现节点间跳跃连接聚集，导致网络分类性能下降。因此，构建基于ReLU函数的连接操作权重归一化方法，删除权重不大于0的连接，加速搜索过程，而保留的连接其权重被公平地对待，避免出现过多的跳跃连接。接着，考虑连接权重离散化后造成网络性能不稳定的情况，在训练过程中采用随机平滑函数优化网络参数，增强网络抗干扰能力。最后，为进一步提升网络泛化能力，在搜索过程中引入网络复杂度正则化项，使得网络在性能和复杂度两者之间取得平衡。本发明实现的网络架构搜索方法，具有高效、稳定的特点，无需耗费大量时间和精力，且不受人类经验和主观认知的束缚，即可自动搜索高效的网络架构来解决图像识别任务。

附图说明

图1为本发明的流程图；

图2为本发明的基于单元搜索的网络基础架构图；

图3为基于网络架构搜索方法的图像识别流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

一种面向图像识别的网络架构搜索方法，请参考图1，包括以下步骤：

S1：设计基于单元搜索的网络基础架构，所述网络为卷积神经网络，限定在特定单元而非整个网络基础架构进行搜索，通过可计算的有向无环图表示待搜索单元，整个网络由若干个单元组成的特征提取模块和全连接层组成，请参考图2；其中，特征提取模块的单元数量与图像识别任务实际难度相关，任务难度越大，单元数量越多，本实施例中设置N为3；

S2：构建基于ReLU函数的连接操作权重归一化方法，删除权重不大于0的连接，加速搜索过程；

S3：在搜索过程中引入网络复杂度正则化项，使网络在性能和复杂度两者之间取得平衡。

本实施例中，所述基于单元搜索的网络基础架构，在训练过程中采用随机平滑函数优化网络参数。

本实施例中，所述网络训练中网络的目标函数由训练损失构成，设定图像数据集为D，其中标注数据子集和无标注数据子集分别为：D⁺和D^-，x为预处理后的图像，y为有标注样本x对应的类别标签，y'表示卷积神经网络C对x的预测结果：y'＝C(x)，网络参数记为θ，CE为交叉熵损失函数，Ω表示正则化项，描述网络复杂度；

网络的目标函数l(θ)由训练损失l_c构成：

l(θ)＝l_c,

其中，l_c定义如下：

本实施例中，所述待搜索单元种类包括普通单元和降维单元，每个单元之间由若干块以特定操作连接起来，块之间的连接操作为该单元待搜索参数，从而将搜索空间限定在特定单元而非整个网络结构，有效减小搜索空间。

本实施例中，所述普通单元本质上是不改变输入特征图大小的卷积，降维单元是将特征图缩小为原来的一半的卷积。

本实施例中，所述有向无环图表示待搜索单元，有向无环图中的节点代表特征图，边则是两个节点之间的连接操作。

本实施例中，所述连接操作总共有8种，分别为3×3最大池化、3×3平均池化、3×3扩张卷积、5×5扩张卷积、3×3深度可分卷积、5×5深度可分卷积、跳跃连接和无连接。

本实施例中，所述全连接层包括两层神经元，以特征图为输入，输入层神经元数目与特征图大小一致，输出层神经元与图像类别数量相同，输出图像在各个类别的概率分布，选取最大概率值对应类别为预测结果。

本实施例中，所述步骤S2具体包括：

设定N个有序节点组成的有向无环图，节点代表样本在卷积神经网络不同位置的特征图，节点x_i和x_j之间的每一条有向边e_i,j代表一种连接操作o_i,j，包含M个连接操作候选集为

经过o_i,j后，节点x_i变换为o_i,j(x_i)，而节点x_j等于相连节点的输出变换求和：x_j＝∑_i＜jo_i,j(x_i)；与o_i,j关联的连续权重参数记为

节点x_i和x_j之间的连接松弛为整个连接操作候选集与权重参数向量

的乘积求和；选择ReLU函数对连接操作权重分量归一化，则节点x_i的变换重新定义如下：

网络架构搜索由离散的有向无环图节点间连接操作类型选择问题，转化为连续的连接操作权重参数优化问题，通过基于梯度的优化方法，同时求解得到最优的网络架构α'和网络参数θ'；从已知α'中选取每个权重向量α_i,j的最大分量，即获得对应节点之间的唯一连接操作；

综上，网络架构搜索的优化目标如下：

其中，α＝{α_i,j}_{i∈[0,N),j∈(i,N)}为增强网络抗干扰能力在训练过程中引入的随机平滑函数，θ'不再是当前α'约束下的最优网络参数，而是α'近邻的最优期望损失下的网络参数；由此可得优化目标调整为：

α'＝argmin_αl_val(θ'(α),α)

本实施例中，步骤S3中所述在搜索过程中引入网络复杂度正则化项具体为在优化目标中引入网络复杂度正则化项Ω，并将优化目标调整为：

实施例2

针对图像识别任务，从测试数据集中取出一张图像，先进行预处理操作(包括缩放和裁剪)，再使用网络架构搜索方法得到的特征提取模块学习特征表示，最后经过全连接层输出分类预测结果，具体流程如图3。本实施例中，特征提取模块和全连接层组成的卷积神经网络，由本发明所提出的网络架构搜索方法在图像识别任务数据集上训练而来。

S1：收集图像识别任务的标注数据集，用以自动搜索网络架构；

S2：对数据集中的每个图像进行预处理操作，包括颜色对比度增强、旋转和裁取等，保留大小为224×224图像数据；

S3：将预处理后的标注数据，划分为网络架构搜索方法优化过程中的训练集和验证集，搜索出适合该图像识别任务的特征提取模块和全连接层，构成完整的卷积神经网络。本实施例中，网络参数在网络架构搜索过程中同时获得；

S4：将实施例中待预测的图像，经过预处理操作，得到大小为224×224的图像数据；

S5：将预处理的图像数据输入到已搜索的特征提取模块，获得图像的抽象特征表示；

S6：将特征表示输入到已搜索的全连接层，计算类别分布，并输出图像识别结果。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种面向图像识别的网络架构搜索方法，其特征在于，包括以下步骤：

S1：设计基于单元搜索的网络基础架构，所述网络为卷积神经网络，限定在特定单元而非整个网络基础架构进行搜索，通过可计算的有向无环图表示待搜索单元，整个网络由若干个单元组成的特征提取模块和全连接层组成；

S2：构建基于ReLU函数的连接操作权重归一化方法，删除权重不大于0的连接，加速搜索过程；

S3：在搜索过程中引入网络复杂度正则化项，使网络在性能和复杂度两者之间取得平衡。

2.根据权利要求1所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述基于单元搜索的网络基础架构，在训练过程中采用随机平滑函数优化网络参数。

3.根据权利要求2所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述网络训练中网络的目标函数由训练损失构成，设定图像数据集为D，其中标注数据子集和无标注数据子集分别为：D⁺和D^-，x为预处理后的图像，y为有标注样本x对应的类别标签，y'表示卷积神经网络C对x的预测结果：y'＝C(x)，网络参数记为θ，CE为交叉熵损失函数，Ω表示正则化项，描述网络复杂度；

网络的目标函数l(θ)由训练损失l_c构成：

l(θ)＝l_c,

其中，l_c定义如下：

4.根据权利要求1所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述待搜索单元种类包括普通单元和降维单元，每个单元之间由若干块以特定操作连接起来，块之间的连接操作为该单元待搜索参数。

5.根据权利要求4所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述普通单元本质上是不改变输入特征图大小的卷积，降维单元是将特征图缩小为原来的一半的卷积。

6.根据权利要求1所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述有向无环图表示待搜索单元，有向无环图中的节点代表特征图，边则是两个节点之间的连接操作。

7.根据权利要求6所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述连接操作总共有8种，分别为3×3最大池化、3×3平均池化、3×3扩张卷积、5×5扩张卷积、3×3深度可分卷积、5×5深度可分卷积、跳跃连接和无连接。

8.根据权利要求1所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述全连接层包括两层神经元，以特征图为输入，输入层神经元数目与特征图大小一致，输出层神经元与图像类别数量相同，输出图像在各个类别的概率分布，选取最大概率值对应类别为预测结果。

9.根据权利要求1所述的一种面向图像识别的网络架构搜索方法，其特征在于，所述步骤S2具体包括：

设定N个有序节点组成的有向无环图，节点代表样本在卷积神经网络不同位置的特征图，节点x_i和x_j之间的每一条有向边e_i,j代表一种连接操作o_i,j，包含M个连接操作候选集为

经过o_i,j后，节点x_i变换为o_i,j(x_i)，而节点x_j等于相连节点的输出变换求和：x_j＝∑_i＜jo_i,j(x_i)；与o_i,j关联的连续权重参数记为

节点x_i和x_j之间的连接松弛为整个连接操作候选集与权重参数向量

的乘积求和；选择ReLU函数对连接操作权重分量归一化，则节点x_i的变换重新定义如下：

网络架构搜索由离散的有向无环图节点间连接操作类型选择问题，转化为连续的连接操作权重参数优化问题，通过基于梯度的优化方法，同时求解得到最优的网络架构α'和网络参数θ'；从已知α'中选取每个权重向量α_i,j的最大分量，即获得对应节点之间的唯一连接操作；

综上，网络架构搜索的优化目标如下：

其中，α＝{α_i,j}_{i∈[0,N),j∈(i,N)}为增强网络抗干扰能力在训练过程中引入的随机平滑函数，θ'不再是当前α'约束下的最优网络参数，而是α'近邻的最优期望损失下的网络参数；由此可得优化目标调整为：

α'＝argmin_αl_val(θ'(α),α)

10.根据权利要求1、3、9任一项所述的一种面向图像识别的网络架构搜索方法，其特征在于，步骤S3中所述在搜索过程中引入网络复杂度正则化项具体为在优化目标中引入网络复杂度正则化项Ω，并将优化目标调整为：

α'＝argmin_αl_val(θ'(α),α)+λΩ(α)

Images