CN110929798A - 基于结构优化稀疏卷积神经网络的图像分类方法及介质 - Google Patents

Abstract

本发明请求保护一种基于结构优化稀疏卷积神经网络的图像分类方法及介质。针对卷积神经网络的卷积层对其输入特征图通道的连接结构，利用遗传算法对其进行稀疏化，并使用稀疏化之后的卷积模型进行图像分类。首先预训练一个卷积模型并保存预训练权重；然后，根据除模型输入层以外的某个卷积层对其输入特征通道的连接进行二进制编码，生成若干个二进制序列，作为初始种群；接着，利用遗传算法对二进制编码进行选择、交叉和变异；最后，经过若干次迭代后，将获得的最优二进制序列，并进行解码，得到稀疏化的特征通道连接结构，并通过权重微调来恢复模型的分类准确率。

Description

基于结构优化稀疏卷积神经网络的图像分类方法及介质

技术领域

本发明属于图像处理技术领域，具体属于模型结构稀疏与图像分类方法技术领域。

背景技术

卷积神经网络(CNNs)已经在图像识别领域占有重要的地位，其强大的特征提取能力免去了传统图像识别方法中所必须的繁杂的预处理过程。此外，卷积神经网络还具有权值共享，局部感受野和降采样的特点，相比更早期的多层感知机极大减少了模型的参数，减少了计算的复杂度。在近些年的发展中，各种改进的卷积神经网络也拥有了良好的图像分类准确率。

卷积神经网络的发展趋势大致有两种。一是网络的层数越来越多，使得网络的表达能力和对特征的抽象能力越来越强，但随之而来的问题是会存在梯度***和梯度消失的问题，以ResNet中残差模块为代表的方法较好的解决了这一问题。二是卷积层变得越来越宽，拥有更多数量的卷积核意味着能提取更多的特征，但在实际的应用当中，卷积核数量的增多不仅给计算带来了比较大的开销，也出现了许多冗余特征，这些特征对模型的分类效果并不会带来任何贡献。近些年也相继出现了一些模型剪裁的方法，来丢弃掉冗余的连接或通道，但这些方法都引入了新的变量甚至多个变量来衡量连接或者通道的重要程度，并没有一个统一的衡量标准。利用二进制编码能合理的表示卷积层通道连接的保留和删除两种状态。而遗传算法是一种模拟生物进化过程的计算模型，配合二进制编码方式能在离散空间中获得最优解或近似最优解。

因此，需要一种基于结构优化稀疏卷积神经网络的图像分类方法，既能根据当前的学习任务在离散空间中对模型中卷积层的通道连接进行稀疏化，也能不引入新的衡量标准决定通道连接的重要程度。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于结构优化稀疏卷积神经网络的图像分类方法。本发明的技术方案如下：

一种基于结构优化稀疏卷积神经网络的图像分类方法，其包括以下步骤：

步骤1：获取图像的训练集样本，并以图像训练集样本作为输入，预训练一个卷积神经网络，以最小化预测值与真实标签之间的损失函数为优化目标，并保存卷积神经网络的预训练权重；

步骤2：根据预训练模型中的卷积层通道连接结构进行二进制编码，随机生成若干个二进制序列作为初始种群，对应若干个随机的通道连接结构；

步骤3：对当前种群中每个编码序列对应的一种通道连接结构应用到预训练模型中，并分别计算每种连接结构的适应度，可重复的选择若干个二进制编码序列，适应度越大的编码序列，被选择的概率越大；

步骤4：对步骤3中选择出来的二进制编码序列进行交叉和变异的操作，获得新一代种群，交叉概率和变异概率为可调节参数；

步骤5：重复步骤3-4，直至当前迭代次数等于总迭代次数，则迭代结束；

步骤6：选取最后一代种群中适应度最大的编码序列，将其解码为对应的通道连接结构，使用此通道连接结构，并加载预训练模型的权重作为初始权重，进行权重微调，恢复模型的分类准确率；接着将测试集输入到权重微调后的模型中，对测试集图像进行分类；

进一步的，所述步骤1：以最小化预测值与真实标签之间的损失函数为优化目标，以训练集样本作为输入，预训练一个卷积神经网络，并保存模型预训练权重，具体为：搭建一个卷积神经网络，使用待学习的图像训练集进行训练，直至模型收敛，以最小化损失函数为目标，使用Adam适应性矩估计优化算法来更新模型的权重，Adam算法具体为：

(1)初始化网络参数θ、一阶矩变量s＝0和二阶矩变量r＝0、初始时间步t＝0；

(2)从训练集中取出包含m个样本的小批量{x⁽¹⁾,...,x^(m)}，每个样本对应的标签值为{y⁽¹⁾,...,y^(m)}；

(3)计算梯度

t←t+1；L、f分别表示损失函数和模型从输入到输出的映射；

(4)更新有偏一阶矩估计和有偏二阶矩估计，ρ₁和ρ₂为指数衰减速率，其值在[0,1)区间：

s←ρ₁s+(1-ρ₁)g；

r←ρ₂r+(1-ρ₂)g⊙g；

s、r分别表示有偏一阶矩估计和有偏二阶矩估计；

(5)修正一阶矩和二阶矩的偏差：

分别表示修正偏差之后一阶矩估计和二阶矩估计；

(6)计算更新：

其中ε表示学习率，σ为用于数值稳定的小常数，通常为10^-8；

(7)应用更新：θ←θ+Δθ；

(8)重复(2)-(7)直到t到达权重更新迭代次数；

使用交叉熵函数作为损失函数，具体表达式为：

交叉熵表示真实标签p与预测标签q之间的差异程度，其中x表示输入样本，H(p,q)表示预测分布与真实分布之间的交叉熵，p(x)表示输入样本标签的真实分布，q(x)表示模型对输入样本标签的预测分布。

进一步的，所述步骤2具体为：

随机生成p个二进制序列，每个序列的长度为d，表示如下：

其中，p为种群容量，第n个编码序列s_n表示为：

s_n＝[i₁,i₂,...,i_m,...,i_d]_1×d 1≤m≤d

其中，d为每个个体的基因数量，表示步骤1预训练卷积模型中除输入层以外的所有卷积层对输入特征通道的连接数，其中第m个元素i_m的值为1，表示对应位置的连接保留，值为0则表示删除该位置连接。

进一步的，所述步骤3具体为：

将当前种群中的每个编码序列按照其中元素的位置和元素的值，解码为对应的通道连接结构，并在当前连接结构下，加载步骤1中预训练好的权重，计算各自的适应度，获得当前种群的适应度集合F＝{f₁,f₂,...,f_n,...,f_p}，其中第n个元素f_n为当前种群中的第n个编码序列的适应度，接着从当前种群中可重复的选择出p个编码序列，第n个编码序列被选中的概率为f_n/∑(f₁+f₂+...+f_p)。

进一步的，所述步骤4：对步骤3中选择出来的二进制编码序列进行交叉和变异的操作，获得新一代种群，交叉概率和变异概率为可调节参数，具体为：,设定交叉概率和变异概率，作为遗传算法中种群彼此之间进行交叉操作的概率和每个个体进行变异的概率。

进一步的，所述步骤6具体为：

遗传算法迭代结束后，从最后一代种群中选择适应度最大的编码序列，将其解码为对应的通道连接结构，并按照新的通道连接结构，加载预训练卷积模型中对应位置的参数作为初始值，使用Adam优化算法进行对该模型新的通道连接结构进行权重微调，即再次输入训练集图像针对新的通道连接结构进行重新训练，恢复模型的分类准确率。

一种介质，该介质内部存储计算机程序，所述计算机程序被处理器读取时，执行上述任一项的方法。

本发明的优点及有益效果如下：

本发明利用遗传算法对卷积神经网络的卷积层的通道连接结构进行稀疏化，并应用与图像分类任务中。通过对通道连接结构的编码，在离散空间中使用遗传算法，经过若干次迭代后，获得对于当前学习任务来说最优的稀疏通道连接结构。

首先，从理论上来讲卷积层的卷积核越多，所能提取到的特征也就越多，卷积层的特征提取能力也就更强大。但在实际的应用当中，过多的卷积核往往会提取提取出很多冗余的特征，给模型的带来的更高的计算复杂度。本发明能根据当前的学习任务，在保证模型准确率不会出现显著下降的情况下，使卷积层的通道连接结构稀疏化，并自动搜寻得到最优的稀疏通道连接结构，删除一些冗余的连接。其次，由于稀疏化方法是使用遗传算法来决定，并不会引入稀疏率相关的超参数，避免了模型需要调节更多超参数的麻烦。最后，在现有的模型剪枝或着稀疏化方法中，人们往往试图定义某个量纲来衡量待稀疏化对象的重要程度，因此，近些年出现了许多不同的衡量标准，但并没有一个统一的衡量标准，在本方法中，遗传算法的适应度是基于模型原有的交叉熵得到的，并不会引入新的衡量标准。

附图说明

图1是本发明提供优选实施例基于结构优化稀疏卷积神经网络的图像分类方法的流程图。

图2为基于结构优化稀疏卷积神经网络的图像分类方法的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本实施例提供的基于结构优化稀疏卷积神经网络的图像分类方法，包括以下步骤：

步骤1：以最小化预测值与真实标签之间的交叉熵函数作为优化目标，以训练集样本作为输入，使用Adam算法作为优化算法，学习率设置为0.001，预训练一个LeNet-5卷积神经网络，直到模型在训练集上达到收敛，并保存模型预训练权重。交叉熵函数的表达式为：

其中p为样本标签，q为模型的预测值。

步骤2：对预训练好的LeNet-5卷积模型的第一池化层和第二卷积层进行编码。随机生成若干个二进制序列作为初始种群，每个序列对应一种通道连接结构，具体的编码方式为：

随机生成p个二进制序列，每个序列的长度为d，表示如下：

其中，p为种群容量，第n个编码序列s_n表示为：

s_n＝[i₁,i₂,...,i_m,...,i_d]_1×d 1≤m≤d (3)

其中，d为每个个体的基因数量，表示步骤1预训练卷积模型中第二卷积层对输入特征通道的连接数。进一步的，其中第m个元素i_m的值为1，表示对应位置的连接保留，值为0则表示删除该位置连接；

步骤3：解码并计算适应度。将当前种群中的每个编码序列按照其中元素的位置和元素的值，解码为对应的通道连接结构，并在当前连接结构下，加载步骤1中预训练好的权重，计算各自的适应度，获得当前种群的适应度集合F＝{f₁,f₂,...,f_n,...,f_p}，其中第n个元素f_n为当前种群中的第n个编码序列的适应度，接着从当前种群中可重复的选择出p个编码序列，第n个编码序列被选中的概率为f_n/∑(f₁+f₂+...+f_p)，其中个体适应度的值为交叉熵的倒数；

步骤4：对步骤3中选择出来的二进制编码序列进行交叉和变异的操作，获得新一代种群。设置交叉概率为0.8，变异概率为0.003，其数值可以根据实际情况进行调节。

步骤5：重复步骤3-4，直至当前迭代次数等于总迭代次数，则迭代结束；

步骤6：遗传算法迭代结束后，从最后一代种群中选择适应度最大的编码序列，将其解码为对应的通道连接结构作为LeNet-5卷积模型新的通道连接结构，再次使用Adam优化算法，将学习率设置为0.001，并按照新的通道连接结构加载步骤1中预训练好的LeNet-5卷积模型的权重作为初始权重，对带有新的通道连接结构的卷积模型进行权重微调，恢复模型的分类准确率。

如图2所示，本实施例提供的基于结构优化稀疏卷积神经网络的图像分类方法，从总体架构上来看，本方法可以分为以下两个模块：

模块1：预训练卷积模型部分。在此部分中，需要在图像分类数据集上预训练一个卷积神经网络，直到模型在训练集上收敛，并保存其预训练参数；在通道连接结构稀疏模块搜寻出最优连接之后，此部分能应用新的通道连接结构，并加载保存好的预训练模型权重作为初始权重，进行权重微调来恢复模型的分类准确率。

模块2：通道连接结构稀疏模块。此部分中包括有对预训练卷积模型中的通道连接结构的编码与解码，编码序列的初始化，在离散空间中对编码序列进行选择、交叉和变异操作，迭代结束后根据适应度选择出初最优编码序列。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于结构优化稀疏卷积神经网络的图像分类方法，其特征在于，包括以下步骤：

步骤1：获取图像的训练集样本，并以图像训练集样本作为输入，预训练一个卷积神经网络，以最小化预测值与真实标签之间的损失函数为优化目标，并保存卷积神经网络的预训练权重；

步骤2：根据预训练模型中的卷积层通道连接结构进行二进制编码，随机生成若干个二进制序列作为初始种群，对应若干个随机的通道连接结构；

步骤3：对当前种群中每个编码序列对应的一种通道连接结构应用到预训练模型中，并分别计算每种连接结构的适应度，可重复的选择若干个二进制编码序列，适应度越大的编码序列，被选择的概率越大；

步骤4：对步骤3中选择出来的二进制编码序列进行交叉和变异的操作，获得新一代种群，交叉概率和变异概率为可调节参数；

步骤5：重复步骤3-4，直至当前迭代次数等于总迭代次数，则迭代结束；

步骤6：选取最后一代种群中适应度最大的编码序列，将其解码为对应的通道连接结构，使用此通道连接结构，并加载预训练模型的权重作为初始权重，进行权重微调，恢复模型的分类准确率；接着将测试集输入到权重微调后的模型中，对测试集图像进行分类。

2.根据权利要求1所述的基于结构优化稀疏卷积神经网络的图像分类方法，其特征在于，所述步骤1：以最小化预测值与真实标签之间的损失函数为优化目标，以训练集样本作为输入，预训练一个卷积神经网络，并保存模型预训练权重，具体为：搭建一个卷积神经网络，使用待学习的图像训练集进行训练，直至模型收敛，以最小化损失函数为目标，使用Adam适应性矩估计优化算法来更新模型的权重，Adam算法具体为：

(1)初始化网络参数θ、一阶矩变量s＝0和二阶矩变量r＝0、初始时间步t＝0；

(2)从训练集中取出包含m个样本的小批量{x⁽¹⁾,...,x^(m)}，每个样本对应的标签值为{y⁽¹⁾,...,y^(m)}；

(3)计算梯度

t←t+1，L、f分别表示损失函数和模型从输入到输出的映射；

(4)更新有偏一阶矩估计和有偏二阶矩估计，ρ₁和ρ₂为指数衰减速率，其值在[0,1)区间：

s←ρ₁s+(1-ρ₁)g；

r←ρ₂r+(1-ρ₂)g⊙g；

s、r分别表示有偏一阶矩估计和有偏二阶矩估计；

(5)修正一阶矩和二阶矩的偏差：

分别表示修正偏差之后一阶矩估计和二阶矩估计；

(6)计算更新：

其中ε表示学习率，σ为用于数值稳定的小常数，通常为10^-8；

(7)应用更新：θ←θ+Δθ；

(8)重复(2)-(7)直到t到达权重更新迭代次数；

使用交叉熵函数作为损失函数，具体表达式为：

交叉熵表示真实标签p与预测标签q之间的差异程度，其中x表示输入样本，H(p,q)表示预测分布与真实分布之间的交叉熵，p(x)表示输入样本标签的真实分布，q(x)表示模型对输入样本标签的预测分布。

3.根据权利要求2所述的基于结构优化稀疏卷积神经网络的图像分类方法，其特征在于，所述步骤2具体为：

随机生成p个二进制序列，每个序列的长度为d，表示如下：

其中，p为种群容量，第n个编码序列s_n表示为：

s_n＝[i₁,i₂,...,i_m,...,i_d]_1×d 1≤m≤d

其中，d为每个个体的基因数量，表示步骤1预训练卷积模型中除输入层以外的所有卷积层对输入特征通道的连接数，其中第m个元素i_m的值为1，表示对应位置的连接保留，值为0则表示删除该位置连接。

4.根据权利要求3所述的基于结构优化稀疏卷积神经网络的图像分类方法，其特征在于，所述步骤3具体为：

将当前种群中的每个编码序列按照其中元素的位置和元素的值，解码为对应的通道连接结构，并在当前连接结构下，加载步骤1中预训练好的权重，计算各自的适应度，获得当前种群的适应度集合F＝{f₁,f₂,...,f_n,...,f_p}，其中第n个元素f_n为当前种群中的第n个编码序列的适应度，接着从当前种群中可重复的选择出p个编码序列，第n个编码序列被选中的概率为f_n/∑(f₁+f₂+...+f_p)。

5.根据权利要求4所述的基于结构优化稀疏卷积神经网络的图像分类方法，其特征在于，所述步骤4：对步骤3中选择出来的二进制编码序列进行交叉和变异的操作，获得新一代种群，交叉概率和变异概率为可调节参数，具体为：,设定交叉概率和变异概率，作为遗传算法中种群彼此之间进行交叉操作的概率和每个个体进行变异的概率。

6.根据权利要求5所述的基于结构优化稀疏卷积神经网络的图像分类方法，其特征在于，所述步骤6具体为：

遗传算法迭代结束后，从最后一代种群中选择适应度最大的编码序列，将其解码为对应的通道连接结构，并按照新的通道连接结构，加载预训练卷积模型中对应位置的参数作为初始值，使用Adam优化算法对新的通道连接结构的模型进行权重微调，即再次输入训练集图像针对新的通道连接结构进行重新训练，恢复模型的分类准确率。

7.一种介质，该介质内部存储计算机程序，其特征在于，所述计算机程序被处理器读取时，执行上述权利要求1～6任一项的方法。

Images