CN108171318A - 一种基于模拟退火—高斯函数的卷积神经网络集成方法 - Google Patents

Abstract

本发明采用模拟退火和高斯函数的集成方法对全连接层初始化权值和传统滤波器进行优化：首先提取样本的隐层特征映射作为先验信息，并利用模拟退火寻得最优解作为全连接层初始化权值，进而加快权值更新和卷积神经网络收敛；其次在卷积层引入高斯函数，通过高斯函数运算对图像进行平滑，降低噪声对特征提取的干扰，进而提升了卷积神经网络的性能。从而解决了在现有技术中卷积神经网络训练过程中梯度下降易陷入局部最优以及特征提取过程中噪声干扰过大等问题。

Description

一种基于模拟退火—高斯函数的卷积神经网络集成方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于模拟退火—高斯函数的卷积神经网络 集成方法。

背景技术

2006年，Hinton等在研究中发现多隐层的人工神经网络具有优异的特征学习能力，并 由此提出了深度学习的概念。近年来，深度学习在图像分类、行人检测、语音识别及自然语 言处理等实际领域都取得了很大的成功，利用卷积神经网络进行图像分类是深度学习关于图 像处理的一种应用。

卷积神经网络是基于猫脑皮层中的局部敏感性和方向选择性神经元结构而提出的一种网 络模型，这种类似生物神经网络的独特结构可以有效的降低模型的复杂度，减少需要学***移和旋转不变性， 增强网络的泛化能力。由于其强大的自适应和自学习能力，卷积神经网络被广泛应用于图像 识别领域。

深度学习中，算法的目标函数几乎全都是非凸函数，卷积神经网络也不例外。作为非凸 函数，卷积神经网络可能会存在许多的局部极小值，而目前卷积神经网络算法中寻找最优解 的方法大都是基于梯度下降来实现的，在梯度下降的过程中可能会陷入某一局部最优而不能 得到最优解；此外，图像中隐含的噪声会对特征提取产生一定的干扰，造成滤波器提取到的 特征不理想。以上因素皆会对网络训练造成一定困难，进而影响网络的识别性能。传统的网 络采用随机初始化权值以及普通的滤波器进行训练，不能很好的解决上述提到的问题。

发明内容

本发明提供了一种基于模拟退火—高斯函数的卷积神经网络集成方法，有效缓解了上述 提到的优化问题，提升了卷积神经网络的识别精度，加快了卷积神经网络的收敛。

为解决上述问题，本申请提供了一种基于模拟退火—高斯函数的卷积神经网络集成方法， 其特征在于，依次包括以下步骤：

步骤1：构建卷积神经网络，对相关网络参数值进行初始化，设定网络的层数、卷积核、 采样核大小、网络迭代次数和学习率；

步骤2：构建数据集，所述数据集包括训练集和测试集，并对所述数据集进行归一化预 处理，即将每张样本图片的像素值进行归一化处理；

步骤3：将所述训练样本图片输入到所述卷积神经网络进行卷积、下采样操作，并将得 到的隐层特征信息映射作为先验信息进行存储；

步骤4：将所述先验信息代入所述卷积神经网络的损失函数，构建目标函数；

步骤5：随机初始化一组解作为输入，利用模拟退火算法对所述目标函数进行寻优处 理，得到最优解；

步骤6：将所述最优解导入所述卷积神经网络的全连接层作为初始化权值，并存储所述 初始化权值对应的所述卷积神经网络；

步骤7：在所述卷积神经网络的网络卷积层引入高斯函数，并对所述高斯函数的中心点 及标准差值进行初始化；对所述高斯函数进行离散化处理，并以离散点上的高斯函数值为卷 积核系数构造高斯函数模板；

步骤8：所述高斯函数模板进行归一化处理；

步骤9：采用窗口扫描的方式，利用所述高斯函数模块与输入图像进行卷积操作；

步骤10：完成对所述卷积神经网络的集成，所述集成包括：所述卷积层滤波器的优化 和所述全连接层初始化权值的优化。

进一步的，在所述步骤2中，对所述样本图片的像素值进行归一化公式如下：其中，X_norm为所述归一化后的数据，X为所述样本图片的原始数据， X_max和X_min分别为所述原始数据集合中的最大值和最小值。

进一步的，在所述步骤3中，所述卷积、下采样操作的具体表达式如下：其中，表示第l层的第 j张所述训练样本图片，f(·)表示所述卷积神经网络的隐含层激活函数，∑表示 求和运算，l表示所述层数，表示第l层所述卷积核，*表示所述卷积运算， P_j表示所述训练样本图片的第j个集合，down(·)表示下采样函数，为所述下 采样第l层的权重系数，分别为所述卷积和所述下采样的第l层对应的第j个 偏置项，函数g(x)＝x。

进一步的，在所述步骤4中，所述卷积神经网络的损失函数表达式如下：其中，o表示所述卷积神经网络的实际输出，y表示所述卷积神经网 络的期望输出，R表示每组所述训练样本图片的个数；

所述全连接层表达式如下：其中，sigm(·)表示全连接层的 激活函数，w^l是所述全连接层l的权重系数，u表示上层的特征输入向量，b_l是所述全连接 层l的偏置项，i、j表示参数在二维坐标的索引；对所述全连接层表达式变形得：其中，x＝(w b)，z＝(u I)^T，w表示所述全连接层的权重系数向量，b 表示为所述全连接层偏置项向量，I是一个元素全为1的单位矩阵，(·)^T表示矩阵的转置， 将所述全连接层的变形后的表达式代入所述损失函数中构造所述目标函数：

进一步的，在所述步骤5中，对所述模拟退火算法的初始温度T、温度衰减参数、终止 温度阈值T_δ以及每个温度对应的迭代次数M进行初始化，并随机初始化一组解x₀作为当前 解，开始每个温度下的内循环：

步骤51：按照一定步长从所述当前解产生新解，并将所述新解分别代入所述目标函数， 计算对应目标函数值；所述新解产生方式如下：x＝x₀+Δx，其中x₀为当前解，Δx为所述步 长的值；

步骤52：若所述新解的目标函数值小于或等于当前解对应的目标函数值，则接受所述新 解作为所述当前解；否则以概率P(x)接受新解作为所述当前解；

步骤53：对所述迭代次数进行实时判断，若达到所述初始化的迭代次数M，则执行步 骤54，否则执行所述步骤51；

所述步骤54：将当前温度乘以所述温度衰减参数，逐渐降低温度；

步骤55：重复所述步骤51至所述步骤54直至达到终止温度阈值T_δ，输出得到的最优 解。

进一步的，在所述步骤52中，所述以概率P(x)接受新解作为所述当前解，具体表达式 如下：其中，L(x)是目标函数，ΔL(x)表示为函数L(x)的差值，k为玻尔兹曼常数，T为温度参数；所述温度衰减参数选取为0.98或0.99。

进一步的，在所述步骤7中，所述高斯函数的具体表达式如下：

其中，x、y为所述高斯函数随机变量，(x_i,y_i)为中心点，为模糊半 径，σ为高斯分布标准差；

离散化后的高斯函数如下：

其中，i、j表示参数在二维坐标的索引，k表示所述卷积核的维数。

此处高斯函数核的矩阵算法在matlab中可以用fspecial函数实现，为现有技术，不再赘 述。

本发明的有益效果：采用模拟退火和高斯函数的集成方法对全连接层初始化权值和传统 滤波器进行优化：首先提取样本的隐层特征映射作为先验信息，并利用模拟退火寻得最优解 作为全连接层初始化权值，进而加快权值更新和卷积神经网络收敛；其次在卷积层引入高斯 函数，通过高斯函数运算对图像进行平滑，降低噪声对特征提取的干扰，进而提升了卷积神 经网络的性能。从而解决了在现有技术中卷积神经网络训练过程中梯度下降易陷入局部最优 以及特征提取过程中噪声干扰过大等问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图说明以及具体实施方式对本发明作进一步说明。

如图1所示，本发明所述的一种基于模拟退火—高斯函数的卷积神经网络集成算法，包 括以下步骤：

步骤1：构建卷积神经网络，设定卷积神经网络的前边部分为卷积层和下采样层的交替 连接，最后通过一层全连接层后输出，并对相关网络参数值进行初始化。具体设定网络的层 数、卷积核、采样核、网络迭代次数以及学习率的参数值；

步骤2：构建数据集，数据集包括训练集和测试集，并对数据集进行归一化预处理，将 每张样本图片的像素值由0～255归一化到0～1；对图像数据的归一化公式如下：其中X_norm为归一化后的数据，X为所述样本图片的原始数据，X_max和 X_min分别为所述原始数据集合中的最大值和最小值。

步骤3：所述训练样本图片输入到所述卷积神经网络进行卷积、下采样操作，并将得到 的隐层特征信息映射作为先验信息进行存储；卷积、下采样的具体表达式如下：其中，表示第l层的第j张所述训练样本图片，f(·)表示所述卷积神经网络的隐含层激活函数，∑表示求和运算，l表示所述层 数，表示第l层所述卷积核，*表示所述卷积运算，P_j表示所述训练样本图片的第j个集合，down(·)表示下采样函数，为所述下采样第l层的权重系数，分别为所述卷积和所述下采样的第l层对应的第j个偏置项，函数g(x)＝x。

步骤4：将所述步骤3中的所述先验信息代入所述卷积神经网络的损失函数，并变形以 构建目标函数；卷积神经网络的损失函数表达式如下：其中：o表示 所述卷积神经网络的实际输出，y表示所述卷积神经网络的期望输出，R表示每组所述训练 样本图片的个数；

所述全连接层表达式如下：其中，sigm(·)表示全连接层的 激活函数，w^l是所述全连接层l的权重系数，u表示上层的特征输入向量，b_l是所述全连接 层l的偏置项，i、j表示参数在二维坐标的索引；对所述全连接层表达式变形得：其中，x＝(w b)，z＝(u I)^T，w表示所述全连接层的权重系数向量，b 表示为所述全连接层偏置项向量，I是一个元素全为1的单位矩阵，(·)^T表示矩阵的转置， 将所述全连接层的变形后的表达式代入所述损失函数中构造所述目标函数：

步骤5：随机初始化一组解作为输入，利用模拟退火算法对所述目标函数进行寻优处理， 得到最优解。具体操作如下：对所述模拟退火算法的初始温度T、温度衰减参数、终止温度 阈值T_δ以及每个温度对应的迭代次数M进行初始化，并随机初始化一组解x₀作为当前解， 开始每个温度下的内循环：

步骤51：按照一定步长从所述当前解产生新解，并将所述新解分别代入所述目标函数， 计算对应目标函数值；所述新解产生方式如下：x＝x₀+Δx，其中x₀为当前解，Δx为所述步 长的值；

步骤52：若所述新解的目标函数值小于或等于当前解对应的目标函数值，则接受所述新 解作为所述当前解；否则以概率P(x)接受新解作为所述当前解；

步骤53：对所述迭代次数进行实时判断，若达到所述初始化的迭代次数M，则执行步 骤54，否则执行所述步骤51；

所述步骤54：将当前温度乘以所述温度衰减参数，逐渐降低温度；

步骤55：重复所述步骤51至所述步骤54直至达到终止温度阈值T_δ，输出得到的最优 解。

其中，所述以概率P(x)接受新解作为所述当前解，具体表达式如下：其中，L(x)是目标函数，ΔL(x)表示为函数L(x)的差值，k为玻尔兹曼常数，T为温度参数； 所述温度衰减参数选取为0.98或0.99。

步骤6：将所述步骤5所述最优解导入所述卷积神经网络的全连接层作为初始化权值， 并存储所述初始化权值对应的所述卷积神经网络；

步骤7：进一步的，在所述卷积神经网络的网络卷积层引入高斯函数，并对所述高斯函 数的中心点及标准差值进行初始化；对所述高斯函数进行离散化处理，并以离散点上的高斯 函数值为卷积核系数构造高斯函数模板。

其中，引入所述高斯函数的具体表达式如下：

其中：x、y为所述高斯函数随机变量，(x_i,y_i)为中心点，为模糊半 径，σ为高斯分布标准差。离散化后的高斯函数如下：

其中，i、j表示参数在二维坐标的索引，k表示所述卷积核的维数。

步骤8：为保证加权滤波的权系数和为1，对所述步骤7中得到的所述高斯函数模板进 行归一化处理，具体归一化操作如下：

此处高斯函数核的矩阵算法在matlab中可以用fspecial函数实现，为现有技术，不再赘 述。

步骤9：输入所述样本图片，利用高斯函数模板替代现有技术中的普通滤波器，采用窗 口扫描的方式，与输入图像进行卷积操作，然后输出卷积后的图像数据。

步骤10：至此完成对卷积神经网络的集成，所述集成包括：卷积层滤波器的优化和全 连接层初始化权值的优化；可进一步对集成后的卷积神经网络进行训练，并输入所述测试集 图片测试所述卷积神经网络的识别性能。

本发明采用退火原理可有效提升卷积神经网络训练过程中的初始化权值更新速度和收敛 速度。同时，采用高斯函数算法可有效降低干扰噪声，从而提升卷积神经网络的识别精度等 性能。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明 的具体实施只局限于所作的说明。对于本发明所述技术领域的普通技术人员来说，在不脱离 本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于，依次包括以下步骤：

步骤1：构建卷积神经网络，对相关网络参数值进行初始化，设定网络的层数、卷积核、采样核大小、网络迭代次数和学习率；

步骤2：构建数据集，所述数据集包括训练集和测试集，并对所述数据集进行归一化预处理，即将每张样本图片的像素值进行归一化处理；

步骤3：将所述训练样本图片输入到所述卷积神经网络进行卷积、下采样操作，并将得到的隐层特征信息映射作为先验信息进行存储；

步骤4：将所述先验信息代入所述卷积神经网络的损失函数，构建目标函数；

步骤5：随机初始化一组解作为输入，利用模拟退火算法对所述目标函数进行寻优处理，得到最优解；

步骤6：将所述最优解导入所述卷积神经网络的全连接层作为初始化权值，并存储所述初始化权值对应的所述卷积神经网络；

步骤7：在所述卷积神经网络的网络卷积层引入高斯函数，并对所述高斯函数的中心点及标准差值进行初始化；对所述高斯函数进行离散化处理，并以离散点上的高斯函数值为卷积核系数构造高斯函数模板；

步骤8：对所述高斯函数模板进行归一化处理；

步骤9：采用窗口扫描的方式，利用所述高斯函数模块与输入图像进行卷积操作；

步骤10：完成对所述卷积神经网络的集成，所述集成包括：所述卷积层滤波器的优化和所述全连接层初始化权值的优化。

2.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于：所述步骤2中，对所述样本图片的像素值进行归一化公式如下：其中，X_norm为所述归一化后的数据，X为所述样本图片的原始数据，X_max和X_min分别为所述原始数据集合中的最大值和最小值。

3.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于：所述步骤3中，所述卷积、下采样操作的具体表达式如下：其中，表示第l层的第j张所述训练样本图片，f(·)表示所述卷积神经网络的隐含层激活函数，∑表示求和运算，l表示所述层数，表示第l层所述卷积核，*表示所述卷积运算，P_j表示所述训练样本图片的第j个集合，down(·)表示下采样函数，为所述下采样第l层的权重系数，分别为所述卷积和所述下采样的第l层对应的第j个偏置项，函数g(x)＝x。

4.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于：所述步骤4中，所述卷积神经网络的损失函数表达式如下：其中，o表示所述卷积神经网络的实际输出，y表示所述卷积神经网络的期望输出，R表示每组所述训练样本图片的个数；

所述全连接层表达式如下：其中，sigm(·)表示全连接层的激活函数，w^l是所述全连接层l的权重系数，u表示上层的特征输入向量，b_l是所述全连接层l的偏置项，i、j表示参数在二维坐标的索引；对所述全连接层表达式变形得：其中，x＝(w b)，z＝(u I)^T，w表示所述全连接层的权重系数向量，b表示为所述全连接层偏置项向量，I是一个元素全为1的单位矩阵，(·)^T表示矩阵的转置，将所述全连接层的变形后的表达式代入所述损失函数中构造所述目标函数：

5.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于：所述步骤5中，对所述模拟退火算法的初始温度T、温度衰减参数、终止温度阈值T_δ以及每个温度对应的迭代次数M进行初始化，并随机初始化一组解x₀作为当前解，开始每个温度下的内循环：

步骤51：按照一定步长从所述当前解产生新解，并将所述新解分别代入所述目标函数，计算对应目标函数值；所述新解产生方式如下：x＝x₀+Δx，其中，x₀为当前解，Δx为所述步长的值；

步骤52：若所述新解的目标函数值小于或等于当前解对应的目标函数值，则接受所述新解作为所述当前解；否则以概率P(x)接受新解作为所述当前解；

步骤53：对所述迭代次数进行实时判断，若达到所述初始化的迭代次数M，则执行步骤54，否则执行所述步骤51；

所述步骤54：将当前温度乘以所述温度衰减参数，逐渐降低温度；

步骤55：重复所述步骤51至所述步骤54直至达到终止温度阈值T_δ，输出得到的最优解。

6.根据权利要求5所述的基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于：所述步骤52中，所述以概率P(x)接受新解作为所述当前解，具体表达式如下：其中：L(x)是目标函数，ΔL(x)表示为函数L(x)的差值，k为玻尔兹曼常数，T为温度参数；所述温度衰减参数选取为0.98或0.99。

7.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法，其特征在于：所述步骤7中，所述高斯函数的具体表达式如下：

其中，x、y为所述高斯函数随机变量，(x_i,y_i)为中心点，为模糊半径，σ为高斯分布标准差；

离散化后的高斯函数如下：

其中，i、j表示参数在二维坐标的索引，k表示所述卷积核的维数。