CN105844653A - 一种多层卷积神经网络优化***及方法 - Google Patents

Abstract

本发明涉及一种多层卷积神经网络优化***及方法。该***包括：图像定位模块、基于CP分解的采样模块、微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块，所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ；所述基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两个秩一张量p和q；所述微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V；所述基于BP算法的参数调优模块对于参数θ进行更新；所述卷积神经网络特征输出模块用于将更新好的参数θ^带入网络，并进行迭代运算，输出卷积神经网络特征。本发明有利于提取空间不变的特征，同时提高运算效率。

Description

一种多层卷积神经网络优化***及方法

技术领域

本申请涉及神经网络技术领域，特别涉及一种多层卷积神经网络优化***及方法。

背景技术

卷积神经网络(convolutional neural network,CNN)是一种前馈神经网络，与传统算法不同的是，卷积神经网络的相邻层之间的神经单元并不是全连接，而是部分连接，并且对于一个卷积核的卷积运算权值共享，从而减少了参数个数，通过多次卷积与池化过程达到特征提取的目的。利用卷积可以实现对图像模糊处理，边缘检测从而有利于特征提取，利用池化运算可以较简便地对图像进行降维，从而减小参数与计算量。

在传统卷积神经网络中，网络设计为卷积—池化—卷积—池化的结构，需要设定多层才能提取到空间不变的特征。

发明内容

本申请提供了一种多层卷积神经网络优化***及方法，以解决现有技术中网络结构需要设定多层才能提取到空间不变的特征的技术问题。

为了解决上述问题，本发明提供了如下技术方案：

本发明实施例提供了一种多层卷积神经网络优化***，包括：图像定位模块、基于CP分解的采样模块、微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块，所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ，并用于下一层对于坐标变换的操作；所述基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两个秩一张量p和q，同时利用像素点对应的坐标与上一层产生的参数θ进行运算；所述微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V；所述基于BP算法的参数调优模块对于参数θ进行更新；所述卷积神经网络特征输出模块用于将更新好的参数θ^带入网络，并进行迭代运算，同时加入分类器对特征进行分类预测，输出卷积神经网络特征。

本发明实施例采取的技术方案还包括：所述图像定位模块还用于接收来自上一次卷积后的结果U，其中U通过对卷积核与样本进行图像卷积计算获得。

本发明实施例采取的技术方案还包括：所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ具体包括：对于卷积神经网络的某一特征输出U∈R^H*W*C作为采样层的输入，其中，H、W代表图片的高度和宽度，C代表通道；通过floc计算空间变换参数θ，floc包含回归层根据卷积层的维度设定参数矩阵θ：θ＝f_loc(U)。

本发明实施例采取的技术方案还包括：所述微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V具体为：利用求得的参数θ对U的像素点对应坐标(xt,yt)做仿射变换，得到(xs,ys)；将经过张量计算得到像素的坐标(xs,ys)与p°q输入到微采样层，在微采样层通过双线性插值算法对周围像素进行压缩替代，获得网络输出V。

本发明实施例采取的技术方案还包括：所述基于BP算法的参数调优模块对于θ进行更新的具体方式为：利用网络输出V对网络输入秩一张量的外积p°q求偏导获得的灵敏度δ，根据灵敏度δ更新参数。

本发明实施例采取的技术方案还包括：所述卷积神经网络特征输出模块用于将经过L次迭代的空间变换器的输出U^L进入softmax层进行分类，得到每一类的分类概率；利用误差函数对卷积层的参数W求偏导，逐层更新参数W，将更新好的W带入各卷积层重新计算。

本发明实施例还提供了一种多层卷积神经网络优化方法，包括：

步骤a：通过卷积计算获得某一卷积层的结果U，通过图像定位模块获得结果U，将结果U作为采样层的输入计算空间变换参数θ；

步骤b：对U进行张量分解，获得两个秩一张量p和q，利用求得的参数θ对像素点对应坐标做仿射变换，将经过张量计算得到像素的坐标与p°q输入到微采样层；

步骤c：在微采样层通过双线性插值算法与张量运算结合，获得网络输出V；对V求秩一张量外积p°q的偏导，根据灵敏度δ更新参数θ；

步骤d：迭代计算整个网络，输出卷积神经网络特征输出。

本发明实施例采取的技术方案还包括：所述步骤a中通过卷积计算获得某一卷积层的结果U具体为：对于d*d的卷积核与X*Y的样本进行图像卷积计算获得某一卷积层的结果U。

本发明实施例采取的技术方案还包括：所述步骤d中迭代计算整个网络包括：将更新好的参数带入网络，获得网络输出赋值，重复步骤a到步骤c，进行迭代运算。

本发明实施例采取的技术方案还包括：所述步骤d还包括：对于经过L次迭代的空间变换器的输出U^L进入softmax层进行分类，得到每一类的分类概率；定义平方损失函数，利用误差函数对卷积层的参数W求偏导，逐层更新参数W；将更新好的W带入各卷积层重新计算，获得CNN最终网络输出。

本发明实施例的多层卷积神经网络优化***及方法在经过张量分解后的卷积层输出添加空间变换器，替代传统的池化层，有利于提取空间不变的特征；同时对于卷积层的输出进行张量分解，在最大化保留原始信息与结构相关性前提下，去掉冗余信息，提高运算效率；应用双线性插值算法与张量结合，对图像不同方向的像素点进行线性插值，在任意两个已知像素点之间***像素点，在放大时避免失真，降维时可求得替代像素点；利用张量分解后的低阶张量结合双线性插值算法对像素点进行压缩处理，降低了计算复杂度并在图像的放缩处理保持了抗锯齿功能。

附图说明

图1是本发明实施例的多层卷积神经网络优化***的结构示意图；

图2是本发明实施例的多层卷积神经网络优化方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1是本发明实施例的多层卷积神经网络优化***的结构示意图。本申请实施例的多层卷积神经网络优化***包括图像定位模块、基于CP分解的采样模块，微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块。图像定位模块可以设在在卷积层后，也可以接受原始图像，图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ，并用于下一层对于坐标变换的操作；基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两个秩一张量p和q，同时利用像素点对应的坐标与上一层产生的参数θ进行运算，具体为：利用求得的参数θ对U的像素点对应坐标(xt,yt)做仿射变换，得到(xs,ys)：

$\left(\begin{array}{c}{x}^s\\ y^s\end{array}\right)=F_{\mathrm{\θ}}\left(U\right)=\left|\begin{array}{ccc}{\mathrm{\θ}}_{11}& {\mathrm{\θ}}_{12}& {\mathrm{\θ}}_{13}\\ {\mathrm{\θ}}_{21}& {\mathrm{\θ}}_{22}& {\mathrm{\θ}}_{23}\end{array}\right|\left(\begin{array}{c}{x}^t\\ y^t\end{array}\right)$

张量理论是数学的一个分支学科，张量概念是矢量概念的推广，矢量是一阶张量，张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，用于张量形式表达的样本可最大程度上保留原始结构，进而在特征提取阶段提取到更鲁棒的特征。

微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V，在任意两个已知像素点之间***像素点，在放大时避免失真，降维时可求得替代像素点。其中，双线性插值算法：双线性插值，又称为双线性内插。双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值，广泛应用在信号处理，数字图像和视频处理等应用中。

基于BP算法的参数调优模块对于θ进行更新，具体更新方式为：利用网络输出V对网络输入秩一张量的外积p°q求偏导获得的灵敏度δ，根据灵敏度δ更新参数θ；

卷积神经网络特征输出模块用于将更新好的参数θ^带入网络，并进行迭代运算，同时加入分类器对特征进行分类预测，输出卷积神经网络特征。

请参阅图2，图2是本发明实施例的多层卷积神经网络优化方法的流程图。本发明实施例的多层卷积神经网络优化方法包括：

步骤10：对于d*d的卷积核与X*Y的样本进行图像卷积计算获得某一卷积层的结果U；

在步骤10中，卷积核:

样本X：

获得输出U：

其中对任意一次的卷积结果Um,n

$U_{m,n}=\underset{j=n}{\overset{n+d-1}{\Σ}}\underset{i=m}{\overset{m+d-1}{\Σ}}{w}_{i-m+1j-n+1}*x_{ij}$

步骤20：图像定位模块接收来自上一次卷积后的结果U。

步骤30：对于CNN的某一特征输出U∈R^H*W*C(H,W代表图片的高度和宽度，C代表通道)作为采样层的输入，通过floc计算空间变换参数θ，floc包含回归层将卷积层的参数变为θ矩阵：

θ＝f_loc(U)

得到结果为：

$\left|\begin{array}{ccc}{\mathrm{\θ}}_{11}& {\mathrm{\θ}}_{12}& {\mathrm{\θ}}_{13}\\ {\mathrm{\θ}}_{21}& {\mathrm{\θ}}_{22}& {\mathrm{\θ}}_{23}\end{array}\right|$

步骤40：对卷积后的结果U进行张量分解，得到两个秩一张量p和q：

在步骤40中，在传统卷积神经网络中，网络设计为卷积—池化—卷积—池化的结构，需要设定多层才能提取到空间不变的特征。而在本本发明实施例的多层卷积神经网络优化方法中，在经过张量分解后的卷积层输出后添加空间变换器，替代传统的池化层，有利于提取空间不变的特征；同时对于卷积层的输出进行张量分解，在最大化保留原始信息与结构相关性前提下，去掉冗余信息，提高运算效率。

步骤50：利用求得的参数θ对U的像素点对应坐标(xt,yt)做仿射变换，得到(xs,ys)：

$\left(\begin{array}{c}{x}^s\\ y^s\end{array}\right)=F_{\mathrm{\θ}}\left(U\right)=\left|\begin{array}{ccc}{\mathrm{\θ}}_{11}& {\mathrm{\θ}}_{12}& {\mathrm{\θ}}_{13}\\ {\mathrm{\θ}}_{21}& {\mathrm{\θ}}_{22}& {\mathrm{\θ}}_{23}\end{array}\right|\left(\begin{array}{c}{x}^t\\ y^t\end{array}\right)$

步骤60：将经过张量计算得到像素的坐标(xs,ys)与p°q输入到微采样层，在微采样层通过双线性插值算法对周围像素进行压缩替代，获得网络输出V。

在步骤60中，微采样层应用双线性插值算法与张量结合，对图像不同方向的像素点进行线性插值，在任意两个已知像素点之间***像素点，在放大时避免失真，降维时可求得替代像素点，在本专利中是通过双线性插值算法与张量结合对像素点进行压缩处理，降低了计算复杂度的同时，在图像的放缩处理中保持了抗锯齿功能

步骤70：利用网络输出V对网络输入秩一张量的外积p°q求偏导获得的灵敏度δ，根据灵敏度δ更新参数θ。

$\frac{\∂x}{\∂{\mathrm{\θ}}_i}=\left(\begin{array}{c}{x}^t\\ y^t\end{array}\right){\mathrm{\δ}}_i$

$\mathrm{\Δ}{\left(\mathrm{\θ}\right)}^I=-\mathrm{\η}\frac{\∂x}{\∂{\left(\mathrm{\θ}\right)}^I}$

$\frac{\∂y}{\∂{\mathrm{\θ}}_i}=\left(\begin{array}{c}{x}^t\\ y^t\end{array}\right){\mathrm{\δ}}_i$

$\mathrm{\Δ}{\left(\mathrm{\θ}\right)}^I=-\mathrm{\η}\frac{\∂y}{\∂{\left(\mathrm{\θ}\right)}^I}$

步骤80：将更新好的参数θ^带入网络，获得网络输出赋值为U2，作为第一步的输入，重复步骤10到步骤70，进行迭代运算。

在步骤80中，在空间变换器调节好参数后，可任意添加与卷积神经网络的任意位置，可以设置在原始样本输入层后，也可以设置在卷积层后(样本-卷积-空间变换器…或样本-空间变换器-卷积…)最终实现效果是不同的空间变换器可提取出不同层次的特征，如第一个空间变换器可提取鸟头的特征，第二个可以提取鸟身的特征等等。

步骤90：对于经过L次迭代的空间变换器的输出UL进入softmax层进行分类，得到每一类的分类概率。

$Y=h_{\mathrm{\θ}}\left(U^{L\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|U^L\left(i\right);\mathrm{\θ})\\ p(y^{\left(i\right)}=2|U^L\left(i\right);\mathrm{\θ})\\ \mathrm{......}\\ p(y^{\left(i\right)}=k|U^L\left(i\right);\mathrm{\θ})\end{array}\right]=\frac{1}{{\Σ}_{j=1}^k{e_j}^{{\mathrm{\θ}}^T{U}^L\left(i\right)}}\left[\begin{array}{c}{e_1}^{{\mathrm{\θ}}^T{U}^L\left(i\right)}\\ {e_2}^{{\mathrm{\θ}}^T{U}^L\left(i\right)}\\ \mathrm{...}\\ {e_k}^{{\mathrm{\θ}}^T{U}^L\left(i\right)}\end{array}\right]$

步骤100：定义平方损失函数，表示第n个样本对应的标签的第k维，表示第n个样本对应的网络输出的第k个输出

$E^n=\frac{1}{2}\underset{k=1}{\overset{c}{\Σ}}(t_k^n-y_k^n)=\frac{1}{2}||t^n-y^n||$

步骤110：利用误差函数对卷积层的参数W求偏导，逐层更新参数W。

$\frac{\∂E}{\∂{\left(W\right)}^I}={\left(W\right)}^{I-1}{\left(\mathrm{\δ}\right)}^T$

$\mathrm{\Δ}{\left(W\right)}^I=-\mathrm{\η}\frac{\∂E}{\∂{\left(W\right)}^I}$

步骤120：将更新好的W带入各卷积层重新计算，获得CNN最终网络输出，即提取的特征。

本发明实施例的多层卷积神经网络优化***及方法在经过张量分解后的卷积层输出添加空间变换器，替代传统的池化层，有利于提取空间不变的特征；同时对于卷积层的输出进行张量分解，在最大化保留原始信息与结构相关性前提下，去掉冗余信息，提高运算效率；应用双线性插值算法与张量结合，对图像不同方向的像素点进行线性插值，在任意两个已知像素点之间***像素点，在放大时避免失真，降维时可求得替代像素点；利用张量分解后的低阶张量结合双线性插值算法对像素点进行压缩处理，降低了计算复杂度并在图像的放缩处理保持了抗锯齿功能。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多层卷积神经网络优化***，其特征在于，包括：图像定位模块、基于CP分解的采样模块、微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块，所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ，并用于下一层对于坐标变换的操作；所述基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两个秩一张量p和q，同时利用像素点对应的坐标与上一层产生的参数θ进行运算；所述微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V；所述基于BP算法的参数调优模块对于参数θ进行更新；所述卷积神经网络特征输出模块用于将更新好的参数θ^带入网络，并进行迭代运算，同时加入分类器对特征进行分类预测，输出卷积神经网络特征。

2.根据权利要求1所述的多层卷积神经网络优化***，其特征在于，所述图像定位模块还用于接收来自上一次卷积后的结果U，其中U通过对卷积核与样本进行图像卷积计算获得。

3.根据权利要求1或2所述的多层卷积神经网络优化***，其特征在于，所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ具体包括：对于卷积神经网络的某一特征输出U∈R^H*W*C作为采样层的输入，其中，H、W代表图片的高度和宽度，C代表通道；通过floc计算空间变换参数θ，floc包含回归层根据卷积层的维度设定参数矩阵θ：θ＝f_loc(U)。

4.根据权利要求1所述的多层卷积神经网络优化***，其特征在于，所述微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V具体为：利用求得的参数θ对U的像素点对应坐标(xt,yt)做仿射变换，得到(xs,ys)；将经过张量计算得到像素的坐标(xs,ys)与pоq输入到微采样层，在微采样层通过双线性插值算法对周围像素进行压缩替代，获得网络输出V。

5.根据权利要求1所述的多层卷积神经网络优化***，其特征在于，所述基于BP算法的参数调优模块对于θ进行更新的具体方式为：利用网络输出V对网络输入秩一张量的外积pоq求偏导获得的灵敏度δ，根据灵敏度δ更新参数。

6.根据权利要求1所述的多层卷积神经网络优化***，其特征在于：所述卷积神经网络特征输出模块用于将经过L次迭代的空间变换器的输出U^L进入softmax层进行分类，得到每一类的分类概率；利用误差函数对卷积层的参数W求偏导，逐层更新参数W，将更新好的W带入各卷积层重新计算。

7.一种多层卷积神经网络优化方法，包括：

步骤a：通过卷积计算获得某一卷积层的结果U，通过图像定位模块获得结果U，将结果U作为采样层的输入计算空间变换参数θ；

步骤b：对U进行张量分解，获得两个秩一张量p和q，利用求得的参数θ对像素点对应坐标做仿射变换，将经过张量计算得到像素的坐标与pоq输入到微采样层；

步骤c：在微采样层通过双线性插值算法与张量运算结合，获得网络输出V；对V求秩一张量外积pоq的偏导，根据灵敏度δ更新参数θ；

步骤d：迭代计算整个网络，输出卷积神经网络特征输出。

8.根据权利要求7所述的多层卷积神经网络优化方法，其特征在于，所述步骤a中通过卷积计算获得某一卷积层的结果U具体为：对于d*d的卷积核与X*Y的样本进行图像卷积计算获得某一卷积层的结果U。

9.根据权利要求7或8所述的多层卷积神经网络优化***，其特征在于，所述步骤d中迭代计算整个网络包括：将更新好的参数带入网络，获得网络输出赋值，重复步骤a到步骤c，进行迭代运算。

10.根据权利要求9所述的多层卷积神经网络优化***，其特征在于，所述步骤d还包括：对于经过L次迭代的空间变换器的输出U^L进入softmax层进行分类，得到每一类的分类概率；定义平方损失函数，利用误差函数对卷积层的参数W求偏导，逐层更新参数W；将更新好的W带入各卷积层重新计算，获得CNN最终网络输出。