CN104866900A - 一种反卷积神经网络训练方法 - Google Patents

Abstract

本发明公开了一种反卷积神经网络训练方法，其能够有效地提取图像特征，有益于分类正确率的提高，提高反卷积神经网络的训练收敛效率及收敛精度，降低反卷积神经网络在实际应用中的训练成本，同时可被应用于其他基于卷积运算的优化问题求解中。这种反卷积神经网络训练方法，包括训练阶段和重建阶段，训练阶段包括步骤：(1)对训练图像进行预处理；(2)对训练图像进行批设置；(3)设置训练图像的网络训练参数；(4)开始第一层训练；重建阶段包括步骤：(5)对待重构图像进行预处理；(6)设置待重构图像的网络训练参数；(7)按批输入待重构图像直到完成所有批图像的重构。

Description

一种反卷积神经网络训练方法

技术领域

本发明属于人工智能的技术领域，具体地涉及一种反卷积神经网络训练方法。

背景技术

深度学习是目前人工智能领域的研究热点之一。基于神经网络的思想，深度学习致力于模仿人脑的分层感知方式，通过构造多层感知器(Multilayer Perception，MLP)由低层次特征组合出能够代表属性类别或特征的抽象高层表示，从而成为目前提取复杂图像特征的有效模型之一。

经典的深度学习模型主要包括深度置信网(Deep Belief Networks，DBNs)、多层稀疏的自动编码模型(Auto Encode，AE)与卷积神经网络(Convolutional Neural Networks，CNNs)。通常，这些模型均通过编码器由输入图像提取特征，从底向上逐层贪心地将图像转化到特征空间，相对的，使用解码器将特征空间的特征通过网络自顶向下重构输入图像。其中，DBNs与AE是无监督的网络模型，他们可以自底向上地分层学习丰富的图像特征并为高层次应用，例如模式识别，提供一定的增益。然而，由于编码器通常使用一些简单的非线性函数，有可能会严重限制对潜在特征的提取，从而使得模型学习到次优化的特征，从而制约其在识别领域应用实际精确度的提高。此外，它们的训练复杂度及时间开销均十分巨大。

CNNs模型为有监督的学习模型，被誉为真正有效训练多层网络模型的第一个算法。该模型使用可训练的卷积滤波器集合以及相应的池化下采样算法构成多层网络。与DBNs以及AE相同，该模型自底向上训练网络，只能完成特征提取的功能及相关高层次应用，如模式识别，不能完成图像重构功能及相应的低层次应用。

Zeiler等人于2010年首次提出了反卷积神经网络模型(Deconvolutional Networks，DN)。该模型为无监督的深度学***移不变性的缺点。特殊地，可以认为卷积稀疏编码模型是单层反卷积神经网络模型的特例。通过多层结构的学习集表示，模型可以有效提取图像不同尺度的特征，并在高层应用，如识别、分类中取得了诸多令人满意的效果。陈扬钛提出，DN图像去噪的应用中同样表现优异，展示了其在低层次应用中的潜力。

然而，对DN模型的求解涉及大量卷积运算以及一系列优化问题。Zeiler等人将整个优化问题分解为两个子问题：固定特征图求解滤波器的滤波器子问题以及固定滤波器求解特征图的特征图子问题。实际求解时，对这两个子问题进行交替优化求解直到整个模型收敛。两个子问题均使用共轭梯度法(Conjugate Gradient，CG)进行求解，计算复杂度高，运算缓慢。Zeiler引入FISTA算法用于求解特征图的子问题，并在层间加入池化下采样算法，以提高模型的整体运算速度，然而卷积的大量使用以及多层的复杂结构使得目标函数的求解依然复杂度很高，收敛慢。除优化训练算法外，主流的DN优化方法还包括使用GPU运算及使用多线程编程方法等。

由于卷积稀疏编码模型是单层的反卷积神经网络模型的特例，一些基于卷积稀疏编码模型的优化求解算法可视为对单层反卷积神经网络模型的优化求解特例。Bristow等人通过将卷积运算变换到傅里叶域并使用快速傅里叶运算提高卷积运算的速度以改进模型的收敛效率。Rigamonti等人提出了带可分离滤波器罚项的卷积稀疏编码模型，通过训练可分离的滤波器以降低卷积运算的复杂度，提高卷积运算的速度。然而将此类方法拓展到多层反卷积神经网络模型仍然需要较多工作与改进。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种反卷积神经网络训练方法，其能够有效地提取图像特征，有益于分类正确率的提高，提高反卷积神经网络的训练收敛效率及收敛精度，降低反卷积神经网络在实际应用中的训练成本，同时可被应用于其他基于卷积运算的优化问题求解中。

本发明的技术解决方案是：这种反卷积神经网络训练方法，包括训练阶段和重建阶段，训练阶段包括以下步骤：

(1)对训练图像进行预处理：选定训练集图像，处理为灰度图像，并统一长宽像素；

(2)对训练图像进行批设置：根据所训练网络进行的应用，对训练图像进行批次划分；

(3)设置训练图像的网络训练参数，训练图像的网络训练参数包括网络层数、每层滤波器尺寸、每层特征图数量、FISTA重构步数与重构步长、总循环epoch次数、特征图稀疏控制参数；

(4)开始第一层训练：用随机数初始化第一层特征图与第一层滤波器，输入一批训练图像；首先解特征图子问题，使用FISTA方法求出特征图，然后解滤波器子问题，每计算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新计算的重构残差，反复重复解特征图子问题和解滤波器子问题这两个步骤直到重构残差收敛；输入第二批训练图像，用随机数初始化第二批图像的特征图且沿用上一批训练得到的滤波器，如此反复，直到完成所有批次的训练图像训练，作为一个epoch，随后再输入第一批图像开始第二个epoch训练，直到完成步骤(3)的总循环epoch次数；

重建阶段包括以下步骤：

(5)对待重构图像进行预处理：将待重构图像处理为灰度图像，并统一长宽像素；

(6)设置待重构图像的网络训练参数，待重构图像的网络训练参数包括FISTA重构步长、重构次数与特征图稀疏度控制参数；

(7)按批输入待重构图像直到完成所有批图像的重构：按批依次输入待重构图像，网络使用之前由训练图像训练得到的各层滤波器计算特征图子问题至收敛后得到重构图像与各层特征图。

本发明通过改进解滤波器子问题，每计算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新计算的重构残差，这样能够有效地提取图像特征，有益于分类正确率的提高，提高反卷积神经网络的训练收敛效率及收敛精度，降低反卷积神经网络在实际应用中的训练成本，同时可被应用于其他基于卷积运算的优化问题求解中。

附图说明

图1示出了反卷积神经网络模型逻辑结构。

图2是训练实验中SFU算法与传统CG算法表现客观数据对比；图2中(a)(b)为第一层训练结果，(c)(d)为第二层的训练结果。

图3是重构实验中SFU算法与传统CG算法表现客观数据对比；图3中(a)(b)为第一层训练结果，(c)(d)为第二层的训练结果。

图4是根据本发明的反卷积神经网络训练方法的流程图。

具体实施方式

如图4所示，这种反卷积神经网络训练方法，包括训练阶段和重建阶段，训练阶段包括以下步骤：

(1)对训练图像进行预处理：选定训练集图像，处理为灰度图像，并统一长宽像素；

(2)对训练图像进行批设置：根据所训练网络进行的应用，对训练图像进行批次划分；

(3)设置训练图像的网络训练参数，训练图像的网络训练参数包括网络层数、每层滤波器尺寸、每层特征图数量、FISTA重构步数与重构步长、总循环epoch次数、特征图稀疏控制参数；

(4)开始第一层训练：用随机数初始化第一层特征图与第一层滤波器，输入一批训练图像；首先解特征图子问题，使用FISTA方法求出特征图，然后解滤波器子问题，每计算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新计 算的重构残差，反复重复解特征图子问题和解滤波器子问题这两个步骤直到重构残差收敛；输入第二批训练图像，用随机数初始化第二批图像的特征图且沿用上一批训练得到的滤波器，如此反复，直到完成所有批次的训练图像训练，作为一个epoch，随后再输入第一批图像开始第二个epoch训练，直到完成步骤(3)的总循环epoch次数；

重建阶段包括以下步骤：

(5)对待重构图像进行预处理：将待重构图像处理为灰度图像，并统一长宽像素；

(6)设置待重构图像的网络训练参数，待重构图像的网络训练参数包括FISTA重构步长、重构次数与特征图稀疏度控制参数；

(7)按批输入待重构图像直到完成所有批图像的重构：按批依次输入待重构图像，网络使用之前由训练图像训练得到的各层滤波器计算特征图子问题至收敛后得到重构图像与各层特征图。

本发明通过改进解滤波器子问题，每计算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新计算的重构残差，这样能够有效地提取图像特征，有益于分类正确率的提高，提高反卷积神经网络的训练收敛效率及收敛精度，降低反卷积神经网络在实际应用中的训练成本，同时可被应用于其他基于卷积运算的优化问题求解中。

优选地，所述步骤(2)中将相似度高的同类图像作为同批训练。

优选地，所述步骤(4)中通过公式(1)解滤波器子问题：

$\underset{u}{\min }\frac{1}{2}{\left|\right|u-v\left|\right|}_2^2---\left(1\right)$

其中u＝f_k，其中，u＝f_k是当前待更新的滤波器， 是当前待更新滤波器在上一次迭代中得到的值，L＞0是莱布尼茨梯度的上界常量参数，g(f_k)是以当前待更新滤波器为变量表示的总代价函数。

优选地，所述步骤(4)和(5)之间还包括以下步骤：

(a)开始第二层训练：使用第一层训练得到的第一层滤波器，用随机数初始化第二层滤波器以及特征图；将第一批训练图像输入网络，对滤波器与特征图进行优化计算直到收敛；输入下一批训练图像，用随机数初始化该下一批特征图，训练至收敛，如此反复直到完成所有批次训练图像的训练；

(b)开始第n层训练，n为大于2的整数：使用前n-1层训练得到的滤波器，用随机数初始化第n层滤波器以及特征图；将第一批训练图像输入网络，对滤波器与特征图进行优化计算直到收敛；输入下一批训练图像，用随机数初始化该下一批特征图，训练至收敛，如此反复直到完成所有批次训练图像的训练。

优选地，所述步骤(a)和(b)中通过公式(2)对滤波器与特征图进行优化计算：

$\underset{f_{k,h}}{\min }\frac{1}{2}{\left|\right|f_{k,h}^l-({\hat{f}}_{k,h}^l-\frac{L^l}{2}{\▿g}^l\left({\hat{f}}_{k,h}^l\right))\left|\right|}_2^2---\left(2\right)$

其中，是第l层当前待更新的滤波器，是该滤波器在上一次迭代中得到的值，L^l是第l层莱布尼茨梯度的上界常量参数，g^l是第l层以为单变量的总代价函数。

以下具体说明本发明：

为了提高反卷积神经网络的训练收敛效率及收敛精度，降低反卷积神经网络在实际应用中的训练成本，本发明提出了基于顺序更新滤波器策略的反卷积神经网络训练算法。该算法同时可被应用于其他基于卷积运算的优化问题求解中，如卷积稀疏编码模型。

经典的反卷积神经网络模型目标函数可递归地表示为：

$\left\{\begin{array}{c}\underset{f,z}{\min }{\left|\right|y-{\hat{y}}^l\left|\right|}_2^2+\mathrm{\β}\underset{i=1}{\overset{K^l}{\mathrm{\Σ}}}{\left|\right|z_i^l\left|\right|}_1\\ {\hat{y}}^l=F_1{F}_2\·\·\·F_l{z}^l=R_l{z}^l\end{array}\right.$

其中，y是输入图像,是使用第l层的特征图通过网络恢复的重构图像，是第l层第i个特征图，K^l是第l层拥有的特征图数量，β是重建权重参数，||·||₁是范数，是第l层特征图集合，下文中使用单向量z^l表示，R_l是一个将第l层特征图集合恢复到重建图像的重建算子，F_l是一个包含了第l层卷积以及求和运算的运算矩阵，其定义如下：

$\left\{\begin{array}{c}{\hat{y}}^l=\underset{i=1}{\overset{K^1}{\mathrm{\Σ}}}{f}_i^1*z_i^1=F_1{z}^1\\ z_j^{l-1}=\underset{i=1}{\overset{K^l}{\mathrm{\Σ}}}{f}_{i,j}^l*z_i^l=F_l{z}^l\end{array}\right.$

其中是第一层的滤波器，是第一层的特征图，*代表二维卷积运算符，是第l层编号为(i,j)的滤波器，该滤波器是重建上一层特征图的滤波器之一。对于训练完成的反卷积神经网络而言，网络内各层滤波器对所有输入图像通用，而每张输入图像通过网络的提取后拥有自己唯一的一组来自最高层的特征图。

反卷积神经网络模型的逻辑结构如图1所示，其中⊕表示二维卷积运算符。为了便于理解，图例只包含两层网络结构以及单一输入图像。实际应用中可构建多层网络，并同时处理多幅输入图像。

传统的反卷积神经网络训练方法通常基于梯度下降算法。这些方法均使用同一重构残差计算所有滤波器的优化步长并对所有滤波器进行成批更新，由此引入了更多的误差。

本发明的主要工作基于以上模型，将传统的成批更新滤波器算法改进为贪心地逐个顺序更新滤波器，即每计算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新计算的重构残差。为使这种更新策略可计算，本发明应用泰勒展开公式，将待更新滤波器逐个分离出来，从而使更新计算得以实施。

1.特征图子问题的求解方法

反卷积神经网络模型的求解包括滤波器子问题与特征图子问题两个子问题的交替求解优化问题。本发明仅对滤波器子问题的求解方法进行了改进，而特征图子问题的求解沿用经典求解方案，即使用FISTA方法。为了便于理解本发明的计算方法并能够重现本发明的实验，本文在此简要叙述FISTA方法应用于解特征图子问题的计算步骤。

特征图子问题意在固定当前滤波器集合，优化求解特征图。当对该问题进行逐层求解时，则退化为一范式的卷积稀疏编码问题。首先，使用上文模型目标函数计算重构图像然后使用下式计算特征图集合：

$\left\{\begin{array}{c}{e}^l=R_l^T(y-{\hat{y}}^l)\\ z^l={\hat{z}}^l-{\mathrm{\α}}^l{e}^l\\ z^l=\max \left(\right|z^l|-{\mathrm{\β}}^l,0)\mathrm{sign}\left(z^l\right)\end{array}\right.$

其中，y是输入图像,是用于将残差从第一层传递到第l层的运算符，^l是第l层残差，α^l是ISTA梯度步长。

2.滤波器子问题的求解方法

滤波器子问题的内容为固定特征图，优化求解滤波器集合。为了便于阐述及理解，本发明首先对单层反卷积神经网络的训练求解方法进行说明，随后拓展到多层网络求解方法说明。

1.1 单层反卷积神经网络模型求解

如上文目标函数所示，将分解为从而可将单层目标函数化简为如下形式：

$\underset{f_k^1,z_k^1}{\min }{\left|\right|E_k^1-f_k^1*z_k^1\left|\right|}_2^2+{\mathrm{\Γ}}^1$

其中且继而可重写为如下形式：

$\underset{f_k^1}{\min }g\left(f_k^1\right)=\underset{f_k^1}{\min }{\left|\right|E_k^1-f_k^1*z_k^1\left|\right|}_2^2$

对于第一层的滤波器集合而言，包含了K¹-1个元素的集合是固定且已知的，仅第k个滤波器为未知量。当固定特征图，仅更新时，Γ¹为常量，函数是连续凸函数，从而可被泰勒展开与拉布尼茨余项逼近。将函数g在点进行泰勒展开，可获得下式：

$\underset{f_k^1}{\min }g\left({\hat{f}}_k\right)+{(f_k^1-{\hat{f}}_k)}^T\▿g\left({\hat{f}}_k\right)+\frac{L}{2}{\left|\right|f_k^1-{\hat{f}}_k\left|\right|}_2^2$

该展开式的值在每次迭代中均逼近函数g在点的真实值，L＞0是莱布尼茨梯度的上界常量参数。对该式进行化简后可得到下式：

$\underset{f_k^1}{\min }\frac{1}{2}{\left|\right|f_k^1-({\hat{f}}_k-\frac{L}{2}\▿g\left({\hat{f}}_k\right))\left|\right|}_2^2$

使用u＝f_k，替换参变量，将该式重写为：

$\underset{u}{\min }\frac{1}{2}{\left|\right|u-v\left|\right|}_2^2---\left(1\right)$

其中v为已知量，u可直接由v计算得出。 

1.2 多层反卷积神经网络模型求解

根据上文所示的多层反卷积神经网络模型目标函数，求解第l层网络的目标函数可表示为：

$\underset{\left\{f_{i,j}^l\right\},\left\{z_i^l\right\}}{\min }\underset{j=1}{\overset{K^{l-1}}{\mathrm{\Σ}}}{\left|\right|z_j^{l-1}-\underset{i=1}{\overset{K^l}{\mathrm{\Σ}}}{z}_i^l*f_{i,j}^l\left|\right|}_2^2+{\mathrm{\β}}^l\underset{i=1}{\overset{K^l}{\mathrm{\Σ}}}{\left|\right|z_i^l\left|\right|}_1$

其中，K^l是第l层的特征图个数，是第l层第j个特征图，是第l层，下标为(i,j)的滤波器，该滤波器是用于重构上一层特征图的滤波器集合中的一个元素，β^l是正则化参数。

将第一层的解法拓展到第l层，依次将第l层滤波器从总目标函数中分离出来依次顺序更新，由此可将上式重写为：

$\underset{f_{k,h}^l}{\min }{\left|\right|E_k^l-f_{k,h}^l*z_k^l\left|\right|}_2^2+Z^l$

其中 $E_k^l=z_h^{l-1}-\underset{i=1,i\≠k}{\overset{K^l}{\mathrm{\Σ}}}{f}_{i,h}^l*z_i^l,$ $Z^l=\underset{j=1,j\≠h}{\overset{K^l}{\mathrm{\Σ}}}{\left|\right|z_j^{l-1}-\underset{i=1}{\overset{K^{l-1}}{\mathrm{\Σ}}}{f}_{i,j}^l*z_i^l\left|\right|}_2^2,$ 当固定特征图更新 时，Z^l为常量。将该式由递归迭代回多层目标函数可得多层总目标函数：

$\underset{f,z}{\min }{\left|\right|G_{k,h}^l-T^l\left(f_{k,h}^l\right)\left|\right|}_2^2$

其中 $G_{k,h}^l=y-{\hat{y}}^l+T^l\left(f_{k,h}^l\right),$ $T^l\left({\hat{f}}_{k,h}^l\right)=\underset{I^1=1}{\overset{K^1}{\mathrm{\Σ}}}{f}_{c^1}^1*\·\·\·*\underset{I^{l-3}=1}{\overset{K^{l-3}}{\mathrm{\Σ}}}{f}_{c^{l-2},c^{l-3}}^{l-2}*[\underset{c^{l-2}=1}{\overset{K^{l-2}}{\mathrm{\Σ}}}{f}_{h,c^{l-2}}^{l-1}*({\hat{f}}_{k,h}^l*z_k^l)].$ 类比第一层的方法，对该方程在处进行泰勒展开，化简可得：

$\underset{f_{k,h}}{\min }\frac{1}{2}{\left|\right|f_{k,h}^l-({\hat{f}}_{k,h}^l-\frac{L^l}{2}{\▿g}^l\left({\hat{f}}_{k,h}^l\right))\left|\right|}_2^2---\left(2\right)$

其中公式(2)可使用与第一层同样的方法进行多次迭代优化求解。

为了验证本文提出算法的有效性，本文通过两类实验分别进行了效果验证。实验一为训练与重构实现。该实验使用face94人脸数据集，基于该 数据集，分别使用传统共轭梯度法CG和本文方法SFU训练一个两层反卷积神经网络模型DN，下文中分别命名为DN-CG与DN-SFU。通过重构均方差MSE以及重构峰值信噪比PSNR分别比较了两种算法在第一层及第二层网络训练阶段以及重构阶段的精度及收敛性能。反卷积神经网络的结构设定为，第一层9个特征图，滤波器大小为11×11，第二层4个特征图，滤波器尺寸为21×21。训练图像预处理为灰度200×200图像，任意取10张图作为训练集，任意取另外10张不同的图为测试集合。

为了表述清晰，下文使用的符号说明见表1。

表1 实验符号说明

符号	模型	算法
			DN-SFU	DN	SFU
DN-CG	DN	CG

其中，DN-SFU为使用本文算法训练反卷积神经网络，DN-CG为使用传统共轭梯度法训练反卷积神经网络。

图2中(a)(b)为第一层训练结果，(c)(d)为第二层的训练结果。其中(a)(c)纵坐标为重构图像的均方差MSE，横坐标为总迭代的次数，表现的是训练过程中重构均方差随迭代次数的变化情况。(b)(d)纵坐标为重构图像均方差MSE，横坐标为训练时间，表现的是训练过程中重构均方差随时间变化的情况。

以上客观实验数据证明，DN-SFU算法在训练反卷积神经网络时，第一层网络的收敛速度得到了显著的提升，同时提高了收敛精度。DN-SFU算法对第二层的训练收敛速度没有显著提升，但是提高了收敛精度。由于第二层网络的训练始于第一层网络的收敛点，本算法在综合训练两层网络时仍 然可以获得较大的训练时间增益。

图3的结果为分别使用DN-CG与DN-SFU算法训练得到的滤波器集合进行测试图像的重构实验，其中(a)(b)为第一层训练结果，(c)(d)为第二层的训练结果。其中(a)(c)纵坐标为重构图像与原图像的峰值信噪比PSNR，横坐标为重构ISTA迭代的次数，表现的是重构过程中重构PSNR随迭代次数的变化情况。(b)(d)纵坐标为重构图像的PSNR，横坐标为重构时间，表现的是重构过程中重构PSNR随时间变化的情况。重构实验采用与训练集不重合的测试集数据，以及训练时各个算法收敛点的滤波器集合。

实验结果证明了使用本文算法训练得到的滤波器集合在测试图像的重构性能方面有较大的质量增益。

使用本文的DN-SFU算法训练的滤波器集合重构的测试图像在主观上大多好于传统的共轭梯度算法。

实验二基于数据集Caltech-101，该数据集由自然图像构成，共分为101个类，是模式识别领域用于评价算法效率的通用数据集之一。本文使用通用的识别实验测试参数，即每个类取30张图作为训练图像，训练集共3060张图像，其余图像为测试集合。数据集所有的图像被预处理为灰度图像，采用不足补零的方式等比例规格化为150×150像素的尺寸。本实验设定的反卷积网络模型为第一层15个特征图，采用7×7尺寸的滤波器，第二层为4个特征图，采用21×21尺寸的滤波器。完成网络的训练后，将测试图像通过网络提取特征图，采用第一层的特征图作为分类器的输入参数。分类器采用通用的SPM^[13]分类方法，将一张图的所有第一层特征图分别通过SPM提取特征向量，将这些向量相加求平均得到该图最终的唯一特征向量， 作为支持向量机的最终分类输入。该实验方法与文献[7]描述的方法一致。识别结果如表2所示。

表2

表2证明，使用本文方法训练得到的滤波器集合可以有效地提取图像特征，并有益于分类正确率的提高。为了比较公平，本文在此列出的方法均使用单一特征进行识别，多特征的综合识别方法在该数据集上拥有更加出色的表现。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.一种反卷积神经网络训练方法，其特征在于，包括训练阶段和重建阶段，训练阶段包括以下步骤：

(1)对训练图像进行预处理：选定训练集图像，处理为灰度图像，并统一长宽像素；

(2)对训练图像进行批设置：根据所训练网络进行的应用，对训练图像进行批次划分；

(3)设置训练图像的网络训练参数，训练图像的网络训练参数包括网络层数、每层滤波器尺寸、每层特征图数量、FISTA重构步数与重构步长、总循环epoch次数、特征图稀疏控制参数；

(4)开始第一层训练：用随机数初始化第一层特征图与第一层滤波器，输入一批训练图像；首先解特征图子问题，使用FISTA方法求出特征图，然后解滤波器子问题，每计算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新计算的重构残差，反复重复解特征图子问题和解滤波器子问题这两个步骤直到重构残差收敛；输入第二批训练图像，用随机数初始化第二批图像的特征图且沿用上一批训练得到的滤波器，如此反复，直到完成所有批次的训练图像训练，作为一个epoch，随后再输入第一批图像开始第二个epoch训练，直到完成步骤(3)的总循环epoch次数；

重建阶段包括以下步骤：

(5)对待重构图像进行预处理：将待重构图像处理为灰度图像，并统一长宽像素；

(6)设置待重构图像的网络训练参数，待重构图像的网络训练参数包括FISTA重构步长、重构次数与特征图稀疏度控制参数；

(7)按批输入待重构图像直到完成所有批图像的重构：按批依次输入待重构图像，网络使用之前由训练图像训练得到的各层滤波器计算特征图子问题至收敛后得到重构图像与各层特征图。

2.根据权利要求1所述的反卷积神经网络训练方法，其特征在于，所述步骤(2)中将相似度高的同类图像作为同批训练。

3.根据权利要求2所述的反卷积神经网络训练方法，其特征在于，所述步骤(4)中通过公式(1)解滤波器子问题：

其中u＝f_k是当前待更新的滤波器， 是当前待更新滤波器在上一次迭代中得到的值，L＞0是莱布尼茨梯度的上界常量参数，g(f_k)是以当前待更新滤波器为变量表示的总代价函数。

4.根据权利要求3所述的反卷积神经网络训练方法，其特征在于，所述步骤(4)和(5)之间还包括以下步骤：

(a)开始第二层训练：使用第一层训练得到的第一层滤波器，用随机数初始化第二层滤波器以及特征图；将第一批训练图像输入网络，对滤波器与特征图进行优化计算直到收敛；输入下一批训练图像，用随机数初始化该下一批特征图，训练至收敛，如此反复直到完成所有批次训练图像的训练；

(b)开始第n层训练，n为大于2的整数：使用前n-1层训练得到的滤波 器，用随机数初始化第n层滤波器以及特征图；将第一批训练图像输入网络，对滤波器与特征图进行优化计算直到收敛；输入下一批训练图像，用随机数初始化该下一批特征图，训练至收敛，如此反复直到完成所有批次训练图像的训练。

5.根据权利要求4所述的反卷积神经网络训练方法，其特征在于，所述步骤(a)和(b)中通过公式(2)对滤波器与特征图进行优化计算：

其中，是第l层当前待更新的滤波器，是该滤波器在上一次迭代中得到的值，L^l是第l层莱布尼茨梯度的上界常量参数，g^l是第l层以为单变量的总代价函数。