CN105574832A - 基于迭代方向滤波器组可逆深度卷积网络结构 - Google Patents

Abstract

本发明提供一种基于迭代方向滤波器组的可逆深度卷积网络结构，包括：方向滤波器组模块、深度控制模块、频率重组模块和应用分析模块，其中：方向滤波器组模块对输入图像进行方向滤波，深度控制模块对方向滤波器组模块的迭代次数进行控制，得到的频率分解结果在频率重组模块中进行方向与尺度重新组合，最后用于分析应用模块解决一系列图像处理相关问题。本发明建立了一种深度卷积网络结构的同时还提供了基于可迭代方向滤波器组的二维实现方法，保证精确重构性的同时提高了效率。本发明对具有丰富细节信息的图像处理效果出色，频率重组模块提升了结构的灵活性与多样性，使其具备良好的扩展性。

Description

基于迭代方向滤波器组可逆深度卷积网络结构

技术领域

本发明涉及一种数字图像处理领域的图像表示方案，具体是一种基于迭代方向滤波器组的可逆深度卷积网络结构。

背景技术

有效的图像表示方法对各类图像处理应用至关重要。小波的出现使一维信号的点奇异性能很好地被捕捉到。然后对于二维甚至更高维信号，小波并没有理想的效果。对于二维信号，传统方法通过对一维小波进行张量积运算构造可分离的二维小波，然而这只对水平与竖直方向信息敏感。因此，对于具有更复杂几何信息的信号表示，需要新的方法。

经过对现有技术的文献检索发现，MinhN.Do和MartinVetterli在2005年的《IEEETransactionsonImageProcessing》(TIP)期刊上发表的“TheContourletTransform:AnEfficientDirectionalMultiresolutionImageRepresentation”一文中提出了一种方法，它通过拉普拉斯金字塔将信号分为低频和高频两个部分，再利用方向滤波器组对高频信号进行频率划分，得到的低频部分继续利用拉普拉斯金字塔和方向滤波器组重复这个过程。这种方法与小波相比在图像的方向信息上表现有所提升。然后其高频信息在进行一次划分后便维持不变，这样使的更精细的信息不能很好地得到表示。JoanBruna和StephaneMallat在2013年的《IEEETransactionsonPatternAnalysisandMachineIntelligence》期刊上发表的“InvariantScatteringConvolutionNetworks”一文中针对分类与识别问题提出了一种散射网络。该网络由一系列小波滤波器、取模操作和平均运算组成，每一层输出一个低频子图和多个高频子图，而每个高频子图继续在下一层进行分解。然而这种网络结构在第一层得到低频子图后，便不再对其进行进一步分解，而且这种网络是基于连续域讨论的，并没有很理想的离散实现方法，而且不具有精确重构性。

发明内容

本发明针对现有技术的不足，提供了一种基于迭代方向滤波器组可逆深度卷积网络结构，可以对低频和高频成分进行多次划分和重组，并且提供了方便有效的数字实现方法，可以作为一种通用的图像变换方法并进一步应用于多个领域。

本发明是通过以下技术方案实现的：

本发明提供一种基于迭代方向滤波器组的可逆深度卷积网络结构，包括：方向滤波器组模块、深度控制模块、频率重组模块和分析应用模块，所述方向滤波器组模块和所述深度控制模块共同决定输入图像的分解方式，其中：

所述方向滤波器组模块利用采样矩阵与方向滤波器组对输入图像进行方向滤波，采样矩阵与方向滤波器交替循环，得到分解系数并输出给所述频率重组模块；

所述深度控制模块对方向滤波器组模块的循环次数进行控制；

所述频率重组模块基于所述方向滤波器组模块输出的分解系数进行频率重新组合，并将重组后的新的频率划分结果输出到所述分析应用模块；

所述分析应用模块接收频率重组模块输出的具有新的频率分布的分解系数，并对该系数进行进一步处理以解决应用问题。

优选地，所述方向滤波器组模块和所述深度控制模块共同决定输入图像的分解方式，其中：所述方向滤波器组模块包括一扇形方向滤波器组和两采样矩阵，它们迭代地对输入图像进行多次分解，即得到输入图像的频域的多次划分；分解具体包括如下步骤：

步骤一，将图像输入到双通道扇形方向滤波器组和采样矩阵Q₀，得到两组系数矩阵，分别应对水平和垂直两个方向的频率划分；

步骤二，将步骤一的输出输入双通道扇形方向滤波器组和采样矩阵Q₁，进行滤波和下采样处理，得到四组系数矩阵，分别对应四个方向频率划分；

步骤三，重复步骤一和步骤二直至达到深度控制模块设定的停止条件，得到全部分解系数。

更优选地，所述采样矩阵和扇形方向滤波器组交替循环次数由深度控制模块的限制条件决定，但需保证深度l≥2。

更优选地，所述采样矩阵采用非对角采样矩阵，扇形方向滤波器组，利用麦克莱兰变换将一维双正交双通道滤波器组映射为不可分离的二维双正交滤波器组；在完成步骤三后，对应频域的每个象限与步骤一后得到的频域具有相似的划分。

优选地，所述深度控制模块，其控制的卷积网络深度可通过预先设置固定参数给定，也可以结合应用给出判断条件，形成自适应的深度卷积网络，需保证深度l≥2。

优选地，所述方向滤波器组模块，第i(i≤l)层分解得到的频域划分在每个1/2^i/2子块与第二层得到的频域划分具有相似形式；并且得到的所有2ⁱ个频域块具有相同形状，都为等腰直角三角形。这两种相似性保证了整个结构的简单高效性。

优选地，所述频率重组模块，通过对输入的各子图进行重要系数的统计按照分析应用模块的目的设计不同的重组方式，得到新的频域划分。

更优选地，所述频率重组模块，通过计算最终得到的不同方向不同尺度下的分解系数的非零个数和重要程度进行重新组合，以降低计算复杂度和优化结果。

本发明中采用的基于迭代方向滤波器组的可逆深度卷积网络结构为图像处理提供了一种新的表示方法。通过非对角采样矩阵和不可分离二维方向滤波器组的结合实现网络的离散，这比直接对滤波器进行旋转操作具有更好的频域精确划分性和完美重构性。利用每个子块频域划分的相似性通过两组采样矩阵和滤波器组的迭代完成更精细的频域划分。利用迭代滤波器组输出的分解系数的统计结果进行频率重组，以使其更好地适应于不同的应用领域。

与现有技术相比，本发明具有如下的有益效果：

本发明建立了新的深度卷积网络结构，所述方向滤波器组模块采用基于迭代方向滤波器组的二维离散实现方法，保证了计算简便性和精确重构性。本发明利用频域各子块的频率分布相似性对低频和高频成分进行多次划分，提高了对丰富细节信息的捕捉能力。通过引入频率重组操作，提升了整个结构的灵活性和可扩展性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明***一实施例的结构框图；

图2为迭代方向滤波器组模块和深度控制模块的工作原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种基于迭代方向滤波器组的可逆深度卷积网络结构，包括：方向滤波器组模块和深度控制模块、频率重组模块和分析应用模块，其中：方向滤波器组模块利用扇形方向滤波器组对输入图像进行方向滤波，深度控制模块对方向滤波器组模块的循环次数进行控制，得到的频率分解结果在频率重组模块中进行方向与尺度重新组合，最后用于分析应用模块解决一系列图像处理相关问题。

如图2所示，所述方向滤波器组模块包括一扇形方向滤波器组和两采样矩阵，它们迭代地对输入图像进行多次分解，即得到输入图像的频域的多次划分；所述方向滤波器组模块和深度控制模块共同实现该深度卷积网络，两组采样矩阵与扇形方向滤波器组交替循环对频域进行划分，随着深度的增加，得到越精细的尺度与方向的分解结果。

所述方向滤波器组模块，分解具体包括如下步骤：

步骤一，将图像输入到双通道扇形方向滤波器组和采样矩阵Q₀，得到两组系数矩阵，分别应对水平和垂直两个方向的频率划分；

步骤二，将步骤一的输出输入双通道扇形方向滤波器组和采样矩阵Q₁，进行滤波和下采样处理，得到四组系数矩阵，分别对应四个方向频率划分；

步骤三，重复步骤一和步骤二直至达到深度控制模块设定的停止条件，得到全部分解系数。

本实施例中，所述的采样矩阵分别为Q₀、Q₁，扇形波波器的频域表示为H(ω)，其中ω＝(ω₁,ω₁)^T为二维角频率；对原输入图像x，经过第一组双通道扇形滤波器H_i(ω)(i取0，1分别对应双通道滤波器的0通道和1通道)和采样矩阵Q₀后得到的频域表示为：

$\frac{1}{\left|Q_0\right|}\underset{m\∈N\left({Q_0}^T\right)}{\Σ}X({Q_0}^{-T}\mathrm{\ω}-2{{\mathrm{\πQ}}_0}^{-T}m)H_i({Q_0}^{-T}\mathrm{\ω}-2{{\mathrm{\πQ}}_0}^{-T}m)---\left(1\right)$

其中：N(Q₀ ^T)为具有形如Q₀ ^Tt，t∈(0,1)²的整数向量的集合，Q₀ ^-T为采样矩阵Q₀的逆矩阵的转置，m取集合N(Q₀ ^T)中的元素；重复这个步骤得到更深层的分解结果。

对一个l级网络的多通道进行编号：

$k=\underset{r=1}{\overset{l}{\Σ}}{t}_r{2}^{l-r}---\left(2\right)$

其中，t_t为该通道对应的第t层通过的扇形方向滤波器组的通道号，t_r取0或1。

本实施例中，按照采样与滤波的交换规则，具体的：

用采样矩阵Q_i(i取0，1)下采样后经过双通道扇形滤波器H_i(ω)滤波，等效于先用滤波器H_i(M^Tω)滤波再用采样矩阵Q_i下采样，H_i(Q_i ^Tω)通过对双通道扇形滤波器H_i(ω)以采样矩阵Q_i进行上采样得到。依次交换采样矩阵与滤波器的顺序，得到通道k最终等效的采样矩阵和等效的滤波器为：

$M_k^l=\underset{i=0}{\overset{l-1}{\mathrm{\Π}}}{Q}_{\left(i\mathrm{mod}2\right)}---\left(3\right)$

$H_k^l\left(\mathrm{\ω}\right)=H_{t_1}\underset{i=2}{\overset{l}{\mathrm{\Π}}}{H}_{t_i}\left({\left(M_k^{i-1}\right)}^T\mathrm{\ω}\right)---\left(4\right)$

最终得到的通道k的分解结果的频域表示为:

$X_k^l\left(\mathrm{\ω}\right)=\frac{1}{\left|M_k^l\right|}\underset{m\∈N\left({M_k^l}^T\right)}{\Σ}X({M_k^l}^{-T}\mathrm{\ω}-2{{\mathrm{\πM}}_k^l}^{-T}m)H_k^l({M_k^l}^{-T}\mathrm{\ω}-2{{\mathrm{\πM}}_k^l}^{-T}m)---\left(5\right)$

本实施例中，深度控制模块的停止条件设定为：l＝6，则方向滤波器组模块中的步骤一与步骤二分别重复3次，输出64个分解系数矩阵将频域划分为64块。

本实施例中，频率重组模块对所有分解系数的值进行统计，按从大到小排列，保留前M(0<M<N,N为图像像素点个数)个较大系数的值，其余系数的值设置为0。进行这一步处理后，每个系数矩阵的尺寸不变，只有部分值变为0，得到频率重组模块输出的新的系数 $y_k^l(k=0,1,...,2^l-1).$

本实施例中，分析应用模块对系数矩阵进行重建，得到起始输入图像的近似图像。具体实施步骤为：

步骤一，对系数矩阵以采样矩阵Q_i(i＝lmod2+1)进行上采样，再以滤波器G_j(ω)(j＝kmod2)进行滤波，实现对系数矩阵的插值操作。其中滤波器G_j(ω)为分解过程所用滤波器H_j(ω)的空域反转，即G_j(ω)＝H_j(-ω)。

步骤二，从通道0开始将步骤一处理后的相邻系数矩阵两两相加，得到2^l-1个系数矩阵 $y_k^{l-1}(k=0,1,...,2^{l-1}-1).$

步骤三，更新l值：l＝l-1，若更新后l≠0，则重复步骤一和步骤二；若l＝0则得到最终结果为原输入图像x的近似图像。

实施效果

本实施例中的分析应用模块设为非线性逼近，其实现过程采用上述发明内容中的步骤进行实施。采用尺寸为灰度图片“barabara.png”(512×512)进行测试。比较采用本发明所述的基于迭代方向滤波器组的可逆深度卷积网络结构方法与MinhN.Do等人在“TheContourletTransform:AnEfficientDirectionalMultiresolutionImageRepresentation”中的方法，以及传统的二维离散小波方法。三种方法均采用6553个最重要系数进行逼近。

其结果为：分别采用上述三种方法，本实施例得到的逼近图像的峰值信噪比为26.92分贝，轮廓波和小波方法得到结果分别为26.46分贝和26.03分贝。实验表明，本实施例提出的基于迭代方向滤波器组的可逆深度卷积网络结构具有更好的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于迭代方向滤波器组的可逆深度卷积网络结构，其特征在于，包括：方向滤波器组模块、深度控制模块、频率重组模块和分析应用模块，所述方向滤波器组模块和所述深度控制模块共同决定输入图像的分解方式，其中：

所述方向滤波器组模块利用采样矩阵与方向滤波器组对输入图像进行方向滤波，采样矩阵与方向滤波器交替循环，得到分解系数并输出给所述频率重组模块；

所述深度控制模块对方向滤波器组模块的循环次数进行控制；

所述频率重组模块基于所述方向滤波器组模块输出的分解系数进行频率重新组合，并将重组后的新的频率划分结果输出到所述分析应用模块；

所述分析应用模块接收频率重组模块输出的具有新的频率分布的分解系数，并对该系数进行进一步处理以解决应用问题。

2.根据权利要求1所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述方向滤波器组模块包括一扇形方向滤波器组和两采样矩阵，它们迭代地对输入图像进行多次分解，即得到输入图像的频域的多次划分；所述分解过程具体包括如下步骤：

步骤一，将图像输入到双通道扇形方向滤波器组和采样矩阵Q₀，进行滤波和下采样处理，得到两组系数矩阵，分别应对水平和垂直两个方向的频率划分；

步骤二，将步骤一的输出输入到双通道扇形方向滤波器组和采样矩阵Q₁，进行滤波和下采样处理，得到四组系数矩阵，分别对应四个方向频率划分；

步骤三，对每一组系数矩阵重复步骤一和步骤二直至达到深度控制模块设定的停止条件，得到全部分解系数。

3.根据权利要求2所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述采样矩阵和扇形方向滤波器组交替循环的次数由深度控制模块的限制条件决定，且深度l≥2。

4.根据权利要求2所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述采样矩阵采用非对角采样矩阵；所述扇形方向滤波器组，利用麦克莱兰变换将一维双正交双通道滤波器组映射为不可分离的二维双正交滤波器组；在完成步骤三后，对应频域的每个象限与步骤一后得到的频域具有相似的划分。

5.根据权利要求1所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述深度控制模块控制卷积网络深度，该深度通过预先设置固定参数给定或结合应用给出判断条件，形成自适应的深度卷积网络，并保证深度l≥2。

6.根据权利要求1所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述频率重组模块，通过对分解系数进行统计，并按照分析应用模块的目的设计不同的重组方式，得到新的频域划分。

7.根据权利要求6所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述频率重组模块对所有分解系数的值进行统计，按从大到小排列，保留前M个较大系数的值，其余系数的值设置为0，进行这一步处理后，每个系数矩阵的尺寸不变，只有部分值变为0。

8.根据权利要求1-7任一项所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述分解过程是可逆的，其逆***由迭代的上采样操作和滤波操作实现，其中采样矩阵与分解过程采样矩阵相同，此处所用滤波器与分解过程所用方向滤波器组中滤波器互为空域反转。

9.根据权利要求1-7任一项所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述方向滤波器组模块，第i(i≤l)层分解得到的频域划分在每个1/2^i/2子块与第二层得到的频域划分具有相似形式；并且得到的所有2ⁱ个频域块具有相同形状，都为等腰直角三角形。

10.根据权利要求1-7任一项所述的基于迭代方向滤波器组的可逆深度卷积网络结构，其特征是，所述分析应用模块对频率重组模块输出系数进行重建，得到起始输入图像的的近似图像，具体实施步骤为：

步骤一，对系数矩阵以采样矩阵Q_i进行上采样，i＝lmod2+1，mod为取余操作，再以滤波器G_j(ω)进行滤波，j＝kmod2，实现对系数矩阵的插值操作，其中滤波器G_j(ω)为分解过程所用滤波器H_j(ω)的空域反转，即G_j(ω)＝H_j(-ω)；

步骤二，从通道0开始将步骤一处理后的相邻系数矩阵两两相加，得到2^l-1个系数矩阵k＝0,1,...,2^l-1-1；

步骤三，更新l值：l＝l-1，若更新后l≠0，则重复步骤一和步骤二；若l＝0，则得到最终结果为原输入图像x的近似图像。