CN114529482B - 基于小波多通道深度网络的图像压缩感知重建方法 - Google Patents

Abstract

本发明公开了基于小波多通道深度网络的图像压缩感知重建方法，其特征在于，包括如下步骤：1）训练数据预处理对局部图像块进行二阶小波变换；2）线性映射；3）小波变换；4）多通道图像重建；5）特征融合；6）计算损失函数Loss；7）判断误差是否达到设定值。这种方法能更好地表示不同的图像内容、并且恢复更多的细节特征。

Description

基于小波多通道深度网络的图像压缩感知重建方法

技术领域

本发明涉及智能信息处理技术领域，具体涉及一种基于小波多通道深度网络的图像压缩感知重建方法。

背景技术

压缩感知CS(Compressed Sensing，简称CS)是一种新兴的信息获取和传输处理理论，CS指出可以充分利用信号中的稀疏性先验信息，在远低于奈奎斯特采样频率的情况下，从观测值中精确地重构原始信号，且在压缩感知中信号采样和压缩编码一步完成，这对于信号的采集和传输有着巨大的便利和优势。其中信号重构算法是压缩感知理论的核心，它是指由测量向量重构稀疏信号的过程。

传统的压缩感知图像重建方法主要是基于优化迭代进行重建，不可避免地会带来较高的计算成本，且在测量率很低时的复原效果不理想。近年来随着深度学习的兴起，基于深度学习的压缩感知算法被提出，它可以摆脱传统复杂的建模和优化过程。Mousavi等人首次将深度学习应用与压缩感知重构中，采用去噪堆叠自编码对信号进行还原；ReconNet网络是卷积神经网络在压缩感知信号重构问题的首次应用、减少了网络的复杂度；DR²-Net是ReconNet网络与残差网络结构的结合、进一步提高了图像重建效果；在基于多尺度的深度网络图像重建中，NL-MRN在每个重建模块中采用非局部操作，用于增强图像中点与点之间的约束性；LAPRAN网络在重构端引入拉普拉斯金字塔概念，在每个金字塔层将测量值与上一级输出的低分辨率图像进行信息融合，以实现灵活的高分辨率重构。

虽然上述基于深度学习的压缩感知图像重建方法在重建速度和重建效果上均有提升，这些方法试图通过单一的网络通道生成全局结构和局部纹理信息，然而只有一个网络通道很难表示不同的图像内容，生成的图像往往可以保留良好的全局信息，但有些图像细节重建的并不是很好。

发明内容

本发明的目的是针对现有图像重建技术的不足，通过有效利用图像中的低频和高频信息，提供一种基于小波多通道深度网络的图像压缩感知重建方法。这种方法能更好地表示不同的图像内容、并且恢复更多的细节特征。

实现本发明目的的技术方案是：

一种基于小波变换的多通道深度压缩感知图像重建方法，包括如下步骤：

1)训练数据预处理：将训练集中的图像进行随机裁剪分为大小相等的不重叠的图像块x_i，每个分块大小为B*B，然后将图像块向量化为N*1维的向量，N＝B*B，归一化到[0,1]区间，用随机高斯矩阵φ对x_i∈R^N进行采样，获得对应的压缩观测值y_i＝φx_i,其中，y_i∈R^M，φ∈R^M*N，M为获得的观测的长度，M＜＜N；

2)线性映射：将观测值与线性映射矩阵相乘得到图像块的初始重建值Z_i＝Qinit·y_i，保存线性映射矩阵Qinit；

3)小波变换：将步骤2)初始重建数据分批次输入到网络中，将输入图像进行二阶Haar小波变换提取低频和高频分量，将初始图像块分解为低频和高频信息共四张大小为的子图，分别为含有低频信息的图像块Z_LL、含有不同方向的高频信息的图像块Z_LH、Z_HL和Z_HH；

4)多通道图像重建：将步骤3)小波变换得到的低频图像块Z_LL输入到带有可变形卷积模块的残差网络通道1进行重建得到将得到的高频图像块分别输入到带有混合卷积模块的残差网络通道2、3、4进行重建得到/>分别将4个通道的重建图像采用上采样得到与原始分辨率大小相同的重建图像/>和/>

5)特征融合：先对步骤4)中通道2、3、4得到的高频重建图像采用相加进行特征融合得到高频重建图像/>再将通道1得到的低频重建图像和高频重建图像采用相加/>进行特征融合得到最终的重建图像Z^out；

6)计算损失函数Loss：其中x_i为初始信息x的第i个真值，f(y_i)为第i个估计值；

7)判断误差是否达到设定值：设定阈值ε₁，计算当前批次误差，如果未达到阈值ε₁则进行误差反向传递，采用自适应学习率优化算法Adam更新权值，返回步骤3)，直到误差达到阈值ε₁，则保存网络参数，结束训练。

步骤3)中所述提取低频和高频分量的具体过程：

3-1)将图像块x_i分块成大小为B*B的图像块，然后将图像块向量化N*1维的向量，并将向量归一化到[0,1]区间，用随机高斯矩阵φ对x_i∈R^N进行采样，获得对应的压缩观测值y_i＝φx_i,其中，y_i∈R^M，φ∈R^M*N，M为获得的观测的长度，M＜＜N；

3-2)将观测值与线性映射矩阵相乘得到图像块的初始重建值Z_i＝Qinit·y_i；

3-3)对初始重建值Z_i进行二阶Haar小波变换，首先沿着Z_i的每一行做一阶的Haar变换、然后再对每一列做一阶的Haar变换，然后对每个低频分量矩阵重覆上述步骤，如公式(1)、公式(2)所示：

其中h_high为高通滤波器、允许高频信息通过；h_low为低通滤波器、允许低频信息通过。

所述步骤4)的具体过程为：

4-1)将步骤3)中得到的低频图像块Z_LL采用局部残差模块得到与步骤3)得到的Z_LL连接起来，再采用可变形卷积模块得到/>最后将/>与步骤3)得到的Z_LL进行融合，采用亚像素卷积上采样得到B×B大小的低频重建图像/>如公式(3)所示：

其中W^c1和b^c1表示滤波器和偏置，*表示卷积操作，F^tra表示用来获取图像的高层语义特征可形变卷积模块，F^r3表示用来进行浅层的特征提取和图像增强的局部残差模块，up_sub表示亚像素卷积上采样；

4-2)对所述步骤3)中得到的高频图像块Z_LH、Z_HL、Z_HH采用局部残差模块得到将它们分别与步骤3)得到的Z_LH、Z_HL、Z_HH进行融合，并对每一个高频图像块分别都采用混合卷积模块从而得到/>将/>与步骤3)得到的Z_LH、Z_HL、Z_HH进行融合，并采用亚像素卷积上采样得到B×B大小的高频重建图像得到的公式如下：

其中W^c1、W^c2、W^c3、W^c4、b^c1、b^c2、b^c3、b^c4表示各自的滤波器和偏置，*表示卷积操作，F^mix表示用来扩大感受野并提取整体的深层结构信息的混合卷积模块，F^r3表示用来进行浅层特征提取和图像增强的局部残差模块，up_sub表示亚像素卷积上采样。

本技术方案的有益效果是：

(1)本发明采用基于深度学习的方式进行压缩感知图像重建，采用端到端的映射方式完成从压缩观测值到图像估计值的重构过程。本方法基于众所周知的图像表示范式，即图像可以分为纹理成分和结构成分，结构-纹理表示模型提供了一种非常有效的机制来分别处理纹理和结构成分，这对压缩感知图像重建非常有益，在我们的网络中，两个通道分别采用了相同的网络结构，但是使用了不同的卷积方式，分别用于重建结构和纹理信息，采用二阶的小波变换将图像块分解为4张子图，一张含有图像结构成分的低频图和三张不同方向上含有纹理细节成分的高频图，为了更好地提取高低频信息，将低频图像块和高频图像块分别输入到对应的网络通道中进行训练，使用不同的卷积方式增强网络整体的特征提取能力。最后将两个通道的输出进行融合生成最终的图像重建结果；

(2)网络利用双通道的体系结构，而不是单一的路径完成压缩感知重构，在这种二元结构中，结构通道和纹理通道只需要重点表示相应的图像分量，有利于降低学习难度，通过将测量值同步反馈到两条通道，可以对两条通道的输出求和，从而快速的恢复测试图像，网络可以考虑结构和纹理之间的形态差异。

这种方法能更好地表示不同的图像内容、并且恢复更多的细节特征。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中二阶Haar小波变换原理；

图3为实施例中Haar小波变换多通道网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图1，一种基于小波变换的多通道深度压缩感知图像重建方法，包括如下步骤：

1)训练数据预处理：将训练集中的图像进行随机裁剪分为大小相等的不重叠的图像块x_i，每个分块大小为B*B，然后将图像块向量化为N*1维的向量，N＝B*B，归一化到[0,1]区间，用随机高斯矩阵φ对x_i∈R^N进行采样，获得对应的压缩观测值y_i＝φx_i,其中，y_i∈R^M，φ∈R^M*N，M为获得的观测的长度，M＜＜N；

2)线性映射：将观测值与线性映射矩阵相乘得到图像块的初始重建值Z_i＝Qinit·y_i，保存线性映射矩阵Qinit；

3)小波变换：将步骤2)初始重建数据分批次输入到网络中，将输入图像进行二阶Haar小波变换提取低频和高频分量，将初始图像块分解为低频和高频信息共四张大小为的子图，分别为含有低频信息的图像块Z_LL、含有不同方向的高频信息的图像块Z_LH、Z_HL和Z_HH；

4)多通道图像重建：将步骤3)小波变换得到的低频图像块Z_LL输入到带有可变形卷积模块的残差网络通道1进行重建得到将得到的高频图像块分别输入到带有混合卷积模块的残差网络通道2、3、4进行重建得到/>分别将4个通道的重建图像采用上采样得到与原始分辨率大小相同的重建图像/>和/>

5)特征融合：先对步骤4)中通道2、3、4得到的高频重建图像采用相加进行特征融合得到高频重建图像/>再将通道1得到的低频重建图像和高频重建图像采用相加/>进行特征融合得到最终的重建图像Z^out；

6)计算损失函数Loss：其中x_i为初始信息x的第i个真值，f(y_i)为第i个估计值；

7)判断误差是否达到设定值：设定阈值ε₁，计算当前批次误差，如果未达到阈值ε₁则进行误差反向传递，采用自适应学习率优化算法Adam更新权值，返回步骤3)，直到误差达到阈值ε₁，则保存网络参数，结束训练。

步骤3)中所述提取低频和高频分量的具体过程：

3-1)将图像块x_i分块成大小为B*B的图像块，然后将图像块向量化N*1维的向量，并将向量归一化到[0,1]区间，用随机高斯矩阵φ对x_i∈R^N进行采样，获得对应的压缩观测值y_i＝φx_i,其中，y_i∈R^M，φ∈R^M*N，M为获得的观测的长度，M＜＜N；

3-2)将观测值与线性映射矩阵相乘得到图像块的初始重建值Z_i＝Qinit·y_i；

3-3)如图2所示，对初始重建值Z_i进行二阶Haar小波变换，首先沿着Z_i的每一行做一阶的Haar变换、然后再对每一列做一阶的Haar变换，然后对每个低频分量矩阵重覆上述步骤，如公式(1)、公式(2)所示：

其中h_high为高通滤波器、允许高频信息通过；h_low为低通滤波器、允许低频信息通过。

所述步骤4)的具体过程为：

4-1)如图3所示，将步骤3)中得到的低频图像块Z_LL采用局部残差模块得到与步骤3)得到的Z_LL连接起来，再采用可变形卷积模块得到/>最后将/>与步骤3)得到的Z_LL进行融合，采用亚像素卷积上采样得到B×B大小的低频重建图像/>如公式(3)所示：

其中W^c1和b^c1表示滤波器和偏置，*表示卷积操作，F^tra表示用来获取图像的高层语义特征可形变卷积模块，F^r3表示用来进行浅层的特征提取和图像增强的局部残差模块，up_sub表示亚像素卷积上采样；

4-2)对所述步骤3)中得到的高频图像块Z_LH、Z_HL、Z_HH采用局部残差模块得到将它们分别与步骤3)得到的Z_LH、Z_HL、Z_HH进行融合，并对每一个高频图像块分别都采用混合卷积模块从而得到/>将/>与步骤3)得到的Z_LH、Z_HL、Z_HH进行融合，并采用亚像素卷积上采样得到B×B大小的高频重建图像得到的公式如下：

其中W^c1、W^c2、W^c3、W^c4、b^c1、b^c2、b^c3、b^c4表示各自的滤波器和偏置，*表示卷积操作，F^mix表示用来扩大感受野并提取整体的深层结构信息的混合卷积模块，F^r3表示用来进行浅层特征提取和图像增强的局部残差模块，up_sub表示亚像素卷积上采样。

本例中，采用91-images数据集产生训练数据，从这些图像中随机裁剪大小为16×16的图像块，即B＝16，共计得到L＝88907个块，本例是保留提取图像块的亮度分量，这构成了训练集的标签，对每个图像块的观测过程为，给定采样率，首先构建一个随机高斯矩阵，并对其行进行正交化，即有其中I是单位阵，根据/>获得图像块的测量值，本例是在几种不同采样率1％、4％、10％、20％、25％、30％、40％、50％下来训练网络，假设采样率为R，则R＝M/N，其中N为图像的总像素数，M为最终的测量数，其中M＝round(R*N)，round()为四舍五入函数，y_i为一个长度为R*B²的列向量，s_batch设置为128。

Claims (3)

1.基于小波多通道深度网络的图像压缩感知重建方法，其特征在于，包括如下步骤：

1)训练数据预处理：将训练集中的图像进行随机裁剪分为大小相等的不重叠的图像块x_i，每个分块大小为B*B，然后将图像块向量化为N*1维的向量，N＝B*B，归一化到[0，1]区间，用随机高斯矩阵φ对x_i∈R^N进行采样，获得对应的压缩观测值y_i＝φx_i，其中，y_i∈R^M，φ∈R^M*N，M为获得的观测的长度，M＜＜N；

2)线性映射：将观测值与线性映射矩阵相乘得到图像块的初始重建值Z_i＝Qinit·y_i，保存线性映射矩阵Qinit；

3)小波变换：将步骤2)初始重建数据分批次输入到网络中，将输入图像进行二阶Haar小波变换提取低频和高频分量，将初始图像块分解为低频和高频信息共四张大小为的子图，分别为含有低频信息的图像块Z_LL、含有不同方向的高频信息的图像块Z_LH、Z_HL和Z_HH；

4)多通道图像重建：将步骤3)小波变换得到的低频图像块Z_LL输入到带有可变形卷积模块的残差网络通道1进行重建得到将得到的高频图像块分别输入到带有混合卷积模块的残差网络通道2、3、4进行重建得到/>分别将4个通道的重建图像采用上采样得到与原始分辨率大小相同的重建图像/>和/>

5)特征融合：先对步骤4)中通道2、3、4得到的高频重建图像采用相加进行特征融合得到高频重建图像/>再将通道1得到的低频重建图像和高频重建图像采用相加/>进行特征融合得到最终的重建图像Z^out；

6)计算损失函数Loss：其中x_i为初始信息x的第i个真值，f(y_i)为第i个估计值；

7)判断误差是否达到设定值：设定阈值ε₁，计算当前批次误差，如果未达到阈值ε₁则进行误差反向传递，采用自适应学习率优化算法Adam更新权值，返回步骤3)，直到误差达到阈值ε₁，则保存网络参数，结束训练。

2.根据权利要求1所述的基于小波多通道深度压缩感知图像重建方法，其特征在于，步骤3)中所述提取低频和高频分量的具体过程：

3-1)将图像块x_i分块成大小为B*B的图像块，然后将图像块向量化N*1维的向量，并将向量归一化到[0，1]区间，用随机高斯矩阵φ对x_i∈R^N进行采样，获得对应的压缩观测值y_i＝φx_i，其中，y_i∈R^M，φ∈R^M*N，M为获得的观测的长度，M＜＜N；

3-2)将观测值与线性映射矩阵相乘得到图像块的初始重建值Z_i＝Qinit·y_i；

3-3)对初始重建值Z_i进行二阶Haar小波变换，首先沿着Z_i的每一行做一阶的Haar变换、然后再对每一列做一阶的Haar变换，然后对每个低频分量矩阵重覆上述步骤，如公式(1)、公式(2)所示：

其中h_high为高通滤波器、允许高频信息通过，h_low为低通滤波器、允许低频信息通过。

3.根据权利要求1所述的基于小波多通道深度压缩感知图像重建方法，其特征在于，所述步骤4)的具体过程为：

4-1)将步骤3)中得到的低频图像块Z_LL采用局部残差模块得到与步骤3)得到的Z_LL连接起来，再采用可变形卷积模块得到/>最后将/>与步骤3)得到的Z_LL进行融合，采用亚像素卷积上采样得到B×B大小的低频重建图像/>如公式(3)所示：

其中W^c1和b^c1表示滤波器和偏置，*表示卷积操作，F^tra表示用来获取图像的高层语义特征可形变卷积模块，F^r3表示用来进行浅层的特征提取和图像增强的局部残差模块，up_sub表示亚像素卷积上采样；

4-2)对所述步骤3)中得到的高频图像块Z_LH、Z_HL、Z_HH采用局部残差模块得到将它们分别与步骤3)得到的Z_LH、Z_HL、Z_HH进行融合，并对每一个高频图像块分别都采用混合卷积模块从而得到/>将/>与步骤3)得到的Z_LH、Z_HL、Z_HH进行融合，并采用亚像素卷积上采样得到B×B大小的高频重建图像得到的公式如下：

其中W^c1、W^c2、W^c3、W^c4、b^c1、b^c2、b^c3、b^c4表示各自的滤波器和偏置，*表示卷积操作，F^mix表示用来扩大感受野并提取整体的深层结构信息的混合卷积模块，F^r3表示用来进行浅层特征提取和图像增强的局部残差模块，up_sub表示亚像素卷积上采样。