CN108510464B - 基于分块观测的压缩感知网络及全图重构方法 - Google Patents

Abstract

本发明公开了一种基于分块观测的压缩感知网络及全图重构方法，主要解决现有网络恢复图像质量差的问题。其网络包括观测子网络和重构子网络，该观测子网络由第一卷积层组成；该重构子网络，包括反卷积层、第二卷积层、12个大小相同的残差块、第五卷积层和第六卷积层；每个残差块包括第三卷积层和第四卷积层；第一卷积层的输出端与反卷积层的输入端连接，反卷积的输出端与第二卷积层的输入端连接，第二卷积的输出端再与12个残差块依次连接，第12个残差块的输出端与第五卷积层的输入端连接，第二卷积的输出端和第五卷积的输出端共同连接到第六卷积的输入端。用本发明网络避免了重构图像的块效应，提高了图像恢复质量，可用于图像处理。

Description

基于分块观测的压缩感知网络及全图重构方法

技术领域

本发明属于压缩感知技术领域，主要涉及一种分块观测的压缩感知网络及全图重构方法，可用于图像处理。

背景技术

在大量的实际问题中，人们倾向于尽量少地采集数据，或者由于客观条件所限不得不采集不完整的数据。传统的图像压缩是基于奈奎斯特定理采样进行数据采集，并从数据本身特性出发，寻找并剔除数据中隐含的冗余度。这样造成的结果是，数据压缩必须在数据完整采集之后，压缩过程要求复杂的算法，这和大量采集并处理信号的设备性能是矛盾的。压缩感知的概念就是为了解决这一问题提出的，它能以远低于奈奎斯特频率直接采集压缩后的信号，并通过数值最优问题准确重构出原始信号。

目前，针对压缩感知理论的图像恢复方法的研究，主要集中在利用传统的贪婪算法，迭代阈值法或者引入深度学习的方法进行图像重构。其中迭代阈值法和贪婪算法都需要大量的迭代运算，耗时长。所以最近的研究逐渐转向利用深度学习方法来进行图像重构。已有的深度学习的方法一般是将大图分成小块，利用高斯矩阵作为观测矩阵，再构建学习网络作为恢复网络依次恢复块图像。这种将大图分割成小图的方法会造成重构出的图像具有明显的块效应，在较低的观测率下恢复出来的图像模糊，语义信息不明显，而且需要保证有大量的训练数据集，训练过程时间长，不适用于在较低观测率下的图像重构。

发明内容

本发明的目的在于针对上述已有的技术的不足，提出一种基于分块观测的压缩感知网络，以在任意观测率下都能彻底解决块效应的弊端，尤其是在低观测率下能大幅度提高图像恢复质量。

本发明的技术思路是：在以往实现方法的基础上，图像观测仍旧采用分块观测，而在图像重构上创新性的提出全图重构的方式。分块观测采用卷积操作对整个图像进行一次性的不交叠的统一采样，图像所有的观测是在网络的一次正向传播中完成，其实现方案如下：

一.基于分块观测的压缩感知网络，包括观测子网络和重构子网络，其特征在于：

所述观测子网络，由第一卷积层组成；

所述重构子网络，包括反卷积层、第二卷积层、12个大小相同的残差块、第五卷积层和第六卷积层；每个残差块由两个相同的第三卷积层和第四卷积层组成；

该第一卷积层的输出端连接到反卷积层的输入端，反卷积的输出端与第二卷积层的输入端连接，第二卷积的输出端再与12个残差块依次连接，第12个残差块的输出端连接到第五卷积层的输入端，第二卷积的输出端和第五卷积的输出端共同连接到第六卷积的输入端。

进一步，所述第二卷积层的输出端与12个残差块依次连接，是将第二卷积的输出端首先进行Relu激活处理，再连接到第一个残差块里的第三卷积层输入端，将第三层卷积层的输出端同样进行Relu激活处理，再连接到第四卷积层的输入端，第四层卷积层的输出端作为第一个残差块的输出端，并将第一个残差块的输入端和输出端连接起来；第一个残差块的输出端连接到第二个残差块的输入端，第二个残差块的内部连接与第一个残差块相同，以此类推，完成12个残差块的连接。

二.基于分块观测的压缩感知网络进行图像重构的方法，包括：

1)下载DIV2K数据集，共包含800张训练图片，对数据集里的每张图片进行随机裁剪处理，形成256×256大小的灰度图训练数据集；

2)训练网络：

2a)将训练数据集输入到分块观测的压缩感知网络中，得到输出图像f；

2b)计算输入图像I与输出图像f的欧式距离作为损失函数L，将损失函数L反向传播，得到该网络的每一级损失总数δ；

2c)利用每一级的损失总数δ，采用随机梯度下降算法更新网络权值参数W；

2d)重复2a)-2c)共1000次，得到训练好的图像重构网络；

3)将任意测试图像输入训练好的图像重构网络，得到重构图像。

本发明与现有技术相比具有以下优点：

1.硬件实现简单

本发明通过用卷积层重新定义了分块观测的方式，这种方式由于理论上仍与传统的分块观测具有相同的单次观测量，因此在硬件实现上可以直接使用已有的基于压缩感知设计的硬件设备。

2.图像结构信息强

现有的利用深度学习方法来处理图像重构，是将大图分成小图依次输入网络观测和重构，会损失掉原图块与块之间的结构信息，造成恢复的图像有明显的块效应。而本发明的恢复网络采用的是全图统一恢复的网络结构，在恢复过程中建立了块与块图像的位置关系，弥补了由采样带来结构信息损失，从而在恢复图像中彻底消除了块效应，加强了整个网络对图像结构信息的采样与重构。通过在不同环境观测率下对不同图像进行测试，图片的恢复质量相较已有的方法均有提高，即使是在极低的观测率下，该网络仍能恢复出基本的图像结构而不具备块效应。

3.图像恢复质量高

本发明由于消除了传统方法带来的块效应，在任何观测率下都能保留图像的结构信息，极大地提高了图像的视觉效果。

测试结果表明：用本发明方法重构的图像峰值信噪比PSNR是在压缩感知领域较高的。

附图说明

图1为本发明的网络结构图；

图2为用本发明网络进行图像重构的实现流程图；

图3为现有的Monarch，Lena,Cameraman,Boats标准图；

图4为用本发明在不同环境观测率下对图3的重构图像结果图。

具体实施方式

下面结合附图对本发明的实施例和效果做进一步详细描述。

参照图1，本发明基于分块观测的压缩感知网络，包括观测子网络和重构子网络两部分，其中:

观测子网络，由第一卷积层组成；

重构子网络，包括反卷积层、第二卷积层、12个大小相同的残差块、第五卷积层和第六卷积层；每个残差块由两层相同的第三卷积层和第四卷积层组成。

该第一卷积层的输出端连接到反卷积层的输入端，反卷积的输出端与第二卷积层的输入端连接，第二卷积的输出端再与12个残差块依次连接，第12个残差块的输出端连接到第五卷积层的输入端，第二卷积的输出端和第五卷积的输出端共同连接到第六卷积的输入端。

所述第二卷积层的输出端与12个残差块依次连接，是将第二卷积的输出端首先进行Relu激活处理，再连接到第一个残差块里的第三卷积层输入端，将第三层卷积层的输出端同样进行Relu激活处理，再连接到第四卷积层的输入端，第四层卷积层的输出端作为第一个残差块的输出端，并将第一个残差块的输入端和输出端连接起来；第一个残差块的输出端连接到第二个残差块的输入端，第二个残差块的内部连接与第一个残差块相同，以此类推，完成12个残差块的连接。

所述Relu激活处理是从需要进行Relu激活的输入层x和0中取最大值，作为激活后的输出f(x)，即f(x)＝max(0,x)。

上述网络的各层参数需要根据重构图像的大小和环境观测量去设定，在本实例中，第一卷积层中卷积厚度k₁根据环境观测量设置，当环境观测量分别为1％，4％，10％，25％时，卷积厚度k₁的设置分别为10，42，102，256，卷积大小h₁＝32×32，步长s₁＝32；

反卷积层的反卷积大小h₂＝32×32，步长s₂＝32，k₂＝1；

第二卷积层的卷积大小h₃＝9×9，步长s₃＝1，k₃＝64；

第三卷积层和第四卷积层的卷积大小h₄＝3×3，步长s₄＝1，k₄＝64；

第五卷积层的卷积大小h₅＝3×3，步长s₅＝1，k₅＝64；

第六卷积层的卷积大小h₆＝9×9，步长s₆＝1，k₆＝1。

上述参数的设定仅是本发明的一个实例，并不构成对本发明的限制。

参照图2，利用上述网络进行图像重构的实现步骤如下：

步骤1，获取训练数据集。

下载DIV2K数据集，得到共包含800张的训练图片，对该数据集里的每张图片进行随机裁剪处理，形成256×256大小的灰度图训练数据集。

步骤2，训练网络。

(2a)将训练数据集输入到本发明构建的上述基于分块观测的压缩感知网络中得到输出图像f,该输出图像f的像素点值与输入图像I的像素点值及权值参数{W}有关，其中{W}代表基于分块观测的压缩感知网络中的29组权值参数，29组权值参数分别对应网络的29层；

上述的权值参数{W}包括网络每层的权重参数和偏置参数。在本实例中权重参数初始值均设置为平均值为0、方差为0.02的随机数，偏置参数初始值均设置为常数0；

(2b)通过如下公式计算输入图像I与输出图像f的欧式距离，作为损失函数L；

I_i代表输入图像的第i个像素点值，f(I_i,{W})代表经过网络正向传播后输出图像对应像素点值,T为输入图像的总像素点个数，L为输入图像与输出图像的欧式距离；

(2c)将损失函数L反向传播，得到该网络的每一层的损失总数δ^l：

δ^l＝[(W^l+1)^Tδ^l+1]⊙σ(z^l) l＝1,2,…,29，

其中⊙表示Hadamard乘积，用于矩阵或向量点对点的乘法运算；l表示网络的第l层，W^l+1表示网络的l+1层权值参数，z^l表示网络第l层的输入，σ(z^l)表示网络第l层对应的输出，δ^l表示网络第l层的损失总数，损失总数δ^l最后一层为损失函数L，即δ²⁹为L；

(2d)利用每一层的损失总数δ^l，采用随机梯度下降算法更新网络每层的权值参数，得到更新后网络每层的权值参数W′^l；

其中l表示网络的层数，等式左边的W′^l为更新后网络的第l层权值参数，等式右边的W^l为当前计算时未更新的网络第l层的权值参数，δ^l表示网络第l层的损失总数，α表示网络的学习率，本实例中α设置为10^-4；

(2e)重复(2a)-(2d)共1000次，得到训练好的图像重构网络。

步骤3，测试网络。

(3a)获取测试数据集：

本实例中，测试数据集包括但不限于现有的Monarch、Parrots、Barbara、Boats、Cameraman、House、Lena这七张标准测试图像，图3展示了其中的Monarch，Lena,Cameraman和Boats这四张标准图；

(3b)将测试图像输入训练好的图像重构网络，得到重构图像。

本发明的效果可通过以下测试实例进一步说明：

一.测试条件：

在环境观测量分别为1％，4％，10％，25％的条件下，取基于分块观测的压缩感知网络的第一卷积层的卷积厚度k₁的设置分别为10，42，102，256，其余网络参数如上所述，构成四个网络。

二.测试内容

1.分别对这四个网络进行训练，得到训练好的网络；将如图3所示的四张测试图像分别送入经过训练好的这四个不同网络，分别得到不同环境观测量下的重构图像，如图4所示，其中图4(a)对应图3(a)、图4(b)对应图3(b)、图4(c)对应图3(c)、图4(d)对应图3(d)。

从图4可见，图像经过基于分块观测的压缩感知网络恢复出的重构图像具有较好的图像质量，且在任何观测率下的重构图像都无块效应。

2.将包含Monarch、Parrots、Barbara、Boats、Cameraman、House、Lena这七张标准测试图像分别送入经过训练好的这四个不同网络，分别得到不同环境观测量下的重构图像，并对这些重构图像的峰值信噪比PSNR进行测试，结果如表一：

表一重构图像的PSNR

从表一可见，在不同的观测率下，重构图像的PSNR都有较高的数值，尤其是在低观测率下。

Claims (7)

1.基于分块观测的压缩感知网络进行图像重构的方法，所述分块观测的压缩感知网络，包括观测子网络和重构子网络；

所述观测子网络，由第一卷积层组成；

所述重构子网络，包括反卷积层、第二卷积层、12个大小相同的残差块、第五卷积层和第六卷积层；每个残差块由两个相同的第三卷积层和第四卷积层组成；

该第一卷积层的输出端连接到反卷积层的输入端，反卷积的输出端与第二卷积层的输入端连接，第二卷积的输出端再与12个残差块依次连接，第12个残差块的输出端连接到第五卷积层的输入端，第二卷积的输出端和第五卷积的输出端共同连接到第六卷积的输入端；

第一卷积层中的卷积大小h₁与图像的分块大小相同，卷积的步长s₁等于卷积的大小h₁，卷积层的厚度k₁与设定的环境观测率r呈正相关；

第二卷积层中的卷积大小h₃为9×9，k₃与网络输入的图像一致，步长s₃与第一卷积层相同，即s₂等于s₁；

反卷积层中的反卷积大小h₂与步长s₂与第一卷积层相同，即h₂等于h₁，s₂等于s₁，厚度k₂与网络输入的图像一致；

所述方法包括：

1)下载DIV2K数据集，共包含800张训练图片，对数据集里的每张图片进行随机裁剪处理，形成256×256大小的训练数据集；

2)训练网络：

2a)将训练数据集输入到分块观测的压缩感知网络中，得到输出图像f；

2b)计算输入图像I与输出图像f的欧式距离作为损失函数L，将损失函数L反向传播，得到该网络的每一级损失总数δ；

2c)利用每一层的损失总数δ，采用随机梯度下降算法更新网络权值参数W；

2d)重复2a)-2c)共1000次，得到训练好的图像重构网络；

3)将任意测试图像输入训练好的图像重构网络，得到重构图像。

2.根据权利要求1所述的方法，其特征在于：步骤2b)中计算输入图像与输出图像的欧式距离，通过如下公式计算：

其中{W}代表分块观测的压缩感知网络的一组权值参数，每个参数初始分别为其设置对应参数值；I_i代表输入图像的第i个像素点值，f(I_i,{W})代表经过网络正向传播后输出图像对应像素点值,T为输入图像的总像素点个数，L为输入图像与输出图像的欧式距离。

3.根据权利要求1所述的方法，其特征在于：步骤2b)中将损失函数反向传播，得到网络的每一层损失总数，通过如下公式进行：

δ^l＝[(W^l+1)^Tδ^l+1]⊙σ(z^l) l＝1,2,…,28.

其中⊙表示Hadamard乘积，用于矩阵或向量点对点的乘法运算；l表示网络的第l层，W^{l +1}表示网络的l+1层权值参数，z^l表示网络第l层的输入，σ(z^l)表示网络第l层对应的输出，δ^l表示网络第l层的损失总数，损失总数δ的最后一级即为损失函数L。

4.根据权利要求1所述的方法，其特征在于：步骤2c)中采用随机梯度下降算法更新网络权值参数，通过如下公式进行：

其中等式左边的W′^l为更新后网络的第l层权值参数，等式右边的W^l为当前计算时未更新的网络第l层的权值参数，δ^l表示网络第l层的损失总数，α表示网络的学习率。

5.根据权利要求1所述的方法 ，其特征在于：第二卷积层的输出端与12个残差块依次连接，是将第二卷积层的输出端与12个残差块依次连接，是将第二卷积的输出端首先进行Relu激活处理，再连接到第一个残差块里的第三卷积层输入端，将第三层卷积层的输出端同样进行Relu激活处理，再连接到第四卷积层的输入端，第四层卷积层的输出端作为第一个残差块的输出端，并将第一个残差块的输入端和输出端连接起来；第一个残差块的输出端连接到第二个残差块的输入端，第二个残差块的内部连接与第一个残差块相同，以此类推，完成12个残差块的连接。

6.根据权利要求1所述的方法 ，特征在于：第二卷积层与12个残差块里的第三卷积层均要在该层的输出端按如下公式进行Relu激活后，再输入到下一层网络的输入端：

f(x)＝max(0,x)，

f(x)是指进行激活后的输出,x是指需要进行Relu激活的输入层,max(0,x)是指取0和x中的最大值。

7.根据权利要求1所述的方法 ，特征在于：

第三卷积层和第四卷积层的厚度k₄均为64，大小h₄为3x3，步长s₄为1；

第五卷积层的厚度k₅为64，大小h₅为3x3，步长s₅为1；

第六卷积层的厚度k₆为1，大小h₆为9x9，步长s₆为1。

Images