CN110223224A - 一种基于信息过滤网络的图像超分辨实现算法 - Google Patents

Abstract

本发明公开了一种基于信息过滤网络的图像超分辨实现算法，包括特征提取模块、多个叠加的信息过滤模块和重构模块；特征提取模块首先从低分辨率图像中提取特征，然后，将多个信息过滤模块叠加，逐步提取剩余信息，最后，重构模块将得到的高分辨率残差特征表示进行聚合，生成残差图像；对剩余图像和上采样的低分辨率图像进行元素级别的逐项加法运算。本发明的基于信息过滤网络的图像超分辨实现算法，由于每层滤波器数目相对较少，并且使用了群卷积，因此该网络算法具有执行速度快的优点。

Description

一种基于信息过滤网络的图像超分辨实现算法

技术领域

本发明涉及图像超分辨实现技术，具体涉及一种基于信息过滤网络的高效图像超分辨实现算法。

背景技术

目前，基于图像的超分辨率得到了广泛的研究，目前较为主流方法是基于神经网络以及基于示例的方法。

基于自示例的方法利用自相似特性，仅从不同尺度的低分辨率图像中提取示例对。这种方法通常在包含重复模式和纹理的图像中效果良好，但缺乏输入图像外部语义信息的丰富性，无法对其他类的图像产生满意的预测。基于外部示例的方法从外部数据集学习低分辨率和高分辨率对之间的映射。这类方法通常侧重于如何学习一个密集的字典或流行空间来关联低分辨率/高分辨率对之间的映射，如最邻近算法，流形嵌入算法，随机森林和稀疏表示等。虽然这些方法是有效的，但是提取的特征和映射函数不是自适应的，并不是生成高质量超分辨率图像的最好方法。

最近，受到许多计算机视觉任务的成就与深度学习解决，神经网络已经取得了戏剧性的改善。有学者首先利用卷积神经网络，利用多层网络共同优化特征提取，非线性映射和图像重建都建立在一个端到端的方式上。之后，又有学者提出了一种高效的基于子像素的卷积神经网路，它提取低分辨率空间中的特征映射，并用高效的子像素卷积代替三双次上采样操作。也有学者提出了一种具有全局残差架构的深度卷积神经网络模型，该种模型利用了大图像区域上的语义信息，实现了优越的性能。

然而，随着网络深度和宽度的增加，基于卷积神经网络的超分辨率方法在实际应用中面临着计算复杂度和内存消耗的挑战。

图像超分辨率重构是计算机视觉中的一个经典难题，实际上，无限多的高分辨率图像可以通过下采样得到相同的低分辨率图像。因此，超分辨问题本质上是不适定的，不存在唯一的解决方案。为了缓解这一问题，研究学者提出了大量的方法，包括基于插值的方法，基于重构的方法和基于实例的方法。由于前两种方法通常在较大的放大因子的作用下恢复性能呈现急剧性下降，因此近年来的超分辨率方法主要采用基于实例的方法，试图从低分辨率和高分辨率对中学习先验知识。近年来，由于深度卷积神经网络的强大，许多基于卷积神经网络的超分辨率方法都试图训练深度网络以获得更好的重构性能。有学者提出一个20层的卷积神经网络模型VDSR，该模型采用残差学习和自适应梯度裁剪来缓解训练难度。VDSR由于模型参数量较大，控制效果不佳。因此为了控制模型参数，又有学者提出了DRCN模型，采用递归层的方法构建了深度递归卷积网络。还有学者为了降低训练难度，提出了一个非常深度的残差编码器-解码器网RED，该网络由一系列卷积层和后续的转置卷积层组成，学习从低分辨率图像到真值图像的端到端映射。而后，又有学者提出了一种深度递归残差网络，该网络采用参数共享策略来缓解非常深的网络对大量参数的需求。虽然取得了突出的性能，但大多数深度网络仍然存在一些缺陷。首先，为了获取更好的性能，深度或者宽度扩展的网络结构已经成为一种设计趋势。但结果是，这些方法需要大量的计算成本和内存消耗，在实际应用中并不适用，如在移动终端和嵌入式的视觉应用中。此外，传统的卷积网络通常采用级联网络拓扑，如VDSR和DRCN，这样，每一层的映射特征就可以毫无区别地发送到相继的层次当中。然而，自适应地重新校准通道特征响应可以提高网络的表征能力。

发明内容

本发明的主要目的在于提供一种基于信息过滤网络的图像超分辨实现算法。

本发明采用的技术方案是：一种基于信息过滤网络的图像超分辨实现算法，包括特征提取模块、多个叠加的信息过滤模块和重构模块；

特征提取模块首先从低分辨率图像中提取特征，然后，将多个信息过滤模块叠加，逐步提取剩余信息，最后，重构模块将得到的高分辨率残差特征表示进行聚合，生成残差图像；对剩余图像和上采样的低分辨率图像进行元素级别的逐项加法运算；

所述信息过滤模块，包括一个增强单元和一个压缩单元；通过一个短路径提取第一个模块的映射特征，它们可以看作是局部的短程特征；

所述信息过滤模块将一份局部的短路径特征发送给另一个模块，将第二个模块的映射特征转换成局部长路径特征，在得到长路径特征和短路径特征后，将这两类特征进行聚合，以便获得更丰富、更有效的信息；增强单元主要是为了提高网络的表示能力，对于压缩单元，采用简单的卷积层对增强单元特征中的冗余信息进行压缩；

增强单元主要包括两个浅层卷积网络，每一个都是一个三层的3×3的卷积层，并且紧随跟着一个LReLU激活函数。

进一步地，所述增强单元中，设第i层的映射特征维度为D_i(i＝1，...，6)，则卷积层之间的关系可以表示为：

D₃-D₁＝D₁-D₂＝d

其中d表示为第一层与第二层得差值，或第一层与第三层的差值；同样，在下面的模块通道维度中也存在这样关系：

D₆-D₄＝D₄-D₅＝d

其中，D₄＝D₃，上述模块由三个级联的带激活函数LReLU的卷积层组成，第三个卷积层的输出被分割成两段；设这个模块的输入是B_k-1，则有：

其中B_k-1表示前一个模块的输出，同时为当前模块的输入；C_a为链式卷积运算，为第k个增强单元中的输出；P_k是维度为的映射特征，与第一卷积层的输入在通道维度上进行连接，则有：

其中C，S分别代表concatenate操作和slice操作；已知的维度是D₃，因此，表示维度的映射特征是从中取来的，并且，在通道维度上连接B_k-1的特征，目的是将以前的信息与当前的一些信息结合起来，它可以看作是部份保留的局部短路径信息，并将剩余的局部短路径信息作为下一模块的输入，进一步提取长路径的映射特征：

其中C_b分别为下一模块的输出和叠加卷积运算；

对输入信息，保留的局部短路径信息和局部长路径信息进行汇总，增强单元能表示为：

其中P^k为增强单元的输出，并且，局部长路径特征局部短路径特征和未处理特征R^k的连接都是为压缩单元做准备。

更进一步地，所述图像超分辨实现算法还包括：利用1*1的卷积层来实现压缩机制。

更进一步地，所述利用1*1的卷积层来实现压缩机制具体为，增强单元的输出被发送到一个1*1的卷积层，为后续的网络起到降维以及过滤相关信息的作用：

其中表示1*1卷积层的函数，代表激活函数，是权重参数；

在这里，将x和y表示为模型的输入和输出，对于特征提取模块，利用两个3*3的卷积层从原始的低分辨率图像种提取映射特征，这个过程表示为：

B₀＝f(x)

其中f表示特征提取函数，B₀表示提取的特征并且作为下一阶段的输入；下一个模块采用链式方式由多个信息过滤模块组成，每个模块是堆栈样式，包含一个增强单元和一个压缩单元，这个过程表述为：

B_k＝F_k(B_k-1)，k＝1，…，n，

其中F_k表示第k个叠加信息过滤函数，B_k-1和B_k分别表示第k个叠加信息过滤模块的输入和输出，去一个不带激活函数的反卷积作为重构模块；整个网络模型表示为：

y＝R(F_n(B_n-1))+U(x)

其中，R和U分别代表重构模块和双三次插值操作。

更进一步地，所述图像超分辨实现算法还包括：利用两个损失函数来测量预测的超分辨率图像和对应的真值超分辨率图像I之间的差异，第一个损失函数是基于均方误差的，定义如下：

第二个损失函数是平均绝对误差，定义如下：

更进一步地，所述图像超分辨实现算法还包括：所述图像超分辨实现算法首先对网络进行平均绝对误差损失的训练，然后利用均方误差损失其模型进行微调。

本发明的优点：

本发明的基于信息过滤网络的图像超分辨实现算法，提出了一种具有轻量级参数和计算复杂性的新型信息过滤网络，是一种深度但却具有紧密结构的卷积网络，将原始的低分辨率图像直接重构成高分辨率图像。本模型由特征提取模块，叠加信息过滤模块以及重构模块三部分组成。将一个增强单元和一个压缩单元组合成信息过滤模块，可有效提取局部长路径和短路径特征。具体地说，所提出的增强单元叠加了两种不同类型的特征，压缩单元则是为相继的模块提供更多有用信息。此外，由于每层滤波器数目相对较少，并且使用了群卷积，因此该网络算法具有执行速度快的优点。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的一种于信息过滤网络的图像超分辨实现算法框架图；

图2是本发明的一种于信息过滤网络的图像超分辨实现算法的增强单元的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，如图1所示，一种基于信息过滤网络的图像超分辨实现算法，包括特征提取模块、多个叠加的信息过滤模块和重构模块；

特征提取模块首先从低分辨率图像中提取特征，然后，将多个信息过滤模块叠加，逐步提取剩余信息，最后，重构模块将得到的高分辨率残差特征表示进行聚合，生成残差图像；为了得到高分辨率图像，对剩余图像和上采样的低分辨率图像进行元素级别的逐项加法运算；

所述信息过滤模块，包括一个增强单元和一个压缩单元；通过一个短路径提取第一个模块的映射特征，它们可以看作是局部的短程特征；

所述信息过滤模块将一份局部的短路径特征发送给另一个模块，将第二个模块的映射特征转换成局部长路径特征，在得到长路径特征和短路径特征后，将这两类特征进行聚合，以便获得更丰富、更有效的信息；增强单元主要是为了提高网络的表示能力，对于压缩单元，采用简单的卷积层对增强单元特征中的冗余信息进行压缩；

增强单元主要包括两个浅层卷积网络，每一个都是一个三层的3×3的卷积层，并且紧随跟着一个LReLU激活函数。

参考图2，如图2所示，所述增强单元中，设第i层的映射特征维度为D_i(i＝1，...，6)，则卷积层之间的关系可以表示为：

D₃-D₁＝D₁-D₂＝d

其中d表示为第一层与第二层得差值，或第一层与第三层的差值；同样，在下面的模块通道维度中也存在这样关系：

D₆-D₄＝D₄-D₅＝d

其中，D₄＝D₃，上述模块由三个级联的带激活函数LReLU的卷积层组成，第三个卷积层的输出被分割成两段；设这个模块的输入是B_k-1，则有：

其中B_k-1表示前一个模块的输出，同时为当前模块的输入；C_a为链式卷积运算，为第k个增强单元中的输出；P_k是维度为的映射特征，与第一卷积层的输入在通道维度上进行连接，则有：

其中C，S分别代表concatenate操作和slice操作；已知的维度是D₃，因此，表示维度的映射特征是从中取来的，并且，在通道维度上连接B_k-1的特征，目的是将以前的信息与当前的一些信息结合起来，它可以看作是部份保留的局部短路径信息，并将剩余的局部短路径信息作为下一模块的输入，进一步提取长路径的映射特征：

其中C_b分别为下一模块的输出和叠加卷积运算；

对输入信息，保留的局部短路径信息和局部长路径信息进行汇总，增强单元能表示为：

其中P^k为增强单元的输出，并且，局部长路径特征局部短路径特征和未处理特征R^k的连接都是为压缩单元做准备。

所述图像超分辨实现算法还包括：利用1*1的卷积层来实现压缩机制。

所述利用1*1的卷积层来实现压缩机制具体为，增强单元的输出被发送到一个1*1的卷积层，为后续的网络起到降维以及过滤相关信息的作用：

其中表示1*1卷积层的函数，代表激活函数，是权重参数；在这里，将x和y表示为模型的输入和输出，对于特征提取模块，利用两个3*3的卷积层从原始的低分辨率图像种提取映射特征，这个过程表示为：

B₀＝f(x)

其中f表示特征提取函数，B₀表示提取的特征并且作为下一阶段的输入；下一个模块采用链式方式由多个信息过滤模块组成，每个模块是堆栈样式，包含一个增强单元和一个压缩单元，这个过程表述为：

B_k＝F_k(B_k-1)，k＝1，…，n，

其中F_k表示第k个叠加信息过滤函数，B_k-1和B_k分别表示第k个叠加信息过滤模块的输入和输出，去一个不带激活函数的反卷积作为重构模块；整个网络模型表示为：

y＝R(F_n(B_n-1))+U(x)

其中，R和U分别代表重构模块和双三次插值操作。

所述图像超分辨实现算法还包括：利用两个损失函数来测量预测的超分辨率图像和对应的真值超分辨率图像I之间的差异，第一个损失函数是基于均方误差的，定义如下：

第二个损失函数是平均绝对误差，定义如下：

所述图像超分辨实现算法还包括：所述图像超分辨实现算法首先对网络进行平均绝对误差损失的训练，然后利用均方误差损失其模型进行微调。

本发明的基于信息过滤网络的图像超分辨实现算法，提出了一种具有轻量级参数和计算复杂性的新型信息过滤网络，是一种深度但却具有紧密结构的卷积网络，将原始的低分辨率图像直接重构成高分辨率图像。本模型由特征提取模块，叠加信息过滤模块以及重构模块三部分组成。将一个增强单元和一个压缩单元组合成信息过滤模块，可有效提取局部长路径和短路径特征。具体地说，所提出的增强单元叠加了两种不同类型的特征，压缩单元则是为相继的模块提供更多有用信息。此外，由于每层滤波器数目相对较少，并且使用了群卷积，因此该网络算法具有执行速度快的优点。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于信息过滤网络的图像超分辨实现算法，其特征在于，包括特征提取模块、多个叠加的信息过滤模块和重构模块；

特征提取模块首先从低分辨率图像中提取特征，然后，将多个信息过滤模块叠加，逐步提取剩余信息，最后，重构模块将得到的高分辨率残差特征表示进行聚合，生成残差图像；对剩余图像和上采样的低分辨率图像进行元素级别的逐项加法运算；

所述信息过滤模块，包括一个增强单元和一个压缩单元；通过一个短路径提取第一个模块的映射特征，它们可以看作是局部的短程特征；

所述信息过滤模块将一份局部的短路径特征发送给另一个模块，将第二个模块的映射特征转换成局部长路径特征，在得到长路径特征和短路径特征后，将这两类特征进行聚合，以便获得更丰富、更有效的信息；增强单元主要是为了提高网络的表示能力，对于压缩单元，采用简单的卷积层对增强单元特征中的冗余信息进行压缩；

增强单元主要包括两个浅层卷积网络，每一个都是一个三层的3×3的卷积层，并且紧随跟着一个LReLU激活函数。

2.根据权利要求1所述的基于信息过滤网络的图像超分辨实现算法，其特征在于，所述增强单元中，设第i层的映射特征维度为D_i(i＝1,…,6)，则卷积层之间的关系可以表示为：

D₃-D₁＝D₁-D₂＝d

其中d表示为第一层与第二层得差值，或第一层与第三层的差值；同样，在下面的模块通道维度中也存在这样关系：

D₆-D₄＝D₄-D₅＝d

其中，D₄＝D₃，上述模块由三个级联的带激活函数LReLU的卷积层组成，第三个卷积层的输出被分割成两段；设这个模块的输入是B_k-1，则有：

其中B_k-1表示前一个模块的输出，同时为当前模块的输入；C_a为链式卷积运算，为第k个增强单元中的输出；P_k是维度为的映射特征，与第一卷积层的输入在通道维度上进行连接，则有：

其中C,S分别代表concatenate操作和slice操作；已知的维度是D₃，因此，表示维度的映射特征是从中取来的，并且，在通道维度上连接B_k-1的特征，目的是将以前的信息与当前的一些信息结合起来，它可以看作是部份保留的局部短路径信息，并将剩余的局部短路径信息作为下一模块的输入，进一步提取长路径的映射特征：

其中C_b分别为下一模块的输出和叠加卷积运算；

对输入信息，保留的局部短路径信息和局部长路径信息进行汇总，增强单元能表示为：

其中P^k为增强单元的输出，并且，局部长路径特征局部短路径特征和未处理特征R^k的连接都是为压缩单元做准备。

3.根据权利要求1所述的基于信息过滤网络的图像超分辨实现算法，其特征在于，所述图像超分辨实现算法还包括：利用1*1的卷积层来实现压缩机制。

4.根据权利要求3所述的基于信息过滤网络的图像超分辨实现算法，其特征在于，所述利用1*1的卷积层来实现压缩机制具体为，增强单元的输出被发送到一个1*1的卷积层，为后续的网络起到降维以及过滤相关信息的作用：

其中表示1*1卷积层的函数，代表激活函数，是权重参数；

在这里，将x和y表示为模型的输入和输出，对于特征提取模块，利用两个3*3的卷积层从原始的低分辨率图像种提取映射特征，这个过程表示为：

B₀＝f(x)

其中f表示特征提取函数，B₀表示提取的特征并且作为下一阶段的输入；下一个模块采用链式方式由多个信息过滤模块组成，每个模块是堆栈样式，包含一个增强单元和一个压缩单元，这个过程表述为：

B_k＝F_k(B_k-1),k＝1,…,n,

其中F_k表示第k个叠加信息过滤函数，B_k-1和B_k分别表示第k个叠加信息过滤模块的输入和输出，去一个不带激活函数的反卷积作为重构模块；整个网络模型表示为：

y＝R(F_n(B_n-1))+U(x)

其中，R和U分别代表重构模块和双三次插值操作。

5.根据权利要求1所述的基于信息过滤网络的图像超分辨实现算法，其特征在于，所述图像超分辨实现算法还包括：利用两个损失函数来测量预测的超分辨率图像和对应的真值超分辨率图像I之间的差异，第一个损失函数是基于均方误差的，定义如下：

第二个损失函数是平均绝对误差，定义如下：

6.根据权利要求1所述的基于信息过滤网络的图像超分辨实现算法，其特征在于，所述图像超分辨实现算法还包括：所述图像超分辨实现算法首先对网络进行平均绝对误差损失的训练，然后利用均方误差损失其模型进行微调。