CN112734646B - 一种基于特征通道划分的图像超分辨率重建方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，涉及一种基于特征通道划分的图像超分辨率重建方法，该方法包括：构建图像超分辨率重建模型，图像超分辨率重建模型包括特征提取模块、非线性特征映射模块和重建模块；特征提取模块用于提取浅层特征；非线性特征映射模块用于提取深层特征并送入重建模块；重建模块用于将输入的深层特征提取信息后通过亚像素卷积生成残差图像与低分辨率图像使用最近邻插值法上采样后获得的图像相加获得高分辨率图像；构建训练集；训练图像超分辨率重建模型；将待处理图像输入到训练后的图像超分辨率重建模型，输出得到重建后的高分辨率图像；有效的降低了参数量和计算量，对图像的纹理进行更好的恢复，提高了图像超分辨率重建性能。

Description

一种基于特征通道划分的图像超分辨率重建方法

技术领域：

本发明属于计算机视觉技术领域，涉及一种基于特征通道划分的图像超分辨率重建方法，通过利用特征通道划分，有效的降低了参数量和计算量，提高了图像超分辨率重建性能。

背景技术：

图像超分辨率旨在将给定的具有粗糙细节的低分辨率图像转换为具有更好视觉质量和精致细节的相应高分辨率图像。图像超分辨率是计算机视觉中的一项重要的图像处理技术，在许多其他领域中具有重要的应用，例如场景中的物体检测(尤其是小物体)，监视视频中的人脸识别，医学成像，天文图像。

在图像超分辨率的研究工作中，传统超分辨率重建方法主要依赖于约束项的构造以及图像之间配准的精确度达到重建效果，但其不适用于放大倍数较大的超分辨率重建。深度学习方法的出现解决了传统超分辨率技术中的许多瓶颈问题，在近几年发展迅速。例如中国专利CN201610545884.8公开了一种结合深度学习与梯度转换的单幅图像超分辨率重建方法。主要包括以下步骤：用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；用梯度算子对上采样图像进行梯度提取；用深度卷积神经网络对提取到的梯度进行转换；将输入的低分辨率图像与转换后的梯度作为约束，建立重建代价函数；利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像；中国专利CN201811576216.7公开了一种基于深度学习的快速图像超分辨率重建方法，具体步骤包括：选取图像训练集与测试集，用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；将低分辨率图像进行转置卷积处理，获得图像的高分辨率空间低频特征信息；图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果；图像预估的高分辨率重建结果与高分辨率图像块进行损失值度量；再对网络权值使用Adam算子进行更新，得到训练好的网络模型；在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像；CN201710301990.6公开了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，提出了图像内容复杂性的综合度量指标及计算方法，将样本图像按内容复杂性分类，构建和训练高、中、低三种复杂性不等的深层GAN网络模型，然后根据待超分的输入图像的内容复杂性，选取对应的网络进行重建。

目前已经公开的算法大多从网络层数与参数量上进行提升以获得更好的图像超分辨率效果，并没有充分的提取特征之间的信息，因此仍存在进一步提升的空间。

发明内容：

本发明的目的在于克服现有技术的缺点，设计一种基于特征通道划分的图像超分辨率重建方法，用于对神经网络中特征信息进行充分利用，提高图像超分辨率重建性能，对图像的纹理进行更好的恢复。

为达到上述目的，本发明涉及的基于特征通道划分的图像超分辨率重建方法，具体步骤包括：

S1、构建图像超分辨率重建模型，图像超分辨率重建模型包括特征提取模块、非线性特征映射模块和重建模块；特征提取模块、非线性特征映射模块和重建模块串联；特征提取模块用于对输入的低分辨率图像提取浅层特征作为非线性特征映射模块的输入；非线性特征映射模块用于对输入的浅层特征进行提取信息，得到深层特征并送入重建模块；重建模块用于将输入的深层特征提取信息后通过亚像素卷积生成残差图像与低分辨率图像使用最近邻插值法上采样后获得的图像相加获得高分辨率图像；

S2、构建训练集；

S3、训练图像超分辨率重建模型，用步骤S2的训练集对步骤S1的图像超分辨率重建模型进行训练，包括设置损失函数、权重更新算法和设置学习率；

S4、将待处理的图像输入到训练后的图像超分辨率重建模型，输出得到重建后的高分辨率图像。

进一步的，所述特征提取模块采用3×3卷积对输入的低分辨率图像提取浅层特征后输入非线性特征映射模块，同时将RGB通道转化为n通道。

进一步的，所述非线性特征映射模块由n(n为大于1的整数)个串联的特征通道划分模块组成，前一个特征通道划分模块的输出特征作为后一个特征通道划分模块的输入，其中最后一个特征通道划分模块的输出特征将作为重建模块的输入。

进一步的，每个特征通道划分模块用于使用特征通道划分对输入特征进行分别处理，充分利用特征的信息，其主体结构包括1个初始特征处理模块、3个通道划分子模块、3个残差块、1个聚合模块和1个通道注意力模块；初始特征处理模块用于对输入的浅层特征进行3×3卷积后输入通道划分子模块；每个通道划分子模块用于对输入的图像特征使用通道划分，获得待精炼特征F_reserved和待处理粗特征F_coarse，对获得的F_reserved用1×1残差块对其进行精炼获得精炼特征F_refined，并输出到聚合模块；对获得的F_coarse进行3×3卷积后作为下一个通道划分子模块的输入；最后一个通道划分子模块获得的F_coarse进行3×3卷积后得到精炼特征F_refined，并输出到聚合模块；聚合模块用于将所有的F_refined特征聚合，聚合后的特征经过1×1卷积后输入通道注意力模块；通道注意力模块用于对输入的特征进行精炼并输出特征。

进一步的，步骤S2具体为：将训练数据中高分辨率裁减192×192大小图片，低分辨率按超分辨率倍数缩小；同时，对训练数据进行旋转，翻转进行数据增强，得到训练集。

进一步的，步骤S3的具体训练过程如下：

S31、预训练模型：首先训练放大倍数为2的超分辨率模型，对于放大倍数为3或4模型，使用放大倍数为2的模型参数初始化网络；

S32、设置损失函数：使用L1范数损失函数，公式为：

其中θ代表模型的参数，代表将低分辨率图像输入模型后重建的高分辨率图像，/>代表真实图像，||*||₁代表L1损失；

S33、权重更新算法：使用Adam算法作为网络优化器，其初始参数设置为β₁＝0.9，β₂＝0.99，ε＝0.99；

S34、学习率设置：初始学习率设置为2×10^-4，并每200个批次学习率减半；

S35、在训练1000批次后模型得到收敛，获得最优的图像超分辨率重建***。

本发明与现有技术相比，通过利用特征通道划分，解决了目前图像超分辨率算法中没有充分利用特征之间信息的问题，有效的降低了参数量和计算量，对图像的纹理进行更好的恢复，提高了图像超分辨率重建性能。

附图说明：

图1是本发明涉及的基于特征通道划分的图像超分辨率重建方法的具体流程示意图。

图2是本发明涉及的图像超分辨率重建模型的整体结构示意图。

图3是本发明涉及的图像超分辨率重建模型的网络结构示意图。

图4是本发明涉及的特征通道划分模块的网络结构示意图。

具体实施方式：

下面通过具体实施例并结合附图对本发明进行详细说明。

实施例1：

本实施例涉及的基于特征通道划分的图像超分辨率重建方法，包括

S1、构建图像超分辨率重建模型，图像超分辨率重建模型包括特征提取模块、非线性特征映射模块和重建模块；特征提取模块、非线性特征映射模块和重建模块串联；特征提取模块用于将低分辨率图像从RGB通道转化为n通道，并提取浅层特征作为非线性特征映射模块的输入；非线性特征映射模块用于对输入的浅层特征进行提取信息，得到深层特征并送入重建模块；重建模块用于将输入的深层特征提取信息后通过亚像素卷积生成残差图像与低分辨率图像使用最近邻插值法上采样后获得的图像相加获得高分辨率图像。

所述特征提取模块采用3×3卷积对输入的低分辨率图像提取浅层特征后输入非线性特征映射模块，同时将RGB通道转化为n通道。

所述非线性特征映射模块由6个串联的特征通道划分模块组成，前一个特征通道划分模块的输出特征作为后一个特征通道划分模块的输入，其中最后一个特征通道划分模块的输出特征将作为重建模块的输入；每个特征通道划分模块用于使用特征通道划分对特征进行分别处理，充分利用特征的信息，其主体结构包括1个初始特征处理模块、3个通道划分子模块、3个残差块、1个聚合模块和1个通道注意力模块；初始特征处理模块用于对输入的浅层特征进行3×3卷积后输入通道划分子模块；每个通道划分子模块用于对输入的图像特征使用通道划分，获得待精炼特征F_reserved和待处理粗特征F_coarse，对获得的F_reserved用1×1残差块对其进行精炼获得精炼特征F_refined，并输出到聚合模块；对获得的F_coarse进行3×3卷积后作为下一个通道划分子模块的输入；最后一个通道划分子模块获得的F_coarse进行3×3卷积后得到精炼特征F_refined，并输出到聚合模块；聚合模块用于将所有的F_refined特征聚合，聚合后的特征经过1×1卷积后输入通道注意力模块；通道注意力模块用于对输入的特征进行精炼并输出特征。

S2、构建训练集，将训练数据中高分辨率裁减192×192大小图片，低分辨率按超分辨率倍数缩小；同时，对训练数据进行旋转，翻转进行数据增强，得到训练集。

S3、训练图像超分辨率重建模型，用步骤S2的训练集对步骤S1的图像超分辨率重建模型进行训练，具体步骤如下：

S31、预训练模型：首先训练放大倍数为2的超分辨率模型，对于放大倍数为3或4模型，使用放大倍数为2的模型参数初始化网络；

S32、设置损失函数：使用L1范数损失函数，公式为：

其中θ代表模型的参数，代表将低分辨率图像输入模型后重建的高分辨率图像，/>代表真实图像，||*||₁代表L1损失。

S33、权重更新算法：使用Adam算法作为网络优化器，其初始参数设置为β₁＝0.9，β₂＝0.99，ε＝0.99；

S34、学习率设置：初始学习率设置为2×10^-4，并每200个批次学习率减半；

S35、在训练1000批次后模型得到收敛，获得最优的图像超分辨率重建***。

S4、将待处理的图像输入到训练后的图像超分辨率重建模型，输出得到重建后的高分辨率图像。

本实施例涉及的图像超分辨率重建模型的工作流程为：

S11、对输入的低分辨率图像通过3×3卷积对特征进行浅层特征提取，将RGB通道转化为n通道；

S12：将浅层特征输入非线性特征映射模块，非线性特征映射模块由特征通道划分模块组成,其数量为6，6个特征通道划分模块采用串联组成，前一个特征通道划分模块的输出特征作为后一个特征通道划分模块的输入，其中最后特征通道划分模块的输出特征将作为重建模块的输入；每个特征通道划分模块的工作流程如下:

S121:对初始特征进行3×3卷积后使用通道划分，获得F_{reserved_1}和F_{coarse_1},划分比例为1：3；

S122:对F_{reserved_1}使用1×1残差块对特征进行精炼后获得F_{refined_1}，对F_{coarse_1}进行3×3卷积后使用通道划分，获得F_{reserved_2}和F_{coarse_2}，划分比例为1：3；

S123:对F_{reserved_2}使用1×1残差块对特征进行精炼后获得F_{refined_2}，对F_{coarse_2}进行3×3卷积后使用通道划分，获得F_{reserved_3}和F_{coarse_3}，划分比例为1：3；

S124:对F_{reserved_3}使用1×1残差块对特征进行精炼后获得F_{refined_3}，对F_{coarse_3}进行3×3卷积获得F_{refined_4}；

S125：将F_{refined_1}，F_{refined_2}，F_{refined_3}和F_{refined_4}聚合，对聚合后的特征进行1×1卷积后进一步使用通道注意力模块精炼特征；

S13：特征通道划分模块采用串联组成，将模块最后的输出特征作为后一个特征通道划分模块的输入，其中最后特征通道划分模块的输出将作为重建模块的输入。

Claims (4)

1.一种基于特征通道划分的图像超分辨率重建方法，其特征在于，具体步骤包括：

S1、构建图像超分辨率重建模型，图像超分辨率重建模型包括特征提取模块、非线性特征映射模块和重建模块；特征提取模块、非线性特征映射模块和重建模块串联；特征提取模块用于输入的低分辨率图像提取浅层特征作为非线性特征映射模块的输入；非线性特征映射模块用于对输入的浅层特征进行提取信息，得到深层特征并送入重建模块；重建模块用于将输入的深层特征提取信息后通过亚像素卷积生成残差图像与低分辨率图像使用最近邻插值法上采样后获得的图像相加获得高分辨率图像；

所述非线性特征映射模块由n个串联的特征通道划分模块组成，前一个特征通道划分模块的输出特征作为后一个特征通道划分模块的输入，其中最后一个特征通道划分模块的输出特征将作为重建模块的输入；

每个特征通道划分模块用于使用特征通道划分对输入特征进行分别处理，充分利用特征的信息，其主体结构包括1个初始特征处理模块、3个通道划分子模块、3个残差块、1个聚合模块和1个通道注意力模块；初始特征处理模块用于对输入的浅层特征进行3×3卷积后输入通道划分子模块；每个通道划分子模块用于对输入的图像特征使用通道划分，获得待精炼特征F_reserved和待处理粗特征F_coarse，对获得的F_reserved用1×1残差块对其进行精炼获得精炼特征F_refined，并输出到聚合模块；对获得的F_coarse进行3×3卷积后作为下一个通道划分子模块的输入；最后一个通道划分子模块获得的F_coarse进行3×3卷积后得到精炼特征F_refined，并输出到聚合模块；聚合模块用于将所有的F_refined特征聚合，聚合后的特征经过1×1卷积后输入通道注意力模块；通道注意力模块用于对输入的特征进行精炼并输出特征；

S2、构建训练集；

S3、训练图像超分辨率重建模型，用步骤S2的训练集对步骤S1的图像超分辨率重建模型进行训练，包括设置损失函数、权重更新算法和设置学习率；

S4、将待处理的图像输入到训练后的图像超分辨率重建模型，输出得到重建后的高分辨率图像。

2.根据权利要求1所述的基于特征通道划分的图像超分辨率重建方法，其特征在于，所述特征提取模块采用3×3卷积对输入的低分辨率图像提取浅层特征后输入非线性特征映射模块，同时将RGB通道转化为n通道。

3.根据权利要求1所述的基于特征通道划分的图像超分辨率重建方法，其特征在于，步骤S2具体为：将训练数据中高分辨率裁减192×192大小图片，低分辨率按超分辨率倍数缩小；同时，对训练数据进行旋转，翻转进行数据增强，得到训练集。

4.根据权利要求1所述的基于特征通道划分的图像超分辨率重建方法，其特征在于，步骤S3的具体训练过程如下：

S31、预训练模型：首先训练放大倍数为2的超分辨率模型，对于放大倍数为3或4模型，使用放大倍数为2的模型参数初始化网络；

S32、设置损失函数：使用L1范数损失函数，公式为：

其中θ代表模型的参数，代表将低分辨率图像输入模型后重建的高分辨率图像，代表真实图像，||*||₁代表L1损失；

S33、权重更新算法：使用Adam算法作为网络优化器，其初始参数设置为β₁＝0.9，β₂＝0.99，ε＝0.99；

S34、学习率设置：初始学习率设置为2×10^-4，并每200个批次学习率减半；

S35、在训练1000批次后模型得到收敛，获得最优的图像超分辨率重建***。