CN112669214A - 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种基于交替方向乘子算法的模糊图像超分辨率重建方法。本发明通过构造一个正向的观察模型使退化后的低分辨率图像能够更接近真实场景中的有退化低分辨率图像，并且搭建了基于交替方向乘子算法的模糊图像超分辨重建模型，将图像去模糊过程与获取高质量特征图过程分离，获得了更好的模糊图像超分辨重建效果。该方法相比于直接进行双三次插值下采样进行超分辨率重建方法，更能处理真实场景下低分辨率图像重建。

Description

一种基于交替方向乘子算法的模糊图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种交替方向乘子算法的模糊图像超分辨率重建方法。

背景技术

超分辨率技术是将给定的低分辨率图像或图像序列转化为对应的高分辨率图像或图像序列。低分辨率图像清晰度较低、细节较少经过超分辨率算法处理后的高分辨率图像细节清晰、纹理丰富的同时，能在整体结构上与低分辨率图像一致。从而在不影响图像整体内容的情况下，使人们对于图像的感官感受获得了极大提升。图像超分辨重建技术有着重要的价值，在安防监控、医疗图像、影视制作、卫星成像等领域都有着广泛的应用。

然而，大多超分辨方法通过对高分辨率图像进行双三次插值下采样得到对应的低分辨率图像。图像采集过程通常会经历自然的空间分辨率损失。这种自然损耗主要是由光学畸变、物体移动、不正确的聚焦、快门速度的限制、传输过程中出现的噪声、传感器内的噪声以及传感器的密度不佳等问题造成获取的图像由于噪声、模糊以及欠采样效应而劣化，因此基于双三次插值方法训练的深度学习模型无法很好的处理真实图像超分辨率重建的问题。

发明内容

本发明要解决的问题是针对上述技术的不足，提供了一种基于交替方向乘子法的模糊图像的超分辨率重建方法，解决深度学习模型处理真实图像超分辨率重建问题。

本发明的具体技术方案如下：

一种基于交替方向乘子算法的模糊图像超分辨率重建方法，包括步骤如下：

步骤1：构建低分辨率图像和原始高分辨率图像图像对的仿真数据集；

步骤2：步骤2：搭建基于交替方向乘子算法的图像超分辨重建模型，网络模型分为两部分，分别为逐步精化网络和去模糊网络，最后使用亚像素卷积模块实现从特征图重建为高质量图像的过程。

步骤2.1：搭建逐步精化网络，以获得图像的粗糙特征和细节特征；细节特征视为不断进行卷积操作提取得到的高频特征，这部分特征用于合成高质量图像的特征图，粗糙特征沿着通道方向连接，进入去模糊网络；根据输入特征F_input，这一过程表示为：

其中，F_coarse表示粗糙特征，F_refined表示细节特征，C表示卷积操作，Split表示通道拆分操作，Concat表示通道连接操作；

步骤2.2：搭建针对粗糙特征的去模糊网络，针对粗糙特征去模糊，选取交替方向乘子法作为优化方法，交替方向乘子法是图像处理中最常用的凸优化方法之一。它将原始非线性问题的优化转换为寻找经典拉格朗日函数的鞍点问题。

已知含有粗糙特征的模糊图像

模糊核

下采样因子s和噪声水平σ，为求解含有粗糙特征的去模糊图像

基于最大后验概率理论，转化为求解以下方程：

步骤2.2.1：首先引入一个辅助变量z，得到等价的约束优化公式：

步骤2.2.2：再将所述优化问题转化为无约束问题，利用增广拉格朗日函数得到以下方程：

步骤2.2.3：最后将求解拉格朗日函数的鞍点问题转化为以下三个子问题:

步骤2.2.4：假设在圆形边界条件下卷积，公式(6)利用快速傅里叶变换(FFT)求解：

其中，F(·)表示快速傅里叶变换，F^-1(·)表示逆变换，

是F(·)的共轭复数；

步骤2.2.5：令

公式(7)和(8)表示为：

为含有粗糙特征的模糊图像，公式(10)表示为在先验假设的条件下，去除噪声水平为

的含有有粗糙特征的模糊图像，并最小化

和

之间的残差；得到不含粗糙特征的特征图。

步骤2.3：搭建亚像素卷积模块，从步骤2.2得到的不含粗糙特征的特征图重建为高质量图像；

步骤3：训练整个图像超分辨率重建网络，直至网络收敛。

进一步地，上述步骤1：构建低分辨率图像和原始高分辨率图像图像对的仿真数据集：结合图像采集的退化过程，将高分辨率图像的退化过程表示如下公式：

其中，

表示2D卷积，

表示模糊核，

表示加性噪声和↓_s表示下采样，

为高分辨率图像，

为与高分辨率图像对应的低分辨率图像。

步骤1.1：在模糊处理中仅考虑各向同性高斯模糊核，在2,3,4倍超分辨倍率下，模糊核宽度范围设置为[0.2,2]，[0.2,3]和[0.2,4]。构建具有模糊退化的低分辨率图像。

步骤1.2：退化模型使用的双三次插值方式对具有模糊退化的低分辨率图像进行下采样。通过构造采样权重矩阵，以每个像素邻近的16个像素点为采样点，采样跨步大小为下采样倍率的2,3,4倍。

步骤1.3：由于传输过程中出现的噪声、传感器内的噪声可能导致成像过程中出现噪声。退化模型中通过加性白高斯噪声对此过程进行建模。使用均值为0，方差范围为[0,15]的加性白高斯噪声对图像进行退化。

步骤1.4：将低分辨率图像和对应的高分辨率图像随机剪裁。低分辨率图像块大小为48×48×3，在2,3,4倍超分辨倍率下，对应的高分辨率图像块大小分别为96×96×3、144×144×3、192×192×3。

步骤1.5：对图像块进行数据增强处理，通过旋转和翻转操作，扩大训练数据集。

本发明的有益效果为，基于交替方向乘子算法的模糊图像超分辨率重建方法在PSNR指标上具有更好的性能。该方法相比于直接进行双三次插值下采样进行超分辨率重建方法，更能处理真实场景下低分辨率图像重建。

附图说明

图1是本发明的网络架构。

图2是本发明的逐步精化网络结构图。

图3是本发明的针对粗糙特征的去模糊网络结构。

图4是本发明的超分辨率重建效果图。

具体实施方式

下面结合附图对本发明的具体实施做详细说明。

本实施方式的方法，软件环境为Ubuntu16.04***，深度学习框架为PyTorch。

步骤1：使用Urban100作为训练数据，其中包括90张训练集和10张交叉验证集。通过建立的退化模型构建低分辨率图像和高分辨率图像对进行端到端的训练。在2,3,4倍超分辨倍率下，模糊核宽度范围设置为[0.2,2]，[0.2,3]和[0.2,4]；模糊核大小固定为15×15像素；在下采样方式上，使用双三次插值方式进行下采样；对于退化噪声，使用均值为0，方差范围为[0,15]的加性白高斯噪声。

步骤2：搭建基于卷积神经网络的图像超分辨模型。网络架构如图1所示。

步骤2.1：在逐步精化网路中，采用3×3卷积层提取输入特征，扩大图片通道数，卷积层结果使用LeakyReLU函数进行激活。随后，在卷积的基础上对通道拆分，拆分后的特征分为两部分：粗糙特征、细节特征，细节特征继续进行卷积操作进行特征提取，粗糙特征保留。最后，细节特征视为不断进行卷积操作提取得到的高频特征，这部分特征用于合成高质量图像的特征图，粗糙特征沿着通道方向连接，进入去模糊网络。逐步精化网络结构，如图2所示。逐步精化网络各层结构及详细参数如下表1所示：

表1逐步精化网络各层结构及详细参数

步骤2.2：针对粗糙特征的去模糊网络中，设置总迭代次数为6次。先利用快速傅里叶变换预计算出初始值

在代码实现中，快速傅里叶变换和其逆变换分别用PyTorch中torch.rfft()和torch.irfft()。其次将去模糊过程和更新残差过程结合采用残差网络实现。在每次迭代中，λ初始值设置为0.05，参数μ初始值设置为0.01，随着迭代次数增加μ不断增大直至收敛。针对粗糙特征的去模糊网络结构如图3所示。

步骤2.3：搭建亚像素卷积模块，从步骤2.2得到的不含粗糙特征的特征图重建为高质量图像。亚像素卷积模块由两个3×3卷积层和一个上采样层构成，第一个卷积层将特征图的维度从C×H×W转换为(s²C)×H×W，其中，C表示特征图通道数，H表示特征图高度，W表示特征图宽度；上采样层采用像素重排列的方式将特征图的维度从(s²C)×H×W转换为C×sH×sW，其中s表示超分辨放大倍率，第二个卷积层将特征图转换为RGB色彩图像，输出最终的超分辨结果。

步骤3：在训练过程中，设置学习率初始化为0.0001，学习率衰减步长为200，衰减率为0.5；设置损失函数为MSE损失；选择Adam算法优化各层网络参数。重建效果如图4所示。

步骤4：在测试过程中，由于基于卷积神经网络的图像超分辨模型采用残差模块，因此选择SR-ResNet作为对比模型；测试数据使用Set5和Set14；模糊核宽度设置为2.6；在超分辨×4任务上测试PSNR指标。当SR-ResNet模型处理模糊核宽度为2.6的Set5和Set14数据集时，PSNR值分别为24.615、23.046，而基于卷积神经网络的图像超分辨模型处理模糊核宽度为2.6的Set5和Set14数据集时，PSNR值分别为29.425、26.340。

综上所述，基于交替方向乘子算法的模糊图像超分辨率重建方法在PSNR指标上具有更好的性能。该方法相比于直接进行双三次插值下采样进行超分辨率重建方法，更能处理真实场景下低分辨率图像重建。

Claims (3)

1.一种基于交替方向乘子算法的模糊图像超分辨率重建方法，其特征在于，包括以下步骤，

步骤1：构建低分辨率图像和原始高分辨率图像图像对的仿真数据集；

步骤2：搭建基于卷积神经网络的图像超分辨模型；

步骤2.1：搭建逐步精化网络，以获得图像的粗糙特征和细节特征；细节特征视为不断进行卷积操作提取得到的高频特征，这部分特征用于合成高质量图像的特征图，粗糙特征沿着通道方向连接，进入去模糊网络；根据输入特征F_input，这一过程表示为：

其中，F_coarse表示粗糙特征，F_refined表示细节特征，C表示卷积操作，Split表示通道拆分操作，Concat表示通道连接操作；

步骤2.2：搭建针对粗糙特征的去模糊网络，针对粗糙特征去模糊，选取交替方向乘子法作为优化方法：已知含有粗糙特征的模糊图像

模糊核

下采样因子s和噪声水平σ，为求解含有粗糙特征的去模糊图像

基于最大后验概率理论，转化为求解以下方程：

步骤2.2.1：首先引入一个辅助变量z，得到等价的约束优化公式：

步骤2.2.2：再将所述优化问题转化为无约束问题，利用增广拉格朗日函数得到以下方程：

步骤2.2.3：最后将求解拉格朗日函数的鞍点问题转化为以下三个子问题：

步骤2.2.4：假设在圆形边界条件下卷积，公式(6)利用快速傅里叶变换求解：

其中，F(·)表示快速傅里叶变换，F^-1(·)表示逆变换，

是F(·)的共轭复数；

步骤2.2.5：令

公式(7)和(8)表示为：

为含有粗糙特征的模糊图像，公式(10)表示为在先验假设的条件下，去除噪声水平为

的含有有粗糙特征的模糊图像，并最小化

和

之间的残差；得到不含粗糙特征的特征图；

步骤2.3：搭建亚像素卷积模块，从步骤2.2得到的不含粗糙特征的特征图重建为高质量图像；

步骤3：训练整个图像超分辨率重建网络，直至网络收敛。

2.根据权利要求1所述的基于交替方向乘子法的模糊图像的超分辨率重建方法，其特征在于，构建低分辨率图像和原始高分辨率图像图像对的仿真数据集，按如下步骤进行：

结合图像采集的退化过程，将LR图像的退化过程表示如下公式：

其中，

表示2D卷积，

表示模糊核，

表示加性噪声和↓_s表示下采样，

为高分辨率图像，

为与高分辨率图像对应的低分辨率图像；

步骤1.1：在模糊处理中仅考虑各向同性高斯模糊核，在2,3,4倍超分辨倍率下，模糊核宽度范围设置为[0.2,2]，[0.2,3]和[0.2,4]，构建具有模糊退化的低分辨率图像；

步骤1.2：退化模型使用的双三次插值方式对高分辨率图像进行下采样；通过构造采样权重矩阵，以每个像素邻近的16个像素点为采样点，采样跨步大小为下采样倍率的2,3,4倍；

步骤1.3：退化模型中通过加性白高斯噪声对此过程进行建模，使用均值为0，方差范围为[0,15]的加性白高斯噪声对图像进行退化；

步骤1.4：将低分辨率图像和对应的高分辨率图像随机剪裁；低分辨率图像块大小为48×48×3，在2,3,4倍超分辨倍率下，对应的高分辨率图像块大小分别为96×96×3、144×144×3、192×192×3；

步骤1.5：对图像块进行数据增强处理，通过旋转和翻转操作，扩大训练数据集。

3.根据权利要求1所述的基于交替方向乘子法的模糊图像的超分辨率重建方法，其特征在于，所述步骤3按如下步骤进行：

步骤3.1：在训练过程中，设置学习率初始化为0.0001，学习率衰减步长为200，衰减率为0.5；

步骤3.2：设置损失函数为MSE损失；

步骤3.3：选择Adam算法优化各层网络参数。

Images