CN115760589A - 一种用于运动模糊图像的图像优化方法及装置 - Google Patents

Abstract

本发明公开了一种用于运动模糊图像的图像优化方法，包括：步骤1、根据随机生成的运动轨迹矢量与清晰样本图像集，合成对应的运动模糊图像集，将所述清晰样本图像集和对应的运动模糊图像集组成训练集；步骤2、利用步骤1的训练集，对预构建的生成对抗网络进行训练，获得用于生成无模糊图像的图像优化模型；步骤3、将运动模糊图像输入至步骤2获得的图像优化模型中，输出对应真实的无模糊图像。本发明还提供了一种图像优化装置。本发明提供的方法可以有效优化运动模糊的图像。

Description

一种用于运动模糊图像的图像优化方法及装置

技术领域

本发明涉及图像数据处理领域，尤其涉及一种用于运动模糊图像的图像优化方法及装置。

背景技术

基于图像数据的检测技术在环境检测、农业检测、道路状况评估、土木工程施工监控以及结构健康检测等领域被广泛采用。一般来说，采用无人机等移动测量平台来采集被检测目标的图像数据，具有极大的灵活性和效率优势。但是测量的精度主要取决于无人机获得的图像质量，若图像不够清晰或部分内容比较模糊，则会影响最终结果的准确度，而实际操作中无人机很容易受到外界环境因素影响从而导致采集的图像数据中存在运动模糊的部分。

现有去模糊方法大多数是基于经典的卷积模型，一般都是采用迭代计算的流程，利用图像金字塔自上而下地计算模糊核与消除模糊，但需要消耗大量的计算时间。此外，此类基于卷积模型的方法针对的是在图像全局尺度上均匀的模糊，对于非全局均匀的模糊，如无人机旋转造成的图像旋转运动模糊就很难使用单一模糊核描述，对于场景中物体运动造成的局部模糊更加无法处理。

专利文献CN111275637A公开了一种基于注意力模型的非均匀运动模糊图像自适应复原方法，该方法采用结合注意力机制的条件生成对抗网络，其中生成网络为编解码结构，编码阶段采用密集连接网络提取特征，提高特征利用率，加强特征的传播，并加入视觉注意力机制，使网络对于不同的输入图像能够自适应地调解网络参数，动态去除图像模糊。该方法针对不同模糊程度的区域赋予相应的权重，较以往复原方法的去模糊效果有所提升，但是其输入为单幅图像，图像信息获取来源单一，在去模糊过程中，容易丢失信息，造成不可逆效果，影响最终的复原效果。

专利文献CN114820299A公开了一种非均匀运动模糊超分辨图像复原方法及装置，其方法包括：S1、构建数据集；S2、将预处理的数据集输入至生成器得到初步复原图像；S3、通过鉴别器判别初步复原图像和真实图像，得到判别结果，鉴别器为马尔科夫判别网络；S4、利用损失函数对生对抗网络进行优化，得到性能最优的网络结果，得到最佳复原图像，所述生成对抗网络包括生成器和鉴别器；S5输出复原结果。该方法通过旋转的方式增加图像信息的获取量从而提高最终复原的清晰度，但是该方法对于训练过程中的生成器准确度要求很高，若预处理后的初步复原图清晰度不够则会影响后续模型的训练效果。

发明内容

为了解决上述问题，本发明提供了一种操作简单，模型稳定的图像优化方法，该方法可以有效优化运动模糊的图像。

一种用于运动模糊图像的图像优化方法，包括：

步骤1、根据随机生成的运动轨迹矢量与清晰样本图像集，合成对应的运动模糊图像集，将所述清晰样本图像集和对应的运动模糊图像集组成训练集；

步骤2、利用步骤1的训练集，对预构建的生成对抗网络进行训练，获得用于生成无模糊图像的图像优化模型，所述生成对抗网络包括生成网络和判别网络；

步骤3、将运动模糊图像输入至步骤2获得的图像优化模型中，输出对应真实的无模糊图像。

本发明有别于传统方法，采用模糊核已知的情况下，对模糊图像进行反卷积去噪，从而获得高质量的训练集，同时采用单独网络训练和优化联合损失函数对预构建的生成对抗网络进行训练，引导最终的图像优化模型具有稳健的去模糊能力。

优选的，在步骤1中，所述运动模糊图像集的合成过程具体为：根据随机生成的运动轨迹矢量和对应的二维平面运动轨迹生成模糊核，利用所述模糊核对清晰样本图像集进行模糊计算，获得对应的运动模糊图像集，从而提高训练集的图像质量。

具体的，在步骤2中，所述生成网络用于接收运动模糊图像输入，并经过特征提取与反卷积算法重生对应的清晰图像，所述判别网络用于对重生的清晰图像与清晰样本图像进行真假判定，从而更新生成对抗网络的参数状态。

具体的，所述生成网络包括三通道的模糊图像特征提取器，卷积层，批归一化层以及ReLU层。

具体的，所述判别网络包括判别器，所述判别器由多组卷积和全连接层构成。

优选的，在步骤2中，所述训练包括单独网络训练和优化联合损失函数，保证生成网络和判别网络达到均衡状态。

优选的，在步骤2中，所述训练的具体过程如下：

步骤2-1、冻结判别网络，对生成网络进行3个周期的训练；

步骤2-2、冻结生成网络，对判别网络进行1个周期的训练；

步骤2-3、重复步骤2-1至步骤2-2，直至生成网络的损失函数最小化，判别网络的损失函数最大化。

本发明还提供了一种图像优化装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中执行如上述的图像优化模型；

所述计算机处理器执行所述计算机程序时实现以下步骤：输入运动模糊图像至图像优化模型中，输出对应高清的无模糊图像。

与现有技术相比，本发明的有益效果：

有别于传统方法在模糊核已知的情况下，对模糊图像进行反卷积去噪。本发明基于可训练的生成对抗网络，打破传统卷积模型的限制，引导生成模型具有稳健的去模糊能力，可有效优化具有运动模糊的图像。

附图说明

图1为本发明提出的用于运动模糊图像的图像优化方法的流程示意图；

图2为本实施例提供的生成网络的结构图；

图3为本实施例提供的判别网络的结构图；

图4为消除运动模糊前后的示例图。

具体实施方式

如图1所示，一种用于运动模糊图像的图像优化方法，包括：

步骤1、首先随机生成运动轨迹矢量，它对应物体在二维平面上随机运动后的位置。随后，对这些轨迹进行采样，生成模糊核。清晰图像来自于互联网收集的公开图像。再利用采样得到的模糊核对清晰图像进行模糊运算，得到具有运动模糊特性的图像。

将合成的数据集按照8：2的比例随机分割得到训练集、验证集。

步骤2、构建生成对抗网络，对运动模糊图像和真实清晰图像进行对抗学习；

其中生成对抗网络包括生成网络和判别网络，其中，生成网络用于接收运动模糊图像输入，经过特征提取路径提取图像特征，然后用反卷积网络重建生成对应的清晰图像，判别网络对生成图像和真实清晰图像进行真假判定，从而引导生成网络输出更加真实的无模糊图像；

如图2所示，为生成网络的具体结构图：

在生成网络第一层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为5*5、步长为1、输出维度为32；

在生成网络第二层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为64；

在生成网络第三层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为128；

在生成网络第四层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为256；

在生成网络第五层，依次通过反卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为128；

在生成网络第六层，依次通过反卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为64；

在生成网络第七层，依次通过反卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为32；

在生成网络第八层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为5*5、步长为1、输出维度为3。

如图3所示，为判别网络的具体结构图：

在判别网络第一层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为32；

在判别网络第二层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为64；

在判别网络第三层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为128；

在判别网络第四层，依次通过卷积层、批归一化层和ReLU层，其中卷积层的卷积核为3*3、步长为2、输出维度为256；

在判别网络第五层，通过全连接层和ReLU层，输出维度为1，长度为512；

在判别网络第六层，依次通过全连接层和sigmoid激活层，输出维度为1，长度为2，输出结果为判定输入图像是去模糊图片或真实清晰图片的二分类概率。

建立联合损失函数，表示为生成网络损失和判别网络损失之和。

其中，生成网络的损失为生成网络输出的去模糊图片和真实清晰图片的均方误差；判别网络的损失为判别网络输出的二分类概率与输入图片来源标签的交叉熵。

同时考虑两个损失，可让判别网络对生成网络输出的去模糊图片进行真假判定，进一步促进生成网络的输出更真实的去模糊图片。

训练生成网络时，冻结判别网络，使生成网络的损失函数最小化；训练判别网络时，冻结生成网络，使判别网络的损失函数最大化。

采用随机梯度下降算法作为优化器更新网络参数，权值衰减因子为0.0005，动量为0.9。

初始学习率设为0.001，每个周期后降低到之前的0.95倍，批处理大小为12。

迭代训练过程，追踪训练过程中的两个损失值变化，使得两个网络的损失都收敛。

模型验证时，让生成网络对模糊图片进行去模糊操作，输出去模糊后的图片，与真实清晰图片进行峰值信噪比和结构相似度的计算。

通过与设定的峰值信噪比阈值25和结构相似度阈值0.8进行对比，若模型验证结果均大于两个阈值，则判定生成网络在去模糊任务上具有良好的泛化能力；反之，则持续进行迭代训练，直至验证结果合格。

步骤3、将运动模糊图像输入至步骤2获得的图像优化模型中，输出对应真实的无模糊图像。

本实施例还提供了一种图像优化装置，包括计算机存储器、计算机处理器以及存储在该计算机存储器中并可在该家算计处理器上执行的计算机程序，该计算机存储器中执行如上述的图像优化模型；

该计算机处理器执行该计算机程序时实现以下步骤：输入运动模糊图像至图像优化模型中，输出对应高清的无模糊图像。

如图4所示，图左为输入的运动模糊图像，图右为输出的无模糊图像。

Claims (8)

1.一种用于运动模糊图像的图像优化方法，其特征在于，包括：

步骤1、根据随机生成的运动轨迹矢量与清晰样本图像集，合成对应的运动模糊图像集，将所述清晰样本图像集和对应的运动模糊图像集组成训练集；

步骤2、利用步骤1的训练集，对预构建的生成对抗网络进行训练，获得用于生成无模糊图像的图像优化模型，所述生成对抗网络包括生成网络和判别网络；

步骤3、将运动模糊图像输入至步骤2获得的图像优化模型中，输出对应真实的无模糊图像。

2.根据权利要求1所述的用于运动模糊图像的图像优化方法，其特征在于，在步骤1中，所述运动模糊图像集的合成过程具体为：根据随机生成的运动轨迹矢量和对应的二维平面运动轨迹生成模糊核，利用所述模糊核对清晰样本图像集进行模糊计算，获得对应的运动模糊图像集。

3.根据权利要求1所述的用于运动模糊图像的图像优化方法，其特征在于，在步骤2中，所述生成网络用于接收运动模糊图输入，并经过特征提取与反卷积算法重生对应的清晰图像，所述判别网络用于对重生的清晰图像与清晰样本图像进行真假判定，从而更新生成对抗网络的参数状态。

4.根据权利要求3所述的用于运动模糊图像的图像优化方法，其特征在于，所述生成网络包括三通道的模糊图像特征提取器，卷积层，批归一化层以及ReLU层。

5.根据权利要求3所述的用于运动模糊图像的图像优化方法，其特征在于，所述判别网络包括判别器，所述判别器由多组卷积和全连接层构成。

6.根据权利要求1所述的用于运动模糊图像的图像优化方法，其特征在于，在步骤2中，所述训练包括单独网络训练和优化联合损失函数，保证生成网络和判别网络达到均衡状态。

7.根据权利要求1或6所述的用于运动模糊图像的图像优化方法，其特征在于，在步骤2中，所述训练的具体过程如下：

步骤2-1、冻结判别网络，对生成网络进行3个周期的训练；

步骤2-2、冻结生成网络，对判别网络进行1个周期的训练；

步骤2-3、重复步骤2-1至步骤2-2，直至生成网络的损失函数最小化，判别网络的损失函数最大化。

8.一种图像优化装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中执行如权利要求1所述的图像优化模型；

所述计算机处理器执行所述计算机程序时实现以下步骤：输入运动模糊图像至图像优化模型中，输出对应高清的无模糊图像。

Images