CN115587934A - 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及*** - Google Patents
基于损失分类与双分支网络的图像超分辨率重建和去雾方法及*** Download PDFInfo
- Publication number
- CN115587934A CN115587934A CN202211272767.0A CN202211272767A CN115587934A CN 115587934 A CN115587934 A CN 115587934A CN 202211272767 A CN202211272767 A CN 202211272767A CN 115587934 A CN115587934 A CN 115587934A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- super
- loss
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 17
- 230000008447 perception Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000007547 defect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 102100039939 Growth/differentiation factor 8 Human genes 0.000 description 2
- 108050006583 Growth/differentiation factor 8 Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于损失分类与双分支网络的图像超分辨率重建和去雾方法及***，其方法包括步骤：S1、输入待超分辨率重建或待去雾图像与其对应的真实参考图像，并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切；S2、构建双分支网络模型进行训练，并采用编码器‑解码器网络，通过损失分类器和约束函数进行训练；S3、将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。本发明采用双分支网络结构，提出了损失分类器的方法，实现双分支中的第一分支侧重平滑区域，而第二分支侧重边缘区域，解决了端对端网络在边缘区域效果不佳的缺点，提高最终结果图的视觉效果。
Description
技术领域
本发明涉及数字图像处理与计算机视觉技术领域，尤其涉及基于损失分类与双分支网络的图像超分辨率重建和去雾方法及***。
背景技术
数字图像是人们无时无刻都在接触的信息媒介，特别是在移动互联网时代的背景下，数字图像成为优质内容所必不可少的一部分。
然而，受限于网络传输速率、成像环境、记录设备、传输介质和处理方法等多方面的因素，数字图像最终总是会伴有一定程度的失真。因此，如何在有限的硬件设施和传输受损的情况下最大程度的提升图像分辨率并以此来改善图像质量成为问题的关键。将一张低分辨率的图像通过一定算法而获取到对应的高分辨图像的技术被称作超分辨率重建技术，通过这种技术可以突破成像硬件的分辨率限制、弥补图像传输和压缩过程中的像素损失。
另一方面，人们在户外拍照往往会遇到有雾天气，在这种天气下拍摄的数字图像，往往会因为图像中的雾的遮挡，往往不能分辨出雾后的景象与物体，其次由于雾的影响，图像还可能会出现对比度低、色彩偏移、视觉效果差等退化问题。因此，如何将幅有雾图像去除雾的效应获得更为清晰的无雾图像则是计算机视觉领域的一个重要挑战。
现有主流的图像超分辨率重建和图像去雾的方法大部分都是针对单幅图像的端对端超分辨率重建或去雾网络，基于深度学习在图像视觉领域上的成功，这些方法往往能够达到不错的视觉效果。
上述端到端的方法一般是将一张图像作为输入，输入到一个训练好的网络后即可得到结果图，这样的结果图往往可以在平滑区域拥有一定的视觉效果，但在边缘丰富的区域的视觉效果往往不佳，比如在去雾任务中，边缘部分就会残留雾的效应，而在图像超分辨率中，边缘部分就易更为模糊。以往的网络为了获得更好的细节一般是通过加深网络或添加密集连接等方式，这样的方法在消耗更多的计算资源的同时所带来的视觉效果的改善也极其有限。
发明内容
为解决现有技术所存在的技术问题，本发明提供基于损失分类与双分支网络的图像超分辨率重建和去雾方法及***，该方法既可以完成超分辨率重建任务也能完成图像去雾任务；该方法拥有两个分支，在训练的过程中利用损失分类器将第一分支中初步超分辨率重建或去雾的图像划分平滑部分和边缘部分，并生成一个掩膜，通过掩膜可以提取该分支的获得图像的平滑区域和第二分支获得的图像中的边缘区域，二者结合形成更好的超分辨率重建或去雾图像；在训练过程中通过对结合而成的图像的约束可以自然使得双分支网络中的第一个分支对平滑区域拥有不错的超分辨率重建或去雾能力，同时，保证第二个分支也能对边缘区域有较好的视觉效果；该方法最后再通过特征融合的方式，进一步获取最佳的超分辨率重建或去雾图像。
本发明方法采用以下技术方案来实现：基于损失分类与双分支网络的图像超分辨率重建和去雾方法，包括以下步骤：
S1、准备好待超分辨率重建或待去雾图像与其对应的真实参考图像，输入图像并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切，进行数据增强操作；
S2、构建双分支网络模型并进行训练，该双分支网络模型采用的是编码器-解码器网络，通过损失分类器和约束函数进行训练；
S3、将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。
本发明***采用以下技术方案来实现：基于损失分类与双分支网络的图像超分辨率重建和去雾***，包括：
预处理模块，用于输入准备好的待超分辨率重建或待去雾图像与其对应的真实参考图像，并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切，进行数据增强操作；
模型训练模块，用于构建双分支网络模型并进行训练，该双分支网络模型采用的是编码器-解码器网络，通过损失分类器和约束函数进行训练；
模型应用模块，用于将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明采用双分支网络结构，创新性提出了损失分类器的方法，实现双分支中的第一分支侧重平滑区域，而第二分支侧重边缘区域，由此解决了以往端对端网络在边缘区域效果不佳的缺点，提高最终结果图的视觉效果。
2、本发明适用于多种任务，相较于以往的网络其仅仅在图像去雾或者图像超分辨率重建上有效果，本发明既能用在图像去雾上，也能在图像超分辨率重建上获得较好的效果；其次，在图像超分辨率重建的应用中，可以超分辨率重建任意倍数，对比以往的超分辨率重建网络其受制于网络机构往往只能进行2倍或4倍超分辨率重建，本发明提供的***可以进行1倍乃至任意倍数的超分辨率重建。
附图说明
图1是本发明的方法流程图；
图2是本发明的方法具体步骤流程图；
图3是本发明的双分支网络中一个分支上的具体结构示意图；
图4是本发明的双分支网络中的各层网络的具体结构示意图；
图5是本发明的损失分类器工作示意图；
图6是本发明在训练过程中的网络示意图；
图7是本发明在应用过程中的网络示意图；
图8是本发明的超分辨率重建***在训练过程中损失分类器生成的平滑掩膜图Mask的灰度示意图；
图9(a)是本发明的超分辨率重建***在训练过程中第一分支生成的初步超分辨率重建图的示意图；
图9(b)是本发明的超分辨率重建***在训练过程中第二分支生成的初步超分辨率重建图的示意图；
图10(a)是本发明的超分辨率重建***在应用阶段生成的超分辨率重建输入图示意图；
图10(b)是本发明的超分辨率重建***在应用阶段生成的超分辨率重建结果图示意图；
图11是本发明的图像去雾***在训练过程中损失分类器生成的平滑掩膜图Mask的灰度示意图；
图12(a)是有雾示意图；
图12(b)是真实参考图GT；
图12(c)是DCP方法输出去雾示意图；
图12(d)是AOD方法输出去雾示意图；
图12(e)是GDN方法输出去雾示意图；
图12(f)是本发明方法输出去雾示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1、图2所示，本实施例基于损失分类与双分支网络的图像超分辨率重建和去雾方法，包括以下步骤：
S1、准备好待超分辨率重建或待去雾图像与其对应的真实参考图像，输入图像并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切，进行数据增强操作；
S2、构建双分支网络模型并进行训练，该双分支网络模型采用的是编码器-解码器网络，通过损失分类器和约束函数进行训练；
S3、将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。
具体地，本实施例中，待超分辨率重建或待去雾图像与其对应的真实参考图像是同尺寸的，且在输入双分支网络模型前作归一化处理，具体来说，将像素值从0到255的区间映射到-1到1的区间中；其次，在训练和应用阶段根据任务的不同对图像做一定的图像预处理。
具体地，本实施例中，双分支网络模型的一个分支可以称为第一分支，另一个分支则称作第二分支，其中的任意一个分支的具体结构，如图3所示，双分支网络模型中的任意一个分支均由若干个特征提取层、残差层、下采样层、上采样层、残差注意力层、特征恢复层构成，各层的具体结构如图4所示。
具体地，双分支网络模型的构建过程具体如下：
S211、将输入的待超分辨率重建或待去雾图像经过一个特征提取层与残差层得到低层次特征，其后该低层次特征再经过三次下采样编码，其中前两次下采样编码为一个下采样层后接一个残差层，第三次下采样编码为一个下采样层后接一个残差注意力层；
S212、在下采样编码中，图像尺寸不断缩小而特征通道数不断增加，故而称为下采样编码，下采样编码后是三次上采样解码，其每次上采样解码为一个上采样层后接一个残差注意力层；在上采样编码过程中，图像尺寸增大而特征通道数减少，此外每次上采样解码的结果与编码器中对应的同尺寸的下采样编码输出结果在通道维度相拼接，作为下一个上采样解码的输入；
S213、将第三次上采样解码的结果与最初的低层次特征再通道维度拼接，并将之输入到特征恢复层，特征恢复层的输出维度为3的图像，该图像即可作为该分支的最终输出。
具体地，双分支网络模型中各层的具体结构如下：
特征提取层由一个卷积层后接一个ReLU激活层构成；
残差层为一个卷积层后接一个ReLU激活层，ReLU激活层后再接一个卷积层，卷积层的输出与残差层的输入相加构成残差；
下采样层是由一个卷积层后接一个ReLU激活层构成；其中，卷积层的Stride设置为2，padding设置为1，卷积核大小为3，由此使得特征图尺寸减半；
上采样层是由一个亚像素上采样层后接一个卷积层，卷积层的输出再经过一个ReLU激活层构成，其中，亚像素上采样层实现了特征图尺寸的放大；
残差注意力层为一个卷积层后接一个ReLU层，ReLU层的输出与卷积层的输入相加构成残差再输入到一个卷积层中，卷积层的输出输入到一个通道注意力层中，通道注意力层的输出再输入到一个像素注意力层中，像素注意力层的输出与整个残差注意力层的输入相加构成一个的大的残差作为整个残差注意力的输出；具体地，通道注意力层首先是一个平均池化层，将每一个特征图池化为1×1的尺寸，其后接一个卷积层降低特征图的通道数，卷积层后接一个ReLU激活层，ReLU激活层后接一个卷积层将特征图的通道数还原为原来数量，卷积层后接一个Sigmoid激活层获得每个特征图的权值，最后将该权值与通道注意力层的输入特征图相乘得到带通道注意力的特征图输出；像素注意力层首先是一个卷积层将特征图的通道数减少，之后接一个ReLU激活层，激活层后再接一个卷积层进一步将特征图的数目减少到1，该卷积结果再接一个Sigmoid激活层获得各个像素的权值，最后将该权值与像素注意力层的输入相乘得到带有像素注意力的特征图输出；
特征恢复层为一个卷积层后接一个Tanh激活层。
具体地，如图5所示，步骤S2中损失分类器通过L1损失划分出输出图像的平滑区域和边缘区域，具体划分过程如下：
S221、将第一分支获得的超分辨率重建或去雾图像a，简称图像a，与训练过程中的真实参考图GT作L1损失，得到LossL1具体公式如下所示：
式中，Ia为图像a；IGT为对应的真实参考图像GT；C、W、H分别为真实无雾图像的通道数、宽和高；x，y，z分别为图像像素的通道数、宽和高；
S222、使用图像a与真实参考图GT逐像素做差获的差的绝对值，得到Loss(x,y,z)；具体的计算公式如下所示：
Loss(x,y,z)＝Ia(x,y,z)-IGT(x,y,z)；
S223、获取到Loss(x,y,z)后，根据其在位置(x,y,z)的值与LossL1进行大小比较，并在相应位置上置1或0，获得掩膜Mask(x,y,z)，具体来说，以平滑掩膜为例，Loss(x,y,z)的值比LossL1小则取1，反之取0；具体平滑掩膜的公式如下所示：
则边缘掩膜表示为1-Mask(x,y,z)；
S224、将平滑掩膜作用于图像a，将边缘掩膜作用于初步超分辨率重建或去雾图像b，简称图像b，二者相加即可得到更佳的超分辨率重建或去雾图像c，简称c；具体的计算过程如下所示：
C(x,y,z)＝A(x,y,z)×Mask(x,y,z)+B(x,y,z)×(1-Mask(x,y,z))，
其中，A(x,y,z)，B(x,y,z)，C(x,y,z)，分别表示图像a、b和图像c；
S225、将双分支网络模型中各分支中的特征恢复层的输入与特征恢复层的输出即初步恢复图像在通道维度上拼接，且一个分支拼接的结果再与另一个分支拼接的结果再次在通道维度上拼接，最后经过一个特征融合层获得最佳超分辨率重建或去雾图像d，简称图像d；其中，特征融合层指的是先经过一个残差注意力层后再经过一个卷积层，最后接一个Tanh激活层，具体拼接过程如图6所示；
S226、获得图像c与图像d后，通过将二者与真实参考图像GT做L1损失与感知损失，并通过神经网络的反向传播机制与梯度下降机制即可训练双分支网络模型，使得其在获得最终结果图像的过程中，即能关注平滑区域也能关注边缘区域。
以图像c为例，其与真实参考图像GT的L1损失的公式如下所示：
式中，Ic为网络输出结果图，IGT为对应的真实参考图像GT，Net为图像双分支网络模型中的一个分支，此例中即是第一分支。
以图像c为例，其与真实参考图像GT的感知损失将采用预训练好的VGG16网络进行计算，计算感知损失时，将网络输出的图像c和真实参考图像GT输入VGG16网络，各自取对应的VGG网络中第5个池化层之前、第4个卷积层之后的两张特征图计算均方误差，具体的计算公式如下所示：
式中，VGG16()的处理过程是将输入图像输入到预训练好的VGG16网络中，并取对应该网络中第5个池化层之前，第4个卷积层之后的两特征图。
因此，在训练过程中的总的损失函数可以表示为如下公式：
Ltotal＝Lmc+λLpc+Lmd+λLpd
式中，Ltotal表示训练过程中总的损失函数；Lmc与Lpc分别表示对图像c做L1损失和做感知损失；Lmd与Lpd分别表示对图像d做L1损失和做感知损失；λ为感知损失和L1损失间的权重参数，当λ设置为0.04的时候，取得效果最好。。
本发明提供的基于损失分类与双分支网络的图像超分辨率重建和去雾方法的在训练阶段完整步骤，如图6所示。
本实施例中，步骤S3为模型的应用，在应用阶段，如图7所示，由于缺少真实参考图像GT，因此不再需要利用损失分类器融合图像a、b获得c的步骤，而直接将通过特征融合获得的图像d作为最终结果图输出。
基于相同的发明构思，本发明还提出了基于损失分类与双分支网络的图像超分辨率重建和去雾***，包括：
预处理模块，用于输入准备好的待超分辨率重建或待去雾图像与其对应的真实参考图像，并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切，进行数据增强操作；
模型训练模块，用于构建双分支网络模型并进行训练，该双分支网络模型采用的是编码器-解码器网络，通过损失分类器和约束函数进行训练；
模型应用模块，用于将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。
具体地，本实施例中，预处理模块分为在模型训练过程中的预处理模块和在模型应用中的预处理模块；具体地，在模型训练过程中，图像的预处理需要将图像进行随机裁切成512×512的固定尺寸，得到训练时的待超分辨率重建或待去雾图像，且随机作水平和垂直的翻转，这样做一方面保证了数据预处理，也做了数据的增强；而在模型应用过程中对待超分辨率重建任务的预处理模块的处理过程是，确定待超分辨率重建图像的超分辨率重建倍数，即明确需要输出的超分辨率重建图像尺寸是保持原尺寸，还是像素尺寸放大2倍或者4倍，如果是后者，则使用双三次插值法对待超分辨率重建图像先行把图像尺寸放大的相应的倍数，如果是前者则不需要；其次，在模型应用阶段还需要对输入网络的待超分辨率重建图像进行尺寸对齐，具体来说对待超分辨率重建图像裁切若干个像素点，使得图像的长和宽分别是8的倍数，裁剪的后的图像尺寸可以用如下公式表示：
Widthnew＝Widthold-(Widthold mod 8),Higthnew＝Higthold-(Higthold mod 8)
式中，Widthold，Higthold分别表示原本待超分辨率重建图像的宽和高，Widthnew，Higthnew分别表示裁切后真实输入到双分支网络的待超分辨率重建图像的宽和高，mod代表取模运算。
进一步地，在模型应用阶段，对待去雾任务的图像预处理过程则使用双三次插值法将尺寸缩放到800×600。
具体地，本实施例中，模型训练模块将预处理好的待超分辨率重建图像或去雾图像输入到双分支网络中，得到初步超分辨率重建图像或去雾图像a与b。利用损失分类器根据初步超分辨率重建图像或去雾图像a与真实参考图GT获得到平滑掩膜Mask与边缘掩膜1-Mask。平滑掩膜Mask的灰度图，如图8、图11所示，可以看到，对于Mask图基本反映出超分辨率重建图像或去雾图像的大致轮廓，其中白色部分属于平滑区域而黑色部分则属于边缘区域。如图5所示，根据获得的平滑掩膜和边缘掩膜可以融合得到更佳超分辨率重建图像或去雾图像c，此外通过如图6所示的方法进行特征融合可以获得最佳的超分辨率重建图像或去雾图像d。在训练过程中，通过对超分辨率重建图像或去雾图像c与超分辨率重建图像或去雾图像d做L1损失和感知损失公式，损失函数的设置与按本发明提供的方法设置一致，具体公式如下所示：
Ltotal＝Lmc+λLpc+Lmd+λLpd，
式中，Ltotal表示训练过程中总的损失函数，Lmc与Lpc分别表示对超分辨率重建图像或去雾图像c做L1损失和做感知损失，Lmd与Lpd分别表示对超分辨率重建图像或去雾图像d做L1损失和做感知损失，λ的值设置为0.04。此后通过神经网络的反向回归和梯度下降机制，则可以使得双分支网络中的第一分支注重对平滑区域超分辨率重建或去雾，而第二分支则注重对边缘区域超分辨率重建或去雾。在经过充分训练之后，如图9(a)、图9(b)所示，可见第一分支的初步超分辨率重建图像a具有超分辨率重建效果但在边缘区域表现不佳，而第二分支的初步超分辨率重建图b则边缘明显更佳锐利，但平滑区域上的色彩没有初步超分辨率重建图a准确。因此，融合二者的图像c明显会是更佳的。
具体地，本实施例中，模型应用模块利用特征融合方法，生成最佳超分辨率重建或去雾图像d，并将之作为最终超分辨率重建或去雾图像输出。
如图10(a)、图10(b)所示，对比了经过本***超分辨率重建后，其相对于双三次插值法获得的同尺寸图即输入图的比较。表1是本***与双三次插值法及一些基于深度神经网络的方法在Set14测试集上的具体的性能比较。可以看到，经过出于本***所使用的双分支网络在处理超分辨率重建问题上，对比双三次和一些端对端的的深度神经网络方法，本***所得出的超分辨率重建图像在视觉指标上是有明显提高的。其中，SSIM越大越好，PI和LPIPS越小越好。具体地，表1如下所示：
表1
| 方法 | SSIM | PI | LPIPS |
| Bicubic | 0.784 | 7.009 | 0.438 |
| SRCNN | 0.804 | 6.358 | 0.414 |
| CSD | 0.845 | 5.890 | 0.305 |
| 本发明方法 | 0.829 | 5.832 | 0.305 |
如图12(a)、图12(b)、图12(c)、图12(d)、图12(e)、图12(f)所示，对比了经过本***去雾后，相对于雾图与真实无雾图的对比效果以及其与其他方法的比较，可以看到，经过本***的去雾后，恢复的去雾图以及非常接近真实无雾图了。如表2所示，本发明在去雾能力上具有很大的优势，相比于传统的暗通道算法(DCP)其在各项指标上都有大幅的提升，且相比于最新的一些算法如MSTN等，如本发明提供的***也有一定的提升，具有相当的可比性。表2中PSNR、SSIM越大越好，FADE越小越好。其中，GCANet、KDDN和MSTN使用原论文中的指标数据。具体地，表2如下所示：
表2
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.基于损失分类与双分支网络的图像超分辨率重建和去雾方法，其特征在于，包括以下步骤：
S1、准备好待超分辨率重建或待去雾图像与其对应的真实参考图像，输入图像并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切，进行数据增强操作；
S2、构建双分支网络模型并进行训练，该双分支网络模型采用的是编码器-解码器网络，通过损失分类器和约束函数进行训练；
S3、将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。
2.根据权利要求1所述的基于损失分类与双分支网络的图像超分辨率重建和去雾方法，其特征在于，双分支网络模型包括第一分支和第二分支，其中任意一个分支均由若干个特征提取层、残差层、下采样层、上采样层、残差注意力层、特征恢复层构成。
3.根据权利要求1所述的基于损失分类与双分支网络的图像超分辨率重建和去雾方法，其特征在于，双分支网络模型的构建过程具体如下：
S211、将输入的待超分辨率重建或待去雾图像经过一个特征提取层与残差层得到低层次特征，其后该低层次特征再经过三次下采样编码，其中前两次下采样编码为一个下采样层后接一个残差层，第三次下采样编码为一个下采样层后接一个残差注意力层；
S212、下采样编码后是三次上采样解码，其每次上采样解码为一个上采样层后接一个残差注意力层；在上采样编码过程中，每次上采样解码的结果与编码器中对应的同尺寸的下采样编码输出结果在通道维度相拼接，作为下一个上采样解码的输入；
S213、将第三次上采样解码的结果与最初的低层次特征再通道维度拼接，并将之输入到特征恢复层，特征恢复层的输出维度为3的图像，将该图像作为该分支的最终输出。
4.根据权利要求2所述的基于损失分类与双分支网络的图像超分辨率重建和去雾方法，其特征在于，双分支网络模型中各层的具体结构如下：
特征提取层由一个卷积层后接一个ReLU激活层构成；
残差层为一个卷积层后接一个ReLU激活层，ReLU激活层后再接一个卷积层，卷积层的输出与残差层的输入相加构成残差；
下采样层是由一个卷积层后接一个ReLU激活层构成；
上采样层是由一个亚像素上采样层后接一个卷积层，卷积层的输出再经过一个ReLU激活层构成，其中，亚像素上采样层用于特征图尺寸的放大；
残差注意力层为一个卷积层后接一个ReLU层，ReLU层的输出与卷积层的输入相加构成残差再输入到一个卷积层中，卷积层的输出输入到一个通道注意力层中，通道注意力层的输出再输入到一个像素注意力层中，像素注意力层的输出与整个残差注意力层的输入相加构成一个的大的残差作为整个残差注意力的输出；其中，通道注意力层首先是一个平均池化层，将每一个特征图池化为1×1的尺寸，其后接一个卷积层降低特征图的通道数，卷积层后接一个ReLU激活层，ReLU激活层后接一个卷积层将特征图的通道数还原为原来数量，卷积层后接一个Sigmoid激活层获得每个特征图的权值，最后将该权值与通道注意力层的输入特征图相乘得到带通道注意力的特征图输出；像素注意力层首先是一个卷积层将特征图的通道数减少，之后接一个ReLU激活层，激活层后再接一个卷积层进一步将特征图的数目减少到1，该卷积结果再接一个Sigmoid激活层获得各个像素的权值，最后将该权值与像素注意力层的输入相乘得到带有像素注意力的特征图输出；
特征恢复层为一个卷积层后接一个Tanh激活层。
5.根据权利要求1所述的基于损失分类与双分支网络的图像超分辨率重建和去雾方法，其特征在于，步骤S2中损失分类器通过L1损失划分出输出图像的平滑区域和边缘区域，具体划分过程如下：
S221、利用第一分支获得的超分辨率重建或去雾图像a，与训练过程中的真实参考图GT作L1损失，得到LossL1具体公式如下所示：
式中，Ia为图像a；IGT为对应的真实参考图像GT；C、W、H分别为真实无雾图像的通道数、宽和高；x，y，z分别为图像像素的通道数、宽和高；
S222、使用图像a与真实参考图GT逐像素做差获的差的绝对值，得到Loss(x,y,z)；具体的计算公式如下所示：
Loss(x,y,z)＝Ia(x,y,z)-IGT(x,y,z)；
S223、获取到Loss(x,y,z)后，根据其在位置(x,y,z)的值与LossL1进行大小比较，并在相应位置上置1或0，获得掩膜Mask(x,y,z)，Loss(x,y,z)的值比LossL1小则取1，反之取0；具体平滑掩膜的公式如下所示：
则边缘掩膜表示为1-Mask(x,y,z)；
S224、将平滑掩膜作用于图像a，将边缘掩膜作用于初步超分辨率重建或去雾图像b，二者相加得到超分辨率重建或去雾图像c，具体的计算过程如下所示：
C(x,y,z)＝A(x,y,z)×Mask(x,y,z)+B(x,y,z)×(1-Mask(x,y,z))，
其中，A(x,y,z)，B(x,y,z)，C(x,y,z)，分别表示图像a、b和图像c；
S225、将双分支网络模型中各分支中的特征恢复层的输入与特征恢复层的输出即初步恢复图像在通道维度上拼接，且一个分支拼接的结果再与另一个分支拼接的结果再次在通道维度上拼接，最后经过一个特征融合层获得最佳超分辨率重建或去雾图像d；其中，特征融合层指的是先经过一个残差注意力层后再经过一个卷积层，最后接一个Tanh激活层；
S226、获得图像c与图像d后，通过将二者与真实参考图像GT做L1损失与感知损失，并通过神经网络的反向传播机制与梯度下降机制训练双分支网络模型，使得其在获得最终结果图像的过程中，获取平滑区域和边缘区域。
6.根据权利要求5所述的基于损失分类与双分支网络的图像超分辨率重建和去雾方法，其特征在于，图像c与真实参考图像GT的L1损失的公式如下所示：
式中，Ic为网络输出结果图，IGT为对应的真实参考图像GT，Net为图像双分支网络模型中的一个分支；
图像c与真实参考图像GT的感知损失将采用预训练好的VGG16网络进行计算，计算感知损失时，将网络输出的图像c和真实参考图像GT输入VGG16网络，各自取对应的VGG网络中第5个池化层之前、第4个卷积层之后的两张特征图计算均方误差，具体的计算公式如下所示：
式中，VGG16()的处理过程是将输入图像输入到预训练好的VGG16网络中，并取对应该网络中第5个池化层之前，第4个卷积层之后的两特征图；
在训练过程中的总的损失函数可以表示为如下公式：
Ltotal＝Lmc+λLpc+Lmd+λLpd
式中，Ltotal表示训练过程中总的损失函数；Lmc与Lpc分别表示对图像c做L1损失和做感知损失；Lmd与Lpd分别表示对图像d做L1损失和做感知损失；λ为感知损失和L1损失间的权重参数。
7.基于损失分类与双分支网络的图像超分辨率重建和去雾***，其特征在于，包括：
预处理模块，用于输入准备好的待超分辨率重建或待去雾图像与其对应的真实参考图像，并进行预处理，对待超分辨率重建或待去雾图像与真实参考图像进行相同尺寸和相同位置的裁切，进行数据增强操作；
模型训练模块，用于构建双分支网络模型并进行训练，该双分支网络模型采用的是编码器-解码器网络，通过损失分类器和约束函数进行训练；
模型应用模块，用于将待超分辨率重建或待去雾图像输入到训练好的双分支网络模型中，通过特征融合的方式获取最终的结果图。
8.根据权利要求7所述的基于损失分类与双分支网络的图像超分辨率重建和去雾***，其特征在于，预处理模块分为在模型训练过程中的预处理模块和在模型应用中的预处理模块；
在模型训练过程中，图像的预处理将图像进行随机裁切成512×512的固定尺寸，得到训练时的待超分辨率重建或待去雾图像，且随机作水平和垂直的翻转；
在模型应用过程中对待超分辨率重建任务的预处理模块的处理过程是，确定待超分辨率重建图像的超分辨率重建倍数，明确输出的超分辨率重建图像尺寸是保持原尺寸，还是像素尺寸放大2倍或者4倍，如果是后者，则使用双三次插值法对待超分辨率重建图像先行把图像尺寸放大的相应的倍数，如果是前者则不需要；其次，在模型应用阶段还需要对输入网络的待超分辨率重建图像进行尺寸对齐，对待超分辨率重建图像裁切若干个像素点，使得图像的长和宽分别是8的倍数，裁剪的后的图像尺寸可以用如下公式表示：
Widthnew＝Widthold-(Widtholdmod 8),Higthnew＝Higthold-(Higtholdmod 8)
式中，Widthold，Higthold分别表示原本待超分辨率重建图像的宽和高，Widthnew，Higthnew分别表示裁切后真实输入到双分支网络的待超分辨率重建图像的宽和高，mod代表取模运算；
在模型应用阶段，对待去雾任务的图像预处理过程则使用双三次插值法将尺寸缩放到800×600。
9.根据权利要求7所述的基于损失分类与双分支网络的图像超分辨率重建和去雾***，其特征在于，模型训练模块将预处理好的待超分辨率重建图像或去雾图像输入到双分支网络中，得到初步超分辨率重建图像或去雾图像a与b；利用损失分类器根据初步超分辨率重建图像或去雾图像a与真实参考图GT获得到平滑掩膜Mask与边缘掩膜1-Mask；根据获得的平滑掩膜和边缘掩膜融合得到超分辨率重建图像或去雾图像c；在训练过程中，通过对超分辨率重建图像或去雾图像c与超分辨率重建图像或去雾图像d做L1损失和感知损失公式，损失函数的具体公式如下所示：
Ltotal＝Lmc+λLpc+Lmd+λLpd，
式中，Ltotal表示训练过程中总的损失函数，Lmc与Lpc分别表示对超分辨率重建图像或去雾图像c做L1损失和做感知损失，Lmd与Lpd分别表示对超分辨率重建图像或去雾图像d做L1损失和做感知损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211272767.0A CN115587934A (zh) | 2022-10-18 | 2022-10-18 | 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211272767.0A CN115587934A (zh) | 2022-10-18 | 2022-10-18 | 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115587934A true CN115587934A (zh) | 2023-01-10 |
Family
ID=84779256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211272767.0A Pending CN115587934A (zh) | 2022-10-18 | 2022-10-18 | 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115587934A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230089280A1 (en) * | 2021-09-17 | 2023-03-23 | Nanjing University Of Posts And Telecommunications | Image haze removal method and apparatus, and device |
-
2022
- 2022-10-18 CN CN202211272767.0A patent/CN115587934A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230089280A1 (en) * | 2021-09-17 | 2023-03-23 | Nanjing University Of Posts And Telecommunications | Image haze removal method and apparatus, and device |
| US11663705B2 (en) * | 2021-09-17 | 2023-05-30 | Nanjing University Of Posts And Telecommunications | Image haze removal method and apparatus, and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN107403415B (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
| Yin et al. | Deep prior guided network for high-quality image fusion | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
| Liu et al. | Learning noise-decoupled affine models for extreme low-light image enhancement | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| Tan et al. | Low-light image enhancement with geometrical sparse representation | |
| CN115587934A (zh) | 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及*** | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| Luo et al. | A fast denoising fusion network using internal and external priors | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
| Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey | |
| Li et al. | RGSR: A two-step lossy JPG image super-resolution based on noise reduction | |
| CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹***及方法 | |
| CN112070676B (zh) | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 | |
| CN115375540A (zh) | 一种基于深度学习算法的太赫兹图像超分辨方法 | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| CN114219738A (zh) | 单幅图像多尺度超分辨重建网络结构及方法 | |
| Kas et al. | DLL-GAN: Degradation-level-based learnable adversarial loss for image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |