CN115131210B - 基于精准核估计的交替优化图像盲超分辨率重建方法 - Google Patents
基于精准核估计的交替优化图像盲超分辨率重建方法 Download PDFInfo
- Publication number
- CN115131210B CN115131210B CN202210744814.0A CN202210744814A CN115131210B CN 115131210 B CN115131210 B CN 115131210B CN 202210744814 A CN202210744814 A CN 202210744814A CN 115131210 B CN115131210 B CN 115131210B
- Authority
- CN
- China
- Prior art keywords
- resolution image
- degradation
- low
- convolution
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000015556 catabolic process Effects 0.000 claims abstract description 73
- 238000006731 degradation reaction Methods 0.000 claims abstract description 73
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于精准核估计的交替优化图像盲超分辨率重建方法，该方法在网络头部采用模糊核估计模块，接着将估计器和恢复器交替迭代作为推理的过程，将低分辨率图像输入到网络中，网络输出对应的高分辨率图像以及对应的模糊核。使用该方法可以在未知图像的退化方式的情况下生成质量更高的图像。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于精准核估计的交替优化图像盲超分辨率重建方法。
背景技术
图像的超分辨率重建是将图像从低分辨率的图像(Low resolution,LR)估计得到高分辨率图像(High resolution,HR)的过程，图像超分辨率重建是计算机视觉里的一个经典的不适定问题，在最近的研究中，卷积神经网络在图像超分辨率重建上取得了显著的效果[1-4]。但是这些方法对于图像的下采样方式采用的是预先定义为双三次插值的方式。尽管在这种方式下，网络已经能取得非常好的效果，但是在真实场景中，低分辨率图像的下采样方式要比这远远复杂的多。仅仅通过这种理想的假设训练的网络，鲁棒性较差，在其他的下采样方式的低分辨率图像上效果会有很严重的下降，很难满足真实场景的需求。因此让训练出来的网络满足在多种退化方式下来估计高分辨率图像也逐渐成为了人们关注的研究问题。为了让网络在多种退化方式下更好地估计高分辨率图像，SRMD[5]提出将退化信息拉伸至和图片相同维度进行拼接来利用到退化信息指导网络重建图像，但这种方式的缺陷在于这种方法依赖于退化信息的额外输入，因此只有当对低分辨率图像有准确的核估计时才能有保证重建的高分辨率图像的效果。而如果使用了错误的模糊核来引导网络重建图像，则可能导致很严重的性能下滑。因此需要考虑如何估计出更精确的模糊核来指引重建图像。
但模糊核的估计也是一个不适定的问题，仅仅通过低分辨率图像而没有高分辨率图像的信息，是没有办法精确的估计模糊核的信息，而这种模糊核信息上的差异同样也会导致网络的性能不理想。为了缓解这种问题，IKC[6]提出了将模糊核估计和重建图像的两个子网络通过迭代校正的思想协同工作，将两个子问题集成到了一个统一的框架中，首先通过一个模糊核的估计模块模拟退化信息，将退化信息融合进校正器中，在校正器中对求解模糊核和重建图像进行迭代校正，通过迭代校正的方式来生成更精确的模糊核从而得到更好的效果。然而，IKC的这种方式对网络仍然是采取两步分开训练，多个子网络容易陷入局部最优解，并且由于在估计模糊核时没有考虑到高分辨率图像和低分辨率之间的关系可能会限制其网络的性能。尽管都是基于迭代求解的思想，与IKC不同，DAN[7]采取的是将两个模块集合在一起采用端到端的优化方式，使两个子网络相互协同从而获得更好的性能，同时核估计器充分挖掘高分辨率图像和低分辨率图像的关系，拟合出更精确的模糊核信息。DAN的优势在于DAN利用恢复器和估计器模块的子网络都保证了与其各自模块的先验信息产生了紧密联系，但是现有的算法在估计模糊核和估计高分辨率图像时没有考虑到退化信息和图像特征的差异，采用相同的融合策略，本发明使用退化感知模块和仿射模块来对退化信息和图像特征做出更好的适应来提高网络的性能。
可供参考的现有技术文献包括：
[1]Dong C,Loy C C,He K,et al.Image super-resolution using deepconvolutional networks[J].IEEE transactions on pattern analysis and machineintelligence,2015,38(2):295-307.
[2]Kim J,Lee J K,Lee K M.Accurate image super-resolution using verydeep convolutional networks[C].Proceedings of the IEEE conference on computervision and pattern recognition.2016:1646-1654.
[3]Shi W,Caballero J,Huszár F,et al.Real-time single image and videosuper-resolution using an efficient sub-pixel convolutional neural network[C].Proceedings of the IEEE conference on computer vision and patternrecognition.2016:1874-1883.
[4]Dong C,Loy C C,Tang X.Accelerating the super-resolutionconvolutional neural network[C].Proceedings of the European conference oncomputer vision.2016:391-407.
[5]Zhang K,Zuo W,Zhang L.Learning a single convolutional super-resolution network for multiple degradations[C].Proceedings of the IEEEconference on computer vision and pattern recognition.2018:3262-3271.
[6]Gu J,Lu H,Zuo W,et al.Blind super-resolution with iterative kernelcorrection[C].Proceedings of the IEEE conference on computer vision andpattern recognition.2019:1604-1613.
[7]Luo Z,Huang Y,Li S,et al.End-to-end Alternating Optimization forBlind Super Resolution[J].arXiv preprint arXiv:2105.06878,2021.
[8]Liang J,Sun G,Zhang K,et al.Mutual affine network for spatiallyvariant kernel estimation in blind image super-resolution[C].Proceedings ofthe IEEE conference on computer vision and pattern recognition.2021:4096-4105.
[9]Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blinddeconvolution algorithms[C].Proceedings of the IEEE conference on computervision and pattern recognition.2009:1964-1971.
[10]Wang L,Wang Y,Dong X,et al.Unsupervised degradationrepresentation learning for blind super-resolution[C].Proceedings of the IEEEconference on computer vision and pattern recognition.2021:10581-10590.
[11]Agustsson E,Timofte R.Ntire 2017 challenge on single image super-resolution:Dataset and study[C].Proceedings of the IEEE conference oncomputer vision and pattern recognition workshops.2017:126-135.
[12]Lim B,Son S,Kim H,et al.Enhanced deep residual networks forsingle image super-resolution[C].Proceedings of the IEEE conference oncomputer vision and pattern recognition workshops.2017:136-144.
[13]Bevilacqua M,Roumy A,Guillemot C,et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C].BritishMachine Vision Conference,2012.
[14]Zeyde R,Elad M,Protter M.On single image scale-up using sparse-representations[C].International conference on curves and surfaces,2010:711-730.
[15]Huang J B,Singh A,Ahuja N.Single image super-resolution fromtransformed self-exemplars[C].Proceedings of the IEEE conference on computervision and pattern recognition.2015:5197-5206.
[16]Arbelaez P,Maire M,Fowlkes C,et al.Contour detection andhierarchical image segmentation[J].IEEE transactions on pattern analysis andmachine intelligence,2010,33(5):898-916.
[17]Fujimoto A,Ogawa T,Yamamoto K,et al.Manga109 dataset and creationof metadata[C].Proceedings of the 1st international workshop on comicsanalysis,processing and understanding.2016:1-5.。
发明内容
为了对现有技术方案进行进一步改进，本发明的目的在于提供一种基于精准核估计的交替优化图像盲超分辨率重建方法。该方法及***有利于在图像未知退化方式的情况下生成质量更高的图像。
该方法通过估计器和恢复器两个网络模块来处理这核估计和非盲超分辨率重建两个子问题，在估计器模块利用恢复器得来的高分辨率图像来估计模糊核，在恢复器模块利用估计器得来的模糊核来重建图像，两个模块反复交替优化形成端到端的网络。利用仿射模块和退化感知模块使两个子网络能够更充分的利用到彼此的信息来完成各自的任务。实验证明，本发明方法能够有效促进网络生成更好的盲超分辨率重建效果。
为实现上述目的，本发明采用的技术方案是：
一种基于精准核估计的交替优化图像盲超分辨率重建方法，其特征在于，采用的超分辨率重建网络由模糊核估计模块、估计器和恢复器组成；在网络头部采用模糊核估计模块，接着将估计器和恢复器交替迭代作为推理的过程，将低分辨率图像X输入到网络中，网络输出对应的高分辨率图像
进一步地，首先将低分辨率图像X输入所述模糊核估计模块估计低分辨率图像对应退化方式的模糊核；之后交替执行以下两种步骤作为推理的过程：引入估计的模糊核和低分辨率图像X作为恢复器的输入生成高分辨率图像；以及，将高分辨率图像和低分辨率图像X作为估计器的输入生成模糊核，以实现逐步校正结果。
进一步地，所述模糊核估计模块由一个卷积层提取浅层特征，接着经过MANet的互仿射卷积层组成的三个残差块，并由一个跨步卷积作为下采样层和反卷积作为上采样层，并在最后由一个卷积层和池化层构成的模糊核重建模块预测模糊核的信息，使用Softmax将模糊核的总和约束为1。
模糊核估计模块与U-Net相似，在最后的模糊核重建模块运用一个卷积层和池化层来预测模糊核的信息，并添加一个Softmax层对生成的模糊核进行约束使算法得到更好的收敛效果。
进一步地，所述恢复器采用双路退化感知块分成两条支路处理恢复器中的退化信息和低分辨率图像；对于模块的两条支路的输入，将基础输入和条件输入分别定义为低分辨率图像的输入与退化信息的输入，将退化信息通过退化感知卷积将退化信息与低分辨率图像特征产生联系，并将退化感知卷积生成的融合特征经过后续的卷积模块进行特征映射。
进一步地，所述退化感知卷积首先对于条件输入支路先经过卷积处理使其在不同深度的基础输入支路能有不同的特征信息指引图像重建，然后将生成的退化信息通过退化感知卷积将退化信息与低分辨率图像特征产生联系，并将退化感知卷积生成的融合特征经过后续的卷积模块进行特征映射；所述恢复器在堆叠双路退化感知块的过程中，采用残差嵌套的方式，在若干个双路退化感知块之后添加一个长跳跃连接以形成双路退化感知组，以进一步帮助网络稳定训练。
进一步地，所述恢复器采用5个双路退化感知组，并且每个双路退化感知组中堆叠10个双路退化感知块。
进一步地，所述估计器采用双路仿射块，将基础输入和条件输入分别定义为低分辨率图像信息的输入与高分辨率图像信息的输入；对于高分辨率图像特征，利用仿射模块与低分辨率图像特征进行融合。
进一步地，所述双路仿射块分成两条支路分别处理估计器中的高分辨率图像特征和低分辨率图像特征；在估计器中，在若干个双路仿射块之后添加一个长跳跃连接来组成一个双路仿射组。
进一步地，所述估计器其采用1个双路仿射组，并在双路仿射组中堆叠有10个双路仿射块。
具体来说，在网络的起始阶段，首先会将低分辨率图像经过模糊核的估计模块进行估计来生成初始化的模糊核信息。模糊核的估计模块采用类似MANet[8]的网络结构作为初始的模糊核估计网络示。对于初始的模糊核估计由于缺少高分辨率图像信息，采用MANet网络仅从低分辨率图像估计模糊核信息，网络采用U-Net的结构，由卷积层，三个残差块，模糊核的重建模块以及下采样层和上采样层组成。在最后的模糊核重建模块运用用一个卷积层和池化层来预测模糊核的信息并根据文献[9]，将模糊核的总和约束为1时，能使模糊核的算法得到更好地收敛。因此在最后使用Softmax层对模糊核进行约束来生成最终的模糊核。
在恢复器中本发明采用双路退化感知块作为模块的基本模块，为了在子网络中能利用到额外输入的信息，利用两条路径来分别处理。首先对于模块的两条支路的输入，将基础输入和条件输入分别定义为低分辨率图像的输入与退化信息的输入。对于条件输入支路先经过卷积处理使其在不同深度的基础输入支路能有不同的特征信息来指引图像重建，然后将生成的退化信息通过退化感知卷积[10]来将退化信息与低分辨率图像特征产生联系，并将退化感知卷积生成的融合特征经过后续的卷积模块进行特征映射。由于两条支路在处理特征时是相互独立的，因此可以灵活地选择不同大小的卷积核来处理不同维度的特征。
在估计器中本发明采用双路仿射块作为模块的基本模块，在估计器模块中，将基础输入和条件输入分别定义为低分辨率图像信息的输入与高分辨率图像信息的输入。为了保持与低分辨率图像相同的空间维度，高分辨率图像需要经过步长卷积来缩小空间维度，作为条件输入，由于模糊核的估计同样也是一个不适定问题。因此低分辨率图像和高分辨率图像之间的相互关系，是网络可以用于预测模糊核的重要信息。对于估计器来说，采用双路仿射块作为估计器的主要模块，对于高分辨率图像特征，利用仿射模块与低分辨率图像特征进行融合，增强了通道间的交互能力。与恢复器类似，在估计器中在若干个双路仿射块块之后添加一个长跳跃连接来组成一个双路仿射组。
与现有技术相比，本发明具有以下有益效果：通过一个模糊核估计模块精准估计模糊核作为初始化的模糊核，并利用双路退化感知块和双路仿射块更好地适应条件输入。本方法可以实现盲超分辨率重建的功能，从而得到高质量的高分辨率图像。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例中模糊核估计模块的结构示意图。
图2是本发明实施例中双路退化感知块的结构示意图。
图3是本发明实施例中退化感知卷积的结构示意图。
图4是本发明实施例中双路仿射块的结构示意图。
图5是本发明实施例中仿射模块的结构示意图。
图6是本发明实施例中网络的整体结构示意图。
图7是本发明实施例中估计器与恢复器交替优化示意图。
图8是本发明实施例中本方法与其他三种方法的重建结果对比图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供一种基于精准核估计的交替优化图像盲超分辨率重建方法，在网络头部采用模糊核估计模块，接着将估计器和恢复器交替迭代作为推理的过程，将低分辨率图像X输入到网络中，网络输出对应的高分辨率图像
如图1-图7所示，本实施例模糊核估计模块由一个卷积层提取浅层特征，接着经过MANet[8]的互仿射卷积层组成的三个残差块，并由一个跨步卷积作为下采样层和反卷积作为上采样层组成整个模块，并在最后运用用一个卷积层和池化层来预测模糊核的信息，为了得到更好的收敛效果，使用Softmax将模糊核的总和约束为1，以此来得到低分辨率图像对应的退化方式的初步模糊核来进一步帮助恢复器和估计器生成更精确的高分辨率图像和模糊核。
如图3所示，本实施例双路退化感知块分成两条支路来处理恢复器中的退化信息和低分辨率图像，首先对于模块的两条支路的输入，将基础输入和条件输入分别定义为低分辨率图像的输入与退化信息的输入。其中退化感知块卷积DA(Degradation-aware)Conv表示为如图4所示的退化感知卷积。首先对于条件输入支路先经过卷积处理使其在不同深度的基础输入支路能有不同的特征信息来指引图像重建，然后将生成的退化信息通过退化感知卷积将退化信息与低分辨率图像特征产生联系，并将退化感知卷积生成的融合特征经过后续的卷积模块进行特征映射。由于两条支路在处理特征时是相互独立的，因此可以灵活地选择不同大小的卷积核来处理不同维度的特征。最后在堆叠双路退化感知块的过程中，采用残差嵌套的方式，在若干个双路退化感知块之后添加一个长跳跃连接形成双路退化感知组进一步帮助网络稳定训练。其中双路退化感知组也是恢复器网络模块的重要组成部分。在本实施例中，所设计的网络采用了5个双路退化感知组，并且每个双路退化感知组中堆叠了10个双路退化感知块。
如图5所示，本实施例提供的双路仿射块分成两条支路处理估计器中的高分辨率图像特征和低分辨率图像特征，在估计器模块中，为了保持与低分辨率图像相同的空间维度，高分辨率图像需要经过步长卷积来缩小空间维度作为条件输入，由于模糊核的估计同样也是一个不适定问题。因此低分辨率图像和高分辨率图像之间的相互关系，是网络可以用于预测模糊核的重要信息。因此对于估计器来说，采用双路仿射块作为估计器的主要模块，其中Affine表示的仿射模块如图6所示，对于高分辨率图像特征，利用仿射模块与低分辨率图像特征进行融合。比起直接将高分辨率图像特征和低分辨率图像特征直接拼接的方式，利用仿射模块进行特征融合大大节省了计算量，也增强了通道间的交互能力。与双路退化感知组类似，在估计器中在若干个双路仿射块之后添加一个长跳跃连接来组成一个双路仿射组。对于估计器，在本实施例中，所设计的网络采取1个双路仿射组，并在双路仿射组中堆叠有10个双路仿射块。估计器与恢复器的推理过程巧妙地形成了一个闭合回路，可以进行任意次的迭代，这种迭代方式可以有效促进模糊核和SR图像更加精确的预测。
本实施例从DIV2K[11]和Flickr2K[12]收集3450张图片作为训练集。退化设置中模糊核的大小设置为21，并且在训练的过程中，分别从[0.2,4.0]对x4的网络的训练数据的核宽度进行均匀采样，将高分辨率图像经过动态合成生成模糊图片。同时，采用Set5[13]、Set14[14]、Urban100[15]、BSD100[16]和Manga109[17]作为测试集，由于对网络测试的时候，为了公平比较所有的方法，需要固定模糊核参数，同样采用[1.80,3.20]区间统一选择8个固定核宽的模糊核，生成8种不同退化方式的低分辨率图像。在训练时将批次大小(batch size)设定为了40，并都将经过5.5×105次的迭代完成训练。只在网络的最后使用L1作为损失函数来监督学习，并且使用Adam优化器来对参数进行优化，其中β1和β2分别设置为0.9和0.99。对于初始学习率设置为4×10-4，采取每经过1×105的迭代，学习率衰减一半的训练策略。网络使用5个Nvidia Titan XP GPU花费4天时间完成训练。
为了充分研究本实施例方法的有效性，将本发明与当前主流的盲超分辨率重建网络并以Bicubic[18]作为基线方法进行定量比较。分别在前面所提的五个主流数据集和降采样设置方式在x4的情况下进行测试，采用峰值信噪比(PSNR)和结构相似度(SSIM)来衡量SR图像的质量，测试的结果是根据上述方法选择的八种不同退化方式的情况下生成的结果的平均值。见表1所示，考虑本发明是基于DANv2的改进，因此将其命名为DANv3。可以看出，于其他的方法相比在大部分数据集中都表现出了最好的效果，拥有更好的泛化性。
表1
在重建视觉效果方面，如图8所示，本发明与其他三种主流方法通过在不同模糊核退化方式下x4下采样的图像生成结果与上述的主流方法进行视觉比较，由于数据集Urban100中的图片相比于其他数据集有更多的纹理特征。与其余方法相比，本实施例方法生成的纹理特征可以有效缓解这些模糊的伪影，生成更好视觉质量的图像。这得益于本实施例方法中对退化信息更好的估计方式以及对退化信息更充分地利用。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于精准核估计的交替优化图像盲超分辨率重建方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (2)
1.一种基于精准核估计的交替优化图像盲超分辨率重建方法，其特征在于，采用的超分辨率重建网络由模糊核估计模块、估计器和恢复器组成；在网络头部采用模糊核估计模块，接着将估计器和恢复器交替迭代作为推理的过程，将低分辨率图像X输入到网络中，网络输出对应的高分辨率图像
首先将低分辨率图像X输入所述模糊核估计模块估计低分辨率图像对应退化方式的模糊核；之后交替执行以下两种步骤作为推理的过程：引入估计的模糊核和低分辨率图像X作为恢复器的输入生成高分辨率图像；以及，将高分辨率图像和低分辨率图像X作为估计器的输入生成模糊核，以实现逐步校正结果；
所述模糊核估计模块由一个卷积层提取浅层特征，接着经过MANet的互仿射卷积层组成的三个残差块，并由一个跨步卷积作为下采样层和反卷积作为上采样层，并在最后由一个卷积层和池化层构成的模糊核重建模块预测模糊核的信息，使用Softmax将模糊核的总和约束为1；
所述恢复器采用双路退化感知块分成两条支路处理恢复器中的退化信息和低分辨率图像；对于模块的两条支路的输入，将基础输入和条件输入分别定义为低分辨率图像的输入与退化信息的输入，将退化信息通过退化感知卷积将退化信息与低分辨率图像特征产生联系，并将退化感知卷积生成的融合特征经过后续的卷积模块进行特征映射；
所述退化感知卷积首先对于条件输入支路先经过卷积处理使其在不同深度的基础输入支路能有不同的特征信息指引图像重建，然后将生成的退化信息通过退化感知卷积将退化信息与低分辨率图像特征产生联系，并将退化感知卷积生成的融合特征经过后续的卷积模块进行特征映射；所述恢复器在堆叠双路退化感知块的过程中，采用残差嵌套的方式，在若干个双路退化感知块之后添加一个长跳跃连接以形成双路退化感知组，以进一步帮助网络稳定训练；
所述恢复器采用5个双路退化感知组，并且每个双路退化感知组中堆叠10个双路退化感知块；
所述估计器采用双路仿射块，将基础输入和条件输入分别定义为低分辨率图像信息的输入与高分辨率图像信息的输入；对于高分辨率图像特征，利用仿射模块与低分辨率图像特征进行融合；
所述双路仿射块分成两条支路分别处理估计器中的高分辨率图像特征和低分辨率图像特征；在估计器中，在若干个双路仿射块之后添加一个长跳跃连接来组成一个双路仿射组。
2.根据权利要求1所述的基于精准核估计的交替优化图像盲超分辨率重建方法，其特征在于；所述估计器其采用1个双路仿射组，并在双路仿射组中堆叠有10个双路仿射块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210744814.0A CN115131210B (zh) | 2022-06-28 | 2022-06-28 | 基于精准核估计的交替优化图像盲超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210744814.0A CN115131210B (zh) | 2022-06-28 | 2022-06-28 | 基于精准核估计的交替优化图像盲超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131210A CN115131210A (zh) | 2022-09-30 |
| CN115131210B true CN115131210B (zh) | 2023-06-27 |
Family
ID=83379597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210744814.0A Active CN115131210B (zh) | 2022-06-28 | 2022-06-28 | 基于精准核估计的交替优化图像盲超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131210B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| AU2020100275A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | Remote sensing image super-resolution based on multi-dictionary sparse representation with fractal classification |
| CN114170087A (zh) * | 2021-12-15 | 2022-03-11 | 北京工业大学 | 一种基于跨尺度低秩约束的图像盲超分辨率方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541877B (zh) * | 2020-12-24 | 2024-03-19 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、***、设备及介质 |
| CN114202459B (zh) * | 2021-10-26 | 2024-03-22 | 北京工业大学 | 一种基于深度先验的盲图像超分辨率方法 |
| CN114494015B (zh) * | 2022-01-25 | 2024-07-02 | 西安电子科技大学 | 基于盲超分辨率网络的图像重建方法 |
-
2022
- 2022-06-28 CN CN202210744814.0A patent/CN115131210B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| AU2020100275A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | Remote sensing image super-resolution based on multi-dictionary sparse representation with fractal classification |
| CN114170087A (zh) * | 2021-12-15 | 2022-03-11 | 北京工业大学 | 一种基于跨尺度低秩约束的图像盲超分辨率方法 |
Non-Patent Citations (1)
| Title |
|---|
| Deep Progressive Convolutional Neural Network for Blind Super-Resolution With Multiple Degradations;Jun Xiao 等;《2019 IEEE Internatinal Conference on Lmage Processing》;1-16 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131210A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| Matakos et al. | Accelerated edge-preserving image restoration without boundary artifacts | |
| CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| Soh et al. | Deep universal blind image denoising | |
| Dai et al. | Dictionary-based multiple frame video super-resolution | |
| Zhang et al. | Convolutional neural network-based video super-resolution for action recognition | |
| KR102319643B1 (ko) | 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치 | |
| Ahn et al. | Neural architecture search for image super-resolution using densely constructed search space: DeCoNAS | |
| Kim et al. | Task-agnostic vision transformer for distributed learning of image processing | |
| CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN108765517B (zh) | 一种基于凸优化的多张量视觉数据填充方法 | |
| Sagel et al. | Sub-dip: Optimization on a subspace with deep image prior regularization and application to superresolution | |
| Yue et al. | Deep variational network toward blind image restoration | |
| CN115131210B (zh) | 基于精准核估计的交替优化图像盲超分辨率重建方法 | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| KR102057395B1 (ko) | 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 | |
| CN117011130A (zh) | 图像超分辨率的方法、装置、设备、介质及程序产品 | |
| CN116091885A (zh) | 一种基于rau-gan的肺结节数据增强方法 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及*** | |
| CN109087247A (zh) | 一种对立体图像进行超分的方法 | |
| Yang | Super resolution using dual path connections | |
| Wong et al. | Perceptual image super-resolution with progressive adversarial network | |
| Rezayi et al. | Huber Markov random field for joint super resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |