CN111461973A - 一种图像的超分辨率重建方法及*** - Google Patents
一种图像的超分辨率重建方法及*** Download PDFInfo
- Publication number
- CN111461973A CN111461973A CN202010051767.2A CN202010051767A CN111461973A CN 111461973 A CN111461973 A CN 111461973A CN 202010051767 A CN202010051767 A CN 202010051767A CN 111461973 A CN111461973 A CN 111461973A
- Authority
- CN
- China
- Prior art keywords
- attention
- image
- feature
- channel
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 11
- 230000009977 dual effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000005215 recombination Methods 0.000 claims description 5
- 230000006798 recombination Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像的超分辨率重建方法及***，基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征后进行融合，有效的辨识了特征通道信息和位置信息的重要性，并且由于不同深度的特征对于图像超分辨率有着不同的贡献，本发明充分利用并融合不同深度特征，所得图像特征的在保留较大的感受野的同时也保留了更好的细节特征，基于该特征进行重建后，所得图像的超分效果较好。另外，本发明充分挖掘特征之间的联系，缓解了网络过深带来的性能瓶颈问题，且图像的特征表征能力较好，具有鲁棒性。
Description
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种图像的超分辨率重建方法及***。
背景技术
早期的基于差值的图像超分辨率方法虽然简单，效率高，但是在实际应用中的效果却受到很大限制。最近，基于深度卷积神经网络的方法已经获得了超越传统图像超分方法的表现。最早的基于深度卷积神经网络的方法，提出了一个只有三层的图像超分辨率网络，其中包含了浅层特征提取、非线性映射、重建和上采样四个部分，第一次将深度学习引入到图像超分任务中。基于上述网络结构，图像超分辨率网络逐渐加深，通过引入残差学习结构可以将超分网络加深并且有效的保证训练收敛，解决了网络过深带来的训练困难等问题。但是网络还是过浅，重建的效果仍然很差。
随着计算机视觉领域分类任务中证明了更深的网络可以有效提升视觉任务上的表现后，这种有效的残差学习策略被引入到其他许多基于卷积网络的图像超分辨率方法中。主流的图像超分辨率网络都有着非常深和宽的特点，均使用分类网络中的残差模块作为基础模块，并通过去除残差模块中的批量归一化层来节省参数量和计算量用来加深网络，使得图像超分辨率效果取得了巨大的进步。通过堆叠残差模块会虽然使得网络变得很深，但是并没有充分挖掘出提取得到的特征之间的联系，限制了网络的特征表征能力，即使网络继续加深也无法提升的提升网络性能，存在性能瓶颈。此外，仅仅利用单一尺度的特征图进行超分辨率重建，在较大超分倍数的情况下，会存在鲁棒性差的问题。
故为了提高执行速度和性能，现有的图像的超分辨率重建方法中，图像超分辨率网络变得深度而紧凑，采用了更有效的跳跃连接方式这种连接虽然有助于该模型准确、有效地执行图像超分任务，但是由于没有充分利用并融合不同深度的特征信息，特征提取时感受野不足，超分效果较差。此外，基于感知损失和对抗生成网络被应用到图像超分辨率任务中，用于提升超分结果的视觉真实感，但是也会带来更多的虚假细节，限制了实际场景中的应用。
由此可见，现有的图像超分辨方法没有充分利用和融合不同深度的特征信息，超分效果较差；另外，由于现有方法主要关注于增加网络的深度和宽度，没有充分挖掘特征之间的联系，限制了网络的特征表征能力，且网络过深，存在性能瓶颈，鲁棒性较差。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种图像的超分辨率重建方法，其目的在于解决现有技术由于没有充分利用并融合不同层特征信息而导致的超分效果较差的问题。
第一方面，本发明提供了一种图像的超分辨率重建方法，包括以下步骤：
S1、对待处理的低分辨率图像进行分块，得到多个图像块；
S2、基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征，得到各图像块对应的不同深度的特征图；
S3、对各图像块对应的不同深度的特征图进行融合，根据图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块；
S4、将所得的各超分辨率图像块进行重组，得到高分辨率图像。
本发明的有益效果是：本发明基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征后进行融合，有效的辨识了特征通道信息和位置信息的重要性，并且由于不同深度的特征对于图像超分辨率有着不同的贡献，本发明充分利用并融合不同深度特征，所得图像特征的在保留较大的感受野的同时也保留了更好的细节特征，基于该特征进行重建后，所得图像的超分效果较好。
本发明进一步的有益效果是：本发明有效地辨识了特征通道和位置的重要性，充分挖掘特征之间的联系，可以在网络继续加深的时候，提高网络表征能力，缓解了网络过深带来的性能瓶颈问题，且图像的特征表征能力较好，具有鲁棒性。
上述技术方案的基础上，本发明还可以做如下改进。
进一步优选地，上述S2包括以下步骤：
S21、采用卷积神经网络提取图像块的浅层特征，得到浅层特征图；
S22、采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；
其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。
进一步优选地，上述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；
其中，通道注意力模型的输出端与融合层的输入端相连，位置注意力模型的输出端与融合层的输入端相连；
通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；
位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；
融合层用于将所得通道注意力特征和位置注意力特征进行融合。
本发明进一步的有益效果是：在提取图像特征前，先提取图像的浅层特征，浅层特征可以初步提取到图像的细节特征，为后续提取各个深度的特征提供一个更为精细的输入，从而使得所得不同深度的特征图的特征表征效果较好。
进一步优选地，第c个通道的通道注意力初始权重为：
其中，c＝1,2,…,L，L为输入特征图X的通道数，H为输入特征图X的高，W为输入特征图X的宽，Xc(i,j)为输入特征图X第c个通道上第i行第j列的特征值。
本发明进一步的有益效果是：通过引入图像通道注意力特征，可以有效的区分浅层特征图不同通道的重要性，对更重要的特征通道赋予更大的权重，可以更好的对图像进行表征。
进一步优选地，第i行第j列的位置注意力初始权重为：
其中，i＝1,2,…,H,j＝1,2,…,W，H为输入特征图X的高，W为输入特征图X的宽，δ为激活函数，L为输入特征图X的通道数，Xi,j,c为输入特征图X第c个通道上第i行第j列的特征值。
本发明进一步的有益效果是：通过引入位置注意力特征，可以获取特征图不同位置处的浅层特征对图像超分辨率的贡献度，对更重要的特征位置赋予更大的权重，可以更好的对图像进行表征。
进一步优选地，上述S3中对各图像块对应的不同深度的特征图进行融合的方法，包括：对图像块对应的不同深度的特征图在特征通道上拼接后，进行卷积降维，得到融合后的特征图。
本发明进一步的有益效果是：由于低层特征拥有更多的细节信息，高层特征拥有更好的语义信息，对网络重建效果有着不同的作用，利用并融合好不同深度的特征，通过特征信息互补，可以增强特征的丰富度，增强本发明所提出的方法的鲁棒性。
第二方面，本发明提供了一种图像的超分辨率重建***，包括：图像截取模块、特征提取模块、图像重建模块以及图像重组模块；
其中，图像截取模块用于对待处理的低分辨率图像进行分块，得到多个图像块，并输出到特征提取模块中；
特征提取模块用于基于图像的通道注意力机制和位置注意力机制，在不同深度上提取图像截取模块输入的各图像块的特征，得到各图像块对应的不同深度的特征图，并输出到图像重建模块中；
图像重建模块用于对各图像块对应的不同深度的特征图进行融合，根据所需图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块，并输出到图像重组模块中；
图像重组模块用于将图像重建模块输入的各超分辨率图像块进行重组，得到高分辨率图像。
本发明的有益效果是：本发明所提供的***中包括特征提取模块，基于图像的通道注意力机制和位置注意力机制，充分利用并融合了不同深度特征，所得图像特征的在保留较大的感受野的同时也保留了更好的细节特征，基于该特征进行重建后，所得图像的超分效果较好。
进一步优选地，上述特征提取模块包括浅层网络单元和深层网络单元；
浅层网络单元用于采用卷积神经网络提取图像块的浅层特征，得到浅层特征图，并输出到深层网络单元中；
深层网络单元采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；
其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。
进一步优选地，上述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；
其中，通道注意力模型的输出端与所述融合层的输入端相连，位置注意力模型的输出端与融合层的输入端相连；
通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；
位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；
融合层用于将所得通道注意力特征和位置注意力特征进行融合。
第三方面，本发明还提供了一种存储介质，当计算机读取所述指令时，使所述计算机执行本发明第一方面所提供的图像的超分辨率重建方法。
附图说明
图1是本发明实施例1所提供的一种图像的超分辨率重建方法流程图；
图2是本发明实施例1所提供的双注意力卷积神经网络结构示意图；
图3是本发明实施例2所提供的图像超分辨率***示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1、
一种图像的超分辨率重建方法，如图1所示，包括以下步骤：
S1、对待处理的低分辨率图像进行分块，得到多个图像块；
具体的，本实施例中，对待处理的低分辨率图像按照滑动窗口的方式，顺序有重复地截取尺寸大小为H×W的图像块。具体为：对待处理的低分辨率RGB图像以滑动窗口的方式，按照从左往右，从上往下的顺序有重复的截取尺寸大小为H×W的图像块。
S2、基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征，得到各图像块对应的不同深度的特征图；
优选地，包括以下步骤：
S21、采用卷积神经网络提取图像块的浅层特征，得到浅层特征图；具体的，卷积神经网络为浅层卷积神经网络，为1层或者2层卷积神经网络。
S22、采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。
具体的，各双注意力卷积神经网络级联，当前双注意力卷积神经网络的输出作为下一个双注意力卷积神经网络的输入，深度逐渐增加。另外，通道注意力和位置注意力使得本发明能够有效地关注更重要的特征，大大提高了所得不同深度的特征图的表征能力。本实施例将数据集DIV2K中的800张图像作为训练样本集，并对训练样本集中的图像进行水平翻转和90度旋转，从而增加训练样本数量，提高***的鲁棒性，采用该训练样本训练上述深层特征提取网络，并使用ADAM优化器和L1损失函数对网络调优。
优选地，如图2所示，上述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；
其中，通道注意力模型的输出端与融合层的输入端相连，位置注意力模型的输出端与融合层的输入端相连；通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；具体的，采用卷积神经网络对所得通道注意力初始权重进行调整，使其更接近于真实值，本实施例中，卷积神经网络有2层。位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；具体的，采用卷积神经网络对所得位置注意力初始权重进行调整，使其更接近于真实值，本实施例中，卷积神经网络有2层。融合层用于将所得通道注意力特征和位置注意力特征进行融合。
具体的，为了有效区分特征图不同通道的重要性，对更重要的特征通道赋予更大的权重，引入通道注意力机制。优选地，第c个通道的通道注意力初始权重为：
其中，c＝1,2,…,L，L为输入特征图X的通道数，H为输入特征图X的高，W为输入特征图X的宽，Xc(i,j)为输入特征图X第c个通道上第i行第j列的特征值。
为了获取特征图不同位置处的特征对图像超分辨率的贡献度，对更重要的特征位置赋予更大的权重。优选地，第i行第j列的位置注意力初始权重为：
其中，i＝1,2,…,H,j＝1,2,…,W，H为输入特征图X的高，W为输入特征图X的宽，δ为激活函数，L为输入特征图X的通道数，Xi,j,c为输入特征图X第c个通道上第i行第j列的特征值。
将所得通道注意力特征和位置注意力特征进行融合，得到图像块对应的不同深度的特征图如下：
Yd＝Cd+Ad,d＝1,2,…,N
其中，N为双注意力卷积神经网络的级联个数，即深度，Cd为第d个深度下的图像通道注意力特征图，Ad为第d个深度下的图像位置注意力特征图。具体的，对于每一个深度下的图像通道注意力特征图，其第c个通道的通道注意力特征图Cc＝Zc'·Xc，其中，c＝1,2,…,L，L为浅层特征图X的通道数，Zc'为调制后的输入特征图X的第c个通道的通道注意力权重，Xc为输入特征图X的第c个通道。对于每一个深度下的图像位置注意力特征图，其第i行第j列的位置注意力特征值为Ai,j＝Pi,'j·Xi,j，其中，i＝1,2,…,H,j＝1,2,…,W，H为输入特征图X的高，W为输入特征图X的宽，Pi',j为调制后的输入特征图X第i行第j列的位置注意力权重，Xi,j为输入特征图第i行第j列的特征值。
需要说明的是，不同深度的特征对于图像超分辨率任务有着不同的贡献，浅层特征感受野较小，具有细节特征丰富但是语义信息不足的特点；深层特征感受野较大，具有语义信息完整但是细节特征不足的特点。通过融合不同深度的特征图，可以获得更好的细节特征并且保留较大的感受野特征，对于后续的超分辨率图像的重建具有巨大的促进作用。
S3、对各图像块对应的不同深度的特征图进行融合，根据图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块；
优选地，包括以下步骤：
S31、对图像块对应的不同深度的特征图在特征通道上拼接后，进行卷积降维，得到融合后的特征图；
具体的，对应N个不同深度的特征图X1,X2,…,XN，每个特征图的尺寸为H×W×L，其中，H为特征图的高，W为特征图的宽，L为特征图的通道数。先对N个特征图在通道维度上进行拼接，得到拼接后的特征图，其尺寸为H×W×(N×L)，接着使用一层卷积神经网络对拼接后的特征图进行卷积降维，将输出通道数由N×L大小降维至L，得到融合的特征图，其大小为H×W×L。
S32、根据所需图像超分倍数S，对融合后的特征图进行上采样，放大到该特征图的S倍；其中，图像超分倍数S根据实际需求来设置；具体的，可以采用反卷积或者PixelShuffle方法对融合后的特征图进行上采样；
S33、对所得放大后的特征图进行重建得到超分辨率图像块。具体的，对放大后的特征图使用重建网络得到超分辨后的图像块；为了保证算法的效率，本实施例中，重建网络包含两层卷积神经网络，具体的，放大后的特征图为尺寸大小为H'×W'×L，经过重建网络拟合后输出H'×W'×3的RGB图像Y；其中，H'＝S×H，W'＝S×W。训练重建网络时，通过L1损失函数计算输出图像和图像标签的L1范数距离，进而对卷积神经网络的权重参数进行调优。
S4、将所得的各超分辨率图像块进行重组，得到高分辨率图像。
具体的，将所得各超分辨率图像块按照步骤S1中的接取顺序和位置进行拼接操作，得到高分辨率图像。
为了证明采用本发明提供的方法所得的超分辨率图像的超分效果，分别采用本发明所提供的方法、以及现有的Bicubic算法、SRCNN算法、FSRCNN算法、VDSR算法、EDSR算法、RDN算法、RCAN算法，在图像超分辨率四个标准数据集Set5、BSD100、Manga109上进行2X超分实验，得到的结果如下表所示：
其中，评估指标分别为PSNR(峰值信噪比)和SSIM(结构相似性)，这两个值越高，表示所得高分辨率图像与原始待处理的低分辨率图像的细节和结果越相似，超分效果越好。可以看出本发明所提出的方法与其他各算法相比，在不同标准数据集上，PSNR与SSIM的取值均较高，超分效果较好。
实施例2、
一种图像超分辨率***，如图3所示，包括：图像截取模块1、特征提取模块2、图像重建模块3以及图像重组模块4；
其中，图像截取模块1用于对待处理的低分辨率图像进行分块，得到多个图像块，并输出到特征提取模块2中；
特征提取模块2用于基于图像的通道注意力机制和位置注意力机制，在不同深度上提取图像截取模块输入的各图像块的特征，得到各图像块对应的不同深度的特征图，并输出到图像重建模块3中；优选地，上述特征提取模块包括浅层网络单元21和深层网络单元22；其中，浅层网络单元21用于采用卷积神经网络提取图像块的浅层特征，得到浅层特征图，并输出到深层网络单元22中；本实施例中，卷积神经网络为浅层卷积神经网络，为1层或者2层卷积神经网络。
深层网络单元22采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。优选地，上述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；其中，通道注意力模型的输出端与所述融合层的输入端相连，位置注意力模型的输出端与融合层的输入端相连；通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；融合层用于将所得通道注意力特征和位置注意力特征进行融合。
图像重建模块3用于对各图像块对应的不同深度的特征图进行融合，根据所需图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块，并输出到图像重组模块4中；
进一步优选地，图像重建模块3包括多层特征融合单元31、上采样单元32和图像重建单元33；其中，多层特征融合单元31用于对图像块对应的不同深度的特征图在特征通道上拼接后，进行卷积降维，得到融合后的特征图，并输出到上采样单元32中；上采样单元32用于根据所需图像超分倍数S，对多层特征融合单元输入的融合后的特征图进行上采样，放大到该特征图的S倍，并将放大后的特征图输出到图像重建单元33中；图像重建单元33用于对上采样单元输入的放大后的特征图进行重建得到超分辨率图像块。
图像重组模块4用于将图像重建模块3输入的各超分辨率图像块进行重组，得到高分辨率图像。
具体的，本实施例中，将待处理的低分辨率图像输入至图像截取模块1中进行分块，得到多个48*48大小的图像块，并输出到特征提取模块2中；其中，特征提取模块2包括浅层网络单元21和深层网络单元22，其中，浅层网络单元21包括一层卷积神经网络，其卷积核个数为3，卷积核大小为3*3；深层网络单元22包括10个级联的双注意力卷积神经网络。48*48大小的图像块首先经过浅层网络单元21，得到48*48*64大小的浅层特征图，然后经过深层网络单元22得到10个不同深度的特征图x1、x2…、x10。图像重建模块3中的多层特征融合单元31对所得10个不同深度的特征图进行融合，得到融合后的特征图，其大小为48*48*64大小；图像重建模块3中的上采样单元32对融合后的特征图进行上进行2倍超分采样放大，得到96*96*64大小的放大特征图，经过图像重建单元33中的重建网络后得到96*96*3的超分后的图像块；最后在图像重组模块4中将超分后的图像块的进行重组，得到最终超分辨率图像。其中，本实施例将数据集DIV2K中的800张图像作为训练样本集，并对训练样本集中的图像进行水平翻转和90度旋转，从而增加训练样本数量，提高***的鲁棒性，将训练样本输入到图像超分辨率***中，对图像超分辨率***中的网络进行训练，并使用ADAM优化器和L1损失函数对网络调优。
实施例3、
一种存储介质，当计算机读取所述指令时，使所述计算机执行本发明实施例1所提供的图像的超分辨率重建方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像的超分辨率重建方法，其特征在于，包括以下步骤：
S1、对待处理的低分辨率图像进行分块，得到多个图像块；
S2、基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块的特征，得到各图像块对应的不同深度的特征图；
S3、对各图像块对应的不同深度的特征图进行融合，根据图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块；
S4、将所得的各超分辨率图像块进行重组，得到高分辨率图像。
2.根据权利要求1所述的图像的超分辨率重建方法，其特征在于，所述S2包括以下步骤：
S21、采用卷积神经网络提取图像块的浅层特征，得到浅层特征图；
S22、采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；
其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。
3.根据权利要求2所述的图像的超分辨率重建方法，其特征在于，所述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；
所述通道注意力模型的输出端与所述融合层的输入端相连，所述位置注意力模型的输出端与所述融合层的输入端相连；
所述通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；
所述位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；
所述融合层用于将所得通道注意力特征和位置注意力特征进行融合。
4.根据权利要求3所述的图像的超分辨率重建方法，其特征在于，第c个通道的通道注意力初始权重为：
其中，c＝1,2,…,L，L为输入特征图X的通道数，H为输入特征图X的高，W为输入特征图X的宽，Xc(i,j)为输入特征图X第c个通道上第i行第j列的特征值。
5.根据权利要求3所述的图像的超分辨率重建方法，其特征在于，第i行第j列的位置注意力初始权重为：
其中，i＝1,2,…,H,j＝1,2,…,W，H为输入特征图X的高，W为输入特征图X的宽，δ为激活函数，L为输入特征图X的通道数，Xi,j,c为输入特征图X第c个通道上第i行第j列的特征值。
6.根据权利要求1所述的图像的超分辨率重建方法，其特征在于，所述S3中对各图像块对应的不同深度的特征图进行融合的方法，包括：对图像块对应的不同深度的特征图在特征通道上拼接后，进行卷积降维，得到融合后的特征图。
7.一种图像的超分辨率重建***，其特征在于，包括：图像截取模块、特征提取模块、图像重建模块以及图像重组模块；
所述图像截取模块用于对待处理的低分辨率图像进行分块，得到多个图像块，并输出到所述特征提取模块中；
所述特征提取模块用于基于图像的通道注意力机制和位置注意力机制，在不同深度上提取所述图像截取模块输入的各图像块的特征，得到各图像块对应的不同深度的特征图，并输出到所述图像重建模块中；
所述图像重建模块用于对各图像块对应的不同深度的特征图进行融合，根据所需图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块，并输出到所述图像重组模块中；
所述图像重组模块用于将图像重建模块输入的各超分辨率图像块进行重组，得到高分辨率图像。
8.根据权利要求7所述的图像的超分辨率重建***，其特征在于，所述特征提取模块包括浅层网络单元和深层网络单元；
所述浅层网络单元用于采用卷积神经网络提取图像块的浅层特征，得到浅层特征图，并输出到深层网络单元中；
所述深层网络单元采用已训练好的深层特征提取网络，分别在不同深度上提取浅层特征图的通道注意力特征和位置注意力特征，将二者进行融合，得到图像块对应的不同深度的特征图；
其中，所述深层特征提取网络包括N个级联的基于注意力模型的双注意力卷积神经网络，与N个深度一一对应，N为大于等于2的正整数。
9.根据权利要求8所述的图像的超分辨率重建***，其特征在于，所述双注意力卷积神经网络包括通道注意力模型、位置注意力模型和融合层；
所述通道注意力模型的输出端与所述融合层的输入端相连，所述位置注意力模型的输出端与所述融合层的输入端相连；
所述通道注意力模型用于基于通道注意力机制，通过计算输入特征图各通道的像素平均值，得到通道注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的通道注意力特征；
所述位置注意力模型用于基于位置注意力机制，通过在输入特征图各像素位置点处计算各通道像素的平均值，得到位置注意力初始权重，对其进行调整后，与输入特征图进行点乘，得到输入特征图的位置注意力特征；
所述融合层用于将所得通道注意力特征和位置注意力特征进行融合。
10.一种存储介质，其特征在于，当计算机读取所述指令时，使所述计算机执行本发明权利要求1-6任意一项所述的图像的超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051767.2A CN111461973A (zh) | 2020-01-17 | 2020-01-17 | 一种图像的超分辨率重建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051767.2A CN111461973A (zh) | 2020-01-17 | 2020-01-17 | 一种图像的超分辨率重建方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111461973A true CN111461973A (zh) | 2020-07-28 |
Family
ID=71683159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010051767.2A Pending CN111461973A (zh) | 2020-01-17 | 2020-01-17 | 一种图像的超分辨率重建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461973A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112333456A (zh) * | 2020-10-21 | 2021-02-05 | 鹏城实验室 | 一种基于云边协议的直播视频传输方法 |
| CN112329867A (zh) * | 2020-11-10 | 2021-02-05 | 宁波大学 | 一种基于任务驱动的层次注意力网络的mri图像分类方法 |
| CN112560662A (zh) * | 2020-12-11 | 2021-03-26 | 湖北科技学院 | 一种基于多示例注意力机制的遮挡图像识别方法 |
| CN112668619A (zh) * | 2020-12-22 | 2021-04-16 | 万兴科技集团股份有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN112712488A (zh) * | 2020-12-25 | 2021-04-27 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN113034642A (zh) * | 2021-03-30 | 2021-06-25 | 推想医疗科技股份有限公司 | 图像重建方法及装置、图像重建模型的训练方法及装置 |
| CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113436054A (zh) * | 2021-06-28 | 2021-09-24 | 合肥高维数据技术有限公司 | 基于超分辨率网络的图像边信息估计隐写方法及存储介质 |
| CN113706388A (zh) * | 2021-09-24 | 2021-11-26 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
| CN114004784A (zh) * | 2021-08-27 | 2022-02-01 | 西安市第三医院 | 一种基于ct图像检测骨质状况的方法及电子设备 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN114827482A (zh) * | 2021-01-28 | 2022-07-29 | 北京字节跳动网络技术有限公司 | 图像亮度的调整方法、装置、电子设备及介质 |
| CN117727104A (zh) * | 2024-02-18 | 2024-03-19 | 厦门瑞为信息技术有限公司 | 基于双边注意力的近红外活体检测装置与方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364023A (zh) * | 2018-02-11 | 2018-08-03 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
| CN110148091A (zh) * | 2019-04-10 | 2019-08-20 | 深圳市未来媒体技术研究院 | 基于非局部注意力机制的神经网络模型及图像超分辨方法 |
| CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
-
2020
- 2020-01-17 CN CN202010051767.2A patent/CN111461973A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364023A (zh) * | 2018-02-11 | 2018-08-03 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
| CN110148091A (zh) * | 2019-04-10 | 2019-08-20 | 深圳市未来媒体技术研究院 | 基于非局部注意力机制的神经网络模型及图像超分辨方法 |
| CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| CHENYANG DUAN,NANFENG XIAO: "Parallax-Based Spatial and Channel Attention for Stereo Image Super-Resolution", 《IEEE ACCESS》 * |
| YANTING HU,JIE LI,YUANFEI HUANG,AND XINBO GAO: "Channel-Wise and Spatial Feature Modulation Network for Single Image Super-Resolution", 《HTTPS://ARXIV.ORG/ABS/1809.11130》 * |
| YULUN ZHANG，KUNPENG LI，KAI LI,LICHEN WANG,BINENG ZHONG,YUN FU: "Image Super-Resolution Using Very Deep Residual Channel Attention Networks", 《HTTPS://ARXIV.ORG/ABS/1807.02758V2》 * |
| 田萱，王亮，孟祥光: "《基于深度学习的图像语义分割技术》" * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112333456B (zh) * | 2020-10-21 | 2022-05-10 | 鹏城实验室 | 一种基于云边协议的直播视频传输方法 |
| CN112333456A (zh) * | 2020-10-21 | 2021-02-05 | 鹏城实验室 | 一种基于云边协议的直播视频传输方法 |
| CN112329867A (zh) * | 2020-11-10 | 2021-02-05 | 宁波大学 | 一种基于任务驱动的层次注意力网络的mri图像分类方法 |
| CN112560662A (zh) * | 2020-12-11 | 2021-03-26 | 湖北科技学院 | 一种基于多示例注意力机制的遮挡图像识别方法 |
| CN112668619A (zh) * | 2020-12-22 | 2021-04-16 | 万兴科技集团股份有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN112668619B (zh) * | 2020-12-22 | 2024-04-16 | 万兴科技集团股份有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN112712488A (zh) * | 2020-12-25 | 2021-04-27 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN112712488B (zh) * | 2020-12-25 | 2022-11-15 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN114827482A (zh) * | 2021-01-28 | 2022-07-29 | 北京字节跳动网络技术有限公司 | 图像亮度的调整方法、装置、电子设备及介质 |
| CN114827482B (zh) * | 2021-01-28 | 2023-11-03 | 抖音视界有限公司 | 图像亮度的调整方法、装置、电子设备及介质 |
| CN113034642B (zh) * | 2021-03-30 | 2022-05-27 | 推想医疗科技股份有限公司 | 图像重建方法及装置、图像重建模型的训练方法及装置 |
| CN113034642A (zh) * | 2021-03-30 | 2021-06-25 | 推想医疗科技股份有限公司 | 图像重建方法及装置、图像重建模型的训练方法及装置 |
| CN113205005B (zh) * | 2021-04-12 | 2022-07-19 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113436054A (zh) * | 2021-06-28 | 2021-09-24 | 合肥高维数据技术有限公司 | 基于超分辨率网络的图像边信息估计隐写方法及存储介质 |
| CN114004784A (zh) * | 2021-08-27 | 2022-02-01 | 西安市第三医院 | 一种基于ct图像检测骨质状况的方法及电子设备 |
| CN114004784B (zh) * | 2021-08-27 | 2022-06-03 | 西安市第三医院 | 一种基于ct图像检测骨质状况的方法及电子设备 |
| CN113706388A (zh) * | 2021-09-24 | 2021-11-26 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN114547017B (zh) * | 2022-04-27 | 2022-08-05 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN117727104A (zh) * | 2024-02-18 | 2024-03-19 | 厦门瑞为信息技术有限公司 | 基于双边注意力的近红外活体检测装置与方法 |
| CN117727104B (zh) * | 2024-02-18 | 2024-05-07 | 厦门瑞为信息技术有限公司 | 基于双边注意力的近红外活体检测装置与方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461973A (zh) | 一种图像的超分辨率重建方法及*** | |
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割*** | |
| CN110210539B (zh) | 多级深度特征融合的rgb-t图像显著性目标检测方法 | |
| Liu et al. | A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution | |
| CN111275618A (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| CN111311518A (zh) | 基于多尺度混合注意力残差网络的图像去噪方法及装置 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
| CN114332482A (zh) | 一种基于特征融合的轻量化目标检测方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| CN112017116A (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN115660955A (zh) | 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质 | |
| CN114612306A (zh) | 一种面向裂缝检测的深度学习超分辨率方法 | |
| CN110163855B (zh) | 一种基于多路深度卷积神经网络的彩色图像质量评价方法 | |
| CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及*** | |
| CN112818818B (zh) | 一种基于affpn的新型超高清遥感图像变化检测方法 | |
| CN117237641A (zh) | 一种基于双分支特征融合网络的息肉分割方法及*** | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| CN116703725A (zh) | 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法 | |
| CN116188652A (zh) | 一种基于双尺度循环生成对抗的人脸灰度图像着色方法 | |
| CN115908130A (zh) | 一种基于混合注意力机制的超分辨率重建方法 | |
| CN115797181A (zh) | 一种面向矿井模糊环境的图像超分辨率重建方法 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及*** | |
| CN112529064B (zh) | 一种高效的实时语义分割方法 | |
| CN113139899A (zh) | 高质量轻量级超分辨率重建网络模型设计方法 | |
| CN113781306B (zh) | 基于双阶段策略的高光谱图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |