CN110033410A - 图像重建模型训练方法、图像超分辨率重建方法及装置 - Google Patents
图像重建模型训练方法、图像超分辨率重建方法及装置 Download PDFInfo
- Publication number
- CN110033410A CN110033410A CN201910241051.6A CN201910241051A CN110033410A CN 110033410 A CN110033410 A CN 110033410A CN 201910241051 A CN201910241051 A CN 201910241051A CN 110033410 A CN110033410 A CN 110033410A
- Authority
- CN
- China
- Prior art keywords
- image
- residual error
- network
- layer
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 230000003321 amplification Effects 0.000 claims abstract description 36
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000003475 lamination Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 21
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241000167854 Bourreria succulenta Species 0.000 description 3
- 235000019693 cherries Nutrition 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像重建模型训练方法、图像超分辨率重建方法及装置，属于图像超分辨率技术领域，包括：通过图像预处理得到样本集；建立用于图像超分辨率重建的图像重建模型；利用样本集对图像重建模型进行训练和测试；图像重建模型中，特征提取网络用于对低分辨率图像进行特征提取后输入第一个残差网络；级联的m个残差网络分别用于对前一网络的输出图像进行特征提取后与该图像进行叠加；m个注意力网络分别用于从m个残差网络的输出图像中提取出感兴趣区域的图像；放大网络用于对各注意力网络及第m个残差网络的输出图像进行融合并放大，以由第一融合层融合其输出图像和双三次插值放大后的图像。本发明能够有效提高重建图像的视觉效果。
Description
技术领域
本发明属于图像超分辨率技术领域，更具体地，涉及一种图像重建模型训练方法、图像超分辨率重建方法及装置。
背景技术
图像分辨率泛指成像或显示***对细节的分辨能力，表示图像中存储的信息量，通常表示为“水平像素数×垂直像素数”。通常情况下，图像的分辨率越高表示图像包含的细节越多，提供的信息量越大。图像超分辨率技术(Image Super-Resolution,简称SR)，是根据单张或多张低分辨率(Low Resolution,简称LR)图像来重建高分辨率(HighResolution,简称HR)图像的技术，该技术能够提供更加丰富的视觉信息，是计算机视觉领域中的经典问题。单幅图像超分辨率(Single Image Super-Resolution，简称SISR)，是指根据给定的低分辨率图像信息恢复出有良好视觉体验的高分辨率图像。图像超分辨率技术主要研究的问题是如何将低分辨率图像重建为高分辨率图像，该技术重点关注图像的细节，即图像的高频信息。
目前，传统的图像超分辨率重建方法主要包括插值方法和稀疏表示方法。其中，插值方法是一种简单的图像处理方式，利用目标周围的像素按照一定的公式算法完成插值，常用的插值方法有最邻近元法、双线性内插法和双三次内插法；最邻近元法直接将与目标像素最近像素替换目标像素的像素值，实现起来简单，计算复杂度小，但是生成的图像在像素值上分布不连续，通常会呈现锯齿形状(锯齿效应)；双线性内插法利用目标像素的周围最近的四个互相垂直的像素完成线性插值，生成图像的像素值分布更连续，但会导致生成图像过于平滑，图像的轮廓部分会趋于模糊，且相较于最近邻元法计算量稍大；双三次内插法利用目标像素周围像素完成线性插值，生成的图像轮廓比前两种方法更清楚，但同时也增加了复杂度。稀疏表示的理论基础在于图像块可以由适当的超完备字典的稀疏线性组合进行表示。基于稀疏表示的方法采用对低分辨率图像块进行稀疏表示，利用稀疏系数重建高分辨率图像块输出；通过对低分辨率图像块字典和高分辨率图像块字典的联合训练，采用凸优化理论方法来求解出低分辨率与高分辨率图像块稀疏系数的映射关系，结合超完备字典可以重建出高分辨率图像块，最后由高分辨率图像块拼接得到完整的高分辨率图像；基于稀疏表示方法对噪声具有自适应鲁棒性，但是算法计算复杂量大，且难以选取合适的稀疏字典。基于生成对抗网络的方法的生成器采用残差学习的方法，判别器用来判别图像是否为真实图像。该网络模型的图像超分辨率结果取得不错的视觉效果，但是该网络训练相对比较困难，生成的高频细节可能与实际纹理特征不同。
近年来，深度学习在多媒体处理领域快速发展，基于SRCNN、FSRCNN和VDSR等神经网络模型的方法和基于生成对抗网络(Generative Adversarial Networks，简称GAN)的方法也逐渐在图像超分辨率重建中获得了广泛的应用。但是，通过这些方法重建出的图像视觉效果都有待提高，并且为了获得较为清晰的图像，模型训练时间往往较长。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种图像重建模型训练方法、图像超分辨率重建方法及装置，其目的在于，提高超分辨率重建图像的视觉效果，并缩短模型训练时长。
为实现上述目的，按照本发明的第一方面，提供了一种图像重建模型训练方法，包括：
(1)对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；
(2)建立图像重建模型，用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；
图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；
特征提取网络用于提取低分辨率图像的特征，以得到粗糙特征图；
m个残差网络依次级联；第一个残差网络用于对由特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；
m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；
放大网络用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；
插值层用于对低分辨率图像进行双三次插值放大，以得到第二重建图像；
第一融合层用于融合第一重建图像和第二重建图像，以完成对低分辨率图像的超分辨率重建，从而得到高分辨率图像；
(3)利用样本集对图像重建模型进行训练和测试，以得到训练好的图像重建模型。
本发明所提供的图像重建模型训练方法，所建立的图像重建模型中，包括多个级联的残差网络以及与每个残差网络相对应的注意力网络，在对低分辨率图像进行初步的特征提取之后，由残差网络进一步提取更细致的图像特征(边缘、纹理等)，注意力网络从对应的残差网络所输出的残差特征图中提取出感兴趣区域的图像融合到放大网络中，以由放大网络得到包含图像高频特征信息的第一重建图像；利用本发明所训练好的图像重建模型，不仅能够提取到最后的残差特征信息，还可以获取到中间残差网络输出的残差特征信息，由此能够更好的融合多方面的特征信息，使得重建图像具有更好的视觉效果。
本发明所提供的图像重建模型训练方法，所建立的模型中，由插值网络对原始的低分辨率图像进行双三次插值放大，可以快速获取高分辨率图像的平滑部分，有效减少模型训练时间；通过将插值网络输出的较为模糊的第二重建图像和包含图像高频特征信息的第一重建图像进行融合以重建出最终的高分辨率图像，可以充分利用原始低分辨率图像的信息，提高重建图像的视觉效果。
进一步地，步骤(1)包括：
将标准图像库中的每一幅图像均按照不同的规格进行下采样，以得到每一幅标准图像所对应的多幅低分辨率图像；
将每一幅低分辨率图像进行分割，从而得到低分辨率图像块，以减小计算开销，减少模型训练时间；
由所有图像分块及其对应的标准图像构成样本集。
进一步地，特征提取网络包括两个卷积层；仅设置两个卷积层，既可以保证能够初步提取到图像较为粗糙的特征，又能减少模型复杂度，减少模型训练时间。
进一步地，残差网络包括第一卷积层、第一激活函数层、第二卷积层以及第二融合层；
第一卷积层用于对输入图像进行卷积操作；
第一激活函数层用于利用LeakyReLu激活函数对第一卷积层的输出图像进行激活处理；LeakyReLu激活函数对第一卷积层的输出图像进行激活处理，既能够使得特征分布范围更广，也能有效避免对负数结果的抑制处理；
第二卷积层用于对经过第一激活函数层处理之后的图像进行卷积操作；
第二融合层用于将输入图像与第二卷积层的输出图像进行叠加，以得到新的残差特征图；
其中，输入图像为由特征提取网络输出的粗糙特征图，或者由前一级残差模块输出的残差特征图；
在本发明中，残差网络既可以进一步提取图像的特征信息，又能够很好地保留输入图像的原始特征，使得叠加得到的残差特征图中包含更多的图像细节，从而超分辨率重建得到的图像视觉效果更好。
作为进一步优选地，第二卷积层的卷积核大小为1×1；通过多个残差模块级联，可以获得尽可能大的感受野，同时采用小卷积核(1×1)的卷积层，能够在加深网络的同时避免增加训练难度。
进一步地，注意力网络包括特征提取层、映射层、构造层、第二激活函数层以及区域提取层；
特征提取层为一个卷积层，用于通过卷积操作对输入的残差特征图进行特征提取；
映射层包括q个卷积层，且各卷积层的卷积核大小为1×1；映射层对特征提取层的输出图像进行多次卷积操作以减少模型参数；
构造层为一个卷积层，用于对映射层的输出图像进行卷积操作；
第二激活函数层用于利用Sigmod函数对构造层的输出图像进行激活处理，以生成用于提取感兴趣区域的注意力掩码；
区域提取层用于将输入的残差特征图与第二激活函数层输出的注意力掩码进行点乘，以从输入的残差特征图中提取出感兴趣区域的图像；
其中，q≥1；
基于人类视觉特性，只会关注视野中感兴趣的区域，而非整个区域，利用注意力网络从残差特征图中提取感兴趣区域的图像，并融合到最终的重建图像中，可以使得最终的重建图像中保留更多的有效信息，提高重建图像的视觉效果。
进一步地，放大网络包括第三融合层、第一亚像素卷积层和第二亚像素卷积层；
第三融合层用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图；
第一亚像素卷积层用于对第三融合层的输出图像进行放大；
第二亚像素卷积层用于对第一亚像素卷积层的输出图像进行放大，以使得第三融合层的输出图像被放大指定的倍数，从而得到第一重建图像；
在上述放大网络中，由两个亚像素卷积层分两次完成对图像的放大，由此能够有效避免一次放大所带来的误差；其中每一个亚像素卷积层采用压缩图像的通道像素来填充图像的尺寸，可以在保证图像总像素数据量不变的情况下减少通道已放大图像的尺寸。
按照本发明的第二方面，提供了一种图像超分辨率重建方法，包括：
将待重建的低分辨率图像作为输入，利用本发明第一方面所提供的图像重建模型训练方法得到的已训练好的图像重建模型对待重建的低分辨率图像进行超分辨率重建，以得到对应的高分辨率图像。
按照本发明的第三方面，提供了一种图像重建模型训练装置，包括：预处理模块、模型建立模块以及模型训练模块；
预处理模块用于对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；
模型建立模块用于建立图像重建模型，图像重建模型用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；
模型训练模块用于利用样本集对图像重建模型进行训练和测试，以得到训练好的图像重建模型；
其中，图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；
特征提取网络用于提取低分辨率图像的特征，以得到粗糙特征图；
m个残差网络依次级联；第一个残差网络用于对由特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；
m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；
放大网络用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；
插值层用于对低分辨率图像进行双三次插值操作，以得到第二重建图像；
第一融合层用于融合第一重建图像和第二重建图像，以完成对低分辨率图像的超分辨率重建，从而得到高分辨率图像。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的图像重建模型训练方法，所建立的图像重建模型中，包括多个级联的残差网络以及与每个残差网络相对应的注意力网络，在对低分辨率图像进行初步的特征提取之后，由残差网络进一步提取更细致的图像特征(边缘、纹理等)，注意力网络从对应的残差网络输出的残差特征图中提取出感兴趣区域的图像融合到放大网络中，以由放大网络得到包含图像高频特征信息的第一重建图像；利用本发明所训练好的图像重建模型，不仅能够提取到最后的残差特征信息，还可以获取到中间残差网络输出的残差特征信息，由此能够更好的融合多方面的特征信息，使得重建图像具有更好的视觉效果。
(2)本发明所提供的图像重建模型训练方法，所建立的模型中，由插值网络对原始的低分辨率图像进行双三次插值放大，可以快速获取高分辨率图像的平滑部分，有效减少模型训练时间。
(3)本发明所提供的图像重建模型训练方法，通过将插值网络输出的较为模糊的第二重建图像和放大网络输出的包含图像高频特征信息的第一重建图像进行融合以重建出最终的高分辨率图像，可以充分利用原始低分辨率图像的信息，提高重图像的视觉效果。
(4)本发明所提供的图像重建模型训练方法，其残差网络中的激活函数层利用LeakyReLu激活函数对第一卷积层的输出图像进行激活处理，既能够使得特征分布范围更广，也能有效避免对负数结果的抑制处理。
(5)本发明所提供的图像重建模型训练方法，其放大网络中，由两个亚像素卷积层分两次完成对图像的放大，由此能够有效避免一次放大所带来的误差；其中每一个亚像素卷积层采用压缩图像的通道像素来填充图像的尺寸，可以在保证图像总像素数据量不变的情况下减少通道已放大图像的尺寸。
附图说明
图1为本发明实施例提供的图像重建模型示意图；
图2为本发明实施例提供的残差网络示意图；
图3为本发明实施例提供的注意力网络示意图；
图4为本发明实施例提供的放大网络示意图；
图5(a)为本发明实施例提供的待重建的低分辨率图像示意图；
图5(b)为本发明实施例提供的由注意力网络得到的注意力掩码示意图；
图5(c)为本发明实施例提供的由残差网络输出的残差特征图；
图5(d)为本发明实施例提供的由注意力网络输出的感兴趣区域的图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明第一方面所提供的图像重建模型训练方法，包括：
(1)对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；
在本实施例中，标准图像库包括训练集合测试集，其中，训练集采用DIV2K数据集，该数据集中有800张训练图像、100张验证图像和100张测试图像；测试集采用标准数据集，其包括Set5、Set14、BSD100和Urban100数据集；
应当理解的是，除上述数据集之外，也可采用其他的数据集作为标准的图像库；
在一个可选的实施方式中，步骤(1)具体包括：
将标准图像库中的每一幅图像均按照不同的规格进行下采样，以得到每一幅标准图像所对应的多幅低分辨率图像；标准图像库中的图像多为相机直接拍摄所得的高分辨率图像，其对应的低分辨率图像实际中并不存在，为了训练模型，需要生成与之对应的低分辨率图像，在此通过下采样的方法即可得到与高分辨率图像相对应的低分辨率图像；在本实施例中，具体采用双三次差值的方法，对每一幅清晰图像分别按照2倍、3倍和4倍的规格进行下采样；
将每一幅低分辨率图像进行分割，从而得到低分辨率图像块，以减小计算开销，减少模型训练时间；在本实施例中，低分辨率图像块的大小为32×32；
由所有图像分块及其对应的标准图像构成样本集；所得到的样本集中，包括训练样本和测试样本；
(2)建立图像重建模型，用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；
如图1所示，图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；
特征提取网络用于提取低分辨率图像(LR)的特征，以得到粗糙特征图；
m个残差网络依次级联；第一个残差网络用于对由特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；
m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；
放大网络用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；
插值层用于对低分辨率图像进行双三次插值放大，以得到第二重建图像；
第一融合层用于融合第一重建图像和第二重建图像，以完成对低分辨率图像的超分辨率重建，从而得到高分辨率图像(HR)；
(3)利用样本集对图像重建模型进行训练和测试，以得到训练好的图像重建模型；
为了充分利用GPU的计算能力，以提高模型训练速度，在本实施例中，训练批次大小设置为16，以避免超过GPU的显存限制；另外，为了减少对内存的依赖，采用文件队列的方法将训练数据读入内存。
本发明所提供的图像重建模型训练方法，所建立的图像重建模型中，包括多个级联的残差网络以及与每个残差网络相对应的注意力网络，在对低分辨率图像进行初步的特征提取之后，由残差网络进一步提取更细致的图像特征(边缘、纹理等)，注意力网络从对应的残差网络所输出的残差特征图中提取出感兴趣区域的图像融合到放大网络中，以由放大网络得到包含图像高频特征信息的第一重建图像；利用本发明所训练好的图像重建模型，不仅能够提取到最后的残差特征信息，还可以获取到中间残差网络输出的残差特征信息，由此能够更好的融合多方面的特征信息，使得重建图像具有更好的视觉效果。
本发明所提供的图像重建模型训练方法，所建立的模型中，由插值网络对原始的低分辨率图像进行双三次插值放大，可以快速获取高分辨率图像的平滑部分，有效减少模型训练时间；通过将插值网络输出的较为模糊的第二重建图像和包含图像高频特征信息的第一重建图像进行融合以重建出最终的高分辨率图像，可以充分利用原始低分辨率图像的信息，提高重建图像的视觉效果。
在本实施例中，残差网络及注意力网络的个数均为m＝16，以避免因级联个数过多而造成模型过于复杂，模型训练时间过长，同时可以避免因级联个数过少而只能获取到图像的局部信息，从而导致图像的超分辨率重建效果不好。
在一个可选的实施方式中，如图1所示，特征提取网络包括两个卷积层；在本实施例中，特征提取网络中的两个卷积层的卷积核大小为3×3；仅设置两个卷积层，既可以保证能够初步提取到图像较为粗糙的特征，又能减少模型复杂度，减少模型训练时间。
在一个可选的实施方式中，如图2所示，残差网络包括第一卷积层、第一激活函数层、第二卷积层以及第二融合层；
第一卷积层用于对输入图像进行卷积操作；
第一激活函数层用于利用LeakyReLu激活函数对第一卷积层的输出图像进行激活处理；LeakyReLu激活函数对第一卷积层的输出图像进行激活处理，既能够使得特征分布范围更广，也能有效避免对负数结果的抑制处理；
第二卷积层用于对经过第一激活函数层处理之后的图像进行卷积操作；
第二融合层用于将输入图像与第二卷积层的输出图像进行叠加，以得到新的残差特征图；
其中，输入图像为由特征提取网络输出的粗糙特征图，或者由前一级残差模块输出的残差特征图；
在本发明中，残差网络既可以进一步提取图像的特征信息，又能够很好地保留输入图像的原始特征，使得叠加得到的残差特征图中包含更多的图像细节，从而超分辨率重建得到的图像视觉效果更好；
在本实施例中，第一卷积层的卷积核大小为3×3，第二卷积层的卷积核大小为1×1；通过多个残差模块级联，可以获得尽可能大的感受野，同时采用小卷积核的卷积层，能够在加深网络的同时避免增加训练难度。
在一个可选的实施方式中，如图3所示，注意力网络包括特征提取层、映射层、构造层、第二激活函数层以及区域提取层；
特征提取层为一个卷积层，用于通过卷积操作对输入的残差特征图进行特征提取；
映射层包括q个卷积层，且各卷积层的卷积核大小为1×1；映射层用于对特征提取层的输出图像进行多次卷积操作以减少模型参数；
构造层为一个卷积层，用于对映射层的输出图像进行卷积操作；
第二激活函数层用于利用Sigmod函数对构造层的输出图像进行激活处理，以生成用于提取感兴趣区域的注意力掩码；注意力掩码具体为0-1之间的数值分布；
区域提取层用于将输入的残差特征图与第二激活函数层输出的注意力掩码进行点乘，以从输入的残差特征图中提取出感兴趣区域的图像；
在本实施例中，特征提取层中卷积层的卷积核到小为3×3，构造层中卷积层的卷积核大小为1×1，q＝2；
基于人类视觉特性，只会关注视野中感兴趣的区域，而非整个区域，利用注意力网络从残差特征图中提取感兴趣区域的图像，并融合到最终的重建图像中，可以使得最终的重建图像中保留更多的有效信息，提高重建图像的视觉效果。
在一个可选的实施方式中，放大网络包括第三融合层、第一亚像素卷积层和第二亚像素卷积层；
第三融合层用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图；
第一亚像素卷积层用于对第三融合层的输出图像进行放大；
第二亚像素卷积层用于对第一亚像素卷积层的输出图像进行放大，以使得第三融合层的输出图像被放大指定的倍数，从而得到第一重建图像；
在上述放大网络中，由两个亚像素卷积层分两次完成对图像的放大，由此能够有效避免一次放大所带来的误差；其中每一个亚像素卷积层采用压缩图像的通道像素来填充图像的尺寸，可以在保证图像总像素数据量不变的情况下减少通道已放大图像的尺寸；
在实际应用中，可根据需要合力设定对融合所得图像的放大倍数，若放大倍数设置过大，会使数据量增大占用运行内存空间，若放大倍数设置过小，则会导致图像模糊；在本实施例中，如图4所示，该放大倍数具体设置为4，相应地，第一亚像素卷积层和第二亚像素卷积层分别用于将图像放大两倍。
本发明还提供了一种图像超分辨率重建方法，包括：
将待重建的低分辨率图像作为输入，利用本发明第一方面所提供的图像重建模型训练方法得到的已训练好的图像重建模型对待重建的低分辨率图像进行超分辨率重建，以得到对应的高分辨率图像。
采用本发明所提供的图像超分辨率重建方法，对图5(a)所示的低分辨率图像进行重建，其中，第一个残差网络输出的残差特征图如图5(c)所示，与该残差网络相对应的注意力网络利用图5(c)所示的残差特征图所得到的注意力掩码如图5(b)所示，该注意力模块利用图5(b)所示的注意力掩码从图5(c)所示的残差特征图中提取出的感兴趣区域的图像如图5(d)所示。根据图5所示的结果可知，原始低分辨率图像在经过本发明的残差网络和注意力网络的处理后纹理和高频信息逐渐明晰，且注意力网络对图像的关键区域(即应该关注的感兴趣区域)定位准确。由此可知，本发明所提出的残差网络结构和注意力网络结构能够有效提高图像超分辨率重建所得图像的视觉效果。
本发明还提供了一种图像重建模型训练装置，包括：预处理模块、模型建立模块以及模型训练模块；
预处理模块用于对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；
模型建立模块用于建立图像重建模型，图像重建模型用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；
模型训练模块用于利用样本集对图像重建模型进行训练和测试，以得到训练好的图像重建模型；
其中，图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；
特征提取网络用于提取低分辨率图像的特征，以得到粗糙特征图；
m个残差网络依次级联；第一个残差网络用于对由特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；
m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；
放大网络用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；
插值层用于对低分辨率图像进行双三次插值操作，以得到第二重建图像；
第一融合层用于融合第一重建图像和第二重建图像，以完成对低分辨率图像的超分辨率重建，从而得到高分辨率图像；
在本实施例中，各模块的具体实施方式可参考上述图像重建模型训练方法实施例中的描述，在此将不再复述。
本发明所获得的重建图像视觉效果很好，在峰值信噪比(PSNR)和结构相似度(SSIM)这两项评价超分辨率算法指标上，表现均优于目前常用的先进算法(包括A+、SelfExSR、SRCNN、FSRCNN、VDSR、DRCN和LapSRN等算法)。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种图像重建模型训练方法，其特征在于，包括：
(1)对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；
(2)建立图像重建模型，用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；
所述图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；
所述特征提取网络用于提取所述低分辨率图像的特征，以得到粗糙特征图；
所述m个残差网络依次级联；第一个残差网络用于对由所述特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；
所述m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；
所述放大网络用于融合由所述m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；
所述插值层用于对所述低分辨率图像进行双三次插值放大，以得到第二重建图像；
所述第一融合层用于融合所述第一重建图像和所述第二重建图像，以完成对所述低分辨率图像的超分辨率重建，从而得到所述高分辨率图像；
(3)利用所述样本集对所述图像重建模型进行训练和测试，以得到训练好的图像重建模型。
2.如权利要求1所述的图像重建模型训练方法，其特征在于，所述步骤(1)包括：
将所述标准图像库中的每一幅图像均按照不同的规格进行下采样，以得到每一幅标准图像所对应的多幅低分辨率图像；
将每一幅低分辨率图像进行分割，从而得到低分辨率图像块；
由所有图像分块及其对应的标准图像构成样本集。
3.如权利要求1所述的图像重建模型训练方法，其特征在于，所述特征提取网络包括两个卷积层。
4.如权利要求1所述的图像重建模型训练方法，其特征在于，所述残差网络包括第一卷积层、第一激活函数层、第二卷积层以及第二融合层；
所述第一卷积层用于对输入图像进行卷积操作；
所述第一激活函数层用于利用LeakyReLu激活函数对所述第一卷积层的输出图像进行激活处理；
所述第二卷积层用于对经过所述第一激活函数层处理之后的图像进行卷积操作；
所述第二融合层用于将所述输入图像与所述第二卷积层的输出图像进行叠加，以得到新的残差特征图；
其中，所述输入图像为由所述特征提取网络输出的粗糙特征图，或者由前一级残差模块输出的残差特征图。
5.如权利要求4所述的图像重建模型训练方法，其特征在于，所述第二卷积层的卷积核大小为1×1。
6.如权利要求1所述的图像重建模型训练方法，其特征在于，所述注意力网络包括特征提取层、映射层、构造层、第二激活函数层以及区域提取层；
所述特征提取层为一个卷积层，用于通过卷积操作对输入的残差特征图进行特征提取；
所述映射层包括q个卷积层，且各卷积层的卷积核大小为1×1；所述映射层用于对所述特征提取层的输出图像进行多次卷积操作以减少模型参数；
所述构造层为一个卷积层，用于对所述映射层的输出图像进行卷积操作；
所述第二激活函数层用于利用Sigmod函数对所述构造层的输出图像进行激活处理，以生成用于提取感兴趣区域的注意力掩码；
所述区域提取层用于将输入的残差特征图与所述第二激活函数层输出的注意力掩码进行点乘，以从输入的残差特征图中提取出感兴趣区域的图像；
其中，q≥1。
7.如权利要求1所述的图像重建模型训练方法，其特征在于，所述放大网络包括第三融合层、第一亚像素卷积层和第二亚像素卷积层；
所述第三融合层用于融合由所述m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图；
所述第一亚像素卷积层用于对所述第三融合层的输出图像进行放大；
所述第二亚像素卷积层用于对所述第一亚像素卷积层的输出图像进行放大，以使得所述第三融合层的输出图像被放大指定的倍数，从而得到所述第一重建图像。
8.一种图像超分辨率重建方法，其特征在于，包括：
将待重建的低分辨率图像作为输入，利用权利要求1-6任一项所述的图像重建模型训练方法得到的已训练好的图像重建模型对所述待重建的低分辨率图像进行超分辨率重建，以得到对应的高分辨率图像。
9.一种图像重建模型训练装置，其特征在于，包括：预处理模块、模型建立模块以及模型训练模块；
所述预处理模块用于对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；
所述模型建立模块用于建立图像重建模型，所述图像重建模型用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；
所述模型训练模块用于利用所述样本集对所述图像重建模型进行训练和测试，以得到训练好的图像重建模型；
其中，所述图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；
所述特征提取网络用于提取所述低分辨率图像的特征，以得到粗糙特征图；
所述m个残差网络依次级联；第一个残差网络用于对由所述特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；
所述m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；
所述放大网络用于融合由所述m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；
所述插值层用于对所述低分辨率图像进行双三次插值操作，以得到第二重建图像；
所述第一融合层用于融合所述第一重建图像和所述第二重建图像，以完成对所述低分辨率图像的超分辨率重建，从而得到所述高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910241051.6A CN110033410B (zh) | 2019-03-28 | 2019-03-28 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910241051.6A CN110033410B (zh) | 2019-03-28 | 2019-03-28 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110033410A true CN110033410A (zh) | 2019-07-19 |
| CN110033410B CN110033410B (zh) | 2020-08-04 |
Family
ID=67236949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910241051.6A Expired - Fee Related CN110033410B (zh) | 2019-03-28 | 2019-03-28 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110033410B (zh) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570355A (zh) * | 2019-09-12 | 2019-12-13 | 杭州海睿博研科技有限公司 | 多尺度自动聚焦超分辨率处理***和方法 |
| CN110572579A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| CN110610459A (zh) * | 2019-09-17 | 2019-12-24 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 图像处理方法及装置 |
| CN110619631A (zh) * | 2019-09-16 | 2019-12-27 | 中山大学 | 一种基于残差网络的超分辨图像检测方法 |
| CN110619604A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 三维降尺度方法、装置、电子设备及可读存储介质 |
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN111080531A (zh) * | 2020-01-10 | 2020-04-28 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、***及装置 |
| CN111179366A (zh) * | 2019-12-18 | 2020-05-19 | 深圳先进技术研究院 | 基于解剖结构差异先验的低剂量图像重建方法和*** |
| CN111179167A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
| CN111223161A (zh) * | 2020-01-02 | 2020-06-02 | 京东数字科技控股有限公司 | 一种图像重建方法、装置及存储介质 |
| CN111260560A (zh) * | 2020-02-18 | 2020-06-09 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
| CN111402126A (zh) * | 2020-02-15 | 2020-07-10 | 北京中科晶上科技股份有限公司 | 一种基于分块的视频超分辨率方法和*** |
| CN111461983A (zh) * | 2020-03-31 | 2020-07-28 | 华中科技大学鄂州工业技术研究院 | 一种基于不同频度信息的图像超分辨率重建模型及方法 |
| CN111861880A (zh) * | 2020-06-05 | 2020-10-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
| CN112017116A (zh) * | 2020-07-23 | 2020-12-01 | 西北大学 | 基于非对称卷积的图像超分辨率重建网络及其构建方法 |
| CN112215755A (zh) * | 2020-10-28 | 2021-01-12 | 南京信息工程大学 | 一种基于反投影注意力网络的图像超分辨率重建方法 |
| CN112348861A (zh) * | 2020-11-02 | 2021-02-09 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112561817A (zh) * | 2020-12-10 | 2021-03-26 | 深圳大学 | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 |
| CN112734642A (zh) * | 2021-01-12 | 2021-04-30 | 武汉工程大学 | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 |
| CN112801868A (zh) * | 2021-01-04 | 2021-05-14 | 青岛信芯微电子科技股份有限公司 | 图像超分辨率重建的方法、电子设备及存储介质 |
| CN113129212A (zh) * | 2019-12-31 | 2021-07-16 | 深圳市联合视觉创新科技有限公司 | 图像超分辨率重建方法、装置、终端设备及存储介质 |
| CN113222825A (zh) * | 2021-06-03 | 2021-08-06 | 北京理工大学 | 基于可见光图像训练的红外图像超分辨率重构方法及应用 |
| CN113284112A (zh) * | 2021-05-27 | 2021-08-20 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及*** |
| CN113327199A (zh) * | 2021-06-16 | 2021-08-31 | 展讯通信(天津)有限公司 | 一种多帧图像重建方法、***及设备 |
| CN113436076A (zh) * | 2021-07-26 | 2021-09-24 | 柚皮(重庆)科技有限公司 | 逐步融合特征的图像超分辨率重建方法及电子设备 |
| CN113538243A (zh) * | 2021-07-22 | 2021-10-22 | 西安电子科技大学 | 基于多视差注意力模块组合的超分辨图像重建方法 |
| CN113538225A (zh) * | 2020-04-14 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 模型训练方法及图像转换方法、装置、设备和存储介质 |
| CN113610706A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 基于卷积神经网络的模糊监控图像超分辨率重建方法 |
| CN114782256A (zh) * | 2022-06-21 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 图像重建方法、装置、计算机设备和存储介质 |
| CN114972040A (zh) * | 2022-07-15 | 2022-08-30 | 南京林业大学 | 一种单板层积材的散斑图像超分辨率重建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232857A1 (en) * | 2015-11-04 | 2018-08-16 | Peking University Shenzhen Graduate School | Method and device for super-resolution image reconstruction based on dictionary matching |
| CN108765296A (zh) * | 2018-06-12 | 2018-11-06 | 桂林电子科技大学 | 一种基于递归残差注意力网络的图像超分辨率重建方法 |
| CN109033095A (zh) * | 2018-08-01 | 2018-12-18 | 苏州科技大学 | 基于注意力机制的目标变换方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析***、装置及存储介质 |
-
2019
- 2019-03-28 CN CN201910241051.6A patent/CN110033410B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232857A1 (en) * | 2015-11-04 | 2018-08-16 | Peking University Shenzhen Graduate School | Method and device for super-resolution image reconstruction based on dictionary matching |
| CN108765296A (zh) * | 2018-06-12 | 2018-11-06 | 桂林电子科技大学 | 一种基于递归残差注意力网络的图像超分辨率重建方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109033095A (zh) * | 2018-08-01 | 2018-12-18 | 苏州科技大学 | 基于注意力机制的目标变换方法 |
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析***、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YULUN ZHANG等: "Image Super-Resolution Using Very Deep Residual Channel Attention Networks", 《ARXIV:1807.02758V2 [CS.CV]》 * |
| 王东飞: "基于通道注意力的卷积神经网络在图像超分辨率重建中的应用", 《广播与电视技术》 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570355A (zh) * | 2019-09-12 | 2019-12-13 | 杭州海睿博研科技有限公司 | 多尺度自动聚焦超分辨率处理***和方法 |
| CN110619631A (zh) * | 2019-09-16 | 2019-12-27 | 中山大学 | 一种基于残差网络的超分辨图像检测方法 |
| CN110610459A (zh) * | 2019-09-17 | 2019-12-24 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 图像处理方法及装置 |
| CN110619604A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 三维降尺度方法、装置、电子设备及可读存储介质 |
| CN110572579A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN110930309B (zh) * | 2019-11-20 | 2023-04-18 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN111179167B (zh) * | 2019-12-12 | 2023-05-16 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
| CN111179167A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
| CN111179366A (zh) * | 2019-12-18 | 2020-05-19 | 深圳先进技术研究院 | 基于解剖结构差异先验的低剂量图像重建方法和*** |
| CN113129212A (zh) * | 2019-12-31 | 2021-07-16 | 深圳市联合视觉创新科技有限公司 | 图像超分辨率重建方法、装置、终端设备及存储介质 |
| CN111223161B (zh) * | 2020-01-02 | 2024-04-12 | 京东科技控股股份有限公司 | 一种图像重建方法、装置及存储介质 |
| CN111223161A (zh) * | 2020-01-02 | 2020-06-02 | 京东数字科技控股有限公司 | 一种图像重建方法、装置及存储介质 |
| CN111080531A (zh) * | 2020-01-10 | 2020-04-28 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、***及装置 |
| CN111080531B (zh) * | 2020-01-10 | 2024-02-23 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、***及装置 |
| CN111402126B (zh) * | 2020-02-15 | 2023-12-22 | 北京中科晶上科技股份有限公司 | 一种基于分块的视频超分辨率方法和*** |
| CN111402126A (zh) * | 2020-02-15 | 2020-07-10 | 北京中科晶上科技股份有限公司 | 一种基于分块的视频超分辨率方法和*** |
| CN111260560A (zh) * | 2020-02-18 | 2020-06-09 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
| CN111260560B (zh) * | 2020-02-18 | 2020-12-22 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
| CN111461983B (zh) * | 2020-03-31 | 2023-09-19 | 华中科技大学鄂州工业技术研究院 | 一种基于不同频度信息的图像超分辨率重建模型及方法 |
| CN111461983A (zh) * | 2020-03-31 | 2020-07-28 | 华中科技大学鄂州工业技术研究院 | 一种基于不同频度信息的图像超分辨率重建模型及方法 |
| CN113538225A (zh) * | 2020-04-14 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 模型训练方法及图像转换方法、装置、设备和存储介质 |
| CN111861880B (zh) * | 2020-06-05 | 2022-08-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
| CN111861880A (zh) * | 2020-06-05 | 2020-10-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
| CN112017116A (zh) * | 2020-07-23 | 2020-12-01 | 西北大学 | 基于非对称卷积的图像超分辨率重建网络及其构建方法 |
| CN112017116B (zh) * | 2020-07-23 | 2024-02-23 | 西北大学 | 基于非对称卷积的图像超分辨率重建网络及其构建方法 |
| CN112215755A (zh) * | 2020-10-28 | 2021-01-12 | 南京信息工程大学 | 一种基于反投影注意力网络的图像超分辨率重建方法 |
| CN112348861A (zh) * | 2020-11-02 | 2021-02-09 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112348861B (zh) * | 2020-11-02 | 2023-04-28 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112561817A (zh) * | 2020-12-10 | 2021-03-26 | 深圳大学 | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 |
| CN112801868B (zh) * | 2021-01-04 | 2022-11-11 | 青岛信芯微电子科技股份有限公司 | 图像超分辨率重建的方法、电子设备及存储介质 |
| CN112801868A (zh) * | 2021-01-04 | 2021-05-14 | 青岛信芯微电子科技股份有限公司 | 图像超分辨率重建的方法、电子设备及存储介质 |
| CN112734642B (zh) * | 2021-01-12 | 2023-03-10 | 武汉工程大学 | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 |
| CN112734642A (zh) * | 2021-01-12 | 2021-04-30 | 武汉工程大学 | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 |
| CN113284112B (zh) * | 2021-05-27 | 2023-11-10 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及*** |
| CN113284112A (zh) * | 2021-05-27 | 2021-08-20 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及*** |
| CN113222825A (zh) * | 2021-06-03 | 2021-08-06 | 北京理工大学 | 基于可见光图像训练的红外图像超分辨率重构方法及应用 |
| CN113327199A (zh) * | 2021-06-16 | 2021-08-31 | 展讯通信(天津)有限公司 | 一种多帧图像重建方法、***及设备 |
| CN113610706A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 基于卷积神经网络的模糊监控图像超分辨率重建方法 |
| CN113538243B (zh) * | 2021-07-22 | 2023-04-07 | 西安电子科技大学 | 基于多视差注意力模块组合的超分辨图像重建方法 |
| CN113538243A (zh) * | 2021-07-22 | 2021-10-22 | 西安电子科技大学 | 基于多视差注意力模块组合的超分辨图像重建方法 |
| CN113436076A (zh) * | 2021-07-26 | 2021-09-24 | 柚皮(重庆)科技有限公司 | 逐步融合特征的图像超分辨率重建方法及电子设备 |
| CN114782256A (zh) * | 2022-06-21 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 图像重建方法、装置、计算机设备和存储介质 |
| CN114782256B (zh) * | 2022-06-21 | 2022-09-02 | 腾讯科技（深圳）有限公司 | 图像重建方法、装置、计算机设备和存储介质 |
| CN114972040A (zh) * | 2022-07-15 | 2022-08-30 | 南京林业大学 | 一种单板层积材的散斑图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110033410B (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033410A (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN109886871A (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN109903223B (zh) | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 | |
| CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
| CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
| CN111105352A (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
| CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
| CN110136062A (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| CN107895345A (zh) | 一种提高人脸图像分辨率的方法和装置 | |
| KR102221225B1 (ko) | 영상 화질 개선방법 및 그 장치 | |
| CN107392852A (zh) | 深度图像的超分辨率重建方法、装置、设备及存储介质 | |
| Zhou et al. | High-frequency details enhancing DenseNet for super-resolution | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN109785236A (zh) | 一种基于超像素和卷积神经网络的图像超分辨方法 | |
| CN108416736A (zh) | 一种基于二次锚点邻域回归的图像超分辨率重建方法 | |
| KR20100077307A (ko) | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| Zhu et al. | Multi-stream fusion network with generalized smooth L 1 loss for single image dehazing | |
| CN114841859A (zh) | 基于轻量神经网络和Transformer的单图像超分辨率重建方法 | |
| CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
| Li et al. | High-resolution network for photorealistic style transfer | |
| Liu et al. | Facial image inpainting using multi-level generative network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200804 Termination date: 20210328 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |