CN108537731B - 基于压缩多尺度特征融合网络的图像超分辨率重建方法 - Google Patents

基于压缩多尺度特征融合网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN108537731B
CN108537731B CN201810315128.5A CN201810315128A CN108537731B CN 108537731 B CN108537731 B CN 108537731B CN 201810315128 A CN201810315128 A CN 201810315128A CN 108537731 B CN108537731 B CN 108537731B
Authority
CN
China
Prior art keywords
image
resolution
scale feature
feature fusion
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810315128.5A
Other languages
English (en)
Other versions
CN108537731A (zh
Inventor
邓成
樊馨霞
许洁
李泽宇
杨延华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Publication of CN108537731A publication Critical patent/CN108537731A/zh
Application granted granted Critical
Publication of CN108537731B publication Critical patent/CN108537731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。实现步骤为：获取由高低分辨率图像对组成的训练样本集；构建多尺度特征融合网络；对多尺度特征融合网络进行训练；获取压缩多尺度特征融合网络；用压缩多尺度特征融合网络对待重建RGB图像进行超分辨率重建。本发明在多尺度特征融合网络中采用多个依次层叠连接的多尺度特征融合层提取低分辨图像的多尺度特征，并对其进行非线性映射，有利于提高重建后的高分辨率图像峰值信噪比和结构相似性。可用于遥感成像、公共安全、医学诊断等领域。

Description

基于压缩多尺度特征融合网络的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，可用于遥感成像、公共安全、医学诊断等领域。
背景技术
图像超分辨率是指提高图像的分辨率。图像超分辨率重建方法是一种从观测到的低分辨率的图像重建出相应的高分辨率图像的方法。图像超分辨率重建的方法主要分为三类：基于插值、基于重建和基于学习的方法。近年来基于学习的方法成为图像超分辨率重建方法的主要研究方向，其主要思想是利用高低分辨率图像对作为训练样本，分别提取高低分辨率图像对的特征，利用数学模型学习对应特征之间的非线性映射关系，从而根据输入的低分辨率图像特征估计出其相应的高分辨率图像特征，进而重建出相应的高分辨率图像。但是传统的基于学习的图像超分辨率重建方法只能提取低分辨率图像中一些简单的特征，不足以充分地表征丰富的图像信息，而且仅使用浅层网络对低分辨率图像特征与高分辨率图像特征之间非线性映射关系进行拟合，无法拟合出准确的非线性映射关系，导致重建的高分辨率图像的峰值信噪比和结构相似性较低。
深度神经网络由于特征提取能力强和非线性表达能力鲁棒的特性，被用于图像超分辨率重建问题，深度神经网络可以提取训练样本中高低分辨率图像中更加丰富的图像特征，并且对高低分辨率图像特征之间的非线性映射关系进行更好的拟合，从而可以使重建的高分辨率图像具有更高的峰值信噪比和结构相似性。当前，研究人员已经提出一些基于深度神经网络的图像超分辨率重建方法，例如，Jiwon Kim和Jung Kwon Lee等人在2016年在Computer Vision and Pattern Recognition会议上发表的名为“Accurate imagesuper-resolution using very deep convolutional networks”的文章，公开了一种基于深度卷积神经网络的图像超分辨率重建方法，该方法采用一个端到端的深度卷积神经网络提取低分辨率图像的特征，并将该特征映射为高分辨率图像特征，进而重建出高分辨率图像。这种端到端的深度神经网络采用20个卷积层级联，且在各个卷积层之后使用一个非线性激活层的结构，这种结构不仅可以用于提取低分辨图像大尺度的图像特征，这些大尺度的图像特征可以表征更加丰富的图像信息，而且可以更好地拟合高低分辨率图像特征之间的非线性映射关系，使得重建的高分辨率图像的峰值信噪比和结构相似性得到提高。但是，事实上，低分辨率图像中包含不同尺度的特征，而上述端到端的深度卷积神经网络只能提取低分辨率图像的单一尺度的特征，导致提取的特征丢失了低分辨率图像的部分细节信息和结构信息，使得重建的高分辨率图像的峰值信噪比和结构相似性还有待提高。
发明内容
本发明的目的在于克服上述已有技术存在的不足，提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。
本发明的技术思路是，采用多尺度特征融合网络中的多尺度特征融合层提取低分辨率图像的多个尺度的特征，以表征低分辨率图像中更丰富的细节信息以及更完整的结构信息，并且将多个多尺度特征融合层依次层叠连接以进一步提高网络对高低图像分辨率图像特征之间非线性映射关系的拟合能力，从而解决了重建的高分辨率图像的峰值信噪比和结构相似性较低的问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集：
(1a)从数据库中提取p幅RGB图像，并对每幅图像进行旋转和尺度变换，得到q幅RGB图像，其中p≥1，q＞p；
(1b)对q幅RGB图像进行格式转换，并从得到的q幅YCbCr图像中各提取一幅Y通道图像，得到q幅Y通道图像，并对q幅Y通道图像进行编号，得到q幅带编号的Y通道图像；
(1c)对q幅带编号的Y通道图像分别进行模糊处理，得到q幅带编号的低分辨率图像；
(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对，得到q个高低分辨率图像对，其中i＝1...q；
(1e)对q个高低分辨率图像对分别进行裁剪，并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，N，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N≥q，c≥15；
(2)构建多尺度特征融合网络：
构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，8≤H≤12，其中：
所述输入层，用于接收高低分辨率图像对；
所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括n个并行的第三卷积层，n≥2，每个第三卷积层中的卷积核尺寸相等，且不同第三卷积层中的卷积核尺寸不等；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层；
所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为d*d，3≤d≤5；
所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)；
(3)对多尺度特征融合网络进行训练：
(3a)对多尺度特征融合网络进行初始化，得到初始化的多尺度特征融合网络；
(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，得到训练后的多尺度特征融合网络Net1；
(4)获取压缩多尺度特征融合网络：
(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2；
(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化，并对初始化后的多尺度特征融合网络Net2进行微调，得到压缩多尺度特征融合网络；
(5)对待重建RGB图像进行超分辨率重建：
(5a)对待重建RGB图像进行格式转换，得到待重建YCbCr图像；
(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像，得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像；
(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络，得到待重建YCbCr图像的Y通道残差图像；
(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加，得到重建高分辨率YCbCr图像的Y通道图像；
(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合，得到重建高分辨率YCbCr图像，并对重建高分辨率YCbCr图像进行格式转换，得到重建高分辨率RGB图像。
本发明与现有技术相比，具有如下优点：
本发明在多尺度特征融合网络中采用多尺度特征融合层提取低分辨图像的多尺度特征，这些多尺度信息包含了更具体的细节特征和结构特征，有利于网络恢复出高分辨率图像中更丰富的细节信息和更完整的结构信息；并且将多个多尺度特征融合层依次层叠连接，增加了非线性激活层的数量，进而提高了多尺度特征融合网络对高低分辨率图像特征之间的非线性映射关系的拟合能力，与现有技术相比，有效提高了重建的高分辨率图像的峰值信噪比和结构相似性。
附图说明
图1是本发明的实现流程图。
具体实施方案
以下结合附图和具体实施例，对本发明作进一步详细描述：
参照图1，基于压缩多尺度特征融合网络的图像超分辨重建方法，包括如下步骤：
步骤1)获取训练样本集：
步骤1a)从伯克利分割数据库中提取291幅RGB图像，并对每幅图像进行旋转，旋转度数分别为0°、90°、180°、270°，再对每幅图像进行尺度变换，变换尺度分别为1倍、6倍、7倍、8倍、9倍，得到5820幅RGB图像；
步骤1b)对5820幅RGB图像进行格式转换，并从得到的5820幅YCbCr图像中各提取一幅Y通道图像，得到5820幅Y通道图像，并对5820幅Y通道图像进行编号，得到5820幅带编号的Y通道图像；
步骤1c)对5820幅带编号的Y通道图像分别进行模糊处理，处理方式为：对每幅编号的Y通道图像分别进行双三次插值下采样，再进行双三次插值上采样，并使得经下采样和上采样处理后的图像尺寸与原图像尺寸保持一致，得到5820幅带编号的低分辨率图像；
步骤1d)将5820幅Y通道图像中的第i幅图像与5820幅低分辨率图像中的第i幅图像进行配对，得到5820个高低分辨率图像对；
步骤1e)对5820个高低分辨率图像对分别进行裁剪，并将得到的N个大小为41×41的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，748672，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N＝748672；
步骤2)构建多尺度特征融合网络：
构建包括由依次层叠的输入层、10个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，其中：
所述输入层，用于接收高低分辨率图像对；
所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括5个并行的第三卷积层，每个第三卷积层中的卷积核尺寸相等，5个第三卷积层中的卷积核尺寸分别为1*1、3*3、5*5、7*7、9*9；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和5个并行的第三卷积层后各连接一个非线性激活层；
第1层多尺度特征融合层和第2到10层多尺度特征融合层的数学表达分别为：
Figure BDA0001623517760000061
Figure BDA0001623517760000062
其中，X表示训练样本集中的高低分辨率图像对中的低分辨率图像的集合，
Figure BDA0001623517760000063
表示第h个多尺度特征融合层的第j个第三卷积层的权重，
Figure BDA0001623517760000064
表示第h个多尺度特征融合层中第二卷积层的权重，
Figure BDA0001623517760000065
表示第h个多尺度特征融合层的第j个第三卷积层的偏置，
Figure BDA0001623517760000066
表示第h个多尺度特征融合层中第二卷积层的偏置，*代表卷积操作，Fh-1(X)表示第(h-1)个多尺度特征融合层的输出，σ表示非线性激活层的激活函数，σ的数学表达式为：f(x)＝max(0,x)，x为输入；
所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为3*3；
所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)，L(θ)的数学表达为：
Figure BDA0001623517760000067
其中，F(Xi；θ)表示低分辨率图像相应的重建高分辨率图像，Xi表示第i幅高低分辨率图像对中的低分辨率图像，Yi表示第i幅高低分辨率图像对中的高分辨率图像，θ表示网络所有需要优化的参数集合，Ri＝(Yi-Xi)表示Yi与Xi的残差图像；
步骤3)对多尺度特征融合网络进行训练：
步骤3a)对多尺度特征融合网络进行随机初始化，随机初始化时采用的网络参数服从高斯分布，均值为0，标准差为0.1，得到初始化的多尺度特征融合网络；
步骤3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，优化网络时采用自适应矩估计方法迭代地更新网络的权重，得到训练后的多尺度特征融合网络Net1，优化网络的过程即为训练过程，训练网络时采用的学习率为1×10-4，迭代次数为1×107；
步骤4)获取压缩多尺度特征融合网络：
步骤4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2，其中E(θ)的数学表达式为：
Figure BDA0001623517760000071
其中，λs表示正则权重，将第一卷积层、n个第二卷积层和n×H个第三卷积层进行编号，得到编号从第1到第61个卷积层，
Figure BDA0001623517760000072
是多尺度特征融合网络中第l个卷积层中第cl个通道上位于(ml,kl)位置的权重，Cl表示多尺度特征融合网络中第l个卷积层中总的通道数，Ml为表示多尺度特征融合网络中第l个卷积层中的卷积核的长度，Kl为表示多尺度特征融合网络中第l个卷积层中的卷积核的宽度，|| ||g为组稀疏；
步骤4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化，并对初始化后的多尺度特征融合网络Net2进行微调，微调时采用自适应矩估计方法迭代地更新网络的权重，得到压缩多尺度特征融合网络，微调时采用的学习率为1×10-5，迭代次数为1×105；
步骤5)对待重建RGB图像进行超分辨率重建：
步骤5a)对待重建RGB图像进行格式转换，得到待重建YCbCr图像；
步骤5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像，得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像；
步骤5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络，得到待重建YCbCr图像的Y通道残差图像；
步骤5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加，得到重建高分辨率YCbCr图像的Y通道图像；
步骤5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合，得到重建高分辨率YCbCr图像，并对重建高分辨率YCbCr图像进行格式转换，得到重建高分辨率RGB图像。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件和内容：
本发明使用型号为NVIDIA GTX TITAN X的GPU，基于深度学习的工具箱Caffe和MatConvet进行的仿真实验。
本发明在四个公开专门用于图像超分辨率重建方法性能测试的数据集Set5、Set14、BSDS100、Urban100上进行仿真实验。采用的数据集Set5包含5张RGB图像，数据集Set14包含14张RGB图像，数据集BSDS100包含100张BMP图像，转为RGB图像，数据集Urban100包含100张BMP图像，转为RGB图像。仿真时，多尺度特征融合网络中第一卷积层的卷积核数量为64，第二卷积层的卷积核数量为64，卷积核尺寸为1*1的第三卷积核数量为64、卷积核尺寸为3*3的第三卷积核数量为48、卷积核尺寸为5*5的第三卷积核数量为32、卷积核尺寸为7*7第三卷积核数量为16、卷积核尺寸为9*9第三卷积核数量为16。
本发明的对比方法是基于深度卷积神经网络的图像超分辨率重建方法。在四个公开数据集Set5、Set14、BSDS100和Urban100上用本发明和对比方法进行仿真对比实验。表1为四个公开数据集上放大不同倍数的重建图像的平均峰值信噪比(PSNR)和平均结构相似性(SSIM)比较结果。
表1
Figure BDA0001623517760000081
2.仿真结果分析：
由表1的仿真结果可见，本发明在四个数据集上放大不同倍数的重建图像的峰值信噪比(PSNR)和结构相似性(SSIM)均高于现有技术在四个数据集上放大不同倍数的重建图像的峰值信噪比(PSNR)和结构相似性(SSIM)。

Claims (4)

1.一种基于压缩多尺度特征融合网络的图像超分辨重建方法，其特征在于，包括如下步骤：
(1)获取训练样本集：
(1a)从数据库中提取p幅RGB图像，并对每幅图像进行旋转和尺度变换，得到q幅RGB图像，其中p≥1，q＞p；
(1b)对q幅RGB图像进行格式转换，并从得到的q幅YCbCr图像中各提取一幅Y通道图像，得到q幅Y通道图像，并对q幅Y通道图像进行编号，得到q幅带编号的Y通道图像；
(1c)对q幅带编号的Y通道图像分别进行模糊处理，得到q幅带编号的低分辨率图像；
(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对，得到q个高低分辨率图像对，其中i＝1...q；
(1e)对q个高低分辨率图像对分别进行裁剪，并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，N，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N≥q，c≥15；
(2)构建多尺度特征融合网络：
构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，8≤H≤12，其中：
所述输入层，用于接收高低分辨率图像对；
所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括n个并行的第三卷积层，n≥2，每个第三卷积层中的卷积核尺寸相等，且不同第三卷积层中的卷积核尺寸不等；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层；
所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为d*d，3≤d≤5；
所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)；
(3)对多尺度特征融合网络进行训练：
(3a)对多尺度特征融合网络进行初始化，得到初始化的多尺度特征融合网络；
(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，得到训练后的多尺度特征融合网络Net1；
(4)获取压缩多尺度特征融合网络：
(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2；
(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化，并采用自适应矩估计方法迭代地更新初始化后的多尺度特征融合网络Net2的权重，实现对该网络的微调，得到压缩多尺度特征融合网络；
(5)对待重建RGB图像进行超分辨率重建：
(5a)对待重建RGB图像进行格式转换，得到待重建YCbCr图像；
(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像，得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像；
(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络，得到待重建YCbCr图像的Y通道残差图像；
(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加，得到重建高分辨率YCbCr图像的Y通道图像；
(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合，得到重建高分辨率YCbCr图像，并对重建高分辨率YCbCr图像进行格式转换，得到重建高分辨率RGB图像。
2.根据权利要求1所述的基于压缩多尺度特征融合网络的图像超分辨重建方法，步骤(2)中所述的H个依次层叠的多尺度特征融合层，其第1层和第2到H层的数学表达分别为：
Figure FDA0002327626060000031
Figure FDA0002327626060000032
其中，X表示训练样本集中的高低分辨率图像对中的低分辨率图像的集合，n表示多尺度特征融合层中多尺度特征提取层中的第三卷积层的数量，
Figure FDA0002327626060000033
表示第h个多尺度特征融合层的第j个第三卷积层的权重，
Figure FDA0002327626060000034
表示第h个多尺度特征融合层中第二卷积层的权重，
Figure FDA0002327626060000035
表示第h个多尺度特征融合层的第j个第三卷积层的偏置，
Figure FDA0002327626060000036
表示第h个多尺度特征融合层中第二卷积层的偏置，*代表卷积操作，Fh-1(X)表示第h-1个多尺度特征融合层的输出，σ表示非线性激活层的非线性激活函数，σ的数学表达式为：f(x)＝max(0,x)，x为输入。
3.根据权利要求1所述的基于压缩多尺度特征融合网络的图像超分辨重建方法，步骤(2)中所述的多尺度特征融合网络损失层的损失函数L(θ)，其数学表达为：
Figure FDA0002327626060000037
其中，F(Xi；θ)表示低分辨率图像相应的重建高分辨率图像，Xi表示第i幅高低分辨率图像对中的低分辨率图像，Yi表示第i幅高低分辨率图像对中的高分辨率图像，θ表示网络所有需要优化的参数集合，Ri＝(Yi-Xi)表示Yi与Xi的残差图像，N表示高低分辨率图像对的数量。
4.根据权利要求3所述的基于压缩多尺度特征融合网络的图像超分辨重建方法，步骤(4a)中所述的损失函数E(θ)，其数学表达式为：
Figure FDA0002327626060000041
其中，λs表示正则权重，将第一卷积层、n个第二卷积层和n×H个第三卷积层进行编号，得到编号从第1到第L个卷积层，
Figure FDA0002327626060000042
是多尺度特征融合网络中第l个卷积层中第cl个通道上位于(ml,kl)位置的权重，Cl表示多尺度特征融合网络中第l个卷积层中总的通道数，Ml为表示多尺度特征融合网络中第l个卷积层中的卷积核的长度，Kl为表示多尺度特征融合网络中第l个卷积层中的卷积核的宽度，|| ||g为组稀疏。
CN201810315128.5A 2017-12-29 2018-04-10 基于压缩多尺度特征融合网络的图像超分辨率重建方法 Active CN108537731B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017114706396 2017-12-29
CN201711470639 2017-12-29

Publications (2)

Publication Number Publication Date
CN108537731A CN108537731A (zh) 2018-09-14
CN108537731B true CN108537731B (zh) 2020-04-14

Family

ID=63480647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810315128.5A Active CN108537731B (zh) 2017-12-29 2018-04-10 基于压缩多尺度特征融合网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108537731B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389556B (zh) * 2018-09-21 2023-03-21 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109064408A (zh) * 2018-09-27 2018-12-21 北京飞搜科技有限公司 一种多尺度图像超分辨率重建的方法及装置
WO2020062191A1 (zh) * 2018-09-29 2020-04-02 华为技术有限公司 图像处理方法、装置及设备
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备
CN112085652A (zh) * 2019-06-14 2020-12-15 深圳市中兴微电子技术有限公司 一种图像处理的方法、装置、计算机存储介质及终端
CN110490799B (zh) * 2019-07-25 2021-09-24 西安理工大学 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法
CN110533591B (zh) * 2019-08-20 2022-12-27 西安电子科技大学 基于编解码器结构的超分辨图像重建方法
CN110619604B (zh) * 2019-09-17 2022-11-22 中国气象局公共气象服务中心(国家预警信息发布中心) 三维降尺度方法、装置、电子设备及可读存储介质
CN111028153B (zh) * 2019-12-09 2024-05-07 南京理工大学 图像处理和神经网络训练方法、装置及计算机设备
CN111160413B (zh) * 2019-12-12 2023-11-17 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111062434A (zh) * 2019-12-13 2020-04-24 国网重庆市电力公司永川供电分公司 一种无人机巡检多尺度融合检测方法
CN111402138A (zh) * 2020-03-24 2020-07-10 天津城建大学 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN111553861B (zh) * 2020-04-29 2023-11-24 苏州大学 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN111861961B (zh) * 2020-07-25 2023-09-22 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112070667B (zh) * 2020-08-14 2024-06-18 深圳市九分文化传媒有限公司 一种多尺度特征融合的视频超分辨率重建的方法
CN112734645B (zh) * 2021-01-19 2023-11-03 青岛大学 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法
WO2023000158A1 (zh) * 2021-07-20 2023-01-26 海南长光卫星信息技术有限公司 一种遥感影像超分辨率重建方法、装置、设备及存储介质
CN113538246B (zh) * 2021-08-10 2023-04-07 西安电子科技大学 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN114245126B (zh) * 2021-11-26 2022-10-14 电子科技大学 一种纹理协同的深度特征图压缩方法
CN115100039B (zh) * 2022-06-27 2024-04-12 中南大学 一种基于深度学习的轻量级图像超分辨率重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008539A (zh) * 2014-05-29 2014-08-27 西安理工大学 基于多尺度几何分析的图像超分辨率重建方法
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
CN106846250A (zh) * 2017-01-22 2017-06-13 宁波星帆信息科技有限公司 一种基于多尺度滤波的超分辨率重建方法
CN107103585A (zh) * 2017-04-28 2017-08-29 广东工业大学 一种图像超分辨率***
WO2017196995A1 (en) * 2016-05-11 2017-11-16 The Regents Of The University Of California Method and system for pixel super-resolution of multiplexed holographic color images
JP2017220200A (ja) * 2016-06-02 2017-12-14 日本放送協会 超解像装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
CN104008539A (zh) * 2014-05-29 2014-08-27 西安理工大学 基于多尺度几何分析的图像超分辨率重建方法
WO2017196995A1 (en) * 2016-05-11 2017-11-16 The Regents Of The University Of California Method and system for pixel super-resolution of multiplexed holographic color images
JP2017220200A (ja) * 2016-06-02 2017-12-14 日本放送協会 超解像装置及びプログラム
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106846250A (zh) * 2017-01-22 2017-06-13 宁波星帆信息科技有限公司 一种基于多尺度滤波的超分辨率重建方法
CN107103585A (zh) * 2017-04-28 2017-08-29 广东工业大学 一种图像超分辨率***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Single image super-resolution via multi-scale fusion convolutional neural network;Xiaofeng Du 等;《2017 IEEE 8th International Conference on Awareness Science and Technology (iCAST)》;20171010;第2325-5994页 *

Also Published As

Publication number Publication date
CN108537731A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537731B (zh) 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
WO2020056791A1 (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN106204449A (zh) 一种基于对称深度网络的单幅图像超分辨率重建方法
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN108830813A (zh) 一种基于知识蒸馏的图像超分辨率增强方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN107798381A (zh) 一种基于卷积神经网络的图像识别方法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN105069825A (zh) 基于深度置信网络的图像超分辨率重建方法
CN107680077A (zh) 一种基于多阶梯度特征的无参考图像质量评价方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN110956575B (zh) 转变图像风格的方法和装置、卷积神经网络处理器
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN111899168A (zh) 一种基于特征增强的遥感影像超分辨率重建方法和***
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN111274905A (zh) 一种AlexNet和SVM相结合的卫星遥感影像土地利用变化检测方法
CN106097253A (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN110533591A (zh) 基于编解码器结构的超分辨图像重建方法
CN113920043A (zh) 基于残差通道注意力机制的双流遥感图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant