CN107123089B - 基于深度卷积网络的遥感图像超分辨重建方法及*** - Google Patents
基于深度卷积网络的遥感图像超分辨重建方法及*** Download PDFInfo
- Publication number
- CN107123089B CN107123089B CN201710271199.5A CN201710271199A CN107123089B CN 107123089 B CN107123089 B CN 107123089B CN 201710271199 A CN201710271199 A CN 201710271199A CN 107123089 B CN107123089 B CN 107123089B
- Authority
- CN
- China
- Prior art keywords
- image
- space
- remote sensing
- layer
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 230000002146 bilateral effect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 105
- 238000012937 correction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 22
- 230000010354 integration Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000002161 passivation Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 24
- 238000003860 storage Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000023886 lateral inhibition Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明提供一种基于深度卷积网络的遥感图像超分辨重建方法及***，包括：将待处理遥感图像由RGB空间转换至YCbCr空间，分出亮度空间与色度空间；构建多层深度卷积网络，基于多层深度卷积网络构建超分辨重建模型，利用超分辨重建模型对亮度空间进行重建，得到重建后的亮度空间；以重建后的亮度空间为导向图指导色度空间进行联合双边滤波，得到重建后的色度空间；整合重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到超分辨图像，超分辨图像具有比待处理遥感图像高的分辨率。上述方法及***不依赖同一场景多时相遥感图像序列的情况下实现针对遥感图像的超分辨重建，提升图像分辨率。
Description
技术领域
本发明涉及遥感图像处理技术领域，更具体地，涉及一种基于深度卷积网络的遥感图像超分辨重建方法及***。
背景技术
随着遥感技术在地物观测、目标识别等领域的深入发展，人们对高分辨遥感图像的需求日益提高。改善硬件设备是获取高分辨遥感图像最直接的方法，然而其成本高、研制周期长，同时会引发噪声和传输速率减慢等问题，并且不易维护，灵活性差，而超分辨(Super Resolution，SR)重建从图像信息本身出发，由一幅或多幅低分辨图像重建出一幅高分辨图像，是一种经济便捷的提高图像分辨率的技术。在遥感领域应用SR重建技术可缩小不同图像间分辨率差别，进而降低多源图像的配准、镶嵌和融合难度，为多时相地物观测及数据处理提供基础，方便目标的检测与识别。
SR重建最早由Harris等人于上世纪60年代提出，其按重建时所需低分辨率图像数量可分为单幅重建和多幅重建，当前主要方法有三类：插值法、重构法和学习法。
插值法是最早的SR重建方法，包括最近邻插值、双线性插值和双三次插值等，其利用已知邻近像素的灰度值来产生待插值像素的灰度值，在所有重建方法中复杂度最低，实时性好，但结果中边缘效应明显，对细节恢复较差。重构法由Tsai等人提出，经Tekalp与Stark等人发展，其对图像成像过程进行建模，按照特定的退化模型，根据观测的低分辨图像序列对高分辨图像重建提供约束，再融合同一场景的不同信息来得到高质量重建结果，是一类以时间宽度换取空间分辨率提升的方法，通常需预先配准，效率低且精度难以保证，且操作复杂，通用性较差，目前针对遥感图像的SR重建大多仍停留在此类方法上，其都无法克服重构法存在的普遍问题。
学习法近年迅速发展，其克服了重构法分辨率提高倍数难确定的限制，且可面向单幅图像，依靠构造高、低分辨率图像库，通过样本学习得到二者间内在对应关系。其中Yang等人提出的稀疏表示法从压缩感知角度出发，假定作为输入的低分辨率图像块可以被一个过完备的图像块字典中的基元素线性稀疏表示，基于高、低分辨率图像块联合字典进行重建，效果较好，被金炜等参考用于提升遥感云图分辨率，但其求解速度慢，且对过完备字典的选择要求较高，通用性不足。之后Chao等人结合深度学习内容构建了基于三层卷积神经网络结构的SRCNN(Super Resolution Convolutional Neutral Network)模型，直接学习低分辨率图像与高分辨率图像间的端到端映射关系，运行效率和重建效果在当前所有SR重建方法中居于前列，但其所需训练时间较长，且未考虑学习过程中可能出现的过拟合问题，未对色度空间插值结果进行处理。国内徐冉等人提出了基于双通道卷积的SR重建算法，以模型结构复杂度和效率为代价换取了重建信噪比的提升，但仍存在过拟合和边缘问题。
发明内容
鉴于上述问题，本发明提供一种训练时间短、适应性强、超分辨效果好的基于深度卷积网络的遥感图像超分辨重建方法及***。
根据本发明的一方面，提供一种基于深度卷积网络的遥感图像超分辨重建方法，包括：步骤S1，将待处理遥感图像由RGB空间转换至YCbCr空间，并分出所述待处理遥感图像的亮度空间与色度空间；步骤S2，构建多层深度卷积网络，基于所述多层深度卷积网络构建超分辨重建模型，利用所述超分辨重建模型对上述待处理遥感图像的亮度空间进行重建，得到所述待处理遥感图像重建后的亮度空间；步骤S3，以上述重建后的亮度空间为导向图指导所述待处理遥感图像的色度空间进行联合双边滤波，得到所述待处理遥感图像的重建后的色度空间；步骤S4，整合所述待处理遥感图像重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到所述待处理遥感图像的超分辨图像，所述超分辨图像的分辨率高于所述待处理遥感图像的分辨率。
据本发明的另一方面，提供一种基于深度卷积网络的遥感图像超分辨重建***，包括：空间转换模块，将待处理遥感图像由RGB空间转换至YCbCr空间，并分出所述待处理遥感图像的亮度空间和色度空间，分别发送给亮度空间重建模块和色度空间重建模块；亮度空间重建模块，构建多层深度卷积网络，基于所述多层深度卷积网络构建超分辨重建模型，利用所述超分辨重建模型对空间转换模块传来的待处理遥感图像的亮度空间进行重建，得到所述待处理遥感图像重建后的亮度空间，发送到色度空间重建模块和整合模块；色度空间重建模块，以亮度重建模块传来的待处理遥感图像重建后的亮度空间为导向图指导所述待处理遥感图像的色度空间进行联合双边滤波，得到所述待处理遥感图像的重建后的色度空间，发送到整合模块；整合模块，整合亮度空间重建模块和色度空间模块发送的所述待处理遥感图像重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到所述待处理遥感图像的超分辨图像，所述超分辨图像的分辨率高于所述待处理遥感图像高的分辨率。
本发明所述基于深度卷积网络的遥感图像超分辨重建方法及***适用性更强，重建时无需输入同一场景不同时序的遥感图像序列，仅需利用预先训练好的重建模型，对每一幅待重建遥感图像输入建立映射关系，重建速度更快。另外，利用重建后的亮度空间作为导向图联合双边滤波插值重建色度空间，有效削弱了遥感图像色度空间插值后的块效应。
附图说明
通过参考以下具体实施方式及权利要求书的内容并且结合附图，本发明的其它目的及结果将更加明白且易于理解。在附图中：
图1是本发明所述基于深度卷积网络的遥感图像超分辨重建方法的流程示意图；
图2是本发明构建超分辨重建模型的流程示意图；
图3是本发明待处理遥感图像色度空间重建的流程示意图；
图4是本发明所述基于深度卷积网络的遥感图像超分辨重建***的构成框图；
图5是利用本发明所述遥感图像超分辨重建***对遥感图像进行本发明所述遥感图像超分辨重建的一个优选实施例的流程示意图；
图6是本发明所述超分辨重建模型的结构示意图；
图7是本发明色度空间联合双边滤波前后对比图，其中，图7a是待处理遥感图像Cb空间联合滤波前效果，图7b是待处理遥感图像Cb空间联合滤波后效果，图7c是待处理遥感图像Cr空间联合滤波前效果，图7d为待处理遥感图像Cr空间联合滤波后效果；
图8是本发明所述遥感图像超分辨重建方法与其他SR重建方法针对遥感图像的重建效果对比图，其中，图8a为双三次插值法2倍重建效果，图8b为SRCNN方法2倍重建效果，图8c为本发明所述遥感图像超分辨重建方法2倍重建效果，图8d为原始高分辨遥感图像。
在附图中，相同的附图标记指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
下面将参照附图来对根据本发明的各个实施例进行详细描述。
图1是本发明所述基于深度卷积网络的遥感图像超分辨重建方法的流程示意图，如图1所示，所述遥感图像超分辨重建方法包括：
步骤S1，将待处理遥感图像由RGB空间转换至YCbCr空间，并分出所述待处理遥感图像的亮度空间与色度空间；
步骤S2，构建多层深度卷积网络，基于所述多层深度卷积网络构建超分辨重建模型，利用所述超分辨重建模型对上述待处理遥感图像的亮度空间进行重建，得到所述待处理遥感图像重建后的亮度空间；
步骤S3，以上述重建后的亮度空间为导向图指导所述待处理遥感图像的色度空间进行联合双边滤波，得到所述待处理遥感图像的重建后的色度空间，所述联合双边滤波表达式如公式(1)所示：
其中，Kp是正则化因子，为引入的导向图，也是所述重建后的亮度空间，p、q表示像素在待处理遥感图像中的坐标，Jp表示相应位置的输出，f、g是权重分布函数，Ω是函数的作用域；
步骤S4，整合所述待处理遥感图像重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到所述待处理遥感图像的超分辨图像，所述超分辨图像的分辨率高于所述待处理遥感图像的分辨率。
优选地，上述遥感图像超分辨重建方法还包括：
在所述步骤S1之前，对所述待处理遥感图像进行几何校正、辐射校正、大气校正和去噪等预处理，消除所述待重建图像的几何畸变、辐射量失真、大气消光等问题；
在步骤S3和步骤S4之间，对所述待处理遥感图像重建后的亮度空间和重建后的色度空间进行自适应非线性反锐化掩膜(Adaptive Nonlinear UnsharpMask，ANUSM)处理，包括：分别对重建亮度空间和色度空间后的待处理遥感图像的Y、Cb和Cr按照下面的公式(2)进行ANUSM增强，
其中，(x,y)为待处理遥感图像亮度空间或色度空间的像素点的坐标，g(x,y)为重建后待处理遥感图像的Y、Cb或Cr增强后结果，f(x,y)为所述待处理遥感图像亮度空间或色度空间重建结果，即重建后像素点的像素值，为对其进行钝化得到的图像，其中，钝化方法采用采用下面公式(3)所述增强因子k(x,y)，
其中，fmax(x,y)为其对应空间重建结果中最大像素值。
上述遥感图像超分辨重建方法中，对重建后的亮度空间和色度空间进行ANUSM增强，进一步加强了待处理遥感图像重建后的视觉效果，且能自动根据不同的待处理遥感图像进行自适应调整，具有很强的通用性。
在步骤S2中，如图2所示，所述基于深度卷积网络构建超分辨重建模型的方法包括：
步骤S21，构建图像训练集，具体地，选取设定数量的第一图像，将每张第一图像转换至YCbCr空间，取其亮度空间分量进行下采样得到第二图像的亮度空间分量，对所述第二图像的亮度空间分量进行双三次插值操作以使其具有与所述第一图像的亮度空间分量相同的尺寸，对所述每张第二图像与第一图像进行分块裁切得到多个一一对应的第二训练图像块和第一训练图像块，其中，所述第一图像的分辨率高于第二图像的分辨率，所述第一训练图像块的分辨率高于第二训练图像块的分辨率；
步骤S22，构建多层深度卷积网络结构，具体地，采用前m-1层添加参数修正线性单元(Parametric Rectified Linear Unit，PReLU)层和局部响应归一化(Local ResponseNormalization，LRN)层构造具有参数的m层深度卷积网络结构，其中，所述多层深度卷积网络结构的输入与输出间的映射关系如公式(4)所示：
Xi＝Fm(Yi,Θ) (4)
其中，Xi为输出图像，Yi为输入图像，Fm为输入图像Yi与输出图像Xi在m层的映射关系，Θ为学习到的参数；
PReLU层按照公式(5)激活：
其中，P为PReLU算子，λ为PReLU参数；
LRN层按照公式(6)激活：
其中，k为初始化常数，n为进行归一化的局部尺寸大小，α为缩放因子，β为指数项；
步骤S23，构建超分辨重建模型，也就是说，确定上述多层深度卷积网络结构的参数，形成超分辨重建模型，其中，以所述图像训练集的第二训练图像块为输入，第一训练图像块为输出在上述多层深度卷积网络结构中进行训练，得到所述超分辨重建模型，优选地，包括：
将所述图像训练集在上述超分辨重建模型中进行训练；
采用图像训练集中第一训练图像块及与其对应的第二训练图像块在所述卷积网络结构中的输出的均方根误差作为损失函数，所述损失函数为：
其中，N样本为所述图像训练集样本数量；
通过梯度下降法对多层深度卷积网络的参数进行更新，使得损失函数降低到最小，损失函数最小时对应的参数值为多层深度卷积网络结构的参数，其中，卷积核更新过程如下：
其中，为输入图像在l层的卷积核，Δ为权重变化量，μ为冲量单元，η为学习率；
PReLU参数λl的权值更新过程如下：
优选地，在步骤S23中，以所述图像训练集的第二训练图像块为输入在上述多层深度卷积网络结构中进行训练，每层的卷积结果如公式(10)和(11)：
其中，l为层数索引，m为总层数，i为图像块索引号，Yi为第i个第二训练图像块；Wl为第l层卷积核，“*”为卷积符号，Bl为第l层卷积的偏差组向量，Nl-1(Yi)为第l-1个LRN层输出；λl为PReLU参数，Fl(Yi)为第i个第二训练图像块Yi在第l层的输出，nl为第l层进行归一化的局部尺寸大小。
优选地，在步骤S2中，利用所述超分辨重建模型对待处理遥感图像的亮度空间进行重建包括：对待处理遥感图像的亮度空间分量进行双三次插值，再利用超分辨重建模型对其进行重建，得到待处理遥感图像重建后的亮度空间。
在步骤S3中，如图3所示，根据重建后的亮度空间重建色度空间的方法包括：
步骤S31，对所述的待重建色度空间分量(Cb空间分量与Cr空间分量)进行双三次插值，得到色度空间初步重建结果。
步骤S32，以待处理遥感图像的亮度空间重建结果为导向图，对所述色度空间初步重建结果进行联合双边滤波，得到最终待处理遥感图像的色度空间重建结果。
本发明述基于深度卷积网络的遥感图像超分辨重建方法中，超分辨重建模型的多层深度卷积网络中的PReLU和LRN层能够加快模型收敛速度，提升训练效率，且具有更强的抗过拟合能力。
图4是本发明所述基于深度卷积网络的遥感图像超分辨重建***的构成框图，如图4所示，所述基于深度卷积网络的遥感图像超分辨重建***100包括：
空间转换模块120，将待处理遥感图像由RGB空间转换至YCbCr空间，并分出所述待处理遥感图像的亮度空间和色度空间，分别发送给亮度空间重建模块130和色度空间重建模块140；
亮度空间重建模块130，构建多层深度卷积网络，基于所述多层深度卷积网络构建超分辨重建模型，利用所述超分辨重建模型对空间转换模块120传来的待处理遥感图像的亮度空间进行重建，得到所述待处理遥感图像重建后的亮度空间，发送到色度空间重建模块140和整合模块160；
色度空间重建模块140，以亮度重建模块130传来的待处理遥感图像重建后的亮度空间为导向图指导所述待处理遥感图像的色度空间进行联合双边滤波，得到所述待处理遥感图像的重建后的色度空间，发送到整合模块160，其中，所述联合双边滤波按照上述公式(1)进行滤波；
整合模块160，整合亮度空间重建模块130和色度空间模块140发送的所述待处理遥感图像重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到所述待处理遥感图像的超分辨图像，所述超分辨图像的分辨率高于所述待处理遥感图像的分辨率。
优选地，上述遥感图像超分辨重建***100还包括：
预处理模块110，对所述待处理遥感图像进行预处理，将预处理后的所述待处理遥感图像发送到所述空间转换模块120，所述预处理包括几何校正、辐射校正、大气校正和去噪中的一种或多种；
后处理增强模块150，分别与亮度空间重建模块130、色度空间重建模块140和整合模块160连接，接收来亮度空间重建模块130和色度空间重建模块140的所述待处理遥感图像重建后的亮度空间和重建后的色度空间，对所述重建后的亮度空间和重建后的色度空间进行自适应非线性反锐化掩膜处理，将处理后的所述亮度空间和色度空间发送给整合模块160。
上述基于深度卷积网络的遥感图像超分辨重建***，用户能够在不依赖同一场景多时相遥感图像序列的情况下实现针对单幅图像的超分辨重建与增强，提升图像分辨率，在重建效率与处理效果之间取得了很好的平衡。
另外，优选地，上述基于深度卷积网络的遥感图像超分辨重建***100还包括存储模块170，分别与预处理模块110、空间转换模块120、亮度空间重建单元130、色度空间重建单元140、后处理增强模块150和整合单元160相连，用于存储上述模块每一部分的阶段性结果。
如图4所示，上述亮度空间重建模块130包括：
图像训练集构建单元131，选取设定数量的第一图像，将每张第一图像转换至YCbCr空间，取其亮度空间分量进行下采样得到第二图像的亮度空间分量，对所述第二图像的亮度空间分量进行双三次插值操作以使其具有与所述第一图像的亮度空间分量相同的尺寸，对所述每张第二图像与第一图像进行分块裁切得到多个一一对应的第二训练图像块和第一训练图像块，形成图像训练集，将所述图像训练集发送到模型参数确定单元133，其中，所述第一图像的分辨率高于第二图像的分辨率，所述第一训练图像块的分辨率高于第二训练图像块的分辨率；
网络结构构建单元132，采用前m-1层添加参数修正线性单元层(PReLU层)和局部响应归一化层(LRN层)构造具有参数的的m层深度卷积网络结构；
超分辨重建模型构建单元133，包括训练子单元133-1，调用网络结构构建单元构建的多层深度卷积网络结构以及所述图像训练集构建单元发送的图像训练集，以所述图像训练集的第二训练图像块为输入，第一训练图像块为输出在上述多层深度卷积网络结构中进行训练，确定上述多层深度卷积网络结构的参数，得到所述超分辨重建模型，其中，以第二训练图像块为输入在上述多层深度卷积网络结构中进行训练，每层的卷积结果如公式(10)和(11)：
其中，l为层数索引，m为总层数，i为图像块索引号，Yi为第i个第二训练图像块；Wl为第l层卷积核，“*”为卷积符号，Bl为第l层卷积的偏差组向量，Nl-1(Yi)为第l-1个LRN层输出；λl为PReLU参数，Fl(Yi)为第i个第二训练图像块Yi在第l层的输出，nl为第l层进行归一化的局部尺寸大小。
上述训练子单元133-1可以通过多对训练图像块得到参数的多个参数值，可以采用拟合法、求平均值等方法确定参数的最终参数值，优选地，通过最小损失函数确定参数的最终参数值，也就是说上述超分辨重建模型构建单元133包括训练子单元133-1、更新子单元133-2和筛选子单元133-3，其中，
训练子单元133-1调用网络结构构建单元构建的多层深度卷积网络结构以及所述图像训练集构建单元发送的图像训练集，以所述图像训练集的第二训练图像块为输入，第一训练图像块为输出在上述多层深度卷积网络结构中进行训练；
更新子单元133-2，通过梯度下降法对多层深度卷积网络结构的参数进行更新，使得筛选子单元133-3中的损失函数降低，其中，按照上述公式(7)更新卷积核Wl，按照上述公式(8)更新PReLU参数λl的权值；
筛选子单元133-3，采用图像训练集中第一训练图像块及与其对应的第二训练图像块在所述多层深度卷积网络中输出的均方根误差作为损失函数，筛选出损失函数最小时对应的参数值。
在本发明的一个优选实施例中，利用上述遥感图像超分辨重建***对遥感图像进行上述的图像超分辨处理，如图5所示，包括：
步骤S100，预处理单元选取遥感图像读入单元中进行预处理，例如，遥感图像由Pleiades高分遥感图像下采样模拟，通过调用ENVI软件利用几何校正模块选择针对所述待重建遥感图像相应的控制点和校正模型，输入基本参数，实现对其的几何校正，类似地，再利用辐射校正模块和大气校正模块完成相应辐射校正和大气校正处理，将遥感图像预处理后的结果发送给存储模块，以供空间转换模块实用，优选地，采用阈值为70HZ的小波去噪对所述遥感图像进行去噪预处理。
步骤S200，空间转换单元读取步骤S100中所述预处理后的遥感图像，利用将所述遥感图像由RGB空间转换至YCbCr空间，并将得到的所述遥感图像的亮度空间分量(即亮度Y分量)、色度空间分量(即Cb空间分量和Cr空间分量)存入存储单元。
步骤S300中，读取步骤S200中所述遥感图像的亮度空间分量，将所述空间分量进行双三次差值使之放大到设定倍数(本实施例中以2倍为例，而不限于此)，并构建超分辨重建模型，利用超分辨重建模型对所述设定倍数的遥感图像的亮度空间分量进行重建，将重建后的遥感图像的亮度空间存入存储单元，为之后的整合单元的合并做准备，优选地，步骤S3构建超分辨重建模型可细分为S310、S320、S330三步，其中：
步骤S310，构建图像训练集，例如，以分辨率为0.3米的UC Merced Landuse遥感图像数据集为数据源，所述数据源包含21类遥感图像样本，对UC Merced Landuse中每类随机选取6幅遥感图像作为第一图像，共126幅，每幅大小为256×256，对所述选取的高分辨的第一图像转换空间至YCbCr，取其亮度空间Y的图像分量进行设定倍数下采样得到模拟的低分辨的第二图像，对所述第二图像进行设定倍数双三次插值，再对每张第二图像插值结果进行分块，分块大小优选为38*38，以此得到的第二训练图像块，将与其对应第一训练图像块并以图像中心为标准进行去边缘，组成大小为24*24的图像训练集。
步骤S320，如图6所示，构造四层深度卷积网络，在前三层卷积层每层后添加PReLU层和LRN层，其中，卷积层1、参数修正线性单元层1、以及局部响应归一化层1构成了网络的特征提取部分，通过相应卷积核实现对遥感图像边缘信息和纹理特征的提取；卷积层2、参数修正线性单元层2、以及局部响应归一化层2联合实现特征增强，进一步提升该层得到的特征图结果的边缘及亮度表现；卷积层3、参数修正线性单元层3、局部响应归一化层3将前步骤中得到的每个图像块由32维非线性映射到16维；卷积层4利用5×5大小的线性滤波器组完成高分辨遥感图像的重建，具体地：
输入为低分辨率的第二训练图像块Yi，输出为高分辨率的第一图像Xi，输入与输出间的映射关系可由公式(12)表示：
Xi＝F4(Yi,Θ) (12)
其中，Θ为学习到的参数。
利用公式(13)作为深度卷积网络的损失函数：
PReLU激活函数表示可变形如公式(14)所示：
P(Xi)＝max(Xi,λXi)λ∈[0,1] (14)
其中，P为PReLU算子，λ为PReLU参数，其值随着训练动态更新。
更进一步地，第l层的卷积结果如公式(15)所示：
其中，Bl初始为0。
优选地，卷积核和偏差组优选参数配置如表1所示：
表1
其中，第l个LRN层输出N(Y)其与底层输入Fl(Y)的关系表示如公式(16)：
优选地，α＝0.0001，β＝0.5，k＝1，LRN层模仿生物神经***的侧抑制机制，实现“临近抑制”，对局部输入区域进行归一化，使得响应比较大的值相对更大，进而提高模型泛化能力，防止训练出现过拟合。
更进一步地，模型的训练过程就是利用反向传播中的梯度下降不断更新参数的权值，让损失函数值降低到最小，其中Wl的权值更新过程如公式(17)：
其中，按照经验值取为0.9，η为学习率，优选前三层卷积层η＝10-4，第四层卷积层η＝10-5，每层滤波器权重初始值由标准差为0.001，偏差为0的高斯分布随机给出。
类似地，PReLU中λl的权值更新过程表达式如公式(18)所示：
步骤S330，在Linux下利用深度学习Caffe框架对步骤S320中四层深度卷积网络进行训练，优选迭代次数为250万，得到超分辨重建模型，所述超分辨重建模型可以重复使用，首次构建后无需再次构建，利用超分辨重建模型对遥感图像的亮度空间分量进行重建，将超分辨重建模型存入存储单元，作为遥感图像亮度空间重建依据，将重建后的亮度空间存入存储单元，供色度空间重建单元和后处理增强单元调用。
步骤S400，读取步骤S200中所述遥感图像的色度空间分量并对其进行重建，本步骤分位S410和S420两步。
步骤S410，对所述色度空间Cb和Cr分量分别进行设定倍数双三次插值，此步骤结束时得到遥感图像的色度空间(Cb和Cr)插值结果。
步骤S420，对插值结果进行优化，读取步骤S3中亮度空间重建结果，以其为指导，根据公式(1)对色度空间Cb和Cr插值结果进行联合双边滤波，优选地，采用均值为3，方差为0.1的高斯函数进行滤波，滤波窗口大小为5*5，如图7a-7d所示，图7a为遥感图像Cb空间联合滤波前效果，图7b为遥感图像Cb空间联合滤波后效果，图7c为遥感图像Cr空间联合滤波前效果，图7d为遥感图像Cr空间联合滤波后效果，从图7a和7b的对比以及图7c和7d的对比可以看出借助亮度空间重建后包含的丰富信息来指导色度空间滤波，在消除噪声与块效应的同时最大程度留图像的真实细节，使彩色遥感图像在重建后能够有更好的色彩表现。
步骤S500，读取存储单元中的亮度空间重建结果和色度空间重建结果，并分别对遥感图像Y、Cb、Cr的重建结果按照公式(2)进行ANUSM增强，增强后的遥感图像的亮度空间和色度空间重建结果，将其存入存储单元，为整合单元合并做准备，优选地，钝化方法优则均值为0、窗口大小为3*3的高斯低通滤波器。
步骤S600，整合单元，读取存储单元中增强后的亮度空间重建结果和色度空间重建结果，对离散的增强后重建结果进行合并，并将其由YCbCr空间转换回RGB空间并存入存储单元，得到遥感图像的超分辨图像。
图8为不同SR重建方法针对遥感图像2倍重建得到的效果对比图，其中图8a为用双三次插值法得到的重建效果，图8b为应用SRCNN方法得到的效果，图8c为应用本发明重建方法及***实现的单幅遥感图像超分辨重建与增强效果，图8d为原始高分辨遥感图像。对比可发现，本发明方法在针对遥感图像的重建上能够获得更好的视觉效果，其在边缘细节表现上更突出。相比于以往方法，本发明所述图像超分辨方法及***以四层卷积结构为核心，获取遥感图像亮度空间细节信息，添加PReLU及LRN层进行优化，增强所得模型的抗过拟合能力并提升训练速度，且色度空间联合双边滤波插值及后处理增强辅助提升了遥感图像最终重建效果，使得重建质量进一步提高。本发明在遥感图像目标识别与提取、多时相地物观测方面有广泛的应用前景，且可对多源遥感图像的配准、镶嵌和融合起到指导作用，为遥感图像解压缩提供了一种新思路，利于节省遥感图像的传输时间和存储空间。
本发明上述基于深度卷积网络的遥感图像超分辨重建方法及***既可以处理彩色遥感图像也可以处理黑白遥感图像，当处理黑白遥感图像时，以灰度作为色度，上述基于深度卷积网络的遥感图像超分辨重建方法及***处理彩色遥感图像的边缘和纹理的分辨率提高效果较黑白遥感图像明显。
尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想具有多个元素，除非明确限制为单个元素。
Claims (8)
1.一种基于深度卷积网络的遥感图像超分辨重建方法，其特征是，包括：
步骤S1，将待处理遥感图像由RGB空间转换至YCbCr空间，并分出所述待处理遥感图像的亮度空间与色度空间；
步骤S2，构建多层深度卷积网络，基于所述多层深度卷积网络构建超分辨重建模型，利用所述超分辨重建模型对上述待处理遥感图像的亮度空间进行重建，得到所述待处理遥感图像重建后的亮度空间；
步骤S3，以上述重建后的亮度空间为导向图指导所述待处理遥感图像的色度空间进行联合双边滤波，得到所述待处理遥感图像的重建后的色度空间；
步骤S4，整合所述待处理遥感图像重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到所述待处理遥感图像的超分辨图像，所述超分辨图像的分辨率高于所述待处理遥感图像的分辨率，
所述基于深度卷积网络构建超分辨重建模型的方法包括：
构建图像训练集，包括：选取设定数量的第一图像，将每张第一图像转换至YCbCr空间，取其亮度空间分量进行下采样得到第二图像的亮度空间分量，对所述第二图像的亮度空间分量进行双三次插值操作以使其具有与所述第一图像的亮度空间分量相同的尺寸，对每张第二图像与第一图像进行分块裁切得到多个一一对应的第二训练图像块和第一训练图像块，所述第一训练图像块和所述第二训练图像块形成图像训练集，其中，所述第一图像的分辨率高于第二图像的分辨率，所述第一训练图像块的分辨率高于第二训练图像块的分辨率；
构建多层深度卷积网络结构，包括：采用前m-1层添加PReLU层和LRN层构造具有参数的m层深度卷积网络结构，其中，所述多层深度卷积网络结构的输入与输出间的映射关系如公式(4)所示：
Xi＝Fm(Yi,Θ) (4)
其中，Xi为输出图像，Yi为输入图像，Fm为输入图像Yi与输出图像Xi在m层的映射关系，Θ为学习到的参数；
PReLU层按照公式(5)激活：
其中，P为PReLU算子，λ为PReLU参数；
LRN层按照公式(6)激活：
其中，k为初始化常数，n为进行归一化的局部尺寸大小，α为缩放因子，β为指数项；
构建超分辨重建模型，包括：以所述图像训练集的第二训练图像块为输入，第一训练图像块为输出在上述多层深度卷积网络结构中进行训练，确定上述多层深度卷积网络结构的参数，得到所述超分辨重建模型，其中，以所述图像训练集的第二训练图像块为输入在所述多层深度卷积网络结构中进行训练，每层的卷积结果如公式(10)和(11)：
其中，l为层数索引，m为总层数，i为图像块索引号，Yi为第i个第二训练图像块；Wl为第l层卷积核，“*”为卷积符号，Bl为第l层卷积的偏差组向量，Nl-1(Yi)为第l-1个LRN层输出；λl为PReLU参数，Fl(Yi)为第i个第二训练图像块Yi在第l层的输出，nl为第l层进行归一化的局部尺寸大小。
2.根据权利要求1所述的遥感图像超分辨重建方法，其特征是，所述构建超分辨重建模型还包括：采用图像训练集中第一训练图像块及与其对应的第二训练图像块在所述卷积网络结构中的输出的均方根误差作为损失函数，损失函数最小时对应的参数值为多层深度卷积网络结构的参数，其中，所述损失函数为：
其中，N样本为所述图像训练集样本数量。
3.根据权利要求2所述的遥感图像超分辨重建方法，其特征是，所述构建超分辨重建模型还包括：通过梯度下降法对多层深度卷积网络结构的参数进行更新，其中，卷积核更新过程如下：
其中，Wi l为输入图像在l层的卷积核，Δ为权重变化量，μ为冲量单元，η为学习率；
PReLU参数λl的权值更新过程如下：
4.根据权利要求1所述的遥感图像超分辨重建方法，其特征是，还包括：
在步骤S1之前，对所述待处理遥感图像进行预处理，对预处理后的所述待处理遥感图像再进行所述步骤S1～步骤S4的处理，所述预处理包括几何校正、辐射校正、大气校正和去噪中的一种或多种；和/或
在步骤S3之后，对所述待处理遥感图像重建后的亮度空间和重建后的色度空间进行自适应非线性反锐化掩膜处理，然后对经过上述处理的所述亮度空间和色度空间进行所述步骤S4的处理。
5.根据权利要求4所述的遥感图像超分辨重建方法，其特征是，对所述待处理遥感图像重建后的亮度空间和重建后的色度空间进行自适应非线性反锐化掩膜处理的方法包括：
分别对重建亮度空间和色度空间后的待处理遥感图像的Y、Cb和Cr按照下面的公式(2)进行ANUSM增强，
其中，(x,y)为待处理遥感图像亮度空间或色度空间的像素点的坐标，g(x,y)为重建后待处理遥感图像的Y、Cb或Cr增强后结果，f(x,y)为所述待处理遥感图像亮度空间或色度空间重建结果，即重建后像素点的像素值，为对其进行钝化得到的图像，其中，钝化方法采用下面公式(3)的增强因子k(x,y)，
其中，fmax(x,y)为其对应空间重建结果中最大像素值。
6.一种基于深度卷积网络的遥感图像超分辨重建***，其特征是，包括：
空间转换模块，将待处理遥感图像由RGB空间转换至YCbCr空间，并分出所述待处理遥感图像的亮度空间和色度空间，分别发送给亮度空间重建模块和色度空间重建模块，其中，所述待处理遥感图像为彩色图像；
亮度空间重建模块，构建多层深度卷积网络，基于所述多层深度卷积网络构建超分辨重建模型，利用所述超分辨重建模型对空间转换模块传来的待处理遥感图像的亮度空间进行重建，得到所述待处理遥感图像重建后的亮度空间，发送到色度空间重建模块和整合模块；
色度空间重建模块，以亮度重建模块传来的待处理遥感图像重建后的亮度空间为导向图指导所述待处理遥感图像的色度空间进行联合双边滤波，得到所述待处理遥感图像的重建后的色度空间，发送到整合模块；
整合模块，整合亮度空间重建模块和色度空间模块发送的所述待处理遥感图像重建后的亮度空间和重建后的色度空间，将整合后的待处理遥感图像由YCbCr空间转回至RGB空间，得到所述待处理遥感图像的超分辨图像，所述超分辨图像的分辨率高于所述待处理遥感图像的分辨率，
所述亮度空间重建模块包括：
图像训练集构建单元，选取设定数量的第一图像，将每张第一图像转换至YCbCr空间，取其亮度空间分量进行下采样得到第二图像亮度空间分量，对所述第二图像亮度空间分量进行双三次插值操作以使其具有与所述第一图像亮度空间分量相同的尺寸，对所述每张第二图像与第一图像进行分块裁切得到多个一一对应的第二训练图像块和第一训练图像块，形成图像训练集，将所述图像训练集发送到模型参数确定单元，其中，所述第一图像的分辨率高于第二图像的分辨率，所述第一训练图像块的分辨率高于第二训练图像块的分辨率；
网络结构构建单元，采用前m-1层添加PReLU层和LRN层构造具有参数的m层深度卷积网络结构，其中，所述多层深度卷积网络结构的输入与输出间的映射关系如公式(4)所示：
Xi＝Fm(Yi,Θ) (4)
其中，Xi为输出图像，Yi为输入图像，Fm为输入图像Yi与输出图像Xi在m层的映射关系，Θ为学习到的参数；
PReLU层按照公式(5)激活：
其中，P为PReLU算子，λ为PReLU参数；
LRN层按照公式(6)激活：
其中，k为初始化常数，n为进行归一化的局部尺寸大小，α为缩放因子，β为指数项；
超分辨重建模型构建单元，包括训练子单元，调用网络结构构建单元构建的多层深度卷积网络结构以及所述图像训练集构建单元发送的图像训练集，以所述图像训练集的第二训练图像块为输入，第一训练图像块为输出在上述多层深度卷积网络结构中进行训练，得到所述超分辨重建模型，其中，以第二训练图像块为输入在所述多层深度卷积网络结构中进行训练，每层的卷积结果如公式(10)和(11)：
其中，l为层数索引，m为总层数，i为图像块索引号，Yi为第i个第二训练图像块；Wl为第l层卷积核，“*”为卷积符号，Bl为第l层卷积的偏差组向量，Nl-1(Yi)为第l-1个LRN层输出；λl为PReLU参数，Fl(Yi)为第i个第二训练图像块Yi在第l层的输出，nl为第l层进行归一化的局部尺寸大小。
7.根据权利要求6所述的遥感图像超分辨重建***，其特征是，所述超分辨重建模型构建单元还包括筛选子单元或/和更新子单元，其中：
所述筛选子单元，采用图像训练集中第一训练图像块及与其对应的第二训练图像块在所述卷积网络结构中的输出的均方根误差作为损失函数，筛选出损失函数最小时对应的参数值，作为所述多层卷积网络结构的参数，其中，所述损失函数为：
其中，N样本为所述图像训练集样本数量；
所述更新子单元，通过梯度下降法对超分辨重建模型的参数进行更新，其中，卷积核更新过程如下：
其中，Wi l输入图像在l层的卷积核，Δ为权重变化量，μ为冲量单元；
PReLU参数λl的权值更新过程如下：
8.根据权利要求6所述的遥感图像超分辨重建***，其特征是，还包括预处理模块或/和后处理增强模块，其中：
所述预处理模块，对所述待处理遥感图像进行预处理，将预处理后的所述待处理遥感图像发送到所述空间转换模块，所述预处理包括几何校正、辐射校正、大气校正和去噪中的一种或多种；
所述后处理增强模块，分别与亮度空间重建模块、色度空间重建模块和整合模块连接，接收来亮度空间重建模块和色度空间重建模块的所述待处理遥感图像重建后的亮度空间和重建后的色度空间，对所述重建后的亮度空间和重建后的色度空间进行自适应非线性反锐化掩膜处理，将处理后的所述亮度空间和色度空间发送给整合模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710271199.5A CN107123089B (zh) | 2017-04-24 | 2017-04-24 | 基于深度卷积网络的遥感图像超分辨重建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710271199.5A CN107123089B (zh) | 2017-04-24 | 2017-04-24 | 基于深度卷积网络的遥感图像超分辨重建方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107123089A CN107123089A (zh) | 2017-09-01 |
| CN107123089B true CN107123089B (zh) | 2023-12-12 |
Family
ID=59725321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710271199.5A Active CN107123089B (zh) | 2017-04-24 | 2017-04-24 | 基于深度卷积网络的遥感图像超分辨重建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107123089B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610192B (zh) * | 2017-09-30 | 2021-02-12 | 西安电子科技大学 | 基于深度学习的自适应观测压缩感知图像重构方法 |
| CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
| CN110059796B (zh) * | 2018-01-19 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 卷积神经网络的生成方法及装置 |
| CN109118428B (zh) * | 2018-06-07 | 2023-05-19 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109102469B (zh) * | 2018-07-04 | 2021-12-21 | 华南理工大学 | 一种基于卷积神经网络的遥感图像全色锐化方法 |
| CN109376267B (zh) * | 2018-10-30 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN109493280B (zh) * | 2018-11-02 | 2023-03-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN109859110B (zh) * | 2018-11-19 | 2023-01-06 | 华南理工大学 | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 |
| CN109712074A (zh) * | 2018-12-20 | 2019-05-03 | 黑龙江大学 | 双参数贝塔过程联合字典的遥感图像超分辨重建方法 |
| CN115442515B (zh) * | 2019-03-25 | 2024-02-02 | 华为技术有限公司 | 图像处理方法和设备 |
| CN111800629A (zh) * | 2019-04-09 | 2020-10-20 | 华为技术有限公司 | 视频解码方法、编码方法以及视频解码器和编码器 |
| CN110378254B (zh) * | 2019-07-03 | 2022-04-19 | 中科软科技股份有限公司 | 车损图像修改痕迹的识别方法、***、电子设备及存储介质 |
| CN110599416B (zh) * | 2019-09-02 | 2022-10-11 | 太原理工大学 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
| CN110751699B (zh) * | 2019-10-15 | 2023-03-10 | 西安电子科技大学 | 基于卷积神经网络的光学遥感图像的色彩重建方法 |
| CN111272277A (zh) * | 2020-01-21 | 2020-06-12 | 中国工程物理研究院激光聚变研究中心 | 一种基于神经网络的激光脉冲波形测量畸变校正方法及*** |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN111598964B (zh) * | 2020-05-15 | 2023-02-14 | 厦门大学 | 一种基于空间自适应网络的定量磁化率图像重建方法 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN112634391B (zh) * | 2020-12-29 | 2023-12-29 | 华中科技大学 | 一种基于压缩感知的灰度图像深度重建及故障诊断*** |
| CN112785506A (zh) * | 2021-02-25 | 2021-05-11 | 北京中科深智科技有限公司 | 一种针对实时视频流的图像超分辨率重建方法、装置 |
| CN114792115B (zh) * | 2022-05-17 | 2023-04-07 | 哈尔滨工业大学 | 基于反卷积重建网络的遥测信号野值去除方法、装置及介质 |
| CN115953297B (zh) * | 2022-12-27 | 2023-12-22 | 二十一世纪空间技术应用股份有限公司 | 一种遥感图像超分辨率重建和增强方法及装置 |
| CN116777797A (zh) * | 2023-06-28 | 2023-09-19 | 广州市明美光电技术有限公司 | 各向异性导向滤波的明场显微图像清晰化方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| WO2014174087A1 (en) * | 2013-04-25 | 2014-10-30 | Thomson Licensing | Method and device for performing super-resolution on an input image |
| CN104657962A (zh) * | 2014-12-12 | 2015-05-27 | 西安电子科技大学 | 基于级联线性回归的图像超分辨重建方法 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
-
2017
- 2017-04-24 CN CN201710271199.5A patent/CN107123089B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| WO2014174087A1 (en) * | 2013-04-25 | 2014-10-30 | Thomson Licensing | Method and device for performing super-resolution on an input image |
| CN104657962A (zh) * | 2014-12-12 | 2015-05-27 | 西安电子科技大学 | 基于级联线性回归的图像超分辨重建方法 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨仁忠 ; 张洁 ; 韦宏卫 ; 石璐 ; .基于GPU的Landsat8实时解压缩处理技术.计算机工程.2016,(03),301-307. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107123089A (zh) | 2017-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及*** | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
| CN112287940A (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾*** | |
| CN111127336A (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN110634147A (zh) | 基于双边引导上采样的图像抠图方法 | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN114841856A (zh) | 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法 | |
| Bi et al. | Haze removal for a single remote sensing image using low-rank and sparse prior | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN115222614A (zh) | 一种先验引导的多降质特征夜光遥感影像质量提升方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及*** | |
| CN115115516A (zh) | 基于Raw域的真实世界视频超分辨率算法 | |
| CN117333359A (zh) | 基于可分离卷积网络的山水画图像超分辨率重建方法 | |
| US20220247889A1 (en) | Raw to rgb image transformation | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |