CN108090872A - 基于梯度提取的单帧多光谱影像超分辨率重建方法及*** - Google Patents
基于梯度提取的单帧多光谱影像超分辨率重建方法及*** Download PDFInfo
- Publication number
- CN108090872A CN108090872A CN201711367295.6A CN201711367295A CN108090872A CN 108090872 A CN108090872 A CN 108090872A CN 201711367295 A CN201711367295 A CN 201711367295A CN 108090872 A CN108090872 A CN 108090872A
- Authority
- CN
- China
- Prior art keywords
- gradient
- resolution
- super
- image
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000003595 spectral effect Effects 0.000 claims abstract description 14
- 230000007704 transition Effects 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241000408495 Iton Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- ZQEIXNIJLIKNTD-UHFFFAOYSA-N methyl N-(2,6-dimethylphenyl)-N-(methoxyacetyl)alaninate Chemical group COCC(=O)N(C(C)C(=O)OC)C1=C(C)C=CC=C1C ZQEIXNIJLIKNTD-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于梯度提取的单帧多光谱影像超分辨率重建方法及***，包括利用低通滤波将原始的单帧多光谱影像各波段从灰度图像转换为梯度图像，分离光谱信息与空间几何信息，选择一帧进行上采样作为参考梯度图；基于POCS算法框架，将其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图；基于SFIM模型，根据超分辨率梯度图与原始的单帧多光谱影像实现信息融合，获得最终的超分辨率多光谱影像。本发明可以有效克服数据量不足对超分辨率重建的影响，提高数据利用水平。
Description
技术领域
本发明属于遥感影像处理领域，涉及一种基于梯度提取的单帧多光谱影像超分辨率重建方法及***。
背景技术
遥感数据的空间分辨率对于测绘制图、地物判断、灾害防治等方面有重要作用，图像清晰度越高，包含的细节越丰富，所能提供的信息就越多。从硬件方面提高图像分辨率，技术难度大，经济成本高，超分辨率重建技术可以从同一场景的一幅或多幅低分辨率观测图像中重构出高分辨率图像，克服成像***固有的分辨率限制。多帧影像之间由于存在亚像素位移，包含了一定量的互补信息，因此多帧重建法具有比单帧重建法更好的效果。凸集投影(Projection onto Convex Sets,POCS)是一种空域多帧超分辨率算法，具有直观简单的原理，能够方便地引入图像先验知识，具有较好的重建结果。但是遥感平台一般难以获得同一场景的图像序列，即使收集到一定量的图像序列，也会存在时相，光谱，分辨率，成像角度，成像环境等差异，从而影响重建结果。对于多帧重建法，需要对序列影像进行图像配准，辐射校正等复杂的预处理过程，增加了实现难度。因此，有必要针对遥感数据特点改进现有的超分辨率重建方法，减少数据依赖，扩展应用范围。
发明内容
本发明所要解决的问题是，针对现有POCS超分辨率方法需要多帧影像作为输入数据及遥感平台难以获得多帧同目标同源影像这一矛盾，提出了一种基于梯度提取的单帧多光谱影像超分辨率重建技术方案，可以使用一帧多光谱影像完成超分辨率重建，有效地提高重建图像的清晰度与信息量。
本发明提供的技术方案是一种基于梯度提取的单帧多光谱影像超分辨率重建方法，包括以下步骤：
步骤1，利用低通滤波将原始的单帧多光谱影像各波段从灰度图像转换为梯度图像，分离光谱信息与空间几何信息；
步骤2，从步骤1所得梯度图像中选择一帧进行上采样作为参考梯度图；
步骤3，基于POCS算法框架，将步骤2选择以外其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图；投影实现方式为，将低分辨率梯度图上的一个点记为P，提取参考梯度图上对应的图像块B，将该图像块转化为该点的模拟值Psim，计算P与Psim之间的差值e，如果差值超过预设的限值δ，则将差值投影到参考梯度图上；
步骤4，基于SFIM模型，根据超分辨率梯度图与原始的单帧多光谱影像实现信息融合，获得最终的超分辨率多光谱影像。
而且，步骤2中，选择其中信噪比最高的一个波段的梯度图进行上采样，作为参考梯度图。
而且，步骤2中，选择其中信息量最多的一个波段的梯度图进行上采样，作为参考梯度图。
而且，步骤1中，低通滤波实现如下，
其中，G是梯度图，p是原图，p'是模糊影像，(i,j)是图像坐标。
而且，步骤1中，将梯度图像量化为10bits有效位的灰度数据。
而且，步骤4中，实现过程如下，
将超分辨率梯度图重新量化为强度信息，量化过程表示为，
GSR(i,j)＝[TSR(i,j)+1]/29
其中GSR是存储强度信息的超分辨率梯度图，TSR是10bits量化的超分辨率梯度图；
基于SFIM模型，将超分辨率梯度图与原始的单帧多光谱影像MS进行信息融合，获得最终的超分辨率多光谱影像如下，
MSSR＝MS×GSR
其中MSSR是超分辨率重建结果。
本发明还提供一种基于梯度提取的单帧多光谱影像超分辨率重建***，包括以下模块：
第一模块，用于利用低通滤波将原始的单帧多光谱影像各波段从灰度图像转换为梯度图像，分离光谱信息与空间几何信息；
第二模块，用于从第一模块所得梯度图像中选择一帧进行上采样作为参考梯度图；
第三模块，用于基于POCS算法框架，将第二模块选择以外其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图；投影实现方式为，将低分辨率梯度图上的一个点记为P，提取参考梯度图上对应的图像块B，将该图像块转化为该点的模拟值Psim，计算P与Psim之间的差值e，如果差值超过预设的限值δ，则将差值投影到参考梯度图上；
第四模块，用于基于SFIM模型，根据超分辨率梯度图与原始的单帧多光谱影像实现信息融合，获得最终的超分辨率多光谱影像。
而且，第二模块中，选择信噪比最高或信息量最多的一个波段的梯度图进行上采样，作为参考梯度图。
而且，第一模块中，低通滤波实现如下，
其中，G是梯度图，p是原图，p'是模糊影像，(i,j)是图像坐标。
而且，第一模块中，将梯度图像量化为10bits有效位的灰度数据。
而且，第四模块中，实现过程如下，
将超分辨率梯度图重新量化为强度信息，量化过程表示为，
GSR(i,j)＝[TSR(i,j)+1]/29
其中GSR是存储强度信息的超分辨率梯度图，TSR是10bits量化的超分辨率梯度图；
基于SFIM模型，将超分辨率梯度图与原始的单帧多光谱影像MS进行信息融合，获得最终的超分辨率多光谱影像如下，
MSSR＝MS×GSR
其中MSSR是超分辨率重建结果。
现有方法需要多帧影像作为输入数据，通过提取序列影像之间的互补信息达到提高图像分辨率的目的。如果只输入单帧影像，依据现有方法不仅分辨率提升有限，还会增强噪声，影响图像质量。本发明引入梯度提取这一概念，通过均值滤波将多光谱各波段之间的光谱信息与几何信息相分离，消除各波段之间的光谱差异；通过梯度提取，将一帧多光谱影像转化为多帧梯度影像，并基于POCS算法框架产生一帧超分辨率的梯度影像；最后将原始多光谱影像与超分辨率的梯度影像基于SFIM模型进行信息融合，得到超分辨率多光谱影像。该方法可以有效克服数据量不足对超分辨率重建的影响，提高数据利用水平。
附图说明
图1为本发明实施例的超分辨率重建流程图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图对本发明做进一步的详细说明。
本发明的实施例是对单帧多光谱影像MS进行超分辨率重建，参照图1，本发明实施例步骤如下：
步骤1：利用低通滤波提取多光谱影像各波段的梯度图。通过低通滤波来提取图像梯度，从而分离光谱信息与空间几何信息。
影像数量是关乎超分辨率重建效果的一个重要影响因素。单帧多光谱影像有多个波段，这多个波段可以看作一个影像序列。超分辨率重建提升的目的是提升图像的空间分辨率。各个波段具有不同的波谱范围与地物特征，如果直接使用多波段进行重建，光谱差异会干扰算法效果。
针对这一问题，本发明通过低通滤波来提取图像梯度，从而分离光谱信息与空间几何信息。实施例实现具体如下：
其中G是梯度图，p是原图，p'是模糊影像，(i,j)是图像坐标。具体实施时，p'可以是通过均值滤波、高斯滤波等低通类滤波器来获取的模糊影像。本实施例中p'是通过是3*3的均值滤波器得到的。
为了后续操作的方便将梯度图量化为10bits有效位的灰度数据。量化过程可以表示为：
T(i,j)＝29×G(i,j)-1
其中T是量化后的梯度图。
步骤2：选择参考梯度图：具体实施时，可以选择其中信噪比最高或信息量最多的一帧梯度图进行上采样作为参考梯度图。信噪比可应用局部平均值与标准差法进行测量，信息量可用信息熵指标进行测量，利用双线性内插法或三次卷积插值进行上采样。
实施例中，选择其中信息量最多的一个波段的梯度图进行上采样，作为参考梯度图。本实施例使用的是GF-4数据，其五个波段的波谱范围分别是450～900nm，450～520nm，520～600nm，630～690nm，760～900nm。因为第一波段波谱范围覆盖了其余四个波段，包含了其他四个波段的一定信息，所以选择第一波段，相应梯度图在图1中记为梯度图一。将第一波段相应梯度图作为参考帧，以双线性内插法上采样，使其图像尺寸扩大为原来的2倍，作为后续的参考梯度图。
步骤3：基于POCS算法框架，将步骤2选择以外其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图。
基于POCS算法框架，将其余梯度图的信息投影到参考梯度图上，实现参考帧修正，获得超分辨率梯度图。首先需要确定点扩散函数(Point Spread Function,PSF)，该实施例中采用高斯函数来模拟得到一个5*5的PSF，高斯算子为：
其中(x,y)是算子中心坐标，e是自然常数，σ是标准差，此处设为1。
步骤2选择以外其余梯度图像是低分辨率图像，上采样所得参考梯度图是高分辨率。低分辨率图像上的一个点对应于高分辨率网格上的一个图像块。将低分辨率梯度图上的一个点记为P，提取参考梯度图上对应的图像块B，将该图像块转化为该点的模拟值。其转化过程如下：
其中，B(i,j)是图像块的灰度值，PSF(i,j)是点扩散函数对应位置的数值，计算P与Psim之间的差值e，如果差值超过预设的限值δ，则将差值投影到参考梯度图上。其投影过程如下：
Bm＝B+λ(e-δ)*PSF if e＞δ
e＝P-Psim
其中，Bm是修改后的图像块，λ是松弛投影算子，实施例中设为6.17，δ设为0。经过修改后的图像块Bm替换参考梯度图中原来的图像块B，将低分辨率梯度图上所有的点投影到参考梯度图后，就可以得到超分辨率的梯度图。
本发明基于POCS算法框架生成超分辨率的梯度图，并将超分辨率梯度图与原始多光谱影像进行信息融合。由于梯度图只包含波段的空间几何信息，各波段的梯度图构成了一组具备互补信息的序列影像，因此可以用于超分辨率重建。超分辨率重建方法采用的是凸集投影算法(Projections onto Convex Sets,POCS)。为便于实施参考起见，提供该算法实现说明如下：
每一帧低分辨率图像及每一项图像先验知识都构成一个闭合凸集Ci，每个闭合凸集都有一个对应的投影算子Pi，那么理想的高分辨率图像f可以记为：
其中，C0是各个闭合凸集投影后所得到的交集，i是闭合凸集的编号，m是闭合凸集的数量。其迭代过程为：
fk+1＝TmTm-1…T1fk,k＝1,2,…
其中fk是第k次迭代所得到的结果，Ti是第i个先验知识所对应的松弛投影算子，定义为：
Ti＝(1-λi)I+λiPi,0＜λi＜1
其中λi是用于调整迭代步长的松弛投影算子。在考虑噪声影响时，需要在模型中加入噪声的先验知识。假设是方差为σv的高斯噪声，先验边界为cσv(c≥0)，决定其统计置信度，则对于图像中各个像素应满足下式：
其中m1、m2是高分辨率图像上的坐标，M1、M2是高分辨率图像的大小，i1、i2是低分辨率图像对应位置的坐标，x(i1,i2)是低分辨率图像的灰度值，r(y)(m1,m2)表示真实值x(i1,i2)和模拟值g(m1,m2)的残差，与噪声统计特性相同。对于任意一个x(i1,i2)，它在上的投影可以表示如下：
其中hk(m1,m2)表示降质模型，可以认为是一个算子(矩阵)；hk(m1,m2；i1,i2)表示降质模型(模糊算子)中位于(i1,i2)的值，[x(i1,i2)]表示x(i1,i2)在上的投影，δ0是置信区间，表示算子平方和，x1,y1表示算子坐标。
步骤4：基于SFIM模型，将超分辨率梯度图与原始的单帧多光谱影像进行信息融合，获得最终的超分辨率多光谱影像。
将超分辨率梯度图重新量化为强度信息，其量化过程可以表示为：
GSR(i,j)＝[TSR(i,j)+1]/29
其中GSR是存储强度信息的超分辨率梯度图，TSR是10bits量化的超分辨率梯度图，是步骤1中量化的反操作，从灰度信息转化为强度信息。再基于SFIM模型，将超分辨率梯度图与原来的单帧多光谱影像MS进行信息融合，获得最终的超分辨率多光谱影像。信息融合过程可以表示为：
MSSR＝MS×GSR
其中MSSR是超分辨率重建结果。
本步骤利用SFIM模型将原始多光谱影像与超分辨率梯度图进行信息融合，获得超分辨率的多光谱影像。为便于实施参考起见，提供SFIM模型具体如下：
其中PSFIM是融合图像，即最终得到的超分辨率多光谱影像，Plow是低分辨率影像，即原始多光谱影像的上采样图像，Phigh是高分辨率图像，Pmean是邻域平滑图像，G是梯度图，比值Phigh(i,j)/Pmean(i,j)与上述的梯度提取相同。所以经过超分辨率重建后的梯度图与上采样后的多光谱影像直接相乘就可以将两者的信息融合，得到超分辨率多光谱影像。
以下通过仿真实验来验证本发明的有效性：
仿真实验：高分四号可见光与近红外影像(50m)超分辨率重建实验，原始影像有5个波段，原始图像大小为1024*1024；重建结果将分辨率提高2倍，重建图像大小为2048*2048。选用三次卷积插值，Papoulis-Gerchberg(PG)，后向迭代投影(Iterative back-projection,IBP)作为对比。
超分辨率重建评价标准为平均梯度(Average Gradient,AG)，信息熵(Information Entropy,IE)，信噪比(Signal to Noise Ratio,SNR)。平均梯度用于评价重建结果的清晰度，其值越大越好；信息熵用于评价重建结果的信息丰度，其值越大越好；信噪比用于评价重建结果的噪声水平，其值越大越好。平均梯度定义为：
其中，M,N分别是图像的长与宽，f是图像，i，j是图像坐标。信息熵定义为：
其中Pi代表灰度值为i的像素数量占整幅图像的比例。信噪比通过局部平均值与标准差法测量。信噪比的测量步骤为(1)求图像平均值M；(2)对图像进行分块，求取局部均值与标准差；(3)得到局部标准差的最大值STDmax；(4)求解信噪比
仿真实验结果：
用本发明的方法和三次卷积插值，Papoulis-Gerchberg，IBP进行对比。包括原始影像，三次卷积插值结果，PG处理结果，IBP处理结，本发明方法处理结果。
按照所述仿真内容的仿真结果客观评价指标如表1所示：
表1.实验结果比较
从视觉效果及客观评价指标上都可以看出，本发明方法可以有效提高图像的清晰度与信息量。相较于插值方法，本发明方法将平均梯度从3.05提升到5.18，信息熵从7.11提升到7.16。同时本发明方法仍然保持了良好的噪声水平，重建图像上的噪点明显比后向迭代投影少，本发明方法的信噪比为3.06，高于后向迭代投影的2.98。
具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应***。
本发明实施例还提供一种基于梯度提取的单帧多光谱影像超分辨率重建***，包括以下模块：
第一模块，用于利用低通滤波将原始的单帧多光谱影像各波段从灰度图像转换为梯度图像，分离光谱信息与空间几何信息；
第二模块，用于从第一模块所得梯度图像中选择一帧进行上采样作为参考梯度图；
第三模块，用于基于POCS算法框架，将第二模块选择以外其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图；投影实现方式为，将低分辨率梯度图上的一个点记为P，提取参考梯度图上对应的图像块B，将该图像块转化为该点的模拟值Psim，计算P与Psim之间的差值e，如果差值超过预设的限值δ，则将差值投影到参考梯度图上；
第四模块，用于基于SFIM模型，根据超分辨率梯度图与原始的单帧多光谱影像实现信息融合，获得最终的超分辨率多光谱影像。
各模块具体实现可参见相应步骤，本发明不予赘述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所述技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于梯度提取的单帧多光谱影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1，利用低通滤波将原始的单帧多光谱影像各波段从灰度图像转换为梯度图像，分离光谱信息与空间几何信息；
步骤2，从步骤1所得梯度图像中选择一帧进行上采样作为参考梯度图；
步骤3，基于POCS算法框架，将步骤2选择以外其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图；投影实现方式为，将低分辨率梯度图上的一个点记为P，提取参考梯度图上对应的图像块B，将该图像块转化为该点的模拟值Psim，计算P与Psim之间的差值e，如果差值超过预设的限值δ，则将差值投影到参考梯度图上；
步骤4，基于SFIM模型，根据超分辨率梯度图与原始的单帧多光谱影像实现信息融合，获得最终的超分辨率多光谱影像。
2.根据权利要求1所述基于梯度提取的单帧多光谱影像超分辨率重建方法，其特征在于：步骤2中，选择信噪比最高或信息量最多的一个波段的梯度图进行上采样，作为参考梯度图。
3.根据权利要求1或2所述基于梯度提取的单帧多光谱影像超分辨率重建方法，其特征在于：步骤1中，低通滤波实现如下，
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msup>
<mi>p</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，G是梯度图，p是原图，p'是模糊影像，(i,j)是图像坐标。
4.根据权利要求3所述基于梯度提取的单帧多光谱影像超分辨率重建方法，其特征在于：步骤1中，将梯度图像量化为10bits有效位的灰度数据。
5.根据权利要求4所述基于梯度提取的单帧多光谱影像超分辨率重建方法，其特征在于：步骤4中，实现过程如下，
将超分辨率梯度图重新量化为强度信息，量化过程表示为，
GSR(i,j)＝[TSR(i,j)+1]/29
其中GSR是存储强度信息的超分辨率梯度图，TSR是10bits量化的超分辨率梯度图；
基于SFIM模型，将超分辨率梯度图与原始的单帧多光谱影像MS进行信息融合，获得最终的超分辨率多光谱影像如下，
MSSR＝MS×GSR
其中MSSR是超分辨率重建结果。
6.一种基于梯度提取的单帧多光谱影像超分辨率重建***，其特征在于，包括以下模块：
第一模块，用于利用低通滤波将原始的单帧多光谱影像各波段从灰度图像转换为梯度图像，分离光谱信息与空间几何信息；
第二模块，用于从第一模块所得梯度图像中选择一帧进行上采样作为参考梯度图；
第三模块，用于基于POCS算法框架，将第二模块选择以外其余梯度图像的信息投影到参考梯度图上，获得超分辨率梯度图；投影实现方式为，将低分辨率梯度图上的一个点记为P，提取参考梯度图上对应的图像块B，将该图像块转化为该点的模拟值Psim，计算P与Psim之间的差值e，如果差值超过预设的限值δ，则将差值投影到参考梯度图上；
第四模块，用于基于SFIM模型，根据超分辨率梯度图与原始的单帧多光谱影像实现信息融合，获得最终的超分辨率多光谱影像。
7.根据权利要求6所述基于梯度提取的单帧多光谱影像超分辨率重建***，其特征在于：第二模块中，选择信噪比最高或信息量最多的一个波段的梯度图进行上采样，作为参考梯度图。
8.根据权利要求6或7所述基于梯度提取的单帧多光谱影像超分辨率重建***，其特征在于：第一模块中，低通滤波实现如下，
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msup>
<mi>p</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，G是梯度图，p是原图，p'是模糊影像，(i,j)是图像坐标。
9.根据权利要求8所述基于梯度提取的单帧多光谱影像超分辨率重建***，其特征在于：第一模块中，将梯度图像量化为10bits有效位的灰度数据。
10.根据权利要求9所述基于梯度提取的单帧多光谱影像超分辨率重建***，其特征在于：第四模块中，实现过程如下，
将超分辨率梯度图重新量化为强度信息，量化过程表示为，
GSR(i,j)＝[TSR(i,j)+1]/29
其中GSR是存储强度信息的超分辨率梯度图，TSR是10bits量化的超分辨率梯度图；
基于SFIM模型，将超分辨率梯度图与原始的单帧多光谱影像MS进行信息融合，获得最终的超分辨率多光谱影像如下，
MSSR＝MS×GSR
其中MSSR是超分辨率重建结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711367295.6A CN108090872B (zh) | 2017-12-18 | 2017-12-18 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711367295.6A CN108090872B (zh) | 2017-12-18 | 2017-12-18 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108090872A true CN108090872A (zh) | 2018-05-29 |
| CN108090872B CN108090872B (zh) | 2021-07-16 |
Family
ID=62177236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711367295.6A Active CN108090872B (zh) | 2017-12-18 | 2017-12-18 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090872B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325914A (zh) * | 2018-09-11 | 2019-02-12 | 深圳大学 | 分子定位超分辨成像的降噪方法、装置及终端设备 |
| CN109360147A (zh) * | 2018-09-03 | 2019-02-19 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
| CN110763342A (zh) * | 2019-09-30 | 2020-02-07 | 成都鼎屹信息技术有限公司 | 一种红外偏振超像元辐射光强图像分辨率还原方法 |
| WO2020051764A1 (zh) * | 2018-09-11 | 2020-03-19 | 深圳大学 | 分子定位超分辨成像的降噪方法、装置及终端设备 |
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112991174A (zh) * | 2021-03-13 | 2021-06-18 | 长沙学院 | 一种提高单帧红外图像分辨率的方法与*** |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804657A (zh) * | 2006-01-23 | 2006-07-19 | 武汉大学 | 遥感图像小目标超分辨率重建方法 |
| CN101408941A (zh) * | 2008-10-20 | 2009-04-15 | 中国科学院遥感应用研究所 | 遥感图像多尺度分割及分割结果的层次结构表示方法 |
| US20090226114A1 (en) * | 2008-03-07 | 2009-09-10 | Korea Aerospace Research Institute | Satellite image fusion method and system |
| CN101794440A (zh) * | 2010-03-12 | 2010-08-04 | 东南大学 | 图像序列的加权自适应超分辨率重建方法 |
| CN102063710A (zh) * | 2009-11-13 | 2011-05-18 | 烟台海岸带可持续发展研究所 | 一种遥感图像融合增强的实现方法 |
| CN102163329A (zh) * | 2011-03-15 | 2011-08-24 | 河海大学常州校区 | 基于尺度类推的单幅红外图像的超分辨率重建方法 |
| CN103136734A (zh) * | 2013-02-27 | 2013-06-05 | 北京工业大学 | POCS超分辨率图像重建时边缘Halo效应的抑制方法 |
| CN103310427A (zh) * | 2013-06-24 | 2013-09-18 | 中国科学院长春光学精密机械与物理研究所 | 图像超分辨率与像质增强方法 |
| CN103793883A (zh) * | 2013-12-11 | 2014-05-14 | 北京工业大学 | 一种基于主成分分析的成像光谱图像超分辨率复原方法 |
| CN103886559A (zh) * | 2014-04-04 | 2014-06-25 | 北京航空航天大学 | 一种光谱图像处理方法 |
| CN104662589A (zh) * | 2012-08-21 | 2015-05-27 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法 |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技（深圳）有限公司 | 一种视频图像超分辨率重建方法及装置 |
-
2017
- 2017-12-18 CN CN201711367295.6A patent/CN108090872B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804657A (zh) * | 2006-01-23 | 2006-07-19 | 武汉大学 | 遥感图像小目标超分辨率重建方法 |
| US20090226114A1 (en) * | 2008-03-07 | 2009-09-10 | Korea Aerospace Research Institute | Satellite image fusion method and system |
| CN101408941A (zh) * | 2008-10-20 | 2009-04-15 | 中国科学院遥感应用研究所 | 遥感图像多尺度分割及分割结果的层次结构表示方法 |
| CN102063710A (zh) * | 2009-11-13 | 2011-05-18 | 烟台海岸带可持续发展研究所 | 一种遥感图像融合增强的实现方法 |
| CN101794440A (zh) * | 2010-03-12 | 2010-08-04 | 东南大学 | 图像序列的加权自适应超分辨率重建方法 |
| CN102163329A (zh) * | 2011-03-15 | 2011-08-24 | 河海大学常州校区 | 基于尺度类推的单幅红外图像的超分辨率重建方法 |
| CN104662589A (zh) * | 2012-08-21 | 2015-05-27 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法 |
| CN103136734A (zh) * | 2013-02-27 | 2013-06-05 | 北京工业大学 | POCS超分辨率图像重建时边缘Halo效应的抑制方法 |
| CN103310427A (zh) * | 2013-06-24 | 2013-09-18 | 中国科学院长春光学精密机械与物理研究所 | 图像超分辨率与像质增强方法 |
| CN103793883A (zh) * | 2013-12-11 | 2014-05-14 | 北京工业大学 | 一种基于主成分分析的成像光谱图像超分辨率复原方法 |
| CN103886559A (zh) * | 2014-04-04 | 2014-06-25 | 北京航空航天大学 | 一种光谱图像处理方法 |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技（深圳）有限公司 | 一种视频图像超分辨率重建方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| JUN PAN 等: "Satellite Jitter Estimation and Validation Using Parallax Images", 《SENSORS》 * |
| ZHENYU AN 等: "An improved-SFIM fusion method based on the", 《OPTIK - INTERNATIONAL JOURNAL FOR LIGHT AND ELECTRON OPTICS》 * |
| 李敏 等: "改进的多光谱遥感影像超分辨率重构算法", 《计算机工程》 * |
| 许丽娜 等: "基于凸集投影的高分四号卫星影像超分辨率重建", 《测绘学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360147A (zh) * | 2018-09-03 | 2019-02-19 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
| CN109325914A (zh) * | 2018-09-11 | 2019-02-12 | 深圳大学 | 分子定位超分辨成像的降噪方法、装置及终端设备 |
| WO2020051764A1 (zh) * | 2018-09-11 | 2020-03-19 | 深圳大学 | 分子定位超分辨成像的降噪方法、装置及终端设备 |
| CN109325914B (zh) * | 2018-09-11 | 2023-04-18 | 深圳大学 | 分子定位超分辨成像的降噪方法、装置及终端设备 |
| CN110763342A (zh) * | 2019-09-30 | 2020-02-07 | 成都鼎屹信息技术有限公司 | 一种红外偏振超像元辐射光强图像分辨率还原方法 |
| CN110763342B (zh) * | 2019-09-30 | 2020-12-22 | 成都鼎屹信息技术有限公司 | 一种红外偏振超像元辐射光强图像分辨率还原方法 |
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112184554B (zh) * | 2020-10-13 | 2022-08-23 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112991174A (zh) * | 2021-03-13 | 2021-06-18 | 长沙学院 | 一种提高单帧红外图像分辨率的方法与*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108090872B (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090872A (zh) | 基于梯度提取的单帧多光谱影像超分辨率重建方法及*** | |
| CN109886870B (zh) | 基于双通道神经网络的遥感图像融合方法 | |
| CN110533620A (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| Liu et al. | Single image super-resolution using multi-scale deep encoder–decoder with phase congruency edge map guidance | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN105046672B (zh) | 一种图像超分辨率重建方法 | |
| CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
| Zhang et al. | A triple-double convolutional neural network for panchromatic sharpening | |
| CN108830796A (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN109829855A (zh) | 一种基于融合多层次特征图的超分辨率重建方法 | |
| CN106251320B (zh) | 基于联合稀疏与结构字典的遥感图像融合方法 | |
| CN107464216A (zh) | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 | |
| Yilmaz et al. | A theoretical and practical survey of image fusion methods for multispectral pansharpening | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN103208102A (zh) | 一种基于稀疏表示的遥感图像融合方法 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN103886559B (zh) | 一种光谱图像处理方法 | |
| Xiao et al. | A dual-UNet with multistage details injection for hyperspectral image fusion | |
| CN108573222A (zh) | 基于循环对抗生成网络的行人图像遮挡检测方法 | |
| Wang et al. | Multisensor remote sensing imagery super-resolution with conditional GAN | |
| CN109146787A (zh) | 一种基于插值的双相机光谱成像***的实时重建方法 | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |