CN110689508B - 一种基于稀疏结构流形嵌入的ihs遥感图像融合方法 - Google Patents
一种基于稀疏结构流形嵌入的ihs遥感图像融合方法 Download PDFInfo
- Publication number
- CN110689508B CN110689508B CN201910753950.4A CN201910753950A CN110689508B CN 110689508 B CN110689508 B CN 110689508B CN 201910753950 A CN201910753950 A CN 201910753950A CN 110689508 B CN110689508 B CN 110689508B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low
- sparse
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000000903 blocking effect Effects 0.000 claims abstract description 23
- 239000000243 solution Substances 0.000 claims abstract description 21
- 238000002347 injection Methods 0.000 claims abstract description 18
- 239000007924 injection Substances 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000003595 spectral effect Effects 0.000 claims description 26
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- RFHAOTPXVQNOHP-UHFFFAOYSA-N fluconazole Chemical compound C1=NC=NN1CC(C=1C(=CC(F)=CC=1)F)(O)CN1C=NC=N1 RFHAOTPXVQNOHP-UHFFFAOYSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 43
- 230000006870 function Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- LPLLVINFLBSFRP-UHFFFAOYSA-N 2-methylamino-1-phenylpropan-1-one Chemical compound CNC(C)C(=O)C1=CC=CC=C1 LPLLVINFLBSFRP-UHFFFAOYSA-N 0.000 description 1
- 240000003023 Cosmos bipinnatus Species 0.000 description 1
- 235000005956 Cosmos caudatus Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于稀疏结构流形嵌入的IHS遥感图像融合方法，步骤为：步骤1，改变多光谱图像的尺寸与全色图像相同，做预处理，得到低分辨率强度图像，得到全色图像的低通分量和高通分量，将低通分量分块向量化得到低分辨率字典，将高通分量分块向量化得到高分辨率字典；步骤2，建立稀疏结构流形嵌入优化模型，对稀模型进行求解得到稀疏最优解；步骤3，将高分辨率字典与稀疏最优解相乘、重构求得高分辨率细节图像；步骤4，设计基于窗口的细节信息注入模型；步骤5，将高分辨率细节图像注入到改变尺寸后的多光谱图像中，得到融合图像。本发明解决了现有技术中存在的多光谱图像与全色图像间局部空间差异对IHS融合方法性能影响大的问题。
Description
技术领域
本发明属于图像融合技术领域，涉及一种基于稀疏结构流形嵌入的IHS遥感图像融合方法。
背景技术
随着人类空间活动范围的扩大，对地球表面与宇宙空间未知区域的探索与开发成为国家发展战略。卫星遥感技术成为探测未知区域并获取地理空间信息的重要工具。遥感观测技术的进步与人类对地球资源和环境认识的不断深化，迫切需要遥感卫星提供高光谱分辨率与高空间分辨率的遥感影像。因此，研发具备高空间分辨率与高光谱分辨率的遥感卫星，提供更加精确的空间信息与光谱信息，成为各个领域遥感观测任务的迫切需求。然而，受到现阶段材料与工艺水平的制约，遥感成像设备的高空间分辨率与高光谱分辨率难以同时实现。
图像融合技术为解决上述难点问题提供了有效的技术手段。现阶段，遥感卫星***一般提供两类影像数据：多光谱图像与全色图像。多光谱图像具备多个波段，光谱信息丰富，但空间分辨率低。与此相反，全色图像具备高空间分辨率，但仅有单个波段，缺乏颜色信息。图像融合技术可实现多光谱图像光谱信息与全色图像空间信息的互补，形成一幅高空间分辨率与高光谱分辨率的遥感影像。
近二十年来，像素级遥感图像融合技术得到快速发展，其主要方法可归纳为四类：分量替换融合方法、多分辨率分析融合方法、基于图像恢复的融合方法与混合融合方法。其中，分量替换融合方法最具代表性。与多分辨率分析方法、基于图像恢复的融合方法和混合融合方法相比，分量替换融合方法具备实现简单、实时性好且空间分辨率保真度高等优点，并被推广到实际应用中。强度-色度-对比度 (Intensity-Hue-Saturation,IHS)变换融合方法是分量替换融合框架的典型代表，是遥感图像融合领域的研究热点。
传统的IHS变换融合方法在红、绿、蓝三波段多光谱图像上实现，融合图像空间分辨率显著提高，但光谱扭曲显著。广义IHS变换融合方法实现四波段多光谱图像融合，有效提升了融合图像的光谱质量。强度图像合成质量的好坏决定了融合图像的效果。因此，计算有效谱权重，进一步提升强度图像与全色图像的相关程度，进而实现有效的空间细节信息提取成为改进IHS融合框架性能的关键策略之一。然而，由于成像传感器性能差异与影像拍摄时间与环境的影像，多光谱图像与全色图像在局部区域存在较明显差异。因此，从全色图像提取的空间细节信息直接注入多光谱图像会引起空谱失真。如何实现匹配多光谱图像特性的空间细节注入成为遥感图像融合的研究热点。设计适合的注入模型将有效提升IHS融合框架的性能。
发明内容
本发明的目的是提供一种基于稀疏结构流形嵌入的IHS遥感图像融合方法，解决了现有技术中存在的多光谱图像与全色图像间局部空间差异对IHS融合方法性能影响大的问题。
本发明所采用的技术方案是，
一种基于稀疏结构流形嵌入的IHS遥感图像融合方法，具体按照以下步骤实施：
步骤1，改变多光谱图像的尺寸使其与全色图像的尺寸相同，对改变尺寸的多光谱图像与全色图像做预处理，得到低分辨率强度图像，得到全色图像的低通分量和高通分量，将低通分量分块向量化得到低分辨率字典，将高通分量分块向量化得到高分辨率字典；
步骤2，建立稀疏结构流形嵌入优化模型，将步骤1中低分辨率强度图像进行分块得到分块向量集，输入分块向量集和低分辨率字典对稀疏结构流形嵌入优化模型进行求解，得到稀疏最优解；
步骤3，将步骤1中得到的高分辨率字典与步骤2中得到的稀疏最优解相乘、重构，求得高分辨率细节图像；
步骤4，设计基于窗口的细节信息注入模型；
步骤5，通过基于窗口的细节信息注入模型将高分辨率细节图像按照比例注入到改变尺寸后的多光谱图像中，最终得到融合图像。
本发明的特点还在于，
步骤1具体按照以下步骤实施：
步骤1.1，改变多光谱图像的尺寸使其与全色图像的尺寸相同；
步骤1.2，建立全色图像与多光谱图像各个波段间的线性表示优化模型；式(1)为线性优化模型的目标函数
其中P表示全色图像，wn表示第n个波段的谱权重系数，
表示改变尺寸后的多光谱图像的第n个波段，N表示改变尺寸后的多光谱图像的波段总数；
步骤1.3，通过求解式(1)所示目标函数，最终可得谱权重系数，求解过程如下：
式(1)可转化为如下函数：
其中γ表示正则参数；
式(2)可利用梯度下降法求解，首先计算权重w的导数，如下所示：
通过离散化PDE可以得到式(3)的半隐式方法，如下所示：
通过求解
可得到
式(5)可利用线性代数方法求解，获得谱权重系数wn；
步骤1.4，通过谱权重系数求得低分辨率强度图像，根据多光谱图像的光谱响应曲线，低分辨率强度图像可用式(6)来表示：
其中Ir表示低分辨率强度图像；
步骤1.5，利用直方图匹配方法使全色图像与低分辨率强度图像具有相同的变化范围，具体实现为式(7)：
其中
与σP分别表示低分辨率强度图像Ir与全色图像P的标准差，
与μP分别表示低分辨率强度图像Ir与全色图像P的均值；
步骤1.6，利用基于调制传递函数形状的低通滤波器对直方图匹配后的全色图像进行滤波，获得低通分量与高通分量；
步骤1.7，将低通分量分块向量化得到低分辨率字典
将高通分量分块向量化得到高分辨率字典
步骤1.1中改变多光谱图像的尺寸的具体方式为：利用双三次插值方法对多光谱图像进行插值处理。
步骤2的具体步骤为：
步骤2.1，对低分辨率强度图像进行分块处理，然后块向量化，可得如下向量集合
对于图像块
来说，其近邻图像块恰好跨越了一个临近
的仿射子空间；那么，该图像块
将满足如下约束：
其中cj是上述约束的稀疏解，ε表示容忍误差；
步骤2.2，对向量集合
进行归一化，并且令
由此，式(8)转变为如下稀疏结构流形嵌入优化模型的目标函数：
其中Qj是正定对角矩阵，其具体形式如式(11)；
利用拉格朗日乘子法可将式(11)转变为式(12)；
步骤2.3，采用最小绝对收敛与选择算子方法可实现式(12)的求解，获得最优稀疏解cj。
步骤4中基于窗口的细节信息注入模型具体设计方式为：利用滑窗方法对低分辨率多光谱图像与低分辨率强度图像进行滤波，具体方法如下：
其中W表示窗口矩阵，那么增益系数为
增益系数即为基于窗口的细节信息注入模型。
步骤5中将高分辨率细节图像按照比例注入到差值后的多光谱图像中的具体计算如式(16)所示。
其中
表示融合图像的第n个波段。
本发明的有益效果是，
稀疏结构流形嵌入优化模型可描述图像的稀疏性与流形结构，可求得线性模型的最优解，保证高分辨率细节图像的质量，避免全色图像空间细节信息直接注入引起的空谱失真；基于窗口的细节注入模型可实现高分辨率空间细节信息的有效注入，对于改进和提升基于IHS 变换的融合方法的性能具有极其重要的意义。
附图说明
图1是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法的整体框架图；
图2是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例1中的参考图像；(原图为彩色)
图3是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例1中输入的多光谱图像；(原图为彩色)
图4是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例1中输入的全色图像；
图5是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法在QuickBird卫星数据上随图像块大小变化的的融合性能曲线图；
图6是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例1中的的融合结果图；(原图为彩色)
图7是采用GIHSA方法对QuickBird卫星数据集进行融合后的结果图；(原图为彩色)
图8是采用AIHS方法对QuickBird卫星数据集进行融合后的融合结果图；(原图为彩色)
图9是采用IAIHS方法对QuickBird卫星数据集进行融合后的结果图；(原图为彩色)
图10是采用NLIHS方法对QuickBird卫星数据集进行融合后的结果图；(原图为彩色)
图11是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例2中的参考图像；(原图为彩色)
图12是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例2中的GeoEye-1卫星数据集中的多光谱图像；(原图为彩色)
图13是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例2中的GeoEye-1卫星数据集中的全色图像；
图14是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法在GeoEye-1卫星数据上随图像块大小变化的的融合性能曲线图；
图15是本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法实施例2中的融合结果图；(原图为彩色)
图16是采用GIHSA方法对GeoEye-1卫星数据集进行融合后的结果图；(原图为彩色)
图17是采用AIHS方法对GeoEye-1卫星数据集进行融合后的结果图；(原图为彩色)
图18是采用IAIHS方法对GeoEye-1卫星数据集进行融合后的结果图；(原图为彩色)
图19是采用NLIHS方法对GeoEye-1卫星数据集进行融合后的结果图。(原图为彩色)
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法，如图1所示，具体按照以下步骤实施：
步骤1，对多光谱图像与全色图像做预处理，得到低分辨率强度图像，得到全色图像的低通分量和高通分量，将低通分量分块向量化得到低分辨率字典，将高通分量分块向量化得到高分辨率字典。步骤 1具体步骤如下所示：
步骤1.1，改变多光谱图像的尺寸使其与全色图像的尺寸相同；改变多光谱图像的尺寸的具体方式为：利用双三次插值方法对多光谱图像进行插值处理；
步骤1.2，建立全色图像与多光谱图像各个波段间的线性表示优化模型；
根据遥感图像的特性，高分辨率全色图像可以看作是差值后多光谱图像的线性加权平均。式(1)为线性优化模型的目标函数
其中P表示全色图像，wn表示第n个波段的谱权重系数，
表示差值后多光谱图像的第n个波段，N表示差值后多光谱图像的波段总数；
步骤1.3，通过求解式(1)所示目标函数，最终可得谱权重系数，求解过程如下：
式(1)可转化为如下函数：
其中γ表示正则参数；
式(2)可利用梯度下降法求解，首先计算权重w的导数，如下所示：
通过离散化PDE可以得到式(3)的半隐式方法，如下所示：
通过求解
可得到
式(5)可利用线性代数方法求解，获得谱权重系数wn；
步骤1.4，通过谱权重系数求得低分辨率强度图像，根据多光谱图像的光谱响应曲线，低分辨率强度图像可用式(6)来表示：
其中Ir表示低分辨率强度图像；
步骤1.5，利用直方图匹配方法使全色图像与低分辨率强度图像具有相同的变化范围，具体实现为式(7)
其中
与σP分别表示低分辨率强度图像Ir与全色图像P的标准差，
与μP分别表示低分辨率强度图像Ir与全色图像P的均值；
步骤1.6，利用基于调制传递函数形状的低通滤波器对直方图匹配后的全色图像进行滤波，获得低通分量与高通分量；
步骤1.7，将低通分量分块向量化得到低分辨率字典
将高通分量分块向量化得到高分辨率字典
步骤2，建立稀疏结构流形嵌入优化模型，将步骤1中的低分辨率强度图像进行分块得到分块向量集，输入分块向量集和低分辨率字典对稀疏结构流形嵌入优化模型进行求解，得到稀疏最优解，具体步骤为：
步骤2.1，对低分辨率强度图像进行分块处理，然后块向量化，可得如下向量集合
对于图像块
来说，其近邻图像块恰好跨越了一个临近
的仿射子空间。那么，该图像块
将满足如下约束：
其中cj是上述约束的稀疏解，ε表示容忍误差。
步骤2.2，对向量集合
进行归一化，并且令
由此，式(8)转变为如下稀疏结构流形嵌入优化模型的目标函数：
其中Qj是正定对角矩阵，其具体形式如式(11)。
利用拉格朗日乘子法可将式(11)转变为式(12)。
步骤2.3，采用最小绝对收敛与选择算子方法可实现式(12)的求解，获得最优稀疏解cj。
步骤3，将步骤1中得到的高分辨率字典与步骤2中得到的稀疏最优解相乘、重构，求得高分辨率细节图像；
通过式(13)将稀疏解与高分辨率字典进行乘积，可得高分辨率细节图像块集合
对高分辨率细节图像块集合
进行复原重构，可得高分辨率细节图像Ih。
步骤4，设计基于窗口的细节信息注入模型，具体步骤为：利用滑窗方法对低分辨率多光谱图像与低分辨率强度图像进行滤波，具体方法如下：
其中W表示窗口矩阵，那么增益系数为
增益系数即为基于窗口的细节信息注入模型。
步骤5，通过基于窗口的细节信息注入模型将高分辨率细节图像按照比例注入到差值后的多光谱图像中，最终得到融合图像，具体计算如式(16)所示。
其中
表示融合图像的第n个波段。
实施例1
本实施例的实验环境为MatlabR2016a，CPU Interl(R)corel(TM) I7-4790(主频3.6GHz)，内存16GB。
本实施例采用的实验数据集为QuickBird遥感卫星提供。 QuickBird遥感数据涵盖海洋、城区、港口等地物景像，其包括2.44 米空间分辨率的多光谱图像与0.61米的全色图像。
由于若采用QuickBird卫星数据提供的多光谱图像和全色图像作为输入，输出的融合图像没有进行结果比较的参考图像，故本实施例将QuickBird卫星数据提供的多光谱图像作为参考图像，如图2所示；用QuickBird卫星数据提供的多光谱图像和全色图像进行低通滤波，获得如图3所示的9.76米空间分辨率的多光谱图像与如图4所示的 2.44米空间分辨率的全色图像，将图3与图4作为输入。
本实施例以图3与图4作为输入，执行步骤1～5。
本实施例采用相关系数(Correlation coefficient，CC)、均方根误差(Root meansquared error,RMSE)、相对整体维数综合误差(Erreur relative globaladimensionnelle de synthèse，ERGAS)、光谱角映射 (Spectral angle mapper，SAM)与Q4作为评价指标，如图5为本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法在QuickBird 卫星数据上随图像块大小变化的融合性能曲线，图中横坐标为图像块大小，纵坐标为量化评价结果；根据图5我们分析得到图像块的大小设定为36×36时，本发明的融合性能最好。
图像块的大小设定为36×36时，融合结果图如图6所示。
还利用广义IHS(Generalized IHS，GIHS)，自适应IHS(Adaptive IHS，AIHS)、增强自适应IHS(Improved Adaptive IHS,IAIHS)与非线性IHS(Nonlinear IHS，NLIHS)四种传统方法对输入图像进行了融合，如图7～图10分别为GIHS、AIHS、IAIHS与NLIHS四种传统方法的融合结果。
将本发明、GIHS、AIHS、IAIHS与NLIHS的融合结果与参考图像做对比，可知从视觉角度分析，GIHSA的融合结果拥有令人印象深刻的空间分辨率，但与参考图像相比，部分区域拥有不自然的颜色信息。AIHS方法融合结果的空间与光谱质量较好。IAIHS融合结果拥有比较自然的颜色，但在局部区域存在模糊，部分空间细节信息丢失。对于NLIHS方法来说，其融合结果整体上较模糊。本发明的融合结果较之前面四种方法的融合结果展现出更好的光谱与空间质量。表1列出了比较算法与本发明方法在CC、RMSE、ERGAS、SAM 与Q4等客观评价指标数值结果，其中最优值被标记为黑体。从表1 可以看出本发明给出了最优的CC、RMSE、ERGAS、SAM与Q4数值。相较于其他融合方法，无论是从视觉分析还是客观评价，本发明方法的融合性能在QuickBird数据上的性能更加优秀。
表1.五种融合算法在QUICKBIRD遥感数据上融合结果客观评价指标数值结果
实施例2
本实施例的实验环境为MatlabR2016a，CPU Interl(R)corel(TM) I7-4790(主频3.6GHz)，内存16GB。
本实施例采用的实验数据集为GeoEye-1遥感卫星提供。 GeoEye-1遥感卫星数据涵盖城区、山脉、河流、森林等地物景像，其包括2米空间分辨率的多光谱图像与0.5米空间分辨率的全色图像。
由于若采用GeoEye-1卫星数据提供的多光谱图像和全色图像作为输入，输出的融合图像没有进行结果比较的参考图像，故本实施例将GeoEye-1卫星数据提供的多光谱图像作为参考图像，如图11所示；用GeoEye-1卫星数据提供的多光谱图像和全色图像进行低通滤波，获得如图12所示的8米空间分辨率的多光谱图像与如图13所示的2 米空间分辨率的全色图像，将图12与图13作为输入。
本实施例以图12与图13作为输入，执行步骤1～5。
本实施例采用相关系数(Correlation coefficient，CC)、均方根误差(Root meansquared error,RMSE)、相对整体维数综合误差(Erreur relative globaladimensionnelle de synthèse，ERGAS)、光谱角映射(Spectral angle mapper，SAM)与Q4作为评价指标，如图14为本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法在GeoEye-1卫星数据上随着图像块大小变化的融合性能曲线；根据图 14我们分析得到图像块的大小设定为36×36时，本发明的融合性能最好。
图像块的大小设定为36×36时，融合结果图如图15所示。
还利用GIHS，AIHS、IAIHS与NLIHS四种传统方法对输入图像进行了融合，如图16～图19分别为GIHS、AIHS、IAIHS与NLIHS 四种传统方法的融合结果。
将本发明、GIHS、AIHS、IAIHS与NLIHS的融合结果与参考图像做对比可知，GIHSA融合图像的空间分辨率明显提升，但颜色失真现象依然严重。AIHS和IAIHS的融合图像的空间质量较差。NLIHS 具有较好的光谱质量，但其空间细节有轻微模糊。与参考图像以及上述算法的融合图像相比，从视觉角度看，本发明的融合图像拥有较好的空间与光谱质量。表2列出了比较算法与本发明方法在CC、RMSE、ERGAS、SAM与Q4等客观评价指标数值结果，其中最优值被标记为黑体。从表2中看出，本发明在RMSE、ERGAS与Q4三种指标上有最优值，但在CC和SAM两种客观指标上比其他方法要差，相较于其他融合方法，无论是从视觉分析还是客观评价，本发明方法的融合性能在GeoEye-1数据上的性能更加优秀。
综上所述，本发明一种基于稀疏结构流形嵌入的IHS遥感图像融合方法可以有效实现多光谱与全色图像融合任务。与传统的IHS融合方法相比，本发明方法的融合性能更高，所生成的融合图像的光谱质量与空间质量更好。
表2.五种融合算法在GeoEye-1遥感数据上融合结果客观评价指标数值结果
Claims (1)
1.一种基于稀疏结构流形嵌入的IHS遥感图像融合方法，其特征在于，具体按照以下步骤实施：
步骤1，改变多光谱图像的尺寸使其与全色图像的尺寸相同，对改变尺寸的多光谱图像与全色图像做预处理，得到低分辨率强度图像，得到全色图像的低通分量和高通分量，将低通分量分块向量化得到低分辨率字典，将高通分量分块向量化得到高分辨率字典；
步骤2，建立稀疏结构流形嵌入优化模型，将步骤1中强度图像进行分块得到分块向量集，输入分块向量集和低分辨率字典对稀疏结构流形嵌入优化模型进行求解，得到稀疏最优解；
步骤3，将步骤1中得到的高分辨率字典与步骤2中得到的稀疏最优解相乘、重构，求得高分辨率细节图像；
步骤4，设计基于窗口的细节信息注入模型；
步骤5，通过基于窗口的细节信息注入模型将高分辨率细节图像按照比例注入到改变尺寸后的多光谱图像中，最终得到融合图像；
所述步骤1具体按照以下步骤实施：
步骤1.1，改变多光谱图像的尺寸使其与全色图像的尺寸相同；具体方式为：利用双三次插值方法对多光谱图像进行插值处理；
步骤1.2，建立全色图像与多光谱图像各个波段间的线性表示优化模型；式(1)为线性优化模型的目标函数
其中P表示全色图像，wn表示第n个波段的谱权重系数，
表示改变尺寸后的多光谱图像的第n个波段，N表示改变尺寸后的多光谱图像的波段总数；
步骤1.3，通过求解式(1)所示目标函数，最终可得谱权重系数，求解过程如下：
式(1)可转化为如下函数：
其中γ表示正则参数；
式(2)可利用梯度下降法求解，首先计算权重w的导数，如下所示：
通过离散化PDE可以得到式(3)的半隐式方法，如下所示：
通过求解
可得到
式(5)可利用线性代数方法求解，获得谱权重系数wn；
步骤1.4，通过谱权重系数求得低分辨率强度图像，根据多光谱图像的光谱响应曲线，低分辨率强度图像可用式(6)来表示：
其中Ir表示低分辨率强度图像；
步骤1.5，利用直方图匹配方法使全色图像与低分辨率强度图像具有相同的变化范围，具体实现为式(7)：
其中
与σP分别表示低分辨率强度图像Ir与全色图像P的标准差，
与μP分别表示低分辨率强度图像Ir与全色图像P的均值；
步骤1.6，利用基于调制传递函数形状的低通滤波器对直方图匹配后的全色图像进行滤波，获得低通分量与高通分量；
步骤1.7，将低通分量分块向量化得到低分辨率字典
将高通分量分块向量化得到高分辨率字典
所述步骤2的具体步骤为：
步骤2.1，对低分辨率强度图像进行分块处理，然后块向量化，可得如下向量集合
对于图像块
来说，其近邻图像块恰好跨越了一个临近
的仿射子空间；那么，该图像块
将满足如下约束：
其中cj是上述约束的稀疏解，ε表示容忍误差；
步骤2.2，对向量集合
进行归一化，并且令
由此，式(8)转变为如下稀疏结构流形嵌入优化模型的目标函数：
其中Qj是正定对角矩阵，其具体形式如式(11)；
利用拉格朗日乘子法可将式(11)转变为式(12)；
步骤2.3，采用最小绝对收敛与选择算子方法可实现式(12)的求解，获得最优稀疏解cj；
所述步骤3的具体步骤如下：将步骤1中得到的高分辨率字典与步骤2中得到的稀疏最优解相乘、重构，求得高分辨率细节图像；
通过式(13)将稀疏解与高分辨率字典进行乘积，可得高分辨率细节图像块集合
对高分辨率细节图像块集合
进行复原重构，可得高分辨率细节图像Ih；
所述步骤4中基于窗口的细节信息注入模型具体设计方式为：利用滑窗方法对低分辨率多光谱图像与低分辨率强度图像进行滤波，具体方法如下：
其中W表示窗口矩阵，那么增益系数为
增益系数即为基于窗口的细节信息注入模型；
所述步骤5中将高分辨率细节图像按照比例注入到插值后的多光谱图像中的具体计算如式(16)所示；
其中
表示融合图像的第n个波段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910753950.4A CN110689508B (zh) | 2019-08-15 | 2019-08-15 | 一种基于稀疏结构流形嵌入的ihs遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910753950.4A CN110689508B (zh) | 2019-08-15 | 2019-08-15 | 一种基于稀疏结构流形嵌入的ihs遥感图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110689508A CN110689508A (zh) | 2020-01-14 |
| CN110689508B true CN110689508B (zh) | 2022-07-01 |
Family
ID=69108261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910753950.4A Active CN110689508B (zh) | 2019-08-15 | 2019-08-15 | 一种基于稀疏结构流形嵌入的ihs遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689508B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
| CN105741252A (zh) * | 2015-11-17 | 2016-07-06 | 西安电子科技大学 | 基于稀疏表示与字典学习的视频图像分级重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7340099B2 (en) * | 2003-01-17 | 2008-03-04 | University Of New Brunswick | System and method for image fusion |
-
2019
- 2019-08-15 CN CN201910753950.4A patent/CN110689508B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
| CN105741252A (zh) * | 2015-11-17 | 2016-07-06 | 西安电子科技大学 | 基于稀疏表示与字典学习的视频图像分级重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于流形学习的图像超分辨率重建研究;汪智易;《中国优秀硕士学位论文全文数据库》;20141115;第5.1.2节 * |
| 基于融合框架与稀疏表示的遥感影像锐化;王文卿;《中国优秀硕士学位论文全文数据库》;20160315;第1.2.2节及第三章，图3.1 * |
| 王文卿.基于融合框架与稀疏表示的遥感影像锐化.《中国优秀硕士学位论文全文数据库》.2016,第1.2.2节及第三章，图3.1. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110689508A (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN111932457B (zh) | 遥感影像高时空融合处理算法及装置 | |
| Song et al. | Spatiotemporal satellite image fusion through one-pair image learning | |
| Wang et al. | High-quality Bayesian pansharpening | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
| CN111260576A (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN104851077A (zh) | 一种自适应的遥感图像全色锐化方法 | |
| CN109859110A (zh) | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 | |
| CN112488978A (zh) | 基于模糊核估计的多光谱图像融合成像方法及*** | |
| CN110533600B (zh) | 一种同/异质遥感影像高保真广义空-谱融合方法 | |
| Wen et al. | An effective network integrating residual learning and channel attention mechanism for thin cloud removal | |
| Rao et al. | Spatiotemporal data fusion using temporal high-pass modulation and edge primitives | |
| Dai et al. | A remote sensing spatiotemporal fusion model of landsat and modis data via deep learning | |
| CN115984155A (zh) | 一种基于光谱解混的高光谱、多光谱和全色图像融合方法 | |
| CN113744134A (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN110689508B (zh) | 一种基于稀疏结构流形嵌入的ihs遥感图像融合方法 | |
| CN108537765A (zh) | 一种星载全色与多光谱图像融合方法 | |
| Li et al. | ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution | |
| CN113378924B (zh) | 一种基于空-谱特征联合的遥感影像监督分类方法 | |
| CN110163874B (zh) | 基于同质区域分割的双边滤波算法 | |
| Chen et al. | A pan-sharpening method based on the ADMM algorithm | |
| Zhang et al. | A generative adversarial network with structural enhancement and spectral supplement for pan-sharpening | |
| CN111833280B (zh) | 一种基于中频信号调制和补偿的高保真遥感图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |