CN112330581B - 一种sar和多光谱影像的融合方法及*** - Google Patents
一种sar和多光谱影像的融合方法及*** Download PDFInfo
- Publication number
- CN112330581B CN112330581B CN202011201691.3A CN202011201691A CN112330581B CN 112330581 B CN112330581 B CN 112330581B CN 202011201691 A CN202011201691 A CN 202011201691A CN 112330581 B CN112330581 B CN 112330581B
- Authority
- CN
- China
- Prior art keywords
- fused
- image
- sar
- multispectral
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 230000009466 transformation Effects 0.000 claims abstract description 54
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 33
- 230000001131 transforming effect Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012952 Resampling Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 42
- 235000009508 confectionery Nutrition 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种SAR和多光谱影像的融合方法及***。该融合方法包括：将投影坐标变换后的SAR影像以及多光谱影像重采样到同一空间分辨率下；对多光谱影像进行IHS空间变换，将多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量；分别对亮度分量和SAR影像进行低秩分解，确定融合后的低秩部分和融合后的显著部分；叠加融合后的低秩部分和融合后的显著部分，确定融合后的亮度分量，并将融合后的亮度分量替换亮度分量，基于色调分量以及饱和度分量，对融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。本发明能够保留更多的光谱特性和细节信息，提高融合结果的目视效果。
Description
技术领域
本发明涉及影像融合领域，特别是涉及一种SAR和多光谱影像的融合方法及***。
背景技术
随着多传感器类型在遥感领域的快速发展，越来越多的遥感影像被应用于军事、国防、民生和学术研究等领域。由于不同传感器有着不同的成像机理，所成影像的特征也有着很大不同。合成孔径雷达(SyntheticAperture Radar，SAR)是一种基于主动微波成像的高分辨率成像雷达，其发射的微波可以穿透云雾、水质和植被等物质，可以不受恶劣天气影响，实现全天时、全天候的对地观测，因此在灾情指挥、军事和农林等领域发挥着重大作用，但由于SAR是单波段成像，不具有光谱信息，无法直观的观测地物。而多光谱影像是通过光的反射成像，具有丰富的光谱信息，且目标特征明显，能够更直观的观测地物，但其成像受限于天气和光线因素，无法在恶劣天气下成像。因此，为了突破单一传感器的成像限制，将SAR与多光谱影像进行特征融合具有重大的战略意义。
目前针对SAR与多光谱影像的融合主要分为空间域变换和多尺度分解两大类。其中，空间域变换方法主要有PCA变换、IHS变换和Brovey变换等，这些方法的优点是计算简单，可以快速的进行融合，但由于只是简单的分量替换，容易造成光谱失真和细节模糊等问题。多尺度分解法主要有金字塔变换、小波变换、NSCT变换和NSST变换等，其主要思想是把源图像分解到不同的频域中，采用不同的融合策略进行融合，这类方法在一定程度上减少了光谱失真，但计算过程复杂，且需要选取较好的方向性分解，同时需要多种不同的融合策略，SAR影像的细节信息以及光谱信息无法很好的融合，融合后的影像细节信息以及光谱信息较少，导致影像融合效果差。
发明内容
本发明的目的是提供一种SAR和多光谱影像的融合方法及***，以解决现有的影像融合方法融合后的影像细节信息以及光谱信息较少，影像融合效果差的问题。
为实现上述目的，本发明提供了如下方案：
一种SAR和多光谱影像的融合方法，包括：
对同一地区的合成孔径雷达SAR影像与多光谱影像进行投影坐标变换，并将投影坐标变换后的所述SAR影像以及所述多光谱影像重采样到同一空间分辨率下；
基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量；
分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；
采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分；
叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。
可选的，所述基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量，具体包括：
根据公式
确定亮度分量；其中，I为亮度分量；s1为第一中间变量；s2为第二中间变量；R为所述多光谱影像的红色波段；G为所述多光谱影像的绿色波段；B为所述多光谱影像的蓝色波段；
根据公式
确定色调分量；H为色调分量；
根据公式
确定饱和度分量；S为饱和度分量。
可选的，所述分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分，具体包括：
根据公式
分别对所述亮度分量和所述SAR影像进行低秩分解，并采用不精确增广拉格朗日算子进行求解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；其中，||·||*为矩阵的核范数；||·||1为矩阵的l1范数；X为输入矩阵；Z为低秩系数矩阵；L为显著系数矩阵；E为噪声矩阵；XZ为影像低秩部分，LX为影像显著部分，λ为调节系数。
可选的，所述采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分，具体包括：
根据公式
确定融合后的低秩部分；其中，Flr为融合后的低秩部分；LRms为多光谱低秩部分；LRsar为SAR低秩部分；
根据公式Fsa＝SAms+SAsar确定融合后的显著部分；其中，Fsa为融合后的显著部分；SAms为多光谱显著部分；SAms为SAR显著部分。
可选的，所述叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像，具体包括：
根据公式Inew＝Flr+Fsa确定融合后的亮度分量；其中，Inew为融合后的亮度分量；
基于所述色调分量以及所述饱和度分量，根据公式
对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像；其中，F为融合图像；Rnew为融合图像F的红色波段；Gnew为融合图像F的绿色波段；Bnew为融合图像F的蓝色波段。
一种SAR和多光谱影像的融合***，包括：
投影坐标变换模块，用于对同一地区的合成孔径雷达SAR影像与多光谱影像进行投影坐标变换，并将投影坐标变换后的所述SAR影像以及所述多光谱影像重采样到同一空间分辨率下；
色彩空间变换模块，用于基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量；
低秩部分和显著部分确定模块，用于分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；
融合后的低秩部分和融合后的显著部分确定模块，用于采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分；
融合图像确定模块，用于叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。
可选的，所述色彩空间变换模块，具体包括：
亮度分量确定单元，用于根据公式
确定亮度分量；其中，I为亮度分量；s1为第一中间变量；s2为第二中间变量；R为所述多光谱影像的红色波段；G为所述多光谱影像的绿色波段；B为所述多光谱影像的蓝色波段；
色调分量确定单元，用于根据公式
确定色调分量；H为色调分量；
饱和度分量确定单元，用于根据公式
确定饱和度分量；S为饱和度分量。
可选的，所述低秩部分和显著部分确定模块，具体包括：
低秩分解单元，用于根据公式
分别对所述亮度分量和所述SAR影像进行低秩分解，并采用不精确增广拉格朗日算子进行求解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；其中，||·||*为矩阵的核范数；||·||1为矩阵的l1范数；X为输入矩阵；Z为低秩系数矩阵；L为显著系数矩阵；E为噪声矩阵；XZ为影像低秩部分，LX为影像显著部分，λ为调节系数。
可选的，所述融合后的低秩部分和融合后的显著部分确定模块，具体包括：
融合后的低秩部分确定单元，用于根据公式
确定融合后的低秩部分；其中，Flr为融合后的低秩部分；LRms为多光谱低秩部分；LRsar为SAR低秩部分；
融合后的显著部分确定单元，用于根据公式Fsa＝SAms+SAsar确定融合后的显著部分；其中，Fsa为融合后的显著部分；SAms为多光谱显著部分；SAms为SAR显著部分。
可选的，所述融合图像确定模块，具体包括：
融合后的亮度分量确定单元，用于根据公式Inew＝Flr+Fsa确定融合后的亮度分量；其中，Inew为融合后的亮度分量；
融合图像确定单元，用于基于所述色调分量以及所述饱和度分量，根据公式
对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像；其中，F为融合图像；Rnew为融合图像F的红色波段；Gnew为融合图像F的绿色波段；Bnew为融合图像F的蓝色波段。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种SAR和多光谱影像的融合方法及***，在空间变换的基础上引入了矩阵的低秩分解，分别对多光谱影像和SAR影像分解为低秩部分、显著部分和噪声部分，针对多光谱影像光谱特性集中于低秩部分、SAR影像细节信息集中于低秩部分的特性，针对不同分量设计了不同的融合策略，充分利用了多光谱和SAR在光谱特性和细节信息上的互补性，同时去除了影像的噪声。与传统融合方法相比，本发明融合结果保留了更多的光谱特性和细节信息，仿真实验表明，本发明的融合结果具有更好的目视效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的SAR和多光谱影像的融合方法流程图；
图2为本发明所提供的SAR和多光谱影像的融合方法的实验流程图；
图3为本发明所用实验数据影像示意图；图3(a)为多光谱影像MS图；图3(b)为SAR影像图；
图4为MS空间变换后的亮度分量I示意图；
图5为I分解后的分量图；图5(a)是I分量低秩分解后的低秩部分示意图；图5(b)是I分量低秩分解后的显著部分示意图；
图6为SAR分解后的分量示意图；图6(a)为SAR低秩分解后的低秩部分示意图；图6(b)是SAR低秩分解后的显著部分示意图；
图7为融合后的低秩分量和显著分量示意图；图7(a)是融合后的低秩分量示意图；图7(b)是融合后的显著分量示意图；
图8为最终融合图像示意图；
图9为本发明所提供的SAR和多光谱影像的融合***结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种SAR和多光谱影像的融合方法及***，能够保留更多的光谱特性和细节信息，提高融合结果的目视效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的SAR和多光谱影像的融合方法流程图，图2为本发明所提供的SAR和多光谱影像的融合方法的实验流程图，如图1-2所示，一种SAR和多光谱影像的融合方法，包括：
步骤101：对同一地区的合成孔径雷达SAR影像与多光谱影像进行投影坐标变换，并将投影坐标变换后的所述SAR影像以及所述多光谱影像重采样到同一空间分辨率下。
对同一地区的SAR与多光谱影像进行投影坐标变换，并进行重采样，将其像素大小重采样到同一空间分辨率下；在同一投影坐标系下进行地理配准，然后裁剪到M×N尺寸大小，M为图像宽度，N为图像高度；
将待处理多光谱影像和SAR影像导入ENVY遥感图像处理软件，选用ReprojectRaster功能，导入图像，对两幅影像均选取WGS_1984_UTM_Zone_51N投影坐标系，并调整像素大小为10m，选用Cubic Convolution(双三次插值)完成投影坐标系转换和重采样过程；选用Image registrationworkflow功能，以SAR影像为基准，分别在两幅影像上选取10个重合坐标点，之后软件生成30个坐标点，进行地理配准。配准后的两幅影像像素误差不超过一个像素大小。之后绘制ROI感兴趣区域，在两幅影像的同一区域进行裁剪，裁剪后的实验数据大小为M×N，其中M为图像宽度，N为图像高度。裁剪后的实验数据如图3所示，图3(a)为多光谱影像MS，图3(b)为SAR影像。
步骤102：基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量。
使用matlab软件进行IHS空间变换。使用imread函数读入多光谱影像MS，其波段数为3，分别代表红波段R、绿波段G、蓝波段B。
所述步骤102具体包括：根据公式
确定亮度分量；其中，I为亮度分量；s1为第一中间变量；s2为第二中间变量；s1与s2是计算过程中的两个中间变量，没有实际含义；R为所述多光谱影像的红色波段；G为所述多光谱影像的绿色波段；B为所述多光谱影像的蓝色波段；根据公式
确定色调分量；H为色调分量；根据公式
确定饱和度分量；S为饱和度分量，变换后的I分量如图4所示。
步骤103：分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分。
按照矩阵低秩原理，图像可被分解为低秩部分和显著部分，其中，低秩部分包含了大量的有用信息，其分解公式如下：
s.t.，X＝XZ+LX+E
其中，||·||*表示矩阵的核范数，||·||1表示矩阵的l1范数，X、Z、L、E分别为输入矩阵、低秩系数矩阵、显著系数矩阵和噪声矩阵，XZ代表图像的低秩部分，LX代表图像的显著部分，λ为调节系数。对上式可采用不精确拉格朗日算子来求解，求解过程如下：
步骤3.1：初始化拉格朗日算子Y1、Y2、Y3，最大迭代次数maxu，初始化各矩阵Z＝J＝0，L＝S＝0，E＝0。
步骤3.2：使用奇异值阈值算子更新矩阵系数J和S，其表达式为：
其中，μ为惩罚因子，初始化为10-6，||·||F为矩阵的弗罗贝尼乌斯范数。
步骤3.3：更新矩阵系数Z和L，其表达式为：
Z＝(I+XTX)-1(XT(X-LX-E)+J+(XTY1-Y2)/μ)
L＝((X-XZ-E)XT+S+(Y1XT-Y3)/μ)(I+XXT)-1
步骤3.4：使用收敛算子更新噪声矩阵E，其表达式为：
步骤3.5：更新拉格朗日算子和惩罚因子，其表达式为：
Y1＝Y1+μ(X-XZ-LX-E)
Y2＝Y2+μ(Z-J)
Y3＝Y3+μ(L-S)
μ＝min(ρμ，maxμ)
步骤3.6：迭代执行步骤3.2至3.5，直至下式收敛：
||X-XZ-LX-E||∞＜ε，||Z-J||∞＜ε，||L-S||∞＜ε
分解后的图像各分量如图5-图6所示。其中，图5(a)为MS低秩分解后的低秩部分LRms，图5(b)为MS低秩分解后的显著部分SAms，图5(c)为MS低秩分解后的噪声部分Ems；图6(a)为SAR低秩分解后的低秩部分LRsar，图6(b)为SAR低秩分解后的显著部分SAsar，图6(c)为SAR低秩分解后的噪声部分Esar。
之后，对不同分量采用不同的融合策略进行融合。对于图像的低秩部分，为了充分保留多光谱影像的亮度信息和SAR影像的细节特征，本实施例采用加权平均的融合策略进行融合，融合公式如下：
对于显著部分，采用直接求和的融合策略，融合公式如下：
Fsa＝SAms+SAsar
融合后的低秩分量和显著分量如图7(a)、图7(b)所示。
步骤104：采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分。
步骤105：叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。
将融合后的低秩分量Flr和显著分量Fsa进行叠加，得到新的亮度分量Inew，并将新的亮度分量Inew与S1、S2分量做IHS反变换，变换回原来的RGB色彩空间，得到最终的融合图像F，其表达式如下：
Inew＝Flr+Fsa
其中，Rnew、Gnew、Bnew分别是融合图像F的红、绿、蓝三个波段。融合影像F如图8所示。
从融合后的结果图可以看出，融合影像F具有良好的光谱保真度，城区或是草地的光谱信息都得到了很好的保留，同时，SAR影像中的细节信息也被注入到融合结果中，使结果图目视效果更加锐化，细节信息更多。如MS图中的云雾部分，其下的地面信息无法观察到，而本发明方法的融合结果图中可以清晰的展示云雾下的地表，达到了很好的去雾效果。同时，在低秩部分融合策略的选择上，可以更加多样化，不同的比重会影响最终的融合结果，如MS比重大于SAR的比重，结果图中MS的光谱信息就会更多。
图9为本发明所提供的SAR和多光谱影像的融合***结构图，如图9所示，一种SAR和多光谱影像的融合***，包括：
投影坐标变换模块901，用于对同一地区的合成孔径雷达SAR影像与多光谱影像进行投影坐标变换，并将投影坐标变换后的所述SAR影像以及所述多光谱影像重采样到同一空间分辨率下。
色彩空间变换模块902，用于基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量。
所述色彩空间变换模块902，具体包括：亮度分量确定单元，用于根据公式
确定亮度分量；其中，I为亮度分量；s1为第一中间变量；s2为第二中间变量；R为所述多光谱影像的红色波段；G为所述多光谱影像的绿色波段；B为所述多光谱影像的蓝色波段；色调分量确定单元，用于根据公式
确定色调分量；H为色调分量；饱和度分量确定单元，用于根据公式
确定饱和度分量；S为饱和度分量。
低秩部分和显著部分确定模块903，用于分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分。
所述低秩部分和显著部分确定模块903具体包括：低秩分解单元，用于根据公式
分别对所述亮度分量和所述SAR影像进行低秩分解，并采用不精确增广拉格朗日算子进行求解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；其中，||·||*为矩阵的核范数；||·||1为矩阵的l1范数；X为输入矩阵；Z为低秩系数矩阵；L为显著系数矩阵；E为噪声矩阵；XZ为影像低秩部分，LX为影像显著部分，λ为调节系数。
融合后的低秩部分和融合后的显著部分确定模块904，用于采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分。
所述融合后的低秩部分和融合后的显著部分确定模块904具体包括：融合后的低秩部分确定单元，用于根据公式
确定融合后的低秩部分；其中，Flr为融合后的低秩部分；LRms为多光谱低秩部分；LRsar为SAR低秩部分；融合后的显著部分确定单元，用于根据公式Fsa＝SAms+SAsar确定融合后的显著部分；其中，Fsa为融合后的显著部分；SAms为多光谱显著部分；SAms为SAR显著部分。
融合图像确定模块905，用于叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。
所述融合图像确定模块905具体包括：融合后的亮度分量确定单元，用于根据公式Inew＝Flr+Fsa确定融合后的亮度分量；其中，Inew为融合后的亮度分量；融合图像确定单元，用于基于所述色调分量以及所述饱和度分量，根据公式
对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像；其中，F为融合图像；Rnew为融合图像F的红色波段；Gnew为融合图像F的绿色波段；Bnew为融合图像F的蓝色波段。
本发明所提供的融合方法及***考虑了图像低秩信息，显著降低了图像融合过程中的光谱失真，并充分利用了SAR影像的细节信息，使融合结果达到了较好的目视效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种SAR和多光谱影像的融合方法，其特征在于，包括：
对同一地区的合成孔径雷达SAR影像与多光谱影像进行投影坐标变换，并将投影坐标变换后的所述SAR影像以及所述多光谱影像重采样到同一空间分辨率下；
基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量；
分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；
采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分；
叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。
2.根据权利要求1所述的SAR和多光谱影像的融合方法，其特征在于，所述基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量，具体包括：
根据公式
确定亮度分量；其中，I为亮度分量；s1为第一中间变量；s2为第二中间变量；R为所述多光谱影像的红色波段；G为所述多光谱影像的绿色波段；B为所述多光谱影像的蓝色波段；
根据公式
确定色调分量；H为色调分量；
根据公式
确定饱和度分量；S为饱和度分量。
3.根据权利要求2所述的SAR和多光谱影像的融合方法，其特征在于，所述分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分，具体包括：
根据公式
分别对所述亮度分量和所述SAR影像进行低秩分解，并采用不精确增广拉格朗日算子进行求解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；其中，||·||*为矩阵的核范数；||·||1为矩阵的l1范数；X为输入矩阵；Z为低秩系数矩阵；L为显著系数矩阵；E为噪声矩阵；XZ为影像低秩部分，LX为影像显著部分，λ为调节系数。
4.根据权利要求3所述的SAR和多光谱影像的融合方法，其特征在于，所述采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分，具体包括：
根据公式
确定融合后的低秩部分；其中，Flr为融合后的低秩部分；LRms为多光谱低秩部分；LRsar为SAR低秩部分；
根据公式Fsa＝SAms+SAsar确定融合后的显著部分；其中，Fsa为融合后的显著部分；SAms为多光谱显著部分；SAms为SAR显著部分。
5.根据权利要求4所述的SAR和多光谱影像的融合方法，其特征在于，所述叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像，具体包括：
根据公式Inew＝Flr+Fsa确定融合后的亮度分量；其中，Inew为融合后的亮度分量；
基于所述色调分量以及所述饱和度分量，根据公式
对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像；其中，F为融合图像；Rnew为融合图像F的红色波段；Gnew为融合图像F的绿色波段；Bnew为融合图像F的蓝色波段。
6.一种SAR和多光谱影像的融合***，其特征在于，包括：
投影坐标变换模块，用于对同一地区的合成孔径雷达SAR影像与多光谱影像进行投影坐标变换，并将投影坐标变换后的所述SAR影像以及所述多光谱影像重采样到同一空间分辨率下；
色彩空间变换模块，用于基于所述同一空间分辨率下，对所述多光谱影像进行IHS空间变换，将所述多光谱影像从RGB色彩空间变换到IHS色彩空间，确定亮度分量、色调分量以及饱和度分量；
低秩部分和显著部分确定模块，用于分别对所述亮度分量和所述SAR影像进行低秩分解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；
融合后的低秩部分和融合后的显著部分确定模块，用于采用加权平均的融合策略融合多光谱低秩部分以及SAR低秩部分，并采用求和的融合策略融合多光谱显著部分和SAR显著部分，确定融合后的低秩部分和融合后的显著部分；
融合图像确定模块，用于叠加所述融合后的低秩部分和所述融合后的显著部分，确定融合后的亮度分量，并将所述融合后的亮度分量替换所述亮度分量，基于所述色调分量以及所述饱和度分量，对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像。
7.根据权利要求6所述的SAR和多光谱影像的融合***，其特征在于，所述色彩空间变换模块，具体包括：
亮度分量确定单元，用于根据公式
确定亮度分量；其中，I为亮度分量；s1为第一中间变量；s2为第二中间变量；R为所述多光谱影像的红色波段；G为所述多光谱影像的绿色波段；B为所述多光谱影像的蓝色波段；
色调分量确定单元，用于根据公式
确定色调分量；H为色调分量；
饱和度分量确定单元，用于根据公式
确定饱和度分量；S为饱和度分量。
8.根据权利要求7所述的SAR和多光谱影像的融合***，其特征在于，所述低秩部分和显著部分确定模块，具体包括：
低秩分解单元，用于根据公式
分别对所述亮度分量和所述SAR影像进行低秩分解，并采用不精确增广拉格朗日算子进行求解，确定所述多光谱影像对应的多光谱低秩部分和多光谱显著部分，以及所述SAR影像的对应的SAR低秩部分和SAR显著部分；其中，||·||*为矩阵的核范数；||·||1为矩阵的l1范数；X为输入矩阵；Z为低秩系数矩阵；L为显著系数矩阵；E为噪声矩阵；XZ为影像低秩部分，LX为影像显著部分，λ为调节系数。
9.根据权利要求8所述的SAR和多光谱影像的融合***，其特征在于，所述融合后的低秩部分和融合后的显著部分确定模块，具体包括：
融合后的低秩部分确定单元，用于根据公式
确定融合后的低秩部分；其中，Flr为融合后的低秩部分；LRms为多光谱低秩部分；LRsar为SAR低秩部分；
融合后的显著部分确定单元，用于根据公式Fsa＝SAms+SAsar确定融合后的显著部分；其中，Fsa为融合后的显著部分；SAms为多光谱显著部分；SAms为SAR显著部分。
10.根据权利要求9所述的SAR和多光谱影像的融合***，其特征在于，所述融合图像确定模块，具体包括：
融合后的亮度分量确定单元，用于根据公式Inew＝Flr+Fsa确定融合后的亮度分量；其中，Inew为融合后的亮度分量；
融合图像确定单元，用于基于所述色调分量以及所述饱和度分量，根据公式
对所述融合后的亮度分量进行IHS反变换，变换至RGB色彩空间，确定融合图像；其中，F为融合图像；Rnew为融合图像F的红色波段；Gnew为融合图像F的绿色波段；Bnew为融合图像F的蓝色波段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011201691.3A CN112330581B (zh) | 2020-11-02 | 2020-11-02 | 一种sar和多光谱影像的融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011201691.3A CN112330581B (zh) | 2020-11-02 | 2020-11-02 | 一种sar和多光谱影像的融合方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330581A CN112330581A (zh) | 2021-02-05 |
| CN112330581B true CN112330581B (zh) | 2022-07-12 |
Family
ID=74324260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011201691.3A Active CN112330581B (zh) | 2020-11-02 | 2020-11-02 | 一种sar和多光谱影像的融合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330581B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842124A (zh) * | 2012-07-16 | 2012-12-26 | 西安电子科技大学 | 基于矩阵低秩分解的多光谱图像与全色图像融合方法 |
| CN104851091A (zh) * | 2015-04-28 | 2015-08-19 | 中山大学 | 一种基于卷积增强和hcs变换的遥感影像融合方法 |
| CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
| CN109447922A (zh) * | 2018-07-10 | 2019-03-08 | 中国资源卫星应用中心 | 一种改进的ihs变换遥感影像融合方法及*** |
| CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
| AU2020100179A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Optimization Details-Based Injection Model for Remote Sensing Image Fusion |
| CN111563866A (zh) * | 2020-05-07 | 2020-08-21 | 重庆三峡学院 | 一种多源遥感图像融合方法 |
-
2020
- 2020-11-02 CN CN202011201691.3A patent/CN112330581B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842124A (zh) * | 2012-07-16 | 2012-12-26 | 西安电子科技大学 | 基于矩阵低秩分解的多光谱图像与全色图像融合方法 |
| CN104851091A (zh) * | 2015-04-28 | 2015-08-19 | 中山大学 | 一种基于卷积增强和hcs变换的遥感影像融合方法 |
| CN109447922A (zh) * | 2018-07-10 | 2019-03-08 | 中国资源卫星应用中心 | 一种改进的ihs变换遥感影像融合方法及*** |
| CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
| CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
| AU2020100179A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Optimization Details-Based Injection Model for Remote Sensing Image Fusion |
| CN111563866A (zh) * | 2020-05-07 | 2020-08-21 | 重庆三峡学院 | 一种多源遥感图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| Fusion of Multifeature Low-Rank Representation;Xinzheng Zhang , Member, IEEE, Yijian Wang, Dong Li , Zhiying Ta;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20180930;论文1402-1406页 * |
| 基于a’trous小波与广义HIS变换的SAR与多光谱影像融合;黄登山,杨敏华,姚学恒,尹军;《遥感信息》;20110131;论文9-13页 * |
| 基于Shearlet变换的SAR与多光谱遥感影像融合;邰建豪,潘斌,赵珊珊,赵园;《武汉大学学报(信息科学版)》;20170430;论文468-474页 * |
| 星载SAR与OLI影像融合方法研究及质量评价;余祥伟,薛东剑;《西华师范大学学报(自然科学版)》;20200331;论文98-103页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330581A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | Remote sensing image fusion with convolutional neural network | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| González-Audícana et al. | Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition | |
| KR101580585B1 (ko) | 전정색영상과 적외선영상의 융합 방법 및 장치 | |
| CN103049898B (zh) | 带有薄云的多光谱和全色图像融合方法 | |
| Hong et al. | A wavelet and IHS integration method to fuse high resolution SAR with moderate resolution multispectral images | |
| EP3058549B1 (en) | Converting an image from a dual-band sensor to a visible color image | |
| CN104683767A (zh) | 透雾图像生成方法及装置 | |
| CN108961325A (zh) | 多/高光谱遥感图像波段间配准方法 | |
| CN116935214B (zh) | 一种卫星多源遥感数据的时空谱融合方法 | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| CN112330581B (zh) | 一种sar和多光谱影像的融合方法及*** | |
| Liu et al. | Locally linear detail injection for pansharpening | |
| CN110084774B (zh) | 一种增强的梯度传递和总变差最小化融合图像的方法 | |
| Wang et al. | Rapid nighttime haze removal with color-gray layer decomposition | |
| Dong et al. | Fusion of hyperspectral and panchromatic images with guided filter | |
| CN109191368B (zh) | 一种实现全景图拼接融合的方法、***设备及存储介质 | |
| KR20210096925A (ko) | 대용량 항공정사영상의 효율적인 색상보정 방법 | |
| Yehia et al. | An improved integrated intensity-hue-saturation with stationary wavelet transform multi-sensor image fusion approach | |
| Luo et al. | Spectral mapping based on panchromatic block structure analysis | |
| Duran et al. | Pansharpening by a nonlocal channel-decoupled variational method | |
| KR102397148B1 (ko) | 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법 | |
| CN114331936B (zh) | 基于小波分解和改进ihs算法的遥感影像融合方法 | |
| Zaveri et al. | An optimized region-based color transfer method for night vision application | |
| Wu et al. | Remote sensing image data fusion based on ihs and local deviation of wavelet transformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |