CN108932710B - 遥感时空信息融合方法 - Google Patents

遥感时空信息融合方法 Download PDF

Info

Publication number
CN108932710B
CN108932710B CN201810753766.5A CN201810753766A CN108932710B CN 108932710 B CN108932710 B CN 108932710B CN 201810753766 A CN201810753766 A CN 201810753766A CN 108932710 B CN108932710 B CN 108932710B
Authority
CN
China
Prior art keywords
image
time
sparse
analysis
modis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810753766.5A
Other languages
English (en)
Other versions
CN108932710A (zh
Inventor
韩昌
周浩
高俊
陈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Business University
Original Assignee
Wuhan Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Business University filed Critical Wuhan Business University
Priority to CN201810753766.5A priority Critical patent/CN108932710B/zh
Publication of CN108932710A publication Critical patent/CN108932710A/zh
Application granted granted Critical
Publication of CN108932710B publication Critical patent/CN108932710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种遥感时空信息融合方法,包括以下步骤:S1,对多光谱遥感影像进行预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;S2,得到t0时刻的中间级图像;S3,得到t1时刻的Landsat图像的稀疏分析字典;S4,根据步骤S2得到的t0和t1时刻的中间级图像及步骤S3得到的t1时刻Landsat图像的稀疏分析字典,得到t1时刻的Landsat图像。本发明基于分析型稀疏的理论框架,对MODIS图像进行超分辨率重建得到中间图像,采用卷积神经网络的学习方法得到时空一体化的退化模型,利用中间图像和时空模型求出融合结果。

Description

遥感时空信息融合方法
技术领域
本发明涉及遥感时空信息融合方法技术领域。更具体地说,本发明涉及一种遥感时空信息融合方法。
背景技术
MODIS传感器对同一区域的采集频率为12小时/次,拍摄的图像的分辨率为250*250,而Landsat对同一区域的采集频率为16天/次。但是Landsat图像的分辨率是MODIS图像分辨率的分辨率为30*30。由于传感器硬件的限制,无法同时获得高空间分辨率和高时间分辨率的图像。大大影响了遥感技术在生产生活中的应用,时空融合技术是解决该问题的一个比较好的方法。
发明内容
本发明的目的是提供一种根据Landsat传感器得到的T0时刻的Landsat图像,MODIS传感器得到的T0时刻的MODIS图像及T1时刻的MODIS的图像,得到T1时刻的Landsat图像的遥感时空信息融合方法。
为了实现根据本发明的这些目的和其它优点,提供了一种遥感时空信息融合方法,采用分析型稀疏表达的图像处理算法,结合卷积神经网络得到图像退化模型和时变信息,利用双模态的图像融合方法得到理想的融合图像,具体包括以下步骤:
S1,对输入多光谱遥感影像进行数据预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;
S2,基于步骤S1得到的t0和t1时刻的MODIS图像,采用双层架构结构的图像融合方法,对t0时刻的MODIS图像进行超分辨率重建,得到t0时刻的中间级图像;
S3,根据步骤S1得到的t0时刻的Landsat图像,t0时刻的MODIS图像以及t1时刻的MODIS的图像来构建数据稀疏分析耦合字典,并根据稀疏分析耦合字典通过稀疏分析耦合和时变信息映射的方法得到t1时刻的Landsat图像的稀疏分析字典;
S4,根据步骤S2得到的t0中间级图像及步骤S3得到的t1时刻的Landsat图像的稀疏分析字典,采用双模态理论框架进行融合重建,得到t1时刻的Landsat图像。
优选地,所述步骤S3具体包括:
S31,根据t0时刻的MODIS图像、及t0时刻的Landsat图像构建t0时刻的高分辨率和低分辨率图像的稀疏分析耦合字典Ω0和Ω’0
S32,根据图像时变的回归模型,及卷积神经网络学习得到的时变参数T,采用对经过稀疏耦合字典训练方法得到的Ω’0进行T参数变化的方法得到t1时刻的Ω’1
S33,联合稀疏分析模型假设,给定一类信号
Figure GDA0003302342720000021
存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs,用(Ωs)j表示分析矢量的第j个元素,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子
Figure GDA0003302342720000022
对进行联合稀疏表示;采用经过配准和对应的训练样本对进行稀疏分析字典学习;
S34,采用nM=nL=n,根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达;
Figure GDA0003302342720000023
S35,对所有的训练样本对采用式(2)进行期望求解;
Figure GDA0003302342720000024
同时,为了避免平凡解,增加如下两个式子的约束性条件,即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
根据公式(1)、(2)、(3)得到包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数;
Figure GDA0003302342720000025
将分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
Figure GDA0003302342720000026
采用基于流行面的共轭梯度的方法对公式(5)优化求解,得到在t1时刻的Landsat图像的稀疏分析字典。
优选地,所述步骤S4具体包括:
S41,将t1时刻的中间级的MODIS-Landsat图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,在t1时刻的分析稀疏系数为一个常数Ω1C(xi,yi,t1)=δ;
S42,t1时刻,在稀疏分析耦合字典的框架下,中间级的MODIS-Landsat图像对可以看做是同一物体的两个不同的模态;
S43,用
Figure GDA0003302342720000031
表示稀疏先验项,将遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
Figure GDA0003302342720000032
经过求解可以得到最终融合的结果,即t1时刻的Landsat图像;
其中,λ拉格朗日常数,C0表示C(xi,yi,t0),C1表示C(xi,yi,t1),F0表示F(xi,yi,t0)、F1表示F(xi,yi,t1)。
优选地,对输入多光谱遥感影像进行数据预处理,包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据获取匹配、配准、去云和影像噪声抑制。
本发明至少包括以下有益效果:
本发明首先基于分析型稀疏的理论框架,对MODIS图像进行超分辨率重建,重建结果作为中间图像。其次,本研究采用卷积神经网络的学习方法得到时空一体化的退化模型。利用中间数据和时空模型求出最后的融合结果,即根据Landsat传感器得到的T0时刻的Landsat图像,MODIS传感器得到的T0时刻的MODIS图像及T1时刻的MODIS的图像,得到T1时刻的Landsat图像。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的流程图;
图2为本发明所述分析稀疏耦合字典学习与时变信息映射机理图;
图3为本发明基于分析型稀疏表达的双模态时空融合技术路线示意图;
图4为本发明图像退化网络学习模型;
图5为本发明时变回归网络学习模型。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是,下述实施方案中所述实验方法,如无特殊说明,均为常规方法,所述试剂和材料,如无特殊说明,均可从商业途径获得;在本发明的描述中,术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1-5所示,本发明提供遥感时空信息融合方法,采用分析型稀疏表达的图像处理算法,结合卷积神经网络得到图像退化模型和时变信息,利用双模态的图像融合方法得到理想的融合图像,具体包括以下步骤:
S1,对输入多光谱遥感影像进行数据预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;
S2,基于步骤S1得到的t0和t1时刻的MODIS图像,采用双层架构结构的图像融合方法,对t0时刻的MODIS图像进行超分辨率重建,得到t0时刻的中间级图像;
S3,根据步骤S1得到的t0时刻的Landsat图像,t0时刻的MODIS图像以及t1时刻的MODIS的图像来构建数据稀疏分析耦合字典,并根据稀疏分析耦合字典通过稀疏分析耦合和时变信息映射的方法得到t1时刻的Landsat图像的稀疏分析字典;
S4,根据步骤S2得到的t0的中间级图像及步骤S3得到的t1时刻的Landsat图像的稀疏分析字典,采用双模态理论框架进行融合重建,得到t1时刻的Landsat图像。
在该种技术方案中,本发明专利主要是发明了一种在大分辨率差异条件下,高低分辨率图像之间对应的深层次分析稀疏特征,探索大分辨率差异图像的稀疏特征结构,实现多时相遥感影像的精准高效融合。总体技术结构如图1所示:
(1)对于输入的多光谱遥感影像,首先进行数据预处理,主要包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据匹配、配准、去云和影像噪声抑制;其次,提取影像的光谱特性、光谱梯度、结构特征、对应时间的纹理变化特征等多种光谱、空间域低层特征,此部分工作将基于已有的研究基础实现;
(2)基于上一步的预处理结果,为了减少由于分辨率巨大差异对融合结果的影响,采用双层架构结构的图像融合方法,即超分辨率的图像作为中间图像。
(3)为实现分析稀疏特征的有效融合,采用稀疏分析耦合字典的方法实现时变信息的融合。基于深度学习的方法实现时空一体化模型的重建。
(4)基于数据驱动的时空模型和耦合分析稀疏先验的遥感影像融合,采用分块处理并兼顾整体的优化求解方法。最后对重叠像素进行加权平均,得出最优的融合图像输出。
在对输入的遥感图像预处理特别是图像配准完成以后,选取MODIS遥感影像和Landsat影像对应时刻的数据为研究对象。研究任务是利用Landsat-MODIS图像在t1时刻的遥感图像对和MODIS影像在t2时刻的图像,预测Landsat图像在t2时刻的数据。鉴于此,本研究首先基于分析型稀疏的理论框架,对MODIS图像进行超分辨率重建,重建结果作为中间图像。其次,本研究采用卷积神经网络的学习方法得到时空一体化的退化模型。利用中间数据和时空模型求出最后的融合结果。
在另一种技术方案中,所述步骤S3具体包括:
S31,根据t0时刻的MODIS图像、及t0时刻的Landsat图像构建t0时刻的高分辨率和低分辨率图像的稀疏分析耦合字典Ω0和Ω’0
S32,根据图像时变的回归模型,及卷积神经网络学习得到的时变参数T,采用对经过稀疏耦合字典训练方法得到的Ω’0进行T参数变化的方法得到t1时刻的Ω’1
S33,联合稀疏分析模型假设,给定一类信号
Figure GDA0003302342720000051
存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs,用(Ωs)j表示分析矢量的第j个元素,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子
Figure GDA0003302342720000052
对进行联合稀疏表示;采用经过配准和对应的训练样本对进行稀疏分析字典学习;
S34,采用nM=nL=n,根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达;
Figure GDA0003302342720000053
S35,对所有的训练样本对采用式(2)进行期望求解;
Figure GDA0003302342720000054
同时,为了避免平凡解,增加如下两个式子的约束性条件,即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
根据公式(1)、(2)、(3)得到包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数;
Figure GDA0003302342720000061
将分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
Figure GDA0003302342720000062
采用基于流行面的共轭梯度的方法对公式(5)优化求解,得到在t1时刻的Landsat图像的稀疏分析字典。
在该种技术方案中,基于深度学习的思想深层次学习与挖掘遥感影像时变的本征变化关系以及高低分辨之间的退化关系。在本研究中,数据集里的每一个样本都通过时空特征的方式表示一个像素。并且每个传感器都经过辐射校正和归一化的预处理,同时为了处理的方便,在低分辨率图像的像素(MODIS图像)和高分辨率图像的每个像素(Landsat)之间的线性对应关系。
F(xi,yj,t0)=a*C(xi,yj,t0)+ε0 (7)
在这里,C和F分别表示某位置t0时刻高低分辨率图像,a表示空间变换系数组成的变换矩阵。ε0为退化残差和由于环境而引起的噪声污染。同理,同一传感器成像设备在不同时刻获得的图像,其变换矩阵是相同的,这一假设是合理的,因此可以给出式(8)在t1时刻高空间分辨率低时间分辨率图像和高时间分辨率低空间分辨率在同一地理位置(xi,yi)的空间信息的近似线性关系。
F(xi,yj,t1)=a*C(xi,yj,t1)+ε1 (8)
假设二者之间的残差是相同的,即有ε0=ε1。由式子(7)、(8)可知,预测的图像可以用式子(9)表示即;
C(xi,yj,t1)=a-1*[F(xi,yj,t1)-F(xi,yj,t0)]+C(xi,yj,t0) (9)
该式子也表示两个时刻,高低分辨率图像之间的线性关系。这也表示预测时刻的高空间分辨率的图像是由t0时刻的高分辨率图像和低分辨率图像在该时段的时相变化经过采样变换得到的。在绝大部分的遥感场景里,研究的对象只考虑对应场景的生物信息和地物覆盖类别,因此同一场景里基于时间的时相变化信息应该趋于相同。鉴于此,本研究建立起相同条件下的场景时相变化模型,如式(10)所示。
Figure GDA0003302342720000071
在这里,由于相同时间和相同场景的影像纯度是相同的,因此二者满足时间退化的基本机理。因此,可以建立起t0和t1时间的线性退化模型。同样的,这里的(xi,yi)表示给定像素的位置。T和ε表示在t0到t1时间内的相对时间变化的回归系数,在两种传感器成像的前提下应用相同的时间回归系数是合理的。
在这里变换参数a和时变回归参数的求解非常困难,为了得到比较稳定有效的模型退化关系,该项目研究拟基于卷积神经网络采用数据驱动的模型学习方法得到图像变换参数和时变回归参数。该部分具体的技术路线如图4-5所示。由图可知,该部分是由图像退化网络模型和时变回归学习模型两种学习网络组成。每种网络又由图像变换网络和特征映射网络两个部分组成,图像变换网络是一个参数重加权W的残差卷积神经网络组成。在模型退化网络里,卷积神经网络把输入的低分辨率图像通过映射函数y=aw(x);该代价函数用来计算一个标量值,来测量标记样本和训练样本之间的残差。类似地,在时变参数学习的网络模型里,采用W1为加权参数,网络函数
Figure GDA0003302342720000072
通过其对应的特征映射关系,计算出比较合理的回归参数。此处的两个图像变换网络的训练采用随机梯度下降的方法求解代价函数重加权的最小值。
在本研究任务里,遥感影像的图像分辨率由于巨大的差异,无法实现在稀疏结构上的一一对应。但是,对于同一个场景在随时间的退化过程中二者在地物的时相变化上时一一对应的。受到该理论的启发,本研究拟采用不同高低空间分辨率图像之间具有相同的时变稀疏信息为依据,构造其对应的稀疏分析耦合字典来建立其二者之间的联系。
从图中可以看出,在本项目研究中,首先基于t0时刻的MODIS-Landsat图像对构建高分辨率和低分辨率图像的稀疏分析耦合字典Ω0、和Ω’0。根据图像时变的回归模型,基于第一部分卷积神经网络学习得到的时变参数T,为得到t1时刻预测图像的分析字典,采用对经过稀疏耦合字典训练方法得到的Ω’0进行T参数变化的方法得到Ω’1
联合稀疏分析模型假设,给定一类信号
Figure GDA0003302342720000073
存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs。以代数几何的视角看,S是被归一化的子空间所包含的,s∈S存在于所有超平面的交点上,该超平面的法线方向由Ω所决定,即分析稀疏矢量Ωs中零元素对应的行的序号所决定。这个行序号的集合被称为s的联合支持集。
在这里,(Ωs)j表示分析矢量的第j个元素,在图像处理的应用中,S通常由矢量化的图像块组成。自然图像中的联合稀疏分析模型的显著例子是总变分算子(TV算子)。该模型假设由于相邻像素的差值得到分析矢量,即稀疏解析的结果。在本项目研究里,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL两个来自同一场景的不同传感器获得的不同模态的时变信号。为了更加精确的对信号进行表示,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子
Figure GDA0003302342720000081
对进行联合稀疏表示。基于信号结构信息都被预编码的先验知识,假设存在满足信号SM和SL的稀疏分析字典对的联合支持集是统计相关的。因此双模态联合稀疏分析模型成立是基于j属于SM条件下j属于SL的概率要比非条件下的概率大得多。从子空间角度来讲,每一个信号的子空间被划分成两种模态。按照这样的方式,划分得到了不仅有感兴趣信号的子空间,同时也和其他模态的信号相关联。在这里,为了得到联合学习的分析稀疏耦合字典对,本研究采用经过配准和对应的训练样本对进行稀疏分析字典学习。
为了简单起见,在本研究里,采用nM=nL=n。根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达。
Figure GDA0003302342720000082
通过上式可以发现,该式子是一个非严格约束的字典学习表达式。该函数是经过松弛的光滑函数可以促进互相关的表示。后期的实验也证明该模式不需要字典的高度冗余表示。为了找到理想的耦合字典对,对所有的训练样本对采用式(2)进行期望求解。
Figure GDA0003302342720000083
同时,为了避免平凡解,增加两个式子的约束性条件。即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数。
Figure GDA0003302342720000084
分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
Figure GDA0003302342720000085
该式子的优化求解采用基于流行面的共轭梯度的方法进行的。这样就可以得到在MODIS传感器和Landsat传感器的时变图像得到的稀疏耦合字典对。
在另一种技术方案中,所述步骤S4具体包括:
S41,将t1时刻的中间级的MODIS-Landsat图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,在t1时刻的分析稀疏系数为一个常数Ω1C(xi,yi,t1)=δ;
S42,t1时刻,在稀疏分析耦合字典的框架下,中间级的MODIS-Landsat图像对可以看做是同一物体的两个不同的模态;
S43,用
Figure GDA0003302342720000086
表示稀疏先验项,将遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
Figure GDA0003302342720000091
经过求解可以得到最终融合的结果,即t1时刻的Landsat图像;
其中,λ拉格朗日常数,C0表示C(xi,yi,t0),C1表示C(xi,yi,t1),F0表示F(xi,yi,t0)、F1表示F(xi,yi,t1)。
在该种技术方案中,即首先得到了MODIS影像数据经过超分辨率重建的中间级图像,其次是经过映射变换已经得到了预测时刻的稀疏分析字典,并且该字典是和中间级图像对应的稀疏字典是耦合的。即经过稀疏分析耦合和时变信息映射的方法得到的t1时刻的Landsat图像的稀疏分析字典Ω’1,是和tl时刻中间级MODIS图像对应稀疏分析字典Ω1相互耦合的。二者在数据结构方面具有相同的空间特性,对同一时刻的地物信息来讲具有相同的分析稀疏特性。也就是说,中间级MODIS图像和待求影像是同一个场景图像的两个不同的模态。因此可以采用图像的双模态理论框架进行融合重建。该部分的技术路线如图3所示。
该部分的技术路线如下:在这里,t1时刻的MODIS-Landsat(下面的MODIS图像都是指经过超分辨率重建的中间级MODIS图像)图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,二者具有相同的分析稀疏系数。两个不同传感器采集得到的同一目标在经过相同时间序列的变化特征是相同的。该变化特征如果经过解析能力相同或相近的稀疏分析字典,必然会得到一个近似的稀疏向量。在时间维度,借助于高时间分辨率低空间分辨率的MODIS遥感影像的地物空间特征信息反演Landsat遥感影像在待求时刻的空间信息变化关系。因此,在已知的Ω1和C(xi,yi,t1)的条件下,二者之间的乘积即在t1时刻的分析稀疏系数是一个常数即Ω1C(xi,yi,t1)=δ。
t1时刻,在稀疏分析耦合字典的框架下,MODIS-Landsat图像对可以看做是同一物体的两个不同的模态。结合式子(6),(为了书写的方便这里C(xi,yi,t0)C(xi,yi,t1)和F(xi,yi,t0)、F(xi,yi,t1)分别用C0、C1、F0和F1表示)用
Figure GDA0003302342720000092
表示稀疏先验项,是由稀疏耦合项构成。遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
Figure GDA0003302342720000093
这里的λ为拉格朗日常数,用来平衡两项的参数。经过求解可以得到最终融合的结果。
在另一种技术方案中,对输入多光谱遥感影像进行数据预处理,包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据获取匹配、配准、去云和影像噪声抑制。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (2)

1.一种遥感时空信息融合方法,其特征在于,采用分析型稀疏表达的图像处理算法,结合卷积神经网络得到图像退化模型和时变信息,利用双模态的图像融合方法得到理想的融合图像,具体包括以下步骤:
S1,对输入多光谱遥感影像进行数据预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;
S2,基于步骤S1得到的t0和t1时刻的MODIS图像,采用双层架构结构的图像融合方法,对t0时刻的MODIS图像进行超分辨率重建,得到t0时刻的中间级图像;
S3,根据步骤S1得到的t0时刻的Landsat图像,t0时刻的MODIS图像及以及t1时刻的MODIS的图像来构建数据稀疏分析耦合字典,并根据稀疏分析耦合字典通过稀疏分析耦合和时变信息映射的方法得到t1时刻的Landsat图像的稀疏分析字典;
S4,根据步骤S2得到的t0的中间级图像及步骤S3得到的t1时刻的Landsat图像的稀疏分析字典,采用双模态理论框架进行融合重建,得到t1时刻的Landsat图像;
所述步骤S3具体包括:
S31,根据t0时刻的MODIS图像、及t0时刻的Landsat图像构建t0时刻的高分辨率和低分辨率图像的稀疏分析耦合字典Ω0和Ω’0
S32,根据图像时变的回归模型,及卷积神经网络学习得到的时变参数T,采用对经过稀疏耦合字典训练方法得到的Ω’0进行T参数变化的方法得到t1时刻的Ω’1
S33,联合稀疏分析模型假设,给定一类信号
Figure FDA0003302342710000011
存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs,用(Ωs)j表示分析矢量的第j个元素,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL,假设一对模态(sM×sL)∈SM×SL,即这个信号对用近似的合适的分析算子
Figure FDA0003302342710000012
对进行联合稀疏表示;采用经过配准和对应的训练样本对进行稀疏分析字典学习;
S34,采用nM=nL=n,根据分析稀疏字典学习的真值表达式得到分析稀疏耦合字典学习的真值表达;
Figure FDA0003302342710000013
S35,对所有的训练样本对采用式(2)进行期望求解;
Figure FDA0003302342710000021
同时,为了避免平凡解,增加如下两个式子的约束性条件,即两个正则化的组合用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
根据公式(1)、(2)、(3)得到包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数;
Figure FDA0003302342710000022
将分析稀疏耦合字典的学习问题转化为如下的最小化问题:
Figure FDA0003302342710000023
采用基于流行面的共轭梯度的方法对公式(5)优化求解,得到在t1时刻的Landsat图像的稀疏分析字典;
所述步骤S4具体包括:
S41,将t1时刻的中间级的MODIS-Landsat图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,在t1时刻的分析稀疏系数为一个常数Ω1C(xi,yi,t1)=δ;
S42,t1时刻,在稀疏分析耦合字典的框架下,中间级的MODIS-Landsat图像对看做是同一物体的两个不同的模态;
S43,用
Figure FDA0003302342710000024
表示稀疏先验项,将遥感影像时空融合的非约束优化问题转化为下面的线性求解问题:
Figure FDA0003302342710000025
经过求解得到最终融合的结果,即t1时刻的Landsat图像;
其中,λ拉格朗日常数,C0表示C(xi,yi,t0),C1表示C(xi,yi,t1),F0表示F(xi,yi,t0)、F1表示F(xi,yi,t1)。
2.如权利要求1所述的遥感时空信息融合方法,其特征在于,对输入多光谱遥感影像进行数据预处理,包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据获取匹配、配准、去云和影像噪声抑制。
CN201810753766.5A 2018-07-10 2018-07-10 遥感时空信息融合方法 Active CN108932710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810753766.5A CN108932710B (zh) 2018-07-10 2018-07-10 遥感时空信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810753766.5A CN108932710B (zh) 2018-07-10 2018-07-10 遥感时空信息融合方法

Publications (2)

Publication Number Publication Date
CN108932710A CN108932710A (zh) 2018-12-04
CN108932710B true CN108932710B (zh) 2021-11-12

Family

ID=64447241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810753766.5A Active CN108932710B (zh) 2018-07-10 2018-07-10 遥感时空信息融合方法

Country Status (1)

Country Link
CN (1) CN108932710B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872278B (zh) * 2018-12-18 2020-11-10 深圳先进技术研究院 基于u形网络和生成对抗网络的图像云层移除方法
CN111898625A (zh) * 2020-04-24 2020-11-06 合肥湛达智能科技有限公司 一种基于嵌入式终端的双摄像头时空融合方法
CN111932457B (zh) * 2020-08-06 2023-06-06 北方工业大学 遥感影像高时空融合处理算法及装置
NL2026463B1 (en) * 2020-09-14 2022-05-12 Cosine Remote Sensing B V Method and tool to georeference, cross-calibrate and fuse remote sensed imagery
CN113012044A (zh) * 2021-02-19 2021-06-22 北京师范大学 一种基于深度学习的遥感影像时空融合方法及***
CN113222010B (zh) * 2021-05-10 2022-10-04 北京师范大学 一种融合地表反射率图像的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251320A (zh) * 2016-08-15 2016-12-21 西北大学 基于联合稀疏与结构字典的遥感图像融合方法
CN107203968A (zh) * 2017-05-25 2017-09-26 四川大学 基于改进的子空间追踪算法的单幅图像超分辨率重建方法
CN107818555A (zh) * 2017-10-27 2018-03-20 武汉大学 一种基于最大后验的多字典遥感图像时空融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9697584B1 (en) * 2015-12-26 2017-07-04 Intel Corporation Multi-stage image super-resolution with reference merging using personalized dictionaries

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251320A (zh) * 2016-08-15 2016-12-21 西北大学 基于联合稀疏与结构字典的遥感图像融合方法
CN107203968A (zh) * 2017-05-25 2017-09-26 四川大学 基于改进的子空间追踪算法的单幅图像超分辨率重建方法
CN107818555A (zh) * 2017-10-27 2018-03-20 武汉大学 一种基于最大后验的多字典遥感图像时空融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Spatiotemporal Fusion of MODIS and Landsat-7 Reflectance Images via Compressed Sensing;Jingbo Wei等;《IEEE Transactions on Geoscience and Remote Sensing》;20170913;第55卷(第12期);全文 *
基于稀疏表达的遥感影像的多时相融合;邓董建;《中国优秀硕士学位论文全文数据库基础科学辑》;20160115;全文 *
基于联合稀疏分析模型的遥感图像融合研究;韩昌;《万方学位论文数据库》;20180119;全文 *

Also Published As

Publication number Publication date
CN108932710A (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN108932710B (zh) 遥感时空信息融合方法
Yue et al. Image super-resolution: The techniques, applications, and future
Wang et al. Virtual image pair-based spatio-temporal fusion
Wang et al. Sparse representation-based MRI super-resolution reconstruction
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN108389226A (zh) 一种基于卷积神经网络和双目视差的无监督深度预测方法
Peng et al. Integrated fusion framework based on semicoupled sparse tensor factorization for spatio-temporal–spectral fusion of remote sensing images
CN111161199A (zh) 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法
Chakraborty et al. Optimization of non-rigid demons registration using cuckoo search algorithm
Wang et al. Enhanced image prior for unsupervised remoting sensing super-resolution
He et al. Multi-spectral remote sensing land-cover classification based on deep learning methods
Dou et al. Medical image super-resolution via minimum error regression model selection using random forest
Tan et al. A robust model for MODIS and Landsat image fusion considering input noise
Mukherjee et al. Downscaling MODIS spectral bands using deep learning
Zhu et al. Blind deblurring of remote-sensing single images based on feature alignment
Jian et al. A symmetric encoder-decoder with residual block for infrared and visible image fusion
Wang et al. A deep unfolding method for satellite super resolution
Chen et al. Spatiotemporal fusion for spectral remote sensing: A statistical analysis and review
Wang et al. Investigating the influence of registration errors on the patch-based spatio-temporal fusion method
Pang et al. Infrared and visible image fusion based on double fluid pyramids and multi-scale gradient residual block
Hou et al. RFSDAF: A new spatiotemporal fusion method robust to registration errors
CN108921116B (zh) 遥感影像时变信息提取方法
Sun et al. Coupled temporal variation information estimation and resolution enhancement for remote sensing spatial–temporal–spectral fusion
Zhang et al. Considering nonoverlapped bands construction: A general dictionary learning framework for hyperspectral and multispectral image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant