CN111507454B - 一种用于遥感影像融合的改进交叉皮质神经网络模型 - Google Patents

一种用于遥感影像融合的改进交叉皮质神经网络模型 Download PDF

Info

Publication number
CN111507454B
CN111507454B CN201910090285.5A CN201910090285A CN111507454B CN 111507454 B CN111507454 B CN 111507454B CN 201910090285 A CN201910090285 A CN 201910090285A CN 111507454 B CN111507454 B CN 111507454B
Authority
CN
China
Prior art keywords
image
neural network
network model
remote sensing
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910090285.5A
Other languages
English (en)
Other versions
CN111507454A (zh
Inventor
李小军
禄小敏
杨树文
闫浩文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN201910090285.5A priority Critical patent/CN111507454B/zh
Publication of CN111507454A publication Critical patent/CN111507454A/zh
Application granted granted Critical
Publication of CN111507454B publication Critical patent/CN111507454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

受光学传感器自身限制，拍摄的多高光谱影像在获取高的光谱分辨率的同时，不可避免的需要牺牲其空间分辨率。本发明提出一种改进交叉皮质神经网络模型，可将高空间分辨率细节信息融合注入多高光谱遥感影像，从而获得兼有高空间分辨率和光谱分辨率的融合影像。对比实验结果表明，本发明方法优于经典的遥感影像融合方法，同时具有较小的光谱扭曲和细节失真。

Description

一种用于遥感影像融合的改进交叉皮质神经网络模型
技术领域
本发明涉及遥感影像处理技术领域，特别是涉及一种多、高光谱遥感影像的融合方法。
背景技术
多光谱和高光谱遥感影像是进行遥感影像分类和解译的重要数据来源，但是由于传感器自身信噪比和通信下行链路的限制，在光学遥感传感器设计之初不得不在空间分辨率和光谱分辨率之间进行折中，这种折中使得丰富的光谱信息对复杂目标的解译和监测变得十分棘手，极大限制了多高光谱影像的实际应用，因此需要利用遥感影像融合技术对高空间分辨率影像和多高光谱影像进行融合，使融合结果同时具有高的空间分辨率和光谱分辨率。
经典的遥感影像融合算法有Gram-Schmidt融合方法、Brovey变换融合方法、主成分分析PCA融合方法及IHS融合方法等，本发明提出一种改进交叉皮质神经网络模型，并将其应用于多高光谱的遥感影像融合，相比传统的遥感影像融合方法，本算法在较好的融合高空间分辨率细节特征的同时，可极大减小融合结果中多高光谱影像的光谱扭曲。
发明内容
为弥补现有技术的不足，本发明目的是提供一种改进交叉皮质神经网络模型，解决多光谱、高光谱遥感影像的融合问题，融合后的影像能够同时具有高的空间分辨率和光谱分辨率，同时可较好保持空间细节特征，极大减少融合过程中的光谱扭曲。
为了实现上述目的，本发明提出一种改进交叉皮质神经网络模型，其神经元数学表达为：
Figure DEST_PATH_IMAGE002
Eij[n]＝gEij[n-1]+hYij[n-1]
Figure 825802DEST_PATH_IMAGE002
其中，ij表示当前神经元，kl表示邻域神经元，n为当前迭代次数，W和α分别为邻域连接强度矩阵和连接系数，S为多高光谱影像，D为高空间分辨率的细节影像，g和h分别为衰减系数和标准化常量，E为活动阈值，Y为输出脉冲，F表示输出融合结果，一旦在当前迭代中F ij 大于活动阈值E ij ，神经元ij被激发在第n次迭代中产生一个输出脉冲Y ij ，当神经网络中的所有神经元均被激发时获得最终的融合结果F。
为了适应遥感影像融合算法，遥感影像的每一个像素与本发明神经网络模型中的每个神经元一一对应，在利用神经网络模型对多高光谱和高空间分辨影像进行处理之前，需要对输入影像执行标准化操作，将它们的像素值标准化到[0,1] 之间，并对标准化后的影像执行直方图匹配操作，获得标准化后的多高光谱影像S和高空间分辨影像H，对高空间分辨影像H执行高斯平滑滤波获得平滑后的影像HL，其中高斯滤波器的分布参数σ为：
Figure 468171DEST_PATH_IMAGE004
其中，M为滤波器长度，R为多高光谱影像和高空间分辨影像之间的空间尺度比例因子，G为多高光谱影像传感器的调制传递函数，由此可以得到细节影像D=H-HL，在获得标准化后的多高光谱影像S和细节影像D后，将其作为改进交叉皮质神经网络模型输入进行迭代计算。
神经网络各变量初始值设置为，Y[0]=F[0]=0，E[0]=1，n=1；α计算如下：
Figure 871470DEST_PATH_IMAGE005
其中Std和Con分别表示标准差和协方差计算。
神经网络每迭代一次对当前迭代次数n执行加一操作，直到所有神经元均被激发获得输出F，对F执行逆标准化，即扩大F中像素值的取值范围得到一个多高光谱影像的融合结果，设多高光谱影像通道总数为K，则对这K个通道分别进行上述融合处理，可得到最终具有K个通道的的多高光谱影像与高空间分辨率影像的融合结果。
本发明的有益效果是：1.传统交叉皮质神经网络模型仅允许一个外部激励输入，本改进模型具有两个外部激励输入S和D，有益于将交叉皮质神经网络原理更方便的应用于影像融合；2.本发明的模型由于考虑了细节注入操作使其可应用于尺度有差异的遥感影像融合；3.使用本发明模型可更好的保持高空间分辨率影像的细节特征，同时可极大减小融合结果的光谱扭曲。
附图说明
图1为本发明的遥感影像融合方法流程图。
图2为本发明的改进交叉皮质神经网络模型结构图。
图3为本发明实施例的输入影像与融合结果。
具体实施方式
为了使本发明实现的技术手段、达成目的与效果易于理解，下面进一步阐述本发明。
本发明的遥感影像融合方法流程框图如图1所示，整体流程为首先对输入的高空间分辨率影像和多高光谱影像进行[0,1]区间的标准化处理；其次对标准化后的高空间分辨影像提取细节，将细节影像和高空间分辨影像作为输入送入本发明模型，其中，本发明的改进交叉皮质神经网络模型结构如图2所示，网络参数设置为邻域连接强度矩阵W=[0.5,1,0.5;1,0,1;0.5,1,0.5]，衰减系数g=0.65，标准化常量h=20。
神经元ij与图像像素一一对应，当神经网络中的所有神经元均被激发时获得最终的融合结果F，将多高光谱的K个通道分别执行上述操作，可获得最终K个独立通道融合结果。
输入的高空间分辨率灰度影像、多高光谱影像和融合结果分别如图3所示，其中，图3(a)为输入高空间分辨率全色灰度影像，图3(b) 为输入多高光谱影像，输入影像采集于Quickbird高分传感器，空间分辨率分别为0.7m和2.8m，图3(c) 为融合结果，由图3可见，本遥感融合方法同时获得了高的空间和高的光谱分辨率，且细节及光谱特征保持较好。
表1给出了本发明方法和其它Gram-Schmidt融合方法、Brovey变换融合方法、主成分分析PCA融合方法及IHS融合方法等经典遥感影像融合方法的评价对比结果，对比评价指标采用谱角匹配度SAM、相对全局误差ERGAS和Q索引指标，评价指标数学表达如下：
Figure 566631DEST_PATH_IMAGE006
Figure 258644DEST_PATH_IMAGE007
Figure 995656DEST_PATH_IMAGE008
其中，<>表示內积运算，RMSE代表均方根运算，σ和μ分别代表图像的协方差和均值，评价指标中谱角匹配度SAM是对遥感影像光谱失真的衡量，其值越小融合效果越好，相对全局误差ERGAS表示融合结果与高空间分辨率影像之间的细节失真度，其值越小融合效果越好，Q索引指标是对融合影像光谱扭曲和空间细节保持的综合评价，其值越大融合质量越好。
由表1的评价指标计算结果可以看出本发明方法的Q索引指标均高于其它经典的Gram-Schmidt融合方法、Brovey变换融合方法、主成分分析PCA融合方法及IHS融合方法等，同时本发明方法光谱扭曲度指标SAM和细节失真度指标ERGAS均小于其它经典算法，可见本发明方法在光谱扭曲和空间细节的保持上均极大优于经典方法。
Figure 456724DEST_PATH_IMAGE009

Claims (2)

1.一种用于遥感影像融合的改进交叉皮质神经网络模型的构建方法，其特征在于，所述改进交叉皮质神经网络模型具体为：
Figure FDA0003693097040000011
Eij[n]＝gEij[n-1]+hYij[n-1]
Figure FDA0003693097040000012
其中，ij表示当前神经元，kl表示邻域神经元，n为当前迭代次数，W和α分别为邻域连接强度矩阵和连接系数，S为多高光谱影像，D为高空间分辨率的细节影像，g和h分别为衰减系数和标准化常量，E为活动阈值，Y为输出脉冲，F表示输出融合结果。
2.一种用于遥感影像融合的改进交叉皮质神经网络模型的应用方法，其特征在于，包括以下步骤：
步骤1：对输入多高光谱影像和高空间分辨率影像标准化到[0，1]之间，并执行直方图匹配操作，获得Sk，其中k＝1，…，K为光谱通道编号；
步骤2：对高空间分辨率影像执行满足调制传递函数的高斯低通滤波，获得细节影像D；
步骤3：对每个k通道均执行权利要求1所述的改进交叉皮质神经网络模型，直到所有神经元均被激发，获得输出Fk；
步骤4：对输出Fk像素值执行逆标准化获得最终融合结果。
CN201910090285.5A 2019-01-30 2019-01-30 一种用于遥感影像融合的改进交叉皮质神经网络模型 Active CN111507454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910090285.5A CN111507454B (zh) 2019-01-30 2019-01-30 一种用于遥感影像融合的改进交叉皮质神经网络模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910090285.5A CN111507454B (zh) 2019-01-30 2019-01-30 一种用于遥感影像融合的改进交叉皮质神经网络模型

Publications (2)

Publication Number Publication Date
CN111507454A CN111507454A (zh) 2020-08-07
CN111507454B true CN111507454B (zh) 2022-09-06

Family

ID=71863783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910090285.5A Active CN111507454B (zh) 2019-01-30 2019-01-30 一种用于遥感影像融合的改进交叉皮质神经网络模型

Country Status (1)

Country Link
CN (1) CN111507454B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489111A (zh) * 2003-08-21 2004-04-14 上海交通大学 基于局部统计特性和彩色空间变换的遥感影像融合方法
CN101577003A (zh) * 2009-06-05 2009-11-11 北京航空航天大学 一种基于改进交叉视觉皮质模型的图像分割方法
JP2011090309A (ja) * 2009-10-23 2011-05-06 Ana-Aeroportos De Portugal Sa 衛星搭載プラットフォーム内に位置された合成開口レーダを使用した干渉計測データと遠隔センサにより獲得された他の形式のデータとのデータ融合に基づいて空港障害物図を生成する方法
CN102651132A (zh) * 2012-04-06 2012-08-29 华中科技大学 一种基于交叉视觉皮质模型的医学图像配准方法
CN103049898A (zh) * 2013-01-27 2013-04-17 西安电子科技大学 带有薄云的多光谱和全色图像融合方法
CN103177431A (zh) * 2012-12-26 2013-06-26 中国科学院遥感与数字地球研究所 一种多源遥感数据时空融合方法
CN103295201A (zh) * 2013-05-31 2013-09-11 中国人民武装警察部队工程大学 一种基于nsst域iicm的多传感器图像融合方法
CN103700075A (zh) * 2013-12-25 2014-04-02 浙江师范大学 基于Tetrolet变换的多通道卫星云图融合方法
WO2014183259A1 (zh) * 2013-05-14 2014-11-20 中国科学院自动化研究所 一种全色−多光谱遥感图像融合方法
CN105160647A (zh) * 2015-10-28 2015-12-16 中国地质大学（武汉） 一种全色多光谱影像融合方法
CN105913075A (zh) * 2016-04-05 2016-08-31 浙江工业大学 一种基于脉冲耦合神经网络的内窥图像中病灶识别方法
CN107341501A (zh) * 2017-05-31 2017-11-10 三峡大学 一种基于pcnn和分级聚焦技术的图像融合方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489111A (zh) * 2003-08-21 2004-04-14 上海交通大学 基于局部统计特性和彩色空间变换的遥感影像融合方法
CN101577003A (zh) * 2009-06-05 2009-11-11 北京航空航天大学 一种基于改进交叉视觉皮质模型的图像分割方法
JP2011090309A (ja) * 2009-10-23 2011-05-06 Ana-Aeroportos De Portugal Sa 衛星搭載プラットフォーム内に位置された合成開口レーダを使用した干渉計測データと遠隔センサにより獲得された他の形式のデータとのデータ融合に基づいて空港障害物図を生成する方法
CN102651132A (zh) * 2012-04-06 2012-08-29 华中科技大学 一种基于交叉视觉皮质模型的医学图像配准方法
CN103177431A (zh) * 2012-12-26 2013-06-26 中国科学院遥感与数字地球研究所 一种多源遥感数据时空融合方法
CN103049898A (zh) * 2013-01-27 2013-04-17 西安电子科技大学 带有薄云的多光谱和全色图像融合方法
WO2014183259A1 (zh) * 2013-05-14 2014-11-20 中国科学院自动化研究所 一种全色−多光谱遥感图像融合方法
CN103295201A (zh) * 2013-05-31 2013-09-11 中国人民武装警察部队工程大学 一种基于nsst域iicm的多传感器图像融合方法
CN103700075A (zh) * 2013-12-25 2014-04-02 浙江师范大学 基于Tetrolet变换的多通道卫星云图融合方法
CN105160647A (zh) * 2015-10-28 2015-12-16 中国地质大学（武汉） 一种全色多光谱影像融合方法
CN105913075A (zh) * 2016-04-05 2016-08-31 浙江工业大学 一种基于脉冲耦合神经网络的内窥图像中病灶识别方法
CN107341501A (zh) * 2017-05-31 2017-11-10 三峡大学 一种基于pcnn和分级聚焦技术的图像融合方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Hong Li 等.Fusion of Multispectral and Panchromatic Images via Local Geometrical Similarity.《Technical Gazette 》.2018,第25卷(第2期), *
Ulf Ekblad 等.Theoretical foundation of the intersecting cortical model and its use for change detection of aircraft, cars, and nuclear explosion tests.《Signal Processing》.2004, *
Xin Jin 等.Remote sensing image fusion method in CIELab color space using nonsubsampled shearlet transform and pulse coupled neural networks.《Journal of Applied Remote Sensing》.2016, *
戴文战 等.改进交叉视觉皮质模型的医学图像融合方法.《计算机应用研究》.2015,第33卷(第9期), *
王密 等.自适应高斯滤波与SFIM 模型相结合的全色多光谱影像融合方法.《测绘学报》.2018,第47卷(第1期), *

Also Published As

Publication number Publication date
CN111507454A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
Wang et al. Dnu: Deep non-local unrolling for computational spectral imaging
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN112287978A (zh) 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN104851077B (zh) 一种自适应的遥感图像全色锐化方法
CN108288256B (zh) 一种多光谱马赛克图像复原方法
CN107491793B (zh) 一种基于稀疏散射全卷积的极化sar图像分类方法
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法
Lin et al. Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN110060225B (zh) 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法
Kwasniewska et al. Super-resolved thermal imagery for high-accuracy facial areas detection and analysis
CN107680081B (zh) 基于卷积神经网络的高光谱图像解混方法
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及***
CN114998167A (zh) 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法
CN111160392A (zh) 一种基于小波宽度学习***的高光谱分类方法
CN109271874B (zh) 一种融合空间和光谱信息的高光谱图像特征提取方法
Xiong et al. Gradient boosting for single image super-resolution
CN111507454B (zh) 一种用于遥感影像融合的改进交叉皮质神经网络模型
Huang et al. MAGAN: Multiattention generative adversarial network for infrared and visible image fusion
CN111598115B (zh) 一种基于交叉皮质神经网络模型的sar影像融合方法
CN109543717B (zh) 基于自适应邻域及字典的联合协作表达高光谱分类方法
Zheng et al. Deep residual spatial attention network for hyperspectral pansharpening
CN113298232B (zh) 一种基于深度学习神经网络的红外光谱盲自去卷积方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant