CN117036987B - 一种基于小波域交叉配对的遥感影像时空融合方法及*** - Google Patents
一种基于小波域交叉配对的遥感影像时空融合方法及*** Download PDFInfo
- Publication number
- CN117036987B CN117036987B CN202311304694.3A CN202311304694A CN117036987B CN 117036987 B CN117036987 B CN 117036987B CN 202311304694 A CN202311304694 A CN 202311304694A CN 117036987 B CN117036987 B CN 117036987B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- resolution remote
- network
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000011158 quantitative evaluation Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 2
- 239000002131 composite material Substances 0.000 abstract 1
- 238000011161 development Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于小波域交叉配对的遥感影像时空融合方法及***，筛选待融合的数据，对预处理后的高、低分辨率遥感影像进行分组，将数据分为训练数据集、测试数据集和验证数据集；构建小波域交叉配对遥感影像时空融合网络；构造复合损失函数，使用Adam优化算法优化更新网络参数，经多次训练后实现网络收敛；测试数据集预测与评估，若相关评价指标可达主流模型精度且目视效果较好，证明网络模型在该数据集区域上具备稳定性，则可在该数据集区域内进行时空融合。本发明实现仅用两张输入影像就能达到主流融合模型精度和效果，在保证融合精度的前提下，解决了目前大多时空融合影像都至少需要三幅输入影像的问题，具有较强的实用性和发展前景。
Description
技术领域
本发明属于遥感影像处理技术领域，具体涉及一种基于小波域交叉配对的遥感影像时空融合方法及***。
背景技术
遥感影像时序分析在许多应用中是十分必要的，如作物监测和评估、蒸散估算、大气监测、土地覆盖变化检测、生态***监测等。密集时间序列遥感影像有助于捕捉地面变化，且较高空间分辨率能够体现细节（例如地表的纹理和结构）。因此，具有高时空分辨率的对地观测数据对于遥感应用是至关重要的。然而，传感器的时间分辨率和空间分辨率存在相互制约的关系，高空间分辨率遥感影像的幅宽较小，重访周期较长，即时间分辨率较低；低空间分辨率遥感影像的幅宽较大，重访周期较短，即时间分辨率较高。这意味着由于技术的限制，没有传感器能够提供高空间分辨率的时间密集影像序列，因此会对多时相遥感影像序列分析造成困难。
遥感影像时空融合是从“软件”的角度出发，低成本、便捷高效地解决卫星传感器空间与时间分辨率“矛盾”的有效手段，有助于提升多源遥感数据在各领域中的应用潜力。影像时空融合旨在利用已知的“时相密集”的低空间分辨率遥感影像序列和与之时间点对应的“时相稀疏”高空间分辨率遥感影像序列，融合生成与低空间分辨率遥感影像序列相对应的“时相密集”的高空间分辨率遥感影像序列，也就是同时具有最高时间分辨率和最高空间分辨率的影像序列。
在现有的各种融合算法中，传统的方法中往往存在一些限制，如不适用于高度异构的区域、不适用于地表覆盖类型发生变化的区域、算法不稳定等。而基于深度学习的模型则具有较高的融合精度和稳定性，具有更广阔的应用前景。现有的时空融合网络大多至少需要三张（一个参考日期的高低分辨率遥感影像对和一张预测日期的低分辨率遥感影像）甚至五张输入影像（两个参考日期的高低分辨率遥感影像对和一张预测日期的低分辨率遥感影像）才能获得较好的预测结果，忽略了由于恶劣的天气或数据缺失而很难收集合适影像对的事实。因此如何用更少的输入影像获得较好的预测结果仍是时空融合领域的一大挑战。
发明内容
针对现有技术的不足，本发明提供一种基于小波域交叉配对的遥感影像时空融合方法及***，实现仅用两张输入影像就能达到主流融合模型精度和效果，解决了目前大多时空融合影像都至少需要三幅输入影像的问题。
为了实现上述目的，本发明提供一种基于小波域交叉配对的遥感影像时空融合方法，包括以下步骤：
步骤1，对高、低分辨率遥感影像数据进行预处理，获取待融合的高、低分辨率遥感影像；
步骤2，对预处理后的高、低分辨率遥感影像进行分组，并将数据分为训练数据集、测试数据集和验证数据集；
步骤3，构建小波域交叉配对遥感影像时空融合网络；
步骤4，利用训练数据集对步骤3搭建好的时空融合网络进行训练，使用Adam优化算法对网络参数进行优化和更新，采用验证样本数据集进行验证，经多次训练后实现网络收敛，获得训练好的网络模型；
步骤5，将测试数据集输入到步骤4训练好的网络模型，获得测试数据的预测高分辨率遥感影像，通过对预测高分辨率遥感影像进行定量评价和定性评价，测试网络模型在该数据集区域的可用性；
步骤6，使用步骤5验证可用的网络模型得到该数据集区域多幅预测日期的高分辨率遥感影像，构成高分辨率时间密集遥感影像序列。
而且，所述步骤1中选取同一区域的高、低分辨率遥感影像构建数据集，剔除云覆盖率和空值像素量大于一定比例的影像，并进行辐射校准、几何校正、大气校正，将校正后的高分辨率遥感影像四角空白区域裁剪掉，将低分辨率遥感影像重投影到高分辨率遥感影像的坐标系中，并裁剪出与高分辨率遥感影像重合的区域，然后对裁剪出的低分辨率遥感影像数据进行重采样，使其和裁剪后的高分辨率遥感影像尺寸相同。
而且，所述步骤2中对预处理后的高、低分辨率遥感影像进行分组，一组数据包括一张参考日期的高分辨率遥感影像和一对预测日期的高、低分辨率遥感影像，参考日期和预测日期为剔除不合格数据后的相邻时相，其中参考日期的高分辨率遥感影像和预测日期的低分辨率遥感影像将作为模型的输入，预测日期的高分辨率遥感影像则作为模型的约束，并将数据集分为训练数据集、测试数据集和验证数据集。
而且，所述步骤3中小波域交叉配对遥感影像时空融合网络包括小波变换层、参考特征提取网络、变化特征提取网络、小波逆变换层和重构网络。小波变换层分别对参考日期高分辨率遥感影像、参考日期高分辨率遥感影像与预测日期低分辨率遥感影像的差值进行哈尔小波变换，然后将两者小波变换后得到的四个特征系数分别输入到参考特征提取网络和变化特征提取网络进行特征提取。参考特征提取网络和变化特征提取网络的输入不同但结构相同，均包含三层网络，每层网络由卷积层和修正线性单元层组成。小波逆变换层将参考特征提取网络和变化特征提取网络输出的四个特征系数对应相加，并进行小波逆变换，获得预测特征输入到重构网络，最终得到预测日期的预测高分辨率遥感影像。重构网络包含三层网络，每层网络由卷积层和修正线性单元层组成。
而且，所述步骤4中将训练数据集中参考日期的高分辨率遥感影像和预测日期的低分辨率遥感影像输入到步骤3搭建好的时空融合网络中，得到预测日期的预测高分辨率遥感影像，计算预测日期的真实高分辨率遥感影像和预测高分辨率遥感影像之间的损失函数，损失函数由小波损失、特征损失/>和视觉损失/>三部分构成，具体计算公式如下：
其中：
小波损失由预测高分辨率遥感影像的小波系数和真实高分辨率遥感影像的小波系数之间的平均绝对误差计算，其公式如下：
式中，、/>、/>和/>代表预测高分辨率遥感影像的小波分解后的四个系数，、/>、/>和/>代表对应真实高分辨率遥感影像小波分解后的四个系数，N代表小波分解后系数的像元总数，/>表示取绝对值；
特征损失通过预训练模型计算，预训练模型为编码-解码结构，其编码器从高分辨率遥感影像提取特征，解码器则将特征恢复到像素空间，利用此预训练模型，计算公式如下：
式中，和/>分别代表通过预训练模型提取的预测高分辨率遥感影像特征和对应的实际高分辨率遥感影像特征，N代表小波分解后系数的像元总数，/>表示取绝对值；
视觉损失通过多尺度结构相似性计算，公式如下：
式中，表示预测影像与参考影像的平均结构相似性。
使用Adam优化算法对网络参数进行优化和更新，模型训练和精度验证同时进行，利用验证样本数据集对模型每次训练的精度进行评价，依据验证集的评价精度调整网络模型参数，并记录每次训练网络模型的预测精度，根据模型的预测精度选取最佳的网络参数模型。
而且，所述步骤5中对得到的预测日期的预测高分辨率遥感影像进行定量评价，可采用均方根误差RMSE、结构相似性SSIM、线性相关系数CC、光谱角制图SAM等指标来全面评估融合影像的纹理细节保持度和光谱保持度。对得到的预测高分辨率遥感影像进行定性评价，可以通过放大影像查看目视效果，或通过对影像进行地表覆盖分类、计算NDVI等操作来评估融合结果的应用价值。若测试数据集预测结果的定量评价和定性评价都能达到主流模型效果，则证明模型在该区域具有适用性和稳定性，可实现在该数据集区域的时空融合。
本发明还提供一种基于小波域交叉配对的遥感影像时空融合***，用于实现如上所述的一种基于小波域交叉配对的遥感影像时空融合方法。
而且，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如上所述的一种基于小波域交叉配对的遥感影像时空融合方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于小波域交叉配对的遥感影像时空融合方法。
与现有技术相比，本发明具有如下优点：
本发明将小波变换引入时空融合领域，构建小波域交叉配对遥感影像时空融合网络，通过分别训练不同层次的特征，更好地提取影像的细节纹理和全局信息，并且在损失函数中加入小波损失，促进空间细节的保持，从而实现仅用两张输入影像就能达到主流融合模型精度和效果，解决了目前大多时空融合影像都至少需要三幅输入影像的问题，达到了以更少的输入影像达到较好的融合效果的目的。
附图说明
图1为本发明实施例小波域交叉配对遥感影像时空融合方法的流程图。
图2为本发明实施例小波域交叉配对遥感影像时空融合网络的结构框架图。
图3为本发明所提方法得到的不同时相的融合结果图与真实高分辨率遥感影像的对比。
具体实施方式
本发明提供一种基于小波域交叉配对的遥感影像时空融合方法及***，下面结合附图对本发明的技术方案作进一步说明。
实施例1
如图1所示，本发明实施例提供一种基于小波域交叉配对的遥感影像时空融合方法，包括以下几个步骤：
步骤1，筛选待融合的数据，剔除不适合进行时空融合的数据。
选取同一区域的高、低分辨率遥感影像构建数据集，本实施例中对高分辨率数据源和低分辨率数据源均丢弃云覆盖率大于5%的影像和“无数据”像素量大于1%的影像。
步骤2，对高、低分辨率遥感影像数据进行预处理，包括进行辐射校准、几何校正、大气校正、重投影、重采样和裁剪等，获取待融合的高、低分辨率遥感影像。
对过滤后的高、低分辨率遥感影像数据进行辐射校准、几何校正、大气校正。若数据源为二级产品，辐射校准、几何校正、大气校正在数据发布时就已经完成，则可以省略。将校正后的高分辨率遥感影像四角空白区域裁剪掉，将低分辨率遥感影像重投影到高分辨率遥感影像的坐标系中，并裁剪出与高分辨率遥感影像重合的区域，然后对裁剪出的低分辨率遥感影像数据进行重采样，使其和裁剪后的高分辨率遥感影像尺寸相同。
步骤3，对预处理后的高、低分辨率遥感影像进行分组，并将数据分为训练数据集、测试数据集和验证数据集。
对预处理后的高、低分辨率遥感影像进行分组。一组数据包括一张参考日期的高分辨率遥感影像和一对预测日期的高、低分辨率遥感影像，参考日期和预测日期为剔除不合格数据后的相邻时相，其中参考日期的高分辨率遥感影像和预测日期的低分辨率遥感影像将作为模型的输入，预测日期的高分辨率遥感影像则作为模型的约束。本实施例中将数据集分为60%的训练样本数据集，20%的测试样本数据集和20%的验证样本数据集。
步骤4，构建小波域交叉配对遥感影像时空融合网络。
如图2所示，小波域交叉配对遥感影像时空融合网络包括小波变换层、参考特征提取网络、变化特征提取网络、小波逆变换层和重构网络。小波变换层分别对参考日期高分辨率遥感影像、参考日期高分辨率遥感影像与预测日期低分辨率遥感影像的差值进行哈尔小波变换，然后将两者小波变换后得到的四个特征系数分别输入到参考特征提取网络和变化特征提取网络进行特征提取。参考特征提取网络和变化特征提取网络的输入不同但结构相同，均包含三层网络，每层网络由卷积层和修正线性单元层组成，本实施例中卷积层的卷积核大小为，步幅为1。小波逆变换层将参考特征提取网络得到的参考日期高分辨率遥感影像的四个特征系数和变化特征提取网络得到的变化信息的四个特征系数对应相加，并进行小波逆变换，获得预测特征输入到重构网络，最终得到预测日期的高分辨率遥感影像。重构网络包含三层网络，每层网络由卷积层和修正线性单元层组成，本实施例中前两层的卷积核大小为/>，后一层的卷积核大小为/>，起到线性变换的作用，步幅均为1。
步骤5，将训练数据集批量输入步骤4搭建好的时空融合网络中，以数据集中参考日期的高分辨率遥感影像和预测日期的低分辨率遥感影像为输入，以预测日期的高分辨率遥感影像为指导，使用Adam优化算法对网络参数进行优化和更新，采用验证样本数据集进行验证，经多次训练后实现网络收敛，获得训练好的网络模型。
将训练样本数据输入步骤4搭建好的时空融合网络中，得到预测日期的预测高分辨率遥感影像。计算预测日期的真实高分辨率遥感影像和预测高分辨率遥感影像之间的损失函数，损失函数由小波损失、特征损失/>和视觉损失/>三部分构成，具体计算公式如下：
其中：
小波损失由预测高分辨率遥感影像的小波系数和真实高分辨率遥感影像的小波系数之间的平均绝对误差计算，其公式如下：
式中，、/>、/>和/>代表预测高分辨率遥感影像的小波分解后的四个系数，、/>、/>和/>代表对应真实高分辨率遥感影像小波分解后的四个系数，N代表小波分解后系数的像元总数，/>表示取绝对值。
特征损失通过预训练模型计算，预训练模型为编码-解码结构，其编码器从高分辨率遥感影像提取特征，解码器则将特征恢复到像素空间，利用此预训练模型，计算公式如下：
式中，和/>分别代表通过预训练模型提取的预测高分辨率遥感影像特征和对应的实际高分辨率遥感影像特征，N代表小波分解后系数的像元总数，/>表示取绝对值。
视觉损失通过多尺度结构相似性计算，公式如下：
式中，表示预测影像与参考影像的平均结构相似性。
使用Adam优化算法对可学习的参数如权重和偏置等进行优化和更新，模型训练和精度验证同时进行，利用验证样本数据集对模型每次训练的精度进行评价，依据验证集的评价精度调整网络模型参数，并记录每次训练网络模型的预测精度，根据模型的预测精度选取最佳的网络参数模型。
步骤6，将测试数据集输入到步骤5训练好的网络模型，获得测试数据的预测高分辨率遥感影像，通过对预测高分辨率遥感影像进行定量评价和定性评价，测试网络模型在该数据集区域的可用性。
基于步骤5训练好的网络模型，输入测试数据集，获得测试数据的预测日期的预测高分辨率遥感影像，并对得到的预测高分辨率遥感影像进行定量和定性评价。目前，还没有国际公认的标准可以唯一地衡量融合影像的质量，不同的指标都有它的局限性，只能揭示融合影像质量的某些方面。一般可采用均方根误差RMSE、结构相似性SSIM、线性相关系数CC、光谱角制图SAM等指标来全面评估融合影像的纹理细节保持度和光谱保持度。对得到的预测高分辨率遥感影像进行定性评价，可以通过放大影像查看目视效果，或通过对影像进行地表覆盖分类、计算NDVI等操作来评估融合结果的应用价值。若测试数据集预测结果的定量评价和定性评价都能达到主流模型效果，则证明模型在该区域具有适用性和稳定性，可实现在该数据集区域的时空融合。
步骤7，使用步骤6验证可用的网络模型得到该数据集区域多幅预测日期的高分辨率遥感影像，构成高分辨率时间密集遥感影像序列。
使用时空融合经典的CIA数据集，与STARFM、FSDAF、EDCSTFN、GANSTFM四种方法进行对比实验，以验证本发明所提方法的效果。使用均方根误差RMSE、结构相似性SSIM、线性相关系数CC、光谱角制图SAM四个指标进行精度评价，结果如表1所示，本发明所提方法获得的融合结果可以超越现有的唯一的仅需两张输入影像的时空融合方法（GANSTFM），并且能够达到使用三张输入影像的主流时空融合方法的精度（STARFM、FSDAF、EDCSTFN）。
表1本发明所提方法与其他四种方法的精度对比
图3是使用本发明所提方法得到的多张不同时相的融合结果图与真实的高分辨率遥感影像的对比图。由图3可以看出，本发明所提方法得到的多张不同时相的融合结果图与真实的高分辨率遥感影像非常接近。
实施例2
基于同一发明构思，本发明还提供一种基于小波域交叉配对的遥感影像时空融合***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如上所述的一种基于小波域交叉配对的遥感影像时空融合方法。
实施例3
基于同一发明构思，本发明还提供一种基于小波域交叉配对的遥感影像时空融合***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于小波域交叉配对的遥感影像时空融合方法。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例，做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于小波域交叉配对的遥感影像时空融合方法，其特征在于，包括以下步骤：
步骤1，对高、低分辨率遥感影像数据进行预处理，获取待融合的高、低分辨率遥感影像；
步骤2，对预处理后的高、低分辨率遥感影像进行分组，并将数据分为训练数据集、测试数据集和验证数据集；
步骤3，构建小波域交叉配对遥感影像时空融合网络；
小波域交叉配对遥感影像时空融合网络包括小波变换层、参考特征提取网络、变化特征提取网络、小波逆变换层和重构网络；小波变换层分别对参考日期高分辨率遥感影像、参考日期高分辨率遥感影像与预测日期低分辨率遥感影像的差值进行哈尔小波变换，然后将两者小波变换后得到的四个特征系数分别输入到参考特征提取网络和变化特征提取网络进行特征提取，小波逆变换层将参考特征提取网络和变化特征提取网络输出的四个特征系数对应相加，并进行小波逆变换，获得预测特征输入到重构网络，最终得到预测日期的预测高分辨率遥感影像；
步骤4，利用训练数据集对步骤3搭建好的时空融合网络进行训练，使用Adam优化算法对网络参数进行优化和更新，采用验证样本数据集进行验证，经多次训练后实现网络收敛，获得训练好的网络模型；
将训练数据集中参考日期的高分辨率遥感影像和预测日期的低分辨率遥感影像输入到步骤3搭建好的时空融合网络中，得到预测日期的预测高分辨率遥感影像，计算预测日期的真实高分辨率遥感影像和预测高分辨率遥感影像之间的损失函数，使用Adam优化算法对网络参数进行优化和更新，模型训练和精度验证同时进行，利用验证样本数据集对模型每次训练的精度进行评价，依据验证集的评价精度调整网络模型参数，并记录每次训练网络模型的预测精度，根据模型的预测精度选取最佳的网络参数模型；
损失函数由小波损失 、特征损失/>和视觉损失/>三部分构成，具体计算公式如下：
其中：
小波损失由预测高分辨率遥感影像的小波系数和真实高分辨率遥感影像的小波系数之间的平均绝对误差计算，其公式如下：
式中，、/>、/>和/>代表预测高分辨率遥感影像的小波分解后的四个系数，/>、、/>和/>代表对应真实高分辨率遥感影像小波分解后的四个系数，N代表小波分解后系数的像元总数，/>表示取绝对值；
特征损失通过预训练模型计算，预训练模型为编码-解码结构，其编码器从高分辨率遥感影像提取特征，解码器则将特征恢复到像素空间，利用此预训练模型，/>计算公式如下：
式中，和/>分别代表通过预训练模型提取的预测高分辨率遥感影像特征和对应的实际高分辨率遥感影像特征，N代表小波分解后系数的像元总数，/>表示取绝对值；
视觉损失通过多尺度结构相似性计算，公式如下：
式中，表示预测影像与参考影像的平均结构相似性；
步骤5，将测试数据集输入到步骤4训练好的网络模型，获得测试数据的预测高分辨率遥感影像，通过对预测高分辨率遥感影像进行定量评价和定性评价，测试网络模型在该数据集区域的可用性；
步骤6，使用步骤5验证可用的网络模型得到该数据集区域多幅预测日期的高分辨率遥感影像，构成高分辨率时间密集遥感影像序列。
2.如权利要求1所述的一种基于小波域交叉配对的遥感影像时空融合方法，其特征在于：步骤1中选取同一区域的高、低分辨率遥感影像构建数据集，剔除云覆盖率大于的影像和空值像素量大于/>的影像，并进行辐射校准、几何校正、大气校正，将校正后的高分辨率遥感影像四角空白区域裁剪掉，将低分辨率遥感影像重投影到高分辨率遥感影像的坐标系中，并裁剪出与高分辨率遥感影像重合的区域，然后对裁剪出的低分辨率遥感影像数据进行重采样，使其和裁剪后的高分辨率遥感影像尺寸相同，/>、/>为设定的阈值。
3.如权利要求1所述的一种基于小波域交叉配对的遥感影像时空融合方法，其特征在于：步骤2中对预处理后的高、低分辨率遥感影像进行分组，一组数据包括一张参考日期的高分辨率遥感影像和一对预测日期的高、低分辨率遥感影像，参考日期和预测日期为剔除不合格数据后的相邻时相，其中参考日期的高分辨率遥感影像和预测日期的低分辨率遥感影像将作为模型的输入，预测日期的高分辨率遥感影像则作为模型的约束，并将数据集分为训练数据集、测试数据集和验证数据集。
4.如权利要求1所述的一种基于小波域交叉配对的遥感影像时空融合方法，其特征在于：步骤3中参考特征提取网络和变化特征提取网络的输入不同但结构相同，均包含三层网络，每层网络由卷积层和修正线性单元层组成，重构网络包含三层网络，每层网络由卷积层和修正线性单元层组成。
5.如权利要求1所述的一种基于小波域交叉配对的遥感影像时空融合方法，其特征在于：步骤5中对得到的预测日期的预测高分辨率遥感影像进行定量评价指，采用均方根误差RMSE、结构相似性SSIM、线性相关系数CC、光谱角制图SAM来全面评估融合影像的纹理细节保持度和光谱保持度；对得到的预测高分辨率遥感影像进行定性评价指，通过放大影像查看目视效果，或者通过对影像进行地表覆盖分类，或者计算NDVI评估融合结果的应用价值；若测试数据集预测结果的定量评价和定性评价都能达到主流模型效果，则证明模型在该区域具有适用性和稳定性，可实现在该数据集区域的时空融合。
6.一种基于小波域交叉配对的遥感影像时空融合***，其特征在于，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-5任一项所述的一种基于小波域交叉配对的遥感影像时空融合方法。
7.一种基于小波域交叉配对的遥感影像时空融合***，其特征在于，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-5任一项所述的一种基于小波域交叉配对的遥感影像时空融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311304694.3A CN117036987B (zh) | 2023-10-10 | 2023-10-10 | 一种基于小波域交叉配对的遥感影像时空融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311304694.3A CN117036987B (zh) | 2023-10-10 | 2023-10-10 | 一种基于小波域交叉配对的遥感影像时空融合方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036987A CN117036987A (zh) | 2023-11-10 |
| CN117036987B true CN117036987B (zh) | 2023-12-08 |
Family
ID=88643464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311304694.3A Active CN117036987B (zh) | 2023-10-10 | 2023-10-10 | 一种基于小波域交叉配对的遥感影像时空融合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036987B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000013423A1 (en) * | 1998-08-28 | 2000-03-09 | Sarnoff Corporation | Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera |
| CN1828668A (zh) * | 2006-04-10 | 2006-09-06 | 天津大学 | 基于嵌入式隐马尔可夫模型与交叉熵的台风中心定位方法 |
| CN105528619A (zh) * | 2015-12-10 | 2016-04-27 | 河海大学 | 基于小波变换和svm的sar遥感影像变化检测方法 |
| CN108830814A (zh) * | 2018-06-15 | 2018-11-16 | 武汉大学 | 一种遥感影像的相对辐射校正方法 |
| CN109472743A (zh) * | 2018-10-25 | 2019-03-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
| CN109636716A (zh) * | 2018-10-29 | 2019-04-16 | 昆明理工大学 | 一种基于小波系数学习的图像超分辨率重建方法 |
| KR20190110320A (ko) * | 2018-03-20 | 2019-09-30 | 영남대학교 산학협력단 | 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템 |
| CN111640059A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于高斯混合模型的多字典图像超分辨方法 |
| CN113902646A (zh) * | 2021-11-19 | 2022-01-07 | 电子科技大学 | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 |
| CN114022356A (zh) * | 2021-10-29 | 2022-02-08 | 长视科技股份有限公司 | 基于小波域的河道流量水位遥感图像超分辨率方法与*** |
| CN116091936A (zh) * | 2022-11-28 | 2023-05-09 | 中国农业大学 | 一种融合点-地块-区域尺度数据的农情参数反演方法 |
| KR20230102134A (ko) * | 2021-12-30 | 2023-07-07 | 인천대학교 산학협력단 | 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법 |
| CN116563103A (zh) * | 2023-04-19 | 2023-08-08 | 浙江大学 | 一种基于自适应神经网络的遥感图像时空融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7120305B2 (en) * | 2002-04-16 | 2006-10-10 | Ricoh, Co., Ltd. | Adaptive nonlinear image enlargement using wavelet transform coefficients |
-
2023
- 2023-10-10 CN CN202311304694.3A patent/CN117036987B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000013423A1 (en) * | 1998-08-28 | 2000-03-09 | Sarnoff Corporation | Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera |
| CN1828668A (zh) * | 2006-04-10 | 2006-09-06 | 天津大学 | 基于嵌入式隐马尔可夫模型与交叉熵的台风中心定位方法 |
| CN105528619A (zh) * | 2015-12-10 | 2016-04-27 | 河海大学 | 基于小波变换和svm的sar遥感影像变化检测方法 |
| KR20190110320A (ko) * | 2018-03-20 | 2019-09-30 | 영남대학교 산학협력단 | 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템 |
| CN108830814A (zh) * | 2018-06-15 | 2018-11-16 | 武汉大学 | 一种遥感影像的相对辐射校正方法 |
| CN109472743A (zh) * | 2018-10-25 | 2019-03-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
| CN109636716A (zh) * | 2018-10-29 | 2019-04-16 | 昆明理工大学 | 一种基于小波系数学习的图像超分辨率重建方法 |
| CN111640059A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于高斯混合模型的多字典图像超分辨方法 |
| CN114022356A (zh) * | 2021-10-29 | 2022-02-08 | 长视科技股份有限公司 | 基于小波域的河道流量水位遥感图像超分辨率方法与*** |
| CN113902646A (zh) * | 2021-11-19 | 2022-01-07 | 电子科技大学 | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 |
| KR20230102134A (ko) * | 2021-12-30 | 2023-07-07 | 인천대학교 산학협력단 | 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법 |
| CN116091936A (zh) * | 2022-11-28 | 2023-05-09 | 中国农业大学 | 一种融合点-地块-区域尺度数据的农情参数反演方法 |
| CN116563103A (zh) * | 2023-04-19 | 2023-08-08 | 浙江大学 | 一种基于自适应神经网络的遥感图像时空融合方法 |
Non-Patent Citations (10)
| Title |
|---|
| A Flexible Reference-Insensitive Spatiotemporal Fusion Model for Remote Sensing Images Using Conditional Generative Adversarial Network;Tan, Z;IEEE;正文 * |
| Achieving Super-Resolution Remote Sensing Images via the Wavelet Transform Combined With the Recursive Res-Net;Wen Ma;IEEE;正文 * |
| Monitoring vegetation dynamics (2010–2020) in Shengnongjia Forestry District with cloud-removed MODIS NDVI series by a spatio-temporal reconstruction method;Li Xinghua;ELSEVIER;正文 * |
| Remote sensing image fusion via wavelet transform and sparse representation;Jian Cheng;ELSEVIER;正文 * |
| Wavelet-based residual attention network for image super-resolution;Shengke Xue;ELSEVIER;正文 * |
| 一种基于提升小波变换和IHS变换的图像融合方法;薛坚;于盛林;王红萍;;中国图象图形学报(第02期);正文 * |
| 一种改进的àtrous小波融合方法;王倩;刘洋;贾永红;;测绘通报(第08期);正文 * |
| 基于多光谱图像超分辨率处理的遥感图像融合;杨超 等;激光与光电子学进;正文 * |
| 基于小波深层网络的图像超分辨率方法研究;孙超;寇昆湖;吕俊伟;叶松松;刘豪;周玲;赵利;;计算机应用研究(第S1期);正文 * |
| 基于深度学习与超分辨率重建的遥感高时空融合方法;张永梅;滑瑞敏;马健喆;胡蕾;;计算机工程与科学(第09期);正文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036987A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cao et al. | Thick cloud removal in Landsat images based on autoregression of Landsat time-series data | |
| Halme et al. | Utility of hyperspectral compared to multispectral remote sensing data in estimating forest biomass and structure variables in Finnish boreal forest | |
| CN102800074B (zh) | 基于轮廓波变换的sar图像变化检测差异图生成方法 | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN109685108B (zh) | 一种生成高时空分辨率ndvi长时间序列的方法 | |
| Cai et al. | Measurement of potato volume with laser triangulation and three-dimensional reconstruction | |
| CN114120101A (zh) | 一种土壤水分多尺度综合感知方法 | |
| Chen et al. | A mathematical morphology-based multi-level filter of LiDAR data for generating DTMs | |
| CN106599548B (zh) | 陆面蒸散发遥感估算的时空尺度匹配方法及装置 | |
| Sustika et al. | Generative adversarial network with residual dense generator for remote sensing image super resolution | |
| Cresson et al. | Comparison of convolutional neural networks for cloudy optical images reconstruction from single or multitemporal joint SAR and optical images | |
| Sihvonen et al. | Spectral profile partial least-squares (SP-PLS): Local multivariate pansharpening on spectral profiles | |
| CN107358625B (zh) | 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| CN117036987B (zh) | 一种基于小波域交叉配对的遥感影像时空融合方法及*** | |
| Wang et al. | Branching the limits: Robust 3D tree reconstruction from incomplete laser point clouds | |
| CN116091936A (zh) | 一种融合点-地块-区域尺度数据的农情参数反演方法 | |
| CN116563728A (zh) | 基于生成对抗网络的光学遥感影像去云雾方法和*** | |
| CN116310802A (zh) | 一种基于多尺度融合模型的宅基地变化监测方法和装置 | |
| CN116385892A (zh) | 基于目标上下文卷积神经网络的数字高程模型提取方法 | |
| CN115825388A (zh) | 一种重金属估算模型的训练方法、估算方法、装置及设备 | |
| CN115147726A (zh) | 城市形态图的生成方法、装置、电子设备和可读存储介质 | |
| CN115187463A (zh) | 一种滑坡遥感影像集超分辨率重建方法和*** | |
| Fayad et al. | Vision Transformers, a new approach for high-resolution and large-scale mapping of canopy heights | |
| Vancutsem et al. | An assessment of three candidate compositing methods for global MERIS time series |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |