CN114565858B - 基于地理空间感知低秩重建网络的多光谱影像变化检测方法 - Google Patents

基于地理空间感知低秩重建网络的多光谱影像变化检测方法 Download PDF

Info

Publication number
CN114565858B
CN114565858B CN202210180712.0A CN202210180712A CN114565858B CN 114565858 B CN114565858 B CN 114565858B CN 202210180712 A CN202210180712 A CN 202210180712A CN 114565858 B CN114565858 B CN 114565858B
Authority
CN
China
Prior art keywords
multispectral image
data block
phase
feature
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210180712.0A
Other languages
English (en)
Other versions
CN114565858A (zh
Inventor
王相海
赵晓阳
赵克云
李思瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN202210180712.0A priority Critical patent/CN114565858B/zh
Publication of CN114565858A publication Critical patent/CN114565858A/zh
Application granted granted Critical
Publication of CN114565858B publication Critical patent/CN114565858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于地理空间感知低秩重建网络的多光谱影像变化检测方法，首先定义孪生的多时相遥感影像特征提取框架，对亚米级分辨率的多光谱影像的多尺度空谱联合特征进行提取；依据所提出的地理空间感知模块，为提取到的双时相影像特征图矫正偏移的特征，使其实际的空间内容相呼应，打破固有的空间像素一一对应的位置顺序，通过相减得到较为稀疏的空间矫正特征图。同时，为从矫正的特征图中分离出有效的低秩特征表达，将该问题描述为特征的重建约束问题，实现细粒度变化检测的特征嵌入，达到克服多样伪变化的目的，有效提高了多光谱影像变化检测精度。

Description

基于地理空间感知低秩重建网络的多光谱影像变化检测方法
技术领域
本发明属于数字图像处理方法，尤其涉及一种可提升变化检测精度及可视效果的基于地理空间感知低秩重建网络的多光谱影像变化检测方法。
背景技术
遥感影像变化检测技术能够从同一地理位置的多时相遥感影像中获取研究者们感兴趣的地表覆盖变化位置信息与变化实体要素，在城市规划、农业调查、灾害评估和地图修订等实际应用中发挥重要作用，有着极其广泛的应用前景。
多光谱影像具有较高空间分辨率，一些流行的公开数据集的多光谱影像空间分辨率已达米级甚至亚米级，这些对地理空间位置采样足够小的数据集，使得影像中包含了非常丰富且精细的地表信息，能够轻易地获取地物几何结构、纹理特征，使捕捉小尺度的变化成为可能。然而，多光谱影像在变化检测中存在如下问题：1.影像对多种伪变化响应度高，在数据预处理阶段，无法避免多时相影像间的配准误差，使误配准情况普遍发生且尚未得到针对性的解决；2.由于光照阴影、云雾遮挡以及传感器噪声等干扰因素的存在，极易产生检测图中地物不连续的现象；3.由于空间分辨率与谱间分辨的相互制约关系，使多光谱影像的地物光谱特征离散，这种低谱间分辨率无法在检测过程中提供更多更有效的判别信息，导致对地物边界的判别能力不强。
目前，基于深度学习的变化检测网络模型大多致力于如何合理地引入更加复杂的注意力模型及其变体，获取更稠密的亲和矩阵来编码影像的全局相关性，以产生更具代表性的特征图。虽然较传统变化检测网络在检测精度上有了一定的提升，但也因为过度引入背景信息，为未变化区域增添了不确定性与不可避免的计算成本，更重要的是缺乏对伪变化这项内容的显示建模，因此，现有多光谱影像的变化检测精度与可视效果均有待提升。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种可提升变化检测精度和可视效果的基于地理空间感知低秩重建网络的多光谱影像变化检测方法。
本发明的技术解决方案是：一种基于地理空间感知低秩重建网络的多光谱影像变化检测方法，其特征在于依次按照如下步骤进行：
步骤1.分别对待检测的T10时相多光谱影像与T11时相多光谱影像进行预处理，得到T10时相多光谱影像检测集及T11时相多光谱影像检测集/>
步骤1.1将T10时相多光谱影像与T11时相多光谱影像分别按照步长为(H,W)切块方式切出块大小为(H,W)的数据块，记切出的T10时相多光谱影像数据块为XH10＝{xH10,i|i＝1,…,M}，T11时相多光谱影像数据块为XH11＝{xH11,i|i＝1,…,M}，其中M为每类数据块个数；
步骤1.2利用公式(1)将多光谱影响数据块XH10和XH11进行标准化处理，得到
步骤1.3分别将多光谱影像数据块和/>中每个像元点进行上下翻转，得到上下翻转的多光谱影像数据块/>和/>
步骤1.4分别将多光谱影像数据块和/>中每个像元点进行左右翻转，得到左右翻转的多光谱影像数据块/>和/>
步骤1.5分别将多光谱影像数据块和/>随机旋转n次90度，n＝1,2,3，得到旋转的多光谱影像数据块/>和/>
步骤1.6分别将多光谱影像数据块和/>随机缩放n倍，n＝0.5,2，得到缩放的多光谱影像数据块/>和/>
步骤1.7将数据块联合数据块/>和/>构成新的T10时相多光谱影像列表，即T10时相多光谱影像检测集/>将数据块/>联合数据块/>和/>构成新的T11时相多光谱影像列表，即T11时相多光谱影像检测集/>
步骤2.分别提取T10时相多光谱影像检测集与T1时相多光谱影像检测集中的第i个子块，以/>的形式输入到训练完毕的网络结构中，经过softmax函数与以0.5为硬阈值的方式，求得最终的检测结果；所述训练完毕的网络结构是依次按照如下步骤构建而成：
步骤3.分别对数据集中T0时相多光谱影像、T1时相多光谱影像及对应的标签图进行预处理，得到T0时相多光谱影像检测集T1时相多光谱影像检测集/>及标签训练集/>
步骤3.1将T0时相多光谱影像、T1时相多光谱影像及对应的标签图分别按照步长为(H,W)切块方式切出块大小为(H,W)的数据块，记切出的T0时相多光谱影像数据块为XH0＝{xH0,i|i＝1,…,M}，T1时相多光谱影像数据块为XH1＝{xH1,i|i＝1,…,M}和标签数据块XL＝{xL,i|i＝1,…,M}，其中M为每类数据块个数；
步骤3.2利用公式(2)将切出的数据块XH0，XH1和XL进行标准化处理，得到
步骤3.3分别将多光谱影像数据块和标签数据块/>中每个像元点进行上下翻转，得到上下翻转的多光谱影像数据块/>和上下翻转的标签数据块/>
步骤3.4分别将多光谱影像数据块和标签数据块/>中每个像元点进行左右翻转，得到左右翻转的多光谱影像数据块/>和左右翻转的标签数据块/>
步骤3.5分别将多光谱影像数据块和标签数据块/>随机旋转n次90度，n＝1,2,3，得到旋转的多光谱影像数据块/>和旋转的标签数据块/>
步骤3.6分别将多光谱影像数据块和标签数据块/>随机缩放n倍，n＝0.5,2，得到缩放的双时相多光谱影像数据块/>和缩放的标签数据块/>
步骤3.7将数据块联合数据块/>和/>构成新的T0时相多光谱影像列表，即T0时相多光谱影像训练集/>将数据块/>联合数据块/> 和/>构成新的T1时相多光谱影像列表，即T1时相多光谱影像/>联合数据块/>构成新的标签列表，即标签训练集/>
步骤4.设置网络迭代总次数为T；
步骤5.令epoch＝1；
步骤6.将训练集样本以 的形式输入到网络中，以NLLLoss作为损失函数进行训练；
步骤6.1利用网络对训练集及/>进行多尺度特征提取与融合：
步骤6.1.1利用封装好的预训练Resnet18模型作为骨干网，分别对多光谱影像训练集进行空谱联合特征提取，记T0时相提取到的多尺度特征分别为 T1时相提取到的多尺度特征分别为/>
步骤6.1.2对T0_Conv1与T1_Conv1分别进行2倍双线性插值操作，得到与/>
步骤6.1.3对T0_Conv2与T1_Conv2分别进行4倍双线性插值操作，得到与/>
步骤6.1.4.对T0_Conv3与T1_Conv3分别进行8倍双线性插值操作，得到与/>
步骤6.1.5按通道维度拼接T0_Conv0，T0_Conv1×2，T0_Conv2×4和T0_Conv3×8，得到最终的T0时相多尺度融合特征
步骤6.1.6按通道维度拼接T1_Conv0，T1_Conv1×2，T1_Conv2×4和T1_Conv3×8，得到最终的T1时相多尺度融合特征
步骤6.2利用多尺度融合特征FT0与FT1，通过空间感知模块，得到多光谱影像空间矫正后的特征FT：
步骤6.2.1分别将多尺度融合特征与多尺度融合特征/> 通过卷积核大小为1，卷积核个数为C，步长为1的卷积层降维至/>空间，得到特征F′T0与F′T1；
步骤6.2.2将特征F′T0输入至卷积核个数为2C卷积层，获得每个特征点的偏移量Δp，使当前特征点p指向新特征点p+Δp；
步骤6.2.3用双线性插值法求得新特征点p+Δp位置的特征值，得到T0时相偏移特征
步骤6.2.4.将T0时相偏移特征FΔp与特征F′T1相减，得到空间矫正后的特征
步骤6.3将空间矫正后的特征FT输入至低秩重建模块，得到重建特征
步骤6.3.1利用步长为4的最大池化层提取输入特征FT的最显著特征，记为
步骤6.3.2利用宽度池化层、卷积层和激活层对输入的特征F′T进行宽度维特征提取，得到宽度维低秩特征FW，
步骤6.3.3利用高度池化层、卷积层和激活层对输入的特征F′T进行高度维特征提取，得到高度维低秩特征FH，
步骤6.3.4利用通道池化层、卷积层和激活层对输入的特征F′T进行通道维特征提取，得到通道维低秩特征FC，
步骤6.3.5利用公式(3)将步骤6.3.2至步骤6.3.4得到的特征对应相乘，并乘以一个与之对应的可学习归一化权重系数λ，即可得到低秩重建特征
式中D为低秩重建特征FS的通道数，D＝C；i为D的索引值；
步骤6.3.6.对低秩重建特征FS进行4倍双线性插值操作，进而得到重建特征
步骤6.4预测最终分类结果概率：
步骤6.4.1对重建特征FR通过卷积核个数为2，卷积核大小为3，步长为1，padding为1的卷积层进行线性投影，得到分类特征
步骤6.4.2将分类特征FD代入至log_softmax函数，即在用softmax函数求得预测最终分类结果的概率后，再求其log值；
步骤6.5计算所预测的最终分类结果概率与Yi的NLLLoss值；
步骤6.6判断训练集中的所有子块是否处理完毕，是，转入步骤6.7，否，返回步骤6.1；
步骤6.7epoch←epoch+1,若epoch>T，则得到已训练好的网络参数模型，否则，基于NLLLoss值利用Adam反向误差传播算法和预测损失函数更新网络参数，转入步骤6.1。
本发明提出一种基于地理空间感知低秩重建网络的多光谱影像变化检测方法，通过地理空间感知与低秩重建实现双时相多光谱影像变化检测，降低因为误配准因素产生的干扰，滤除无效的伪变化特征，提高检测精度及可视效果。首先定义孪生的多时相遥感影像特征提取框架，对亚米级分辨率的多光谱影像的多尺度空谱联合特征进行提取；依据所提出的地理空间感知模块，为提取到的双时相影像特征图矫正偏移的特征，使其实际的空间内容相呼应，打破固有的空间像素一一对应的位置顺序，通过相减得到较为稀疏的空间矫正特征图。同时，为从矫正的特征图中分离出有效的低秩特征表达，将该问题描述为特征的重建约束问题，实现细粒度变化检测的特征嵌入，达到克服多样伪变化的目的。
附图说明
图1是本发明实施例基于地理空间感知低秩重建网络结构及训练步骤图。
图2是本发明实施例的空间感知模块结构图。
图3是本发明实施例的低秩重建模块结构图。
图4为本发明方法与现有技术的可视化检测结果与OA、KAPPA两项客观评价指标结果对比图。
具体实施方式
本发明的一种基于地理空间感知低秩重建网络的多光谱影像变化检测方法，依次按照如下步骤进行：
步骤1.分别对待检测的T10时相多光谱影像与T11时相多光谱影像进行预处理，得到T10时相多光谱影像检测集及T11时相多光谱影像检测集/>
步骤1.1将T10时相多光谱影像与T11时相多光谱影像分别按照步长为(H,W)切块方式切出块大小为(H,W)的数据块，记切出的T10时相多光谱影像数据块为XH10＝{xH10,i|i＝1,…,M}，T11时相多光谱影像数据块为XH11＝{xH11,i|i＝1,…,M}，其中M为每类数据块个数；
步骤1.2利用公式(1)将多光谱影响数据块XH10和XH11进行标准化处理，得到
步骤1.3分别将多光谱影像数据块和/>中每个像元点进行上下翻转，得到上下翻转的多光谱影像数据块/>和/>
步骤1.4分别将多光谱影像数据块和/>中每个像元点进行左右翻转，得到左右翻转的多光谱影像数据块/>和/>
步骤1.5分别将多光谱影像数据块和/>随机旋转n次90度，n＝1,2,3，得到旋转的多光谱影像数据块/>和/>
步骤1.6分别将多光谱影像数据块和/>随机缩放n倍，n＝0.5,2，得到缩放的多光谱影像数据块/>和/>
步骤1.7将数据块联合数据块/>和/>构成新的T10时相多光谱影像列表，即T10时相多光谱影像检测集/>将数据块/>联合数据块/>和/>构成新的T11时相多光谱影像列表，即T11时相多光谱影像检测集/>
步骤2.分别提取T10时相多光谱影像检测集与T1时相多光谱影像检测集中的第i个子块，以/>的形式输入到训练完毕的网络结构中，经过softmax函数与以0.5为硬阈值的方式，求得最终的检测结果；所述训练完毕的网络结构是依次按照如下步骤构建而成：
步骤3.分别对数据集中T0时相多光谱影像、T1时相多光谱影像及对应的标签图进行预处理，得到T0时相多光谱影像检测集T1时相多光谱影像检测集/>及标签训练集/>
步骤3.1将T0时相多光谱影像、T1时相多光谱影像及对应的标签图分别按照步长为(H,W)切块方式切出块大小为(H,W)的数据块，记切出的T0时相多光谱影像数据块为XH0＝{xH0,i|i＝1,…,M}，T1时相多光谱影像数据块为XH1＝{xH1,i|i＝1,…,M}和标签数据块XL＝{xL,i|i＝1,…,M}，其中M为每类数据块个数；
步骤3.2利用公式(2)将切出的数据块XH0，XH1和XL进行标准化处理，得到
步骤3.3分别将多光谱影像数据块和标签数据块/>中每个像元点进行上下翻转，得到上下翻转的多光谱影像数据块/>和上下翻转的标签数据块/>
步骤3.4分别将多光谱影像数据块和标签数据块/>中每个像元点进行左右翻转，得到左右翻转的多光谱影像数据块/>和左右翻转的标签数据块/>
步骤3.5分别将多光谱影像数据块和标签数据块/>随机旋转n次90度，n＝1,2,3，得到旋转的多光谱影像数据块/>和旋转的标签数据块/>
步骤3.6分别将多光谱影像数据块和标签数据块/>随机缩放n倍，n＝0.5,2，得到缩放的双时相多光谱影像数据块/>和缩放的标签数据块/>
步骤3.7将数据块联合数据块/>和/>构成新的T0时相多光谱影像列表，即T0时相多光谱影像训练集/>将数据块/>联合数据块/> 和/>构成新的T1时相多光谱影像列表，即T1时相多光谱影像/>联合数据块/>构成新的标签列表，即标签训练集/>
步骤4.设置网络迭代总次数为T；
步骤5.令epoch＝1；
步骤6.将训练集样本以 的形式输入到网络中，以NLLLoss作为损失函数进行训练；
步骤6.1如图1、2、3所示，利用网络对训练集及/>进行多尺度特征提取与融合：
步骤6.1.1利用封装好的预训练Resnet18模型作为骨干网，分别对多光谱影像训练集进行空谱联合特征提取，记T0时相提取到的多尺度特征分别为 T1时相提取到的多尺度特征分别为/>
步骤6.1.2对T0_Conv1与T1_Conv1分别进行2倍双线性插值操作，得到与/>
步骤6.1.3对T0_Conv2与T1_Conv2分别进行4倍双线性插值操作，得到与/>
步骤6.1.4.对T0_Conv3与T1_Conv3分别进行8倍双线性插值操作，得到与/>
步骤6.1.5按通道维度拼接T0_Conv0，T0_Conv1×2，T0_Conv2×4和T0_Conv3×8，得到最终的T0时相多尺度融合特征
步骤6.1.6按通道维度拼接T1_Conv0，T1_Conv1×2，T1_Conv2×4和T1_Conv3×8，得到最终的T1时相多尺度融合特征
步骤6.2利用多尺度融合特征FT0与FT1，通过空间感知模块，得到多光谱影像空间矫正后的特征FT：
步骤6.2.1分别将多尺度融合特征与多尺度融合特征/> 通过卷积核大小为1，卷积核个数为C，步长为1的卷积层降维至/>空间，得到特征F′T0与F′T1；
步骤6.2.2将特征F′T0输入至卷积核个数为2C卷积层，获得每个特征点的偏移量Δp，使当前特征点p指向新特征点p+Δp；
步骤6.2.3用双线性插值法求得新特征点p+Δp位置的特征值，得到T0时相偏移特征
步骤6.2.4.将T0时相偏移特征FΔp与特征F′T1相减，得到空间矫正后的特征
步骤6.3将空间矫正后的特征FT输入至低秩重建模块，得到重建特征
步骤6.3.1利用步长为4的最大池化层提取输入特征FT的最显著特征，记为
步骤6.3.2利用宽度池化层、卷积层和激活层对输入的特征F′T进行宽度维特征提取，得到宽度维低秩特征FW，
步骤6.3.3利用高度池化层、卷积层和激活层对输入的特征F′T进行高度维特征提取，得到高度维低秩特征FH，
步骤6.3.4利用通道池化层、卷积层和激活层对输入的特征F′T进行通道维特征提取，得到通道维低秩特征FC，
步骤6.3.5利用公式(3)将步骤6.3.2至步骤6.3.4得到的特征对应相乘，并乘以一个与之对应的可学习归一化权重系数λ，即可得到低秩重建特征
式中D为低秩重建特征FS的通道数，D＝C；i为D的索引值；
步骤6.3.6.对低秩重建特征FS进行4倍双线性插值操作，进而得到重建特征
步骤6.4预测最终分类结果概率：
步骤6.4.1对重建特征FR通过卷积核个数为2，卷积核大小为3，步长为1，padding为1的卷积层进行线性投影，得到分类特征
步骤6.4.2将分类特征FD代入至log_softmax函数，即在用softmax函数求得预测最终分类结果的概率后，再求其log值；
步骤6.5计算所预测的最终分类结果概率与Yi的NLLLoss值；
步骤6.6判断训练集中的所有子块是否处理完毕，是，转入步骤6.7，否，返回步骤6.1；
步骤6.7epoch←epoch+1,若epoch>T，则得到已训练好的网络参数模型，否则，基于NLLLoss值利用Adam反向误差传播算法和预测损失函数更新网络参数，转入步骤6.1。
将本发明实施例的基于地理空间感知低秩重建网络的多光谱影像变化检测方法与现有的STANet方法、DR-TANet方法对LEVIR_CD数据集的部分处理结果(包括可视化检测结果图与OA和KAPPA两项客观评价指标结果)对比，结果如图4所示。
对比结果表明：
本发明较STANet检测方法、DR-TANet方法在绝大多数情况下能够获得更加准确的检测结果。具体来说，本发明的优于：
1.对检测目标的整体性把握上，本发明在背景上表现得更为干净，即对背景的误检率低，尤其表现在例1、例3与例4的主观检测结果中，原因分析为两种基于注意力机制的模型检测方法将影像中背景的无效信息与前景的有效信息相关联，为模型引入了错误的关联信息，使得模型在辨别变化信息与不变信息时产生一定量的误检情况，而本发明则将判别信息的产生建立在低秩重建的角度上，滤除了一定程度的干扰信息，提取并学习了大量的真实变化信息，使模型在检测时能够有效抑制伪变化，获得正确的变化目标；
2.对检测目标边缘处的错分与误分，本发明在检测目标的边缘处的表现均优于其他两种检测方法，尤其在例2、例3与例4中表现得尤为明显，其他两种检测方法在检测边缘处错分率高，不够连续，边缘保持性较差，在检测目标为建筑物的拐角处过于圆润，不够规整，例2中本发明的客观评价指标虽不如其余两种方法高，但在主观结果检测图的角度上看，却明显展示本发明能更为完整地保留被检测目标的形状，在光照阴影、其他建筑物遮挡等伪变化信息的影响下，本发明方法能够能好地对这些无效信息进行判别，得到与GT真值图在主观视觉上更匹配的结果，例3与例4不仅在主观结果检测图上显著优于其余两种方法，在客观评价指标KAPPA值亦较其余两种方法高出许多，分别为4.67％、4.48％与1.05％、3.22％，二者皆说明本发明在变化检测时具有较强的鲁棒性与较高的准确性。

Claims (1)

1.一种基于地理空间感知低秩重建网络的多光谱影像变化检测方法，其特征在于依次按照如下步骤进行：
步骤1.分别对待检测的T10时相多光谱影像与T11时相多光谱影像进行预处理，得到T10时相多光谱影像检测集及T11时相多光谱影像检测集/>
步骤1.1将T10时相多光谱影像与T11时相多光谱影像分别按照步长为(H,W)切块方式切出块大小为(H,W)的数据块，记切出的T10时相多光谱影像数据块为XH10＝{xH10,i|i＝1,…,M}，T11时相多光谱影像数据块为XH11＝{xH11,i|i＝1,…,M}，其中M为每类数据块个数；
步骤1.2利用公式(1)将多光谱影响数据块XH10和XH11进行标准化处理，得到
步骤1.3分别将多光谱影像数据块和/>中每个像元点进行上下翻转，得到上下翻转的多光谱影像数据块/>和/>
步骤1.4分别将多光谱影像数据块和/>中每个像元点进行左右翻转，得到左右翻转的多光谱影像数据块/>和/>
步骤1.5分别将多光谱影像数据块和/>随机旋转n次90度，n＝1,2,3，得到旋转的多光谱影像数据块/>和/>
步骤1.6分别将多光谱影像数据块和/>随机缩放n倍，n＝0.5,2，得到缩放的多光谱影像数据块/>和/>
步骤1.7将数据块联合数据块/>和/>构成新的T10时相多光谱影像列表，即T10时相多光谱影像检测集/>将数据块/>联合数据块/>和构成新的T11时相多光谱影像列表，即T11时相多光谱影像检测集/>
步骤2.分别提取T10时相多光谱影像检测集与T1时相多光谱影像检测集/>中的第i个子块，以/>的形式输入到训练完毕的网络结构中，经过softmax函数与以0.5为硬阈值的方式，求得最终的检测结果；所述训练完毕的网络结构是依次按照如下步骤构建而成：
步骤3.分别对数据集中T0时相多光谱影像、T1时相多光谱影像及对应的标签图进行预处理，得到T0时相多光谱影像检测集T1时相多光谱影像检测集/>及标签训练集
步骤3.1将T0时相多光谱影像、T1时相多光谱影像及对应的标签图分别按照步长为(H,W)切块方式切出块大小为(H,W)的数据块，记切出的T0时相多光谱影像数据块为XH0＝{xH0,i|i＝1,…,M}，T1时相多光谱影像数据块为XH1＝{xH1,i|i＝1,…,M}和标签数据块XL＝{xL,i|i＝1,…,M}，其中M为每类数据块个数；
步骤3.2利用公式(2)将切出的数据块XH0，XH1和XL进行标准化处理，得到
步骤3.3分别将多光谱影像数据块和标签数据块/>中每个像元点进行上下翻转，得到上下翻转的多光谱影像数据块/>和上下翻转的标签数据块/>
步骤3.4分别将多光谱影像数据块和标签数据块/>中每个像元点进行左右翻转，得到左右翻转的多光谱影像数据块/>和左右翻转的标签数据块/>
步骤3.5分别将多光谱影像数据块 和标签数据块/>随机旋转n次90度，n＝1,2,3，得到旋转的多光谱影像数据块/>和旋转的标签数据块/>
步骤3.6分别将多光谱影像数据块和标签数据块/>随机缩放n倍，n＝0.5,2，得到缩放的双时相多光谱影像数据块/> 和缩放的标签数据块/>
步骤3.7将数据块联合数据块/> 和/>构成新的T0时相多光谱影像列表，即T0时相多光谱影像训练集/>将数据块/>联合数据块/> 和/>构成新的T1时相多光谱影像列表，即T1时相多光谱影像/> 联合数据块/>构成新的标签列表，即标签训练集/>
步骤4.设置网络迭代总次数为T；
步骤5.令epoch＝1；
步骤6.将训练集样本以 的形式输入到网络中，以NLLLoss作为损失函数进行训练；
步骤6.1利用网络对训练集及/>进行多尺度特征提取与融合：
步骤6.1.1利用封装好的预训练Resnet18模型作为骨干网，分别对多光谱影像训练集进行空谱联合特征提取，记T0时相提取到的多尺度特征分别为 T1时相提取到的多尺度特征分别为/>
步骤6.1.2对T0_Conv1与T1_Conv1分别进行2倍双线性插值操作，得到与/>
步骤6.1.3对T0_Conv2与T1_Conv2分别进行4倍双线性插值操作，得到与/>
步骤6.1.4.对T0_Conv3与T1_Conv3分别进行8倍双线性插值操作，得到与/>
步骤6.1.5按通道维度拼接T0_Conv0，T0_Conv1×2，T0_Conv2×4和T0_Conv3×8，得到最终的T0时相多尺度融合特征
步骤6.1.6按通道维度拼接T1_Conv0，T1_Conv1×2，T1_Conv2×4和T1_Conv3×8，得到最终的T1时相多尺度融合特征
步骤6.2利用多尺度融合特征FT0与FT1，通过空间感知模块，得到多光谱影像空间矫正后的特征FT：
步骤6.2.1分别将多尺度融合特征与多尺度融合特征/> 通过卷积核大小为1，卷积核个数为C，步长为1的卷积层降维至/>空间，得到特征F′T0与F′T1；
步骤6.2.2将特征F′T0输入至卷积核个数为2C卷积层，获得每个特征点的偏移量Δp，使当前特征点p指向新特征点p+Δp；
步骤6.2.3用双线性插值法求得新特征点p+Δp位置的特征值，得到T0时相偏移特征
步骤6.2.4.将T0时相偏移特征FΔp与特征F′T1相减，得到空间矫正后的特征
步骤6.3将空间矫正后的特征FT输入至低秩重建模块，得到重建特征
步骤6.3.1利用步长为4的最大池化层提取输入特征FT的最显著特征，记为
步骤6.3.2利用宽度池化层、卷积层和激活层对输入的特征F′T进行宽度维特征提取，得到宽度维低秩特征FW，
步骤6.3.3利用高度池化层、卷积层和激活层对输入的特征F′T进行高度维特征提取，得到高度维低秩特征FH，
步骤6.3.4利用通道池化层、卷积层和激活层对输入的特征F′T进行通道维特征提取，得到通道维低秩特征FC，
步骤6.3.5利用公式(3)将步骤6.3.2至步骤6.3.4得到的特征对应相乘，并乘以一个与之对应的可学习归一化权重系数λ，即可得到低秩重建特征
式中D为低秩重建特征FS的通道数，D＝C；i为D的索引值；
步骤6.3.6.对低秩重建特征FS进行4倍双线性插值操作，进而得到重建特征
步骤6.4预测最终分类结果概率：
步骤6.4.1对重建特征FR通过卷积核个数为2，卷积核大小为3，步长为1，padding为1的卷积层进行线性投影，得到分类特征
步骤6.4.2将分类特征FD代入至log_softmax函数，即在用softmax函数求得预测最终分类结果的概率后，再求其log值；
步骤6.5计算所预测的最终分类结果概率与Yi的NLLLoss值；
步骤6.6判断训练集中的所有子块是否处理完毕，是，转入步骤6.7，否，返回步骤6.1；
步骤6.7 epoch←epoch+1,若epoch>T，则得到已训练好的网络参数模型，否则，基于NLLLoss值利用Adam反向误差传播算法和预测损失函数更新网络参数，转入步骤6.1。
CN202210180712.0A 2022-02-25 2022-02-25 基于地理空间感知低秩重建网络的多光谱影像变化检测方法 Active CN114565858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210180712.0A CN114565858B (zh) 2022-02-25 2022-02-25 基于地理空间感知低秩重建网络的多光谱影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210180712.0A CN114565858B (zh) 2022-02-25 2022-02-25 基于地理空间感知低秩重建网络的多光谱影像变化检测方法

Publications (2)

Publication Number Publication Date
CN114565858A CN114565858A (zh) 2022-05-31
CN114565858B true CN114565858B (zh) 2024-04-05

Family

ID=81715009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210180712.0A Active CN114565858B (zh) 2022-02-25 2022-02-25 基于地理空间感知低秩重建网络的多光谱影像变化检测方法

Country Status (1)

Country Link
CN (1) CN114565858B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609573A (zh) * 2017-08-17 2018-01-19 东华大学 基于低秩分解和空谱约束的高光谱图像时变特征提取方法
CN113255727A (zh) * 2021-04-25 2021-08-13 辽宁师范大学 可分层密集融合网络的多传感器遥感影像融合分类方法
WO2021184891A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 遥感影像地物分类方法及***
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609573A (zh) * 2017-08-17 2018-01-19 东华大学 基于低秩分解和空谱约束的高光谱图像时变特征提取方法
WO2021184891A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 遥感影像地物分类方法及***
CN113255727A (zh) * 2021-04-25 2021-08-13 辽宁师范大学 可分层密集融合网络的多传感器遥感影像融合分类方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于BP神经网络的多特征融合变化检测方法;郝睿;徐俊峰;王庆宝;张保明;;海洋测绘;20160125(01);84-87 *
结合深度学习和超像元的高分遥感影像变化检测;王艳恒;高连如;陈正超;张兵;;中国图象图形学报;20200616(06);207-218 *

Also Published As

Publication number Publication date
CN114565858A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及***
CN115331087B (zh) 融合区域语义与像素特征的遥感影像变化检测方法及***
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111539316A (zh) 基于双注意力孪生网络的高分遥感影像变化检测方法
CN113706482A (zh) 一种高分辨率遥感影像变化检测方法
CN110309808B (zh) 一种大范围尺度空间下的自适应烟雾根节点检测方法
Zhang et al. Cross-domain landslide mapping from large-scale remote sensing images using prototype-guided domain-aware progressive representation learning
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN114972191A (zh) 一种耕地变化检测方法和装置
CN112115911A (zh) 一种基于深度学习的轻量型sar图像目标检测方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN114140623A (zh) 一种图像特征点提取方法及***
Gao et al. A general deep learning based framework for 3D reconstruction from multi-view stereo satellite images
CN113297988A (zh) 一种基于域迁移和深度补全的物体姿态估计方法
CN112308873A (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN116524362A (zh) 一种基于时空注意力增强的遥感图像变化检测方法
CN114926826A (zh) 场景文本检测***
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
CN114612315A (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
Ljubičić et al. SSIMS-Flow: Image velocimetry workbench for open-channel flow rate estimation
CN116129280B (zh) 一种遥感影像雪检测的方法
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN114565858B (zh) 基于地理空间感知低秩重建网络的多光谱影像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant