CN112365525B - 高分辨率遥感影像变化检测网络和方法及装置 - Google Patents

高分辨率遥感影像变化检测网络和方法及装置 Download PDF

Info

Publication number
CN112365525B
CN112365525B CN202011303619.1A CN202011303619A CN112365525B CN 112365525 B CN112365525 B CN 112365525B CN 202011303619 A CN202011303619 A CN 202011303619A CN 112365525 B CN112365525 B CN 112365525B
Authority
CN
China
Prior art keywords
time phase
level
remote sensing
sensing image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011303619.1A
Other languages
English (en)
Other versions
CN112365525A (zh
Inventor
于莉楠
王战举
张哲�
任伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Science and Technology (Beijing) Space Information Application Co.,Ltd.
Original Assignee
Beijing Aerospace Titan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Titan Technology Co ltd filed Critical Beijing Aerospace Titan Technology Co ltd
Priority to CN202011303619.1A priority Critical patent/CN112365525B/zh
Publication of CN112365525A publication Critical patent/CN112365525A/zh
Application granted granted Critical
Publication of CN112365525B publication Critical patent/CN112365525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种高分辨率遥感影像变化检测网络，包括：两个平行设置的前时相特征提取分支和后时相特征提取分支；前时相特征提取分支包括第一卷积模块和前时相特征融合模块；前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将低级别前时相特征和高级别前时相特征进行融合后，得到前时相特征数据；后时相特征提取分支包括第二卷积模块和后时相特征融合模块；后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和高级卷积层输出的高级别后时相特征，并将低级别后时相特征和高级别后时相特征进行融合后，得到后时相特征数据。其有效提高了检测结果的准确性。

Description

高分辨率遥感影像变化检测网络和方法及装置
技术领域
本公开涉及遥感影像处理技术领域，尤其涉及一种高分辨率遥感影像变化检测网络和方法及装置。
背景技术
遥感影像变化检测作为遥感技术领域的关键技术之一，在城市规划、灾害监测、土地资源管理和军事侦察等领域发挥着越来越重要的作用。高分辨率遥感影像因具有清晰度高、实时性强的特点，已成为变换检测技术的重要数据来源。基于高分辨率遥感影像进行变化检测时，往往容易因光照、拍摄视角的影响，产生大量的伪变化，尤其对于一些复杂环境(如：受季节影像变化较大的自然环境、受拍摄视角影响较大的建筑物等)，对变换检测算法的稳定性和可靠性提出了更高的要求。
其中，在相关的变化检测方法中，基于像素的变化检测方法一般较难确定合适的分割阈值，而面向对象的变化检测方法则往往容易因为“同物异谱、同谱异物”而导致变化区域的误提取。这就使得现有的变化检测方法一般只适用于前后时相相对应的遥感影像的光照、拍摄视角变化较小，干扰因素较少，变化区域较明显的理想环境下。而对于光照、拍摄视角变化较大，周边干扰因素较多的复杂环境下的检测，通常会产生变化区域的误提取，从而影响检测结果的准确性。
发明内容
有鉴于此，本公开提出了一种高分辨率遥感影像变化检测网络，可以有效提高遥感影像变化检测结果的准确性。
根据本公开的一方面，提供了一种高分辨率遥感影像变化检测网络，用于面向复杂环境的高分辨率遥感影像进行变化检测，包括：两个平行设置的前时相特征提取分支和后时相特征提取分支；
所述前时相特征提取分支包括第一卷积模块和前时相特征融合模块；所述第一卷积模块包括R层依次级联的卷积层；
所述前时相特征融合模块，用于获取所述第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将所述低级别前时相特征和所述高级别前时相特征进行融合后，得到所述前时相特征数据；
所述后时相特征提取分支包括第二卷积模块和后时相特征融合模块；所述第二卷积模块包括S层依次级联的卷积层；
所述后时相特征融合模块，用于获取所述第二卷积模块中的低级卷积层输出的低级别后时相特征和所述高级卷积层输出的高级别后时相特征，并将所述低级别后时相特征和所述高级别后时相特征进行融合后，得到所述后时相特征数据。
在一种可能的实现方式中，R的取值与S的取值相同；
其中，所述第一卷积模块与所述第二卷积模块均采用VGG16卷积结构。
在一种可能的实现方式中，所述第一卷积模块中的低级卷积层包括前r层依次级联的各卷积层，所述第一卷积模块中的高级卷积层包括后R-r层依次级联的各卷积层；
所述第二卷积模块中的低级卷积层包括前s层依次级联的各卷积层，所述第二卷积模块中的高级卷积层包括后S-s层依次级联的各卷积层；
其中，R、r、S、s的取值均为正整数，且R大于r，S大于s。
在一种可能的实现方式中，所述前时相特征融合模块包括前时相低级特征处理子模块和前时相高级特征处理子模块；
所述前时相低级特征处理子模块包括依次连接的卷积层和空间注意力机制层；
所述前时相高级特征处理子模块包括依次连接的通道注意力机制层、卷积层和上采样层；
所述后时相特征融合模块的网络结构与所述前时相特征融合模块的网络结构相同。
在一种可能的实现方式中，还包括变化检测结果生成模块；
所述变化检测结构生成模块与所述前时相特征融合模块和所述后时相特征融合模块均连接，用于获取所述前时相特征数据和所述后时相特征数据，并基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果。
根据本申请的另一方面，还提供了一种高分辨率遥感影像变化检测方法，基于前面任一所述的高分辨率遥感影像变化检测网络对当前需要检测的遥感影像进行变化检测，包括：
获取前时相遥感影像和后时相遥感影像；
将所述前时相遥感影像和所述后时相遥感影像输入至训练好的所述遥感影像变化检测网络中；
由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，得到前时相特征数据和后时相特征数据；
基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果；
其中，由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，包括：
由所述遥感影像变化检测网络中的前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将所述低级别前时相特征和所述高级别前时相特征进行融合后，得到所述前时相特征数据；
由所述遥感影像变化检测网络中的后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和所述高级卷积层输出的高级别后时相特征，并将所述低级别后时相特征和所述高级别后时相特征进行融合后，得到所述后时相特征数据。
在一种可能的实现方式中，所述前时相特征融合模块将所述低级别前时相特征和所述高级别前时相特征进行融合时，包括：
将所述低级别前时相特征进行卷积，由所述低级别前时相特征中提取出第一特征，再利用空间注意力机制对所述第一特征进行处理，得到相应的第二特征；
利用通道注意力机制对所述高级别前时相特征进行处理，得到第三特征后，对所述第三特征依次进行卷积和上采样，得到第四特征；
将所述第二特征和所述第四特征进行融合，得到所述前时相特征数据；
其中，所述后时相特征融合模块将所述低级别后时相特征和所述高级别后时相特征进行融合时，包括：
将所述低级别后时相特征进行卷积，由所述低级别后时相特征中提取出第五特征，再利用空间注意力机制对所述第五特征进行处理，得到相应的第六特征；
利用通道注意力机制对所述高级别后时相特征进行处理，得到第七特征后，对所述第七特征依次进行卷积和上采样，得到第八特征；
将所述第六特征和所述第八特征进行融合，得到所述后时相特征数据。
在一种可能的实现方式中，基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果，包括：
采用欧式距离计算方法计算所述前时相特征数据与所述后时相特征数据之间的差异，生成相应的距离图；
采用阈值分割法对所述距离图进行处理，得到所述变化检测结果。
在一种可能的实现方式中，还包括对所述遥感影像变化检测网络进行训练的步骤；
其中，对所述遥感影像变化检测网络进行训练，包括：
获取训练样本集；其中，所述训练样本集包括多组遥感影像数据，每组遥感影像数据包括同一地区，不同时相的两幅遥感影像；
将所述训练样本集中每一组遥感影像数据依次输入至预先搭建好的遥感影像变化检测网络模型中，对所述遥感影像变化检测网络模型进行训练，得到所述遥感影像变化检测网络；
其中，在对所述遥感影像变化检测网络模型进行训练时，所采用的损失函数为：
Figure BDA0002787590030000051
其中，ω1表征不变特征对的权重，ω2表征变化特征对的权重，0.1*m和m分别作为判定不变样本对和变化样本对的边界值，di,j为两个图像的特征图在位置(i,j)处的欧式距离。
根据本申请的另一方面，还提供了一种高分辨率遥感影像变化检测装置，包括影像获取模块、影像输入模块和影像变化检测模块；
其中，所述影像获取模块，被配置为获取前时相遥感影像和后时相遥感影像；
所述影像输入模块，被配置为将所述前时相遥感影像和所述后时相遥感影像输入至训练好的所述遥感影像变化检测网络中；
所述影像变化检测模块，被配置为由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，得到前时相特征数据和后时相特征数据；
所述影像变化检测模块，还被配置为基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果；
其中，由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，包括：
由所述遥感影像变化检测网络中的前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将所述低级别前时相特征和所述高级别前时相特征进行融合后，得到所述前时相特征数据；
由所述遥感影像变化检测网络中的后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和所述高级卷积层输出的高级别后时相特征，并将所述低级别后时相特征和所述高级别后时相特征进行融合后，得到所述后时相特征数据。
采用本申请实施例所构建的高分辨率遥感影像变化检测网络，通过对前时相遥感影像和后时相遥感影像分别进行特征提取后，再将前时相遥感影像中所提取出的低级别前时相特征和高级别前时相特征进行融合得到前时相特征数据，将后时相遥感影像中所提取出的低级别后时相特征和高级别后时相特征进行融合得到后时相特征数据，这就有效丰富了影像特征，从而再基于所得到的前时相特征数据和后时相特征数据进行遥感影像的变化检测时，有效提高了检测结果的准确性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本申请一实施例的高分辨率遥感影像变化检测网络的网络结构图；
图2示出本申请一实施例的高分辨率遥感影像变化检测方法的流程图；
图3a示出某一应用场景下的前时相遥感影像图；
图3b示出图3a所示场景下的后时相遥感影像图；
图3c示出对图3a和图3b所示的应用场景进行人工变化检测的检测结果图；
图3d示出采用本申请一实施例的高分辨率遥感影像变化检测方法对图3a和图3b所示的应用场景进行变化检测的检测结果图；
图4a示出某一应用场景下的前时相遥感影像图；
图4b示出图4a所示场景下的后时相遥感影像图；
图4c示出对图4a和图4b所示的应用场景进行人工变化检测的检测结果图；
图4d示出采用本申请一实施例的高分辨率遥感影像变化检测方法对图4a和图4b所示的应用场景进行变化检测的检测结果图；
图5a示出某一应用场景下的前时相遥感影像图；
图5b示出图5a所示场景下的后时相遥感影像图；
图5c示出对图5a和图5b所示的应用场景进行人工变化检测的检测结果图；
图5d示出采用本申请一实施例的高分辨率遥感影像变化检测方法对图5a和图5b所示的应用场景进行变化检测的检测结果图；
图6示出采用本申请一实施例的高分辨率遥感影像变化检测网络进行遥感影像变化检测时的处理流程图；
图7示出本申请一实施例的高分辨率遥感影像变化检测装置的结构框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出本申请一实施例的高分辨率遥感影像变化检测网络的网络结构图。需要指出的是，本申请所构建的遥感影像变化检测网络主要是用于面向复杂环境的高分辨率遥感影像，对高分辨率遥感影像进行变化检测的。参阅图1，其包括两个平行设置的前时相特征提取分支和后时相特征提取分支。
其中，前时相特征提取分支包括第一卷积模块和前时相特征融合模块。第一卷积模块包括R层依次级联的卷积层。通过第一卷积模块对输入的前时相遥感影像进行卷积操作，由前时相遥感影像中提取出相应的特征数据。
前时相特征融合模块，则用于获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将低级别前时相特征和高级别前时相特征进行融合后，得到前时相特征数据。
对应的，后时相特征提取分支包括第二卷积模块和后时相特征融合模块。第二卷积模块包括S层依次级联的卷积层，第二卷积模块则用于对输入的后时相遥感影像进行卷积操作，由后时相遥感影像中提取出相应的特征数据。
后时相特征融合模块，用于获取第二卷积模块中的低级卷积层输出的低级别后时相特征和高级卷积层输出的高级别后时相特征，并将低级别后时相特征和高级别后时相特征进行融合后，得到后时相特征数据。
由此，采用本申请实施例所构建的高分辨率遥感影像变化检测网络，通过对前时相遥感影像和后时相遥感影像分别进行特征提取后，再将前时相遥感影像中所提取出的低级别前时相特征和高级别前时相特征进行融合得到前时相特征数据，将后时相遥感影像中所提取出的低级别后时相特征和高级别后时相特征进行融合得到后时相特征数据，这就有效丰富了影像特征，从而再基于所得到的前时相特征数据和后时相特征数据进行遥感影像的变化检测时，有效提高了检测结果的准确性。
其中，在一种可能的实现方式中，所构建的遥感影像变化检测网络中，第一卷积模块和第二卷积模块的卷积层的层数相同。即，R的取值与S的取值相同。
同时，还需要指出的是，第一卷积模块中的低级卷积层包括前r层依次级联的各卷积层，第一卷积模块中的高级卷积层包括后R-r层依次级联的各卷积层。第二卷积模块中的低级卷积层包括前s层依次级联的各卷积层，第二卷积模块中的高级卷积层包括后S-s层依次级联的各卷积层。其中，R、r、S、s的取值均为正整数，且R大于r，S大于s。
具体的，参阅图1，第一卷积模块与第二卷积模块均可以采用VGG16卷积结构。即，包括依次级联的Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3。其中，在该实施例中，Conv1-2和Conv2-2作为低级卷积层，且这两层卷积层的输出结果均为低级别前时相特征和低级别后时相特征。Conv3-3、Conv4-3和Conv5-3在均作为高级卷积层，同时这三层卷积层的输出结果则均为高级别前时相特征和高级别后时相特征。
在输入的前时相遥感影像和后时相遥感影像分别通过第一卷积模块和第二卷积模块进行相应的特征提取之后，即可再由前时相特征融合模块对提取出来的低级别前时相特征和高级别前时相特征进行融合，得到相应的前时相特征数据。同时，由后时相特征融合模块对提取出来的低级别后时相特征和高级别后时相特征进行融合，得到相应的后时相特征数据。
其中，在所构建的遥感影像变化检测网络中，参阅图1，前时相特征融合模块包括前时相低级特征处理子模块和前时相高级特征处理子模块。其中，前时相低级特征处理子模块包括依次连接的卷积层和空间注意力机制层；前时相高级特征处理子模块包括依次连接的通道注意力机制层、卷积层和上采样层。
由此，在前时相特征融合模块对低级别前时相特征和高级别前时相特征进行融合后，得到前时相特征数据时，可以先由前时相低级特征处理子模块将低级别前时相特征进行卷积，由低级别前时相特征中提取出第一特征，再利用空间注意力机制对第一特征进行处理，得到相应的第二特征。同时，由前时相高级特征处理子模块利用通道注意力机制对高级别前时相特征进行处理，得到第三特征后，对第三特征依次进行卷积和上采样，得到第四特征。然后，再将第二特征和第四特征进行融合，得到前时相特征数据。
其中，后时相特征融合模块的网络结构与前时相特征融合模块的网络结构相同，因此后时相特征融合模块将低级别后时相特征和高级别后时相特征进行融合以得到后时相特征数据的具体过程与前时相特征的融合相同或相似，此处不再进行赘述。
同时，参阅图1，本申请一实施例的遥感影像变化检测网络还包括变化检测结果生成模块。其中，变化检测结构生成模块与前时相特征融合模块和后时相特征融合模块均连接，用于获取前时相特征数据和后时相特征数据，并基于前时相特征数据与后时相特征数据之间的差异，得到相应的变化检测结果。
相应的，基于前面所述的遥感影像变化检测网络，本申请还提供了一种遥感影像变化检测方法。其中，本申请提供的遥感影像变换检测方法，主要是基于前面任一所述的遥感影像变换检测网络来实现对当前需要检测的遥感影像数据进行变化检测的。
具体的，图2示出了本申请实施例的遥感影像变化检测方法的流程图。参阅图2，该方法包括：步骤S100，获取前时相遥感影像和后时相遥感影像。此处，需要说明的是，所获取的前时相遥感影像和后时相遥感影像指的是对于同一地区不同时相的遥感影像。
然后，通过步骤S200，将前时相遥感影像和后时相遥感影像输入至训练好的遥感影像变化检测网络中。再执行步骤S300，由遥感影像变化检测网络分别对前时相遥感影像和后时相遥感影像进行特征提取，得到前时相特征数据和后时相特征数据。最后，再通过步骤S400，基于前时相特征数据与后时相特征数据之间的差异，得到相应的变化检测结果。
其中，根据前面遥感影像变化检测网络的相关描述，可以确定，在本申请实施例的遥感影像变化检测方法中，由遥感影像变化检测网络分别对前时相遥感影像和后时相遥感影像进行特征提取，包括：
由遥感影像变化检测网络中的前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将低级别前时相特征和高级别前时相特征进行融合后，得到所述前时相特征数据。以及
由遥感影像变化检测网络中的后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和高级卷积层输出的高级别后时相特征，并将低级别后时相特征和高级别后时相特征进行融合后，得到后时相特征数据。
其中，在一种可能的实现方式中，前时相特征融合模块将低级别前时相特征和高级别前时相特征进行融合时，包括：将低级别前时相特征进行卷积，由低级别前时相特征中提取出第一特征，再利用空间注意力机制对第一特征进行处理，得到相应的第二特征。同时，利用通道注意力机制对高级别前时相特征进行处理，得到第三特征后，对第三特征依次进行卷积和上采样，得到第四特征。进而，再将第二特征和第四特征进行融合，得到前时相特征数据。
对应的，后时相特征融合模块将低级别后时相特征和高级别后时相特征进行融合时，则包括：将低级别后时相特征进行卷积，由低级别后时相特征中提取出第五特征，再利用空间注意力机制对第五特征进行处理，得到相应的第六特征。同时，利用通道注意力机制对高级别后时相特征进行处理，得到第七特征后，对第七特征依次进行卷积和上采样，得到第八特征。进而，再将第六特征和第八特征进行融合，得到后时相特征数据。
进一步的，在通过上述任一种方式分别获取到前时相特征数据和后时相特征数据之后，即可基于所获取到的前时相特征数据与后时相特征数据之间的差异，得到相应的变化检测结果。
其中，在一种可能的实现方式中，基于前时相特征数据与后时相特征数据之间的差异，得到相应的变化检测结果，可以通过以下方式来实现。
即，首先，采用欧式距离计算方法计算前时相特征数据与后时相特征数据之间的差异，生成相应的距离图。然后，采用阈值分割法对距离图进行处理，得到变化检测结果。
由此，本申请实施例的遥感影像变化检测方法，通过采用孪生网络结构的遥感影像变化检测网络分别对前时相遥感影像和后时相遥感影像进行相应的特征提取，在特征提取过程中，分别对前时相遥感影像中所提取出的低级别特征和高级别特征进行特征融合，使得影像特征更为丰富。同时，在遥感影像变化检测网络中，通过引入通道注意力机制，获得了丰富的上下文信息，并通过引入空间注意力机制，有效过滤掉一些背景细节，从而使得影像特征更加显著。这也就有效提高了检测结果。
此外，还需要指出的是，由于本申请实施例的遥感影像变化检测方法是基于前面所构建的遥感影像变化检测网络进行的。因此，在应用所构建的遥感影像变化检测网络进行遥感影像变换检测时，还需要先对多构建的遥感影像变化检测网络模型进行训练，以使所构建的遥感影像变化检测网络模型收敛至最优网络结构。
其中，对遥感影像变化检测网络进行训练，可以通过以下方式来实现。即，首先，获取训练样本集。此处，需要说明的是，训练样本集包括多组遥感影像数据，每组遥感影像数据包括同一地区，不同时相的两幅遥感影像。然后，将训练样本集中每一组遥感影像数据依次输入至预先搭建好的遥感影像变化检测网络模型中，对遥感影像变化检测网络模型进行训练，得到遥感影像变化检测网络。
其中，在对遥感影像变化检测网络模型进行训练时，所采用的损失函数为：
Figure BDA0002787590030000121
其中，ω1表征不变特征对的权重，ω2表征变化特征对的权重，0.1*m和m分别作为判定不变样本对和变化样本对的边界值，di,j为两个图像的特征图在位置(i,j)处的欧式距离。
为更清楚地说明本申请实施例的遥感影像变化检测方法中，对所构建的遥感影像变化检测网络的训练过程，以下对其训练过程进行更加详细地说明。
参阅图6，首先，通过步骤S001，准备变化检测训练样本集。
将同一地区、不同时相的两幅高分辨率遥感影像视为一组数据，准备多组这样的数据，对每组影像进行配准和纠正，然后对每组数据的变化区域进行矢量标注，并将矢量标注文件映射为二值图(变化区域映射为255，非变化区域映射为0)，将前后时相影像及二值图中的变化区域对应着裁切出来，构成样本集，并进一步以7：3的比例划分为训练集和验证集。
举例来说，将同一地区、不同时相的两幅高分辨率遥感影像视为一组数据，准备100组这样的数据，对每组影像进行配准和纠正，然后对每组数据的变化区域进行矢量标注，并将矢量标注文件映射为二值图(变化区域映射为255，非变化区域映射为0)，将前后时相影像及二值图中的变化区域对应着裁切出来，构成2000组样本集，并以7：3的比例划分为训练集和验证集，即训练样本集包括1400组样本，验证集包括600组样本，每组样本中的图像大小为256x256个像素。
步骤S002，构建变化检测网络模型。
其中，所构建的网络模型如图1所示，该模型基于孪生网络结构来度量前后两个时相影像的相似程度，即包含两个平行分支，其中一个分支用于获取前时相遥感影像的特征，另一个分支用于获取后时相遥感影像特征，两个分支的卷积层均采用了VGG16卷积结构，即包括Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3,为了更加突出影像特征的显著性，本发明将卷积层所提取的低级特征和高级特征进行了融合,对于其中一个分支，将该分支Conv1-2、Conv2-2输出的特征作为低级特征Flow，对其进行进一步卷积，并通过空间注意力机制模块得到f1；将Conv3-3、Conv4-3、Conv5-3输出的特征作为高级特征Fhigh，并基于通道注意力模块对其进行处理，而后将其进行卷积和4倍上采样得到f2,将f1与f2进行融合，进而得到具有显著特征的特征图f3；另一个分支的处理过程与该分支相同，基于欧式距离计算方法计算两个分支的特征图f3与f3'的差异，即生成距离图fdist，该模型在训练过程中会使用改进的对比损失函数，如式(1)所示，相对于原始的对比损失函数，改进后的对比损失函数加入了差异度量容差0.1*m，并引入权重ω1和ω2，用于代表不变特征对和变化特征对的权重。其中，0.1*m和m作为判定不变样本对和变化样本对的边界值，di,j为两个图像的特征图在位置(i,j)处的欧式距离，如果(i,j)对应的像素对没有变化，则yi,j＝0，如果(i,j)对应的像素对有变化，则yi,j＝1。ω1和ω2的计算公式参见式(2)，式(2)中PU、PC分别为非变化像素对和变化像素对出现的频率，Loss用于计算变化真值图与模型输出结果图的差异，并通过不断循环迭代，逐渐优化网络模型；在测试过程中，距离图fdist通过阈值分割即可得到表征变化情况的二值图。
举例来说，构建如图2所示的网络结构，其中两个分支的卷积层均采用了VGG16卷积结构，即包括Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3，当将大小为256x256，通道数为3的前后时相的样本图像分别输入到网络的2个输入端后，每个分支的会得到维度为256x256x192的低级别特征，低级特征通过卷积操作后，得到一个256x256x64维度的特征向量，通过空间注意力模块后,仍得到一个256x256x64维度的特征向量f1；每个分支会得到64x64x384的高级别特征，通过通道注意力模块后，仍保持64x64x384的维度，并通过1x1x64的卷积以及4倍上采样得到256x256x64维度的特征向量f2,将f1和f2融合后得到256x256x1的特征图，并采用改进后的对比度损失函数进行模型训练。
步骤S003，训练变化检测网络模型；
即，设置模型训练参数，如学习率、步长等，并设定模型训练的终止条件，即设定Loss小于设定的阈值Lossthreshold时，停止模型的训练。在训练过程中，预先准备的训练样本集和验证样本集被输入到网络结构中，作为模型训练的训练集和验证集。每组样本前后两个时相的图像分别被输入到孪生网络结构的两个分支中，对应的二值图作为变化区域的标注真值参与模型训练，通过训练逐步优化模型的各个参数，直到模型训练终止条件得到满足，即完成了网络模型的训练。
举例来说，设置模型的超参数，包括学习率、步长等，将预先准备的大小为256x256像素，通道数为3的前后时相的样本图像逐对输入到网络结构中，并将二值图作为标注真值信息参与模型训练。当输出的Loss小于设定的阈值时，训练结束。
步骤S004，测试变化检测网络模型；
首先设置测试参数，并将待测试的前后时相遥感影像进行配准和纠正，若待测试的遥感影像为超大图像，而重点关注的区域只为其中的一小部分区域，可利用矢量文件将重点关注的区域范围勾画为矢量图斑，并将其作为先验信息应用于测试过程中，即在测试过程中只对矢量图斑对应的局部区域进行变化检测，从而可以有效屏蔽非重点关注区域造成的干扰，并提高处理效率。在处理过程中，影像会按照预先设定的块大小逐块输入到本发明构建的网络模型中进行，并将每块输出的变化检测二值图拼接为超大图像，拼接后的图像中，像素值为255的区域即为发生变化的区域。
举例来说，以2张大小为10000x10000像素的前后时像影像作为测试数据，并利用矢量标注软件在这两幅图所覆盖区域的内部勾画一块大小为6000x6000像素的矩形矢量要素作为关注区，并以该矢量文件作为先验信息进行测试，模型会输出一个10000x10000像素的二值图，通过栅格转矢量，得到最终的变化检测矢量文件。图3a至图3d、图4a至图4d、以及图5a至图5d均给出了检测结果与真值的局部对比图。
由此，本申请实施例的遥感影像变化检测方法，在对所构建的遥感影像变化检测网络模型进行训练时，通过在损失函数中加入差异度量容差(即，0.1*m)，该容差可以将两个影像的存在微弱差异的区域(如受季节影响颜色发生一定变化的植被区、建筑周围存在的因拍摄视角造成的偏差区域)认定为非变化区域，可以在一定程度上抑制光谱差异和视角差异造成的伪变化。
相应的，基于前面任一所述的遥感影像变化检测方法，本申请还提供了一种遥感影像变化检测装置。由于本申请提供的遥感影像变化检测装置的工作原理与本申请的遥感影像变化检测方法的原理相同或相似，因此重复之处不再赘述。
参阅图7，本申请实施例的遥感影像变化检测装置100，包括：影像获取模块110、影像输入模块120和影像变化检测模块130。其中，影像获取模块110，被配置为获取前时相遥感影像和后时相遥感影像。影像输入模块120，被配置为将前时相遥感影像和后时相遥感影像输入至训练好的遥感影像变化检测网络中。影像变化检测模块130，被配置为由遥感影像变化检测网络分别对前时相遥感影像和后时相遥感影像进行特征提取，得到前时相特征数据和后时相特征数据。影像变化检测模块130，还被配置为基于前时相特征数据与后时相特征数据之间的差异，得到相应的变化检测结果。
其中，由遥感影像变化检测网络分别对前时相遥感影像和后时相遥感影像进行特征提取，包括：
由遥感影像变化检测网络中的前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将低级别前时相特征和高级别前时相特征进行融合后，得到前时相特征数据；
由遥感影像变化检测网络中的后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和高级卷积层输出的高级别后时相特征，并将低级别后时相特征和高级别后时相特征进行融合后，得到后时相特征数据。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种高分辨率遥感影像变化检测网络，其特征在于，用于面向复杂环境的高分辨率遥感影像进行变化检测，包括：两个平行设置的前时相特征提取分支和后时相特征提取分支；
所述前时相特征提取分支包括第一卷积模块和前时相特征融合模块；所述第一卷积模块包括R层依次级联的卷积层；
所述前时相特征融合模块，用于获取所述第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将所述低级别前时相特征和所述高级别前时相特征进行融合后，得到所述前时相特征数据；
所述后时相特征提取分支包括第二卷积模块和后时相特征融合模块；所述第二卷积模块包括S层依次级联的卷积层；
所述后时相特征融合模块，用于获取所述第二卷积模块中的低级卷积层输出的低级别后时相特征和所述高级卷积层输出的高级别后时相特征，并将所述低级别后时相特征和所述高级别后时相特征进行融合后，得到所述后时相特征数据；
所述前时相特征融合模块包括前时相低级特征处理子模块和前时相高级特征处理子模块；
所述前时相低级特征处理子模块包括依次连接的卷积层和空间注意力机制层；
所述前时相高级特征处理子模块包括依次连接的通道注意力机制层、卷积层和上采样层；
所述后时相特征融合模块的网络结构与所述前时相特征融合模块的网络结构相同；
其中，还包括变化检测结果生成模块；
所述变化检测结构生成模块与所述前时相特征融合模块和所述后时相特征融合模块均连接，用于获取所述前时相特征数据和所述后时相特征数据，并基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果。
2.根据权利要求1所述的网络，其特征在于，R的取值与S的取值相同；
其中，所述第一卷积模块与所述第二卷积模块均采用VGG16卷积结构。
3.根据权利要求1所述的网络，其特征在于，所述第一卷积模块中的低级卷积层包括前r层依次级联的各卷积层，所述第一卷积模块中的高级卷积层包括后R-r层依次级联的各卷积层；
所述第二卷积模块中的低级卷积层包括前s层依次级联的各卷积层，所述第二卷积模块中的高级卷积层包括后S-s层依次级联的各卷积层；
其中，R、r、S、s的取值均为正整数，且R大于r，S大于s。
4.一种高分辨率遥感影像变化检测方法，其特征在于，基于权利要求1至3任一项所述的高分辨率遥感影像变化检测网络对当前需要检测的遥感影像进行变化检测，包括：
获取前时相遥感影像和后时相遥感影像；
将所述前时相遥感影像和所述后时相遥感影像输入至训练好的所述遥感影像变化检测网络中；
由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，得到前时相特征数据和后时相特征数据；
基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果；
其中，由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，包括：
由所述遥感影像变化检测网络中的前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将所述低级别前时相特征和所述高级别前时相特征进行融合后，得到所述前时相特征数据；
由所述遥感影像变化检测网络中的后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和所述高级卷积层输出的高级别后时相特征，并将所述低级别后时相特征和所述高级别后时相特征进行融合后，得到所述后时相特征数据。
5.根据权利要求4所述的方法，其特征在于，所述前时相特征融合模块将所述低级别前时相特征和所述高级别前时相特征进行融合时，包括：
将所述低级别前时相特征进行卷积，由所述低级别前时相特征中提取出第一特征，再利用空间注意力机制对所述第一特征进行处理，得到相应的第二特征；
利用通道注意力机制对所述高级别前时相特征进行处理，得到第三特征后，对所述第三特征依次进行卷积和上采样，得到第四特征；
将所述第二特征和所述第四特征进行融合，得到所述前时相特征数据；
其中，所述后时相特征融合模块将所述低级别后时相特征和所述高级别后时相特征进行融合时，包括：
将所述低级别后时相特征进行卷积，由所述低级别后时相特征中提取出第五特征，再利用空间注意力机制对所述第五特征进行处理，得到相应的第六特征；
利用通道注意力机制对所述高级别后时相特征进行处理，得到第七特征后，对所述第七特征依次进行卷积和上采样，得到第八特征；
将所述第六特征和所述第八特征进行融合，得到所述后时相特征数据。
6.根据权利要求4所述的方法，其特征在于，基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果，包括：
采用欧式距离计算方法计算所述前时相特征数据与所述后时相特征数据之间的差异，生成相应的距离图；
采用阈值分割法对所述距离图进行处理，得到所述变化检测结果。
7.根据权利要求4至6任一项所述的方法，其特征在于，还包括对所述遥感影像变化检测网络进行训练的步骤；
其中，对所述遥感影像变化检测网络进行训练，包括：
获取训练样本集；其中，所述训练样本集包括多组遥感影像数据，每组遥感影像数据包括同一地区，不同时相的两幅遥感影像；
将所述训练样本集中每一组遥感影像数据依次输入至预先搭建好的遥感影像变化检测网络模型中，对所述遥感影像变化检测网络模型进行训练，得到所述遥感影像变化检测网络；
其中，在对所述遥感影像变化检测网络模型进行训练时，所采用的损失函数为：
；
其中，ω1表征不变特征对的权重，ω2表征变化特征对的权重，0.1*和分别作为判定不变样本对和变化样本对的边界值，为两个图像的特征图在位置处的欧式距离。
8.一种高分辨率遥感影像变化检测装置，其特征在于，包括影像获取模块、影像输入模块和影像变化检测模块；
其中，所述影像获取模块，被配置为获取前时相遥感影像和后时相遥感影像；
所述影像输入模块，被配置为将所述前时相遥感影像和所述后时相遥感影像输入至训练好的所述遥感影像变化检测网络中；
所述影像变化检测模块，被配置为由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，得到前时相特征数据和后时相特征数据；
所述影像变化检测模块，还被配置为基于所述前时相特征数据与所述后时相特征数据之间的差异，得到相应的变化检测结果；
其中，由所述遥感影像变化检测网络分别对所述前时相遥感影像和所述后时相遥感影像进行特征提取，包括：
由所述遥感影像变化检测网络中的前时相特征融合模块获取第一卷积模块中的低级卷积层输出的低级别前时相特征和高级卷积层输出的高级别前时相特征，并将所述低级别前时相特征和所述高级别前时相特征进行融合后，得到所述前时相特征数据；
由所述遥感影像变化检测网络中的后时相特征融合模块获取第二卷积模块中的低级卷积层输出的低级别后时相特征和所述高级卷积层输出的高级别后时相特征，并将所述低级别后时相特征和所述高级别后时相特征进行融合后，得到所述后时相特征数据；
所述前时相特征融合模块包括前时相低级特征处理子模块和前时相高级特征处理子模块；
所述前时相低级特征处理子模块包括依次连接的卷积层和空间注意力机制层；
所述前时相高级特征处理子模块包括依次连接的通道注意力机制层、卷积层和上采样层；
所述后时相特征融合模块的网络结构与所述前时相特征融合模块的网络结构相同。
CN202011303619.1A 2020-11-19 2020-11-19 高分辨率遥感影像变化检测网络和方法及装置 Active CN112365525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303619.1A CN112365525B (zh) 2020-11-19 2020-11-19 高分辨率遥感影像变化检测网络和方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303619.1A CN112365525B (zh) 2020-11-19 2020-11-19 高分辨率遥感影像变化检测网络和方法及装置

Publications (2)

Publication Number Publication Date
CN112365525A CN112365525A (zh) 2021-02-12
CN112365525B true CN112365525B (zh) 2023-05-16

Family

ID=74534018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303619.1A Active CN112365525B (zh) 2020-11-19 2020-11-19 高分辨率遥感影像变化检测网络和方法及装置

Country Status (1)

Country Link
CN (1) CN112365525B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807198B (zh) * 2021-08-24 2023-08-22 深圳市魔方卫星科技有限公司 道路网变化检测方法、模型训练方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110853026A (zh) * 2019-11-16 2020-02-28 四创科技有限公司 一种融合深度学习与区域分割的遥感影像变化检测方法
CN110889399A (zh) * 2019-12-23 2020-03-17 北京航天泰坦科技股份有限公司 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN110991611A (zh) * 2019-11-29 2020-04-10 北京市眼科研究所 一种基于图像分割的全卷积神经网络
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111651504A (zh) * 2020-06-03 2020-09-11 湖南大学 基于深度学习的多元时间序列多层时空依赖建模方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110853026A (zh) * 2019-11-16 2020-02-28 四创科技有限公司 一种融合深度学习与区域分割的遥感影像变化检测方法
CN110991611A (zh) * 2019-11-29 2020-04-10 北京市眼科研究所 一种基于图像分割的全卷积神经网络
CN110889399A (zh) * 2019-12-23 2020-03-17 北京航天泰坦科技股份有限公司 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111651504A (zh) * 2020-06-03 2020-09-11 湖南大学 基于深度学习的多元时间序列多层时空依赖建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于协同分割的高分辨率遥感图像变化检测;袁敏;肖鹏峰;冯学智;张学良;胡永月;;南京大学学报(自然科学)(第05期);全文 *

Also Published As

Publication number Publication date
CN112365525A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110188685B (zh) 一种基于双注意力多尺度级联网络的目标计数方法及***
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN113822314B (zh) 图像数据处理方法、装置、设备以及介质
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN106548169A (zh) 基于深度神经网络的模糊文字增强方法及装置
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN113298039B (zh) 一种顾及遥感图像旋转目标的目标检测方法
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN114663509A (zh) 一种关键点热力图引导的自监督单目视觉里程计方法
CN105488759A (zh) 一种基于局部回归模型的图像超分辨率重建方法
CN106355210A (zh) 基于深度神经元响应模式的绝缘子红外图像特征表达方法
CN112365525B (zh) 高分辨率遥感影像变化检测网络和方法及装置
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及***
Ran et al. RGAN: Rethinking generative adversarial networks for cloud removal
CN110570402A (zh) 基于边界感知神经网络的双目显著物体检测方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN109583626B (zh) 路网拓扑重建方法、介质及***
CN116958800A (zh) 基于层次注意力残差UNet++的遥感影像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100075 room 1107, Haitai building, 229 beisihuanzhong Road, Haidian District, Beijing

Patentee after: Aerospace Science and Technology (Beijing) Space Information Application Co.,Ltd.

Address before: 100075 room 1107, Haitai building, 229 beisihuanzhong Road, Haidian District, Beijing

Patentee before: BEIJING AEROSPACE TITAN TECHNOLOGY Co.,Ltd.