CN112633123B - 一种基于深度学习的异源遥感影像变化检测方法及装置 - Google Patents

一种基于深度学习的异源遥感影像变化检测方法及装置 Download PDF

Info

Publication number
CN112633123B
CN112633123B CN202011503728.8A CN202011503728A CN112633123B CN 112633123 B CN112633123 B CN 112633123B CN 202011503728 A CN202011503728 A CN 202011503728A CN 112633123 B CN112633123 B CN 112633123B
Authority
CN
China
Prior art keywords
remote sensing
source
sensing image
image
change detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011503728.8A
Other languages
English (en)
Other versions
CN112633123A (zh
Inventor
袁兆祥
杜正舜
李星华
司为国
韩嘉佳
汪自翔
罗少杰
刘剑
吴发献
方炯
徐晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office
Wuhan University WHU
State Grid Zhejiang Electric Power Co Ltd
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office
Wuhan University WHU
State Grid Zhejiang Electric Power Co Ltd
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office, Wuhan University WHU, State Grid Zhejiang Electric Power Co Ltd, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd, Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office
Priority to CN202011503728.8A priority Critical patent/CN112633123B/zh
Publication of CN112633123A publication Critical patent/CN112633123A/zh
Application granted granted Critical
Publication of CN112633123B publication Critical patent/CN112633123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的异源遥感影像变化检测方法，涉及图像处理技术领域，用于解决变化检测不精确且影像源单一的问题，该方法包括以下步骤：接收多时异源遥感影像；将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；将所述单源遥感影像输入预设变化检测网络，得到二值变化图。本发明还公开了一种异源遥感影像变化检测装置，通过对异源遥感影像进行转换，并通过变化检测网络获取遥感影像的二值变化图。本发明能够同时实现两幅遥感影像的域转换；可以有效地解决异源遥感影像之间数据差异的问题，并通过深度学习变化检测网络提取出不同时相影像所存在的变化区域，在一定程度上改善了目视效果。

Description

一种基于深度学习的异源遥感影像变化检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的异源遥感影像变化检测方法及装置。
背景技术
在对遥感影像进行处理时，变化检测是其中一个非常重要的课题，变化检测在救灾、农业调查、城市规划、军事监测等实际应用中都发挥着重要作用。随着遥感影像处理技术的进步，各种分辨率及各种传感器的出现增加了遥感数据的多样性，为开展变化检测供了充足的数据保障。在进行变化检测时，通常都需要检测变化趋势，检测时往往只依赖一种数据形式，导致无论是在对突发事件的响应时间还是在时间分辨率方面，都存在了一定的局限性。
相比于只依赖一种数据形式，多种空间、时间分辨率的光学遥感影像不仅能提供地物光谱信息，而且还能反映地物的纹理、几何形状等信息，从而保证了变化检测的可能性和准确性。例如，光学和SAR(合成孔径雷达)图像这两个主要来源就经常被于遥感图像的研究。在面对极端天气和自然灾害的情况时，例如遇到洪水、地震等自然灾害时，由于恶劣的天气条件，很多时候事件前后的光学遥感影像都难以被使用，而SAR由于具有全天时、全天候的特性，因此，其可以取得高质量的目标地区影像，将得到影像通过多源传感器的异源遥感图像变化检测，就能够及时、精确地反映目标地区事件发生前后的状况。
目前，国内外基于遥感影像变化检测的技术研究，大多仅采用光学遥感影像或者SAR影像这样的单一数据源，在使用融合影像开展遥感技术分析研究时，也仅限于光学影像之间的融合或多频段多极化SAR影像之间的融合，鲜有涉及使用异源图像中不同成像方式的融合数据进行变化检测的研究。目前异源图像变化检测方面的研究主要可以分为三类：
1.传统基于差分影像信息的方法，例如局部联合分布与流形学习，多模态变化检测的马尔可夫模型(M3CD)，受监督的同类像素转变法(HPT)以及基于吸引力矩阵的图像回归法(AM-IR)等等。这些方法利用了异源图像间同类地物的相似性，但当图像间的地物差异较大时或检测区域范围较大时，会导致差分影像的信息较粗糙，从而使提取到的图像精度较低。
2.基于传统分类的方法，例如后分类比较(PC-CC)以及多时相分割和混合分类(MS-CC)等方法。这类方法虽然能够通过分类之后提取出变化区域，但其精度往往依赖于分类器的精度，当面对多类分类问题时，其模型往往比较复杂。
3.基于深度学习的方法，例如对称卷积耦合网络(SCCN)，基于对数变换特征学习(LTFL)的方法以及基于条件对抗网络(cGAN)的方法等等。这些方法证明了深度学习方法在异源遥感图像变化检测的有效性。虽然这些方法能够将异源遥感图像通过编码后转换从而统一到相同的特征空间里减少图像之间的差异。但是这些方法大多都是基于无监督的思想，并且最后采用阈值分割法来处理结果，容易导致变化区域的错判，因此精度往往不高。
综上，目前的异源图像变化检测方法都存在一定的缺陷，亟需一种高完成度和精确度的图像变化检测方法。
发明内容
为了克服上述现有技术的不足，本发明的目的之一在于提供一种异源遥感影像变化检测方法，其通过GAN网络对异源遥感影像进行单源遥感影像转化，进而通过变化检测网络得到二值变化图。
本发明的目的之一采用以下技术方案实现：
一种异源遥感影像变化检测方法，包括以下步骤：
接收多时异源遥感影像；
将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；
将所述单源遥感影像输入预设变化检测网络，得到二值变化图，所述预设变化检测网络为深度学习网络。
进一步地，接收多时异源遥感影像，还包括以下步骤：
对所述多时异源遥感影像进行预处理，所述预处理包括几何校正、大气校正和地理配准。
进一步地，所述多时异源遥感影像包括两个异源遥感影像，所述单源遥感影像的源域为所述异源遥感影像中任一源遥感影像的源域。
进一步地，将所述单源遥感影像输入预设变化检测网络，得到二值变化图，包括以下步骤：
将所述单源遥感影像输入预设变化检测网络进行预测，得到输出结果z；
将所述结果z代入Sigmond函数σ中计算像元的二类概率图，其中所述Sigmond函数σ的计算公式为：
将所述二类概率图中概率最高的一个类别作为最终预测结果，并生成所述最终预测结果对应的二值变化图。
进一步地，所述预设GAN网络包括编码器，两个生成器G、F及两个判别器DX、DY。
进一步地，所述预设GAN网络为预先训练完成的GAN网络，所述预设GAN网络的训练过程包括以下步骤：
接收X源和Y源两种遥感影像；
分别构建所述X源和Y源遥感影像的数据集，并将所述数据集划分为训练集和测试集；
将所述训练集输入GAN网络进行训练，其中，训练迭代次数为预设值；
训练完成后，将所述GAN网络作为所述预设GAN网络。
进一步地，将所述训练集输入GAN网络进行训练，包括以下步骤：
通过所述编码器学习所述X源和Y源两种遥感影像的特征；
将所述X源和Y源两种遥感影像输入生成器G及生成器F：
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器G，将所述X源遥感影像转换至Y源图像域，或，将所述Y源遥感影像转换至X源图像域，转换后的所述X源遥感影像和所述Y源遥感影像称为G(x)和G(y)；
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器F，得到重构影像F(x)或F(y)，其中，所述重构损失Lrecon满足：
其中，a表示X源图像域或Y源图像域；pdata(a)表示a源图像域中的数据分布概率，/>表示a中样本集的期望值；
将所述转换后影像G(x)或G(y)输入所述生成器F，将G(x)或G(y)转换至X源图像域或Y源图像域，称为循环影像F(G(x))或F(G(y))，其中，转换过程中的损失值Lcyc满足：
其中，a表示X源图像域或Y源图像域；
将所述循环影像F(G(x))或F(G(y))输入生成器G及生成器F进行迭代训练，直至迭代次数达到所述预设值。
进一步地，所述预设变化检测网络为预先训练完成的变化检测网络，所述预设变化检测网络包括四层编码层，每层所述编码层包括两个卷积层和一个池化层，所述编码层对应的四个解码层的每层包括两个卷积层和一个上采样层；所述预设变化检测网络的训练过程包括以下步骤：
接收若干幅双时相遥感影像，称为b1、b2，b表示影像源域；
将所述双时相遥感影像b1、b2输入变化检测网络进行训练；
当所述变化检测网络循环训练至不再改变时，停止训练，并将所述变化检测网络作为所述预设变化检测网络。
进一步地，所述变化检测网络的损失函数为焦点损失函数Lfl，所述焦点损失函数的计算满足：其中，b′为变化像元的概率，α为权重系数，r为调制系数。
本发明的目的之二在于提供一种异源遥感影像变化检测装置，其通过GAN网络对异源遥感影像进行单源遥感影像转化，进而通过变化检测网络得到二值变化图。
本发明的目的之二采用以下技术方案实现：
一种异源遥感影像变化检测其包括：
接收模块，用于接收多时异源遥感影像；
转换模块，用于将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；
输出模块，用于将所述单源遥感影像输入预设变化检测网络，得到二值变化图，所述预设变化检测网络为深度学习网络。
相比现有技术，本发明的有益效果在于：
本发明提出了一种异源遥感影像变化检测方法，可以完成对不同类型遥感影像的变化区域提取。本发明利用生成对抗GAN网络对遥感异源影像的分布进行学习，能够同时实现两幅遥感影像的域转换；可以有效地解决异源遥感影像之间数据差异的问题，并通过深度学习变化检测网络提取出不同时相影像所存在的变化区域，一定程度上改善了目视效果，对于城市规划，灾害监测和损失评估、自然资源调查等领域具有重要意义。
附图说明
图1是本发明实施例一的异源遥感影像变化检测方法流程图；
图2是本发明实施例一的变化检测网络预测方法的流程图；
图3是本发明实施例二的GAN网络训练过程的流程图；
图4是本发明实施例二的GAN网络迭代训练过程的流程图；
图5是本发明实施例二的变化检测网络训练过程的流程图；
图6是本发明实施例三的异源遥感影像变化检测装置的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例一
实施例一提供了一种异源遥感影像变化检测方法，旨在通过GAN与变化检测网络结合的方式对异源遥感图像进行变化检测，精度高且在遥感检测领域具有通用性。
请参照图1所示，一种异源遥感影像变化检测方法，包括以下步骤：
S110、接收多时异源遥感影像；
S110中接收的多时异源遥感影像，为了增加后续模型识别和分析的准确度，还需要对其进行预处理，包括几何校正、大气校正、地理配准；几何校正主要是为了防止影像与参照***中的表达要求不一致时产生的变形，大气校正主要是为了消除由大气影响所造成的辐射误差，因为S110中接收的是异源遥感影像，因此其接收到的遥感影像通常是由不同遥感器所传输的，不同的传感器的遥感影像可能图像范围大小不同，所以需要进行地理配准到同一大小范围的区域；此外，还可根据实际需求增加其他的预处理流程，例如将影像进行重采样到相同的分辨率，以便防止不同特性的传感器导致分辨率不同问题的产生。
S110中的具体源域本实施例不作具体限定，例如SAR影像，光学影像Lidar影像等。当然，根据接收源域的不同，训练时也需选择相应源域的数据进行训练。
S120、将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；
本实施例中的异源遥感影像指的是两个异源遥感影像，转换时，将其中一个异源遥感影像转换至另一个异源遥感影像的源域，即单源遥感影像的源域为异源遥感影像中任一源遥感影像的源域。当然，当需要对两种以上的异源遥感进行变化检测时，只需在GAN网络训练时增加相应的源域转换训练就可以实现，具体训练方法请参照实施例二。
S120中的预设GAN网络指的是已训练完成的生成式对抗网络，GAN网络包括一个生成器和一个判别器，其通过引入对抗训练使得生成器能够生成高质量的图片，生成器用于生成图片，判别器用于对生成的图片进行打分，训练过程中，生成器和判别器的能力不断提高，从而提高整个模型的能力。
本实施例中的异源遥感影像为两个，相应地，本实施例中的预设GAN网络包括编码器，两个生成器G、F及两个判别器DX、DY。
通过本实施例的GAN网络可以实现对不同传感器、不同成像方式的遥感影像进行域转换。
S130、将所述单源遥感影像输入预设变化检测网络，得到二值变化图，所述预设变化检测网络为深度学习网络。
需要说明的是，上述单源遥感影像既包括转换后的单源遥感影像，也包括异源遥感影像中无需转换的遥感影像，例如对于异源遥感影像AB，通过预设GAN网络将A源域的遥感影像转换为B源域遥感影像后，输入预设变化检测网络的遥感影像包括转换后的A源域遥感影像以及无需转换的B源域遥感影像。
S130中的深度学习网络可以是现有的深度学习变化检测网络，本实施例中采用Unet网络。
请参照图2所示，S130具体包括以下步骤：
S1301、将所述单源遥感影像输入预设变化检测网络进行预测，得到输出结果z；
S1302、将所述结果z代入Sigmond函数σ中计算像元的二类概率图，其中所述Sigmond函数σ的计算公式为：
S1303、将所述二类概率图中概率最高的一个类别作为最终预测结果，并生成所述最终预测结果对应的二值变化图。
在实际操作时，通过本实施例所描述的异源遥感影像变化检测方法进行遥感影像变化检测，精度达到了0.96以上，具有较好的鲁棒性。
实施例二
实施例二主要对实施例一中预设GAN网络和预设变化检测网络的训练过程进行解释和说明。
请参照图3所示，
所述预设GAN网络的训练过程包括以下步骤：
S210、接收X源和Y源两种遥感影像；
S220、分别构建所述X源和Y源遥感影像的数据集，并将所述数据集划分为训练集和测试集；
S220中数据集划分时，可以将遥感影像进行50％重叠度裁剪，将每幅影像裁剪为m幅n×n大小的图像，n≥256；其中，本实施例中要求遥感影像为彩色RGB的3通道影像或灰度影像。
S220中训练集和测试集的比例本实施例不作具体限定，可以根据实际数据集大小等进行设定。
S230、将所述训练集输入GAN网络进行训练，其中，训练迭代次数为预设值；
上述的预设值可以根据实际需求进行设定，例如设定迭代次数为200000次。
请参照图4所示，S230的训练过程包括以下步骤：
S2301、通过所述编码器学习所述X源和Y源两种遥感影像的特征；
S2302、将所述X源和Y源两种遥感影像输入生成器G及生成器F：
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器G，将所述X源遥感影像转换至Y源图像域，或，将所述Y源遥感影像转换至X源图像域，转换后的所述X源遥感影像和所述Y源遥感影像称为G(x)和G(y)；
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器F，得到重构影像F(x)或F(y)，其中，所述重构损失Lrecon满足：
其中，a表示X源图像域或Y源图像域；pdata(a)表示a源图像域中的数据分布概率，/>表示a中样本集的期望值；
将所述转换后影像G(x)或G(y)输入所述生成器F，将G(x)或G(y)转换至X源图像域或Y源图像域，称为循环影像F(G(x))或F(G(y))，其中，转换过程中的损失值Lcyc满足：
其中，a表示X源图像域或Y源图像域；
S2302中的引入重构损失Lrecon的目的是为了使得F(x)或F(y)与原图X源遥感影像或Y源遥感影像尽量接近；而引入损失值Lcyc的目的是为了通过降低循环一致性损失Lcyc来实现：使F(G(x))或F(G(y))与原图X源遥感影像或Y源遥感影像接近。
S2303、将所述循环影像F(G(x))或F(G(y))输入生成器G及生成器F进行迭代训练，直至迭代次数达到所述预设值。
GAN网络模型在多次循环的过程中会逐渐降低Lrecon和Lcyc的损失值的大小，通过不断的学习、迭代训练使得转换效果被改善，最终得到效果较好且参数稳定的用于转换的模型，作为预设GAN网络模型。
需要说明的是，在训练时，只需选择一种源域的遥感影像进行转换，例如只需训练将X源遥感影像转换为Y源遥感影像，无需对两中源域遥感影像互相转换都进行训练。
S240、训练完成后，将所述GAN网络作为所述预设GAN网络。
请参照图5所示，所述预设变化检测网络的训练过程包括以下步骤：
S310、接收若干幅双时相遥感影像，称为b1、b2，b表示影像源域；
S310的遥感影像为GAN网络训练完成后输出的遥感影像，例如G(x)及Y源遥感影像。
需要说明的是，本实施例中变化检测网络为在深度学习网络Unet网络上进行的改进。其原理在于通过对维度拼接后的b1、b2，分别进行卷积，归一化以及激活等操作提取出一系列特征，并使用最大池化操作来对特征进行降采样以提取在不同分辨率、不同层次上的特征。通过反卷积进行上采样还原到原有分辨率的同时，使用跳跃方式连接低层和高层特征对图像进行编码，加强全局感受。
S320、将所述双时相遥感影像b1、b2输入变化检测网络进行训练；
S330、当所述变化检测网络循环训练至不再改进时，停止训练，并将所述变化检测网络作为所述预设变化检测网络。
上述训练时的损失函数为焦点损失函数Lfl，焦点损失函数的计算满足：
其中，b′为变化像元的概率，α为权重系数，r为调制系数。
由于变化检测中的变化区域一般都只占比较少的面积，而大部分往往是不变化区域，存在类别不平衡问题，因此本实施例中在损失函数的设计上，使用了焦点损失函数，通过提高占比较少的变化类别的权重系数和调制系数，来消除类别不平衡带来的影响。
本实施例中的预设变化检测网络包括四层编码层，每层所述编码层包括两个卷积层和一个池化层，所述编码层对应的四个解码层的每层包括两个卷积层和一个上采样层。
解码层的后三层会输出不同尺度的二值变化预测图，本实施例对降采样时的损失函数通过三个不同的焦点损失函数Lfl1、Lfl2、Lfl3实现。最后使用加权损失赋予权重w1、w2和w3来计算总的损失Loss。
其公式为：
Loss＝w1*Lfl1+w2*Lfl2+w3*Lfl3，其中，w1＝0.2，w2＝0.3，w3＝0.5；
当然，损失Loss的计算方法并不限于本实施例所描述的计算方法。
优选地，对变化检测网络训练时，可以采用动态学习率策略，基础学习率设为0.01，当模型在循环过程中超过5次没有改进，学习率会按照指数方式降低，以使得模型的学习范围变大，朝不同的方向进行搜索。当模型超过100个循环没有提升时，或者当学习率小于1e-7时，循环将会停止，即S330中的停止训练。
实施例三
实施例三公开了一种对应上述实施例的异源遥感影像变化检测方法对应的装置，为上述实施例的虚拟装置结构，请参照图6所示，包括：
接收模块410，用于接收多时异源遥感影像；
转换模块420，用于将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；
输出模块430，用于将所述单源遥感影像输入预设变化检测网络，得到二值变化图。
优选地，接收多时异源遥感影像，包括以下步骤：
对所述多时异源遥感影像进行预处理，所述预处理包括几何校正、大气校正、地理配准。
所述多时异源遥感影像包括两个异源遥感影像，所述单源遥感影像的源域为所述异源遥感影像中任一源遥感影像的源域。
优选地，将所述单源遥感影像输入预设变化检测网络，得到二值变化图，包括以下步骤：
将所述单源遥感影像输入预设变化检测网络进行预测，得到输出结果z；
将所述结果z代入Sigmond函数σ中计算像元的二类概率图，其中所述Sigmond函数σ的计算公式为：
将所述二类概率图中概率最高的一个类别作为最终预测结果，并生成所述最终预测结果对应的二值变化图。
优选地，所述预设GAN网络包括编码器，两个生成器G、F及两个判别器DX、DY。
优选地，所述预设GAN网络为预先训练完成的GAN网络，所述预设GAN网络的训练过程包括以下步骤：
接收X源和Y源两种遥感影像；
分别构建所述X源和Y源遥感影像的数据集，并将所述数据集划分为训练集和测试集；
将所述训练集输入GAN网络进行训练，其中，训练迭代次数为预设值；
训练完成后，将所述GAN网络作为所述预设GAN网络。
将所述训练集输入GAN网络进行训练，包括以下步骤：
通过所述编码器学习所述X源和Y源两种遥感影像的特征；
将所述X源和Y源两种遥感影像输入生成器G及生成器F：
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器G，将所述X源遥感影像转换至Y源图像域，或，将所述Y源遥感影像转换至X源图像域，转换后的所述X源遥感影像和所述Y源遥感影像称为G(x)和G(y)；
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器F，得到重构影像F(x)或F(y)，其中，所述重构损失Lrecon满足：
其中，a表示X源图像域或Y源图像域；pdata(a)表示a源图像域中的数据分布概率，/>表示a中样本集的期望值；
将所述转换后影像G(x)或G(y)输入所述生成器F，将G(x)或G(y)转换至X源图像域或Y源图像域，称为循环影像F(G(x))或F(G(y))，其中，转换过程中的损失值Lcyc满足：
其中，a表示X源图像域或Y源图像域；
将所述循环影像F(G(x))或F(G(y))输入生成器G及生成器F进行迭代训练，直至迭代次数达到所述预设值。
优选地，所述预设变化检测网络为预先训练完成的变化检测网络，所述预设变化检测网络包括四层编码层，每层所述编码层包括两个卷积层和一个池化层，所述编码层对应的四个解码层的每层包括两个卷积层和一个上采样层；所述预设变化检测网络的训练过程包括以下步骤：
接收若干幅双时相遥感影像，称为b1、b2，b表示影像源域；
将所述双时相遥感影像b1、b2输入变化检测网络进行训练；
当所述变化检测网络循环训练至不再改进时，停止训练，并将所述变化检测网络作为所述预设变化检测网络。
所述变化检测网络的损失函数为焦点损失函数Lfl，所述焦点损失函数的计算满足：其中，b′为变化像元的概率，α为权重系数，r为调制系数。
值得注意的是，上述基于异源遥感影像变化检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种基于深度学习的异源遥感影像变化检测方法，其特征在于，包括以下步骤：
接收多时异源遥感影像；
将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；
将所述单源遥感影像输入预设变化检测网络，得到二值变化图，所述预设变化检测网络为深度学习网络；其中，将所述单源遥感影像输入预设变化检测网络，得到二值变化图，包括以下步骤：
将所述单源遥感影像输入预设变化检测网络进行预测，得到输出结果z；
将所述结果z代入Sigmoid函数中计算像元的二类概率图，其中所述Sigmoid函数/>的计算公式为：/>；
将所述二类概率图中概率最高的一个类别作为最终预测结果，并生成所述最终预测结果对应的二值变化图。
2.如权利要求1所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，接收多时异源遥感影像，还包括以下步骤：
对所述多时异源遥感影像进行预处理，所述预处理包括几何校正、大气校正和地理配准。
3.如权利要求1所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，所述多时异源遥感影像包括两个异源遥感影像，所述单源遥感影像的源域为所述异源遥感影像中任一源遥感影像的源域。
4.如权利要求1或3所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，所述预设GAN网络包括编码器，两个生成器G、F及两个判别器DX、DY。
5.如权利要求4所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，所述预设GAN网络为预先训练完成的GAN网络，所述预设GAN网络的训练过程包括以下步骤：
接收X源和Y源两种遥感影像；
分别构建所述X源和Y源遥感影像的数据集，并将所述数据集划分为训练集和测试集；
将所述训练集输入GAN网络进行训练，其中，训练迭代次数为预设值；
训练完成后，将所述GAN网络作为所述预设GAN网络。
6.如权利要求5所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，将所述训练集输入GAN网络进行训练，包括以下步骤：
通过所述编码器学习所述X源和Y源两种遥感影像的特征；
将所述X源和Y源两种遥感影像输入生成器G及生成器F：
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器G，将所述X源遥感影像转换至Y源图像域，或，将所述Y源遥感影像转换至X源图像域，转换后的所述X源遥感影像和所述Y源遥感影像称为G（x）和G（y）；
将所述X源遥感影像或所述Y源遥感影像及所述特征输入生成器F，得到重构影像F（x）或F（y），其中，所述重构损失满足：
，其中，a表示X源图像域或Y源图像域，/>表示a源图像域中的数据分布概率，/>表示a中样本集的期望值；
将所述转换后影像G（x）或G（y）输入所述生成器F，将G（x）或G（y）转换至X源图像域或Y源图像域，称为循环影像F（G（x））或F（G（y）），其中，转换过程中的损失值满足：
，其中，a表示X源图像域或Y源图像域；
将所述循环影像F（G（x））或F（G（y））输入生成器G及生成器F进行迭代训练，直至迭代次数达到所述预设值。
7.如权利要求3所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，所述预设变化检测网络为预先训练完成的变化检测网络，所述预设变化检测网络包括四层编码层，每层所述编码层包括两个卷积层和一个池化层，所述编码层对应的四个解码层的每层包括两个卷积层和一个上采样层；所述预设变化检测网络的训练过程包括以下步骤：
接收若干幅双时相遥感影像，称为b1、b2，b表示影像源域；
将所述双时相遥感影像b1、b2输入变化检测网络进行训练；
当所述变化检测网络循环训练至不再改变时，停止训练，并将所述变化检测网络作为所述预设变化检测网络。
8.如权利要求7所述的基于深度学习的异源遥感影像变化检测方法，其特征在于，所述变化检测网络的损失函数为焦点损失函数，所述焦点损失函数的计算满足：，其中，/>为变化像元的概率，/>为权重系数，为调制系数。
9.一种基于深度学习的异源遥感影像变化检测装置，其特征在于，其包括：
接收模块，用于接收多时异源遥感影像；
转换模块，用于将所述异源遥感影像输入预设GAN网络中进行影像源转换，得到单源遥感影像；
输出模块，用于将所述单源遥感影像输入预设变化检测网络，得到二值变化图；其中，将所述单源遥感影像输入预设变化检测网络，得到二值变化图，包括以下步骤：
将所述单源遥感影像输入预设变化检测网络进行预测，得到输出结果z；
将所述结果z代入Sigmoid函数中计算像元的二类概率图，其中所述Sigmoid函数/>的计算公式为：/>；
将所述二类概率图中概率最高的一个类别作为最终预测结果，并生成所述最终预测结果对应的二值变化图。
CN202011503728.8A 2020-12-18 2020-12-18 一种基于深度学习的异源遥感影像变化检测方法及装置 Active CN112633123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011503728.8A CN112633123B (zh) 2020-12-18 2020-12-18 一种基于深度学习的异源遥感影像变化检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011503728.8A CN112633123B (zh) 2020-12-18 2020-12-18 一种基于深度学习的异源遥感影像变化检测方法及装置

Publications (2)

Publication Number Publication Date
CN112633123A CN112633123A (zh) 2021-04-09
CN112633123B true CN112633123B (zh) 2024-06-04

Family

ID=75317008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011503728.8A Active CN112633123B (zh) 2020-12-18 2020-12-18 一种基于深度学习的异源遥感影像变化检测方法及装置

Country Status (1)

Country Link
CN (1) CN112633123B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689352A (zh) * 2021-08-25 2021-11-23 闫殿武 一种遥感影像图制品及其制作方法
CN114170145B (zh) * 2021-11-12 2023-04-07 西安理工大学 基于多尺度自编码的异质遥感图像变化检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020939A (zh) * 2012-12-18 2013-04-03 武汉大学 利用多时相数据去除光学遥感影像大面积厚云的方法
CN109903299A (zh) * 2019-04-02 2019-06-18 中国矿业大学 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
WO2020150264A1 (en) * 2019-01-15 2020-07-23 Portland State University Feature pyramid warping for video frame interpolation
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN111899172A (zh) * 2020-07-16 2020-11-06 武汉大学 一种面向遥感应用场景的车辆目标检测方法
CN112016436A (zh) * 2020-08-28 2020-12-01 北京国遥新天地信息技术有限公司 一种基于深度学习的遥感影像变化检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020939A (zh) * 2012-12-18 2013-04-03 武汉大学 利用多时相数据去除光学遥感影像大面积厚云的方法
WO2020150264A1 (en) * 2019-01-15 2020-07-23 Portland State University Feature pyramid warping for video frame interpolation
CN109903299A (zh) * 2019-04-02 2019-06-18 中国矿业大学 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111899172A (zh) * 2020-07-16 2020-11-06 武汉大学 一种面向遥感应用场景的车辆目标检测方法
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN112016436A (zh) * 2020-08-28 2020-12-01 北京国遥新天地信息技术有限公司 一种基于深度学习的遥感影像变化检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A deep translation(GAN) based on change detection network for optical and SAR remote sensing images;Li xinghua等;《ISPRS Journal of Photo-grammetry and Remote Sensing》;179:14-34 *
Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks;Jun-Yan Zhu等;《IEEE International Conference on Computer Vision》;1-20 *
基于生成对抗网络的遥感图像变化检测;牛旭东;《中国优秀硕士学位论文全文数据库》工程科技II辑;摘要、第1.2节、第1.3节、第2.1节、第3节、第4.4.2节 *

Also Published As

Publication number Publication date
CN112633123A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及***
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及***
CN110969088B (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN112633123B (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及***
CN111259853A (zh) 一种高分辨率遥感图像变化检测方法、***及装置
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN114972989B (zh) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN115984714B (zh) 一种基于双分支网络模型的云检测方法
CN115376019A (zh) 一种异源遥感影像对象级变化检测方法
CN113255607A (zh) 基于多模型融合的遥感房屋检测方法及装置
CN117173412A (zh) 一种基于CNN和Transformer融合网络的医学图像分割方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
CN114663749A (zh) 滑坡体识别模型的训练方法、装置、电子设备及存储介质
CN114612315A (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
Drees et al. Multi-modal deep learning with sentinel-3 observations for the detection of oceanic internal waves
CN116051984B (zh) 一种基于Transformer的弱小目标检测方法
CN114764880B (zh) 多成分gan重建的遥感图像场景分类方法
CN115861818A (zh) 基于注意力机制联合卷积神经网络的细小水体提取方法
CN116503737B (zh) 基于空间光学图像的船舶检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant