CN114419464B - 一种基于深度学习的孪生网络变化检测模型的构建方法 - Google Patents

一种基于深度学习的孪生网络变化检测模型的构建方法 Download PDF

Info

Publication number
CN114419464B
CN114419464B CN202210315345.0A CN202210315345A CN114419464B CN 114419464 B CN114419464 B CN 114419464B CN 202210315345 A CN202210315345 A CN 202210315345A CN 114419464 B CN114419464 B CN 114419464B
Authority
CN
China
Prior art keywords
difference
time phase
network
branch
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210315345.0A
Other languages
English (en)
Other versions
CN114419464A (zh
Inventor
刘洋
勾鹏
聂维
周天宇
许诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Laboratory
Original Assignee
Nanhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Laboratory filed Critical Nanhu Laboratory
Priority to CN202210315345.0A priority Critical patent/CN114419464B/zh
Publication of CN114419464A publication Critical patent/CN114419464A/zh
Application granted granted Critical
Publication of CN114419464B publication Critical patent/CN114419464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的孪生网络变化检测模型，包括用于获取差异图像的双分支计算模型，所述的双分支计算模型包括孪生网络、第二分支卷积网络和上采样卷积网络，所述的孪生网络用于分别提取两个时相的时相特征图，第二分支卷积网络用于根据两个时相特征图及两个时相特征图的差值特征图计算差异特征图，所述的上采样卷积网络用于将差异特征图进行上采样和/或反卷积操作得到差异图像。本发明对ResNet18模型进行改造建立孪生网络ResAtNet用于变化检测场景，通过双分支差异特征图生成方法提高差异特征提取能力，模型可以适用于目标学习高维变化特征，无需专家知识选择合适的特征表达，自适应多种变化场景，对比其他现有模型，具有明显的精度优势。

Description

一种基于深度学习的孪生网络变化检测模型的构建方法
技术领域
本发明属于变化检测技术领域，尤其是涉及一种基于深度学习的孪生网络变化检测模型的构建方法。
背景技术
随着航空航天和无人机技术的发展，遥感也被越来越多地应用。对于遥感数据来说，覆盖同一区域、不同时间采集的多时相图像场景的标签变化可以从语义层面反映土地利用的变化。因此，遥感变化检测被广泛应用于多个领域，如土地利用、城市扩张、农田变化、地质灾害监测、生态环境保护、湿地监测、森林防护等。
近年来，人工智能，特别是深度学习逐渐兴起，作为一种新型机器学习模式，其概念源于人工神经网络的研究。其中“深度”是相对于支撑向量机 （Support VectorMachine, SVM） 、提升方法 （Boosting） 、最大熵方法等浅层学习（Shallow Learning）而言的。和常规方法相比，深度学习具有更为强大的特征学习和特征表达能力，能够自动、多层次地提取复杂对象的抽象特征，从而挖掘图像数据所隐含的深度特征信息，能够运用于多种复杂分类场景。目前，它已在图像分类、目标检测、语义分割和人脸识别等方面取得了一系列突破性的研究成果。
而深度学习在变化检测领域，特别是半监督学习框架下的研究仍处于起步阶段，所面临的问题主要包括：
（1）传统的高分遥感变化检测方法主要有基于像素的方法和基于对象的方法，但是基于像素的遥感变化检测方法易在小面积区域产生较多虚假和噪声点，而面向对象的遥感检测方法易受到图像分割算法影响，且需要大量的专家知识设计变化特征库；
（2）遥感图像的复杂性极大地增加了深度学习模型从场景和对象中学习鲁棒性和区分性表示的难度，在这种情况下，现有变化检测模型对少量训练数据学习能力存在提升空间；
（3）深度学习需要从大规模样本库中学习对象特征，而样本的手工标记通常是一个昂贵且耗时的过程，较大范围影像通常只有小部分变化区域，数据量较少，普遍缺乏高质量的训练图像。
发明内容
本发明的目的是针对上述问题，提供一种基于深度学习的孪生网络变化检测模型。
为达到上述目的，本发明采用了下列技术方案：
一种基于深度学习的孪生网络变化检测模型，包括用于获取差异图像的双分支计算模型，所述的双分支计算模型包括孪生网络、第二分支卷积网络和上采样卷积网络，所述的孪生网络用于分别提取两个时相的时相特征图，第二分支卷积网络用于根据两个时相特征图及两个时相特征图的差值特征图计算差异特征图，所述的上采样卷积网络用于将差异特征图进行上采样和/或反卷积操作得到差异图像。
在上述的基于深度学习的孪生网络变化检测模型中，所述的双分支计算模型为生成器。
在上述的基于深度学习的孪生网络变化检测模型中，孪生网络对原始影像进行特征提取输出原始影像1/16大小的时相特征图，第二分支卷积网络基于该两个1/16大小的时相特征图进行计算。
在上述的基于深度学习的孪生网络变化检测模型中，孪生网络对原始影像进行特征提取输出原始影像1/32大小的时相特征图；且上采样卷积网络将1/32大小的时相特征图2倍上采样恢复至1/16大小的时相特征图后由第二分支卷积网络基于该两个1/16大小的时相特征图进行计算。
在上述的基于深度学习的孪生网络变化检测模型中，所述的孪生网络包括两个参数共享的ResNet18网络。
在上述的基于深度学习的孪生网络变化检测模型中，所述的第二分支卷积网络通过以下方式计算差异特征图：
S1.分别对两个时相特征图进行卷积操作；
S2.将步骤S1得到的两个卷积结果叠加作为权重；
S3.通过激活函数选择性保留有效值；
S4.将经步骤S3筛选的权重与其中一个时相特征图相乘，并将乘积结果累加到差值特征图得到差异特征图。
在上述的基于深度学习的孪生网络变化检测模型中，步骤S1中，分别对两个时相特征图进行卷积核为1的卷积操作。
在上述的基于深度学习的孪生网络变化检测模型中，所述双分支计算模型的输入端连接有伪标签生成模块。
在上述的基于深度学习的孪生网络变化检测模型中，所述的伪标签生成模块为判别器，所述判别器的输入端连接于生成器的输出端，且以真实标签和生成器生成的差异图像为输入，通过计量差异图像的质量训练参数。
在上述的基于深度学习的孪生网络变化检测模型中，通过判别器与生成器进行对抗训练完成对基于深度学习的孪生网络变化检测模型的训练，并使用训练后的生成器获得差异特征图以用于变化检测。
本发明的优点在于：
（1）本发明对ResNet18模型进行改造建立孪生网络ResAtNet用于变化检测场景，通过双分支差异特征图生成方法提高差异特征提取能力，模型可以适用于目标学习高维变化特征，无需专家知识选择合适的特征表达，自适应多种变化场景，对比其他现有模型，具有明显的精度优势。
（2）在改造的孪生网络中结合半监督学习机制，搭建半监督学习孪生网络，无标签数据的获取是相对简单的，能够在少量带标签数据集中添加无标签数据协同参与训练，使网络结构适用于样本量较少的场景，进一步提高模型精度。
附图说明
图1为本发明中生成器的网络结构图，箭头上标记数字为上采样倍数；
图2为本发明中第二分支卷积网络的结构图示意图；
图3为本发明中判别器的结构示意图；
图4为本发明中预测结果优化为伪标签的过程示意图；
图5 为本发明实验中各个模型对比定性分析图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细的说明。
如图1所示，本实施例公开了一种基于深度学习的孪生网络变化检测模型，包括生成器和判别器两个模块，生成器为用于获取差异图像的双分支计算模型。我们知道，生成器包括编码器和解码器两部分，本方案中，采用ResNet18作为模型编码器以提取影像特征信息，且对编码器进行孪生网络改造，两个ResNet18网络参数共享，用于分别提取一个时相的时相特征图。由第二分支卷积网络（图1中的
Figure 500977DEST_PATH_IMAGE001
）和上采样卷积网络构成解码器，第二分支卷积网络用于根据两个时相特征图及两个时相特征图的差值特征图计算差异特征图，上采样卷积网络用于将差异特征图进行上采样和/或反卷积操作得到差异图像。本方案重点在于提取到高精度的差异图像，变化检测的后续步骤，如对差异图像进行处理得到变化检测结果的方式与现有技术一致，不在此赘述。
差值特征图为两个时相特征图直接进行差值计算的结果。
这里的编码器特征不进行跳跃连接操作，孪生网络的最深处特征尺寸为原始影像的1/32，即两个孪生网络分别输出原始影像1/32大小的时相特征图，由于过小的特征无法有效表征变化情景，因此在将时相特征图送入第二分支卷积网络之前先上采样卷积网络上采样恢复至1/16大小的时相特征图，第二分支卷积网络根据这两个1/16大小的时相特征图与这两个1/16大小的时相特征图的差值特征图计算差异特征图。
上述提取到1/32的方式能够学习到更大尺度上的空间关系，在实际使用时，也可以使孪生网络最深处的特征尺寸为原始影像的1/16，即两个孪生网络分别输出原始影像的1/16大小的时相特征图，只是学习效果没有上述方式好。此时，第二分支卷积网络根据这两个1/16大小的时相特征图与这两个1/16大小的时相特征图的差值特征图计算差异特征图。
本方案在残差网络ResNet结构的基础上，根据孪生网络参数共享思想利用通用而强大的深度神经网络进行特征提取，并且提出双分支差异特征图计算机制，能够获得更高精度的变化特征，提高差异特征提取能力，从而保证差异检测有效性。
具体地，如图2所示，双分支差异特征图计算机制如下：
S1.分别对时相特征图1和时相特征图2两个时相特征图进行卷积核为1的卷积操作；通过进行1*1卷积的卷积操作，能够实现跨通道的交互和信息整合，影像提取特征过程中可能存在部分通道没有信息，1*1卷积可以起到弥补效果；
S2.将步骤S1得到的两个卷积结果叠加作为权重；
S3.通过激活函数选择性保留有效值；激活函数可以采用常用的Relu函数，当然也可以采用其他满足条件的激活函数，本实施例通过Relu函数将小于0的值置0，大于0的值将被保留；
S4.将经步骤S3处理的权重与其中一个时相特征图相乘，并将乘积结果累加到差值特征图得到差异特征图。
通过模型迭代学习，两个时相的特征图会逐渐倾向于突出不一样的地方（存在差异的地方大于0，不存在差异的地方小于0），步骤S2叠加的目的是结合两个时相，此时经过relu函数后不存在差异的地方将被置0，而步骤S4中乘以其中一个时相特征图用于进一步强调差异特征（0值乘积0，正值乘积会放大），在让这一分支在模型双分支差异特征图学习中占据更高比重。
本方案通过添加第二分支卷积网络来关注并计算，能够有效减弱差值特征图与实际的变化真值存在的残差，从而提高差异特征图的精度。
进一步地，本方案进一步利用半监督学习思想改造，通过结合少量的带标签数据和大量的无标签数据协同学习训练提高模型的鲁棒性和准确性。具体采用判别器与生成器组合的方式实现半监督学习改造，判别器的输入端连接于生成器的输出端，以真实标签
Figure 70368DEST_PATH_IMAGE002
和生成器生成的预测结果
Figure 31371DEST_PATH_IMAGE003
，具体到本实施例为生成器生成的差异图像
Figure 804154DEST_PATH_IMAGE003
为输入，通过计量差异图像的质量训练判别器参数，通过使判别器与生成器进行对抗训练完成对基于深度学习的孪生网络变化检测模型的训练，并使用训练后的生成器获得差异特征图以用于变化检测。
具体地，如图3所示，判别器采用UNET结构，对抗训练过程中，判别器的输入为真实标签
Figure 610436DEST_PATH_IMAGE002
和预测结果
Figure 535798DEST_PATH_IMAGE003
，输出为生成标签
Figure 667702DEST_PATH_IMAGE004
，真实标签
Figure 927782DEST_PATH_IMAGE002
在第
Figure 784093DEST_PATH_IMAGE005
层的卷积特征为
Figure 813229DEST_PATH_IMAGE006
，预测结果
Figure 116034DEST_PATH_IMAGE003
在第
Figure 597831DEST_PATH_IMAGE005
层的卷积特征为
Figure 762228DEST_PATH_IMAGE007
，通过公式（1）获得内容损失，计量真实标签
Figure 645870DEST_PATH_IMAGE002
与预测结果
Figure 119577DEST_PATH_IMAGE003
的内容相似性，内容损失越小，说明它们的内容越接近；内容损失越大，说明它们的内容差距也越大。
Figure 88670DEST_PATH_IMAGE008
（1）
以减少内容损失为优化目标，通过梯度下降法优化参数逐步改变
Figure 555292DEST_PATH_IMAGE004
，以使判别器学习到根据生成器的预测结果生成伪标签的知识，判别器预测结果优化为伪标签的过程如图4所示。无标签影像在生成器的预测结果可通过判别器生成伪标签
Figure 559020DEST_PATH_IMAGE004
作为生成器的输入数据。生成器采用计算目标值和预测值之间的二进制交叉熵损失函数BCELoss作为损失函数，公式定义见式（2）：
Figure 203628DEST_PATH_IMAGE009
其中Num为总的样本数，
Figure 660017DEST_PATH_IMAGE010
为第i个样本预测值，
Figure 166216DEST_PATH_IMAGE011
为第i个样本目标值。
为进一步详细说明本发明的优势，通过武汉大学建筑物变化检测公开数据集(Jiet al.,2019)进行模型的比较和验证。数据包含两个航拍影像，分辨率为0.2m ，影像大小为15354×32507，该数据集由2012年4月获得的航拍图像组成，其中包含20.5平方公里的12796座建筑物（2016年同一区域16077座建筑物）。通过无重叠裁剪生成7434个256*256的影像对，考虑到其中正负样本严重不均衡，删除了全负样本后剩余1647对，将其随机分为十份，最终采用183对作为全监督数据，159对作为训练过程验证数据，145对作为模型精度评价数据，其他数据以逐渐累加的方式作为半监督学习过程数据集。
实验对比方法选择中进行两轮实验，实验（1）以本发明模型的生成器与现有模型进行全监督学习对比，参与比对的模型包括：
（1）语义分割模型ENet(Paszke et al., 2016) 孪生网络改造模型SiaENet；
（2）残差网络ResNet34(He et al.,2016)与UNet结合并孪生网络改造SiaResUNet；
（3）SiamUnet_conc(Daudt et al., 2018)；
（4）BiDateNet(Papadomanolaki et al., 2019)；
（5）AttentionUNet孪生网络改造模型SiaATNet；
（6）消融实验SiaRes18，网络结构与本发明图1类似，但该模型只采用差值进行特征图生成；
（7）本发明生成器网络ResAtNet。
实验（2）对网络进行半监督改造，对比模型在有无标签样本不同比例下精度变化情况，参与比对的模型包括：
（1）UNet半监督改造模型Semi_SiaUNet；
（2）AttentionUNet半监督改造模型Semi_SiaATNet；
（3）以及本发明提出的半监督模型Semi_ResAtNet。
训练时在生成器中采用SGD(Stochastic Gradient Descent)作为梯度优化函数，判别器中采用RMSprop作为梯度优化函数，优化器的初始学习率设置为0.01，训练100个eopch，batchsize设置为2。
选择精度（
Figure 758871DEST_PATH_IMAGE012
）、召回率（
Figure 574381DEST_PATH_IMAGE013
）、
Figure 518066DEST_PATH_IMAGE014
分数（
Figure 595000DEST_PATH_IMAGE015
）、整体精度（overallaccuracy，OA）、平均绝对误差（Mean Absolute Error，MAE）五种定量指标评估多种变化检测算法：
Figure 307741DEST_PATH_IMAGE016
Figure 294151DEST_PATH_IMAGE017
Figure 475865DEST_PATH_IMAGE018
Figure 573134DEST_PATH_IMAGE019
Figure 405961DEST_PATH_IMAGE020
在以上公式中，均以像素作为评价单元，
Figure 812540DEST_PATH_IMAGE021
为预测值，
Figure 730818DEST_PATH_IMAGE022
为真实值，二分类混淆矩阵符号
TP:true positive，实际为true，预测为positive；
TN:true negative，实际为true，预测为negative；
FP:false positive，实际为false，预测为positive；
FN:false negative，实际为false，预测为negative。
精度表示提取结果中正确的比例；召回率表示所有目标中被提取出的比例；
Figure 631778DEST_PATH_IMAGE014
分数是精度和召回率的调和平均数，从综合的角度对算法性能进行评价分析；OA表示所有预测正确数量和总体数量之间的比值；MAE是绝对误差的平均值，更好地反映预测值误差的实际情况，值越小说明误差越小。
以下表1是实验（1）的实验结果：
表1 模型性能对比
Figure 53532DEST_PATH_IMAGE023
从表中可发现本发明方法综合效果优于其他方法，由于样本量较少，采用通常深度学习变化检测方法效果不佳，大部分模型综合指标F1为60%左右，而本发明所提出模型达到84%，添加双分支差异特征图OA最高达到94%。因此可以看到，本发明提出的生成器模型能够在少量样本训练中达到较好效果，双分支差异特征生成方法有助于提高模型特征学习能力。
图5为各个模型对比定性分析，数据集本身只关注建筑物变化情况，三个区域都是建筑物新增。区域一是大型工厂，从是否存在漏检角度对比，本发明方法ResAtNet提取最为完整且不存在小空洞，形态与标签最为接近，其他对比方法内部均存在大量空洞，无法将工厂完整提取出；从是否存在错检角度对比，对比方法中SiamUnet_conc存在大量错检，而本发明提取结果仅在边缘上存在少量错误检测，与标签边界较为一致。区域二和区域三主要是居住用地，同样呈现以上情况，所以，综合来看本发明提出方法效果最好。
以下表2是实验（2）的实验结果：
表2 半监督改造优势对比
Figure 132477DEST_PATH_IMAGE024
模型后比值表示参与训练的带标签数据和不带标签数据比例，表中各指标值均为百分比形式。我们发现SiaUNet和SiaATNet原始模型精度较低，在半监督改造后的精度均具有明显提升，其中Semi_SiaATNet1:1在添加同等数量无标签数据时，F1提高5.5个百分点，精度提高6.1个百分点，改进的效果显著。而本方案提出的生成器模型ResAtNet本身精度较高，模型本身对样本学习能力强，无标签数据的引入在数据量较小时降低精度，随无标签数据量提高效果逐渐改善，精度逐渐上升且高于全监督学习精度。将每组精度最高的实验标记为加粗，综合三组半监督改造实验，最合适的带标签样本和无标签样本比值大约为1:3与1:5之间，通过半监督学习引入无标签数据可有效改善模型检测效果，本发明提出的半监督孪生网络模型Semi_ ResAtNet精度最高，在全监督和半监督情景下均优于现有模型。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了双分支计算模型、判别器、生成器、孪生网络、第二分支卷积网络、上采样卷积网络、原始影像、时相特征图、差异特征图、差值特征图、差异图像等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (6)

1.一种基于深度学习的孪生网络变化检测模型的构建方法，其特征在于，所述的检测模型包括用于获取差异图像的双分支计算模型，所述的双分支计算模型包括孪生网络、第二分支卷积网络和上采样卷积网络，所述的孪生网络用于分别提取两个时相的时相特征图，第二分支卷积网络用于根据两个时相特征图及差值特征图计算差异特征图，所述的差值特征图为前述两个时相特征图进行差值计算的结果，所述的上采样卷积网络用于将差异特征图进行上采样和/或反卷积操作得到差异图像，
所述的第二分支卷积网络通过以下方式计算差异特征图：
S1.分别对两个时相特征图进行卷积操作；
S2.将步骤S1得到的两个卷积结果叠加作为权重；
S3.通过激活函数选择性保留有效值；
S4.将经步骤S3处理的权重与其中一个时相特征图相乘，并将乘积结果累加到差值特征图得到差异特征图；
且所述双分支计算模型的输入端连接有判别器，所述的双分支计算模型为生成器，所述判别器的输入端连接于生成器的输出端，且以真实标签和生成器生成的差异图像为输入，通过计量差异图像的质量训练参数。
2.根据权利要求1所述的基于深度学习的孪生网络变化检测模型的构建方法，其特征在于，孪生网络对原始影像进行特征提取输出原始影像1/16大小的时相特征图，第二分支卷积网络基于该两个1/16大小的时相特征图和差值特征图进行计算，差值特征图为该两个1/16大小的时相特征图进行差值计算的结果。
3.根据权利要求1所述的基于深度学习的孪生网络变化检测模型的构建方法，其特征在于，孪生网络对原始影像进行特征提取输出原始影像1/32大小的时相特征图；且上采样卷积网络将1/32大小的时相特征图2倍上采样恢复至1/16大小的时相特征图后由第二分支卷积网络基于该两个1/16大小的时相特征图和差值特征图进行计算，差值特征图为该两个1/16大小的时相特征图进行差值计算的结果。
4.根据权利要求1所述的基于深度学习的孪生网络变化检测模型的构建方法，其特征在于，所述的孪生网络包括两个参数共享的ResNet18网络。
5.根据权利要求4所述的基于深度学习的孪生网络变化检测模型的构建方法，其特征在于，步骤S1中，分别对两个时相特征图进行卷积核为1的卷积操作。
6.根据权利要求1所述的基于深度学习的孪生网络变化检测模型的构建方法，其特征在于，通过判别器与生成器进行对抗训练完成对基于深度学习的孪生网络变化检测模型的训练，并使用训练后的生成器获得差异特征图以用于变化检测。
CN202210315345.0A 2022-03-29 2022-03-29 一种基于深度学习的孪生网络变化检测模型的构建方法 Active CN114419464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210315345.0A CN114419464B (zh) 2022-03-29 2022-03-29 一种基于深度学习的孪生网络变化检测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315345.0A CN114419464B (zh) 2022-03-29 2022-03-29 一种基于深度学习的孪生网络变化检测模型的构建方法

Publications (2)

Publication Number Publication Date
CN114419464A CN114419464A (zh) 2022-04-29
CN114419464B true CN114419464B (zh) 2022-07-26

Family

ID=81263210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315345.0A Active CN114419464B (zh) 2022-03-29 2022-03-29 一种基于深度学习的孪生网络变化检测模型的构建方法

Country Status (1)

Country Link
CN (1) CN114419464B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648077B (zh) * 2022-05-18 2022-09-06 合肥高斯智能科技有限公司 一种用于多点位工业数据缺陷检测的方法及装置
CN116152660B (zh) * 2023-02-14 2023-10-20 北京市遥感信息研究所 一种基于跨尺度注意力机制的广域遥感图像变化检测方法
CN116309653B (zh) * 2023-05-18 2023-08-29 中国科学技术大学 弱监督图像语义分割方法、***、设备及存储介质
CN117314895B (zh) * 2023-11-27 2024-03-12 北京阿丘科技有限公司 缺陷检测方法、设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659591A (zh) * 2019-09-07 2020-01-07 中国海洋大学 基于孪生网络的sar图像变化检测方法
CN110689060A (zh) * 2019-09-16 2020-01-14 西安电子科技大学 一种基于聚合特征差异学习网络的异源图像匹配方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112613352A (zh) * 2020-12-04 2021-04-06 河海大学 一种基于孪生网络的遥感图像变化检测方法
CN112861931A (zh) * 2021-01-21 2021-05-28 南开大学 一种基于差异注意力神经网络的多级别变化检测方法
CN113240023A (zh) * 2021-05-19 2021-08-10 中国民航大学 基于变化图像分类和特征差值先验的变化检测方法及装置
CN113298056A (zh) * 2021-07-27 2021-08-24 自然资源部国土卫星遥感应用中心 多模态遥感影像变化检测方法、模型生成方法和终端设备
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN113487546A (zh) * 2021-06-25 2021-10-08 中南大学 一种特征-输出空间双对齐的变化检测方法
CN113505636A (zh) * 2021-05-25 2021-10-15 中国科学院空天信息创新研究院 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
CN113901900A (zh) * 2021-09-29 2022-01-07 西安电子科技大学 一种同源或异源遥感图像用无监督变化检测方法及***
CN114187255A (zh) * 2021-12-08 2022-03-15 西北工业大学 一种差异指导的遥感影像变化检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210133483A1 (en) * 2019-11-01 2021-05-06 XNOR.ai, Inc. Object detection based on pixel differences
CN113469074B (zh) * 2021-07-06 2023-12-19 西安电子科技大学 基于孪生注意力融合网络的遥感图像变化检测方法及***
CN114022793B (zh) * 2021-10-28 2024-06-04 天津大学 一种基于孪生网络的光学遥感图像变化检测方法
CN114049335B (zh) * 2021-11-18 2022-06-14 感知天下(北京)信息科技有限公司 一种基于时空注意力的遥感影像变化检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659591A (zh) * 2019-09-07 2020-01-07 中国海洋大学 基于孪生网络的sar图像变化检测方法
CN110689060A (zh) * 2019-09-16 2020-01-14 西安电子科技大学 一种基于聚合特征差异学习网络的异源图像匹配方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112613352A (zh) * 2020-12-04 2021-04-06 河海大学 一种基于孪生网络的遥感图像变化检测方法
CN112861931A (zh) * 2021-01-21 2021-05-28 南开大学 一种基于差异注意力神经网络的多级别变化检测方法
CN113240023A (zh) * 2021-05-19 2021-08-10 中国民航大学 基于变化图像分类和特征差值先验的变化检测方法及装置
CN113505636A (zh) * 2021-05-25 2021-10-15 中国科学院空天信息创新研究院 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN113487546A (zh) * 2021-06-25 2021-10-08 中南大学 一种特征-输出空间双对齐的变化检测方法
CN113298056A (zh) * 2021-07-27 2021-08-24 自然资源部国土卫星遥感应用中心 多模态遥感影像变化检测方法、模型生成方法和终端设备
CN113901900A (zh) * 2021-09-29 2022-01-07 西安电子科技大学 一种同源或异源遥感图像用无监督变化检测方法及***
CN114187255A (zh) * 2021-12-08 2022-03-15 西北工业大学 一种差异指导的遥感影像变化检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"A Siamese Network Based U-Net for Change Detection in High Resolution Remote Sensing Images";Tao Chen等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20220311;第2357-2369页 *
"A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection";Hao Chen等;《Remote Sensing》;20200522;第1-23页 *
"MRA-SNet: Siamese Networks of Multiscale Residual and Attention for Change Detection in High-Resolution Remote Sensing Images";Xin Yang等;《Remote Sensing》;20211111;第1-21页 *
"基于卷积神经网络的高分辨率遥感影像变化检测";鲍腾飞;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210915;C028-63 *
"基于多尺度注意力特征与孪生判别的遥感影像变化检测及其抗噪性研究";杜俊翰等;《数据采集与处理》;20220131;第35-48页 *
"基于多重差异特征网络的街景变化检测";詹瑞等;《计算机科学》;20210228;第142-147页 *
"基于神经网络的遥感图像变化检测研究与应用";雷婷;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20220115;C028-223 *

Also Published As

Publication number Publication date
CN114419464A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114419464B (zh) 一种基于深度学习的孪生网络变化检测模型的构建方法
CN116524361A (zh) 基于双孪生分支的遥感图像变化检测网络及检测方法
CN115222998B (zh) 一种图像分类方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
CN116012722A (zh) 一种遥感影像场景分类方法
CN112801068A (zh) 一种视频多目标跟踪与分割***和方法
CN114581789A (zh) 一种高光谱图像分类方法及***
CN114550014A (zh) 道路分割方法及计算机装置
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN116343033A (zh) 一致性损失引导下的建筑物半监督变化检测方法及装置
CN115082778B (zh) 一种基于多分支学习的宅基地识别方法及***
Yang et al. An effective and lightweight hybrid network for object detection in remote sensing images
Du et al. PSCNET: Efficient RGB-D semantic segmentation parallel network based on spatial and channel attention
CN116599683A (zh) 一种恶意流量检测方法、***、装置及存储介质
CN115880660A (zh) 一种基于结构表征和全局注意力机制的轨道线检测方法和***
GB2623358A (en) Method and system for fault diagnosis of nuclear power circulating water pump based on optimized capsule network
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
Zheng et al. Multiscale fusion network for rural newly constructed building detection in unmanned aerial vehicle imagery
CN115063352A (zh) 一种基于多图神经网络协同学习架构的显著性物体检测装置及方法
Qiu et al. Efficient Remote Sensing Segmentation With Generative Adversarial Transformer
Xi et al. EMA‐GAN: A Generative Adversarial Network for Infrared and Visible Image Fusion with Multiscale Attention Network and Expectation Maximization Algorithm
Li et al. Ctmu-net: an improved u-net for semantic segmentation of remote-sensing images based on the combined attention mechanism
CN117975174B (zh) 一种基于改进vqgan的三维数字岩心重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant