CN110263845B - 基于半监督对抗深度网络的sar图像变化检测方法 - Google Patents

基于半监督对抗深度网络的sar图像变化检测方法 Download PDF

Info

Publication number
CN110263845B
CN110263845B CN201910527007.1A CN201910527007A CN110263845B CN 110263845 B CN110263845 B CN 110263845B CN 201910527007 A CN201910527007 A CN 201910527007A CN 110263845 B CN110263845 B CN 110263845B
Authority
CN
China
Prior art keywords
layer
network
sample
training
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910527007.1A
Other languages
English (en)
Other versions
CN110263845A (zh
Inventor
王英华
杨振东
王剑
刘宏伟
秦庆喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910527007.1A priority Critical patent/CN110263845B/zh
Publication of CN110263845A publication Critical patent/CN110263845A/zh
Application granted granted Critical
Publication of CN110263845B publication Critical patent/CN110263845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督对抗深度网络的SAR图像变化检测方法，主要解决现有变化检测技术在有标签数据较少时检测效果虚警率高，检测区域不准确的问题。其方案是：1)利用二时相SAR图像数据，计算两图像的对数比差异图；2)在二时相SAR图像和差异图上提取训练样本和测试样本；3)构建变化检测双网络和两个判别网络；4)利用有标签数据进行监督训练，利用无标签数据进行对抗训练和协同训练，得到训练好的检测网络；5)将测试数据输入到训练好的变化检测网络中，得到变化检测结果。本发明结合大量无标签数据提取可分性的变化检测特征，提高了在有标签训练样本不足时，监督训练模型的泛化性能，可用于SAR图像变化检测。

Description

基于半监督对抗深度网络的SAR图像变化检测方法
技术领域
本发明属于雷达图像处理技术领域，特别涉及一种SAR图像的变化检测方法，可用于灾害监测、土地调查和目标侦查。
背景技术
SAR***受天气条件和光照条件的影响较小，可以实现全天时全天候的对地观测，因此对多时相SAR数据进行变化检测是一种分析地球表面发生变化的重要手段，被广泛应用于灾害监测、土地调查和目标侦查。
传统SAR变化检测方法有三类：第一类为无监督的变化检测方法，如Celik等人提出的基于主成分分析和k均值聚类的变化检测方法；Gong等人提出的基于图像融合和模糊聚类的SAR变化检测方法；Yan Wang等人提出的基于SIFT关键点检测和区域信息的变化检测方法。第二类为有监督的变化检测方法，如Camps-Valls等人提出的基于核的变化检测方法利用了有标签数据作为训练样本；Yu Li等人基于匹配追踪的变化检测方法。第三类为半监督的变化检测方法，如Lu Jia等提出的基于邻域聚类核的SAR图像变化检测方法；Lin An等提出的基于随机场和最大熵的SAR图像半监督变化检测算法。
在上述三种方法当中，无监督方法不需要利用有标签数据，因此成为变化检测领域当中的主流方法，但由于缺少有标签数据的监督和指导，这类方法的检测结果一般与真实的变化区域相差较大，虚警较多。对于有监督方法而言，在有标签数据量较大的场景下，有监督方法能够取得很好的结果，但是现实场景当中，有标签数据的获取的代价是很大的，也就是说一般情况下有标签数据量是很少的，在这种情况下，有监督方法的效果会变差，模型的泛化性能变差。相比于有监督和无监督的方法，半监督的变化检测方法能够结合少量有标签数据和大量无标签数据共同学习，提取可分性的特征，提升检测性能。现有的半监督SAR图像变化检测方法一般基于传统机器学习中的半监督方法，模型的输入特征往往需要人工设计，无法有效利用原始数据的全部信息，导致较高的虚警率和较低的检测精度，因此限制了这类方法的性能。
发明内容
本发明的目的在于针对上述已有的三种SAR变化检测方法的不足，提出一种基于半监督对抗深度网络的SAR图像变化检测方法，以在有标签样本量很少的情况下，通过结合大量的无标签数据提高检测精度，降低虚警率。
本发明的技术方案是：首先利用滑窗模型提取少量的有标签样本和大量的无标签样本，再用有标签样本与无标签样本共同训练深度神经网络模型，待模型收敛后，将训练好的神经网络应用于测试数据之上，得到最终的变化检测标记图，其实现步骤包括如下：
(1)利用二时相SAR图像数据，计算这两幅图像的对数比差异图K；
(2)通过滑窗方式在二时相SAR图像和差异图上提取训练样本和测试样本，并从训练样本中随机选取4％作为有标签训练样本，其余作为无标签训练样本；
(3)构建训练网络模型：
(3a)设置SAR变化检测双网络Ψ1和Ψ2：
每个网络由六层结构组成，其中前四层为共享层，即第一层为全连接层L1、第二层为激活函数层ReLU、第三层为全连接层L2、第四层为激活函数层ReLU，第五和第六为非共享层，其中：
第一网络Ψ1的第五层为全连接层L13，第六层为Softmax分类器层S11，
第二网络Ψ2的第五层为全连接层L23，第六层为Softmax分类器层S21；
(3b)设置两个判别网络
Figure BDA0002098559190000021
和
Figure BDA0002098559190000022
这两个判别网络完全相同，都由六层结构组成，即第一层为全连接层、第二层为激活函数层ReLU、第三层为全连接层、第四层为激活函数层，第五层为全连接层，第六层为Softmax分类器层，
(3c)将双网络和两个判别网络进行连接，即将第一判别网络
Figure BDA0002098559190000023
连在第一检测网络Ψ1之后，第二判别网络
Figure BDA0002098559190000024
连接在第二检测网络Ψ2之后，形成训练网络模型；
(6)将训练样本数据输入到(3)构建好的训练网络模型中，依次进行有标签数据的监督训练、无标签数据的对抗训练和协同训练，得到训练好的变化检测网络Ψ；
(7)将测试样本数据输入到训练好的变化检测网络Ψ进行检测，得到SAR图像的变化检测结果。
本发明与现有技术相比具有以下优点：
1)本发明利用二时相SAR可以在有标签样本量很少的情况下，结合大量的无标签数据提取可分性的变化检测特征，提升变化检测性能；
2)本发明利用深度学习在分类任务上的优势，通过双网络结构与对抗训练以及协同训练的结合，促使两个网络在训练的过程中相互促进相互提升，最终提升了变化检测的性能。
附图说明
图1为本发明的实现总流程图；
图2为本发明中构建输入样本示意图；
图3为实验数据图；
图4为用本发明和现有方法在对图3所示SAR图像进行变化检测的结果图。
具体实施方式
下面结合附图对本发明的实施方案和效果进行详细说明：
参照图1，本发明的实现步骤如下：
步骤1，根据二时相SAR图像，计算相应的对数比差异图。
利用二时相SAR图像数据计算相应的对数比差异图K：
Figure BDA0002098559190000031
其中I1为原始SAR图像的第一时相图，I2为原始SAR图像的第二时相图。
步骤2，通过滑窗方式在二时相SAR图像和差异图上提取训练样本和测试样本。
参照图2，本步骤实现如下：
2.1)设滑窗大小为N×N，滑窗的中心为(i,j)，对于训练样本，在指定区域进行滑窗选取图像块，对于测试样本，在整幅图像上进行滑窗选取图像块；
2.2)在两时相图像I1与I2中以(i,j)为中心分别选择N×N大小的图像块，记为
Figure BDA0002098559190000032
和
Figure BDA0002098559190000033
将
Figure BDA0002098559190000034
和
Figure BDA0002098559190000035
沿第一维度拼接在一起获得大小为2N×N的样本第一通道；
2.3)对应两时相图像I1与I2中像素点(i,j)，在差异图像K中选择以(i,j)为中心的图像块记为
Figure BDA0002098559190000036
图像块的大小为N×N，计算
Figure BDA0002098559190000037
的平均值m，将m扩展成大小为2N×N的矩阵，作为样本第二通道；
2.4)选取训练样本时，将滑窗在指定区域滑动，用样本第一通道和样本第二通道组成训练样本；选取测试样本时，将滑窗在整幅图上滑动，用样本第一通道和样本第二通道组成测试样本；
2.5)从训练样本中随机选取4％作为有标签训练样本，其余作为无标签训练样本。
步骤3，构建训练网络模型。
3.1)设置SAR变化检测双网络Ψ1和Ψ2：
这两个检测网络均由六层结构组成，其中前四层为共享层，后两层为非共享层，其中：
3.11)Ψ1和Ψ2前四层各层参数设置及关系：
第一层全连接层L1，其设有1000个神经元，用于提取训练样本和测试样本的浅层特征，这一层产生一个1000维的输出向量；
第二层激活函数层ReLU，用于对上一层全连接层的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入ReLU(x)为输出，该层的输入和输出的维度一致；
第三层为全连接层L2，其设有1000个神经元，用于从上一层全连接层输出的浅层特征中提取更深层次的特征，这一层产生一个1000维的输出向量；
第四层为激活函数层ReLU，其作用和原理与上述ReLU层一致；
3.12)Ψ1第五和第六层参数设置及关系：
Ψ1的第五层为全连接层L31，用于从上一激活层的输出当中提取不同类型的特征，该层的输入维度为1000，输出维度为2；
Ψ1第六层为Softmax分类器层S11，该层的作用是将L31输出的2维列向量分别转换为分类概率，即当前输入样本属于变化与非变化类的概率，根据概率值对样本进行分类；
3.13)Ψ2第五和第六层参数设置及关系：
Ψ2的第五层为全连接层L32，用于从上一激活层的输出当中提取不同类型的特征，该层的输入维度为1000，输出维度为2；
Ψ2的第六层为Softmax分类器层S21，该层的作用是将L32层输出的2维列向量分别转换为分类概率，即当前输入样本属于变化与非变化类的概率，根据概率值对样本进行分类。
3.2)设置两个判别网络
Figure BDA0002098559190000051
和
Figure BDA0002098559190000052
这两个判别网络完全相同，均由六层结构组成，即第一层为全连接层、第二层为激活函数层ReLU、第三层为全连接层、第四层为激活函数层，第五层为全连接层，第六层为Softmax分类器层，各层参数设置及关系如下：
第一层全连接层，其设有1000个神经元，用于从网络的输入当中提取浅层的判别特征，这一层产生1000维的输出向量；
第二层激活函数层ReLU，用于对上一层全连接层的输出进行非线性的映射，该层的输入和输出的维度一致；
第三层为全连接层，其设有1000个神经元，用于从上一层全连接层输出的浅层特征中提取更深层次的判别特征，这一层产生1000维的输出向量；
第四层为激活函数层ReLU；
第五层为全连接层，其包含2个神经元，作用是将上一层的输出降维到2维向量用于后续的二分类概率计算；
第六层为Softmax分类器层，该层的作用是将上一层输出的2维列向量转换为二维分类概率，即当前输入样本属于真实分布样本与属于生成器生成样本的概率，根据概率值对样本进行判别：
3.3)将3.1)构建的双网络和3.2)构建的两个判别网络进行连接，即将第一判别网络
Figure BDA0002098559190000053
连接在第一检测网络Ψ1第六层之后，将第二判别网络
Figure BDA0002098559190000054
连接在第二检测网络Ψ2第五层之后，形成训练网络模型。
步骤4，将训练样本数据输入到步骤3构建好的训练网络模型中，迭代依次进行有标签数据的监督训练、无标签数据的对抗训练和协同训练，得到训练好的变化检测网络Ψ。
4.1)有标签数据的监督训练：
4.11)将有标签数据送到检测双网络Ψ1、Ψ2中，根据送入样本的标签计算检测网络Ψ1的损失函数Ls1和检测网络Ψ2的损失函数Ls2：
Figure BDA0002098559190000055
Figure BDA0002098559190000056
其中，v1、v2为网络Ψ1中最后一层全连接层的输出的二维向量的两个值，z1、z2为网络Ψ2中最后一层全连接层的输出的二维向量的两个值，i是当前输入样本对应的正确类别标号，i为1是表示输入样本为变化类，i为2是表示输入样本为未变化类；
4.12)利用4.11)计算的第一检测网络Ψ1的损失函数Ls1和第二检测网络Ψ2的损失函数Ls2，根据梯度下降算法反向传播更新第一检测网络Ψ1参数和第二检测网络Ψ2参数；
4.2)对无标签数据进行对抗训练；
4.2.1)将第一检测网络Ψ1当做生成器网络P1，并与第一判别器网络
Figure BDA0002098559190000069
一起构成第一生成对抗网络GAN1，对无标签数据进行对抗训练，实现如下：
首先，将真实样本与生成样本依次送入第一判别器网络
Figure BDA0002098559190000062
当中，根据送入样本的标签计算第一判别网络损失函数
Figure BDA0002098559190000063
Figure BDA0002098559190000064
其中，Or1和Of1是判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y1为网络P1的输出；
接着，计算第一判别网络损失函数梯度，利用梯度下降算法反向传播更新第一判别器网络
Figure BDA0002098559190000065
参数；
接着，将第一生成器网络Ψ1生成样本送入第一判别网络
Figure BDA0002098559190000066
当中，计算第一生成器网络P1损失函数
Figure BDA0002098559190000067
Figure BDA0002098559190000068
其中，Or1和Of1是第一判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y1为网络P1的输出；
然后，计算第一生成器网络损失函数梯度，利用梯度下降算法反向传播更新第一生成器网络P1参数；
4.2.2)将第二检测网络Ψ2的前五层当做生成器网络P2，并与第二判别器网络
Figure BDA0002098559190000071
一起构成第二生成对抗网络GAN2，进行对抗训练：
第一步，将真实样本与生成样本依次送入第二判别器网络中，根据送入样本的标签计算第二判别网络损失函数
Figure BDA0002098559190000072
Figure BDA0002098559190000073
其中，Or2和Of2是第二判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y2为网络P2的输出；
第二步，计算第二判别网络损失函数梯度，利用损失的反向传播更新网络
Figure BDA0002098559190000074
的参数；
第三步，将第二生成器网络生成样本送入第二判别网络
Figure BDA0002098559190000075
当中，计算第二生成器网络P2损失函数
Figure BDA0002098559190000076
Figure BDA0002098559190000077
其中，Or2和Of2是第二判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y2为第二生成器网络P2的输出；
第四步，计算第二生成器网络损失函数梯度，利用梯度下降算法反向传播更新第二生成器网络P2参数。
4.3)将无标签数据分别同时送入检测双网络Ψ1和Ψ2进行如下协同训练：
4.31)第一检测网络Ψ1从无标签数据中提取类别特征，并利用Softmax分类器对类别特征进行分类，得到每一个无标签样本所对应的伪标签PL1以及分类概率向量py，计算第i个无标签样本分类的置信度为：Conyi＝max(pyi)，并将该分类置信度Conyi与预先设定的置信度阈值Ty进行比较，将置信度大于阈值的样本与有标签样本一起做为第二检测网络Ψ2的有监督训练样本；
4.32)第二检测网络Ψ2从无标签数据中提取模式特征，并利用Softmax分类器对模式特征进行分类，得到每一个无标签样本所对应的伪标签PL2以及分类概率向量pz，计算第i个无标签样本分类的置信度为：Conzi＝max(pzi)，并将Conzi与预先设定的置信度阈值Tz进行比较，将置信度大于阈值的样本与有标签样本一起做为第一检测网络Ψ1的有监督训练的训练样本；
通过迭代上述步骤4.1)对有标签数据的监督训练，4.2)对无标签数据的对抗训练和4.3)对无标签数据的协同训练，得到训练好的变化检测网络Ψ。
步骤5，将测试样本数据输入到训练好的变化检测网络Ψ进行检测，得到SAR图像的变化检测结果。
本发明的效果可通过以下实验数据进一步说明：
一.实验条件
1)实验数据
本实验使用四组SAR图像数据，如图3所示，其中：
图3(a1)和图3(a2)是由ERS-2SAR传感器分别在2003年8月和2004年5月所获得的图像，图像大小为256×256，图3(a3)是相应的变化检测参考图，本组称为San Francisco数据。
图3(b1)和图3(b2)是由Radarsat-1传感器分别在1997年7月和1997年8月所获得的SAR图像，图像大小为290×350，图3(b3)是相应的变化检测参考图，本组称为Ottawa数据。
图3(c1)和图3(c2)是由Radarsat-2传感器分别在2008年6月和2009年6月所获得的SAR图像，图像大小为289×257，图3(c3)是相应的变化检测参考图，本组称为YellowRiver Farmland I数据。
图3(d1)和图3(d2)是由Radarsat-2传感器分别在2008年6月和2009年6月所获得的SAR图像，图像大小为291×306，图3(d3)是相应的变化检测参考图，本组称为YellowRiver Farmland II数据。
2)评价准则
使用以下准则对实验结果进行评价
虚警率FA，漏警率MD，整体误差率OE，分类准确率PCC，Kappa系数KC。
二.实验内容
实验一：用本发明与深度神经网络DNN监督算法A1，对抗自编码器SAAE半监督算法A2和结合协同训练的半监督深度神经网络SSDC半监督算法A3，对上述数据进行变化检测对比实验，性能参数对比结果如表1所示。
表1本发明方法与相关模型性能参数对比结果
Figure BDA0002098559190000091
表1中：半监督深度神经网络SSDC半监督算法A3试验相比于本发明缺少对抗训练部分，深度神经网络DNN监督算法A1实验使用与本发明相同的网络，但只有监督训练过程。
从表1中可见，本发明取得了最好的检测结果，其性能也比其它方法更稳定。对比半监督深度神经网络SSDC半监督算法实验结果表明，增加对抗性训练是合理的，有助于提高分类效果。
实验二：用本发明与现有的结合PCA和K-means的无监督变化检测算法PCAKM，结合Gabor变换和两级聚类的无监督变化检测方法GaborTLC，基于PCANet的无监督变化检测方法PCANet，基于超限学习机的无监督变化检测方法ELM，对上述数据进行变化检测对比实验，性能参数对比结果如表2所示。
表2本发明方法与现有无监督方法性能参数对比结果
Figure BDA0002098559190000101
从表2中可见，本发明有较好的性能，这是由于半监督模型能够从有标签样本和无标签样本中提取识别信息，并且协同训练算法通过引入伪标签训练样本提高了泛化性能，因此本发明比现有方法获得了更好的检测结果。
实验三：用本发明方法与实验一、实验二中所使用的现有方法对上述数据进行变化检测对比实验，结果如图4所示，其中：
图4(a1)为A2方法在San Francisco数据上的检测结果图；
图4(a2)为A1方法在San Francisco数据上的检测结果图；
图4(a3)为A3方法在San Francisco数据上的检测结果图；
图4(a4)为本发明在San Francisco数据上的检测结果图；
图4(a5)为San Francisco数据的真实变化区域图；
图4(a6)为PCAKM方法在San Francisco数据上的检测结果图；
图4(a7)为GaborTLC方法在San Francisco数据上的检测结果图；
图4(a8)为PCANet方法在San Francisco数据上的检测结果图；
图4(a9)为ELM方法在San Francisco数据上的检测结果图；
图4(b1)为A2方法在Ottawa数据上的检测结果图；
图4(b2)为A1方法在Ottawa数据上的检测结果图；
图4(b3)为A3方法在Ottawa数据上的检测结果图；
图4(b4)为本发明在Ottawa数据上的检测结果图；
图4(b5)为Ottawa数据的真实变化区域图；
图4(b6)为PCAKM方法在Ottawa数据上的检测结果图；
图4(b7)为GaborTLC方法在Ottawa数据上的检测结果图；
图4(b8)为PCANet方法在Ottawa数据上的检测结果图；
图4(b9)为ELM方法在Ottawa数据上的检测结果图；
图4(c1)为A2方法在Yellow River Farmland I数据上的检测结果图；
图4(c2)为A1方法在Yellow River Farmland I数据上的检测结果图；
图4(c3)为A3方法在Yellow River Farmland I数据上的检测结果图；
图4(c4)为本发明在Yellow River Farmland I数据上的检测结果图；
图4(c5)为Yellow River Farmland I数据的真实变化区域图；
图4(c6)为PCAKM方法在Yellow River Farmland I数据上的检测结果图；
图4(c7)为GaborTLC方法在Yellow River Farmland I数据上的检测结果图；
图4(c8)为PCANet方法在Yellow River Farmland I数据上的检测结果图；
图4(c9)为ELM方法在Yellow River Farmland I数据上的检测结果图；
图4(d1)为A2方法在Yellow River Farmland II数据上的检测结果图；
图4(d2)为A1方法在Yellow River Farmland II数据上的检测结果图；
图4(d3)为A3方法在Yellow River Farmland II数据上的检测结果图；
图4(d4)为本发明在Yellow River Farmland II数据上的检测结果图；
图4(d5)为Yellow River Farmland II数据的真实变化区域图；
图4(d6)为PCAKM方法在Yellow River Farmland II数据上的检测结果图；
图4(d7)为GaborTLC方法在Yellow River Farmland II数据上的检测结果图；
图4(d8)为PCANet方法在Yellow River Farmland II数据上的检测结果图；
图4(d9)为ELM方法在Yellow River Farmland II数据上的检测结果图。
从图4可以看出，本发明检测结果图与真实的变化区域图更加接近，能够更加准确地反映变化区域的形状，检测效果更好。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于半监督对抗深度网络的SAR图像变化检测方法，其特征在于，包括：
(1)利用二时相SAR图像数据，计算这两幅图像的对数比差异图K；
(2)通过滑窗方式在二时相SAR图像和差异图上提取训练样本和测试样本，并从训练样本中随机选取4％作为有标签训练样本，其余作为无标签训练样本；
(3)构建训练网络模型：
(3a)设置SAR变化检测双网络Ψ1和Ψ2：
每个网络由六层结构组成，其中前四层为共享层，即第一层为全连接层L1、第二层为激活函数层ReLU、第三层为全连接层L2、第四层为激活函数层ReLU，第五和第六为非共享层，其中：
第一网络Ψ1的第五层为全连接层L13，第六层为Softmax分类器层S11，
第二网络Ψ2的第五层为全连接层L23，第六层为Softmax分类器层S21；
(3b)设置两个判别网络和
这两个判别网络完全相同，都由六层结构组成，即第一层为全连接层、第二层为激活函数层ReLU、第三层为全连接层、第四层为激活函数层，第五层为全连接层，第六层为Softmax分类器层；
(3c)将双网络和两个判别网络进行连接，即将第一判别网络连在第一检测网络Ψ1之后，第二判别网络连接在第二检测网络Ψ2之后，形成训练网络模型；
(4)将训练样本数据输入到(3)构建好的训练网络模型中，迭代依次进行有标签数据的监督训练、无标签数据的对抗训练和协同训练，得到训练好的变化检测网络Ψ；
对有标签数据的监督训练，是将有标签数据送到检测双网络Ψ1、Ψ2中进行有监督训练，使用的损失函数为二分类交叉熵损失函数，公式如下：
其中，v1、v2为网络Ψ1中最后一层全连接层的输出的二维向量的两个值，z1、z2为网络Ψ2中最后一层全连接层的输出的二维向量的两个值，i是当前输入样本对应的正确类别标号，i为1是表示输入样本为变化类，i为2是表示输入样本为未变化类；
对无标签数据的对抗训练，实现如下：
(4a)将第一检测网络Ψ1当做生成器网络P1，并与第一判别器网络一起构成第一生成对抗网络GAN1，对无标签数据进行对抗训练：
4a1)将真实样本与生成样本依次送入第一判别器网络当中，根据送入样本的标签计算第一判别网络损失函数
其中，Or1和Of1是第一判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y1为网络P1的输出；
4a2)计算第一判别网络损失函数梯度，利用梯度下降算法反向传播更新第一判别器网络参数；
4a3)将第一生成器网络P1生成样本送入第一判别网络当中，计算第一生成器网络P1损失函数
其中，Or1和Of1是第一判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y1为网络P1的输出；
4a4)计算第一生成器网络损失函数梯度，利用梯度下降算法反向传播更新第一生成器网络P1参数；
(4b)将第二检测网络Ψ2的前五层当做生成器网络P2，并与第二判别器网络一起构成第二生成对抗网络GAN2，进行对抗训练：
4b1)将真实样本与生成样本依次送入第二判别器网络中，根据送入样本的标签计算第二判别网络损失函数
其中，Or2和Of2是第二判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y2为网络P2的输出；
4b2)计算第二判别网络损失函数梯度，利用损失的反向传播更新网络的参数；
4b3)将第二生成器网络生成样本送入第二判别网络当中，计算第二生成器网络P2损失函数
其中，Or2和Of2是第二判别网络最后一层全连接层输出的二维向量的两个值，分别对应判断为真实样本和判断为生成样本的特征值，y2为第二生成器网络P2的输出；
4b4)计算第二生成器网络损失函数梯度，利用梯度下降算法反向传播更新第二生成器网络P2参数；
对无标签数据的协同训练，是将无标签数据分别同时送入检测双网络Ψ1和Ψ2进行如下协同训练：
4c)第一检测网络Ψ1从无标签数据中提取类别特征，并利用Softmax分类器对类别特征进行分类，得到每一个无标签样本所对应的伪标签PL1以及分类概率向量py，计算第i个无标签样本分类的置信度为：Conyi＝max(pyi)，并将该分类置信度Conyi与预先设定的置信度阈值Ty进行比较，将置信度大于阈值的样本做为第二检测网络Ψ2的有监督训练样本；
4d)第二检测网络Ψ2从无标签数据中提取模式特征，并利用Softmax分类器对模式特征进行分类，得到每一个无标签样本所对应的伪标签PL2以及分类概率向量pz，计算第i个无标签样本分类的置信度为：Conzi＝max(pzi)，并将Conzi与预先设定的置信度阈值Tz进行比较，将置信度大于阈值的样本做为第一检测网络Ψ1的有监督训练的训练样本；
(5)将测试样本数据输入到训练好的变化检测网络Ψ进行检测，得到SAR图像的变化检测结果。
2.根据权利要求1所述的方法，其中步骤(1)中利用二时相SAR图像数据计算相应的对数比差异图，按如下公式计算：
其中I1为原始SAR图像的第一时相图，I2为原始SAR图像的第二时相图。
3.根据权利要求1所述的方法，其中(2)中用滑窗模型在二时相SAR图像和差异图上选取训练样本和测试样本，实现如下：
2a)设滑窗大小为N×N，滑窗的中心为(i,j)，对于训练样本，在指定区域进行滑窗选取图像块，对于测试样本，在整幅图像上进行滑窗选取图像块；
2b)在两时相图像I1与I2中以(i,j)为中心分别选择N×N大小的图像块，记为和将和沿第一维度拼接在一起获得大小为2N×N的样本第一通道；
2c)对应两时相图像I1与I2中像素点(i,j)，在差异图像K中选择以(i,j)为中心的图像块记为图像块的大小为N×N，计算的平均值m，将m扩展成大小为2N×N的矩阵，作为样本第二通道；
2d)选取训练样本时，滑窗在指定区域滑动，用样本第一通道和样本第二通道组成训练样本，选取测试样本时，滑窗在整幅图滑动，用样本第一通道和样本第二通道组成测试样本。
4.根据权利要求1所述的方法，其中(3a)中变化检测双网络结构Ψ1和Ψ2中各层参数设置及关系如下：
Ψ1和Ψ2的前四层为共享层，其中：
第一层全连接层L1，其设有1000个神经元，用于提取训练样本和测试样本的浅层特征，这一层产生一个1000维的输出向量；
第二层激活函数层ReLU，用于对上一层全连接层的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)
其中x为输入ReLU(x)为输出，该层的输入和输出的维度一致；
第三层为全连接层L2，其设有1000个神经元，用于从上一层全连接层输出的浅层特征中提取更深层次的特征，这一层产生一个1000维的输出向量；
第四层为激活函数层ReLU，其作用和原理与上述ReLU层一致；
Ψ1和Ψ2的第五和第六层为非共享层，其中：
Ψ1的第五层为全连接层L31，用于从上一激活层的输出当中提取不同类型的特征，该层的输入维度为1000，输出维度为2；
Ψ1第六层为Softmax分类器层S11，该层的作用是将L31输出的2维列向量分别转换为分类概率，即当前输入样本属于变化与非变化类的概率，根据概率值对样本进行分类；
Ψ2第五层为全连接层L32，用于从上一激活层的输出当中提取不同类型的特征，该层的输入维度为1000，输出维度为2；
Ψ2第六层为Softmax分类器层S21，该层的作用是将L32层输出的2维列向量分别转换为分类概率，即当前输入样本属于变化与非变化类的概率，根据概率值对样本进行分类。
5.根据权利要求1所述的方法，其中(3b)中的两个判别网络和其结构相同，各层参数设置及关系如下：
第一层全连接层，其设有1000个神经元，用于从网络的输入当中提取浅层的判别特征，这一层产生1000维的输出向量；
第二层激活函数层ReLU，用于对上一层全连接层的输出进行非线性的映射，该层的输入和输出的维度一致；
第三层为全连接层，其设有1000个神经元，用于从上一层全连接层输出的浅层特征中提取更深层次的判别特征，这一层产生1000维的输出向量；
第四层为激活函数层ReLU；
第五层为全连接层，其包含2个神经元，作用是将上一层的输出降维到2维向量用于后续的二分类概率计算；
第六层为Softmax分类器层，该层的作用是将上一层输出的2维列向量转换为二维分类概率，即当前输入样本属于真实分布样本与属于生成器生成样本的概率，根据概率值对样本进行判别。
CN201910527007.1A 2019-06-18 2019-06-18 基于半监督对抗深度网络的sar图像变化检测方法 Active CN110263845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910527007.1A CN110263845B (zh) 2019-06-18 2019-06-18 基于半监督对抗深度网络的sar图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910527007.1A CN110263845B (zh) 2019-06-18 2019-06-18 基于半监督对抗深度网络的sar图像变化检测方法

Publications (2)

Publication Number Publication Date
CN110263845A CN110263845A (zh) 2019-09-20
CN110263845B true CN110263845B (zh) 2023-05-02

Family

ID=67919058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910527007.1A Active CN110263845B (zh) 2019-06-18 2019-06-18 基于半监督对抗深度网络的sar图像变化检测方法

Country Status (1)

Country Link
CN (1) CN110263845B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444955B (zh) * 2020-03-25 2022-08-02 哈尔滨工程大学 一种基于类意识领域自适应的水下声纳图像无监督分类方法
CN111523422B (zh) * 2020-04-15 2023-10-10 北京华捷艾米科技有限公司 一种关键点检测模型训练方法、关键点检测方法和装置
CN112257855B (zh) * 2020-11-26 2022-08-16 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
CN112285664B (zh) * 2020-12-18 2021-04-06 南京信息工程大学 一种雷达-飞行器体系对抗仿真置信度评估方法
CN112686305A (zh) * 2020-12-29 2021-04-20 深圳龙岗智能视听研究院 一种自监督学习辅助下的半监督学习方法及***
CN112766381B (zh) * 2021-01-22 2023-01-24 西安电子科技大学 有限样本下属性引导的sar图像生成方法
CN112784777B (zh) * 2021-01-28 2023-06-02 西安电子科技大学 基于对抗学习的无监督高光谱图像变化检测方法
CN113255451B (zh) * 2021-04-25 2023-04-07 西北工业大学 遥感图像的变化检测方法、装置、电子设备及存储介质
CN114301637B (zh) * 2021-12-11 2022-09-02 河南大学 一种用于医疗物联网的入侵检测方法和***
CN114821299B (zh) * 2022-03-28 2024-03-19 西北工业大学 一种遥感图像变化检测方法
CN114821337B (zh) * 2022-05-20 2024-04-16 武汉大学 基于时相一致性伪标签的半监督sar图像建筑区提取方法
CN116127345B (zh) * 2022-12-23 2023-11-14 北京科技大学 基于深度聚类生成对抗网络的转炉炼钢工艺模式设计方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3246875A2 (en) * 2016-05-18 2017-11-22 Siemens Healthcare GmbH Method and system for image registration using an intelligent artificial agent
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN107977667A (zh) * 2016-10-21 2018-05-01 西安电子科技大学 基于半监督协同训练的sar目标鉴别方法
CN108492298A (zh) * 2018-04-13 2018-09-04 西安电子科技大学 基于生成对抗网络的多光谱图像变化检测方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN109242889A (zh) * 2018-08-27 2019-01-18 大连理工大学 基于上下文显著性检测与sae的sar图像变化检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3246875A2 (en) * 2016-05-18 2017-11-22 Siemens Healthcare GmbH Method and system for image registration using an intelligent artificial agent
CN107977667A (zh) * 2016-10-21 2018-05-01 西安电子科技大学 基于半监督协同训练的sar目标鉴别方法
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN108492298A (zh) * 2018-04-13 2018-09-04 西安电子科技大学 基于生成对抗网络的多光谱图像变化检测方法
CN109242889A (zh) * 2018-08-27 2019-01-18 大连理工大学 基于上下文显著性检测与sae的sar图像变化检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification》;Han W等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20181231;全文 *
《基于卷积神经网络的SAR图像目标检测算法》;杜兰等;《电子与信息学报》;20161231;全文 *
《小样本下的极化SAR图像分类问题研究》;滑文强;《中国博士学位论文全文数据库》;20190215(第02期);全文 *

Also Published As

Publication number Publication date
CN110263845A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110263845B (zh) 基于半监督对抗深度网络的sar图像变化检测方法
CN109800648B (zh) 基于人脸关键点校正的人脸检测识别方法及装置
CN107330396B (zh) 一种基于多属性和多策略融合学习的行人再识别方法
Zhou et al. Robust matching for SAR and optical images using multiscale convolutional gradient features
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
Liu et al. Visual loop closure detection with a compact image descriptor
WO2019232894A1 (zh) 一种基于复杂场景下的人体关键点检测***及方法
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN112614187B (zh) 回环检测方法、装置、终端设备和可读存储介质
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN103714148B (zh) 基于稀疏编码分类的sar图像检索方法
CN106844739B (zh) 一种基于神经网络协同训练的遥感图像变化信息检索方法
CN109902585A (zh) 一种基于图模型的手指三模态融合识别方法
CN109801305B (zh) 基于深度胶囊网络的sar图像变化检测方法
CN113808166B (zh) 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法
Yang et al. Dynamic fractal texture analysis for PolSAR land cover classification
CN115527269B (zh) 一种人体姿态图像智能识别方法及***
Su et al. FSRDD: An efficient few-shot detector for rare city road damage detection
CN115131580A (zh) 基于注意力机制的空间目标小样本识别方法
Li et al. Detecting building changes using multi-modal Siamese multi-task networks from very high resolution satellite images
Wang et al. Active deep feature extraction for hyperspectral image classification based on adversarial learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant