CN114821299A - 一种遥感图像变化检测方法 - Google Patents
一种遥感图像变化检测方法 Download PDFInfo
- Publication number
- CN114821299A CN114821299A CN202210311570.7A CN202210311570A CN114821299A CN 114821299 A CN114821299 A CN 114821299A CN 202210311570 A CN202210311570 A CN 202210311570A CN 114821299 A CN114821299 A CN 114821299A
- Authority
- CN
- China
- Prior art keywords
- network model
- ladder network
- remote sensing
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 239000013598 vector Substances 0.000 claims abstract description 126
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000009401 outcrossing Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 7
- 230000035772 mutation Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遥感图像变化检测方法，包括：获取对同一位置不同时刻拍摄的第一、第二遥感图像；分别对第一、第二遥感图像进行标记形成无标签样本数据和有标签样本数据；分别对无标签样本数据和有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据；利用进化算法进行网络结构搜索得到若干目标阶梯网格模型；对每一目标阶梯网络模型进行半监督与无监督训练确定中间最优阶梯网络模型；对中间最优阶梯网络模型进行半监督与无监督训练得到目标最优阶梯网络模型，目标最优阶梯网络模型对应的输出结果为检测结果。本发明检测方法普适性更强，可以获得更好的遥感图像变化检测结果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种遥感图像变化检测方法。
背景技术
遥感图像变化检测(Change Detection，简称CD)是一项通过对一对遥感图像进行比较和处理，识别同一区域不同时间的变化区域的技术。随着遥感技术的发展，遥感图像的类型也逐渐多样化，如合成孔径雷达(Synthetic Aperture Radar，简称SAR)图像、光学图像、异构图像、超高分辨率(Very High Resolution，简称VHR)图像、多光谱图像和高光谱图像等，带来了更丰富的遥感图像信息。如今，随着越来越多的遥感图像信息能够被充分利用，遥感图像变化检测的应用也十分常见，比如地表变化分析、土地覆盖变化、自然灾害评估、农业评估、城市扩张和演化和环境监测等。
近年来，深度学习技术可以在大量遥感数据的支持下提取遥感图像的高阶特征，因此被广泛应用于遥感图像变化检测领域。但由于真实标签样本缺少，利用大量未标记数据来补充缺乏的有监督信息的半监督神经网络模型逐渐引人关注。在极度缺乏标签的情况下，半监督方法在遥感图像变化检测领域具有很大的潜力。半监督遥感图像变化检测任务的处理流程分为三个部分：1、数据处理：对遥感数据的预处理模块；2、标记的结构化学习：训练标记数据产生其结构模型；3、网络训练：综合未经训练的处理数据的最后一个模块，然后输出变化检测结果图。
但现有的半监督框架存在以下问题：
1、标记数据和未标记数据的训练相对独立，难以训练或获得良好的遥感图像信息表示结构传播到未标记数据，从而影响遥感图像变化的检测精度；
2、检测对象的改变导致对象间的差异信息和需要处理的数据尺度变化很大，固定的网络结构适应性差，同样会影响遥感图像变化的检测精度。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种遥感图像变化检测方法。本发明要解决的技术问题通过以下技术方案实现：
本发明实施例提供了一种遥感图像变化检测方法，包括：
获取对同一位置不同时刻拍摄的第一遥感图像和第二遥感图像；
分别对所述第一遥感图像和所述第二遥感图像进行标记形成无标签样本数据和有标签样本数据；其中，所述有标签样本数据包括所述第一遥感图像和所述第二遥感图像中标记的部分；所述无标签样本数据包括所述第一遥感图像和所述第二遥感图像中未标记的部分；
分别对所述无标签样本数据和所述有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据；
利用进化算法进行网络结构搜索得到若干目标阶梯网格模型；
对每一目标阶梯网络模型分别进行半监督与无监督训练确定中间最优阶梯网络模型；其中，半监督训练为利用所述有标签样本矢量数据进行训练；无监督训练为利用所述有标签样本数据和所述无标签样本矢量数据进行训练；
对所述中间最优阶梯网络模型进行半监督与无监督训练得到目标最优阶梯网络模型，所述目标最优阶梯网络模型对应的输出结果为变化检测结果。
在本发明的一个实施例中，所述分别对所述无标签样本数据和所述有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据，包括：
利用预设的邻域窗口对所述第一遥感图像和所述第二遥感图像同一位置的像素点对进行采集得到对应图像块对；
针对每一图像块对，将所述图像块对中每一图像块的像素点按行展开得到两个像素点矢量；
将两个像素点矢量纵向连接形成新的像素点矢量；其中，所述无标签样本数据形成的所有新的新像素点矢量组成所述无标签样本矢量数据；
对于所述有标签样本数据，还包括：
同时，判断所有像素点对是否发生变化；
将所有新的像素点矢量和其对应的判断结果纵向连接形成所述有标签样本矢量数据。
在本发明的一个实施例中，所有阶梯网络模型均包括第一编码器、第二编码器和解码器。
在本发明的一个实施例中，所述第一编码器、所述第二编码器和所述解码器采用相同的网络结构；其中，相同的网络结构包括网络结构中网络层数和节点数分别对应相同。
在本发明的一个实施例中，所述利用进化算法进行网络结构搜索得到若干目标阶梯网格模型，包括：
选择若干初始阶梯网络模型作为初始种群；
对每一所述初始阶梯网络模型中第一编码器的网络层数和节点数分别进行编码；
利用进化算法对所述初始种群中所有初始阶梯网络模型的编码结果进行交叉与变异直至满足种群迭代停止条件；
选择满足要求的交叉与变异的编码结果，并解码形成所述若干目标阶梯网络模型。
在本发明的一个实施例中，对阶梯网络模型进行半监督与无监督训练的过程，包括：
利用所述阶梯网络模型中第一编码器对所述无标签样本矢量数据和所述有标签样本矢量数据进行加噪压缩得到噪声样本；
计算所述噪声样本中有标签样本矢量数据对应的第一编码器的输出结果与该有标签样本矢量数据中判断结果之间的差异得到监督损失结果；
将所述阶梯网络模型中第一编码器的输出结果经过所述阶梯网络模型中解码器进行去噪得到去噪样本；
利用所述阶梯网络模型中第二编码器对所述无标签样本矢量数据和所述有标签样本矢量数据进行纯净压缩得到若干无噪样本；
利用所述阶梯网络模型中解码器将去噪样本与每一无噪样本进行重构，并计算重构结果与每一无噪样本之间的差异得到若干无监督损失结果；
根据所述监督损失结果和所有无监督损失结果计算对应所述阶梯网络模型的网络损失结果。
在本发明的一个实施例中，对阶梯网络模型进行半监督与无监督训练之前，还包括：
将所述无标签样本矢量数据分为若干批次；其中，每一批次的无标签样本矢量数据与所述有标签样本矢量数据的大小接近；
分别将每一批次的无标签样本矢量数据和所述有标签样本矢量数据组成训练数据，利用该训练数据对所述阶梯网络模型进行半监督与无监督训练得到对应的所述阶梯网络模型的网络损失结果；
根据所有网络损失结果确定对应优化的阶梯网络模型；
其中，对每一目标阶梯网络模型进行训练确定的优化的阶梯网络模型为若干目标阶梯网络模型，从所述若干目标阶梯网络模型中确定所述中间最优阶梯网络模型；对所述中间最优阶梯网络模型进行训练确定的优化的阶梯网络模型为所述目标最优阶梯网络模型；对每一目标阶梯网络模型进行训练时采用的迭代次数阈值小于对所述中间最优阶梯网络模型进行训练时采用的迭代次数阈值。
在本发明的一个实施例中，从所述若干目标阶梯网络模型中确定所述中间最优阶梯网络模型的过程，包括：
计算所有目标阶梯网络模型对应的平均差异水平；
根据所述平均差异水平、所有目标阶梯网络模型的网络损失结果，以及所述目标阶梯网络模型的无监督损失结果确定所述中间最优阶梯网络模型。
在本发明的一个实施例中，所述目标最优阶梯网络模型对应的输出结果为变化检测结果，包括：
对所述目标最优阶梯网络模型中第一编码器的输出结果进行分类得到所述变化检测结果；其中，分类得到所述变化检测结果时对应的目标最优阶梯网络模型中第一编码器不加入噪声干扰。
在本发明的一个实施例中，还包括：
对所述目标最优阶梯网络模型中第一编码器的输出结果进行分类得到半监督分类结果；
对所述目标最优阶梯网络模型中第二编码器除第一层网络层外其他每一层的输出结果进行分类得到若干无监督分类结果；
对所述半监督分类结果和所述若干无监督分类结果进行融合；
根据所述半监督分类结果和所述若干无监督分类结果统计所有分类结果的总分数，根据所述总分数判断每个像素点的分类结果是否可靠，选择融合结果中所有可靠的无标签样本数据作为伪标签样本数据，将所述伪标签样本数据加入所述有标签样本数据形成新的有标签样本数据；
根据所述无标签样本数据和新的有标签样本数据对所述目标最优阶梯网络模型进行半监督与无监督训练得到更新后的目标最优阶梯网络模型，所述更新后的目标最优阶梯网络模型对应的输出为变化检测结果。
本发明的有益效果：
本发明提出的遥感图像变化检测方法，是一种将有标签样本数据和无标签样本数据结合考虑的新策略，该策略结合了半监督和无监督变化检测方法的优势，在半监督变化检测中利用了有标签样本数据，在无监督变化检测中利用了有标签样本数据和无标签样本数据，同时训练有标签样本数据和无标签样本数据可以获得良好的遥感图像信息表示结构，提高了遥感图像变化检测精度，且有标签样本数据直接在网络中进行泛化学习，无需额外学习标签结构化模型，简化了网络模型；本发明采用了进化算法进行网络搜索得到若干目标阶梯网格模型，然后采用半监督和无监督训练方式对每一目标阶梯网格模型进行训练，在每一次网络循环迭代中，目标阶梯网络模型结构和参数都能自动调整以适配当下最有效的阶梯网络得到中间最优阶梯网络模型，对中间最优阶梯网络模型再次进行半监督和无监督训练，实现网络最后的微调得到目标最优阶梯网络模型，通过该目标最优阶梯网络模型实现遥感图像的变化检测，这样的自动网络调整，避免了手动配置网络，还可以适应检测对象的改变导致对象间的差异信息和需要处理的数据尺度变化很大的情况，该变化检测方法普适性更强，这种半监督与无监督的双预测结果有助于补充不同角度的分类信息，可以获得更好的遥感图像变化检测结果。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种遥感图像变化检测方法的流程示意图；
图2是本发明实施例提供的利用进化算法进行网络结构搜索的流程示意图；
图3是本发明实施例提供的对每一初始阶梯网络模型中第一编码器的网络层数和节点数进行编码的示意图；
图4是本发明实施例提供的对初始种群中所有初始阶梯网络模型的编码结果进行交叉与变异的示意图；
图5是本发明实施例提供的阶梯网络模型进行半监督与无监督训练的流程示意图；
图6是本发明实施例提供的从若干目标阶梯网络模型中确定中间最优阶梯网络模型的流程示意图；
图7是本发明实施例提供的利用伪标签样本数据实现循环阶梯网络的检测流程示意图；
图8是本发明实施例提供的利用伪标签样本数据实现循环阶梯网络的训练过程示意图；
图9是本发明实施例提供的目标最优阶梯网络模型输出变化检测结果的完整示意图；
图10(a)～图10(c)是本发明实施例提供的测试异构图像Wuhan多时相遥感影像示意图；
图11(a)～图11(c)是本发明实施例提供的测试多光谱图像Hongqi多时相遥感影像示意图；
图12(a)～图12(d)是本发明实施例提供的不同算法在测试异构图像Wuhan多时相遥感影像的变化检测结果对比示意图；
图13(a)～图13(d)是本发明实施例提供的不同算法在测试多光谱图像Hongqi多时相遥感影像的变化检测结果对比示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
为了提高遥感图像变化检测精度，请参见图1，本发明实施例提出了一种遥感图像变化检测方法，包括以下步骤：
S10、获取对同一位置不同时刻拍摄的第一遥感图像和第二遥感图像；
S20、分别对第一遥感图像和第二遥感图像进行标记形成无标签样本数据和有标签样本数据；其中，有标签样本数据包括第一遥感图像和第二遥感图像中标记的部分；无标签样本数据包括第一遥感图像和第二遥感图像中未标记的部分。
具体而言，S10与S20为遥感数据获取阶段，获取的第一遥感图像和第二遥感图像可以为SAR图像，也可以为多光谱图像，具体获取的第一遥感图像和第二遥感图像的形式不限。然后，对第一遥感图像和第二遥感图像进行标记，具体为对两幅遥感图像的同一位置进行标记，从而形成无标签样本数据和有标签样本数据，第一遥感图像和第二遥感图像中均含有标记数据和未标记数据。
S30、分别对无标签样本数据和有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据。
具体而言，本发明实施例采用邻域窗口采集的方式，分别对无标签样本数据和有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据，具体包括：
利用预设的邻域窗口对第一遥感图像和第二遥感图像同一位置的像素点对进行采集得到对应图像块对；针对每一图像块对，将图像块对中每一图像块的像素点按行展开得到两个像素点矢量；将两个像素点矢量纵向连接形成新的像素点矢量；其中，无标签样本数据形成的所有新的新像素点矢量组成无标签样本矢量数据；
对于有标签样本数据，还包括：
同时，判断所有像素点对是否发生变化；
将所有新的像素点矢量和其对应的判断结果纵向连接形成有标签样本矢量数据。
比如，遥感数据集D＝{I1,I2}中，I1表示第一遥感图像，I2表示第二遥感图像，分别对第一遥感图像I1和第二遥感图像I2选取同一位置的像素点组成像素点对，分别记为p'＝(i',j')、p”＝(i”,j”)，并分别以(i',j')、(i”,j”)为像素中心，对像素点对中每个像素点以邻域窗口大小为w×w的窗口进行像素点采集得到对应的图像块对，图像块对中每个图像块大小为w×w，将每个图像块中的像素点按行展开得到两个w2维的像素点矢量，再将两个w2维的像素点矢量纵向连接形成2w2维的新的像素点矢量。对于第一遥感图像I1和第二遥感图像I2中所有同一位置的像素点，均按上述邻域窗口采集的方式进行矢量格式转换，对应形成2w2维的新的像素点矢量。
对于第一遥感图像I1和第二遥感图像I2中的无标签样本数据，其由形成的所有2w2维的新的像素点矢量组成无标签样本矢量数据。
而对于第一遥感图像I1和第二遥感图像I2的有标签样本数据，还考虑了该位置处像素点的变化情况，判断选取的当前位置处的像素点对是否发生了变化，不管像素点对是否发生变化均将该变化情况记录在内，比如像素点对发生变化时记为1，未发生变化时记为0，将该判断结果与按上述邻域窗口采集方式形成的2w2维的像素点矢量纵向连接形成2w2+1维的新的像素点矢量。其中，判断结果将用于后续半监督训练过程中监督损失结果的计算。
对于第一遥感图像I1和第二遥感图像I2中有标签样本数据，其由形成的所有2w2+1维的新的像素点矢量组成有标签样本矢量数据。
需要说明的是，若第一遥感图像I1和第二遥感图像I2为多光谱图像，具有多个普段，同样适用上述矢量格式转换处理。比如第一遥感图像I1和第二遥感图像I2均具有n1个普段，每个普段对应一遥感图像，则第一遥感图像I1和第二遥感图像I2相当于分别由n1张遥感图像组成，对第一遥感图像I1和第二遥感图像I2中每一张遥感图像均采用上述邻域窗口采集方式进行处理，即对第一遥感图像I1和第二遥感图像I2中每一张遥感图像所有同一位置的像素点，均进行上述邻域窗口展开，分别对应形成2w2维的新的像素点矢量，将所有普段对应的2w2维像素点矢量再纵向连接形成2n1w2维像素点矢量。而对于第一遥感图像I1和第二遥感图像I2中有标签样本数据同样需要考虑判断同一位置处像素点对的变化情况，将该判断结果与按上述邻域窗口采集方式形成的2n1w2维的像素点矢量纵向连接形成2n1w2+1维的新的像素点矢量。
同理，对于多光谱图像，对于第一遥感图像I1和第二遥感图像I2中的无标签样本数据，其由形成的所有2n1w2维的新的像素点矢量组成无标签样本矢量数据；对于第一遥感图像I1和第二遥感图像I2中有标签样本数据，其由形成的所有2n1w2+1维的新的像素点矢量组成有标签样本矢量数据。
S40、利用进化算法进行网络结构搜索得到若干目标阶梯网格模型；
具体而言，本发明实施例涉及的所有阶梯网络模型均包括第一编码器、第二编码器和解码器，比如后续提及的初始阶梯网络模型、目标阶梯网络模型、中间最优阶梯网络模型和目标最优阶梯网络模型均为此网络结构。而对于第一编码器、第二编码器和解码器的网络结构可以采用相同的网络结构，也可以采用不同的网络结构，只是若采用不同的网络结构，增加了网络搜索的复杂度，因为本发明实施例优选第一编码器、第二编码器和解码器采用相同的网络结构；其中，相同的网络结构包括网络结构中网络层数和节点数分别对应相同。
传统变化检测算法中，大多考虑采用固定的网络模型，但是在多谱段的遥感图像中，更多的频谱带来丰富的变化信息和不同的输入数据大小，使得采用这种固定网络模型会导致更大的检测难度。而采用手动式调整网络模型以提高变化检测精度的方式，可能多次人为调整后依然无法达到一个最优网络模型，依然存在检测精度低的问题。因此，本发明实施例提出利用进化算法进行网络结构搜索确定最优网络模型的方式。
在进化算法的选择过程中，只针对网络层的数量Layer_size和单个网络层的节点数量Layer_number进行搜索，从而减少整个进化网络搜索空间。为了防止过度突变带来网络的训练困难，本发明实施例阶梯网络结构不能选择太大、太复杂的网络结构，优选每层网络层的节点Layer_number小，而网络层数Layer_size大的网络结构，这样后续的无监督特征提取较深，可以更好地利用无标签样本数据完善有标签样本数据的泛化能力。本发明实施例对最大网络层的数量maxLayerSize和单个网络层的最大节点数量maxNeuSzie进行了限制，比如maxLayerSize限制为6，maxNeuSzie限制为150，但也不局限于该限制方式。由于优选第一编码器、第二编码器和解码器采用相同的网络结构，则本发明实施例在进化算法进行网络搜索时，只需要对第一编码器、第二编码器和解码器任择其一进行网络搜索，经过网络搜索确定了第一编码器的网络结构后，第二编码器和解码层的网络结构采用与第一编码器完全一致的网络结构，从而不需要额外的网络结构搜索过程，降低了网络搜索的复杂度。
以对第一编码器的网络搜索为例，对应的利用进化算法进行网络结构搜索得到若干目标阶梯网格模型，请参见图2，包括以下步骤：
S401、选择若干初始阶梯网络模型作为初始种群。
具体而言，对于初始阶梯网络模型选择，需要满足上述最大网络层的数量maxLayerSize和单个网络层的最大节点数量maxNeuSzie的要求。在进化算法中，一个初始阶梯网络模型为一个体，初始种群包括若干这样的个体，每个个体的网络结构不同。比如本发明实施例初始种群的大小popSize为30。
S402、对初始阶梯网络模型中第一编码器的网络层数和节点数分别进行编码。
具体而言，请参见图3，本发明实施例以网络net1和网络net2为例，描述对初始阶梯网络模型中第一编码器的网络层数和节点数的编码情况。由图3可以看出：从左到右为对网络最顶层到网络最底层的网络层编码方式，对应每一网络层编码值为该网络层的节点数，比如网络net1为4层网络，每一网络层对应的节点数分别为6、4、3、2，则该初始阶梯网络模型net1中第一编码器编码结果为[6,4,3,2]，同理，网络net2为3层网络，每一网络层对应的节点数分别为4、3、2，则该初始阶梯网络模型net2中第一编码器编码结果为[4,3,2]。
按上述编码方式，对初始种群中每一初始阶梯网络模型的真实网络结构进行编码，编码结果如图4左上角所示，每一行为一初始阶梯网络模型的编码结果，每一行含有多少个数字代表有多少层网络层，从左到右依次表示从网络最顶层到网络最底层，具体每个数字对应该网络层的节点数，以第一行为例，表示该初始阶梯网络模型中第一编码器有4层，从最顶层到最底层对应的网络节点数为18、47、27、2。
S403、利用进化算法对初始种群中所有初始阶梯网络模型的编码结果进行交叉与变异直至满足种群迭代停止条件。
具体而言，利用S402，完成了初始种群中所有初始阶梯网络模型的编码，对所有的编码结果进行如图4所示的交叉与变异。对于交叉变异的情况，网络层的数量和网络层的节点数量均可以保证一直满足最大网络层的数量maxLayerSize和单个网络层的最大节点数量maxNeuSzie的要求，但是对于突变变异情况，网络层数量可能不再满足最大网络层的数量maxLayerSize的要求，以及网络层的节点数量也可能不再满足单个网络层的最大节点数量maxNeuSzie的要求，对于这些不满足要求的突变个体，在种群迭代过程中删掉，以免影响到进化效果。本发明实施例在网络结构搜素中存在产生后代的交配操作，交配池matingPoolSize限制为20，交叉概率pc＝0.3，变异概率pm＝0.3，种群迭代次数maxIter＝30，在30次种群迭代后输出交叉与变异后的所有阶梯网络结构。
S404、选择满足要求的交叉与变异的编码结果，并解码形成若干目标阶梯网络模型。
具体而言，种群迭代停止后，交叉与变异的编码结果同样可能存在网络层数量不再满足最大网络层的数量maxLayerSize的要求，以及网络层的节点数量不再满足单个网络层的最大节点数量maxNeuSzie的要求，则选择满足要求的交叉与变异的编码结果，并解码形成若干目标阶梯网络模型。其中，解码是S402编码的逆过程，比如交叉与变异的编码结果为[18,132,60,27,2]，则该目标阶梯网络模型为5层，从网络最顶层到网络底层对应的每一层网络层的节点数量分别为18、132、60、27、2，解码形成该交叉与变异的编码结果对应的目标阶梯网络模型。
为了防止毫无意义的网络进化，本发明实施例采用了“无优即停”的原则。这意味着，如果未来三代网络后代的分类表现不如父代中最差的网络个体，那么循环将直接停止。此时将对所有交叉与变异的编码结果解码形成若干目标阶梯网络模型。
S50、对每一目标阶梯网络模型分别进行半监督与无监督训练确定中间最优阶梯网络模型；其中，半监督训练为利用有标签样本矢量数据进行训练；无监督训练为利用有标签样本数据和无标签样本矢量数据进行训练；
具体而言，通过S40形成了若干目标阶梯网络模型，从这些目标阶梯网络模型中确认出最优的阶梯网络模型。由于遥感图像自身变化的复杂性和标签的局限性，导致网络模型对变化检测结果出现严重过拟合，单一的半监督变化检测结构难以突破有限标签信息的限制。因此，本发明提出采用半监督与无监督同时训练方式。实际中，有标签样本矢量数据的数据量不大，而无标签样本矢量数据的数据量比较大，若一次性输入无标签样本矢量数据作为训练样本，虽然不影响本发明方法变化检测结果的精度，但计算量大，严重影响训练速度。因此，在对阶梯网络模型进行半监督与无监督训练之前，还包括：
将无标签样本矢量数据分为若干批次；其中，每一批次的无标签样本矢量数据与有标签样本矢量数据的大小接近；分别将每一批次的无标签样本矢量数据和有标签样本矢量数据组成训练数据，利用该训练数据对阶梯网络模型进行半监督与无监督训练得到对应的阶梯网络模型的网络损失结果；根据所有网络损失结果确定对应优化的阶梯网络模型；其中，对每一目标阶梯网络模型进行训练确定的优化的阶梯网络模型为若干目标阶梯网络模型，从若干目标阶梯网络模型中确定中间最优阶梯网络模型；对中间最优阶梯网络模型进行训练确定的优化的阶梯网络模型为目标最优阶梯网络模型；对每一目标阶梯网络模型进行训练时采用的迭代次数阈值小于对中间最优阶梯网络模型进行训练时采用的迭代次数阈值。
可见，本发明实施例将无标签样本矢量数据分成了若干批次，每一次批次的无标签样本矢量数据与有标签样本矢量数据作为训练数据进行半监督与无监督训练，训练时，数据量少，训练速度快。而利用每一批次的无标签样本矢量数据与有标签样本矢量数据组成的训练数据进行训练时，均是根据无标签样本矢量数据与有标签样本矢量数据对阶梯网络模型进行半监督与无监督训练，请参见图5，包括以下步骤：
S501、利用阶梯网络模型中第一编码器对无标签样本矢量数据和有标签样本矢量数据进行加噪压缩得到噪声样本。
S502、计算噪声样本中有标签样本矢量数据对应的第一编码器的输出结果与该有标签样本矢量数据中判断结果之间的差异得到监督损失结果。
S503、将阶梯网络模型中第一编码器的输出结果经过阶梯网络模型中解码器进行去噪得到去噪样本。
S504、利用阶梯网络模型中第二编码器对无标签样本矢量数据和有标签样本矢量数据进行纯净压缩得到若干无噪样本。
S505、利用阶梯网络模型中解码器将去噪样本与每一无噪样本进行重构，并计算重构结果与每一无噪样本之间的差异得到若干无监督损失结果；
S506、根据监督损失结果和所有无监督损失结果计算对应阶梯网络模型的网络损失结果。
S501、S504分别可以采用现有的加噪与去噪方式，对无标签样本矢量数据和有标签样本矢量数据进行加噪压缩、纯净压缩，在第一编码器的最后一层网络层加噪得到加噪样本，在第二编码器中除第一层外的其他网络层去噪得到若干无噪样本；S503可以采用相应的解码方式，对噪声样本进行去噪处理，此时噪声样本是包括无标签样本矢量数据和有标签样本矢量数据的加噪数据。
S502中，第一编码器的输出结果为其最后一层网络层对应的输出，则本发明实施例在该批次对应的输入数据下，计算的监督损失结果记为Lc，该监督损失结果Lc公式表示为：
Lc(xlabel)＝-logP(g(xlabel)|xlabel) (1)
其中，Lc表示阶梯网络模型中第一编码器输出结果对应的监督损失结果，xlabel表示有标签样本矢量数据中判断结果，g(xlabel)表示xlabel输入后阶梯网络模型中第一编码器的输出结果，P(·)表示先验xlabel下g(xlabel)的平均负对数概率。
S505中，第二编码器的输出结果为除第一层外其他网络层对应的输出，则本发明实施例在该批次对应的输入数据下，计算的无监督损失结果记为Lu，该无监督损失结果Lu公式表示为：
其中，λi表示阶梯网络模型中第二编码器的第i层网络层的无监督惩罚因子，mi表示阶梯网络模型中第二编码器的第i层网络层的节点数，x表示有标签样本矢量数据和无标签样本矢量数据组合数据，(x-Nnoise)i表示x输入后经过阶梯网络模型中第二编码器的第i层网络层得到的无噪样本，Nnoise表示服从0～1正态分布的高斯噪声，f(x)i表示x经阶梯网络模型中解码器重构后对应阶梯网络模型中第二编码器的第i层网络层的输出结果。
对应地，S506中，在该批次对应的输入数据下，根据监督损失结果Lc和所有无监督损失结果Lu计算对应阶梯网络模型的网络损失结果，公式表示为：
则对所有批次的无标签样本矢量数据与有标签样本矢量数据进行上述S501～S506进行半监督与无监督训练得到对应的阶梯网络模型的网络损失结果，根据所有网络损失结果确定对应优化的阶梯网络模型，其中，所有网络损失结果公式表示为：
其中，L(·)表示阶梯网络模型的网络损失结果，Lc表示阶梯网络模型中第一编码器输出结果对应的监督损失结果，l表示阶梯网络模型中第二编码器的网络层数，
表示阶梯网络模型中第二编码器除第一层外第i层网络层输出结果对应的无监督损失结果，n表示无标签样本矢量数据被分的批次，xj label表示第j批次对应的有标签样本矢量数据中判断结果，g(xj label)表示xj label输入后阶梯网络模型中第一编码器的输出结果，P(·)表示先验xj label下g(xj label)的平均负对数概率，λi表示阶梯网络模型中第二编码器的第i层网络层的无监督惩罚因子，mi表示阶梯网络模型中第二编码器的第i层网络层的节点数，
表示第j批次对应的训练数据经过阶梯网络模型中第二编码器的第i层网络层得到的无噪样本，Nnoise表示服从0～1正态分布的高斯噪声，
表示第j批次对应的训练数据经阶梯网络模型中解码器重构后对应的阶梯网络模型中第二编码器的第i层网络层的输出结果。
利用上述方式，对进化算法搜索得到的所有目标阶梯网格模型进行半监督与无监督训练得到对应的阶梯网络模型的网络损失结果，根据所有网络损失结果确定中间最优阶梯网络模型，即从若干目标阶梯网络模型中确定中间最优阶梯网络模型，具体过程请参见图6包括以下步骤：
S601、计算所有目标阶梯网络模型对应的平均差异水平。
具体而言，从所有目标阶梯网络模型对应的网络损失结果中选择网络损失结果最大值和网络损失结果最小值，根据该最大值和最小值计算所有目标阶梯网络模型对应的平均差异水平，该平均差异水平公式表示为：
α＝(L(x；xlabel)max-L(x；xlabel)min)/N (5)
其中，α表示平均差异水平，L(x；xlabel)max表示网络损失结果最大值，L(x；xlabel)min表示网络损失结果最小值，N表示进化算法网络搜索的阶梯网络模型的个数。通过使用平均差异水平α来评价两个目标阶梯网络模型基本差异指数，它确保每个选定的目标阶梯网络模型都高于平均差异水平。
S602、根据平均差异水平、所有目标阶梯网络模型的网络损失结果，以及所述目标阶梯网络模型的无监督损失结果确定所述中间最优阶梯网络模型。
具体而言，所有目标阶梯网络模型记为A1、A1、……、AN，每个目标阶梯网络模型对应的网络损失结果记为
无监督损失结果记为
根据平均差异水平α、所有目标阶梯网络模型的网络损失结果，以及所述目标阶梯网络模型的无监督损失结果确定所述中间最优阶梯网络模型公式表示为：
其中，(L)B、(L)A为从A1、A1、……、AN中选择的两个目标阶梯网络模型对应的网络损失结果，(Lu)B、(Lu)A为对应的无监督损失结果，可以看出：本发明实施例通过计算两个目标阶梯网络模型对应的网络损失结果的差值(L)B-(L)A，判断该差值(L)B-(L)A与平均差异水平α的大小，若该差值(L)B-(L)A大于或等于平均差异水平α，则将较小网络损失结果对应的目标阶梯网络模型A作为当前中间最优阶梯网络模型，否则判断两个目标监督网络模型对应的无监督损失结果的大小，将较小无监督损失结果(Lu)A对应的目标阶梯网络模型A作为当前中间最优阶梯网络模型，其他情况选择目标阶梯网络模型B作为当前中间最优阶梯网络模型。
紧接着，从A1、A1、……、AN中继续选择一目标阶梯网络模型，与当前中间最优阶梯网络模型继续利用公式(6)比较的方式，确定出此轮中间最优阶梯网络模型，重复这样的过程，直至比较完A1、A1、……、AN中所有目标阶梯网络模型，以得到最终的中间最优阶梯网络模型。
S60、对中间最优阶梯网络模型进行半监督与无监督训练得到目标最优阶梯网络模型，目标最优阶梯网络模型对应的输出结果为变化检测结果。
具体而言，采用上述对每一目标阶梯网络模型相同的监督与无监督训练方式进行训练得到目标最优阶梯网络模型，具体训练过程在此不再赘述。其中，为了防止模型训练后对遥感图像的变化检测过拟合现象，对每一目标阶梯网络模型训练时的迭代次数低于中间最优阶梯网络模型网络训练时的迭代次数。
最后，对目标最优阶梯网络模型中第一编码器的输出结果进行分类得到最终的变化检测结果。其中，对于最终的变化检测过程中，本发明实施例在第一编码器的输出端连接一分类层，实现对第一编码器的输出结果的分类，此时的目标最优阶梯网络模型中第一编码器不加入噪声干扰。
进一步地，为了提高网络的变化检测性能，本发明提出了一种循环自训练的新策略，利用更多的伪标签样本数据来再次指导网络的训练，由于网络训练引入了更丰富的先验知识，从而可以达到优化网络结构的目的。而利用更多的伪标签样本数据来再次指导网络训练的过程，请参见图7，包括以下步骤：
S701、对目标最优阶梯网络模型中第一编码器的输出结果进行分类得到半监督分类结果。
具体而言，本发明实施例在目标最优阶梯网络模型中第一编码器的输出端连接一分类层，实现对第一编码器的输出结果的分类，得到半监督分类结果，记为CM0。其中，半监督过程提取的是高阶特征，该高阶特征更倾向于在有标签样本数据的指导下进行分类。
S702、对目标最优阶梯网络模型中第二编码器除第一层网络层外其他每一层的输出结果进行分类得到若干无监督分类结果。
具体而言，无监督过程应用于从除第一层外的其他每一层中提取高阶特征，从而抑制了冗余信息和噪声的影响，更适合于分类。因此，在无监督过程中，本发明实施例采用但不限于变化向量分析(Compressed change vector analysis，简称C2VA)算法，将像素空间压缩到极坐标空间，通过相角范围进行类别的划分，最后除第一层外的其他每一层中提取高阶特征形成若干个无监督分类结果，记为：CM1、CM2、……、CMl-1，l为第二编码器的层数。比如图8中，第二编码器的网络层数为4，则分类得到的无监督分类结果CM1、CM2、CM3。
S703、对半监督分类结果和若干无监督分类结果进行融合。
具体而言，本发明实施例对半监督分类结果和若干无监督分类结果进行融合，融合是通过对半监督分类结果和多个无监督分类结果图上的同一位置的每一像素点进行投票选择，从而筛选出更可靠的检测分类结果。这种通过不同的角度获取分类结果的方式可以丰富差异信息量，将网络的半监督分类结果与无监督方法得到的多个无监督分类结果融合，采用“少数服从于多数”的原则对相对可靠的分类结果进行筛选，可以看出融合后的分类结果具有更高的变化检测精度。
S704、统计所有分类结果的总分数，根据总分数判断每个像素点的分类结果是否可靠，选择融合结果中所有可靠的无标签样本数据作为伪标签样本数据，将伪标签样本数据加入有标签样本数据形成新的有标签样本数据。
具体而言，本发明实施例对所有分类结果的总分数进行统计，统计的目的只是用于判断每个像素点是不是发生了改变，所以对于所有分类结果赋的分数值具体不限，只是为了简单，本发明实施例为半监督分类结果和无监督分类结果进行相同分数赋值，比如均赋值分数为1。则统计的总分数NL可以公式表示为：
其中，l为第二编码器的网络层数，nli表示第二编码器中第i层网络层对应的无监督分类结果赋的分数值，nlsemi表示半监督分类结果赋的分数值。
而对于已变化区域和不变区域的得分情况，公式表示为：
由公式(8)可以看出，对于任一像素点，当像素点发生变化时，统计分数为1，当像素点未发生变化时，统计分数为0。采用以下规则来过滤可靠的变化和不变的伪标签样本数据，公式表示为：
本发明实施例结合半监督分类结果和无监督分类结果来选择伪标签样本数据，当公式(9)中统计的总分数NL为l时，此时该像素点发生了可靠的变化，当统计的总分数NL为0时，表示此时该像素点未发生变化，当统计的总分数NL为1～l-1时，表示此时该像素点变化情况不确定。本发明实施例当统计的总分数NL为l作为生成伪标签样本数据的条件，满足时将融合得到的分类结果中所有可靠的无标签样本数据进行标记形成伪标签样本数据，记为
将伪标签样本数据
添加到有标签样本数据Xlabeled中，形成新的有标签样本数据
此时，对应无标签样本数据仍为Xunlabeled。
S705、根据无标签样本数据和新的有标签样本数据对目标最优阶梯网络模型进行半监督与无监督训练得到更新后的目标最优阶梯网络模型，更新后的目标最优阶梯网络模型对应的输出为检测结果。
具体而言，请参见图8，利用S704得到的新的有标签样本数据，以及无标签样本数据，对目标最优阶梯网络模型进行半监督与无监督训练，具体训练过程参见上述对每一目标阶梯网络模型的训练过程，在此不再赘述。此时训练中采用的迭代次数仍然需要大于对每一目标阶梯网络模型训练时的迭代次数。
请参见图9，完整的展示了本发明实施例提出的遥感图像变化检测过程，通过S10～S30形成无标签样本矢量数据和有标签样本矢量数据，根据S40～S60确定的目标最优阶梯网络模型输出对应的变化检测结果，以此实现遥感图像变化检测。其中，还展示了利用无监督分类和半监督分类实现伪标签样本数据的生成，结合图8，再利用该伪标签样本数据再次指导最优目标阶梯网络模型训练，以实现更加精确的遥感图像变化检测。
需要说明的是，为了保证每一次确定的目标最优阶梯网络模型可以更好的适用当前场景的变化检测需求，每一次在进行变化检测时，均可以采用上述进化算法优先去选择若干合适的目标阶梯网格模型，再通过半监督与无监督训练过程确定最终的目标最优阶梯网络模型，通过该目标最优阶梯网络模型实现高精度的变化检测。
为了验证本发明实施例提出的遥感图像变化检测方法的有效性，通过以下实验进行验证。
1、仿真条件
本发明实例在Intel(R)Core(TM)i7-4790 [email protected] Windows 10，Python3.6.2,Tensorflow1.3.2环境中进行仿真实验。
2、评价指标
对于仿真实验，使用定性和定量分析对算法性能进行评价，定量分析使用的主要评价指标有：
①正确分类率(Percentage correct classification，简称PCC)，公式表示为：
其中，真正率(True Positive，简称TP)，表示正确检测变化区域的像素数；真负率(True Negative，简称TN)，表示正确检测未变化区域的像素数；错检率(False Positive，简称FP)，表示本来不变的区域被检测为变化类；漏检率(False Negative，简称FN)，表示本来是变化的区域未被检测出来。
②衡量仿真实验结果图与变化参考图一致性的Kappa系数，公式表示为：
其中，Mc和Mu分别表示实际上的变化和未变化区域的像素数；PRE表示期望一致性比率。
3、仿真实验内容
运用现有方法对不同类型的遥感图像数据集进行仿真实验，表明本发明提出的变化检测方法适用于多种遥感图像类型，此处选取异构图像以及多光谱图像为例进行仿真实验。
仿真使用的第一组为如图10(a)～图10(c)所示的异构图像，图10(a)是拍摄于2008年6月的武汉市地区的SAR遥感图像，图像的尺寸为503×495；图10(b)是拍摄于2012年9月的同一地区同一大小的RGB三通道的光学图像；图10(c)是图10(a)和图10(b)之间的变化参考图，白色区域表示变化区域，黑色区域表示未变化区域。
仿真使用的第二组为如图11(a)～图11(c)所示的多光谱图像，图11(a)是拍摄于2013年12月9日的红旗运河地区的多光谱图像，图像的尺寸为539×543；图11(b)是拍摄于2015年10月16日的同一地区同一大小的多光谱图像；图11(c)是图11(a)和图11(b)的变化参考图，白色区域表示变化区域，黑色区域表示未变化区域。
仿真一、使用本发明方法和现有两种方法对图10(a)～图10(c)所示的一组遥感图像进行变化检测仿真，变化检测结果如图12(a)～图12(d)所示，其中，图12(a)为残差网络算法(Residual Network，简称Resnet)的变化检测结果，图12(b)为半监督生成对抗网络算法(Semi-Supervised Generative Adversarial Networks，简称Semi-GAN)的变化检测结果，图12(c)为本发明方法的变化检测结果，图12(d)为变化检测参考图。
在Wuhan异构图像数据集上，对图10(a)～图10(c)所示异构图像的变化检测仿真实验数据进行分析，得到的定量评价分析结果如表1所示。
表1 Wuhan异构图像数据在不同算法下定论评价分析结果
同时，请参见图12(a)～图12(d)，以图12(d)参考图：图12(a)～图12(b)所示的Resnet、Semi-GAN两种方法都不可避免地出现噪声问题，且其未变化区域和变化区域的检测性能均下降严重，所以它们的Kappa系数得分更低；而如图12(c)所示的本发明方法，一定程度上抑制了噪声干扰，且未变化区域和变化区域的检测性能相对其他算法均有所提升，对应的PCC、Kappa系数得分也均有所提升。总体来看，本发明方法的检测性能最好。
仿真二、使用本发明方法和现有两种方法对图11(a)～图11(c)所示的一组遥感图像进行变化检测仿真，变化检测结果如图13(a)～图13(d)所示，其中，图13(a)为残差网络算法Resnet的变化检测结果，图13(b)为半监督生成对抗网络算法Semi-GAN的变化检测结果，图13(c)为本发明方法的变化检测结果，图13(d)为变化检测参考图。
在Hongqi多光谱图像数据集上，对图11(a)～图11(c)所示异构图像的变化检测仿真实验数据进行分析，得到的定量评价分析结果如表2所示。
表2 Hongqi多光谱图像数据集在不同算法下定论评价分析结果
同时，请参见图13(a)～图13(d)，以图13(d)参考图，可以看出，检测Hongqi多光谱图像数据集的困难在于它有大量的线性变化区域(中部地区四条细长的线条)，这极大地考验了变化检测方法的边缘泛化能力：图13(a)～图13(b)所示的Resnet、Semi-GAN两种方法都不可避免地出现噪声问题，尤其是在未变化区域存在更多的噪点，且细节保持仍然需要加强，因此PCC和Kappa系数均比较低；而如图13(c)所示的本发明方法可以在整个遥感图像中保持最佳的细节，在变化区域和未变化区域均很好的抑制了噪声，因此达到了最佳的PCC和Kappa系数。
通过以上的仿真实验分析可以看出，不管是Wuhan异构图像数据集，还是Hongqi多光谱图像数据集，对于遥感图像变化检测问题，本发明具有更好的分类性能和更高的变化检测精度，优于现在广泛使用的方法。
综上所述，本发明实施例提供了一种遥感图像变化检测方法，是一种将有标签样本数据和无标签样本数据结合考虑的新策略，该策略结合了半监督和无监督变化检测方法的优势，在半监督变化检测中利用了有标签样本数据，在无监督变化检测中利用了有标签样本数据和无标签样本数据，同时训练有标签样本数据和无标签样本数据可以获得良好的遥感图像信息表示结构，提高了遥感图像变化检测精度，且有标签样本数据直接在网络中进行泛化学习，无需额外学习标签结构化模型，简化了网络模型；本发明实施例采用了进化算法进行网络搜索得到若干目标阶梯网格模型，然后采用半监督和无监督训练方式对每一目标阶梯网格模型进行训练，在每一次网络循环迭代中，目标阶梯网络模型结构和参数都能自动调整以适配当下最有效的阶梯网络得到中间最优阶梯网络模型，对中间最优阶梯网络模型再次进行半监督和无监督训练，实现网络最后的微调得到目标最优阶梯网络模型，通过该目标最优阶梯网络模型实现遥感图像的变化检测，这样的自动网络调整，避免了手动配置网络，还可以适应检测对象的改变导致对象间的差异信息和需要处理的数据尺度变化很大的情况，该变化检测方法普适性更强，这种半监督与无监督的双预测结果有助于补充不同角度的分类信息，可以获得更好的遥感图像变化检测结果。
同时，本发明实施例还提出在循环检测中利用更多的伪标签样本数据反过来再次指导阶梯网络模型的训练，由于带来了更丰富的先验知识，这种通过自训练的方式可以提高阶梯网络模型的分类性能，获得更好的遥感图像变化检测结果。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种遥感图像变化检测方法，其特征在于，包括：
获取对同一位置不同时刻拍摄的第一遥感图像和第二遥感图像；
分别对所述第一遥感图像和所述第二遥感图像进行标记形成无标签样本数据和有标签样本数据；其中，所述有标签样本数据包括所述第一遥感图像和所述第二遥感图像中标记的部分；所述无标签样本数据包括所述第一遥感图像和所述第二遥感图像中未标记的部分；
分别对所述无标签样本数据和所述有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据；
利用进化算法进行网络结构搜索得到若干目标阶梯网格模型；
对每一目标阶梯网络模型分别进行半监督与无监督训练确定中间最优阶梯网络模型；其中，半监督训练为利用所述有标签样本矢量数据进行训练；无监督训练为利用所述有标签样本数据和所述无标签样本矢量数据进行训练；
对所述中间最优阶梯网络模型进行半监督与无监督训练得到目标最优阶梯网络模型，所述目标最优阶梯网络模型对应的输出结果为变化检测结果。
2.根据权利要求1所述的遥感图像变化检测方法，其特征在于，所述分别对所述无标签样本数据和所述有标签样本数据进行矢量格式转换形成无标签样本矢量数据和有标签样本矢量数据，包括：
利用预设的邻域窗口对所述第一遥感图像和所述第二遥感图像同一位置的像素点对进行采集得到对应图像块对；
针对每一图像块对，将所述图像块对中每一图像块的像素点按行展开得到两个像素点矢量；
将两个像素点矢量纵向连接形成新的像素点矢量；其中，所述无标签样本数据形成的所有新的新像素点矢量组成所述无标签样本矢量数据；
对于所述有标签样本数据，还包括：
同时，判断所有像素点对是否发生变化；
将所有新的像素点矢量和其对应的判断结果纵向连接形成所述有标签样本矢量数据。
3.根据权利要求2所述的遥感图像变化检测方法，其特征在于，所有阶梯网络模型均包括第一编码器、第二编码器和解码器。
4.根据权利要求3所述的遥感图像变化检测方法，其特征在于，所述第一编码器、所述第二编码器和所述解码器采用相同的网络结构；其中，相同的网络结构包括网络结构中网络层数和节点数分别对应相同。
5.根据权利要求4所述的遥感图像变化检测方法，其特征在于，所述利用进化算法进行网络结构搜索得到若干目标阶梯网格模型，包括：
选择若干初始阶梯网络模型作为初始种群；
对每一所述初始阶梯网络模型中第一编码器的网络层数和节点数分别进行编码；
利用进化算法对所述初始种群中所有初始阶梯网络模型的编码结果进行交叉与变异直至满足种群迭代停止条件；
选择满足要求的交叉与变异的编码结果，并解码形成所述若干目标阶梯网络模型。
6.根据权利要求3所述的遥感图像变化检测方法，其特征在于，对阶梯网络模型进行半监督与无监督训练的过程，包括：
利用所述阶梯网络模型中第一编码器对所述无标签样本矢量数据和所述有标签样本矢量数据进行加噪压缩得到噪声样本；
计算所述噪声样本中有标签样本矢量数据对应的第一编码器的输出结果与该有标签样本矢量数据中判断结果之间的差异得到监督损失结果；
将所述阶梯网络模型中第一编码器的输出结果经过所述阶梯网络模型中解码器进行去噪得到去噪样本；
利用所述阶梯网络模型中第二编码器对所述无标签样本矢量数据和所述有标签样本矢量数据进行纯净压缩得到若干无噪样本；
利用所述阶梯网络模型中解码器将去噪样本与每一无噪样本进行重构，并计算重构结果与每一无噪样本之间的差异得到若干无监督损失结果；
根据所述监督损失结果和所有无监督损失结果计算对应所述阶梯网络模型的网络损失结果。
7.根据权利要求6所述的遥感图像变化检测方法，其特征在于，对阶梯网络模型进行半监督与无监督训练之前，还包括：
将所述无标签样本矢量数据分为若干批次；其中，每一批次的无标签样本矢量数据与所述有标签样本矢量数据的大小接近；
分别将每一批次的无标签样本矢量数据和所述有标签样本矢量数据组成训练数据，利用该训练数据对所述阶梯网络模型进行半监督与无监督训练得到对应的所述阶梯网络模型的网络损失结果；
根据所有网络损失结果确定对应优化的阶梯网络模型；
其中，对每一目标阶梯网络模型进行训练确定的优化的阶梯网络模型为若干目标阶梯网络模型，从所述若干目标阶梯网络模型中确定所述中间最优阶梯网络模型；对所述中间最优阶梯网络模型进行训练确定的优化的阶梯网络模型为所述目标最优阶梯网络模型；对每一目标阶梯网络模型进行训练时采用的迭代次数阈值小于对所述中间最优阶梯网络模型进行训练时采用的迭代次数阈值。
8.根据权利要求7所述的遥感图像变化检测方法，其特征在于，从所述若干目标阶梯网络模型中确定所述中间最优阶梯网络模型的过程，包括：
计算所有目标阶梯网络模型对应的平均差异水平；
根据所述平均差异水平、所有目标阶梯网络模型的网络损失结果，以及所述目标阶梯网络模型的无监督损失结果确定所述中间最优阶梯网络模型。
9.根据权利要求3所述的遥感图像变化检测方法，其特征在于，所述目标最优阶梯网络模型对应的输出结果为变化检测结果，包括：
对所述目标最优阶梯网络模型中第一编码器的输出结果进行分类得到所述变化检测结果；其中，分类得到所述变化检测结果时对应的目标最优阶梯网络模型中第一编码器不加入噪声干扰。
10.根据权利要求3所述的遥感图像变化检测方法，其特征在于，还包括：
对所述目标最优阶梯网络模型中第一编码器的输出结果进行分类得到半监督分类结果；
对所述目标最优阶梯网络模型中第二编码器除第一层网络层外其他每一层的输出结果进行分类得到若干无监督分类结果；
对所述半监督分类结果和所述若干无监督分类结果进行融合；
根据所述半监督分类结果和所述若干无监督分类结果统计所有分类结果的总分数，根据所述总分数判断每个像素点的分类结果是否可靠，选择融合结果中所有可靠的无标签样本数据作为伪标签样本数据，将所述伪标签样本数据加入所述有标签样本数据形成新的有标签样本数据；
根据所述无标签样本数据和新的有标签样本数据对所述目标最优阶梯网络模型进行半监督与无监督训练得到更新后的目标最优阶梯网络模型，所述更新后的目标最优阶梯网络模型对应的输出为变化检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210311570.7A CN114821299B (zh) | 2022-03-28 | 2022-03-28 | 一种遥感图像变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210311570.7A CN114821299B (zh) | 2022-03-28 | 2022-03-28 | 一种遥感图像变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821299A true CN114821299A (zh) | 2022-07-29 |
| CN114821299B CN114821299B (zh) | 2024-03-19 |
Family
ID=82530740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210311570.7A Active CN114821299B (zh) | 2022-03-28 | 2022-03-28 | 一种遥感图像变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821299B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343050A (zh) * | 2023-05-26 | 2023-06-27 | 成都理工大学 | 基于自适应权重的遥感图像噪声标注的目标检测方法 |
| CN117612020A (zh) * | 2024-01-24 | 2024-02-27 | 西安宇速防务集团有限公司 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
| CN117612020B (zh) * | 2024-01-24 | 2024-07-05 | 西安宇速防务集团有限公司 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133173A (zh) * | 2017-11-24 | 2018-06-08 | 西安电子科技大学 | 基于半监督梯形网络的极化sar图像分类方法 |
| CN110263845A (zh) * | 2019-06-18 | 2019-09-20 | 西安电子科技大学 | 基于半监督对抗深度网络的sar图像变化检测方法 |
| CN112084877A (zh) * | 2020-08-13 | 2020-12-15 | 西安理工大学 | 基于nsga-net的遥感图像识别方法 |
| WO2022052367A1 (zh) * | 2020-09-10 | 2022-03-17 | 中国科学院深圳先进技术研究院 | 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质 |
-
2022
- 2022-03-28 CN CN202210311570.7A patent/CN114821299B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133173A (zh) * | 2017-11-24 | 2018-06-08 | 西安电子科技大学 | 基于半监督梯形网络的极化sar图像分类方法 |
| CN110263845A (zh) * | 2019-06-18 | 2019-09-20 | 西安电子科技大学 | 基于半监督对抗深度网络的sar图像变化检测方法 |
| CN112084877A (zh) * | 2020-08-13 | 2020-12-15 | 西安理工大学 | 基于nsga-net的遥感图像识别方法 |
| WO2022052367A1 (zh) * | 2020-09-10 | 2022-03-17 | 中国科学院深圳先进技术研究院 | 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 施方迤;汪子扬;梁军;: "基于半监督密集阶梯网络的工业故障识别", 化工学报, no. 07, 9 May 2018 (2018-05-09) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343050A (zh) * | 2023-05-26 | 2023-06-27 | 成都理工大学 | 基于自适应权重的遥感图像噪声标注的目标检测方法 |
| CN117612020A (zh) * | 2024-01-24 | 2024-02-27 | 西安宇速防务集团有限公司 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
| CN117612020B (zh) * | 2024-01-24 | 2024-07-05 | 西安宇速防务集团有限公司 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114821299B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| US11809485B2 (en) | Method for retrieving footprint images | |
| CN110826638B (zh) | 基于重复注意力网络的零样本图像分类模型及其方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN110287777B (zh) | 一种自然场景下的金丝猴躯体分割算法 | |
| CN111444367B (zh) | 一种基于全局与局部注意力机制的图像标题生成方法 | |
| Xia et al. | A deep Siamese postclassification fusion network for semantic change detection | |
| CN113449801B (zh) | 一种基于多级图像上下文编解码的图像人物行为描述生成方法 | |
| CN110321805B (zh) | 一种基于时序关系推理的动态表情识别方法 | |
| CN112507778B (zh) | 一种基于线特征的改进词袋模型的回环检测方法 | |
| CN110503078A (zh) | 一种基于深度学习的远距离人脸识别方法和*** | |
| CN111738164B (zh) | 一种基于深度学习的行人检测方法 | |
| CN115346149A (zh) | 基于时空图卷积网络的跳绳计数方法和*** | |
| CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| CN115526847A (zh) | 一种基于半监督学习的主板表面缺陷检测方法 | |
| CN117217368A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN108805280B (zh) | 一种图像检索的方法和装置 | |
| CN114529552A (zh) | 一种基于几何轮廓顶点预测的遥感影像建筑物分割方法 | |
| CN114821299B (zh) | 一种遥感图像变化检测方法 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN113096070A (zh) | 一种基于MA-Unet的图像分割方法 | |
| CN114511787A (zh) | 一种基于神经网络的遥感图像地物信息生成方法及其*** | |
| CN117132919A (zh) | 一种多尺度高维特征分析无监督学习视频异常检测方法 | |
| CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
| CN111461061A (zh) | 一种基于相机风格适应的行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |