CN109409263A - 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 - Google Patents

一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 Download PDF

Info

Publication number
CN109409263A
CN109409263A CN201811191860.2A CN201811191860A CN109409263A CN 109409263 A CN109409263 A CN 109409263A CN 201811191860 A CN201811191860 A CN 201811191860A CN 109409263 A CN109409263 A CN 109409263A
Authority
CN
China
Prior art keywords
variation
scnn
sample
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811191860.2A
Other languages
English (en)
Other versions
CN109409263B (zh
Inventor
刘异
闫利
庄姊琪
呙维
庞超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201811191860.2A priority Critical patent/CN109409263B/zh
Publication of CN109409263A publication Critical patent/CN109409263A/zh
Application granted granted Critical
Publication of CN109409263B publication Critical patent/CN109409263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于Siamese卷积网络的遥感影像城市地物变化检测方法，所述Siamese卷积网络为孪生卷积神经网络SCNN，基于数据增强技术进行包括在配准的两时相城市影像中选取初始样本集，设置孪生卷积神经网络SCNN，基于初始样本集对孪生卷积神经网络SCNN进行训练，采用数据增强技术对初始样本集进行扩充；基于扩充后的样本集对孪生卷积神经网络SCNN进行训练，得到训练好的SCNN模型，实现对城市地物的变化检测。本发明通过数据增强技术实现对样本的扩充，并设计了一种Siamese卷积神经网络，避免了传统的变化检测方法中人工设计特征的繁琐步骤，实现了“端对端”的操作；充分考虑影像的空间属性，提高了变化检测的精度和可靠性。

Description

一种基于Siamese卷积网络的遥感影像城市地物变化检测 方法
技术领域
本发明属于遥感影像变化检测技术领域，特别是涉及城市地物的变化检测方法。
背景技术
变化检测是利用同一地理区域不同时间点获取的两张或多张遥感影像来发现地球表面所发生的变化的过程。变化检测是保持地理信息数据现势性的重要手段，是遥感应用领域一个重要的研究方向。近几年我国城市化进程不断加快，城市地物变化日新月异。对城市地物的变化检测对于把握城市变化规律、进行城市地图更新、辅助城市规划设计和政府决策等具有重要作用。
传统的变化检测方法需要人工设计特征，这是一项费时费力的工作，且需要较强的专业知识。并且很难设计出一种适用于所有地物类型的通用特征。近年来，深度学习技术发展较快，在图像识别与变化检测领域得到了一定的应用。深度神经网络的多层非线性映射使其具备拟合任意函数的能力，因此能够构建出高维的分类面，高质量地完成模式分类识别任务。本发明主要研究利用深度神经网络对城市地物实现“端到端”的变化检测，避免人工设计特征的过程，提升变化检测的精度。(参考文献：Tewkesbury A P,Comber A J,Tate N J,et al，a critical synthesis of remotely sensed optical image changedetection techniques，Remote Sensing of Environment，2015；Ian Goodfellow,YoshuaBengio and Aaron Courville，Deep Learning，MIT Press，2016)
目前，高分影像变化检测常用的深度神经网络模型包括自编码网络、深度置信网络、卷积神经网络等。自编码网络、深度置信网络将二维影像转化为一维向量输入到网络模型中，丢失了影像的空间信息。卷积神经网络采用局部连接的思想，以一个局部感受野作为特征提取的最小单元，充分考虑了影像的空间信息。但目前的研究方法均是基于像素的变化检测，以影像的各像素邻域范围作为训练输入，对深度神经网络进行训练，得到模型，再对整张影像进行变化检测。这种逐像素变化检测的方法，采用固定大小的移动窗口作为神经网络的输入，包含的信息量有限，不能充分发挥深度神经网络学习复杂特征的优势。且以像素为分析单元，存在大量破碎的伪变化。目前常用的基于场景的变化检测以场景为变化检测的分析单元，需要对场景进行捕捉，并且影像中存在较多非场景区域，不能进行变化检测，因此不能对影像进行“全覆盖”变化检测。(参考文献：Xu Y,Xiang S,Huo C,et al，Change detection based on auto-encoder model for VHR images，Proceedings ofSPIE-The International Society for Optical Engineering，2013；Argyridis A,Argialas D P，Building change detection through multi-scale GEOBIA approach byintegrating deep belief networks with fuzzy ontologies，International Journalof Image&Data Fusion，2016；Liu J,Gong M,Qin K,et al，A Deep ConvolutionalCoupling Network for Change Detection Based on Heterogeneous Optical andRadar Images，IEEE Transactions on Neural Networks&Learning Systems，2016；Wu C,Zhang L,Zhang L，A scene change detection framework for multi-temporal veryhigh resolution remote sensing images，Signal Processing，2016)
深度学习是数据驱动的机器学习方法。由于深度神经网络层数较深，参数较多，因此需要大量样本来训练深度神经网络。而制作一个带标签样本集是一项费时费力的工作，且需要一定的专业知识。为解决这一问题，Alex Krizhevsky等采用“数据增强”技术对训练样本进行扩充。一般的数据增强技术包括灰度变换、旋转、任意裁剪、颜色抖动等操作来扩充样本。这种数据增加技术在图像分类、识别、目标检测领域取得了较好的效果。但是该技术应用在变化检测领域却很难奏效。原因是同一地理区域不同时间点获取的两张或多张遥感影像本身由于拍摄时间、气候条件、光线条件、拍摄角度等不同而存在较大差异，单纯利用灰度变换、旋转、任意裁剪、颜色抖动等操作不能增加样本的多样性。因此，对变化检测的样本进行扩充时，要充分考虑多时相遥感影像之间本身存在差异性这一特点，结合变化数据的特点，寻求适合的样本扩充方法。(参考文献：Krizhevsky A,Sutskever I,Hinton GE，ImageNet classification with deep convolutional neural networks，International Conference on Neural Information Processing Systems.CurranAssociates Inc，2012；Zhong Y，Large patch convolutional neural networks for thescene classification of high spatial resolution imagery，Journal of AppliedRemote Sensing，2016.)
发明内容
针对现有技术中存在的不足，本发明提出一种基于Siamese卷积网络的城市地物变化检测技术，并针对变化检测问题提出了专门的数据增强方法。
本发明所采用的技术方案为一种基于Siamese卷积网络的遥感影像城市地物变化检测方法，所述Siamese卷积网络为孪生卷积神经网络SCNN，基于数据增强技术进行包括以下步骤，
步骤1，在配准的两时相城市影像中选取初始样本集，包括选择变化和不变的区块，分别分割为固定大小的分割块，给每个分割块对赋予标签，得到两时相样本对；
步骤2，设置孪生卷积神经网络SCNN，基于步骤1所得初始样本集对孪生卷积神经网络SCNN进行训练，得到初始训练后的孪生卷积神经网络SCNN；
所述孪生卷积神经网络SCNN由两个完全相同的分支网络和一个决策层网络组成，分支网络位于孪生卷积神经网络SCNN低层，两个分支网络具有完全相同的结构和参数，分别对两时相影像样本进行特征提取，提取后的特征经过特征连接，生成两时相样本对的整体特征，输入到顶层的决策层网络中；决策层网络实现相似度测量模型，对输入的整体特征进行相似性测量；
步骤3，基于步骤2所得初始训练后的孪生卷积神经网络SCNN，采用数据增强技术对初始样本集进行扩充；
步骤4，基于步骤3所得扩充后的样本集对孪生卷积神经网络SCNN进行训练，得到训练好的SCNN模型；
步骤5，基于步骤4训练好的SCNN模型，对一个新的城市区域进行测试，实现对城市地物的变化检测。
而且，步骤3采用数据增强技术对初始样本集进行扩充，包括以下子步骤，
步骤3.1，基于规律——两时相影像中变化区域是少数的，不变区域是多数的，对不变样本进行数据增强；
步骤3.2，基于规律——对时相1中每一个变化分割块数据，时相2中与之位于不同位置的分割块均可与该变化分割块组成变化样本对，对变化样本进行数据增强。
而且，步骤3.1包括以下子步骤，
步骤3.1.1，输入步骤2所得初始训练后的孪生卷积神经网络SCNN；
步骤3.1.2，选择两时相的扩充区域影像，分割为固定大小的分割块；
步骤3.1.3，将步骤3.1.2中得到的各分割块输入到初始训练后的孪生卷积神经网络SCNN中，进行变化检测，得到结果，确定每个分割块为变化区域或不变区域；
步骤3.1.4，从步骤3.1.3得出的结果中选出不变区域，通过调整阈值参数T，确保选出的不变区域中不包含变化区域，当不变样本的概率>T时，样本为不变样本，其他每个分割块为变化区域；
步骤3.1.5，将选出的不变区域添加到步骤1的所得初始样本集的不变样本中实现对其扩充。
而且，步骤3.2包括以下子步骤，
步骤3.2.1，基于步骤3.1.4所得变化区域，将时相1影像中所有变化分割块复制num次，并重新命名，时相1的变化样本扩充为原来(num+1)倍，num为预设的数值；
步骤3.2.2，基于步骤3.1.4所得变化区域，对应时相1影像中的每一个变化分割块，在时相2影像中随机选取num个与之位于不同位置的分割块，并重新命名，与步骤3.2.1复制的相应时相1的分割块组成num对变化影像对；
步骤3.2.3，将步骤3.2.2所得变化样本添加到步骤1所得初始样本集的变化样本中实现扩充。
而且，孪生卷积神经网络SCNN的每个分支网络分别包含5个卷积层、3个池化层和一个全连接层。
而且，孪生卷积神经网络SCNN的决策层网络由三个全连接层组成。
而且，对孪生卷积神经网络SCNN进行训练时，采用迁移学习策略，包括采用已训练好的CaffeNet模型参数，对分支网络参数进行初始化，提高网络训练的速度和变化检测的精度。
本发明通过特定的“数据增强”技术实现对样本的扩充，并设计了一种Siamese卷积神经网络(Siamese Convolutional Neural Network,SCNN)，实现对两时相高分影像城市区域地物的变化检测。本发明基于两时相影像中“变化区域是少数的，不变区域是多数的”这一规律，采用“迭代训练SCNN——样本选择--样本扩充”的方式实现对不变样本的扩充；基于“两时相中位于不同位置的分割块均可组成变化样本对”实现对变化样本的扩充，解决了深度学习对大数据的依赖问题。本发明的有益效果是：本发明避免了传统的变化检测方法中人工设计特征的繁琐步骤，实现了“端对端”的操作；克服了基于自编码网络和深度置信网络的变化检测方法丢失影像的空间信息的问题，充分考虑影像的空间属性，提高了变化检测的精度和可靠性。
附图说明
图1为本发明实施例的训练阶段流程图。
图2为本发明实施例的测试阶段流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
参见图1和图2，本发明实施例提供的一种基于Siamese卷积网络的遥感影像城市地物变化检测技术，包括以下步骤：
步骤1：在配准的两时相城市影像中选取初始样本集；
本发明实施例的初始样本集选取具体实现包括以下子步骤：
步骤1.1：输入两时相的影像，本发明中是针对城市影像进行研究，可选择某城市区域两时相的影像，记为初始区域影像，具体实施时，可以提供一个变化检测样本选择工具，将两时相的影像进行两窗口联动显示；
步骤1.2：对比两时相的影像选择变化和不变的区块，具体实施时可以由用户框选变化和不变的区块，或者预先确定变化和不变的区块；
步骤1.3：将两时相的影像中变化和不变的区块分别分割为固定大小的分割块(实施例采用64*64像素)，形成分割块对，并给每个分割块对赋予标签，得到两时相样本对，实现构建样本集，其中，实施例设置标签(1,0)代表变化区域，标签(0,1)代表不变区域。
步骤2：设计孪生卷积神经网络(Siamese Convolutional Neural Network,SCNN，即Siamese卷积网络)结构，基于步骤1所得初始样本集对孪生卷积神经网络SCNN进行训练，得到初始训练后的SCNN模型；
SCNN由两个完全相同的分支网络和一个决策层网络组成，分支网络位于SCNN的低层，两个分支网络具有完全相同的结构和参数，分别对两时相影像样本进行特征提取。提取后的特征经过特征连接，生成两时相样本对的整体特征，输入到顶层的决策层网络中。决策层网络实质上是一个相似度测量模型，对输入的整体特征进行相似性测量。
本发明实施例的SCNN结构设计具体如下：
SCNN低层两个分支网络采用卷积神经网络框架(CaffeNet)的卷积层和第一个全连接层，两个分支网络具有完全相同的结构和参数，分别包含5个卷积层、3个池化层和一个全连接层；
将两个分支网络提取的两时相影像样本特征进行特征连接，生成两时相样本对的整体特征；
SCNN高层的决策层网络由三个全连接层组成，决策层网络实质上是一个相似度测量模型，对输入的整体特征进行相似性测量，SCNN的输出为(prob1,prob2)，表示该样本是变化样本的概率为prob1，是不变样本的概率是prob2(prob1+prob2＝1)。
基于步骤1所得初始样本集对孪生卷积神经网络SCNN进行训练时，训练过程如下，
首先，将扩充后的样本集分为训练样本集(80％)和验证样本集(20％)，可采用随机的方式分割；(训练样本集在之后会被输入到SCNN中，基于梯度下降和反向传播算法进行迭代训练；当迭代次数＝T1时，验证样本集来验证被训练集训练的模型，得到验证精度；当迭代次数＝T2，保存模型(T2＝nT1)。)
具体实施时，可由用户预设T1和T2的取值，即可每轮执行T1次迭代，在执行n轮后保存模型。
训练样本集和验证样本集分别都含有变化区域和不变区域。
然后，将训练样本集输入到SCNN中进行迭代训练，得到训练好的SCNN模型；
本发明实施例的SCNN迭代训练具体实现包括以下子步骤：
步骤a：将卷积神经网络框架(CaffeNet)的卷积层和第一个全连接层的模型参数分别导入到SCNN的两个分支网络中，实现对两个分支网络参数的初始化；
此步骤中模型参数采用经验值，将已训练好的CaffeNet模型参数迁移过来，对分支网络参数进行初始化，这样可以有效提高网络训练的速度和变化检测的精度。
步骤b：对SCNN的决策层网络参数进行随机初始化；
步骤c：以两时相对应的样本对为输入，以变化检测结果为输出，设置网络超参数，具体实施时可采用经验值，例如：小批样本数：1000；学***稳时即收敛。
随机梯度下降和反向传播算法为现有技术，本发明不予赘述。
步骤3：通过本发明提出的“数据增强”技术对初始样本集进行扩充；
本发明实施例的样本集扩充具体实现包括以下子步骤：
步骤3.1：基于两时相影像中“变化区域是少数的，不变区域是多数的”这一规律，对不变样本进行数据增强；
本实施例的对不变样本的数据扩充具体实现过程是：
步骤3.1.1：输入步骤2所得初始训练后的SCNN模型，即在步骤2中基于初始样本集对孪生卷积神经网络SCNN进行训练的结果；
步骤3.1.2：在城市中选择一个较大面积区域的影像，将该大面积区域影像分割为和步骤1分割尺寸相应的(实施例中为64*64像素)的分割块；
和步骤1.1初始区域影像的两时相一致，本步骤可选择城市中另一较大区域两时相的影像，作为扩充区域影像。
步骤3.1.3：将步骤3.1.2中得到的各分割块影像输入到步骤3.1.1得到的SCNN模型中，进行变化检测，得到结果(每个分割块为变化区域或不变区域)；
步骤3.1.4：从步骤3.1.3得出的结果中选出不变区域，通过调整阈值参数T，确保选出的不变区域中不包含变化区域，当不变样本的概率>T时，样本为不变样本，其他每个分割块为变化区域；
实施例中，设置阈值T＝0.90，当不变样本的概率大于0.90时，样本为不变样本。
步骤3.1.5：将选出的不变区域添加到步骤1的所得初始样本集的不变样本中实现对其扩充。
步骤3.2：对时相1中每一个变化分割块数据，时相2中与之位于不同位置的分割块均可与该变化分割块组成变化样本对。基于该理论，对变化样本进行数据增强。
本实施例的对变化样本的数据扩充具体实现过程是：
步骤3.2.1：基于步骤3.1.4所得变化区域，将时相1影像中所有变化分割块影像复制num次，并重新命名，时相1的变化样本扩充为原来(num+1)倍；
步骤3.2.2：基于步骤3.1.4所得变化区域，对应时相1影像中的每一个变化分割块，在时相2影像中随机选取num个与之位于不同位置的分割块，并重新命名，与步骤3.2.1复制的相应时相1的分割块组成num对变化影像对；
步骤3.2.3：将步骤3.2.2所得变化样本添加到步骤1的所得初始样本集的变化样本中实现对其扩充。
对时相1影像中的所有变化分割块分别采用步骤3.2.1和步骤3.2.2的方式进行处理后，将时相2的变化样本扩充为原来(num+1)倍，再加入初始样本集的变化样本中。
具体实施时，可以预设num的取值。对于同一区域两时相的影像，时相1中每一个变化样本，时相2中与之位于不同位置的样本均可与该变化样本组成一个新的变化样本对。基于该假设，在时相1影像中选取一个变化样本，并复制num遍，在时相2影像中随机选取num个与之位于不同位置的样本，与时相1影像组成umn对变化影像对。对所有原始变化样本执行该操作，变化样本扩充为原来的(num+1)倍。例如，某个时相1样本复制了4张，在时相2样本中随机选取4个与之位于不同位置的样本，与时相1的4个样本组成4对变化影像对。加上原本的一个变化影像对，共5个变化影像对。这样，变化样本扩充为原来的5倍。
步骤4：基于步骤3所得扩充后的样本集对孪生卷积神经网络SCNN进行训练，得到训练好的SCNN模型。
再次训练的方式和步骤2第一次进行训练的方式一致，即：
首先，将扩充后的样本集分为训练样本集(80％)和验证样本集(20％)；(训练样本集在之后会被输入到SCNN中，基于梯度下降和反向传播算法进行迭代训练；当迭代次数＝T1时，验证样本集来验证被训练集训练的模型，得到验证精度；当迭代次数＝T2时，保存模型(T2＝nT1)。)此时，T1和T2的取值可调整为和步骤2第一次训练时不同。
然后，将训练样本集输入到SCNN中进行迭代训练，得到训练好的SCNN模型；
本发明实施例的SCNN迭代训练具体实现包括以下子步骤：
步骤a，将卷积神经网络框架(CaffeNet)的卷积层和第一个全连接层的模型参数分别导入到SCNN的两个分支网络中，实现对两个分支网络参数的初始化；
本步骤中模型参数同样采用经验值，将已训练好的CaffeNet模型参数迁移过来，对分支网络参数进行初始化，这样可以有效提高网络训练的速度和变化检测的精度。具体实施时，可以采用和步骤2中同样的初始参数，采用扩充后的训练样本，重新训练主要优化决策层网络参数。
步骤b，对SCNN的决策层网络参数进行随机初始化；
步骤c，以两时相对应的样本对为输入，以变化检测结果为输出，设置合适的网络超参数，此时可设置和步骤2中一样的取值：小批样本数：1000；学习率：0.01；随机失活神经元的比例：0.5，基于随机梯度下降和反向传播算法，对SCNN进行迭代训练，直到模型收敛，保存最优SCNN模型。
步骤5：基于步骤4训练好的SCNN模型，进行测试，可以对一个新的大面积城市区域进行“分割——变化检测——精度评价”，实现对城市地物的变化检测；
本发明实施例的基于训练好的SCNN模型，对一个新的大面积城市区域进行地物变化检测。参见图2，其具体实现过程是：
步骤5.1：选择一个与训练样本数据不重合的大面积城市区域，将该区域两时相影像分别分割为和步骤1分割尺寸相应的(实施例中为64*64像素)的分割块；
和步骤1.1初始区域影像的两时相一致，本步骤可选择城市中另一大区域两时相的影像，与初始区域影像和扩充区域影像均不重合，记为测试区域影像。
步骤5.2：将两时相影像分割块输入到步骤4训练好的SCNN模型中，进行变化检测，输出结果；
步骤5.3：对步骤5.2所得变化检测结果进行精度评价和结果可视化。
变化检测的可视化结果以二值影像表示，白色代表变化的分割块，黑色代表不变的分割块。根据地面变化参照图，可以根据参照图和变化检测结果统计被正确、错误检测的分割块的数量，计算制图精度、用户精度、漏检率、误检率、总体精度、Kappa系数等精度评价指标，以检验本发明变化检测结果的精度，验证本发明提出的方法的有效性。
具体实施时，可采用计算机软件技术实现以上流程的自动运行。
利用本发明实施例的技术方案进行实验，提取变化检测结果可视化图：
取图像(a)——武汉市某区域2010年遥感影像，是从ArcGIS平台获取的17级影像，影像分辨率为1.19米/像素；取图像(b)——同一区域2013年遥感影像，是从微软地图平台获取的17级影像，影像分辨率为1.19米/像素；图像(c)——地面变化参照图，是通过人工目视解译和实际调查获取的两时相真实变化影像图，图中白色代表变化区域，黑色代表不变区域；采用本发明提供的以上流程，最终可得到图像(d)——经过上述的变化检测方法检测出的变化检测结果图。通过变化检测结果图可确认本发明的有效性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：所述Siamese卷积网络为孪生卷积神经网络SCNN，基于数据增强技术进行包括以下步骤，
步骤1，在配准的两时相城市影像中选取初始样本集，包括选择变化和不变的区块，分别分割为固定大小的分割块，给每个分割块对赋予标签，得到两时相样本对；
步骤2，设置孪生卷积神经网络SCNN，基于步骤1所得初始样本集对孪生卷积神经网络SCNN进行训练，得到初始训练后的孪生卷积神经网络SCNN；
所述孪生卷积神经网络SCNN由两个完全相同的分支网络和一个决策层网络组成，分支网络位于孪生卷积神经网络SCNN低层，两个分支网络具有完全相同的结构和参数，分别对两时相影像样本进行特征提取，提取后的特征经过特征连接，生成两时相样本对的整体特征，输入到顶层的决策层网络中；决策层网络实现相似度测量模型，对输入的整体特征进行相似性测量；
步骤3，基于步骤2所得初始训练后的孪生卷积神经网络SCNN，采用数据增强技术对初始样本集进行扩充；
步骤4，基于步骤3所得扩充后的样本集对孪生卷积神经网络SCNN进行训练，得到训练好的SCNN模型；
步骤5，基于步骤4训练好的SCNN模型，对一个新的城市区域进行测试，实现对城市地物的变化检测。
2.根据权利要求1所述基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：步骤3采用数据增强技术对初始样本集进行扩充，包括以下子步骤，
步骤3.1，基于规律——两时相影像中变化区域是少数的，不变区域是多数的，对不变样本进行数据增强；
步骤3.2，基于规律——对时相1中每一个变化分割块数据，时相2中与之位于不同位置的分割块均可与该变化分割块组成变化样本对，对变化样本进行数据增强。
3.根据权利要求2所述基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：步骤3.1包括以下子步骤，
步骤3.1.1，输入步骤2所得初始训练后的孪生卷积神经网络SCNN；
步骤3.1.2，选择两时相的扩充区域影像，分割为固定大小的分割块；
步骤3.1.3，将步骤3.1.2中得到的各分割块输入到初始训练后的孪生卷积神经网络SCNN中，进行变化检测，得到结果，确定每个分割块为变化区域或不变区域；
步骤3.1.4，从步骤3.1.3得出的结果中选出不变区域，通过调整阈值参数T，确保选出的不变区域中不包含变化区域，当不变样本的概率>T时，样本为不变样本，其他每个分割块为变化区域；
步骤3.1.5，将选出的不变区域添加到步骤1的所得初始样本集的不变样本中实现对其扩充。
4.根据权利要求3所述基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：步骤3.2包括以下子步骤，
步骤3.2.1，基于步骤3.1.4所得变化区域，将时相1影像中所有变化分割块复制num次，并重新命名，时相1的变化样本扩充为原来(num+1)倍，num为预设的数值；
步骤3.2.2，基于步骤3.1.4所得变化区域，对应时相1影像中的每一个变化分割块，在时相2影像中随机选取num个与之位于不同位置的分割块，并重新命名，与步骤3.2.1复制的相应时相1的分割块组成num对变化影像对；
步骤3.2.3，将步骤3.2.2所得变化样本添加到步骤1所得初始样本集的变化样本中实现扩充。
5.根据权利要求1或2或3或4所述基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：孪生卷积神经网络SCNN的每个分支网络分别包含5个卷积层、3个池化层和一个全连接层。
6.根据权利要求1或2或3或4所述基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：孪生卷积神经网络SCNN的决策层网络由三个全连接层组成。
7.根据权利要求1或2或3或4所述基于Siamese卷积网络的遥感影像城市地物变化检测方法，其特征在于：对孪生卷积神经网络SCNN进行训练时，采用迁移学习策略，包括采用已训练好的CaffeNet模型参数，对分支网络参数进行初始化，提高网络训练的速度和变化检测的精度。
CN201811191860.2A 2018-10-12 2018-10-12 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 Active CN109409263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811191860.2A CN109409263B (zh) 2018-10-12 2018-10-12 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811191860.2A CN109409263B (zh) 2018-10-12 2018-10-12 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法

Publications (2)

Publication Number Publication Date
CN109409263A true CN109409263A (zh) 2019-03-01
CN109409263B CN109409263B (zh) 2021-05-04

Family

ID=65467086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811191860.2A Active CN109409263B (zh) 2018-10-12 2018-10-12 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法

Country Status (1)

Country Link
CN (1) CN109409263B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN110059658A (zh) * 2019-04-26 2019-07-26 北京理工大学 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN110070140A (zh) * 2019-04-28 2019-07-30 清华大学 基于多类别信息的用户相似性确定方法及装置
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测***及终端
CN110570397A (zh) * 2019-08-13 2019-12-13 创新奇智(重庆)科技有限公司 一种基于深度学习模版匹配算法检测成衣印花缺陷的方法
CN110610191A (zh) * 2019-08-05 2019-12-24 深圳优地科技有限公司 一种电梯楼层识别方法、装置及终端设备
CN110897630A (zh) * 2019-06-27 2020-03-24 上海数创医疗科技有限公司 一种基于迁移学习的室性心动过速心律识别方法和装置
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111079671A (zh) * 2019-12-20 2020-04-28 深圳集智数字科技有限公司 一种场景中异常物品的检测方法及装置
CN111127532A (zh) * 2019-12-31 2020-05-08 成都信息工程大学 基于深度学习特征光流的医学图像形变配准方法及***
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111325134A (zh) * 2020-02-17 2020-06-23 武汉大学 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN111738972A (zh) * 2019-03-19 2020-10-02 阿里巴巴集团控股有限公司 建筑检测***、方法和装置
CN112016436A (zh) * 2020-08-28 2020-12-01 北京国遥新天地信息技术有限公司 一种基于深度学习的遥感影像变化检测方法
CN112215085A (zh) * 2020-09-17 2021-01-12 云南电网有限责任公司昆明供电局 一种基于孪生网络的输电走廊异物检测方法及***
CN112396594A (zh) * 2020-11-27 2021-02-23 广东电网有限责任公司肇庆供电局 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
CN112784929A (zh) * 2021-03-14 2021-05-11 西北工业大学 一种基于双元组扩充的小样本图像分类方法及装置
CN113158855A (zh) * 2021-04-08 2021-07-23 成都国星宇航科技有限公司 一种基于在线学习的遥感图像辅助处理方法和装置
CN113326724A (zh) * 2021-02-07 2021-08-31 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN115019186A (zh) * 2022-08-08 2022-09-06 中科星图测控技术(合肥)有限公司 一种用于遥感变化检测的算法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740894A (zh) * 2016-01-28 2016-07-06 北京航空航天大学 一种高光谱遥感图像的语义标注方法
US20170140248A1 (en) * 2015-11-13 2017-05-18 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN106897681A (zh) * 2017-02-15 2017-06-27 武汉喜恩卓科技有限责任公司 一种遥感图像对比分析方法及***
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140248A1 (en) * 2015-11-13 2017-05-18 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN105740894A (zh) * 2016-01-28 2016-07-06 北京航空航天大学 一种高光谱遥感图像的语义标注方法
CN106897681A (zh) * 2017-02-15 2017-06-27 武汉喜恩卓科技有限责任公司 一种遥感图像对比分析方法及***
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN111738972B (zh) * 2019-03-19 2024-05-28 阿里巴巴集团控股有限公司 建筑检测***、方法和装置
CN111738972A (zh) * 2019-03-19 2020-10-02 阿里巴巴集团控股有限公司 建筑检测***、方法和装置
CN110059658A (zh) * 2019-04-26 2019-07-26 北京理工大学 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN110059658B (zh) * 2019-04-26 2020-11-24 北京理工大学 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN110070140A (zh) * 2019-04-28 2019-07-30 清华大学 基于多类别信息的用户相似性确定方法及装置
CN110070140B (zh) * 2019-04-28 2021-03-23 清华大学 基于多类别信息的用户相似性确定方法及装置
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测***及终端
CN110378224B (zh) * 2019-06-14 2021-01-05 香港理工大学深圳研究院 一种地物变化的检测方法、检测***及终端
CN110897630A (zh) * 2019-06-27 2020-03-24 上海数创医疗科技有限公司 一种基于迁移学习的室性心动过速心律识别方法和装置
CN110610191A (zh) * 2019-08-05 2019-12-24 深圳优地科技有限公司 一种电梯楼层识别方法、装置及终端设备
CN110570397A (zh) * 2019-08-13 2019-12-13 创新奇智(重庆)科技有限公司 一种基于深度学习模版匹配算法检测成衣印花缺陷的方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111079671A (zh) * 2019-12-20 2020-04-28 深圳集智数字科技有限公司 一种场景中异常物品的检测方法及装置
CN111127532B (zh) * 2019-12-31 2020-12-22 成都信息工程大学 基于深度学习特征光流的医学图像形变配准方法及***
CN111127532A (zh) * 2019-12-31 2020-05-08 成都信息工程大学 基于深度学习特征光流的医学图像形变配准方法及***
CN111325134A (zh) * 2020-02-17 2020-06-23 武汉大学 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN111640159B (zh) * 2020-05-11 2022-04-01 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112016436A (zh) * 2020-08-28 2020-12-01 北京国遥新天地信息技术有限公司 一种基于深度学习的遥感影像变化检测方法
CN112215085A (zh) * 2020-09-17 2021-01-12 云南电网有限责任公司昆明供电局 一种基于孪生网络的输电走廊异物检测方法及***
CN112396594A (zh) * 2020-11-27 2021-02-23 广东电网有限责任公司肇庆供电局 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
CN112396594B (zh) * 2020-11-27 2024-03-29 广东电网有限责任公司肇庆供电局 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
CN113326724B (zh) * 2021-02-07 2024-02-02 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN113326724A (zh) * 2021-02-07 2021-08-31 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN112784929B (zh) * 2021-03-14 2023-03-28 西北工业大学 一种基于双元组扩充的小样本图像分类方法及装置
CN112784929A (zh) * 2021-03-14 2021-05-11 西北工业大学 一种基于双元组扩充的小样本图像分类方法及装置
CN113158855A (zh) * 2021-04-08 2021-07-23 成都国星宇航科技有限公司 一种基于在线学习的遥感图像辅助处理方法和装置
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113609889B (zh) * 2021-05-18 2024-02-13 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN115019186A (zh) * 2022-08-08 2022-09-06 中科星图测控技术(合肥)有限公司 一种用于遥感变化检测的算法和***

Also Published As

Publication number Publication date
CN109409263B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN109409263A (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
Henry et al. Road segmentation in SAR satellite images with deep fully convolutional neural networks
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
Zhang et al. Joint Deep Learning for land cover and land use classification
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
Sun et al. Leveraging crowdsourced GPS data for road extraction from aerial imagery
EP3614308B1 (en) Joint deep learning for land cover and land use classification
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN110009010B (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN107690840B (zh) 无人机视觉辅助导航方法及***
Iqbal et al. Weakly-supervised domain adaptation for built-up region segmentation in aerial and satellite imagery
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN107507170A (zh) 一种基于多尺度图像信息融合的机场跑道裂缝检测方法
Tan et al. Vehicle detection in high resolution satellite remote sensing images based on deep learning
CN108846328A (zh) 基于几何正则化约束的车道检测方法
CN107767400A (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN113468968B (zh) 一种基于无锚框的遥感图像旋转目标检测方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
Amo-Boateng et al. Instance segmentation scheme for roofs in rural areas based on Mask R-CNN
de Gélis et al. Siamese KPConv: 3D multiple change detection from raw point clouds using deep learning
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN110084107A (zh) 一种基于改进mrf的高分辨率遥感影像道路提取方法及装置
Li et al. Framework for unknown airport detection in broad areas supported by deep learning and geographic analysis
Gao et al. Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data
CN105631849B (zh) 多边形目标的变化检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant