CN117612020A - 基于sgan对抗神经网络遥感影像要素变化的检测方法 - Google Patents
基于sgan对抗神经网络遥感影像要素变化的检测方法 Download PDFInfo
- Publication number
- CN117612020A CN117612020A CN202410096146.4A CN202410096146A CN117612020A CN 117612020 A CN117612020 A CN 117612020A CN 202410096146 A CN202410096146 A CN 202410096146A CN 117612020 A CN117612020 A CN 117612020A
- Authority
- CN
- China
- Prior art keywords
- change
- remote sensing
- classification
- sgan
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000000265 homogenisation Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 abstract description 4
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SGAN对抗神经网络遥感影像要素变化的检测方法，步骤：S1图像预处理：对选取的遥感影像进行预处理；S2构建SGAN网络模型：基于SGAN对抗神经网络构建变化检测网络模型；S3模型训练：采用不同的训练样本依次分别训练判别器、分类器和生成器，输出训练好的变化检测网络模型；S4模型检测：利用变化检测网络模型检测预处理后的遥感影像输出至少两张不同时期的地物分类和分类特征图；S5变化决策：分类特征图通过像素标签比对决策，判别变化区域输出变化特征图；S6矢量化：根据变化特征图的像素值生成变化的要素矢量并输出，同时赋予属性变化信息。该方法减少了分类后续工作，提升GIS数据分析利用效率。
Description
技术领域
本发明涉及计算机视觉与遥感图像处理领域，具体涉及一种遥感影像要素变化检测方法，尤其涉及一种基于SGAN对抗神经网络遥感影像要素变化的检测方法。
背景技术
随着生产力水平的提升，人类活动和自然界运动无时无刻不在改变地球面貌，为了更好的记录环境的变迁，利用天基观测***描述地物要素变化越来越引起相关部门的重视。遥感影像覆盖范围大、分辨率高、数据来源多、周期短等特点，因此变化监测也成了遥感应用的重要领域。
传统的变化检测从抽象程度分有基于像素级、特征级。如灰度差值法检测精度不高且抗燥性差；边缘特征基于形态学计算；纹理特征和矩特征难以解释变化信息，其都需要人工确定阈值区分变化区域，自动化程度普遍不高，且难以解释地物类别变化信息。
随着人工智能的发展，深度学习技术在变化检测领域得到较多的应用。现有检测方法大多基于全卷积神经网络的分割提取，代表性的有U-Net、VGG、DeepLab网络模型等，其都需要大量人工标注样本进行训练，而人工目视判断标注容易受作业员主观认知干扰，工作量大，费时费力。
中国专利文献CN111160128A中公开的一种基于对抗神经网络模型的遥感图像处理方法及***也是基于此种网络模型，即生成式对抗神经网络GAN，其主要包含生成器和判别器，判别器模型为二分类，只区分真和假。另外GAN网络鉴别器不包含多分类器，不能对地物要素进行多分类，也无法实现地物区域的分割提取。
发明内容
本发明要解决的技术问题是提供一种基于SGAN对抗神经网络遥感影像要素变化的检测方法，能够在较大程度缓解对样本标签需求的同时，实现地物类别分割提取及属性变化方向区分，同时提高模型训练的鲁棒性。
为了解决上述技术问题，本发明采用的技术方案是：该基于SGAN对抗神经网络遥感影像要素变化的检测方法，具体包括以下步骤：
S1图像预处理：选取至少两张同一地区不同时期的重叠光学遥感影像，并对选取的遥感影像进行预处理；
S2构建SGAN网络模型：基于SGAN对抗神经网络，构建变化检测网络模型；
S3模型训练：采用不同的训练样本依次分别训练判别器、分类器和生成器，输出训练好的变化检测网络模型；
S4模型检测：利用训练好的变化检测网络模型检测步骤S1中预处理后的遥感影像，输出至少两张不同时期的地物分类和分类特征图；
S5变化决策：分类特征图通过像素标签比对决策，判别变化区域，输出变化特征图；
S6矢量化：根据变化特征图的像素值，生成变化的要素矢量并输出，同时赋予属性变化信息。
采用上述技术方案，基于SGAN对抗神经网络，通过少量标注样本，采用SVM分类后分割，以便在较大程度缓解对样本标签需求的同时，实现地物类别分割提取及属性变化方向区分，减少了人工标签的工作量，同时提高模型训练的鲁棒性。
优选地，所述步骤S1中选取同一地区两幅不同时期的重叠的光学遥感影像，通过配准、辐射校正、滤波、匀色和坐标转换，使两幅遥感影像具有相同的地理坐标。由于不同时期的光学遥感影像在色彩分布、纹理特征和上下文信息上有着明显的差异，所以前期需通过配准、校正、滤波、匀色、坐标转换等处理，使影像具有相同的地理坐标减少辐射和色彩之间的差异，从而消除无关因素对检测结果的影响。
优选地，所述步骤S2中利用有标签真实样本、无标签真实样本和伪样本构建变化检测络模型，所述变化检测络模型包括生成器G和鉴别器，所述生成器G包括输入层、隐藏层和输出层；所述鉴别器包括判别器和分类器，所述判别器基于VGG网络，由13个卷积层和3个全连接层构成，其中采集的卷积核为3*3大小；所述分类器基于SVM网络在分类的同时根据特征分割提取，即对每个样本的特征点进行循环分类，再通过投票机制确定输出为哪一类并实现分割。
优选地，所述生成器G具有卷积运算Conv、映射运算ReShape、归一化运算Batch和上采样，卷积核大小为3*3用于捕获像素8邻域信息，使用的ReLU激活函数，该激活函数f(x)的公式为：
f(x)=max(0,x)，其中，x为无标签样本数据的输入向量。
优选地，所述步骤S2中的鉴别器的输入包含随机噪声Z生成的伪样本数据X*和有标签的样本(x,y)和无标签样本数据x，通过鉴别器输出n+1个分类结果。
优选地，所述分类器进行分类的具体步骤为：
S21特征提取：由卷积层和采样层构成，依次经过卷积运算Conv、Dropout运算、归一化运算Batch Normalization、激活运算Leaky ReLU，提取过程中使用了4次激活操作、4个卷积操作和2个Batch Normalization操作，激活运算Leaky ReLU公式为：
y=max(0,x)+leak*min(0,x)；其中，leak是常数。leak的取值为0.01左右，y保留了一些负轴的值，使得负轴的信息不会全部丢失；
S22分类器相似度计算：基于多分类支持向量SVM，采用非线性最优分类器，通过高斯核函数将低维转换为高维，计算相似度，其核函数公式为：
；
式中，σ为控制函数衰减自由参数， ，/>为特征向量，/>为欧几里得距离；
S23地物分类分割：地物类别分类采用投票机制，1-v-1在两两之间创建SVM，因此当有k类时，则有个不同的SVM，分类结果为SVM每种结果投票的最大值，结果包含地物分类和分割图，分割图像数据中的每一个像元都有一个标签，给每种地物赋予一种像素值，同种像素值代表一个地类，像素值范围0~255。
优选地，所述步骤S3的具体步骤为：
S31训练判别器：采用真实样本(x,y)有监督训练，抽取几十或上百个有标签的真实样本(x,y)，计算给定该批量样本的D((x,y))并反向传播多分类损失，更新判别器的参数θ D ，以使损失最小化，其公式为：
；
式中，为真实样本(x,y)的数量；真实样本(x,y)代表输入样本的特征值和标签；D((x,y))代表样本(x,y)真实的概率；θ D 为判别器的参数，反应模型区分真假的能力；/>表示θ D 处的梯度；/>表示判别器对于单个真实样本(x,y)的概率值D((x,y))的对数概率；/>表示判别器对于单个伪样本X*的概率值D((X*))的对数概率，以改进判别器的性能；D((X*))为伪样本X*为真样本的概率；
S32训练分类器：采用无标签的真实样本(x)无监督训练，通过训练计算惩罚系数C以及核函数参数，使其达到最优解，惩罚系数C公式为：
；
式中，为正则化参数，用于控制模型的复杂度；惩罚系数C的取值范围是[0.001,
100]；
S33训练生成器：采用加入随机噪声Z的伪样本X*无监督训练，抽取几十或上百个的随机噪声Z生成几十或上百个伪样本，记为：G(z)=(X*)，计算给定该批量的D((X*))并反向传播二元分类损失更新判别器参数θ G ，以使损失最大化，其公式为：
；
式中，为伪样本G(z)的数量；D((X *))为伪样本为真样本的概率；θ G 为生成器的参数；/>表示θ G 处的梯度，/>表示判别器对于单个伪样本X*的概率值D((X *))的对数概率，以改进判别器的性能。
优选地，所述步骤S3中训练模型时还包括分类精度OA评价，设置阈值，若小于阈值则重新训练，其公式为：
；
其中，为正确分类的样本个数，为总体样本个数。
优选地，所述步骤S5中采用像素差值法，利用开源工具OpenCV函数接口cv.Subtract()，以变化后分类特征图和变化前分割特征图作为输入，求像素差值图，用差值图像素值区分变化类别，输出变化特征图。
优选地，所述步骤S6中根据变化特征图的像素值，通过栅格矢量化，生成包含变化属性及变化方向标签的shp矢量并输出，同时赋予属性变化信息。
与现有技术相比，本发明具有的有益效果为：
（1）以SGAN对抗网络为基础，结合SVM，在实现分类后分割提取，能有效的鉴别变化区域的属性变化方向，减少了分类后属性赋值的工作，极大的提升GIS数据分析利用效率；
（2）适用于多地物或者单地物种类的变化检测，特别地，能减少了人工标签的工作量，并能根据类别结果扩充样本数据，提升模型训练的鲁棒性。
附图说明
图1为本发明的基于SGAN对抗神经网络遥感影像要素变化的检测方法的流程图；
图2为本发明的基于SGAN对抗神经网络遥感影像要素变化的检测方法的网络模型结构示意图；
图3为本发明的基于SGAN对抗神经网络遥感影像要素变化的检测方法的生成样本模型G结构示意图；
图4为本发明的基于SGAN对抗神经网络遥感影像要素变化的检测方法的VGG网络检测过程示意图；
图5为本发明的基于SGAN对抗神经网络遥感影像要素变化的检测方法的分类器分类流程示意图；
图6为本发明的基于SGAN对抗神经网络遥感影像要素变化的检测方法的检测结果示意图。
具体实施方式
下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例：如图1所示，该基于SGAN对抗神经网络遥感影像要素变化的检测方法，具体包括以下步骤：
S1图像预处理：选取至少两张同一地区不同时期的重叠光学遥感影像，并对选取的遥感影像进行预处理；本实施例中使用Python语言编程实现，底层依赖于Pytorch深度学习框架和Nvidia CUDA库,选取光学遥感数据（单波段或者多波段）作为训练数据；训练样本为人工标注的检测区域地物类别的矢量数据，将其进行栅格化与二值化，其中1代表检测要素类别的区域，0代表不属于该要素的检测区域；将影像相应裁剪为224x224大小的图片，在通道方向上进行连接，使其对应于网络模型输入；
所述步骤S1中选取同一地区两幅不同时期的重叠的光学遥感影像，通过配准、辐射校正、滤波、匀色和坐标转换，使两幅遥感影像具有相同的地理坐标；由于不同时期的光学遥感影像在色彩分布、纹理特征和上下文信息上有着明显的差异，所以前期需通过配准、校正、滤波、匀色、坐标转换等处理，使影像具有相同的地理坐标减少辐射和色彩之间的差异，从而消除无关因素对检测结果的影响；
S2构建SGAN网络模型：基于SGAN对抗神经网络，构建变化检测网络模型；所述步骤S2中利用有标签真实样本、无标签真实样本和伪样本构建变化检测络模型，如图2所示；所述变化检测络模型包括生成器G和鉴别器，所述生成器G包括输入层、隐藏层和输出层；生成器G的结构如图3所示，主要参考GAN网络，目的是输入为一个随机向量Z，尽可能生成与训练数据集别无二致的伪样本，尽可能生成与训练数据集别无二致的伪样本；
所述生成器G具有卷积运算Conv、映射运算ReShape、归一化运算Batch和上采样，卷积核大小为3*3用于捕获像素8邻域信息，使用的ReLU激活函数，该激活函数f(x)的公式为：
f(x)=max(0,x)，其中，x为无标签样本数据的输入向量；该激活函数f(x)能克服梯度消失的问题，Conv2d卷积运算后，能引入非线性关系，加快生成模型网络收敛的速度；
所述步骤S2中的鉴别器的输入包含随机噪声Z生成的伪样本数据X*和有标签的样本(x,y)和无标签样本数据x，通过鉴别器输出n+1个分类结果；
所述鉴别器包括判别器和分类器，所述判别器基于VGG网络，由13个卷积层和3个全连接层构成，其中采集的卷积核为3*3大小；所述分类器基于SVM网络在分类的同时根据特征分割提取，即对每个样本的特征点进行循环分类，再通过投票机制确定输出为哪一类并实现分割；鉴别器的目的是判别分类和输出地物要素分类特征图；
其中判别器主要用于区分类别的真假；输入参数为一张影像，输出代表是该影像的真实概率；越接近于1，代表属于该样本的真实概率越接近于1，反之趋于0。判别器模型基于VGG网络，如图4所示；由13个卷积层和3个全连接层构成，其中采集的卷积核是3*3大小，其过程如下：
输入图像尺寸为224x224x3，经64个通道为3的3x3的卷积核，步长为1，padding=same填充，卷积两次，再经ReLU激活，输出的尺寸大小为224x224x64；
经max pooling（最大化池化），滤波器为2x2，步长为2，图像尺寸减半，池化后的尺寸变为112x112x64；
经128个3x3的卷积核，两次卷积，ReLU激活，尺寸变为112x112x128；
max pooling池化，尺寸变为56x56x128；
经256个3x3的卷积核，三次卷积，ReLU激活，尺寸变为56x56x256；
max pooling池化，尺寸变为28x28x256；
经512个3x3的卷积核，三次卷积，ReLU激活，尺寸变为28x28x512；
max pooling池化，尺寸变为14x14x512；
经512个3x3的卷积核，三次卷积，ReLU，尺寸变为14x14x512；
max pooling池化，尺寸变为7x7x512；
然后Flatten()，将数据拉平成向量，变成一维51277=25088；
再经过两层1x1x4096，一层1x1x1000的全连接层（共三层），经ReLU激活；
其中分类器softmax基于SVM，分类的同时根据特征分割提取，如图5所示；因为是多分类，所以此处有多个SVM，对每个样本特征点进行循环分类，通过投票机制确定输出为哪一类并实现分割。所述分类器进行分类的具体步骤为：
S21特征提取：由卷积层和采样层构成，依次经过卷积运算Conv、Dropout运算、归一化运算Batch Normalization、激活运算Leaky ReLU，提取过程中使用了4次激活操作、4个卷积操作和2个Batch Normalization操作，激活运算Leaky ReLU公式为：
y=max(0,x)+leak*min(0,x)；
其中，leak是一个很小的常数，本实施例中leak取值为0.01左右，y保留了一些负轴的值，使得负轴的信息不会全部丢失；
S22分类器相似度计算：基于多分类支持向量SVM，采用非线性最优分类器，通过高斯核函数将低维转换为高维，计算相似度，其核函数公式为：
；
式中，σ为控制函数衰减自由参数，，/>为特征向量，/>为欧几里得距离；
S23地物分类分割：地物类别分类采用投票机制，1-v-1在两两之间创建SVM，因此当有k类时，则有个不同的SVM，分类结果为SVM每种结果投票的最大值，结果包含地物分类和分割图，分割图像数据中的每一个像元都有一个标签，给每种地物赋予一种像素值，同种像素值代表一个地类，像素值范围0~255；
例如：地类有三种，A、B、C，其把(A,B)、(B,C)、(A,C)三种向量作为输入，训练3种结果，分别用3个向量对3种结果进行计算，投票顺序如下：
A=B=C=0；
(A,B)分类器，如果是A，则A=A+1；否则B=B+1；
(B,C)分类器，如果是B，则B=B+1；否则C=C+1；
(A,C)分类器，如果是A，则A=A+1；否则C=C+1；
S3模型训练：采用不同的训练样本依次分别训练判别器、分类器和生成器，输出训练好的变化检测网络模型；采用有标签样本占比（5%-10%）和大量无标签真实样本进行训练；
所述步骤S3的具体步骤为：
S31训练判别器：采用真实样本(x,y)有监督训练，抽取几十或上百个有标签的真实样本(x,y)，计算给定该批量样本的D((x,y))并反向传播多分类损失，更新判别器的参数θ D ，以使损失最小化，其公式为：
；
式中，为真实样本(x,y)的数量；真实样本(x,y)代表输入样本的特征值和标签；D((x,y))代表样本(x,y)真实的概率，越接近1为真实样本；θ D 为判别器的参数，反应模型区分真假的能力，其中D表示判别器(Discriminator，D)，用于区分分类器G；/>表示θ D 处的梯度；/>表示判别器对于单个真实样本(x,y)的概率值D((x,y))的对数概率，使得梯度计算更加稳定和准确；/>表示判别器对于单个伪样本X*的概率值D((X*))的对数概率，以改进判别器的性能；D((X*))为伪样本X*为真样本的概率；
S32训练分类器：采用无标签的真实样本(x)无监督训练，通过训练计算惩罚系数C以及核函数参数，使其达到最优解，惩罚系数C公式为：
；
式中，为正则化参数，用于控制模型的复杂度；惩罚系数C的取值范围是
[0.001,100]；
S33训练生成器：采用加入随机噪声Z的伪样本X*无监督训练，抽取几十或上百个的随机噪声Z生成几十或上百个伪样本，记为：G(z)=(X*)，计算给定该批量的D((X*))并反向传播二元分类损失更新判别器参数θ G ，以使损失最大化，其公式为：
；
式中，为伪样本G(z)的数量；D((X *))为伪样本为真样本的概率；θ G 为生成器的参数，目标是使得判别器更难以区分伪样本和真实样本，其中G表示生成器(Generator，G)，用于区分判别器D；/>表示θ G 处的梯度，/>表示判别器对于单个伪样本X*的概率值D((X *))的对数概率，以改进判别器的性能；
所述步骤S3中训练模型时还包括分类精度OA评价，设置阈值（本实施例中为0.8），若小于阈值则重新训练，其公式为：
；
其中，为正确分类的样本个数，为总体样本个数；
S4模型检测：利用训练好的变化检测网络模型检测步骤S1中预处理后的遥感影像，输出至少两张不同时期的地物分类和分类特征图；
S5变化决策：分类特征图通过像素标签比对决策，判别变化区域，输出变化特征图；所述步骤S5中采用像素差值法，利用开源工具OpenCV函数接口cv.Subtract()，以变化后分类特征图和变化前分割特征图作为输入，求像素差值图，用差值图像素值区分变化类别，输出变化特征图；
S6矢量化：根据变化特征图的像素值，生成变化的要素矢量并输出，同时赋予属性变化信息；所述步骤S6中根据变化特征图的像素值，通过栅格矢量化，生成包含变化属性及变化方向标签的shp矢量并输出，同时赋予属性变化信息。如图6所示为本实施案例的预测结果示意图，具体地，该结果表示由基准影像和对比影像得到的荒草地与居民地、道路、街区变化检测结果。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，具体包括以下步骤：
S1图像预处理：选取至少两张同一地区不同时期的重叠光学遥感影像，并对选取的遥感影像进行预处理；
S2构建SGAN网络模型：基于SGAN对抗神经网络，构建变化检测网络模型；
S3模型训练：采用不同的训练样本依次分别训练判别器、分类器和生成器，输出训练好的变化检测网络模型；
S4模型检测：利用训练好的变化检测网络模型检测步骤S1中预处理后的遥感影像，输出至少两张不同时期的地物分类和分类特征图；
S5变化决策：分类特征图通过像素标签比对决策，判别变化区域，输出变化特征图；
S6矢量化：根据变化特征图的像素值，生成变化的要素矢量并输出，同时赋予属性变化信息。
2.根据权利要求1所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S1中选取同一地区两幅不同时期的重叠的光学遥感影像，通过配准、辐射校正、滤波、匀色和坐标转换，使两幅遥感影像具有相同的地理坐标。
3.根据权利要求2所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S2中利用有标签真实样本、无标签真实样本和伪样本构建变化检测络模型，所述变化检测络模型包括生成器G和鉴别器，所述生成器G包括输入层、隐藏层和输出层；所述鉴别器包括判别器和分类器，所述判别器基于VGG网络，由13个卷积层和3个全连接层构成，其中采集的卷积核为3*3大小；所述分类器基于SVM网络在分类的同时根据特征分割提取，即对每个样本的特征点进行循环分类，再通过投票机制确定输出为哪一类并实现分割。
4.根据权利要求3所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述生成器G具有卷积运算Conv、映射运算ReShape、归一化运算Batch和上采样，卷积核大小为3*3用于捕获像素8邻域信息，使用的ReLU激活函数，该激活函数f(x)的公式为：f(x)=max(0,x)，其中，x为无标签样本数据的输入向量。
5.根据权利要求3所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S2中的鉴别器的输入包含随机噪声Z生成的伪样本数据X*和有标签的样本(x,y)和无标签样本数据x，通过鉴别器输出n+1个分类结果。
6.根据权利要求3所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述分类器进行分类的具体步骤为：
S21特征提取：由卷积层和采样层构成，依次经过卷积运算Conv、Dropout运算、归一化运算Batch Normalization、激活运算Leaky ReLU，提取过程中使用了4次激活操作、4个卷积操作和2个Batch Normalization操作，激活运算Leaky ReLU公式为：
y=max(0,x)+leak*min(0,x)；其中，leak是常数；
S22分类器相似度计算：基于多分类支持向量SVM，采用非线性最优分类器，通过高斯核函数将低维转换为高维，计算相似度，其核函数公式为：
；
式中，σ为控制函数衰减自由参数，，/>为特征向量，/>为欧几里得距离；
S23地物分类分割：地物类别分类采用投票机制，1-v-1在两两之间创建SVM，因此当有k类时，则有个不同的SVM，分类结果为SVM每种结果投票的最大值，结果包含地物分类和分割图，分割图像数据中的每一个像元都有一个标签，给每种地物赋予一种像素值，同种像素值代表一个地类，像素值范围0~255。
7.根据权利要求5所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S3的具体步骤为：
S31训练判别器：采用真实样本(x,y)有监督训练，抽取几十或上百个有标签的真实样本(x,y)，计算给定该批量样本的D((x,y))并反向传播多分类损失，更新判别器的参数θ D ，以使损失最小化，其公式为：
；
式中，为真实样本(x,y)的数量；真实样本(x,y)代表输入样本的特征值和标签；D((x,y))代表样本(x,y)真实的概率；θ D 为判别器的参数，反应模型区分真假的能力；/>表示θ D 处的梯度；/>表示判别器对于单个真实样本(x,y)的概率值D((x,y))的对数概率；/>表示判别器对于单个伪样本X*的概率值D((X*))的对数概率，以改进判别器的性能；D((X*))为伪样本X* 为真样本的概率；
S32训练分类器：采用无标签的真实样本(x)无监督训练，通过训练计算惩罚系数C以及核函数参数，使其达到最优解，惩罚系数C公式为：
；
式中，为正则化参数，用于控制模型的复杂度；惩罚系数C的取值范围是[0.001,100]；
S33训练生成器：采用加入随机噪声Z的伪样本X*无监督训练，抽取几十或上百个的随机噪声Z生成几十或上百个伪样本，记为：G(z)=(X*)，计算给定该批量样本的D((X*))并反向传播二元分类损失更新生成器参数θ G ，以使损失最大化，其公式为：
；
式中，为伪样本G(z)的数量；D((X *))为伪样本为真样本的概率；θ G 为生成器的参数；/>表示θ G 处的梯度，/>表示判别器对于单个伪样本X*的概率值D((X *))的对数概率，以改进判别器的性能。
8.根据权利要求7所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S3中训练模型时还包括分类精度OA评价，设置阈值，若小于阈值则重新训练，其公式为：
；
其中，为正确分类的样本个数，/>为总体样本个数。
9.根据权利要求5所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S5中采用像素差值法，利用开源工具OpenCV函数接口，以变化后分类特征图和变化前分割特征图作为输入，求像素差值图，以差值图像素值区分变化类别，输出变化特征图。
10.根据权利要求5所述的基于SGAN对抗神经网络遥感影像要素变化的检测方法，其特征在于，所述步骤S6中根据变化特征图的像素值，通过栅格矢量化，生成包含变化属性及变化方向标签的shp矢量并输出，同时赋予属性变化信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410096146.4A CN117612020B (zh) | 2024-01-24 | 2024-01-24 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410096146.4A CN117612020B (zh) | 2024-01-24 | 2024-01-24 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117612020A true CN117612020A (zh) | 2024-02-27 |
| CN117612020B CN117612020B (zh) | 2024-07-05 |
Family
ID=89952087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410096146.4A Active CN117612020B (zh) | 2024-01-24 | 2024-01-24 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117612020B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846832A (zh) * | 2018-05-30 | 2018-11-20 | 理大产学研基地(深圳)有限公司 | 一种基于多时相遥感影像与gis数据的变化检测方法及*** |
| JP2019028839A (ja) * | 2017-08-01 | 2019-02-21 | 国立研究開発法人情報通信研究機構 | 分類器、分類器の学習方法、分類器における分類方法 |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
| CN111046900A (zh) * | 2019-10-25 | 2020-04-21 | 重庆邮电大学 | 基于局部流形正则化的半监督生成对抗网络图像分类方法 |
| CN111160128A (zh) * | 2019-12-11 | 2020-05-15 | 中国资源卫星应用中心 | 一种基于对抗神经网络模型的遥感图像处理方法及*** |
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111242050A (zh) * | 2020-01-15 | 2020-06-05 | 同济大学 | 一种面向大尺度复杂场景下遥感影像的自动变化检测方法 |
| CN111274905A (zh) * | 2020-01-16 | 2020-06-12 | 井冈山大学 | 一种AlexNet和SVM相结合的卫星遥感影像土地利用变化检测方法 |
| CN111931553A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 遥感数据增强生成对抗网络方法、***、存储介质及应用 |
| CN112016436A (zh) * | 2020-08-28 | 2020-12-01 | 北京国遥新天地信息技术有限公司 | 一种基于深度学习的遥感影像变化检测方法 |
| US20210279960A1 (en) * | 2020-03-05 | 2021-09-09 | Topcon Corporation | Photogrammetry of building using machine learning based inference |
| CN113689517A (zh) * | 2021-09-08 | 2021-11-23 | 云南大学 | 一种多尺度通道注意力网络的图像纹理合成方法及*** |
| CN113936217A (zh) * | 2021-10-25 | 2022-01-14 | 华中师范大学 | 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 |
| CN114821299A (zh) * | 2022-03-28 | 2022-07-29 | 西北工业大学 | 一种遥感图像变化检测方法 |
| CN115527056A (zh) * | 2022-04-13 | 2022-12-27 | 齐齐哈尔大学 | 基于双混合卷积生成对抗网络的高光谱图像分类方法 |
| CN115830466A (zh) * | 2022-11-19 | 2023-03-21 | 山东科技大学 | 一种基于深度孪生神经网络的冰川变化遥感检测方法 |
| CN116012702A (zh) * | 2022-12-06 | 2023-04-25 | 南京市测绘勘察研究院股份有限公司 | 一种遥感影像场景级变化检测方法 |
| CN116612381A (zh) * | 2023-03-31 | 2023-08-18 | 中国人民解放军国防科技大学 | 基于伪双时相生成技术的半监督遥感影像变化检测方法 |
| CN116704350A (zh) * | 2023-06-16 | 2023-09-05 | 浙江时空智子大数据有限公司 | 基于高分辨遥感影像水域变化监测方法、***及电子设备 |
-
2024
- 2024-01-24 CN CN202410096146.4A patent/CN117612020B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019028839A (ja) * | 2017-08-01 | 2019-02-21 | 国立研究開発法人情報通信研究機構 | 分類器、分類器の学習方法、分類器における分類方法 |
| CN108846832A (zh) * | 2018-05-30 | 2018-11-20 | 理大产学研基地(深圳)有限公司 | 一种基于多时相遥感影像与gis数据的变化检测方法及*** |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
| CN111046900A (zh) * | 2019-10-25 | 2020-04-21 | 重庆邮电大学 | 基于局部流形正则化的半监督生成对抗网络图像分类方法 |
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111160128A (zh) * | 2019-12-11 | 2020-05-15 | 中国资源卫星应用中心 | 一种基于对抗神经网络模型的遥感图像处理方法及*** |
| CN111242050A (zh) * | 2020-01-15 | 2020-06-05 | 同济大学 | 一种面向大尺度复杂场景下遥感影像的自动变化检测方法 |
| CN111274905A (zh) * | 2020-01-16 | 2020-06-12 | 井冈山大学 | 一种AlexNet和SVM相结合的卫星遥感影像土地利用变化检测方法 |
| US20210279960A1 (en) * | 2020-03-05 | 2021-09-09 | Topcon Corporation | Photogrammetry of building using machine learning based inference |
| CN111931553A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 遥感数据增强生成对抗网络方法、***、存储介质及应用 |
| CN112016436A (zh) * | 2020-08-28 | 2020-12-01 | 北京国遥新天地信息技术有限公司 | 一种基于深度学习的遥感影像变化检测方法 |
| CN113689517A (zh) * | 2021-09-08 | 2021-11-23 | 云南大学 | 一种多尺度通道注意力网络的图像纹理合成方法及*** |
| CN113936217A (zh) * | 2021-10-25 | 2022-01-14 | 华中师范大学 | 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 |
| CN114821299A (zh) * | 2022-03-28 | 2022-07-29 | 西北工业大学 | 一种遥感图像变化检测方法 |
| CN115527056A (zh) * | 2022-04-13 | 2022-12-27 | 齐齐哈尔大学 | 基于双混合卷积生成对抗网络的高光谱图像分类方法 |
| CN115830466A (zh) * | 2022-11-19 | 2023-03-21 | 山东科技大学 | 一种基于深度孪生神经网络的冰川变化遥感检测方法 |
| CN116012702A (zh) * | 2022-12-06 | 2023-04-25 | 南京市测绘勘察研究院股份有限公司 | 一种遥感影像场景级变化检测方法 |
| CN116612381A (zh) * | 2023-03-31 | 2023-08-18 | 中国人民解放军国防科技大学 | 基于伪双时相生成技术的半监督遥感影像变化检测方法 |
| CN116704350A (zh) * | 2023-06-16 | 2023-09-05 | 浙江时空智子大数据有限公司 | 基于高分辨遥感影像水域变化监测方法、***及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| KHYAT PATEL等: "Semantic Segmentation of Urban Area using Pix2Pix Generative Adversarial Networks", 2023 3RD INTERNATIONAL CONFERENCE ON RANGE TECHNOLOGY (ICORT), 19 September 2023 (2023-09-19), pages 1 - 6 * |
| 桑宏强;刘雨轩;刘芬;: "改进卷积神经网络在工件表面缺陷检测中的应用", 组合机床与自动化加工技术, no. 08, 20 August 2020 (2020-08-20) * |
| 王艳恒;高连如;陈正超;张兵;: "结合深度学习和超像元的高分遥感影像变化检测", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) * |
| 郝 睿等: "基于 BP 神经网络的多特征融合变化检测方法", 海洋测绘, 31 January 2016 (2016-01-31), pages 79 - 82 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117612020B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN110363182B (zh) | 基于深度学习的车道线检测方法 | |
| CN107016357B (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN113168567A (zh) | 用于小样本转移学习的***和方法 | |
| CN106408030B (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN104361313B (zh) | 一种基于多核学习异构特征融合的手势识别方法 | |
| CN104834942B (zh) | 基于掩膜分类的遥感影像变化检测方法及*** | |
| CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN110060273B (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
| CN102332086A (zh) | 一种基于双阈值局部二进制模式的人脸识别方法 | |
| CN108427919B (zh) | 一种基于形状引导显著性模型的无监督油罐目标检测方法 | |
| CN113963222A (zh) | 一种基于多策略组合的高分辨率遥感影像变化检测方法 | |
| CN117475236B (zh) | 用于矿产资源勘探的数据处理***及其方法 | |
| CN114359702A (zh) | 一种基于Transformer的宅基地遥感图像违建识别方法及*** | |
| CN113052215A (zh) | 基于神经网络可视化的声呐图像自动目标识别方法 | |
| CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
| Karunakaran | Deep learning based object detection using mask RCNN | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、*** | |
| CN117351371A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN109829511B (zh) | 基于纹理分类的下视红外图像中云层区域检测方法 | |
| CN112270285A (zh) | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |