CN110163294A

CN110163294A - 基于降维操作和卷积网络的遥感图像变化区域检测方法

Info

Publication number: CN110163294A
Application number: CN201910457431.3A
Authority: CN
Inventors: 曾鹏慷; 黄国恒
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-05-29
Filing date: 2019-05-29
Publication date: 2019-08-23
Anticipated expiration: 2039-05-29
Also published as: CN110163294B

Abstract

本申请公开了一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法，所述方法包括对第一遥感图像和第二遥感图像执行降维操作得到主成分；对所有所述主成分执行聚类操作，并根据聚类结果确定图像变化区域；利用卷积神经网络对图像变化区域执行语义分割得到分割结果图；对所述分割结果图中每一目标像素点进行投票表决得到每一所述目标像素点的像素类别，并根据所有目标像素点的像素类别确定所述图像变化区域对应的图片内容。本方法能够确定遥感图像中变化区域的物体类别，提高遥感图像的检测精度。本申请还公开了一种基于降维操作和卷积神经网络的遥感图像变化区域检测***、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

基于降维操作和卷积网络的遥感图像变化区域检测方法

技术领域

本发明涉及遥感技术领域，特别涉及一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法、***、一种计算机可读存储介质及一种电子设备。

背景技术

在遥感图像中，所谓的变化即地表组分随时间的推移而发生的改变。土地覆盖和土地利用的变化信息是极其重要的，这些变化信息可以被广泛地应用到森林开采、灾害监测、灾害评估、城市扩张和土地管理等行业中。变化信息检测的工作流程即使用多时相数据集来定性地分析这些现象和对象的时序影响并量化其变化。

遥感数据因具有较高的时间频率、便于计算的数据格式、天空视角、广阔的空间和光谱分辨率范围，已成为一个主要的变化检测数据源。在遥感中变化检测的主要目标有定义图像的几何位置和变化的类型，定量描述变化的大小以及评价变化检测结果的精度。但是在相关的遥感图像处理技术中，直接对遥感图像进行对比分析，导致变化区域的检测精度低、无法分辨变化区域的物体类别。

因此，如何确定遥感图像中变化区域的物体类别，提高遥感图像的检测精度是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法、***、一种计算机可读存储介质及一种电子设备，能够提高遥感图像的检测精度，确定遥感图像中变化区域的物体类别。

为解决上述技术问题，本申请提供一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法，该方法包括：

对第一遥感图像和第二遥感图像执行降维操作得到主成分；

对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域；

利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图；

对所述分割结果图中每一目标像素点进行投票表决得到每一所述目标像素点的像素类别，并根据所有所述目标像素点的像素类别确定所述图像变化区域对应的图片内容。

可选的，所述对第一遥感图像和第二遥感图像执行降维操作得到主成分包括：

利用PCA算法对所述第一遥感图像和所述第二遥感图像执行降维操作得到所述主成分。

可选的，利用PCA算法对所述第一遥感图像和所述第二遥感图像执行降维操作得到所述主成分包括：

对所述第一遥感图像和所述第二遥感图像的像素点执行均值化处理，并根据均值化后的所述第一遥感图像的像素点与均值化后的所述第二遥感图像的像素点构建第一矩阵X；

利用第一公式计算第二矩阵D；其中，所述第一公式为m为系数；

利用第二公式计算第三矩阵P；其中，所述第二公式为P＝E^T；E为所述第二矩阵D的特征向量构建的矩阵；

根据所述第三矩阵P确定降维矩阵Y，并根据所述降维矩阵Y确定所述主成分。

可选的，所述利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图包括：

利用Segnet卷积神经网络对所述图像变化区域执行语义分割得到第一临时结果图；

利用U-net卷积神经网络对所述图像变化区域执行语义分割得到第二临时结果图；

根据所述第一临时结果图和所述第二临时结果图得到所述分割结果图。

可选的，所述对所有所述主成分执行聚类操作包括：

利用K-means聚类算法对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域。

可选的，利用K-means聚类算法对所有所述主成分执行聚类操作包括：

从所有所述主成分中选择k个样本作为初始质心向量；

计算每一所述样本与每一所述质初始质心向量的距离，并根据所述距离对所有所述样本进行分类得到新的质心向量，以便完成聚类操作。

可选的，利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图包括：

确定所述第二遥感图像中与所述图像变化区域对应的目标区域；

利用卷积神经网络对所述目标区域执行语义分割得到所述分割结果图；其中，所述第二遥感图像的生成时间晚于所述第一遥感图像的生成时间。

本申请还提供了一种基于降维操作和卷积神经网络的遥感图像变化区域检测***，该***包括：

降维模块，用于对第一遥感图像和第二遥感图像执行降维操作得到主成分；

聚类模块，用于对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域；

语义分割模块，用于利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图；

类别投票模块，用于对所述分割结果图中每一目标像素点进行投票表决得到每一所述目标像素点的像素类别，并根据所有所述目标像素点的像素类别确定所述图像变化区域对应的图片内容。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述基于降维操作和卷积神经网络的遥感图像变化区域检测方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述基于降维操作和卷积神经网络的遥感图像变化区域检测方法执行的步骤。

本申请提供了一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法，包括对第一遥感图像和第二遥感图像执行降维操作得到主成分；对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域；利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图；对所述分割结果图中每一目标像素点进行投票表决得到每一所述目标像素点的像素类别，并根据所有所述目标像素点的像素类别确定所述图像变化区域对应的图片内容。

本申请分别对第一遥感图像和第二遥感图像执行降维操作得到每一张遥感图像的主成分，该主成分相当于遥感图像的特征向量，通过对所有的主成分执行聚类操作可以确定第一遥感图像与第二遥感图像之间的图像变化区域。进一步的，本申请利用卷积神经网络对图像变化区域执行语义分割得到分割结果图，并结合投票表决机制确定分割结果图中每一像素点的像素类别，最后根据所有的目标像素点的像素类别确定所述图像变化区域对应的图片内容。本申请能够确定遥感图像中变化区域的物体类别，提高遥感图像的检测精度。本申请同时还提供了一种基于降维操作和卷积神经网络的遥感图像变化区域检测***、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法的流程图；

图2为本申请实施例所提供的一种基于降维操作和卷积神经网络的遥感图像变化区域检测***的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法的流程图。

具体步骤可以包括：

S101：对第一遥感图像和第二遥感图像执行降维操作得到主成分；

其中，本步骤的目的为获取第一遥感图像和第二遥感图像的主成分，即第一遥感图像和第二遥感图像的特征向量。第一遥感图像和第二遥感图像可以为遥感装置对于同一区域先后采集的两张图片。为了实现第一遥感图像和第二遥感图像中变化区域的检测，本实施例首先分别对第一遥感图像和第二遥感图像执行降维操作，降维操作指通过单幅图像数据的高维化将单幅图像转化为高维空间中的数据集合，对其进行非线性降维的过程。通过降维操作可以寻求图像中高维数据流形本征结构的一维表示向量，并将其作为图像数据的特征表达向量。

可以理解的是，本实施例可以根据具体应用场景选择适当的降维算法，此处不对降维操作的具体方式进行限定，降维算法可以包括但不限于主成分分析算法(PCA)、有监督的线性降维算法Linear Discriminant Analysis、Locally linear embedding(LLE)算法和Laplacian Eigenmaps算法。

S102：对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域；

其中，在得到第一遥感图像和第二遥感图像的主成分的基础上，本步骤对所有的主成分执行聚类操作，由于相同的主成分可以聚为一类，主成分即遥感图像的特征向量，因此可以通过对主成分的聚类操作结果确定第一遥感图像和第二遥感图像之间图像特征不同的区域，即存在图像变化的区域。例如遥感图像是对港口拍摄的图像，拍摄第一遥感图像时港口中没有轮船，而拍摄第二张遥感图像时港口中停泊有轮船，因此遥感图像中轮船所在的区域就是图像变化区域。

S103：利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图；

其中，本步骤通过卷积神经网络对图像变化区域执行语义分割，作为一种可行的实施方式，本步骤可以利用多个不同类别的卷积神经网络对图像变化区域执行语义分割得到分割结果图。单一的卷积神经网络图像变化区域的语义分割结果可能存在精准度不足的情况，可以通过多种不同的卷积神经网络得到多个初步的分割结果，最后综合所有的分割结果确定分割结果图。举例说明上述过程，可以利用Segnet卷积神经网络对所述图像变化区域执行语义分割得到第一临时结果图；再利用U-net卷积神经网络对所述图像变化区域执行语义分割得到第二临时结果图；最后根据所述第一临时结果图和所述第二临时结果图得到所述分割结果图。

需要说明的是，由于第一遥感图像和第二遥感图像均可以存在图像发生变化的区域，本步骤中图像的图像变化区域可以为第一遥感图像和/或第二遥感图像的图像变化区域，在此处不进行限定。可以理解的是，存在图像变化区域的原因为在不同的两个时刻的两张遥感图像中存在特定物体出现在拍摄区域以及特定物体离开拍摄区域的情况。因此，无论拍摄时间的先后第一遥感图像和第二遥感图像均可以存在需要分析的物体。

作为一种可行的实施方式，利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图具体可以包括以下操作：确定所述第二遥感图像中与所述图像变化区域对应的目标区域；利用卷积神经网络对所述目标区域执行语义分割得到所述分割结果图；其中，所述第二遥感图像的生成时间晚于所述第一遥感图像的生成时间。

S104：对所述分割结果图中每一目标像素点进行投票表决得到每一所述目标像素点的像素类别，并根据所有所述目标像素点的像素类别确定所述图像变化区域对应的图片内容。

其中，本步骤对分割结果图的每个像素点采取投票表决的思路，对每张图相应位置的像素点的类别进行预测，票数最多的类别即为该像素点的类别，最终得到一个经过语义分割的变化区域图片。

本实施例分别对第一遥感图像和第二遥感图像执行降维操作得到每一张遥感图像的主成分，该主成分相当于遥感图像的特征向量，通过对所有的主成分执行聚类操作可以确定第一遥感图像与第二遥感图像之间的图像变化区域。进一步的，本实施例利用卷积神经网络对图像变化区域执行语义分割得到分割结果图，并结合投票表决机制确定分割结果图中每一像素点的像素类别，最后根据所有的目标像素点的像素类别确定所述图像变化区域对应的图片内容。本实施例能够确定遥感图像中变化区域的物体类别，提高遥感图像的检测精度。

作为对于图1对应的实施例进一步补充，S101的相关操作可以为利用PCA算法对所述第一遥感图像和所述第二遥感图像执行降维操作得到所述主成分。

具体的，利用PCA算法对所述第一遥感图像和所述第二遥感图像执行降维操作得到所述主成分的操作可以包括以下步骤：

步骤1：对所述第一遥感图像和所述第二遥感图像的像素点执行均值化处理，并根据均值化后的所述第一遥感图像的像素点与均值化后的所述第二遥感图像的像素点构建第一矩阵X；

步骤2：利用第一公式计算第二矩阵D；其中，所述第一公式为m为系数；

步骤3：利用第二公式计算第三矩阵P；其中，所述第二公式为P＝E^T；E为所述第二矩阵D的特征向量构建的矩阵；

步骤4：根据所述第三矩阵P确定降维矩阵Y，并根据所述降维矩阵Y确定所述主成分。

作为对于图1对应的实施例进一步补充，S102的相关操作可以为利用K-means聚类算法对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域。

具体的，利用K-means聚类算法对所有所述主成分执行聚类操作可以包括以下步骤：

步骤1：从所有所述主成分中选择k个样本作为初始质心向量；

步骤2：计算每一所述样本与每一所述质初始质心向量的距离，并根据所述距离对所有所述样本进行分类得到新的质心向量，以便完成聚类操作。

下面通过在实际应用中一种基于PCA-K-means和卷积神经网络的图像处理方式说明上述实施例描述的流程。

本实施例提供了一种基于PCA-K-means和卷积神经网络的变化检测、语义分割算法，可以包括以下步骤：

步骤1、对两张类似的图像运用PCA算法进行降维、提取主成分的处理。

步骤2、对提取的主成分运用K-means聚类算法，得出两张图片所变化的区域。

步骤3、运用Segnet和U-net这两个卷积神经网络对于所得出的变化区域进行语义分割，再对结果图的每个像素点采取投票表决的思路，对每张图相应位置的像素点的类别进行预测，票数最多的类别即为该像素点的类别。最后得到一个经过语义分割的变化区域图片。

步骤1中PCA算法结构如下：

对图片的像素点进行均值化，再对两张图片的各像素点对应组成一个矩阵X：

然后用X乘以X的转置，并乘上系数1/m，得到矩阵D：

所得到的矩阵D即是像素点的协方差矩阵。

求得协方差矩阵的特征向量并将其组成矩阵E，再将矩阵E转置为矩阵P：

P＝E^T；

我们再对协方差矩阵的特征向量单位化后按行排列，所得出的矩阵其中每一行都是X的一个特征向量。如果设P按照其中向量特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。

步骤(2)中K-means算法结构如下：

输入是样本集D：D＝{x₁,x₂,……,x_m}；

聚类的簇树k，最大迭代次数N，输出是簇划分C：

C＝{C₁,C₂,......,C_k}；

从数据集D中随机选择k个样本作为初始的k个质心向量：

{u₁,u₂,......,u_k}；

对于n＝1,2......N，将簇划分C初始化为：

对于i＝1,2......m,计算样本x_i和各个质心向量u_j(j＝1,2,...k)的距离：

将x_i标记最小的为d_ij所对应的类别λ_i。此时更新

对于j＝1,2......k，对C_j中所有的样本点重新计算新的质心：

输出簇划分C＝{C₁,C₂,......,C_k}；

步骤3中Segnet-Unet结合网络结构如下：

构建隐藏层为10层的Segnet网络，损失函数loss为：

再构建一个隐藏层为10层的U-net网络，并用二分类的标签训练一个二分类模型，对每一类物体进行预测得到预测图，再做预测图叠加，合并成一张完整的包含各种类的预测图，在效果上好于一个直接多分类的模型。这里选用的损失函数loss为：

loss＝-(ytlog(yp)+(1-yt)log(1-yp))；

最后采取模型融合的思路，对每张结果图的每个像素点采取投票表决的思路，对每张图相应位置的像素点的类别进行预测，票数最多的类别即为该像素点的类别。这种整体性的思路可以很好地去掉一些明显分类错误的像素点，很大程度上改善模型的预测能力。

本实施例基于传统变化检测方法抗噪性差、检测精度低、无法分辨变化区域为何物的缺点，提出了一种基于PCA-K-means和卷积神经网络的变化检测、语义分割方法。该方法具有一定的抗噪强度、检测精度高，可以适用在卫星图像的变化检测中。

请参见图2，图2为本申请实施例所提供的一种基于降维操作和卷积神经网络的遥感图像变化区域检测***的结构示意图；

该***可以包括：

降维模块100，用于对第一遥感图像和第二遥感图像执行降维操作得到主成分；

聚类模块200，用于对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域；

语义分割模块300，用于利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图；

类别投票模块400，用于对所述分割结果图中每一目标像素点进行投票表决得到每一所述目标像素点的像素类别，并根据所有所述目标像素点的像素类别确定所述图像变化区域对应的图片内容。

进一步的，降维模块100具体为用于利用PCA算法对所述第一遥感图像和所述第二遥感图像执行降维操作得到所述主成分的模块。

进一步的，降维模块100包括：

第一矩阵构建单元，用于对所述第一遥感图像和所述第二遥感图像的像素点执行均值化处理，并根据均值化后的所述第一遥感图像的像素点与均值化后的所述第二遥感图像的像素点构建第一矩阵X；

第二矩阵构建单元，用于利用第一公式计算第二矩阵D；其中，所述第一公式为m为系数；

第三矩阵构建单元，用于利用第二公式计算第三矩阵P；其中，所述第二公式为P＝E^T；E为所述第二矩阵D的特征向量构建的矩阵；

主成分确定单元，用于根据所述第三矩阵P确定降维矩阵Y，并根据所述降维矩阵Y确定所述主成分。

进一步的，语义分割模块300包括：

第一分割单元，用于利用Segnet卷积神经网络对所述图像变化区域执行语义分割得到第一临时结果图；

第二分割单元，用于利用U-net卷积神经网络对所述图像变化区域执行语义分割得到第二临时结果图；

结果输出单元，用于根据所述第一临时结果图和所述第二临时结果图得到所述分割结果图。

进一步的，聚类模块200具体为用于利用K-means聚类算法对所有所述主成分执行聚类操作，并根据所述聚类结果确定图像变化区域的模块。

进一步的，聚类模块200包括：

初始质心确定单元，用于从所有所述主成分中选择k个样本作为初始质心向量；

样本分类单元，用于计算每一所述样本与每一所述质初始质心向量的距离，并根据所述距离对所有所述样本进行分类得到新的质心向量，以便完成聚类操作。

进一步的，语义分割模块300用于确定所述第二遥感图像中与所述图像变化区域对应的目标区域；还用于利用卷积神经网络对所述目标区域执行语义分割得到所述分割结果图；其中，所述第二遥感图像的生成时间晚于所述第一遥感图像的生成时间。

由于***部分的实施例与方法部分的实施例相互对应，因此***部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种基于降维操作和卷积神经网络的遥感图像变化区域检测方法，其特征在于，包括：

对第一遥感图像和第二遥感图像执行降维操作得到主成分；

2.根据权利要求1所述遥感图像变化区域检测方法，其特征在于，所述对第一遥感图像和第二遥感图像执行降维操作得到主成分包括：

3.根据权利要求2所述遥感图像变化区域检测方法，其特征在于，利用PCA算法对所述第一遥感图像和所述第二遥感图像执行降维操作得到所述主成分包括：

4.根据权利要求1所述遥感图像变化区域检测方法，其特征在于，所述利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图包括：

5.根据权利要求1所述遥感图像变化区域检测方法，其特征在于，所述对所有所述主成分执行聚类操作包括：

6.根据权利要求1所述遥感图像变化区域检测方法，其特征在于，利用K-means聚类算法对所有所述主成分执行聚类操作包括：

从所有所述主成分中选择k个样本作为初始质心向量；

7.根据权利要求1至6任一项所述遥感图像变化区域检测方法，其特征在于，利用卷积神经网络对所述图像变化区域执行语义分割得到分割结果图包括：

8.一种基于降维操作和卷积神经网络的遥感图像变化区域检测***，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于降维操作和卷积神经网络的遥感图像变化区域检测方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述基于降维操作和卷积神经网络的遥感图像变化区域检测方法的步骤。