CN113902013A - 一种基于三维卷积神经网络与超像素分割的高光谱分类方法 - Google Patents
一种基于三维卷积神经网络与超像素分割的高光谱分类方法 Download PDFInfo
- Publication number
- CN113902013A CN113902013A CN202111179286.0A CN202111179286A CN113902013A CN 113902013 A CN113902013 A CN 113902013A CN 202111179286 A CN202111179286 A CN 202111179286A CN 113902013 A CN113902013 A CN 113902013A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- neural network
- convolutional neural
- remote sensing
- dimensional convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于三维卷积神经网络与超像素分割的高光谱分类方法,包括如下步骤:输入高光谱遥感图像数据集;对高光谱遥感图像数据集中的图像进行降维处理;基于超像素分割方法,对降维后的高光谱遥感图像进行空间特征提取,得到含有空间特征的空间区域划分结果图;利用所述空间区域划分结果图与所述高光谱遥感图像数据集中的图像,构建空‑谱特征联合数据集;利用空‑谱特征联合数据集,构建测试集与训练集;搭建三维卷积神经网络架构,训练得到高光谱分类器;对高光谱遥感图像分类。本发明解决现有高光谱分类对空间特征利用不充分导致的分类精度较低的问题,同时对超像素分割算法进行改进以对解决高光谱区域划分不充分的问题。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于三维卷积神经网络与超像素分割的高光谱分类方法。
背景技术
目前,遥感技术的高速发展正在将遥感技术向一个新的方向迈进,作为遥感技术重要分支的多光谱与高光谱遥感技术也正在飞速发展,其中高光谱遥感图像技术可以采集不同地物光谱的超过100波段数量的多波段光谱数据,可以对其进行后续分析以完成遥感技术所需的目标识别、目标探测、矿物资源勘探和森林资源检测等后续应用。高光谱的成像质量与所包含的内部细节也同时将遥感技术推向了一个新的发展方向,对高光谱进行数据降维以降低处理难度、对高光谱进行光谱识别以确定地物种类和对混合像元光谱解混是高光谱处理技术的几个重要方向。通过对其进行研究与利用,能够发挥遥感技术互补,对目标分类与识别精度提高的目的。
目前现有的高光谱分类方法大多基于高光谱的光谱信息进行分类,并没有利用高光谱图像所包含的地物空间分布信息,在复杂场景与同物异谱和同谱异物现象的情况下,在上述情况下,高光谱的分类精度较易分类精度不高的情况。
发明内容
为解决上述技术问题,本发明提出了一种基于三维卷积神经网络与超像素分割的高光谱分类方法。
本发明解决上述技术问题的技术方案如下:
一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,包括如下步骤:
步骤S1.输入高光谱遥感图像数据集;
步骤S2.对所述高光谱遥感图像数据集中的图像进行降维处理,得到降维后的高光谱遥感图像;
步骤S3.基于超像素分割方法,对所述降维后的高光谱遥感图像进行空间特征提取,得到含有空间特征的空间区域划分结果图;
步骤S4.利用所述空间区域划分结果图与对应的所述高光谱遥感图像数据集中的图像,构建空-谱特征联合数据集;
步骤S5.利用所述空-谱特征联合数据集,构建测试集与训练集;
步骤S6.搭建三维卷积神经网络架构,训练得到高光谱分类器;
步骤S7.利用训练后的高光谱分类器,对高光谱遥感图像分类。
进一步地,所述步骤S2包括如下步骤:
采用主成分分析法,对所述高光谱遥感影像数据集中的图像在光谱维度上分析处理,提取前三个主成分分量,组成降维后的图像。
进一步地,所述步骤S3包括如下步骤:
步骤S31.对所述降维后的高光谱遥感图像进行简单的线性迭代聚类超像素分割,得到若干个超像素分割区域;
步骤S32.根据下式,对得到的若干个超像素分割区域采用模糊C均值聚类进行区域合并:
其中,l代表超像素分割区域,Sl代表第l个超像素区域Rl的所含像元数目,N代表输入图像经过简单的线性迭代聚类后的超像素区域数目,C为聚类初始数目,m为设定的加权系数,其设定了聚类隶属度矩阵ukl的重要程度,he为图像的像元;隶属度矩阵ukl与聚类中心ck的式(2)和公式(3):
步骤S33.得到含有空间特征的空间区域划分结果图。
进一步地,所述步骤S4包括如下步骤:
将所述的空间区域划分结果图与对应的所述高光谱遥感影像数据集中的图像进行矢量线性叠加,以得到特征联合的样本数据,形成空-谱特征联合数据集。
进一步地,所述步骤S5包括如下步骤:
在空-谱特征联合数据中,随机选取20%,组成高光谱的训练集;将剩余数据组成高光谱的测试集。
进一步地,所述S6包括如下步骤:
S61.搭建三维卷积神经网络;
S62.将训练集输入三维卷积神经网络进行训练,直至三维卷积神经网络收敛,得到初始三维卷积神经网络模型;
S63.输入测试集数据,利用测试集数据对初始三维卷积神经网络模型中的参数校准,得到高光谱分类器。
与现有技术相比,本发明的有益效果是:
(1)本发明通过模糊C均值聚类,对超像素分割结果进行进一步区域的划分与相关超像素的合并融合,增强了后续融合结果代表的空间特征的空间代表性,克服了现有超像素分割对高光谱空间分割不够充分的问题,同时将超像素结果进行进一步融合,加快了神经网络的训练速度,使其能够更快收敛;
(2)本发明通过搭建三维卷积神经网络,利用三维卷积神经网络的空间特征与光谱特征提取能力,对高光谱的光谱维特征与空间特征进行充分利用,同时采用切片的形式,能够对邻域空间的光谱特征与空间特征信息进行更好的运用,克服了现有技术中空谱特征未联合运用导致的分类精度有限的问题,本方法能够增强网络的空间特征提取能力,提升分类准确性。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本公开实施例中所涉概念进行介绍,主成分分析(PCA,PrincipalComponents Analysis),是一种无监督的线性降维算法,用于对数据主成分的分析,主成份分析通过将高维特征向量的多维变量进行线性变换,从中选出少数几个或几十个方差最大的特征向量用于识别分类。
简单的线性迭代聚类(SLIC,simple linear iterativeclustering),通过将具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块,从而用少量的超像素代替大量的像素来表达图片特征,很大程度上降低了图像后处理的复杂度。
模糊C均值聚类算法(FCMA或FCM,fuzzy c-means algorithm),通过优化目标函数得到每个样本点对所有类中心的隶属度,从而决定样本点的类属以达到自动对样本数据进行分类的目的。
本发明的目的是提供一种基于三维卷积神经网络与超像素分割的高光谱分类方法,解决现有高光谱分类对空间特征利用不充分导致的分类精度较低的问题,同时对超像素分割算法进行改进以对解决高光谱区域划分不充分的问题。
图1是本公开实施例中的一种基于三维卷积神经网络与超像素分割的高光谱分类方法流程示意图。如图1所示,本发明公开了一种基于三维卷积神经网络与超像素分割的高光谱分类方法,包括如下步骤:步骤S1.输入高光谱遥感图像数据集;步骤S2.对所述高光谱遥感图像数据集中的图像进行降维处理,得到降维后的高光谱遥感图像;步骤S3.基于超像素分割方法,对所述降维后的高光谱遥感图像进行空间特征提取,得到含有空间特征的空间区域划分结果图;步骤S4.利用所述空间区域划分结果图与所述高光谱遥感图像数据集中的图像,构建空-谱特征联合数据集;步骤S5.利用所述空-谱特征联合数据集,构建测试集与训练集;步骤S6.搭建三维卷积神经网络架构,训练得到高光谱分类器;步骤S7.利用训练后的高光谱分类器,对高光谱遥感图像分类。
在一些实施例中,所述步骤S2进一步包括如下步骤:
采用主成分分析方法,对所述高光谱遥感影像数据集中的图像在光谱维度上分析处理,提取前三个主成分分量,组成降维后的图像。
此处,主成分分析方法中提取前三个主成分分量,前三个主成分分量中含有较多的空间信息,包含有95%以上的高光谱图像的主要信息,也可选用前十成分作为主要信息分量提前空间信息,但是会造成信息冗余,故此处选用前三个成分分量作为提取空间信息与超像素分割的数据来源。
在一些实施例中,所述步骤S3进一步地包括如下步骤:
步骤S31.对所述降维后的高光谱遥感图像进行简单的线性迭代聚类超像素分割,得到若干个超像素分割区域;
步骤S32.根据下式(1),对得到的若干个超像素分割区域采用模糊C均值聚类进行区域合并:
其中,l代表超像素分割区域,Sl代表第l个超像素区域Rl的所含像元数目,N代表输入图像经过简单的线性迭代聚类后的超像素区域数目,C为聚类初始数目,m为设定的加权系数,其设定了聚类隶属度矩阵ukl的重要程度,he为图像的像元;隶属度矩阵ukl与聚类中心ck的式(2)和公式(3):
步骤S33.得到含有空间特征的空间区域划分结果图。
在一些实施例中,所述步骤S4进一步包括如下步骤:
将所述的空间区域划分结果图与对应的所述高光谱遥感图像数据集中的图像进行矢量线性叠加,以得到特征联合的样本数据,形成空-谱特征联合数据集。
所述矢量线性叠加是指将高光谱遥感图像数据集的图像与含有空间特征的空间区域划分结果图进行叠加,即原始高光谱遥感图像数据集的图像维度为340×640×201,加入前三个主成分分量的空间特征后为340×640×204,此为矢量线性叠加;利用三维卷积神经网络的抽象提取能力,将原始高光谱遥感图像与各成分提取的空间特征进行叠加,丰富原有高光谱的数据量与信息量,提升三维卷积神经网络的训练效率与分类精度。
在一些实施例中,所述步骤S5进一步包括如下步骤:
在空-谱特征联合数据中,随机选取20%,组成高光谱的训练集;将剩余数据组成高光谱的测试集。
此处,高光谱的训练比例的选取一般集中在20%左右,一旦采用过高比例训练容易造成过拟合的现象产生,即测试精度很高,但是泛化能力较弱;另外,小比例的训练样本有利于进一步提升分类器的泛化能力;而且在本发明中,输入的是切片数据,已经将较多的数据进行了输入训练,所以分类器的分类能力较强,不需要进行特别多的训练数据。
在一些实施例中,所述S6进一步包括如下步骤:
S61.搭建三维卷积神经网络;
S62.将训练集输入三维卷积神经网络进行训练,直至三维卷积神经网络收敛,得到初始三维卷积神经网络模型;具体的实施例中,训练的输入样本为切片式数据,切片大小为19×19;训练次数初始设定为100epoch,若相关参数没有收敛,则继续训练直至三维卷积神经网络参数收敛为止;
以往进行分类器训练一般进行输入一维高光谱图像即1×1×204数据进行分类器训练,需要较多的训练数据才能将分类器训练好;切片是指将原始数据点的周围进行切片即输入的训练数据大小为19×19×204,这样就可以将高光谱中的空间特征进行进一步提取与利用,切片的大小一般根据实际需要进行调整。
S63.输入测试集数据,利用测试集数据对初始三维卷积神经网络模型中的参数校准,得到高光谱分类器。
本公开实施例提供的一种基于三维卷积神经网络与超像素分割的高光谱分类方法,可以实现以下技术效果:通过对高光谱遥感图像进行降维处理,以得到其含有主成分的高光谱遥感图像,并对其进行超像素分割,通过模糊C均值聚类,对超像素分割结果进行进一步区域的划分与相关超像素的合并融合,增强了后续融合结果代表的空间特征的空间代表性,克服了现有超像素分割对高光谱空间分割不够充分的问题,同时将超像素结果进行进一步融合,加快了神经网络的训练速度,使其能够更快收敛;本发明还通过搭建三维卷积神经网络,利用三维卷积神经网络的空间特征与光谱特征提取能力,对高光谱的光谱维特征与空间特征进行充分利用,同时采用切片的形式,能够对邻域空间的光谱特征与空间特征信息进行更好的运用,克服了现有技术中空谱特征未联合运用导致的分类精度有限的问题,增强网络的空间特征提取能力,提升分类准确性。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,包括如下步骤:
步骤S1.输入高光谱遥感图像数据集;
步骤S2.对所述高光谱遥感图像数据集中的图像进行降维处理,得到降维后的高光谱遥感图像;
步骤S3.基于超像素分割方法,对所述降维后的高光谱遥感图像进行空间特征提取,得到含有空间特征的空间区域划分结果图;
步骤S4.利用所述空间区域划分结果图与对应的所述高光谱遥感图像数据集中的图像,构建空-谱特征联合数据集;
步骤S5.利用所述空-谱特征联合数据集,构建测试集与训练集;
步骤S6.搭建三维卷积神经网络架构,训练得到高光谱分类器;
步骤S7.利用训练后的高光谱分类器,对高光谱遥感图像分类。
2.根据权利要求1所述的一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,所述步骤S2包括如下步骤:
采用主成分分析法,对所述高光谱遥感影像数据集中的图像在光谱维度上分析处理,提取前三个主成分分量,组成降维后的图像。
3.根据权利要求1所述的一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,所述步骤S3包括如下步骤:
步骤S31.对所述降维后的高光谱遥感图像进行简单的线性迭代聚类超像素分割,得到若干个超像素分割区域;
步骤S32.根据下式,对得到的若干个超像素分割区域采用模糊C均值聚类进行区域合并:
其中,l代表超像素分割区域,Sl代表第l个超像素区域Rl的所含像元数目,N代表输入图像经过简单的线性迭代聚类后的超像素区域数目,C为聚类初始数目,m为设定的加权系数,其设定了聚类隶属度矩阵ukl的重要程度,he为图像的像元;隶属度矩阵ukl与聚类中心ck的式(2)和公式(3):
步骤S33.得到含有空间特征的空间区域划分结果图。
4.根据权利要求1所述的一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,所述步骤S4包括如下步骤:
将所述的空间区域划分结果图与对应的所述高光谱遥感影像数据集中的图像进行矢量线性叠加,以得到特征联合的样本数据,形成空-谱特征联合数据集。
5.根据权利要求1所述的一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,所述步骤S5包括如下步骤:
在空-谱特征联合数据中,随机选取20%,组成高光谱的训练集;将剩余数据组成高光谱的测试集。
6.根据权利要求1所述的一种基于三维卷积神经网络与超像素分割的高光谱分类方法,其特征在于,所述步骤S6包括如下步骤:
步骤S61.搭建三维卷积神经网络架构;
步骤S62.将训练集输入三维卷积神经网络进行训练,直至三维卷积神经网络收敛,得到初始三维卷积神经网络模型;
步骤S63.输入测试集数据,利用测试集数据对初始三维卷积神经网络模型中的参数校准,得到高光谱分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111179286.0A CN113902013A (zh) | 2021-10-09 | 2021-10-09 | 一种基于三维卷积神经网络与超像素分割的高光谱分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111179286.0A CN113902013A (zh) | 2021-10-09 | 2021-10-09 | 一种基于三维卷积神经网络与超像素分割的高光谱分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113902013A true CN113902013A (zh) | 2022-01-07 |
Family
ID=79190867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111179286.0A Pending CN113902013A (zh) | 2021-10-09 | 2021-10-09 | 一种基于三维卷积神经网络与超像素分割的高光谱分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902013A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117746079A (zh) * | 2023-11-15 | 2024-03-22 | 中国地质大学(武汉) | 一种高光谱图像的聚类预测方法、***、存储介质及设备 |
-
2021
- 2021-10-09 CN CN202111179286.0A patent/CN113902013A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117746079A (zh) * | 2023-11-15 | 2024-03-22 | 中国地质大学(武汉) | 一种高光谱图像的聚类预测方法、***、存储介质及设备 |
CN117746079B (zh) * | 2023-11-15 | 2024-05-14 | 中国地质大学(武汉) | 一种高光谱图像的聚类预测方法、***、存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110399909B (zh) | 一种基于标签约束弹性网图模型的高光谱图像分类方法 | |
Zhao et al. | Superpixel-based multiple local CNN for panchromatic and multispectral image classification | |
CN105046276B (zh) | 基于低秩表示的高光谱图像波段选择方法 | |
Fan et al. | Superpixel guided deep-sparse-representation learning for hyperspectral image classification | |
CN110110596B (zh) | 高光谱图像特征提取、分类模型构建及分类方法 | |
CN108229576B (zh) | 一种跨倍率病理图像特征学习方法 | |
CN113762138B (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
Thoonen et al. | Multisource classification of color and hyperspectral images using color attribute profiles and composite decision fusion | |
CN111680579B (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
CN113673556B (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
CN111563408B (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
Trivedi et al. | Automatic segmentation of plant leaves disease using min-max hue histogram and k-mean clustering | |
CN111563577B (zh) | 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法 | |
CN115222994A (zh) | 一种基于混合光谱网络和多头自注意力机制的高光谱图像分类方法 | |
CN111027509A (zh) | 一种基于双流卷积神经网络的高光谱图像目标检测方法 | |
CN116091833A (zh) | 注意力与Transformer高光谱图像分类方法及*** | |
CN111626380A (zh) | 一种基于超像素和卷积网络的极化sar图像分类方法 | |
CN113902013A (zh) | 一种基于三维卷积神经网络与超像素分割的高光谱分类方法 | |
CN114299382A (zh) | 高光谱遥感图像分类方法及*** | |
CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
CN113449603A (zh) | 一种高分辨率遥感影像地表要素识别方法及存储介质 | |
Alam et al. | Combining unmixing and deep feature learning for hyperspectral image classification | |
CN116452872A (zh) | 一种基于改进的Deeplabv3+的森林场景树种分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |