CN109002771B - 一种基于递归神经网络的遥感图像分类方法 - Google Patents

一种基于递归神经网络的遥感图像分类方法 Download PDF

Info

Publication number
CN109002771B
CN109002771B CN201810666413.1A CN201810666413A CN109002771B CN 109002771 B CN109002771 B CN 109002771B CN 201810666413 A CN201810666413 A CN 201810666413A CN 109002771 B CN109002771 B CN 109002771B
Authority
CN
China
Prior art keywords
neural network
recurrent neural
remote sensing
image
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810666413.1A
Other languages
English (en)
Other versions
CN109002771A (zh
Inventor
霍连志
唐娉
郑柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201810666413.1A priority Critical patent/CN109002771B/zh
Publication of CN109002771A publication Critical patent/CN109002771A/zh
Application granted granted Critical
Publication of CN109002771B publication Critical patent/CN109002771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于递归神经网络的遥感图像分类方法。该方法可以把遥感图像转换为图像序列，从而同时考虑了光谱与空间信息，获得较高的分类精度。该发明的主要步骤包括：对获取的遥感图像，首先获取训练样本数据；对遥感图像依据设定的窗口大小，分别按照右上、右下、左上、左下等四个方向提取图像块；把提取的图像块按照一定的规则展平为图像的序列数据；把序列化的数据分别输入到一个递归神经网络中，设定好递归神经网络的参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练；最后基于训练得到的递归神经网络模型，对所有待处理的图像像素序列进行分类，得到最终的分类结果。

Description

一种基于递归神经网络的遥感图像分类方法
技术领域
本发明涉及遥感图像处理技术，具体的说，涉及一种基于递归神经网络的遥感图像分类方法，该方法可以对多光谱以及高光谱光学遥感图像，提取其空间结构信息，并结合光谱信息进行图像分类，获得较好的分类结果。
背景技术
遥感技术目前被广泛应用于森林资源规划、农作物估产、环境评估、灾害监测等领域。遥感图像分类技术是把所获取的遥感图像从数据转换为信息的关键步骤。从是否需要训练样本来分，遥感图像分类方法分为监督分类和非监督分类。在遥感图像分类中最常用的是监督分类方法。监督分类方法，需要人工地确定分类体系，通过人机交互或者实地野外考察的方式获得各个类别的训练样本，并基于训练样本对所采用的分类器进行训练；然后基于训练好的分类器对待分类的其它遥感图像进行分类。而目前常用的监督分类方法主要包括最大似然分类器、神经网络分类器、支持向量机分类器、随机森林分类器，以及近几年来大热、受到广泛使用的深度学习技术。
国外学者Krizhevsky A.在机器学***均值或取最大值，是对提取特征的进一步抽象；全连接层是将卷积层和池化层的输出使用向量堆叠起来，形成一层或多层全连接层，实现高阶的推导能力。AlexNet取得巨大成功后，后续研究者又在增加网络层数、网络组织结构、网络优化方法等各方面广泛研究，又出现了GoogleNet,VGGNet等具有影响力的卷积神经网络。研究人员并把设计好的网络结构，以及已经训练好的网络模型参数进行公开，供后续的研究人员直接使用，或者针对自己的数据集进行参数的调整优化，极大地推动了行业的发展。
以AlexNet,GoogleNet,VGGNet等代表的卷积神经网络通过二维卷积的设置适用于自然场景图像的处理，并进一步被应用于遥感图像处理。除卷积神经网络之外，另一种广泛使用的网络结构是递归神经网络，该网络被广泛应用于自然语言处理，处理序列型的数据(例如一句话是由单词序列组成的)，如词向量表达，机器翻译等。序列数据往往以时间先后为序进行组织。该模型最大的优势是能够对序列数据之间的相关性建模，从而能够较好的刻画自然语言处理中时间相关关系。尽管在自然语言处理中获得极大成功，该模型在遥感图像处理中的应用鲜有研究。其主要原因在于递归神经网络天然适用于序列数据的处理，如何把单景遥感图像以序列型数据进行表示成为关键点。Mou等2017年把高光谱图像上百个波段每个波段看成序列中的一个元素，形成一个具有上百个元素的序列数据，并进行分类，初步试验取得了不错的结果(Mou等，Deep recurrent neural networks forhyperspectral imageclassification.IEEE Transactions on Geoscience and RemoteSensing,55(7),3639-3655,2017)。该方法的不足之处在于无法对遥感图像中的空间信息进行提取。而在遥感图像处理中，空间信息，即图像中像素的不同空间组合，对遥感图像分类具有重要影响。
本专利的主要思路是把遥感图像看成局部图像块组成的序列数据，利用递归神经网络对序列数据相关性建模的能力，捕捉遥感图像的空间相关关系。具体而言，本专利提出了一种基于递归神经网络的遥感图像分类方法：针对遥感图像准确分类的需求，以提取遥感图像中的空间信息为技术手段，本专利所提出的方法，其核心是提取图像的多个邻域窗口并把邻域窗口数据进行空间序列化操作，得到序列型的数据，并使用递归神经网络进行分类。该技术方法可以利用已有的遥感图像以及样本信息，训练分类器，并进而获得准确的遥感图像分类结果，把遥感数据转换为信息产品，从而为遥感监测等应用提供信息支持。
发明内容
本发明的目的是提供一种基于递归神经网络的遥感图像分类方法。
本发明的基本思路为：对获取的遥感图像，首先获取训练样本数据；对遥感图像依据设定的窗口大小，把遥感图像转化为序列化的表示方式；设定好递归神经网络的参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练；最后基于训练得到的神经网络模型，对所有待处理的图像像素序列进行分类，得到最终的分类结果。
本发明的技术方案提供的一种基于递归神经网络的遥感图像分类方法，其特征在于包括以下实施步骤：
A对待分类的遥感图像依据样本采样策略进行样本的采集；
B对遥感图像分波段进行量化值的重新映射；
C根据待处理遥感图像的空间分辨率，设定空间序列化处理的窗口大小；根据选定的空间序列化窗口大小，读取四个方向的图像块；对每个图像块进行展平处理；
D对每个方向展平的图像块序列分别输入一个递归神经网络；每个递归神经网络的输出进行求和，并最后连接到一个softmax层；设定递归神经网络的模型参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练，得到稳定的递归神经网络模型；
E对所有待处理的像素序列，使用步骤D获得的递归神经网络进行分类，得到最终的分类结果。
上述实施步骤的特征在于：
步骤A中样本采样策略一般根据不同的辅助信息(如不同的生态分区、不同的地表覆盖类型等)采用分层采样策略，或者采用其他方式获得训练样本数据。不同类别的样本数量需要保持一个合适的比例，样本的数量与质量对后续的网络模型的训练具有重要影响。
步骤B中所述的量化值的重新映射是指，对原始的图像量化值(如8比特情况，0-255)重新映射到0-1之间；对不同的波段，分别进行映射处理，即各个波段上的最大值映射到1，而其它值相应映射到0-1之间；这种映射处理对后续的神经网络的训练过程是及其有益的。
步骤C中所述的窗口大小，一般选取奇数大小的窗口如3×3,5×5,7×7,9×9,11×11等。窗口大小不应过大，需要根据遥感图像的空间分辨率以及应用需求而定。窗口大小选取的一般原则是：窗口范围的图像像素尽量应该满足为同一种地物类型。
步骤C中所述的把传统的遥感图像数据转换为序列化的表示方式，是指：对待处理的像素，分别以该像素作为右下角、左下角、左上角、右上角像素读取奇数窗口大小的图像块，得到四个窗口的图像块；然后对四个窗口的图像块分别进行展平操作；展平过程的基本规则为：在每个图像块内，从待处理像素对角线上的像素为起始点，逐行进行展平，在行内按照朝向待处理像素的方向进行。
通过展平操作，得到一维的像素序列，而像素序列中的每个像素仍保持原有的波段数目，即得到一个由高维向量组成的像素序列(序列中每个元素为一个像素，每个像素具有原始的图像的波段数目)；把展平得到的一维像素序列作为待处理像素具有空间结构信息的表示方式。
对于图像边缘处的像素进行空间序列化表示的时候，需要注意边界处理策略。可以选用中心对称的方式进行图像的“扩边”处理。
步骤D是指，选用递归神经网络+softmax层的网络模型，设定好递归网络层的隐含单元的数目，批处理的大小，迭代的次数等。优化算法可以选用常规的随机梯度下降算法以及最新的各种变体算法；不同优化算法一般需要通过比较试验进行选择。
步骤D中得到稳定的递归神经网络模型是指分类误差稳定地小于某个值后，即可以认为网络模型比较稳定，网络的参数基本比较稳定。
步骤E是指，利用步骤D中训练得到的递归神经网络模型，输入待处理像素的步骤C中所得到的序列化表示，输出分类类别信息，完成分类过程。
本发明与现有技术相比有如下特点：该基于递归神经网络的遥感图像分类算法充分利用了目前能够对序列数据进行建模的递归神经网络模型，通过对局部窗口的图像进行空间序列化处理，进而捕获了对遥感图像分类具有重要作用的空间结构信息，从而一体化地处理遥感图像的光谱与空间结构信息，进而获得较好的分类效果。
附图说明：
附图1是一种基于递归神经网络的遥感图像分类方法流程图
附图2是所提出的基于递归神经网络的遥感图像分类方法的细节图
附图3是所采用的递归神经网络模型的示意图
附图4是分类结果示意图
具体实施方式：
采用本发明实现一种基于递归神经网络的遥感图像分类方法的实施例如附图1、图2所示，现结合附图对其进行描述。
处理单元100对获取的遥感图像(主要指多光谱以及高光谱遥感图像，本实例中为高光谱遥感图像，波段数目N＝103；分类类别C＝9)的量化值，重新线性映射到[0,1]之间；该数据的重新映射对后续的神经网络参数的学习具有较大的影响。
处理单元101对处理单元100中图像的每个像素，分别以其作为右下角、左下角、左上角、右上角像素读取奇数窗口大小(如3×3,5×5,7×7等)的图像块，得到四个窗口的图像块；分别把四个图像块按照一定的规则进行“展平”(展开规则请参考处理单元200)；展开后的像素序列构成了待处理像素的空间结构信息。更详细的细节请参见图2。
处理单元102把图像数据以及样本信息输入到递归神经网络模型(采用LongShort-Term Memory(LSTM)模型，即长短期记忆网络，其为递归神经网络中目前使用较多的一个模型，该模型的示意图参见图3)。根据已有的数据设定合适的模型参数，如LSTM层数、隐藏层中单元数目等，以及优化算法，进行网络参数的训练。
处理单元200对于待处理的图2中遥感图像中的像素“9”，分别以该像素作为右下角、左下角、左上角、右上角像素读取奇数窗口3×3的图像块，得到四个窗口的图像块(分别对应处理单元200从上到下的四个图像块)；在每个图像块中，标记为“9”的为待处理的同一个像素，其它标记为其空间上相邻的其它像素。
处理单元201为处理单元200得到的四个图像块的“展平”过程。展平过程的基本规则为：从待处理像素(标记为“9”)对角线上的像素(在每个图像块中都标记为“1”；但需注意不同图像上标记为“1”的像素并不是同一个像素)为起始点，逐行进行展平，在行内按照朝向待处理像素的方向进行。该展平规则都是把待处理的像素作为图像序列的最后一个像素，周围的像素提供了理解待处理像素的空间结构信息。处理单元200中每个图像块中的数字标记出了读取每个像素的顺序，得到序列长度T＝9的像素序列。处理单元200得到的输入递归神经网络的数据维度为：样本数目×序列长度×图像光谱波段数目，即样本数目×9×103。
处理单元202为常用的一种递归神经网络LSTM的示意图，详见图3。处理单元201的每个图像序列数据分别输入到一个LSTM网络中。而每个LSTM输出的隐含层维度设为128。
处理单元203对每个LSTM的输出结果进行求和，其目的是通过累加各个图像块对待处理像素的信息影响，进而获得从不同方向对待处理像素整体的影响；并进一步把累加的结果输入到处理单元204中的softmax层。
处理单元204为softmax层，该层输出各个类别的归一化的概率；进而可以取概率最大的类别作为最后的类别，并进行输出结果。
本发明的一个实例在PC平台上实现，经实验验证，所提出的专利，通过遥感图像的空间序列化操作，并进而使用递归神经网络进行网络模型的训练，分类结果可靠(如图4所示)，能够满足遥感监测的应用需求。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。

Claims (3)

1.一种基于递归神经网络的遥感图像分类方法，其特征在于包括以下实施步骤：
A对待分类的遥感图像依据样本采样策略进行样本的采集；
B对遥感图像分波段进行量化值的重新映射；
C根据待处理遥感图像的空间分辨率，设定空间序列化处理的窗口大小；根据选定的空间序列化窗口大小，读取四个方向的图像块；对每个图像块进行展平处理；所述的四个方向的图像块是指分别以待处理像素作为右下角、左下角、左上角、右上角像素读取奇数窗口的图像块；所述的对每个图像块进行展平处理，展平的顺序为：在每个图像块内，从待处理像素对角线上的像素为起始点，逐行进行展平，在行内按照朝向待处理像素的方向进行；
D对每个方向展平的图像块序列分别输入一个递归神经网络；每个递归神经网络的输出进行求和，并最后连接到一个softmax层；设定递归神经网络的模型参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练，得到稳定的递归神经网络模型；
E对所有待处理的像素序列，使用步骤D获得的递归神经网络进行分类，得到最终的分类结果。
2.根据权利要求1所述的方法，其特征在于步骤D中是把每个方向展平的图像块序列分别输入了一个递归神经网络，即四个图像块序列输入到四个不同的递归神经网络。
3.根据权利要求1所述的方法，其特征在于步骤D中每个递归神经网络的输出先进行求和操作，然后再连接到一个softmax层。
CN201810666413.1A 2018-06-26 2018-06-26 一种基于递归神经网络的遥感图像分类方法 Active CN109002771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810666413.1A CN109002771B (zh) 2018-06-26 2018-06-26 一种基于递归神经网络的遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810666413.1A CN109002771B (zh) 2018-06-26 2018-06-26 一种基于递归神经网络的遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN109002771A CN109002771A (zh) 2018-12-14
CN109002771B true CN109002771B (zh) 2022-04-08

Family

ID=64601163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810666413.1A Active CN109002771B (zh) 2018-06-26 2018-06-26 一种基于递归神经网络的遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN109002771B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458201B (zh) * 2019-07-17 2021-08-24 北京科技大学 一种遥感影像面向对象分类方法及分类装置
CN110646350B (zh) * 2019-08-28 2023-06-02 深圳数联天下智能科技有限公司 产品分类方法、装置、计算设备及计算机存储介质
CN111079837B (zh) * 2019-12-16 2022-06-28 桂林电子科技大学 一种用于二维灰度图像检测识别分类的方法
CN111310621B (zh) * 2020-02-04 2023-11-07 应急管理部大数据中心 遥感卫星火点识别方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A bag-of-visual-words model based framework for object-oriented landcover classification;Zhao, Li-Jun et al.;《Proceedings of SPIE 9260, Land Surface Remote Sensing II》;20141108;全文 *
A Batch-Mode Active Learning Algorithm Using Region-Partitioning Diversity for SVM Classifier;Lian-Zhi Huo et al.;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20140430;第7卷(第4期);全文 *
A Review of Remote Sensing Image Classification Techniques: the Role of Spatio-contextual Information;Miao Li et al.;《European Journal of Remote Sensing》;20170217;全文 *
以"不变特征点集"为控制数据集的遥感图像自动化处理框架;唐娉 等;《遥感学报》;20160810;全文 *

Also Published As

Publication number Publication date
CN109002771A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN109002771B (zh) 一种基于递归神经网络的遥感图像分类方法
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN108009559B (zh) 一种基于空谱联合信息的高光谱数据分类方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN111612017B (zh) 一种基于信息增强的目标检测方法
CN113674334B (zh) 基于深度自注意力网络和局部特征编码的纹理识别方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN113435253B (zh) 一种多源影像联合城区地表覆盖分类方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
Huang et al. Research on optimization methods of ELM classification algorithm for hyperspectral remote sensing images
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN114565789B (zh) 一种基于集合预测的文本检测方法、***、装置及介质
CN113052017A (zh) 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法
James et al. Malayalam handwritten character recognition using AlexNet based architecture
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN111461061A (zh) 一种基于相机风格适应的行人重识别方法
CN116704378A (zh) 一种基于自生长卷积神经网络的国土测绘数据分类方法
CN109584194B (zh) 基于卷积变分概率模型的高光谱图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant