CN116704378A - 一种基于自生长卷积神经网络的国土测绘数据分类方法 - Google Patents

一种基于自生长卷积神经网络的国土测绘数据分类方法 Download PDF

Info

Publication number
CN116704378A
CN116704378A CN202310489020.9A CN202310489020A CN116704378A CN 116704378 A CN116704378 A CN 116704378A CN 202310489020 A CN202310489020 A CN 202310489020A CN 116704378 A CN116704378 A CN 116704378A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
network model
data
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310489020.9A
Other languages
English (en)
Inventor
梁勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JINAN INSTITUTE OF SURVEY & MAPPING
Original Assignee
JINAN INSTITUTE OF SURVEY & MAPPING
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JINAN INSTITUTE OF SURVEY & MAPPING filed Critical JINAN INSTITUTE OF SURVEY & MAPPING
Priority to CN202310489020.9A priority Critical patent/CN116704378A/zh
Publication of CN116704378A publication Critical patent/CN116704378A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自生长卷积神经网络的国土测绘数据分类方法，包括：构建卷积神经网络模型包括光谱特征提取模块和空间特征提取模块用于从光谱和空间两个方面提取对应特征信息，特征融合模块融合光谱和空间分别对应的特征信息，网络输出模块将融合的特征信息进行分类；利用有标签数据集对模型进行训练；在每次训练后，选择部分无标签数据添加至有标签数据集，同时判断模型是否满足自生长，若满足，增加光谱特征提取模块和空间特征提取模块以更新模型，利用新的有标签数据集对更新的模型继续进行训练，直至满足停止条件，输出训练好的模型；利用训练好的模型对待分类数据进行分类。本发明可以获得更好的高光谱图像分类性能。

Description

一种基于自生长卷积神经网络的国土测绘数据分类方法
技术领域
本发明属于数据处理技术领域，具体涉及一种基于自生长卷积神经网络的国土测绘数据分类方法。
背景技术
随着图像成像、传感器技术和航空航天技术的发展，在国土测绘领域，通过这些技术可以获得国土测绘高光谱图像，进而利用高光谱图像特性可以获取地物的空间信息和光谱信息。高光谱图像光谱波段较多，光谱分辨率较高，可以捕捉每一个地物的数十个至几百个窄波段光谱信息，使得将高光谱图像的空间信息和光谱信息有机地结合在一起。
海量的高光谱数据在带来极大机遇的同时，也带来了许多挑战。随着近年来遥感技术的不断发展，其空间和光谱分辨率越来越高，数据量不断增大，相较于传统的遥感图像，高光谱图像丰富的光谱信息使其数据结构具有高维度的特点，又由于高光谱遥感影像本身具有图谱合一、高维度、波段相关性大、数据冗余严重等特点，对高光谱遥感影像分类方法提出了新的挑战。如何高效地利用高光谱遥感图像丰富的光谱和空间信息，并且降低因高维数据产生的计算复杂度的问题，已成为高光谱遥感领域的首要问题。近年来，卷积神经网络由于其强大的特征提取及分类能力，已被广泛应用于高光谱图像的地物分类研究中，且已经取得了较好的分类性能。
但是，现有卷积神经网络的高光谱图像分类方法，共性就是在谱间和空间特征提取时由于对提取的特征利用率不足所造成信息丢失，或者保留过多无关信息造成信息冗余，无法充分利用高光谱图像波段中的关键信息和获得更具有可分辨性的谱空特征，并且在训练时需要大量的高光谱样本来训练神经网络，从而导致在有限的训练本时这些分类方法对高光谱图像的分类效果不佳。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于自生长卷积神经网络的国土测绘数据分类方法。本发明要解决的技术问题通过以下技术方案实现：
本发明实施例提供了一种基于自生长卷积神经网络的国土测绘数据分类方法，包括：
利用无人机搭载相机拍摄国土测绘图像数据；其中，所述国土测绘图像数据包括少量的有标签数据集和大量的无标签数据集；
构建卷积神经网络模型；所述卷积神经网络模型包括光谱特征提取模块和空间特征提取模块构成的基础特征提取模块，以及特征融合模块、网络输出模块，其中，所述光谱特征提取模块和所述空间特征提取模块分别用于从光谱和空间两个方面提取对应特征信息，所述特征融合模块用于融合光谱对应的特征信息和空间对应的特征信息，所述网络输出模块用于将融合的特征信息进行分类；
利用所述有标签数据集对构建的卷积神经网络模型进行迭代训练；在每一次迭代训练完成后，从所述无标签数据集中选择部分无标签数据添加至有标签数据集，同时判断卷积神经网络模型是否满足自生长条件，若满足，则在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块以更新卷积神经网络模型，再利用新的有标签数据集对更新的卷积神经网络模型继续进行训练，若不满足，则保持卷积神经网络模型，再利用新的有标签数据集对保持的卷积神经网络模型继续进行训练，直至满足迭代停止条件，输出训练好的卷积神经网络模型；
利用所述训练好的卷积神经网络模型对拍摄的待分类国土测绘图像数据进行分类。
在本发明的一个实施例中，所述光谱特征提取模块包括依次连接的若干3D可变卷积模块，所述3D可变卷积模块之间连接一最大池化层，其中，
每一所述3D可变卷积模块包括依次连接的若干3D可变卷积层，每一所述3D可变卷积层后连接一激活层，且与第一个所述3D可变卷积层连接的激活层和最后一个所述3D可变卷积层连接组成残差结构。
在本发明的一个实施例中，所述空间特征提取模块包括并行的若干多尺度特征提取分支，所有多尺度特征提取分支均依次连接拼接层、最大池化层，其中，
每一所述多尺度特征提取分支包括依次连接的尺度操作层、卷积层、归一化层和激活层。
在本发明的一个实施例中，所述特征融合模块包括依次连接的若干2D卷积层。
在本发明的一个实施例中，所述网络输出模块包括拼接层、平均池化层、全连接层和softmax分类器。
在本发明的一个实施例中，从所述无标签数据集中选择部分无标签数据添加至有标签数据集，包括：
通过高置信度样本选择策略对所述无标签数据集进行一致性度量，从所述无标签数据集中选择部分无标签数据添加至有标签数据集。
在本发明的一个实施例中，通过高置信度样本选择策略对所述无标签数据集进行一致性度量，从所述无标签数据集中选择部分无标签数据添加至有标签数据集，包括：
获取当前卷积神经网络模型对应的分类结果，根据所述分类结果构建所述无标签数据集对应的映射图和概率矩阵；
设计一预设大小窗口，利用所述预设大小窗口从所述映射图中提取所述无标签数据集中每个无标签数据对应的映射矩阵；
利用邻域一致性准则从所述映射矩阵中选择高置信度的无标签数据形成待添加数据集；
根据所述概率矩阵从所述待添加数据集中选择高概率的待添加数据添加至有标签数据集。
在本发明的一个实施例中，判断卷积神经网络模型是否满足自生长条件，包括：
构建卷积神经网络模型对应的整体损失函数；
根据所述整体损失函数计算当前卷积神经网络模型的损失值，判断所述损失值是否大于预设损失值，若不是，则所述卷积神经网络模型满足自生长条件，若是，则所述卷积神经网络模型不满足自生长条件。
在本发明的一个实施例中，训练过程中，构建的卷积神经网络模型对应的整体损失函数包括两部分，公式表示为：
L＝L1+λL2；
其中，L表示整体损失函数，L1表示交叉熵损失函数，L2表示局部特征保持函数，λ表示权衡参数。
在本发明的一个实施例中，训练过程中，从所述无标签数据集中选择部分无标签数据添加至有标签数据集之后，还包括：
对更新后的无标签数据集中较难分类的无标签数据利用其近邻空间内的无标签数据进行加权均值滤波处理。
本发明的有益效果：
本发明提出的基于自生长卷积神经网络的国土测绘数据分类方法，是一种考虑全面的数据分类方法，具体地：利用无人机搭载相机拍摄国土测绘图像数据；其中，国土测绘图像数据包括少量的有标签数据集和大量的无标签数据集；构建卷积神经网络模型；卷积神经网络模型包括光谱特征提取模块和空间特征提取模块构成的基础特征提取模块，以及特征融合模块、网络输出模块，其中，光谱特征提取模块和空间特征提取模块分别用于从光谱和空间两个方面提取对应特征信息，特征融合模块用于融合光谱对应的特征信息和空间对应的特征信息，网络输出模块用于将融合的特征信息进行分类；利用有标签数据集对构建的卷积神经网络模型进行迭代训练；在每一次迭代训练完成后，从无标签数据集中选择部分无标签数据添加至有标签数据集，同时判断卷积神经网络模型是否满足自生长条件，若满足，则在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块以更新卷积神经网络模型，再利用新的有标签数据集对更新的卷积神经网络模型继续进行训练，若不满足，则保持卷积神经网络模型，再利用新的有标签数据集对保持的卷积神经网络模型继续进行训练，直至满足迭代停止条件，输出训练好的卷积神经网络模型；利用训练好的卷积神经网络模型对拍摄的待分类国土测绘图像数据进行分类。可见，本发明构建的卷积神经网络模型从光谱和空间两方面进行特征提取，能够提高分类精度且能够更深层次的提取高光谱图像中所包含的空间信息；且本发明在卷积神经网络模型训练过程中，每次迭代训练结束后从无标签数据集中选择部分无标签数据添加到有标签数据集中形成新的有标签数据集，更多的有标签数据用于训练，可以避免由于有标签数据少而导致网络模型训练出现过拟合问题，使得训练结束后可以得到更优的卷积神经网络模型，从而提高卷积神经网络模型的分类性能；且本发明在卷积神经网络模型训练过程中，不再是基于固定卷积神经网络模型，而是在训练过程自适应生长卷积神经网络模型，得到的卷积神经网络模型可以用于提取浅层特征，而逐渐增长的卷积神经网络模型可以用于提取更高层次特征，这样的卷积神经网络模型结构可以获得更好的高光谱图像分类性能。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于自生长卷积神经网络的国土测绘数据分类方法的流程示意图；
图2是本发明实施例提供的卷积神经网络模型的结构示意图；
图3是本发明实施例提供的光谱特征提取模块的结构示意图；
图4是本发明实施例提供的空间特征提取模块的结构示意图；
图5是本发明实施例提供的特征融合模块和网络输出模块的结构示意图；
图6是本发明实施例提供的有标签数据集更新示例过程的示意图；
图7是本发明实施例提供的卷积神经网络模型自生长后的结构示意图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
为了实现有限的有标签样本下国土测绘图像数据的高精度分类，请参见图1，本发明实施例提供了一种基于自生长卷积神经网络的国土测绘数据分类方法，具体包括以下步骤：
S10、利用无人机搭载相机拍摄国土测绘图像数据；其中，国土测绘图像数据包括少量的有标签数据集和大量的无标签数据集。
本发明实施例利用无人机搭载相机的方式，但不局限这样的方式，拍摄国土测绘图像数据，拍摄的国土测绘图像数据为具有高维度特点的高光谱图像，由于拍摄数据量大，且拍摄数据的冗余性、相关性，拍摄得到的国土测绘图像数据大多为无标签数据，只有少量的有标签数据，使得用于后续神经网络模型训练时的有标签数据量有限，这会给拍摄数据的分类带来难度。
S20、构建卷积神经网络模型；卷积神经网络模型包括光谱特征提取模块和空间特征提取模块构成的基础特征提取模块，以及特征融合模块、网络输出模块，其中，光谱特征提取模块和空间特征提取模块分别用于从光谱和空间两个方面提取对应特征信息，特征融合模块用于融合光谱对应的特征信息和空间对应的特征信息，网络输出模块用于将融合的特征信息进行分类。
目前基于神经网络模型的高光谱图像分类方法都有所不足，这些方法的共性就是在谱间和空间特征提取时由于对提取的特征利用率不足所造成的信息丢失，或者保留过多无关信息造成信息冗余，无法充分利用高光谱图像波段中的关键信息和获得更具有可分辨性的谱空特征，并且在训练时需要大量的高光谱样本来训练神经网络，从而导致在现有标签样本不足时，这些方法对高光谱图像分类效果不佳，没有更深入的去关注不同光谱间信息的差异。
基于现有神经网络模型的不足，本发明实施例提供了一种可选方案，构建了一种如图2所示新的卷积神经网络模型，包括光谱特征提取模块和空间特征提取模块构成的基础特征提取模块，以及特征融合模块、网络输出模块。具体体每一个模块介绍如下。
光谱特征提取模块，用于从光谱方面提取光谱特征信息。本发明实施例提供了一种可选方案，如图3所示光谱特征提取模块包括依次连接的若干3D可变卷积模块，3D可变卷积模块之间连接一最大池化层，其中，
每一所述3D可变卷积模块包括依次连接的若干3D可变卷积层，每一所述3D可变卷积层后连接一激活层，且与第一个所述3D可变卷积层连接的激活层和最后一个所述3D可变卷积层连接组成残差结构。本发明实施例构建的光谱特征提取模块通过其中的3D可形变卷积块可以提取丰富的谱间特征，通过其中的3D可形变卷积块对这些谱间特征进行关注和筛选可以提取更具分辨性的谱间特征，克服了现有技术在谱间特征提取时由于卷积核固定无法提取更多的有用信息，或者保留过多无关信息造成信息冗余，提高了对高光谱图像中地物的分类精度。
以三个3D可变卷积模块为例，第一个3D可变卷积模块与第二个3D可变卷积模块之间设置的最大池化层的卷积核大小设置为2*2*4，卷积核数目设置为8；第二个3D可变卷积模块与第三个3D可变卷积模块之间设置的最大池化层的卷积核大小设置为2*2*4，卷积核数目设置为16。每一3D可变卷积模块中3D可变卷积层的卷积核大小均设置为3*3*3，每个激活层的激活函数均设置为ReLU激活函数。
进一步地，空间特征提取模块，用于从空间方面提取光谱特征信息。本发明实施例提供了一种可选方案，如图4所示空间特征提取模块包括并行的若干多尺度特征提取分支，所有多尺度特征提取分支均依次连接拼接层、最大池化层，
其中，每一多尺度特征提取分支包括依次连接的尺度操作层、卷积层、归一化层和激活层。本发明实施例构建了的空间特征提取模块使得卷积神经网络模型能够关注到不同尺度的空间特征，克服了现有技术使用单一尺度提取高光谱图像的空间特征缺点，通过其中的多尺度特征提取分支可以对这些多尺度空间特征进行关注和筛选，提取更具分辨性的空间特征，克服了现有技术在空间特征提取时因对提取的特征利用率不足造成的信息丢失，或者保留过多无关信息造成信息冗余，提高了在样本训练时卷积神经网络模型的分类能力。
以三条多尺度特征提取分支为例，第一条多尺度特征提取分支中尺度操作层对选取的图像四周边缘减少一个像素点，卷积层的卷积核大小设置为5*5*4，第二条多尺度特征提取分支中尺度操作层对选取的图像四周边缘减少两个像素点，卷积层的卷积核大小设置为3*3*4，第三条多尺度特征提取分支中卷积层的卷积核大小设置为1*1*4，个数均设置为16，每一条多尺度特征提取分支中激活层的激活函数均设置为ReLU激活函数，三个激活层的输出都为大小为5*5*25的16个特征；经过拼接层进行拼接操作，得到大小为5*5*75的16个特征；接着经过最大池化层进行池化操作，最大池化层的卷积核设置为2*2*8，卷积核个数设置为16。
进一步地，特征融合模块，用于融合光谱对应的特征信息和空间对应的特征信息。本发明实施例提供了一种可选方案，如图5所示特征融合模块包括依次连接的若干2D卷积层。本发明实施例主要是针对高光谱图像光谱波段较多导致波段间的冗余信息过多的问题，通过特征融合模块来提取有用的谱间特征和空间特征，使得卷积神经网络模型更多的关注特征信息中的有用信息，进而提供高光谱图像的分类精度。
特征融合模块是对光谱和空间对应的特征信息进行融合，因此若干2D卷积层中，一部分2D卷积层用于光谱对应的特征信息处理，一部分2D卷积层用于空间对应的特征信息处理，最终利用加权方式实现特征信息融合。比如本发明实施例设置1个2D卷积层处理光谱对应的特征信息，设置2个2D卷积层处理空间对应的特征信息，3个2D卷积层依次串联，且3个2D卷积层的卷积核大小均设置为9*9，卷积核数目设置为1。
进一步地，网络输出模块用于将融合的特征信息进行分类。本发明实施例提供了一种可选方案，如图5所示网络输出模块包括拼接层、平均池化层、全连接层和softmax分类器，依次通过拼接层、平均池化层、全连接层和softmax分类器，具体地：拼接层将特征融合模块输出的特征进行拼接，拼接结果通过平均池化层去冗余，再通过全连接层获取更具可区分性的谱空特征，最后通过softmax分类器获得高光谱图像的分类结果。
S30、利用有标签数据集对构建的卷积神经网络模型进行迭代训练；在每一次迭代训练完成后，从无标签数据集中选择部分无标签数据添加至有标签数据集，同时判断卷积神经网络模型是否满足自生长条件，若满足，则在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块以更新卷积神经网络模型，再利用新的有标签数据集对更新的卷积神经网络模型继续进行训练，若不满足，则保持卷积神经网络模型，再利用新的有标签数据集对保持的卷积神经网络模型继续进行训练，直至满足迭代停止条件，输出训练好的卷积神经网络模型。
为了解决基于有限的有标签数据集难以获得较优神经网络模型的问题，本发明实施例提供了一种可选方案，从无标签数据集中选择部分无标签数据添加至有标签数据集，包括：
通过高置信度样本选择策略对无标签数据集进行一致性度量，从无标签数据集中选择部分无标签数据添加至有标签数据集。具体地：
获取当前卷积神经网络模型对应的分类结果，根据分类结果构建无标签数据集对应的映射图和概率矩阵；设计一预设大小窗口，利用预设大小窗口从映射图中提取无标签数据集中每个无标签数据对应的映射矩阵；利用邻域一致性准则从映射矩阵中选择高置信度的无标签数据形成待添加数据集；根据概率矩阵从待添加数据集中选择高概率的待添加数据添加至有标签数据集。
首先，当前卷积神经网络模型后连接一softmax分类器，根据当前卷积神经网络模型的分类结果构建无标签高光谱训练数据的映射图如图6所示，图中不同符号代表通过当前卷积神经网络模型得到的不同分类结果，对于无标签数据集中每个样本，利用预设大小窗口从映射图中提取无标签数据集中每个样本对应的映射矩阵。在选择高质量添加样本时考虑了空间信息，采用基于邻域一致性准则来判别无标签数据集对应的样本是否可以作为待添加数据，基于邻域一致性准则具体为：利用预先设置的最高阈值Tv＝Nne的投票(最高一致性)机制来评估无标签数据集对应的样本的置信度，从映射矩阵中统计具有相同标签的邻域样本个数，Nne表示统计到的无标签数据集对应的样本具有相同标签的邻域样本个数，选择出其周围统计的邻域样本个数不小于Nne的无标签数据集对应的样本，表示该无标签数据集对应的样本具有较高的置信度，可以作为待添加数据，则将该无标签数据集对应的样本添加到待添加数据集中。
接着将softmax分类器的分类结果转换为对应概率值，有标签数据集中每个样本的分类结果对应的概率值形成概率矩阵，概率矩阵用于衡量训练数据中每个样本xi属于某一标签类别的概率值。针对待添加数据集中同一类的待添加数据，根据概率矩阵对来自待添加数据集的所有待添加数据进行排序，公式表示为：
Ti＝frank(p(M(xi)＝yi)) (1)
其中，Ti表示无标签数据集中样本xi属于标签类别yi的概率值的排序序号。排序值Ti可以由类别矩阵和概率矩阵设计，其计算过程为：yi是无标签数据集中样本xi所属标签类别的标签值，M(·)表示一类别矩阵，用于判断无标签数据集中样本xi是否属于标签类别yi，p(·)表示无标签数据集中样本xi属于标签类别yi的概率，frank(·)表示排序函数，其可以实现对所有无标签数据集中样本在所属标签类中依据类别概率值按递减顺序进行排序的功能，具体依据概率递减的无标签数据集中样本赋值依次递减的rank值，比如，最高概率值，赋rank值为1，次高的概率值，rank值为2，依次类推，可见rank值越高，代表类别概率值越低。根据这样的rank值排序结果，可以从中分类别选择具有低rank值的特定百分比的待添加数据作为每一类别最终的待添加数据集，实现高质量待添加数据的选择，特定百分比根据实际设计来设定。最后，将选定的所有待添加数据添加到有标签数据集中完成有标签数据集的更新。
可见，本发明实施例训练过程中，利用有限的有标签数据集直接对卷积神经网络模型进行训练，然后基于当前训练得到的卷积神经网络模型产生待添加数据，具体地：将有标签数据集送入当前训练得到的卷积神经网络模型完成特征提取和分类，获取有标签数据集对应的概率矩阵，然后利用上述高置信度样本选择策略，选择出置信度较高的无标签数据作为待添加数据，从而为图像分类提供更多可用的识别信息，以用于高精度的卷积神经网络模型训练中。
本发明实施例提出的更新有标签数据集的方式，避免了人工标注操作，提高了新增有标签数据的准确率，使得训练过程中高置信度的有标签数据集为卷积神经网络模型训练提供更多的先验信息，基于更多先验信息的深度学习网络可以避免有限的有标签数据集容易出现过拟合的问题，从而可以训练得到最优网络参数对应的卷积神经网络模型。
在整个卷积神经网络模型训练过程中，构建的卷积神经网络模型对应的整体损失函数包括两部分，公式表示为：
L＝L1+λL2 (2)
其中，L表示整体损失函数，L1表示交叉熵损失函数，其为卷积神经网络模型的主要损失函数项，L2表示局部特征保持函数，λ表示权衡参数，比如权衡参数λ取值为0.001。具体地：
交叉熵损失优化函数，公式表示为：
其中，L1表示预测标签向量与真实标签向量之间的损失值，d(·)表示欧式距离，Fω(·)表示参数ω的特征提取函数，fl表示有标签数据集中第l个类别的特征，C表示为类别的数目，xj表示有标签数据集中的一个样本，yj表示样本xj对应的标签，Q表示有标签数据集。
经发明人研究分析，利用数据结构可以为获取数据自身属性和样本之间的关系提供丰富的信息，而在传统神经网络的特征映射中，有助于获得鉴别特征的空间结构信息无法保持。局部线性嵌入是一种基于非线性无监督的基本流形学习算法，它将高维空间中的数据投影到低维空间中，使其高维数据的全局非线性结构转换为局部线性结构，通过使用映射的低维空间中的样本的邻域和高维空间中的局部权值矩阵重构数据点，很好地保留原始高维空间中数据的局部几何结构，进而减少数据冗余。本发明实施例最终设计的局部特征保持函数，公式表示为：
其中，N表示有标签数据集中样本数目，θ表示卷积神经网络的网络参数，k表示最近邻的邻域样本数目，m(xi,θ)表示有标签数据集中样本xi在低维特征空间的表示，m(xij,θ)表示邻域样本xij在低维特征空间的表示，ωij表示邻域样本xij对标签高光谱训练数据中样本xi重建的贡献，表示F范数的平方。通过公式(5)的引入，可以在映射空间中保持有标签数据集中每个样本与其邻域样本之间的局部重建关系。
本发明实施例构建的整体损失函数可以约束网络的输入特征空间和映射特征空间之间的关系，它可以通过丰富有标签数据信息和挖掘无标签数据信息以优化卷积神经网络模型的网络参数，从而为更好地解译高光谱图像提供了指导，进而更好地实现高光谱图像的分类。
进一步地，由于本发明实施例提供了有限的有标签数据集的更新策略，使得卷积神经网络模型训练有了更多的有标签数据集作为训练样本，传统的卷积神经网络模型训练中受限于有限的有标签数据集，现在有了更多的训练样本，则意味着可以设计更为复杂的卷积神经网络模型以提取更丰富的特性信息，用于分类中。本发明实施例提供了一种可选方案，更新了有标签数据集后，首先判断卷积神经网络模型是否满足自生长条件，若满足，则在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块以更新卷积神经网络模型，再利用新的有标签数据集对更新的卷积神经网络模型继续进行训练，若不满足，则保持卷积神经网络模型，再利用新的有标签数据集对保持的卷积神经网络模型继续进行训练，直至满足迭代停止条件，输出训练好的卷积神经网络模型。
对于如何判断自生长条件，本发明实施例提供了一种可选方案，判断卷积神经网络模型是否满足自生长条件，包括：
构建卷积神经网络模型对应的整体损失函数；根据整体损失函数计算当前卷积神经网络模型的损失值，判断损失值是否大于预设损失值，若不是，则卷积神经网络模型满足自生长条件，若是，则卷积神经网络模型不满足自生长条件。其中，预设损失值根据实际情况而设计。
对于满足自生长条件的情况，本发明实施例提供了一种卷积神经网络模型更新的可选方案，如图7所示，在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块，其他模块网络结构保持不变，增加的光谱特征提取模块、空间特征提取模块与原有的光谱特征提取模块、空间特征提取模块具有相同的网络参数，M表示多次迭代训练中满足自生长的次数。在卷积神经网络模型生长过程中，随着卷积神经网络模型中基础特征提取模块数量的增多，其网络参数也相应地会增加，若利用传统的直接对网络中大量参数进行随机初始化的方式，会在一定程度上影响网络的特征提取能力，为了保证特征提取能力，本发明实施例训练中，训练生长后的卷积神经网络模型的初始参数取用上一次训练结束后的卷积神经网络模型的网络参数，新增加的基础特征提取模块的网络参数取用的是上一次训练结束后的卷积神经网络模型中最后一个基础特征提取模块络模块的网络参数。
可以看出，本发明实施例卷积神经网络模型可以用于提取浅层特征，而逐渐增长的卷积神经网络模型可以用于提取更高层次特征，这样的卷积神经网络模型结构可以获得更好的高光谱图像分类性能。
需要说明的是，整个卷积神经网络模型训练过程中采样的方法不限，比如可以采用Adam模型优化器，针对不同的训练数据集，Adam模型优化器的学习率可以设置为0.00001～0.001范围内的值；训练迭代过程中最大迭代次数根据实际设计需要而定，比如可以最大迭代次数可以为20次。
进一步地，本发明实施例提供了一种可选方案，训练过程中，从无标签数据集中选择部分无标签数据添加至有标签数据集之后，还包括：对更新后的无标签数据集中较难分类的无标签数据利用其近邻空间内的无标签数据进行加权均值滤波处理。
每一次迭代训练后对有标签数据集进行扩充，除去加入有标签数据集的无标签数据集，本发明实施例还认为剩余无标签数据集中的样本都是较难分类的样本，为此对该部分样本进行加权均值滤波以融入空间位置信息，消除噪点和背景点的干扰。本发明实施例提供了一种可选方案，对更新后的无标签数据集中较难分类的无标签数据利用其近邻空间内的无标签数据进行加权均值滤波处理，具体实现如下：
高光谱图像中每个像素与其空间位置上相邻的像素点存在频谱和空间上的相关性，它们在较大概率下是由相同类别的地物组成。基于此，本发明实施例给出了针对像素点xi的加权均值滤波操作实例：
假设样本i对应到整幅高光谱图像中的像素点为xi，其在待分类国土测绘图像中的坐标为(hi,wi)，那么以xi为中心像素点，以ω为边长的正方形近邻空间Ω(xi)可定义为：
其中，近邻空间Ω(xi)中包含ω×ω个像素点，除中心像素点xi之外的其余ω2-1个像素点可分别表示为对于位于高光谱图像边缘位置的像素，使用该像素自身进行像素填补。
中心像素点xi通过加权求和的方式，利用近邻空间中的ω2-1个像素邻域点及其自身进行重构，得到重构像素点xi'，则xi'可以表示为：
其中，xj表示近邻空间Ω(xi)中邻域像素点，vk表示近邻空间Ω(xi)中第k个像素点xik在加权求和中的权重，可利用热核函数进行求解：
其中，di表示近邻空间Ω(xi)中的所有像素与中心像素xi距离的平均值，可表示为：
加权均值滤波方法通过设定参数ω的值来调整滤波窗口，其本质是衡量近邻空间Ω(xi)中近邻像素与中心像素xi的相似性来对中心像素加权均值重构。相似度越高，其相应的权重越大；差异性越大，其相应的权重就越小。因此，加权均值滤波方法能够有效地消除背景点和噪点的干扰，获得边缘更加平滑的图像，从而为更好地解译高光谱图像提供了指导，进而更好地实现高光谱图像的分类。
S40、利用训练好的卷积神经网络模型对拍摄的待分类国土测绘图像数据进行分类。
综上所述，本发明实施例提出的基于自生长卷积神经网络的国土测绘数据分类方法，是一种考虑全面的数据分类方法，具体地：利用无人机搭载相机拍摄国土测绘图像数据；其中，国土测绘图像数据包括少量的有标签数据集和大量的无标签数据集；构建卷积神经网络模型；卷积神经网络模型包括光谱特征提取模块和空间特征提取模块构成的基础特征提取模块，以及特征融合模块、网络输出模块，其中，光谱特征提取模块和空间特征提取模块分别用于从光谱和空间两个方面提取对应特征信息，特征融合模块用于融合光谱对应的特征信息和空间对应的特征信息，网络输出模块用于将融合的特征信息进行分类；利用有标签数据集对构建的卷积神经网络模型进行迭代训练；在每一次迭代训练完成后，从无标签数据集中选择部分无标签数据添加至有标签数据集，同时判断卷积神经网络模型是否满足自生长条件，若满足，则在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块以更新卷积神经网络模型，再利用新的有标签数据集对更新的卷积神经网络模型继续进行训练，若不满足，则保持卷积神经网络模型，再利用新的有标签数据集对保持的卷积神经网络模型继续进行训练，直至满足迭代停止条件，输出训练好的卷积神经网络模型；利用训练好的卷积神经网络模型对拍摄的待分类国土测绘图像数据进行分类。可见，本发明实施例构建的卷积神经网络模型从光谱和空间两方面进行特征提取，能够提高分类精度且能够更深层次的提取高光谱图像中所包含的空间信息；且本发明实施例在卷积神经网络模型训练过程中，每次迭代训练结束后从无标签数据集中选择部分无标签数据添加到有标签数据集中形成新的有标签数据集，更多的有标签数据用于训练，可以避免由于有标签数据少而导致网络模型训练出现过拟合问题，使得训练结束后可以得到更优的卷积神经网络模型，从而提高卷积神经网络模型的分类性能；且本发明实施例在卷积神经网络模型训练过程中，不再是基于固定卷积神经网络模型，而是在训练过程自适应生长卷积神经网络模型，得到的卷积神经网络模型可以用于提取浅层特征，而逐渐增长的卷积神经网络模型可以用于提取更高层次特征，这样的卷积神经网络模型结构可以获得更好的高光谱图像分类性能。
请参见图8，本发明实施例提供了一种电子设备，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801、通信接口802、存储器803通过通信总线804完成相互的通信；
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现上述基于自生长卷积神经网络的国土测绘数据分类方法的步骤。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述基于自生长卷积神经网络的国土测绘数据分类方法的步骤。
对于电子设备/存储介质实施例而言，由于其基本相近于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看说明书及其附图，可理解并实现所述公开实施例的其他变化。在说明书中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，包括：
利用无人机搭载相机拍摄国土测绘图像数据；其中，所述国土测绘图像数据包括少量的有标签数据集和大量的无标签数据集；
构建卷积神经网络模型；所述卷积神经网络模型包括光谱特征提取模块和空间特征提取模块构成的基础特征提取模块，以及特征融合模块、网络输出模块，其中，所述光谱特征提取模块和所述空间特征提取模块分别用于从光谱和空间两个方面提取对应特征信息，所述特征融合模块用于融合光谱对应的特征信息和空间对应的特征信息，所述网络输出模块用于将融合的特征信息进行分类；
利用所述有标签数据集对构建的卷积神经网络模型进行迭代训练；在每一次迭代训练完成后，从所述无标签数据集中选择部分无标签数据添加至有标签数据集，同时判断卷积神经网络模型是否满足自生长条件，若满足，则在基础特征提取模块中分别增加一光谱特征提取模块和一空间特征提取模块以更新卷积神经网络模型，再利用新的有标签数据集对更新的卷积神经网络模型继续进行训练，若不满足，则保持卷积神经网络模型，再利用新的有标签数据集对保持的卷积神经网络模型继续进行训练，直至满足迭代停止条件，输出训练好的卷积神经网络模型；
利用所述训练好的卷积神经网络模型对拍摄的待分类国土测绘图像数据进行分类。
2.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，所述光谱特征提取模块包括依次连接的若干3D可变卷积模块，所述3D可变卷积模块之间3D可变卷积模块连接一最大池化层，其中，
每一所述3D可变卷积模块包括依次连接的若干3D可变卷积层，每一所述3D可变卷积层后连接一激活层，且与第一个所述3D可变卷积层连接的激活层和最后一个所述3D可变卷积层连接组成残差结构。
3.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，所述空间特征提取模块包括并行的若干多尺度特征提取分支，所有多尺度特征提取分支均依次连接拼接层、最大池化层，其中，
每一所述多尺度特征提取分支包括依次连接的尺度操作层、卷积层、归一化层和激活层。
4.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，所述特征融合模块包括依次连接的若干2D卷积层。
5.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，所述网络输出模块包括拼接层、平均池化层、全连接层和softmax分类器。
6.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，从所述无标签数据集中选择部分无标签数据添加至有标签数据集，包括：
通过高置信度样本选择策略对所述无标签数据集进行一致性度量，从所述无标签数据集中选择部分无标签数据添加至有标签数据集。
7.根据权利要求6所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，通过高置信度样本选择策略对所述无标签数据集进行一致性度量，从所述无标签数据集中选择部分无标签数据添加至有标签数据集，包括：
获取当前卷积神经网络模型对应的分类结果，根据所述分类结果构建所述无标签数据集对应的映射图和概率矩阵；
设计一预设大小窗口，利用所述预设大小窗口从所述映射图中提取所述无标签数据集中每个无标签数据对应的映射矩阵；
利用邻域一致性准则从所述映射矩阵中选择高置信度的无标签数据形成待添加数据集；
根据所述概率矩阵从所述待添加数据集中选择高概率的待添加数据添加至有标签数据集。
8.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，判断卷积神经网络模型是否满足自生长条件，包括：
构建卷积神经网络模型对应的整体损失函数；
根据所述整体损失函数计算当前卷积神经网络模型的损失值，判断所述损失值是否大于预设损失值，若不是，则所述卷积神经网络模型满足自生长条件，若是，则所述卷积神经网络模型不满足自生长条件。
9.根据权利要求8所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，训练过程中，构建的卷积神经网络模型对应的整体损失函数包括两部分，公式表示为：
L＝L1+λL2；
其中，L表示整体损失函数，L1表示交叉熵损失函数，L2表示局部特征保持函数，λ表示权衡参数。
10.根据权利要求1所述的基于自生长卷积神经网络的国土测绘数据分类方法，其特征在于，训练过程中，从所述无标签数据集中选择部分无标签数据添加至有标签数据集之后，还包括：
对更新后的无标签数据集中较难分类的无标签数据利用其近邻空间内的无标签数据进行加权均值滤波处理。
CN202310489020.9A 2023-04-25 2023-04-25 一种基于自生长卷积神经网络的国土测绘数据分类方法 Pending CN116704378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310489020.9A CN116704378A (zh) 2023-04-25 2023-04-25 一种基于自生长卷积神经网络的国土测绘数据分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310489020.9A CN116704378A (zh) 2023-04-25 2023-04-25 一种基于自生长卷积神经网络的国土测绘数据分类方法

Publications (1)

Publication Number Publication Date
CN116704378A true CN116704378A (zh) 2023-09-05

Family

ID=87834751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310489020.9A Pending CN116704378A (zh) 2023-04-25 2023-04-25 一种基于自生长卷积神经网络的国土测绘数据分类方法

Country Status (1)

Country Link
CN (1) CN116704378A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118089670A (zh) * 2024-04-23 2024-05-28 济南市勘察测绘研究院 基于无人机测绘的地理信息可视化分析***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118089670A (zh) * 2024-04-23 2024-05-28 济南市勘察测绘研究院 基于无人机测绘的地理信息可视化分析***及方法

Similar Documents

Publication Publication Date Title
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
CN111191514A (zh) 一种基于深度学习的高光谱图像波段选择方法
CN106295613A (zh) 一种无人机目标定位方法及***
CN113435253B (zh) 一种多源影像联合城区地表覆盖分类方法
CN110245683B (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN112614119A (zh) 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN113705580A (zh) 基于深度迁移学习的高光谱图像分类方法
CN113705641A (zh) 基于富上下文网络的高光谱图像分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN117315381B (zh) 一种基于二阶有偏随机游走的高光谱图像分类方法
CN109002771B (zh) 一种基于递归神经网络的遥感图像分类方法
CN114510594A (zh) 一种基于自注意力机制的传统纹样子图检索方法
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN116486251A (zh) 一种基于多模态融合的高光谱图像分类方法
Guo et al. CNN‐combined graph residual network with multilevel feature fusion for hyperspectral image classification
CN116310466A (zh) 基于局部无关区域筛选图神经网络的小样本图像分类方法
CN116704378A (zh) 一种基于自生长卷积神经网络的国土测绘数据分类方法
CN116503677B (zh) 一种湿地分类信息提取方法、***、电子设备及存储介质
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN112949771A (zh) 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法
CN111898579A (zh) 基于极限梯度提升的高分遥感影像无偏半监督分类模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination