CN111325165A - 考虑空间关系信息的城市遥感影像场景分类方法 - Google Patents

考虑空间关系信息的城市遥感影像场景分类方法 Download PDF

Info

Publication number
CN111325165A
CN111325165A CN202010118553.2A CN202010118553A CN111325165A CN 111325165 A CN111325165 A CN 111325165A CN 202010118553 A CN202010118553 A CN 202010118553A CN 111325165 A CN111325165 A CN 111325165A
Authority
CN
China
Prior art keywords
remote sensing
information
spatial
sensing image
renet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010118553.2A
Other languages
English (en)
Other versions
CN111325165B (zh
Inventor
陶超
鲁伟鹏
齐霁
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010118553.2A priority Critical patent/CN111325165B/zh
Publication of CN111325165A publication Critical patent/CN111325165A/zh
Priority to US17/168,580 priority patent/US11710307B2/en
Application granted granted Critical
Publication of CN111325165B publication Critical patent/CN111325165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了考虑空间关系信息的城市遥感影像场景分类方法，包括以下步骤：将遥感影像进行均匀无重叠裁剪成子图；对每一个子图进行视觉信息编码，获得特征图像FV；将FV输入交叉传递单元获得层次化空间特征；对所述的层次化空间特征进行卷积降维；对降维后的特征进行softmax模型分类，获得分类结果。本发明方法综合考虑两种空间关系信息：局部空间信息和长程空间信息在分类中的作用，在交叉传递单元中设计了三种路径的信息融合，从而获得了较好的城市遥感影像场景分类结果。

Description

考虑空间关系信息的城市遥感影像场景分类方法
技术领域
本发明属于遥感影像分析和深度学习技术领域，涉及大尺度高分辨率遥感影像的场景分类方法，具体涉及考虑空间关系信息的城市遥感影像场景分类方法。
背景技术
随着遥感影像分辨率的不断提高，影像的分析已经从面向像素和面向对象阶段进入了面向场景阶段。城市场景的准确提取分类对城市规划、交通运输等方面发挥着重要的作用。自2012年以来深度学习在数字图像处理中的迅速发展，国内外许多研究人员已经开始将深度学习技术与遥感影像分析分类结合。如： Liu等通过在卷积神经网络中引入多级金字塔结构，提出了SPP-Net+MKL模型，实现了多尺度的遥感影像分析(参考文献：LIU Q,HANG R,SONG H,et al.2017. Learning multiscale deep features for high-resolution satellite image scene classification.IEEE Transactions onGeoscience and Remote Sensing[J],56: 117-126.)；Cheng等人则通过设计特殊的损失函数，提出了Discriminative CNNs 模型，实现了对视觉上相似的不同遥感影像场景的分类(CHENG G,YANG C,YAO X, et al.2018.When deep learning meets metric learning:Remote sensing image scene classification via learning discriminativeCNNs.IEEE Transactions on Geoscience and Remote Sensing[J],56:2811-2821.)。与自然图片不同的是，遥感影像之间具有更加丰富的空间关系信息。由于自然图像之间几乎没有空间关系，因此基于自然图像分析的深度学习模型不能对于这种空间关系信息进行建模分析。同时，在建立用于模型训练的数据集时，往往影像与影像之间的信息会被抛弃。这两者使得深度学习模型在遥感影像上的总体表现不如其在自然图像上的表现。
发明内容
本发明的目的在于提供考虑空间关系信息的城市遥感影像场景分类方法，本发明方法综合考虑两种空间关系信息：局部空间信息(regional spatial relationship)和长程空间信息(long-range spatial relationship)在分类中的作用，从而获得了较好的城市遥感影像场景分类结果。
本发明的目的是这样实现的，包括以下步骤：
步骤1，将遥感影像进行均匀无重叠裁剪成子图；
步骤2，对每一个子图进行视觉信息编码，获得特征图像FV；
步骤3，将FV输入交叉传递单元获得层次化空间特征；
步骤4，对所述的层次化空间特征进行卷积降维；
步骤5，对降维后的特征进行softmax模型分类，获得分类结果；
步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像I被均匀无重叠的滑动裁剪成m×n个子图，每个子图pi，j的尺寸为
Figure 1
其中，pi，j在I中的行列号(i，j) 作为空间信息保存；
步骤2中所述的视觉信息编码，采用预训练好的深度卷积模型将对每一个子图pi，j进行视觉信息编码，将pi，j转化为一个向量
Figure BDA0002392248360000022
遥感影像I被转换为特征图像FV：
Figure BDA0002392248360000031
所述的交叉传递单元用于局部空间信息与长程空间信息的提取与融合，所述的局部空间信息的提取公式为：Fr＝Conv(Fv)＝Fv*W+b，其中，Fr表示提取分析的空间关系信息，W表示卷积核，b表示偏置量，星号*表示卷积计算，所述的长程空间信息采用基于循环神经网络的ReNet模块进行提取。
优选地，所述的交叉传递单元的输入为特征图像FV，输出为层次化空间特征 FE，采用三条路径进行信息的提取分析与传递：第一条路径先对FV进行局部空间信息的提取，而后进行长程空间信息的提取；第二条路径则相反，对FV先进行长程空间信息的提取，而后进行局部空间信息的提取；第三条路径则直接将FV传递到交叉传递单元末端的捷径，不进行额外处理，由此，输出层次化空间特征FE表示为：
FE＝tanh(ReNet2(Conv1(FV))+Conv2(ReNet1(FV))+FV)
其中tanh为双曲正切函数，ReNet1，ReNet2表示两个参数不同的ReNet模块， Conv1和Conv2表示两个参数不同的卷积模块。
优选地，步骤3中所述的特征图像经过三个串联的交叉传递单元，得到的层次化空间特征记为FM；步骤4中采用尺寸为1×1的卷积层Conv1×1对FM进行卷积降维；
在步骤5中，采用softmax模型进行分类，pi，j的分类结果Ci，j表示为：
Ci,j＝argmax(softmax(conv1×1(FM)i,j))
其中argmax(x)表示向量x最大分量所对应的维度。
优选地，所述ReNet模块可以从上下左右四个方向沿像素的行列进行长程空间信息的提取分析。
本发明方法针对现阶段的遥感影像分析方法无法分析影像之间的空间关系，设计了一个可以进行不同影像间空间关系提取分析的模型，模型可大致分为两个部分：视觉信息提取编码部分和空间关系信息融合部分，通过本发明方法能够实现对遥感影像进行较好场景分类，比如对遥感影像中的商业、工业、住宅、机构用地的区分。
附图说明
图1本发明方法的流程示意图；
图2本发明实施例中ReNet模块结构图；
图3本发明实施例中交叉传递单元结构示意图；
图4本发明实施例的数据处理流程示意图。
具体实施方式
下面结合实施例和附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
针对现阶段的遥感影像分析方法无法分析影像之间的空间关系，设计了一个可以进行不同影像间空间关系提取分析的模型，模型可大致分为两个部分：视觉信息提取编码部分和空间关系信息融合部分，通过本发明方法能够实现对遥感影像进行较好场景分类，比如对遥感影像中的商业、工业、住宅、机构用地的区分。
如图1所示，本发明实施例包括以下步骤：
步骤1，将遥感影像进行均匀无重叠裁剪成子图；
步骤2，对每一个子图进行视觉信息编码，获得特征图像FV；
步骤3，将FV输入交叉传递单元获得层次化空间特征；
步骤4，对所述的层次化空间特征进行卷积降维；
步骤5，对降维后的特征进行softmax分类，获得分类结果。
步骤1中，本实施例为保留遥感影像之间的空间关系信息，一张尺寸为M×N 的大范围遥感影像I被均匀无重叠的滑动裁剪成m×n个子图，每个子图pi，j的尺寸为
Figure 2
其中，pi，j在I中的行列号(i，j)作为空间信息保存。
步骤2中，对于每一个子图pi，j，采用预训练好的深度卷积模型将对其进行视觉信息编码，将pi，j转化为一个向量
Figure BDA0002392248360000052
最后I将被转换为特征图像FV：
Figure BDA0002392248360000053
在获取到FV后，可将每个
Figure BDA0002392248360000054
视为一个像素，对I中的pi，j分类问题则被转换为对FV的语义分割问题。考虑到场景分布具有面状分布(机场、居民区等)和线状分布(道路、河流等)，本实施例在考虑空间信息时主要考虑两种空间关系信息：局部空间信息(regionalspatial relationship)和长程空间信息(long-range spatial relationship)。对空间关系信息的建模包括以下三个方面：
1、局部空间信息建模
对于FV，局部空间信息可理解为
Figure BDA0002392248360000055
与其一定邻域范围内的向量的关系。卷积神经网络模型通过卷及操作，可以提取融合一定邻域内的信息，从而达到局部空间信息建模的目的。因此在局部空间信息分析中本发明将采用卷积模型。假设用W表示卷积核，b表示偏置量，Fr表示提取分析的空间关系信息，则一层卷机模型可表示为：
Fr＝Conv(Fv)＝Fv*W+b (2)
其中星号(*)表示卷积计算。
2、长程空间信息建模
ReNet模块结构图如图2所示，对于FV，长程空间信息可理解为可
Figure BDA0002392248360000062
与其所在行列向量的关系。循环神经网络在序列模型中有广泛的应用，其特殊的阶段信息处理结构可以对上下文信息进行综合的分析。考虑到同一行或同一列的fV可以被视为一个序列数据，因此本实施例引入了基于循环神经网络的ReNet模块。 ReNet模块可以从上下左右四个方向沿像素的行列进行长程空间信息的提取分析，实验表明，其在部分公开数据及上的表现可以达到卷积神经网络的水平 (VISIN F,KASTNER K,CHO K,et al.2015.ReNet:ARecurrent Neural Network Based Alternative to Convolutional Networks.ComputerScience[J],25: 2983-2996.)。
3、空间关系融合建模
交叉传递单元结构示意图如图3所示，
Figure BDA0002392248360000061
表示相加，本实施例设计了交叉传递单元(crossing transfer unit，CTU)来实现局部空间信息与长程空间信息的融合。CTU以特征图像作为输入(FV)与输出(FE)，采用三条路径进行信息的提取分析与传递：第一条路径先对FV进行局部空间信息的提取，而后进行长程空间信息的提取；第二条路径则相反，对FV先进行长程空间信息的提取，而后进行局部空间信息的提取；第三条路径则直接将FV传递到CTU末端的捷径，不进行额外处理，实验表明，增加一条直传路径可以加速模型的收敛速度(HeK,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]Proceedings of the IEEE conference on computer vision and patternrecognition.2016:770-778.)。最终的输出结果FE可表示为：
FE＝tanh(ReNet2(Conv1(FV))+Conv2(ReNet1(FV))+FV) (3)
其中tanh为双曲正切函数，ReNet1，ReNet2表示两个参数不同的ReNet模块， Conv1和Conv2表示两个参数不同的卷积模块。
经过三个串联的交叉传递单元，空间关系信息的建模所得到的结果记为FM，本实施例采用一个尺寸为1×1的卷积层Conv1×1对FM进行卷积降维，采用softmax 模型进行分类，最终pi，j的分类结果Ci，j可表示为：
Ci,j＝argmax(softmax(conv1×1(FM)i,j)) (4)
其中argmax(x)表示向量x最大分量所对应的维度。
softmax模型训练过程中，损失函数为交叉熵损失，采用反向传播方法来优化模型参数。数据处理的基本流程如图4所示。
实验中所采用的数据集为CSU-RESISC10数据集，该数据集预处理后的训练测试样本分布如表1所示。
表1
Figure BDA0002392248360000071
对于CSU-RESISC10数据集中的每一张2000×2000的遥感影像I，首先将其均匀无重叠地裁剪为20×20个子图pi，j，每个子图地尺寸为100×100。
对于每一个子图pi，j，使用在CSU-RESISC10上预训练的Xception模型将对其进行视觉信息编码，将pi，j转化为一个2048维向量
Figure BDA0002392248360000084
最后I将被转换为特征图像
Figure BDA0002392248360000081
为了减少计算量，在进行下一步计算之前，采用一个尺寸为 1×1的卷积将FV降至512维。
预训练共训练50个批次，学习率为10-5，衰减率为0.98，预训练的结果可参照表2第一行。
在进行空间关系建模时，本发明通过增加补边和控制卷积核补偿，保持所有输出特征图像和输入特征图像的尺寸不变。为了充分提取
Figure BDA0002392248360000082
之间的空间关系，本发明采用了3个CTU模块逐级递进地提取层次化空间特征。空间关系建模的最终输出结果为
Figure BDA0002392248360000083
本实施例最后按照公式(4)分类。
模型训练时采用交叉熵作为损失函数，本发明模型共训练100批次，学习率为10-5，衰减率为0.98。在训练约15次后，模型收敛。
为验证本发明的有效性，除本实施例外，额外选择了SPP-Net+MKL、Discriminative CNNs和传统自然图片分类模型Xception(Chollet F.Xception: Deeplearning with depthwise separable convolutions[C]Proceedings of the IEEEconference on computer vision and pattern recognition.2017: 1251-1258.)作为对比,在CSU-RESISC10数据集上进行分类实验，并选择F1分数和Kappa系数(κ)作为评价依据。
对比试验中超参数保持与本发明方法一致。各方法在不同场景中的表现如表2所示。
表2
Figure BDA0002392248360000091
实验结果显示，由于场景的复杂性，单一的遥感影像并不能很好地实现对商业、工业、住宅、机构用地的区分。用于对比的三种方法，κ均小于0.78。由于将影像之间的空间关系纳入考虑，本发明方法相较于其他三组对比试验， Kappa的提升幅度分别为10.1％、10.3％和8.8％。

Claims (5)

1.考虑空间关系信息的城市遥感影像场景分类方法，其特征在于，包括以下步骤：
步骤1，将遥感影像进行均匀无重叠裁剪成子图；
步骤2，对每一个子图进行视觉信息编码，获得特征图像FV；
步骤3，将特征图像FV输入交叉传递单元获得层次化空间特征；
步骤4，对所述的层次化空间特征进行卷积降维；
步骤5，对降维后的特征进行softmax模型分类，获得分类结果；
步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像I被均匀无重叠的滑动裁剪成m×n个子图，每个子图pi，j的尺寸为
Figure FDA0002392248350000011
其中，pi，j在I中的行列号(i，j)作为空间信息保存；
步骤2中所述的视觉信息编码，采用预训练好的深度卷积模型将对每一个子图pi，j进行视觉信息编码，将pi，j转化为一个向量
Figure FDA0002392248350000013
遥感影像I被转换为特征图像FV：
Figure FDA0002392248350000012
所述的交叉传递单元用于局部空间信息与长程空间信息的提取与融合，所述的局部空间信息的提取公式为：Fr＝Conv(Fv)＝Fv*W+b，其中，Fr表示提取分析的空间关系信息，W表示卷积核，b表示偏置量，星号*表示卷积计算，所述的长程空间信息采用基于循环神经网络的ReNet模块进行提取。
2.根据权利要求1所述的城市遥感影像场景分类方法，其特征在于，所述的交叉传递单元的输入为特征图像FV，输出为层次化空间特征FE，采用三条路径进行信息的提取分析与传递：第一条路径先对FV进行局部空间信息的提取，而后进行长程空间信息的提取；第二条路径先对FV先进行长程空间信息的提取，而后进行局部空间信息的提取；第三条路径则直接将FV传递到交叉传递单元末端的捷径，不进行额外处理，由此，输出层次化空间特征FE表示为：
FE＝tanh(ReNet2(Conv1(FV))+Conv2(ReNet1(FV))+FV)
其中tanh为双曲正切函数，ReNet1，ReNet2表示两个不同的ReNet模块，Conv1和Conv2表示两个不同的卷积模块。
3.根据权利要求1或2所述的城市遥感影像场景分类方法，其特征在于，步骤3中所述的特征图像经过三个串联的交叉传递单元，得到的层次化空间特征记为FM；
在步骤4中，采用尺寸为1×1的卷积层Conv1×1对FM进行卷积降维；
在步骤5中，采用softmax模型进行分类，pi，j的分类结果Ci，j表示为：
Ci,j＝argmax(softmax(conv1×1(FM)i,j))
其中，argmax(x)表示向量x最大分量所对应的维度。
4.根据权利要求1所述的城市遥感影像场景分类方法，其特征在于，所述ReNet模块可以从上下左右四个方向沿像素的行列进行长程空间信息的提取分析。
5.根据权利要求1所述的城市遥感影像场景分类方法，其特征在于，所述softmax模型训练过程中，损失函数为交叉熵损失，采用反向传播方法来优化模型参数。
CN202010118553.2A 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法 Active CN111325165B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010118553.2A CN111325165B (zh) 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法
US17/168,580 US11710307B2 (en) 2020-02-26 2021-02-05 Urban remote sensing image scene classification method in consideration of spatial relationships

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010118553.2A CN111325165B (zh) 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法

Publications (2)

Publication Number Publication Date
CN111325165A true CN111325165A (zh) 2020-06-23
CN111325165B CN111325165B (zh) 2023-05-05

Family

ID=71163436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118553.2A Active CN111325165B (zh) 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法

Country Status (2)

Country Link
US (1) US11710307B2 (zh)
CN (1) CN111325165B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163550A (zh) * 2020-10-14 2021-01-01 中南大学 基于深度神经网络自动学习的遥感影像场景分类方法
CN112634453A (zh) * 2021-01-27 2021-04-09 河南浩宇空间数据科技有限责任公司 一种基于5g和ai城市遥感技术的数据管理平台
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837046A (zh) * 2021-09-17 2021-12-24 西北工业大学 一种基于迭代特征分布学习的小样本遥感图像场景分类方法
CN114238428B (zh) * 2022-02-24 2022-05-13 亿景智联(北京)科技有限公司 一种城市动态地理画像生成方法以及装置
CN116052019B (zh) * 2023-03-31 2023-07-25 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 适合于大区域高分辨率卫星影像的建成区高质量检测方法
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN117434295B (zh) * 2023-10-24 2024-04-05 广州远动信息技术有限公司 一种声层析信号强度数据的智能处理评价方法
CN117274763B (zh) * 2023-11-21 2024-04-05 珠江水利委员会珠江水利科学研究院 基于平衡点分析的遥感影像空-谱融合方法、***、设备及介质
CN118135527A (zh) * 2024-05-10 2024-06-04 北京中科慧眼科技有限公司 基于双目相机的道路场景感知方法、***和智能终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160300105A1 (en) * 2015-04-10 2016-10-13 Tata Consultancy Services Limited Method and system for geo-demographic classification of a geographical region
CN107392925A (zh) * 2017-08-01 2017-11-24 西安电子科技大学 基于超像素编码和卷积神经网络的遥感影像地物分类方法
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN110096948A (zh) * 2019-03-15 2019-08-06 中国科学院西安光学精密机械研究所 基于特征聚合卷积网络的遥感影像识别方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8037010B2 (en) * 2007-02-28 2011-10-11 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
US20160300105A1 (en) * 2015-04-10 2016-10-13 Tata Consultancy Services Limited Method and system for geo-demographic classification of a geographical region
CN107392925A (zh) * 2017-08-01 2017-11-24 西安电子科技大学 基于超像素编码和卷积神经网络的遥感影像地物分类方法
CN110096948A (zh) * 2019-03-15 2019-08-06 中国科学院西安光学精密机械研究所 基于特征聚合卷积网络的遥感影像识别方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163550A (zh) * 2020-10-14 2021-01-01 中南大学 基于深度神经网络自动学习的遥感影像场景分类方法
CN112634453A (zh) * 2021-01-27 2021-04-09 河南浩宇空间数据科技有限责任公司 一种基于5g和ai城市遥感技术的数据管理平台
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN113936217B (zh) * 2021-10-25 2024-04-30 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法

Also Published As

Publication number Publication date
CN111325165B (zh) 2023-05-05
US20210264150A1 (en) 2021-08-26
US11710307B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111325165A (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN107273800B (zh) 一种基于注意机制的卷积递归神经网络的动作识别方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN112233129B (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN106780543A (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
Kim et al. Deeply aggregated alternating minimization for image restoration
CN112288627A (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
CN112862690A (zh) 一种基于Transformers的低分辨率图像超分辨方法及***
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及***
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN103971354A (zh) 低分辨率红外图像重建高分辨率红外图像的方法
Wang et al. TF-SOD: a novel transformer framework for salient object detection
CN116310305A (zh) 一种基于张量和二阶协方差注意力机制的编解码结构语义分割模型
CN112418032A (zh) 一种人体行为识别方法、装置、电子设备及存储介质
CN115908946A (zh) 基于多种注意力语义分割的土地利用分类方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN111461976A (zh) 基于高效轻量级坐标神经网络的图像超分辨率方法
Li et al. Image reflection removal using end‐to‐end convolutional neural network
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant