CN111738268B - 一种基于随机块的高分遥感图像的语义分割方法及*** - Google Patents

一种基于随机块的高分遥感图像的语义分割方法及*** Download PDF

Info

Publication number
CN111738268B
CN111738268B CN202010708331.6A CN202010708331A CN111738268B CN 111738268 B CN111738268 B CN 111738268B CN 202010708331 A CN202010708331 A CN 202010708331A CN 111738268 B CN111738268 B CN 111738268B
Authority
CN
China
Prior art keywords
random block
semantic segmentation
random
band
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708331.6A
Other languages
English (en)
Other versions
CN111738268A (zh
Inventor
尹建伟
苏鸽
尚永衡
沈正伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010708331.6A priority Critical patent/CN111738268B/zh
Priority to US17/012,811 priority patent/US11189034B1/en
Publication of CN111738268A publication Critical patent/CN111738268A/zh
Application granted granted Critical
Publication of CN111738268B publication Critical patent/CN111738268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于随机块的高分遥感图像的语义分割方法及***，所述语义分割方法采用对高分遥感图像进行随机块划分，对单个随机块进行分别语义分割的方式避免了高分遥感图像的语义分割方法中GPU溢出现象，并且在语义分割过程中结合随机块相邻的随机块中的特征数据，克服了现有的遥感图像分割方法会削弱图像内部的关联性的技术缺陷，而且本发明的语义分割方法分别对高分遥感图像的每个波段的单光谱特征数据进行语义分割，利用不同地物对不同波段光的敏感性不同的特点实现对相同或相近颜色的事物的识别，提高了高分遥感图像的语义分割的准确性。

Description

一种基于随机块的高分遥感图像的语义分割方法及***
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于随机块的高分遥感图像的语义分割方法及***。
背景技术
在计算机视觉领域，语义分割是目前最热门的话题之一，旨在将图像的每一个像素划分为预定义的类别。针对不同的任务，各种各样的语义分割模型已经被接连不断地提出，并取得了斐然的成果。同样地，对于高分遥感领域，语义分割在遥感图像的应用中也发挥着巨大的作用。例如：通过检测河流、湖泊、冰川等水资源，实时监测生态***中的水资源占比；通过检测城市灯光分布，评估城市发展的富饶程度，有利于为城市的进一步发展提供依据。
在过去的十年内，越来越多的高分遥感卫星发射升空，并源源不断地反馈回大量的高分遥感图像。这些遥感图像获取廉价且内容丰富，并且可以做到动态更新。可是，与传统的计算机图像不同，这些高分遥感图像是多光谱的，不同范围的谱段，对图像中相应地物的敏感程度不同，因此，可用于详细事物的检测。
目前，面向遥感图像的语义分割模型主要借鉴于传统图像的语义分割网络，以全卷积网络框架(FCN,Full ConvolutionNetwork)为主。这些方法主要通过全卷积网络输入任意尺寸的图像，图像每经过一层的卷积和池化即缩小1/2的尺寸，直到图像缩小到最小尺寸，成为热图，最后利用上采样恢复图像的尺寸，输出像素级别的概率图以达到对每个像素进行预测的目的。其中，知名的U-Net网络便是这一框架(FCN)的改进网络。可是，不难发现，虽然上述的语义分割网络在普通图像的语义分割任务中取得了极大的进展，但是面向大数据量、多光谱的遥感图像时，也会差强人意。普通的高分遥感图像相较于普通图像数据量巨大，通常单幅图像所占空间即可达到G级别，直接将图像用于现有网络，可能达到GPU溢出的现象，而直接将遥感图像分割成块状会削弱图像内部的关联性。同时，高分遥感图像拍摄距离远，于高空之中，现有网络对同样颜色的事物常常分不清具体地物类别，例如，草原和森林。如何克服现有的高分遥感图像的语义分割方法中GPU溢出现象及无法识别相同或相近颜色的事物的技术缺陷，提高对高分遥感图像的语义分割的准确性，成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于随机块的高分遥感图像的语义分割方法及***，以克服现有的高分遥感图像的语义分割方法中GPU溢出现象及无法识别相同或相近颜色的事物的技术缺陷，提高高分遥感图像的语义分割的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于随机块的高分遥感图像的语义分割方法，所述语义分割方法包括如下步骤：
对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
提取每个随机块的每个波段的单光谱特征数据；
结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
可选的，所述对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块，具体包括：
在所述高分辨率遥感图像中心区域随机选择一个像素点d0；
以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；
分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
可选的，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
可选的，所述结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图，具体包括：
通过编码器，利用公式对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，/>表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，/>和/>分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图/>在RNN网络中隐藏层的输出，/>表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，/>表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，/>表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
通过解码器，利用公式对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图/>
通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
可选的，所述对每个随机块的多个单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图，之前还包括：
构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
一种基于随机块的高分遥感图像的语义分割***，所述语义分割***包括：
随机块划分模块，用于对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
单光谱特征数据提取模块，用于提取每个随机块的每个波段的单光谱特征数据；
语义分割模块，用于结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
融合模块，用于对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
可选的，所述随机块划分模块，具体包括：
像素点选取子模块，用于在所述高分辨率遥感图像中心区域随机选择一个像素点d0；
第一随机块划分子模块，用于以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；
第二随机块划分子模块，用于分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
第三随机划块分子模块，用于重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
可选的，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
可选的，所述语义分割模块，具体包括：
编码子模块，用于通过编码器，利用公式对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，/>表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
领域特征关联子模块，用于基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，/>和/>分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图/>在RNN网络中隐藏层的输出，/>表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，/>表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，/>表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
解码子模块，用于通过解码器，利用公式对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图/>
监督子模块，用于通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
可选的，所述语义分割***还包括：
权重训练网络构造模块，用于构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
权重训练模块，用于基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于随机块的高分遥感图像的语义分割方法，所述语义分割方法包括如下步骤：对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；提取每个随机块的每个波段的单光谱特征数据；结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。本发明采用对高分遥感图像进行随机块划分，对单个随机块进行分别语义分割的方式避免了高分遥感图像的语义分割方法中GPU溢出现象，并且在语义分割过程中结合随机块相邻的随机块中的特征数据，克服了现有的遥感图像分割方法会削弱图像内部的关联性的技术缺陷，而且本发明分别对高分遥感图像的每个波段的单光谱特征数据进行语义分割，利用不同地物对不同波段光的敏感性不同的特点实现对相同或相近颜色的事物的识别，提高了高分遥感图像的语义分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于随机块的高分遥感图像的语义分割方法的流程图；
图2为本发明提供的随机块划分的原理图；
图3为本发明提供的带监督的语义分割网络的结构示意图；
图4为本发明提供的权重训练网络的结构示意图。
具体实施方式
本发明的目的是提供一种基于随机块的高分遥感图像的语义分割方法及***，以克服现有的高分遥感图像的语义分割方法中GPU溢出现象及无法识别相同或相近颜色的事物的技术缺陷，提高高分遥感图像的语义分割的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。
为实现上述目的，本发明提供了如下方案：
对于高分遥感图像，一张高分遥感图像通常所涉及的地域面积非常广泛，数据量非常大，可以达到G级别。同时，高分影像通常包含四个谱段范围甚至更多，其中以蓝色波段0.45～0.52μm，绿色波段0.52～0.60μm，红色波段0.62～0.69μm，以及近红外波段0.76～0.96μm最为常见。可是，现有的语义分割网络很少考虑不同波段对语义分割的影响。除此之外，由于受感受野的限制，大多数用于语义分割的卷积神经网络只能获取有限的上下文信息，这容易导致视觉上相似的像素分类产生分歧。因此，本发明将注重不同波段对语义分割内容的影响，并采用循环一致性网络(RNN网络)来增强像素之间的依赖性。
如图1所示，本发明提供一种基于随机块的高分遥感图像的语义分割方法，所述语义分割方法包括如下步骤：
步骤101，对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块。
所述对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块，具体包括：在所述高分辨率遥感图像中心区域随机选择一个像素点d0；以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
具体的，如图2所示，假定输入高分遥感图像高度和宽度分别为/> 首先，在高分遥感图像中随机选择一个像素点d0，d0位置可表示为向量(x0，y0)，以该点d0为中心点，随机裁剪一个正方形，产生随机块/>的边长的记为/>其中，/>的四角顶点从左上角到右下角顺时针旋转分别为d01，d02，d03，d04。
为了使随机块从开始向外扩散，分别以/>的四个顶点d01，d02，d03，d04为中心随机截取四个正方形图像(与随机块/>的生成规则相同)，生成新的随机块/>i＝1，2，3，4，同理，新的随机块顶点分别命名为di1，di2，di3，di4，i＝1，2，3，4。不断重复这个过程/>次，直至截取的随机块/>到达图像边缘(如果某随机块达到图像边缘，那么该随机块不再扩展)，此时，可保证随机块遍布整个高分遥感图像/>
经过次扩展(/>属于整数)，随机块数量总和为/>计算如下：
为了保证所有随机块的集合能够涵盖遥感图像的每个像素，对随机块的边长进行限制：
正方形的边长的取值范围为：512≤len(·)≤1024。
步骤102，提取每个随机块的每个波段的单光谱特征数据。随机块和邻域随机块是由多个波段构成的，由于具体地物对不同波段的敏感程度不同，需要对多个波段分别提取，获取随机块的多个单光谱特征数据和领域的随机块的单光谱特征数据。对随机块和邻域随机块提取多光谱特征数据。高分遥感图像是多个波段构成的，由于具体地物对不同波段的敏感程度不同，需要对多个波段分别提取。一般情况下，遥感图像由四个波段构成，蓝色波段0.45um～0.52um、绿色波段0.52um～0.60um、红色波段0.62um～0.69um以及近红外波段0.76～0.96um。在计算机中遥感图像常常表示为四个通道的单光谱特征数据，可直接使用python中GDAL库读取这几个波段的通道。
步骤103，结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图。
如图3所示，图3中，Conv表示卷积层，Pooling表示池化下采样，upsampling表示上采样层，Bi表示双线性插值操作，表示特征图/>在RNN网络中隐藏层的输出，/>表示特征图/>在RNN网络中隐藏层的输出，/>表示/>的输出，/>表示/>的输出，/>是转置矩阵，/>表示随机块/>经过编码器En(·)生成的高级抽象特征，/>表示随机块/>的其中一个邻域随机块/>经过编码器En(·)生成的高级抽象特征，m表示下标。如图3所示，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；所述编码器、所述RNN网络和所述解码器依次连接；所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
步骤103所述结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图，具体包括：
通过编码器，利用公式对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，/>表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图。具体的，将随机块pi为一个图像单元，随机块pi的领域为以/>的四个顶点di1，di2，di3，di4为中心随机截取的四个随机块，这里为表示方便，记作/>这四个随机块和随机块pi位置距离上最近，且存在交叉的图像区域，因此，内容上存在较强的相关性。语义分割的子网路可利用图像之间的依赖关系，并输出与输入图像尺寸一致的语义分割概率图，以便融合。
为了实现语义分割功能，该发明采用语义分割的经典框架U-Net。首先，通过编码器对图像进行高级的抽象特征提取。
接着，将m＝1,2,3,4和Fi j依次输入RNN网络，将四个领域随机块和随机块pi建立依赖关系。基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式/>对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，/>和/>分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图/>在RNN网络中隐藏层的输出，/>表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，/>表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，/>表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；通过解码器，利用公式对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图/>
通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。具体的，为了提高语义分割的性能，可在编码器最后一层，解码器第一层和第二层分别通过卷积层逐像素进行预测分类，双线性插值进行上采样恢复图像原来的尺寸，最后使用交叉熵损失函数作为评估网络编码器、RNN网络、以及解码器的性能，从三方面监督网络。计算公式如下：
其中，ypre表示被监督层输出特征经过卷积层和双线性插值层的预测概率，是个语义分割概率图。conv1(·)表示分类的卷积操作，/>表示双线性插值操作，/>是使用交叉熵损失函数计算的预测概率ypre和真实标签ytrue之间的损失。
构造多个单光谱语义分割概率图的权重训练网络；如图4所示，所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；权重训练网络采用平行语义分割子网络的模式，随机块的单光谱特征数据和邻域随机块的单光谱特征数据单独训练每个语义分割子网络，获取单光谱特征数据的语义分割概率图，最终采用一个卷积层融合多个单光谱随机块数据的语义分割概率图，并获得融合概率图。
不同波段的光谱图像对不同地物的敏感性不同，可根据识别目标进行权重的训练。具体的，基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。通过不断输入新的随机块和邻域随机块的单光谱特征数据，通过前向传播计算从输入层到隐藏层以及从隐藏层到输出层的输出，经过反向传播优化网络，使得权重训练网络中的权重参数不断更新直至收敛。
步骤104，对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
随机块的每个波段的单光谱特征数据分别经过语义分割子网络之后，生成一个语义分割概率图对这些语义分割概率图融合，获得语义分割融合概率图，具体可表示为：
其中，out表示语义分割融合概率图，conv2表示光谱融合所采用的卷积层操作，max(j)表示高分遥感图像所包含波段的数量。
根据语义分割融合概率图获取待测的高分遥感图像中的道路信息，桥梁信息等。
本发明还提供一种基于随机块的高分遥感图像的语义分割***，所述语义分割***包括：
随机块划分模块，用于对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块。
所述随机块划分模块，具体包括：像素点选取子模块，用于在所述高分辨率遥感图像中心区域随机选择一个像素点d0；第一随机块划分子模块，用于以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；第二随机块划分子模块，用于分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；第三随机划块分子模块，用于重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
单光谱特征数据提取模块，用于提取每个随机块的每个波段的单光谱特征数据。
语义分割模块，用于结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图。
所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；所述编码器、所述RNN网络和所述解码器依次连接；所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
所述语义分割模块，具体包括：编码子模块，用于通过编码器，利用公式对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，/>表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；领域特征关联子模块，用于基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式/>对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，/>和/>分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图/>在RNN网络中隐藏层的输出，/>表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，/>表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，/>表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；解码子模块，用于通过解码器，利用公式/>对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图/>监督子模块，用于通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
融合模块，用于对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
所述语义分割***还包括：权重训练网络构造模块，用于构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；权重训练模块，用于基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
本发明的技术方案的优点：高分遥感图像存在多光谱以及大数据量的特性。因此，本发明利用随机块的方式将遥感图像划分成小范围的图像，与此同时，随机块的生成方式也达到了数据增强的效果。而不同波段的遥感图像对不同的地物敏感性也不同，因此，本发明采用的卷积层相当于对不同波段的预测图像进行加权加和。本发明采用对高分遥感图像进行随机块划分，对单个随机块进行分别语义分割的方式避免了高分遥感图像的语义分割方法中GPU溢出现象，并且在语义分割过程中结合随机块相邻的随机块中的特征数据，克服了现有的遥感图像分割方法会削弱图像内部的关联性的技术缺陷，而且本发明分别对高分遥感图像的每个波段的单光谱特征数据进行语义分割，利用不同地物对不同波段光的敏感性不同的特点实现对相同或相近颜色的事物的识别，提高了高分遥感图像的语义分割的准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (8)

1.一种基于随机块的高分遥感图像的语义分割方法，其特征在于，所述语义分割方法包括如下步骤：
对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
提取每个随机块的每个波段的单光谱特征数据；
结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图；
所述对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块，具体包括：
在所述高分遥感图像中心区域随机选择一个像素点d0；
以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分遥感图像，得到随机块p0；
分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分遥感图像的边缘。
2.根据权利要求1所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
3.根据权利要求2所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图，具体包括：
通过编码器，利用公式对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，/>表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，/>和/>分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图/>在RNN网络中隐藏层的输出，/>表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，/>表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，/>表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，V表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
通过解码器，利用公式对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图/>
通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
4.根据权利要求1所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图，之前还包括：
构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
5.一种基于随机块的高分遥感图像的语义分割***，其特征在于，所述语义分割***包括：
随机块划分模块，用于对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
单光谱特征数据提取模块，用于提取每个随机块的每个波段的单光谱特征数据；
语义分割模块，用于结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
融合模块，用于对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图；
所述随机块划分模块，具体包括：
像素点选取子模块，用于在所述高分遥感图像中心区域随机选择一个像素点d0；
第一随机块划分子模块，用于以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分遥感图像，得到随机块p0；
第二随机块划分子模块，用于分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
第三随机划块分子模块，用于重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分遥感图像的边缘。
6.根据权利要求5所述的基于随机块的高分遥感图像的语义分割***，其特征在于，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
7.根据权利要求6所述的基于随机块的高分遥感图像的语义分割***，其特征在于，所述语义分割模块，具体包括：
编码子模块，用于通过编码器，利用公式对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，/>表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
领域特征关联子模块，用于基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，/>和/>分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图/>在RNN网络中隐藏层的输出，/>表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，/>表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，/>表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，V表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
解码子模块，用于通过解码器，利用公式对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
监督子模块，用于通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
8.根据权利要求5所述的基于随机块的高分遥感图像的语义分割***，其特征在于，所述语义分割***还包括：
权重训练网络构造模块，用于构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
权重训练模块，用于基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
CN202010708331.6A 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及*** Active CN111738268B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010708331.6A CN111738268B (zh) 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及***
US17/012,811 US11189034B1 (en) 2020-07-22 2020-09-04 Semantic segmentation method and system for high-resolution remote sensing image based on random blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708331.6A CN111738268B (zh) 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及***

Publications (2)

Publication Number Publication Date
CN111738268A CN111738268A (zh) 2020-10-02
CN111738268B true CN111738268B (zh) 2023-11-14

Family

ID=72656748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708331.6A Active CN111738268B (zh) 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及***

Country Status (2)

Country Link
US (1) US11189034B1 (zh)
CN (1) CN111738268B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419333B (zh) * 2020-11-17 2022-04-29 武汉大学 一种遥感影像自适应特征选择分割方法及***
CN112819077B (zh) * 2021-02-02 2023-04-07 河南大学 基于新型激活函数的高光谱图像分类方法
CN114445442B (zh) * 2022-01-28 2022-12-02 杭州电子科技大学 基于非对称交叉融合的多光谱图像语义分割方法
CN115018750B (zh) * 2022-08-08 2022-11-08 湖南大学 中波红外高光谱及多光谱图像融合方法、***及介质
CN115049834B (zh) * 2022-08-15 2022-11-11 南通电博士自动化设备有限公司 基于夜间灯光数据与高分辨率影像的城市建成区提取方法
CN115170575B (zh) * 2022-09-09 2022-12-23 阿里巴巴（中国）有限公司 遥感影像变化检测及模型训练的方法及设备
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116847091B (zh) * 2023-07-18 2024-04-26 华院计算技术(上海)股份有限公司 图像编码方法、***、设备及介质
CN117475155B (zh) * 2023-12-26 2024-04-02 厦门瑞为信息技术有限公司 基于半监督学习的轻量级遥感图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985238A (zh) * 2018-07-23 2018-12-11 武汉大学 联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及***
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877981B1 (ko) * 2011-12-21 2018-07-12 한국전자통신연구원 가버 특징과 ｓｖｍ 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법
IN2013MU03603A (zh) * 2013-11-18 2015-07-31 Tata Consultancy Services Ltd
US9476730B2 (en) * 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN110268414B (zh) * 2016-12-01 2023-08-01 伯克利之光生命科技公司 微流体装置中的微物体的自动检测和重新定位
US10957045B2 (en) * 2016-12-12 2021-03-23 University Of Notre Dame Du Lac Segmenting ultrasound images
JP2020510463A (ja) * 2017-01-27 2020-04-09 アーテリーズ インコーポレイテッド 全層畳み込みネットワークを利用する自動化されたセグメンテーション
US10671873B2 (en) * 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10147193B2 (en) * 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US11157764B2 (en) * 2017-03-27 2021-10-26 Intel Corporation Semantic image segmentation using gated dense pyramid blocks
US10671083B2 (en) * 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN110809784B (zh) * 2017-09-27 2021-04-20 谷歌有限责任公司 高分辨率图像分割的端到端网络模型
EP3698269A4 (en) * 2017-11-22 2020-12-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING METHOD AND SYSTEM
WO2019152472A1 (en) * 2018-01-30 2019-08-08 Madden Donald Face concealment detection
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
US10922793B2 (en) * 2018-05-16 2021-02-16 Nvidia Corporation Guided hallucination for missing image content using a neural network
EP3797384A4 (en) * 2018-05-22 2022-03-16 Ramot at Tel-Aviv University Ltd. METHOD AND SYSTEM FOR IMAGE GENERATION AND IMAGE PROCESSING
US10452947B1 (en) * 2018-06-08 2019-10-22 Microsoft Technology Licensing, Llc Object recognition using depth and multi-spectral camera
US11200424B2 (en) * 2018-10-12 2021-12-14 Adobe Inc. Space-time memory network for locating target object in video content
US11188799B2 (en) * 2018-11-12 2021-11-30 Sony Corporation Semantic segmentation with soft cross-entropy loss
JP7498195B2 (ja) * 2019-04-30 2024-06-11 ロレアル 複数のオブジェクトを追跡するための畳み込みニューラルネットワークを用いた画像処理
CN112419328B (zh) * 2019-08-22 2023-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11676278B2 (en) * 2019-09-26 2023-06-13 Intel Corporation Deep learning for dense semantic segmentation in video with automated interactivity and improved temporal coherence
US10984225B1 (en) * 2020-09-28 2021-04-20 Accenture Global Solutions Limited Masked face recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985238A (zh) * 2018-07-23 2018-12-11 武汉大学 联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及***
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法

Also Published As

Publication number Publication date
US11189034B1 (en) 2021-11-30
CN111738268A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738268B (zh) 一种基于随机块的高分遥感图像的语义分割方法及***
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
Yuan Automatic building extraction in aerial scenes using convolutional networks
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
Alsabhan et al. Automatic building extraction on satellite images using Unet and ResNet50
CN109558806A (zh) 高分遥感图像变化的检测方法和***
Huang et al. A lightweight network for building extraction from remote sensing images
Doi et al. The effect of focal loss in semantic segmentation of high resolution aerial image
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及***
CN113298039B (zh) 一种顾及遥感图像旋转目标的目标检测方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN112991350A (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
Rafique et al. Smart traffic monitoring through pyramid pooling vehicle detection and filter-based tracking on aerial images
Du et al. Concatenated deep learning framework for multi-task change detection of optical and sar images
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
Patil et al. Semantic segmentation of satellite images using modified U-Net
Chouhan et al. DRMNet: Difference image reconstruction enhanced multiresolution network for optical change detection
Noman et al. ELGC-Net: Efficient Local-Global Context Aggregation for Remote Sensing Change Detection
Mo et al. SAUNet3+ CD: A Siamese-attentive UNet3+ for change detection in remote sensing images
Chen et al. Class-aware domain adaptation for coastal land cover mapping using optical remote sensing imagery
CN115861818A (zh) 基于注意力机制联合卷积神经网络的细小水体提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant