CN108805874A - 一种基于卷积神经网络的多光谱图像语义切割方法 - Google Patents

一种基于卷积神经网络的多光谱图像语义切割方法 Download PDF

Info

Publication number
CN108805874A
CN108805874A CN201810595762.9A CN201810595762A CN108805874A CN 108805874 A CN108805874 A CN 108805874A CN 201810595762 A CN201810595762 A CN 201810595762A CN 108805874 A CN108805874 A CN 108805874A
Authority
CN
China
Prior art keywords
multispectral image
neural networks
data
different
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810595762.9A
Other languages
English (en)
Other versions
CN108805874B (zh
Inventor
李含伦
戴玉成
张小博
张晓灿
唐文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 3 Research Institute
Original Assignee
CETC 3 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 3 Research Institute filed Critical CETC 3 Research Institute
Priority to CN201810595762.9A priority Critical patent/CN108805874B/zh
Publication of CN108805874A publication Critical patent/CN108805874A/zh
Application granted granted Critical
Publication of CN108805874B publication Critical patent/CN108805874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的多光谱图像语义切割方法，利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积，再对各数据通道独立卷积后的特征图进行融合。本发明通过多种分辨率输入、多通道独立卷积的网络，有效解决了标准U‑NET网络只能接受一种同尺度RGB\Gray图像的问题，有效提高多光谱图像语义切割的工作效率，保证图像切割的精度。

Description

一种基于卷积神经网络的多光谱图像语义切割方法
技术领域
本发明涉及一种基于卷积神经网络的多光谱图像语义切割方法。
背景技术
当前，针对RGB图像的先进语义切割框架普遍采用端到端的深度卷积神经网络(DCNN)。目前的卷积神经网络的使用形式为采用一些预训练好的模型对物体进行分类，这些常用的模型主要有VGG，ResNet等。而以语义切割为目的的DCNN往往包括前后两个部分，前半部分为常用的质量较好的DCNN网络，后半部分为将特征图映射为像素标签的网络。为节约训练样本，前半部分直接采用预训练好的模型参数，只对后半部分模型参数进行微调。
目前较为代表性的图像语义切割网络为全卷积网络(fully-convolutionalnetwork FCN)，该网络的初始版本是以VGG-16为基础的。由于为分类而设计的VGG-16的后半部分全连接网络，全连接操作使特征图的空间信息完全丢失使得其无法用于图像的语义分割；FCN将VGG-16的非卷积网络部分(全连接部分)替换为卷积操作，并采用上采样和反卷积的恢复每个像素的特征表示，并进一步计算每个像素的类别标签。这种网络的主要缺点使采用了5次2倍上采样的方式恢复特征图的尺寸，在下采样的过程中损失大量空间信息，而这些信息无法在上采用过程中完全恢复，使得图像分割的结果非常粗糙。对FCN常用的改进方式是对处理的结果采用条件随机场(CRF)进行后处理。这种方法一定程度上改进了FCN结果粗糙的现象，但是造成FCN内存和计算时间的进一步加大。
DeepLab是另外一类影响力较大的图像语义分割网络，其是基于深度残差网络(ResNet DCNN)上的网络。DeepLab采用带孔的卷积核(atrous convolution filter)替代传统的卷积核减弱图像降采样带来的问题。带孔的卷积核以一定间隔对传统的卷积核***权值为0的点，因此其可以在训练参数不增加的前提下增加卷积核的感受野。因此当多层卷积核对图像进行卷积处理时，图像仍然可以保持原始的尺寸。然而一些学者发现当整个网络都采用带孔的卷积核时，处理效率是非常低的，因此传统卷积核和带孔卷积核需要同时采用。
U-NET为一种最初为生物医学图像分割设计的神经网络，由于这种网络的下池化部分和上池化部分是基本对称的，作者将该网络的架构绘制成图后，其外形与字母U非常类似，因此将该网络命名为U-NET。从广义上将U-NET为FCN网络的一种。由于该网络赢得了2015度ISBI细胞追踪挑战赛而被广泛的报道，在图像语义切割研究方向尤其是生物医学影像切割方向上有着非常广泛的影响。U-NET网络设计精妙，其左半部分为分辨率收缩部分，右半部分为分辨率扩张部分，两者左右对称。在分辨率扩张部分，对每次上池化的特征图和左半部分对应的特征图进行融合关联(concatenate)操作，使得分辨率扩张部分的每种分辨率的卷积核既有来自于下层特征图上采样的部分，又有左侧对应分辨率的部分，极大程度上减小了因特征图的尺度缩放带来的空间信息损失。
以上图像语义分割方面的研究成果是为普通数码图像或医学扫描图像设计的，其基本的假设是用于训练和分割的图像规范统一。例如，其假设所有训练样本都有同样的通道数(多通道的RGB和单通道的Gray图像)。这使得这些研究成果用于多光谱图像面临一些困难。其一，多光谱图像往往具有多种通道的特性，而且不同通道包含的信息量不同，传统的卷积方法每个卷积核对所有特征图进行卷积，并对卷积的结果进行累加，其默认每个通道的特征图对分类的结果贡献是等价的。其二，同一卫星往往搭载各种类型不同的多光谱传感器，例如，WorldView 3商业遥感卫星可以同时获得全波段图像(Panchromatic)、可见光近红外范围(400-1000nm)内的多光谱数据(red,red edge,coastal,blue,green,yellow,near-IR1 and near-IR2)、短波红外范围内的多光谱数据(1195nm-1365nm)；三者的波段数分别为1波段、8波段、8波段；三者的星下点(Nadir)分辨率为0.31m、1.24m、7.5m。不同类型传感器采集的数据不但具有不同的波段数量、波段类型，还具有不同的分辨率。若将所有低分辨率的图像强行插值放大使其与高分辨率的图像进行统一，会使得低分辨率图像部分的一些卷积操作是无效的，不但损失了大量的计算时间，还有可能干扰图像切割的结果。若对高分辨率的图像进行降采样使其与低分辨率的图像尺度统一，会损失大量的高分辨率的图像的空间信息。
发明内容
本发明目的在于提供一种基于卷积神经网络的多光谱图像语义切割方法，能够提高多光谱图像语义切割的工作效率，保证图像切割的精度。
实现本发明目的的技术方案：
一种基于卷积神经网络的多光谱图像语义切割方法，其特征在于：利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积，再对各数据通道独立卷积后的特征图进行融合。
进一步地，对多光谱图像的每一数据通道独立进行卷积时，根据不同波段选取不同尺寸、不同数量的卷积核。
进一步地，对多光谱图像的每一数据通道独立进行卷积时，根据不同波段选取不同的卷积层数。
进一步地，不同分辨率的数据输入至相应不同尺度层级的卷积层。
进一步地，不同分辨率的数据输入至相应不同尺度层级的卷积层时，输入的数据与上一层卷积层池化后的特征图进行融合。
进一步地，先将不同分辨率的数据归一化到数据的最高分辨率，串联融合后一次性输入至网络；然后在网络内部将不同类别的数据分离出来，分别处理到需要的尺寸；再将不同分辨率的数据输入至相应不同尺度层级的卷积层。
本发明具有的有益效果：
针对多光谱数据的不同通道之间数据差别较大的情况，本发明利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积，再对各数据通道独立卷积后的特征图进行融合。对多光谱图像的每一数据通道独立进行卷积时，根据不同波段可选取不同尺寸、不同数量的卷积核，根据不同波段可选取不同的卷积层数，本发明通过多通道独立卷积有效提高了多光谱图像语义切割的工作效率，提升图像切割的精度。
针对多光谱数据分辨率差别较大的情况，本发明将U-NET网络改造为支持多种分辨率输入的卷积神经网络，不同分辨率的数据输入至相应不同尺度层级的卷积层，输入的数据与上一层卷积层池化后的特征图进行融合，所说上一层为输入数据对应卷积层的上一层。本发明通过多种分辨率输入、多通道独立卷积的网络，有效解决了标准U-NET网络只能接受一种同尺度RGB\Gray图像的问题，有效提高多光谱图像语义切割的工作效率，保证图像切割的精度。
针对深度学***台的一个网络模型大都只接受一次输入的情况，本发明将不同分辨率的数据以数据最高分辨率为准处理到相同的分辨率，然后进行串联融合，输入网络，在网络内部再将不同类别的数据分离出来，再将分离的数据处理到合适的尺寸，进而有效保证多光谱图像语义切割的工作可靠性。
附图说明
图1是本发明多通道图像通道独立卷积示意图；
图2是本发明通道独立卷积与多尺度输入U-NET深度神经网络示意图。
具体实施方式
实施例一：
针对多光谱图像，首先根据波长对波段进行分离，然后对不同的波段进行独立卷积操作，即利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积，再对各数据通道独立卷积后的特征图进行融合(concatenation，summation)。对多光谱图像的每一数据通道独立进行卷积时，根据不同波段选取不同尺寸、不同数量的卷积核。对多光谱图像的每一数据通道独立进行卷积时，根据不同波段选取不同的卷积层数。实施时，卷积神经网络采用U-NET神经网络。
实施例二：
当多光谱图像具有多种分辨率时，在实施例一采用多通道独立卷积基础上，实施二采用多通道独立卷积、多分辨率输入网络。如图2所示，将U-NET网络改造为支持多种分辨率输入的卷积神经网络。与传统的U-NET网络类似，本发明网络由尺度收缩部分和尺度扩张部分组成，尺度收缩部分由经典的卷积网络组成，随着卷积的层级的增加，图像尺寸随着卷积池化次数的增加而降低，卷积核数量随着池化次数的增加而增加。尺度扩张部分与U-NET网络的尺度扩张部分相同，尺度扩张部分的每一个上采样步骤，尺度增加两倍，卷积核数量减半。每次上采样后需要将采样后的特征图与其对称部分(收缩部分)同尺度的特征图进行融合操作(concatenation，summation)。与传统的U-NET网络不同，本发明不同分辨率的数据输入至相应不同尺度层级的卷积层，输入的数据与上一层卷积层池化后的特征图进行融合，所说上一层为输入数据对应卷积层的上一层。图2中，空心箭头表示通道独立卷积，右向细箭头表示通道复制，实心矩形和空心矩形并列表示融合操作，向下的宽箭头表示下池化操作，向上的宽箭头表示上池化操作，向右的宽箭头表示经典的卷积操作。
针对深度学***台的一个网络模型大都只接受一次输入的情况，本发明将不同分辨率的数据以数据最高分辨率为准处理到相同的分辨率，然后进行串联融合，输入网络，在网络内部再将不同类别的数据分离出来，再将分离的数据处理到合适的尺寸，进而有效保证多光谱图像语义切割的工作可靠性。

Claims (7)

1.一种基于卷积神经网络的多光谱图像语义切割方法，其特征在于：利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积，再对各数据通道独立卷积后的特征图进行融合。
2.根据权利要求1所述的基于卷积神经网络的多光谱图像语义切割方法，其特征在于：对多光谱图像的每一数据通道独立进行卷积时，根据不同波段选取不同尺寸、不同数量的卷积核。
3.根据权利要求2所述的基于卷积神经网络的多光谱图像语义切割方法，其特征在于：对多光谱图像的每一数据通道独立进行卷积时，根据不同波段选取不同的卷积层数。
4.根据权利要求1至3任何一项所述的基于卷积神经网络的多光谱图像语义切割方法，其特征在于：卷积神经网络采用U-N ET神经网络。
5.根据权利要求4所述的基于卷积神经网络的多光谱图像语义切割方法，其特征在于：U-N ET神经网络支持多种分辨率数据的输入，不同分辨率的数据输入至相应不同尺度层级的卷积层。
6.根据权利要求5所述的基于卷积神经网络的多光谱图像语义切割方法，其特征在于：不同分辨率的数据输入至相应不同尺度层级的卷积层时，输入的数据与上一层卷积层池化后的特征图进行融合，所说上一层为输入数据对应卷积层的上一层。
7.根据权利要求6所述的基于卷积神经网络的多光谱图像语义切割方法，其特征在于：先将不同分辨率的数据归一化到数据的最高分辨率，串联融合后一次性输入至网络；然后在网络内部将不同类别的数据分离出来，分别处理到需要的尺寸；再将不同分辨率的数据输入至相应不同尺度层级的卷积层。
CN201810595762.9A 2018-06-11 2018-06-11 一种基于卷积神经网络的多光谱图像语义切割方法 Active CN108805874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810595762.9A CN108805874B (zh) 2018-06-11 2018-06-11 一种基于卷积神经网络的多光谱图像语义切割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810595762.9A CN108805874B (zh) 2018-06-11 2018-06-11 一种基于卷积神经网络的多光谱图像语义切割方法

Publications (2)

Publication Number Publication Date
CN108805874A true CN108805874A (zh) 2018-11-13
CN108805874B CN108805874B (zh) 2022-04-22

Family

ID=64088190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810595762.9A Active CN108805874B (zh) 2018-06-11 2018-06-11 一种基于卷积神经网络的多光谱图像语义切割方法

Country Status (1)

Country Link
CN (1) CN108805874B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009637A (zh) * 2019-04-09 2019-07-12 北京化工大学 一种基于树形结构的遥感图像分割网络
CN110163852A (zh) * 2019-05-13 2019-08-23 北京科技大学 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN110852385A (zh) * 2019-11-12 2020-02-28 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN110969182A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 基于农田图像的卷积神经网络构建方法及其***
WO2020108009A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN111382761A (zh) * 2018-12-28 2020-07-07 展讯通信(天津)有限公司 一种基于cnn的检测器、图像检测方法及终端
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112633171A (zh) * 2020-12-23 2021-04-09 北京恒达时讯科技股份有限公司 一种基于多源光学遥感影像的海冰识别方法和***
CN113034535A (zh) * 2019-12-24 2021-06-25 无锡祥生医疗科技股份有限公司 胎儿头部分割方法、装置和存储介质
CN113159038A (zh) * 2020-12-30 2021-07-23 太原理工大学 一种基于多模态融合的煤岩分割方法
WO2021184891A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 遥感影像地物分类方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916435A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度光谱投影遥感影像融合方法
US9760980B1 (en) * 2015-03-25 2017-09-12 Amazon Technologies, Inc. Correcting moiré pattern effects
CN107993229A (zh) * 2017-12-15 2018-05-04 西安中科微光影像技术有限公司 一种基于心血管ivoct图像的组织分类方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916435A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度光谱投影遥感影像融合方法
US9760980B1 (en) * 2015-03-25 2017-09-12 Amazon Technologies, Inc. Correcting moiré pattern effects
CN107993229A (zh) * 2017-12-15 2018-05-04 西安中科微光影像技术有限公司 一种基于心血管ivoct图像的组织分类方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABHINAV VALADA 等: "AdapNet: Adaptive semantic segmentation in adverse environmental conditions", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
崔巍 等: "基于多通道卷积神经网络的非结构化道路路表分析", 《计算机应用与软件》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108009A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
US11741578B2 (en) 2018-11-26 2023-08-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN111382761A (zh) * 2018-12-28 2020-07-07 展讯通信(天津)有限公司 一种基于cnn的检测器、图像检测方法及终端
CN110009637A (zh) * 2019-04-09 2019-07-12 北京化工大学 一种基于树形结构的遥感图像分割网络
CN110163852B (zh) * 2019-05-13 2021-10-15 北京科技大学 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN110163852A (zh) * 2019-05-13 2019-08-23 北京科技大学 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN110969182A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 基于农田图像的卷积神经网络构建方法及其***
CN110852385A (zh) * 2019-11-12 2020-02-28 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN110852385B (zh) * 2019-11-12 2022-07-12 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN113034535A (zh) * 2019-12-24 2021-06-25 无锡祥生医疗科技股份有限公司 胎儿头部分割方法、装置和存储介质
WO2021184891A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 遥感影像地物分类方法及***
CN112184554B (zh) * 2020-10-13 2022-08-23 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112633171A (zh) * 2020-12-23 2021-04-09 北京恒达时讯科技股份有限公司 一种基于多源光学遥感影像的海冰识别方法和***
CN113159038A (zh) * 2020-12-30 2021-07-23 太原理工大学 一种基于多模态融合的煤岩分割方法
CN113159038B (zh) * 2020-12-30 2022-05-27 太原理工大学 一种基于多模态融合的煤岩分割方法

Also Published As

Publication number Publication date
CN108805874B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN108805874A (zh) 一种基于卷积神经网络的多光谱图像语义切割方法
WO2021184891A1 (zh) 遥感影像地物分类方法及***
CN107527352B (zh) 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN109934153B (zh) 基于门控深度残差优化网络的建筑物提取方法
CN110059741B (zh) 基于语义胶囊融合网络的图像识别方法
CN109272010B (zh) 基于卷积神经网络的多尺度遥感图像融合方法
CN111695633B (zh) 基于rpf-cam的低照度目标检测方法
CN110414387A (zh) 一种基于道路分割的车道线多任务学习检测方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109800736A (zh) 一种基于遥感影像和深度学习的道路提取方法
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN106845381A (zh) 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN113469052B (zh) 基于多尺度特征反卷积的超分辨率建筑物精细识别方法
CN108898092A (zh) 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109272467A (zh) 一种基于多尺度边缘线索的层次化图像分割方法
CN106296567A (zh) 一种基于稀疏表示的多层次图像风格的转换方法及装置
CN113160062A (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN112200029B (zh) 基于改进型UNet++网络的遥感图像建筑物提取方法
CN111008642A (zh) 基于卷积神经网络的高分辨率遥感影像分类方法及***
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
CN113269724A (zh) 一种细粒度癌症亚型分类方法
CN108961270B (zh) 一种基于语义分割的桥梁裂缝图像分割模型
CN115862010A (zh) 一种基于语义分割模型的高分遥感影像水体提取方法
CN116434012A (zh) 一种基于边缘感知的轻量型棉铃检测方法及***
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant