CN108805874B - 一种基于卷积神经网络的多光谱图像语义切割方法 - Google Patents
一种基于卷积神经网络的多光谱图像语义切割方法 Download PDFInfo
- Publication number
- CN108805874B CN108805874B CN201810595762.9A CN201810595762A CN108805874B CN 108805874 B CN108805874 B CN 108805874B CN 201810595762 A CN201810595762 A CN 201810595762A CN 108805874 B CN108805874 B CN 108805874B
- Authority
- CN
- China
- Prior art keywords
- data
- different
- convolution
- neural network
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络的多光谱图像语义切割方法,利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积,再对各数据通道独立卷积后的特征图进行融合。本发明通过多种分辨率输入、多通道独立卷积的网络,有效解决了标准U‑NET网络只能接受一种同尺度RGB\Gray图像的问题,有效提高多光谱图像语义切割的工作效率,保证图像切割的精度。
Description
技术领域
本发明涉及一种基于卷积神经网络的多光谱图像语义切割方法。
背景技术
当前,针对RGB图像的先进语义切割框架普遍采用端到端的深度卷积神经网络(DCNN)。目前的卷积神经网络的使用形式为采用一些预训练好的模型对物体进行分类,这些常用的模型主要有VGG,ResNet等。而以语义切割为目的的DCNN往往包括前后两个部分,前半部分为常用的质量较好的DCNN网络,后半部分为将特征图映射为像素标签的网络。为节约训练样本,前半部分直接采用预训练好的模型参数,只对后半部分模型参数进行微调。
目前较为代表性的图像语义切割网络为全卷积网络(fully-convolutionalnetwork FCN),该网络的初始版本是以VGG-16为基础的。由于为分类而设计的VGG-16的后半部分全连接网络,全连接操作使特征图的空间信息完全丢失使得其无法用于图像的语义分割;FCN将VGG-16的非卷积网络部分(全连接部分)替换为卷积操作,并采用上采样和反卷积的恢复每个像素的特征表示,并进一步计算每个像素的类别标签。这种网络的主要缺点使采用了5次2倍上采样的方式恢复特征图的尺寸,在下采样的过程中损失大量空间信息,而这些信息无法在上采用过程中完全恢复,使得图像分割的结果非常粗糙。对FCN常用的改进方式是对处理的结果采用条件随机场(CRF)进行后处理。这种方法一定程度上改进了FCN结果粗糙的现象,但是造成FCN内存和计算时间的进一步加大。
DeepLab是另外一类影响力较大的图像语义分割网络,其是基于深度残差网络(ResNet DCNN)上的网络。DeepLab采用带孔的卷积核(atrous convolution filter)替代传统的卷积核减弱图像降采样带来的问题。带孔的卷积核以一定间隔对传统的卷积核***权值为0的点,因此其可以在训练参数不增加的前提下增加卷积核的感受野。因此当多层卷积核对图像进行卷积处理时,图像仍然可以保持原始的尺寸。然而一些学者发现当整个网络都采用带孔的卷积核时,处理效率是非常低的,因此传统卷积核和带孔卷积核需要同时采用。
U-NET为一种最初为生物医学图像分割设计的神经网络,由于这种网络的下池化部分和上池化部分是基本对称的,作者将该网络的架构绘制成图后,其外形与字母U非常类似,因此将该网络命名为U-NET。从广义上将U-NET为FCN网络的一种。由于该网络赢得了2015度ISBI细胞追踪挑战赛而被广泛的报道,在图像语义切割研究方向尤其是生物医学影像切割方向上有着非常广泛的影响。U-NET网络设计精妙,其左半部分为分辨率收缩部分,右半部分为分辨率扩张部分,两者左右对称。在分辨率扩张部分,对每次上池化的特征图和左半部分对应的特征图进行融合关联(concatenate)操作,使得分辨率扩张部分的每种分辨率的卷积核既有来自于下层特征图上采样的部分,又有左侧对应分辨率的部分,极大程度上减小了因特征图的尺度缩放带来的空间信息损失。
以上图像语义分割方面的研究成果是为普通数码图像或医学扫描图像设计的,其基本的假设是用于训练和分割的图像规范统一。例如,其假设所有训练样本都有同样的通道数(多通道的RGB和单通道的Gray图像)。这使得这些研究成果用于多光谱图像面临一些困难。其一,多光谱图像往往具有多种通道的特性,而且不同通道包含的信息量不同,传统的卷积方法每个卷积核对所有特征图进行卷积,并对卷积的结果进行累加,其默认每个通道的特征图对分类的结果贡献是等价的。其二,同一卫星往往搭载各种类型不同的多光谱传感器,例如,WorldView 3商业遥感卫星可以同时获得全波段图像(Panchromatic)、可见光近红外范围(400-1000nm)内的多光谱数据(red,red edge,coastal,blue,green,yellow,near-IR1 and near-IR2)、短波红外范围内的多光谱数据(1195nm-1365nm);三者的波段数分别为1波段、8波段、8波段;三者的星下点(Nadir)分辨率为0.31m、1.24m、7.5m。不同类型传感器采集的数据不但具有不同的波段数量、波段类型,还具有不同的分辨率。若将所有低分辨率的图像强行插值放大使其与高分辨率的图像进行统一,会使得低分辨率图像部分的一些卷积操作是无效的,不但损失了大量的计算时间,还有可能干扰图像切割的结果。若对高分辨率的图像进行降采样使其与低分辨率的图像尺度统一,会损失大量的高分辨率的图像的空间信息。
发明内容
本发明目的在于提供一种基于卷积神经网络的多光谱图像语义切割方法,能够提高多光谱图像语义切割的工作效率,保证图像切割的精度。
实现本发明目的的技术方案:
一种基于卷积神经网络的多光谱图像语义切割方法,其特征在于:利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积,再对各数据通道独立卷积后的特征图进行融合。
进一步地,对多光谱图像的每一数据通道独立进行卷积时,根据不同波段选取不同尺寸、不同数量的卷积核。
进一步地,对多光谱图像的每一数据通道独立进行卷积时,根据不同波段选取不同的卷积层数。
进一步地,不同分辨率的数据输入至相应不同尺度层级的卷积层。
进一步地,不同分辨率的数据输入至相应不同尺度层级的卷积层时,输入的数据与上一层卷积层池化后的特征图进行融合。
进一步地,先将不同分辨率的数据归一化到数据的最高分辨率,串联融合后一次性输入至网络;然后在网络内部将不同类别的数据分离出来,分别处理到需要的尺寸;再将不同分辨率的数据输入至相应不同尺度层级的卷积层。
本发明具有的有益效果:
针对多光谱数据的不同通道之间数据差别较大的情况,本发明利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积,再对各数据通道独立卷积后的特征图进行融合。对多光谱图像的每一数据通道独立进行卷积时,根据不同波段可选取不同尺寸、不同数量的卷积核,根据不同波段可选取不同的卷积层数,本发明通过多通道独立卷积有效提高了多光谱图像语义切割的工作效率,提升图像切割的精度。
针对多光谱数据分辨率差别较大的情况,本发明将U-NET网络改造为支持多种分辨率输入的卷积神经网络,不同分辨率的数据输入至相应不同尺度层级的卷积层,输入的数据与上一层卷积层池化后的特征图进行融合,所说上一层为输入数据对应卷积层的上一层。本发明通过多种分辨率输入、多通道独立卷积的网络,有效解决了标准U-NET网络只能接受一种同尺度RGB\Gray图像的问题,有效提高多光谱图像语义切割的工作效率,保证图像切割的精度。
针对深度学***台的一个网络模型大都只接受一次输入的情况,本发明将不同分辨率的数据以数据最高分辨率为准处理到相同的分辨率,然后进行串联融合,输入网络,在网络内部再将不同类别的数据分离出来,再将分离的数据处理到合适的尺寸,进而有效保证多光谱图像语义切割的工作可靠性。
附图说明
图1是本发明多通道图像通道独立卷积示意图;
图2是本发明通道独立卷积与多尺度输入U-NET深度神经网络示意图。
具体实施方式
实施例一:
针对多光谱图像,首先根据波长对波段进行分离,然后对不同的波段进行独立卷积操作,即利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积,再对各数据通道独立卷积后的特征图进行融合(concatenation,summation)。对多光谱图像的每一数据通道独立进行卷积时,根据不同波段选取不同尺寸、不同数量的卷积核。对多光谱图像的每一数据通道独立进行卷积时,根据不同波段选取不同的卷积层数。实施时,卷积神经网络采用U-NET神经网络。
实施例二:
当多光谱图像具有多种分辨率时,在实施例一采用多通道独立卷积基础上,实施二采用多通道独立卷积、多分辨率输入网络。如图2所示,将U-NET网络改造为支持多种分辨率输入的卷积神经网络。与传统的U-NET网络类似,本发明网络由尺度收缩部分和尺度扩张部分组成,尺度收缩部分由经典的卷积网络组成,随着卷积的层级的增加,图像尺寸随着卷积池化次数的增加而降低,卷积核数量随着池化次数的增加而增加。尺度扩张部分与U-NET网络的尺度扩张部分相同,尺度扩张部分的每一个上采样步骤,尺度增加两倍,卷积核数量减半。每次上采样后需要将采样后的特征图与其对称部分(收缩部分)同尺度的特征图进行融合操作(concatenation,summation)。与传统的U-NET网络不同,本发明不同分辨率的数据输入至相应不同尺度层级的卷积层,输入的数据与上一层卷积层池化后的特征图进行融合,所说上一层为输入数据对应卷积层的上一层。图2中,空心箭头表示通道独立卷积,右向细箭头表示通道复制,实心矩形和空心矩形并列表示融合操作,向下的宽箭头表示下池化操作,向上的宽箭头表示上池化操作,向右的宽箭头表示经典的卷积操作。
针对深度学***台的一个网络模型大都只接受一次输入的情况,本发明将不同分辨率的数据以数据最高分辨率为准处理到相同的分辨率,然后进行串联融合,输入网络,在网络内部再将不同类别的数据分离出来,再将分离的数据处理到合适的尺寸,进而有效保证多光谱图像语义切割的工作可靠性。
Claims (2)
1.一种基于卷积神经网络的多光谱图像语义切割方法,其特征在于:利用卷积神经网络分别对多光谱图像的每一数据通道独立进行卷积,再对各数据通道独立卷积后的特征图进行融合;
对多光谱图像的每一数据通道独立进行卷积时,根据不同波段选取不同尺寸、不同数量的卷积核;
对多光谱图像的每一数据通道独立进行卷积时,根据不同波段选取不同的卷积层数;
卷积神经网络采用U-NET神经网络;
U-NET神经网络支持多种分辨率数据的输入,不同分辨率的数据输入至相应不同尺度层级的卷积层;
不同分辨率的数据输入至相应不同尺度层级的卷积层时,输入的数据与上一层卷积层池化后的特征图进行融合,所说上一层为输入数据对应卷积层的上一层。
2.根据权利要求1所述的基于卷积神经网络的多光谱图像语义切割方法,其特征在于:先将不同分辨率的数据归一化到数据的最高分辨率,串联融合后一次性输入至网络;然后在网络内部将不同类别的数据分离出来,分别处理到需要的尺寸;再将不同分辨率的数据输入至相应不同尺度层级的卷积层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810595762.9A CN108805874B (zh) | 2018-06-11 | 2018-06-11 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810595762.9A CN108805874B (zh) | 2018-06-11 | 2018-06-11 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805874A CN108805874A (zh) | 2018-11-13 |
CN108805874B true CN108805874B (zh) | 2022-04-22 |
Family
ID=64088190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810595762.9A Active CN108805874B (zh) | 2018-06-11 | 2018-06-11 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805874B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113168684B (zh) | 2018-11-26 | 2024-04-05 | Oppo广东移动通信有限公司 | 提升低亮度图像的质量的方法、***和计算机可读介质 |
CN111382761B (zh) * | 2018-12-28 | 2023-04-07 | 展讯通信(天津)有限公司 | 一种基于cnn的检测器、图像检测方法及终端 |
CN110009637B (zh) * | 2019-04-09 | 2021-04-16 | 北京化工大学 | 一种基于树形结构的遥感图像分割网络 |
CN110163852B (zh) * | 2019-05-13 | 2021-10-15 | 北京科技大学 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
CN110969182A (zh) * | 2019-05-17 | 2020-04-07 | 丰疆智能科技股份有限公司 | 基于农田图像的卷积神经网络构建方法及其*** |
CN110852385B (zh) * | 2019-11-12 | 2022-07-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
CN113034535A (zh) * | 2019-12-24 | 2021-06-25 | 无锡祥生医疗科技股份有限公司 | 胎儿头部分割方法、装置和存储介质 |
CN111428781A (zh) * | 2020-03-20 | 2020-07-17 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及*** |
CN112184554B (zh) * | 2020-10-13 | 2022-08-23 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
CN112633171A (zh) * | 2020-12-23 | 2021-04-09 | 北京恒达时讯科技股份有限公司 | 一种基于多源光学遥感影像的海冰识别方法和*** |
CN113159038B (zh) * | 2020-12-30 | 2022-05-27 | 太原理工大学 | 一种基于多模态融合的煤岩分割方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916435A (zh) * | 2010-08-30 | 2010-12-15 | 武汉大学 | 一种多尺度光谱投影遥感影像融合方法 |
US9760980B1 (en) * | 2015-03-25 | 2017-09-12 | Amazon Technologies, Inc. | Correcting moiré pattern effects |
CN107993229A (zh) * | 2017-12-15 | 2018-05-04 | 西安中科微光影像技术有限公司 | 一种基于心血管ivoct图像的组织分类方法和装置 |
-
2018
- 2018-06-11 CN CN201810595762.9A patent/CN108805874B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916435A (zh) * | 2010-08-30 | 2010-12-15 | 武汉大学 | 一种多尺度光谱投影遥感影像融合方法 |
US9760980B1 (en) * | 2015-03-25 | 2017-09-12 | Amazon Technologies, Inc. | Correcting moiré pattern effects |
CN107993229A (zh) * | 2017-12-15 | 2018-05-04 | 西安中科微光影像技术有限公司 | 一种基于心血管ivoct图像的组织分类方法和装置 |
Non-Patent Citations (2)
Title |
---|
AdapNet: Adaptive semantic segmentation in adverse environmental conditions;Abhinav Valada 等;《2017 IEEE International Conference on Robotics and Automation (ICRA)》;20170724;全文 * |
基于多通道卷积神经网络的非结构化道路路表分析;崔巍 等;《计算机应用与软件》;20160131;第33卷(第1期);正文第2.2节 * |
Also Published As
Publication number | Publication date |
---|---|
CN108805874A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805874B (zh) | 一种基于卷积神经网络的多光谱图像语义切割方法 | |
WO2021184891A1 (zh) | 遥感影像地物分类方法及*** | |
CN108717569B (zh) | 一种膨胀全卷积神经网络装置及其构建方法 | |
CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
US11151403B2 (en) | Method and apparatus for segmenting sky area, and convolutional neural network | |
CN111768432B (zh) | 基于孪生深度神经网络的动目标分割方法及*** | |
WO2022111355A1 (zh) | 车牌识别方法及装置、存储介质、终端 | |
CN111259905B (zh) | 一种基于下采样的特征融合遥感图像语义分割方法 | |
CN107527352B (zh) | 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法 | |
CN113222835B (zh) | 基于残差网络的遥感全色和多光谱图像分布式融合方法 | |
CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
WO2020056791A1 (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
CN112418176A (zh) | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 | |
CN107564009B (zh) | 基于深度卷积神经网络的室外场景多目标分割方法 | |
CN108038519B (zh) | 一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置 | |
CN108647568B (zh) | 基于全卷积神经网络的草地退化自动提取方法 | |
CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
CN112001928B (zh) | 一种视网膜血管分割方法及*** | |
CN106910202B (zh) | 一种遥感图像地物的图像分割方法及*** | |
CN112419155A (zh) | 一种全极化合成孔径雷达影像超分辨率重建方法 | |
CN112700460B (zh) | 图像分割方法及*** | |
CN111008936A (zh) | 一种多光谱图像全色锐化方法 | |
CN110443296B (zh) | 面向高光谱图像分类的数据自适应激活函数学习方法 | |
CN110930409A (zh) | 一种基于深度学习的盐体语义分割方法及语义分割模型 | |
CN113052216B (zh) | 基于双路图u-net卷积网络的溢油高光谱图像检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |