CN111160354B - 一种基于联合图像信息的海天背景下船舶图像分割方法 - Google Patents

一种基于联合图像信息的海天背景下船舶图像分割方法 Download PDF

Info

Publication number
CN111160354B
CN111160354B CN201911388248.9A CN201911388248A CN111160354B CN 111160354 B CN111160354 B CN 111160354B CN 201911388248 A CN201911388248 A CN 201911388248A CN 111160354 B CN111160354 B CN 111160354B
Authority
CN
China
Prior art keywords
ship
image
feature map
segmentation
conv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911388248.9A
Other languages
English (en)
Other versions
CN111160354A (zh
Inventor
张雯
何旭杰
张智
苏丽
宋浩
崔浩浩
张秋雨
贺金夯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201911388248.9A priority Critical patent/CN111160354B/zh
Publication of CN111160354A publication Critical patent/CN111160354A/zh
Application granted granted Critical
Publication of CN111160354B publication Critical patent/CN111160354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于联合图像信息的海天背景下船舶图像分割方法，本发明针对于待分割的船舶图像，首先利用训练好的干扰因素判别器判别船舶图像对应的环境类型；然后利用所述环境类型对应的船舶提取器进行船舶的分割提取；采用基于神经网络的分类网络构建干扰因素判别器；利用训练集进行训练，得到训练好的干扰因素判别器；采用基于神经网络的分割网络构建不同环境下的船舶提取器；利用训练集中每种环境下的船舶图像分别进行训练，得到不同环境下船舶图像分别对应的训练好的船舶提取器。主要用于图像中船舶的分割提取。解决利用现有的分割算法进行海天背景下船舶图像分割存在分割精度降低的问题。

Description

一种基于联合图像信息的海天背景下船舶图像分割方法
技术领域
本发明涉及一种船舶图像分割方法，特别是一种基于联合图像信息的海天背景下船舶图像分割方法，属于数字图像处理领域。
背景技术
图像分割属于数字图像处理领域的一个分支，是一项既重要又极具挑战性的数字图像处理任务。其主要目的是提取出一幅图像中感兴趣的区域。总体来讲，图像分割目前被广泛应用于图像压缩、图像检索、医学诊断、目标识别、视频监控以及自动驾驶***中。
现有的图像分割算法主要分为以下几类：基于阈值的分割算法，基于边缘的分割算法，基于区域的分割算法，基于超像素的分割算法，基于特定理论的分割算法。其中，基于特定理论的分割算法又包括以下几类：基于遗传算法，基于水平集算法，基于聚类算法，基于模糊理论算法，基于形态学分水岭算法以及基于神经网络的算法。但是，将现有的分割算法直接应用于海天背景时，由于海天背景的特殊性，会导致分割的结果显得差强人意。现实的海天背景图像分割中发现，对于海面总会出现的海雾，大尾流，大浪，海面反光，倒影以及黄昏时刻，利用上述的常规的分割算法很难得到满意的分割结果，如图1三列的分割结果所述，图1第三列为利用常规的分割方法分割得到的结果。
并且现有的针对海天背景下船舶的分割算法很大一部分是基于红外图像的，只有少部分是针对可见光图像的，众所周知红外图像具有着低的信噪比，低的前景与背景的对比度以及目标细节缺失的弊端。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种能够解决利用现有的分割算法进行海天背景下船舶图像分割存在分割精度降低问题的基于联合图像信息的海天背景下船舶图像分割方法。
为解决上述技术问题，本发明的一种基于联合图像信息的海天背景下船舶图像分割方法，包括以下步骤：
步骤1：对图像进行预处理，包括归一化操作和图像伸缩操作；
步骤2：采用基于神经网络的分类网络构建干扰因素判别器，利用包含不同环境背景下的船舶图像的训练集对干扰因素判别器进行训练，得到训练好的干扰因素判别器；
步骤3：将步骤1得到的图像输入步骤2得到的训练好的干扰因素判别器中，判别为不同环境背景下的船舶图像；
步骤4：采用基于神经网络的分割网络构建不同环境下的船舶提取器，利用训练集中每种环境下的船舶图像分别对船舶提取器进行针对性的训练，得到不同环境下船舶图像分别对应的训练好的船舶提取器；
步骤5：将步骤3判别得到的不同背景下的船舶图像分别输入到对应的训练好的船舶提取器中进行船舶提取。
本发明还包括：
1.步骤1中图像伸缩操作采用双线性插值方式，插值公式为：
I(m,n)＝am+bn+cmn+d
式中，m、n为像素点的坐标，a、b、c、d为四个动态确定的参数，I为经过插值得到的像素值。
2.步骤2中采用基于神经网络的分类网络构建干扰因素判别器是基于SqueezeNet实现的，具体如下：
输入的图像首先经过第一个组合操作，包括Conv、ReLU、Maxpool；
接着经过Fire2至Fire9模块，并且在Fire3、Fire5后面加入MaxPool的操作，Fire9之后再经过最后的组合操作，包括Dropout，Conv，ReLU，AvgPool；
最后输出判断结果。
3.Fire2至Fire9模块具体为：
Fire2至Fire9模块含有Squeeze Layer、Expand Layer和2个ReLU，其中SqueezeLayer执行1×1卷积过程；Expand Layer并行执行1×1的卷积和3×3的卷积过程。
4.步骤4中采用基于神经网络的分割网络构建不同环境下的船舶提取器是基于DeepLabv3+实现的，具体为：
训练集中每种环境下的船舶图像首先经过DCNN网络来初步提取特征，接着将提取的特征利分成5条支路处理；
支路2至支路5进行空洞卷积操作和Batch Normalization操作；
支路1进行一次组合操作，包括：AvgPool，Conv，BatchNorm，ReLU；接着将该支路的特征图上采样至特征图大小为原图大小的1/16，并与支路2至支路5处理后的特征图进行拼接；
将拼接的特征图经过一次组合操作，包括Conv，BatchNorm，ReLU，Dropout；
最后直接4倍上采样至原图大小的1/4，从而形成Encoder的特征图F1；
在DCNN提取特征图F1的阶段同时提取出了low level的特征图，该特征图大小为原图大小的1/4，将该low level特征经过一次组合操作，包括Conv，BatchNorm，ReLU；然后和特征图F1进行拼接形成特征图F2，接着将F2经过两次Conv+BatchNorm+ReLU组合操作和一次Dropout+Conv组合操作，最后将得到的特征图直接上采样4倍至原图大小从而输出分割图。
本发明的有益效果：本发明是基于深度学习的图像分割方法，但与常规的基于深度学习的分割算法不同，在结构上将干扰因子判别器并入到船舶提取器的前端，并对DeepLabv3+做一改进，使其更适合于解决海天背景下的特殊性问题。本发明最终解决了由于海天背景的特殊性，例如海面上的海雾导致常规的基于深度学习的分割算法分割精度不高的问题，并且不失一般性，对于海天背景下存在的其余干扰因子例如大尾流，大浪，海面反光，倒影以及黄昏时刻均可采用本发明来针对性的解决。
附图说明
图1为常规分割算法应用到海天背景的效果图；其中，第一列为原图，第二列为标注图，第三列为常规算法的分割结果；
图2为本发明一种新型的联合图像信息的海天背景下船舶分割算法的整体结构图；
图3为SqueezeNet结构图；
图4为Fire Module结构图；
图5(a)为标准卷积的示意图；
图5(b)为空洞卷积示意图；
图6为DeepLabv3+结构图；
图7为Dense Block结构图；
图8为Transition Layer与Tran-Expansion Layer对比图；
图9为改进的DeepLabv3+结构图；
图10为实施例分割结果与DeepLabv3+分割结果的对比图：其中第一列为原图，第二列为标注图，第三列为DeepLabv3+的分割结果，第四列为本发明的分割结果。
具体实施方式
本发明是为了解决利用现有的分割算法进行海天背景下船舶图像分割存在分割精度降低的问题。本发明针对于待分割的船舶图像，首先利用训练好的干扰因素判别器判别船舶图像对应的环境类型；然后利用所述环境类型对应的船舶提取器进行船舶的分割提取；采用基于神经网络的分类网络构建干扰因素判别器；利用训练集进行训练，得到训练好的干扰因素判别器；采用基于神经网络的分割网络构建不同环境下的船舶提取器；利用训练集中每种环境下的船舶图像分别进行训练，得到不同环境下船舶图像分别对应的训练好的船舶提取器。主要用于图像中船舶的分割提取。包括以下步骤：
针对于待分割的船舶图像，首先利用训练好的干扰因素判别器判别船舶图像对应的环境类型；然后利用所述环境类型对应的船舶提取器进行船舶的分割提取；
所述干扰因素判别器和不同环境类型对应的船舶提取器，如下：
采用基于神经网络的分类网络构建干扰因素判别器；利用训练集进行训练，得到训练好的干扰因素判别器；
采用基于神经网络的分割网络构建不同环境下的船舶提取器；利用训练集中每种环境下的船舶图像分别进行训练，得到不同环境下船舶图像分别对应的训练好的船舶提取器。
进一步地，在训练干扰因素判别器和船舶提取器之前需要对对图片进行进行归一化操作和图像伸缩操作。
进一步地，所述图像伸缩操作采用的是双线性插值的方式，其插值公式如下：
I(m,n)＝am+bn+cmn+d (1)
式中，m、n为像素点的坐标，a、b、c、d为四个动态确定的参数，I为经过插值得到的像素值。
进一步地，采用基于神经网络的分类网络构建干扰因素判别器是基于SqueezeNet实现的，具体如下：
输入的图像首先经过第一个组合操作，包括Conv、ReLU、Maxpool；
接着经过Fire2至Fire9模块，并且在Fire3、Fire5后面加入MaxPool的操作，Fire9之后再经过最后的组合操作，包括Dropout，Conv，ReLU，AvgPool；
最后输出判断结果。
进一步地，所述的Fire2至Fire9模块如下：
Fire模块含有Squeeze Layer、Expand Layer和2个ReLU，其中Squeeze Layer执行1×1卷积过程；Expand Layer并行执行1×1的卷积和3×3的卷积过程。
进一步地，所述输入图片首先经过第一个组合操作后输出的特征图的通道数为96，并且特征图的大小是输入图大小的1/2；
所述Fire2中特征图的通道数由96压缩到16再扩张到64，以此类推其余Fire模块，直至Fire9，此时输出特征图的数量为256，大小为输入图大小的1/8。
进一步地，采用基于神经网络的分割网络构建不同环境下的船舶提取器是基于DeepLabv3+实现的，具体如下：
输入的图像，首先经过DCNN网络来初步提取特征，接着将提取的特征利分成5条支路处理；
支路2至支路5进行空洞卷积操作和Batch Normalization操作；
支路1进行一次组合操作，包括：AvgPool，Conv，BatchNorm，ReLU；接着将该支路的特征图上采样至特征图大小为原图大小的1/16，并与支路2至支路5处理后的特征图进行拼接；
将拼接的特征图经过一次组合操作，包括Conv，BatchNorm，ReLU，Dropout；
最后直接4倍上采样至原图大小的1/4，从而形成Encoder的特征图F1；
在DCNN提取特征图F1的阶段同时提取出了low level的特征图，该特征图大小为原图大小的1/4，将该low level特征经过一次组合操作，包括Conv，BatchNorm，ReLU；然后和特征图F1进行拼接形成特征图F2，接着将F2经过两次Conv+BatchNorm+ReLU组合操作和一次Dropout+Conv组合操作，最后将得到的特征图直接上采样4倍至原图大小从而输出分割图。
进一步地，所述的DCNN网络为DenseNet69网络，具体如下：
4个相同的Dense Block记为Dense Block1至Dense Block4；每个Dense Block内含有8个相同的Dense layer，即Dense layer1至Dense layer8；4个相同的TE Layer记为TELayer1至TE Layer4；
图像首先经过Conv层进行特征的提取，接着提取到的特征C进入Dense Block1，Dense Block1中特征C首先进入到Dense Layer1，即经过两次BatchNorm+ReLU+Conv组合操作，接着将Dense Layer1的输出和特征C进行拼接，将拼接后的特征作为Dense Layer2的输入，同理Dense Layer3是将Dense Layer1、Dense Layer2的输出与特征C的拼接整体作为其输入，以此类推其余的Dense Layer；
Dense Block1的输出特征图接着进入TE Layer1，特征图进入TE Layer1后要经过一次BatchNorm+ReLU+Conv+AvgPooling组合操作，此时输出的特征图为输入特征图大小的1/2，并且TE Layer1中将Conv输出通道数进行膨胀；
TE Layer1的输出特征图进入Dense Block2，Dense Block2的输出特征图进入TELayer2，TE Layer2的输出特征图进入Dense Block3，Dense Block3后有一次BatchNorm+ReLU组合操作，输出的特征图分为2条支路，其中一条支路即为low level的特征图，其中一条支路进入TE Layer3，TE Layer3的输出特征图进入Dense Block4，Dense Block4的输出特征图进入TE Layer4。
进一步地，所述的DenseNet69网络后加入一个Conv+BatchNorm+ReLU组合操作，之后将提取的特征利分成5条支路处理。
具体实施方式一：
本实施方式为基于联合图像信息的海天背景下船舶分割方法；在本实施方式及实施例中，所采用的数据集一部分是来源于Singapore Maritime Dataset(SMD)，另一部分来源于罗马大学的RoCoCo实验室创立的Maritime Detection，Classification，andTracking Dataset(MarDCT)，剩余的一小部分来源于网络。
基于联合图像信息的海天背景下船舶分割方法，包括以下步骤：
步骤a：对图片进行预处理：
对于全部图片进行归一化操作以及图像伸缩操作；
采用归一化操作的目的是防止净输入绝对值过大而引起神经元输出饱和；
采用图像伸缩操作是由于图片大小不一致对于训练神经网络很不友好。在本实施方式中采用的是双线性插值的方式，其插值公式如下：
I(m,n)＝am+bn+cmn+d (1)
式中，m、n为像素点的坐标，a、b、c、d为四个动态确定的参数，I为经过插值得到的像素值。
步骤b：对干扰因素判别器进行训练：
本发明采用的是基于神经网络的判别器来判断图像中含有的干扰因素；具体实施过程中采用的是SqueezeNet分类网络。SqueezeNet在结构上使用的策略有：使用1×1的卷积核来减少模型的参数；使用压缩层减少输入通道数。
这两项策略的主要目的是为了呼应本结构的轻量级并且不损失最终精度而做出。考虑到本算法最终的大小以及运行时速，选择目前现有的三种SqueezeNet版本里内存占用最小的一种，并将输出端的类别做一调整(class＝2)使其适用于本框架海天背景的要求。
干扰因子判别器的整体网络框架参阅图3。从图3中可以看出对于输入图片首先经过第一个组合操作(Conv，ReLU，Maxpool)，此时输出的特征图的通道数为96，并且特征图的大小是输入图大小的1/2，即图3中C96/2；接着经过Fire模块，例如Fire2中的(96-16-64)表示特征图的通道数由96压缩到16再扩张到64，以此类推其余Fire模块，并且Fire3和Fire5后面都加了MaxPool的操作，目的是缩小特征图为输入特征图大小的一半，即图3中所有‘/2’表征的意思。直至Fire9，此时输出特征图的数量为256，大小为输入图大小的1/8，再经过最后的组合操作(Dropout，Conv，ReLU，AvgPool)后给出输出图片的判断结果。该网络中最主要的结构为Fire Module，对于Fire Module，其内部结构图参阅图4，Fire Module含有Squeeze Layer和Expand Layer，其中Squeeze Layer主要完成卷积核大小为1×1的卷积过程，其主要作用是将输入的特征图通道数进行压缩，从而达到减少参数的目的；ExpandLayer包括并行的卷积核大小为1×1的卷积过程和卷积核大小为3×3的卷积过程，ExpandLayer的作用是缓解由于Squeeze Layer的存在导致特征图大幅度减少致使最终的分类性能下降的问题，Fire Module中的两个ReLU是为了引入非线性因素，提升网络的表达能力。参阅图3，以Fire2为例，(96-16-64)中(96-16)即由Squeeze Layer完成，(16-64)即由Expand Layer完成。特征图进入Fire Module的整个过程可以概述为：
Figure BDA0002344177310000071
其中，x表征输入特征图，x′表征输出特征图，S表征Squeeze Layer的映射，E表示Expand Layer的映射(下标1表示1×1的卷积过程，下标3表示3×3的卷积过程)，
Figure BDA0002344177310000072
表征的是特征图界级别的拼接操作，
Figure BDA0002344177310000073
表征的是线性整流激活函数。
利用训练集进行训练，得到训练好的干扰因素判别器；所述训练集包括正常海天背景下的船舶图像、海雾下的船舶图像，还可以包括大尾流对应的船舶图像、大浪中的船舶图像、海面反光对应的船舶图像、含有倒影对应的船舶图像、黄昏下的船舶图像等；
在进行船舶提取的实际应用时，将图像输入训练好的干扰因素判别器，经过训练好的干扰因素判别器判别为正常海天背景下的船舶图像以及其他情况各自对应的船舶图像(本实施方式中为海雾下的船舶图像)；然后分别对应输入到各自对应的训练好的船舶提取器中进行船舶提取。
步骤c：对船舶提取器进行针对性的训练：
本发明采用的是基于神经网络的提取器来提取图像中含有的船舶；
一些实施例中是对综合性能较为理想的DeepLabv3+分割网络做一改进，使其更适合于海天背景下的船舶分割问题。在DeepLabv3+中，主要工作总结起来就是将之前的DeepLabv3作为新网络结构的编码模块，并提出解码模块，即用于图像分割的编码-解码结构。DeepLab系列的算法均采用的是空洞卷积。空洞卷积就是在标准卷积的基础上带了“洞”。标准的卷积过程是取图像中一块连续的区域进行卷积操作，而空洞卷积则是在图像中隔行隔列取，至于所隔行数和列数的多少则由空洞卷积带来的新的超参数--空洞率决定。标准卷积与空洞卷积过程分别如图5(a)和图5(b)所示，图5(a)为标准卷积的示意图，图5(b)为空洞卷积示意图。显然可以观察到空洞卷积的引入可以使得对于同样大小的滤波器获得更大的感受野信息，这对于图像分割有极大益处。
对于空洞卷积过程，可以用公式总结为：
Figure BDA0002344177310000074
其中，fi表征滤波器的索引，gi表征像素的索引，β＝3表征空洞率。
参阅图6，DeepLabv3+的工作过程可以复述为：对于输入的图像，首先经过DCNN网络来初步提取特征，该特征图的大小均为输入图像大小的1/16，接着将提取的特征利用一定个数的空洞系数(一般使用4个不同的空洞系数)进行空洞卷积操作(图6中箭头2-5后面的组合操作的第一层Dilated Conv)，接着进行Batch Normalization操作(图6中箭头2-5后面的组合操作的第二层Batch Norm)，参阅图6中支路2～5(箭头2～5)。同时在DCNN中还引出了一条支路，该支路的特征图大小也是输入图像的1/16，参阅图6支路1(箭头1)，并进行一次组合操作(AvgPool，Conv，BatchNorm，ReLU)至特征图大小为1×1，接着将该支路的特征图上采样至特征图大小为原图大小的1/16，并与经过空洞卷积和BatchNormalization操作后的特征图进行拼接，即在不同视野下得到的特征图进行拼接，参阅图6中Encoder中的
Figure BDA0002344177310000081
接着将拼接的特征图经过一次组合操作(Conv，BatchNorm，ReLU，Dropout)，最后直接4倍上采样至原图大小的1/4，从而形成Encoder的特征图F1。同时，在DCNN提取特征图F1的阶段同时提取出了low level的特征图，该特征图大小为原图大小的1/4，参阅图6中支路6(箭头6)，并且将该low level特征经过一次组合操作(Conv，BatchNorm，ReLU)后和F1进行拼接形成特征图F2，接着将F2经过两次组合操作(Conv，BatchNorm，ReLU)和一次组合操作(Dropout，Conv)，最后将得到的特征图直接上采样4倍至原图大小从而输出分割图，即Decoder。
为了得到更高的分割精度，一些实施例中将特征提取网络DenseNet69网络作为DCNN模块(图6的DCNN模块)，得到该特征提取网络对于分割问题的解决能力。
DenseNet69网络是对在分类问题上性能表现较为优异的DenseNet121网络进行改进得到的，对DenseNet121根据下述的四个策略进行改进：
(i)为了保持DeepLabv3+原网络中的Encoder-Decoder结构，首先在DenseNet121中的第3个Dense Block后面引出了低阶特征图；
(ii)为了得到16倍的下采样结构作为Encoder的输出，在DenseNet121尾端加入了一个Transition Layer；
(iii)为了进一步解决由于DenseNet自身存在的占用显存严重的情况，大幅度削减了DenseNet121的层数，即使用的Dense Block中均含有8个Dense Layer，参阅图7，图7显示了Dense Block的内部结构；
(iv)为了平衡由于策略(iii)中大幅度削减层数带来的特征提取能力下降的问题，去掉DenseNet121中的所有Transition Layer，而将新提出的Tran-Expansion Layer嵌入到其中，参阅图8，图8左侧为原DenseNet121中使用的Transition Layer的结构，图8右侧是本发明新提出的Tran-Expansion Layer(TE Layer)，可见与Transition Layer不同的是，TE Layer是将特征图数根据一个新的超参数θ(膨胀系数)进行控制，因此本实施例中θ是一个大于1的正常数，例如对于含有ξ层的输入特征图，输出特征图为θ×ξ层(例如输入层数ξ＝3，输出层数＝3×θ，即把输入层数扩张为θ倍)，从而达到平衡策略(iii)中由于层数的大幅度削减导致的特征提取性能下降的问题；
图7、图8是两个结构的放大图；图7输出接图8右侧TE Layer，图8中左侧画出Transition Layer的目的是为了对比原来的Transition Layer和现在的TE Layer，实际本发明中左侧的Transition Layer不存在。
根据最终网络的层数，将改进的DenseNet121命名为DenseNet69，将其作为DeepLabv3+的DCNN模块，在一些实施例中可以在DenseNet69后加入一个组合操作(Conv，BatchNorm，ReLU)。整体的改进的DeepLabv3+结构参阅图9，对于策略(i)的具体实现，参阅图9中DenseBlock3后引出的箭头A，此时为low level的特征图并且大小为输入图像大小的1/4；对于策略(ii)的具体实现，参阅图9中TE Layer 4后引出的箭头B，此时为high level特征图，并且特征图大小为输入图像大小的1/16，并可以看观察到，我们对DenseNet69输出的特征图又进行了一次组合操作(Conv，BatchNorm，ReLU)，其中Conv的目的是对DenseNet输出的特征图层数再一次的进行压缩，BatchNorm以及ReLU是为了加快该层收敛速度以及更好的学习特征而添加；对于策略(iii)的具体实现，参阅图9中Dense Block共有4个，并且每个Dense Block内含有8个Dense layer；对于策略(iv)的具体实现，参阅图9中的4个TELayer。整体的特征提取过程已在DeepLabv3+中叙述，因此这里只将DenseNet69作为DCNN时初步提取特征的过程做一解释：参阅图9，输入图片首先经过Conv层进行特征的提取，接着提取到的特征C进入Dense Block1，Dense Block1的内部结构参阅图7，可以看到特征C首先进入到Dense Layer1，即经过两次组合操作(BatchNorm，ReLU，Conv)，接着将Dense Layer1的输出和特征C进行拼接，参阅图7中第一个
Figure BDA0002344177310000091
将拼接后的特征作为Dense Layer2的输入，同理Dense Layer3是将Dense Layer1、Dense Layer2的输出与特征C的拼接整体作为其输入，以此类推其余的Dense Layer，注意图像经过Dense Block后的大小是不发生改变的。结合图9，可见Dense Block1的输出特征图接着进入到了TE Layer1，参阅图8查看TE Layer的内部结构图，图8右侧为本方法新提出的膨胀结构，可知特征图进入TE Layer后要经过一次组合操作(BatchNorm，ReLU，Conv，AvgPooling)，此时输出的特征图为输入特征图大小的1/2，并且可以看到TE Layer中将Conv输出通道数进行膨胀，用来弥补层数的大幅度减少导致的特征提取能力下降的不足，如策略(iv)所述。同理其余的Dense Block和TE Layer，注意在Dense Block3后还有一次组合操作(BatchNorm，ReLU)用于进一步减轻过拟合和防止梯度消失现象的出现。
利用训练集中每种环境下的船舶图像分别进行训练，得到不同环境下船舶图像分别对应的训练好的船舶提取器；
在进行船舶提取的实际应用时，按照训练好的干扰因素判别器判别结果将图像输入各自对应的训练好的船舶提取器进行船舶提取。
实施例
实施例1：
本实施例以正常海天背景下的船舶图像、海雾下的船舶图像为例对本发明进行说明，
具体是按照以下步骤进行的：
一、数据准备阶段
本实施例1所采用的所有用于训练和测试的数据来源于SMD、MarDCT(该数据集为本领域技术人员所公知，本发明实施例对此不做赘述)和网络。并对所有数据利用LabelMe进行人了人工标注。之后称重新整理的船舶数据库为Mari-Data。由于本发明需要对干扰因子判别器和船舶提取器分别进行训练，因此训练的数据集也分为两部分。
对于干扰因子判别器的数据，本实施例只是对精度影响最为严重的海雾场景进行考虑，从而提升整体的分割精度，因此本发明的干扰因子判别器部分只需判断图片是否含有海雾，其整体结构如图2所示。从Mari-data中挑取了1669张由正常海天场景和海雾场景构成的图片库训练干扰因子判别器。对于船舶提取器的数据，同样本发明只需训练两种情况下的船舶提取器模型——海雾和正常海天背景。最终从Mari-data中挑取了972张图片用于训练正常海天背景下的船舶提取器，挑取了745张图片用于训练海雾场景下的船舶提取器。
1)LabelMe：是一个专门用于图像分割的标注软件，图像经过该软件标注后会生成JSON文件，通过读取该JSON文件来使用相应的标注信息。
二、训练阶段
1)对于干扰因子判别器的训练过程重复步骤b1、b2。
对干扰因素判别器进行训练采用的是基于深度学习的判别网络(如SqueezeNet)，给出图像中是否含有海雾的判断结果，具体步骤如下：
步骤b1：初始化SqueezeNet网络，设置所需的判断类别数class＝2(正常海天背景和含有海雾的海天背景)，最大迭代次数Epoch＝500，批量训练大小Batch-Size＝32，初始学习率initial_lr＝0.001，选择引入了梯度一阶矩估计的Adam优化算法作为优化器，权值衰减系数L2＝0.00001，损失函数选择的是交叉熵损失函数Cross_Entropy_loss。
步骤b2：将步骤a所得到的图像作为SqueezeNet网络的输入，开始训练干扰因子判别器。训练整体上为迭代过程，每一次迭代均要首先计算该次正向传播的交叉熵损失值，秉着最小化交叉熵损失值的目标接着反向更新网络的所有参数。
2)对于船舶提取器的训练过程重复步骤c1、c2。
对船舶提取器进行针对性的训练采用的是基于深度学习的分割网络(这里同时训练原版DeepLabv3+以及改进的I-DeepLabv3+)进行船舶的分割，给出图像中含有的所有船舶的分割结果，具体步骤如下：
步骤c1：初始化DeepLabv3+网络和改进的I-DeepLabv3+网络，最大迭代次数Epoch＝900，批量训练大小由于网络的不同以及硬件的限制，因此对于DeepLabv3+设置的是Batch-Size＝20，对于I-DeepLabv3+设置的是Batch-Size＝5，并且对于I-DeepLabv3+我们使用了PyTorch自带的checkpoint函数来优化内存的使用，但是这会带来10％～20％的额外执行时间。为了在训练初期有着较快的收敛速度，设置初始学习率initial_lr＝0.01，并且在后期训练的过程中为了使得损失进一步降低，选择在300epoch处将学习率设置为0.008，在600epoch处将学习率设置为0.005，在800epoch处将学习率设置为0.002，选择引入了梯度一阶矩估计的Adam优化算法作为优化器，权值衰减系数L2＝0.0001，损失函数选择的是交叉熵损失函数BCE_loss。
步骤c2：为了得到最好的提取结果，我们分别提取出经过步骤a后的所有图像中含有海雾的所有图像作为DeepLabv3+网络以及I-DeepLabv3+网络的输入用于训练海雾场景下的船舶提取器A1，A2，提取出经过步骤a后的所有图像中正常海天背景下的所有图像作为DeepLabv3+网络以及I-DeepLabv3+网络的输入用于训练正常海天背景景下的船舶提取器B1，B2。训练整体上为迭代过程，每一次迭代均要首先计算该次正向传播的交叉熵损失值，秉着最小化交叉熵损失值的目标接着反向更新网络的所有参数。
三、测试阶段
对于测试阶段的过程重复步骤一～步骤三。
步骤一：对测试图片重复步骤a；
步骤二：将经过步骤一的测试图像输入到经过步骤b1、b2训练好的SqueezeNet网络中进型判断，并最终判断结果以概率的形式给出；
步骤三：在步骤二结果的基础上根据概率值的大小分别输入经过步骤c1、c2训练好的不同的船舶提取器中进行船舶的提取，即如果概率值靠近1，则说明是正常海天背景下的图片，只需输入到船舶提取器B1或B2中进行船舶的提取，如果概率值靠近0，则说明是含有海雾的图片，只需输入到船舶提取器A1或A2中进行船舶的提取。所以经过组合，船舶提取器的构成可以为：A1+B1、A1+B2、A2+B1、A2+B2。
本发明实施例采用A1+B1、A1+B2、A2+B2，注意实验过程中我们舍掉了A2+B1。并且由于步骤二中的概率值不属于判断值，因此，为了让步骤二的结果具有判断性，我们为其设定一个阈值Γ，即当概率值大于等于该阈值Γ时则认为输入图片为正常海天背景下的图片，否则为具有海雾的图片。为了得到最优的分割结果，我们选取了15组不同的Γ，并且这里选取MIoU(MIoU为本领域技术人员所公知的分割指标，本发明实施例对此不做赘述)以及Avg最为评价标准，因为MIoU在图像分割领域被认为是最具有代表性的评价标准，Avg也恰能综合的反映整体四个评价指标的性能。实验结果1如表1所示。从表1中可以观察到随着的Γ不断增大，A2+B2以及A1+B2的最优Γ值逐渐在变小，究其原因，在这里给出三点：(i)在数据准备阶段可以看出海雾图片是要少于正常海天图片224张的，因此网络对于海雾图片的泛化能力肯定是逊色于正常海天背景的图片的；(ii)在步骤c1中我们知道了由于硬件的限制，我们对于I-DeepLabv3+的batch size设置的比较小，这在一定程度上会导致训练过程中时不时的出现震荡从而致使收敛速度变慢；(iii)海雾的多样性，例如海雾的浓，轻，距离观察者的远与近等等会导致网络对于海雾图片的泛化能力有所下降，因此对于海雾模型的训练更加困难。综上所述，只能将设定为一个相对较小的值，让海雾的网络针对性的解决那些严重海雾的场合，从而提升整体的分割精度，实验结果也表明阈值阈值Γ逐渐减小时分割效果越来越优异，即证明了我们的想法是正确的。也正是因为这些原因，我们也考虑到实验的意义与时间的限制最终舍弃了A2+B1版本。并且从表1中可以看出，如果以Avg为评价标准，三种版本的精度是逐渐在上升的，并且最好的为OurApproachA1+B2＝88.96％。最好的性能我们用黑色粗体呈现。
表1
Figure BDA0002344177310000121
Figure BDA0002344177310000131
实验结果2如表2所示，该结果展示了本发明的最终模型在图像分割领域的四个指标下(PA、MPA、MIoU、FWIoU为本领域技术人员所公知的分割指标，本发明实施例对此不做赘述)，本算法得到的分割效果明显比DeepLabv3+更适用于海天背景的复杂场合。表2表示五个指标(除Time)，我们的三个版本分割结果均要优于目前对于不同场合分割性能最为优异的DeepLabv3+。对于时间Time，我们的版本也只是相对于DeepLabv3+多耗时10～20ms，但同样也属于实时分割算法。对于多耗时间，从以下3个方面进行解释：(i)首先要注意到我们算法的框架是有两部分构成的，因此多耗时问题是不可避免的，但我们在实现过程中也尝试去尽量缩小多耗的时间，例如我们前端选择的分类网络是一个轻量级的网络SqueezeNet；(ii)请注意我们在I-DeepLabv3+中使用了checkpoint函数来优化内存的使用，这会带来10％～20％的额外执行时间，因此当硬件条件允许，拿掉checkpoint函数，多耗时间问题会进一步优化；(iii)多耗时问题同样可以采用现有的网络瘦身Network Slimming算法来解决。
表2
Figure BDA0002344177310000132
1)Avg：
Figure BDA0002344177310000133
2)Time：对于一张图片进行处理所耗费的时间。
实验分割结果我们取出了9张进行对比展示，参阅图10。可见我们提出的新算法相对于DeepLabv3+时更适用于海天背景的。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于联合图像信息的海天背景下船舶图像分割方法，其特征在于，包括以下步骤：
步骤1：对图像进行预处理，包括归一化操作和图像伸缩操作；
步骤2：采用基于神经网络的分类网络构建干扰因素判别器，利用包含不同环境背景下的船舶图像的训练集对干扰因素判别器进行训练，得到训练好的干扰因素判别器；
步骤3：将步骤1得到的图像输入步骤2得到的训练好的干扰因素判别器中，判别为不同环境背景下的船舶图像；
步骤4：采用基于神经网络的分割网络构建不同环境下的船舶提取器，利用训练集中每种环境下的船舶图像分别对船舶提取器进行针对性的训练，得到不同环境下船舶图像分别对应的训练好的船舶提取器；
步骤5：将步骤3判别得到的不同背景下的船舶图像分别输入到对应的训练好的船舶提取器中进行船舶提取。
2.根据权利要求1所述的一种基于联合图像信息的海天背景下船舶图像分割方法，其特征在于：步骤1所述图像伸缩操作采用双线性插值方式，插值公式为：
I(m,n)＝am+bn+cmn+d
式中，m、n为像素点的坐标，a、b、c、d为四个动态确定的参数，I为经过插值得到的像素值。
3.根据权利要求1所述的一种基于联合图像信息的海天背景下船舶图像分割方法，其特征在于：步骤2所述采用基于神经网络的分类网络构建干扰因素判别器是基于SqueezeNet实现的，具体如下：
输入的图像首先经过第一个组合操作，包括Conv、ReLU、Maxpool；
接着经过Fire2至Fire9模块，并且在Fire3、Fire5后面加入MaxPool的操作，Fire9之后再经过最后的组合操作，包括Dropout，Conv，ReLU，AvgPool；
最后输出判断结果。
4.根据权利要求3所述的一种基于联合图像信息的海天背景下船舶图像分割方法，其特征在于：所述的Fire2至Fire9模块具体为：
Fire2至Fire9模块含有Squeeze Layer、Expand Layer和2个ReLU，其中Squeeze Layer执行1×1卷积过程；Expand Layer并行执行1×1的卷积和3×3的卷积过程。
5.根据权利要求1所述的一种基于联合图像信息的海天背景下船舶图像分割方法，其特征在于：步骤4所述采用基于神经网络的分割网络构建不同环境下的船舶提取器是基于DeepLabv3+实现的，具体为：
训练集中每种环境下的船舶图像首先经过DCNN网络来初步提取特征，接着将提取的特征利分成5条支路处理；
支路2至支路5进行空洞卷积操作和Batch Normalization操作；
支路1进行一次组合操作，包括：AvgPool，Conv，BatchNorm，ReLU；接着将该支路的特征图上采样至特征图大小为原图大小的1/16，并与支路2至支路5处理后的特征图进行拼接；
将拼接的特征图经过一次组合操作，包括Conv，BatchNorm，ReLU，Dropout；
最后直接4倍上采样至原图大小的1/4，从而形成Encoder的特征图F1；
在DCNN提取特征图F1的阶段同时提取出了low level的特征图，该特征图大小为原图大小的1/4，将该low level特征经过一次组合操作，包括Conv，BatchNorm，ReLU；然后和特征图F1进行拼接形成特征图F2，接着将F2经过两次Conv+BatchNorm+ReLU组合操作和一次Dropout+Conv组合操作，最后将得到的特征图直接上采样4倍至原图大小从而输出分割图。
CN201911388248.9A 2019-12-30 2019-12-30 一种基于联合图像信息的海天背景下船舶图像分割方法 Active CN111160354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911388248.9A CN111160354B (zh) 2019-12-30 2019-12-30 一种基于联合图像信息的海天背景下船舶图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911388248.9A CN111160354B (zh) 2019-12-30 2019-12-30 一种基于联合图像信息的海天背景下船舶图像分割方法

Publications (2)

Publication Number Publication Date
CN111160354A CN111160354A (zh) 2020-05-15
CN111160354B true CN111160354B (zh) 2022-06-17

Family

ID=70558957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911388248.9A Active CN111160354B (zh) 2019-12-30 2019-12-30 一种基于联合图像信息的海天背景下船舶图像分割方法

Country Status (1)

Country Link
CN (1) CN111160354B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279594A1 (en) * 2020-03-06 2021-09-09 Tencent America LLC Method and apparatus for video coding

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766155A (zh) * 2021-01-19 2021-05-07 山东华宇航天空间技术有限公司 一种基于深度学习的海水养殖区提取方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520896A (zh) * 2009-03-30 2009-09-02 中国电子科技集团公司第十研究所 利用光学遥感影像自动检测云层干扰舰船目标的方法
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
US8437509B1 (en) * 2011-11-16 2013-05-07 The United States Of America As Represented By The Secretary Of The Navy System and method for inferring vessel speed from overhead images
JP2013105392A (ja) * 2011-11-15 2013-05-30 Kanazawa Univ 運転支援システム、運転支援方法、及び、プログラム
CN104778695A (zh) * 2015-04-10 2015-07-15 哈尔滨工程大学 一种基于梯度显著性的水天线检测方法
CN105701508A (zh) * 2016-01-12 2016-06-22 西安交通大学 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN105787950A (zh) * 2016-03-24 2016-07-20 电子科技大学 一种基于行梯度累加的红外图像海天线检测算法
CN109389607A (zh) * 2018-10-12 2019-02-26 上海鹰觉科技有限公司 基于全卷积神经网络的舰船目标分割方法、***及介质
CN109800735A (zh) * 2019-01-31 2019-05-24 中国人民解放军国防科技大学 一种船目标精确检测与分割方法
CN109903303A (zh) * 2019-02-25 2019-06-18 秦皇岛燕大滨沅科技发展有限公司 一种基于卷积神经网络的船舶吃水线提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520896A (zh) * 2009-03-30 2009-09-02 中国电子科技集团公司第十研究所 利用光学遥感影像自动检测云层干扰舰船目标的方法
JP2013105392A (ja) * 2011-11-15 2013-05-30 Kanazawa Univ 運転支援システム、運転支援方法、及び、プログラム
US8437509B1 (en) * 2011-11-16 2013-05-07 The United States Of America As Represented By The Secretary Of The Navy System and method for inferring vessel speed from overhead images
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN104778695A (zh) * 2015-04-10 2015-07-15 哈尔滨工程大学 一种基于梯度显著性的水天线检测方法
CN105701508A (zh) * 2016-01-12 2016-06-22 西安交通大学 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN105787950A (zh) * 2016-03-24 2016-07-20 电子科技大学 一种基于行梯度累加的红外图像海天线检测算法
CN109389607A (zh) * 2018-10-12 2019-02-26 上海鹰觉科技有限公司 基于全卷积神经网络的舰船目标分割方法、***及介质
CN109800735A (zh) * 2019-01-31 2019-05-24 中国人民解放军国防科技大学 一种船目标精确检测与分割方法
CN109903303A (zh) * 2019-02-25 2019-06-18 秦皇岛燕大滨沅科技发展有限公司 一种基于卷积神经网络的船舶吃水线提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multiple Features Based Low-Contrast Infrared Ship Image Segmentation Using Fuzzy Inference System;Tao Wang等;《IEEE》;20141127;第1-6页 *
基于YOLO目标分割的船舶识别算法研究;徐小茹;《梧州学院学报》;20191215;第1-9页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279594A1 (en) * 2020-03-06 2021-09-09 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
CN111160354A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN111652321A (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN112950477B (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN113468996B (zh) 一种基于边缘细化的伪装物体检测方法
CN111915525A (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111553934B (zh) 一种采用多维度融合的多船舶跟踪方法
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN113222824B (zh) 一种红外图像超分辨率及小目标检测方法
CN111160354B (zh) 一种基于联合图像信息的海天背景下船舶图像分割方法
Saqib et al. Person head detection in multiple scales using deep convolutional neural networks
Li et al. Primary video object segmentation via complementary CNNs and neighborhood reversible flow
Moghimi et al. Real-time underwater image resolution enhancement using super-resolution with deep convolutional neural networks
Liu et al. Two-stage underwater object detection network using swin transformer
Liu et al. A shadow imaging bilinear model and three-branch residual network for shadow removal
Shankar et al. Comparing YOLOV3, YOLOV5 & YOLOV7 Architectures for Underwater Marine Creatures Detection
CN110942463B (zh) 一种基于生成对抗网络的视频目标分割方法
Liang et al. Coarse-to-fine foreground segmentation based on co-occurrence pixel-block and spatio-temporal attention model
CN117115632A (zh) 一种水下目标检测方法、装置、设备及介质
CN116563343A (zh) 一种基于孪生网络结构和锚框自适应思想的rgbt目标跟踪方法
CN115861810A (zh) 一种基于多头注意力和自监督学习的遥感图像变化检测方法及***
CN114998124B (zh) 面向目标检测的图像清晰化处理方法
CN116342877A (zh) 一种复杂场景下基于改进aspp和融合模块的语义分割方法
CN113222016B (zh) 一种基于高层和低层特征交叉增强的变化检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant