CN110287837A - 基于先验估计网络和空间约束混合模型的海面障碍物检测方法 - Google Patents
基于先验估计网络和空间约束混合模型的海面障碍物检测方法 Download PDFInfo
- Publication number
- CN110287837A CN110287837A CN201910519570.4A CN201910519570A CN110287837A CN 110287837 A CN110287837 A CN 110287837A CN 201910519570 A CN201910519570 A CN 201910519570A CN 110287837 A CN110287837 A CN 110287837A
- Authority
- CN
- China
- Prior art keywords
- sea
- image
- module
- prior
- mixed model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 230000004888 barrier function Effects 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 239000013535 sea water Substances 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 238000005036 potential barrier Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 238000005457 optimization Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于先验估计网络和空间约束混合模型的海面障碍物检测方法，包括以下步骤：（1）采集海面图像样本，制作先验估计网络训练样本；（2）利用训练样本对先验估计网络进行训练；（3）将待检测的海面图像作为输入，通过已训练的先验估计网络预测出图像中所有像素的类别先验概率；（4）建立空间约束混合模型，根据先验估计网络得到的类别先验概率，计算出混合模型的初始参数；（5）利用期望最大化算法（EM）对空间约束混合模型进行优化，并且得到相应的海面语义分割图像；（6）提取海面语义分割图像中的障碍物区域，实现海面障碍物检测。本发明的方法可以有效地检测出复杂背景下的海面障碍物，并且具有速度快、鲁棒性好的特点。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于先验估计网络和空间约束混合模型的海面障碍物检测方法。
背景技术
障碍物检测技术作为无人水面艇环境感知的重要组成部分，直接决定了无人艇是否能够完成作业以及安全航行。随着海洋资源探测、开发及利用的需求持续提升，无人水面艇凭借其体积小、无人员伤亡、智能化等优点，在海洋环境监测、海底测绘、海域搜救等领域发挥了十分重要的作用。无人水面艇在海上航行时，通常会受到浮标、舰船、礁石等威胁，因此研究海面障碍物检测技术有助于增强无人艇对周围环境的感知能力，并且保证其实现安全作业。
现有的无人水面艇通常采用可见光/红外相机、激光雷达、海事雷达等作为传感器来获取周围的场景信息，并且通过一定的算法对这些信息进行相应的处理，从而确定出海面障碍物的位置、大小以及种类。近些年来，随着计算机处理能力的不断提高，特别是并行计算能力的迅猛发展，使得基于可见光图像的场景感知与理解技术吸引了大量研究人员的注意。然而，现有的基于视觉的障碍物检测方法大都是围绕无人地面车来展开的，而对于海面障碍物检测的研究还不是很多，并且研究的内容还不够深入，难以应用于复杂的海洋环境。
发明内容
本发明针对现有技术的不足，提供一种基于先验估计网络和空间约束混合模型的海面障碍物检测方法，该方法可以有效地检测出复杂背景下的海面障碍物，并且具有速度快、鲁棒性好的特点。
为达到上述目的，本发明采用如下技术方案：
一种基于先验估计网络和空间约束混合模型的海面障碍物检测方法，包括以下步骤：
(1)采集海面图像样本，制作先验估计网络训练样本；
(2)利用训练样本对先验估计网络进行训练；
(3)将待检测的海面图像作为输入，通过已训练的先验估计网络预测出图像中所有像素的类别先验概率；
(4)建立空间约束混合模型，根据先验估计网络得到的类别先验概率，计算出混合模型的初始参数；
(5)利用期望最大化算法(EM)对空间约束混合模型进行优化，并且得到相应的海面语义分割图像；
(6)提取海面语义分割图像中的障碍物区域，实现海面障碍物检测。
进一步，所述步骤(1)中，利用无人水面艇搭载的相机采集N张海面彩色图像，使用标注工具对采集到的图像进行人工标注，形成先验估计网络训练集T＝{t(1)，t(2)，…，t(i)，…，t(N)}。其中，每一个训练样本t(i)由海面图像I(i)和对应的类别先验概率图构成，即由于海面图像在竖直方向上从上至下大致可以划分为天空区域、中间海岸/雾霾混合区域、海水区域，因此利用标注工具分别在海面图像的天空区域、中间海岸/雾霾混合区域以及海水区域标注出多条直线段，并且记录下所有天空类别直线段上像素点的坐标Osky＝{(r1，c1)，(r2，c2)，…，(ri，ci)，…，(rn′，cn′)}sky、中间海岸/雾霾混合类别直线段上像素点的坐标以及所有海水类别直线段上像素点的坐标假设海面图像每一个像素的特征由颜色特征(c1，c2，c3)和位置特征(r，c)构成，并且根据记录下的天空类别坐标集Osky对应的像素特征，计算出天空类别的均值msky和协方差矩阵Csky，利用同样的方法可得中间海岸/雾霾混合类别的均值mmid和协方差矩阵Cmid以及海水类别的均值msea和协方差矩阵Csea。此外，利用3个高斯分布和1个均匀分布来分别描述天空区域、中间海岸/雾霾混合区域、海水区域以及奇异值区域(潜在的障碍物区域)。于是，每一幅海面图像I对应的类别先验概率(M为图像I中像素的个数)可以利用以下公式进行计算：
上式中，i表示图像中第i个像素，yi表示图像中像素i的特征向量(也称为观测数据)，主要由像素的颜色特征(c1，c2，c3)和坐标(r，c)组成；表示图像中像素i的类别先验分布(即其中，表示第i个像素的类别xi为k时的先验概率，假设k＝1表示天空类别，k＝2表示中间海岸/雾霾混合类别，k＝3表示海水类别，k＝4表示障碍物类别)；N(·|m，C)表示均值为m而协方差为C的高斯分布函数，U(·)＝ε表示均匀分布函数(其中，ε为一个极小的正值超参数)；αik表示图像中第i个像素属于类别k的权重，其具体公式如下所示：
其中，ε为一个极小的正值超参数。
进一步，所述步骤(2)中，先验估计网络采用对称的编码-解码结构(即Encoder-Decoder结构)。在Encoder阶段，网络由初始模块(InitialBlock)、4个连续的分解卷积模块(Block1)、6个连续的膨胀卷积模块(Block2)组成，并且在Initial Block和Block1之间、Block1和Block2之间均存在一个下采样模块(Down-sampling Block)。在Decoder阶段，网络由Block3和Block4组成。其中，Block3的结构为：1个上采样模块(Up-sampling Block)-2个连续的标准残差模块-双注意模块(Dual Attention)；而Block4的结构为：1个数据依赖的上采样模块(DUpsampling Block)-Softmax层。网络所使用的分解卷积模块(Factorized)和膨胀卷积模块(Dilated)都是以标准的残差模块(Bottleneck)为基础，不同之处在于：分解卷积将残差模块中的3×3卷积层替换成了一个3×1卷积层和一个1×3卷积层，而膨胀卷积模块则是将残差模块中的3×3卷积核替换成了一个3×3的膨胀卷积核。双注意模块(DualAttention)由位置注意模块(position attention module)和通道注意模块(channel attention module)组成。其中，位置注意模块选择性地通过所有位置的加权求和聚集每个位置的特征；通道注意模块通过所有通道的featuremap中的特征选择性地强调某个特征图；最后将两种注意模块的输出进行求和得到最后的特征表达。先验估计网络的输入是海面图像I，而输出的是相应的类别先验概率图π*，并且损失函数(lossfunction)为：
上式中，为真实的类别先验概率图Ground Truth，π*为先验估计网络预测的类别先验概率图，M为先类别验概率图的所有像素的个数。
进一步，所述步骤(4)中，假设混合模型由3个高斯分布和1个均匀分布组成，其中3个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域，而均匀分布用于描述潜在的障碍物区域(奇异值区域)。于是，图像中第i个像素的特征向量yi的概率可以表示为：
上式中，N(·|m，C)表示均值为m而协方差为C的高斯分布函数，U(·)＝ε表示均匀分布函数(其中，ε为一个极小的正值超参数)；yi表示图像中第i个像素的特征向量(也称为观测数据)，主要由像素的颜色特征(c1，c2，c3)和坐标(r，c)组成；θ表示模型中所有高斯分布的参数(即θ＝{mk，Ck}k＝1，2，3)；π表示图像中所有像素的类别先验分布(即π＝{πi}i＝1：M，其中，M为图像中像素的个数)，πi表示第i个像素的类别先验分布(即πi＝[πi1，…，πik，…，πi4]，其中，πik＝p(xi＝k)表示第i个像素的类别xi为k时的概率，假设k＝1表示天空类别，k＝2表示中间海岸/雾霾混合类别，k＝3表示海水类别，k＝4表示障碍物类别)；
为了克服海面图像中局部噪声对图像分割造成的不利影响，可以通过引入马尔可夫随机场(Markov Random Field，MRF)来对混合模型进行空间约束，即假设图像中所有像素的类别先验分布π＝{πi}i＝1：M以及后验分布P＝{pi}i＝1：M是关于邻域***的一个MRF。根据Besag方法，先验分布π的联合概率分布可以近似为：
上式中，Ni为像素i的邻域，为邻域Ni的类别先验分布：
其中，λij为固定正值权重，当像素j与距离像素i越小，λij越大，并且∑jλij＝1。
此外，MRF中的势能函数(即)可以定义为：
上式中，为KL散度项，H(πi)为熵项。
而后验分布P＝{pi}i＝1：M的联合概率分布为：
其中，像素i的后验分布pi＝{pik}k＝1：4的计算公式如下：
联立公式(4)、(5)、(7)和(8)，可以得到基于高斯和均匀混合分布的语义分割模型的联合概率密度函数：
上式中，由于和中存在耦合关系，因此难以直接对其进行模型参数估计。为了解决该问题，可以引入辅助类别先验分布集s＝{si}i＝1：M和辅助后验分布集q＝{qi}i＝1：M到上式中，并且对等式两边同时取自然对数运算，从而得到空间约束混合模型的惩罚对数似然函数：
上式中，ο表示Hadamard积运算；并且当si≡πi和qi≡pi时，可以将其化简为公式(10)。此外，根据最大后验准则，可以通过EM算法最大化上述公式，从而实现对混合模型的优化。
混合模型参数的初始化：
通过先验估计网络可以得到一个类别先验概率图π*，由此可以计算出混合模型的初始高斯参数θ＝{mk，Ck}k＝1，2，3：
此外初始的类别先验分布(即π＝{πi}i＝1：M)也可由先验估计网络预测的类别先验概率图π*直接赋值获得。
进一步，所述步骤(5)中，期望最大化算法(EM)的具体步骤为：
在E-step：
①将θ、π代入公式(9)，计算所有超像素的后验分布P＝{pi}i＝1：M。
②根据下述公式，计算辅助类别先验分布集s＝{si}i＝1：M；
上式中，表示Hadamard积运算，*表示卷积运算，为归一化常数。
③计算辅助后验分布集q＝{qi}i＝1：M，计算公式如下：
上式中，为归一化常数。
在M-step：
④更新条件类别先验分布集，计算公式如下：
⑤更新正态分布参数集，计算公式如下：
⑥判断EM算法是否达到迭代终止条件；如果达到，则停止迭代，否则，则继续①～⑥。其中，迭代终止条件如下：
根据EM算法优化后的后验分布集q＝{qi}i＝1：M，并利用公式(20)得到海面语义分割图。
进一步，所述步骤(6)中，在语义分割图像上，可以将海水区域外的其它区域都看作障碍物区域，只有海水区域为无人水面艇可行驶的区域。对于完全位于海水区域内的海面小障碍物，利用目标框对其进行标识。
与现有技术相比，本发明的有益效果为：
首先，本发明利用先验估计网络对海面图像的每一个像素的类别先验概率进行了估计，并结合像素的特征向量对空间约束混合模型的高斯参数进行了初始化，因此可以较大程度地避免空间约束混合模型在EM算法优化时陷入局部最优解，从而提高了海水区域检测的准确性。其次，本发明所设计的海面障碍物检测方法具有结构简单，速度较快的特点，易于实际工程部署。
附图说明
图1为本发明方法的流程图。
图2为本发明先验估计网络结构图。
图3为本发明先验估计网络配置图。
图4为本发明先验估计网络所使用的初始模块(Initial Block)结构图。
图5为本发明先验估计网络所使用的标准残差模块(Bottleneck Block)结构图。
图6为本发明先验估计网络所使用的分解卷积模块(Factorized Block)结构图。
图7为本发明先验估计网络所使用的膨胀卷积模块(Dilated Block)结构图。
图8为本发明先验估计网络所使用的下采样模块(Down-sampling Block)结构图。
图9为本发明先验估计网络所使用的上采样模块(Up-sampling Block)结构图。
图10为本发明先验估计网络所使用的数据依赖的上采样模块(DUpsampling)结构图。
图11为本发明先验估计网络所使用的双注意模块(DualAttention)结构图，其中(a)为由位置注意模块(position attention module)结构图，(b)为通道注意模块(channel attention module)结构图。
图12为本发明先验估计网络的一个训练样本标注图。
图13为本发明方法一个实施例的示意图，其中(a)为实施例待检测图；(b)为实施例先验估计网络预测的天空类别先验概率图；(c)为实施例先验估计网络预测的中间海岸/雾霾混合类别先验概率图；(d)为实施例先验估计网络预测的海水类别先验概率图；(e)为实施例先验估计网络预测的障碍物类别先验概率图；(f)为实施例语义分割结果图；(g)为实施例提取的障碍物掩膜图；(h)为实施例障碍物检测结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清晰明了，下面结合附图，对本发明的具体实施例作详细说明。以下实施例中所涉及的方法或步骤，如无特别说明，则均为本技术领域的常规方法或步骤，本领域技术人员均能根据具体应用场景做出常规选择或者适应性调整。以下实施例采用python编程语言、pytorch框架实现。
如图1所示，一种基于先验估计网络和空间约束混合模型的海面障碍物检测方法，具体实现步骤如下：
(1)采集海面图像样本，制作先验估计网络训练样本；
利用无人水面艇搭载的相机采集3000张海面彩色图像，使用标注工具对采集到的图像进行人工标注，形成训练集(共2000个样本)、验证集(共500个样本)和测试集(共500个样本)。其中，每一个样本t(i)由海面图像I(i)和对应的类别先验概率图构成，即 由于海面图像在竖直方向上从上至下大致可以划分为天空区域、中间海岸/雾霾混合区域、海水区域，因此利用标注工具分别在海面图像的天空区域、中间海岸/雾霾混合区域以及海水区域标注出多条直线段，并且记录下所有天空类别直线段上像素点的坐标Osky＝{(r1，c1)，(r2，c2)，…，(ri，ci)，…，(rn′，cn′)}sky、中间海岸/雾霾混合类别直线段上像素点的坐标以及所有海水类别直线段上像素点的坐标如图12所示。假设海面图像每一个像素的特征由颜色特征(c1，c2，c3)和位置特征(r，c)构成，并且根据记录下的天空类别坐标集Osky对应的像素特征，计算出天空类别的均值msky和协方差矩阵Csky，利用同样的方法可得中间海岸/雾霾混合类别的均值mmid和协方差矩阵Cmid以及海水类别的均值msea和协方差矩阵Csea。此外，利用3个高斯分布和1个均匀分布来分别描述天空区域、中间海岸/雾霾混合区域、海水区域以及奇异值区域(潜在的障碍物区域)。于是，每一幅海面图像I对应的类别先验概率(M为图像I中像素的个数)可以利用以下公式进行计算：
上式中，i表示图像中第i个像素，yi表示图像中像素i的特征向量(也称为观测数据)，主要由像素的颜色特征(c1，c2，c3)和坐标(r，c)组成；表示图像中像素i的类别先验分布(即其中，表示第i个像素的类别xi为k时的先验概率，假设k＝1表示天空类别，k＝2表示中间海岸/雾霾混合类别，k＝3表示海水类别，k＝4表示障碍物类别)；N(·|m，C)表示均值为m而协方差为C的高斯分布函数，U(·)＝ε表示均匀分布函数(其中，ε为一个极小的正值超参数；本实施例中，ε＝1×10-15)；αik表示图像中第i个像素属于类别k的权重，其具体公式如下所示：
其中，ε为一个极小的正值超参数(本实施例中，ε＝1×10-15)。
为了减小后续空间约束混合模型优化的时间复杂度，将每一个样本t(i)的海面图像I(i)和对应的类别先验概率图都缩放至64×64。
(2)利用训练样本对先验估计网络进行训练；
如图2和图3所示，先验估计网络采用对称的编码-解码结构(即Encoder-Decoder结构)。在Encoder阶段，网络由初始模块(InitialBlock)、4个连续的分解卷积模块(Block1)、6个连续的膨胀卷积模块(Block2)组成，并且在Initial Block和Block1之间、Block1和Block2之间均存在一个下采样模块(Down-sampling Block)。在Decoder阶段，网络由Block3和Block4组成。其中，Block3的结构为：1个上采样模块(Up-sampling Block)-2个连续的标准残差模块-双注意模块(Dual Attention)；而Block4的结构为：1个数据依赖的上采样模块(DUpsampling Block)-Softmax层。
初始模块(Initial Block)的结构如图4所示。网络所使用的分解卷积模块(Factorized)和膨胀卷积模块(Dilated)都是以标准的残差模块(Bottleneck，如图5所示)为基础，不同之处在于：分解卷积将残差模块中的3×3卷积层替换成了一个3×1卷积层和一个1×3卷积层(如图6所示)，而膨胀卷积模块则是将残差模块中的3×3卷积核替换成了一个3×3的膨胀卷积核(如图7所示)。上采样模块和下采样模块的结构分别如图8、图9所示。图10为数据依赖的上采样模块的结构图。双注意模块(Dual Attention)由位置注意模块(position attentionmodule)和通道注意模块(channel attentionmodule)组成，如图11所示。其中，位置注意模块选择性地通过所有位置的加权求和聚集每个位置的特征；通道注意模块通过所有通道的featuremap中的特征选择性地强调某个特征图；最后将两种注意模块的输出进行求和得到最后的特征表达。先验估计网络的输入是海面图像I，而输出的是相应的类别先验概率图π*，并且损失函数(loss function)为：
上式中，为真实的类别先验概率图Ground Truth，π*为先验估计网络预测的类别先验概率图，M为先类别验概率图的所有像素的个数。
(3)将待检测的海面图像作为输入，通过已训练的先验估计网络预测出图像中所有像素的类别先验概率；
如图13a所示为本实施例待检测海面图像，所用图片主要包括海岸、障碍物浮标、海浪杂波等。图13b、图13c、图13d以及图13e分别为本实施例的先验估计网络预测的天空类别、中间海岸/雾霾混合类别、海水类别以及障碍物类别的先验概率图。
(4)建立空间约束混合模型，根据先验估计网络得到的类别先验概率，计算出混合模型的初始参数；
假设混合模型由3个高斯分布和1个均匀分布组成，其中3个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域，而均匀分布用于描述潜在的障碍物区域(奇异值区域)。此外，通过引入马尔可夫随机场(MarkovRandomField，MRF)来对混合模型进行空间约束，即假设图像中所有像素的类别先验分布π＝{πi}i＝1：M以及后验分布P＝{pi}i＝1：M是关于邻域***的一个MRF。通过推导，最终得到空间约束混合模型的惩罚对数似然函数：
混合模型参数的初始化：
通过先验估计网络可以得到一个类别先验概率图π*，由此可以计算出混合模型的初始高斯参数θ＝{mk，Ck}k＝1，2，3：
此外初始的类别先验分布(即π＝{πi}i＝1：M)也可由先验估计网络预测的类别先验概率图π*直接赋值获得。本实施例中，均匀分布函数U(·)＝ε＝1×10-15。
(5)利用期望最大化算法(EM)对空间约束混合模型进行优化，并且得到相应的海面语义分割图像；
空间约束混合模型在EM算法优化后，可以得到后验分布集q＝{qi}i＝1：M，利用公式获得如图13f所示的实施例语义分割结果。
(6)提取海面语义分割图像中的障碍物区域，实现海面障碍物检测。
图13g为本实施例提取的障碍物掩膜图；图13h为本实施例障碍物检测结果图。
Claims (4)
1.一种基于先验估计网络和空间约束混合模型的海面障碍物检测方法，其特征在于，包括以下步骤：
(1)采集海面图像样本，制作先验估计网络训练样本；
(2)利用训练样本对先验估计网络进行训练；
(3)将待检测的海面图像作为输入，通过已训练的先验估计网络预测出图像中所有像素的类别先验概率；
(4)建立空间约束混合模型，根据先验估计网络得到的类别先验概率，计算出混合模型的初始参数；
(5)利用期望最大化算法对空间约束混合模型进行优化，并且得到相应的海面语义分割图像；
(6)提取海面语义分割图像中的障碍物区域，实现海面障碍物检测。
2.根据权利要求1所述的基于先验估计网络和空间约束混合模型的海面障碍物检测方法，其特征在于，所述步骤(1)中，利用无人水面艇搭载的相机采集N张海面彩色图像，使用标注工具对采集到的图像进行人工标注，形成先验估计网络训练集T＝{t(1),t(2),…,t(i),…,t(N)}；其中，每一个训练样本t(i)由海面图像I(i)和对应的类别先验概率图构成，即由于海面图像在竖直方向上从上至下大致划分为天空区域、中间海岸/雾霾混合区域、海水区域，因此利用标注工具分别在海面图像的天空区域、中间海岸/雾霾混合区域以及海水区域标注出多条直线段，并且记录下所有天空类别直线段上像素点的坐标Osky＝{(r1,c1),(r2,c2),…,(ri,ci),…,(rn′,cn′)}sky、中间海岸/雾霾混合类别直线段上像素点的坐标以及所有海水类别直线段上像素点的坐标假设海面图像每一个像素的特征由颜色特征(c1,c2,c3)和位置特征(r,c)构成，并且根据记录下的天空类别坐标集Osky对应的像素特征，计算出天空类别的均值msky和协方差矩阵Csky，利用同样的方法得到中间海岸/雾霾混合类别的均值mmid和协方差矩阵Cmid以及海水类别的均值msea和协方差矩阵Csea；此外，利用3个高斯分布和1个均匀分布来分别描述天空区域、中间海岸/雾霾混合区域、海水区域以及奇异值区域即潜在的障碍物区域；于是，每一幅海面图像I对应的类别先验概率M为图像I中像素的个数，利用以下公式进行计算：
上式中，i表示图像中第i个像素，yi表示图像中像素i的特征向量，也称为观测数据，主要由像素的颜色特征(c1,c2,c3)和坐标(r,c)组成；表示图像中像素i的类别先验分布，即其中，表示第i个像素的类别xi为k时的先验概率，假设k＝1表示天空类别，k＝2表示中间海岸/雾霾混合类别，k＝3表示海水类别，k＝4表示障碍物类别；N(·|m，C)表示均值为m而协方差为C的高斯分布函数，U(·)＝ε表示均匀分布函数，其中，ε为一个极小的正值超参数；αik表示图像中第i个像素属于类别k的权重，其具体公式如下所示：
其中，ε为一个极小的正值超参数。
3.根据权利要求1所述的基于先验估计网络和空间约束混合模型的海面障碍物检测方法，其特征在于，所述步骤(2)中，先验估计网络采用对称的编码-解码结构，即Encoder-Decoder结构；在Encoder阶段，网络由初始模块InitialBlock、4个连续的分解卷积模块Block1、6个连续的膨胀卷积模块Block2组成，并且在Initial Block和Block1之间、Block1和Block2之间均存在一个下采样模块Down-sampling Block；在Decoder阶段，网络由Block3和Block4组成；其中，Block3的结构为：1个上采样模块Up-sampling Block-2个连续的标准残差模块-双注意模块Dual Attention；而Block4的结构为：1个数据依赖的上采样模块DUpsampling Block-Softmax层；网络所使用的分解卷积模块Factorized和膨胀卷积模块Dilated都是以标准的残差模块Bottleneck为基础，不同之处在于：分解卷积将残差模块中的3×3卷积层替换成了一个3×1卷积层和一个1×3卷积层，而膨胀卷积模块则是将残差模块中的3×3卷积核替换成了一个3×3的膨胀卷积核；双注意模块Dual Attention由位置注意模块position attention module和通道注意模块channel attention module组成；其中，位置注意模块选择性地通过所有位置的加权求和聚集每个位置的特征；通道注意模块通过所有通道的feature map中的特征选择性地强调某个特征图；最后将两种注意模块的输出进行求和得到最后的特征表达；先验估计网络的输入是海面图像I，而输出的是相应的类别先验概率图π*，并且损失函数loss function为：
上式中，为真实的类别先验概率图Ground Truth，π*为先验估计网络预测的类别先验概率图，M为先类别验概率图的所有像素的个数。
4.根据权利要求1所述的基于先验估计网络和空间约束混合模型的海面障碍物检测方法，其特征在于，所述步骤(4)中，假设混合模型由3个高斯分布和1个均匀分布组成，其中3个高斯分布分别用于描述描述天空、雾霾/海岸混合区域、海水区域，而均匀分布用于描述潜在的障碍物区域即奇异值区域；此外，通过引入马尔可夫随机场MRF对混合模型进行空间约束，即假设图像中所有像素的类别先验分布π＝{πi}i＝1:M以及后验分布P＝{pi}i＝1:M是关于邻域***的一个MRF；通过推导，最终得到空间约束混合模型的惩罚对数似然函数：
混合模型参数的初始化：
通过先验估计网络得到一个类别先验概率图π*，由此计算出混合模型的初始高斯参数θ＝{mk，Ck}k＝1，2，3：
此外初始的类别先验分布，即π＝{πi}i＝1:M也由先验估计网络预测的类别先验概率图π*直接赋值获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910519570.4A CN110287837A (zh) | 2019-06-17 | 2019-06-17 | 基于先验估计网络和空间约束混合模型的海面障碍物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910519570.4A CN110287837A (zh) | 2019-06-17 | 2019-06-17 | 基于先验估计网络和空间约束混合模型的海面障碍物检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110287837A true CN110287837A (zh) | 2019-09-27 |
Family
ID=68004673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910519570.4A Pending CN110287837A (zh) | 2019-06-17 | 2019-06-17 | 基于先验估计网络和空间约束混合模型的海面障碍物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287837A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989636A (zh) * | 2020-02-26 | 2020-04-10 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN111239717A (zh) * | 2020-01-22 | 2020-06-05 | 南京甄视智能科技有限公司 | 一种基于x波段雷达的水面障碍物检测方法 |
| CN111695570A (zh) * | 2020-05-19 | 2020-09-22 | 广东石油化工学院 | 一种基于变分原型推理的小样本下语义分割方法 |
| CN111860211A (zh) * | 2020-06-29 | 2020-10-30 | 李利明 | 餐具和参照物识别方法、装置及存储介质 |
| CN112348293A (zh) * | 2021-01-07 | 2021-02-09 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN113139549A (zh) * | 2021-03-25 | 2021-07-20 | 北京化工大学 | 一种基于多任务学习的参数自适应全景分割方法 |
| CN113344935A (zh) * | 2021-06-30 | 2021-09-03 | 山东建筑大学 | 基于多尺度难度感知的图像分割方法及*** |
| CN114021285A (zh) * | 2021-11-17 | 2022-02-08 | 上海大学 | 基于相互局部对抗迁移学习的旋转机械故障诊断方法 |
| CN115144411A (zh) * | 2022-09-05 | 2022-10-04 | 国家卫星海洋应用中心 | 基于卫星散射计的海冰检测的方法、装置、设备和介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537384A (zh) * | 2015-01-21 | 2015-04-22 | 西安电子科技大学 | 一种结合似然比判决的sar目标鉴别方法 |
| CN107808386A (zh) * | 2017-09-26 | 2018-03-16 | 上海大学 | 一种基于图像语义分割的海天线检测方法 |
| US20180231871A1 (en) * | 2016-06-27 | 2018-08-16 | Zhejiang Gongshang University | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF |
| CN108764027A (zh) * | 2018-04-13 | 2018-11-06 | 上海大学 | 一种基于改进的rbd显著性计算的海面目标检测方法 |
| CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
| CN109284663A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于正态和均匀混合分布模型的海面障碍物检测方法 |
| CN109670529A (zh) * | 2018-11-14 | 2019-04-23 | 天津大学 | 一种用于快速语义分割的可分离分解残差模块设计方法 |
-
2019
- 2019-06-17 CN CN201910519570.4A patent/CN110287837A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537384A (zh) * | 2015-01-21 | 2015-04-22 | 西安电子科技大学 | 一种结合似然比判决的sar目标鉴别方法 |
| US20180231871A1 (en) * | 2016-06-27 | 2018-08-16 | Zhejiang Gongshang University | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF |
| CN107808386A (zh) * | 2017-09-26 | 2018-03-16 | 上海大学 | 一种基于图像语义分割的海天线检测方法 |
| CN108764027A (zh) * | 2018-04-13 | 2018-11-06 | 上海大学 | 一种基于改进的rbd显著性计算的海面目标检测方法 |
| CN109284663A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于正态和均匀混合分布模型的海面障碍物检测方法 |
| CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
| CN109670529A (zh) * | 2018-11-14 | 2019-04-23 | 天津大学 | 一种用于快速语义分割的可分离分解残差模块设计方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111239717A (zh) * | 2020-01-22 | 2020-06-05 | 南京甄视智能科技有限公司 | 一种基于x波段雷达的水面障碍物检测方法 |
| CN111239717B (zh) * | 2020-01-22 | 2022-03-29 | 南京甄视智能科技有限公司 | 一种基于x波段雷达的水面障碍物检测方法 |
| CN110989636A (zh) * | 2020-02-26 | 2020-04-10 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN111695570B (zh) * | 2020-05-19 | 2023-12-05 | 广东石油化工学院 | 一种基于变分原型推理的小样本下语义分割方法 |
| CN111695570A (zh) * | 2020-05-19 | 2020-09-22 | 广东石油化工学院 | 一种基于变分原型推理的小样本下语义分割方法 |
| CN111860211A (zh) * | 2020-06-29 | 2020-10-30 | 李利明 | 餐具和参照物识别方法、装置及存储介质 |
| CN111860211B (zh) * | 2020-06-29 | 2024-04-12 | 李利明 | 餐具和参照物识别方法、装置及存储介质 |
| CN112348293A (zh) * | 2021-01-07 | 2021-02-09 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN113139549A (zh) * | 2021-03-25 | 2021-07-20 | 北京化工大学 | 一种基于多任务学习的参数自适应全景分割方法 |
| CN113139549B (zh) * | 2021-03-25 | 2024-03-15 | 北京化工大学 | 一种基于多任务学习的参数自适应全景分割方法 |
| CN113344935A (zh) * | 2021-06-30 | 2021-09-03 | 山东建筑大学 | 基于多尺度难度感知的图像分割方法及*** |
| CN113344935B (zh) * | 2021-06-30 | 2023-02-03 | 山东建筑大学 | 基于多尺度难度感知的图像分割方法及*** |
| CN114021285A (zh) * | 2021-11-17 | 2022-02-08 | 上海大学 | 基于相互局部对抗迁移学习的旋转机械故障诊断方法 |
| CN114021285B (zh) * | 2021-11-17 | 2024-04-12 | 上海大学 | 基于相互局部对抗迁移学习的旋转机械故障诊断方法 |
| CN115144411A (zh) * | 2022-09-05 | 2022-10-04 | 国家卫星海洋应用中心 | 基于卫星散射计的海冰检测的方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287837A (zh) | 基于先验估计网络和空间约束混合模型的海面障碍物检测方法 | |
| Shao et al. | Saliency-aware convolution neural network for ship detection in surveillance video | |
| CN107818326B (zh) | 一种基于场景多维特征的船只检测方法及*** | |
| Wang et al. | Sea ice concentration estimation during melt from dual-pol SAR scenes using deep convolutional neural networks: A case study | |
| CN100538723C (zh) | 多视觉传感器信息融合的内河船舶自动识别*** | |
| Bovcon et al. | WaSR—A water segmentation and refinement maritime obstacle detection network | |
| Cao et al. | Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance | |
| CN110378308A (zh) | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 | |
| CN111666854B (zh) | 融合统计显著性的高分辨率sar影像车辆目标检测方法 | |
| Bovcon et al. | A water-obstacle separation and refinement network for unmanned surface vehicles | |
| CN111242061B (zh) | 一种基于注意力机制的合成孔径雷达舰船目标检测方法 | |
| Sun et al. | Global Mask R-CNN for marine ship instance segmentation | |
| Heidarsson et al. | Obstacle detection from overhead imagery using self-supervised learning for autonomous surface vehicles | |
| CN110163207A (zh) | 一种基于Mask-RCNN船舶目标定位方法及存储设备 | |
| CN110298271A (zh) | 基于关键点检测网络和空间约束混合模型的海水区域检测方法 | |
| CN109919026A (zh) | 一种水面无人艇局部路径规划方法 | |
| Shaodan et al. | A ship target location and mask generation algorithms base on Mask RCNN | |
| CN111160293A (zh) | 基于特征金字塔网络的小目标船只检测方法及*** | |
| Li et al. | Real-time underwater target detection for AUV using side scan sonar images based on deep learning | |
| Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
| Zhao et al. | Multitask learning for SAR ship detection with Gaussian-mask joint segmentation | |
| Wisernig et al. | Augmented reality visualization for sailboats (ARVS) | |
| Alsharay et al. | Improved sea-ice identification using semantic segmentation with raindrop removal | |
| CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
| Albalooshi et al. | Deep belief active contours (DBAC) with its application to oil spill segmentation from remotely sensed sea surface imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190927 |