CN109740665B

CN109740665B - 基于专家知识约束的遮挡图像船只目标检测方法及***

Info

Publication number: CN109740665B
Application number: CN201811630250.8A
Authority: CN
Inventors: 邓练兵
Original assignee: Zhuhai Dahengqin Technology Development Co Ltd
Current assignee: Zhuhai Dahengqin Technology Development Co Ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2020-07-17
Anticipated expiration: 2038-12-29
Also published as: CN109740665A

Abstract

本发明提供一种基于专家知识约束的遮挡图像船只目标检测方法及***，包括进行样本数据预处理,得到预处理后的图片；RPN网络提取候选特征，生成船只目标的候选区域；专家知识提取，特征降维，包括为了解决船体遮挡，选择RPN网络生成的候选区域作为基础，对于每一个候选区域，以滑动窗口的形式，提取垂直方向的图像块的专家知识特征；CNN特征提取，包括将基于区域的卷积神经网络与RPN网络生成的候选区域进行组合，得到候选区域的特征图；构建特征融合网络，将CNN特征和专家知识映射到统一的特征空间；利用样本数据训练特征融合网络，采用训练好的特征融合网络实现遮挡船只目标检测。应用本发明可优化遮挡情况下的船只检测结果。

Description

基于专家知识约束的遮挡图像船只目标检测方法及***

技术领域

本发明属于计算机视觉领域，具体涉及一种基于专家知识约束的遮挡图像船只目标检测方法及***。

背景技术

人类对海洋的开发与争夺贯穿人类文明的发展史，在全球化日益加深的今天，海洋更是世界各国经济文化交流的重要纽带。船只作为人类开发海洋、利用海洋的工具，发挥着不可替代的作用。船只目标检测是现代海上智能监控***的重要组成部分，快速准确地识别各类船只目标对监视海运交通、维护海洋权益、提高海防预警能力等方面有着重要的意义；在现代化战争中，船只目标识别技术在预警探测、精确制导、战场指挥和侦察识别等军事领域都有广泛的应用。因此，船只目标检测一直以来都是各国政府和单位研究的重点，是一个国家海洋装备现代化发展的重要方向之一。

船只目标主要包括民用船舶和和军用舰艇，船只目标检测就是利用计算机视觉和图像处理技术，从图像中检测出感兴趣的船只目标，进一步可以提取大量的有用信息。传统的船只目标检测主要是通过采集分析目标船只的辐射信号或回波信息，使用信号分析和模式识别的方法进行判别；随着各类传感器(摄像头)的快速发展尤其是成像技术的不断进步，基于目标图像信息的识别逐渐成为船只目标检测领域的研究重点。虽然检测识别的技术方法多种多样，但各种方法的检测流程却大同小异。这些方法都需要对采集到的目标数据样本进行预处理和特征提取，然后根据提取到的目标特征进行训练和建模，最后把待识别的目标信息放入识别***种进行分类与识别。

特征提取就是在获得目标的图像后，通过综合分析各类特征对分类识别的贡献，提取目标检测的关键特征。有了特征表示才能对不同目标做比较，进而完成检测。针对船只目标检测使用的特征主要有两大类：传统特征(以下称为“专家知识”)和卷积神经网络(CNN)提取的特征。

(一)专家知识。

传统特征由于具备完整的理论基础和可解释性，因此也被称作“专家知识”。基于专家知识的特征选取需要考虑以下三方面问题：(1)鲁棒性，这主要是由于遮挡、光照变化以及视角改变等会造成图像表面的变化；(2)简洁性，即用少量特征信息来描述目标，大大压缩目标的信息量，使整个算法简洁，也方便后续的处理；(3)可计算性，即在特征信息获取后可能需要一定的处理方法，需要特征具有便于计算的特点。根据特征选取的要求，船只目标的专家知识主要包括以下三个方面：颜色特征、纹理特征和几何特征。

(1)颜色特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质，是进行物体识别和认知必不可少的信息。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献，因此颜色特征是应用最为广泛的视觉特征。此外，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，不受图像旋转和平移变化的影响，具有较高的鲁棒性。较常用的颜色特征有颜色直方图和信息熵。

(2)纹理特征。纹理特征也是一种全局特征，描述了图像或图像区域对应景物的表面性质，但由于纹理只是一种物体表面的特性，并不能反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法成功匹配。作为一种统计特征，纹理特征具有旋转不变性，并且对噪声有较强的抵抗能力。但是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。灰度共生矩阵是最为常用的纹理特征，具有较强的适应能力和鲁棒性。

(3)几何特征。几何特征是指从目标图像上可以直观看到的几何特征，常用的特征包括尺寸、形状等。尺寸是指目标在图像中的大小尺寸，同一设备获取的图像比例尺是相对固定的，图像上目标尺寸通过数学换算可以得出真实目标的大小，通过目标的尺寸大小可以大致判断出目标船只的用途、类别。比如说运送集装箱的船只尺寸一般较大，而普通的渔船一般较小。形状也是对目标进行识别判断的重要特征，不同种类的船只往往具有不同的形状特征。譬如说***有形状不规则的巨大直通甲板；驱逐舰和护卫舰的舰体一般情况下较为狭长，舰首略尖、舰尾略平；邮轮和货轮由于装载物资较多，船体宽度大。

(二)CNN特征

自然图像有其固有特性，即对于图像的某一部分，其统计特性与其他部分相同。这意味着在这一部分学习到的特征也能用在另一部分上，因此对于图像上的所有位置，可以使用同样的学习特征。换句话说，对于大尺寸的图像r×c识别问题，首先从图像中随机选取一小块区域a×b作为训练样本，从该小块样本中学习到一些特征，然后将这些特征作为滤波器，与原始整个图像作卷积运算，从而得到原始图像中任意位置上卷积后的特征映射图。该方法能够对多种目标进行特征的自动学习，获得船只的高维特征，检测结果精度相比传统方法有了大幅度提升。

然而，专家知识和CNN特征应用于船只检测存在以下局限性：

(1)专家知识具有良好的理论基础，但是鲁棒性不高，当有云影、海浪等干扰时，检测出来的特征会有偏差，影响船只检测的精度。且专家知识提取的速度较慢，不利于沿海监控视频的实时检测应用需求。

(2)卷积神经网络可以快速、自动地学习船只的高维特征，在实际场景中应用广泛。但是实践结果表明，CNN特征难以处理船只之间相互遮挡的情况，在该情况下的检测性能下降。

发明内容

本发明解决的技术问题是：克服上述现有技术的不足，提供一种基于专家知识约束的遮挡图像船只目标检测方法及***。

本发明技术方案提供一种基于专家知识约束的遮挡图像船只目标检测方法，包括以下步骤：

步骤①，进行样本数据预处理,得到预处理后的图片；所述样本数据相应标注船只类型和位置数据；

步骤②，RPN网络提取候选特征，包括将步骤①经过预处理后的图片作为输入，经过RPN网路处理后，生成船只目标的候选区域；

步骤③，专家知识提取，包括提取步骤②生成的候选区域的专家知识特征，所述专家知识特征包括SIFT特征和形状不变矩特征；

步骤④，特征降维，包括为了解决船体遮挡，选择RPN网络生成的候选区域作为基础，对于每一个候选区域，以滑动窗口的形式，提取垂直方向的图像块的专家知识特征；将提取得到的专家知识特征进行连接并降维，得到特征S-TG；

步骤⑤，CNN特征提取，包括将基于区域的卷积神经网络与步骤②所得RPN网络生成的候选区域进行组合，得到候选区域的特征图；

步骤⑥，构建特征融合网络，将CNN特征和专家知识映射到统一的特征空间；

步骤⑦，利用样本数据训练特征融合网络，采用训练好的特征融合网络实现遮挡船只目标检测。

而且，步骤①中，采集的样本数据为可见光下的沿海区域监控视频帧数据，预处理包括中值滤波和Retinex图像增强处理。

而且，步骤②中，采用RPN网络生成目标的候选区域，每一张图片生成多个候选区域，选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本，IOU小于0.3的候选区域作为负样本，作为最终CNN网络和专家知识提取的基础。

而且，步骤③中，所述形状不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef。

而且，步骤④中，采用主成分分析方法进行降维。

而且，步骤⑤中，所述基于区域的卷积神经网络的输入为原始图片，包括卷积层Conv1、激活层ReLU1、归一化层BN1、池化层Pool1、卷积层Conv2、激活层ReLU2、归一化层BN2、池化层Pool2、卷积层Conv3、激活层ReLU3、卷积层Conv4、激活层ReLU4、卷积层Conv5和激活层ReLU5、ROI Pooling层，激活层ReLU5的输出和RPN提取的候选区域接入ROI Pooling层。

而且，所述特征融合网络中，基于区域的卷积神经网络的ROI Pooling层的输出CNNfeatures和特征S-TG分别输入一个全连接层，两个全连接层的输入接入一个特征连接层，特征连接层的输出再连接一个全连接层，计算softmax损失后输出计算结果。

本发明还提供一种基于专家知识约束的遮挡图像船只目标检测***，包括以下模块：

第一模块，用于进行样本数据预处理,得到预处理后的图片；所述样本数据相应标注船只类型和位置数据；

第二模块，用于RPN网络提取候选特征，包括将第一模块经过预处理后的图片作为输入，经过RPN网路处理后，生成船只目标的候选区域；

第三模块，用于专家知识提取，包括提取第二模块生成的候选区域的专家知识特征，所述专家知识特征包括SIFT特征和形状不变矩特征；

第四模块，用于特征降维，包括为了解决船体遮挡，选择RPN网络生成的候选区域作为基础，对于每一个候选区域，以滑动窗口的形式，提取垂直方向的图像块的专家知识特征；将提取得到的专家知识特征进行连接并降维，得到特征S-TG；

第五模块，用于CNN特征提取，包括将基于区域的卷积神经网络与第二模块所得RPN网络生成的候选区域进行组合，得到候选区域的特征图；

第六模块，用于构建特征融合网络，将CNN特征和专家知识映射到统一的特征空间；

第七模块，用于利用样本数据训练特征融合网络，采用训练好的特征融合网络实现遮挡船只目标检测。

而且，第一模块中，采集的样本数据为可见光下的沿海区域监控视频帧数据，预处理包括中值滤波和Retinex图像增强处理。

而且，第二模块中，采用RPN网络生成目标的候选区域，每一张图片生成多个候选区域，选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本，IOU小于0.3的候选区域作为负样本，作为最终CNN网络和专家知识提取的基础。

对比现有技术，本发明技术方案具有下列优点和积极效果：

(1)采用RPN(Region Proposal Network，区域生成网络)过程，利用卷积神经网络生成目标的候选区域，比传统的选择性搜索算法(Selective Search，SS)更加快速，且生成的候选区域更加准确，是后面提取专家知识和CNN特征的基础。

(2)专家知识提取过程提出了一种针对船只检测的有效特征S-TG(Ship-Texture，Geometry)，该特征综合考虑了船只的纹理和几何特点，更符合人类对现实世界的感知。且提取过程不以整张输入图片为基础，而是只提取经过RPN(Region Proposal Network)生成的候选区域的S-TG特征，使得提取的特征冗余降低，提高可区分性。此外，S-TG特征的计算也较为直接简单，对总体检测速度不会产生较大的影响。

(3)CNN特征提取过程采用深度学习方法，卷积神经网络包含5个卷积层、5个ReLU激活层、2个BN归一化层、2个普通池化层，最后连接一个ROI池化层，用于生成候选区域的特征图。该网络可以提取到候选区域经过多层神经网络传递后生成的特征，快速高效，且对于复杂场景如阴雨天气、光照不够等情况的鲁棒性较高。

(4)采用最后的船只特征融合网络包括3个全连接层(full connection)和1个特征连接层(featureconcatenation)，前两个全连接层用于将CNN特征和专家知识特征变换到同一个特征空间，中间的特征连接层，用于将两种特征连接进行前向传播，最后一个全连接层，处理经过concatenate后的向量，经过softmax计算后输出最终的结果。该部分将候选区域分垂直条带计算后的专家知识和CNN特征进行融合，专家知识参与前向传播过程，影响CNN部分后向传播的梯度，使得网络的更新受专家知识的约束和调节，优化遮挡情况下的船只检测结果。

附图说明

图1为本发明实施例的总体流程图。

图2为本发明实施例步骤①中样本数据预处理的流程图。

图3为本发明实施例步骤②中SIFT特征提取的流程图。

图4为本发明实施例步骤②中形状不变矩特征提取的流程图。

图5是本发明实施例步骤⑤中特征融合网络的结构图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

参见图1，本发明实施例所提供方法包括以下步骤：

①样本数据预处理。

本发明实施例使用的数据主要为从环岛监控视频中提取的帧图像数据，大小为1920×1080像素，并且标注的船只类型和位置信息满足VOC2007数据集的标准。为了实现更好的检测效果，本发明对样本数据进行了预处理操作，使用的预处理流程包括中值滤波和Retinex图像增强算法。

具体实施时，所需采集的数据主要为可见光下的沿海区域监控视频帧数据，中值滤波可以消除一些高频率的小噪声，且较好的保护了边缘信息；Retinex图像增强算法考虑了图片的颜色信息，减少光照带来的影响，尤其可以增强阴影区域的细节信息。

预处理流程图参见图2，由于预处理算法实现较为简单，因此本部分仅介绍其基本原理，具体的推导公式不作为重点。

①中值滤波，是一种非线性图像平滑滤波技术，在一定条件下可以克服线性滤波带来的图像细节的模糊问题，特别是针对被椒盐噪声污染的图像。其算法步骤为：

1)获得输入图像的首地址及宽高；

2)新建一块内存缓冲区，用以暂存结果图像，并初始化为0；

3)逐一扫描图像中的像素点，将其邻域各元素的像素值从小到大进行排序，将求得的中间值赋值给结果图像中与当前点对应的像素点；

4)循环步骤3)，直到处理完输入图像的全部像素点；

5)将结果从内存缓冲区复制到输入图像的数据区。

②Retinex图像增强算法，该算法在彩色图像增强、图像去雾、彩色图像恢复方面拥有很好的效果。Retinex理论的基本假设是原始图像S是光照图像L和反射率图像R的乘积：

S(x,y)＝R(x,y)L(x,y)

其中，(x,y)表示图像中的像素点坐标。基于Retinex的图像增强的目的，就是从原始图像S中估计出光照L，从而分解出R，消除光照不均的影响，以改善图像的视觉效果。实际处理中，通常将图像转至对数域，从而将乘积关系转换为和的关系，即：

log(S)＝log(RL)＝logR+logL

s＝r+l

s、r、l分别为S、R、L取对数之后的结果。Retinex方法的核心就是估测照度L，从图像S中估测L分量，得到原始反射分量R，f()为估测函数，即：

l＝f(s)

r＝s-f(s)

②RPN网络提取候选特征。

采用RPN网络生成目标的候选区域，比传统的选择性搜索算法(SelectiveSearch，SS)更加快速高效。将步骤①经过预处理后的图片作为输入，经过RPN网络处理后，生成船只目标的候选区域。每一张图片生成2000个候选区域，选择与训练样本中真实目标区域的区域重合度(IOU，Intersection Over Union)大于0.7的候选区域作为正样本，IOU小于0.3的候选区域作为负样本，正负样本总共64个，最为最终CNN网络和专家知识提取的基础。由于本发明着重关注特征提取部分，而不是区域生成部分，且RPN网络采用目前学界统一的处理方法，因此此处不再赘述其详细过程。

③专家知识特征提取。

提取步骤②生成的候选区域的专家知识特征，本发明使用的专家知识特征包括SIFT特征和形状不变矩特征，SIFT特征体现了目标的局部细节，特征对平移、旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变化、噪声也保持一定程度的稳定性；并且SIFT特征丰富，即使少数的物体也能产生较多的SIFT特征点，这很好的适应于视频图像中的海上远船，清晰度不高，纹理也不丰富的情况；而形状不变矩特征用特征点的坐标，尺度目标所占区域或边缘的矩作为形状描述参数，具有平移、旋转、缩放的不变特性；

颜色特征由于属于较为直观简单的特征，因此在本发明专利中不单独提取。

具体实现如下：

1)SIFT特征，包括特征点的坐标、尺度、方向、特征向量，参见图3，其提取过程分为四个步骤：

(1)尺度空间生成及极值点查找；

SIFT多尺度特征是依靠高斯函数将单尺度的图像变换成多尺度图像空间，以在多尺度空间上提取稳定的特征点，从而达到抗尺度变化。高斯卷积核是实现尺度变换的唯一线性核，一幅二维图像的尺度空间L(x,y,σ)定义为：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，G(x,y,σ)是尺度可变高斯函数，(x,y)是空间坐标，I(x,y)为坐标点的像素值，σ是尺度坐标，σ值越小尺度也就越小，图像细节被平滑的越少，e为自然对数的底数，约为2.718281828。

在生成尺度空间后，对每一个采样点和它所有的相邻点比较，包括它同尺度的8个相邻点以及上下相邻尺度对应的9*2个点共26个点，以确定该店是否是局部极值点。

(2)确定极值点后，精确定位关键点，删除不稳定点；

关键点定位就是将上一步骤检测到的候选关键点调整到亚像素级，去除极值中对噪声敏感的点以及对比度降低的边缘点，以增强匹配稳定性，提高抗噪能力。本发明使用Taylor二次级数在采样点X＝(x,y,σ)^T处展开尺度空间函数L(x,y,σ)，删除对比度低的极值点。

(3)确定关键点的方向；

在确定了特征点的位置和尺度后，可提取特征点的方位信息。角度分配是按照某种法则利用特征点周围邻域信息为每个特征点指定一个方向，使特征描述向量对图像旋转保持不变。SIFT特征点的方向利用率邻域像素的梯度方向分布特性：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中，m(x,y)和θ(x,y)分别为(x,y)处梯度的模值和方向，其中L为灰度值，所用的尺度为每个关键点各自所在的尺度。

在实际计算时，本发明在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的题都方向。梯度直方图的范围是0～360°，其中每10°一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

至此，每个关键点有三个信息：位置、所处尺度、方向。

(4)计算特征向量。

即利用特征点局部区域为特征点定义一个特征描述向量，描述该关键点的特征，并使其对亮度变化和几何变化等保持不变。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

接下来，以关键点为中心取8×8的窗口，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由4×4共16个种子点组成，每个种子点有8个方向向量信息，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。

这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

2)形状不变矩特征，本发明使用的不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef，提取流程参见附图4。

(1)几何不变矩Hu；

数字图像f(x,y)的几何矩反映图像的几何特征，一般是在单项式上的投影，(p+q)阶原点矩m_pq和中心矩u_pq的定义分别是：

m_pq＝∫∫x^py^qf(x,y)dxdy,p,q＝0,1,2,…

其中，p为图像x方向的阶数，q为图像y方向的阶数。集合{m_pq}由f(x,y)唯一确定，反之f(x,y)也由{m_pq}唯一确定。

为图像的重心，其计算公式为：

其中，m₁₀、m₀₁是图像的1阶几何矩，m₀₀是图像的0阶几何矩。由此可以得到图像的不大于3阶的中心矩分别为u₀₀、u₀₁、u₁₀、u₁₁、u₂₀、u₀₂、u₁₂、u₂₁、u₃₀、u₀₃。利用2阶和3阶中心矩可以导出7个具有平移、缩放和旋转不变性的特征集合：

Φ₁＝η₂₀+η₀₂

Φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

Φ₄＝(η₃₀+η₁₂)²+(η₂₁-η₀₃)²

Φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-(3η₂₁+η₀₃)²]+(3η₂₁+η₀₃)(η₀₃+η₂₁)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

Φ₆＝(η₂₀-η₀₂)²[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

Φ₇＝(3η₂₁-3η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₁₂-η₃₀)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

其中，各阶几何矩的物理意义如下：如果f(x,y)为灰度图像，则0阶矩m₀₀表示图像灰度值的总和，也可以看作为质量；当f(x,y)为二值图像时，0阶矩m₀₀表示图像的面积。利用一阶矩m₁₀和m₀₁可以确定图像的重心坐标。二阶矩也称之为惯性矩，它们用以确定图像的主轴、图像椭圆等几个重要特征。三阶矩或三阶以上矩反映了图像更细节的性质，三阶矩反映了图像投影x轴或者y轴的扭曲程度，四阶矩反映了投影峰度。

(2)连续正交矩Zermike；

非正交矩易受噪声影响，且有信息抑制、丢失、冗余等现象。正交矩将图像投影到正交基序列P(x)上，从而得到图像的正交矩描述和相应的反变换形式。不同的正交基形成了不同矩。正交矩具有以下特点：(1)矩变换时可逆的，因此可以重建变换前的图像；(2)正交矩的各阶矩彼此独立，具有最小冗余信息。本发明采用Zermike矩作为专家知识中的连续正交矩，它是一种正交复数矩，(p+q)阶Zermike矩Z_pq定义为：

或极坐标下，

其中，(r,θ)为将(x,y)转化为极坐标下的坐标，f为坐标点的像素值

是V_pq(x,y)取共轭，V是Zermike多项式：

V_pq(x,y)＝V_pq(r,θ)＝R_pq(r)e^jqθ

其中，V_pq(x,y)和V_pq(r,θ)均为是Zermike多项式，R_pq(r)是留数多项式，j为虚数单位：

p-|q|＝even,|q|≤p

其中，p为阶数，q为重复度，为了简单，可以仅仅考虑q＞0的情况，即使用绝对值|q|even为偶数。k是用与表示求和函数从0开始计算的参数。

该多项式满足单位圆内的正交性：

m、n为整数，当且仅当p＝m,q＝n，V_mn(r,θ)是Zermike多项式，其中，δ为Kronecker符号，δ_mp为当Kronecker函数的输入为m和p时的输出值，δ_nq为当Kronecker函数的输入为n和q时的输出值。[V_pq(r,θ)]^*是V_pq(r,θ)的共轭。Zermike矩分别计算Z的实部和虚部，继而计算其模。实部和虚部系数为：

Zermike矩计算时忽略单位圆以外的点，因此Zermike矩计算的一个重要步骤是将图像映射到单位圆。本发明在实际计算时假设图像原点被移动到图像的中心(N/2,N/2)，N为图像的尺寸，它引入两个参数ρ和σ，来代替Zermike极坐标下的r和θ，计算方法如下：

ρ＝max(|x|,|y|)

如果|x|＝ρ，那么：

如果|xy|＝ρ，那么：

其中，x和y为图像原点移动到中心点之后，各像素点的横纵坐标，||为取坐标的绝对值。

可以看出，1＜ρ＜N/2(对原点不做处理)，-4ρ＜σ＜4ρ，实际上，ρ是极半径的离散化，而σ是角度的离散化。接着还要构造ρ和σ的组合式使其分别缩放至[0,1]和[-π,π]，从而代替r和θ，即：

那么，rdrdθ＝π/(N²)dρdσ，至此，Zermike矩的离散化的实部C_pq、虚部S_pq的计算方式为：

(3)离散正交矩Tchebichef；

连续正交矩在离散图像处理中，面临一个离散化误差的问题，并将随着阶数的增大而不断累积，给矩计算的准确性带来影响。如果正交多项式系是离散函数系，则对应的正交矩成为离散正交矩。本发明采用Tchebichef矩作为专家知识中的离散正交矩，对于一幅离散为N×N大小的数字图像f(x,y)，规格化后的(p+q)阶Tchebichef矩定义为：

其中，规格化的Tchebichef多项式

由下式给出，规格化的Tchebichef多项式

计算方式相同，

t_p(x)＝(1-N)₃F₂(-p,-x,1+p；1-N；1)

规格化的Tchebichef多项式

由下式给出，规格化的Tchebichef多项式

计算方式相同，

其中，t_p(x)为和ρ(p,N)都是转换分子，β(p,N)为转换分母，是与x无关的规格化分子，一种取法是β(p,N)＝N^p，₃F₂为超几何函数，满足：

其中，参数a_j的定义为：

参数b_j的定义相同，z为超几何函数的复变量。k是用与表示求和函数从0开始计算的参数。

规格化的Tchebichef多项式满足以下的正交性：

其中，δ为Kronecker函数，δ_pq为当Kronecker函数的输入为p和q时的输出值。

对于经过预处理后的图像，由于高阶矩都存在累积误差，因此取Hu矩7维特征，Zermike矩12阶42维特征，Tchebichef矩8阶64维特征，作为最终的形状不变矩特征。

④特征降维。

由于船只图片是从环岛监控视频中截取的，因此并不是所有船体都会出现在图片中，本发明并不提取整张图片的专家知识，而是选择RPN网络生成的64个候选区域作为基础，对于每一个候选区域，以滑动窗口的形式，提取垂直方向的图像块的专家知识特征。由于滑动窗口会从上至下，从左至右遍历生成的候选区域，因此会提取到船只各个部位的特征，从而提高特征的匹配度。由此，当船只相互遮挡时，仍能够提取到精细特征，从而提高精度。以resize后候选区域640*144像素为例，使用60×60大小的子窗口，以30个像素的重叠度来定位船只区域的局部块。在每个子窗口内，提取128维的SIFT特征、7维的Hu矩特征，42维的Zermike矩特征，64维的Tchebichef矩特征，则一共提取的特征维数为：(128+7+42+64)*[((640-60)/30+1)*((144-60)/30+1)]＝241*80＝19280维。维度非常大，本发明采用主成分分析算法(PCA算法)，将专家知识特征降维到4096维度。。由于该特征综合考虑了船只的纹理和几何特征，因此取名为S-TG(ship,texture,geometry)。

基于PCA算法，对步骤②中提取的传统特征进行降维后，减少了特征冗余和计算复杂度，降维后的特征十分有利于船只检测。PCA算法为现有技术，本发明不予赘述。

⑤CNN特征提取。

本发明实施例所使用的基于区域的卷积神经网络包括5个卷积层、5个ReLU激活层、2个BN归一化层、2个普通池化层、最后连接一个ROI池化层，用于生成候选区域的特征图。每个卷积层后面都有1个ReLU层，前两个ReLU层后面分别连有一个批量归一化(BN)层，且两个BN层后面都连接一个普通池化层，最后一个ReLU层连接1个ROI Pooling层，与RPN提取的候选区域结合，生成候选区域的特征图，ROI Pooling层在步骤⑥的特征融合网络中将经过全连接层输出一个4096维的向量，即为CNN特征。

参见图5，基于区域的卷积神经网络输入为原始图片，包括卷积层Conv1、激活层ReLU1、归一化层BN1、池化层Pool1、卷积层Conv2、激活层ReLU2、归一化层BN2、池化层Pool2、卷积层Conv3、激活层ReLU3、卷积层Conv4、激活层ReLU4、卷积层Conv5和激活层ReLU5、感兴趣区域池化层ROI Pooling，激活层ReLU5的输出和RPN提取的候选区域接入感兴趣区域池化层ROI Pooling。

为便于理解特征提取，以下介绍深度学习网络的原理：

深度学习网络由多个交替的卷积层，池化层，全连接层组成，主要采用反向传播算法(BP算法)更新，由一个输入层，多个隐藏层和一个输出层组层。层与层之间通过不同的卷积方式连接。对于普通卷积层，上一层的特征层被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出特征层。每一个输出层可能是组合卷积多个输入层的值：

其中，M_j表示选择的输入层的集合，i是输入层单元的索引值，j是输出层单元的索引值，

表示输入层与输出层之间的权重，

表示各层之间的激活偏置，f()表示该输出层的激活函数，

表示l层的第j个输出层，

表示l-1层的第i个输入层。

对于池化层来说，有N个输入层，就有N个输出层，只是每个输出层都变小了。

其中，down()表示一个下采样函数。一般是对输入图像的不同n*n区域内所有像素进行求和。这样输出图像在两个维度上都缩小了n倍，具体实施时可预设n的取值。每个输出层都对应一个属于自己的乘性偏置β和一个加性偏置b，

和

为第l层的第j个输入层的乘性偏置和加性偏置，f()表示一层卷机操作。

表示l层的第j个输出层，

表示l-1层的第j个输入层。

对于输出的全连接层来说，卷积输入多个特征层，再对这些卷积值求和得到一个输出层，这样的效果往往是比较好的。我们用α_ij表示在得到第j个输出特征层中第i个输入层的权值或者贡献。这样，第j个输出层可以表示为：

其中，N_in代表网络总层数，本发明实施例中为5，

表示输入层与输出层之间的权重，

表示各层之间的激活偏置，

表示l层的第j个输出层，

表示l-1层的第j个输入层，*表示卷积。

⑥构建特征融合网络。

为将CNN特征和专家知识映射到统一的特征空间，本发明提出了一种特征融合网络FFN。图5是融合网络的结构图，该网络在反向传播过程中，深度学习超参数会受专家知识的影响进行更新，融合后的特征会比单独的CNN特征和传统特征更具有区别性。具体来说，

专家知识和CNN特征，分别经过一个ROI Pooling和特征降维后，都生成了候选区域的特征；两者各自连接一个全连接层，将不同类型的两种特征变换到同一个特征空间，输出都为4096维的特征向量；特征连接层(concat)十分重要，它完成一个concatenate操作，是两类特征间连接的桥梁，保证了融合网络FFN的收敛。如果concat层的输入为CNN特征CNNfeatures和专家知识S-TG：

x＝[S-TG,CNNfeatures]

则concat层的输出为：

其中，h()表示激活函数，采用ReLU，W_Concat和b_Concat为神经网络的超参数权重和偏差量，根据BP算法，迭代后第l层的超参数权重

和偏差量

为：

其中，α为学习率，W^(l)和b^(l)分别为第l层的权重和偏差量，ΔW^(l)和Δb^(l)分别为损失函数对权重和偏差量求导得到的梯度，Concat层再连接一个全连接层，计算softmax损失后输出计算结果。

softmax为损失函数，实施例使用交叉熵损失：

其中，k是用与表示求和函数从0开始计算的参数，n表示待检测的类别数目，本发明实施例中为6；P_k表示预测为目标的概率。

深度学习特征与专家知识联合训练，利用concat操作，专家知识也参与训练，其特征会影响卷积神经网络的反向传播过程，从而影响梯度更新值，使得训练过程更加具有可区分性；一方面能够利用经典的船只检测算子，让检测过程简单化，更利于理解；另一方面，联合训练，特征互补，可以让检测过程全自动化，不需要人机交互，更利于实际应用；

⑦利用样本数据训练步骤⑥构建的特征融合网络，采用训练好的特征融合网络实现遮挡船只目标检测。具体实施时，可以利用测试数据对输出的模型进行验证和测试。验证通过后，输入待检测图像到训练好的特征融合网络，即可获取船只目标检测结果。

至此，本专利所使用的一种基于专家知识约束的遮挡图像船只目标检测方法具体实施过程介绍完毕。具体实施时，本发明技术方案所提供流程可由本领域技术人员采用计算机软件技术实现自动运行，也可采用模块化方式提供***。本发明实施例还提供一种基于专家知识约束的遮挡图像船只目标检测***，包括以下模块：

各模块实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于专家知识约束的遮挡图像船只目标检测方法，其特征在于，包括以下步骤：

步骤②，RPN网络提取候选区域，包括将步骤①经过预处理后的图片作为输入，经过RPN网路处理后，生成船只目标的候选区域；

步骤③，专家知识提取，包括提取步骤②生成的候选区域的专家知识特征，所述专家知识特征包括SIFT特征和形状不变矩特征；所述形状不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef；

2.根据权利要求1所述基于专家知识约束的遮挡图像船只目标检测方法，其特征在于：步骤①中，采集的样本数据为可见光下的沿海区域监控视频帧数据，预处理包括中值滤波和Retinex图像增强处理。

3.根据权利要求1所述基于专家知识约束的遮挡图像船只目标检测方法，其特征在于：步骤②中，采用RPN网络生成目标的候选区域，每一张图片生成多个候选区域，选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本，IOU小于0.3的候选区域作为负样本，作为最终CNN网络和专家知识提取的基础。

4.根据权利要求1所述基于专家知识约束的遮挡图像船只目标检测方法，其特征在于：步骤④中，采用主成分分析方法进行降维。

5.根据权利要求1或2或3或4所述基于专家知识约束的遮挡图像船只目标检测方法，其特征在于：步骤⑤中，所述基于区域的卷积神经网络的输入为原始图片，包括卷积层Conv1、激活层ReLU1、归一化层BN1、池化层Pool1、卷积层Conv2、激活层ReLU2、归一化层BN2、池化层Pool2、卷积层Conv3、激活层ReLU3、卷积层Conv4、激活层ReLU4、卷积层Conv5和激活层ReLU5、ROI Pooling层，激活层ReLU5的输出和RPN提取的候选区域接入ROI Pooling层。

6.根据权利要求5所述基于专家知识约束的遮挡图像船只目标检测方法，其特征在于：所述特征融合网络中，基于区域的卷积神经网络的ROI Pooling层的输出CNN特征和特征S-TG分别输入一个全连接层，两个全连接层的输入接入一个特征连接层，特征连接层的输出再连接一个全连接层，计算softmax损失后输出计算结果。

7.一种基于专家知识约束的遮挡图像船只目标检测***，其特征在于，包括以下模块：

第二模块，用于RPN网络提取候选区域，包括将第一模块经过预处理后的图片作为输入，经过RPN网路处理后，生成船只目标的候选区域；

第三模块，用于专家知识提取，包括提取第二模块生成的候选区域的专家知识特征，所述专家知识特征包括SIFT特征和形状不变矩特征；所述形状不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef；

8.根据权利要求7所述基于专家知识约束的遮挡图像船只目标检测***，其特征在于：第一模块中，采集的样本数据为可见光下的沿海区域监控视频帧数据，预处理包括中值滤波和Retinex图像增强处理。

9.根据权利要求7所述基于专家知识约束的遮挡图像船只目标检测***，其特征在于：第二模块中，采用RPN网络生成目标的候选区域，每一张图片生成多个候选区域，选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本，IOU小于0.3的候选区域作为负样本，作为最终CNN网络和专家知识提取的基础。