CN105184816A - 基于usv的视觉检测和水面目标追踪***及其检测追踪方法 - Google Patents

Abstract

本发明公开一种基于USV的视觉检测和水面目标追踪***，包括指挥中心、水面无人艇和探查***；指挥中心为水面无人艇的控制终端，与水面无人艇之间通信连接并向水面无人艇发送指令；水面无人艇接收来自探查***发送的信息，并通过导航***完成追踪水面目标任务；探查***对水面上的目标物体进行检测并定位获知其位置坐标，并将信息发送给水面无人艇，同时等待指挥中心下一步指令；探查***集成有云台摄像机和毫米波雷达。本发明应用云台摄像机与毫米波雷达这两种传感器共同定位出水面目标的位置，使得检测追踪结果更加精准，提高检测效率，大大节省人力和财力，具有广阔的市场前景。

Description

基于USV的视觉检测和水面目标追踪***及其检测追踪方法

技术领域

本发明涉及无人水面艇导航技术，具体涉及基于USV的视觉检测和水面目标追踪***及其检测追踪方法。

背景技术

无人水面艇(UnmannedSurfaceVessel，简称USV)，是近来新兴的海上作业平台，根据人为设定程序可完成自主探测目标、避障、搜救等任务。目前在海难频发及海军装备的快速发展与实用的影响下，各国对所管制海域内目标监测管理越来越重视，这使得海面的目标自动识别技术得到飞速发展。随着海洋活动越来越频繁及海难多发，各海岸带国家尤为注重海上活动监测，海上目标特别是船舶的探测与监视以及海难后的事故现场搜索更是世界各海岸带国家的传统任务。从舰船、艇等视觉图像中检测出目标图像，进一步提取大量的有用信息，对事故现场、海域海湾、港口的监测与海洋运输、捕鱼的监管以及军事战争中判别危险所在等有着很广泛的应用前景。

在当今智能化高速发展的时代，海上安全管理以及军事战略也逐渐走向高智能化。无人水面艇作为一个新型的海上智能体，具有自主性、反应性、适应性等特征，较无人机等一些空中与地面无人平台发展较晚，主要是由两方面因素影响，一是海上环境变化大，光线受水面反射影响大等环境因素；二是水面目标一般较近，对视觉***传感器的要求较高。能够自主准确的识别判断其作业环境中的目标物或者障碍物是无人水面艇的主要任务之一，因此对其视觉与处理***有较高的智能化要求。无人水面艇对近距离目标或障碍物识别主要基于视觉***而进行，因此，研究无人艇水面目标识别、测量及追踪具有十分重大的意义。

在现有的技术中，对于复杂动态场景中运动目标检测与跟踪，通常辅助人工搜索的方法检测特定的运动目标，并用跟踪算法实现运动目标在图像中的跟踪，这属于一种半自主的引导方式，因此有一定的局限性。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供基于USV的视觉检测和水面目标追踪***及其检测追踪方法。

技术方案：本发明所述的一种基于USV的视觉检测和水面目标追踪***，包括指挥中心、水面无人艇和探查***；所述指挥中心为水面无人艇的控制终端，与水命无人艇之间通信连接并向水面无人艇发送指令；所述水面无人艇接收来自探查***发送的信息，并通过导航***完成追踪水面目标任务；所述探查***对水面上的目标物体进行检测并定位获知其位置坐标，并将信息发送给水面无人艇，同时等待指挥中心下一步指令；探查***集成有云台摄像机和毫米波雷达。

本发明还公开了一种基于USV的视觉检测和水面目标追踪***的检测追踪方法，包括以下步骤：

(1)对云台摄像机拍摄到的2D视频图像进行处理；

(2)云台摄像机跟踪控制，实时调整云台摄像机的俯仰偏转角度，使目标保持在图像的中央；

(3)利用毫米波雷达进一步测量无人水面艇与运动目标之间的距离，结合步骤(2)所得数据，得到运动目标的3D数据完成运动目标的跟踪与精确定位；

(4)无人水面艇导航***进行自主跟踪水面运动目标行驶。

进一步的，所述步骤(1)包括图像序列预处理(包括图像变换，图像去噪，图像增强等，其目的在于便于后续对图像信号进行处理)，进行背景建模与运动目标的检测、运动目标的分割及运动目标跟踪四个步骤，具体过程如下：

(11)图像序列预处理包括图像变换、图像去噪和图像增强等等；

(12)背景建模与动态目标的检测，即结合纹理和运动模型的运动目标检测：使用局部二值模式提取纹理模式；同时将传统的局部二值模式从空间域扩充到时空域，用于提取运动模式，具体方法为：用于提取纹理模式描述子对于t时刻图像中(x_t,c,y_t,c)处的像素g_t,c考虑它的八个邻域像素g_t,p,p＝0,....7，将每个邻域像素与该像素进行二值化比较，得到一个八位的二进制串，即该像素处的一个码字LBP^t(x_t,c,y_t,c)：

${\mathrm{LBP}}^t(x_{t,c},y_{t,c})={\mathrm{\Σ}}_{p=0}^{7}s(g_{t,p}-g_{t,c})2^p$

其中 $s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

这个码字刻画像素(x_t,c,y_t,c)与其周围像素形成的一种纹理模式，然后对场景中的每一个像素采用纹理模式和运动模型分别进行建模，然后在分类器层面将基于纹理模式和运动模式的背景模型进行融合；

(13)运动目标的分割：通过使用基于高斯混合模型和基于近邻图像块嵌入特征的背景建模方法生成两幅背景剪除图像，然后将这两幅背景剪除图像合成一幅背景剪除图像；接着提取前景像素的连通区域，将连通区域和及其周围邻域内的像素分为前景种子像素、背景种子像素和未标记像素；最后采用基于封闭形式的抠图算法对包含运动目标的连通区域及其周围邻域进行更为精细的分割；

(14)运动目标的跟踪：在第一帧图像中，通过人工选定目标矩形框，将目标矩形框划分为多个小的局部图像块，并且使用积分图的技术提取它们的灰度直方图；将第一帧中划分得到的局部图像块都当作前景图像块，同时使用基于局部空间共生关系的背景建模方法对目标矩形框周围的背景进行建模；在新的一帧图像中，首先通过匹配所有的前景图像块，生成一个目标权重图像集合；然后设计一个鲁棒的统计算子，来融合目标权重图像集合，从而确定目标在当前帧中的位置；得到目标的位置之后使用局部背景模型，将目标位置对应的目标矩形框内的图像块分为前景图像块和背景图像块；然后更新前景图像块的灰度直方图模型，同时更新局部背景模型；在每一帧图像中，都按上述过程依次进行，直到跟踪视频结束。

有益效果：与现有技术相比，本发明具有以下优点：

(1)本发明既具有基于视觉的目标检测功能，信号探测范围宽，获取目标信息完整；

(2)本发明还具有基于雷达的目标检测工功能，对物体的感知信息来源于自身，受外界环境影响较小，而且在深度信息获取上的可靠性和精确性较高；

(3)本发明不需要工作人员的全程参与，可自行完成对运动目标的检测、图像跟踪，云台控制器控制云台摄像机的拍摄角度，使动态目标始终呈现在成像平面中央，通过毫米波雷达实时测量无人水面艇与动态目标之间的距离，从而实现对动态目标的定位，以此作为反馈信号，形成闭环控制，引导无人水面艇的跟踪行驶；

(4)本发明应用云台摄像机与毫米波雷达这两种传感器共同定位出水面目标的位置，使得检测追踪结果更加精准，提高检测效率，大大节省人力和财力，具有广阔的市场前景；

(5)本发明以水面目标为研究对象，检测、识别及追踪目标，对海难搜救、海洋船舶检测与监测管理以及未来新型军事作战策略有很大的理论和现实意义。

附图说明

图1为本发明的结构框图；

图2为本发明中对2D图像的处理过程示意图；

图3为本发明中纹理模式和运动模式提取框图；

图4为本发明中运动目标分割的示意图；

图5为本发明中运动目标跟踪算法框图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明的一种基于USV的视觉检测和水面目标追踪***，包括指挥中心、水面无人艇和探查***；指挥中心为水面无人艇的控制终端，与水面无人艇之间通信连接并向水面无人艇发送指令；水面无人艇接收来自探查***发送的信息，并通过导航***完成追踪水面目标任务；探查***对水面上的目标物体进行检测并定位获知其位置坐标，并将信息发送给水面无人艇，同时等待指挥中心下一步指令；探查***集成有云台摄像机和毫米波雷达。

其中，云台摄像机获得物体在图像中的2D位置信息，同时，毫米波雷达获得物体的距离信息，二者配合检测定位到水面目标的3D信息，通过导航***完成水面目标信息输出，即通过无线通信的方式传输至水面无人艇(USV)，监测人员可在控制终端(即指挥中心)实时监测USV所接收到的数据信息，并向USV发出指令。

实施例1：

首先将无人艇的小型模型放在游泳池中，用PC机模拟整个水面目标跟踪***的指挥中心。将小球任意的抛入游泳池，同时PC机向无人艇发送搜索前方球形漂浮物的指令。通过球形目标检测，无人艇上的摄像头和毫米波雷达精确定位出小球的3D位置并将该信息发送给导航***，最终结果是无人艇开往小球方向，即完成了搜索目标工作。

如图2所示，上述基于USV的视觉检测和水面目标追踪***的检测追踪方法，具体包括以下步骤：

(1)云台摄像机采集水面目标的2D视频图像，然后进行处理；

(11)将云台摄像机拍摄的图像序列进行预处理得到适用于计算机处理的动态场景数据，然后再进行背景建模与动态目标的检测，如图3所示，图中T代表T时刻，由于动态场景中相邻像素之间存在着空间域上的关联性，即一种共生关系，因此对这种共生关系进行描述和提取，使用基于纹理和运动模式融合的运动目标检测方法：使用局部二值模式提取纹理模式；同时将传统的局部二值模式从空间域扩充到时空域，用于提取运动模式；对场景中的每一个像素采用纹理模式和运动模型分别进行建模，然后在分类器层面将基于纹理模式和运动模式的背景模型进行融合；

(12)运动目标的分割：如图4所示，通过使用基于高斯混合模型和基于近邻图像块嵌入特征的背景建模方法生成两幅背景剪除图像，然后将这两幅背景剪除图像合成一幅背景剪除图像；接着提取前景像素的连通区域，将连通区域和及其周围邻域内的像素分为前景种子像素、背景种子像素和未标记像素；最后采用基于封闭形式的抠图算法，对包含运动目标的连通区域及其周围邻域进行更为精细的分割；

(13)运动目标的跟踪：如图5所示，图中t代表第t帧图像。在第一帧图像中，通过人工选定目标矩形框，将目标矩形框划分为多个小的局部图像块，并且使用积分图的技术提取它们的灰度直方图；将第一帧中划分得到的局部图像块都当作前景图像块，同时使用基于局部空间共生关系的背景建模方法对目标矩形框周围的背景进行建模；在新的一帧图像中，首先通过匹配所有的前景图像块，生成一个目标权重图像集合；然后设计一个鲁棒的统计算子，来融合目标权重图像集合，从而确定目标在当前帧中的位置；得到目标的位置之后使用局部背景模型，将目标位置对应的目标矩形框内的图像块分为前景图像块和背景图像块；然后更新前景图像块的灰度直方图模型，同时更新局部背景模型；在跟踪视频还没结束的情况下，即t还没达到跟踪视频总帧时，对每一帧图像，都按上述过程依次循环进行，直到跟踪视频结束，这时运动目标的跟踪也就完成了；

(2)云台摄像机跟踪控制，实时调整云台摄像机的俯仰偏转角度，使目标保持在图像的中央；

(3)利用毫米波雷达进一步测量无人水面艇与运动目标之间的距离，结合步骤(2)所得数据，得到运动目标的3D数据完成运动目标的跟踪与精确定位；

(4)无人水面艇导航***进行自主跟踪水面运动目标行驶。

Claims (3)

1.基于USV的视觉检测和水面目标追踪***，其特征在于：包括指挥中心、水面无人艇和探查***；

所述指挥中心为水面无人艇的控制终端，与水面无人艇之间通信连接并向水面无人艇发送指令；

所述水面无人艇接收来自探查***发送的信息，并通过导航***完成追踪水面目标任务；

所述探查***对水面上的目标物体进行检测并定位获知其位置坐标，并将信息发送给水面无人艇，同时等待指挥中心下一步指令；探查***集成有云台摄像机和毫米波雷达。

2.一种基于权利要求1所述的基于USV的视觉检测和水面目标追踪***的检测追踪方法，其特征在于：包括以下步骤：

(1)对云台摄像机拍摄到的2D视频图像进行处理；

(2)云台摄像机跟踪控制，实时调整云台摄像机的俯仰偏转角度，使目标保持在图像的中央；

(3)利用毫米波雷达测量无人水面艇与运动目标之间的距离，结合步骤(2)所得数据，得到运动目标的3D数据完成运动目标的跟踪与精确定位；

(4)无人水面艇导航***进行自主跟踪水面运动目标行驶。

3.根据权利要求2所述的基于USV的视觉检测和水面目标追踪***的检测追踪方法，其特征在于：所述步骤(1)包括图像序列预处理，进行背景建模与运动目标的检测、运动目标的分割及运动目标跟踪四个步骤，具体过程如下：

(11)图像序列预处理包括图像变换、图像去噪和图像增强；

(12)背景建模与动态目标的检测，即结合纹理和运动模型的运动目标检测：使用局部二值模式提取纹理模式；同时将传统的局部二值模式从空间域扩充到时空域，用于提取运动模式，具体方法为：用于提取纹理模式的描述子对于t时刻图像中(x_t,c,y_t,c)处的像素g_t,c考虑它的八个邻域像素g_t,p,p＝0,....7，将每个邻域像素与该像素进行二值化比较，得到一个八位的二进制串，即该像素处的一个码字LBP^t(x_t,c,y_t,c)：

${\mathrm{LBP}}^t(x_{t,c},y_{t,c})={\mathrm{\&Sigma;}}_{p=0}^{7}s(g_{t,p}-g_{t,c})2^p$

其中 $s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

这个码字刻画像素(x_t,c,y_t,c)与其周围像素形成的一种纹理模式，然后对场景中的每一个像素采用纹理模式和运动模型分别进行建模，然后在分类器层面将基于纹理模式和运动模式的背景模型进行融合；

(13)运动目标的分割：通过使用基于高斯混合模型和基于近邻图像块嵌入特征的背景建模方法生成两幅背景剪除图像，然后将这两幅背景剪除图像合成一幅背景剪除图像；接着提取前景像素的连通区域，将连通区域和及其周围邻域内的像素分为前景种子像素、背景种子像素和未标记像素；最后采用基于封闭形式的抠图算法对包含运动目标的连通区域及其周围邻域进行更为精细的分割；

(14)运动目标的跟踪：在第一帧图像中，通过人工选定目标矩形框，将目标矩形框划分为多个小的局部图像块，并且使用积分图的技术提取它们的灰度直方图；将第一帧中划分得到的局部图像块都当作前景图像块，同时使用基于局部空间共生关系的背景建模方法对目标矩形框周围的背景进行建模；在新的一帧图像中，首先通过匹配所有的前景图像块，生成一个目标权重图像集合；然后设计一个鲁棒的统计算子，来融合目标权重图像集合，从而确定目标在当前帧中的位置；得到目标的位置之后使用局部背景模型，将目标位置对应的目标矩形框内的图像块分为前景图像块和背景图像块；然后更新前景图像块的灰度直方图模型，同时更新局部背景模型；在每一帧图像中，都按上述过程依次进行，直到跟踪视频结束。