CN113240712A - 一种基于视觉的水下集群邻居跟踪测量方法 - Google Patents

Abstract

本发明提出的一种基于视觉的水下集群邻居测量方法，基于Meanshift的跟踪算法，采用目标颜色概率密度分布图作为目标搜索的特征，通过不断迭代使得算法收敛于目标真实位置，从而实现对目标的跟踪功能，并使用相似三角形目标测距和正切函数目标测角对水下邻居进行定位。这种算法的计算量较小，实时性较好，对外界环境干扰不敏感。

Description

一种基于视觉的水下集群邻居跟踪测量方法

技术领域

本发明为一种基于视觉的水下集群邻居跟踪测量方法，主要应用于视觉信息受限的水下自主航行器。

背景技术

近年来，自主水下航行器(autonomous underwater vehicle,AUV)随着国家海洋战略的实施而备受关注，而AUV集群属于“人工智能+海洋无人***”深度融合的一项基础性、创新型技术，吸引了众多研究者的目光。使多AUV像自然界的狼群、蜂群、鱼群完成觅食、筑巢、御敌、迁徙等复杂的群体运动一样相互协作，利用感知和行动能力非常有限的独立个体，通过遵循一些简单的行为规则，共同完成复杂任务是水下无人集群***协同控制研究的核心问题。

简单集群的形成要求：1.个体沿着邻居运动的方向运动；2.个体实时感知邻居状态；3.保持邻居靠近；4.避免与邻居碰撞。因此，在AUV集群中，单个AUV必须拥有获取邻居个体的相对位置信息的并进行跟踪的能力，进而组成集群协作完成水下复杂任务。传统AUV通常使用声学传感器对周围环境进行感知，其获取到的信息有限、采样周期长，易受地磁场和其它传感器干扰，且其能耗较大，成本较高，并不适合成为AUV集群的主要感知手段。而研究表明，鱼群在集群游动时，是利用视觉来感知邻居的状态，从而形成强大而灵活的自组织集群行为，受此启发，使用视觉感知成为了AUV集群的主要研究方向。随着高性能水下摄像头在AUV上的成功应用，视觉感知成为了AUV新的感知手段，其在采样周期，获取信息量，成本，能耗等方面均要优于声学感知，非常适用于在近距离、高精度的工作任务中使用。因此，基于视觉感知的集群控制方法已经成为当前水下无人***集群控制研究的前沿和热点。

现有的较为主流目标跟踪算法有区域与区域匹配的跟踪算法、基于主动轮廓的跟踪算法、基于光流法的跟踪算法、基于特征点的跟踪算法。区域与区域匹配的跟踪算法通过对检测区域与目标模板的匹配来实现目标跟踪，这种方法的约束条件苛刻，要求目标形状变化不大。基于主动轮廓的跟踪算法适合于单目标检测，但由于能量函数的非凸性，存在模型收敛于局部极小值的风险，且抗噪性较差。基于光流法的跟踪算法的稳定性和可靠性较好，但跟踪效果一般。基于特征点的跟踪算法在目标发生旋转或被遮挡时难以保证跟踪的准确性。

发明内容

基于Meanshift的跟踪算法采用目标颜色概率密度分布图作为目标搜索的特征，通过不断迭代使得算法收敛于目标真实位置，从而实现对目标的跟踪功能，这种算法的计算量较小，实时性较好，对外界环境干扰不敏感，这些特点使得基于Meanshift的跟踪算法非常适合于特殊的水下工作工作环境。因此，为满足水下AUV集群的需要，本发明基于Meanshift方法面向AUV集群提出了一种水下目标跟踪方法，并使用相似三角形目标测距和正切函数目标测角对水下邻居进行定位。

本发明的技术方案为：

所述一种基于视觉的水下集群邻居跟踪测量方法，包括以下步骤：

步骤1：获取目标的视频帧图像序列，对运动目标的视频帧进行计数，保存当前帧为I₁，之后的第N帧为I₂；此后每隔N帧将图像交替保存为I₁和I₂，依次循环；对于当前帧图像，进行目标检测和识别，截取目标框图像区域；所述交替保存指当前一组图像中的I₂也作为下一组图像中的I₁；

步骤2：将I₁和I₂从RGB颜色空间转换到HSV颜色空间，并进行滤波，去除图像中低亮度和低饱和度的部分；

步骤3：建立均值漂移模型，统计I₁中目标框内所有像素点的颜色值，建立直方图并进行归一化处理，得到目标区域的密度概率函数；根据目标的颜色归一化直方图，利用相似度量在图像I₂中寻找与目标最大相似的候选区域；

步骤4：获取图像I₁和I₂中的特征点，并以图像I₁和I₂中特征点特征向量的欧式距离作为图像I₁和I₂中特征点的相似性判断依据，实现图像I₁和I₂中特征点匹配；

步骤5：依据步骤4得到的匹配特征点对，得到尺度变化因子，对步骤3中得到的I₂图像的候选区域大小进行修正，得到实时更新的目标候选区域；

步骤6：在不断交替保存的I₁和I₂图像中对上述步骤进行迭代，实现对已识别目标的跟踪。

进一步的，步骤1中，N取10。

进一步的，步骤2中，设V_c是RGB颜色模型中的一个颜色，W_c是HSV颜色模型中的一个颜色，从RGB颜色空间到HSV颜色空间的变换过程为：W_c＝T_c(V_c)

其中T_c代表颜色空间的线性变换过程，表示为：

R'＝R/255

G'＝G/255

B'＝B/255

C_max＝max(R',G',B')

C_min＝min(R',G',B')

Δ＝C_max-C_min

v＝C_max

进一步的，步骤3中，根据目标的颜色归一化直方图，利用相似度量在图像I₂中寻找与目标最大相似的候选区域的过程为：

将I₁的中心位置y₀作为搜索窗口的中心，利用均值漂移算法求解I₂中目标的新位置坐标。

进一步的，步骤3中，均值漂移算法的具体过程为：

步骤3.1：利用图像I₁，计算目标颜色空间分布直方图：{p_u(y₀)}_u＝1,2…M，M为直方图的分块数；

步骤3.2：统计并计算BhatTacharyya系数：

q_u为目标模板颜色特征的概率密度函数；

步骤3.3：对图像I₂中搜索区域内像素点集合的每个点赋权重：weights{w_i}_i＝1,2…n其中

步骤3.4：结合Meanshift向量计算图像上对应区域的形心和质心，得到新的目标位置y₁：

式中：g＝-k′(x)，k(x)为轮廓函数；

步骤3.5：更新颜色分布直方图并计算BhatTacharyya系数，判断其与原始值的大小，如果小于原始值，则以y₂＝1/2(y₁+y₀)得到新的位置，并重复目标位置计算和BhatTacharyya系数计算步骤，直到新的BhatTacharyya系数不小于原始值；

步骤3.6：判断|y₁-y₀|＜ζ，若成立，则输出I₂中目标的新位置坐标，否则重新选择搜索区域进行迭代过程。

进一步的，步骤4的具体过程为：用sift算法构建尺度空间，获得图像I₁和I₂多尺度下的尺度空间表示序列；在尺度空间中求局部极值，对sift特征点进行定位，并基于图像局部的梯度方向确定特征点的方向；在特征点周围的邻域内，测量图像局部的梯度，提取特征点描述子，以特征点特征向量的欧式距离作为图像I₁和I₂中特征点的相似性判断依据。

进一步的，步骤5中，利用仿射变换模型拟合I₁图像和I₂图像之间特征匹配点映射关系，选择至少四对特征点匹配对构成图像I₁和I₂间的仿射变换矩阵H，得到尺度变化因子。

进一步的，步骤6中，在对已识别目标的跟踪过程中，利用相似三角形原理来计算观测者自身到目标个体间距离，利用直角三角形正切函数计算目标中心点与观测者搭载的摄像头传感器之间的正向夹角，计算公式如下:

f＝(d·w)/width

d＝(f·width)/w

其中，f为观测者摄像头的焦距，width为所识别目标的实际宽度，d为摄像头与目标位置之间的距离，w为采集到的图像的像素宽度。

有益效果

本发明提出的一种基于视觉的水下集群邻居测量方法，基于Meanshift的跟踪算法，采用目标颜色概率密度分布图作为目标搜索的特征，通过不断迭代使得算法收敛于目标真实位置，从而实现对目标的跟踪功能，算法的计算量较小，实时性较好，对外界环境干扰不敏感。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1：本发明的流程图。

图2：基于相似三角形原理的测距示意图。

图3：不同光照条件下测量效果。

图4：实验环境示意图。

图5：机器鱼视觉邻居感知单目标跟踪结果轨迹。

图6：机器鱼视觉邻居感知多目标跟踪结果轨迹。

图7：机器鱼视觉邻居测量实验效果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明实施例以自主仿生机器鱼Robolab-Edu为测试平台，对水下集群邻居测量方法进行了验证：

机器鱼(下位机)和PC端(上位机)通过路由器进行WIFI通信，使得PC端可以远程登录机器鱼的Nanopi-S2，对其视觉感知软件***进行二次开发。在实验环境下(如图4)，通过水池上方架设的摄像头实时捕获到观测机器鱼和邻居机器鱼的运动，并传输至PC端来跟踪并绘制出它们的运动轨迹。

将Robolab-Edu自主仿生机器鱼放入实验水池中，设置邻居机器鱼的运动速度约为0.05m/s，观测机器鱼的运动速度约为0.08m/s，稍快于前者以便完成跟踪任务。对所获取视频序列中的目标(邻居机器鱼)进行检测与识别，选定要跟踪的目标邻居，得到初始目标框(ROI)的位置信息，截取初始目标框图像区域。

为了验证观测机器鱼是否能够实时跟踪邻居机器鱼，本发明以观测机器鱼为验证平台，利用提出的算法，在室内实验水池中对单个邻居机器鱼进行视觉感知，实现目标跟踪与测量，验证算法在机器鱼平台上运行的可行性和实时性。具体步骤为：

步骤1：获取目标的视频帧图像序列，对运动目标的视频帧进行计数，保存当前帧为I₁，之后的第N帧为I₂；此后每隔10帧将图像交替保存为I₁和I₂，依次循环；对于当前帧图像，进行目标检测和识别，截取目标框图像区域；所述交替保存指当前一组图像中的I₂也作为下一组图像中的I₁。

步骤2：将I₁和I₂从RGB颜色空间转换到HSV颜色空间，并进行滤波，去除图像中低亮度和低饱和度的部分；

设V_c是RGB颜色模型中的一个颜色，W_c是HSV颜色模型中的一个颜色，从RGB颜色空间到HSV颜色空间的变换过程为：W_c＝T_c(V_c)

其中T_c代表颜色空间的线性变换过程，表示为：

R'＝R/255

G'＝G/255

B'＝B/255

C_max＝max(R',G',B')

C_min＝min(R',G',B')

Δ＝C_max-C_min

v＝C_max

步骤3：建立均值漂移模型，统计I₁中目标框内所有像素点的颜色值，建立直方图并进行归一化处理，得到目标区域的密度概率函数；根据目标的颜色归一化直方图，利用相似度量在图像I₂中寻找与目标最大相似的候选区域：将I₁的中心位置y₀作为搜索窗口的中心，利用均值漂移算法求解I₂中目标的新位置坐标。

均值漂移算法的具体过程为：

定义用于相似性度量的BhatTacharyya系数：

式中q_u为目标模板颜色特征的概率密度函数，p_u(y)为y中心位置候选目标的特征分布。

步骤3.1：利用图像I₁，计算目标颜色空间分布直方图：{p_u(y₀)}_u＝1,2…M，M为直方图的分块数；

步骤3.2：统计并计算BhatTacharyya系数：

步骤3.3：对图像I₂中搜索区域内像素点集合的每个点赋权重：weights{w_i}_i＝1,2…n其中

步骤3.4：结合Meanshift向量计算图像上对应区域的形心和质心，得到新的目标位置y₁：

式中：g＝-k′(x)，k(x)为轮廓函数；

步骤3.5：更新颜色分布直方图并计算BhatTacharyya系数，判断其与原始值的大小，如果小于原始值，则以y₂＝1/2(y₁+y₀)得到新的位置，并重复目标位置计算和BhatTacharyya系数计算步骤，直到新的BhatTacharyya系数不小于原始值；

步骤3.6：判断|y₁-y₀|＜ζ，若成立，则输出I₂中目标的新位置坐标，否则重新选择搜索区域进行迭代过程。

步骤4：用sift算法构建尺度空间，获得图像I₁和I₂多尺度下的尺度空间表示序列；在尺度空间中求局部极值，对sift特征点进行定位，并基于图像局部的梯度方向确定特征点的方向；在特征点周围的邻域内，测量图像局部的梯度，提取特征点描述子，并以图像I₁和I₂中特征点特征向量的欧式距离作为图像I₁和I₂中特征点的相似性判断依据，实现图像I₁和I₂中特征点匹配。

步骤5：利用仿射变换模型拟合I₁图像和I₂图像之间特征匹配点映射关系，选择至少四对特征点匹配对构成图像I₁和I₂间的仿射变换矩阵H，得到尺度变化因子，对步骤3中得到的I₂图像的候选区域大小进行修正，得到实时更新的目标候选区域。

步骤6：在不断交替保存的I₁和I₂图像中对上述步骤进行迭代，实现对已识别目标的跟踪。

在对已识别目标的跟踪过程中，如图2所示，利用相似三角形原理来计算观测者自身到目标个体间距离，利用直角三角形正切函数计算目标中心点与观测者搭载的摄像头传感器之间的正向夹角，计算公式如下:

f＝(d·w)/width

d＝(f·width)/w

其中，f为观测者摄像头的焦距，width为所识别目标的实际宽度，d为摄像头与目标位置之间的距离，w为采集到的图像的像素宽度。

测量效果如图3所示，(a)-(d)为不同情况下的结果，(a)光照条件良好；(b)邻居旋转；(c)邻居旋转，光照不均匀；(d)邻居旋转，背景复杂。利用以上方法即可实现对邻居个体的跟踪测量

机器鱼视觉邻居感知单目标跟踪结果轨迹如图5，机器鱼视觉邻居感知多目标跟踪结果轨迹图6。

利用相似三角形的目标测距和基于直角三角形正切函数的目标测角原理来计算观察者与邻居机器鱼之间的相对距离与角度。测量效果如图7。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：包括以下步骤：

步骤1：获取目标的视频帧图像序列，对运动目标的视频帧进行计数，保存当前帧为I₁，之后的第N帧为I₂；此后每隔N帧将图像交替保存为I₁和I₂，依次循环；对于当前帧图像，进行目标检测和识别，截取目标框图像区域；所述交替保存指当前一组图像中的I₂也作为下一组图像中的I₁；

步骤2：将I₁和I₂从RGB颜色空间转换到HSV颜色空间，并进行滤波，去除图像中低亮度和低饱和度的部分；

步骤3：建立均值漂移模型，统计I₁中目标框内所有像素点的颜色值，建立直方图并进行归一化处理，得到目标区域的密度概率函数；根据目标的颜色归一化直方图，利用相似度量在图像I₂中寻找与目标最大相似的候选区域；

步骤4：获取图像I₁和I₂中的特征点，并以图像I₁和I₂中特征点特征向量的欧式距离作为图像I₁和I₂中特征点的相似性判断依据，实现图像I₁和I₂中特征点匹配；

步骤5：依据步骤4得到的匹配特征点对，得到尺度变化因子，对步骤3中得到的I₂图像的候选区域大小进行修正，得到实时更新的目标候选区域；

步骤6：在不断交替保存的I₁和I₂图像中对上述步骤进行迭代，实现对已识别目标的跟踪。

2.根据权利要求1所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤1中，N取10。

3.根据权利要求1所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤2中，设V_c是RGB颜色模型中的一个颜色，W_c是HSV颜色模型中的一个颜色，从RGB颜色空间到HSV颜色空间的变换过程为：W_c＝T_c(V_c)

其中T_c代表颜色空间的线性变换过程，表示为：

R'＝R/255

G'＝G/255

B'＝B/255

C_max＝max(R',G',B')

C_min＝min(R',G',B')

Δ＝C_max-C_min

v＝C_max

4.根据权利要求1所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤3中，根据目标的颜色归一化直方图，利用相似度量在图像I₂中寻找与目标最大相似的候选区域的过程为：

将I₁的中心位置y₀作为搜索窗口的中心，利用均值漂移算法求解I₂中目标的新位置坐标。

5.根据权利要求4所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤3中，均值漂移算法的具体过程为：

步骤3.1：利用图像I₁，计算目标颜色空间分布直方图：{p_u(y₀)}_u＝1,2…M，M为直方图的分块数；

步骤3.2：统计并计算BhatTacharyya系数：

q_u为目标模板颜色特征的概率密度函数；

步骤3.3：对图像I₂中搜索区域内像素点集合的每个点赋权重：weights{w_i}_i＝1,2…n其中

步骤3.4：结合Meanshift向量计算图像上对应区域的形心和质心，得到新的目标位置y₁：

式中：g＝-k′(x)，k(x)为轮廓函数；

步骤3.5：更新颜色分布直方图并计算BhatTacharyya系数，判断其与原始值的大小，如果小于原始值，则以y₂＝1/2(y₁+y₀)得到新的位置，并重复目标位置计算和BhatTacharyya系数计算步骤，直到新的BhatTacharyya系数不小于原始值；

步骤3.6：判断|y₁-y₀|＜ζ，若成立，则输出I₂中目标的新位置坐标，否则重新选择搜索区域进行迭代过程。

6.根据权利要求1所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤4的具体过程为：用sift算法构建尺度空间，获得图像I₁和I₂多尺度下的尺度空间表示序列；在尺度空间中求局部极值，对sift特征点进行定位，并基于图像局部的梯度方向确定特征点的方向；在特征点周围的邻域内，测量图像局部的梯度，提取特征点描述子，以特征点特征向量的欧式距离作为图像I₁和I₂中特征点的相似性判断依据。

7.根据权利要求1所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤5中，利用仿射变换模型拟合I₁图像和I₂图像之间特征匹配点映射关系，选择至少四对特征点匹配对构成图像I₁和I₂间的仿射变换矩阵H，得到尺度变化因子。

8.根据权利要求1所述一种基于视觉的水下集群邻居跟踪测量方法，其特征在于：步骤6中，在对已识别目标的跟踪过程中，利用相似三角形原理来计算观测者自身到目标个体间距离，利用直角三角形正切函数计算目标中心点与观测者搭载的摄像头传感器之间的正向夹角，计算公式如下：

f＝(d·w)/width

d＝(f·width)/w

其中，f为观测者摄像头的焦距，width为所识别目标的实际宽度，d为摄像头与目标位置之间的距离，w为采集到的图像的像素宽度。

Images