CN111105444B - 一种适用于水下机器人目标抓取的连续跟踪方法 - Google Patents

Abstract

本发明涉及一种适用于水下机器人目标抓取的连续跟踪方法，属于视觉目标跟踪技术领域；包括核相关运动模型的建立；HOG特征提取；建立表观模型；模型的更新和迭代。本发明基于核相关滤波理论通过基样本的循环位移实现密集采样从而提取更加丰富的训练样本集合，通过提取HOG特征，建立跟踪目标的表观模型引入核函数从而解决非线性回归问题，提升计算效率，根据反馈结果判断是否需要重新初始化跟踪，提出一种基于***置信度自判别机制，实现了对目标的连续跟踪。本发明不仅可以保证对水下目标的稳定跟踪，而且能够自行判断遮挡和误跟踪情况，从而重新识别跟踪，进而完成对水下目标的连续跟踪可靠抓取。

Description

一种适用于水下机器人目标抓取的连续跟踪方法

技术领域

本发明涉及一种适用于水下机器人目标抓取的连续跟踪方法，属于视觉目标跟踪技术领域。

背景技术

一直以来，诸如海参、扇贝、海胆等海生物捕捞作业通常由人力完成。受限于潜水时间、潜水深度、工况、捕捞成本，潜水人员易患职业病等客观条件，采用水下机器人可以降低捕捞成本并改善作业安全性。在过去的二十年里，计算机视觉领域发展迅速。跟踪方法从最早期的均值漂移算法、子空间算法等到稀疏表示理论，再到现在主流的相关滤波类算法和深度学习算法。发展至今，目标跟踪算法虽已经取得巨大进步，但仍然存在如运动模糊、遮挡等挑战。

视觉目标跟踪是计算机视觉领域的重要研究方向之一，也是水下机器人实现对目标自主抓取作业的关键环节，它融合了模式识别、图像处理、计算机等领域的先进技术和核心思想。水下机器人的目标跟踪是在目标识别的基础上，针对第一个帧的目标识别结果，对连续视频序列给出的所确定目标在下一帧中的精确位置坐标。只有通过对水下目标的连续稳定跟踪，才能保证水下机器人实现准确可靠抓取。然而水下目标跟踪经常会由于目标与周围环境的相似，手爪或机器人的其他部分对目标的遮挡导致跟踪和抓取失败。

专利文献“一种基于深度学习和单目视觉的水下跟踪方法(申请号：201910474803.3)”涉及到基于深度学习的水下机器人目标方法，但深度学习的跟踪速度较慢，而且水下机器人目标抓取控制需要快速和高频的跟踪反馈，尤其需要考虑在水下目标抓取时受到手爪等遮挡的情形，所以该专利不能支持水下机器人目标抓取的实施。专利文献“水下运动小目标的检测跟踪方法及***(申请号：201910595413.1)”涉及到水下小目标的目标跟踪方法，但主要用于水下声纳对目标的检测，和视觉检测跟踪的实施方法有很大差别。专利文献“一种图像识别和跟踪***(申请号：201710424070.3)”涉及到水下机器人的图像识别和目标跟踪***，但主要对目标图像的多线索特征进行融合，分析与测试图像的相关性，这种方法对***资源要求不高，时间复杂度较低，但测试的样本由于大量的重叠部分导致样本存在冗余，由此而增加的样本数量会带来计算量增大不能满足实时性需求。

发明内容

本发明的目的是为了解决现在水下目标跟踪经常会由于目标与周围环境的相似，手爪或机器人的其他部分对目标的遮挡导致跟踪和抓取失败的问题而提供一种适用于水下机器人目标抓取的连续跟踪方法。

本发明的目的是这样实现的，一种适用于水下机器人目标抓取的连续跟踪方法，具体包括以下步骤：

步骤1、核相关运动模型的建立；

核相关运动模型的建立需要基于相关滤波的KCF方法采用密集采样的方式提取更加丰富的训练样本集合；密集采样通过基样本的循环位移来实现，在采样过程中生成一个样本循环矩阵：

密集采样就是通过循环矩阵的特性将感兴趣区域进行循环位移，为滤波器提供训练样本；根据核函数定理，样本循环矩阵映射到核空间后依然保持循环特性；

步骤2、HOG特征提取；

步骤2.1、将样本区域分成若干区域，然后每个区域提取32维特征，即3×nOrients+5，其中nOrients＝9为梯度方向划分的盒子即bin个数，每个方向提取三个特征，包括两个对盒子敏感的，一个是不敏感的，另外4个特征表观纹理，最后一个为零，表示阶段特征；

步骤2.2、将每个细胞单元提取的31个特征并联起来，假设单元的划分结果是m×n,那么f-HOG提取的结果为m×n×31，称这31个方向为通道；

步骤2.3、通过细胞单元的循环漂移生成样本，对应的就是每一通道对应位置的移位，所有样本的第i通道都是由生成图像的第i通道循环漂移获得的；

步骤3、建立表观模型；

步骤3.1、基于核相关滤波的***采用正则化的最小二乘分类器进行训练，基于上述生成的样本集训练分类器f(z)使得正则化风险最小化：

其中y_i表示对应训练样本的回归目标的期望输出，y总体期望遵循高斯分布，λ是正则化参数，防止过拟合；目标函数为：f(z)＝w^Tz，上式求得的极小值有闭环解，即为相关滤波模板：

w＝(X^TX+λI)^-1X^Hy

其中，I是单位阵；

步骤3.2、针对非线性问题，引入核函数法，假设是一个从低维输入空间到高维空间的映射，则核函数/>表示和在高维空间的互相关，上式的滤波器模板系数w是循环漂移生成的样本集的线性组合，即

将之前求w的问题转化为求核正则化最小二乘分类器的解α＝[α₀,...,α_n-1]^T的问题：

α＝(K+λI)^-1y

其中，K是核函数矩阵，其元素为K_ij＝κ(Pⁱx,P^jx)；若核函数满足κ(x,x')＝κ(Px,Px')，那么核函数矩阵是一个循环矩阵；

根据循环矩阵的性质将上式转化到频域计算：

其中，k^xx是核函数矩阵K的第一行K＝C(k^xx)，即滤波器的训练过程只需要计算基样本在高维空间的自相关；

在测试时，使用K^Z表示训练样本和测试样本之间的核矩阵，训练样本由训练基样本循环漂移生成，测试样本由候选基样本循环漂移生成；最终得到各个测试样本的响应：

找到最大的f(Z)所在位置即为跟踪目标；

步骤4、模型的更新和迭代；

针对连续跟踪的需要，提出一种基于***置信度自判别机制，以判别是否因为目标相似或遮挡造成误跟踪；自判别机制为：

其中，δ是为一个极小的数，防止AS→∞；f_max，f_ave和f_xy分别表示当前帧响应最大值，平均值和第x行、第y列的元素的响应值；对于尖锐且少噪声的响应图，AS指标会变大，此时认为跟踪的目标准确；反之，AS指标会明显减小；当AS≤ζ₁AS_ave时，认为当前帧存在遮挡，通过检测器重新初始化***；此机制来判断目标是否发生遮挡，当目标发生遮挡时停止更新，以提高跟踪的鲁棒性。

与现有技术相比，本发明的有益效果是：本发明设计了一种适用于水下机器人目标抓取的连续跟踪方法，该发明基于核相关滤波理论通过基样本的循环位移实现密集采样从而提取更加丰富的训练样本集合，通过提取HOG特征，建立跟踪目标的表观模型和对模型的更新迭代实现对目标的连续跟踪。本发明不仅可以保证对水下目标的稳定跟踪，而且能够自行判断遮挡和误跟踪情况，从而重新识别跟踪，进而完成对水下目标的连续跟踪可靠抓取。

附图说明

图1是跟踪流程图；

图2是误跟踪图；

图3是跟踪抓取图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

一种适用于水下机器人目标抓取的连续跟踪方法，主要步骤包括：核相关运动模型的建立，HOG特征提取，建立表观模型，模型的更新和迭代等几个步骤。其中，核相关运动模型的建立需要基于相关滤波的KCF方法采用密集采样的方式提取更加丰富的训练样本集合。密集采样是通过基样本的循环位移来实现的，在采样过程中生成一个样本循环矩阵。

密集采样就是通过循环矩阵的特性将感兴趣区域进行循环位移，为滤波器提供训练样本。根据核函数定理，样本循环矩阵映射到核空间后依然保持循环特性。

HOG特征提取，HOG特征是将图像划分成网格密集的大小统一的细胞单元(cell)。在一幅图像中，局部目标的外观和形状能够通过梯度方向分布来描述。为减少光照影响，将这些细胞单元的方向直方图在图像的更大范围内进行对比度归一化。最终将所有细胞单元直方图串联起来即为图像的特征。就是将样本区域分成若干区域，然后每个区域提取了32维特征，即3×nOrients+5，其中nOrients＝9即为梯度方向划分的盒子(bin)个数，每个方向提取三个特征，包括两个对盒子敏感的，一个是不敏感的，另外4个特征表观纹理，最后一个为零(表示阶段特征)。将每个细胞单元提取的31个特征并联起来.假设单元的划分结果是m×n,那么f-HOG提取的结果为m×n×31，我们称这31个方向为通道。上述的二维图像矩阵即为提取特征后的细胞单元，通过细胞单元的循环漂移生成样本，对应的就是每一通道对应位置的移位，所有样本的第i通道都是由生成图像的第i通道循环漂移获得的。

核相关运动模型的建立需要基于相关滤波的KCF方法采用密集采样的方式提取更加丰富的训练样本集合。密集采样是通过基样本的循环位移来实现的，在采样过程中生成一个样本循环矩阵，如下式：

密集采样就是通过循环矩阵的特性将感兴趣区域进行循环位移，为滤波器提供训练样本。根据核函数定理，样本循环矩阵映射到核空间后依然保持循环特性。

HOG特征提取，HOG特征是将图像划分成网格密集的大小统一的细胞单元(cell)。在一幅图像中，局部目标的外观和形状能够通过梯度方向分布来描述。为减少光照影响，将这些细胞单元的方向直方图在图像的更大范围内进行对比度归一化。最终将所有细胞单元直方图串联起来即为图像的特征。就是将样本区域分成若干区域，然后每个区域提取了32维特征，即3×nOrients+5，其中nOrients＝9即为梯度方向划分的盒子(bin)个数，每个方向提取三个特征，包括两个对盒子敏感的，一个是不敏感的，另外4个特征表观纹理，最后一个为零(表示阶段特征)。将每个细胞单元提取的31个特征并联起来.假设单元的划分结果是m×n,那么f-HOG提取的结果为m×n×31，我们称这31个方向为通道。上述的二维图像矩阵即为提取特征后的细胞单元，通过细胞单元的循环漂移生成样本，对应的就是每一通道对应位置的移位，所有样本的第i通道都是由生成图像的第i通道循环漂移获得的。

表观模型的建立，基于核相关滤波的***采用正则化的最小二乘分类器进行训练。基于上述生成的样本集训练分类器f(z)使得正则化风险最小化。

其中，y_i表示对应训练样本的回归目标的期望输出，y总体期望遵循高斯分布，λ是正则化参数，防止过拟合。目标函数为：f(z)＝w^Tz。

上式求得的极小值有闭环解，即为相关滤波模板：

w＝(X^TX+λI)^-1X^Hy (3)

其中，I是单位阵。

针对非线性问题，我们引入核函数法。假设是一个从低维输入空间到高维空间的映射，则核函数/>表示和在高维空间的互相关。上式的滤波器模板系数w是循环漂移生成的样本集的线性组合，即

将之前求w的问题转化为求核正则化最小二乘分类器的解α＝[α₀,...,α_n-1]^T的问题：

α＝(K+λI)^-1y (4)

其中，K是核函数矩阵，其元素为K_ij＝κ(Pⁱx,P^jx)。若核函数满足κ(x,x')＝κ(Px,Px')，那么核函数矩阵是一个循环矩阵。

根据循环矩阵的性质可将上式转化到频域计算：

其中，k^xx是核函数矩阵K的第一行K＝C(k^xx)，即滤波器的训练过程只需要计算基样本在高维空间的自相关。

在测试时，使用K^Z表示训练样本和测试样本之间的核矩阵。训练样本由训练基样本循环漂移生成，测试样本由候选基样本循环漂移生成。最终得到各个测试样本的响应如下式，找到最大的f(Z)所在位置即为跟踪目标。

d、模型的更新迭代策略，针对连续跟踪的需要，提出一种基于***置信度自判别机制，以判别是否因为目标相似或遮挡造成误跟踪。自判别机制如下：

其中，δ是为一个极小的数，防止AS→∞；f_max，f_ave和f_xy分别表示当前帧响应最大值，平均值和第x行、第y列的元素的响应值。对于尖锐且少噪声的响应图，AS指标会变得比较大，此时认为跟踪的目标准确；反之，AS指标会明显减小。当AS≤ζ₁AS_ave时，认为当前帧存在遮挡，通过检测器重新初始化***。此机制来判断目标是否发生遮挡，当目标发生遮挡时停止更新，以提高跟踪的鲁棒性。

附图1为跟踪流程图。首先，在第一帧初始化观察模型(该过程为手动标定或由检测算法给出)。跟踪框扩展2.5倍后变为搜索框，然后在搜索框中提取特征向量(矩阵)用作基本样本。基本样本循环漂移生成大量虚拟样本用作训练样本，此时快速计算公式得到参数向量根据上一帧的预测目标区域提取特征用作基本样本，然后对该采样进行循环漂移生成测试样本，将训练好的分类器使用公式计算响应，得到检测的置信图，最大响应处即为最可能的目标位置。再在当前位置处形成新的搜索框，再提取特征用于接下来的输入样本，由此不断训练、检测，完成跟踪任务。

如图2所示，水下机器人在水池通过先识别扇贝目标然后进行跟踪和抓取。首先小目标识别算法检测和识别扇贝目标，接着基于KCF跟踪算法对扇贝目标进行跟踪。

本机制根据反馈结果判断是否需要重新初始化跟踪。提出一种基于***置信度自判别机制。

其中，δ是为一个极小的数，防止AS→∞；f_max，f_ave和f_xy分别表示当前帧响应最大值，平均值和第x行、第y列的元素的响应值。对于尖锐且少噪声的响应图，AS指标会变得比较大，此时认为跟踪的目标准确；反之，AS指标会明显减小。当AS≤ζ₁AS_ave时，认为当前帧存在遮挡，通过检测器重新初始化***。此机制来判断目标是否发生遮挡，当目标发生遮挡时停止更新，以提高跟踪的鲁棒性。

为进一步增强我们算法的防遮挡效果，若连续N帧图片，有我们认为此时有可能发生跟踪漂移，重新初始化***。w，h分别为图片的长和宽。因为在机器人抓取过程中，机器人相对于目标总是运动的，若连续N帧目标中心的像素位置变化量小于阈值，则很可能已经错跟到手爪或机器人本体上了。因此将重新调用目标识别模块对目标重新进行识别和跟踪。

根据图三，进一步表现了本方法在长时连续跟踪的效果。实验中持续对扇贝目标跟踪了128秒，共3200帧图片，并完成了抓取，其中每秒25帧图片。在跟踪过程中目标受到了手爪的遮挡，本文的方法探测到了遮挡的情况，重新初始化了目标的识别并进行目标跟踪，实现了对目标的连续跟踪。

综上，本发明提出了一种适用于水下机器人目标抓取的连续跟踪方法，该发明不仅可以保证对水下目标的稳定跟踪，而且能够自行判断遮挡和误跟踪情况，从而重新识别跟踪，进而完成对水下目标的连续跟踪可靠抓取。本发明基于核相关滤波理论通过基样本的循环位移实现密集采样从而提取更加丰富的训练样本集合，通过提取HOG特征，建立跟踪目标的表观模型引入核函数从而解决非线性回归问题，提升计算效率，根据反馈结果判断是否需要重新初始化跟踪，提出一种基于***置信度自判别机制，实现了对目标的连续跟踪。

Claims (1)

1.一种适用于水下机器人目标抓取的连续跟踪方法，其特征在于，具体包括以下步骤：

步骤1、基于相关滤波的KCF方法建立核相关运动模型；输入视频序列，在第一帧初始化模型，将跟踪框扩展2.5倍后变为搜索框，然后在搜索框中提取特征向量用作基本样本；基本样本通过循环位移生成虚拟样本用作训练样本；

密集采样通过基样本的循环位移来实现，在采样过程中生成一个样本循环矩阵：

密集采样就是通过循环矩阵的特性将感兴趣区域进行循环位移，为滤波器提供训练样本；根据核函数定理，样本循环矩阵映射到核空间后依然保持循环特性；

步骤2、提取训练样本的HOG特征，基于核相关滤波的***采用正则化的最小二乘分类器进行训练来建立表观模型；

HOG特征提取的具体方法为：

步骤2.1、将样本区域分成若干区域，然后每个区域提取32维特征，即3×nOrients+5，其中nOrients＝9为梯度方向划分的盒子即bin个数，每个方向提取三个特征，包括两个对盒子敏感的，一个是不敏感的，另外4个特征表观纹理，最后一个为零，表示阶段特征；

步骤2.2、将每个细胞单元提取的31个特征并联起来，假设单元的划分结果是m×n,那么f-HOG提取的结果为m×n×31，称这31个方向为通道；

步骤2.3、通过细胞单元的循环漂移生成样本，对应的就是每一通道对应位置的移位，所有样本的第i通道都是由生成图像的第i通道循环漂移获得的；建立表观模型的具体方法为：

基于核相关滤波的***采用正则化的最小二乘分类器进行训练，基于上述生成的样本集训练分类器f(z)使得正则化风险最小化：

其中y_i表示对应训练样本的回归目标的期望输出，y总体期望遵循高斯分布，λ是正则化参数，防止过拟合；目标函数为：f(z)＝w^Tz，上式求得的极小值有闭环解，即为相关滤波模板：

w＝(X^TX+λI)^-1X^Hy

其中，I是单位阵；

针对非线性问题，引入核函数法，假设是一个从低维输入空间到高维空间的映射，则核函数/>表示和在高维空间的互相关，上式的滤波器模板系数w是循环漂移生成的样本集的线性组合，即

将之前求w的问题转化为求核正则化最小二乘分类器的解α＝[α₀,...,α_n-1]^T的问题：

α＝(K+λI)^-1y

其中，K是核函数矩阵，其元素为K_ij＝κ(Pⁱx,P^jx)；若核函数满足κ(x,x')＝κ(Px,Px')，那么核函数矩阵是一个循环矩阵；

根据循环矩阵的性质将上式转化到频域计算：

其中，k^xx是核函数矩阵K的第一行，K＝C(k^xx)，即滤波器的训练过程只需要计算基样本在高维空间的自相关；

在测试时，使用K^Z表示训练样本和测试样本之间的核矩阵，训练样本由训练基样本循环漂移生成，测试样本由候选基样本循环漂移生成；最终得到各个测试样本的响应：

找到最大的f(Z)所在位置即为跟踪目标；

步骤3：对连续N帧目标中心的像素位置变化量进行自判别，若连续N帧目标中心的像素位置变化量小于给定阈值，认为发生跟踪漂移，重新初始化***；

针对连续跟踪的需要，提出一种基于***置信度自判别机制，以判别是否因为目标相似或遮挡造成误跟踪；自判别机制为：

其中，δ是为一个极小的数，防止AS→∞；f_max，f_ave和f_xy分别表示当前帧响应最大值，平均值和第x行、第y列的元素的响应值；对于尖锐且少噪声的响应图，AS指标会变大，此时认为跟踪的目标准确；反之，AS指标会明显减小；当AS≤ζ₁AS_ave时，认为当前帧存在遮挡，通过检测器重新初始化***；此机制来判断目标是否发生遮挡，当目标发生遮挡时停止更新，以提高跟踪的鲁棒性。