CN109166136B - 移动机器人基于单目视觉传感器的目标对象跟随方法 - Google Patents

Abstract

本发明涉及计算机视觉识别领域，具体提供了一种移动机器人基于单目视觉传感器的目标对象跟随方法，旨在解决现有移动机器人跟随目标对象的鲁棒性差，难以保证对行人等目标对象的跟随质量的问题。为此目的，本发明提供的方法包括移动机器人根据目标对象的目标区域获取目标对象的图像；得到目标对象的图像的特征矩阵；利用目标跟踪算法和特征矩阵确定目标对象的中心点；根据中心点和目标对象的外形框架确定出目标对象所在的区域，作为第一区域，判断第一区域的面积在目标对象的图像中的比例是否大于设定阈值，根据判断结果执行相应的操作。基于上述步骤，本发明提供的方法实时性、鲁棒性好，可以实现对目标对象的有效跟随。

Description

移动机器人基于单目视觉传感器的目标对象跟随方法

技术领域

本发明涉及计算机视觉领域，具体涉及移动机器人领域，尤其涉及一种移动机器人基于单目视觉传感器的目标对象跟随方法。

背景技术

智能移动机器人对运动目标跟随被广泛地应用在家庭服务、助老助残、场景监控和智能车等领域。移动机器人对目标对象的跟随涉及计算机视觉、运动控制和模式识别等领域，具有广泛应用前景。

与TLD(Tracking-Learning-Detection)、STRUCK等方法不同的是，移动机器人对目标对象的跟随要求具有较高的鲁棒性。通常，移动机器人利用激光传感器或视觉传感器进行感知。激光传感器虽然能够得到精确的距离信息，但是在目标对象的识别与跟随方面鲁棒性不足，难以解决目标丢失后重新找回的问题。视觉传感器能够提供更为丰富的环境信息，视觉传感器包括双目视觉传感器和单目视觉传感器。与基于双目视觉传感器的目标对象跟随相比，基于单目视觉传感器的目标对象跟随算法处理时间短，有利于保证实时性。目前，单目视觉传感器的目标对象跟随多利用颜色分割、粒子滤波等方法，但是由于复杂背景、目标对象出入视野等干扰的存在，使得这些方法的鲁棒性差，难以实现对行人等目标对象的有效跟随。

发明内容

为了解决现有技术中的上述问题，即为了解决现有移动机器人跟随目标对象的鲁棒性差，难以实现对行人等目标对象的跟随的问题，本发明提出了一种移动机器人基于单目视觉传感器的目标对象跟随方法，提高了对复杂背景的鲁棒性，保证了移动机器人在不同环境中对行人等目标对象的跟随。所述移动机器人基于单目视觉传感器的目标对象跟随方法包括：

步骤101：移动机器人根据目标对象的目标区域获取目标对象的图像；

步骤102：对所述目标对象的图像进行预处理，并利用特征变换得到所述目标对象的图像的特征矩阵；

步骤103：利用目标跟踪算法确定出所述特征矩阵的响应矩阵，并记录所述响应矩阵中所有元素的最大值；将所述最大值对应于所述响应矩阵中的元素的位置，作为所述目标对象相对于预先获取的初始目标区域的位移坐标，结合所述初始目标区域的中心位置，确定所述目标对象所在位置作为所述目标对象的中心点；

步骤104：根据所述中心点和所述目标对象的外形框架确定出所述目标对象所在的区域，作为第一区域；判断所述第一区域的面积在所述目标对象的图像中的比例是否大于设定阈值，若是，则执行步骤105，若否，则执行步骤106；

步骤105：确定所述第一区域为所述目标对象的目标区域；

步骤106：以所述中心点的位置为中心构建检测区域，在所述检测区域内利用目标检测器重新对所述目标对象进行检测，将检测得到的所述目标对象所在的区域作为第二区域，如果该第二区域的区域面积在所述目标对象的图像中图像面积的比例大于所述设定阈值，则将该第二区域作为所述目标对象的目标区域。

在上述方法的优选技术方案中，“对所述目标对象的图像进行预处理，并利用特征变换得到所述目标对象的图像的特征矩阵”的步骤包括：

对所述目标对象的图像的初始目标区域内的图像进行卷积计算，得到所述目标对象的图像的中间图像块；

对所述中间图像块进行特征变换得到所述目标对象的图像的特征矩阵；

其中，所述特征变换包括FHOG特征变换和RGB特征变换，所述特征矩阵为多通道特征矩阵。

在上述方法的优选技术方案中，所述特征变换是FHOG特征变换时，“对所述中间图像块进行特征变换得到所述目标对象的图像的特征矩阵”的步骤包括：

按照下式所示的方法对所述中间图像块进行特征变换：

计算得到上述中间图像块的FHOG特征矩阵F_i ^FHOG，上述FHOG特征矩阵的行和列通过如下公式确定：

其中，H_i ^FHOG为第i时刻的FHOG特征矩阵的行，W_i ^FHOG为第i时刻的FHOG特征矩阵的列，H_i ^tar’为第i时刻的初始目标区域的长，W_i ^tar’为第i时刻的初始目标区域的宽，cell是FHOG特征矩阵的特征描述子的参数，n_cell是指cell的尺寸。

在上述方法的优选技术方案中，所述特征变换是RGB特征变换时，“对所述中间图像块进行特征变换得到所述目标对象的图像的特征矩阵”的步骤包括：

对上述中间图像块进行RGB特征变换，得到三通道特征矩阵；对上述三通道特征矩阵进行高斯下采样，得到RGB特征矩阵，其中，RGB特征矩阵行数为H_i ^FHOG，列数为W_i ^FHOG；

通过通道拼接方法将所述FHOG特征矩阵和RGB特征矩阵进行拼接，得到所述目标对象的图像的多通道特征矩阵。

在上述方法的优选技术方案中，“利用目标跟踪算法确定出所述特征矩阵的响应矩阵”的步骤包括：

利用KCF***生成所述特征矩阵在傅里叶域的初始目标特征模板和初始参数矩阵；

利用所述初始目标特征模板和初始参数矩阵，通过如下公式更新目标跟踪算法的目标特征模板和参数矩阵：

其中，M_i-1为第i-1时刻的目标特征模板，T_i-1为第i-1时刻的参数矩阵，M_i为第i时刻的目标特征模板，T_i为第i时刻的参数矩阵，M_i’为第i时刻的初始目标特征模板，T_i’为第i时刻的初始参数矩阵，α、β为比例因子。

根据更新后的目标特征模板和参数矩阵，通过如下公式计算所述响应矩阵：

P_i＝Γ^-1(M_i☉T_i)

其中，☉为矩阵点乘操作符，P_i为第i时刻的响应矩阵，Γ^-1为反傅里叶变换函数。

在上述方法的优选技术方案中，“确定所述目标对象所在位置作为所述目标对象的中心点”的步骤包括：

记录所述响应矩阵中所有元素的最大值；

将所述所有元素的最大值所对应的响应矩阵中的元素的位置作为目标对象相对于上一帧图像在当前帧图像中的位移坐标；

根据所述初始目标区域的中心位置，得到所述目标对象在当前图像帧中的位置，通过如下公式确定所述当前图像帧中目标对象中心点的位置：

(u_i ^tar,v_i ^tar)＝(u_i ^tar’,v_i ^tar’)+n_cell×(u_i,v_i)

其中，(u_i,v_i)表示所述目标对象相对于上一帧图像在当前帧即第i时刻的图像中位移坐标，(u_i ^tar’,v_i ^tar’)表示所述初始目标区域在第i时刻的中心位置，(u_i ^tar,v_i ^tar)表示所述目标对象在当前图像帧中即第i时刻的位置，n_cell表示FHOG特征参数cell的尺寸。

在上述方法的优选技术方案中，“根据所述中心点和所述目标对象的外形框架确定出所述目标对象所在的区域”的步骤包括：

通过相邻尺度采样和最小二乘拟合的方法获得图像中目标对象的最优尺度；

将所述初始目标区域的长和宽作为初始的长和宽，确定尺度变换后，根据最优尺度和所述初始目标区域的长和宽确定所述目标区域的长和宽，从而确定所述目标区域。

在上述方法的优选技术方案中，“通过相邻尺度采样和最小二乘拟合的方法获得图像中目标对象的最优尺度”的步骤包括：

对所述目标对象的图像的中间图像块进行尺度变换，得到第一图像块和第二图像块；

利用上述特征变换分别得到对应所述第一图像块和第二图像块的第一多通道特征矩阵和第二多通道特征矩阵；

利用所述目标跟踪算法分别计算所述第一多通道特征矩阵和第二多通道特征矩阵的第一响应矩阵和第二响应矩阵，并分别记录各响应矩阵中元素的最大值；

根据所述第一响应矩阵、第二响应矩阵和所述响应矩阵中元素的最大值进行最小二乘法拟合，确定所述目标对象的图像中目标对象的最优尺度。

在上述方法的优选技术方案中，“以所述中心点的位置为中心构建检测区域，在所述检测区域内利用目标检测器重新对所述目标对象进行检测，将检测得到的所述目标对象所在的区域作为第二区域”的步骤包括：

以所述中心点的位置为中心构建检测区域；

通过预先训练的SVM模型对所述检测区域内的图像块进行目标对象检测，确定目标框集合；

利用上述特征提取方法计算所述目标框对应的图像块的多通道特征矩阵；

根据KCF***和所述多通道特征矩阵，计算所述各多通道特征矩阵的响应矩阵，并记录所述响应矩阵中元素的最大值；

将包含所述中心点且包含最大元素值的目标框作为有效目标框，标记所述有效目标框的中心点的坐标，将所述最大值在所述响应矩阵中对应的位置作为所述目标对象相对于所述目标框的中心点的位移坐标；

根据所述目标框的中心点的位置，将目标对象所在的位置作为有效目标对象的中心位置，以所述目标对象的中心位置为中心构建第二目标区域。

在上述方法的优选技术方案中，所述方法还包括：

当所述目标框集合中不存在有效目标框时，按照下式所述的方法控制所述移动机器人朝着目标消失在视野中的方位转动：

其中，k_p1表示比例系数，V_i ^left表示所述移动机器人第i时刻的左轮速度，V_i ^right表示所述移动机器人第i时刻的右轮速度，(u₀ ^tar,v₀ ^tar)表示所述目标对象的预设位置坐标，(u_last ^tar,v_last ^tar)表示所述目标对象在走出机器人视野的前一时刻的实际位置坐标。

本申请实施例提供的移动机器人基于单目视觉传感器的目标对象跟随方法可以实现对目标对象的有效跟随。本发明实时性好，在光照变化、目标遮挡等干扰下，仍能够实现移动机器人对行人等目标对象的跟随，具有较好的鲁棒性。

附图说明

图1为本申请的移动机器人基于单目视觉传感器的目标对象跟随方法的一实施例流程图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本申请的移动机器人基于单目视觉传感器的目标对象跟随方法的一实施例流程图。单目视觉传感器安装在移动机器人上，其光轴方向与移动机器人的正方向保持一致。该移动机器人基于单目视觉传感器的目标对象跟随方法，包括以下步骤：

步骤101，移动机器人根据目标对象的目标区域获取目标对象的图像。

在本实施例中，单目视觉传感器获取当前时刻(即第i时刻)的图像I_i ^scr，其中i＝1,2,3,…，将第i-1时刻所确定出的目标区域Φ_i-1 ^tar作为第i时刻的初始目标区域Φ_i ^tar’，(u_i ^tar’,v_i ^tar’)＝(u_i-1 ^tar,v_i-1 ^tar)，H_i ^tar’＝H_i-1 ^tar，W_i ^tar’＝W_i-1 ^tar，其中目标区域Φ_i-1 ^tar为矩形区域，(u_i-1 ^tar,v_i-1 ^tar)为目标区域Φ_i-1 ^tar的中心坐标，H_i-1 ^tar和W_i-1 ^tar分别为目标区域Φ_i-1 ^tar的长和宽，(u_i ^tar’,v_i ^tar’)为初始目标区域Φ_i ^tar’的中心位置，H_i ^tar’和W_i ^tar’分别为初始目标区域Φ_i ^tar’的长和宽。特别地，移动机器人在开始进行目标对象跟随之前，通过单目视觉传感器采集包含目标对象的图像，并根据图像中目标对象的位置，手动选定目标区域Φ₀ ^tar，并将目标区域Φ₀ ^tar作为初始时刻的初始目标区域Φ₁ ^tar’，(u₁ ^tar’,v₁ ^tar’)＝(u₀ ^tar,v₀ ^tar)；H₁ ^tar’＝H₀ ^tar，W₁ ^tar’＝W₀ ^tar，其中，(u₀ ^tar,v₀ ^tar)为目标区域Φ₀ ^tar的中心位置，H₀ ^tar和W₀ ^tar分别为目标区域Φ₀ ^tar的长和宽，(u₁ ^tar’,v₁ ^tar’)为初始目标区域Φ₁ ^tar’的中心位置，H₁ ^tar’和W₁ ^tar’分别为初始目标区域Φ₁ ^tar’的长和宽。

需要说明的是，初始时刻的初始目标区域为手动选定，其他时刻(即第i时刻，i＝2,3,4,…)的初始目标区域为上一时刻(即第i-1时刻)得到的目标对象的目标区域。

步骤102，对上述目标对象的图像进行预处理，并利用特征变换得到上述目标对象的图像的特征矩阵。

在本实施例中，对步骤101所获取的目标对象的图像进行预处理。上述预处理可以为图像平滑处理、均值处理、几何变换、归一化处理等。将上述经预处理后的图像进行特征变换，得到上述图像经特征变换后的特征矩阵。

在本实施例的一些可选的实现方式中，上述对图像进行预处理可以为对上述图像中初始目标区域内的图像进行卷积计算，得到上述图像的中间图像块B_i ^blur。对上述中间图像块进行特征变换得到多通道特征矩阵F_i ^tar。上述特征变换可以为FHOG特征变换和RGB特征变换。上述FHOG(Felzenszwalb Histogram of Oriented Gradient)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。上述RGB特征是基于红(R)、绿(G)、蓝(B)三个颜色通道得到特征描述子。

在本实施例的一些可选的实现方式中，对上述中间图像块进行FHOG特征变换，提取上述图像的FHOG特征矩阵F_i ^FHOG，上述FHOG特征矩阵的行和列通过如下公式确定：

其中，H_i ^FHOG为FHOG特征矩阵的行，W_i ^FHOG为FHOG特征矩阵的列，H_i ^tar’为初始目标区域的长，W_i ^tar’为初始目标区域的宽，cell是FHOG特征矩阵的特征描述子的参数，n_cell是指cell的尺寸。

在一些优选的方案中，特征描述子参数的尺寸n_cell＝4。FHOG特征中直方图的方向(bins)设置为9，cell大小为4×4像素，3×3个cell组成一个block。特征向量的通道数为31，其中包含方向不敏感特征9个、方向敏感特征18个和纹理特征4个。

在本实施例的一些可选的实现方式中，上述利用特征变换得到上述图像的特征矩阵，还可以为利用RGB特征变换得到上述图像的特征矩阵F_i ^RGB，具体为：对上述中间图像块进行RGB特征变换，提取到一个行和列分别为H_i ^tar’和W_i ^tar’的三通道特征矩阵；对上述三通道特征矩阵进行高斯下采样得到行和列分别为H_i ^FHOG和W_i ^FHOG的中间特征矩阵；按照通道拼接方式将上述三通道RGB特征矩阵和上述FHOG特征矩阵拼接为多通道特征矩阵F_i ^tar。

步骤103，利用目标跟踪算法确定出上述特征矩阵的响应矩阵，并记录上述响应矩阵中所有元素的最大值；将上述最大值对应于上述响应矩阵中的元素的位置，作为上述目标对象相对于上述初始目标区域的位移坐标，结合上述初始目标区域的中心位置，确定上述目标对象所在位置作为目标对象的中心点。

在本实施例中，可以将上述特征矩阵导入到预设的跟踪算法模型，确定出目标对象所在的位置。上述跟踪算法可以为KCF跟踪算法。具体为，将上述特征矩阵导入到上述KCF跟踪算法模型，确定出上述特征矩阵的响应矩阵；记录上述响应矩阵中所有元素的最大值，将该最大值对应于响应矩阵中的元素的位置作为目标对象相对于初始目标区域中目标对象的位移坐标，结合上述初始目标区域的中心位置，即可确定出目标对象所在位置作为目标对象当前的中心点。

在本实施例的一些可选的实现方式中，上述目标跟踪算法包括KCF跟踪算法，上述利用目标跟踪算法确定出特征矩阵的响应矩阵，包括：根据上述多通道特征矩阵F_i ^tar，利用上述KCF跟踪算法生成上述多通道特征矩阵在傅里叶域的初始目标特征模板M_i’和初始参数矩阵T_i’；利用初始目标特征模板和初始参数矩阵，通过如下公式和上述特征矩阵更新KCF跟踪算法中的目标特征模板M_i和参数矩阵T_i：

其中，M_i-1为第i-1时刻的目标特征模板，T_i-1为第i-1时刻的参数矩阵，M_i为第i时刻的目标特征模板，T_i为第i时刻的参数矩阵，M_i’为第i时刻的初始目标特征模板，T_i’为第i时刻的初始参数矩阵，α、β为比例因子

根据更新后的目标特征模板和参数矩阵，通过如下公式计算所述响应矩阵：

P_i＝Γ^-1(M_i☉T_i)

其中，☉为矩阵点乘操作符，P_i为响应矩阵，Γ^-1为反傅里叶变换函数。

作为示例，记录上述响应矩阵中所有元素的最大值o_i；将o_i所对应的响应矩阵中的元素的位置作为目标对象相对于上一帧图像在当前帧图像中的位移坐标(u_i,v_i)，结合上述初始目标区域的中心位置(u_i ^tar’,v_i ^tar’)，得到目标对象在当前图像帧中的位置(u_i ^tar,v_i ^tar)。即通过如下公式确定出当前图像帧的目标对象中心点的位置为：

(u_i ^tar,v_i ^tar)＝(u_i ^tar’,v_i ^tar’)+n_cell×(u_i,v_i)

其中，n_cell是指FHOG特征参数cell的尺寸。

步骤104，根据上述中心点和上述目标对象的外形框架确定出上述目标对象所在的区域，作为第一区域，判断上述第一区域的面积在上述目标对象的图像中的比例是否大于设定阈值，若是，则执行步骤105，若否，则执行步骤106。

步骤105，确定上述第一区域为目标对象的目标区域。

在本实施例中，利用上述步骤103所确定出的目标对象的中心点的位置，并利用所跟踪的目标对象的外形构造图形框架，确定出上述目标对象所在的区域作为第一区域；判断上述第一区域在上述图像中的面积与该第一区域的面积的比例是否大于的设定阈值。作为示例，当目标对象为行人时。上述目标对象的外形框架可以为按照人体外形构造的长方形框架。将以上述中心位置和上述长方形框架构建的目标对象所在的长方形区域作为第一区域。上述比例关系可以根据实际情况设置，但至少要大于二分之一。如果比例大于设定阈值，即可认为目标对象在该图像内，因而确定上述第一区域为目标对象的目标区域。

在本实施例的一些可选的是实现方式中，上述根据中心点和目标对象的外形框架确定出上述目标对象的目标区域，包括：通过相邻尺度采样和最小二乘拟合的方法获得图像中目标对象的最优尺度；将上述初始目标区域的长和宽作为初始的长和宽，确定尺度变换后，根据最优尺度和上述初始目标区域的长和宽确定上述目标区域的长和宽，从而确定上述目标区域。

其中，上述通过相邻尺度采样和最小二乘拟合的方法获得图像中目标对象的最优尺度，包括：对上述中间图像块进行尺度变换，得到第一图像块和第二图像块，利用特征变换得到对应于上述第一图像块和第二图像块的第一多通道特征矩阵和第二多通道特征矩阵；利用上述KCF跟踪算法分别计算第一多通道特征矩阵和第二多通道特征矩阵的第一响应矩阵和第二响应矩阵，并分别记录各响应矩阵中元素的最大值；根据所述第一响应矩阵、第二响应矩阵和所述响应矩阵中元素的最大值进行最小二乘法拟合，确定出上图像中目标对象的最优尺度。

作为示例，首先，对中间图像块B_i ^blur分别进行0.95倍和1.05倍的尺度变换，得到图像块B_i- ^blur和B_i+ ^blur。其次，对变换后的图像块进行FHOG特征变换和RGB特征变换，得到对应于尺度为0.95、1和1.05的多通道特征矩阵F_i- ^tar，F_i ^tar，F_i+ ^tar。再次，将利用上述KCF跟踪算法得到上述多通道特征矩阵F_i- ^tar、F_i ^tar和F_i+ ^tar对应的响应矩阵P_i-、P_i和P_i+，分别记录各响应矩阵中元素的最大值o_i-、o_i、o_i+。然后，使用函数p_i＝a_is_i ²+b_is_i+c_i对(0.95,o_i-)、(1.00,o_i)、(1.05,o_i+)三点进行最小二乘拟合，其中，s_i为尺度，p_i为尺度s_i下响应矩阵中元素的最大值，a_i、b_i、c_i分别是该函数的二次项系数、一次项系数和常数项。最后，拟合得到参数a_i、b_i、c_i的估计值A_i、B_i、C_i，将S_i＝-B_i/(2A_i)记为当前图像帧中目标对象的最优尺度。

结合上述最优尺度和初始目标区域，得到目标区域的长和宽分别为H_i ^tar＝S_i×H_i ^tar’，W_i ^tar＝S_i×W_i ^tar’，该目标区域的中心位置为在上述步骤203中所确定出的目标对象的中心位置。

步骤106，以上述中心位置为中心构建检测区域，在检测区域内重新对目标对象进行检测，将检测得到的目标对象所在的区域作为第二区域，如果该第二区域的区域面积在上述图像中图像面积的比例大于上述设定阈值，则将该第二区域作为上述目标对象的目标区域。

在本实施例中，如果上述第一区域在上述图像中的图像区域面积与第一区域的区域面积的比例小于设定阈值，即上述第一区域的部分区域不在上述图像内，且不在上述图像内的部分的面积超出了设定阈值，则认为使用该图像确定的目标对象的目标区域不能正确地对目标对象进行跟踪。此时，以上述中心位置为中心构建检测区域，在检测区域内使用目标对象检测方法构建初始目标区域，并依据所构建的初始目标区域重新获取目标对象的数据图像，以此重新确定出的目标对象所在的区域为第二区域。如果该第二区域的区域面积在图像中图像面积的比例大于上述设定阈值，则可把该第二区域作为上述目标对象的目标区域。

在本实施例的一些可选的是实现方式中，以上述中心点为中心构建检测区域，并在上述检测区域内确定出第二目标区域，包括：

以上述中心点的位置为中心构建检测区域，上述检测区域的面积大于上述初始目标区域；对上述检测区域内的图像块使用SVM模型进行目标对象的检测，确定目标框集合；将各上述目标框对应的图像块用上述特征提取方法计算多通道特征矩阵；将上述多通道特征矩阵送入上述KCF***中，计算得到各上述多通道特征矩阵的响应矩阵，并记录上述响应矩阵中元素的最大值；确定包含上述中心位置且包含最大元素值的目标框为有效目标框；标记上述有效目标框中心点的坐标，将上述最大值对应在上述响应矩阵的位置作为上述目标对象相对于目标框中心点的位移坐标，结合上述目标框中心点的位置，确定上述目标对象所在位置作为有效目标对象的中心位置；以目标位置为中心构建第二目标区域。

在本实施例的一些可选的是实现方式中，上述方法还包括：当上述目标框集合中不存在有效目标框时，控制上述机器人朝着目标消失在视野中的方位转动，使得机器人上装配的单目视觉传感器可以尽快地重新采集到包含目标对象的图像：

其中，k_p1为比例系数，V_i ^left为左轮速度，V_i ^right为右轮速度，(u₀ ^tar,v₀ ^tar)为目标对象预设的位置坐标，(u_last ^tar,v_last ^tar)为目标对象走出视野前一时刻的位置坐标。

作为示例，当上述比例小于设定阈值，需要重新采集目标对象的图像，直到可以准确的定位出目标对象所在的区域。具体为：

以最近一次检测到的目标区域的中心位置(u_last ^tar,v_last ^tar)为中心，构造边长为L的正方形区域，将该正方形区域在当前图像内的部分记为待搜索区域Φ_s。

对待搜索区域Φ_s内的图像块进行行人检测，这里可以使用Opencv3.0开源库中的SVM模块检测潜在的行人，得到矩形人体目标框集合Ω_box。对于Ω_box中的每一个矩形人体目标框R_m，m＝1,2,…,M，M为集合Ω_box中元素的个数，如果点(u_last ^tar,v_last ^tar)落在矩形人体目标框R_m内，则保留该目标框，否则，认为该目标框R_m无效，即为无效目标框；Ω_box中所有有效的矩形人体目标框的集合记为Ω_boxe。

对于集合Ω_boxe中的各元素，其中心点的图像坐标记为(u_j ^box,v_j ^box)，其中j＝1,2,…,N，N为集合Ω_boxe元素的个数；对每一个有效的矩形人体目标框的中心点(u_j ^box,v_j ^box)，根据人体的比例，获取肩部附近的目标位置(u_j ^body,v_j ^body)：

其中，γ、β为比例因子。

将所有有效的矩形人体目标框的点(u_j ^body,v_j ^body)(j＝1,2,…,N)构成点集Ω_body；对于点集Ω_body中各点，以其为中心构建长和宽分别为H_last、W_last的矩形区域，获取图像块I_j ^block，对图像块I_j ^block进行平滑处理，即使用高斯算子对图像块I_j ^block进行卷积计算，从而获得相应图像块B_j ^body，j＝1,2,…,N。对第j个图像块进行特征变换，并使用KCF跟踪算法的计算的得到其对应的响应矩阵，利用响应矩阵中元素的最大值确定出目标对象的位移坐标，根据位移坐标和初始中心位置计算出目标对象在当前图像中的中心位置，以此中心位置构建目标对象所在的区域，记为第二区域。如果该图像块所构建的第二区域在所在图像中的面积与该第二区域面积的比例达到设定阈值，则确定该第二区域为目标对象的目标区域，否则，继续控制机器人转动，获取下一帧图像继续检测，直至确定目标对象的目标区域。

在本申请的一些可选的实现方式中，上述方法还包括对机器人的运动控制，对机器人的运动控制可以为对机器人左轮和右轮速度的控制。上述对机器人的控制包括：利用目标对象的中心位置结合目标对象当前的最优尺度，通过如下公式实现单目视觉移动机器人的运动控制：

具体为，k_d、k_p2、k_p3为比例系数，V_i ^left为左轮速度，V_i ^right为右轮速度，(u₀ ^tar,v₀ ^tar)为目标对象在预设的位置坐标，(u₀ ^tar,v₀ ^tar)为目标对象预设的位置坐标，(u_i ^tar,v_i ^tar)为目标对象当前时刻位置坐标。S_i ^diff为当前时刻i的最优尺度S_i和初始时刻的尺度1的差值，即S_i ^diff＝S_i-1。

在一个优选的示例中，单目视觉传感器型号为Sony FCB-EX11DP，能够获得分辨率为640pixel×480pixel的彩色图像，cell＝4，γ＝0，β＝-0.47，k_p1＝0.1，k_p2＝-140，k_p3＝0.12，k_d＝20。

在本申请的上述实施例提供的方法根据初始目标区域指示的位置采集跟踪对象的图像，并从所采集的图像中确定出目标对象所在的区域作为目标区域，以实现对目标对象的追踪。

另一方面，本申请结合上述实施例描述的方法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种移动机器人基于单目视觉传感器的目标对象跟随方法，其特征在于，所述方法包括：

步骤101：移动机器人根据目标对象的目标区域获取目标对象的图像；

步骤102：对所述目标对象的图像进行预处理，并利用特征变换得到所述目标对象的图像的特征矩阵；所述特征矩阵为多通道特征矩阵；

步骤103：利用目标跟踪算法确定出所述特征矩阵的响应矩阵，并记录所述响应矩阵中所有元素的最大值；将所述最大值对应于所述响应矩阵中的元素的位置，作为所述目标对象相对于预先获取的初始目标区域的位移坐标，结合所述初始目标区域的中心位置，确定所述目标对象所在位置作为所述目标对象的中心点，其步骤包括：

记录所述响应矩阵中所有元素的最大值；

将所述所有元素的最大值所对应的响应矩阵中的元素的位置作为目标对象相对于上一帧图像在当前帧图像中的位移坐标；

根据所述初始目标区域的中心位置，得到所述目标对象在当前图像帧中的位置，通过如下公式确定所述当前图像帧中目标对象中心点的位置：

(u_i ^tar,v_i ^tar)＝(u_i ^tar’,v_i ^tar’)+n_cell×(u_i,v_i)

其中，(u_i,v_i)表示所述目标对象相对于上一帧图像在当前帧图像中第i时刻的位移坐标，(u_i ^tar’,v_i ^tar’)表示所述初始目标区域在第i时刻的中心位置，(u_i ^tar,v_i ^tar)表示所述目标对象在当前图像帧中第i时刻的位置，n_cell表示FHOG特征参数cell的尺寸；

步骤104：根据所述中心点和所述目标对象的外形框架确定出所述目标对象所在的区域，作为第一区域；判断所述第一区域的面积在所述目标对象的图像中的比例是否大于设定阈值，若是，则执行步骤105，若否，则执行步骤106；

步骤105：确定所述第一区域为所述目标对象的目标区域；

步骤106：以所述中心点的位置为中心构建检测区域，在所述检测区域内重新对所述目标对象进行检测，将检测得到的所述目标对象所在的区域作为第二区域，如果该第二区域的区域面积在所述目标对象的图像中图像面积的比例大于所述设定阈值，则将该第二区域作为所述目标对象的目标区域；

“以所述中心点的位置为中心构建检测区域，在所述检测区域内重新对所述目标对象进行检测，将检测得到的所述目标对象所在的区域作为第二区域”的步骤包括：

以所述中心点的位置为中心构建检测区域；

通过预先构建的SVM模型对所述检测区域内的图像块进行目标对象检测，确定目标框集合；

利用特征提取方法计算所述目标框对应的图像块的所述多通道特征矩阵；

根据KCF***和所述多通道特征矩阵，计算所述多通道特征矩阵的响应矩阵，并记录所述响应矩阵中元素的最大值；

将包含所述中心点且包含最大元素值的目标框作为有效目标框，标记所述有效目标框的中心点的坐标，将所述最大值在所述响应矩阵中对应的位置作为所述目标对象相对于所述目标框的中心点的位移坐标；

根据所述目标框的中心点的位置，将目标对象所在的位置作为有效目标对象的中心位置，以所述目标对象的中心位置为中心构建第二目标区域；

所述方法还包括：

当所述目标框集合中不存在有效目标框时，按照下式的方法控制所述移动机器人朝着目标消失在视野中的方位转动：

其中，k_p1表示比例系数，V_i ^left表示所述移动机器人第i时刻的左轮速度，V_i ^right表示所述移动机器人第i时刻的右轮速度，(u₀ ^tar,v₀ ^tar)表示所述目标对象预设的位置坐标，(u_last ^tar,v_last ^tar)表示所述目标对象走出视野前一时刻的实际位置坐标。

2.根据权利要求1所述的移动机器人基于单目视觉传感器的目标对象跟随方法，其特征在于，“对所述目标对象的图像进行预处理，并利用特征变换得到所述目标对象的图像的特征矩阵”的步骤包括：

对所述目标对象的图像进行卷积计算，得到所述目标对象的图像的中间图像块；

对所述中间图像块进行特征变换得到所述目标对象的图像的特征矩阵；

其中，所述特征变换包括FHOG特征变换和RGB特征变换。

3.根据权利要求2所述的移动机器人基于单目视觉传感器的目标对象跟随方法，其特征在于，所述特征矩阵是所述多通道特征矩阵时，“对所述中间图像块进行特征变换得到所述目标对象的图像的特征矩阵”的步骤包括：

计算得到上述中间图像块的FHOG特征矩阵F_i ^FHOG，上述FHOG特征矩阵的行和列通过如下公式确定：

其中，H_i ^FHOG为第i时刻的FHOG特征矩阵的行，W_i ^FHOG为第i时刻的FHOG特征矩阵的列，H_i ^tar’为第i时刻的初始目标区域的长，W_i ^tar’为第i时刻的初始目标区域的宽，cell是FHOG特征矩阵的特征描述子的参数，n_cell是指cell的尺寸；

对所述中间图像块进行RGB特征变换，得到三通道特征矩阵；

对所述三通道特征矩阵进行高斯下采样，得到RGB特征矩阵；

通过通道拼接方法将所述FHOG特征矩阵和RGB特征矩阵进行拼接，得到所述目标对象的图像的所述多通道特征矩阵。

4.根据权利要求1所述的移动机器人基于单目视觉传感器的目标对象跟随方法，其特征在于，“利用目标跟踪算法确定出所述特征矩阵的响应矩阵”的步骤包括：

利用KCF跟踪算法生成所述多通道特征矩阵在傅里叶域的初始目标特征模板和初始参数矩阵；

利用所述初始目标特征模板和初始参数矩阵，通过如下公式更新目标跟踪算法的目标特征模板和参数矩阵：

其中，M_i-1为第i-1时刻的目标特征模板，T_i-1为第i-1时刻的参数矩阵，M_i为第i时刻的目标特征模板，T_i为第i时刻的参数矩阵，M_i’为第i时刻的初始目标特征模板，T_i’为第i时刻的初始参数矩阵，α、β为比例因子；

根据更新后的目标特征模板和参数矩阵，通过如下公式计算所述响应矩阵：

P_i＝Γ^-1(M_i☉T_i)

其中，☉为矩阵点乘操作符，P_i为第i时刻的响应矩阵，Γ^-1为反傅里叶变换函数。

5.根据权利要求2所述的移动机器人基于单目视觉传感器的目标对象跟随方法，其特征在于，“根据所述中心点和所述目标对象的外形框架确定出所述目标对象所在的区域”的步骤包括：

通过相邻尺度采样和最小二乘拟合的方法获得图像中目标对象的最优尺度；

将所述初始目标区域的长和宽作为初始的长和宽，确定尺度变换后，根据最优尺度和所述初始目标区域的长和宽确定所述目标区域的长和宽，从而确定所述目标区域。

6.根据权利要求5所述的移动机器人基于单目视觉传感器的目标对象跟随方法，其特征在于，“通过相邻尺度采样和最小二乘拟合的方法获得图像中目标对象的最优尺度”的步骤包括：

对所述中间图像块进行尺度变换，得到第一图像块和第二图像块；

利用特征变换得到所述第一图像块和第二图像块的第一多通道特征矩阵和第二多通道特征矩阵；

利用所述目标跟踪算法分别计算所述第一多通道特征矩阵和第二多通道特征矩阵的第一响应矩阵和第二响应矩阵，并分别记录各响应矩阵中元素的最大值；

根据所述第一响应矩阵、第二响应矩阵和所述响应矩阵中元素的最大值进行最小二乘法拟合，确定所述目标对象的图像中目标对象的最优尺度。

Images