CN107170011A - 一种机器人视觉跟踪方法及*** - Google Patents

Abstract

本发明公开了一种机器人视觉跟踪方法及***，所述方法包括：利用深度卷积神经网络，获取跟踪目标的感兴趣区域；确定机器人的当前位置信息和机器人的姿态信息；根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。本发明基于深度卷积神经网络和视觉SLAM技术进行目标识别和跟踪，能够提高其鲁棒性。

Description

一种机器人视觉跟踪方法及***

技术领域

本发明涉及机器人技术领域，尤其涉及一种机器人视觉跟踪方法及***。

背景技术

在机器人应用当中，如何让机器人自动的跟踪目标进行运动和活动是人工智能领域的核心问题之一。目前，基于机器视觉的机器人目标跟踪算法主要有：方法一，基于子区域匹配的目标跟踪方法；方法二，基于卡尔曼滤波和粒子滤波的滤波性跟踪算法。

好的跟踪算法应该要有很好的鲁棒性，而上述方法受外在条件和目标运动规律的限制，很难保证算法鲁棒性。其中，方法一基于颜色作为匹配特征，采用迭代的方法寻找当前帧中目标的可能位置，该方法快速高效，但是存在的问题是其对于光照条件十分敏感，当光线变化严重时，很难保证算法的鲁棒性；方法二是一种目前应用较广泛的目标跟踪方法，其基于线性高斯假设，能很有效地预测目标的线性运动。不过，当目标运动不再符合线性假设时，该方法所预测的目标位置往往会产生较大的偏差。

发明内容

针对现有技术中的缺陷，本发明提供一种机器人视觉跟踪方法及***，基于深度卷积神经网络和视觉SLAM技术进行目标识别和跟踪，能够提高其鲁棒性。

第一方面，本发明提供了一种机器人视觉跟踪方法，所述方法包括：

利用深度卷积神经网络，获取跟踪目标的感兴趣区域；

确定机器人的当前位置信息和机器人的姿态信息；

根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；

根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

进一步地，所述利用深度卷积神经网络，获取跟踪目标的感兴趣区域，具体包括：

采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；

对所述RGB通道图像进行预处理，输出感兴趣区域图像；

将所述感兴趣区域图像输入深度卷积神经网络；

从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。

进一步地，所述对所述RGB通道图像进行预处理，输出感兴趣区域图像，具体包括：

对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；

将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。

进一步地，所述确定机器人的当前位置信息和机器人的姿态信息，具体包括：

根据所述机器人在上一时刻的位置信息，初步确定所述机器人的当前位置信息；

将所述感兴趣区域与所述语义地图进行特征匹配，进一步确定所述机器人的当前位置信息和所述机器人的姿态信息。

进一步地，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：

识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；

在检测到所述跟踪目标的情况下，根据所述感兴趣区域、所述机器人的位置信息和所述机器人的姿态信息，确定所述跟踪目标的当前位置信息。

进一步地，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：

识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；

在检测不到所述跟踪目标的情况下，根据所述机器人的姿态信息和所述语义地图，判断前方是否有遮挡物或路径转角；

在确定有遮挡物或路径转角的情况下，更新场景地图，再次检测所述跟踪目标，并确定所述跟踪目标的当前位置信息。

进一步地，所述根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪，具体包括：

根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，制定相应的跟踪决策；

根据所述跟踪决策，控制所述机器人对所述跟踪目标进行跟踪。

第二方面，本发明还提供了一种机器人视觉跟踪***，所述***包括：区域获取模块，位姿确定模块，目标检测模块，控制模块；所述区域获取模块与所述位姿确定模块连接，所述位姿确定模块与所述目标检测模块连接，所述目标检测模块与所述控制模块连接；

所述区域获取模块，用于利用深度卷积神经网络，获取跟踪目标的感兴趣区域；

所述位姿确定模块，用于确定机器人的当前位置信息和机器人的姿态信息；

所述目标检测模块，用于根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；

所述控制模块，用于根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

进一步地，所述区域获取模块具体用于：

采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；

对所述RGB通道图像进行预处理，输出感兴趣区域图像；

将所述感兴趣区域图像输入深度卷积神经网络；

从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。

进一步地，所述区域获取模块包括图像处理单元；

所述图像处理单元，用于对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；对所述特征图进行兴趣区预测子网处理，并进行池化，输出所述感兴趣区域图像。

由上述技术方案可知，本发明提供一种机器人视觉跟踪方法及***，基于深度卷积神经网络和视觉SLAM技术进行目标识别和跟踪，能够提高其鲁棒性。

附图说明

图1示出了本发明提供的机器人视觉跟踪方法的流程示意图。

图2示出了本发明提供的机器人视觉跟踪***的结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

图1示出了本发明实施例一提供的机器人视觉跟踪方法的流程示意图。如图1所示，所述方法包括：

步骤S1，利用深度卷积神经网络，获取跟踪目标的感兴趣区域(ROI)；

步骤S2，确定机器人的当前位置信息和机器人的姿态信息；

步骤S3，根据所述感兴趣区域(ROI)，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；

步骤S4，根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

本实施例的技术方案具体为：

步骤S1，利用深度卷积神经网络，获取跟踪目标的感兴趣区域。

优选地，所述步骤S1具体包括：首先，采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像，其大小保持原图大小；其次，对所述RGB通道图像进行预处理，输出感兴趣区域图像；再次，将所述感兴趣区域图像输入深度卷积神经网络；最后，从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。所述感兴趣区域中包含LandMark和跟踪标识。

进一步优选地，对所述RGB通道图像进行预处理，输出感兴趣区域图像，具体包括：首先，对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图，该特征图的大小与原图大小对应，根据原图大小的不同而不同，但其维数始终固定在128维；其次，将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。该感兴趣区域图像，包含兴趣区矩形框相对于原图的左上角坐标、该矩形框的长度和宽度、以及该感兴趣区域图像的类别。其中，所述类别包括：包含LandMark的感兴趣区域图像，和包含跟踪标识的感兴趣区域图像。

其中，深度卷积神经网络近年来在计算机视觉领域取得巨大的成果，其在目标识别、图像分类、目标检测、场景理解、图像语义分割等领域都中飞跃式的进步。经过深度卷积神经网络提取的网络特征具有层次性，越往深层，特征抽象性越强，其转换到隐式特征空间的非线性也越强，同时也具备了更好的图像信息表达能力。

基于以上，本发明实施例采用深度卷积神经网络确定跟踪目标的ROI，相比传统方法更稳定，该方法不受光照条件、目标运动规律等因素的限制，检出率高，可避免遗漏；得到ROI有助于进行进一步处理，可以减少后续处理时间，增加精度。

步骤S2，确定机器人的当前位置信息和机器人的姿态信息。

优选地，所述步骤S2具体包括：首先，根据所述机器人在上一时刻的位置信息，初步确定所述机器人的当前位置信息，即确定机器人大致的当前位置；其次，将步骤S1中从深度卷积神经网络中提取出的ROI与所述语义地图进行特征匹配，从而精确确定所述机器人的当前位置信息和所述机器人的姿态信息。

进一步优选地，将从所述ROI中提取的LandMark与所述语义地图进行特征匹配，以计算所述机器人的当前位置信息和所述机器人的姿态信息。其中，所述语义地图是预先采用视觉SLAM技术构建得到的离线地图，该地图存储于机器人中。

本步骤基于视觉SLAM技术，能够更准确地确定机器人的位置信息和姿态信息，为后续制定跟踪决策提供有效数据。

步骤S3，根据所述感兴趣区域(ROI)，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息。

优选地，在所述步骤S3中，首先需识别所述ROI中包含的跟踪标识，然后根据所述跟踪标识检测所述跟踪目标。其中，所述跟踪标识优选为二维码。

根据是否能够检测到跟踪目标，分别有以下几种处理方式：

若检测到所述跟踪目标，则根据所述ROI的坐标、所述机器人的位置信息和所述机器人的姿态信息，通过计算确定所述跟踪目标的当前位置信息。具体地，将所述ROI的坐标输入到所述RGBD相机的Depth通道中，再结合所述机器人的位置信息和所述机器人的姿态信息，进行计算。

若检测不到所述跟踪目标，则根据所述机器人的姿态信息和所述语义地图，判断前方是否有遮挡物或路径转角。

根据判断结果，若确定前方有遮挡物或路径转角，则控制机器人继续行进，并更新场景地图；在更新的场景地图中再次通过步骤S1、步骤S2以及部分S3步骤，重新识别跟踪标识和检测所述跟踪目标，检测到跟踪目标后，确定所述跟踪目标的当前位置信息，若更新后依然没有检测到跟踪目标，则发出报警指示。根据判断结果，若确定前方没有遮挡物和路径转角，则发出报警指示。

本步骤优选二维码作为作为目标跟踪标识，简单快速，识别率高，可有效地避免跟踪目标混淆。

步骤S4，根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

优选地，在能够检测到跟踪目标的情况下，所述步骤S4具体包括：根据前述步骤中得到的所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，制定相应的跟踪决策；根据所述跟踪决策，控制所述机器人对所述跟踪目标进行跟踪。

基于以上内容，本发明实施例一可以实现的技术效果为：基于深度卷积神经网络确定目标的ROI，相比传统方法更稳定，不受光照条件限制，检出率高，可避免遗漏；基于视觉SLAM技术，能够更准确地确定机器人的位置信息和姿态信息，为后续制定跟踪决策提供有效数据；采用二维码作为目标跟踪标识，简单快速，识别率高，避免跟踪目标混淆；当目标暂时遮挡的情况下，能够结合场景环境作出更合理的运行规划。因此本发明实施例一能够提高跟踪方法的鲁棒性。

实施例二

对本发明实施例一对应地，图2示出了本发明实施例提供的一种机器人视觉跟踪***的结构示意图。如图2所示，所述***包括：区域获取模块101，位姿确定模块102，目标检测模块103，控制模块104；所述区域获取模块101与所述位姿确定模块102连接，所述位姿确定模块102与所述目标检测模块103连接，所述目标检测模块103与所述控制模块104连接。

所述区域获取模块101，用于利用深度卷积神经网络，获取跟踪目标的感兴趣区域。具体用于：采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；对所述RGB通道图像进行预处理，输出感兴趣区域图像；将所述感兴趣区域图像输入深度卷积神经网络；从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。

其中，所述区域获取模块101包括图像处理单元；所述图像处理单元，用于对所述RGB通道图像进行预处理，输出所述感兴趣区域图像。具体用于：对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。

所述位姿确定模块102，用于利用视觉SLAM技术，确定机器人的当前位置信息和机器人的姿态信息。具体用于：根据所述机器人在上一时刻的位置信息，初步确定所述机器人的当前位置信息，即确定机器人大致的当前位置；将步骤S1中从深度卷积神经网络中提取出的ROI与所述语义地图进行特征匹配，从而精确确定所述机器人的当前位置信息和所述机器人的姿态信息。

所述目标检测模块103，用于根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息。

所述控制模块104，用于根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。具体用于：根据前述步骤中得到的所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，制定相应的跟踪决策；根据所述跟踪决策，控制所述机器人对所述跟踪目标进行跟踪。

基于以上内容，本发明实施例二可以达到的技术效果是：所述***基于深度卷积神经网络确定目标的ROI，相比传统方法更稳定，不受光照条件限制，检出率高，可避免遗漏；所述***基于视觉SLAM技术，能够更准确地确定机器人的位置信息和姿态信息，为后续制定跟踪决策提供有效数据；采用二维码作为目标跟踪标识，简单快速，识别率高，避免跟踪目标混淆；当目标暂时遮挡的情况下，能够结合场景环境作出更合理的运行规划。因此本发明实施例二能够提高所实施的跟踪方法的鲁棒性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种机器人视觉跟踪方法，其特征在于，所述方法包括：

利用深度卷积神经网络，获取跟踪目标的感兴趣区域；

确定机器人的当前位置信息和机器人的姿态信息；

根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；

根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

2.根据权利要求1所述的机器人视觉跟踪方法，其特征在于，所述利用深度卷积神经网络，获取跟踪目标的感兴趣区域，具体包括：

采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；

对所述RGB通道图像进行预处理，输出感兴趣区域图像；

将所述感兴趣区域图像输入深度卷积神经网络；

从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。

3.根据权利要求2所述的机器人视觉跟踪方法，其特征在于，所述对所述RGB通道图像进行预处理，输出感兴趣区域图像，具体包括：

对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；

将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。

4.根据权利要求1所述的机器人视觉跟踪方法，其特征在于，所述确定机器人的当前位置信息和机器人的姿态信息，具体包括：

根据所述机器人在上一时刻的位置信息，初步确定所述机器人的当前位置信息；

将所述感兴趣区域与所述语义地图进行特征匹配，进一步确定所述机器人的当前位置信息和所述机器人的姿态信息。

5.根据权利要求1所述的机器人视觉跟踪方法，其特征在于，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：

识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；

在检测到所述跟踪目标的情况下，根据所述感兴趣区域、所述机器人的位置信息和所述机器人的姿态信息，确定所述跟踪目标的当前位置信息。

6.根据权利要求4所述的机器人视觉跟踪方法，其特征在于，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：

识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；

在检测不到所述跟踪目标的情况下，根据所述机器人的姿态信息和所述语义地图，判断前方是否有遮挡物或路径转角；

在确定有遮挡物或路径转角的情况下，更新场景地图，再次检测所述跟踪目标，并确定所述跟踪目标的当前位置信息。

7.根据权利要求5或6所述的机器人视觉跟踪方法，其特征在于，所述根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪，具体包括：

根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，制定相应的跟踪决策；

根据所述跟踪决策，控制所述机器人对所述跟踪目标进行跟踪。

8.一种机器人视觉跟踪***，其特征在于，所述***包括：区域获取模块，位姿确定模块，目标检测模块，控制模块；所述区域获取模块与所述位姿确定模块连接，所述位姿确定模块与所述目标检测模块连接，所述目标检测模块与所述控制模块连接；

所述区域获取模块，用于利用深度卷积神经网络，获取跟踪目标的感兴趣区域；

所述位姿确定模块，用于确定机器人的当前位置信息和机器人的姿态信息；

所述目标检测模块，用于根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；

所述控制模块，用于根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

9.根据权利要求8所述的机器人视觉跟踪***，其特征在于，所述区域获取模块具体用于：

采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；

对所述RGB通道图像进行预处理，输出感兴趣区域图像；

将所述感兴趣区域图像输入深度卷积神经网络；

从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。

10.根据权利要求8所述的机器人视觉跟踪***，其特征在于，所述区域获取模块包括图像处理单元；

所述图像处理单元，用于对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；对所述特征图进行兴趣区预测子网处理，并进行池化，输出所述感兴趣区域图像。