CN103345752A - 一种机器人与手机协作跟踪行人的方法 - Google Patents

Abstract

本发明提出一种移动机器人与手机协作跟踪行人的方法，采用移动机器人与手机相互协作的方式对行人进行跟踪。本发明针对目前智能机的普及，通过行人随身携带的手机与移动机器人协作，完成跟踪任务，本发明通过人的运动信息来跟踪特定的人。手机根据集成的惯性传感器的测量数据计算出人步行的速度和方向，并把该信息发送给机器人。而机器人通过自身的激光测距仪或者其他装置测出附近的行人的步行速度与方向，找出符合目标行人的运动特征的人，本发明不受光照影响，应用范围广，精确率高。

Description

一种机器人与手机协作跟踪行人的方法

技术领域

本发明属于信息技术设备领域，尤其是涉及一种移动机器人与手机协作跟踪行人的方法。

背景技术

本发明研究的是移动服务机器人跟随特定行人的问题。当前，基于计算机视觉的行人目标跟踪已经发展得比较成熟，在很多场合也得到了有效的应用。然而基于视觉传感器的目标跟踪方法也存在着很多固有缺陷，如算法受光照影响较大、图像成像过程中深度信息的丢失、算法复杂度高等，使得在如遮挡、夜间等情况下的使用效果不令人满意。

由于智能手机的普及，本发明通过行人随身携带的手机与移动机器人协作，完成跟踪任务。基于视频的跟踪方法通过人的图像特征来跟踪特定的人；而本发明通过人的运动和空间信息来跟踪特定的人，这些信息由手机上的惯性传感器(加速度计、电子罗盘和陀螺仪等)和机器人上的激光测距仪等传感器共同提供。

已有一些文献研究了通过手机来计算人的步行情况：文献[2][3][7][8]研究了通过手机计步的问题，文献[1]主要比较了通过手机估计行人步行方向的几个方法，文献[2][3][4][5][6]研究了如何估计行人步长的问题。通过这些方法，可以测定出行人步行的速度与方向。

另外，在已有文献中，也常常通过机器人上装载的激光测距仪来检测周围存在的人及这些人的位置，如[9][10][11]。通过连续的距离测定，就能判断这些人的运动速度与方向。

参考文献：

[1]Steinhoff，U.and Schiele，B.Dead reckoning from the pocket-An experimental study.In proceedings of IEEE InternationalConference on Pervasive Computing and Communications(PerCom)，Mannheim，Germany，March29-April22010，162-170.

[2]Bylemans，I.，Weyn，M.and Klepal，M.Mobile Phone-BasedDisplacement Estimation for Opportunistic Localisation Systems.InProceedings of Third International Conference on Mobile UbiquitousComputing，Systems，Services and Technologies，2009(UBICOMM′09)，Sliema，Malta，11-16October2009，113-118.

[3]Shin，S.H.，Lee，M.S.，Park，C.G.and Hong，H.S.Pedestriandead reckoning system with phone location awareness algorithm.InProceedings of IEEE/ION Position Location and Navigation Symposium(PLANS)，Indian Wells/Palm Springs，California USA，3-6May2010，97-101.

[4]Alzantot，M.and Youssef，M.UPTIME：Ubiquitous pedestriantracking using mobile phones.In Proceedings of WirelessCommunications and Networking Conference(WCNC)，Paris，France，1-4April2012，3204-3209.

[5]HATANO，Y.″Use of the pedometer for promoting daily walkingexercise.″Int.Council Health Phys.Educ.Recreat，1993，29：4-8.

[6]Harvey Weinberg，Using the ADXL202in Pedometer and PersonalNavigation Applications，Analog Devices AN-602application Note，2002.

[7]Mladenov，M.，and Mock，M.：‘A step counter service forJava-enabled devices using a built-in accelerometer’.InProceedings of the1st International Workshop on Context-AwareMiddleware and Services：affiliated with the4th InternationalConference on Communication System Software and Middleware(COMSWARE2009)，Dublin，Ireland，15-19June2009，1-5.

[8]Najme Zehra Naqvi，Ashwani Kumar，Aanchal Chauhan and KritkaSahni.Step Counting Using Smartphone-Based Accelerometer.International Journal on Computer Science and Engineering(IJCSE)，May2012，4(5)：675-681.

[9]Luo，R.C.，C.Chih Chia，et al.(2011).″Multisensor Fusionand Integration：Theories，Applications，and its Perspectives.″Sensors Journal，IEEE11(12)：3122-3138.

[10]Kristou，M.，A.Ohya，et al.(2011).Target personidentification and following based on omnidirectional camera andLRF data fusion.RO-MAN，2011IEEE.

[11]Fod，A.，A.Howard，et al.A laser-based people tracker.Inproceedings of IEEE International Conference on Robotics andAutomation(ICRA′02)，2002.

发明内容

为了弥补上述移动机器人跟踪行人可靠性差，计算量大等缺陷，本发明提供一种移动机器人与手机协作跟踪行人的方法。

实现上述有益效果的技术方案为，一种移动机器人与手机协作跟踪行人的方法，采用移动机器人与手机相互配合的方式对行人进行跟踪，所述跟踪过程如下：

(1)目标人手机上集成的惯性传感器对目标人运动情况进行测量，计算出其运动速度。

(2)建立坐标系，移动机器人建立以自身为坐标原点与行人位于同一平面的二维坐标系；

(3)检测一次候选人，移动机器人检测周围行人位置，将检测到的行人作为一次候选人，并将检测结果在坐标系中表示出来，得到一次候选人的坐标位置，假定检测到的候选人数为N人，则将一次候选人是目标行人的概率设定为1/N；

(4)更新坐标系，移动机器人在移动时间t后重新建立坐标系，仍然以自身位置为原点，建立与步骤(1)中坐标系坐标轴方向平行且单位相同的新坐标系；

(5)检测二次候选人，移动机器人再次检测周围行人位置，将检测到的行人作为二次候选人，并将其在新坐标系中分别标识出来，得到二次候选人的坐标位置；

(6)更新一次候选人坐标，移动机器人根据自身移动速度和移动方向将步骤2中检测到的一次候选人坐标更新为新坐标系下的坐标，将一次候选人和二次候选人的坐标位置放到同一个坐标系内；

(7)计算所有行人速度和速度方向，移动机器人列出所有一次候选人与二次候选人可能为同一行人的组合，由该行人在两次检测时的坐标差值计算出移动的速度大小和方向，得到每个组合的移动速度和移动方向数据V’、A’；

(8)计算各个组合中当前和上一时刻的候选人都是目标的组合的概率，目标人手机计算出时间t内目标人的运动速度V和方向A，并将计算结果发送给移动机器人，移动机器人根据手机计算结果对步骤(7)中每个组合的移动速度及方向进行比较，按公式

$\mathrm{Pro}({\mathrm{Subject}}_{\mathrm{last}\_j},{\mathrm{Subject}}_{\mathrm{now}\_k})=(\mathrm{\α}(1-{\left(\frac{V^{\′}-V}{V\max }\right)}^2)+(1-\mathrm{\α})(1-{\left(\frac{A^{\′}-A}{360}\right)}^2))*P_{{\mathrm{subject}}_{\mathrm{last}\_j}}$

计算出各个组合中当前时刻和上一时刻的候选人都是目标的概率，其中Subject_{last_j}是上一时刻第j个候选人，Subject_{now_k}是当前时刻第k个候选人，α是权重，Psubject_{last_j}是Subject_{last_j}正好为目标行人的概率，Vmax是行人步行的最大速度：

(9)计算当以上组合中检测到的各个候选人正好是目标人的概率，计算公式如下：

$P_{{\mathrm{subject}}_{\mathrm{now}\_k}={\mathrm{\Σ}}_{i=1}^M\mathrm{Pro}({\mathrm{Subject}}_{\mathrm{last}\_i},{\mathrm{Subject}}_{\mathrm{now}\_k})}$

其中的M为上一时刻筛选出来的概率较高的候选人的人数。

(10)将步骤(9)中正确概率最大的M个候选人筛选出来作为概率较高的几个候选人，同时对概率最高的一个候选人进行跟踪。

所述权重α的计算公式如下：

$\mathrm{\α}=\frac{E\left({(A_{\mathrm{robot}}-A_{\mathrm{truth}})}^2{(A_{\mathrm{phone}}-A_{\mathrm{truth}})}^2\right)}{E\left({(A_{\mathrm{robot}}-A_{\mathrm{truth}})}^2{(A_{\mathrm{phone}}-A_{\mathrm{truth}})}^2\right)+E\left({(V_{\mathrm{robot}}-V_{\mathrm{truth}})}^2{(V_{\mathrm{phone}}-V_{\mathrm{truth}})}^2\right)}$

其中，E表示求期望值，A_robot、V_robot表示机器人测量出来的候选目标行人运动方向和速度，A_phone、V_phone表示手机测量出来的目标行人运动方向和速度，A_truth、V_truth表示候选目标行人或目标行人的真实运动方向和真实运动速度。。

本发明针对目前智能机的普及，通过行人随身携带的手机与移动机器人协作，完成跟踪任务，本发明通过人的运动信息来跟踪特定的人。手机计算出人步行的速度和方向，并把该信息发送给机器人。而机器人通过自身的激光测距仪或者其他装置测出附近的行人的步行速度与方向，找出符合目标行人的运动特征的人，本发明不受光照影响，应用范围广，精确率高。

附图说明

图1为本发明的一种实施方式的流程示意图；

具体实施方式

下面结合附图对本发明做进一步说明。

一种移动机器人与手机协作跟踪行人的方法，采用移动机器人与手机相互协作的方式对行人进行跟踪，其特征在于，所述跟踪过程如下：

(1)目标人手机上集成的惯性传感器对目标人运动情况进行测量，计算出其运动速度。

(2)建立坐标系，移动机器人建立以自身为坐标原点与行人位于同一平面的二维坐标系；

(3)检测一次候选人，移动机器人检测周围行人位置，将检测到的行人作为一次候选人，并将检测结果在坐标系中表示出来，得到一次候选人的坐标位置，假定检测到的候选人数为N人，则将一次候选人是目标行人的概率设定为1/N；

(4)更新坐标系，移动机器人在移动时间t后重新建立坐标系，仍然以自身位置为原点，建立与步骤(1)中坐标系坐标轴方向平行且单位相同的新坐标系；

(5)检测二次候选人，移动机器人再次检测周围行人位置，将检测到的行人作为二次候选人，并将其在新坐标系中分别标识出来，得到二次候选人的坐标位置；

(6)更新一次候选人坐标，移动机器人根据自身移动速度和移动方向将步骤2中检测到的一次候选人坐标更新为新坐标系下的坐标，将一次候选人和二次候选人的坐标位置放到同一个坐标系内；

(7)计算所有行人速度和速度方向，移动机器人列出所有一次候选人与二次候选人可能为同一行人的组合，由该行人在两次检测时的坐标差值计算出移动的速度大小和方向，得到每个组合的移动速度和移动方向数据V’、A’(V’以“米/秒”为单位，方向A’以“角度”为单位，是从地磁正北方向顺时针旋转的度数)；

(8)计算各个组合中当前和上一时刻的候选人都是目标的组合的概率，目标人手机计算出时间t内目标人的运动速度V和方向A，并将计算结果发送给移动机器人，移动机器人根据手机计算结果对步骤(7)中每个组合的移动速度及方向进行比较，按公式

$\mathrm{Pro}({\mathrm{Subject}}_{\mathrm{last}\_j},{\mathrm{Subject}}_{\mathrm{now}\_k})=(\mathrm{\α}(1-{\left(\frac{V^{\′}-V}{V\max }\right)}^2)+(1-\mathrm{\α})(1-{\left(\frac{A^{\′}-A}{360}\right)}^2))*P_{{\mathrm{subject}}_{\mathrm{last}\_j}}$

计算出各个组合中当前时刻和上一时刻的候选人都是目标的概率，其中Subject_{last_j}是上一时刻第j个候选人，Subject_now-k是当前时刻第k个候选人，α是权重，Psubject_{last_j}是Subject_{last_j}正好为目标行人的概率，Vmax是行人步行的最大速度：

(9)计算当以上组合中检测到的各个候选人正好是目标人的概率，计算公式如下：

$P_{{\mathrm{subject}}_{\mathrm{now}\_k}={\mathrm{\Σ}}_{i=1}^M\mathrm{Pro}({\mathrm{Subject}}_{\mathrm{last}\_i},{\mathrm{Subject}}_{\mathrm{now}\_k})}$

其中的M为上一时刻筛选出来的概率较高的候选人的人数。

(10)将步骤(9)中正确概率最大的M个候选人筛选出来作为概率较高的几个候选人，同时对概率最高的一个候选人进行跟踪。

所述权重α的计算公式如下：

$\mathrm{\α}=\frac{E\left({(A_{\mathrm{robot}}-A_{\mathrm{truth}})}^2{(A_{\mathrm{phone}}-A_{\mathrm{truth}})}^2\right)}{E\left({(A_{\mathrm{robot}}-A_{\mathrm{truth}})}^2{(A_{\mathrm{phone}}-A_{\mathrm{truth}})}^2\right)+E\left({(V_{\mathrm{robot}}-V_{\mathrm{truth}})}^2{(V_{\mathrm{phone}}-V_{\mathrm{truth}})}^2\right)}$

其中，E表示求期望值，A_robot、V_robot表示机器人测量出来的候选目标行人运动方向和速度，A_phone、V_phone表示手机测量出来的目标行人运动方向和速度，A_truth、V_truth表示候选目标行人或目标行人的真实运动方向和真实运动速度，本发明中，期望值E根据手机和机器人测量行人的准确性情况来具体计算，取决于设备的误差及测量方法的好坏。

下面对本发明进行具体的举例说明。本实施例中，假设初始的行人有四个，移动机器人以自身为原点，选择地磁场北极作为Y轴正方向，以Y轴正方向的垂直方向作为X轴建立坐标系；建立坐标系后分别将这四个行人作为一次候选人，在坐标系内记录其坐标(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，同时将四个行人都是目标行人的概率设定为1/4。经过时间t后，假设移动机器人自身位移为X轴正方向S个单位，移动机器人仍然以该位置选择地磁场北极作为Y轴正方向，以Y轴正方向的垂直方向作为X轴建立新的坐标系，且新坐标系与旧坐标系单位一致；新坐标系建立后，检测当前坐标系下行人的位置坐标(xt1，yt1)、(xt2，yt2)、(xt3，yt3)、(xt4，yt4)，并将其作为第二次候选人。移动机器人将已经记录的第一候选人的坐标更新为新坐标系下的坐标，更新方式为一次候选人的坐标值减去移动机器人的坐标位移，即(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)更新为(x1-s，y1)、(x2-S，y2)、(x3-s，y3)、(x4-S，y4)。在检测到二次候选人与一次候选人在同一坐标系内的坐标位置后，列出所有一次候选人与二次候选人可能重合的组合。然后根据这些组合的坐标变化分别计算出其在时间t内的移动速度V’和移动方向A’。假设四个行人中行人1为本次实施例的行人参照，则行人1所携带的手机将时间t内行人1的运动速度V和运动方向A发送给移动机器人，移动机器人将V、A与V’、A’进行比较，计算出每一个组合中前后两个时刻的候选人都是目标的概率，在计算完后再统计当前时刻检测到的各个候选人正好是目标人的概率。移动机器人对计算得到的概率最大的M(本实施例中M≤4)个候选人进行保留，同时将这M个候选人中概率最大的候选人作为目标行人进行追踪。

以上所述，为本发明的较佳实施案例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (2)

1.一种移动机器人与手机协作跟踪行人的方法，采用移动机器人与手机相互协作的方式对行人进行跟踪，其特征在于，所述跟踪过程如下：

(1)目标人手机上集成的惯性传感器对目标人运动情况进行测量，计算出其运动速度。

(2)建立坐标系，移动机器人建立以自身为坐标原点与行人位于同一平面的二维坐标系；

(3)检测一次候选人，移动机器人检测周围行人位置，将检测到的行人作为一次候选人，并将检测结果在坐标系中表示出来，得到一次候选人的坐标位置，假定检测到的候选人数为N人，则将一次候选人是目标行人的概率设定为1/N；

(4)更新坐标系，移动机器人在移动时间t后重新建立坐标系，仍然以自身位置为原点，建立与步骤(1)中坐标系坐标轴方向平行且单位相同的新坐标系；

(5)检测二次候选人，移动机器人再次检测周围行人位置，将检测到的行人作为二次候选人，并将其在新坐标系中分别标识出来，得到二次候选人的坐标位置；

(6)更新一次候选人坐标，移动机器人根据自身移动速度和移动方向将步骤2中检测到的一次候选人坐标更新为新坐标系下的坐标，将一次候选人和二次候选人的坐标位置放到同一个坐标系内；

(7)计算所有行人速度和速度方向，移动机器人列出所有一次候选人与二次候选人可能为同一行人的组合，由该行人在两次检测时的坐标差值计算出移动的速度大小和方向，得到每个组合的移动速度和移动方向数据V’、A’；

(8)计算各个组合中当前和上一时刻的候选人都是目标的组合的概率，目标人手机计算出时间t内目标人的运动速度V和方向A，并将计算结果发送给移动机器人，移动机器人根据手机计算结果对步骤(7)中每个组合的移动速度及方向进行比较，按公式

$\mathrm{Pro}({\mathrm{Subject}}_{\mathrm{last}\_j},{\mathrm{Subject}}_{\mathrm{now}\_k})=(\mathrm{\α}(1-{\left(\frac{V^{\′}-V}{V\max }\right)}^2)+(1-\mathrm{\α})(1-{\left(\frac{A^{\′}-A}{360}\right)}^2))*P_{{\mathrm{subject}}_{\mathrm{last}\_j}}$

计算出各个组合中当前时刻和上一时刻的候选人都是目标的概率，其中Subject_{last_j}是上一时刻第j个候选人，Subject_{now_k}是当前时刻第k个候选人，α是权重，Psubject_{last_j}是Subject_{last_j}正好为目标行人的概率，Vmax是行人步行的最大速度：

(9)计算当以上组合中检测到的各个候选人正好是目标人的概率，计算公式如下：

$P_{{\mathrm{subject}}_{\mathrm{now}\_k}={\mathrm{\Σ}}_{i=1}^M\mathrm{Pro}({\mathrm{Subject}}_{\mathrm{last}\_i},{\mathrm{Subject}}_{\mathrm{now}\_k})}$

其中的M为上一时刻筛选出来的概率较高的候选人的人数。

(10)将步骤(9)中正确概率最大的M个候选人筛选出来作为概率较高的几个候选人，同时对概率最高的一个候选人进行跟踪。

2.根据权利要求1所述的移动机器人与手机协作跟踪行人的方法，其特征在于，所述权重α的计算公式如下：

$\mathrm{\α}=\frac{E\left({(A_{\mathrm{robot}}-A_{\mathrm{truth}})}^2{(A_{\mathrm{phone}}-A_{\mathrm{truth}})}^2\right)}{E\left({(A_{\mathrm{robot}}-A_{\mathrm{truth}})}^2{(A_{\mathrm{phone}}-A_{\mathrm{truth}})}^2\right)+E\left({(V_{\mathrm{robot}}-V_{\mathrm{truth}})}^2{(V_{\mathrm{phone}}-V_{\mathrm{truth}})}^2\right)}$

其中，E表示求期望值，A_robot、V_robot表示机器人测量出来的候选目标行人运动方向和速度，A_phone、V_phone表示手机测量出来的目标行人运动方向和速度，A_truth、V_truth表示候选目标行人或目标行人的真实运动方向和真实运动速度。

Images