CN103345752A - 一种机器人与手机协作跟踪行人的方法 - Google Patents
一种机器人与手机协作跟踪行人的方法 Download PDFInfo
- Publication number
- CN103345752A CN103345752A CN2013102807025A CN201310280702A CN103345752A CN 103345752 A CN103345752 A CN 103345752A CN 2013102807025 A CN2013102807025 A CN 2013102807025A CN 201310280702 A CN201310280702 A CN 201310280702A CN 103345752 A CN103345752 A CN 103345752A
- Authority
- CN
- China
- Prior art keywords
- candidate
- pedestrian
- robot
- target
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明提出一种移动机器人与手机协作跟踪行人的方法,采用移动机器人与手机相互协作的方式对行人进行跟踪。本发明针对目前智能机的普及,通过行人随身携带的手机与移动机器人协作,完成跟踪任务,本发明通过人的运动信息来跟踪特定的人。手机根据集成的惯性传感器的测量数据计算出人步行的速度和方向,并把该信息发送给机器人。而机器人通过自身的激光测距仪或者其他装置测出附近的行人的步行速度与方向,找出符合目标行人的运动特征的人,本发明不受光照影响,应用范围广,精确率高。
Description
技术领域
本发明属于信息技术设备领域,尤其是涉及一种移动机器人与手机协作跟踪行人的方法。
背景技术
本发明研究的是移动服务机器人跟随特定行人的问题。当前,基于计算机视觉的行人目标跟踪已经发展得比较成熟,在很多场合也得到了有效的应用。然而基于视觉传感器的目标跟踪方法也存在着很多固有缺陷,如算法受光照影响较大、图像成像过程中深度信息的丢失、算法复杂度高等,使得在如遮挡、夜间等情况下的使用效果不令人满意。
由于智能手机的普及,本发明通过行人随身携带的手机与移动机器人协作,完成跟踪任务。基于视频的跟踪方法通过人的图像特征来跟踪特定的人;而本发明通过人的运动和空间信息来跟踪特定的人,这些信息由手机上的惯性传感器(加速度计、电子罗盘和陀螺仪等)和机器人上的激光测距仪等传感器共同提供。
已有一些文献研究了通过手机来计算人的步行情况:文献[2][3][7][8]研究了通过手机计步的问题,文献[1]主要比较了通过手机估计行人步行方向的几个方法,文献[2][3][4][5][6]研究了如何估计行人步长的问题。通过这些方法,可以测定出行人步行的速度与方向。
另外,在已有文献中,也常常通过机器人上装载的激光测距仪来检测周围存在的人及这些人的位置,如[9][10][11]。通过连续的距离测定,就能判断这些人的运动速度与方向。
参考文献:
[1]Steinhoff,U.and Schiele,B.Dead reckoning from the pocket-An experimental study.In proceedings of IEEE InternationalConference on Pervasive Computing and Communications(PerCom),Mannheim,Germany,March29-April22010,162-170.
[2]Bylemans,I.,Weyn,M.and Klepal,M.Mobile Phone-BasedDisplacement Estimation for Opportunistic Localisation Systems.InProceedings of Third International Conference on Mobile UbiquitousComputing,Systems,Services and Technologies,2009(UBICOMM′09),Sliema,Malta,11-16October2009,113-118.
[3]Shin,S.H.,Lee,M.S.,Park,C.G.and Hong,H.S.Pedestriandead reckoning system with phone location awareness algorithm.InProceedings of IEEE/ION Position Location and Navigation Symposium(PLANS),Indian Wells/Palm Springs,California USA,3-6May2010,97-101.
[4]Alzantot,M.and Youssef,M.UPTIME:Ubiquitous pedestriantracking using mobile phones.In Proceedings of WirelessCommunications and Networking Conference(WCNC),Paris,France,1-4April2012,3204-3209.
[5]HATANO,Y.″Use of the pedometer for promoting daily walkingexercise.″Int.Council Health Phys.Educ.Recreat,1993,29:4-8.
[6]Harvey Weinberg,Using the ADXL202in Pedometer and PersonalNavigation Applications,Analog Devices AN-602application Note,2002.
[7]Mladenov,M.,and Mock,M.:‘A step counter service forJava-enabled devices using a built-in accelerometer’.InProceedings of the1st International Workshop on Context-AwareMiddleware and Services:affiliated with the4th InternationalConference on Communication System Software and Middleware(COMSWARE2009),Dublin,Ireland,15-19June2009,1-5.
[8]Najme Zehra Naqvi,Ashwani Kumar,Aanchal Chauhan and KritkaSahni.Step Counting Using Smartphone-Based Accelerometer.International Journal on Computer Science and Engineering(IJCSE),May2012,4(5):675-681.
[9]Luo,R.C.,C.Chih Chia,et al.(2011).″Multisensor Fusionand Integration:Theories,Applications,and its Perspectives.″Sensors Journal,IEEE11(12):3122-3138.
[10]Kristou,M.,A.Ohya,et al.(2011).Target personidentification and following based on omnidirectional camera andLRF data fusion.RO-MAN,2011IEEE.
[11]Fod,A.,A.Howard,et al.A laser-based people tracker.Inproceedings of IEEE International Conference on Robotics andAutomation(ICRA′02),2002.
发明内容
为了弥补上述移动机器人跟踪行人可靠性差,计算量大等缺陷,本发明提供一种移动机器人与手机协作跟踪行人的方法。
实现上述有益效果的技术方案为,一种移动机器人与手机协作跟踪行人的方法,采用移动机器人与手机相互配合的方式对行人进行跟踪,所述跟踪过程如下:
(1)目标人手机上集成的惯性传感器对目标人运动情况进行测量,计算出其运动速度。
(2)建立坐标系,移动机器人建立以自身为坐标原点与行人位于同一平面的二维坐标系;
(3)检测一次候选人,移动机器人检测周围行人位置,将检测到的行人作为一次候选人,并将检测结果在坐标系中表示出来,得到一次候选人的坐标位置,假定检测到的候选人数为N人,则将一次候选人是目标行人的概率设定为1/N;
(4)更新坐标系,移动机器人在移动时间t后重新建立坐标系,仍然以自身位置为原点,建立与步骤(1)中坐标系坐标轴方向平行且单位相同的新坐标系;
(5)检测二次候选人,移动机器人再次检测周围行人位置,将检测到的行人作为二次候选人,并将其在新坐标系中分别标识出来,得到二次候选人的坐标位置;
(6)更新一次候选人坐标,移动机器人根据自身移动速度和移动方向将步骤2中检测到的一次候选人坐标更新为新坐标系下的坐标,将一次候选人和二次候选人的坐标位置放到同一个坐标系内;
(7)计算所有行人速度和速度方向,移动机器人列出所有一次候选人与二次候选人可能为同一行人的组合,由该行人在两次检测时的坐标差值计算出移动的速度大小和方向,得到每个组合的移动速度和移动方向数据V’、A’;
(8)计算各个组合中当前和上一时刻的候选人都是目标的组合的概率,目标人手机计算出时间t内目标人的运动速度V和方向A,并将计算结果发送给移动机器人,移动机器人根据手机计算结果对步骤(7)中每个组合的移动速度及方向进行比较,按公式
计算出各个组合中当前时刻和上一时刻的候选人都是目标的概率,其中Subjectlast_j是上一时刻第j个候选人,Subjectnow_k是当前时刻第k个候选人,α是权重,Psubjectlast_j是Subjectlast_j正好为目标行人的概率,Vmax是行人步行的最大速度:
(9)计算当以上组合中检测到的各个候选人正好是目标人的概率,计算公式如下:
其中的M为上一时刻筛选出来的概率较高的候选人的人数。
(10)将步骤(9)中正确概率最大的M个候选人筛选出来作为概率较高的几个候选人,同时对概率最高的一个候选人进行跟踪。
所述权重α的计算公式如下:
其中,E表示求期望值,Arobot、Vrobot表示机器人测量出来的候选目标行人运动方向和速度,Aphone、Vphone表示手机测量出来的目标行人运动方向和速度,Atruth、Vtruth表示候选目标行人或目标行人的真实运动方向和真实运动速度。。
本发明针对目前智能机的普及,通过行人随身携带的手机与移动机器人协作,完成跟踪任务,本发明通过人的运动信息来跟踪特定的人。手机计算出人步行的速度和方向,并把该信息发送给机器人。而机器人通过自身的激光测距仪或者其他装置测出附近的行人的步行速度与方向,找出符合目标行人的运动特征的人,本发明不受光照影响,应用范围广,精确率高。
附图说明
图1为本发明的一种实施方式的流程示意图;
具体实施方式
下面结合附图对本发明做进一步说明。
一种移动机器人与手机协作跟踪行人的方法,采用移动机器人与手机相互协作的方式对行人进行跟踪,其特征在于,所述跟踪过程如下:
(1)目标人手机上集成的惯性传感器对目标人运动情况进行测量,计算出其运动速度。
(2)建立坐标系,移动机器人建立以自身为坐标原点与行人位于同一平面的二维坐标系;
(3)检测一次候选人,移动机器人检测周围行人位置,将检测到的行人作为一次候选人,并将检测结果在坐标系中表示出来,得到一次候选人的坐标位置,假定检测到的候选人数为N人,则将一次候选人是目标行人的概率设定为1/N;
(4)更新坐标系,移动机器人在移动时间t后重新建立坐标系,仍然以自身位置为原点,建立与步骤(1)中坐标系坐标轴方向平行且单位相同的新坐标系;
(5)检测二次候选人,移动机器人再次检测周围行人位置,将检测到的行人作为二次候选人,并将其在新坐标系中分别标识出来,得到二次候选人的坐标位置;
(6)更新一次候选人坐标,移动机器人根据自身移动速度和移动方向将步骤2中检测到的一次候选人坐标更新为新坐标系下的坐标,将一次候选人和二次候选人的坐标位置放到同一个坐标系内;
(7)计算所有行人速度和速度方向,移动机器人列出所有一次候选人与二次候选人可能为同一行人的组合,由该行人在两次检测时的坐标差值计算出移动的速度大小和方向,得到每个组合的移动速度和移动方向数据V’、A’(V’以“米/秒”为单位,方向A’以“角度”为单位,是从地磁正北方向顺时针旋转的度数);
(8)计算各个组合中当前和上一时刻的候选人都是目标的组合的概率,目标人手机计算出时间t内目标人的运动速度V和方向A,并将计算结果发送给移动机器人,移动机器人根据手机计算结果对步骤(7)中每个组合的移动速度及方向进行比较,按公式
计算出各个组合中当前时刻和上一时刻的候选人都是目标的概率,其中Subjectlast_j是上一时刻第j个候选人,Subjectnow-k是当前时刻第k个候选人,α是权重,Psubjectlast_j是Subjectlast_j正好为目标行人的概率,Vmax是行人步行的最大速度:
(9)计算当以上组合中检测到的各个候选人正好是目标人的概率,计算公式如下:
其中的M为上一时刻筛选出来的概率较高的候选人的人数。
(10)将步骤(9)中正确概率最大的M个候选人筛选出来作为概率较高的几个候选人,同时对概率最高的一个候选人进行跟踪。
所述权重α的计算公式如下:
其中,E表示求期望值,Arobot、Vrobot表示机器人测量出来的候选目标行人运动方向和速度,Aphone、Vphone表示手机测量出来的目标行人运动方向和速度,Atruth、Vtruth表示候选目标行人或目标行人的真实运动方向和真实运动速度,本发明中,期望值E根据手机和机器人测量行人的准确性情况来具体计算,取决于设备的误差及测量方法的好坏。
下面对本发明进行具体的举例说明。本实施例中,假设初始的行人有四个,移动机器人以自身为原点,选择地磁场北极作为Y轴正方向,以Y轴正方向的垂直方向作为X轴建立坐标系;建立坐标系后分别将这四个行人作为一次候选人,在坐标系内记录其坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),同时将四个行人都是目标行人的概率设定为1/4。经过时间t后,假设移动机器人自身位移为X轴正方向S个单位,移动机器人仍然以该位置选择地磁场北极作为Y轴正方向,以Y轴正方向的垂直方向作为X轴建立新的坐标系,且新坐标系与旧坐标系单位一致;新坐标系建立后,检测当前坐标系下行人的位置坐标(xt1,yt1)、(xt2,yt2)、(xt3,yt3)、(xt4,yt4),并将其作为第二次候选人。移动机器人将已经记录的第一候选人的坐标更新为新坐标系下的坐标,更新方式为一次候选人的坐标值减去移动机器人的坐标位移,即(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)更新为(x1-s,y1)、(x2-S,y2)、(x3-s,y3)、(x4-S,y4)。在检测到二次候选人与一次候选人在同一坐标系内的坐标位置后,列出所有一次候选人与二次候选人可能重合的组合。然后根据这些组合的坐标变化分别计算出其在时间t内的移动速度V’和移动方向A’。假设四个行人中行人1为本次实施例的行人参照,则行人1所携带的手机将时间t内行人1的运动速度V和运动方向A发送给移动机器人,移动机器人将V、A与V’、A’进行比较,计算出每一个组合中前后两个时刻的候选人都是目标的概率,在计算完后再统计当前时刻检测到的各个候选人正好是目标人的概率。移动机器人对计算得到的概率最大的M(本实施例中M≤4)个候选人进行保留,同时将这M个候选人中概率最大的候选人作为目标行人进行追踪。
以上所述,为本发明的较佳实施案例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (2)
1.一种移动机器人与手机协作跟踪行人的方法,采用移动机器人与手机相互协作的方式对行人进行跟踪,其特征在于,所述跟踪过程如下:
(1)目标人手机上集成的惯性传感器对目标人运动情况进行测量,计算出其运动速度。
(2)建立坐标系,移动机器人建立以自身为坐标原点与行人位于同一平面的二维坐标系;
(3)检测一次候选人,移动机器人检测周围行人位置,将检测到的行人作为一次候选人,并将检测结果在坐标系中表示出来,得到一次候选人的坐标位置,假定检测到的候选人数为N人,则将一次候选人是目标行人的概率设定为1/N;
(4)更新坐标系,移动机器人在移动时间t后重新建立坐标系,仍然以自身位置为原点,建立与步骤(1)中坐标系坐标轴方向平行且单位相同的新坐标系;
(5)检测二次候选人,移动机器人再次检测周围行人位置,将检测到的行人作为二次候选人,并将其在新坐标系中分别标识出来,得到二次候选人的坐标位置;
(6)更新一次候选人坐标,移动机器人根据自身移动速度和移动方向将步骤2中检测到的一次候选人坐标更新为新坐标系下的坐标,将一次候选人和二次候选人的坐标位置放到同一个坐标系内;
(7)计算所有行人速度和速度方向,移动机器人列出所有一次候选人与二次候选人可能为同一行人的组合,由该行人在两次检测时的坐标差值计算出移动的速度大小和方向,得到每个组合的移动速度和移动方向数据V’、A’;
(8)计算各个组合中当前和上一时刻的候选人都是目标的组合的概率,目标人手机计算出时间t内目标人的运动速度V和方向A,并将计算结果发送给移动机器人,移动机器人根据手机计算结果对步骤(7)中每个组合的移动速度及方向进行比较,按公式
计算出各个组合中当前时刻和上一时刻的候选人都是目标的概率,其中Subjectlast_j是上一时刻第j个候选人,Subjectnow_k是当前时刻第k个候选人,α是权重,Psubjectlast_j是Subjectlast_j正好为目标行人的概率,Vmax是行人步行的最大速度:
(9)计算当以上组合中检测到的各个候选人正好是目标人的概率,计算公式如下:
其中的M为上一时刻筛选出来的概率较高的候选人的人数。
(10)将步骤(9)中正确概率最大的M个候选人筛选出来作为概率较高的几个候选人,同时对概率最高的一个候选人进行跟踪。
2.根据权利要求1所述的移动机器人与手机协作跟踪行人的方法,其特征在于,所述权重α的计算公式如下:
其中,E表示求期望值,Arobot、Vrobot表示机器人测量出来的候选目标行人运动方向和速度,Aphone、Vphone表示手机测量出来的目标行人运动方向和速度,Atruth、Vtruth表示候选目标行人或目标行人的真实运动方向和真实运动速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310280702.5A CN103345752B (zh) | 2013-06-17 | 2013-07-05 | 一种机器人与手机协作跟踪行人的方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013102386115 | 2013-06-17 | ||
CN201310238611 | 2013-06-17 | ||
CN201310238611.5 | 2013-06-17 | ||
CN201310280702.5A CN103345752B (zh) | 2013-06-17 | 2013-07-05 | 一种机器人与手机协作跟踪行人的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103345752A true CN103345752A (zh) | 2013-10-09 |
CN103345752B CN103345752B (zh) | 2016-03-09 |
Family
ID=49280545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310280702.5A Expired - Fee Related CN103345752B (zh) | 2013-06-17 | 2013-07-05 | 一种机器人与手机协作跟踪行人的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103345752B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105652895A (zh) * | 2014-11-12 | 2016-06-08 | 沈阳新松机器人自动化股份有限公司 | 基于激光传感器的移动机器人人体跟踪***及跟踪方法 |
CN105783918A (zh) * | 2016-03-09 | 2016-07-20 | 欧永达 | 一种基于地磁场和信号强度的定位跟随方法 |
CN105867371A (zh) * | 2016-04-06 | 2016-08-17 | 北京小米移动软件有限公司 | 控制平衡车移动的方法及装置 |
CN111079547A (zh) * | 2019-11-22 | 2020-04-28 | 武汉大学 | 一种基于手机惯性传感器的行人移动方向识别方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006148442A (ja) * | 2004-11-18 | 2006-06-08 | Toshiba Corp | 移動監視装置 |
-
2013
- 2013-07-05 CN CN201310280702.5A patent/CN103345752B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006148442A (ja) * | 2004-11-18 | 2006-06-08 | Toshiba Corp | 移動監視装置 |
Non-Patent Citations (3)
Title |
---|
AJO FOD ET AL.: "Laser-Based People Tracking", 《IN PROCESSINGS OF IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
LIN WU ET AL.: "Poster Abstract: Human Tracking Based on LRF and Wearable IMU Data Fusion", 《IPSN"13》 * |
MOUSTAFA ALZANTOT ET AL.: "UPTIME: Ubiquitous Pedestrian Tracking using Mobile Phones", 《IN PROCESSING OF WIRELESS COMMUNICATION AND NETWORKING CONFERENCE》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105652895A (zh) * | 2014-11-12 | 2016-06-08 | 沈阳新松机器人自动化股份有限公司 | 基于激光传感器的移动机器人人体跟踪***及跟踪方法 |
CN105783918A (zh) * | 2016-03-09 | 2016-07-20 | 欧永达 | 一种基于地磁场和信号强度的定位跟随方法 |
CN105867371A (zh) * | 2016-04-06 | 2016-08-17 | 北京小米移动软件有限公司 | 控制平衡车移动的方法及装置 |
CN105867371B (zh) * | 2016-04-06 | 2019-05-21 | 北京小米移动软件有限公司 | 控制平衡车移动的方法及装置 |
CN111079547A (zh) * | 2019-11-22 | 2020-04-28 | 武汉大学 | 一种基于手机惯性传感器的行人移动方向识别方法 |
CN111079547B (zh) * | 2019-11-22 | 2022-07-19 | 武汉大学 | 一种基于手机惯性传感器的行人移动方向识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103345752B (zh) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ban et al. | Indoor positioning method integrating pedestrian Dead Reckoning with magnetic field and WiFi fingerprints | |
Hsu et al. | Urban pedestrian navigation using smartphone-based dead reckoning and 3-D map-aided GNSS | |
Chen et al. | Indoor localization using smartphone sensors and iBeacons | |
JP6054535B2 (ja) | 歩行者モーション認識基盤の歩行者位置推定装置、及びその方法 | |
CN104101341A (zh) | 移动终端间的定位方法及采用该方法的移动终端 | |
CN107302754A (zh) | 一种基于WiFi与PDR的室内定位简易方法 | |
CN103471586A (zh) | 一种传感器辅助的终端组合定位方法及装置 | |
CN103345752A (zh) | 一种机器人与手机协作跟踪行人的方法 | |
Kao et al. | Indoor navigation with smartphone-based visual SLAM and Bluetooth-connected wheel-robot | |
Qian et al. | RPNOS: Reliable pedestrian navigation on a smartphone | |
Li et al. | An indoor location algorithm based on Kalman filter fusion of ultra-wide band and inertial measurement unit | |
Giarré et al. | Improved PDR localization via UWB-anchor based on-line calibration | |
Zhou et al. | Wi-Fi RTT/encoder/INS-based robot indoor localization using smartphones | |
CN105318868A (zh) | 导航信息的获取方法及装置、移动终端 | |
Kuusniemi et al. | Multi-sensor multi-network seamless positioning with visual aiding | |
Hu et al. | A segment-based fusion algorithm of WiFi fingerprinting and pedestrian dead reckoning | |
Lategahn et al. | Robust pedestrian localization in indoor environments with an IMU aided TDoA system | |
Lategahn et al. | Extended Kalman filter for a low cost TDoA/IMU pedestrian localization system | |
Fujimoto et al. | Hybrid positioning system combining spatially continuous and discrete information for indoor location-based service | |
Ibrahima et al. | IMU-based indoor localization for construction applications | |
Sun et al. | An indoor positioning system based on inertial sensors in smartphone | |
Zhou et al. | A case study of cross-floor localization system using hybrid wireless sensing | |
Fu et al. | Inertial sensor aided visual indoor positioning | |
Zhou et al. | Vehicle Ego-Localization Based on Streetscape Image Database Under Blind Area of Global Positioning System | |
Yu et al. | Combinatorial Data Augmentation: A Key Enabler to Bridge Geometry-and Data-Driven WiFi Positioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160309 Termination date: 20180705 |