CN108673501B - 一种机器人的目标跟随方法及装置 - Google Patents
一种机器人的目标跟随方法及装置 Download PDFInfo
- Publication number
- CN108673501B CN108673501B CN201810471298.2A CN201810471298A CN108673501B CN 108673501 B CN108673501 B CN 108673501B CN 201810471298 A CN201810471298 A CN 201810471298A CN 108673501 B CN108673501 B CN 108673501B
- Authority
- CN
- China
- Prior art keywords
- robot
- target
- information
- following
- following target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 241000282414 Homo sapiens Species 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241001122315 Polites Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种机器人的目标跟随方法、装置及具有存储功能的装置。所述方法包括:利用深度传感器获取机器人周边的深度图像信息;对深度图像信息进行目标检测,以获取跟随目标的状态信息;利用跟随目标的状态信息生成控制指令,控制机器人运动以对跟随目标进行跟随。通过上述方式,本申请能够顺利平稳的跟随目标,提高***的鲁棒性和可靠性。
Description
技术领域
本申请涉及机器人技术领域,特别是涉及一种机器人的目标跟随方法、装置及具有存储功能的装置。
背景技术
随着机器人技术的不断发展和人们生活水平的不断提高,机器人似乎在越来越快的渗透到我们生活的方方面面。比如各种家庭监控机器人、社区监控机器人、老人监护机器人、商场导购机器人、前台接待机器人以及用于竞技娱乐的足球机器人等等。然而,这些服务机器人很多都需要跟人进行实时交互,在一些会场、宾馆、商场等促销现场,实现一些自主迎宾、指迎宾辞、动作展示、人机对话功能,实现这些基本功能,需要服务机器人实时跟随人这一控制目标。实现机器人跟人走控制,有很多方法可以实现,如射频跟随技术、基于超声波的跟随***、蓝牙定位自动跟随等方法。
专利201610233103.1提出一种具备蓝牙定位自动跟随机器人的方法,该专利涉及一种跟随机器人,尤指一种使家居智能化以及使户外便利化的一种具备蓝牙定位自动跟随技术的跟随机器人,主要包括主躯体、动力装置、控制装置和定位装置,控制装置与定位装置安装在主躯体内并与动力装置电性连接,动力装置安装在主躯体上形成所述机器人的运动部件;主躯体由半圆球状头部、圆柱状身躯与底盖接合组成,动力装置主要由一对关节臂、承载托盘、滑动轮和驱动装置组成,关节臂顶端轴套安装在主躯体身躯靠近顶部的相对两侧上以形成悬式摇臂,滑动轮安装在主躯体底盖的底部,驱动装置为关节臂与滑动轮的驱动及调控装置;该专利的机器人动作亦较为灵活、承载能力强,同时采用的蓝牙测距与蓝牙定位模块,即可准确检测环境,又可精确定位。
专利201410092270.X该发明涉及自动导航领域,具体而言,涉及自动跟随方法及其***。该自动跟随方法,包括:接收无线信号,所述无线信号是设置于被跟随物上的无线发射信标每隔预定的一段时间发出的;每一次接收到所述无线信号时,根据接收到的所述无线信号的强弱,计算跟随物与所述被跟随物的位置关系;记录每一次接收到所述无线信号的接收时间;根据每一次接收到所述无线信号时,得到的跟随物与所述被跟随物的位置关系、预先获取的跟随物的位置信息,以及接收到所述无线信号的接收时间,形成待跟随路线;按照所述待跟随路线和预先设定的速度进行移动。该专利提供的自动跟随方法及自动跟随装置,提高了信号接收的距离,进而增加了跟随距离。
专利201710455840.0提出了一种基于ROS机器人操作***的机器人自动跟随方法,该方法是使用激光雷达采集数据,对数据进行预处理,使用层次聚类算法对数据进行聚类,以行人双腿模型作为行人识别特征,以双腿中间位置代表行人位置,以重采样的方法解决激光雷达特征不明显,识别率低的缺点。
本申请的发明人在长期的研发过程中,发现上述不同的技术方法各有其局限的地方,如基于激光导航技术来实现机器人自动跟随功能,该方法要求在运动场地内安装有高反光板,机器人依靠旋转激光传感器发射定位激光束,根据预装的反光板反射回来的激光束计算跟随目标当前位置。虽然激光导航技术精度较高,但对机器人工作环境要求也很高,一般只能用于室内定位。另外,激光定位装置的成本也较高。基于视觉导航的方法来实现机器人自动跟随功能。该方法模拟人类的视觉功能,通过机器人周围环境的感知、识别和处理,完成机器人的路径导航。但该方法视觉的视角有限,一般不是360度,容易受不同环境光的影响,会被遮蔽,而且视觉控制器算法运算量巨大,实时性仍有待深入研究。基于超声波、蓝牙、红外线等方法来实现机器人自动跟随功能。该方法比较受环境的限制,比如说红外测距无法识别玻璃和黑色物体。而且这种方法成本高,实现起来麻烦,受环境的约束太多。因此,需要开发一种简单、低成本的机器人的目标跟随方法。
发明内容
本申请主要解决的技术问题是提供一种机器人的目标跟随方法、装置及具有存储功能的装置,能够顺利平稳的跟随目标,提高***的鲁棒性和可靠性。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种机器人的目标跟随方法,所述方法包括:利用深度传感器获取机器人周边的深度图像信息;对深度图像信息进行目标检测,以获取跟随目标的状态信息;利用跟随目标的状态信息生成控制指令,控制机器人运动以对跟随目标进行跟随。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种机器人的目标跟随装置,所述装置包括:深度传感器、处理器和通信电路,处理器耦接深度传感器和通信电路,处理器在工作时执行指令,配合深度传感器和通信电路实现上述的目标跟随方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有存储功能的装置,所述装置存储有程序,所述程序被执行时实现上述的目标跟随方法。
本申请的有益效果是:区别于现有技术的情况,本申请所提供的方案,利用深度传感器获取机器人周边的图像,该图像包含深度信息,能够精确获取目标信息,同时深度图像是利用红外传感器进行采集,可减少光照等因素对目标识别的影响,可以提高***的鲁棒性和可靠性。使机器人能够顺利平稳的跟随目标,同时,该方法实施简单,成本较低,计算量较低。
附图说明
图1是本申请机器人的目标跟随方法第一实施方式的流程示意图。
图2是本申请机器人的目标跟随方法第二实施方式的流程示意图。
图3是本申请机器人从深度图像中提取到的人体骨骼示意图。
图4是本申请机器人跟随目标数学模型示意图。
图5是本申请机器人的目标跟随方法第三实施方式的流程示意图。
图6是本申请机器人在人工势场中的受力示意图。
图7是本申请机器人的目标跟随装置第一实施例的结构示意图。
图8是本申请具有存储功能的装置第一实施方式的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
本申请提供一种机器人的目标跟随方法,即可以实现机器人跟人走的控制方法。该方法是基于Kinect而设计,利用Kinect的深度传感器获得跟随目标的坐标信息包括深度信息后,在计算机上进行数据处理,计算机器人本体与跟随目标的相对位置,发送控制指令,通过这样的方式实现本体对设定目标的运动跟随。在进行跟踪的同时从深度图像中判断是否存在障碍物,使用改进的人工势场法进行路径规划,以达到在有障碍物的同时顺利完成跟踪目标的目的。可广泛用于具有礼貌迎宾功能的,能够完成导航任务的,能语音交互的移动服务型机器人。
请参阅图1,图1是本申请机器人的目标跟随方法第一实施方式的流程示意图。在该实施方式中,机器人的目标跟随方法包括:
S101:利用深度传感器获取机器人周边的深度图像信息。
具体地,可通过与机器人相连的体感摄像头对机器人周边环境进行图像采集获取深度图像信息。可以是时时采集,周期性采集或条件触发式采集等。
其中,体感摄像头由彩色摄像头,红外摄像头,红外摄影机(红外发射器,红外接收器)、麦克风阵列等组成。其利用红外发射器发射单束红外激光,经光栅产生衍射,形成激光散斑,均匀的投射到测量空间,经测量空间的粗糙物体反射,形成随机的散斑,再通过红外摄影机记录空间的每个散斑,通过晶片计算得到3D深度图像,所得3D图像具有深度信息。在一实施方式中可以利用微软的Kinect传感器来获取上述深度图像信息。
S102:对深度图像信息进行目标检测,以获取跟随目标的状态信息。
具体地,对获取的深度图像进行处理,以检测当前图像中是否包含跟随目标。其中,跟随目标可以是预定的跟随目标,此时,需要通过面部识别、骨骼信息匹配等方式对目标进行确认;跟随目标也可以是随机的,即机器人可以选择图像中的任一人物作为跟随目标。如果当前图像中不包含跟随目标,则再重新获取图像。如果当前图像中包含跟随目标,则对该跟随目标进行检测获取跟随目标的状态信息。状态信息包括跟随目标的位置信息、深度信息、速度信息等。
S103:利用跟随目标的状态信息生成控制指令,控制机器人运动以对跟随目标进行跟随。
根据获取的跟随目标的状态信息,控制机器人摇头、转身、前进或后退等,以对跟随目标进行跟随。
在该实施方式中,利用深度传感器获取机器人周边的图像,该图像包含深度信息,能够精确获取目标信息,同时深度图像是利用红外传感器进行采集,可减少光照等因素对目标识别的影响,可以提高***的鲁棒性和可靠性。使机器人能够顺利平稳的跟随目标,同时,该方法实施简单,成本较低,计算量较低。
请参阅图2,图2是本申请机器人的目标跟随方法第二实施方式的流程示意图。在该实施方式中,机器人的目标跟随方法包括:
S201:利用Kinect传感器获取机器人周边的深度图像信息。
具体地,Kinect通过红外线发射器和红外线CMOS摄影机共同完成深度图像的获取。首先红外线发射器会发出红外光覆盖摄取区域,同时红外线摄影机接收反射光线得到深度图像,其中,每个像素的颜色代表物体那一点到摄像头的距离。
S202:对深度图像信息进行目标检测,判断是否锁定跟随目标。
具体地,对深度图像进行分析,利用分割算法将人体部分从环境中分离出来;对正在运动的部位进行分析,建立人体骨骼图,具体请参阅图3,图3是本申请机器人从深度图像中提取到的人体骨骼示意图。通过提取人体骨骼图,能够确认图像中有没有人物目标,然后再对骨架进行分析,识别跟踪目标的骨架信息。其中,跟随目标可以是预定的跟随目标,预先存储过跟随目标的相关骨骼信息样本;将获取到的骨骼信息与预先存储的跟随目标的骨骼信息进行匹配,判断是否锁定目标。在锁定目标后,Kinect只与锁定目标进行交互,同时摄取环境信息。如果没有锁定目标,将继续寻找跟随目标。
在另一实施方式中,也可以预先存储跟随目标的面部图像信息,在获取目标后,对目标进行面部识别,进行判断是否锁定目标。在又一实施方式中,跟随目标也可以是随机的,此时,机器人可以按照预设规则或随机选择图像中的任一目标作为跟随目标。如果当前图像中不包含跟随目标,则再重新获取图像,继续寻找目标。
S203:锁定跟随目标后,获取跟随目标的状态信息。
具体地,基于锁定的跟随目标,Kinect获取跟随目标的实时动态信息(包括骨架信息、坐标以及深度信息),将跟随目标的三维坐标信息、姿态信息提取出来,以基于提取出来的信息对机器人设计控制器,然后对机器人发送运动控制命令。
S204:利用跟随目标的状态信息生成控制指令,控制机器人运动以对跟随目标进行跟随。
具体地,建立机器人跟随目标数学模型,利用跟随目标的三维坐标信息、姿态信息,基于反步法设计出机器人的线速度和角速度。其中,反步设计法是一种递归设计方法。它的主要思想是通过递归地构造闭环***的李雅普诺夫稳定性(Lyapunov)函数获得反馈控制器,选取控制律使得Lyapunov函数沿闭环***轨迹的导数具有某种性能,保证闭环***轨迹的有界性和收敛到平衡点,所选取的控制律就是***镇定问题、跟踪问题、干扰抑制问题或者几种问题综合的解。反步设计方法既适用于线性***也适用于非线性***。
具体请参阅图4,图4是本申请机器人跟随目标数学模型示意图。其中,从Kinect提取到的骨骼信息可以知道跟随目标与机器人之间的距离为e,机器人线速度与e之间的夹角为α,机器人线速度方向与直角坐标系x轴的夹角为φ,θ为e与直角坐标系x的夹角,ψ为机器人转角。
在直角坐标系下建立运动模型:
将运动模型转化为极坐标系下运动模型:
选取控制输入:
u=-k1ecosα,k1>0 (3)
将(3)式代入(2)可知,只含有控制输入ω,选取如下Lyapunov函数:
对V求导:
利用Lyapunov设计方法,取:
其中,k1,k2,k3为三个可变参数。由Lyapunov渐近稳定性定理可证明所设计的控制律(3),(6)是渐近稳定的,则闭环***(2)是全局渐近稳定的。所以,该控制器的设计可以保证机器人能够很稳定的跟随目标。
根据设计的控制器,控制机器人以预定角度和速度运动,以对跟随目标进行跟随。
通过上述方法,利用反步法设计控制器,通过反向设计使控制V函数和控制器的设计过程***化、结构化;可以控制相对阶为n的非线性***,消除了经典无源性设计中相对阶为1的限制。基于该方法设计的控制器可使机器人速度稳定的收敛。
在一实施方式中,虽然上述所设计的控制器能够保证机器人在每一个给定的时刻都能有对应的线速度和角速度,但在实际工作中,会受到诸多限制,比如说机器人电机饱和问题,可能达不到设计的速度,而且当Kinect未检测到人体时,由设计的控制器可知,机器人的线速度为零,这将使机器人速度发生很大的跳变,所以须对机器人速度做平滑处理。本申请采用五点三次平滑方法来对机器人输出速度进行平滑处理,取每一时刻速度v的前两个时刻(等时间间隔)速度vi-1,vi-2和后两个时刻(等时间间隔)vi+1,vi+2进行速度平滑处理。该方法的原理如下:
设已知n个等时间间隔采集到机器人的速度为u0<u1<...<un-1,则可以在每个数据点的前后各取两个相邻的点,用三次多项式:
v=a0+a1u+a2u2+a3u3 (7)
进行逼近。
根据最小二乘法原理确定出系数a0,a1,a2,a3,最后可得到五点三次平滑公式如下:
经过最小二乘法原理平滑处理后,分别用平滑的结果代替之前的速度,可使机器人平稳的跟随目标。
通过上述方法,采用五点三次法对机器人的输出速度进行平滑处理,可使机器人速度不会跳动太大,平稳的变化,既能保护机器人电机,也能使机器人平稳的跟随目标。
其中,在机器人对目标进行跟随时,在非理想的环境下,跟随目标周围会存在障碍物,当出现障碍物时,需要对跟随路径进行规划,以进行避障。具体请参阅图5,图5是本申请机器人的目标跟随方法第三实施方式的流程示意图。在该实施方式中,机器人的目标跟随方法包括:
S501:利用Kinect传感器获取机器人周边的深度图像信息。
S502:对深度图像信息进行目标检测,判断是否锁定跟随目标。
S503:锁定跟随目标后,获取跟随目标的状态信息。
S504:对深度图像信息进行障碍物分析,判断是否存在障碍物。
存在障碍物后,获取障碍物的坐标信息和深度信息。
S505:利用障碍物的坐标信息和深度信息进行避障规划,生成控制指令,控制机器人运动以对跟随目标进行跟随。
其中,对深度图像信息进行障碍物分析,判断是否存在障碍物,若存在障碍物,则将图像中障碍物分割出来,获取障碍物的坐标信息和深度信息,并利用障碍物的坐标信息和深度信息,基于人工势场法对机器人的跟随路径进行避障规划。
其中,人工势场是一种虚拟力的方法,该方法是将移动机器人的运动视为人工建立的虚拟场中的运动,移动机器人在人工势场中,因受到目标的引力和障碍物的斥力共同作用而运动。人工势场的基本思想是:构造目标点的引力场与障碍物点的斥力场共同作用的人工势场。在构造的人工势场中,目标点对机器人产生引力,障碍物会对机器人产生斥力,在引力和斥力共同作用下,控制机器人本体的运动。引力场的作用会随着机器人与目标点的远离而增大,斥力场的作用会随着机器人与障碍物的接近而增大,这样就可以保证机器人对于目标点跟踪的同时避免发生对障碍物的碰撞。
传统的人工势场法假设机器人的运动空间是二维的,机器人在空间中的位置为X=[x,y]T,目标引力势场函数被定义如下:
其中k为位置增益系数,(X-Xg)为机器人与目标之间的相对距离。那么引力势场函数的负梯度,得到:
Fatt=-gradUatt(X)=-k(X-Xg) (10)
当机器人到达目标时,相对距离为零,相应的引力为零。于此同时,斥力势场函数被定义为:
其中ρ为机器人到障碍物的最短距离,η为位置增益系数,ρ0为代表障碍物影响距离的常数。相应的斥力函数为:
其中:
引力势场与斥力势场的混合势场为:
U(X)=Urep(X)+Uatt(X) (14)
F力就决定了机器人的运动走向。
实际上使用传统人工势场的方法进行路径规划会产生局部最小点的问题,即目标不是全局最小点。当目标在障碍物本身影响范围内时,机器人向目标靠近时,受到的斥力逐渐增大,而引力逐渐减小,此时机器人会受到排斥而不是吸引,从而失去目标。
为了避免出现目标不是全局最小的问题,使用改进的算法避免出现局部最小点问题,改进的算法在定义斥力势场函数时将机器人与目标之间的相对距离考虑进去:
其中(X-Xg)为机器人本体与目标之间的相对距离,n为大于零的实数。此时斥力是斥力势场函数的负梯度。此时,机器人所受的引力和斥力如图6所示,图6是本申请机器人在人工势场中的受力示意图:
由图6知:
其中Frep1和Frep2是Frep的两个分量,分别为:
最终可得机器人所受的力为:
当机器人逼近目标时,斥力趋近于零或趋近一个小于引力的常量,这样机器人即可到达目标。自动跟随机器人在避障时采用基于改进人工势场法的路径规划时,并不是使机器人完全达到目标,而是使机器人与目标的相对距离保持在一个特定的范围,这个阈值根据需要进行设定。
随后,机器人按照避障处理后的路径进行目标跟随。在跟随过程中,机器人进行位姿调整后,获取跟随目标的位置反馈,确定目标位置是否发生变化。若跟随目标位置发生变化,则重新获取目标信息;否则,继续按当前指令进行目标跟随。
通过上述方法,利用改进的人工势场法对机器人跟随目标进行路径规划,该方法可使机器人在有障碍物存在的环境下仍能完成跟随目标的任务,且不会像传统的人工势场法一样容易陷入局部最小点,很好的完成目标跟随功能。
请参阅图7,图7是本申请机器人的目标跟随装置第一实施例的结构示意图。本申请还提供一种机器人的目标跟随装置可执行上述机器人的目标跟随方法,实现对跟随目标的跟随。该装置包括处理器701、深度传感器702及通信电路703。处理器701耦接深度传感器702和通信电路703,处理器701在工作时执行指令,以配合深度传感器702和通信电路703实现上述机器人的目标跟随方法,具体工作过程与上述方法实施例中一致,故在此不再赘述,详细请参阅以上对应方法步骤的说明。处理器701在工作时也可以划分为多个模块单元来分别执行不同的指令,如目标检测模块、目标跟踪模块、机器人控制模块等。其中,该机器人的目标跟随装置可以是独立于机器人之外的装置,例如可以是跟机器人匹配的适配器,通过这种方式可以单一控制更灵活;也可以是服务器、控制计算机等,通过这种方式,可以同时控制多个机器人对同一目标多方位跟随。使用独立于机器人之外的装置,可以减少机器人自身处理器占有率,使机器人更灵活。该机器人的目标跟随装置也可以设置于机器人身上,也可以是直接利用机器人自身的处理器、存储器通信电路实现上述方法等。
请参阅图8,图8是本申请具有存储功能的装置第一实施方式的结构示意图。本实施例中存储装置80存储有程序801,程序801被执行时实现上述机器人的目标跟随方法。具体工作过程与上述方法实施例中一致,故在此不再赘述,详细请参阅以上对应方法步骤的说明。其中具有存储功能的装置可以是便携式存储介质如U盘、光盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟等各种可以存储程序代码的介质,也可以是终端、服务器等。
以上方案,本申请未采用激光导航或者视觉导航,基于Kinect导航的方法,使得体感交互方式更加便利,采用Kinect获得的目标坐标信息结合人工势场法能够很好的完成对目标的跟随以及障碍物的躲避。解决了传统激光导航只能用于室内导航且成本较高的问题,也不会像采用视觉导航一样出现视角限制、容易受到光照的影响、视觉控制器算法运算量巨大等问题。反步法设计的控制器加上五点三次法平滑处理使机器人平稳的完成跟随目标的任务,保护机器人电机。基于改进的人工势场法使机器人在目标跟随的过程中很好的避开障碍物,也不会陷入局部最小点。是一种高效、低成本、操作简单、跟随效果良好的目标跟随方法。
在本申请所提供的几个实施方式中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种机器人的目标跟随方法,其特征在于,所述方法包括:
利用深度传感器获取机器人周边的深度图像;
利用分割算法对所述深度图像中的跟随目标进行提取,得到所述跟随目标的骨架信息,利用所述骨架信息对所述深度图像进行目标检测,利用跟随目标的所述骨架信息、坐标信息和深度信息获取所述跟随目标的状态信息,所述状态信息包括三维坐标信息、姿态信息;
利用所述跟随目标的状态信息生成控制指令,控制所述机器人运动以对所述跟随目标进行跟随;
所述利用跟随目标的状态信息生成控制指令包括:
利用所述跟随目标的三维坐标信息、姿态信息,基于反步法设计出所述机器人的线速度为u=-k1ecosα,k1>0,角速度为
其中,e为所述机器人与所述跟随目标之间的距离,α为所述机器人线速度与e之间的夹角,θ为e与直角坐标系x轴的夹角,k1,k2,k3为三个可变参数。
3.根据权利要求1所述的方法,其特征在于,所述利用所述骨架信息对所述深度图像进行目标检测,利用跟随目标的所述骨架信息、坐标信息和深度信息获取所述跟随目标的状态信息之后包括:
利用障碍物的坐标信息和深度信息,基于人工势场法对所述机器人的跟随路径进行规划。
5.根据权利要求1所述的方法,其特征在于,所述机器人在所述控制指令下进行位姿调整之后包括:
所述机器人获取所述跟随目标的位置信息,判断所述跟随目标的位置是否发生变化;
若所述跟随目标的位置未发生变化,则所述机器人继续执行所述控制指令进行运动;
若所述跟随目标的位置发生变化,则所述机器人获取所述跟随目标及其周边环境的深度图像,以获取所述跟随目标的状态信息。
6.根据权利要求1所述的方法,其特征在于,所述利用所述骨架信息对所述深度图像进行目标检测包括:
将获取的面部图像信息和/或骨架信息与预先存储的特定跟随目标的面部图像信息和/或骨架信息进行匹配,以对所述特定跟随目标进行锁定;或,
按照预设规则选取面部图像信息和/或骨架信息中的任一目标作为跟随目标。
7.一种机器人的目标跟随装置,其特征在于,所述装置包括:深度传感器、处理器和通信电路,所述处理器耦接所述深度传感器和通信电路,所述处理器在工作时执行指令,配合所述深度传感器和通信电路实现权利要求1至6任一项所述的目标跟随方法。
8.一种具有存储功能的装置,其特征在于,所述装置存储有程序,所述程序被执行时实现权利要求1至6任一项所述的目标跟随方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810471298.2A CN108673501B (zh) | 2018-05-17 | 2018-05-17 | 一种机器人的目标跟随方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810471298.2A CN108673501B (zh) | 2018-05-17 | 2018-05-17 | 一种机器人的目标跟随方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108673501A CN108673501A (zh) | 2018-10-19 |
CN108673501B true CN108673501B (zh) | 2022-06-07 |
Family
ID=63806424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810471298.2A Active CN108673501B (zh) | 2018-05-17 | 2018-05-17 | 一种机器人的目标跟随方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108673501B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109634129B (zh) * | 2018-11-02 | 2022-07-01 | 深圳慧安康科技有限公司 | 主动关怀的实现方法、***及装置 |
CN109740464B (zh) * | 2018-12-21 | 2021-01-26 | 北京智行者科技有限公司 | 目标的识别跟随方法 |
CN109828568B (zh) * | 2019-02-15 | 2022-04-15 | 武汉理工大学 | 对RoboCup比赛的NAO机器人寻球步态优化方法 |
CN110103241B (zh) * | 2019-06-13 | 2021-08-27 | 河北工业职业技术学院 | 照明机器人、照明机器人控制方法及控制装置 |
CN110320523B (zh) * | 2019-07-05 | 2020-12-11 | 齐鲁工业大学 | 跟随机器人的目标定位装置及方法 |
CN111024082B (zh) * | 2019-12-02 | 2021-12-17 | 深圳优地科技有限公司 | 一种规划机器人局部路径的方法、装置及机器人 |
CN111401527B (zh) * | 2020-03-24 | 2022-05-13 | 金陵科技学院 | 基于ga-bp网络的机器人行为校验识别方法 |
CN112132864B (zh) * | 2020-09-21 | 2024-04-09 | 大连遨游智能科技有限公司 | 基于视觉的机器人跟随方法及跟随机器人 |
CN112383749A (zh) * | 2020-11-03 | 2021-02-19 | 浪潮云信息技术股份公司 | 一种基于自动跟随运动底盘的监控方法 |
CN112405540B (zh) * | 2020-11-11 | 2022-01-07 | 深圳优地科技有限公司 | 机器人控制方法、装置、机器人及可读存储介质 |
CN113065392A (zh) * | 2021-02-24 | 2021-07-02 | 苏州盈科电子有限公司 | 一种机器人的跟踪方法和装置 |
CN112959322A (zh) * | 2021-03-02 | 2021-06-15 | 中国科学院深圳先进技术研究院 | 控制方法、控制装置及终端设备 |
CN113485362A (zh) * | 2021-07-30 | 2021-10-08 | 美的集团(上海)有限公司 | 机器人运动方法、装置和电子设备 |
CN113910224B (zh) * | 2021-09-30 | 2023-07-21 | 达闼科技(北京)有限公司 | 机器人跟随的方法、装置及电子设备 |
CN114274147B (zh) * | 2022-02-10 | 2023-09-22 | 北京航空航天大学杭州创新研究院 | 目标跟踪控制方法及装置、机械臂控制设备和存储介质 |
CN115469665B (zh) * | 2022-09-16 | 2023-07-04 | 广东工业大学 | 一种适应于动态环境的智能轮椅目标跟踪控制方法和*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
CN106881716A (zh) * | 2017-02-21 | 2017-06-23 | 深圳市锐曼智能装备有限公司 | 基于3d摄像头机器人的人体跟随方法及*** |
CN107015563A (zh) * | 2016-12-29 | 2017-08-04 | 北京航空航天大学 | 移动机器人路径规划方法及装置 |
CN107139189A (zh) * | 2017-07-11 | 2017-09-08 | 吴世贵 | 一种儿童娱教监护机器人及其人体目标跟踪算法 |
CN107309883A (zh) * | 2016-04-27 | 2017-11-03 | 王方明 | 智能机器人 |
CN107909603A (zh) * | 2017-12-01 | 2018-04-13 | 浙江工业大学 | 一种面向跟随机器人的视觉跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
CN106598052A (zh) * | 2016-12-14 | 2017-04-26 | 南京阿凡达机器人科技有限公司 | 一种基于环境地图的机器人安防巡检方法及其机器人 |
-
2018
- 2018-05-17 CN CN201810471298.2A patent/CN108673501B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107309883A (zh) * | 2016-04-27 | 2017-11-03 | 王方明 | 智能机器人 |
CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
CN107015563A (zh) * | 2016-12-29 | 2017-08-04 | 北京航空航天大学 | 移动机器人路径规划方法及装置 |
CN106881716A (zh) * | 2017-02-21 | 2017-06-23 | 深圳市锐曼智能装备有限公司 | 基于3d摄像头机器人的人体跟随方法及*** |
CN107139189A (zh) * | 2017-07-11 | 2017-09-08 | 吴世贵 | 一种儿童娱教监护机器人及其人体目标跟踪算法 |
CN107909603A (zh) * | 2017-12-01 | 2018-04-13 | 浙江工业大学 | 一种面向跟随机器人的视觉跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108673501A (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108673501B (zh) | 一种机器人的目标跟随方法及装置 | |
US11501527B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
US11544867B2 (en) | Mapping optimization in autonomous and non-autonomous platforms | |
US20240202938A1 (en) | Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness | |
US10354396B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
US11948369B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous mapping | |
US10390003B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
US10192113B1 (en) | Quadocular sensor design in autonomous platforms | |
US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
US11187790B2 (en) | Laser scanning system, laser scanning method, movable laser scanning system, and program | |
EP3447448B1 (en) | Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness | |
EP3428760B1 (en) | Mapping optimization in autonomous and non-autonomous platforms | |
CN109352654A (zh) | 一种基于ros的智能机器人跟随***及方法 | |
Han et al. | Optimization‐based humanoid robot navigation using monocular camera within indoor environment | |
Chikhalikar et al. | An object-oriented navigation strategy for service robots leveraging semantic information | |
Wang et al. | What Makes Robots? Sensors, Actuators, and Algorithms | |
Mohamed et al. | Autonomous navigation in dynamic environments: Deep learning-based approach | |
Girão et al. | Real-time multi-view grid map-based spatial representation for mixed reality applications | |
Rodríguez-Quiñonez | Intelligent automatic object tracking method by integration of laser scanner system and ins | |
Kulp | Robotic person-following in cluttered environments | |
Moemeni | Hybrid Marker-Less Camera Pose Tracking with Integrated Sensor Fusion | |
Luo et al. | Kinematics-based collision-free motion planning for autonomous mobile robot in dynamic environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |