CN107608345A - 一种机器人及其跟随方法和*** - Google Patents

一种机器人及其跟随方法和*** Download PDF

Info

Publication number
CN107608345A
CN107608345A CN201710745643.2A CN201710745643A CN107608345A CN 107608345 A CN107608345 A CN 107608345A CN 201710745643 A CN201710745643 A CN 201710745643A CN 107608345 A CN107608345 A CN 107608345A
Authority
CN
China
Prior art keywords
target
robot
orientation
bluetooth
need
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710745643.2A
Other languages
English (en)
Inventor
王斌
吴童童
林伟阳
高会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lzrobotics Co ltd
Original Assignee
Shenzhen Lzrobotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lzrobotics Co ltd filed Critical Shenzhen Lzrobotics Co ltd
Priority to CN201710745643.2A priority Critical patent/CN107608345A/zh
Publication of CN107608345A publication Critical patent/CN107608345A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/686—Maintaining a relative position with respect to moving targets, e.g. following animals or humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/20—Details of software or hardware architectures used for the control of position using external object recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/30—Radio signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种机器人及其跟随方法和***，其中所述跟随方法包括：图像传感器实时采集机器人前方的图像；利用深度学习框架模型对所述图像进行识别检测，检测出需跟随的目标，并进行跟踪；在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位；若不存在，则进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。本发明采用多种跟踪定位手段，确保了对需跟随目标的持续跟踪，需跟随目标不易丢失。

Description

一种机器人及其跟随方法和***
技术领域
本发明涉及机器人人工智能领域，尤其涉及一种机器人及其跟随方法和***。
背景技术
目前市面上的跟随机器人或者跟随***多采用单独基于视觉***，或者单独基于UWB传感器定位跟踪，或者基于人体骨骼进行人体跟踪。
基于人体骨骼可以通过Kinect/或者其他双目传感器识别出人体的骨架。这种跟随方式识别速率较低，一般需要目标缓慢行走才能跟踪上，而且当目标区域有多个人出现时会出现干扰。造成跟踪错误。
基于UWB(超宽带、脉冲无线电)的传感器定位跟踪方式是通过UWB技术，由于UWB是无线电磁波，遮挡对它影响比较大。当在UWB基站与被测模块之间存在遮挡的情况下，对测量结果影响比较大。定位跟踪效果不稳定。存在目标跳动问题。
基于视觉的跟踪定位方式是通过视觉传感器识别出设置好的跟踪物体，在当存在遮挡的情况下会存在跟踪丢失的情况。再进行查找就很难跟踪上。有些产品是需要被跟踪目标佩戴相应视觉传感器，通过无线信号传输给机器人，通过与自身采集的图像信息进行比对，进行位置导航定位。这种方法给用户带来很多不便，需要用户佩戴视觉传感器。进行视觉slam存在计算量大，存在累计误差的问题。
发明内容
针对上述技术问题，本发明实施例提供了一种机器人及其跟随方法和***，以解决需跟随目标消失后无法继续进行跟踪的问题。
本发明实施例的第一方面提供一种机器人跟随方法，包括如下步骤：
图像获取步骤，图像传感器实时采集机器人前方的图像；
视觉跟踪步骤，利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪；
定位步骤，在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位，并返回视觉跟踪步骤；若不存在，则进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位，并返回视觉跟踪步骤。
所述的机器人跟随方法，其中，所述视觉跟踪步骤具体包括：
预先利用需跟随目标的数据集进行深度学习训练，得到训练好的深度学习框架模型；
所述深度学习框架模型对图像传感器采集的图像进行目标识别，将识别出的目标图像传送给视觉跟踪算法模块；
视觉跟踪算法模块对所述目标图像进行特征提取，将第一帧目标图像提取的特征作为后续进行匹配的参考图像；对第二帧目标图像进行特征提取及匹配，匹配出需跟随目标的位置，并控制机器人对目标进行跟踪。
所述的机器人跟随方法，其中，所述UWB定位包括：
预设至少三个UWB基站，需跟随目标携带的第一定位标签与各个UWB基站进行测距，得到需跟随目标的位置；机器人携带的第二定位标签与各个UWB基站进行测距，得到机器人的位置；
根据需跟随目标的位置和机器人的位置得到需跟随目标相对于机器人的方位。
所述的机器人跟随方法，其中，所述蓝牙定位包括：
四个蓝牙模块接收需跟随目标发出的蓝牙信号；所述四个蓝牙模块分别设置在机器人的四个不同方位；
比较四个蓝牙模块接收的蓝牙信号的强弱，接收到信号强度最大的蓝牙信号的蓝牙模块所对应的方位为需跟随目标的方位。
本发明实施例的第二方面提供一种机器人跟随***，包括：
图像传感器，用于实时采集机器人前方的图像；
视觉跟踪模块，用于利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪；
UWB定位模块，用于在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位；若不存在，则启动蓝牙定位模块；
蓝牙定位模块，用于进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。
所述的机器人跟随***，其中，所述视觉跟踪模块包括：
由需跟随目标的数据集进行深度学习训练得到的深度学习框架模型；所述深度学习框架模型用于对图像传感器采集的图像进行目标识别，将识别出的目标图像传送给视觉跟踪算法模块；
所述视觉跟踪算法模块，用于对所述目标图像进行特征提取，将第一帧目标图像提取的特征作为后续进行匹配的参考图像；对第二帧目标图像进行特征提取及匹配，匹配出需跟随目标的位置，并控制机器人对目标进行跟踪。
所述的机器人跟随***，其中，所述UWB定位模块包括：
第二定位标签，用于接收和发射UWB信号；
第一定位处理单元，用于通过第二定位标签与预设的至少三个UWB基站进行测距，根据测距的结果得到机器人的位置；通过第二定位标签得到各个UWB基站反馈的UWB基站与第一定位标签的测距信息，根据测距的结果得到第一定位标签的位置；所述第一定位标签由需跟随目标携带；根据需跟随目标的位置和机器人的位置得到需跟随目标相对于机器人的方位，并控制机器人转向该方位。
所述的机器人跟随***，其中，所述蓝牙定位模块包括：
四个蓝牙模块，用于接收需跟随目标发出的蓝牙信号；所述四个蓝牙模块分别设置在机器人的四个不同方位；
第二定位处理单元，比较四个蓝牙模块接收的蓝牙信号的强弱，接收到信号强度最大的蓝牙信号的蓝牙模块所对应的方位为需跟随目标的方位，并控制机器人转向该方位。
本发明实施例的第三方面提供一种机器人，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如上所述的方法。
本发明实施例的第四方面提供一种机器人，包括：
图像传感器，用于实时采集机器人前方的图像；
视觉跟踪模块，用于利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪；
UWB定位模块，用于在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位；若不存在，则启动蓝牙定位模块；
蓝牙定位模块，用于进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。
本发明实施例提供的技术方案中，机器人跟随方法包括：图像传感器实时采集机器人前方的图像；利用深度学习框架模型对所述图像进行识别检测，检测出需跟随的目标，并进行跟踪；在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位；若不存在，则进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。本发明采用多种跟踪定位手段，确保了对需跟随目标的持续跟踪，需跟随目标不易丢失。
附图说明
图1为本发明实施例中机器人跟随***的结构框图；
图2为本发明机器人跟随***中，视觉跟踪模块的结构框图；
图3为本发明机器人跟随***中，UWB定位的示意图；
图4为本发明机器人跟随***中，UWB定位模块的结构框图；
图5为本发明机器人跟随***中，蓝牙定位模块的结构框图；
图6为本发明机器人跟随***中，蓝牙定位的示意图；
图7为本发明实施例中机器人跟随方法的流程图；
图8为本发明实施例中机器人跟随方法的具体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种机器人跟随***，基于多传感器融合实现，其包括机器人10和需跟随目标20。机器人10用于对需跟随目标20进行跟踪。
所述机器人10包括相机、视觉跟踪模块120、UWB定位模块130和蓝牙定位模块140。
所述相机设置在机器人10的前方，其图像传感器110用于实时采集机器人10前方的图像。所述相机的视角为180°。所述图像传感器110可采用CCD传感器或者CMOS传感器。
所述视觉跟踪模块120，用于利用深度学习框架模型对图像传感器110获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪，提高了跟踪的准确性和稳定性。
具体的，请参阅图2，所述视觉跟踪模块120包括：深度学习框架模型121和视觉跟踪算法模块122。
所述深度学习框架模型121由需跟随目标的数据集预先进行深度学习训练得到。所述深度学习框架模型121用于对图像传感器110采集的图像进行目标识别，将识别出的目标图像传送给视觉跟踪算法模块122。本实施例中，需跟随目标为人，所述深度学习框架模型采用yolo模型。
所述视觉跟踪算法模块122，用于对所述目标图像进行特征提取，将第一帧目标图像提取的特征作为后续进行匹配的参考图像；对第二帧目标图像进行特征提取及匹配，匹配出需跟随目标的位置，并控制机器人对目标进行跟踪。本实施例中，视觉跟踪算法为KCF视觉跟踪算法可对图像做到实时跟踪。用户标注出需跟随的目标20，KCF视觉跟踪算法根据yolo模型分选出的目标进行特征提取。将当前帧的目标图像提取的特征(本实施例采用HOG特征)作为下一帧目标图像进行匹配的参考图像。对yolo模型筛选出来的当前帧的目标图像进行特征提取，以及用上一帧的目标图像作为参考图像进行匹配，匹配出目标20的位置，并进行目标跟踪。
所述UWB定位模块130，用于在目标丢失后，检测是否存在UWB(超宽带、脉冲无线电)信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人10转向该方位；若不存在，则启动蓝牙定位模块140。UWBUWB基站通常设置在室内，故本发明在室内采用UWB定位，室外无UWB信号时则采用蓝牙定位。
所述跟随***还包括至少三个UWB基站30，本实施例采用四个UWB基站30，如图3所示，四个UWB基站30预先设置需要定位的区域(例如室内)的四个角落，并保证在可视范围至少有3个UWB基站30。
所述需跟随目标20携带有第一定位标签(tag)210和蓝牙模块220。所述第一定位标签210用于接收和发射UWB信号，以便与UWB基站30测距。所述需跟随目标20的蓝牙模块用于发出蓝牙信号，以便于蓝牙定位。
请参阅图4，所述UWB定位模块130包括第一定位处理单元131和第二定位标签132。
所述第二定位标签(tag)132，用于接收和发射UWB信号，以便与UWB基站30测距。即，第二定位标签132向UWB基站30发出用于与UWB基站30测距的UWB信号，接收UWB基站30转发(反馈)的第一定位标签210的UWB信号。
所述第一定位处理单元131，用于通过第二定位标签132与UWB基站30进行测距，根据测距的结果采用三角定位法得到机器人10的位置；通过第二定位标签得到各个UWB基站30反馈的UWB基站30与第一定位标签210的测距信息，根据测距的结果采用三角定位法得到第一定位标签210的位置(即需跟随目标20的位置)；根据需跟随目标20的位置和机器人10的位置得到需跟随目标20相对于机器人10的方位，并控制机器人10转向该方位；从而寻找到丢失的需跟随目标20，进而恢复基于深度学习的视觉跟踪。
所述蓝牙定位模块140，用于进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。请参阅图5，所述蓝牙定位模块140包括四个蓝牙模块141和第二定位处理单元142。
四个蓝牙模块141用于接收需跟随目标的蓝牙模块220发出的蓝牙信号；所述四个蓝牙模块141分别设置在机器人10的四个不同方位。本实施例中，如图6所示，四个蓝牙模块141设置在机器人10的四个角上，每个蓝牙模块对应一个象限(平面分成四个象限)。需跟随目标20可携带手机作为蓝牙信号的发射源。
所述第二定位处理单元142，用于比较四个蓝牙模块141接收的蓝牙信号的强弱，根据在同等发射信号强度下，蓝牙模块220距离越远，信号强度越弱的原理，将接收到信号强度最大的蓝牙信号的蓝牙模块所对应的方位(象限)设置为需跟随目标20的方位，并控制机器人10转向该方位。
本发明采用蓝牙/UWB/视觉/深度学习相结合的跟踪方式，有效解决了跟踪目标消失后无法进行跟踪，无法在室外进行目标跟踪，存在累计误差等问题。***跟踪效果比较稳定。本跟随***在室内运用UWB+视觉/深度学习的跟踪方式，主要运用深度学习框架模型对图像传感器的信息进行识别检测，检测出要跟踪的目标类型，再进行目标的跟踪，提高了跟踪的准确性和稳定性。当目标在拐角或者其他位置消失时，可通过UWB定位，确定跟踪目标的位置，让机器人可查找到目标，来进一步跟踪。当机器人接收不到UWB信号时，判断为在室外的情况下，由于不知道目标的运动区域，无法预设UWBUWB基站模块。所以才室外的情况下采用蓝牙+视觉跟踪方案。蓝牙定位模块成本极低，只需用户安装对应的APP就可以实现跟踪粗定位。利用视觉+深度学习框架进行视觉跟踪，当出现目标丢失的情况下利用蓝牙定位模块对目标进行粗定位，让机器人进行目标查找。有效解决了纯视觉目标跟踪目标跟丢的情况。
进一步的，判断需跟随目标20是否丢失，可比较视觉跟踪模块120检测到的需跟随目标20的方位与UWB定位模块130检测到的需跟随目标20的方位是否一致，一致则说明视觉跟踪模块120跟踪的目标20有效；不一致则说明视觉跟踪模块120跟踪的目标20已丢失。和/或，比较视觉跟踪模块120检测到的目标20的方位与蓝牙定位模块140检测到的目标20的方位是否一致，一致则说明视觉跟踪模块120跟踪的目标20有效；不一致则说明视觉跟踪模块120跟踪的目标20已丢失。判断需跟随目标20是否丢失，可由视觉跟踪模块120、UWB定位模块130和蓝牙定位模块140中的一个或多个模块来完成。
基于上述实施例提供的机器人跟随***，本发明还提供一种机器人跟随方法，请参阅图7，所述方法包括如下步骤：
S10、图像获取步骤，图像传感器110实时采集机器人前方的图像。
S20、视觉跟踪步骤，利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪。
具体的，所述视觉跟踪步骤包括如下步骤：
预先利用需跟随目标的数据集进行深度学习训练，得到训练好的深度学习框架模型。
所述深度学习框架模型121对图像传感器采集的图像进行目标识别，将识别出的目标图像传送给视觉跟踪算法模块；本实施例中，需跟随目标为人，所述深度学习框架模型采用yolo模型。
视觉跟踪算法模块对所述目标图像进行特征提取，将第一帧目标图像提取的特征作为后续进行匹配的参考图像；对第二帧目标图像进行特征提取及匹配，匹配出需跟随目标的位置，并控制机器人对目标进行跟踪。本实施例中，视觉跟踪算法为KCF视觉跟踪算法可对图像做到实时跟踪。用户标注出需跟随的目标20，KCF视觉跟踪算法根据yolo模型分选出的目标进行特征提取。将当前帧的目标图像提取的特征(本实施例采用HOG特征)作为下一帧目标图像进行匹配的参考图像。对yolo模型筛选出来的当前帧的目标图像进行特征提取，以及用上一帧的目标图像作为参考图像进行匹配，匹配出目标20的位置，并进行目标跟踪。
S30、定位步骤，在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位，并返回视觉跟踪步骤；若不存在，则进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位，并返回视觉跟踪步骤。
进一步的，所述UWB定位包括：
预设至少三个UWB基站，需跟随目标携带的第一定位标签与各个UWB基站进行测距，得到需跟随目标的位置；机器人携带的第二定位标签与各个UWB基站进行测距，得到机器人的位置；
根据需跟随目标的位置和机器人的位置得到需跟随目标相对于机器人的方位。
所述蓝牙定位包括：
四个蓝牙模块接收需跟随目标发出的蓝牙信号；所述四个蓝牙模块分别设置在机器人的四个不同方位；
比较四个蓝牙模块接收的蓝牙信号的强弱，接收到信号强度最大的蓝牙信号的蓝牙模块所对应的方位为需跟随目标的方位。
本具体实施例如图8所示，具体包括：
S201、图像传感器110采集的图像输入到yolo模型内。
S202、yolo模型对图像传感器采集的图像进行目标识别。
S203、KCF视觉跟踪算法在识别的基础上进行目标的跟踪。
S204、机器人10对目标20进行跟踪。
S205、比较视觉跟踪模块120检测到的目标20的方位与UWB定位模块130检测到的目标20的方位是否一致；和/或，比较视觉跟踪模块120检测到的目标20的方位与蓝牙定位模块140检测到的目标20的方位是否一致，一致则说明视觉跟踪模块120跟踪的目标20有效；不一致则说明视觉跟踪模块120跟踪的目标20已丢失。
S206、若一致，更新目标位置，即，将当前帧的目标图像作为参考图像，返回步骤S202，对下一帧图像传感器采集的图像进行目标识别。
S207、若不一致，则将当前的目标图像与初始目标图像进行对比，判断两者是否一致，以进行目标确认。确认跟踪的目标是否出错。初始目标图像可以是从图像传感器中获取的图像中，由用户确认的目标图像，或者是跟踪开始后的第一帧目标图像。
S301、若当前的目标图像与初始目标图像不一致，则检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位。若不存在，则进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。机器人转向后，即可进行目标查找，即图像传感器重新获取图像后进行识别检测，此时大概率能检测出需跟随的目标。
在本发明所提供的实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种机器人跟随方法，其特征在于，包括如下步骤：
图像获取步骤，图像传感器实时采集机器人前方的图像；
视觉跟踪步骤，利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪；
定位步骤，在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位，并返回视觉跟踪步骤；若不存在，则进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位，并返回视觉跟踪步骤。
2.根据权利要求1所述的机器人跟随方法，其特征在于，所述视觉跟踪步骤具体包括：
预先利用需跟随目标的数据集进行深度学习训练，得到训练好的深度学习框架模型；
所述深度学习框架模型对图像传感器采集的图像进行目标识别，将识别出的目标图像传送给视觉跟踪算法模块；
视觉跟踪算法模块对所述目标图像进行特征提取，将第一帧目标图像提取的特征作为后续进行匹配的参考图像；对第二帧目标图像进行特征提取及匹配，匹配出需跟随目标的位置，并控制机器人对目标进行跟踪。
3.根据权利要求1所述的机器人跟随方法，其特征在于，所述UWB定位包括：
预设至少三个UWB基站，需跟随目标携带的第一定位标签与各个UWB基站进行测距，得到需跟随目标的位置；机器人携带的第二定位标签与各个UWB基站进行测距，得到机器人的位置；
根据需跟随目标的位置和机器人的位置得到需跟随目标相对于机器人的方位。
4.根据权利要求1所述的机器人跟随方法，其特征在于，所述蓝牙定位包括：
四个蓝牙模块接收需跟随目标发出的蓝牙信号；所述四个蓝牙模块分别设置在机器人的四个不同方位；
比较四个蓝牙模块接收的蓝牙信号的强弱，接收到信号强度最大的蓝牙信号的蓝牙模块所对应的方位为需跟随目标的方位。
5.一种机器人跟随***，其特征在于，包括：
图像传感器，用于实时采集机器人前方的图像；
视觉跟踪模块，用于利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪；
UWB定位模块，用于在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位；若不存在，则启动蓝牙定位模块；
蓝牙定位模块，用于进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。
6.根据权利要求5所述的机器人跟随***，其特征在于，所述视觉跟踪模块包括：
由需跟随目标的数据集进行深度学习训练得到的深度学习框架模型；所述深度学习框架模型用于对图像传感器采集的图像进行目标识别，将识别出的目标图像传送给视觉跟踪算法模块；
所述视觉跟踪算法模块，用于对所述目标图像进行特征提取，将第一帧目标图像提取的特征作为后续进行匹配的参考图像；对第二帧目标图像进行特征提取及匹配，匹配出需跟随目标的位置，并控制机器人对目标进行跟踪。
7.根据权利要求5所述的机器人跟随***，其特征在于，所述UWB定位模块包括：
第二定位标签，用于接收和发射UWB信号；
第一定位处理单元，用于通过第二定位标签与预设的至少三个UWB基站进行测距，根据测距的结果得到机器人的位置；通过第二定位标签得到各个UWB基站反馈的UWB基站与第一定位标签的测距信息，根据测距的结果得到第一定位标签的位置；所述第一定位标签由需跟随目标携带；根据需跟随目标的位置和机器人的位置得到需跟随目标相对于机器人的方位，并控制机器人转向该方位。
8.根据权利要求5所述的机器人跟随***，其特征在于，所述蓝牙定位模块包括：
四个蓝牙模块，用于接收需跟随目标发出的蓝牙信号；所述四个蓝牙模块分别设置在机器人的四个不同方位；
第二定位处理单元，比较四个蓝牙模块接收的蓝牙信号的强弱，接收到信号强度最大的蓝牙信号的蓝牙模块所对应的方位为需跟随目标的方位，并控制机器人转向该方位。
9.一种机器人，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-4中任一项所述的方法。
10.一种机器人，其特征在于，包括：
图像传感器，用于实时采集机器人前方的图像；
视觉跟踪模块，用于利用深度学习框架模型对图像传感器获取的图像进行识别检测，检测出需跟随的目标，并进行跟踪；
UWB定位模块，用于在目标丢失后，检测是否存在UWB信号；若存在，则进行UWB定位，确定目标所在的方位后控制机器人转向该方位；若不存在，则启动蓝牙定位模块；
蓝牙定位模块，用于进行蓝牙定位，确定目标所在的方位后控制机器人转向该方位。
CN201710745643.2A 2017-08-26 2017-08-26 一种机器人及其跟随方法和*** Pending CN107608345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710745643.2A CN107608345A (zh) 2017-08-26 2017-08-26 一种机器人及其跟随方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710745643.2A CN107608345A (zh) 2017-08-26 2017-08-26 一种机器人及其跟随方法和***

Publications (1)

Publication Number Publication Date
CN107608345A true CN107608345A (zh) 2018-01-19

Family

ID=61055837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710745643.2A Pending CN107608345A (zh) 2017-08-26 2017-08-26 一种机器人及其跟随方法和***

Country Status (1)

Country Link
CN (1) CN107608345A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108436922A (zh) * 2018-06-15 2018-08-24 成都精位科技有限公司 伴随运动机器人及其控制方法、装置、***
CN108572649A (zh) * 2018-04-28 2018-09-25 杭州电子科技大学 基于uwb标签的共享智能跟随及搬运***及方法
CN108646736A (zh) * 2018-05-02 2018-10-12 北京京东尚科信息技术有限公司 用于跟踪机器人的目标跟踪方法和装置
CN108734082A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 对应关系的建立方法、装置、设备和存储介质
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
CN108955687A (zh) * 2018-05-31 2018-12-07 湖南万为智能机器人技术有限公司 移动机器人的综合定位方法
CN109062215A (zh) * 2018-08-24 2018-12-21 北京京东尚科信息技术有限公司 机器人及基于其的目标跟随避障方法、***、设备和介质
CN109725642A (zh) * 2019-01-25 2019-05-07 深圳普思英察科技有限公司 无人售货机***及其导航方法和装置
CN109816688A (zh) * 2018-12-03 2019-05-28 安徽酷哇机器人有限公司 物品跟随方法和行李箱
CN110060295A (zh) * 2019-04-24 2019-07-26 达闼科技（北京）有限公司 目标定位方法及装置、控制装置、跟随设备及存储介质
CN110166571A (zh) * 2018-06-08 2019-08-23 深圳勇艺达机器人有限公司 一种基于移动机器人的自动跟随方法和装置
CN110362093A (zh) * 2019-08-06 2019-10-22 苏州红树林智能科技有限公司 基于视觉和三点定位的智能轮椅及其控制***的跟随方法
CN110377020A (zh) * 2018-09-19 2019-10-25 北京京东尚科信息技术有限公司 无人驾驶设备的行驶方法、装置和***
CN110488874A (zh) * 2019-08-29 2019-11-22 五邑大学 一种教育辅助机器人及其控制方法
CN110750098A (zh) * 2019-11-27 2020-02-04 广东博智林机器人有限公司 机器人导航***
CN110979499A (zh) * 2019-11-19 2020-04-10 贵州电网有限责任公司 一种球形机器人组群自动跟随***及其跟随方法
CN111367320A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种室内移动机器人的管理方法及管理***
CN111381587A (zh) * 2018-12-11 2020-07-07 北京京东尚科信息技术有限公司 用于跟随机器人的跟随方法和装置
CN111462226A (zh) * 2020-01-19 2020-07-28 杭州海康威视***技术有限公司 一种定位方法、***、装置、电子设备及存储介质
CN112654471A (zh) * 2018-09-06 2021-04-13 Lg电子株式会社 多个自主移动机器人及其控制方法
CN112742038A (zh) * 2019-10-29 2021-05-04 珠海市一微半导体有限公司 玩具机器人及其移动方法和芯片
TWI732211B (zh) * 2018-05-04 2021-07-01 南韓商Ｌｇ電子股份有限公司 複數個自控式移動機器人及其控制方法
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
US11169539B2 (en) 2018-05-04 2021-11-09 Lg Electronics Inc. Plurality of autonomous mobile robots and controlling method for the same
CN113741550A (zh) * 2020-05-15 2021-12-03 北京机械设备研究所 移动机器人跟随方法和***
CN114089640A (zh) * 2021-11-11 2022-02-25 广东美的厨房电器制造有限公司 控制方法、跟随设备和计算机可读存储介质
CN114326732A (zh) * 2021-12-28 2022-04-12 无锡笠泽智能科技有限公司 一种机器人自主跟随***及自主跟随控制方法
CN115177931A (zh) * 2022-07-11 2022-10-14 深圳市格睿尔科技有限公司 视觉识别跟随***及方法、行走装置及方法、高尔夫球包
WO2024066308A1 (zh) * 2022-09-28 2024-04-04 厦门兴联智控科技有限公司 高尔夫球车的跟随方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随***和方法
WO2013059418A1 (en) * 2011-10-21 2013-04-25 Ftr Systems, Inc. Tracking foldable cart
CN103608741A (zh) * 2011-06-13 2014-02-26 微软公司 由移动机器人来追踪及跟随运动对象
CN204181134U (zh) * 2014-07-31 2015-03-04 清华大学 智能行李箱
CN105761245A (zh) * 2016-01-29 2016-07-13 速感科技（北京）有限公司 一种基于视觉特征点的自动跟踪方法及装置
CN105807775A (zh) * 2016-05-17 2016-07-27 上海酷哇机器人有限公司 具有自主跟随避障功能的移动机器人
CN205844897U (zh) * 2016-07-27 2016-12-28 深圳市大疆创新科技有限公司 智能购物车
CN106683123A (zh) * 2016-10-31 2017-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及目标跟踪装置
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群***及神经网络视觉导航方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608741A (zh) * 2011-06-13 2014-02-26 微软公司 由移动机器人来追踪及跟随运动对象
WO2013059418A1 (en) * 2011-10-21 2013-04-25 Ftr Systems, Inc. Tracking foldable cart
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随***和方法
CN204181134U (zh) * 2014-07-31 2015-03-04 清华大学 智能行李箱
CN105761245A (zh) * 2016-01-29 2016-07-13 速感科技（北京）有限公司 一种基于视觉特征点的自动跟踪方法及装置
CN105807775A (zh) * 2016-05-17 2016-07-27 上海酷哇机器人有限公司 具有自主跟随避障功能的移动机器人
CN205844897U (zh) * 2016-07-27 2016-12-28 深圳市大疆创新科技有限公司 智能购物车
CN106683123A (zh) * 2016-10-31 2017-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及目标跟踪装置
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群***及神经网络视觉导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘国成: "《一种基于多传感器数据融合的目标跟踪算法》", 《***仿真学报》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734082A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 对应关系的建立方法、装置、设备和存储介质
CN108572649A (zh) * 2018-04-28 2018-09-25 杭州电子科技大学 基于uwb标签的共享智能跟随及搬运***及方法
CN108646736A (zh) * 2018-05-02 2018-10-12 北京京东尚科信息技术有限公司 用于跟踪机器人的目标跟踪方法和装置
TWI732211B (zh) * 2018-05-04 2021-07-01 南韓商Ｌｇ電子股份有限公司 複數個自控式移動機器人及其控制方法
US12001223B2 (en) 2018-05-04 2024-06-04 Lg Electronics Inc. Plurality of autonomous mobile robots and controlling method for the same
US11169539B2 (en) 2018-05-04 2021-11-09 Lg Electronics Inc. Plurality of autonomous mobile robots and controlling method for the same
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
CN108955687A (zh) * 2018-05-31 2018-12-07 湖南万为智能机器人技术有限公司 移动机器人的综合定位方法
US11284128B2 (en) 2018-05-31 2022-03-22 Guangzhou Huya Information Technology Co., Ltd. Object positioning method, video display method, apparatus, device, and storage medium
CN110166571A (zh) * 2018-06-08 2019-08-23 深圳勇艺达机器人有限公司 一种基于移动机器人的自动跟随方法和装置
CN108436922A (zh) * 2018-06-15 2018-08-24 成都精位科技有限公司 伴随运动机器人及其控制方法、装置、***
CN109062215A (zh) * 2018-08-24 2018-12-21 北京京东尚科信息技术有限公司 机器人及基于其的目标跟随避障方法、***、设备和介质
CN112654471B (zh) * 2018-09-06 2023-11-28 Lg电子株式会社 多个自主移动机器人及其控制方法
US11906979B2 (en) 2018-09-06 2024-02-20 Lg Electronics Inc. Plurality of autonomous mobile robots and controlling method for the same
CN112654471A (zh) * 2018-09-06 2021-04-13 Lg电子株式会社 多个自主移动机器人及其控制方法
CN110377020B (zh) * 2018-09-19 2023-05-30 北京京东乾石科技有限公司 无人驾驶设备的行驶方法、装置和***
CN110377020A (zh) * 2018-09-19 2019-10-25 北京京东尚科信息技术有限公司 无人驾驶设备的行驶方法、装置和***
CN109816688A (zh) * 2018-12-03 2019-05-28 安徽酷哇机器人有限公司 物品跟随方法和行李箱
CN111381587A (zh) * 2018-12-11 2020-07-07 北京京东尚科信息技术有限公司 用于跟随机器人的跟随方法和装置
CN111381587B (zh) * 2018-12-11 2023-11-03 北京京东乾石科技有限公司 用于跟随机器人的跟随方法和装置
CN111367320A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种室内移动机器人的管理方法及管理***
CN109725642A (zh) * 2019-01-25 2019-05-07 深圳普思英察科技有限公司 无人售货机***及其导航方法和装置
CN110060295B (zh) * 2019-04-24 2022-05-31 达闼科技（北京）有限公司 目标定位方法及装置、控制装置、跟随设备及存储介质
CN110060295A (zh) * 2019-04-24 2019-07-26 达闼科技（北京）有限公司 目标定位方法及装置、控制装置、跟随设备及存储介质
CN110362093B (zh) * 2019-08-06 2024-05-07 苏州红树林智能科技有限公司 基于视觉和三点定位的智能轮椅及其控制***的跟随方法
CN110362093A (zh) * 2019-08-06 2019-10-22 苏州红树林智能科技有限公司 基于视觉和三点定位的智能轮椅及其控制***的跟随方法
CN110488874A (zh) * 2019-08-29 2019-11-22 五邑大学 一种教育辅助机器人及其控制方法
CN112742038A (zh) * 2019-10-29 2021-05-04 珠海市一微半导体有限公司 玩具机器人及其移动方法和芯片
CN110979499A (zh) * 2019-11-19 2020-04-10 贵州电网有限责任公司 一种球形机器人组群自动跟随***及其跟随方法
CN110979499B (zh) * 2019-11-19 2024-04-09 贵州电网有限责任公司 一种球形机器人组群自动跟随***及其跟随方法
CN110750098A (zh) * 2019-11-27 2020-02-04 广东博智林机器人有限公司 机器人导航***
CN111462226A (zh) * 2020-01-19 2020-07-28 杭州海康威视***技术有限公司 一种定位方法、***、装置、电子设备及存储介质
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
CN113741550B (zh) * 2020-05-15 2024-02-02 北京机械设备研究所 移动机器人跟随方法和***
CN113741550A (zh) * 2020-05-15 2021-12-03 北京机械设备研究所 移动机器人跟随方法和***
CN114089640A (zh) * 2021-11-11 2022-02-25 广东美的厨房电器制造有限公司 控制方法、跟随设备和计算机可读存储介质
CN114326732A (zh) * 2021-12-28 2022-04-12 无锡笠泽智能科技有限公司 一种机器人自主跟随***及自主跟随控制方法
CN115177931B (zh) * 2022-07-11 2024-04-19 深圳市格睿尔科技有限公司 视觉识别跟随***及方法、行走装置及方法、高尔夫球包
CN115177931A (zh) * 2022-07-11 2022-10-14 深圳市格睿尔科技有限公司 视觉识别跟随***及方法、行走装置及方法、高尔夫球包
WO2024066308A1 (zh) * 2022-09-28 2024-04-04 厦门兴联智控科技有限公司 高尔夫球车的跟随方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN107608345A (zh) 一种机器人及其跟随方法和***
CN109890573B (zh) 移动机器人的控制方法、装置、移动机器人及存储介质
CN101295016B (zh) 一种声源自主搜寻定位方法
WO2018214909A1 (zh) 目标跟踪方法、目标跟踪设备及计算机存储介质
CN105956586B (zh) 一种基于tof 3d摄像机的智能跟踪***
US20170045337A1 (en) Smart wearable mine detector
EP3724747B1 (en) Detecting the pose of an out-of-range controller
US20180048482A1 (en) Control system and control processing method and apparatus
US20200327681A1 (en) Target tracking method and apparatus
US8644859B2 (en) Apparatus to provide augmented reality service using location-based information and computer-readable medium and method of the same
CN108955718A (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
CN110134117B (zh) 一种移动机器人重定位方法、移动机器人及电子设备
KR20150082379A (ko) 단안 시각 slam 을 위한 고속 초기화
WO2017092565A1 (zh) 充电***和充电方法、计算机存储介质
CN106291523A (zh) 手持装置、物件定位方法与计算机可读的记录介质
JP2006192563A (ja) 識別対象識別装置およびそれを備えたロボット
CN108062098A (zh) 智能机器人的地图构建方法和***
CN110188749A (zh) 一种多车辆下的指定车辆车牌识别***和方法
CN105074776A (zh) 平面自然特征目标的原位形成
CN107610157A (zh) 一种无人机目标追踪方法及***
CN105364915A (zh) 基于三维机器视觉的智能家庭服务机器人
CN106933227A (zh) 一种引导智能机器人的方法以及电子设备
CN105373130A (zh) 基于立体建模的特种设备事故现场信息探测***
CN104952104A (zh) 一种三维人体姿态估计方法和装置
CN105100952B (zh) 屏幕画面调整方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180119

RJ01 Rejection of invention patent application after publication