CN107273850B - 一种基于移动机器人的自主跟随方法 - Google Patents

一种基于移动机器人的自主跟随方法 Download PDF

Info

Publication number
CN107273850B
CN107273850B CN201710452549.8A CN201710452549A CN107273850B CN 107273850 B CN107273850 B CN 107273850B CN 201710452549 A CN201710452549 A CN 201710452549A CN 107273850 B CN107273850 B CN 107273850B
Authority
CN
China
Prior art keywords
pattern
image
carrier
followed
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710452549.8A
Other languages
English (en)
Other versions
CN107273850A (zh
Inventor
张华�
刘翔
刘小双
吴斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201710452549.8A priority Critical patent/CN107273850B/zh
Publication of CN107273850A publication Critical patent/CN107273850A/zh
Application granted granted Critical
Publication of CN107273850B publication Critical patent/CN107273850B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及自主跟随的技术领域,公开了一种基于移动机器人的自主跟随方法,包括以下步骤:步骤一、在被跟随载体上设置有图案,对被跟随载体进行视频拍摄;步骤二、对包含所述图案的被跟随载体的移动视频进行处理,获取所述图案在移动视频的各帧图像上的位置信息和形状信息;步骤三、对所述图案进行特征提取,并和模板做特征匹配,若匹配成功,则执行步骤四,否则返回步骤二;步骤四、计算所述图案在各帧图像上的最小外接矩形的形状信息,决策被跟随载体此刻的运动方向;步骤五、每隔一个执行周期,重复执行步骤二至四,决策被跟随载体的下一时刻的运动方向。本发明简单可靠,操作方便,易于实现,便于推广应用。

Description

一种基于移动机器人的自主跟随方法
技术领域
本发明涉及自主跟随的技术领域,具体涉及一种基于移动机器人的自主跟随方法。
背景技术
跟随移动机器人是服务于特定目标的热门研究领域,跟随移动机器人可以在特定的场合帮助人们完成指定任务。比如,在机场或超市帮助人们携带行李,在工厂的仓库中帮助规整货物,目前的跟随方式主要有基于视觉的跟随技术、基于红外的跟随技术和基于超声波的跟随技术。
基于视觉的跟随技术是移动机器人的重要发展方向,这种机器人具有目标识别和自主导航两大重要功能,而当前的跟随技术大多依赖简单的传感器,这往往仅能跟随特定的人或物,如Five Elements Robotics推出的Budgee机器人,仅针对老年人或残疾人的轻量级机器人,跟踪速度受限制、实时性不好,CaddyTrek推出的电动高尔夫轮式机器人只能取代部分劳动力,它依赖于特定的超音波发射器,易受外界干扰、且价格昂贵。
发明内容
本发明提供了一种基于移动机器人的自主跟随方法,解决了现有移动机器人在目标识别和自主导航上实时性差、准确率低和成本较高的等问题。
本发明可通过以下技术方案实现:
一种基于移动机器人的自主跟随方法,包括以下步骤:
步骤一、在被跟随载体上设置有图案,在跟随载体上设置有摄像头,对被跟随载体进行视频拍摄;
步骤二、对包含所述图案的被跟随载体的移动视频进行处理,获取所述图案在移动视频的各帧图像上的位置信息;
步骤三、对所述图案进行特征提取,并和图案模板做特征匹配,若匹配成功,则执行步骤四,否则返回步骤二;
步骤四、计算所述图案在各帧图像上的最小外接矩形的形状信息,决策被跟随载体此刻的运动方向;
步骤五、每隔一个执行周期,重复执行步骤二至四,决策被跟随载体下一时刻的运动方向。
进一步,所述步骤二中获取所述图案在移动视频的各帧图像上的位置信息的方法包括:
步骤Ⅰ、对所述移动视频进行3×3中值滤波预处理,去掉随机噪声;
步骤Ⅱ、将各帧图像中的图案作为前景,其他作为背景,利用三帧差法对各帧图像进行处理,得到二值化图像;
步骤Ⅲ、将各个所述二值化图像进行连通域处理,进而将所述前景连成一个整体,标记为mConImg;
步骤Ⅵ、对mConImg图像中的图案进行最小外接矩形拟合,从而获取所述图案在各帧图像上的位置信息。
进一步,所述步骤三中采用sift特征提取算法对所述图案进行特征提取,采用FLANN法中的暴力搜索法将所述图案和模板做特征匹配。
进一步,所述形状信息包括所述图案的最小外接矩形的高度所在直线与水平线所成的弧度,通过霍夫直线检测计算所述弧度,所述弧度为0.178~1.396,被跟随载体左转;所述弧度为1.745~2.962,被跟随载体右转;否则,被跟随载体直行。
进一步,所述图案采用纹理清晰、层次分明的图案,所述执行周期设置为十毫秒,所述跟随载体采用移动机器人。
本发明有益的技术效果在于:
利用事先在被跟随载体物上设置的层次分明、纹理清晰的图案,只需要检测出图案就可发现目标,这会缩小检测范围,降低检测的运算量,同时目标匹配也只对该图案进行就可,综合来说,降低了很多计算量,增强了实时性。另外,本发明简单可靠,操作方便,易于实现,便于推广应用。
附图说明
图1为本发明的流程示意图;
图2为本发明的移动机器人示意图;
图3为本发明的被跟随载体即运动中的人的示意图;
图4为本发明的通过三帧差法处理后得到被跟随载体的二值化图像的示意图;
图5为本发明的图4经过通域处理后的示意图;
图6为本发明的图5进行最小外接矩形拟合处理的示意图;
图7为本发明的图案进行SIFT特征提取的关键点分布示意图;
其中,1-移动机器人,2-摄像头,3-运动中的人,4-风景图案。
具体实施方式
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
如图1所示,本发明的流程示意图,本发明提供了一种基于移动机器人的自主跟随方法,包括以下步骤:
步骤一、在被跟随载体上设置有图案,在跟随载体上设置有摄像头,对被跟随载体进行视频拍摄;
为了快速、准确地检测出视频中的被跟随载体,在进行跟随之前,需要在被跟随载体的后背且摄像头易于识别的位置,设置有纹理清晰、层次分明的图案,这个图案即是我们需要检测的目标。该被跟随载体可以为任一能够自主或受控运动的物体,如移动机器人,对战中的坦克等。
步骤二、对包含该图案的被跟随载体的移动视频进行处理,获取该图案在移动视频的各帧图像上的位置信息;
具体方法如下所述:
步骤Ⅰ、对移动视频进行3×3中值滤波预处理,去掉随机噪声;
步骤Ⅱ、将各帧图像中的图案作为前景,其他作为背景,利用三帧差法对各帧图像进行处理,得到二值化图像即将移动视频中连续两帧差图像和背景差图像直接进行与操作,将所得结果利用canny算子进行边缘检测,从而得到二值化图像;
步骤Ⅲ、将各个二值化图像进行连通域处理,进而将前景连成一个整体,标记为mConImg;
步骤Ⅵ、对mConImg图像中的图案进行最小外接矩形拟合,从而获取图案在各帧图像上的位置信息和形状信息。
步骤三、对该图案进行特征提取,并和图案模板做特征匹配,若匹配成功,则执行步骤四,否则返回步骤二;
由于采用的是纹理清晰、层次分明的图案,该图案具有丰富的局部信息,而sift算法主要基于物体上的一些局部外观的兴趣点而与图像的大小和旋转无关,对于光线、噪声、拍摄视角改变的容忍度也相当高,因此,本发明使用sift算法进行特征提取。尽管sift算法计算量较大,但我们仅对被跟随载体上面的图案进行运算,可以保证实时性,并且sift算法会提取出具有方向和尺度不变性的特征点,这些特征点被描述为128维特征向量的形式。
采用FLANN法进行特征匹配,该方法能进行两种搜索方式:线性的、暴力的搜索和利用kd树进行平行搜索,其中构造kd树进行平行搜索,对于大量数据进行搜索,优势明显,比如在上百幅图片中查找匹配图像。而本发明要解决的问题是将摄像头拍摄的当前帧图像和图案模板进行匹配,使用简单的线性、暴力搜索(brute-force)即可,若特征向量匹配成功的数量超过匹配阈值,即匹配成功的特征向量个数超过特征向量总数的50%以上,则匹配成功。
步骤四、计算该图案在各帧图像上的形状信息,决策被跟随载体此刻的运动方向;
该形状信息包括该图案的最小外接矩形的高度所在直线与水平线所成的弧度,若弧度为0.178~1.396,被跟随载体左转;若弧度为1.745~2.962,被跟随载体右转;否则,被跟随载体直行。
步骤五、每隔一个执行周期,重复执行步骤二至四,决策被跟随载体下一时刻的运动方向,该执行周期可根据实际需要进行设置,如十毫秒。
以移动机器人自主跟随运动中的人为例,我们对本发明的自主跟随方法做具体描述如下:
首先,在移动机器人1上设置摄像头2,在运动中的人3身穿后背带风景图案4的衬衫,如图2和3所示。
其次,跟随软件图像处理模块会在初始化中打开移动机器人上面的摄像头2,通过三帧差法处理后得到运动中的人体的二值化图像如图4所示,经过连通域处理去掉内部小缺口结果如图5所示,对进过连通域处理后的图像进行外接矩形拟合结果如图6所示,其中位于中间位置的较小框为跟随图案即风景图案4的外接矩形框,其它的矩形框为干扰框,对这些矩形框加入面积限定,就可以筛选出所需跟随图案的外接矩形框,进而得到图案在图像中的位置信息。
根据跟随图案位置信息,将跟随图案作为感兴趣区域,提取它的SIFT特征点,图7是本实施例中特征提取示意图,该图片仅供参考,可以根据实际情况进行选取。SIFT特征的提取过程,分为两步:1)提取SIFT特征点,该SIFT特征点赋予了包含位置、尺度和方向的信息后,称之为关键点,如图7中的圆圈所示,将这些关键点存入128维SIFT特征向量中;2)将特征向量描述为矩阵的形式,以便于后面的特征匹配。
SIFT特征匹配过程,即将检测到的图案图像和模板图像的SIFT特征点做两两比较找出相互匹配的若干对特征点,建立物体间的对应关系。我们选用了暴力匹配法进行SIFT特征点的匹配,即首先在第一幅图像中选取一个关键点然后依次与第二幅图像的每个关键点进行距离测试,本实施例中选用了欧式距离,最后返回距离最近的关键点。在本实施例中我们根据匹配成功的特征向量的数量是否大于模板特征向量和检测到的图案图像特征向量数量的均值的一半,来判定是否匹配成功。
最后,当检测图案图像和模板图像匹配成功后,根据对图案拟合出的最小外接矩形作为感兴趣区域,对最小外接矩形的高度所在的直线进行霍夫直线检测,检测出该直线与水平线所成弧度在0.178~1.396范围时程序给出左转的指令,在1.745~2.962之间时程序给出右转的指令,否则程序给出直行的指令。
本发明利用事先设置在被跟随载体上的层次分明、纹理清晰的图案,只需要检测出图案就可发现目标,这会缩小检测范围,降低检测的运算量,同时目标匹配也只对该图案进行就可,综合来说,降低了很多计算量,增强了实时性。另外,简单可靠,操作方便,易于实现,便于推广应用。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,因此,本发明的保护范围由所附权利要求书限定。

Claims (4)

1.一种基于移动机器人的自主跟随方法,其特征在于包括以下步骤:
步骤一、在被跟随载体上设置有图案,在跟随载体上设置有摄像头,对被跟随载体进行视频拍摄;
步骤二、对包含所述图案的被跟随载体的移动视频进行处理,获取所述图案在移动视频的各帧图像上的位置信息;
步骤三、对所述图案进行特征提取,并和图案模板做特征匹配,若匹配成功,则执行步骤四,否则返回步骤二;
步骤四、计算所述图案在各帧图像上的最小外接矩形的形状信息,决策被跟随载体此刻的运动方向;所述形状信息包括所述图案的最小外接矩形在竖直面里的边所在直线与水平线所成的弧度,通过霍夫直线检测计算所述弧度,所述弧度为0.178~1.396,被跟随载体左转;所述弧度为1.745~2.962,被跟随载体右转;否则,被跟随载体直行;
步骤五、每隔一个执行周期,重复执行步骤二至四,决策被跟随载体下一时刻的运动方向。
2.根据权利要求1所述的基于移动机器人的自主跟随方法,其特征在于所述步骤二中获取所述图案在移动视频的各帧图像上的位置信息的方法包括:
步骤Ⅰ、对所述移动视频进行3×3中值滤波预处理,去掉随机噪声;
步骤Ⅱ、将各帧图像中的图案作为前景,其他作为背景,利用三帧差法对各帧图像进行处理,得到二值化图像;
步骤Ⅲ、将各个所述二值化图像进行连通域处理,进而将所述前景连成一个整体,标记为mConImg;
步骤Ⅵ、对mConImg图像中的图案进行最小外接矩形拟合,从而获取所述图案在各帧图像上的位置信息。
3.根据权利要求1所述的基于移动机器人的自主跟随方法,其特征在于:所述步骤三中采用sift特征提取算法对所述图案进行特征提取,采用FLANN法中的暴力搜索法将所述图案和模板做特征匹配。
4.根据权利要求1至3之一所述的基于移动机器人的自主跟随方法,其特征在于:所述图案采用纹理清晰、层次分明的图案,所述执行周期设置为十毫秒,所述跟随载体采用移动机器人。
CN201710452549.8A 2017-06-15 2017-06-15 一种基于移动机器人的自主跟随方法 Expired - Fee Related CN107273850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710452549.8A CN107273850B (zh) 2017-06-15 2017-06-15 一种基于移动机器人的自主跟随方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710452549.8A CN107273850B (zh) 2017-06-15 2017-06-15 一种基于移动机器人的自主跟随方法

Publications (2)

Publication Number Publication Date
CN107273850A CN107273850A (zh) 2017-10-20
CN107273850B true CN107273850B (zh) 2021-06-11

Family

ID=60066297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710452549.8A Expired - Fee Related CN107273850B (zh) 2017-06-15 2017-06-15 一种基于移动机器人的自主跟随方法

Country Status (1)

Country Link
CN (1) CN107273850B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106541404A (zh) * 2016-11-03 2017-03-29 四川阿泰因机器人智能装备有限公司 一种机器人视觉定位导航方法
CN106826815A (zh) * 2016-12-21 2017-06-13 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630162B (zh) * 2008-07-16 2011-06-08 中国科学院自动化研究所 多移动机器人局部跟随控制方法
CN101685309B (zh) * 2008-09-24 2011-06-08 中国科学院自动化研究所 多机器人协调队形控制方法
KR101809972B1 (ko) * 2010-12-21 2017-12-18 삼성전자주식회사 보행 로봇 및 그 제어방법
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
KR20130034082A (ko) * 2011-09-28 2013-04-05 삼성전자주식회사 로봇 및 그 제어 방법
CN103454919B (zh) * 2013-08-19 2016-03-30 江苏科技大学 智能空间中移动机器人的运动控制***的控制方法
CN104615132B (zh) * 2013-11-04 2017-10-20 原相科技股份有限公司 自主式移动载体以及自动跟随***
CN106094875B (zh) * 2016-06-27 2019-01-22 南京邮电大学 一种移动机器人的目标跟随控制方法
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN106155065A (zh) * 2016-09-28 2016-11-23 上海仙知机器人科技有限公司 一种机器人跟随方法及用于机器人跟随的设备
CN106826867A (zh) * 2017-03-31 2017-06-13 上海思依暄机器人科技股份有限公司 一种机器人及控制机器人头部转动的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106541404A (zh) * 2016-11-03 2017-03-29 四川阿泰因机器人智能装备有限公司 一种机器人视觉定位导航方法
CN106826815A (zh) * 2016-12-21 2017-06-13 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Search and tracking algorithms for swarms of robots: A survey;Madhubhashi Senanayake等;《Robotics and Autonomous Systems》;20160131;第75卷;第422-434页 *
Tracking of a moving object using ultrasonic sensors based on a virtual ultrasonic image;Young joon Han等;《Robotics and Autonomous Systems》;20010731;第36卷(第11期);第11-19页 *
基于视觉里程计和自然信标融合的移动机器人定位算法;王志等;《农业工程学报》;20170531;第33卷(第10期);第70-77页 *
自定位机器人的运动目标检测和跟踪;王宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115(第01期);第I138-1090页 *

Also Published As

Publication number Publication date
CN107273850A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
Steder et al. Robust place recognition for 3D range data based on point features
US8787663B2 (en) Tracking body parts by combined color image and depth processing
US9002099B2 (en) Learning-based estimation of hand and finger pose
Sukanya et al. A survey on object recognition methods
Eweiwi et al. Temporal key poses for human action recognition
Lin et al. Robust ground plane detection for obstacle avoidance of mobile robots using a monocular camera
Akkaladevi et al. Tracking multiple rigid symmetric and non-symmetric objects in real-time using depth data
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
Kootstra et al. Fast and bottom-up object detection, segmentation, and evaluation using Gestalt principles
Nayagam et al. A survey on real time object detection and tracking algorithms
Zhao et al. Real-time human detection with depth camera via a physical radius-depth detector and a CNN descriptor
Zhou et al. Online multiple targets detection and tracking from mobile robot in cluttered indoor environments with depth camera
Yin et al. Removing dynamic 3D objects from point clouds of a moving RGB-D camera
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
Duong et al. Accurate sparse feature regression forest learning for real-time camera relocalization
CN107273850B (zh) 一种基于移动机器人的自主跟随方法
Tian et al. Robust human detection with super-pixel segmentation and random ferns classification using RGB-D camera
Herbst et al. Object segmentation from motion with dense feature matching
CN106558065A (zh) 基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法
Bilen et al. Action recognition: A region based approach
Qu et al. Statistical classification based fast drivable region detection for indoor mobile robot
Patil et al. Sift based approach: Object recognition and localization for pick-and-place system
Li et al. Bilateral symmetry detection for real-time robotics applications
Sun et al. Fast and Robust RGB-D Multiple Human Tracking Based on Part Model for Mobile Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210611