CN108290294B - 移动机器人及其控制方法 - Google Patents

Abstract

根据本公开的一个方面，一种移动机器人包括：捕获单元，其配置为捕获移动机器人的周围的三维(3D)图像，并提取捕获的3D图像的深度图像信息；障碍物传感器，其配置为使用由捕获单元捕获的3D图像来感测障碍物；位置估计器，其配置为使用惯性测量单元和测距在区域内估计移动机器人的第一位置信息，该区域排除由障碍物传感器感测的障碍物区域；以及控制器，其配置为使用移动机器人的估计的第一位置信息和所提取的深度图像信息来计算移动机器人的第二位置信息，并在排除由障碍物传感器所感测的障碍物区域时创建地图。

Description

移动机器人及其控制方法

技术领域

本发明涉及移动机器人及其控制方法，并且更特别地，涉及用于使用三维(3D)空间识别传感器感测移动机器人前方的障碍物，并且识别移动机器人的位置以及使用关于感测到的障碍物的信息来创建地图的技术。

背景技术

过去，机器人通常是为工业技术领域而开发的，并被用作工厂自动化的部件。然而，最近，随着机器人的应用领域的数目的增加，用于医疗目的的机器人、用于航空航天目的的机器人等正被开发。此外，用于标准家庭的移动机器人正被开发。

移动机器人指代能够根据来自用户的命令进行操作的机器人，同时自主地移动通过期望的区域而无需用户的操纵。移动机器人的示例包含清洁机器人、远程呈现机器人、安全机器人等。

最近，使用移动机器人的应用技术正被开发。例如，随着具有网络功能的移动机器人的开发，即使当移动机器人远离用户时向移动机器人发出控制命令的功能、监控环境条件的功能等正被开发。此外，通过采用移动机器人中的照相机或各种类型的传感器(诸如障碍物感测传感器)来识别移动机器人的位置并规划移动机器人的移动路径的技术正被开发。

因此，为了移动机器人的自由移动，精确跟踪移动机器人的位置并且创建关于移动机器人正在移动通过的区域的地图是必要的。这是因为当创建精确的地图时可以规划移动机器人的移动路径，并且可以进行诸如与人通信的工作。

通常，使用惯性测量单元(IMU)和测距来估计移动机器人的位置并创建地图。目前，同时定位和绘图(SLAM)技术已经主要用于实时估计移动机器人的位置并创建地图。

发明内容

【技术问题】

然而，在相关技术中，为了实现同时定位和绘图(SLAM)，图像处理算法和三维(3D)坐标提取算法是附加必要的，为了感测障碍物附加的障碍物传感器是必要的，并且管理障碍物、地理特点等的计算量较大。另外，为了规划移动机器人的移动路径应该附加地创建地图，并且感测障碍物、估计移动机器人的位置和规划移动机器人的移动路径是独立进行的，从而增加了计算量和使计算复杂化。

【技术解决方案】

为了解决上述问题，本发明旨在通过感测障碍物、估计移动机器人的位置以及使用三维(3D)空间识别传感器创建地图，来更高效地估计移动机器人的位置并创建地图。

【有益的效果】

本发明的优点在于，可以同时进行感测障碍物、识别移动机器人的位置、创建地图以及规划移动机器人的移动路径，并且因此不需要附加的地图来创建地图，并且在没有附加障碍物传感器的情况下可以识别障碍物。在识别移动机器人的位置并创建地图时，不考虑识别为障碍物的区域，从而更快地识别移动机器人的位置并创建地图。此外，当与现存的二维(2D)***相比时，由于三维(3D)图像的使用可以改善地图的精度，并且因此可以使用3D图像提供基于地图的机器人服务。

附图说明

图1是图示根据本发明实施例的移动机器人***的总体结构的图。

图2是示意性地图示根据本发明实施例的移动机器人的外观的图。

图3是示意性地图示根据相关技术的能够进行定位和地图构建的机器人的结构的图。

图4是根据本发明的实施例的能够进行定位和地图构建的移动机器人的控制框图。

图5是图示与捕获单元的组件相对应的一般3D空间识别传感器(3D激光范围探测传感器)的一般结构的图。

图6是图示与捕获单元的组件相对应的3D深度传感器的一般结构的图。

图7是根据本发明的实施例的估计移动机器人的当前位置和创建地图的顺序的方法的流程图。

图8是图示移动机器人和位于移动机器人可以感测的区域中的障碍物的图。

图9是用于感测图8的空间中的障碍物的方法的算法的流程图，该方法由移动机器人进行。

图10图示了由几何方法确定参考平面的方法。

图11是图示实际测量的数据的曲线图。

图12是图示由最小二乘法获得的近似结果的图。

图13是图示由RANSAC方法获得的近似结果的图。

图14是图示由RANSAC方法确定的平面的图。

图15是图示根据另一实施例的感测移动障碍物的方法的图。

图16是图示移动机器人不可以获得3D图像的情况的图。

图17是图示使用粒子方法计算移动机器人的第二位置信息的图。

图18是图示基于移动机器人的第一位置信息并使用粒子滤波器方法来计算移动机器人的第二位置信息的图。

图19是根据本发明实施例的校正地图的方法的流程图。

图20是图示环路闭合的图，其中图示了移动机器人的实际移动路径和移动机器人的估计移动路径。

图21是图示根据本发明获得的最终地图的图。

具体实施方式

本文阐述的实施例和附图中图示的结构仅仅是本发明的示例，并且可以在本申请的提交日期进行可以替代实施例和附图的各种修改示例。

在本说明书的附图中使用的相同附图标记或符号表示基本上实现相同功能的部件或组件。

在本文中使用的术语仅用于描述实施例，并不旨在限制本文公开的本发明的范围。如本文所使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”旨在也包含复数形式。

应该理解的是，术语“包括”、“包含”、“具有”等在本文中使用时指定存在所陈述的特点、整体、步骤、操作、元件、组件和/或其群组，但并不排除存在或添加其他特点、整体、步骤、操作、元件、组件和/或其群组中的一个或多个。

将进一步理解的是，尽管术语“第一”、“第二”、“第三”等可以在本文中用于描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件。类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包含关联的列出的项目中的一个或多个的任何和所有组合。

以下，将参考附图详细描述本发明的实施例。

图1是图示根据本发明实施例的移动机器人***的总体结构的图。

在图1中，根据本发明实施例的移动机器人***1可以包含，配置为在某一区域内自主地移动时进行工作的移动机器人100，与移动机器人100分开并且配置为遥控移动机器人100的装置200，以及与移动机器人100分开并且配置为对移动机器人100的电池充电的充电站300。

移动机器人100是配置为从用户接收用于控制装置200的控制命令并且进行与该控制命令相对应的操作的装置，包含可充电电池和用于在移动期间避免障碍物的障碍物传感器，并且因此可以在工作区域内自主地移动时进行操作。

移动机器人100还可以包含照相机或各种类型的传感器以识别其周围。因此，移动机器人100即使当未预先获得关于移动机器人100的周围的信息时也能够识别其位置，并且基于关于周围的信息进行定位和地图构建以创建地图。

装置200是配置为无线发送控制命令以控制移动机器人100的移动或进行移动机器人100的操作的遥控装置。因此，装置200可以是手机或个人通信服务(PCS)电话、智能电话、个人数字助理(PDA)、便携式多媒体播放器(PMP)、膝上型计算机、数字广播终端、上网本、平板电脑(PC)、导航***等，但不限于此，并且可以是能够无线发送控制命令以进行移动机器人100的操作的任何装置。

另外，装置200可以包含能够使用各种应用程序来实现各种功能的各种类型的装置，诸如具有有线/无线通信功能的数字照相机或摄像机。

替代地，装置200可以是具有简单结构的一般遥控器。通常，遥控器通过红外数据关联(IrDA)向移动机器人100发送信号或从移动机器人100接收信号。

此外，装置200可以根据诸如射频(RF)、无线保真(Wi-Fi)、蓝牙、ZigBee、近场通信(NFC)和超宽带(UWB)通信等各种方法，向移动机器人100发送无线通信信号或从移动机器人100接收无线通信信号。可以使用通过其可以在装置200与移动机器人100之间交换无线通信信号的任何方法。

装置200可以包含用于开机或关机移动机器人100的电源按钮，用于指示移动机器人100返回到充电站300以便对移动机器人100的电池充电的充电返回按钮，用于改变移动机器人100的控制模式的模式按钮，用于开始、取消和确认控制命令以开始或停止移动机器人100的操作的开始/停止按钮，转盘等。

充电站300配置为对移动机器人100的电池充电，并且可以包含引导构件(未示出)以引导移动机器人100的停靠。引导构件可以包含连接端子(未示出)以对包含于移动机器人100中的图2所示的电力单元130进行充电。

图2是示意性地示出根据本发明实施例的移动机器人的外观的图。

参照图2，移动机器人100可以包含，形成移动机器人100的外观的主体110，配置为覆盖主体110的上部的盖子120，配置为供应用于驱动主体110的驱动电力的电力单元130，以及配置为移动主体110的驱动器140。

主体110形成移动机器人100的外观并且支撑安装在移动机器人100中的各种组件。

电力单元130可以包含电连接到驱动器140的电池以及用于驱动主体110以向其供应驱动电力的各种类型的负载。电池可以是可再充电的二次电池，并且当主体110完成操作并且然后耦接到充电站300时从充电站300被供电和充电。

电力单元130检查电池的剩余电力，并且当确定电池的剩余电力不足时从充电站300被供电和充电。

可以将根据移动机器人100正在移动的地板的平面的状态来改变旋转角度的脚轮安装在移动机器人100的主体110的前部。脚轮支撑移动机器人100以稳定移动机器人100的姿态并防止移动机器人100在移动期间摔倒。脚轮可以是滚轮或轮脚的形式。

驱动器140可以被提供在主体110的中心部件的相对侧处，以允许在进行工作时主体110的移动，例如，向前移动、向后移动、旋转移动等。

两个驱动器140向前或向后方向旋转，使得移动机器人100在当用户给出具体命令时或在自主地移动期间向前或向后移动或旋转。例如，两个驱动器140向前或向后方向旋转，使得移动机器人100向前或向后移动。在左驱动器140向后旋转期间，右驱动器140可以向前方向旋转，使得移动机器人100向前和向左方向旋转。在右驱动器140向后旋转期间左驱动器140可以向前方向旋转，使得移动机器人100向前和向右方向旋转。

上面已经描述了移动机器人100的一般结构和操作原理。下面将简要描述根据相关技术由移动机器人100进行的定位和地图构建，并且下面将详细描述解决相关技术问题的本发明的特点。

图3是示意性地图示根据相关技术的能够进行定位和地图构建的机器人的结构的图。

目前，通常，移动机器人100的位置被识别并且由SLAM方法创建地图。SLAM代表同时定位和绘图，并且是用于在估计移动机器人的位置时实时创建地图的技术。

参照图3，在根据相关技术的移动机器人的情况下，使用视觉传感器和航位推测传感器获得关于移动机器人的位置的信息和关于障碍物的信息，并且使用这些信息进行SLAM。

然而，在相关技术中，附加地需要图像处理算法和三维(3D)坐标提取算法来进行SLAM，附加需要障碍物传感器来感测障碍物，并且用于管理障碍物、地理特点等的计算量大。此外，应该构建附加地图来规划移动机器人的移动路径。

换言之，感测障碍物、估计移动机器人的位置以及规划移动机器人的移动路径是独立进行的，并且因此计算是大且复杂的。

因此，已经提议本发明来解决这个问题，并且其特征在于这些过程不是独立进行的而是同时进行的，从而方便地进行SLAM。

换言之，本发明采用3D传感器代替视觉传感器，并且因此可以直接感测障碍物，并且可以在没有附加障碍物传感器的情况下进行SLAM。当估计移动机器人的位置并创建地图时不考虑识别的障碍物区域，从而更有效地进行SLAM。

此外，由于SLAM可以使用3D深度传感器来进行，所以本发明提议了不附加需要地图构建来规划路径且使用3D导航的***。因此，地图的精度可以高于现存的2D***。

图4是根据本发明的实施例的能够进行定位和地图构建的移动机器人100的控制框图。

参照图4，根据本发明的移动机器人100可以包含捕获单元200、障碍物传感器300、位置估计器400和控制器500。捕获单元200可以包含3D空间识别传感器210和3D深度传感器。位置估计器400可以包含惯性传感器单元IMU 410和测距单元420。控制器500可以包含位置校正器510、地图创建器520、路径规划器530和储存单元540。

捕获单元200安装在移动机器人100的前表面上以捕获移动机器人100的周围的图像。

因此，可以提供用于捕获移动机器人100的周围的图像的照相机和传感器。实时捕获移动机器人100移动通过的空间的全向图像并将其提供给障碍物传感器300和位置估计器400。

3D空间识别传感器210可以是KINECT(RGB-D传感器)、飞行时间(TOF)传感器(结构化光传感器)、立体照相机等，但不限于此，并且可以是基本上具有与3D空间识别传感器210相同的功能的任何装置。

图5是图示与捕获单元200的组件相对应的一般3D空间识别传感器(3D激光范围探测传感器)的一般结构的图。

3D空间识别传感器210是配置为感测当从光源射出的光撞到物体并返回时获得的信号，并进行一系列数值计算过程以确定距离的传感器。通常，3D空间识别传感器200可以通过安装在光射出和入射的路径中的反射器的旋转、垂直振动以及节距间振动来三维地测量距离。

参照图5，3D空间识别传感器210可以包含具有光源、传感器等的激光范围探测(LRF)结构212，配置为反射射出光和入射光的反射器211，配置为旋转反射器211的旋转构件(未示出)，配置为控制反射器211的倾斜的垂直移动构件(未示出)，以及主体214，被配置为通过反射穿过反射器211的光以射出将用于测量距离的光并通过反射穿过反射器211的入射光以接收从物体返回的入射光来进行扫描。3D空间识别传感器210还包含用于旋转反射器211的构件，以及配置为控制反射器211的倾斜的附加驱动器213。

如上所述的多个3D空间识别传感器210可以安装在移动机器人100的外表面上。多个光源、多个传感器和多个反射器211可以安装在3D空间识别传感器210的每一个中。

图6是图示与捕获单元200的组件相对应的3D深度传感器的一般结构的图。

3D深度传感器220是使用红外光来检测深度图像的传感器。当红外光从光射出单元朝向物体射出时，红外光从物体反射并返回到光接收单元。传感器与物体之间的距离，即深度信息(深度图像)可以使用红外光射出和红外光反射之间的时间差来获得。这种方法通常称为飞行时间(TOF)方法(使用接收和反射红外光的时间进行的计算)。

参照图6，3D深度传感器220包含朝向物体射出红外光的光射出部件221、接收从物体反射的红外光的光接收部件226、其中布置多个深度像素(检测器或传感器)227的像素阵列228等，并且可以还包含行解码器222、控制射出红外光的时间的时序控制器(T/C)223、光电门控制器(PG CON)224、储存关于所捕获的深度图像的信息的储存单元225等。

因此，3D深度传感器220可以基于这样的信息来识别物体与传感器之间的距离，并且因此可以使用所识别的距离更精确地校正机器人的位置和地图。下面将描述机器人的位置和地图的校正。

通过分析从3D空间识别传感器210获得的关于图像的信息，障碍物传感器300感测移动机器人100附近的物体。在此，障碍物可以被理解为包含位于移动机器人100的移动范围内的具体平面上方的所有东西，例如门槛、家具、人类、动物等。下面将详细描述识别障碍物的方法。

障碍物传感器300通过接收当从3D空间识别传感器210射出的光撞到障碍物并返回时反射的信号来感测是否存在障碍物，并且使用来自3D空间识别传感器200的距离测量信号来确定障碍物是否在附近。另外，障碍物传感器300可以将关于感测到的障碍物的信息发送到位置估计器400和控制器500。

位置估计器400包含惯性传感器单元IMU 410和测距单元420，并且使用基于从障碍物传感器300接收到的关于障碍物的信息的从惯性传感器单元IMU 410和测距单元420接收到的信息来估计移动机器人100的当前位置(以下，称为“第一位置信息”)。

惯性传感器单元IMU 410可以使用IMU来估计移动机器人100的位置。

IMU是感测移动物体的惯性力并且测量关于移动物体的动作的各种类型的信息(诸如其加速度、速度方向和距离)的传感器，并且根据使用施加到物体的加速度来检测施加到惯性物体的惯性力的原理***作。

IMU可以分类为加速度计和陀螺仪，并且通过诸如使用激光的方法、非机械方法等各种方法操作。

因此，惯性传感器单元IMU 410可以包含使用惯性输入的惯性传感器，例如加速度传感器、惯性传感器、地磁传感器等。加速度传感器可以包含压电加速度传感器、电容式加速度传感器、应变式加速度传感器等中的至少一个。

测距单元420可以使用测距信息来估计移动机器人100的当前位置和定向。

测距指代识别移动机器人100的位置和定向的方法，并且也称为自主导航。

可以通过由里程计或轮式传感器获取关于移动机器人100的速度的信息，由磁性传感器等获取关于移动机器人100的方位的信息，并且然后计算从移动机器人100的初始位置到其下一位置的移动距离和关于方向的信息，来确定施加测距的移动机器人100的位置和定向。

当使用测距时，移动机器人100的位置可以在不必从外部接收附加信息的情况下仅使用通过测距产生的信息来确定，并且因此***的结构相对简单。此外，通过测距，移动机器人100的位置信息可以以非常高的采样速度获得并且因此迅速更新。另外，在相对较短的距离内测距的精度非常高，并且其成本低。

位置估计器400基于从惯性传感器单元IMU410和测距单元420获得的关于移动机器人100的信息，在排除从障碍传感器300接收到的关于障碍物区域的信息时，估计移动机器人100的第一位置信息。排除障碍物区域的原因是因为移动机器人100不可以通过障碍物区域，并且因此障碍物区域可以从作为位置估计的目标的空间排除。当排除障碍物区域时，估计移动机器人100的位置的范围减小，并且因此可以更有效地估计移动机器人100的位置。

位置估计器400可以将如上所述估计的移动机器人100的第一位置信息发送到控制器500。

控制器500可以从障碍物传感器300接收关于障碍物的信息和从位置估计器400接收移动机器人100的第一位置信息，并且基于接收到的信息和第一位置信息通过校正移动机器人100的位置来计算移动机器人100的更精确的当前位置信息(以下称作为“第二位置信息”)。

控制器500可以使用移动机器人100的第二位置信息和障碍物区域来创建地图，并且基于估计的移动机器人100的第二位置信息和创建的地图来规划移动机器人100的移动路径。

此外，控制器500可以储存估计的移动机器人100的位置信息和创建的地图。

因此，控制器500可以包含计算移动机器人100的第二位置信息的位置校正器510，基于接收到的关于障碍物的信息和移动机器人100的第二位置信息来创建地图的地图创建器520，基于移动机器人100的第二位置信息和创建的地图来规划移动机器人100的移动路径的路径规划器530，以及储存移动机器人100的位置信息和和创建的地图的储存单元540。

位置校正器510可以更准确地校正接收到的移动机器人100的第一位置信息。

校正估计的移动机器人100的第一位置信息的原因是因为测距被设计成通过积分学计算物体的位置和定向，并且因此移动距离的增加可以导致测量误差的增量，从而大大增加了移动机器人100的实际位置与其估计位置之间的差异。

此外，经由惯性传感器单元IMU 410获得的信息含有误差，并且因此应该校正第一位置信息以更准确地估计移动机器人100的位置。

因此，位置校正器510可以通过将由3D深度传感器200检测到的关于深度图像的信息与储存在储存单元540中的先前地图比较并且校正移动机器人100的第一位置信息，来计算移动机器人100的第二位置信息。

在校正移动机器人100的位置的方法中，通过在移动机器人100的第一位置信息周围分布粒子，计算与每个粒子相对应的匹配分数，并且将移动机器人100的位置校正到最可能的位置，来计算移动机器人100的第二位置信息。

位置校正器510根据基于概率的滤波方法校正移动机器人100的位置，并且因此可以包含粒子滤波器。位置校正器510可以包含卡尔曼滤波器、扩展卡尔曼滤波器(EKF)、无迹卡尔曼滤波器(UKF)、信息滤波器、直方图滤波器等中的至少一个，其基本上具有与粒子滤波器相同的功能。下面将参考图17详细描述校正移动机器人100的位置的方法和粒子滤波器。

地图创建器520可以使用由位置校正器510计算的移动机器人100的第二位置信息、由障碍物传感器300感测的关于障碍的信息以及从3D空间识别传感器210获得的3D图像来创建地图。

在排除由障碍物传感器300感测的障碍物区域时，地图创建器520可以创建地图。识别为障碍物的区域已经感测为障碍物，并且因此不用于创建地图。因此，可以更有效地创建地图。

为了增加由SLAM创建的地图的精确度，地图创建器520可以校正地图的失真，即进行姿态曲线图优化。这是因为，当使用基于粒子滤波器的SLAM时，当地图构建空间大时，地图可能会失真。

因此，为了防止地图的失真，地图创建器520在扫描移动机器人100的位置的图像和移动机器人100的3D图像时以某一时间间隔更新移动机器人100的移动路径(姿态曲线图)。当基于这些图像检测到移动机器人100的移动路径的闭合(环路闭合)时，姿态曲线图被优化以最小化地图的失真。下面将详细描述这个过程。

地图创建器520可以使用Wi-Fi、3D图像、视觉数据和扩展坞中的至少一个来检测环路闭合，并且包含用于进行该过程的Wi-Fi通信模块和用于该扩展坞的各种类型的装置。

储存单元540可以储存移动机器人100的一般信息，即关于移动机器人100操作的环境的地图、用于操作移动机器人100的操作程序、移动机器人100的运行模式、移动机器人100的位置信息以及在移动机器人100的移动期间获得的关于障碍物的信息等。

当姿态曲线图由地图创建器520优化时，可以将上述信息发送到地图创建器520。

因此，储存单元540可以包含诸如只读存储器(ROM)、可编程ROM(PROM)、可擦除编程ROM(EPRM)或闪存存储器等的非易失性存储器装置，诸如随机存取存储器(RAM)的易失性存储器，或者诸如硬盘、卡型存储器(例如，SD或XD存储器)或光盘的储存介质，来储存各种类型的信息。然而，储存单元160不限于此，并且可以使用设计者可以考虑的任何其他各种储存介质。

上面已经描述了根据本发明的移动机器人100的结构。下面将描述根据本发明的用于识别移动机器人100的位置并创建地图的算法。

图7是根据本发明的实施例的估计移动机器人100的当前位置和创建地图的顺序的方法的流程图。

当移动机器人100移动时，移动机器人100通过使用3D空间识别传感器捕获其周围的图像来获得3D图像，并且同时提取3D图像的深度图像(S100)。

3D图像可以实时获得并且可以通过自由地捕获移动机器人100的侧视图和后视图的图像以及移动机器人100的前视图的图像来获得。

同时，捕获单元200的3D深度传感器220可以捕获由3D空间识别传感器拍摄的区域的图像，并检测关于该区域的深度图像的信息。

关于深度图像的信息可以用于校正估计的移动机器人100的第一位置信息并且计算移动机器人100的第二位置信息。

当获得3D图像时，分析3D图像以感测位于移动机器人100附近的障碍物(S200)。

在感测物体的方法中，可以通过划分所获得的3D图像的底部并仅识别位于具体平面上方的物体来识别障碍物区域。下面参考图8至图16将详细描述感测和识别障碍物的过程。

当感测到障碍物区域时，在排除感测的障碍物区域时使用测距和IMU来估计移动机器人100的当前位置(即，移动机器人100的第一位置信息)(S300)。

如上所述，排除障碍物区域的原因是因为移动机器人100不能移动穿过存在障碍物的区域。因此，通过将障碍物区域指定为在初始阶段移动机器人100不能够位于的区域，可以更迅速地估计移动机器人100的位置。

当在S300中估计移动机器人100的第一位置信息时，使用3D深度图像信息来校正移动机器人100的当前位置。换言之，计算比移动机器人100的第一位置信息更精确的移动机器人100的第二位置信息(S400)。

如上所述，通过在估计的移动机器人100的第一位置信息周围分布粒子，计算与粒子的每个相对应的匹配分数，并且将移动机器人100的位置校正到高可能的位置，来校正移动机器人100的当前位置。下面将参考图17详细描述该方法。

当计算移动机器人100的第二位置信息时，创建排除感测到的障碍物区域的移动机器人100可移动的区域的地图(S500)。

通常，可以基于从3D空间识别传感器210获得的图像和移动机器人100的第二位置信息来进行称为SLAM的该过程。

当在S500中创建地图时，可以进行地图校正工作(姿态曲线图优化)以校正地图的失真(S600)。

如上所述，在基于粒子滤波器的SLAM中，当地图构建空间大时，地图可能失真，并且因此进行地图校正工作是必要的。

当移动机器人100的移动开始时，通过扫描移动机器人100的位置和移动机器人100的周围的3D图像来更新移动机器人100的移动路径(姿态曲线图)。当基于该信息检测到移动机器人100的移动路径的闭合(环路闭合)时，进行姿态曲线图优化以最小化地图的失真。下面将参考图18至图20详细描述该过程。

当地图的失真被校正并且地图完成时，使用移动机器人100的第二位置信息和完成的地图来规划移动机器人100的优化移动路径(S700)。

以上参考图7简要描述了根据本发明的移动机器人100的位置的估计和地图的创建。下面将参考附图描述具体操作。

图8至图15是详细图示感测障碍物(即，S200)的方法的图。图16和17是图示估计移动机器人100的位置(S300和S400)的图。图18至21是详细图示校正创建的地图(S600)的图。

图8是图示移动机器人100和位于移动机器人100可以感测的区域中的障碍物的图。

如上所述，障碍物可以被理解为意指位于移动机器人100的移动范围内的具体平面上方的所有东西，例如门槛、家具、人类、动物等。

具有高于或等于具体平面的高度的物体是障碍物被确定为障碍物的标准的原因是因为，即使当不中断移动机器人100的移动的小物体被感测为障碍物时，数据量大到防止机器人100的移动并创建地图，并且因此花费很多时间。

参照图8，五个物体A、B、C、D和E在位于具体区域中的移动机器人100的前方。所有五个物体都位于3D空间识别传感器210可以识别的范围内。将参考图8的物体A、B、C、D和E来描述下面要描述的附图。

图9是用于感测图8的空间中的障碍物的方法的算法的流程图，该方法由移动机器人100进行。

移动机器人100使用3D空间识别传感器210获得移动机器人100的前视图的3D图像，并且识别包含于所获得的3D图像中的所有物体(S210)。

然而，如上所述，所有可识别的物体都不是障碍物，并且因此移动机器人100使用底部划分方法仅识别与障碍物对应的物体为障碍物(S220)。

底部划分方法是将具体平面设定为参考点并且仅将由移动机器人100识别的所有物体中具有高于具体平面的高度的物体确定为障碍物的方法。

这里存在两种可用的底部划分方法：使用几何信息方法和随机样本一致性(RANSAC)方法，如下面将详细描述的。

当由底部划分法确定参考平面时，仅将根据参考平面选择的障碍物确定为障碍物(S230)。

然后，使用点云(point cloud)表达确定为障碍物的物体，并且然后通过进行3D分组和标记以将物体识别为相同障碍物来获得关于障碍物的信息(S240和S250)。

进行3D分组和标记以容易地跟踪移动的障碍物，因为障碍物不是所有都是静态的并且可以是动态的。***可以用于跟踪动态障碍物。下面将参考图15描述动态障碍物。

图10至14是图示底部划分方法(即S220)的图。图10图示了由几何方法确定参考平面的方法。图11至14是用于解释由RANSAC方法确定的参考平面的图。

图10是当从图9的侧面观看时移动机器人100和障碍物的透视图。

参照图10，移动机器人100可以经由安装在移动机器人100的前面的3D空间识别传感器200来感测其前方的物体。这里，几何方法是参考3D空间识别传感器200指定具体高度并将与具体高度相对应的平面设定为具体平面的方法。

在图10中，当存在与3D空间识别传感器210存在的位置相对应的水平线h时，从水平线h向下隔开某一距离d1或d2的平面可以是作为确定障碍物的标准的参考平面。

当用于确定障碍物的参考平面被设定为从水平线h向下隔开距离d1的高度时，物体A 310的高度小于参考平面的高度，并且因此物体A 310不被识别为障碍物。然而，物体B320、C 330、D 340和E 350的高度大于参考平面的高度，并且因此物体B 320、C 330、D 340和E 350可以被识别为障碍物。

当用于确定障碍物的参考平面被设定为从水平线h向下隔开距离d2的高度时，物体A 310和B 320位于参考平面下方并且因此不被识别为障碍物。然而，物体C 330、D 340和E 350的高度大于参考平面的高度，并且因此物体330、D 340和E 350被识别为障碍物。

通常，水平线h可以被设定为在不中断移动机器人100的移动的物体不被识别为障碍物的高度处，并且可以被设定为在用户期望的高度处。

图11至图14是图示设定用于感测障碍物的平面的另一种方法的RANSAC方法的图。

图11是图示实际测量的数据的曲线图。图12是图示由最小二乘法获得的近似结果的图。图13是图示由RANSAC方法获得的近似结果的图。图14是图示由RANSAC方法确定的平面的图。

RANSAC方法代表随机样本一致性方法，并且是随机选择样本数据并选择具有最大一致性的数据的方法。

更具体地，随机选择数段样本数据，计算满足数段样本数据的模型参数，并且计算位于每个模型参数附近的数据的段的数目。当数据的段的数目大时，存储与其相对应的模型。该过程重复进行N次，并将具有最高符合率的模型作为最终结果返回并表达。

虽然最小二乘法比RANSAC方法更方便使用，但是当数据中含有的误差的数目或噪声量小时最小二乘法造成期望的结果，但当数据中含有的噪声量大时造成与实际数据不匹配的结果(如图12所示)，并且因此数据失真(如图11所示)。然而，当使用RANSAC方法并且然后进行近似时，可以获得如图13所示的期望结果。

如图14所示，提取平面包含使用RANSAC方法参考与分段像素相对应的点云(即，分段像素的集合)来创建其初始模型。这里，平面可以用表示垂直于平面的矢量的两个角度参数α和β以及与平面原点的垂直距离d表示。

此外，为了表示平面，可以使用诸如角度或距离的误差模型(即误差方差)，并且可以使用与用于获得平面的像素的集合相对应的3D点的高斯分布。

图15是图示根据另一实施例的感测移动障碍物的方法的图。

参照图15，物体C 330是静态事物但是被外力移动，并且表示狗360的移动，即动态障碍物的移动。

障碍物并不总是静态的，并且因此也应该识别动态的障碍物。然而，将小幅度移动的障碍物识别为新的障碍物并且再次进行障碍物感测是低效的。因此，如上所述，可以通分组和标记障碍物以识别为一个障碍物来连续地跟踪移动障碍物。换言之，于是，甚至静态物体或动态物体的移动可以被识别为障碍物，并且因此可以更方便和迅速地进行障碍物识别。

图16和17是图示估计移动机器人100的位置的图。图16是图示移动机器人不能够获得3D图像的情况的图。图17是图示使用粒子方法计算移动机器人100的第二位置信息的图。

参照图8，移动机器人100使用IMU和测距来估计移动机器人100的第一位置信息，并且使用通过3D深度传感器210获得的深度图像信息来计算移动机器人100的第二位置信息。因此，深度图像信息可以从3D深度传感器210获得以计算移动机器人100的第二位置信息。

然而，如图16所示，3D深度传感器210可能不总是能够获得3D图像。由3D深度传感器210进行的一系列感测受到限制。因此，在图16的情况下，可能无法获得远离移动机器人100的障碍物330、340和350的3D图像信息。

在这种情况下，移动机器人100的第一位置信息不能使用深度图像信息来校正，并且因此可以被输出为移动机器人100的第二位置信息。

图18是图示基于移动机器人100的第一位置信息并使用粒子滤波器方法来计算移动机器人100的第二位置信息的图。

通过在第一位置信息周围分布粒子，计算与每个粒子相对应的匹配分数，并且将移动机器人100的位置校正到最可能的位置，来计算移动机器人100的第二位置信息。

由于基于概率的滤波方法用于该校正，所以通常可以使用贝叶斯滤波器。贝叶斯滤波器是基于贝叶斯定理的基于概率的滤波器。在贝叶斯定理中，似然函数和先验概率分布被用于后验概率。

贝叶斯滤波器方法的代表性示例是粒子滤波器方法。粒子滤波器方法是基于试验和误差的仿真方法，也被称为顺序蒙特卡罗(SMC)方法。

蒙特卡罗方法是收集足够大数目的随机输入结果并随机地计算函数的值的方法。在蒙特卡罗方法中，通过随机计算函数的值来识别***的特点。

因此，如图17所示，移动机器人100可以通过在移动期间在移动机器人100周围分布许多粒子来计算其更精确的位置，即其第二位置信息。

上面已经描述了由移动机器人100进行的感测障碍物和估计移动机器人100的位置的方法。下面将描述由移动机器人100进行的创建和校正地图的方法。

当计算移动机器人100的第二位置信息时，基于计算的第二位置信息、由障碍物传感器300感测到的障碍物区域以及从3D图像识别传感器210获得的3D图像信息来创建地图。

如上所述，移动机器人100在排除识别为障碍物的区域时创建地图。因此，不需要获得关于障碍物区域的信息，并且因此可以更有效地创建地图。

然而，当由移动机器人100实时进行创建和更新地图时，可能发生地图与实际地图之间的误差。换言之，由于移动机器人100的里程表、测量仪器等可能发生地图失真，从而引起由移动机器人100创建的地图与实际地图之间的差异。图18中图示了这种地图失真。

参照图18，附图标记700表示移动机器人100正在移动的环境的实际地图。然而，如上所述，由于测量数据中发生误差，由移动机器人100创建的地图可以基本上与地图710或720相同。因此，当基于创建的地图来规划移动机器人100的移动路径时，移动路径不精确。因此，应该校正这样的地图失真。

图19是根据本发明实施例的校正地图的方法的流程图。

参照图19，移动机器人100在移动期间实时地进行SLAM(S1000)。进行SLAM的结果被扫描并储存在扫描数据储存单元中(S1100)，并且同时更新移动机器人100的移动路径(姿态曲线图)(S1200)。这里，术语“扫描数据”可以理解为意指通过扫描移动机器人100正在移动通过的区域而获得的几何信息。

移动机器人100在分析如上所述周期性更新的姿态曲线图时检测移动机器人100的移动路径是否闭合(环路闭合)(S1300)。然后，当检测到环路闭合时，可以使用环路闭合来进行地图校正(姿态曲线图优化)(S1400)。

这里，术语“环路闭合”可以理解为意指当移动机器人100以某一幅度移动并返回到初始位置时识别移动机器人100的可靠初始位置信息，并且还可以称为重新访问或闭合循环。

图20是图示环路闭合的图，其中图示了移动机器人100的实际移动路径和移动机器人100的估计移动路径。

如图20所示，移动机器人100在点X0处开始移动并移动到点X1，并且最终移动到点X10，同时更新姿态曲线图。然而，如图20所示，当移动机器人100移动很长距离并返回时，由于SLAM可能发生误差，并且因此移动机器人100不能返回到准确的原始位置。

因此，需要校正地图，该地图通过合成移动机器人100的初始位置信息和当移动机器人100重新访问初始位置附近的位置时其位置信息而创建。此过程称为姿态曲线图优化。

可以通过比较关于由照相机捕获的图像的特点点的信息与使用由传感器(诸如激光传感器或超声波传感器)获得的几何信息的新输入的扫描数据，或通过比较先前储存的扫描数据与使用由传感器(诸如激光传感器或超声波传感器)获得的几何信息的新输入的扫描数据，来检测环路闭合。

替代地，可以通过诸如Wi-Fi的通信或使用扩展坞来检测环路闭合。

图21是图示根据本发明获得的最终地图的图。

图21图示了二维(2D)网格地图，但是可以创建3D网格地图。网格地图是当移动机器人100的周围的图像被划分成小网格时，随机地表示物***于网格中的每个的概率的地图，并且也称为概率网格地图。

参照图21，移动机器人100在绘制环路610时在某一区域内移动并且在分布粒子600时实时校正其位置，并且由障碍物传感器300检测障碍物630。

在图21中，附图标记620表示由3D空间识别传感器210感测为墙壁的区域，并且区域620实际上是墙壁。

上面已经描述了根据本发明的用于识别移动机器人的位置并创建地图的技术。根据本发明，可以使用3D图像来进行感测障碍物、识别移动机器人的位置、创建地图以及规划移动机器人的移动路径。因此，由于不需要附加的地图来创建地图，并且识别为障碍物的区域不用于SLAM，SLAM可以更迅速和精确地进行。此外，不需要附加的障碍物传感器，因此可以使用3D图像来进行感测各种类型的障碍物、进行SLAM以及规划路径。

另外，在如上所述的3D导航***中，当与现存的2D***相比时，地图的精度得到改善，并且因此可以使用该地图提供基于地图的机器人服务。

Claims (14)

1.一种移动机器人，包括：

捕获单元，其配置为捕获所述移动机器人的周围的三维(3D)图像，并且提取所捕获的3D图像的深度图像信息；

位置估计器，其配置为估计区域内的所述移动机器人的当前位置信息；

控制器，其配置为使用所述移动机器人的估计的当前位置信息和所提取的深度图像信息来计算所述移动机器人的第二位置信息，并且创建地图；

所述移动机器人还包括障碍物传感器，所述障碍物传感器被配置为从所述捕获单元接收所述3D图像，并且通过分析关于由所述捕获单元捕获的所述3D图像的信息，将具有高于特定平面的高度的物体感测为障碍物；

所述位置估计器还被配置为使用惯性测量单元和测距单元、通过排除由所述障碍物传感器感测到的障碍物区域来估计所述当前位置信息；以及

所述控制器还被配置为在排除由所述障碍物传感器感测到的障碍物区域时创建地图。

2.如权利要求1所述的移动机器人，其中，所述特定平面包括所述移动机器人的最低部分和由用户设定的特定几何平面中的一个。

3.如权利要求1所述的移动机器人，其中，所述特定平面是由随机样本一致性(RANSAC)方法来设定的。

4.如权利要求1所述的移动机器人，其中，当在所感测到的障碍物之中存在移动障碍物时，所述障碍物传感器使用***跟踪所述感测到的障碍物。

5.如权利要求1所述的移动机器人，其中，当未提取所述3D图像的深度图像信息时，所述控制器将所述移动机器人的当前位置信息设定为所述移动机器人的第二位置信息。

6.如权利要求1所述的移动机器人，其中，所述控制器使用所述3D图像的深度图像信息和先前储存的地图来计算所述移动机器人的第二位置信息。

7.如权利要求6所述的移动机器人，其中，所述控制器使用利用贝叶斯滤波器的基于概率的滤波方法，根据所述移动机器人的当前位置信息计算所述移动机器人的第二位置信息。

8.如权利要求7所述的移动机器人，其中，所述贝叶斯滤波器包括卡尔曼滤波器、扩展卡尔曼滤波器(EKF)、无迹卡尔曼滤波器(UKF)、信息滤波器、直方图滤波器和粒子滤波器之中的至少一个。

9.如权利要求1所述的移动机器人，其中，当从所述移动机器人的第二位置信息检测到环路闭合时，所述控制器使用所述环路闭合来校正所述地图。

10.如权利要求9所述的移动机器人，其中，所述控制器使用Wi-Fi、3D信息、视觉数据和扩展坞之中的至少一个来感测所述环路闭合。

11.如权利要求1所述的移动机器人，其中，所述控制器包括路径规划器，所述路径规划器配置为基于所述移动机器人的第二位置信息和所创建的地图来规划所述移动机器人的移动路径。

12.一种控制移动机器人的方法，所述方法包括：

捕获所述移动机器人的周围的三维(3D)图像，并且提取所捕获的3D图像的深度图像信息；

估计区域内的所述移动机器人的当前位置信息；

使用所述移动机器人的估计的当前位置信息和所提取的深度图像信息来计算所述移动机器人的第二位置信息；

创建地图；

所述方法还包括：

通过分析关于由捕获单元捕获的所述3D图像的信息，将具有高于特定平面的高度的物体感测为障碍物；

使用惯性测量单元和测距单元、通过排除由障碍物传感器感测到的障碍物区域来估计所述当前位置信息；以及

在排除由所感测到的障碍物区域时创建地图。

13.如权利要求12所述的方法，其中，所述移动机器人的第二位置信息的计算包括，使用所述3D图像的深度图像信息和先前储存的地图来计算所述移动机器人的第二位置信息。

14.如权利要求12所述的方法，其中，所述地图的创建包括，当从所述移动机器人的第二位置信息检测到环路闭合时，使用所述环路闭合来校正所述地图。

Images