CN109062211B - 一种基于slam识别临近空间的方法、装置、***及存储介质 - Google Patents

Abstract

一种基于Slam中路标信息识别临近空间的方法、装置、***和计算机存储介质。所述方法包括获取机器人通过SLAM得到的路标信息；根据所述路标信息识别所述机器人所处空间的临近空间。还可包括根据所述临近空间规划所述机器人的行走路径，从而使机器人按照高效的路径行进。所述装置对应具有路标信息获取模块、临近空间识别模块和路径规划模块。上述方法和装置优化了机器人的行走路径，提高了机器人的工作效率，并且操作简单，易于实现。

Description

一种基于SLAM识别临近空间的方法、装置、***及存储介质

技术领域

本发明涉及机器人领域，具体涉及一种基于SLAM识别临近空间的方法、装置、***及存储介质。

背景技术

随着用于个人或商业用途如清洁的自动装置(即机器人设备)的广泛使用，对于机器人的效率，智能化的要求越来越高。如清洁机器人，最初的方法仅能通过随机的路径探索的方式来完成清扫任务，而未来的需求则应该通过智能高效的路径规划来避免重复、低效的清扫。在现有技术中，一种方法是采用深度学习的方法来识别目标对象，从而得到三维地图来优化路径。这种方法对设备的复杂度要求较高，通过深度学习来识别物体得到的距离也不够精确。

发明内容

为解决现有技术中存在的路径规划效率低、精度不高以及智能化低的问题，本发明提出了一种基于SLAM识别临近空间的方法、装置、***及计算机存储介质，优化了机器人的行走路径，提高了机器人的工作效率，并且操作简单，易于实现。

为解决上述问题，本发明的第一方面提供了一种基于SLAM识别临近空间的方法，包括：

获取机器人通过SLAM得到的路标信息；

根据所述路标信息识别所述机器人所处空间的临近空间。

在一些实施例中，所述根据所述路标信息识别所述机器人所处空间的临近空间，包括：

根据所述路标信息对所述机器人所处空间进行平面划分，得到平面信息；

根据所述平面信息识别所述机器人所处空间的临近空间。

在一些实施例中，所述根据所述平面信息识别所述机器人所处空间的临近空间，包括：

根据所述平面信息的变化识别所述机器人所处空间的临近空间。

在一些实施例中，所述临近空间为与所述机器人所处空间相连的可行走空间。

在一些实施例中，所述方法还包括：

根据所述临近空间，规划所述机器人的行走路径。

在一些实施例中，所述行走路径包括：优先行走至所述临近空间。

在一些实施例中，所述行走路径包括：当完成所述所处空间的行走后，行走至所述临近空间。

本发明的第二方面提供了一种基于SLAM识别临近空间的装置，包括：

路标信息获取模块，用于获取机器人通过SLAM得到的路标信息；

临近空间识别模块，用于根据所述路标信息识别所述机器人所处空间的临近空间。

在一些实施例中，所述临近空间识别模块根据所述路标信息对所述机器人所处空间进行平面划分，得到平面信息；并根据所述平面信息识别所述机器人所处空间的临近空间。

在一些实施例中，所述根据所述平面信息识别所述机器人所处空间的临近空间，包括：

根据所述平面信息的变化识别所述机器人所处空间的临近空间。

在一些实施例中，所述临近空间为与所述机器人所处空间相连的可行走空间。

在一些实施例中，所述装置还包括：

路径规划模块，用于根据所述临近空间规划所述机器人的行走路径。

在一些实施例中，所述行走路径包括：优先行走至所述临近空间。

在一些实施例中，所述行走路径包括：当完成所述所处空间的行走后，行走至所述临近空间。

本发明的第三方面提供了一种基于SLAM识别临近空间的***，该***包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器用于执行如前所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行如前所述的方法。

综上所述，本发明提供了一种基于Slam中路标信息识别临近空间的方法、装置、***和计算机存储介质。所述方法包括获取机器人通过SLAM得到的路标信息；根据所述路标信息识别所述机器人所处空间的临近空间。根据所述临近空间，规划所述机器人的行走路径，从而使机器人按照高效的路径行进。本发明提出的根据Slam中路标识别临近空间的位置情况的方法和装置，优化了机器人的行走路径，提高了机器人的工作效率，并且操作简单，易于实现。

本发明的上述技术方案具有如下有益的技术效果：

根据SLAM中的路标信息识别临近空间的位置情况，输出所在空间的大概边界和障碍物的大概位置来辅助机器人做路径规划，不需要复杂的目标对象识别方法，提高了路径规划的效率；同时，利用SLAM中路标携带的距离信息，更适合于路径规划，且比目标对象识别方法对障碍物的定位更加精确。

附图说明

图1是本发明基于SLAM识别临近空间的方法流程图；

图2是本发明的获得平面信息的方法流程图；

图3是本发明的基于SLAM识别临近空间的装置框图；

图4是本发明的空间识别模块结构框图；

图5是本发明实施例1的结构及流程图；

图6是本发明实施例1的视觉Slam中的路标举例示意图；

图7是本发明实施例1的视觉Slam中的三维路标示意图；

图8是本发明实施例1的不同角度视觉Slam中的三维路标示意图；

图9a是本发明实施例1的路标形成的集合平面的俯视图；图9b为三个方向集合的旋转视图；

图10是本发明实施例2机器人处于不同时刻的状态示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

术语解释：

SLAM(simultaneous localization and mapping),也称为CML(ConcurrentMapping and Localization),即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，所谓完全的地图(aconsistent map)是指不受障碍行进到房间可进入的每个角落。

路标Landmark，指GPS内存中保存的一个点的坐标值。路标是GPS数据核心，它是构成“路线”的基础。

本发明的第一方面提供了一种基于SLAM识别临近空间的方法100，所述方法包括如下步骤，如图1所示：

步骤110，获取机器人通过SLAM得到的路标信息。

具体的，对室内空间进行SLAM测量可以获得参数信息和路标信息。本发明对Slam设备无具体要求，单目(需与IMU/轮子等结合)或双目摄像头的相机均可。在Slam视觉中，每一个特征点就是一个路标，一个特征点在多次测量中被观测到后并被关联起来，就可以作为路标放入地图中。

参数信息包括：相机姿态、图像关键帧和相机校准参数。

相机姿态是指相机在世界坐标系下的位置和朝向，表示为C＝{C₁，C₂...C_N}；

图像关键帧和相机姿态对应，表示为I＝{I₁，I₂...I_N}；

相机校准参数K为：

路标信息包括路标的集合X，X＝{X₁，X₂...X_P}，其中X₁，X₂...X_P为包括x，y，z三轴的坐标值。

所述N、P为自然数。

其中世界坐标系的定义为：由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。

步骤120，根据所述路标信息识别所述机器人所处空间的临近空间。具体地包括步骤121，由空间识别模块接收路标信息，利用图像处理算法，根据所述路标信息对所述机器人所处空间进行平面划分，得到平面信息。步骤122，根据平面信息识别所述机器人所处空间的临近空间。

如附图2所示，平面信息的计算方法流程200包括如下步骤：

步骤210，根据上述参数信息和路标信息计算曼哈顿方向[n₁,n₂,n₃]，所述曼哈顿方向[n₁,n₂,n₃]为图像关键帧中图像消失点所代表的三个消失方向即三维方向的中值。

具体的，所述曼哈顿方向由下计算：

在所述图像关键帧中，从第j个图像关键帧I_j(j＝1,2,…,N)中计算得到三个图像消失点的向量

计算图像消失点在世界坐标系下的消失方向：

其中R是3*3的旋转矩阵，正交且行列式为1；K是矫正参数；此旋转矩阵的逆将相机坐标系下的点P_c旋转到世界坐标系下的点P_w：P_w＝R^-1*P_c；

其中图像消失点是指平行直线的交点。在物理空间中，平行的直线只能在无穷远处相交，因此图像消失点是无穷远处；但在透视图，两条平行线会很容易相交于一点，这一点即是图像消失点。

获取每个消失方向的中值[n₁，n₂，n₃]：

其中k＝1，2，3；

定义[n₁，n₂，n₃]为曼哈顿方向。

步骤220、将路标的集合X投影到曼哈顿方向上，分别获取三个方向上距离最远的两个路标点。

具体实现方法如下：

在曼哈顿方向上做循环：

获取最大最小距离：

步骤230，根据曼哈顿方向和所述距离最远的两个路标点获取曼哈顿方向上的等间隔平面,将各等间隔平面加入对应曼哈顿方向上的平面集合

(k＝1,2,3)，所述平面集合为对应于一个维度的平面集合。

具体的，根据曼哈顿方向和

获得不同方向上的等间隔平面，间隔大小可以预先设定。

[η_k1，η_k2，…η_kd]，k＝1,2,3；

η＝[nd]^T；

其中，n为平面法向量，d为平面到原点的距离。

根据路标点集合X分别计算η_k1，η_k2...η_kd的分数，当η_kd分数大于某一设定阈值σ₁时，将η_kd加入对应曼哈顿方向上的平面集合

分数计算方法如下：

初始化：score＝0，输入：X,η；

计算X_i和η的距离d_i；

如果|d_i|>某一设定阈值σ₂；

score+＝1；

i＝1，2，...，N。

平面集合

即为对应于一个维度的平面集合，例如

代表着以地面为最近距离，以天花板为最远距离，对应于垂直地面的轴线的多个水平平面的结合。

步骤240，输出所述平面集合作为平面信息。

根据上述步骤210-240，得到Slam测量设备所在空间的平面信息，可以得知空间内的大概边界和障碍物的大概位置，为之后的路径规划提供数据支撑。

步骤122，根据平面信息识别所述机器人所处空间的临近空间。

具体地，根据所述平面集合的变化逐次判断平面是当前空间平面或临近空间平面，如果所述平面是不属于平面集合的新平面，则为临近空间平面，存在临近空间。

具体的，当机器人走到门外或窗口时，Slam***将获取机器人所在空间外的路标信息。空间识别模块得到新的平面集合

后，可以根据平面集合的变化逐个判断平面是否为当前空间平面或者临近空间的平面。这是由于机器人在遇到一个临近空间时，临近空间中的路标在之前不可见，因此在之前的平面集合中并不存在对应该路标点的平面，当该新平面出现，意味着机器人观测到一个临近空间。因此如果平面集合中发现新的平面，将该平面空间位置传入路径规划模块。

进一步地，还可包括步骤130，根据所述临近空间，规划所述机器人的行走路径。

所述临近空间可为与当前空间相连的可行走空间或不可行走空间，具体判断方法如下：

设一深度阈值σ，如果平面到世界坐标系下的原点的距离d小于σ，即为机器人可行走区域(当前空间以及临近空间)。反之，如果平面到世界坐标系的距离过大，则意味着临近空间为开阔地带，不适合机器人行走。

进一步地，所述路径规划包括优先到临近空间行走或完成当前空间行走后到临近空间行走。

经过上述步骤110-130，该基于SLAM识别临近空间的方法通过临近空间的识别对机器人的路径规划进行优化，提高了路径规划效率和准确度。

本发明的另一方面提供了一种基于SLAM识别临近空间的装置300，如图3所示，包括：

路标信息获取模块310，用于获取机器人通过SLAM得到的路标信息；

临近空间识别模块320，用于根据所述路标信息识别所述机器人所处空间的临近空间。

进一步地，还可包括路径规划模块330，根据所述临近空间，规划所述机器人的行走路径。

所述临近空间识别模块320进一步包括，如图4所示：

曼哈顿方向计算单元321，用于计算曼哈顿方向[n₁,n₂,n₃]，所述曼哈顿方向[n₁,n₂,n₃]为图像关键帧中图像消失点所代表的三个消失方向的中值；

平面集合获取单元322，将所述路标的集合X投影到曼哈顿方向上，分别获取三个方向上距离最远的两个路标点；根据曼哈顿方向和所述距离最远的两个路标点获取曼哈顿方向上的等间隔平面,将各等间隔平面加入对应曼哈顿方向上的平面集合

所述平面集合为对应于一个维度的平面集合；

平面集合输出单元323，输出所述平面集合作为空间信息。

进一步地，所述临近空间识别模块320包括临近空间判断单元，根据所述平面信息的变化逐次判断平面是当前空间平面或临近空间平面，如果所述平面是不属于平面集合的新平面，则为临近空间平面，存在临近空间。

进一步地，所述临近空间判断单元包括判断所述临近空间为与当前空间相连的可行走空间或不可行走空间，由如下步骤判断：

设一深度阈值σ，如果临近空间的平面到世界坐标系下的原点的距离d小于σ，即为可行走区域；反之，如果所述临近空间的平面到世界坐标系的距离大于σ，则临近空间为不可行走空间。

本发明的第三方面提供了一种基于SLAM识别临近空间的***，该***包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器用于执行如前所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行如前所述的方法。

实施例1：

在本发明实施例1中，机器人设备为扫地机器人，Slam测量模块获取参数信息和路标信息。该基于SLAM识别临近空间的装置包括一个Slam测量模块，设备无具体要求；空间识别模块，用于接收路标信息等，并输出空间边界信息；路径规划模块，用于接收边界信息，输出优化后的行进路径，如图5所示。

图6示出了视觉Slam中的路标举例，图中小方块表示Slam测量模块记录的路标。

图7和图8为不同角度下生成的三维路标信息图，图7接近于俯视图。

空间识别模块根据路标信息，识别空间布局。(1)从SLAM模块中获取参数信息和路标信息；(2)计算曼哈顿方向并获取空间平面假设；(3)获取曼哈顿方向上的平面集合

如图9a所示为一个路标的俯视图，平面①②③即为集合

中的平面，可以理解为机器人行走水平面的一个方向上的多个平面。平面④⑤⑥⑦即为集合

中的平面，可以理解为机器人行走平面的一个与

垂直的方向上的多个平面。集合

中的平面为与机器人行走平面平行的多个平面。图9b中为三个方向集合的旋转视图。

路径规划模块根据平面①-⑦在三维地图的位置信息，根据位置信息判断当前空间和临近空间，并完成行走规划。具体而言，例如当机器人开启时处于平面④处，此时机器人无法得到⑥⑦之间的路标信息，其中⑥⑦之间为一个开放的走廊。当机器人行走到该走廊的入口时，也就是地图中④⑤之间的位置时，机器人可以观测到⑥⑦之间的新路标信息。此时，第一平面集合中将得到除①②③之外新的平面⑥⑦。由于该平面⑥⑦不在此前的第一平面集合中，意味着机器人发现了一个新的临近空间。进一步，由于该新平面的距离信息小于预设深度阈值，因此该空间被判断为相邻可行走空间。如果该距离信息大于深度阈值，以及对应第三平面集合距离也大于深度阈值，意味着该临近空间为一开阔地带，因此该空间被判断为相邻不可行走空间。

实施例2：

以图10为例说明本发明在具体机器人产品中实施能带来的益处。如图10所示，机器人从时刻1到时刻2进行了位移，在时刻2，机器人的Slam发现了新的路标点，因此导致对应的平面空间集合内的平面发生了改变。通过对变化的平面的判断，机器人可以在时刻2发现一个新的临近空间。

一个现有技术的机器人，例如在图10时刻1所处位置开始进行清扫工作，其可以通过Slam测量模块提供的定位信息不断跟踪自己的位置。但是路径规划模块则无法使用Slam测量模块的信息，一种较为常见的方法是进行工字形清扫。机器人在完成当前区域的清扫工作后，有可能到达当前空间的一个角落，则此时机器人认为清扫完成。在使用了本发明所提出的方法后，机器人也可以使用工字形路径规划对当前路径进行清扫。但是在清扫过程中，Slam测量模块不仅提供定位和地图构建的功能，同时向导航模块输出了一个临近空间的信息。此时机器人在任务中记录了一个对应的临近空间信息以及对应的坐标。在机器人结束当前空间清扫后，机器人路径规划模块中识别临近空间尚未完成清扫并且该空间为一个可行走空间，此时路径规划模块驱动机器人先行走到该临近空间，再通过工字形路径完成该区域的清扫。通过不断的重复上述过程，机器人能够完成所有可行走空间的清扫，并且避免行走到室外等开阔地带。在一些传统的机器人方法中，机器人也可以通过随机行走的方法，在一定概率下进入临近空间，这种方法相较本发明提出的方法可靠性低、且效果无法保障。

综上所述，本发明提供了一种根据Slam中路标信息识别临近空间的位置情况(是否为墙壁或是门口，在某个位置是否有障碍物等)的方法、装置、***和计算机存储介质。所述方法包括获取机器人通过SLAM得到的路标信息；根据所述路标信息识别所述机器人所处空间的临近空间。还可包括根据所述临近空间规划所述机器人的行走路径，从而使机器人按照高效的路径行进。所述装置对应具有路标信息获取模块、临近空间识别模块和路径规划模块。本发明提出的根据Slam中路标识别临近空间的位置情况的方法和装置，优化了机器人的行走路径，提高了机器人的工作效率，并且操作简单，易于实现。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (14)

1.一种基于SLAM识别临近空间的方法，其特征在于，包括：

获取机器人通过对室内空间进行SLAM测量得到的参数信息和路标信息；

根据所述参数信息和路标信息计算曼哈顿方向；

将路标的集合投影到曼哈顿方向上，分别获取三个方向上距离最远的两个路标点；

根据曼哈顿方向和所述距离最远的两个路标点获取曼哈顿方向上的等间隔平面,将各等间隔平面加入对应曼哈顿方向上的平面集合，输出所述平面集合作为平面信息；

根据所述平面信息识别所述机器人所处空间的临近空间。

2.根据权利要求1所述的基于SLAM识别临近空间的方法，其特征在于，所述根据所述平面信息识别所述机器人所处空间的临近空间，包括：

根据所述平面信息的变化识别所述机器人所处空间的临近空间。

3.根据权利要求1所述的基于SLAM识别临近空间的方法，其特征在于，所述临近空间为与所述机器人所处空间相连的可行走空间。

4.根据权利要求1所述的基于SLAM识别临近空间的方法，其特征在于，所述方法还包括：

根据所述临近空间，规划所述机器人的行走路径。

5.根据权利要求4所述的基于SLAM识别临近空间的方法，其特征在于，所述行走路径包括：优先行走至所述临近空间。

6.根据权利要求4所述的基于SLAM识别临近空间的方法，其特征在于，所述行走路径包括：当完成所述所处空间的行走后，行走至所述临近空间。

7.一种基于SLAM识别临近空间的装置，其特征在于，包括：

路标信息获取模块，用于获取机器人通过对室内空间进行SLAM测量得到的参数信息和路标信息；

临近空间识别模块，用于根据所述参数信息和路标信息计算曼哈顿方向；

将路标的集合投影到曼哈顿方向上，分别获取三个方向上距离最远的两个路标点；

根据曼哈顿方向和所述距离最远的两个路标点获取曼哈顿方向上的等间隔平面,将各等间隔平面加入对应曼哈顿方向上的平面集合，输出所述平面集合作为平面信息；

根据所述平面信息识别所述机器人所处空间的临近空间。

8.根据权利要求7所述的基于SLAM识别临近空间的装置，其特征在于，所述根据所述平面信息识别所述机器人所处空间的临近空间，包括：

根据所述平面信息的变化识别所述机器人所处空间的临近空间。

9.根据权利要求8所述的基于SLAM识别临近空间的装置，其特征在于，所述临近空间为与所述机器人所处空间相连的可行走空间。

10.根据权利要求7所述的基于SLAM识别临近空间的装置，其特征在于，所述装置还包括：

路径规划模块，用于根据所述临近空间规划所述机器人的行走路径。

11.根据权利要求10所述的基于SLAM识别临近空间的装置，其特征在于，所述行走路径包括：优先行走至所述临近空间。

12.根据权利要求10所述的基于SLAM识别临近空间的装置，其特征在于，所述行走路径包括：当完成所述所处空间的行走后，行走至所述临近空间。

13.一种基于SLAM识别临近空间的***，其特征在于，该***包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器用于执行权利要求1-6任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行权利要求1-6任一项所述的方法。

Images