CN108256430B - 障碍物信息获取方法、装置及机器人 - Google Patents

Abstract

本申请公开了一种障碍物信息获取方法、装置及机器人。该方法包括：通过视觉传感器获得当前环境的深度图像；根据所述深度信息确定所述实体基于视觉传感器坐标系的第一三维坐标；所述视觉传感器坐标系为以视觉传感器为原点的坐标系；将所述实体的第一三维坐标转换为基于机器人坐标系的第二三维坐标；所述机器人坐标系为根据机器人中的一点为原点得到的坐标系；将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标；所述二维栅格地图与所述机器人的底面所在平面重合；根据所述二维坐标获取所述实体与机器人之间的位置关系。本申请解决了由于采用红外传感器及现障碍物分析方法造成的机器人无法对障碍物进行准确判断技术问题。

Description

障碍物信息获取方法、装置及机器人

技术领域

本申请涉及机器人技术领域，具体而言，涉及一种障碍物信息获取方法、装置及机器人。

背景技术

随着生活水平的提高，越来越多人渴望得到更多的个人时间，以便享受生活。然而，快节奏的，繁重的家务，占用了人们大量的个人时间。随着科学技术的发展，移动机器人可以逐步代替人类承担简单重复的体力劳动。这些机器人很多都具备自主行走运动能力，而这类机器人的运动空间往往具有各种各样的障碍物(墙壁、家具等)，机器人不可避免地与这些障碍物发生碰撞，因此就会大大降低机器人的使用寿命。

目前机器人采用超声波、红外等传感器，通过测量前进方向与障碍物之间的距离进行避障。这种方法在避障方面有较好的效果，但由于传感器本身存在缺陷：对于超声波，声音的速度容易受温度和风向的干扰、声音会被吸音面吸收等；对于红外，最小检测距离太大。这些都会影响机器人对障碍物不能够准确进行的判断。

针对相关技术中机器人无法对障碍物进行准确判断的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种障碍物信息获取方法、装置及机器人，以解决对机器人进行准确判断的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种障碍物信息获取方法，包括：

通过视觉传感器获得当前环境的深度图像，所述深度图像提供所述当前环境中实体与所述视觉传感器的深度信息；

根据所述深度信息确定所述实体基于视觉传感器坐标系的第一三维坐标；所述视觉传感器坐标系为以视觉传感器为原点的坐标系；

将所述实体的第一三维坐标转换为基于机器人坐标系的第二三维坐标；所述机器人坐标系为根据机器人中的一点为原点得到的坐标系；

将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标；所述二维栅格地图与所述机器人的底面所在平面重合；

根据所述二维坐标获取所述实体与机器人之间的位置关系。

进一步的，如前述的障碍物信息获取方法，

所述根据机器人中的一点为原点得到的所述机器人坐标系，包括：以所述机器人最低点所在的水平面为x-y轴平面，以所述机器人的中心垂直线作为z轴，所述z轴与所述x-y轴平面的交点作为所述机器人坐标系的原点，所述y轴正方向为所述机器人的正前方。

进一步的，如前述的障碍物信息获取方法，所述实体的第一三维坐标包括多个用于体现出所述实体形状特征的三维坐标点。

进一步的，如前述的障碍物信息获取方法，在将所述实体的第一三维坐标转换为第二三维坐标后，还包括：

根据所述第二三维坐标得到所述实体的高度；

如果所述实体的第二三维坐标中的最高点低于所述机器人的高度，则将所述实体判定为障碍物；

如果所述实体的第二三维坐标中的最低点高于所述机器人的高度，则将所述实体判定为可穿过通道。

进一步的，如前述的障碍物信息获取方法，在得到所述实体的二维坐标后，还包括：

在所述二维栅格地图中对所述障碍物和可穿过通道进行区别标注。

进一步的，如前述的障碍物信息获取方法，所述将所述实体的第一三维坐标转换为第二三维坐标，包括：

获取所述视觉传感器在机器人上的位置，得到所述视觉传感器坐标系相对于机器人坐标系的转换矩阵；所述转换矩阵为：

其中R为一个3×3的旋转矩阵，t为一个3×1的转移矩阵。

进一步的，如前述的障碍物信息获取方法，所述R为：

其中

分别为视觉传感器坐标系中的x值、y值和z值的回归值；

分别为机器人坐标系中的x值、y值和z值的回归值。

进一步的，如前述的障碍物信息获取方法，

所述t为：

其中，Δx、Δy和Δz分别为所述视觉传感器坐标系的原点相对于所述机器人坐标系的原点在所述机器人坐标系的x、y、z三个方向上的偏移距离。

为了实现上述目的，根据本申请的另一方面，提供了一种障碍物信息获取装置，包括：

深度信息获取模块：用于通过视觉传感器获取当前环境的深度图像，所述深度图像提供所述当前环境中实体与所述视觉传感器的深度信息；

第一三维坐标获取模块：用于根据所述深度信息获取当前环境中的所述实体的第一三维坐标；所述第一三维坐标为：所述实体在视觉传感器坐标系下的三维坐标；所述视觉传感器坐标系为：以视觉传感器为原点的坐标系；

坐标转换模块：用于将所述实体的第一三维坐标转换为第二三维坐标；所述第二三维坐标为：所述实体在机器人坐标系下的三维坐标；所述机器人坐标系为：以机器人中的一点为原点的坐标系；

栅格地图生成模块，用于将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标，并以所述实体的二维坐标作为最终障碍物数据；所述二维栅格地图与所述机器人的底面所在平面重合；

障碍物距离生成模块，用于根据所述最终障碍物数据获取所述实体与机器人之间的水平距离及方位。

为了实现上述目的，根据本申请的另一方面，提供了一种机器人，包括机器人本体及设于所述机器人上的视觉传感器。

在本申请实施例中，采用视觉传感器获得当前环境的深度图像，并进行处理获得障碍物信息的方式，包括：通过视觉传感器获得当前环境的深度图像，所述深度图像提供所述当前环境中实体与所述视觉传感器的深度信息；根据所述深度信息确定所述实体基于视觉传感器坐标系的第一三维坐标；所述视觉传感器坐标系为以视觉传感器为原点的坐标系；将所述实体的第一三维坐标转换为基于机器人坐标系的第二三维坐标；所述机器人坐标系为根据机器人中的一点为原点得到的坐标系；将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标；所述二维栅格地图与所述机器人的底面所在平面重合；根据所述二维坐标获取所述实体与机器人之间的位置关系。达到了准确获得障碍物信息的技术效果，进而解决了由于采用红外传感器及现障碍物分析方法造成的机器人无法对障碍物进行准确判断技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种障碍物信息获取方法的流程示意图；

图2是根据图1中所述步骤S3后的一种障碍物信息获取方法的流程示意图；

图3是根据本申请实施例的一种障碍物信息获取装置的模块示意图；

图4是根据本申请实施例所示的求地平面参数的方法。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本实用新型及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本实用新型中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本实用新型中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，本发明提供一种障碍物信息获取方法，该方法包括如下的步骤S1至步骤S5：

S1.通过视觉传感器获得当前环境的深度图像，所述深度图像提供所述当前环境中实体与所述视觉传感器的深度信息；

S2.根据所述深度信息确定所述实体基于视觉传感器坐标系的第一三维坐标；所述视觉传感器坐标系为以视觉传感器为原点的坐标系；

S3.将所述实体的第一三维坐标转换为基于机器人坐标系的第二三维坐标；所述机器人坐标系为根据机器人中的一点为原点得到的坐标系；

S4.将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标；所述二维栅格地图与所述机器人的底面所在平面重合；

S5.根据所述二维坐标获取所述实体与机器人之间的位置关系。

根据本发明实施例，提供了一种所述机器人坐标系的方法，该方法包括：

所述根据机器人中的一点为原点得到的所述机器人坐标系，包括：以所述机器人最低点所在的水平面为x-y轴平面，以所述机器人的中心垂直线作为z轴，所述z轴与所述x-y轴平面的交点作为所述机器人坐标系的原点，所述y轴正方向为所述机器人的正前方。

在一些实施例中，如前述的障碍物信息获取方法，所述实体的第一三维坐标包括多个用于体现出所述实体形状特征的三维坐标点。

根据本发明实施例，提供了一种障碍物信息获取方法，如图2所示，在将所述实体的第一三维坐标转换为第二三维坐标后，还包括：

S61.根据所述第二三维坐标得到所述实体的高度；

S61.如果所述实体的第二三维坐标中的最高点低于所述机器人的高度，则将所述实体判定为障碍物；

S62.如果所述实体的第二三维坐标中的最低点高于所述机器人的高度，则将所述实体判定为可穿过通道。

优选的，本方法采用500×500分辨率的栅格地图来代表实际10米×10米的空间。黑色的小格视为障碍，代表此处存在低于机器人高度的物体，白色的小格则相反。采用这样的栅格地图便得到可利用的障碍物数据。由于单纯利用深度数据会将人体目标视为障碍，因此这里通过参考骨骼数据，将骨骼所占区域的方格始终视为白色，从而修正障碍物数据，实现了目标与障碍物的区分。

在一些实施例中，如前述的障碍物信息获取方法，在得到所述实体的二维坐标后，还包括：

在所述二维栅格地图中对所述障碍物和可穿过通道进行区别标注。

根据本发明实施例，提供了一种障碍物信息获取方法，所述将所述实体的第一三维坐标转换为第二三维坐标，包括：

获取所述视觉传感器在机器人上的位置，得到所述视觉传感器坐标系相对于机器人坐标系的转换矩阵；所述转换矩阵为：

其中R为一个3×3的旋转矩阵，t为一个3×1的转移矩阵。

具体的，获取所述转换矩阵的方法如下所述：

视觉传感器可以获取深度数据，这些深度数据存储了周围环境下的点的三维信息。由于视觉传感器安装在机器人上，所以深度数据集中会有很大一部分点位于地平面上，其余一部分点在三维空间中。基于这样的特点，可以通过求取地平面参数，然后选取任一空间点，向地平面投影，求出视觉传感器坐标系相对于地平面坐标系的转换关系，也就是转换矩阵。因为机器人始终在地平面上，所以这里选取地平面坐标系为机器人坐标系。

如图4所示为求地平面参数的方法：

第一步：从深度数据Q中随机选取3个不共线的数据，然后利用三点确定一个平面的原理，得到平面参数。

设R3空间中不在同一直线上的三个点：m₁(x₁,y₁,z₁)，m₂(x₂,y₂,z₂)，m₃(x₃,y₃,z₃)，由这三个点所确定的平面π方程为：

其中M(x,y,z)∈R³。将其写成一般方程的形式为：

Ax+By+Cz+D＝0

从而得到平面参数A、B、C、D。

第二步：利用点到平面的距离公式：

计算深度数据集Q中所有数据与平面π的距离，若距离小于初始阈值H，则有效数据集，这里记为P的元素个数加1。

第三步：循环第二步，如果当前有效数据集P元素个数大于初始设定的值N，则结束迭代，并停止采样，采用当前的参数ABCD构建平面模型；如果迭代完所有的点仍不能满足N这一阈值，则执行第四步。

第四步：如果迭代次数大于K，则退出；否则迭代次数加1，并重复上述步骤。

得到平面方程之后，求视觉传感器坐标系相对于平面坐标系的转换关系。

首先建立平面坐标系。这里使用投影的方法来确定平面坐标系，根据不同坐标系下对应点几何关系不变的特点，将视觉传感器坐标系轴线上的点投影到平面坐标系，利用投影后的点构建新的坐标轴。

这里用向量的思想描述投影这个过程，设空间点P₀(X,Y,Z)，以及空间平面π(P_p,N_p)，容易求得P_o到平面的距离是：

D＝((P_o-P_p)×N_p)

将P_o沿着法向量的反方向移动D就得到P_o在该平面的投影点:

P＝P_o-N_p×(P_o-_p)×N_p)

具体方法如下：

第一步：将视觉传感器坐标系下原点O(0,0,0)向平面π投影得到平面坐标系下原点O_w(0,0,0)。

第二步：分别将视觉传感器坐标系下点X(1,0,0)和点Y(0,1,0)向平面π投影得到平面坐标系下点X_w和Y_w；

第三步：求平面坐标系x轴和y轴。可以确定，投影后的点O_w和点X_w组成的向量构成了x轴，但y轴可以是平面上与x轴垂直的两个向量之一。任意给定一个垂直向量作为y轴，对该向量与点X_w和点Y_w组成的向量求点积，如果结果大于0，则将初始给定的向量作为y轴，否则将初始给定的向量取反作为y轴。

第四步：根据求得的x轴和y轴，由笛卡尔坐标系可以得到z轴。

上述过程得到的轴向量构成了平面坐标系相对于视觉传感器坐标系的旋转矩阵R，投影后的点Ow构成了平移矩阵t。两者共同构成了转换矩阵T。

根据本发明实施例，提供了一种障碍物信息获取方法，所述R为：

其中

为分别视觉传感器坐标系中的x值、y值和z值的回归值；

分别机器人坐标系中的x值、y值和z值的回归值。

根据本发明实施例，提供了一种障碍物信息获取方法，

所述t为：

其中，Δx、Δy和Δz分别为所述视觉传感器坐标系的原点相对于所述机器人坐标系的原点在所述机器人坐标系的x、y、z三个方向上的偏移距离。

为了实现上述目的，根据本申请的另一方面，提供了一种障碍物信息获取装置，包括：

深度信息获取模块1：用于通过视觉传感器获取当前环境的深度图像，所述深度图像提供所述当前环境中实体与所述视觉传感器的深度信息；

第一三维坐标获取模块2：用于根据所述深度信息获取当前环境中的所述实体的第一三维坐标；所述第一三维坐标为：所述实体在视觉传感器坐标系下的三维坐标；所述视觉传感器坐标系为：以视觉传感器为原点的坐标系；

坐标转换模块3：用于将所述实体的第一三维坐标转换为第二三维坐标；所述第二三维坐标为：所述实体在机器人坐标系下的三维坐标；所述机器人坐标系为：以机器人中的一点为原点的坐标系；

栅格地图生成模块4，用于将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标，并以所述实体的二维坐标作为最终障碍物数据；所述二维栅格地图与所述机器人的底面所在平面重合；

障碍物距离生成模块5，用于根据所述最终障碍物数据获取所述实体与机器人之间的水平距离及方位。

为了实现上述目的，根据本申请的另一方面，提供了一种机器人，包括机器人本体及设于所述机器人上的视觉传感器。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种障碍物信息获取方法，其特征在于，包括：

通过视觉传感器获得当前环境的深度图像，所述深度图像提供所述当前环境中实体的深度信息；

根据所述深度信息确定所述实体基于视觉传感器坐标系的第一三维坐标；所述视觉传感器坐标系为以视觉传感器为原点的坐标系；将所述实体的第一三维坐标转换为基于机器人坐标系的第二三维坐标；根据机器人中的一点为原点得到的所述机器人坐标系，以所述机器人最低点所在的水平面为x-y轴平面，以所述机器人的中心垂直线作为z轴，所述z轴与所述x-y轴平面的交点作为所述机器人坐标系的原点，所述y轴正方向为所述机器人的正前方；

将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标；所述二维栅格地图与所述机器人的底面所在平面重合；

根据所述二维坐标确定所述实体与机器人之间的位置关系；

采用500×500分辨率的栅格地图来代表实际10米×10米的空间，黑色的小格视为障碍，代表低于所述机器人高度的物体，白色的小格则相反；采用所述栅格地图得到可利用的障碍物数据；通过参考骨骼数据，将骨骼所占区域的方格始终视为白色。

2.根据权利要求1所述的障碍物信息获取方法，其特征在于，所述实体的第一三维坐标包括多个用于体现出所述实体形状特征的三维坐标点。

3.根据权利要求2所述的障碍物信息获取方法，其特征在于，在将所述实体的第一三维坐标转换为第二三维坐标后，还包括：

根据所述第二三维坐标得到所述实体的高度；

如果所述实体的第二三维坐标中的最高点低于所述机器人的高度，则将所述实体判定为障碍物；

如果所述实体的第二三维坐标中的最低点高于所述机器人的高度，则将所述实体判定为可穿过通道。

4.根据权利要求3所述的障碍物信息获取方法，其特征在于，在得到所述实体的二维坐标后，还包括：

在所述二维栅格地图中对所述障碍物和可穿过通道进行区别标注。

5.根据权利要求1所述的障碍物信息获取方法，其特征在于，所述将所述实体的第一三维坐标转换为第二三维坐标，包括：

获取所述视觉传感器在机器人上的位置，得到所述视觉传感器坐标系相对于机器人坐标系的转换矩阵；所述转换矩阵为：

其中R为一个3×3的旋转矩阵，t为一个3×1的转移矩阵。

6.根据权利要求5所述的障碍物信息获取方法，其特征在于，所述R为：

其中

分别为视觉传感器坐标系中的x值、y值和z值的回归值；

分别为机器人坐标系中的x值、y值和z值的回归值。

7.根据权利要求5所述的障碍物信息获取方法，其特征在于，所述t为：

其中，Δx、Δy和Δz分别为所述视觉传感器坐标系的原点相对于所述机器人坐标系的原点在所述机器人坐标系的x、y、z三个方向上的偏移距离。

8.一种障碍物信息获取装置，其特征在于，包括：

深度信息获取模块：用于通过视觉传感器获取当前环境的深度图像，所述深度图像提供所述当前环境中实体与所述视觉传感器的深度信息；

第一三维坐标获取模块：用于根据所述深度信息获取当前环境中的所述实体的第一三维坐标；所述第一三维坐标为：所述实体在视觉传感器坐标系下的三维坐标；所述视觉传感器坐标系为：以视觉传感器为原点的坐标系；坐标转换模块：用于将所述实体的第一三维坐标转换为第二三维坐标；所述第二三维坐标为：所述实体在机器人坐标系下的三维坐标；所述机器人坐标系为：以机器人中的一点为原点的坐标系，以所述机器人最低点所在的水平面为x-y轴平面，以所述机器人的中心垂直线作为z轴，所述z轴与所述x-y轴平面的交点作为所述机器人坐标系的原点，所述y轴正方向为所述机器人的正前方；

栅格地图生成模块，用于将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标，并以所述实体的二维坐标作为最终障碍物数据；所述二维栅格地图与所述机器人的底面所在平面重合；

障碍物距离生成模块，用于根据所述最终障碍物数据获取所述实体与机器人之间的水平距离及方位；

采用500×500分辨率的栅格地图代表实际10米×10米的空间，黑色的小格视为障碍，代表低于所述机器人高度的物体，白色的小格则相反，采用所述栅格地图得到可利用的障碍物数据；通过参考骨骼数据，将骨骼所占区域的方格始终视为白色。

9.一种机器人，其特征在于，包括机器人本体及设于所述机器人上的视觉传感器；

所述机器人包括：

通过视觉传感器获得当前环境的深度图像，所述深度图像提供所述当前环境中实体的深度信息；

根据所述深度信息确定所述实体基于视觉传感器坐标系的第一三维坐标；所述视觉传感器坐标系为以视觉传感器为原点的坐标系；将所述实体的第一三维坐标转换为基于机器人坐标系的第二三维坐标；根据机器人中的一点为原点得到的所述机器人坐标系，以所述机器人最低点所在的水平面为x-y轴平面，以所述机器人的中心垂直线作为z轴，所述z轴与所述x-y轴平面的交点作为所述机器人坐标系的原点，所述y轴正方向为所述机器人的正前方；

将所述实体的第二三维坐标投影到二维栅格地图上，得到所述实体的二维坐标；所述二维栅格地图与所述机器人的底面所在平面重合；

根据所述二维坐标确定所述实体与机器人之间的位置关系；

采用500×500分辨率的栅格地图代表实际10米×10米的空间，黑色的小格视为障碍，代表低于所述机器人高度的物体，白色的小格则相反，采用所述栅格地图得到可利用的障碍物数据；通过参考骨骼数据，将骨骼所占区域的方格始终视为白色。

Images