CN114047753B - 一种基于深度视觉的扫地机器人障碍物识别和避障方法 - Google Patents

Abstract

本发明提供了一种基于深度视觉的扫地机器人障碍物识别和避障方法，用于使扫地机器人提前感知前方工作区域内的障碍物，并根据障碍物类型采取对应的避障方式。一种基于深度视觉的扫地机器人障碍物识别和避障方法主要包括六个步骤：首先利用深度相机对扫地机器人前方区域进行信息采集；然后提取深度图像中各像素点的空间位置信息，标记出地面区域；再在深度图像中标记出路径空间区域，并分割出障碍物的图像；根据障碍物图像利用x轴和y轴像素分布直方图和深度直方图区分出障碍物类别；根据障碍物类别，选择绕行避障方式或折返避障方式，并执行避障操作；最后扫地机器人向前行驶，进行正常清扫工作，并循环执行前五个步骤。

Description

一种基于深度视觉的扫地机器人障碍物识别和避障方法

技术领域

本发明涉及机器人领域，特别涉及一种基于深度视觉的扫地机器人障碍物识别和避障方法。

背景技术

如今，扫地机器人已经逐渐走入***的视野，其能够轻松打扫灰尘、毛发、纸屑等垃圾且不需要人工操作的优点深受广大人民的喜爱。但我国目前对扫地机器人的研究还处于初级阶段，现有的扫地机器人避障方式大多数都是采用激光、超声波、压力等被动式响应的传感器，这些传感器往往都不具备对路径障碍进行判断能力，因此常会存在卡在餐桌或餐椅之间，在餐桌下迷路，存在易被塑料袋、室内电线、衣架等小型的障碍物缠绕的风险。

本发明采用的深度摄像头获取的是深度图像，即用灰度值来表示距离信息的图像，可在原有xoy平面空间上加入一个z轴，从而实现三维空间的构建，使扫地机器人可提前感知行驶路径上的障碍物，并根据障碍物类别，提前做出避障路径规划，且深度摄像头采用的是主动光感知技术，克服了普通RGB相机被动感知光线而受光照影响较大，在强光或昏暗的环境下无法工作的弊端。

本发明提出一种基于深度视觉实现扫地机器人自主避障和路径规划的方法，该方法可以令扫地机器人提前识别行驶路径上的障碍物，并自主做出规避路线的规划，实现扫地机器人在遇到障碍的情况下也可完成无死角清扫工作。

发明内容

本发明提供了一种基于深度视觉的扫地机器人障碍物识别和避障方法，用于识别障碍物的位置和类型，并进行主动避障。

本发明采用如下方法来实现：一种基于深度视觉的扫地机器人障碍物识别和避障方法，其特征在于，包括：

步骤一、利用深度摄像头对扫地机器人前方区域进行信息采集，获取深度图像；

步骤二、提取深度图像中各像素点的三维坐标信息，标记出地面区域；

步骤三、在深度图像中标记出路径空间区域，滤去区域内小于1米深度的像素，并结合步骤二中的地面区域分割出障碍物的图像；

步骤四、利用路径空间区域内的障碍物图像做出x轴和y轴的像素分布直方图，并通过分析直方图区分出障碍物类型；

步骤五、根据步骤四中识别出的障碍物类别，选择绕行避障方式或折返避障方式，并执行避障操作；

步骤六、扫地机器人向前行驶，进行正常清扫工作，并循环执行步骤一～五。

步骤二中，采用了平面模型检测算法在获取的深度图像中将地面区域标记出来，分离前景中地面的像素点和障碍物的像素点，具体步骤如下：

步骤二一：建立地面平面模型，因为深度摄像头可获取图像中每一个像素点的x、y、z轴的坐标，所以深度摄像头拍摄到的图像中地面区域的像素点云可根据空间平面公式在三维空间中拟合成一个固定的平面，拟合平面公式如下：

Ax₀+By₀+Cz₀+D＝0 (1)

其中，x₀、y₀、z₀为深度图像中地面区域像素点的空间坐标，A、B、C、D为平面系数；由于扫地机器人上的摄像头与地面的相对位置是固定不变的，因此地面在深度图像中拟合出来的平面也会是一个固定的平面，平面系数可人为事先确定；

步骤二二：将深度图像中所有像素点坐标依次代入到步骤二一中设置的地面平面模型中，计算出拟合误差，拟合误差公式如下：

Ax+By+Cz+D＝e (2)

其中，e为拟合误差，x、y、z为深度图像中每一个像素点的空间坐标；通过设置误差阈值δ来判断该像素点是否属于这个模型，若|e|≤δ，则视为属于地面的像素点并进行标记，若|e|＞δ，则视为障碍物的像素点。

步骤三中，标记出了深度图像中可供扫地机器人通过的最小空间区域，用于过滤无用的信息，具体过程为：

步骤三一：在图像中间地面标记区域中的1米等深线处取一段长度为w的线段，并以此为底边做一个宽为w、高为h的矩形，w、h的取值为机器人的宽高映射到图像中1米深度位置对应的长度，矩形内的区域记为路径空间区域；

步骤三二：将路径空间区域内深度大于1米的像素点的像素值置0，并将该区域及1米等深线下方出现的所有像素值大于0且不属于地面区域的像素点组成的图像视为障碍物图像。

步骤四中，做出了路径空间区域内障碍物图像的像素分布直方图，并通过直方图区分出障碍物的类型，具体过程为：

步骤四一：做出x轴和y轴的像素分布直方图，即做出横轴为x轴或y轴坐标，纵轴为该坐标邻域内的像素数的统计直方图，并利用x轴和y轴像素分布直方图将障碍物区分为两侧大型障碍物、小型障碍物、可跨越障碍物和墙体障碍物，具体区分方法如下：

1)两侧大型障碍物的特点为障碍物图像集中在路径空间区域的两边的其中一侧且覆盖面积较大，因此当x轴其中一侧区间上的像素数大于最大值的一半，而另一侧区间上的像素数为0则视为两侧大型障碍物；

2)小型障碍物体积较小，在路径空间区域中表现为障碍物图像覆盖一小块空间区域，因此当x轴中的某一段区间上的像素数大于最大值五分之一则视为小型障碍物；

3)可跨越障碍物主要为小型门槛、地毯、电线等机器人可直接跨越的障碍物，它们在路径空间区域中仅占据图像底部的细长区域，在x轴像素分布直方图中表现为像素数在x轴各处都有大于0小于最大值五分之一的数值，但只有x轴像素分布直方图无法判断障碍物是在区域的下方还是处在中间或上方，因此还需借助y轴像素分布直方图进行判断，当y轴像素分布直方图中显示像素数的最大值在y轴最大值七分之一以下的区域取得则视为可跨越障碍物，否则视为墙体障碍物；

4)墙体障碍物在路径空间区域中表现为两侧同时出现障碍物或在中间或上方出现一整行形成栅栏状的像素集，因此当在x轴像素分布直方图中x轴两侧同时出现超过最大值一半的数值或在y轴像素分布直方图中y轴最大值七分之一以上的区域出现像素数大于最大值70％的数值则都视为墙体障碍物。

步骤五中，对两侧大型障碍物和小型障碍物实行绕行避障方式，对墙体障碍物实行折返避障方式，对可跨越障碍物则直接跨越，绕行避障方式和折返避障方式具体实施方法如下：

1)采用绕行避障方式时需先从图像中获取障碍物的最近点和最远点的x轴和z轴坐标(x_n，z_n)和(x_f，z_f)，并利用这两点坐标和以(x_n，z_f)为圆心在xoz平面上做一个最小外接圆，然后以外接圆圆心为原点，以外接圆的半径r与扫地机器人的半径R之和为半径做一个同心圆，做出的同心圆即为扫地机器人的绕行路径；当机器人到达绕行路径起点后，沿障碍物最远点方向开始绕行，在绕行过程中同时计算绕行通过的角度，并设置90°和180°两个节点。当机器人处在绕行路径0°～90°位置时发现绕行路径上有不可跨越障碍物，则计算当前位置角a，然后朝绕行路径外旋转a+90°后向前行驶进行正常清扫工作；当机器人处在绕行路径90°～180°位置时发现绕行路径上有不可跨越障碍物，则计算当前位置角a，然后朝绕行路径外旋转a-90°后向前行驶进行正常清扫工作；当机器人行驶到180°位置时，则完成绕行，朝绕行路径外旋转90°后继续向前行驶；

2)采用折返避障方式时，当扫地机器人识别出墙体障碍物，扫地机器人先朝清扫方向旋转90°，并向前行驶扫地机器人直径2R的距离，然后再旋转90°，继续向前行驶进行正常清扫工作。

综上所述，本扫地机器人障碍物识别和避障方法通过深度摄像头采集图像信息，对采集到的深度图像进行运算和分析，分割出深度图像前景中的地面和障碍物图像，通过像素分布直方图和深度直方图区分出障碍物类别，并根据障碍物类别选择对应的避障方式实现扫地机器人的自主避障。

有益效果为：本发明提出的扫地机器人障碍物识别和避障方法，能使扫地机器人主动式地获取行驶路径上的障碍物信息，并在接触到障碍物前做出有效的避障操作，可以防止扫地机器人卡死在桌脚之间、被绳索电线缠绕等现象发生，实现扫地机器人自主避障无死角清扫的目的。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于深度视觉的扫地机器人障碍物识别和避障方法实施例流程图；

图2为本发明提供的路径空间区域标记示意图；

图3为本发明提供的绕行避障方式示意图；

图4为本发明提供的折返避障方式示意图。

具体实施方式

本发明给出了一种基于深度视觉的扫地机器人障碍物识别和避障方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

本发明首先提供了一种基于深度视觉的扫地机器人障碍物识别和避障方法实施例，如图1所示，包括：本发明采用如下方法来实现：一种基于深度视觉的扫地机器人障碍物识别和避障方法，包括：

步骤一S101、利用深度摄像头对扫地机器人前方区域进行信息采集，获取深度图像；

步骤二S102、提取深度图像中各像素点的三维坐标信息，标记出地面区域；

步骤三S103、在深度图像中标记出路径空间区域，滤去区域内小于1米深度的像素，并结合步骤二中的地面区域分割出障碍物的图像；

步骤四S104、利用路径空间区域内的障碍物图像做出x轴和y轴的像素分布直方图，并通过分析直方图区分出障碍物类型；

步骤五S105、根据步骤四中识别出的障碍物类别，选择绕行避障方式或折返避障方式，并执行避障操作；

步骤六S106、扫地机器人向前行驶，进行正常清扫工作，并循环执行S101～S105。

步骤二中，采用了平面模型检测算法在获取的深度图像中将地面区域标记出来，分离前景中地面的像素点和障碍物的像素点，具体步骤如下：

步骤二一：建立地面平面模型，因为深度摄像头可获取图像中每一个像素点的x、y、z轴的坐标，所以深度摄像头拍摄到的图像中地面区域的像素点云可根据空间平面公式在三维空间中拟合成一个固定的平面，拟合平面公式如下：

Ax0+By0+Cz0+D＝0(1)

其中，x₀、y₀、z₀为深度图像中地面区域像素点的空间坐标，A、B、C、D为平面系数；由于扫地机器人上的摄像头与地面的相对位置是固定不变的，因此地面在深度图像中拟合出来的平面也会是一个固定的平面，平面系数可由人为事先确定；

步骤二二：将深度图像中所有像素点坐标依次代入到步骤二一中设置的地面平面模型中，计算出拟合误差，拟合误差公式如下：

Ax+By+Cz+D＝e (2)

其中，e为拟合误差，x、y、z为深度图像中每一个像素点的空间坐标；通过设置误差阈值δ来判断该像素点是否属于这个模型，若|e|≤δ，则视为属于地面的像素点并进行标记，若|e|＞δ，则视为障碍物的像素点。

步骤三中，标记出了深度图像中可供扫地机器人通过的最小空间区域，用于过滤无用的信息，具体过程为：

步骤三一：如图2所示，在图像中间地面标记区域中的1米等深线处取一段长度为w的线段，并以此为底边做一个宽为w、高为h的矩形，w、h的取值为机器人的宽高映射到图像中1米深度位置对应的长度，矩形内的区域记为路径空间区域；

步骤三二：将路径空间区域内深度大于1米的像素点的像素值置0，并将该区域及1米等深线下方出现的所有像素值大于0且不属于地面区域的像素点组成的图像视为障碍物图像。

步骤四中，做出了路径空间区域内障碍物图像的像素分布直方图，并通过直方图区分出障碍物的类型，具体过程为：

步骤四一：做出x轴和y轴的像素分布直方图，即做出横轴为x轴或y轴坐标，纵轴为该坐标邻域内的像素数的统计直方图，并利用x轴和y轴像素分布直方图将障碍物区分为两侧大型障碍物、小型障碍物、可跨越障碍物和墙体障碍物，具体区分方法如下：

1)两侧大型障碍物的特点为障碍物图像集中在路径空间区域的两边的其中一侧且覆盖面积较大，因此当x轴其中一侧区间上的像素数大于最大值的一半，而另一侧区间上的像素数为0则视为两侧大型障碍物；

2)小型障碍物体积较小，在路径空间区域中表现为障碍物图像覆盖一小块空间区域，因此当x轴中的某一段区间上的像素数大于最大值五分之一则视为小型障碍物；

3)可跨越障碍物主要为小型门槛、地毯、电线等机器人可直接跨越的障碍物，它们在路径空间区域中仅占据图像底部的细长区域，在x轴像素分布直方图中表现为像素数在x轴各处都有大于0小于最大值五分之一的数值，但只有x轴像素分布直方图无法判断障碍物是在区域的下方还是处在中间或上方，因此还需借助y轴像素分布直方图进行判断，当y轴像素分布直方图中显示像素数的最大值在y轴最大值七分之一以下的区域取得则视为可跨越障碍物，否则视为墙体障碍物；

4)墙体障碍物在路径空间区域中表现为两侧同时出现障碍物或在中间或上方出现一整行形成栅栏状的像素集，因此当在x轴像素分布直方图中x轴两侧同时出现超过最大值一半的数值或在y轴像素分布直方图中y轴最大值七分之一以上的区域出现像素数大于最大值70％的数值则都视为墙体障碍物。

步骤五中，对两侧大型障碍物和小型障碍物实行绕行避障方式，对墙体障碍物实行折返避障方式，对可跨越障碍物则直接跨越，绕行避障方式和折返避障方式具体实施方法如下：

1)采用绕行避障方式时需先从图像中获取障碍物的最近点和最远点的x轴和z轴坐标(x_n，z_n)和(x_f，z_f)，并利用这两点坐标和以(x_n，z_f)为圆心在xoz平面上做一个最小外接圆，然后以外接圆圆心为原点，以外接圆的半径r与扫地机器人的半径R之和为半径做一个同心圆，做出的同心圆即为扫地机器人的绕行路径；当机器人到达绕行路径起点后，沿障碍物最远点方向开始绕行，在绕行过程中同时计算绕行通过的角度，并设置90°和180°两个节点。当机器人处在绕行路径0°～90°位置时发现绕行路径上有不可跨越障碍物，则计算当前位置角a，然后朝绕行路径外旋转a+90°后向前行驶进行正常清扫工作；当机器人处在绕行路径90°～180°位置时发现绕行路径上有不可跨越障碍物，则计算当前位置角a，然后朝绕行路径外旋转a-90°后向前行驶进行正常清扫工作；当机器人行驶到180°位置时，则完成绕行，朝绕行路径外旋转90°后继续向前行驶；

2)采用折返避障方式时，当扫地机器人识别出墙体障碍物，扫地机器人先朝清扫方向旋转90°，并向前行驶扫地机器人直径2R的距离，然后再旋转90°，继续向前行驶进行正常清扫工作。

综上所述，本扫地机器人障碍物识别和避障方法通过深度摄像头采集图像信息，对采集到的深度图像进行运算和分析，分割出深度图像前景中的地面和障碍物图像，通过像素分布直方图和深度直方图区分出障碍物类别，并根据障碍物类别选择对应的避障方式实现扫地机器人的自主避障。

以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于深度视觉的扫地机器人障碍物识别和避障方法，其特征在于，包括：

步骤一、利用深度摄像头对扫地机器人前方区域进行信息采集，获取深度图像；

步骤二、提取深度图像中各像素点的空间位置信息，标记出地面区域；

步骤三、在深度图像中标记出路径空间区域，滤去区域内小于1米深度的像素，并结合步骤二中的地面区域分割出障碍物的图像；

步骤四、利用路径空间区域内的障碍物图像做出x轴和y轴的像素分布直方图，并通过分析直方图区分出障碍物类型；

步骤五、根据步骤四中识别出的障碍物类别，选择绕行避障方式或折返避障方式，并执行避障操作；

步骤六、扫地机器人向前行驶，进行正常清扫工作，并循环执行步骤三～五；

所述步骤二在图像预处理的过程中采用了平面模型检测算法在获取的深度图像中将地面区域标记出来，分离前景中地面的像素点和障碍物的像素点，具体步骤如下：

步骤二一：建立地面平面模型，因为深度摄像头可获取图像中每一个像素点的x、y、z轴的坐标，所以深度摄像头拍摄到的图像中地面区域的像素点云可根据空间平面公式在三维空间中拟合成一个固定的平面，拟合平面公式如下：

Ax0+By0+Cz0+D＝0 (1)

其中，x0、y0、z0为深度图像中地面区域像素点的空间坐标，A、B、C、D为平面系数；由于扫地机器人上的摄像头与地面的相对位置是固定不变的，因此地面在深度图像中拟合出来的平面也会是一个固定的平面；

步骤二二：将深度图像中所有像素点坐标依次代入到步骤二一中设置的地面平面模型中，计算出拟合误差，拟合误差公式如下：

Ax+By+Cz+D＝e (2)

其中，e为拟合误差，x、y、z为深度图像中每一个像素点的空间坐标；通过设置误差阈值δ来判断该像素点是否属于这个模型，若|e|<δ，则视为属于地面的像素点并进行标记，若|e|>δ，则视为障碍物的像素点；

所述步骤三中标记出了深度图像中可供扫地机器人通过的最小空间区域，用于过滤无用的信息，具体过程为：

步骤三一：在图像中间地面标记区域中的1米等深线处取一段长度为w的线段，并以此为底边做一个宽为w、高为h的矩形，w，h的取值为机器人的宽高映射到图像中1米深度位置对应的长度，矩形内的区域记为路径空间区域；

步骤三二：将路径空间区域内深度大于1米的像素点的像素值置0，并将该区域及1米等深线下方出现的所有像素值大于0且不属于地面区域的像素点组成的图像视为障碍物图像。

2.如权利要求1所述的一种基于深度视觉的扫地机器人障碍物识别和避障方法，其特征在于，所述步骤四中做出了路径空间区域内障碍物图像的像素分布直方图，并通过直方图区分出障碍物的类型，具体过程为：

步骤四一：做出x轴和y轴的像素分布直方图，并利用x轴和y轴像素分布直方图将障碍物区分为两侧大型障碍物、小型障碍物、可跨越障碍物和墙体障碍物，具体区分方法如下：

1)两侧大型障碍物的特点为障碍物图像集中在路径空间区域的两边的其中一侧且覆盖面积较大，因此当x轴其中一侧区间上的像素数大于最大值的一半，而另一侧区间上的像素数为0则视为两侧大型障碍物；

2)小型障碍物体积较小，在路径空间区域中表现为障碍物图像覆盖一小块空间区域，因此当x轴中的某一段区间上的像素数大于最大值五分之一则视为小型障碍物；

3)可跨越障碍物主要为小型门槛、地毯、电线等机器人可直接跨越的障碍物，它们在路径空间区域中仅占据图像底部的细长区域，在x轴像素分布直方图中表现为像素数在x轴各处都有大于0小于最大值五分之一的数值，但只有x轴像素分布直方图无法判断障碍物是在区域的下方还是处在中间或上方，因此还需借助y轴像素分布直方图进行判断，当y轴像素分布直方图中显示像素数的最大值在y轴最大值七分之一以下的区域取得则视为可跨越障碍物，否则视为墙体障碍物；

4)墙体障碍物在路径空间区域中表现为两侧同时出现障碍物或在中间或上方出现一整行形成栅栏状的障碍物图像，因此当在x轴像素分布直方图中x轴两侧同时出现超过最大值一半的数值或在y轴像素分布直方图中y轴最大值七分之一以上的区域出现像素数大于最大值70％的数值则都视为墙体障碍物。

3.如权利要求2所述的一种基于深度视觉的扫地机器人障碍物识别和避障方法，其特征在于，所述步骤五中，对两侧大型障碍物和小型障碍物实行绕行避障方式，对墙体障碍物实行折返避障方式，对可跨越障碍物则直接跨越，绕行避障方式和折返避障方式具体实施方法如下：

1)采用绕行避障方式时需先从图像中获取障碍物的最近点和最远点的x轴和z轴坐标(xn,zn)和(xf,zf)，并利用这两点坐标和以(xn,zf)为圆心在xoz平面上做一个最小外接圆，然后以外接圆圆心为原点，以外接圆的半径r与扫地机器人的半径R之和为半径做一个同心圆，做出的同心圆即为扫地机器人的绕行路径；当机器人到达绕行路径起点后，延障碍物最远点方向开始绕行，在绕行过程中同时计算绕行通过的角度，并设置90°和180°两个节点；当机器人处在绕行路径0°～90°位置时发现绕行路径上有不可跨越障碍物，则计算当前位置角a，然后朝绕行路径外旋转a+90°后向前行驶进行正常清扫工作；当机器人处在绕行路径90°～180°位置时发现绕行路径上有不可跨越障碍物，则计算当前位置角a，然后朝绕行路径外旋转a-90°后向前行驶进行正常清扫工作；当机器人行驶到180°位置时，则完成绕行，朝绕行路径外旋转90°后继续向前行驶；

2)采用折返避障方式时，当扫地机器人识别出墙体障碍物，扫地机器人先朝清扫方向旋转90°，并向前行驶扫地机器人直径2R的距离，然后再旋转90°，继续向前行驶进行正常清扫工作。

Images