CN109685849A - 一种移动机器人的出界判定方法及*** - Google Patents

Abstract

一种移动机器人的出界判定方法及***。本发明通过设置在工作区域上方的图像采集装置获取工作区域的全局视频图像数据，通过对图像中像素点的选取与识别，尤其通过画面中点选或画出自动行走装置工作区域范围并自动识别图像中的移动机器人，实现对移动机器人出界的自动判定。由此，本发明能够自动的在空旷环境下实现对移动机器人的有效定位和工作区域地图的构建，并基于此实现实时的出界判定，保证移动机器人作业效率及作业的安全性。

Description

一种移动机器人的出界判定方法及***

技术领域

本发明涉及移动机器人领域，尤其涉及一种移动机器人的出界判定方法及***。

背景技术

随着人工智能技术的不断完善，移动机器人开始向自主化和智能化发展。依靠GPS、激光雷达、摄像头、超声波等传感器的数据，部分具备移动功能的室内服务/扫地机器人已经可以实现在特定区域内进行自定位以及工作区域地图的构建。

然而，在户外或是较空旷的区域，由于区域中可用于定位的特征点的缺失，或者由于区域中定位信号弱等问题，仅依靠安装在机器人上的传感器，很难保证机器人能够识别出其与工作区域的坐标关系，很难保证稳定安全地进行移动。在这种环境下，传统的基于视觉识别的移动机器人中，由于摄像头普遍安装于机器人上，受限于摄像头视场角度和安装高度等因素，仅能单一地识别机器人前方的局部区域，很难获得工作区域的完整信息。这种方式下，机器人只能够根据局部区域的特征判断其是否出界，对是否出界的判定并不准确。

为进一步准确的判断移动机器人是否超出其工作区域的边界，现有技术中提供了另一种出界判定方法。其预先在机器人工作区域的边界埋设能够产生信号的边界线，在机器人上设置能够识别边界线信号的感应装置，通过对边界线信号强度的判断，确定所述机器人是否超越边界线。但是这种预先埋线的方式，其安装与维护成本均较高，不利于用户自行操作。边界线磨损后用户不方便更换。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种移动机器人的出界判定方法及***，通过安装在工作区域上方的图像采集装置获取工作区域的全局视频数据，以实现对移动机器人的检测和控制，解决现有移动机器人在空旷环境下无法进行有效定位和地图构建的问题。

首先，为实现上述目的，提出一种移动机器人的出界判定方法，步骤包括：获取所述移动机器人的工作区域的图像；在图像上获取所述移动机器人的工作区域边界；识别所述图像中的移动机器人，计算图像中所述移动机器人的自身边界或标志点；当所述移动机器人的自身边界或标志点到达或超出所述工作区域边界时，判定所述移动机器人出界。

可选的，所述的移动机器人的出界判定方法中，图像中所述移动机器人的自身边界为其外接矩形的边界、外接多边形的边界、图像中所述移动机器人像素区域的拟合边界。

可选的，所述的移动机器人的出界判定方法中，所述外接矩形的横边平行于所述图像的横坐标轴，所述外接矩形的竖边平行于所述图像的纵坐标轴。

可选的，所述的移动机器人的出界判定方法中，判断所述移动机器人的自身边界是否到达或超出所述工作区域边界的步骤如下：判断所述外接矩形的横坐标范围以及所述外接矩形的纵坐标范围是否在所述工作区域内，若在所述工作区域内则判定所述移动机器人未出界；否则判定所述移动机器人出界。

可选的，所述的移动机器人的出界判定方法中，判断所述移动机器人的标志点是否到达或超出所述工作区域边界的步骤如下：计算所述移动机器人的自身边界的标志点；判断所述标志点的坐标是否在所述工作区域内，若在所述工作区域内则判定所述移动机器人未出界；否则判定所述移动机器人出界。

可选的，所述的移动机器人的出界判定方法中，判断所述移动机器人的标志点是否到达或超出所述工作区域边界的步骤如下：计算所述移动机器人的自身边界的标志点；分别将所述标志点的坐标与所述工作区域边界中的各段边界的表达式联立方程组，对联立的所述各方程组求解；若联立的所述方程组存在实数解则判定所述移动机器人出界；否则判定所述移动机器人未出界所述。

可选的，所述的移动机器人的出界判定方法中，判断所述移动机器人的自身边界是否到达或超出所述工作区域边界的步骤如下：判断所述移动机器人的自身边界与所述工作区域边界是否存在交点，存在交点则判定所述移动机器人出界；否则判定所述移动机器人未出界。

可选的，所述的移动机器人的出界判定方法中，判断所述移动机器人的自身边界与所述工作区域边界是否存在交点的步骤如下：获取所述机器人的每一条自身边界的表达式，获取所述工作区域边界中每一段边界的表达式；对所述机器人的每一条自身边界的表达式，分别将其与所述工作区域边界中的各段边界的表达式联立方程组，对联立的所述方程组求解；若联立的所述方程组存在实数解则判定所述移动机器人的自身边界与所述工作区域边界存在交点；否则判定所述移动机器人的自身边界与所述工作区域边界无交点。

可选的，所述的移动机器人的出界判定方法中，只要判断所述移动机器人的任一条自身边界与所述工作区域边界存在交点，则停止对所述移动机器人其余自身边界的判断，直接判定所述移动机器人出界。

可选的，所述的移动机器人的出界判定方法中，只要求解出所述移动机器人的任一条自身边界与所述工作区域边界中任一段边界所联立的方程组的实数解，则停止对其余所述边界的判断，直接判定所述移动机器人出界。

其次，为实现上述目的，还提出一种移动机器人的出界判定***，所述图像采集装置能够获得所述移动机器人的工作区域的完整图像，所述***被设置以执行上述的出界判定方法。

可选的，所述的移动机器人的出界判定***中，所述图像采集装置被设置在所述移动机器人的工作区域的上方。

有益效果

本发明通过设置在工作区域上方的图像采集装置获取工作区域的全局视频图像数据，通过对图像中像素点的选取与识别，尤其通过画面中点选或画出自动行走装置工作区域范围并自动识别图像中的移动机器人，实现对移动机器人出界的自动判定。由此，本发明能够自动的在空旷环境下实现对移动机器人的有效定位和工作区域地图的构建，并基于此实现实时的出界判定保证移动机器人作业效率及作业的安全性。

本发明直接通过对图像中的像素进行简单的几何运算和判断即可实时的获得移动机器人与其对应工作区域的边界的位置关系。本发明所需运算量很小，并且通过外接矩形的方式对移动机器人出界的判定留有余量，适用于自行走式割草机器人等对硬件限制较多、对控制安全性要求较高的应用场景。并且，由于运算简单，运算延时较小，应用本发明的移动机器人，配合通信模块能够轻松的实现移动机器人和控制***的实时交互，其自行走控制的实时性更好，也更为安全。

进一步，本发明中对移动机器人出界的判定可进一步简化，仅仅通过对移动机器人标志点与其工作区域边界的代数运算即可实现准确的判定。配合对于工作区域边界余量的设置，本发明能够在进一步精简***运算量的同时，保证移动机器人在工作区域内的作业效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明所提供的一种移动机器人及其控制***；

图2为本发明中选取工作区域目标点的一种方式；

图3为本发明中选取工作区域目标边界线的一种方式；

图4为从图像中分割草地区域的一种实现方式；

图5为本发明中对选取的工作区域边界进行修正的一种实现方式的示意图；

图6为获得本发明中移动机器人自身边界的一种实现方式；

图7为本发明所获得的移动机器人自身边界以及工作区域边界的示意图；

图8判定所述移动机器人是否出界的一种方式的示意图；

图9为本发明中选取工作区域目标边界线时设定余量的一种方式。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1所示为应用本发明的一种移动机器人，其具备自行走单元1、通讯单元以及作业装置2。为实现对该移动机器人的控制，本发明还在其工作区域3的上方设置有图像采集装置4，构成对所述移动机器人的控制***。其中，所述的移动机器人可以为割草机器人或者其他具备自行走功能的用于室外环境的机器人。所述的割草机器人还可设置有地图构建单元和路径规划单元，其用于根据图像采集装置采集到的工作区域的图像对割草机器人的工作区域的地图进行构建，并根据工作区域的地图对割草机器人的工作路径进行规划，以实现对割草机器人的驱动。

该***的工作方式如下：图像采集装置4采集所述移动机器人的工作区域的完整图像，对图像中移动机器人的工作区域边界和移动机器人的自身边界进行生成。移动机器人工作期间，控制***实时监测图像采集装置4所获得的工作区域的图像，实时判定图像中移动机器人是否出界。在判定移动机器人出界时，产生相应的控制信号，并通过通讯单元将该控制信号传输至移动机器人。由此，移动机器人中的自行走单元根据该控制信号驱动所述移动机器人调整其自行走状态，以保证移动机器人始终在工作区域内运行、作业。移动机器人还同步的在适宜的时候控制其作业装置进行作业。

具体而言，在本发明的一种实现方式下，可通过如下的方式根据所述图像生成移动机器人的工作区域边界：

首先，获取所述移动机器人的工作区域的图像，通过图像显示装置，如，显示器或触摸屏显示该图像；而后，通过鼠标或对触摸屏进行点选或画线操作，选取所述图像中的目标点和/或目标边界线；最终，根据选取的所述各目标点和/或目标边界线生成所述工作区域边界。其中，所述目标点为图像中与该目标点位置相对应的像素点，所述目标边界线为图像中与该目标边界线位置相对应的多个像素点的连线。

具体而言，根据选取的所述各目标点和/或目标边界线生成所述工作区域边界可选择通过如下的方式实现：

在通过图2中点选或图3中画线的方式获得各目标点和/或目标边界线，如，图中ABCDEDG所标示的目标点或目标边界线，而后按照选取的顺序依次连接所述各边界点和/或目标边界线。由于连接形成的边界线一般并不规整，其容易因为操作过程中的抖动或对选取像素点的辨识率偏侧出现毛刺或复杂的不规则曲线，因此，一般还需要对连接形成的边界线进行平滑处理，以方便对工作区域进行建模，以简化出界判定的运算量。对连接形成的边界线进行平滑处理一般可通过对边界线进行线性或非线性的拟合而实现，拟合后，可分段获得所述工作区域边界的表达式。所述的拟合运算，包括利用最小二乘法进行拟合，或者通过离散点解析式进行拟合。拟合后的工作区域边界可参考图4所示，其四周平滑，表达式可整理为如下的形式：

(1)

(2)

(3)

(4)

(5)

(6)

(7)

此外，以割草机器人的应用场景为例。考虑到图像采集装置所获取的图像数据中包含有不是草地的非工作区域的部分，一旦用户误操作或因为点选、画线识别精度不够而致使上述步骤中选取到了非草地区域，将会对割草机器人的割草作业带来很大隐患。

因此，在本发明的一种实现方式下，还可通过如下的方式对获取的工作区域边界进行自动的修正：

修正的第一步，获取机器人工作区域的图像；

修正的第二步，对所述的移动机器人工作区域的图像进行预处理，分割出草地区域。其预处理方法包括：预先设定草地像素点某一特征量的阈值T，若某一像素点符合阈值T的范围，则视为目标区域即草地区域的像素点；若像素点不符合阈值范围，则视为背景区域或非草地区域的像素点；所述的特征量包括图像的RGB特征、HSV特征、HSI特征、熵特征或纹理特征中的任意一种及其组合；

修正的第三步，选取草地区域上的单个或多个像素点作为种子像素，设定一定的合并准则，如颜色值相差在一定范围内可进行合并，依次对周边像素采用区域生长算法进行处理，在图像中分割出草地区域，获得如图4所示的处理后的图像；

修正的第四步，若类似图5中所示，用户画出预处理后的草地边界范围，则进行错误提示，并自动判断出界部分与预分割草地区域的交点，选取交点之间的草地边界作为工作区域边界。图5所示，通过与草地区域的对比判断出A点在草地区域外，I、J分别为AH、AB与草地边界的交点，此时可用预处理得到的草地边界片段IJ代替虚线AI、AJ作为修正后的工作区域边界线，实现对工作区域边界的自动修正。

在一种较佳的实现方式下，上述工作区域边界还可保留有一定的余量，以供移动机器人在行走到该边界时实现转弯等操作，而保证移动机器人不会碰触到非工作区域。由此可进一步提高本***的安全性。该余量可通过如下的方式实现：

在获得移动机器人的工作区域边界线后，以工作区域内的某一点为中心，对上述工作区域边界线进行内缩运算，即以该点为中心，将工作区域边界线向该点方向收缩一定距离。由此获得的新的工作区域比原先的工作区域边界小，两次获得的工作区域边界之间的区域即为供所述移送机器人行走的余量范围。

此外，所述的余量还可以通过图9所示的方式实现：在获得移动机器人的工作区域边界线后，对于该边界线上的每一点，如图9所示的A点，做该边界线在该点的切线L1，做该切线L1在A点的垂线L2，根据设定的距离l，在垂线L2上向边界内部选取点A’作为更新后的留有余量的共工作区域边界， A’即为A点內缩后的点。

具体而言，在本发明的一种实现方式下，可通过如下的方式根据所述图像生成移动机器人的自身边界或生成其标志点，以供与上述工作区域边界比较，实现对机器人出界状况的判定：

首先，获取所述移动机器人的工作区域的图像；然后，识别所述图像中所述移动机器人所对应的像素区域，计算所述像素区域的外接矩形、外接多边形或该像素区域的拟合边界，该外接矩形、外接多边形或拟合边界为所述移动机器人的自身边界。

可选的，上述采集的图像可以其底边或顶边作为横坐标轴，以其左侧或右侧竖边为纵坐标轴，以像素坐标的方式表示图中的每一个像素点。或者，也可以个根据需要，在图像中选择一条线作为横坐标轴，选择图像中与之垂直的另一条直线作为纵坐标轴，实现对图像中各像素的坐标表示。

参考图6所示，以所述像素区域的外接矩形为例，所述移动机器人的自身边界在一种实现方式下可通过如下的步骤获得。首先，根据提前设定好的模板，例如根据实现设定好的移动机器人像素的色彩范围，在图6左侧中搜索机器人得到其像素区域如右侧白色所示。分别取机器人区域x,y最大Xmax、Ymax最小值Xmin、Ymin，即所述移动机器人的横纵坐标范围。分别将在x最大值与最小值位置做垂直于x轴直线，在y最大值与最小值位置做垂直于y轴的直线。四条直线围成的闭合区域，即，所述横坐标范围与纵坐标范围所封闭的区域，为机器人所对应的区域。由此获得移动机器人像素区域的外接矩形abcd，该外接矩形abcd的四边分别平行于图像的横坐标轴和纵坐标轴。由此计算出机器人区域的四边表达式或拟合出机器人四边的表达式为：

(8)

(9)

(10)

(11)

以所述像素区域的外接多边形为例移动机器人的自身边界在一种实现方式下可通过如下的步骤获得。根据提前设定好的模板，例如根据实现设定好的移动机器人像素的色彩范围，在图中搜索机器人。分别取机器人区域中的若干像素，连接该像素，或对该像素做外接多边形，由此形成的多边形的各边所包围的区域即为移动机器人的自身边界。

以所述像素区域的拟合边界为例移动机器人的自身边界在一种实现方式下可通过如下的步骤获得。根据提前设定好的模板，例如根据实现设定好的移动机器人像素的色彩范围，在图中搜索机器人。对机器人所在的像素区域的边界进行线性拟合或非线性拟合的运算，拟合后获得其边界线即为该移动机器人的自身边界。

上述各方式所获得的移动机器人的自身边界，均包含有一部分原本不符合移动机器人特征的像素，即，上述方式获得的移动机器人的自身边界均相对机器人本身来说保留有余量。该余量可在移动机器人本体已经处于工作区域边缘但还未碰触到工作区域边界线时及时检测到移动机器人即将出界，以及时控制移动机器人转向或变化其行走状态。由此，可保持供其转向的空间，并避免其边界扫出工作区域带来危险。

为方便对移动机器人是否出界进行判断，基于上述的移动机器人的自身边界，还可进一步获得其标志点R（Xr，Yr），作为判断出界的主要考察点。所述标志点可选择为所述移动机器人的自身边界的几何中心，所述移动机器人的自身边界区域范围的重心所在位置，或者所述自身边界的对角线的交点、或者所述自身边界的两个较长的弦的交点。也可选择这移动机器人自身边界两长轴的交点，或者在所述移动机器人的自身边界范围内任意选择一点作为该标志点。以该标志点代表移动机器人在工作区域的相对位置。

基于上述过程所获得的工作区域边界和机器人在该工作区域内的相对位置，本发明为保证机器人的作业效果同时保证其作业的安全信，还可进一步根据上述图像判断机器人是否出界，以及时修正机器人的行走状态和作业状态。

例如，如图7所示。分别通过上述的方式获得ABDCEFG所包围的工作区域边界，以及abcd所包围的移动机器人的自身边界。然后对上述移动机器人的自身边界是否达到或超出所述工作区域所标定的范围进行判断。在一种具体的判定方式下，可通过计算判定机器人四边abcd是否与工作区域边界ABDCEFG存在交点的方式判定是否出界：如存在交点，则出界，需控制机器人返回工作区域；如不存在交点，未出界则可继续延原定路线工作。以机器人ab边与工作区域边界是否存在交点为例，其可通过如下列方程组所示，依次计算式（1）至式（7）是否存在实数解，如存在实数解，则机器人ab边与边界存在交点，如都不存在实数解，则机器人ab边与边界均不存在交点。

（12）

（13）

（14）

（15）

（16）

（17）

（18）

类似的方式依次判定机器人的其余各边与工作区域边界是否存在交点。为节约运算量，一旦算出存在一个交点，则可停止后续计算，判定机器人到达边界。

或者，上述的联立方程组求解的过程也可表示为：判断所述外接矩形的横坐标范围以及所述外接矩形的纵坐标范围是否在所述工作区域内，若在所述工作区域内则判定所述移动机器人未出界；否则判定所述移动机器人出界。

或者，也可以直接以上述移动机器人的标志点作为判定出界的依据：所述标志点的坐标在所述工作区域内，则判定所述移动机器人未出界；否则判定所述移动机器人出界。或者，参考图8所示，类似于上述联立方程组的过程：分别将所述标志点的坐标R（Xr，Yr）与所述工作区域边界中的各段边界的表达式联立方程组，对联立的所述各方程组求解；若联立的所述方程组存在实数解则判定所述移动机器人出界；否则判定所述移动机器人未出界。所述标志点的坐标与所述工作区域边界中的AB段边界的表达式联立方程组，其表示为：

（19）

由此，本发明能够通过对工作区域图像的处理，实现对移动机器人的实时的控制。本发明的控制方式，其运算量小，并且时效性高，成本低，易于用户使用。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种移动机器人的出界判定方法，其特征在于，步骤包括：

获取所述移动机器人的工作区域的图像；

在图像上获取所述移动机器人的工作区域边界；

识别所述图像中的移动机器人，计算图像中所述移动机器人的自身边界或标志点；

当所述移动机器人的自身边界或标志点到达或超出所述工作区域边界时，判定所述移动机器人出界。

2.如权利要求1所述的移动机器人的出界判定方法，其特征在于，图像中所述移动机器人的自身边界为其外接矩形的边界、外接多边形的边界、图像中所述移动机器人像素区域的拟合边界。

3.如权利要求2所述的移动机器人的出界判定方法，其特征在于，所述外接矩形的横边平行于所述图像的横坐标轴，所述外接矩形的竖边平行于所述图像的纵坐标轴。

4.如权利要求3所述的移动机器人的出界判定方法，其特征在于，判断所述移动机器人的自身边界是否到达或超出所述工作区域边界的步骤如下：

判断所述外接矩形的横坐标范围以及所述外接矩形的纵坐标范围是否在所述工作区域内，若在所述工作区域内则判定所述移动机器人未出界；否则判定所述移动机器人出界。

5.如权利要求1所述的移动机器人的出界判定方法，其特征在于，判断所述移动机器人的标志点是否到达或超出所述工作区域边界的步骤如下：

计算所述移动机器人的自身边界的标志点；

判断所述标志点的坐标是否在所述工作区域内，若在所述工作区域内则判定所述移动机器人未出界；否则判定所述移动机器人出界。

6.如权利要求1所述的移动机器人的出界判定方法，其特征在于，判断所述移动机器人的标志点是否到达或超出所述工作区域边界的步骤如下：

计算所述移动机器人的自身边界的标志点；

分别将所述标志点的坐标与所述工作区域边界中的各段边界的表达式联立方程组，对联立的所述各方程组求解；

若联立的所述方程组存在实数解则判定所述移动机器人出界；否则判定所述移动机器人未出界。

7.如权利要求1所述的移动机器人的出界判定方法，其特征在于，判断所述移动机器人的自身边界是否到达或超出所述工作区域边界的步骤如下：

判断所述移动机器人的自身边界与所述工作区域边界是否存在交点，存在交点则判定所述移动机器人出界；否则判定所述移动机器人未出界。

8.如权利要求7所述的移动机器人的出界判定方法，其特征在于，判断所述移动机器人的自身边界与所述工作区域边界是否存在交点的步骤如下：

获取所述机器人的每一条自身边界的表达式，获取所述工作区域边界中每一段边界的表达式；

对所述机器人的每一条自身边界的表达式，分别将其与所述工作区域边界中的各段边界的表达式联立方程组，对联立的所述方程组求解；

若联立的所述方程组存在实数解则判定所述移动机器人的自身边界与所述工作区域边界存在交点；否则判定所述移动机器人的自身边界与所述工作区域边界无交点。

9.如权利要求8所述的移动机器人的出界判定方法，其特征在于，只要判断所述移动机器人的任一条自身边界与所述工作区域边界存在交点，则停止对所述移动机器人其余自身边界的判断，直接判定所述移动机器人出界。

10.如权利要求8所述的移动机器人的出界判定方法，其特征在于，只要求解出所述移动机器人的任一条自身边界与所述工作区域边界中任一段边界所联立的方程组的实数解，则停止对其余所述边界的判断，直接判定所述移动机器人出界。

11.一种移动机器人的出界判定***，包括图像采集装置，其特征在于，所述图像采集装置能够获得所述移动机器人的工作区域的完整图像，所述***被设置以执行所述权利要求1至10的出界判定方法。

12.如权利要求11所述的移动机器人的出界判定***，其特征在于，所述图像采集装置被设置在所述移动机器人的工作区域的上方。