CN113910225A - 一种基于视觉边界检测的机器人控制***及方法 - Google Patents

Abstract

本发明公开了一种基于视觉边界检测的机器人控制***及方法，本方案包括图像采集模块，视觉边界模块和移动控制模块，图像采集模块获取机器人周边环境信息；视觉边界检测模块可用于探测工作区域的工作边界，将自然边界生成机器可识别的工作区域边界信息，并发送边界信息给移动控制模块；移动控制模块根据接收到的边界信息控制机器人继续前进，调整机器人前进方向角度，根据计算结果移动距离。本发明提供的方案能够很好的与视觉边界检测方案进行融合，针对没有预先设定任何物理边界的室外工作区域，可精确识别室外工作区域对应的工作边界，并在检测到设备到达工作区域边界后，对后续的前进路线进行精确调整。

Description

一种基于视觉边界检测的机器人控制***及方法

技术领域

本发明涉及机器人控制技术领域，特别是涉及基于视觉边界检测的控制技术。

背景技术

随着科学的进步，技术的发展，自动化移动机器人越来越多的出现在人们的日常生活当中。这些自动移动机器人依赖自身的控制***在固定区域内完成人们设置的相关任务，无须人为的操作和干预。现有的主流控制技术包括基于碰撞传感器的碰撞控制。

在室内移动机器人中，由于存在天然的物理屏障例如墙壁，大多使用基于碰撞的控制，当机器人撞击到障碍物时，碰撞传感器发出信号，控制机器人前进方向。然而在室外移动机器人中，由于不存在室内墙壁这样的物理障碍物，碰撞传感器到达工作区域边界时不起作用。

针对室外环境的特点，人们设计出视觉边界检测方案，由此来感知周边环境；检测当前机器人是否到达工作区域的边界，但是一旦边界检测信号触发，若机器人继续前进则会发生越界的行为，如此会带来严重事故。

但是现有的控制方案并不能够很好的与视觉边界检测方案进行融合，使得基于视觉边界检测的机器人在检测到工作区域边界后，对后续的前进路线进行精确调整。

由此可见，本领域亟需一种能够基于视觉边界检测的机器人控制方案。

发明内容

针对现有室外自动移动设备基于视觉检测区域边界后的移动控制方案所存在的问题，本发明的目的在于提供一种基于视觉边界检测的机器人控制***，以及相应的控制方法，实现基于视觉边界检测的机器人在检测到工作区域边界后能够基于检测到的便于对后续前进路线进行精确调整。

为了达到上述目的，本发明提供的基于视觉边界检测的机器人控制***，包括：图像采集模块，视觉边界识别模块和移动控制模块；

所述图像采集模块实时获取机器人周边环境图像信息；

所述视觉边界识别模块根据所述图像采集模块采集的图像信息，识别出工作区域的工作边界；

所述移动控制模块根据所述视觉边界识别模块识别出的工作区域的工作边界信息计算判断割草机是否到达工作区域边界，若到达工作区域边界，调整机器人工作状态，防止机器人越过工作区域边界；若没有到达工作区域边界，则控制机器人保持当前工作状态。

进一步地，所述视觉边界识别模块基于深度神经网络和图像处理方式识别工作区域边界。

进一步地，所述视觉边界识别模块基于深度神经网络对获取到的机器人周边环境图像进行分割得到对应的神经网络分割图，并在神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界形成工作区域边界。

进一步地，所述的工作区域边界信息包括工作区域边界轮廓信息。

进一步地，所述移动控制模块获取视觉边界识别模块识别出的工作区域边界轮廓信息，以及若干对应于机器人轮廓的轮廓点信息，据此计算若干轮廓点与工作区域边界轮廓之间的相对于关系，根据计算结果判断机器人是否前进到工作区域边界位置，并在机器人前进达到工作区域边界时，根据工作模式和工作区域边界信息，控制机器人调整前进方向。

为了达到上述目的，本发明提供的基于视觉边界检测的机器人控制方法，包括：

实时获取设备周边环境图像信息；

根据采集的图像信息识别出工作区域的自然工作边界，并将自然工作边界生成可识别的工作区域边界信息；

基于生成的工作区域边界信息，计算判断割草机是否到达工作区域边界，若到达工作区域边界，调整机器人工作状态，防止机器人越过工作区域边界；若没有到达工作区域边界，则控制机器人保持当前工作状态。

进一步地，所述方法基于深度神经网络和图像处理算法生成可识别的工作区域边界信息。

进一步地，所述方法基于深度神经网络对获取到的机器人周边环境图像进行分割得到对应的神经网络分割图，并在神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界形成工作区域边界。

进一步地，所述的工作区域边界信息包括工作区域边界轮廓信息。

进一步地，所述方法实时获取识别出的工作区域边界轮廓信息，以及若干对应于机器人轮廓的轮廓点信息，据此计算若干轮廓点与工作区域边界轮廓之间的相对于关系，根据计算结果判断机器人是否前进到工作区域边界位置，并在机器人前进达到工作区域边界时，根据工作模式和工作区域边界信息，控制机器人调整前进方向。

本发明提供的方案能够很好的与视觉边界检测方案进行融合，针对没有预先设定任何物理边界的室外工作区域，可精确识别室外工作区域对应的工作边界，并在检测到设备到达工作区域边界后，对后续的前进路线进行精确调整。

本发明提供的方案能够精确识别设备与工作区域边界之间的相对位置，可在设备达到工作区域边界时精确控制设备的前进路线，避免设备越过工作区域边界，提高设备自动运行的可靠性和安全性。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实例中基于视觉边界检测的机器人控制***的构成原理图；

图2为本发明实例中机器人的在没有预设任何边界标记的草坪上工作路线示例图；

图3为本发明实例中位于边界B点处获取到的视觉感知图片示例图；

图4为本发明实例中针对图3所示视觉感知图片形成的神经网络分割图的示例效果图；

图5为本发明实例中转弯是获取到的视觉感知图片示例图；

图6为本发明实例中针对图5所示视觉感知图片形成的神经网络分割图的示例效果图；

图7为本发明实例在模式1下获取到的视觉感知图片示例图；

图8为本发明实例中针对图7所示视觉感知图片形成的神经网络分割图的示例效果图；

图9为本发明实例中设备越界的示例效果图；

图10为本发明实例中设备未越界的示例效果图；

图11为本发明实例中设备部分越界的示例效果图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

室外工作区域，由于其没有室内墙体这种具体的边界限位体，给室外自动作业设备带来较大问题。为能将室外自动作业设备很好的限定在室外工作区域内，常规的手段为室外工作区域内的边界处预设相应的物理边界，将其与室外自动作业设备的感知技术配合，实现将设备限定在预定的工作区域内。作为举例，这里的物理边界如预埋的边界铜线等。

本方案摒弃这种需要室外工作区域边界处人为预设相应物理边界的室外自动作业设备控制方案，给出基于视觉边界检测的室外自动作业设备控制方案，能够实现在无需预先设定任何物理边界的情况下，在室外工作区域内精确识别室外工作区域对应的工作边界，并在检测到设备到达工作区域边界后，对后续的前进路线进行精确调整，避免设备越过室外工作区域边界，保证室外自动作业设备工作的可靠性和安全性。

本方案给出的基于视觉边界检测的室外自动作业设备控制方案，其通过实时获取设备(即室外自动作业设备)周边环境图像信息；

根据采集的图像信息识别出工作区域的自然工作边界，并将自然工作边界生成可识别的工作区域边界信息；

基于生成的工作区域边界信息，判断割草机是否到达边界，若到达工作区域边界，则调整机器人的工作状态，防止机器人越界；若没有到达工作区域边界，则控制机器人保持当前工作状态，继续前进工作。

这里的工作状态包括但不限于机器人的前进方向、前进速度等。

本方案在获取设备周边环境图像信息时，基于深度神经网络和图像处理算法识别工作区域边界，以形成对应的工作区域边界信息。

本方案在生成可识别的工作区域边界信息时，基于深度神经网络对获取到的设备周边环境图像进行分割得到对应的神经网络分割图。

在神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界即为工作区域边界。

作为举例，可以两种不同的颜色来表示可工作区域和不可工作区域，而两种颜色的边界就是自然工作区域的边界。

如附图4，其所示为图3所示的设备周边环境图像进行神经网络分割所得到的神经网络分割图，图中蓝色区域则表示可工作区域，灰色区域则表示不可工作区域，两种颜色区域之间的边界即为自然工作区域的边界。

在基础上，进一步计算得到工作区域边界信息，这里的工作区域边界信息包括边界轮廓信息，以及边界与设备间的距离信息。

这里需要说明，工作区域边界信息根据需要还可以计算得到其他的信息。

本方案在对前进路线进行精确调整时，实时获取工作区域边界视觉识别检测的结果，基于获得到的结果计算判断设备是否前进到工作区域边界位置，并在设备前进到工作区域边界位置时，及时调整设备的工作状态，以避免设备越过工作区域边界。

进一步的，本方案具体通过工作区域边界视觉识别检测的结果来获取边界信息，这里的边界信息主要为工作区域边界的轮廓信息；并基于工作区域边界的轮廓信息，通过设备上图像获取装置的参数计算出设备相对于工作区域边界的距离。

在基础上，结合获取到的工作区域轮廓信息与设备相对于工作区域边界距离信息，可实时判断设备是否到边界，当到达边界以后根据获取的工作区域边界轮廓信息来进行调整。

针对上述确定设备相对于工作区域边界的方式，本方案还给出直接基于工作区域边界的轮廓信息来判断设备是否达到工作区域边界的方式。

作为举例在此方式下，本方案具体通过工作区域边界视觉识别检测的结果来获取边界信息，这里的边界信息具体为工作区域边界的轮廓信息；同时针对设备周边环境图像进行工作区域边界视觉识别检测时，所产生的神经网络分割图，选定神经网络分割图中对应轮廓点，确定该轮廓点的位置信息；接着结合该轮廓点的位置信息与基于确定的工作区域边界的轮廓信息，计算判断该轮廓点的位置是否满足相应的阈值，由此来判断设备是否达到工作区域边界。当到达边界以后根据获取的工作区域边界轮廓信息来进行调整。

针对上述确定设备相对于工作区域边界的方式，本方案还给出直接基于工作区域面积来判断设备是否达到工作区域边界的方式。

作为举例，在此方式下，本方案具体通过工作区域边界视觉识别检测的结果来获取边界信息，这里的边界信息具体为工作区域边界的轮廓信息；基于工作区域边界的轮廓信息计算确定神经网络分割图中工作区域的面积，这里的神经网络分割图为针对设备周边环境图像进行工作区域边界视觉识别检测时所产生确定的；接着计算判断所确定的工作区域面积是否操作相应的阈值，由此来判断设备是否达到工作区域边界。当到达边界以后根据获取的工作区域边界轮廓信息来进行调整。

对于神经网络分割图中工作区域面积的计算确定，本实例中优先通过统计对应神经网络分割图中工作区域内的像素的数量来确定该神经网络分割图中工作区域面积，这样既能够保证面积计算的准确性，又能够保证计算的速度，避免过渡消耗处理器的计算力。

进一步的，本方案在调整设备工作状态时，基于视觉识别检测的结果并融合设备设定的工作模式来形成控制指令，以控制设备调整移动状态，在工作区域内继续前进。

这里的工作区域边界视觉识别检测结果为基于神经网络分割图确定的边界轮廓信息以及设备相对于边界轮廓的状态信息。

这里的设备相对于边界轮廓的状态信息可以为设备相对于边界轮廓的距离信息、设备与边界轮廓之间工作区域的面积信息等。

作为举例，本方案可基于处理得到的工作区域神经网络分割图以及工作区域边界信息来计算得到工作区域边界视觉识别检测结果，即得到对应的边界轮廓信息以及工作区域面积信息。

本方案在调整工作状态时为能够保证调整的精度，本方案优先基于得到的边界轮廓信息以及工作区域面积信息来计算确定工作区域相对于设备当前工作状态的方向信息；在此基础上将确定的工作区域方向信息与设备预设的工作模式进行融合来形成设备移动状态调整指令，实现精确调整设备移动状态。

本基于视觉边界检测的室外自动作业设备控制方案，在具体应用时，可构成相应的软件程序，以相应的室外自动作业设备控制***来呈现，可运行在室外自动作业设备中，实现前述的基于视觉边界检测对室外自动作业设备实现作业区域的方案。

参见图1，其所示为本方案给出的基于视觉边界检测的室外自动作业设备控制***的构成***图。

本基于视觉边界检测的室外自动作业设备控制***100的主要包括图像采集模块110，视觉边界识别模块120和移动控制模块130这三个功能模块，三者之间相互配合实现控制***，完成将室外自动作业设备限定在室外工作区域内的控制。

为便于表述，后续将室外自动作业设备简称为设备。

本***中的图像采集模块110实时获取室外自动作业设备周边环境图像信息。

本***中的视觉边界识别模块120与图像采集模块110进行数据交互，可根据所述图像采集模块采集的图像信息，识别出工作区域的工作边界。

具体的，本视觉边界识别模块120可针对图像采集模块110所获取设备周边环境图像信息基于深度神经网络和图像处理算法识别工作区域边界，以形成对应的工作区域边界信息。

本视觉边界识别模块120在识别检测生成可识别的工作区域边界信息时，具体基于深度神经网络对获取到的设备周边环境图像进行分割得到对应的工作区域神经网络分割图，并在工作区域神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界即为工作区域边界。

作为举例，可以两种不同的颜色来表示可工作区域和不可工作区域，而两种颜色的边界就是自然工作区域的边界。

如附图4，其所示为图3所示的设备周边环境图像进行神经网络分割所得到的神经网络分割图，图中蓝色区域则表示可工作区域，灰色区域则表示不可工作区域，两种颜色区域之间的边界即为自然工作区域的边界。

在基础上，进一步计算得到工作区域边界信息，这里的工作区域边界信息包括边界轮廓信息，以及边界与设备间的距离信息。

本***中的移动控制模块130与视觉边界识别模块120数据交互，并与设备的驱动控制部件进行数据交互。

本移动控制模块130能够根据视觉边界识别模块120识别出的工作区域的工作边界信息，控制设备继续前进，根据计算结果调整设备的工作状态。

这里的工作状态包括但不限于：设备的前进方向、角度、移动距离等。

具体的，本移动控制模块130通过实时获取视觉边界识别模块120的视觉识别检测的结果，基于获得到的结果计算判断设备是否前进到工作区域边界位置，并在设备前进到工作区域边界位置时，及时调整设备的工作状态，以避免设备越过工作区域边界。

对于本移动控制模块130具体确定设备是否达到工作区域边界的方式和过程，如前述内容，此处不加以赘述。

本移动控制模块130还基于视觉边界识别模块120视觉识别检测的结果并融合设备设定的工作模式来形成控制指令，以控制设备调整移动状态，在工作区域内继续前进。

对于本移动控制模块130在设备到达工作区域边界时，具体控制设备调整移动状态的方式和过程，如前述内容，此处不加以赘述。

由此形成的基于视觉边界检测的室外自动作业设备控制***100在运行相应的室外作业设备(如机器人)中，可直接运行在没有任何人为边界标定或设定的室外工作区域中，其能够自动探测工作区域的工作边界，将自然边界生成机器可识别的工作区域边界信息，在收到相应的工作区域边界信息时，即可进行精确的行为控制，对后续的前进路线进行精确的调整，保证机器人始终工作在相应的工作区域内，防止机器人越界所带来的风险。

作为举例，本室外自动作业设备控制***100运行在相应的室外作业机器人中时，基于室外自动作业设备自身的尺寸参数数据(如宽度数据等)，所搭载的图像采集模块的焦距参数信息，计算得到实时采集图像中可行驶区域的范围，统计可行驶区域范围中的像素点，以此来确定可行驶区域的面积，进一步对统计的可行驶区域范围中像素点的数量进行判断，若符合条件可以继续前进，没有达到边界；否则判断室外自动作业设备到达边界。

继续上述举例，以下进一步举例说明一下本室外自动作业设备控制***100控制室外作业机器人在工作区域内自动作业的过程。

本控制***通过设备上所搭载的图像采集模块获取设备周边环境图像信息，这里的环境图像优选为设备前进方向上的环境图像(如图9a、图10a、图11a)。

***中的视觉边界识别模块120基于深度神经网络对获取到的设备周边环境图像进行分割得到对应的神经网络分割图(如图9b、图10b、图11b)。

在神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界即为工作区域边界。这里以两种不同的颜色来表示可工作区域和不可工作区域，而两种颜色的边界就是自然工作区域的边界。

进一步结合设备所搭载的图像采集模块的焦距参数信息，计算出神经网络分割图各个像素点在视觉成像坐标系中的坐标。

在此基础上可进一步计算神经网络分割图各个像素点与设备之间的距离，当然包括图中边界线相对于设备的距离。

在完成对周边环境图像的神经网络分割图处理后(即完成视觉识别检测)，基于得到的结果进行设备是否达到工作区域边界或是否越界的判断。

如，可针对得到的神经网络分割图，判断是否具有工作区域，如果没有工作区域，则表明设备的头部已经越界。

参见图9，图9a所示的周边环境图像对应的神经网络分割图(图9b)中中没有任何可工作区域像素(蓝色)，说明设备的头部已经整体越过边界，此时需要依据设定的工作模式，控制设备中的驱动控制部件来调整设备的移动状态。

针对得到的神经网络分割图，判断其具有可工作区域，则进一步判断设备是否达到边界，以及是否需要调整移动状态。

首先根据设备自身的尺寸参数数据在神经网络分割图中获取对应设备位置的轮廓点，如图10中的A点和B点。

作为举例，这里的A点与B点基于设备的宽度参数确定，A点与B点之间的连线对应于设备前端的宽度边，这样通过确定A点和B点在神经网络分割图中的具***置信息，即可确定设备相对于边界的位置状态信息。

基于前述神经网络分割图的处理，可以确定图中轮廓点A和轮廓点B的坐标信息，再进一步基于轮廓点A和轮廓点B的坐标信息判断设备相对于边界的状态。

(1)此时通过比较，如果轮廓点A和轮廓点B都处于神经网络分割图中的工作区域内，则说明设备没有越界，此时可进一步计算设备相对于工作区域边界线的距离或神经网络分割图中工作区域的面积，以判断设备是否达到边界，若没有达到边界，且前面工作区域内具有足够的移动区域，则控制设备是保持当前移动状态继续移动；若达到边界，前方工作区域内没有足够的移动区域，则控制设备是调整当前移动状态继续移动。

参见图10，针对图10a所示周围图像所对应的神经网络分割图(如图10b所示)中，确定图中轮廓点A和轮廓点B对应于设备当前的位置。

基于前述神经网络分割图的处理，可以确定图中轮廓点A和轮廓点B的坐标信息。与此同时，在图10b所示的神经网络分割图中，获取图中工作区域内对应于轮廓点A和轮廓点B最边侧的点C和点D的坐标信息。

通过点C和点D的坐标信息与轮廓点A和轮廓点B坐标信息的比较，确定设备是否越界。

以图10所示内容为例，获取分割图中工作区域内最左边坐标的值，即图中的C点的坐标值，获取分割图中工作区域最右边坐标的值，即图中的D点的坐标值。通过C点坐标值和A点坐标值进行比较计算，确定C点在A点的左边，则确定设备的左边还存在工作区域，设备在左边区域没有越界。同时，通过D点的坐标和B点的坐标信息进行比较计算得出，D点的坐标位于B点坐标的右边，则确定设备的右边也存在草坪，设备的右边区域没有越界。

在此基础上，可进一步判断设备前方是否到达工作区域边界，和/或是否具有足够的移动区域，由此来控制设备是否需要调整移动状态。

(2)此时通过比较，如果轮廓点A和轮廓点B中，只有一个轮廓点处于神经网络分割图中的工作区域内，则说明设备有部分区域已经越界，此时需要调整当前移动状态继续移动。

参见图11，针对图11a所示周围图像所对应的神经网络分割图(如图11b所示)中，确定图中轮廓点A和轮廓点B对应于设备当前的位置。

基于前述神经网络分割图的处理，可以确定图中轮廓点A和轮廓点B的坐标信息。与此同时，在图11b所示的神经网络分割图中，获取图中工作区域内对应于轮廓点A和轮廓点B最边侧的点C和点D的坐标信息。

通过点C和点D的坐标信息与轮廓点A和轮廓点B坐标信息的比较，确定设备是否越界。

以图11所示内容为例，获取分割图中工作区域内最左边坐标的值，即图中的C点的坐标值，获取分割图中工作区域最右边坐标的值，即图中的D点的坐标值。通过C点坐标值和A点坐标值进行比较计算，确定C点在A点的右边，则确定设备的左边不存在工作区域，设备在左边区域已经越界。同时，通过D点的坐标和B点的坐标信息进行比较计算得出，D点的坐标位于B点坐标的右边，则确定设备的右边也存在草坪，设备的右边区域没有越界。

据此判断设备的左边已经越界，同时右边具有工作区域，没有越界，则控制设备调整移动状态，使其面向当前的右边区域移动。

由此上可知，本室外自动作业设备控制***在具体应用时，可融合室外自动作业设备自身的尺寸参数数据以及所搭载的图像采集模块的焦距参数信息来完成对室外自动作业设备的精确自动作业控制。

为了使本方案的目的，技术方案及有点更加清楚明白，下面以草坪机器人在室外特定草坪上进行工作作为例子来演示本发明提供的方案。

本实例方案中在草坪机器人中运行本方案提供的基于视觉边界检测的室外自动作业设备控制***，同时在该草坪机器人中形成有相应的视觉边界传感器。

本实例针对的室外特定草坪，没有进行任何的人为边界标定或设定。

据此设定的草坪机器人200工作在该室外特定草坪，开始时，草坪机器人200处于地图内任一位置。

如图2所示，初始位置为A，A为图像中随机位置，沿随机方向前进，为方便展示，假设为图中所示A点到B点的方向。

当割草机到达工作区域边界处B点时，草坪机器人200中的视觉边界传感器会根据获得的视觉感知图片分析，如图3所示。

基于视觉边界检测，形成如图4所示的神经网络分割图，据此得到工作区域信息、非工作区域信息以及边界轮廓信息等，从而将识别得到的自然边界生成机器可识别的工作区域边界信息，如图4所示。

此时，草坪机器人200中的视觉边界传感器基于处理得到的工作区域边界信息来判断草坪机器人200是否达到边界。如基于图4所示的神经网络分割图，统计分析图中可行驶区域内草坪像素点，同时根据统计的结果判断机器人尚未到达工作边界，控制***继续控制草坪机器人基于当前的行驶状态前进工作。

当割草机到达工作区域边界处B时，草坪机器人200中的视觉边界传感器会根据获得的视觉感知图片分析，如图5所示。

基于视觉边界检测，形成如图6所示的神经网络分割图，据此得到工作区域信息、非工作区域信息以及边界轮廓信息等，从而将识别得到的自然边界生成机器可识别的工作区域边界信息，如图6所示。

在此状态下，草坪机器人200中的视觉边界传感器基于处理得到的工作区域边界信息来判断草坪机器人200是否达到边界。如基于图6所示的神经网络分割图，统计分析可行驶区域内草坪像素点，并根据统计的结果确定可行驶区域内的草坪像素点不满足条件，继续前进草坪机器人200的左边车身将越界，此时草坪机器人200中的视觉边界传感器向草坪机器人200中的驱动控制***发送控制调整信号，控制***开始调整割草机前进方向，如需要转弯。与此同时，根据统计的可行驶区域内草坪像素点分布情况下确定，在草坪机器人200的右侧具有可工作区域且可工作区域内的草坪像素点满足条件，由此确定转弯方向根据边界信息为顺时针转弯。

再者，草坪机器人200在转弯时实时获取周围相应的视觉感知图片，如图7所示。

此过程中，同步针对获得的视觉感知图片，基于视觉边界检测，形成如图8所示的神经网络分割图，据此得到工作区域信息、非工作区域信息以及边界轮廓信息等，从而将识别得到的自然边界生成机器可识别的工作区域边界信息，如图8所示。

此过程中，草坪机器人200中的视觉边界传感器还同步基于处理得到的工作区域边界信息来判断草坪机器人200是否达到边界。如基于图8所示的神经网络分割图，统计分析可行驶区域内草坪像素点，并根据统计的结果确定草坪机器人200当前状态前方的可行驶区域内的草坪像素点满足条件，可以通行草坪机器人，将向草坪机器人200中的驱动控制***发送信号，控制***控制草坪机器人停止转弯开始前进。

作为举例，本控制***可通过如下多种模式来精确调整草坪机器人后续的前行路径。

模式1：控制***为沿边界模式。

此模式下，控制***在收到视觉边界传感器检测信号后，控制草坪机器人转弯完成后沿边界线前进。

例如在边界B处时，视觉边界分析结果为逆时针转弯。同时视觉边界传感器分析转弯的角度，当转弯后草坪机器人前进方向和边界线水平时，草坪机器人继续沿着边界线BC方向直线前进。当沿边界线前进时，实时视觉感知周边图片，如图7所示，并实时分析所得边界信息，如图8所示。控制***根据分析得到的边界信息，保持草坪机器人与边界之间的距离。

模式2：控制***为自动转弯模式。

此模式下，草坪机器人的控制***收到视觉边界传感器检测边界信号后开始转弯，同时视觉边界传感器分析转弯的角度，首先确保割草机转弯后，前进不会越出边界；之后控制草坪机器人继续转弯随机角度，接着控制***控制草坪机器人沿直线前进，控制草坪机器人驶离边界。

模式3：控制***为预设距离模式。

此模式下，草坪机器人的控制***收到视觉边界传感器检测信号后，控制草坪机器人首先开始转弯，转弯角度和方向由边界图像决定，例如在边界B处时，视觉边界分析结果为逆时针转弯。同时视觉边界传感器分析转弯的角度，当转弯后草坪机器人前进方向和边界线水平时，控制草坪机器人继续沿着边界线直线前进；控制***中预设沿边界前进的距离值，同时会实时监测草坪机器人沿边界前进的距离值，当达到预设值之后，控制***根据视觉分析传感器控制机器人转弯，转弯随机角度后，割草机离开边界直线前进。

由上实例可知，本发明提供的方案能够精确识别设备与工作区域边界之间的相对位置，可在设备达到工作区域边界时精确控制设备的前进路线，避免设备越过工作区域边界，提高设备自动运行的可靠性和安全性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于视觉边界检测的机器人控制***，其特征在于，包括：图像采集模块，视觉边界识别模块和移动控制模块；

所述图像采集模块实时获取机器人周边环境图像信息；

所述视觉边界识别模块根据所述图像采集模块采集的图像信息，识别出工作区域的工作边界，形成对应的工作区域边界信息；

所述移动控制模块根据所述视觉边界识别模块识别出的工作区域的工作区域边界信息计算判断机器人是否到达工作区域边界，若到达工作区域边界，调整机器人工作状态，防止机器人越过工作区域边界；若没有到达工作区域边界，则控制机器人保持当前工作状态。

2.根据权利要求1所述的基于视觉边界检测的机器人控制***，其特征在于，所述视觉边界识别模块基于深度神经网络和图像处理方式识别工作区域边界。

3.根据权利要求2所述的基于视觉边界检测的机器人控制***，其特征在于，所述视觉边界识别模块基于深度神经网络对获取到的机器人周边环境图像进行分割得到对应的神经网络分割图，并在神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界形成工作区域边界。

4.根据权利要求1所述的基于视觉边界检测的机器人控制***，其特征在于，所述的工作区域边界信息包括工作区域边界轮廓信息。

5.根据权利要求4所述的基于视觉边界检测的机器人控制***，其特征在于，所述移动控制模块获取视觉边界识别模块识别出的工作区域边界轮廓信息，以及若干对应于机器人轮廓的轮廓点信息，据此计算若干轮廓点与工作区域边界轮廓之间的相对于关系，根据计算结果判断机器人是否前进到工作区域边界位置，并在机器人前进达到工作区域边界时，根据工作模式和工作区域边界信息，控制机器人调整前进方向。

6.基于视觉边界检测的机器人控制方法，其特征在于，包括：

实时获取设备周边环境图像信息；

根据采集的图像信息识别出工作区域的自然工作边界，并将自然工作边界生成可识别的工作区域边界信息；

基于生成的工作区域边界信息，计算判断机器人是否到达工作区域边界，若到达工作区域边界，调整机器人工作状态，防止机器人越过工作区域边界；若没有到达工作区域边界，则控制机器人保持当前工作状态。

7.根据权利要求6所述的基于视觉边界检测的机器人控制方法，其特征在于，所述方法基于深度神经网络和图像处理算法生成可识别的工作区域边界信息。

8.根据权利要求7所述的基于视觉边界检测的机器人控制方法，其特征在于，所述方法基于深度神经网络对获取到的机器人周边环境图像进行分割得到对应的神经网络分割图，并在神经网络分割图中形成对应的可工作区域和不可工作区域，两者之间的边界形成工作区域边界。

9.根据权利要求6所述的基于视觉边界检测的机器人控制方法，其特征在于，所述的工作区域边界信息包括工作区域边界轮廓信息。

10.根据权利要求9所述的基于视觉边界检测的机器人控制方法，其特征在于，所述方法实时获取识别出的工作区域边界轮廓信息，以及若干对应于机器人轮廓的轮廓点信息，据此计算若干轮廓点与工作区域边界轮廓之间的相对于关系，根据计算结果判断机器人是否前进到工作区域边界位置，并在机器人前进达到工作区域边界时，根据工作模式和工作区域边界信息，控制机器人调整前进方向。

Images