CN110852312A - 悬崖检测方法、移动机器人的控制方法及移动机器人 - Google Patents
悬崖检测方法、移动机器人的控制方法及移动机器人 Download PDFInfo
- Publication number
- CN110852312A CN110852312A CN202010035730.0A CN202010035730A CN110852312A CN 110852312 A CN110852312 A CN 110852312A CN 202010035730 A CN202010035730 A CN 202010035730A CN 110852312 A CN110852312 A CN 110852312A
- Authority
- CN
- China
- Prior art keywords
- area
- cliff
- preset
- image
- mobile robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 71
- 230000006399 behavior Effects 0.000 claims description 11
- 238000002310 reflectometry Methods 0.000 description 11
- 239000000428 dust Substances 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 241001582718 Xanthorhoe munitata Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种悬崖检测方法,包括:采集机器人本体的前方地面区域的图像;基于所述深度图像信息及所述亮度信息,确定前方地面区域中的悬崖区域;其中根据所述深度图像信息确定所述前方地面区域中存在检测区域到所述图像采集单元的垂直距离大于预设垂直距离,且根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度大于或等于预设亮度值,以及所述检测区域的大小满足预定大小条件时,则确定所述检测区域为悬崖区域。根据上述方法可以有效检测前方地面区域中的悬崖。本申请还提供一种移动机器人的控制方法及可以实现上述方法的移动机器人。本申请能有效检测前方地面区域中的悬崖区域,提高检测悬崖区域的准确性。
Description
技术领域
本申请涉及自动控制领域,尤其涉及一种悬崖检测方法、移动机器人的控制方法和移动机器人。
背景技术
移动机器人是指可移动并且自动执行工作的机器装置。在工作环境中,经常会遇到具有高度差的清扫环境(如楼梯边缘上清扫,在桌面上清扫等等),即悬崖区域。因此,在移动机器人工作过程中,若悬崖区域的检测不准确,出现误判时,则移动机器人很容易掉落悬崖。
发明内容
有鉴于此,本申请提供一种悬崖检测方法、移动机器人的控制方法和移动机器人,能够提高检测悬崖区域的准确性。
第一方面提供一种移动机器人,包括:机器人本体、图像采集单元、处理单元;
图像采集单元,用于采集机器人本体的前方地面区域的图像;
处理单元用于提取采集的图像的深度图像信息及亮度信息;
处理单元还用于基于深度图像信息及亮度信息,确定前方地面区域中的悬崖区域;
其中,当处理单元根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,以及检测区域的大小满足预定大小条件时,则处理单元确定检测区域为悬崖区域。
在另一种可能的实现方式中,移动机器人还包括红外传感器,当处理单元根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度小于预设亮度值,且红外传感器检测到的检测区域的红外光强度小于或等于第一预设红外光强度时,其中检测区域的大小满足预定大小条件时,则处理单元确定检测区域为悬崖区域。
在另一种可能的实现方式中,处理单元,具体用于当检测到检测区域能够容纳主动轮在工作面的投影时,确定检测区域的大小满足预定大小条件;或
处理单元,具体用于当检测到检测区域的面积大于预设面积阈值时,确定检测区域的大小满足预定大小条件。
在另一种可能的实现方式中,当处理单元根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,且红外传感器检测到的检测区域的红外光强度小于或等于第二预设红外光强度时,处理单元确定检测区域为悬崖区域,其中第一预设红外光强度小于第二预设红外光强度。
在本申请的实施例中,图像采集单元采集机器人本体的前方地面区域的图像;处理单元提取采集的图像的深度图像信息;基于深度图像信息,确定前方地面区域中的悬崖区域。根据深度图像信息能够确定检测区域到图像采集单元的垂直距离,利用该垂直距离可以判断出前方地面区域是否存在悬崖区域,由此可以有效检测前方地面区域中的悬崖区域。
第二方面提供一种移动机器人,包括:机器人本体、图像采集单元、处理单元;
图像采集单元,用于采集机器人本体的前方地面区域的图像;
处理单元,用于提取采集的图像的深度图像信息及亮度信息;
处理单元,还用于基于提取的深度图像信息及亮度信息,确定前方地面区域中的悬崖区域;
处理单元还用于根据机器人本体与悬崖区域的位置关系,控制移动机器人的运动行为;
其中,处理单元,具体用于当检测到机器人本体与悬崖区域的距离小于或等于第一预设水平距离时,控制移动机器人停止运动或回避悬崖或者沿着悬崖区域的边界的运动路径运动。
在一种可能的实现方式中,
处理单元,具体用于当检测到机器人本体与悬崖区域的距离小于或等于第二预设水平距离,且大于第一预设水平距离时,控制移动机器人减速运动。
在另一种可能的实现方式中,
处理单元,具体用于生成多条运动路径,根据多条运动路径中每条运动路径与悬崖区域的位置信息进行计分,控制移动机器人沿着分数最高的运动路径运动。
在另一种可能的实现方式中,在多条运动路径中每条运动路径到悬崖区域的最小距离的取值与运动路径的分数成反比。
在另一种可能的实现方式中,
处理单元,具体用于当没有获取到避开悬崖区域的运动路径时,从移动机器人的存储器中获取历史路径,控制移动机器人沿着历史路径行走。
在本申请的实施例中,图像采集单元采集机器人本体的前方地面区域的图像;处理单元提取采集的图像的深度图像信息;基于深度图像信息,确定前方地面区域中的悬崖区域,根据机器人本体与悬崖区域的位置关系,控制移动机器人的运动行为。通过机器人本体与悬崖区域的位置控制移动机器人的运动,从而防止移动机器人跌入悬崖区域,并减少漏扫区域。
第三方面提供一种悬崖检测方法,包括:
采集机器人本体的前方地面区域的图像;
提取采集的图像的深度图像信息及亮度信息;
基于深度图像信息及亮度信息,确定前方地面区域中的悬崖区域;
其中,基于深度图像信息及亮度信息,确定前方地面区域中的悬崖区域包括:
当根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,以及检测区域的大小满足预定大小条件时,则确定检测区域为悬崖区域。
在一种可能的实现方式中,
当根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离在预设垂直距离区间,且检测区域的大小满足预定大小条件时,则确定检测区域为悬崖区域。
在另一种可能的实现方式中,
当根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度小于预设亮度值,且检测到的检测区域的红外光强度小于或等于第一预设红外光强度时,其中检测区域的大小满足预定大小条件时,则确定检测区域为悬崖区域。
在另一种可能的实现方式中,当检测到检测区域能够容纳主动轮在工作面的投影时,确定检测区域的大小满足预定大小条件;或
处理单元,具体用于当检测到检测区域的面积大于预设面积阈值时,确定检测区域的大小满足预定大小条件。
在另一种可能的实现方式中,
当根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,且检测区域的红外光强度小于或等于第二预设红外光强度时,确定检测区域为悬崖区域,其中第一预设红外光强度小于第二预设红外光强度。
第四方面提供一种移动机器人的控制方法,包括:
采集机器人本体的前方地面区域的图像,提取采集的图像的深度图像信息及亮度信息;
基于提取的深度图像信息及亮度信息,确定前方地面区域中的悬崖区域;
根据机器人本体与悬崖区域的位置关系,控制移动机器人的运动行为;
其中,根据机器人本体与悬崖区域的位置关系,控制移动机器人的运动行为包括:
当检测到机器人本体与悬崖区域的水平距离小于或等于第一预设水平距离时,控制移动机器人停止运动或回避悬崖区域或者沿着悬崖区域的边界的运动路径运动。
在一种可能的实现方式中,
当检测到机器人本体与悬崖区域的水平距离小于或等于第二预设水平距离,且大于第一预设水平距离时,控制移动机器人减速运动。
在另一种可能的实现方式中,
生成多条运动路径,根据多条运动路径中每条运动路径与悬崖区域的位置信息进行计分,控制移动机器人沿着分数最高的运动路径运动。
在另一种可能的实现方式中,在多条运动路径中每条运动路径到悬崖区域的最小水平距离的取值与运动路径的分数成反比。
在另一种可能的实现方式中,
当没有获取到避开悬崖区域的运动路径时,从移动机器人的存储器中获取历史路径,控制移动机器人沿着历史路径行走。
在另一方面中,本申请提供一种计算机可读存储介质,包括程序指令,所述程序指令用于供调用后执行第三方面或第四方面所述的方法。
本申请实施例根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离的情况下,再进一步将提取的检测区域对应的图像的亮度与预设亮度值进行比较,从而能降低因反射率过低而误判悬崖的情况,从而提高检测悬崖的准确性。
本申请实施例在根据检测区域的根据深度图像信息及亮度信息确定出悬崖区域后,当机器人本体与悬崖区域的水平距离小于或等于第一预设水平距离时,表示移动机器人非常接近悬崖区域,需要执行后续操作防止移动机器人跌入悬崖区域,通过设置水平距离,可以降低移动机器人的惯性,从而降低因为减速不及而跌入悬崖区域的风险。
附图说明
图1A为根据本申请的一个实施例的移动机器人的一个结构示意图;
图1B为根据本申请的一个实施例的移动机器人的另一个结构示意图;
图2为根据本申请的一个实施例的移动机器人的另一个结构示意图;
图3为根据本申请的一个实施例的悬崖检测方法的一个流程示意图;
图4为根据本申请的一个实施例的移动机器人和检测区域的一个示意图;
图5为根据本申请的一个实施例的移动机器人的控制方法的一个流程示意图;
图6为根据本申请的一个实施例的移动机器人到检测区域的水平距离和垂直距离的一个示意图。
具体实施方式
参阅图1A和图1B,本申请提供的移动机器人100的一个实施例包括:机器人本体110、图像采集单元120、吸尘单元130、左轮141和右轮142。
机器人本体110包括处理单元111、存储器 112和驱动单元113。
图像采集单元120可以包括但不限于:ToF(Time of Flight)图像传感器121、RGB传感器122或结构光图像传感器123。
ToF图像传感器121可以根据发射光到接收光的时间差测量机器人本体110到前方地面参考点的距离,根据上述距离生成包含前方地面的深度信息和亮度信息的图像。
RGB传感器122可以拍摄得到前方地面的RGB图像,RGB图像也称为彩色图像。
在一实施方式中,结构光图像传感器123可以包括光斑投射器和红外图像接收器。光斑投射器向前方地面发射含空间编码信息的红外光斑,经过物体表面反射后,由红外图像接收器接收。光斑图像经不同距离的物体调制,包含了物体的距离信息,解算后可获得包含前方地面的深度信息和亮度信息的图像。
在一实施方式中,结构光图像传感器123可以包括光斑投射器、红外图像接收器和RGB图像传感器。光斑投射器向前方地面发射含空间编码信息的红外光斑,经过物体表面反射后,由红外图像接收器接收。光斑图像经不同距离的物体调制,包含了物体的距离信息,解算后可获得包含前方地面的深度信息和亮度信息的图像。结构光图像传感器123利用已知的相机(即结构光图像传感器本身)位置关系,使得获取的RGB图像与深度图像匹配,得到带有深度信息的彩色图像。在其他方式中,也可以由移动机器人100的处理单元111利用已知的相机位置关系,使得获取的RGB图像与深度图像匹配,得到带有深度信息的彩色图像。
可以理解的是,图像采集单元120可以是上述三种传感器中的至少一种。对于上述三种传感器的工作原理是本领域的技术人员熟悉的公知技术,在此不再详述。但此处对图像采集单元120的举例并不能作为对图像采集单元120的限制,在其他实施方式,也可以采用其他本领域技术人员所熟悉的图像传感器。
吸尘单元130可以吸入灰尘或垃圾等异物。吸尘单元130还可以包括过滤器,对吸入的物体进行过滤。
移动机器人100中各组成单元的连接关系如图2所示。处理单元111通过总线分别与存储器 112、驱动单元113、图像采集单元120、障碍物传感器150连接。驱动单元113分别与左轮141、右轮142和吸尘单元130连接。
处理单元111包括,但不限于:中央处理器、单片机、数字信号处理器、微处理器等。存储器112用于存储指令和数据,处理单元111可以读取存储器112中存储的指令执行相应的功能。存储器 112可以包括随机存取存储器(Random Access Memory,RAM)和非易失性存储器(Non-Volatile Memory,NVM)。非易失性存储器可以包括硬盘驱动器(Hard DiskDrive,HDD),固态硬盘(Solid State Drives,SSD),硅磁盘驱动器(Silicon disk drive,SDD),只读存储器(Read-Only Memory,ROM),只读光盘(Compact Disc Read-Only Memory,CD-ROM),磁带,软盘,光数据存储设备等。
障碍物传感器150用于测量移动机器人到附近物体的距离、离地高度等参数。障碍物传感器150可以包括红外线传感器、超声波传感器、激光传感器或碰撞传感器、相机中的至少一种。在图2所示的移动机器人中,障碍物传感器150和图像采集单元120是分离的。但是,障碍物传感器150也可以集成在图像采集单元120中作为图像采集单元120的组成部分。
其中,驱动单元113可以是用于施加驱动力的电动机。驱动单元113连接吸尘单元130、左轮141和右轮142。在处理单元111的控制下,驱动单元113可以驱动吸尘单元130、左轮141和右轮142。或者,驱动单元113包括吸尘驱动子单元、左轮驱动子单元和右轮驱动子单元,吸尘驱动子单元与吸尘单元130连接,左轮驱动子单元与左轮141连接,右轮驱动子单元与右轮142连接。
可以理解的是,在一个或者多个实施例中,移动机器人还可以包括输入输出单元、位置测量单元、电源、无线通信单元等。
在移动机器人100的一个实施例中,
图像采集单元120,用于采集机器人本体110的前方地面区域的图像;
处理单元111用于提取采集的图像的深度图像信息;
处理单元111还用于基于深度图像信息,确定前方地面区域中的悬崖区域。
本实施例中,当图像采集单元120包括ToF图像传感器121时,ToF图像传感器121可以拍摄得到机器人本体110的前方地面区域的深度图像。
当图像采集单元120包括1个RGB传感器122时,可以根据单目重建算法对RGB传感器采集得到的多个前方地面区域的RGB图像进行处理得到深度图像。例如,在一实施方式中移动相机(即RGB传感器122)位置,匹配移动前后的图像特征点并且依据视差所形成的像素偏移,估计特征点的深度,构建稀疏的空间点云,由共面的空间点云估计当前图像的深度信息。在另一实施方式中,利用深度学习技术,用带有时间序列的深度图像数据训练卷积神经网络,然后再把单目相机采集的连续图像输入网络,估计图像的深度信息和亮度信息。上述将彩色图像转换成包含深度信息及亮度信息的图像的方法均为现有技术,本申请文件不再详述。可以理解的是,也可以采用其他现有方法来实现彩色图像向深度图像的转换,这里不作限定。
当图像采集单元120包括两个RGB传感器122时,可以根据双目重建算法对两个RGB传感器采集得到的前方地面区域的RGB图像进行处理得到深度图像。例如,在一实施方式中不同位置的相机拍摄图像,利用视差所形成的像素偏移和已知的相机位置,估计图像中像素的深度,从而获取包含深度信息和亮度信息的图像。在另一实施方式中,利用深度学习技术,用带有时间序列的深度图像数据训练卷积神经网络,然后再把双目相机采集的连续图像输入网络,估计图像的深度信息和亮度信息。上述将彩色图像转换成包含深度信息及亮度信息的图像的方法均为现有技术,本申请文件不再详述。可以理解的是,也可以采用其他现有方法来实现彩色图像向深度图像的转换,这里不作限定。
当图像采集单元120包括结构光图像传感器123时,结构光图像传感器123可以生成具有深度信息的结构光图像。
本实施例中,当采集的图像为深度图像时,深度图像信息为深度图像中全部或部分像素点的深度值。当采集的图像为非深度图像(例如RGB图像)时,深度图像信息为将采集的图像转换为深度图像后,在深度图像中全部或部分像素点的深度值。根据全部或部分像素点的深度值能够确定前方地面与图像采集单元120的垂直距离,由此可以识别出前方地面中的悬崖区域。
以上可知,ToF图像传感器121和结构光图像传感器123都能够直接采集到包含前方地面的深度信息和亮度信息的图像,后续处理单元111直接从上述两个传感器采集的图像中提取深度信息和亮度信息,具体的,处理单元可111直接从存储的数据格式中读取深度信息和亮度信息,例如二维数组存储包含深度和亮度的图像,该提取技术为现有技术,本申请不再详细阐述。而RGB传感器采集得到的是前方地面的RGB图像(即彩色图像),处理单元111需要先将彩色图像转换成包含深度信息及亮度信息的图像,再从存储转换后的图像的数据格式中直接读取深度信息和亮度信息。
在一个可选实施例中,当处理单元111根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元120的垂直距离在预设垂直距离区间,且检测区域的大小满足预定大小条件时,则处理单元111确定检测区域为悬崖区域。这种情况是在传感器的精度比较高,由于悬崖区域和非悬崖区域对应不同的深度值区间,因此能够根据检测区域对应图像中像素点的深度值判断检测区域是否为悬崖区域。
在另一个可选实施例中,处理单元111还用于基于深度图像信息及采集的图像的亮度信息,确定前方地面区域中的悬崖区域。
在另一个可选实施例中,当处理单元111根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元120的垂直距离大于预设距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,其中检测区域的大小满足预定大小条件时,则处理单元111确定检测区域为悬崖区域。其中,检测区域对应的图像也称为检测区域图像。
在另一个可选实施例中,移动机器人100包括红外传感器,当处理单元111根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元120的垂直距离大于预设距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度小于预设亮度值,且红外传感器检测到的检测区域的红外光强度小于或等于第一预设红外光强度时,其中检测区域的大小满足预定大小条件时,则处理单元111确定检测区域为悬崖区域。
在以上可选实施例的基础上,在另一个可选实施例中,处理单元111,具体用于当检测到检测区域能够容纳主动轮在工作面的投影时,确定检测区域的大小满足预定大小条件。当检测到检测区域不能够容纳主动轮在工作面的投影,则确定检测区域的大小不满足预定大小条件。
在另一个可选实施例中,当处理单元111根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,且红外传感器检测到的检测区域的红外光强度小于或等于第二预设红外光强度时,处理单元111确定检测区域为悬崖区域,其中第一预设红外光强度小于第二预设红外光强度。
本申请提供的移动机器人的另一个实施例中,
图像采集单元120,用于采集机器人本体110的前方地面区域的图像;
处理单元111,用于提取采集的图像的深度图像信息及亮度信息;
处理单元111,还用于基于提取的深度图像信息及亮度信息,确定前方地面区域中的悬崖区域;
处理单元111还用于根据机器人本体110与悬崖区域的位置关系,控制移动机器人的运动行为。
本实施例中,根据可以图像的深度图像信息判断出前方地面区域中的悬崖区域,然后控制移动机器人的运动行为,可以降低移动机器人跌入悬崖的可能性。
在另一个可选实施例中,
处理单元111,具体用于当检测到机器人本体110与悬崖区域的水平距离小于或等于第一预设水平距离时,控制移动机器人停止运动或回避悬崖或者沿着悬崖区域的边界的运动路径运动。
在另一个可选实施例中,
处理单元111,具体用于当检测到机器人本体110与悬崖区域的水平距离小于或等于第二预设水平距离,且大于第一预设水平距离时,控制移动机器人减速运动。
在另一个可选实施例中,
处理单元111,具体用于生成多条运动路径,根据多条运动路径中每条运动路径与悬崖区域的位置信息进行计分,控制移动机器人沿着分数最高的运动路径运动。
在另一个可选实施例中,在多条运动路径中每条运动路径到悬崖区域的最小水平距离的取值与运动路径的分数成反比。
在另一个可选实施例中,
处理单元111,具体用于当没有获取到悬崖区域的边界的运动路径时,从移动机器人的存储器中获取历史路径,控制移动机器人沿着历史路径行走。
参阅图3,本申请提供悬崖检测方法的一个实施例,该方法可以由移动机器人100执行,包括:
步骤301、采集机器人本体的前方地面区域的图像。
本实施例中,前方地面区域是指移动机器人沿着当前运动路径即将到达的地面区域。
步骤302、提取采集的图像的深度图像信息。
在一个或者多个实施例中,当采集的图像为深度图像时,深度图像信息为深度图像中全部或部分像素点的深度值。当采集的图像为非深度图像(例如RGB图像)时,深度图像信息为将采集的图像转换为深度图像后,在深度图像中全部或部分像素点的深度值。检测区域可以是图像采集单元120采集的前方地面区域,或是图像采集单元120采集的前方地面区域的部分区域。
可选的,在移动机器人中预先设置目标图像区域,根据相机成像坐标系确定目标图像区域对应的地面区域为检测区域。图4为移动机器人和检测区域的一个示意图。在图4所示的坐标系中,横轴和纵轴的坐标均为厘米。检测区域41中的多个地面参考点的集合记为C(Pr)。C(Pr)可以是点阵,在点阵中地面参考点的分布情况可以是但不限于均匀分布。例如,正方形点阵中,任意两个相邻的地面参考点的间距为5厘米。C(Pr)也可以是地面参考点组成的栅格图形。
另一可选的,根据深度图像中像素点的深度值与预设深度值的比较结果,将采集的图像进行二值化。例如,将深度值大于或等于预设深度值的像素点的灰度值设为0,将深度值小于预设深度值的像素点的灰度值设为255;然后将灰度值为0的像素点标记连通区域,将满足条件的连通区域作为检测区域。满足条件的连通区域包括,但不限于:连通区域能够容纳主动轮在工作面的投影。其中工作面用于指示移动机器人100当前工作的表面。具体地,满足条件的连通区域包括但不限于面积大于预设面积的区域,这样可以减少前方区域中深度值大于或等于预设深度值的噪声点对悬崖检测的误判。另外本申请实施例中,相对于现有技术而言,本实施例中图像采集单元120采集的是前方地面区域的图像,是将前方地面区域中一个或者多个检测区域为对象来判断检测区域是否为悬崖区域,这样在确定检测区域为悬崖区域时,就能够直接获取到悬崖区域的边界,这样移动机器人100在获取到悬崖区域的边界后,就能够提前根据悬崖区域的边界规划路径。
在深度图像中,像素点的深度值用于表示距离大小。深度值越大,距离越远,深度值越小,距离越近。可选的,深度值与距离大小成正比。可以理解的是,深度值与距离大小的对应关系也可以是非线性的,深度值与距离大小的具体取值可以根据实际情况设置,此处不作限定。
当采集的图像为深度图像时,确定在深度图像中检测区域对应的图像区域,可以提取其中的深度图像信息。当采集的图像为RGB图像时,可以将上述图像转换为深度图像,然后提取其中的深度图像信息。
步骤303、基于深度图像信息,确定前方地面区域中的悬崖区域。
在一个或者多个实施例中,根据拍摄角度以及深度值与距离的对应关系,可以确定图像采集单元120与检测区域的垂直距离,将该垂直距离与从图像采集单元120到工作面的垂直距离相比,可以判断出检测区域是否为悬崖区域。当图像采集单元120与检测区域的垂直距离大于从图像采集单元120到工作面的垂直距离时,表明检测区域低于工作面,确定检测区域为悬崖区域。当图像采集单元120与检测区域的垂直距离小于或等于从图像采集单元120到工作面的垂直距离时,表明检测区域不低于工作面,确定检测区域为非悬崖区域。拍摄角度可以是图像采集单元120的镜头与工作面的夹角,也可以是图像采集单元120的镜头与垂直面的夹角。
或者,根据测量角度以及深度值与距离的对应关系确定图像采集单元120与检测区域的垂直距离。测量角度是指在图像采集单元120中测距传感器发出的光线(或者超声波)与工作面的夹角,或者测距传感器发出的光线(或者超声波)与垂直面的夹角。
或者,根据距离与深度值的对应关系以及从图像采集单元120到工作面的垂直距离,确定工作面对应的深度值。可选的,当检测区域图像中全部像素点的深度值均大于工作面对应的深度值时,确定检测区域为悬崖区域;当检测区域图像中全部像素点的深度值小于或等于工作面对应的深度值时,确定检测区域为非悬崖区域。另一可选的,当检测区域图像中多个像素点的深度值均大于工作面对应的深度值且上述多个像素点占检测区域图像的全部像素点的比例超过预设比例时,确定检测区域为悬崖区域。预设比例可以是但不限于[0.8、1)中的任意一个值。
在一个可选实施例中,当根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离在预设垂直距离区间,且检测区域的大小满足预定大小条件时,则确定检测区域为悬崖区域。
在一个或者多个实施例中,图像采集单元中的各种传感器具有相应的深度测量范围,当图像采集单元测量物体得到的深度在深度测量范围内,测量得到的深度能准确反映出图像采集单元到物体的距离。
在一个可选实施例中,图像采集单元120到工作面的垂直距离为预设垂直距离区间的下限。或者,有些低于工作面高度的检测区域,移动机器人可以顺利通过,并不会跌落下去,因此预设垂直距离区间的下限可以大于图像采集单元120到工作面的垂直距离,但不能大于移动机器人不能顺利通过的距离(即跌落的距离)。
在一个可选实施例中,图像采集单元120根据深度测量范围的上限,可以确定预设垂直距离区间的上限。当检测区域到图像采集单元120的垂直距离在预设垂直距离区间,表明检测区域可能为悬崖区域。当检测区域低于工作面且检测区域的大小满足预定大小条件时,表明移动机器人到达检测区域时会跌入其中,因此确定检测区域为悬崖区域。
在移动机器人100的运行的前方地面区域可能会存在低反射率的物体,例如深色地毯,这些低反射率的物体能够吸收光比较多,就会导致移动机器人100根据检测区域的深度信息检测出来的垂直距离可能也会大于或等于预设距离,这样移动机器人100就会将铺有深色地毯的区域误判为悬崖区域。因此,在本申请的另一个可选实施例中,根据深度图像信息及采集的图像的亮度信息确定前方地面区域中的悬崖区域。
进一步地,本案中移动机器人100在根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离的情况下,再进一步将提取的检测区域对应的图像的亮度与预设亮度值进行比较,在检测区域对应的图像的亮度大于或等于预设亮度值,且检测区域的大小满足预定大小条件时,确定检测区域为悬崖区域。具体地,当根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于或等于预设距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度大于或等于预设亮度值,其中检测区域的大小满足预定大小条件时,则确定检测区域为悬崖区域。在相同光照条件下,物体的反射率越低,物体的亮度越小;物体反射率越高,物体的亮度越大。将检测区域到图像采集单元的垂直距离与检测区域的图像亮度相结合,即使移动机器人100的前方区域存在反射率越低的物体(例如深色地毯),能降低移动机器人100将反射率越低的物体误判为悬崖。而在现有技术中,当红外传感器检测到的检测区域的红外光强度大于预设红外光强度时,确定检测区域为非悬崖区域;当红外传感器检测到的检测区域的红外光强度小于预设红外光强度(即现有技术中的预设红外光强度)时,确定检测区域为悬崖区域。但是,当移动机器人遇到反射率与悬崖判断类似的物质时,即遇到反射率较低的物体(如黑色地毯、酒红色地毯等),由于其收到的红外光强度低于预设红外光强度,因此移动机器人就会出现误判,将悬崖判断类似的物质(如黑色地毯、酒红色地毯等)识别成悬崖。因此,相对于现有技术本实施例根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离的情况下,再进一步将提取的检测区域对应的图像的亮度与预设亮度值进行比较,从而能降低因反射率过低而误判悬崖的情况,从而提高检测悬崖的准确性。
在移动机器人100在根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离的情况下,再进一步将提取的检测区域对应的图像的亮度与预设亮度值进行比较后,若检测区域对应的图像的亮度小于预设亮度值,则表示前方可能是悬崖区域(例如铺有低反射地毯的悬崖区域),也可能是非悬崖区域(例如可能是低反射率的物体),因此,为了准确判断悬崖区域,防止机器的跌落,需要进一步结合红外传感器进一步对前方区域进行探测以减少悬崖检测的误判。因此,在另一个可选实施例中,步骤303包括:
当根据深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于或等于预设距离,且根据采集的图像的亮度信息确定检测区域对应的图像的亮度小于预设亮度值,且检测到的检测区域的红外光强度小于或等于第一预设红外光强度时,其中检测区域的大小满足预定大小条件时,则确定检测区域为悬崖区域。
本实施例中,由于已经结合检测区域的深度图像信息及检测区域的图像亮度信息判断前方可能会存在低反射率物体的情况,因此,为了减少悬崖的误判,第一预设红外光强度取值不能太大,若取值比较大,就会将检测区域误判为悬崖区域,本实施例中第一预设红外光强度用于测量低反射物体或低反射悬崖时采用的红外光强度,其小于现有技术中的预设红外光强度。
当检测区域到图像采集单元的垂直距离大于或等于预设距离且检测区域对应的图像的亮度小于预设亮度值时,表明检测区域的反射率较低且检测区域可能是悬崖区域。进一步的,当检测区域的红外光强度小于或等于第一预设红外光强度时,确定检测区域为悬崖区域,否则为非悬崖区域。根据现有技术的强度型红外传感器中设置的预设红外光强度,难以区分低反射率的物体和低反射率的悬崖区域,本申请实施例根据结合检测区域的深度图像信息及检测区域的图像亮度信息判断前方可能会存在低反射率物体的情况后,再结合第一预设红外光强度可以更为准确地区分低反射的悬崖区域和低反射的物体,从而提高悬崖检测的准确性。
本申请中的实施例,是检测一个区域,这样就可以通过衡量该区域的大小是否能够成为一个悬崖区域以减少误判。在机器人的运行环境中,虽然有些检测区域是有一定的深度,例如在机器人的工作面上的前方区域有一个小洞,但该小洞并不会使机器人陷入其中,机器人能够正常通过该小洞,在利用现有技术检测悬崖时,就会将这样的区域判断为悬崖,增加了误判。若该机器人为清扫机器人,就会导致漏扫。在以上实施例的中,结合检测区域的大小来检测悬崖可以进一步的减少误判。在上述实施例中,若检测区域没有满足预定大小条件,则表示移动机器人100能够通过该检测区域,移动机器人100不会陷入其中。
在以上实施例的基础上,在一个可选实施例中,当检测到检测区域能够容纳主动轮在工作面的投影时,确定检测区域的大小满足预定大小条件。当检测到检测区域能够容纳主动轮在工作面的投影时,表示主动轮可以陷入其中,导致移动机器人可能无法继续移动。当检测到检测区域不能够容纳主动轮在工作面的投影时,表明主动轮不会陷入其中,该检测区域不是悬崖区域。
可选的,比较检测区域的轮廓形状和主动轮投影的轮廓形状,如果检测区域的轮廓形状能够包含主动轮投影的轮廓形状,则检测区域能够容纳主动轮在工作面的投影。另一可选的,根据相机成像模型中的坐标系确定检测区域的面积,将检测区域面积与预置的主动轮在工作面的投影面积进行比较,若检测区域面积较大,则确定检测区域能够容纳主动轮在工作面的投影。否则检测区域不能容纳主动轮在工作面的投影。
在一个可选实施例中,当检测到检测区域的面积大于预设面积阈值时,确定检测区域的大小满足预定大小条件。预设面积阈值可以根据机器人本体110的面积设置。
在现有技术中,当红外传感器检测到的检测区域的红外光强度大于预设红外光强度时,确定检测区域为非悬崖区域;当红外传感器检测到的检测区域的红外光强度小于预设红外光强度时,确定检测区域为悬崖区域。但是,当移动机器人遇到光反射情况与悬崖判断类似的物质时(如黑色地毯、酒红色地毯等),由于其收到的红外光强度低于预设红外光强度,因此移动机器人就会出现误判,将悬崖判断类似的物质(如黑色地毯、酒红色地毯等)识别成悬崖。
在另一个可选实施例中,上述方法还包括:
当根据采集的图像确定检测区域对应图像的亮度大于或等于预设亮度值,且红外传感器检测到的检测区域的红外光强度小于或等于第二预设红外光强度时,确定检测区域为悬崖区域,其中第一预设红外光强度小于第二预设红外光强度。
一个或者多个实施例中,第二预设红外光强度可以是测量高反射物体或高反射悬崖时采用的红外光强度,其大于或等于现有技术中的预设红外光强度。
在本申请中,在正常模式下采用第二预设红外光强度判断检测区域是否为悬崖区域。当红外传感器检测到的检测区域的红外光强度大于第二预设红外光强度时,确定检测区域为非悬崖区域;当红外传感器检测到的检测区域的红外光强度小于第二预设红外光强度时,确定检测区域为悬崖区域。
当检测到检测区域图像的亮度小于预设亮度值时,启动红外传感器将检测区域的红外光强度与第一预设红外光强度进行比较,当红外传感器检测到的检测区域的红外光强度大于第一预设红外光强度时,确定检测区域为非悬崖区域;当红外传感器检测到的检测区域的红外光强度小于第一预设红外光强度时,确定检测区域为悬崖区域。这样在遇到反射率较低的物体时,采用较低的第一预设红外光强度来区分悬崖区域和非悬崖区域,由此能够减少误判悬崖的情况,提高识别悬崖的准确性。
另外本申请的上述实施例中,采集机器人本体的前方地面区域的图像,提取采集的图像的深度图像信息及亮度信息,基于提取的深度图像信息及亮度信息,确定前方地面区域中的悬崖区域。相对于现有技术而言,本实施例中图像采集单元120采集的是前方地面区域的图像,是将前方地面区域中一个或者多个检测区域为对象来判断检测区域是否为悬崖区域,这样在确定检测区域为悬崖区域时,就能够直接获取到悬崖区域的边界,这样后续移动机器人100在获取到悬崖区域的边界后,就能够提前根据悬崖区域的边界规划路径。
参阅图5,本申请提供的移动机器人的控制方法的一个实施例,该方法可以由移动机器人100执行,包括:
步骤501、采集机器人本体的前方地面区域的图像。
步骤502、提取采集的图像的深度图像信息及亮度信息。
步骤503、基于提取的深度图像信息及亮度信息,确定前方地面区域中的悬崖区域。
步骤504、根据机器人本体与悬崖区域的位置关系,控制移动机器人的运动行为。
其中,步骤501至步骤503与图3所示实施例中步骤301至步骤303相似。
本实施例中,根据可以图像的深度图像信息判断出前方地面区域中的悬崖区域,然后控制移动机器人的运动行为,可以降低移动机器人跌入悬崖的可能性。
在一个可选实施例中,
步骤504包括:当检测到机器人本体与悬崖区域的水平距离小于或等于第一预设水平距离时,控制移动机器人停止运动或回避悬崖或者沿着悬崖区域的边界的运动路径运动。
本实施例中,当机器人本体与悬崖区域的水平距离小于或等于第一预设水平距离时,表示移动机器人非常接近悬崖区域,需要执行后续操作防止移动机器人跌入悬崖区域。具体可以控制移动机器人停止运动,或者控制移动机器人沿着避开悬崖区域的运动路径运动。可选的,控制移动机器人沿着悬崖区域的边界的运动路径运动。通过设置水平距离,可以降低移动机器人的惯性,从而降低因为减速不及而跌入悬崖区域的风险。
第一预设水平距离是为了克服移动机器人的惯性运动设置的缓冲距离。当移动机器人的机身形状为圆形时,第一预设水平距离可以是但不限于 [1.2R,1.5R]中的任意一个值,R为机身半径。
在可选实施例中,第一预设水平距离是指移动机器人的中心到悬崖区域中心的距离。
在移动机器人100运动过程中,利用图像检测前方区域是否存在悬崖,可能会存在时间延迟,这样为了防止移动机器人100检测到悬崖后,能有时间反应,而不至于会跌落。在另一个可选实施例中,步骤504包括:当检测到机器人本体与悬崖区域的水平距离小于或等于第二预设水平距离,且大于第一预设水平距离时,控制移动机器人减速运动。这样移动机器人100就有充分的时间调整当前运动速度,从而能平稳地回避悬崖区域。
本实施例中,第二预设水平距离是为了克服移动机器人的惯性运动设置的另一个缓冲距离,第二预设水平距离大于第一预设水平距离。
当机器人本体与悬崖区域的水平距离小于或等于第二预设水平距离,且大于第一预设水平距离时,表明机器人本体与悬崖区域接近,控制移动机器人减速运动。当机器人主体形状为圆形时,第二预设水平距离可以是但不限于 [1.2R,1.5R]中的任意一个值,R为机身半径。例如,第二预设水平距离为1.4R时,第一预设水平距离为1.1R
在可选实施例中,第二预设水平距离是指移动机器人的中心到悬崖区域中心的距离。
现有技术中移动机器人设置的缓冲距离往往较小,容易因为减速不及而跌入悬崖区域。通过设置第二预设水平距离和第一预设水平距离,可以降低移动机器人的惯性,从而降低因为减速不及而跌入悬崖区域的风险。
为便于理解,下面对机器人本体110到检测区域的距离进行介绍。移动机器人100通过图像采集单元120中的测距传感器进行测距。测距传感器可以是但不限于ToF图像传感器、红外线测距传感器、超声波测距传感器或激光测距传感器。
参阅图6所示的一个实施例中,对检测区域中的一个地面参考点P0,测距传感器可以测量得到图像采集单元120到P0的距离(即D1)。
根据测距传感器与工作面的夹角θ以及D1可以确定图像采集单元120到P0的水平距离(即D2),D2= D1*cosθ。
根据测距传感器与工作面的夹角θ以及D1可以确定图像采集单元120到P0的垂直距离(即D3),D3= D1*sinθ。
另外,图像采集单元120与工作面的垂直距离(即D4)可以预先测量并保存在移动机器人的存储器中。
当D3小于D4时,表明P0低于工作面。
可选的,确定检测区域中最靠近图像采集单元120的地面参考点P1,将图像采集单元120到P1的水平距离作为图像采集单元120到检测区域的水平距离,将图像采集单元120到P1的垂直距离作为图像采集单元120到检测区域的垂直距离。
可选的,选取图像采集单元120到检测区域的中心点的水平距离作为图像采集单元120到检测区域的水平距离,选取图像采集单元120到检测区域的中心点的垂直距离作为图像采集单元120到检测区域的垂直距离。
可以理解的是,还可以选取检测区域中的其他地面参考点到图像采集单元120的距离作为图像采集单元120到检测区域的距离,本申请不作限定。同理,可以获取图像采集单元120到悬崖区域的距离。
在现有技术检测悬崖的方法并不能准确获取悬崖的边界,例如通过红外传感器检测悬崖的方法是通过安装在移动机器人的底部的红外传感器检测机器人下方的区域,由于区域受限,通过红外传感器检测可能只能判断出该地方存在悬崖,而不能准确知道悬崖区域的边界,这样移动机器人100就无法提前规划路径。通过上述实施例中检测悬崖的方法中,本实施例中图像采集单元120采集的是前方地面区域的图像,是将前方地面区域中一个或者多个检测区域为对象来判断检测区域是否为悬崖区域,这样在确定检测区域为悬崖区域时,就能够直接获取到悬崖区域的边界,这样移动机器人100在获取到悬崖区域的边界后,就能够提前根据悬崖区域的边界提前规划路径,从而使移动机器人100选取能够选择安全且贴近悬崖的路径,从而使移动机器人100平稳通过悬崖区域。
在另一个可选实施例中,步骤504包括:生成多条运动路径,根据多条运动路径中每条运动路径与悬崖区域的位置信息进行计分,控制移动机器人沿着分数最高的运动路径运动。
优选的,在当机器人本体与悬崖区域的水平距离小于或等于第二预设水平距离,且大于第一预设水平距离时,表明机器人本体与悬崖区域接近,控制移动机器人减速运动,且生成多条运动路径,根据多条运动路径中每条运动路径与悬崖区域的位置信息进行计分,控制移动机器人沿着分数最高的运动路径运动。这样移动机器人100在离悬崖区域还有一段缓冲距离时,就能够选择安全且贴近悬崖的路径,从而使移动机器人100平稳通过悬崖区域。在移动机器人100为清洁机器人时,能使机器人不跌落悬崖,且减少漏扫。
本实施例中,根据移动机器人的运动模型和运行速度可以生成多个运行路径。生成运动路径的方法可以是基于机器人操作***(robot operating system,ROS)的动态窗口方法(dynamic window approach,DWA)。运动路径到悬崖区域的最小水平距离越近,运动路径的分数越高;运动路径到悬崖区域的最小水平距离越远,运动路径的分数越低。沿着悬崖区域的边界的运动路径分数最高。
或者,根据移动机器人在最接近悬崖区域处的行进方向与在当前位置的行进方向之间的夹角计分,夹角越小,分数越高;夹角越大,分数越低。或者,根据移动机器人在最接近悬崖区域处的运动速度与在当前位置的运动速度之差计分,差值越小,分数越高;差值越大,分数越低。计分完成后,将分数最高的预测区域所在运行路径作为目标路径。当根据运动路径到悬崖区域的最小水平距离对运动路径进行计分时,选取分数最高的运动路径可以使得移动机器人安全且贴近悬崖运动,在移动机器人100为清洁机器人时,能够使机器人清洁到更多区域,从而更好地清洁地面。
在另一个可选实施例中,在多条运动路径中每条运动路径到悬崖区域的最小水平距离的取值与运动路径的分数成反比。由此提供了一种快速计算运动路径分数的方式。
在另一个可选实施例中,步骤504包括:当没有获取到避开悬崖区域的运动路径时,从移动机器人的存储器中获取历史路径,控制移动机器人沿着历史路径行走。
当没有获取到避开悬崖区域的运动路径时,表示前面地面不可通行,需要改变运动方向。此时从移动机器人的存储器中获取历史路径,控制移动机器人沿着历史路径返回,并重新生成新的运动路径,由此可以避开悬崖区域继续运动。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是个人计算机,服务器,或者网络设备、机器人、单片机、芯片等)等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (19)
1.一种移动机器人,其特征在于,包括:机器人本体、图像采集单元、处理单元;
图像采集单元,用于采集所述机器人本体的前方地面区域的图像;
所述处理单元用于提取所述采集的图像的深度图像信息及亮度信息;
所述处理单元还用于基于所述深度图像信息及所述亮度信息,确定前方地面区域中的悬崖区域;
其中,当所述处理单元根据所述深度图像信息确定所述前方地面区域中存在检测区域到所述图像采集单元的垂直距离大于预设垂直距离,且根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度大于或等于预设亮度值,以及所述检测区域的大小满足预定大小条件时,则所述处理单元确定所述检测区域为悬崖区域。
2.根据权利要求1所述的移动机器人,其特征在于,所述移动机器人还包括红外传感器,当所述处理单元根据所述深度图像信息确定所述前方地面区域中存在检测区域到所述图像采集单元的垂直距离大于预设垂直距离,且根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度小于预设亮度值,且所述红外传感器检测到的所述检测区域的红外光强度小于或等于第一预设红外光强度时,其中所述检测区域的大小满足预定大小条件时,则所述处理单元确定所述检测区域为悬崖区域。
3.根据权利要求1或2所述的移动机器人,其特征在于,所述处理单元,具体用于当检测到所述检测区域能够容纳主动轮在工作面的投影时,确定所述检测区域的大小满足预定大小条件;或
所述处理单元,具体用于当检测到所述检测区域的面积大于预设面积阈值时,确定所述检测区域的大小满足预定大小条件。
4.根据权利要求2所述的移动机器人,其特征在于,当所述处理单元根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度大于或等于所述预设亮度值,且所述红外传感器检测到的所述检测区域的红外光强度小于或等于第二预设红外光强度时,所述处理单元确定所述检测区域为悬崖区域,其中所述第一预设红外光强度小于所述第二预设红外光强度。
5.一种移动机器人,其特征在于,包括:机器人本体、图像采集单元、处理单元;
图像采集单元,用于采集所述机器人本体的前方地面区域的图像;
所述处理单元,用于提取所述采集的图像的深度图像信息及亮度信息;
处理单元,还用于基于所述提取的深度图像信息及所述亮度信息,确定前方地面区域中的悬崖区域;
所述处理单元还用于根据机器人本体与悬崖区域的位置关系,控制所述移动机器人的运动行为;
其中,所述处理单元具体用于当检测到所述机器人本体与所述悬崖区域的距离小于或等于第一预设水平距离时,控制所述移动机器人停止运动或回避所述悬崖或者沿着所述悬崖区域的边界的运动路径运动。
6.根据权利要求5所述的移动机器人,其特征在于,
所述处理单元,具体用于当检测到所述机器人本体与所述悬崖区域的距离小于或等于第二预设水平距离,且大于所述第一预设水平距离时,控制所述移动机器人减速运动。
7.根据权利要求5所述的移动机器人,其特征在于,
所述处理单元,具体用于生成多条运动路径,根据所述多条运动路径中每条运动路径与所述悬崖区域的位置信息进行计分,控制所述移动机器人沿着分数最高的运动路径运动。
8.根据权利要求7所述的移动机器人,其特征在于,在所述多条运动路径中每条运动路径到所述悬崖区域的最小距离的取值与所述运动路径的分数成反比。
9.根据权利要求5至8中任一项所述的移动机器人,其特征在于,
所述处理单元,具体用于当没有获取到避开所述悬崖区域的运动路径时,从所述移动机器人的存储器中获取历史路径,控制所述移动机器人沿着历史路径行走。
10.一种悬崖检测方法,其特征在于,包括:
采集机器人本体的前方地面区域的图像;
提取所述采集的图像的深度图像信息及亮度信息;
基于所述深度图像信息及所述亮度信息,确定前方地面区域中的悬崖区域;
其中,所述基于所述深度图像信息及所述亮度信息,确定前方地面区域中的悬崖区域包括:
当根据所述深度图像信息确定前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离,且根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度大于或等于预设亮度值,以及所述检测区域的大小满足预定大小条件时,则确定所述检测区域为悬崖区域。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
当根据所述深度图像信息确定所述前方地面区域中存在检测区域到图像采集单元的垂直距离大于预设垂直距离,且根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度小于预设亮度值,且检测到的所述检测区域的红外光强度小于或等于第一预设红外光强度时,其中所述检测区域的大小满足预定大小条件时,则确定所述检测区域为悬崖区域。
12.根据权利要求10或11所述的方法,其特征在于,当检测到所述检测区域能够容纳主动轮在工作面的投影时,确定所述检测区域的大小满足预定大小条件;或
当检测到所述检测区域的面积大于预设面积阈值时,确定所述检测区域的大小满足预定大小条件。
13.根据权利要求11所述的方法,其特征在于,所述方法还包括:
当根据所述采集的图像的亮度信息确定所述检测区域对应的图像的亮度大于或等于所述预设亮度值,且所述检测区域的红外光强度小于或等于第二预设红外光强度时,确定所述检测区域为悬崖区域,其中所述第一预设红外光强度小于所述第二预设红外光强度。
14.一种移动机器人的控制方法,其特征在于,包括:
采集机器人本体的前方地面区域的图像,提取所述采集的图像的深度图像信息及亮度信息;
基于所述提取的深度图像信息及所述亮度信息,确定前方地面区域中的悬崖区域;
根据机器人本体与悬崖区域的位置关系,控制所述移动机器人的运动行为;
其中,所述根据机器人本体与悬崖区域的位置关系,控制所述移动机器人的运动行为包括:
当检测到所述机器人本体与所述悬崖区域的水平距离小于或等于第一预设水平距离时,控制所述移动机器人停止运动或回避所述悬崖区域或者沿着所述悬崖区域的边界的运动路径运动。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
当检测到所述机器人本体与所述悬崖区域的水平距离小于或等于第二预设水平距离,且大于所述第一预设水平距离时,控制所述移动机器人减速运动。
16.根据权利要求14所述的方法,其特征在于,所述方法还包括:
生成多条运动路径,根据所述多条运动路径中每条运动路径与所述悬崖区域的位置信息进行计分,控制所述移动机器人沿着分数最高的运动路径运动。
17.根据权利要求16所述的方法,其特征在于,在所述多条运动路径中每条运动路径到所述悬崖区域的最小水平距离的取值与所述运动路径的分数成反比。
18.根据权利要求14至17中任一项所述的方法,其特征在于,所述方法还包括:
当没有获取到避开所述悬崖区域的运动路径时,从所述移动机器人的存储器中获取历史路径,控制所述移动机器人沿着历史路径行走。
19.一种计算机可读存储介质,包括程序指令,所述程序指令用于供调用后执行如权利要求10至13及/或14至18中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010035730.0A CN110852312B (zh) | 2020-01-14 | 2020-01-14 | 悬崖检测方法、移动机器人的控制方法及移动机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010035730.0A CN110852312B (zh) | 2020-01-14 | 2020-01-14 | 悬崖检测方法、移动机器人的控制方法及移动机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110852312A true CN110852312A (zh) | 2020-02-28 |
CN110852312B CN110852312B (zh) | 2020-07-17 |
Family
ID=69610684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010035730.0A Active CN110852312B (zh) | 2020-01-14 | 2020-01-14 | 悬崖检测方法、移动机器人的控制方法及移动机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110852312B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111631641A (zh) * | 2020-05-26 | 2020-09-08 | 珠海市一微半导体有限公司 | 机器人防跌落检测方法 |
CN111660294A (zh) * | 2020-05-18 | 2020-09-15 | 北京科技大学 | 一种液压重载机械臂增强现实操控*** |
CN111680673A (zh) * | 2020-08-14 | 2020-09-18 | 北京欣奕华科技有限公司 | 一种栅格地图中动态物体的检测方法、装置及设备 |
CN111813103A (zh) * | 2020-06-08 | 2020-10-23 | 珊口(深圳)智能科技有限公司 | 移动机器人的控制方法、控制***及存储介质 |
CN112561874A (zh) * | 2020-12-11 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 一种遮挡物检测方法、装置及监控摄像机 |
CN112596527A (zh) * | 2020-12-17 | 2021-04-02 | 珠海市一微半导体有限公司 | 基于斜坡结构的机器人卡住检测方法、芯片及清洁机器人 |
CN113110426A (zh) * | 2021-03-29 | 2021-07-13 | 深圳市优必选科技股份有限公司 | 边缘检测方法、装置、机器人及存储介质 |
CN113112491A (zh) * | 2021-04-27 | 2021-07-13 | 深圳市优必选科技股份有限公司 | 一种悬崖检测方法、装置、机器人及存储介质 |
CN113313052A (zh) * | 2021-06-15 | 2021-08-27 | 杭州萤石软件有限公司 | 悬崖区域检测及移动机器人控制方法、装置及移动机器人 |
CN113524265A (zh) * | 2021-08-03 | 2021-10-22 | 汤恩智能科技(常熟)有限公司 | 机器人防跌落方法、机器人及可读存储介质 |
CN113712473A (zh) * | 2021-07-28 | 2021-11-30 | 深圳甲壳虫智能有限公司 | 一种高度校准方法、装置以及机器人 |
CN114355892A (zh) * | 2021-12-09 | 2022-04-15 | 深圳优地科技有限公司 | 机器人防跌落方法、机器人和存储介质 |
WO2023078318A1 (zh) * | 2021-11-04 | 2023-05-11 | 珠海一微半导体股份有限公司 | 基于激光点的机器人悬空判断方法、地图更新方法及芯片 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140267626A1 (en) * | 2013-03-15 | 2014-09-18 | Intuitive Surgical Operations, Inc. | Intelligent manual adjustment of an image control element |
WO2016082414A1 (zh) * | 2014-11-25 | 2016-06-02 | 中兴通讯股份有限公司 | 亮度补偿方法及装置 |
CN107045352A (zh) * | 2017-05-31 | 2017-08-15 | 珠海市微半导体有限公司 | 基于多红外的机器人避障装置、其控制方法及机器人沿边控制方法 |
CN108170134A (zh) * | 2017-11-15 | 2018-06-15 | 国电南瑞科技股份有限公司 | 一种变电站智能巡检机器人路径规划方法 |
CN108235774A (zh) * | 2018-01-10 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、装置、云处理设备以及计算机程序产品 |
CN108280807A (zh) * | 2017-01-05 | 2018-07-13 | 浙江舜宇智能光学技术有限公司 | 单目深度图像采集装置和***及其图像处理方法 |
CN108876799A (zh) * | 2018-06-12 | 2018-11-23 | 杭州视氪科技有限公司 | 一种基于双目相机的实时台阶检测方法 |
CN110216661A (zh) * | 2019-04-29 | 2019-09-10 | 北京云迹科技有限公司 | 跌落区域识别的方法及装置 |
-
2020
- 2020-01-14 CN CN202010035730.0A patent/CN110852312B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140267626A1 (en) * | 2013-03-15 | 2014-09-18 | Intuitive Surgical Operations, Inc. | Intelligent manual adjustment of an image control element |
WO2016082414A1 (zh) * | 2014-11-25 | 2016-06-02 | 中兴通讯股份有限公司 | 亮度补偿方法及装置 |
CN108280807A (zh) * | 2017-01-05 | 2018-07-13 | 浙江舜宇智能光学技术有限公司 | 单目深度图像采集装置和***及其图像处理方法 |
CN107045352A (zh) * | 2017-05-31 | 2017-08-15 | 珠海市微半导体有限公司 | 基于多红外的机器人避障装置、其控制方法及机器人沿边控制方法 |
CN108170134A (zh) * | 2017-11-15 | 2018-06-15 | 国电南瑞科技股份有限公司 | 一种变电站智能巡检机器人路径规划方法 |
CN108235774A (zh) * | 2018-01-10 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、装置、云处理设备以及计算机程序产品 |
CN108876799A (zh) * | 2018-06-12 | 2018-11-23 | 杭州视氪科技有限公司 | 一种基于双目相机的实时台阶检测方法 |
CN110216661A (zh) * | 2019-04-29 | 2019-09-10 | 北京云迹科技有限公司 | 跌落区域识别的方法及装置 |
Non-Patent Citations (3)
Title |
---|
SOOKHYUN YANG ET AL: "cliff-sensor-based low-level obstacle detection for a wheeled robot in an indoor environment", 《2019 INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS》 * |
陈昌宇: "基于树莓派和STM32的室外智能清洁机器人", 《电子技术与软件工程》 * |
黄鹤: "机械臂循迹避障跟随智能小车", 《电脑迷》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111660294A (zh) * | 2020-05-18 | 2020-09-15 | 北京科技大学 | 一种液压重载机械臂增强现实操控*** |
CN111631641A (zh) * | 2020-05-26 | 2020-09-08 | 珠海市一微半导体有限公司 | 机器人防跌落检测方法 |
CN111631641B (zh) * | 2020-05-26 | 2022-04-01 | 珠海一微半导体股份有限公司 | 机器人防跌落检测方法 |
CN111813103B (zh) * | 2020-06-08 | 2021-07-16 | 珊口(深圳)智能科技有限公司 | 移动机器人的控制方法、控制***及存储介质 |
CN111813103A (zh) * | 2020-06-08 | 2020-10-23 | 珊口(深圳)智能科技有限公司 | 移动机器人的控制方法、控制***及存储介质 |
CN111680673A (zh) * | 2020-08-14 | 2020-09-18 | 北京欣奕华科技有限公司 | 一种栅格地图中动态物体的检测方法、装置及设备 |
CN112561874A (zh) * | 2020-12-11 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 一种遮挡物检测方法、装置及监控摄像机 |
CN112596527B (zh) * | 2020-12-17 | 2023-10-24 | 珠海一微半导体股份有限公司 | 基于斜坡结构的机器人卡住检测方法、芯片及清洁机器人 |
CN112596527A (zh) * | 2020-12-17 | 2021-04-02 | 珠海市一微半导体有限公司 | 基于斜坡结构的机器人卡住检测方法、芯片及清洁机器人 |
CN113110426A (zh) * | 2021-03-29 | 2021-07-13 | 深圳市优必选科技股份有限公司 | 边缘检测方法、装置、机器人及存储介质 |
CN113112491A (zh) * | 2021-04-27 | 2021-07-13 | 深圳市优必选科技股份有限公司 | 一种悬崖检测方法、装置、机器人及存储介质 |
CN113112491B (zh) * | 2021-04-27 | 2023-12-19 | 深圳市优必选科技股份有限公司 | 一种悬崖检测方法、装置、机器人及存储介质 |
CN113313052A (zh) * | 2021-06-15 | 2021-08-27 | 杭州萤石软件有限公司 | 悬崖区域检测及移动机器人控制方法、装置及移动机器人 |
CN113313052B (zh) * | 2021-06-15 | 2024-05-03 | 杭州萤石软件有限公司 | 悬崖区域检测及移动机器人控制方法、装置及移动机器人 |
CN113712473A (zh) * | 2021-07-28 | 2021-11-30 | 深圳甲壳虫智能有限公司 | 一种高度校准方法、装置以及机器人 |
CN113524265A (zh) * | 2021-08-03 | 2021-10-22 | 汤恩智能科技(常熟)有限公司 | 机器人防跌落方法、机器人及可读存储介质 |
WO2023078318A1 (zh) * | 2021-11-04 | 2023-05-11 | 珠海一微半导体股份有限公司 | 基于激光点的机器人悬空判断方法、地图更新方法及芯片 |
CN114355892A (zh) * | 2021-12-09 | 2022-04-15 | 深圳优地科技有限公司 | 机器人防跌落方法、机器人和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110852312B (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852312B (zh) | 悬崖检测方法、移动机器人的控制方法及移动机器人 | |
EP3459691B1 (en) | Robot vacuum cleaner | |
EP3104194B1 (en) | Robot positioning system | |
CN112415998B (zh) | 一种基于tof摄像头的障碍物分类避障控制*** | |
JP6696697B2 (ja) | 情報処理装置、車両、情報処理方法およびプログラム | |
US9744670B2 (en) | Systems and methods for use of optical odometry sensors in a mobile robot | |
JP6132659B2 (ja) | 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 | |
EP3132732B1 (en) | Autonomous coverage robot | |
US20240085921A1 (en) | System for obstacle detection | |
JP6030405B2 (ja) | 平面検出装置およびそれを備えた自律移動装置 | |
EP2623010A2 (en) | Robot cleaner | |
WO2014064990A1 (ja) | 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両 | |
JP5827508B2 (ja) | 車両用障害物検出装置及びそれを用いた車両 | |
CN110471086B (zh) | 一种雷达测障***及方法 | |
JP4539388B2 (ja) | 障害物検出装置 | |
KR20060059270A (ko) | 코너 검출 방법 및 코너 검출 장치 | |
JP7348414B2 (ja) | ライダー計測においてブルーミングを認識するための方法及び装置 | |
CN114911223B (zh) | 一种机器人导航方法、装置、机器人及存储介质 | |
JP6725982B2 (ja) | 障害物判定装置 | |
CN114879690A (zh) | 场景参数调整方法、装置、电子设备及存储介质 | |
KR20210130478A (ko) | 로봇 청소기 및 그 제어 방법 | |
WO2019244542A1 (ja) | 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 | |
WO2024149110A1 (zh) | 电子设备、移动装置、透明物检测方法和图像校正方法 | |
CN114488103A (zh) | 测距***、测距方法、机器人、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220801 Address after: 201600 555 Guangfulin East Road, Songjiang District, Shanghai Patentee after: SHANGHAI FLYCO ELECTRICAL APPLIANCE Co.,Ltd. Address before: 518109 area 401f, building D, gangzhilong Science Park, 6 Qinglong Road, Qinghua community, Longhua street, Longhua District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN FEIKE ROBOT Co.,Ltd. |
|
TR01 | Transfer of patent right |