CN113721301A - 一种悬崖检测方法及装置 - Google Patents
一种悬崖检测方法及装置 Download PDFInfo
- Publication number
- CN113721301A CN113721301A CN202110946022.7A CN202110946022A CN113721301A CN 113721301 A CN113721301 A CN 113721301A CN 202110946022 A CN202110946022 A CN 202110946022A CN 113721301 A CN113721301 A CN 113721301A
- Authority
- CN
- China
- Prior art keywords
- structured light
- shape
- cliff
- module
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 12
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开的一种悬崖检测方法及装置,通过在自主移动机器人上安装相机和结构光发射器,以使相机的光轴与竖直方向的夹角为θc小于结构光发射器的光轴与竖直方向的夹角为θl;向第一待检测地面区域发射预设形状的第一结构光;采集含有第一结构光的第一待检测地面区域的第一图像;提取第一图像中含有的第一结构光的形状,记为第二结构光的形状;将第一结构光的形状与第二结构光的形状作对比;若第一结构光的形状与第二结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;否则,则判定第一待检测地面区域存在悬崖。相比于现有技术,本发明提供的一种悬崖检测方法及装置,有效的提高了检测的准确性。
Description
技术领域
本发明涉及悬崖检测的技术领域,特别是涉及一种悬崖检测方法及装置。
背景技术
自主移动机器人、无人驾驶车辆等在路径上行驶的时候,需要对行驶路径上的悬崖进行检测,用于及时规划路径进行规避;目前悬崖检测装置和方法主要有基于接触传感器检测和基于红外信号的检测方法。其中,基于接触式传感器的检测方法检测距离短,基于红外信号的检测方法由于红外信号受地面颜色、材质影响大,检测结果稳定性差。因此,现有的检测方法都不利于及时规划路径进行规避。
发明内容
本发明要解决的技术问题是:提供一种悬崖检测方法及装置,提高检测的准确性。
为了解决上述技术问题,本发明提供了一种悬崖检测方法,包括:
向第一待检测地面区域发射预设形状的第一结构光;
采集含有所述第一结构光的所述第一待检测地面区域的第一图像;
提取所述第一图像中含有的所述第一结构光的形状,记为第二结构光的形状;
将所述第二结构光的形状与所述第一结构光的形状作对比;
若所述第二结构光的形状与所述第一结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;
若所述第二结构光的形状与所述第一结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。
进一步地,所述向第一待检测地面区域发射预设形状的第一结构光前,还包括:
在自主移动机器人上安装相机,以使所述相机的光轴与竖直方向的夹角为θc,同时在自主移动机器人上安装结构光发射器,以使结构光发射器的光轴与竖直方向的夹角为θl;其中,θc<θl。
进一步地,所述第二结构光的形状与所述第一结构光的形状相比存在差异,具体为:
所述第二结构光的形状与所述第一结构光的形状相比存在边结构缺失。
进一步地,在所述判定第一待检测地面区域存在悬崖后,还包括:
对所述第一待检测地面区域存在的悬崖进行高度检测,具体为:
控制自主移动机器人根据第一预设公式计算出来的距离缓慢前进;
在前进过程中,向第二待检测地面区域发射预设形状的第一结构光,其中,所述第二待检测地面区域位于所述第一待检测地面区域预设距离的正前方;
采集含有所述第一结构光的所述第二待检测地面区域的第二图像;
提取所述第二图像中含有的所述第一结构光的形状,记为第三结构光的形状;
将所述第三结构光的形状与所述第二结构光的形状作对比;
若所述第三结构光的形状中没有出现所述第二结构光缺失的边结构,则判定悬崖的高度大于预设高度;
若所述第三结构光的形状中出现所述第二结构光缺失的边结构,则检测所述第三结构光的形状在所述第二图像上下降的像素距离;
若所述下降的像素距离大于等于预设下降距离,则判定悬崖的高度大于等于预设高度;
若所述下降的像素距离小于预设下降距离,则判定悬崖的高度小于预设高度。
进一步地,使所述自主移动机器人调整前进方向,具体为:
当判定悬崖的高度小于预设高度时,所述自主移动机器人继续前进;
当判定悬崖的高度大于等于预设高度时,所述自主移动机器人停止前进。
进一步地,本发明还提供了一种悬崖检测装置,包括:第一结构光发射模块、第一图像采集模块、第一提取模块、第一对比模块和第一判定模块;
其中,所述第一结构光发射模块用于向第一待检测地面区域发射预设形状的第一结构光;
所述第一图像采集模块用于采集含有所述第一结构光的所述第一待检测地面区域的第一图像;
所述第一提取模块用于提取所述第一图像中含有的所述第一结构光的形状,记为第二结构光的形状;
所述第一对比模块用于将所述第二结构光的形状与所述第一结构光的形状作对比;
所述第一判定模块用于若所述第二结构光的形状与所述第一结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;若所述第二结构光的形状与所述第一结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。
进一步地,所述第一结构光发射模块安装在结构光发射器内,所述第一图像采集模块安装在相机内;
所述结构光发射器的光轴与竖直方向的夹角为θl,所述相机的光轴与竖直方向的夹角为θc,其中,θc<θl。
进一步地,所述第一判定模块中判定所述第二结构光的形状与所述第一结构光的形状相比存在差异,具体为:
判定所述第二结构光的形状与所述第一结构光的形状相比存在边结构缺失。
进一步地,还包括:移动模块、第二结构光发射模块、第二图像采集模块、第二提取模块、第二对比模块和第二判定模块;
所述移动模块、所述第二结构光发射模块、所述第二图像采集模块、所述第二提取模块、所述第二对比模块和所述第二判定模块用于在所述第一判定模块判定所述第一待检测地面区域存在悬崖后,对所述第一待检测地面区域存在的悬崖进行高度检测;
其中,所述移动模块用于控制自主移动机器人根据第一预设公式计算出来的距离缓慢前进;
在前进过程中,所述第二结构光模块用于向第二待检测地面区域发射预设形状的第一结构光,其中,所述第二待检测地面区域位于所述第一待检测地面区域预设距离的正前方;
所述第二图像采集模块用于采集含有所述第一结构光的所述第二待检测地面区域的第二图像;
所述第二提取模块用于提取所述第二图像中含有的所述第一结构光的形状,记为第三结构光的形状;
所述第二对比模块用于将所述第三结构光的形状与所述第二结构光的形状作对比;
所述第二判定模块用于当所述第三结构光的形状中没有出现所述第二结构光缺失的边结构,则判定悬崖的高度大于预设高度;
所述第二判定模块还用于当所述第三结构光的形状中没有出现所述第二结构光缺失的边结构,则检测所述第三结构光的形状在图像上下降的像素距离;若所述下降的像素距离大于等于预设下降距离,则判定悬崖的高度大于等于预设高度;若所述下降的像素距离小于预设下降距离,则判定悬崖的高度小于预设高度。
进一步地,第一判定模块使所述自主移动机器人调整前进方向,具体为:
当所述第二判定模块判定悬崖的高度小于预设高度时,所述第一判定模块使所述自主移动机器人继续前进;
当所述第二判定模块判定悬崖的高度大于等于预设高度时,所述第一判定模块使所述自主移动机器人停止前进。
本发明实施例一种悬崖检测方法及装置,与现有技术相比,具有如下有益效果:
若待检测的地面区域为平面,向平面上发射结构光并不会改变结构光的形状,因此本发明通过向第一待检测地面区域发射预设形状的第一结构光;采集含有所述第一结构光的所述第一待检测地面区域的第一图像;提取所述第一图像中含有的所述第一结构光的形状,记为第二结构光的形状;将所述第一结构光的形状与所述第二结构光的形状作对比;若所述第一结构光的形状与所述第二结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;若所述第一结构光的形状与所述第二结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。相比于现有技术,本发明提供的一种悬崖检测方法及装置,有效的提高了检测的准确性。
附图说明
图1是本发明提供的悬崖检测方法的一种实施例的流程示意图;
图2是本发明提供的悬崖检测方法的一种实施例的检测安装示意图;
图3是本发明提供的悬崖检测方法的一种实施例的结构光图形细化示意图;
图4是本发明提供的悬崖检测方法的一种实施例的四个卷积核的图像示意图;
图5是本发明提供的悬崖检测方法的一种实施例的自主移动机器人可通过最大悬崖时的检测示意图;
图6是本发明提供的悬崖检测方法的一种实施例的转向时图像结构检测示意图;
图7是本发明提供的悬崖检测装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见图1,图1是本发明提供的一种悬崖检测方法及装置的一种实施例的流程示意图,如图1所示,该方法包括步骤101-步骤106,具体如下:
步骤101:向第一待检测地面区域发射预设形状的第一结构光。
本实施例中,在自主移动机器人上安装相机,安装的相机到地面的垂直距离为H,相机的光轴与竖直方向的夹角为θc,同时在自主移动机器人上安装结构光发射器,安装的结构光发射器到相机垂直距离为L,到地面的垂直距离为H+L,结构光发射器的光轴与竖直方向的夹角为θl,如图2所示,其中,θc<θl,保证结构光打在悬崖下时,相机存在一定区域的视觉盲区,视觉盲区的存在,能及时提醒自主移动机器人前方可能存在悬崖,以使自主移动机器人能提前做好准备。本实施例中,自主移动机器人的检测距离:dl=(H+L)*tan(θl),其中,检测距离可以通过改变装置的安装高度H进行调整。
本实施例中,结构光发射器发射预设形状的结构光到第一待检测地面,其中,第一待检测地面区域为自主移动机器人的正前方,且发射的距离不超过检测距离。作为本实施例中的一种优选方案,预设形状的第一结构光为红色四边形ABCD图案的结构光,其中,边AB为距离自主移动机器人最远的边结构,且发射光的颜色不仅限于红色,当地面颜色较多且光度较大时,结构光可选为不可见光,使得发射的结构光受地面颜色、材质影响较小,有利于提高检测结果的稳定性。
步骤102:采集含有第一结构光的所述第一待检测地面区域的第一图像。
本实施例中,相机用于采集结构光发射器发射在自主移动机器正前方区域的图像,地面水平时,边AB的长度等于机器人可行进的最小宽度,四边形ABCD在图像上成像为四边形abcd,且边ab在图像上平行于像素坐标系u轴。作为本实施例中的一种优选方案,若选择的第一结构光的颜色为不可见光时,在相机镜头上加装相应的带通滤波片,以使在减少地面对第一结构光影响的同时,便于相机采集含有第一结构光的图像。
步骤103:提取第一图像中含有的第一结构光的形状,记为第二结构光的形状。
本实施例中,对相机获取到的第一图像中的第一结构光进行分割,在HSV颜色空间上进行检测,其中h代表色相,不同颜色处于不同的光谱颜色位置,s代表色彩饱和度,v表示亮度,根据结构光的颜色和亮度分别设置阈值区间,即可在图像中稳定的分割出结构光,此分割方法受地面颜色、材质改变的影响小;在分割出结构光后,还通过使用细化算法对检测出的结构光图形细化,使第一图像上的第一结构光的边结构的宽度为一个像素,便于对图像进行进一步分析,如图3所示,检测四边形abcd的四个顶点,其中,顶点检测使用角点检测算法进行检测,通过设置四个卷积核ka,kb,kc,kd分别对第一图像进行滑窗卷积,ka,kb,kc,kd如图4所示;具体为:当卷积核滑动到角点A处,此时的卷积结果为:
其中,S=255为卷积结果中的最大值,ka、kb、kc、kd分别对第一图像进行卷积结果,第一图像中最亮的点的位置即为第一图像中第一结构光的角点a、b、c、d的位置,将第一图像中的存在的角点和与角点连接的边提取出来记为第二结构光的形状,同时记录此时边ab的像素高度位置v0,因为边ab水平,角点a、b的像素高度位置即为边ab的像素高度位置。
步骤104:将第二结构光的形状与第一结构光的形状作对比。
本实施例中,将从第一图像中提取出来的第二结构光的形状与从结构光发射器中发射出来的第一结构光的形状作对比。
步骤105:若第二结构光的形状与第一结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖。
本实施例中,若第二结构光的形状与第一结构光的形状相比保持不变,即第一结构光的四边形ABCD的边AB被结构光发射器发射在第一待检测区域上,第一图像上可以一直稳定检测出完整的四边形abcd,且边ab在图像上的像素高度位置稳定在v0附近,则判定第一检测地面区域上不存在悬崖,这时,自主机器人可以向第一待检测地面区域前进,不需要更改前进路线。
步骤106:若第二结构光的形状与所述第一结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。
本实施例中,若第二结构光的形状与所述第一结构光的形状相比存在边结构缺失,即第一结构光的四边形ABCD的边AB被结构光发射器发射在第一待检测区域上,若边AB处于相机视野的盲区,图像上边ab消失,第一图像上不能检测出完整的四边形abcd,则判定第一检测地面区域上存在悬崖。
本实施例中,在判定第一待检测地面区域存在悬崖后,还包括:对第一待检测地面区域存在的悬崖进行高度检测,具体为:控制自主移动机器人根据第一预设公式计算出来的距离缓慢前进;在前进过程中,向第二待检测地面区域发射预设形状的第一结构光,其中,第二待检测地面区域位于第一待检测地面区域预设距离的正前方;采集含有第一结构光的第二待检测地面区域的第二图像;提取第二图像中含有的第一结构光的形状,记为第三结构光的形状;将第三结构光的形状与第二结构光的形状作对比;若第三结构光的形状中没有出现第二结构光缺失的边结构,则判定悬崖的高度大于预设高度;若第三结构光的形状中出现第二结构光缺失的边结构,则检测第三结构光的形状在第二图像上下降的像素距离;若下降的像素距离大于等于预设下降距离,则判定悬崖的高度大于等于预设高度;若下降的像素距离小于预设下降距离,则判定悬崖的高度小于预设高度。
本实施例中,当检测到边ab在图像上消失,判定前方可能存在悬崖时自主移动机器人减速,继续前进,此时,自主移动机器人到悬崖的距离同时也是检测悬崖的范围:Dl=(H+L)·tan(θl)。同时通过前期对自主机器人的参数设定,自主移动机器人设定的可通过的最大悬崖深度为h1,如图5所示,当悬崖高度为h1时,预设的结构光发射器安在位置到结构光发射点的距离为c1,预设的相机安装位置到结构光发射点的距离为c2,其中,c2被c21和c22分为两段,预设的自主移动机器人到结构光发射点的水平距离为c3;预设的自主移动机器人到悬崖的距离为Dc,同样,预设的若边ab从图像中刚消失到边ab在图像中再次出现,自主移动机器人的向前移动的距离为Δx1;其中,同样,若预设检测的悬崖深度超出自主移动机器人设定的可通过的最大悬崖深度为h1,且达到h2时,此时,自主移动机器人需要向前移动,才会出现边ab,因此,边ab从图像中刚消失到边ab在图像中再次出现,检测自主移动机器人向前移动的距离Δx2>Δx1,即当自动移动机器人前方存在高度大于h1的悬崖时,边ab从图像中刚消失到边ab在图像中再次出现,检测装置向前移动的距离大于Δx1。
本实施例中,在实际检测的过程中,自主移动机器人前进的距离记为d,其中,自主移动机器人的前进距离d是使用编码器记录自主移动机器人在前进时主动轮旋转的角度α°,主动轮半径为r,通过公式:计算得出,在自主机器人前进的过程中,相机继续获取结构光发射器发射的第一结构光图案,继而转变为含有第一结构光的第二图像,再将第二图像中的第一结构光的形状提取出来记为第三结构光的形状,具体操作如步骤101-步骤104所示。
本实施例中,若自主移动机器人前进的距离d大于Δx1,且在图像上没有检测到边ab时,此时判定前方存在高度大于h0的悬崖,输出检测结果。若当自主移动机器人前进的距离d小于等于Δx0且在图像上再次检测到边ab时,继续进行判断,计算此时出现的边ab在第二图像上的像素高度位置v2,下降的像素高度为:Δv=v2-v0,当边ab在图像上下降的像素距离Δv大于v0时,此时仍然判定前方存在高度大于h0的悬崖,当边ab在图像上下降的像素距离Δv小于等于v0时,此时判定前方存在高度小于等于h0的悬崖,输出检测结果。
本实施例中,通过从多个图像中结构光的位置变化,结构光图案的完整性,设置悬崖检测的距离,悬崖的高度阈值,结构光消失过程中装置前进的距离,结构光在图像中像素高度变化值等多个方面的结合来判断是否存在悬崖,使输出检测结果更全面,更精确。
本实施例中,当检测到自主移动机器人前方存在大于h0的悬崖时,辅助自主移动机器人进行规避,自主移动机器人原地逆时针旋转,此时,不断检测当前相机捕获的图像上结构光的四边形abcd,当四边形abcd从无到有,当图像中可以完全检测到四边形abcd的四个角点时,此时判定前方可以通行,此时,图像上结构的检测过程如图6所示。当检测到自主移动机器人前方存在小于等于h0的悬崖时,自主移动机器人继续前进。
参见图7,图7是本发明提供的悬崖检测装置的一种实施例的结构示意图,如图7所示,该装置结构包括:第一结构光发射模块701、第一图像采集模块702、第一提取模块703、第一对比模块704和第一判定模块705;
第一结构光发射模块701用于向第一待检测地面区域发射预设形状的第一结构光。本实施例中,在自主移动机器人上安装相机,安装的相机到地面的垂直距离为H,相机的光轴与竖直方向的夹角为θc,同时在自主移动机器人上安装结构光发射器,第一结构光发射模块701安装在结构光发射器内,安装的结构光发射器到相机垂直距离为L,到地面的垂直距离为H+L,结构光发射器的光轴与竖直方向的夹角为θl,其中,θc<θl,保证结构光打在悬崖下时,相机存在一定区域的盲区。本实施例中,自主移动机器人的检测距离:dl=(H+L)*tan(θl),其中,检测距离可以通过改变装置的安装高度H进行调整。本实施例中,结构光发射器发射预设形状的结构光到第一待检测地面,其中,第一待检测地面区域为自主移动机器人的正前方,且发射的距离不超过检测距离。作为本实施例中的一种优选方案,预设形状的第一结构光为红色四边形ABCD图案的结构光,其中,边AB为距离自主移动机器人最远的边结构,且发射光的颜色不仅限于红色,当地面颜色较多且光度较大时,结构光可选为不可见光,使得发射的结构光受地面颜色、材质影响较小,有利于提高检测结果的稳定性。
第一图像采集模块702用于采集含有第一结构光的第一待检测地面域的第一图像。本实施例中,第一图像采集模块702安装在相机内,用于采集经结构光发射器发射在自主移动机器正前方区域的图像,地面水平时,边AB的长度等于机器人可行进的最小宽度,四边形ABCD在图像上成像为四边形abcd,且边ab在图像上平行于像素坐标系u轴。作为本实施例中的一种优选方案,若结构光发射器选择的第一结构光的颜色为不可见光时,需要在相机镜头上加装相应的带通滤波片,以使在减少地面对第一结构光影响的同时,便于相机采集含有第一结构光的图像。
第一提取模块703用于提取第一图像中含有的第一结构光的形状,记为第二结构光的形状。本实施例中,第一提取模块703设置于自主移动机器人内,对第一图像采集模块获取到的第一图像中的第一结构光进行分割,在HSV颜色空间上进行检测,其中h代表色相,不同颜色处于不同的光谱颜色位置,s代表色彩饱和度,v表示亮度,根据结构光的颜色和亮度分别设置阈值区间,即可在图像中稳定的分割出结构光,此分割方法受地面颜色、材质改变的影响小;在分割出结构光后,还通过使用细化算法对检测出的结构光图形细化,使第一图像上的第一结构光的边结构的宽度为一个像素,便于对图像进行进一步分析,检测四边形abcd的四个顶点,其中,顶点检测使用角点检测算法进行检测,通过设置四个卷积核ka,kb,kc,kd分别对第一图像进行滑窗卷积,具体为:当卷积核滑动到角点A处,此时的卷积结果为:
其中,S=255为卷积结果中的最大值,ka、kb、kc、kd分别对第一图像进行卷积结果,第一图像中最亮的点的位置即为第一图像中第一结构光的角点a、b、c、d的位置,将第一图像中的存在的角点和与角点连接的边提取出来记为第二结构光的形状,同时记录此时边ab的像素高度位置v0,因为边ab水平,角点a、b的像素高度位置即为边ab的像素高度位置。
第一对比模块704用于将第二结构光的形状与第一结构光的形状作对比。本实施例中,第一对比模块704设置于自主移动机器人内将从第一图像中提取出来的第二结构光的形状与从结构光发射器中发射出来的第一结构光的形状作对比。
第一判定模块705用于若第二结构光的形状与第一结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;若第二结构光的形状与第一结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。本实施例中,第一判定模块705设置于自主移动机器人内,若第一结构光的形状与第二结构光的形状相比保持不变,即第一结构光的四边形ABCD的边AB被结构光发射器发射在第一待检测区域上,第一图像上可以一直稳定检测出完整的四边形abcd,且边ab在图像上的像素高度位置稳定在v0附近,则判定第一检测地面区域上不存在悬崖,这时,自主机器人可以向第一待检测地面区域前进,不需要更改前进路线。若第二结构光的形状与所述第一结构光的形状相比存在边结构缺失,即第一结构光的四边形ABCD的边AB被结构光发射器发射在第一待检测区域上,若边AB处于相机视野的盲区,图像上边ab消失,第一图像上不能检测出完整的四边形abcd,则判定第一检测地面区域上存在悬崖。
本实施例中,悬崖检测装置还包括:移动模块、第二结构光发射模块、第二图像采集模块、第二提取模块、第二对比模块和第二判定模块。本实施例中,第二结构光发射模块、第二图像采集模块、第二提取模块、第二对比模块和第二判定模块用于在第一判定模块判定第一待检测地面区域存在悬崖后,对第一待检测地面区域存在的悬崖进行高度检测;
移动模块用于控制自主移动机器人根据第一预设公式计算出来的距离缓慢前进;在前进过程中,第二结构光模块用于向第二待检测地面区域发射预设形状的第一结构光,其中,第二待检测地面区域位于第一待检测地面区域预设距离的正前方;第二图像采集模块用于采集含有第一结构光的第二待检测地面区域的第二图像;第二提取模块用于提取第二图像中含有的第一结构光的形状,记为第三结构光的形状;第二对比模块用于将第三结构光的形状与第二结构光的形状作对比;第二判定模块用于当第三结构光的形状中没有出现第二结构光缺失的边结构,则判定悬崖的高度大于预设高度;当第三结构光的形状中没有出现第二结构光缺失的边结构,第二判定模块还用于检测第三结构光的形状在图像上下降的像素距离;若下降的像素距离大于等于预设下降距离,则判定悬崖的高度大于等于预设高度;若下降的像素距离小于预设下降距离,则判定悬崖的高度小于预设高度。
本实施例中,第二结构光发射模块、第二图像采集模块、第二提取模块、第二对比模块和第二判定模块均设置于自主移动机器人内,当检测到边ab在图像上消失,判定前方可能存在悬崖时自主移动机器人减速,继续前进,此时,自主移动机器人到悬崖的距离同时也是检测悬崖的范围:Dl=(H+L)·tan(θl)。同时通过前期对自主机器人的参数设定,自主移动机器人设定的可通过的最大悬崖深度为h1,当悬崖高度为h1时,预设的结构光发射器安在位置到结构光发射点的距离为c1,预设的相机安装位置到结构光发射点的距离为c2,其中,c2被c21和c22分为两段,预设的自主移动机器人到结构光发射点的水平距离为c3;预设的自主移动机器人到悬崖的距离为Dc,同样,预设的若边ab从图像中刚消失到边ab在图像中再次出现,自主移动机器人的向前移动的距离为Δx1;其中,
同样,若预设检测的悬崖深度超出自主移动机器人设定的可通过的最大悬崖深度为h1,达到h2时,此时,自主移动机器人需要向前移动,才会出现边ab,因此,边ab从图像中刚消失到边ab在图像中再次出现,检测自主移动机器人向前移动的距离Δx2>Δx1,即当自动移动机器人前方存在高度大于h1的悬崖时,边ab从图像中刚消失到边ab在图像中再次出现,检测装置向前移动的距离大于Δx1。
本实施例中,在实际检测的过程中,自主移动机器人前进的距离记为d,其中,自主移动机器人的前进距离d是使用编码器记录自主移动机器人在前进时主动轮旋转的角度α°,主动轮半径为r,通过公式:计算得出,在自主机器人前进的过程中,相机继续获取结构光发射器发射的第一结构光图案,继而转变为含有第一结构光的第二图像,再将第二图像中的第一结构光的形状提取出来记为第三结构光的形状。
本实施例中,若自主移动机器人前进的距离d大于Δx1,且在图像上没有检测到边ab时,此时判定前方存在高度大于h0的悬崖,输出检测结果。若当自主移动机器人前进的距离d小于等于Δx0且在图像上再次检测到边ab时,继续进行判断,计算此时出现的边ab在第二图像上的像素高度位置v2,下降的像素高度为:Δv=v2-v0,当边ab在图像上下降的像素距离Δv大于v0时,此时仍然判定前方存在高度大于h0的悬崖,当边ab在图像上下降的像素距离Δv小于等于v0时,此时判定前方存在高度小于等于h0的悬崖,输出检测结果。
本实施例中,通过从多个图像中结构光的位置变化,结构光图案的完整性,设置悬崖检测的距离,悬崖的高度阈值,结构光消失过程中装置前进的距离,结构光在图像中像素高度变化值等多个方面的结合来判断是否存在悬崖,使输出检测结果更全面,更精确。
本实施例中,当检测到自主移动机器人前方存在大于h0的悬崖时,辅助自主移动机器人进行规避,自主移动机器人原地逆时针旋转,此时,不断检测当前相机捕获的图像上结构光的四边形abcd,当四边形abcd从无到有,当图像中可以完全检测到四边形abcd的四个角点时,此时判定前方可以通行。当检测到自主移动机器人前方存在小于等于h0的悬崖时,自主移动机器人继续前进。
综上,本发明一种悬崖检测方法及装置,通过向第一待检测地面区域发射预设形状的第一结构光;采集含有所述第一结构光的所述第一待检测地面区域的第一图像;提取所述第一图像中含有的所述第一结构光的形状,记为第二结构光的形状;将所述第一结构光的形状与所述第二结构光的形状作对比;若所述第一结构光的形状与所述第二结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;若所述第一结构光的形状与所述第二结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。相比于现有技术,本发明提供的一种悬崖检测方法及装置,该检测方法受地面材质、颜色影响小,检测距离远且可以调整检测距离,检测精度高且可以设置检测不同高度的悬崖,检测到悬崖后可以辅助自主移动机器人进行悬崖规避,计算量低,具有硬件成本低,稳定性高,精度高的优势,有效的提高了检测的准确性。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本发明的保护范围。
Claims (10)
1.一种悬崖检测方法,其特征在于,包括:
向第一待检测地面区域发射预设形状的第一结构光;
采集含有所述第一结构光的所述第一待检测地面区域的第一图像;
提取所述第一图像中含有的所述第一结构光的形状,记为第二结构光的形状;
将所述第二结构光的形状与所述第一结构光的形状作对比;
若所述第一二结构光的形状与所述第一结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;
若所述第二结构光的形状与所述第一结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。
2.如权利要求1所述的一种悬崖检测方法,其特征在于,所述向第一待检测地面区域发射预设形状的第一结构光前,还包括:
在自主移动机器人上安装相机,以使所述相机的光轴与竖直方向的夹角为θc,同时在自主移动机器人上安装结构光发射器,以使结构光发射器的光轴与竖直方向的夹角为θl;其中,θc<θl。
3.如权利要求2所述的一种悬崖检测方法,其特征在于,所述第二结构光的形状与所述第一结构光的形状相比存在差异,具体为:
所述第二结构光的形状与所述第一结构光的形状相比存在边结构缺失。
4.如权利要求3所述的一种悬崖检测方法,其特征在于,在所述判定第一待检测地面区域存在悬崖后,还包括:
对所述第一待检测地面区域存在的悬崖进行高度检测,具体为:
控制自主移动机器人根据第一预设公式计算出来的距离缓慢前进;
在前进过程中,向第二待检测地面区域发射预设形状的第一结构光,其中,所述第二待检测地面区域位于所述第一待检测地面区域预设距离的正前方;
采集含有所述第一结构光的所述第二待检测地面区域的第二图像;
提取所述第二图像中含有的所述第一结构光的形状,记为第三结构光的形状;
将所述第三结构光的形状与所述第二结构光的形状作对比;
若所述第三结构光的形状中没有出现所述第二结构光缺失的边结构,则判定悬崖的高度大于预设高度;
若所述第三结构光的形状中出现所述第二结构光缺失的边结构,则检测所述第三结构光的形状在所述第二图像上下降的像素距离;
若所述下降的像素距离大于等于预设下降距离,则判定悬崖的高度大于等于预设高度;
若所述下降的像素距离小于预设下降距离,则判定悬崖的高度小于预设高度。
5.如权利要求4所述的一种悬崖检方法,其特征在于,使所述自主移动机器人调整前进方向,具体为:
当判定悬崖的高度小于预设高度时,所述自主移动机器人继续前进;
当判定悬崖的高度大于等于预设高度时,所述自主移动机器人停止前进。
6.一种悬崖检测装置,其特征在于,包括:第一结构光发射模块、第一图像采集模块、第一提取模块、第一对比模块和第一判定模块;
其中,所述第一结构光发射模块用于向第一待检测地面区域发射预设形状的第一结构光;
所述第一图像采集模块用于采集含有所述第一结构光的所述第一待检测地面区域的第一图像;
所述第一提取模块用于提取所述第一图像中含有的所述第一结构光的形状,记为第二结构光的形状;
所述第一对比模块用于将所述第一结构光的形状与所述第二结构光的形状作对比;
所述第一判定模块用于若所述第二结构光的形状与所述第一结构光的形状相比保持不变,则判定第一待检测地面区域不存在悬崖;若所述第二结构光的形状与所述第一结构光的形状相比存在差异,则判定第一待检测地面区域存在悬崖。
7.如权利要求6所述的一种悬崖检测装置,其特征在于,所述第一结构光发射模块安装在结构光发射器内,所述第一图像采集模块安装在相机内;
所述结构光发射器的光轴与竖直方向的夹角为θl,所述相机的光轴与竖直方向的夹角为θc,其中,θc<θl。
8.如权利要求7所述的一种悬崖检测装置,其特征在于,所述第一判定模块中判定所述第二结构光的形状与所述第一结构光的形状相比存在差异,具体为:
判定所述第二结构光的形状与所述第一结构光的形状相比存在边结构缺失。
9.如权利要求8所述的一种悬崖检测装置,其特征在于,还包括:移动模块、第二结构光发射模块、第二图像采集模块、第二提取模块、第二对比模块和第二判定模块;
所述移动模块、所述第二结构光发射模块、所述第二图像采集模块、所述第二提取模块、所述第二对比模块和所述第二判定模块用于在所述第一判定模块判定所述第一待检测地面区域存在悬崖后,对所述第一待检测地面区域存在的悬崖进行高度检测;
其中,所述移动模块用于控制自主移动机器人根据第一预设公式计算出来的距离缓慢前进;
在前进过程中,所述第二结构光模块用于向第二待检测地面区域发射预设形状的第一结构光,其中,所述第二待检测地面区域位于所述第一待检测地面区域预设距离的正前方;
所述第二图像采集模块用于采集含有所述第一结构光的所述第二待检测地面区域的第二图像;
所述第二提取模块用于提取所述第二图像中含有的所述第一结构光的形状,记为第三结构光的形状;
所述第二对比模块用于将所述第三结构光的形状与所述第二结构光的形状作对比;
所述第二判定模块用于当所述第三结构光的形状中没有出现所述第二结构光缺失的边结构,则判定悬崖的高度大于预设高度;
所述第二判定模块还用于当所述第三结构光的形状中出现所述第二结构光缺失的边结构,则检测所述第三结构光的形状在图像上下降的像素距离;若所述下降的像素距离大于等于预设下降距离,则判定悬崖的高度大于等于预设高度;若所述下降的像素距离小于预设下降距离,则判定悬崖的高度小于预设高度。
10.如权利要求9所述的一种悬崖检测装置,其特征在于,第一判定模块使所述自主移动机器人调整前进方向,具体为:
当所述第二判定模块判定悬崖的高度小于预设高度时,所述第一判定模块使所述自主移动机器人继续前进;
当所述第二判定模块判定悬崖的高度大于等于预设高度时,所述第一判定模块使所述自主移动机器人停止前进。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110946022.7A CN113721301A (zh) | 2021-08-17 | 2021-08-17 | 一种悬崖检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110946022.7A CN113721301A (zh) | 2021-08-17 | 2021-08-17 | 一种悬崖检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113721301A true CN113721301A (zh) | 2021-11-30 |
Family
ID=78676150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110946022.7A Pending CN113721301A (zh) | 2021-08-17 | 2021-08-17 | 一种悬崖检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113721301A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070025595A1 (en) * | 2005-07-28 | 2007-02-01 | Nec System Technologies, Ltd | Change discrimination device, change discrimination method and change discrimination program |
JP2013213794A (ja) * | 2012-04-04 | 2013-10-17 | Mitsubishi Electric Corp | 支障物検知システム |
CN104245244A (zh) * | 2012-09-21 | 2014-12-24 | 艾罗伯特公司 | 移动机器人上的接近度感测 |
CN104597902A (zh) * | 2013-10-31 | 2015-05-06 | Lg电子株式会社 | 移动机器人 |
WO2021078812A1 (en) * | 2019-10-25 | 2021-04-29 | Starship Technologies Oü | Method and system for object detection for a mobile robot with time-of-flight camera |
US20210212541A1 (en) * | 2018-05-16 | 2021-07-15 | Lg Electronics Inc. | Vacuum cleaner and control method thereof |
-
2021
- 2021-08-17 CN CN202110946022.7A patent/CN113721301A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070025595A1 (en) * | 2005-07-28 | 2007-02-01 | Nec System Technologies, Ltd | Change discrimination device, change discrimination method and change discrimination program |
JP2013213794A (ja) * | 2012-04-04 | 2013-10-17 | Mitsubishi Electric Corp | 支障物検知システム |
CN104245244A (zh) * | 2012-09-21 | 2014-12-24 | 艾罗伯特公司 | 移动机器人上的接近度感测 |
CN104597902A (zh) * | 2013-10-31 | 2015-05-06 | Lg电子株式会社 | 移动机器人 |
US20210212541A1 (en) * | 2018-05-16 | 2021-07-15 | Lg Electronics Inc. | Vacuum cleaner and control method thereof |
WO2021078812A1 (en) * | 2019-10-25 | 2021-04-29 | Starship Technologies Oü | Method and system for object detection for a mobile robot with time-of-flight camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210110171A9 (en) | Barrier and guardrail detection using a single camera | |
US10290219B2 (en) | Machine vision-based method and system for aircraft docking guidance and aircraft type identification | |
CN110852312B (zh) | 悬崖检测方法、移动机器人的控制方法及移动机器人 | |
JP5827508B2 (ja) | 車両用障害物検出装置及びそれを用いた車両 | |
BR112014001837B1 (pt) | dispositivos e métodos de detecção de corpo em movimento | |
CN105955259A (zh) | 基于多窗口实时测距的单目视觉agv的精确定位方法及*** | |
CN104268860B (zh) | 一种车道线检测方法 | |
CN112036210A (zh) | 一种检测障碍物的方法、装置、存储介质和移动机器人 | |
JP5106771B2 (ja) | 路面標示計測装置 | |
JP3612970B2 (ja) | トンネル検出装置及びそれを用いた車両制御装置 | |
CN112634269A (zh) | 一种轨道车辆车体检测方法 | |
CN204422435U (zh) | 摄像头模组滤光片涂胶检测装置 | |
JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
CN107341455A (zh) | 一种对夜间机场跑道路面上外来物的区域多特征的检测方法及检测装置 | |
CN107563371B (zh) | 基于线激光光条的动态搜索感兴趣区域的方法 | |
CN107506739B (zh) | 一种夜间前向车辆检测及测距方法 | |
CN113721301A (zh) | 一种悬崖检测方法及装置 | |
JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
CN117662152A (zh) | 一种煤矸识别与煤流量监测一体化智能***及其应用 | |
KR101263158B1 (ko) | 차량의 검출 방법 및 장치 | |
JP4023333B2 (ja) | 車線検出装置 | |
CN114029953B (zh) | 基于深度传感器确定地平面的方法、机器人及机器人*** | |
JPH06225308A (ja) | 走行路検出装置 | |
US20230264938A1 (en) | Obstacle detector and obstacle detection method | |
CN115092855A (zh) | 基于视觉和深度学习的自动导航叉车及其运动控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |