CN113343907B - 障碍物检测方法、障碍物检测模组及自移动设备 - Google Patents

障碍物检测方法、障碍物检测模组及自移动设备 Download PDF

Info

Publication number
CN113343907B
CN113343907B CN202110722199.9A CN202110722199A CN113343907B CN 113343907 B CN113343907 B CN 113343907B CN 202110722199 A CN202110722199 A CN 202110722199A CN 113343907 B CN113343907 B CN 113343907B
Authority
CN
China
Prior art keywords
obstacle
target
module
angle
angle value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110722199.9A
Other languages
English (en)
Other versions
CN113343907A (zh
Inventor
袁健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Silver Star Intelligent Group Co Ltd
Original Assignee
Shenzhen Silver Star Intelligent Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Silver Star Intelligent Group Co Ltd filed Critical Shenzhen Silver Star Intelligent Group Co Ltd
Priority to CN202110722199.9A priority Critical patent/CN113343907B/zh
Publication of CN113343907A publication Critical patent/CN113343907A/zh
Application granted granted Critical
Publication of CN113343907B publication Critical patent/CN113343907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及障碍物检测技术领域,具体涉及一种障碍物检测方法、障碍物检测模组及自移动设备。障碍物检测方法应用于障碍物检测模组,障碍物检测模组包括激光模组与至少两个摄像模组,方法包括:控制激光模组投射激光线,通过至少两个摄像模组获取目标图像,目标图像包括所述激光线对应的图像区域,根据目标图像确定每个摄像模组对应视角范围中与指定角度值对应的障碍物距离。由于能够安装多个摄像模组,本申请可以增大障碍物检测模组的障碍物检测视角,有利于障碍物检测模组检测更大视角范围的空间,以便能够更加全面地检测障碍物。

Description

障碍物检测方法、障碍物检测模组及自移动设备
技术领域
本发明涉及障碍物检测技术领域,具体涉及一种障碍物检测方法、障碍物检测模组及自移动设备。
背景技术
随着机器人技术的发展,机器人逐渐步入普通家庭,逐步将人们从繁重琐碎的家务劳动中进行解放,从而为人们提供极大便利。
现有机器人一般都安装有摄像机以检测障碍物,然而,目前的摄像机的拍摄视角比较小,不利于较为全面地检测障碍物。
发明内容
本发明实施例的一个目的旨在提供一种障碍物检测方法、障碍物检测模组及自移动设备,用于解决目前不能较为全面地检测障碍物的问题。
在第一方面,本发明实施例提供一种障碍物检测方法,应用于障碍物检测模组,所述障碍物检测模组包括激光模组与至少两个摄像模组,所述方法包括:
控制所述激光模组投射激光线;
通过所述至少两个摄像模组获取目标图像,所述目标图像包括所述激光线对应的图像区域;
根据所述目标图像确定每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离。
可选地,所述障碍物检测模组存在视角盲区,对应地,在所述根据所述目标图像确定每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离之后,包括:
根据每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离,确定所述视角盲区中与指定角度值对应的障碍物距离。
可选地,所述根据每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离,确定所述视角盲区中与指定角度值对应的障碍物距离包括:
根据每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离以及所述障碍物检测模组的移动数据,确定所述视角盲区中与指定角度值对应的障碍物距离。
可选地,所述根据每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离以及所述障碍物检测模组的移动数据,确定所述视角盲区中与指定角度值对应的障碍物距离,包括:
根据每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离,判断是否存在目标障碍物,所述目标障碍物为拍摄所述目标图像时视角边界范围对应的障碍物;
若存在目标障碍物,则根据所述目标障碍物对应的第一目标障碍物距离及所述障碍物检测模组的移动数据,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离,其中,所述第一目标障碍物距离为拍摄所述目标图像时所述目标障碍物对应的障碍物距离。
可选地,所述障碍物检测模组的移动数据包括:移动速度与移动时长,对应地,所述根据所述目标障碍物对应的第一目标障碍物距离及所述障碍物检测模组的移动数据,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离,包括:
根据所述移动速度及所述移动时长,计算所述障碍物检测模组相对于所述目标障碍物的移动距离;
根据所述目标障碍物对应的第一目标障碍物距离及所述移动距离,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离。
可选地,所述视角边界范围包括边界角度值,在所述根据所述目标障碍物对应的第一目标障碍物距离及所述移动距离,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离之前,包括:
确定所述移动速度的矢量方向与所述边界角度值对应方向的夹角;
对应地,所述根据所述目标障碍物对应的第一目标障碍物距离及所述移动距离,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离,包括:
根据所述目标障碍物对应的第一目标障碍物距离、所述移动距离以及所述夹角,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离。
可选地,至少有两个相邻的摄像模组的视角范围存在重合部分,每个所述重合部分包括至少一个重合角度值,对应地,所述每个所述摄像模组对应视角范围中与指定角度之对应的障碍物距离包括每个重合角度值对应的障碍物距离。
可选地,所述确定每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离包括:
对每个重合角度值执行以下步骤:
根据重合角度值对应的第一目标图像,计算第一障碍物距离;
根据重合角度值对应的第二目标图像,计算第二障碍物距离;
根据所述第一障碍物距离与所述第二障碍物距离,计算所述重合角度值对应的障碍物距离。
在第二方面,本发明实施例提供一种障碍物检测模组,包括:
激光模组,用于投射激光线;
至少两个摄像模组,用于获取目标图像,所述目标图像包括所述激光线对应的图像区域;
控制单元,分别与所述激光模组以及所述至少两个摄像模组连接,用于执行上述的障碍物检测方法。
在第三方面,本发明实施例提供一种自移动设备,包括上述的障碍物检测模组。
本发明与现有技术相比至少具有以下有益效果:本发明实施例提供的障碍物检测方法应用于障碍物检测模组,障碍物检测模组包括激光模组与至少两个摄像模组,障碍物检测方法包括:控制激光模组投射激光线,通过至少两个摄像模组获取目标图像,目标图像包括激光线对应的图像区域,根据目标图像,确定每个摄像模组对应视角范围中与指定角度值对应的障碍物距离。由于能够安装多个摄像模组,因此,本实施例可以扩展障碍物检测模组的障碍物检测视角,又由于能够根据每个目标图像,确定每个摄像模组对应视角范围中的视角对应的障碍物距离,即能够检测到更大范围内的障碍物距离,以实现对障碍物进行更为全面的检测,进而能够更加准确地构建地图以及避障。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的一种障碍物检测方法的流程示意图;
图2a为本发明实施例提供的一种障碍物检测模组的正视图;
图2b为本发明实施例提供的一种障碍物检测模组的俯视图;
图3a为本发明实施例提供的障碍物检测模组的视角范围的第一种示意图,其中,障碍物检测模组存在视角盲区;
图3b为本发明实施例提供的障碍物检测模组的视角范围的第二种示意图,其中,障碍物检测模组不存在视角盲区;
图3c为本发明实施例提供的障碍物检测模组的视角范围的第三种示意图,其中,障碍物检测模组不存在视角盲区;
图4a为本发明另一实施例提供的一种障碍物检测方法的流程示意图;
图4b为图4a所示的S14的流程示意图;
图5为本发明实施例提供的中间摄像模组与右侧摄像模组的视角范围的示意图;
图6为图4b所示的S142的流程示意图;
图7为本发明实施例提供的一种障碍物检测模组的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。再者,本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
实施例一:
本发明实施例提供一种障碍物检测方法,障碍物检测方法应用于障碍物检测模组,障碍物检测模组包括激光模组与至少两个摄像模组,请参阅图1,障碍物检测方法S100包括:
S11、控制激光模组投射激光线。
作为示例而非限定的是,激光模组可在目标空间内投射激光线,其中,目标空间包括障碍物检测模组当前所在的空间,例如,目标空间为室内空间,室内空间包括具有不同生活功能的各个房间,例如卧室、厨房、客厅。
S12、通过至少两个摄像模组获取目标图像,目标图像包括激光线对应的图像区域。
其中,激光线对应的图像区域指:激光线经障碍物反射后进入摄像模组所形成的图像区域。
作为示例而非限定的是,摄像模组的数量可以为两个或两个以上,各个摄像模组依序排列,每个摄像模组都可在自身的视角范围内进行拍摄图像,其中,视角范围可包括水平方向上的视角范围或竖直方向上的视角范围,例如,每个摄像模组的水平方向上的视角范围均为0度到30度,或者0度到40度。
作为示例而非限定的是,请一并参阅图2a与图2b,摄像模组的数量为3个,3个摄像模组分别为左侧摄像模组21、中间摄像模组22、右侧摄像模组23,左侧摄像模组21的光轴可与中间摄像模组22的光轴相交,中间摄像模组22的光轴可与右侧摄像模组23的光轴相交,激光模组24安装在摄像模组的上方或下方,激光模组24向目标空间投射激光线,左侧摄像模组21可以拍摄障碍物检测模组的左侧区域,得到第一图像211。中间摄像模组22可以拍摄障碍物检测模组的正前方区域,得到第二图像221。右侧摄像模组23可以拍摄障碍物检测模组的右侧区域,得到第三图像231,即目标图像包括第一图像211、第二图像221以及第三图像231。
假设障碍物位于正前方区域中,激光模组将激光线投射到障碍物上,激光线被障碍物反射进中间摄像模组的感光元件,从而,中间摄像模组22能获取到第二图像221,第二图像221包括激光线对应的图像区域。假设左侧区域和右侧区域都没有障碍物,则第一图像211与第三图像231都不包括激光线对应的图像区域。
在一些实施例中,各个摄像模组的光轴处于同一平面。
在一些实施例中,各个摄像模组可以采用相同规格的摄像模组,亦可以采用不同规格的摄像模组,本文对此不对各个摄像模组的规格作出任何限定。
S13、根据目标图像确定每个摄像模组对应视角范围中与指定角度值对应的障碍物距离。
作为示例而非限定的是,假设存在3个摄像模组,分别为左侧摄像模组21、中间摄像模组22、右侧摄像模组23,每个摄像模组对应的视角范围均为0至36度,左侧摄像模组21与中间摄像模组22之间存在视角盲区(36度,72度),中间摄像模组21与右侧摄像模组22之间存在视角盲区(108度,144度),指定角度范围为0至180度,将指定角度范围等分成180份,对应地,存在101个指定角度值,即101个指定角度值包括:0度、1度、2度……180度,其中,中间摄像模组21对应的视角范围[72度,108度]中的指定角度值包括:72度、73度、74度、75度、76度、77度、78度、79度、80度、81度、82度、83度、84度、85度、86度、87度、88度、89度、90度、91度、92度、93度、94度、95度、96度、97度、98度、99度、100度、101度、102度、103度、104度、105度、106度、107度、108度。
另,障碍物距离为目标空间内的障碍物与指定位置之间的距离。例如,障碍物距离为目标空间内的障碍物与障碍物检测模组之间的距离,障碍物距离可具体为目标空间内的障碍物与障碍物检测模组中的摄像装置之间的距离,若指定角度值对应的区域不存在障碍物,则可将该指定角度值确定为默认值。
举例而言,请结合图2b,障碍物检测模组根据第一图像211,确定左侧摄像模组21对应视角范围中与指定角度值对应的障碍物距离,例如,左侧摄像模组21的视角范围为[0度,60度],即为0到60度,假设相邻两个指定角度值的角度差值为1度,则视角范围0到60度对应61个指定角度值,可表示为{A0,A2,A3……A60},在视角范围[0度,60度]内,每个指定角度值都分别对应一个障碍物距离,例如,可将A0对应的障碍物距离记为P0,A1对应的障碍物距离为P1,A2对应的障碍物距离为P2,A60对应的障碍物距离为P60,依次类推,可记视角范围[0度,60度]中的指定角度值与障碍物距离之间的第一关联关系为:Z1={(A0,P0),(A1,P1),(A2,P2),(A3,P3)……(A60,P60)}。
可以理解的是,假设左侧摄像模组21的视角范围包括第一角度范围和第二角度范围,第一角度范围为[0度,40度),第二角度范围为[40度,60度],假设左侧摄像模组21在第一角度范围内拍摄到激光线,在第二角度范围内并未拍摄到激光线,对应地,可将第二角度范围内每个指定角度值对应的障碍物距离都确定为默认值,例如默认值为0或30或无穷大。
同理,障碍物检测模组根据目标图像221,确定中间摄像模组22对应视角范围中与指定角度值对应的障碍物距离,例如,中间摄像模组22的视角范围为[61度,120度],即为61到120度,假设相邻两个指定角度值的角度差值为1度,则视角范围61到120度对应60个指定角度值,可表示为{A61,A62,A63……A120},在视角范围[61度,120度]内,每个指定角度值都分别对应一个障碍物距离,例如,A61对应的障碍物距离为P61,A62对应的障碍物距离为P62,A63对应的障碍物距离为P63,A64对应的障碍物距离为P64,A65对应的障碍物距离为P65,依次类推,可记视角范围[61度,120度]中的指定角度值与障碍物距离之间的第二关联关系为:Z2={(A61,P61),(A62,P62),(A63,P63)……(A120,P120)}。
同理,障碍物检测模组根据目标图像231,确定右侧摄像模组23对应视角范围中与指定角度值对应的障碍物距离,例如,右侧摄像模组23的视角范围为[121度,150度],即为121到150度,假设相邻两个指定角度值的角度差值为1度,则视角范围[121度,150度]对应30个指定角度值,可表示为{A121,A122,A123……A150},在视角范围[121度,150度]内,每个指定角度值都分别对应一个障碍物距离,例如,A121对应的障碍物距离为P121,A122对应的障碍物距离为P122,依次类推,可记视角范围[121度,150度]中的指定角度值与障碍物距离之间的第三关联关系为:Z3={(A121,P121),(A122,P122),(A123,P123)……(A150,P150)}。
由于能够安装多个摄像模组,本实施例可以扩展障碍物检测模组的障碍物检测视角,有利于障碍物检测模组检测更大视角范围的空间,以便能够全方位地检测障碍物,从而降低与障碍物的碰撞概率。
在一些实施例中,障碍物检测模组可以组合每个摄像模组在对应视角范围内每个指定角度值对应的障碍物距离,得到所有摄像模组的视角范围内全部指定角度值对应的障碍物距离。例如,障碍物检测模组将第一关联关系Z1、第二关联关系Z2及第三关联关系Z3进行组合,得到:
Z={(A0,P0),(A1,P1)……(A61,P61)……(A121,P121)……(A150,P150)}。
因此,障碍物检测模组可以得到所有摄像模组的视角范围内全部指定角度值对应的障碍物距离,以方便后期以此构建地图或实施避障等。
在一些实施例中,相邻两个摄像模组可以存在视角盲区,亦可以不存在视角盲区。
当相邻两个摄像模组存在视角盲区时,所述相邻两个摄像模组的视角范围是非连续的,请继续参阅图2b,假设相邻两个指定角度值的角度差值都是1度,左侧摄像模组21对应的视角范围为[0度,45度],中间摄像模组22对应的视角范围为[55度,95度],右侧摄像模组23对应的视角范围为[105度,145度],左侧摄像模组21对应的视角范围与中间摄像模组22对应的视角范围是非连续的,中间摄像模组22对应的视角范围与右侧摄像模组23对应的视角范围是非连续的。
请参阅图3a,第一视角线31a与第二视角线31b形成的视角范围为左侧摄像模组21对应的视角范围,第三视角线31c与第四视角线31d形成的视角范围为中间摄像模组22对应的视角范围,第五视角线31e与第六视角线31f形成的视角范围为右侧摄像模组23对应的视角范围。
令:第二视角线31b与第三视角线31c的夹角为θx,第四视角线31d与第五视角线31e的夹角为θy。
由图3a可知,左侧摄像模组21与中间摄像模组22之间存在第一视角盲区,第一视角盲区为(45度,55度),θx>0。中间摄像模组22与右侧摄像模组23之间存在第二视角盲区,第二视角盲区为(95度,105度),θy>0。
因此,当相邻两个摄像模组存在视角盲区时,θx>0,θy>0。
当相邻两个摄像模组不存在视角盲区时,相邻两个摄像模组的视角范围是连续的,请参阅图3b,假设相邻两个指定角度值的差值都是1度,左侧摄像模组21对应的视角范围为[0度,45度],中间摄像模组22对应的视角范围为[45度,95度],右侧摄像模组23对应的视角范围为[95度,145度]。左侧摄像模组21对应的视角范围与中间摄像模组22对应的视角范围是连续的,中间摄像模组22对应的视角范围与右侧摄像模组23对应的视角范围是连续的。
在一些实施例中,若相邻两个摄像模组不存在视角盲区,相邻两个摄像模组的视角范围存在重合部分,请参阅图3c,假设相邻两个视角的角度差值都是1度,左侧摄像模组21对应的视角范围为[0度,45度],中间摄像模组22对应的视角范围为[40度,95度],右侧摄像模组23对应的视角范围为[90度,145度]。左侧摄像模组21对应的视角范围与中间摄像模组22对应的视角范围存在重合部分[40度,45度],中间摄像模组22对应的视角范围与右侧摄像模组23对应的视角范围存在重合部分[90度,95度]。
由图3c可知,第三视角线31c位于在左侧摄像模组21对应的视角范围内,或者,第四视角线31d位于在右侧摄像模组23对应的视角范围内。第二视角线31b位于在中间摄像模组22对应的视角范围内,或者,第五视角线31e位于在中间摄像模组22对应的视角范围内。
在一些实施例中,障碍物检测模组存在视角盲区,对应地,在根据目标图像确定每个摄像模组对应视角范围中与指定角度值对应的障碍物距离之后,请参阅图4a,障碍物检测方法S100还包括S14:根据每个摄像模组对应视角范围中与指定角度值对应的障碍物距离,确定视角盲区中与指定角度值对应的障碍物距离,即能确定视角盲区中障碍物的存在情况。
作为示例而非限定的是,视角盲区为(35度,70度),(35度,70度)中的一个指定角度值为50度,50度对应的障碍物距离为1米,即可表示:50度对应的区域存在障碍物,且该障碍物与障碍物检测模组的距离为1米。
举例而言,假设相邻两个指定角度值的角度差值都是1度,左侧摄像模组21对应的视角范围为[0度,45度],中间摄像模组22对应的视角范围为[55度,95度],右侧摄像模组23对应的视角范围为[105度,145度],左侧摄像模组21与中间摄像模组22之间存在第一视角盲区,其中,第一视角盲区对应的角度范围为(45度,55度)。中间摄像模组22与右侧摄像模组23之间存在第二视角盲区,其中,第二视角盲区对应的角度范围为(95度,105度),假设相邻两个指定角度值的角度差值为1度。
在左侧摄像模组21对应的视角范围[0度,45度]中,每个指定角度值都分别对应一个障碍物距离,可记视角范围[0度,45度]中的指定角度值与障碍物距离之间的第四关联关系为:Z4={(A0,P0),(A1,P1),(A2,P2)……(A45,P45)}。
在第一视角盲区对应的角度范围(45度,55度)中,每个指定角度值都分别对应一个障碍物距离,亦即,角度范围(45度,55度)对应9个指定角度值,可表示为{A46,A47,A48,A49,A50,A51,A52,A53,A54},例如,A46对应的障碍物距离为P46,A47对应的障碍物距离为P47,依次类推,可记(45度,55度)内的指定角度值与障碍物距离之间的第五关联关系为:Z5={(A46,P46),(A47,P47),(A48,P48)……(A54,P54)}。
在中间摄像模组22对应的视角范围[55度,95度]中,每个指定角度值都分别对应一个障碍物距离,因此,可记指定角度值与障碍物距离之间的第六关联关系为:Z6={(A55,P55),(A56,P56),(A57,P57)……(A95,P95)}。
在第二视角盲区对应的角度范围(95度,105度)中,每个指定角度值都分别对应一个障碍物距离,亦即,角度范围(95度,105度)对应9个指定角度值,可表示为{A96,A97,A98,A99,A100,A101,A102,A103,A104},例如,可将A96对应的障碍物距离记为P96,A97对应的障碍物距离为P97,依次类推,可记视角盲区对应的角度范围(95度,105度)内指定角度值与障碍物距离之间的第七关联关系为:Z7={(A96,P96),(A97,P97),(A98,P98)……(A104,P104)}。
在右侧摄像模组23对应的视角范围[105度,145度]中,每个指定角度值都分别对应一个障碍物距离,因此,可记指定角度值与障碍物距离之间的第八关联关系为:Z8={(A105,P105),(A106,P106)……(A145,P145)}。
在一些实施例中,障碍物检测模组可以组合每个摄像模组在对应视角范围内每个指定角度值对应的障碍物距离,以及视角盲区对应的角度范围内与每个指定角度值对应的障碍物距离。
例如,障碍物检测模组将第四关联关系Z4、第五关联关系Z5、第六关联关系Z6、第七关联关系Z7及第八关联关系Z8进行组合,得到:Z={(A0,P0)…(A46,P46)…(A55,P55)…(A96,P96)…(A150,P150)}。
因此,本实施例不仅可以利用多个摄像模组的视角范围拼接成较宽视角范围,其中,在所述较宽视角范围内每个指定角度值都对应障碍物距离,还可以再次将所述较宽视角范围与视角盲区进行拼接,从而实现更宽的范围,并在更宽视角范围内每个指定角度值都对应有障碍物距离,从而能够更加全面地体现障碍物的存在情况。
在一些实施例中,S14包括:根据每个摄像模组对应视角范围中与指定角度值对应的障碍物距离以及障碍物检测模组的移动数据,确定与视角盲区内的指定角度值对应的障碍物距离,其中,移动数据为能够体现障碍物检测模组检测障碍物时在目标空间进行移动的数据。本实施例无需额外在视角盲区安装激光雷达或其它测距传感器,利用障碍物距离及移动数据,便可以确定视角盲区中与指定角度值对应的障碍物距离,从而不仅能够更加准确且全面地检测障碍物,还能降低检测成本。
在一些实施例中,请参阅图4b,S14包括:
S141、根据每个摄像模组对应视角范围中与指定角度值对应的障碍物距离,判断是否存在目标障碍物,目标障碍物为拍摄目标图像时视角边界范围对应的障碍物。
S142、若存在目标障碍物,则根据目标障碍物对应的第一目标障碍物距离及障碍物检测模组的移动数据,确定目标障碍物在视角盲区内的指定角度值对应的障碍物距离,其中,第一目标障碍物距离为拍摄目标图像时目标障碍物对应的障碍物距离。
作为示例而非限定的是,视角边界范围可为:根据视角范围中的边界角度值或/和视角范围中的参考角度值所界定的视角范围,边界角度值为摄像模组对应的视角范围的边界所对应的(指定)角度值,边界角度值可具体包括摄像模组对应的视角范围中的最小指定角度值或/和最大指定角度值,参考角度值可为预设的角度值。
例如,假设中间摄像模组22对应的视角范围为[55度,95度],由于55度为视角范围[55度,95度]中的最小指定角度值,95度为视角范围[55度,95度]的最大指定角度值,因此,边界角度值可以为55度或/和95度。假设边界角度值为95度,参考角度值为90度,对应地,视角边界范围为[90度,95度]。
作为示例而非限定的是,请参阅图5,第三视角线31c与第四视角线31d形成的视角范围为中间摄像模组22对应的视角范围,其中,第三视角线31c与第四视角线31d相交于点A,第五视角线31e与第六视角线31f形成的视角范围为右侧摄像模组23对应的视角范围,中间摄像模组22与右侧摄像模组23之间存在第二视角盲区400。此处假设中间摄像模组22对应的视角范围为[55度,95度],右侧摄像模组23对应的视角范围为[105度,155度],第二视角盲区为(95度,105度)。所述目标障碍物为拍摄所述目标图像时视角边界范围对应的障碍物;
假设中间摄像模组22对应的视角边界范围为第四视角线31对应的区域,第四视角线31对应的边界角度值为95度,第四视角线31对应的区域中包括点B,点B处存在目标障碍物,亦即,目标障碍物为中间摄像模组22拍摄目标图像时,边界角度值95度对应的障碍物,,对应的边界角度值95度可对应第一目标障碍物距离AB。
接着,随着障碍物检测模组的移动,使得目标障碍物进入第二视角盲区400的点C处,于是,障碍物检测模组可以根据第一目标障碍物距离及障碍物检测模组的移动数据,确定目标障碍物在第二视角盲区400内的指定角度值对应的障碍物距离AC,例如,随着障碍物检测模组的移动,目标障碍物落在第二视角盲区400的指定角度值ρ为100度的地方,此指定角度值ρ可根据第一目标障碍物距离及障碍物检测模组的移动数据确定。如前所述,障碍物检测模组也计算出障碍物距离AC,因此,第二视角盲区400内的指定角度值ρ对应着障碍物距离AC,简化记为(100,AC)。
在一些实施例中,当摄像模组拍摄目标图像时,若目标障碍物所对应的位置在视角边界范围内,且目标障碍物所对应的位置不位于边界角度值对应的区域,障碍物检测模组继续移动检测障碍物,当目标障碍物进入视角盲区后,障碍物检测模组根据目标障碍物对应的第一目标障碍物距离及障碍物检测模组的移动数据,也可以确定目标障碍物在视角盲区内的指定角度值对应的障碍物距离。
在一些实施例中,障碍物检测模组的移动数据包括:移动速度与移动时长,对应地,请参阅图6,S142包括:
S1421、根据移动速度及移动时长,计算障碍物检测模组相对于目标障碍物的移动距离。
S1422、根据目标障碍物对应的第一目标障碍物距离及移动距离,确定目标障碍物在视角盲区内的指定角度值对应的障碍物距离。
作为示例而非限定的是,移动速度为障碍物检测模组相对障碍物的移动速度,在一些实施例中,障碍物可以相对障碍物检测模组是静止或运动的。障碍物检测模组还包括速度传感器,速度传感器可以采集障碍物检测模组的移动速度。
移动时长可由障碍物检测模组的计时器进行计算,举例而言,请结合图5,当目标障碍物出现在边界角度值95度时,障碍物检测模组记录时间t0。经过障碍物检测模组移动后,目标障碍物出现在第二视角盲区400中的指定角度值为100度处,障碍物检测模组记录时间t1,因此,目标障碍物由边界角度值95度切换到指定角度值100度时,所用的移动时长△t=t1-t0,移动距离=移动速度*移动时长。
障碍物检测模组利用激光三角测距算法,结合第一目标障碍物距离及移动距离,便可以确定目标障碍物在视角盲区内的指定角度值对应的障碍物距离。
在一些实施例中,在S1422之前,包括:确定移动速度的矢量方向与边界角度值对应方向的夹角,对应地,S1422包括:根据目标障碍物对应的第一目标障碍物距离、移动距离以及夹角,确定目标障碍物在视角盲区内的指定角度值对应的障碍物距离。
在一些实施例中,该障碍物检测方法S100还包括:根据目标障碍物对应的第一目标障碍物距离、移动距离以及夹角,确定目标障碍物对应的角度偏移量,根据角度偏移量确定目标障碍物在视角盲区内(对应)的指定角度值。即通过本实施例,能够更加详细地获知障碍物的方位(位置)信息。
举例而言,请结合图5,假设移动速度的矢量方向为由点B指向点C的方向,由于障碍物检测模组是直行前进,中间模组安装于自移动设备的正中心,中间模组对应的视角范围中的视角中分线AD与自移动设备的中轴线平行,自移动设备的中轴线所指向的方向为直行前进时的运动方向,因此,移动速度的矢量方向与直行前进时的运动方向平行,直行前进时的运动方向与视角中分线AD平行,因此,移动速度的矢量方向BC与视角中分线AD平行,角度∠CBA=角度∠BAD,并且,角度∠BAD为二分之一的中间模组对应的视角范围,因此,角度∠CBA为二分之一的中间模组对应的视角范围,如前所述,中间摄像模组22对应的视角范围为55到95度,则角度∠CBA=(95-45)*1/2=20度。
在一些实施例中,移动速度的矢量方向与边界角度值对应方向的夹角可以被提前标定,亦即,由于自移动设备直行时的运动方向是固定的,并且中间模组安装在自移动设备的位置也是固定的,亦即上述两者是可以提前被标定的,因此可以根据中间模组安装在自移动设备的位置以及自移动设备直行时的运动方向计算夹角,并不局限于上述提到的夹角为二分之一的中间模组对应的视角范围的情况。
如前所述,由于第一目标障碍物距离AB、移动距离BC及夹角∠CBA都可求,在△ABC中,可以求取角度偏移量∠BAC及障碍物距离AC,亦即障碍物距离AC为目标障碍物在视角盲区内的指定角度值对应的障碍物距离。
接着,障碍物检测模组可以根据角度偏移量,确定目标障碍物在视角盲区内的指定角度值,例如,障碍物检测模组可以根据角度偏移量与中间摄像模组对应的视角范围,确定目标障碍物在视角盲区内的指定角度值,例如,假设已求取角度偏移量∠BAC为8度,由于中间摄像模组22对应的视角范围为55到95度,因此,目标障碍物在视角盲区内的指定角度值=95+8=103度。
或者,在一些实施例中,障碍物检测模组可以根据角度偏移量与视角盲区对应的视角范围,确定目标障碍物在视角盲区内的指定角度值,例如,第二视角盲区对应的视角范围为96到104度,因此,目标障碍物在视角盲区内的指定角度值=96+8-1=103度。
因此,障碍物检测模组可以得到目标障碍物在视角盲区内的指定角度值对应的障碍物距离,简化记为(103,AC)。
在一些实施例中,至少有两个相邻的摄像模组的视角范围存在重合部分,每个重合部分包括至少一个重合角度值,即,重合角度值既在两个相邻摄像模组中其中一个摄像模组的视角范围,也在两个相邻摄像模组中另一个摄像模组的视角范围。对应地,每个摄像模组对应视角范围中与指定角度值对应的障碍物距离包括每个重合角度值对应的障碍物距离。
举例而言,请结合图3c,左侧摄像模组21对应的视角范围与中间摄像模组22对应的视角范围存在重合部分[40度,45度],在重合部分中,40度对应的指定角度值为重合角度值,41度对应的指定角度值为重合角度值。
如前所述,由于重合角度值在其中一个摄像模组的视角范围对应一个障碍物距离,也会在另一个摄像模组的视角范围对应一个障碍物距离,为了更加精确地确定重合角度值对应的障碍物距离,因此,在一些实施例中,目标图像包括第一目标图像与第二目标图像,障碍物检测模组在确定每个摄像模组对应视角范围与指定角度值对应的障碍物距离时,对每个重合角度值执行以下步骤:根据重合角度值对应的第一目标图像,计算第一障碍物距离,根据重合角度值对应的第二目标图像,计算第二障碍物距离,根据第一障碍物距离与第二障碍物距离,计算重合角度值对应的障碍物距离。
第一目标图像为视角范围存在重合部分时的相邻两个摄像模组中其中一个摄像模组拍摄得到的图像,第二目标图像为视角范围存在重合部分时的相邻两个摄像模组中另一个摄像模组拍摄得到的图像。
举例而言,请结合图3c,左侧摄像模组21与中间摄像模组22相邻且存在重合角度值。左侧摄像模组21拍摄得到的目标图像为第一目标图像,中间摄像模组22拍摄得到的目标图像为第二目标图像。
假设左侧摄像模组21对应的视角范围为[1度,45度],中间摄像模组22对应的视角范围为[40度,85度],左侧摄像模组21对应的视角范围与中间摄像模组22对应的视角范围的重合部分为40度、41度、42度、43度、44度及45度。障碍物检测模组可以选择指定角度值40度作为重合角度值,根据激光三角测距算法处理第一目标图像,得到第一障碍物距离。障碍物检测模组根据激光三角测距算法处理第二目标图像,得到第二障碍物距离。障碍物检测模组求取第一障碍物距离与第二障碍物距离的平均值,得到重合角度值40对应的障碍物距离,采用此种作法,有利于提高障碍物距离的测距精度,降低误差。
需要说明的是,在上述各个实施方式中,上述各步骤之间并不必然存在一定的先后顺序,本领域普通技术人员,根据本发明实施方式的描述可以理解,不同实施方式中,上述各步骤可以有不同的执行顺序,亦即,可以并行执行,亦可以交换执行等等。
实施例二:
本发明实施例提供一种障碍物检测模组。
作为示例而非限定的是,请参阅图7,障碍物检测模组700包括激光模组71、至少两个摄像模组72及控制单元73。
激光模组71用于投射激光线,至少两个摄像模组72用于获取目标图像,目标图像包括激光线对应的图像区域,控制单元73分别与激光模组71及至少两个摄像模组72连接,用于执行上述各个实施例所阐述的障碍物检测方法。
由于能够安装多个摄像模组,障碍物检测模组700可以扩展障碍物检测视角,有利于障碍物检测模组700检测更大视角范围的空间,以便能够全方位地检测障碍物,从而降低与障碍物的碰撞概率。
在一些实施例中,障碍物检测模组700还包括速度传感器74,速度传感器74与控制单元73连接,速度传感器74用于检测障碍物检测模组700的移动速度。在一些实施例中,速度传感器74为轮速计。
在一些实施例中,控制单元73包括协处理器731与主处理器732,协处理器731分别与激光模组71、每个摄像模组72及主处理器732电连接,主处理器732与速度传感器74电连接,协处理器731用于执行上述各个实施例所阐述的障碍物检测方法,主处理器732用于执行障碍物检测模组700的其它逻辑操作,其它逻辑操作包括根据协处理器731确定的障碍物距离及相应视角的绑定关系,构建地图或实施避障或实施导航等逻辑操作。由于采用双控制器架构,协处理器731能够针对性地执行上述各个实施例所阐述的障碍物检测方法,主处理器731处理其它逻辑操作,避免全部逻辑操作集中由一个处理器处理而造成计算效率低下等情况出现,有利于提高数据处理速度,以便能够更高效率地工作。
实施例三:
本发明实施例提供一种自移动设备,自移动设备包括上述实施例所阐述的障碍物检测模组。
作为示例而非限定的是,本发明实施例提供的自移动设备可为机器人,该机器人可具体为清洁机器人,其可以实现以下至少一种功能:扫地、拖地、洗地、吸尘。
由于能够安装多个摄像模组,自移动设备可以扩展障碍物检测视角,有利于自移动设备检测更大视角范围的空间,以便能够更加全面地检测障碍物,从而降低与障碍物的碰撞概率。
以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种障碍物检测方法,其特征在于,应用于障碍物检测模组,所述障碍物检测模组包括激光模组与至少两个摄像模组,所述方法包括:
控制所述激光模组投射激光线,所述障碍物检测模组存在视角盲区;
通过所述至少两个摄像模组获取目标图像,所述目标图像包括所述激光线对应的图像区域;
根据所述目标图像确定每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离;
根据每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离,判断是否存在目标障碍物,所述目标障碍物为拍摄所述目标图像时视角边界范围对应的障碍物,所述视角边界范围为边界角度值或/和参考角度值所界定的视角范围;
若存在目标障碍物,则根据所述目标障碍物对应的第一目标障碍物距离及所述障碍物检测模组的移动数据,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离,其中,所述第一目标障碍物距离为拍摄所述目标图像时所述目标障碍物对应的障碍物距离。
2.根据权利要求1所述的方法,其特征在于,所述障碍物检测模组的移动数据包括:移动速度与移动时长,对应地,所述根据所述目标障碍物对应的第一目标障碍物距离及所述障碍物检测模组的移动数据,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离,包括:
根据所述移动速度及所述移动时长,计算所述障碍物检测模组相对于所述目标障碍物的移动距离;
根据所述目标障碍物对应的第一目标障碍物距离及所述移动距离,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离。
3.根据权利要求2所述的方法,其特征在于,所述视角边界范围包括边界角度值,在所述根据所述目标障碍物对应的第一目标障碍物距离及所述移动距离,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离之前,包括:
确定所述移动速度的矢量方向与所述边界角度值对应方向的夹角;
对应地,所述根据所述目标障碍物对应的第一目标障碍物距离及所述移动距离,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离,包括:
根据所述目标障碍物对应的第一目标障碍物距离、所述移动距离以及所述夹角,确定所述目标障碍物在所述视角盲区内的指定角度值对应的障碍物距离。
4.根据权利要求1所述的方法,其特征在于,至少有两个相邻的摄像模组的视角范围存在重合部分,每个所述重合部分包括至少一个重合角度值,对应地,所述每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离包括每个重合角度值对应的障碍物距离。
5.根据权利要求4所述的方法,其特征在于,所述目标图像包括第一目标图像与第二目标图像,所述根据所述目标图像确定每个所述摄像模组对应视角范围中与指定角度值对应的障碍物距离包括:
对每个重合角度值执行以下步骤:
根据重合角度值对应的第一目标图像,计算第一障碍物距离;
根据重合角度值对应的第二目标图像,计算第二障碍物距离;
根据所述第一障碍物距离与所述第二障碍物距离,计算所述重合角度值对应的障碍物距离。
6.一种障碍物检测模组,其特征在于,包括:
激光模组,用于投射激光线;
至少两个摄像模组,用于获取目标图像,所述目标图像包括所述激光线对应的图像区域;
控制单元,分别与所述激光模组以及所述至少两个摄像模组连接,用于执行如权利要求1至5任一项所述的障碍物检测方法。
7.一种自移动设备,其特征在于,包括如权利要求6所述的障碍物检测模组。
CN202110722199.9A 2021-06-28 2021-06-28 障碍物检测方法、障碍物检测模组及自移动设备 Active CN113343907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110722199.9A CN113343907B (zh) 2021-06-28 2021-06-28 障碍物检测方法、障碍物检测模组及自移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110722199.9A CN113343907B (zh) 2021-06-28 2021-06-28 障碍物检测方法、障碍物检测模组及自移动设备

Publications (2)

Publication Number Publication Date
CN113343907A CN113343907A (zh) 2021-09-03
CN113343907B true CN113343907B (zh) 2024-03-26

Family

ID=77481232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110722199.9A Active CN113343907B (zh) 2021-06-28 2021-06-28 障碍物检测方法、障碍物检测模组及自移动设备

Country Status (1)

Country Link
CN (1) CN113343907B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214806A (ja) * 2006-02-08 2007-08-23 Sumitomo Electric Ind Ltd 障害物検出システム、及び障害物検出方法
CN108592885A (zh) * 2018-03-12 2018-09-28 佛山职业技术学院 一种单双目融合定位测距算法
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111722234A (zh) * 2020-05-13 2020-09-29 浙江华消科技有限公司 基于超声波雷达的障碍物定位方法、装置和计算机设备
CN112462389A (zh) * 2020-11-11 2021-03-09 杭州蓝芯科技有限公司 一种移动机器人障碍物检测***、方法、装置及电子设备
CN112540384A (zh) * 2019-09-04 2021-03-23 南昌欧菲生物识别技术有限公司 障碍物的检测方法、装置和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214806A (ja) * 2006-02-08 2007-08-23 Sumitomo Electric Ind Ltd 障害物検出システム、及び障害物検出方法
CN108592885A (zh) * 2018-03-12 2018-09-28 佛山职业技术学院 一种单双目融合定位测距算法
CN112540384A (zh) * 2019-09-04 2021-03-23 南昌欧菲生物识别技术有限公司 障碍物的检测方法、装置和设备
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111722234A (zh) * 2020-05-13 2020-09-29 浙江华消科技有限公司 基于超声波雷达的障碍物定位方法、装置和计算机设备
CN112462389A (zh) * 2020-11-11 2021-03-09 杭州蓝芯科技有限公司 一种移动机器人障碍物检测***、方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种单双目结合的全景避障测距方法;曹文君等;《现代电子技术》;第38-41页 *

Also Published As

Publication number Publication date
CN113343907A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US7507948B2 (en) Method of detecting object using structured light and robot using the same
EP2460629B1 (en) Control method for localization and navigation of mobile robot and mobile robot using same
US8787614B2 (en) System and method building a map
US8938319B2 (en) Robot slip detection apparatus and method
AU2018282347B2 (en) Method and apparatus for monitoring vortex-induced vibration of wind turbine
JP2015127664A (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
CN111445531B (zh) 一种多目相机导航方法、装置、设备及存储介质
JP7253441B2 (ja) 追跡装置及び情報処理プログラム
JP2020017173A (ja) 移動体
TW201926282A (zh) 停車格辨識系統及其方法
JP7030451B2 (ja) 画像処理装置
CN113343907B (zh) 障碍物检测方法、障碍物检测模组及自移动设备
KR102226372B1 (ko) 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법
US8903159B2 (en) Method and apparatus for tracking image patch considering scale
US11704815B2 (en) Tracking device, tracking method, and tracking system
US20210402616A1 (en) Information processing apparatus, information processing method, mobile robot, and non-transitory computer-readable storage medium
WO2018173908A1 (ja) ステレオ画像処理装置
CN113379850B (zh) 移动机器人控制方法、装置、移动机器人及存储介质
Lu et al. Object motion estimation based on hybrid vision for soccer robots in 3d space
JP2007241326A (ja) 移動体動き算出装置
CN112344966A (zh) 一种定位失效检测方法、装置、存储介质及电子设备
Jamzad et al. Object detection and localization using omnidirectional vision in the robocup environment
US9813600B2 (en) Multi-camera view selection based on calculated metric
US20220292713A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518110 1701, building 2, Yinxing Zhijie, No. 1301-72, sightseeing Road, Xinlan community, Guanlan street, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Yinxing Intelligent Group Co.,Ltd.

Address before: 518110 Building A1, Yinxing Hi-tech Industrial Park, Guanlan Street Sightseeing Road, Longhua District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Silver Star Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant