CN114764885A - 障碍物的检测方法、装置、计算机可读存储介质和处理器 - Google Patents
障碍物的检测方法、装置、计算机可读存储介质和处理器 Download PDFInfo
- Publication number
- CN114764885A CN114764885A CN202210240766.1A CN202210240766A CN114764885A CN 114764885 A CN114764885 A CN 114764885A CN 202210240766 A CN202210240766 A CN 202210240766A CN 114764885 A CN114764885 A CN 114764885A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- obstacle
- plane
- determining
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 title abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000005192 partition Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 58
- 230000002159 abnormal effect Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000002310 reflectometry Methods 0.000 description 7
- 238000012552 review Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种障碍物的检测方法、装置、计算机可读存储介质和处理器,该方法包括:获取待识别点云,待识别点云为深度相机视野内物体的点云;根据待识别点云实时计算地面平面方程,地面平面方程为当前地面在机器人坐标系下的方程;将地面平面方程对应的平面沿机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;根据分割平面确定预备障碍物点云,预备障碍物点云为位于分割平面靠近机器人坐标系的Z轴的正方向的一侧的待识别点云;对预备障碍物点云进行识别,确定障碍物点云,障碍物点云为标定为障碍物的点云。该方法解决了现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
Description
技术领域
本申请涉及点云处理技术领域,具体而言,涉及一种障碍物的检测方法、装置、计算机可读存储介质和处理器。
背景技术
当前制造业工厂都在往自动化、智能化方向发展,在某些场景中,AGV替代了传统人工搬运的角色。AGV属于一种特定场景的小型自动驾驶设备,其需要检测周围环境的状态,当前AGV的感知成为不可或缺的角色。在工厂车间或仓库中,其环境很难做到一成不变,AGV规划的路径上可能存在各种未知的障碍物,感知层需要及时准确地将AGV附近的这些障碍物识别出来。常见的AGV的外部环境感知传感器有激光雷达、声纳、单目相机、双目相机和深度相机等,这些传感器充当着AGV的眼睛和耳朵,在保障AGV安全工作中起到了关键性的作用。
许多工厂、商场都配备了AGV或者其他智能机器人,近年来因机器人感知的缺失或者感知的低准确性造成机器人损伤、或者人员损伤的案例层出不穷。为减少此类现象的发生,需要配备可以感知稠密环境信息的传感器,深度相机作为一种高感知、低成本的传感器,其可以获取相机前方较大范围的稠密点云数据。
室内场景多使用单线激光雷达、其感知范围仅在一个平面上,对不在其测量范围上的障碍物基本无效。声纳定位精度低,感知范围小。单目相机没有尺度信息,难以感知障碍物的真实空间位置。双目相机对无纹理的障碍物检测效果差、计算资源耗费高、测量精度随距离增长有大幅度衰减。深度相机具有体积小、功耗低、测量范围广、测量精度高等特点已广泛用于机器人上。
现有利用深度相机检测障碍物的技术也存在一定缺陷,如:1、只判定高于某个固定平面的点云作为障碍物,若相机随车存在抖动或相机的外参发生变化,则会存在漏检和误检的风险。2、相机本身点云成像特点,在默认场景下可能存在一些较差的数据,如TOF相机多路径问题造成地面弯曲或反射率问题造成的地面标签点云和地面点云不在同一平面。现有方法未能很好的处理深度相机因特殊外界环境造成的数据误差。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种障碍物的检测方法、装置、计算机可读存储介质和处理器,以解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
根据本发明实施例的一个方面,提供了一种障碍物的检测方法,机器人包括深度相机,所述方法包括:获取待识别点云,所述待识别点云为所述深度相机视野内物体的点云;根据所述待识别点云实时计算地面平面方程,所述地面平面方程为当前地面在机器人坐标系下的方程;将所述地面平面方程对应的平面沿所述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;根据所述分割平面确定预备障碍物点云,所述预备障碍物点云为位于所述分割平面靠近所述机器人坐标系的Z轴的正方向的一侧的所述待识别点云;对所述预备障碍物点云进行识别,确定障碍物点云,所述障碍物点云为标定为障碍物的点云。
可选地,根据所述待识别点云实时计算地面平面方程,包括:获取先验平面方程,所述先验平面方程为所述机器人在平地上时地面在机器人坐标系下的方程,所述先验平面方程对应的平面与所述机器人坐标系的Z轴垂直;根据所述先验平面方程确定分割面候选区域,所述分割面候选区域为所述机器人坐标系中第一平面和第二平面之间的区域,所述第一平面为所述先验平面方程对应的平面沿所述机器人坐标系的Z轴的正方向移动第二预定值得到的,所述第二平面为所述先验平面方程对应的平面沿所述机器人坐标系的Z轴的负方向移动所述第二预定值得到的,所述机器人坐标系的Z轴的正方向为高度升高的方向;根据所述分割面候选区域内的所述待识别点云确定最大平面方程,所述最大平面方程为所述分割面候选区域内所述待识别点云形成的最大平面在机器人坐标系下的方程;根据所述先验平面方程和所述最大平面方程确定所述地面平面方程。
可选地,根据所述分割面候选区域内的所述待识别点云确定最大平面方程,包括:将所述分割面候选区域划分为多个第一单元格,所述第一单元格为边长为第一长度的正方体;将各所述第一单元格内的所述待识别点云进行采样,得到多个预备采样点,所述预备采样点的坐标为所述第一单元格内的所述待识别点云的任意一个点的坐标;将所述分割面候选区域划分为多个第二单元格,所述第二单元格为边长为第二长度的正方体,所述第二长度大于所述第一长度;将所述第二单元格内的所述采样点进行二次采样,得到多个采样点,所述采样点为所述第二单元格内的所述采样点的重心;根据所述采样点确定所述最大平面方程,所述最大平面方程为所述采样点形成的最大平面在机器人坐标系下的方程。
可选地,根据所述先验平面方程和所述最大平面方程确定所述地面平面方程,包括:在满足至少一个预定条件的情况下,确定所述先验平面方程为所述地面平面方程,所述预定条件包括第一点与第二点的距离大于距离阈值、第一法向量与第二法向量的夹角大于预定夹角以及所述分割面候选区域内的点云的点数小于点数阈值,所述第一点为所述先验平面方程对应的平面上,X轴坐标和Y轴坐标均小于第三预定值的任意一点,所述第二点为所述最大平面方程对应的平面上,X轴坐标和Y轴坐标均小于所述第三预定值的任意一点,所述第一法向量为所述先验平面方程对应的平面的法向量,所述第二法向量为所述最大平面方程对应的平面的法向量;在所有的所述预定条件均不满足的情况下,确定所述最大平面方程为所述地面平面方程。
可选地,所述障碍物点云包括悬浮障碍物点云、高障碍物点云和低障碍物点云,对所述预备障碍物点云进行识别,确定障碍物点云,包括:将所有点的Z轴坐标大于第四预定值的所述预备障碍物点云,标定为所述悬浮障碍物点云,所述第四预定值大于第二预定值;将部分点的Z轴坐标大于所述第四预定值的所述预备障碍物点云,标定为所述高障碍物点云;将所有点的Z轴坐标小于或者等于所述第二预定值的所述预备障碍物点云,标定为所述低障碍物点云。
可选地,在对所述预备障碍物点云进行识别,确定障碍物点云之后,所述方法还包括:根据目标点确定所述目标点的邻近点,所述目标点为所述高障碍物点云或者所述低障碍物点云的任意一点,所述邻近点为所述高障碍物点云或者所述低障碍物点云中,与所述目标点的距离小于第一预定距离的点;根据聚类条件将所述目标点进行聚类得到多个点云块,所述聚类条件包括第一聚类条件、第二聚类条件和第三聚类条件,所述第一聚类条件为满足所述目标点的Z轴坐标与所有所述邻近点的Z轴坐标的差值大于第五预定值,所述第二聚类条件为同时满足所述目标点的法向量角度小于或者等于预定角度、所述目标点的Z轴坐标与所有的所述邻近点的Z轴坐标的差值均小于第六预定值以及所述目标点与所有的所述邻近点的欧式距离均小于第二预定距离,所述法向量角度为所述目标点的局部法向量与所述机器人坐标系的Z轴的夹角,所述局部法向量为所述目标点和所述邻近点组成的曲面在所述目标点的切线的法向量,所述第二预定距离小于所述第一预定距离,所述第六预定值小于所述第五预定值,所述第三聚类条件为同时满足属于不满足所述第一聚类条件和第二聚类条件的所述目标点、所述目标点的法向量角度大于所述预定角度以及所述目标点与所有的所述邻近点的欧式距离均小于第三预定距离;将多个所述点云块进行拼接,得到所述障碍物点云。
可选地,在对所述预备障碍物点云进行识别,确定障碍物点云之后,所述方法还包括:根据所述低障碍物点云的点云数据生成第一强度图;根据所述第一强度图确定高强度区域,所述高强度区域为所述低障碍物点云的强度大于第一预定强度的区域;根据所述高强度区域确定阴影区域,所述阴影区域为所述第一强度图中所述高强度区域的点云对应的障碍物遮挡导致无法采集点云的区域;根据占空比确定所述低障碍物点云是否误判,所述占空比为所述阴影区域内的点云所占面积与所述阴影区域的面积的比值。
可选地,根据占空比确定所述低障碍物点云是否误判,包括:在所述占空比大于预定阈值的情况下,确定所述低障碍物点云误判;在所述占空比小于或者等于所述预定阈值的情况下,确定所述低障碍物点云没有误判。
可选地,在对所述预备障碍物点云进行识别,确定障碍物点云之后,所述方法还包括:根据所述待识别点云的点云数据生成第二强度图;根据所述第二强度图确定强度异常区域,所述强度异常区域为所述待识别点云的强度大于第二预定强度或者小于第三预定强度的区域,所述第三预定强度小于所述第二预定强度;对所述第二强度图进行逆透视变换,得到变换强度图;对比所述变换强度图和所述第二强度图的所述强度异常区域,确定所述强度异常区域对应的所述待识别点云是否为所述障碍物点云。
可选地,对比所述变换强度图和所述第二强度图的所述强度异常区域,确定所述强度异常区域对应的所述待识别点云是否为所述障碍物点云,包括:在第一长度与第二长度的比值大于预定比值的情况下,确定所述强度异常区域的所述待识别点云为障碍物点云,所述第一长度为所述变换强度图中所述强度异常区域在目标方向上的长度,所述第二长度为所述第二强度图中所述强度异常区域在所述目标方向上的长度,所述目标方向为任意方向,所述预定比值大于1;在第一长度与第二长度的比值小于或者等于所述预定比值的情况下,确定所述强度异常区域的所述待识别点云不是障碍物点云。
根据本发明实施例的另一方面,还提供了一种障碍物的检测装置,机器人包括深度相机,所述装置包括:获取单元,用于获取待识别点云,所述待识别点云为所述深度相机视野内物体的点云;计算单元,用于根据所述待识别点云实时计算地面平面方程,所述地面平面方程为当前地面在机器人坐标系下的方程;处理单元,用于将所述地面平面方程对应的平面沿所述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;第一确定单元,用于根据所述分割平面确定预备障碍物点云,所述预备障碍物点云为位于所述分割平面靠近所述机器人坐标系的Z轴的正方向的一侧的所述待识别点云;第二确定单元,用于对所述预备障碍物点云进行识别,确定障碍物点云,所述障碍物点云为标定为障碍物的点云。
根据本发明实施例的再一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序执行所述的方法。
根据本发明实施例的又一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述的方法。
在本发明实施例中,上述障碍物的检测方法中,首先,获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;然后,根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;之后,将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;之后,根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;最后,对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。通过实时计算地面平面方程,避免深度相机随机器人移动发生抖动时地面平面方程与平地的地面平面方程差异较大,导致地面平面方程不可靠的问题,提高了地面平面方程的可靠性,解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请的一种实施例的障碍物的检测方法的流程图;
图2示出了根据本申请的一种实施例的障碍物的检测装置的示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的,现有技术中地面平面方程可靠度低导致障碍物漏检和误检,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种障碍物的检测方法、装置、计算机可读存储介质和处理器。
根据本申请的实施例,提供了一种障碍物的检测方法。
图1是根据本申请实施例的障碍物的检测方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;
步骤S102,根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;
步骤S103,将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;
步骤S104,根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;
步骤S105,对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。
上述障碍物的检测方法中,首先,获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;然后,根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;之后,将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;之后,根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;最后,对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。通过实时计算地面平面方程,避免深度相机随机器人移动发生抖动时地面平面方程与平地的地面平面方程差异较大,导致地面平面方程不可靠的问题,提高了地面平面方程的可靠性,解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中,根据上述待识别点云实时计算地面平面方程,包括:获取先验平面方程,上述先验平面方程为上述机器人在平地上时地面在机器人坐标系下的方程,上述先验平面方程对应的平面与上述机器人坐标系的Z轴垂直;根据上述先验平面方程确定分割面候选区域,上述分割面候选区域为上述机器人坐标系中第一平面和第二平面之间的区域,上述第一平面为上述先验平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第二预定值得到的,上述第二平面为上述先验平面方程对应的平面沿上述机器人坐标系的Z轴的负方向移动上述第二预定值得到的,上述机器人坐标系的Z轴的正方向为高度升高的方向;根据上述分割面候选区域内的上述待识别点云确定最大平面方程,上述最大平面方程为上述分割面候选区域内上述待识别点云形成的最大平面在机器人坐标系下的方程;根据上述先验平面方程和上述最大平面方程确定上述地面平面方程。具体地,深度相机安装在机器人上后,需要标定相机的安装外参,根据外参即可确定先验平面方程,若对障碍物检测精度要求低,且机器人活动的地面相对比较平整,则仅保留用P1上方固定高度点云既可,例如,P1上方6cm。但实际场景中地面不是很平整,机器人运动时会有上下颠簸,这会造成将部分地面点云认定为障碍物,上述方法获取分割面候选区域,在先验平面方程P1对应的平面在Z轴上下小范围区域用RANSAC提取最大平面,例如,上下20cm,即得到最大平面对应的最大平面方程P2,根据实际情况在先验平面方程P1和最大平面方程P2中选择合适的地面平面方程。
需要说明的是,采用球形点云滤波器仅保留需要处理区域范围内的点云,将点云从相机坐标系转换到机器人坐标系,对当前点云利用矩形框滤波器保留小车规定范围内的点云数据,即可得到分割面候选区域的点云,这里的参数可变,例如,背负式AGV在背负和空载两种状态下需要点云范围不同。
本申请的一种实施例中,根据上述分割面候选区域内的上述待识别点云确定最大平面方程,包括:将上述分割面候选区域划分为多个第一单元格,上述第一单元格为边长为第一长度的正方体;将各上述第一单元格内的上述待识别点云进行采样,得到多个预备采样点,上述预备采样点的坐标为上述第一单元格内的上述待识别点云的任意一个点的坐标;将上述分割面候选区域划分为多个第二单元格,上述第二单元格为边长为第二长度的正方体,上述第二长度大于上述第一长度;将上述第二单元格内的上述采样点进行二次采样,得到多个采样点,上述采样点为上述第二单元格内的上述采样点的重心;根据上述采样点确定上述最大平面方程,上述最大平面方程为上述采样点形成的最大平面在机器人坐标系下的方程。具体地,深度相机直出的点云过于稠密,若后续的滤波器对其直接处理,则非常占用CPU资源,若降采样过于稀疏,则检测精度会下降,因此对点云进行合适尺度的降采样处理。主流的点云降采样方法有体素滤波和直接降采样,体素滤波计算每个单元格中所有点的平局坐标值,非常耗费计算资源,但整体点云分布较为均匀,例如一个平面上的点云经过体素滤波后,所有点云几乎是在一个平面上。直接降采样将每个单元格中第一个出现的点作为这个单元格的代表,降采样速度快,占用资源少,但其采样后的点分布误差较大,上述方法结合以上两种滤波器的优缺点,用小尺度单元格的直接降采样和大尺度单元格的体素滤波叠加降采样,在保证降采样精度的同时,提高计算速度,也就是说,既可以有较好的降采样效果,又有降低了CPU占用。
本申请的一种实施例中,根据上述先验平面方程和上述最大平面方程确定上述地面平面方程,包括:在满足至少一个预定条件的情况下,确定上述先验平面方程为上述地面平面方程,上述预定条件包括第一点与第二点的距离大于距离阈值、第一法向量与第二法向量的夹角大于预定夹角以及上述分割面候选区域内的点云的点数小于点数阈值,上述第一点为上述先验平面方程对应的平面上,X轴坐标和Y轴坐标均小于第三预定值的任意一点,上述第二点为上述最大平面方程对应的平面上,X轴坐标和Y轴坐标均小于上述第三预定值的任意一点,上述第一法向量为上述先验平面方程对应的平面的法向量,上述第二法向量为上述最大平面方程对应的平面的法向量;在所有的上述预定条件均不满足的情况下,确定上述最大平面方程为上述地面平面方程。具体地,第一点与第二点的距离大于距离阈值,最大平面方程对应的平面为台阶平面,第一法向量与第二法向量的夹角大于预定夹角,最大平面方程对应的平面为墙面平面,分割面候选区域内的点云的点数小于点数阈值,点云是噪声等形成的点云,因此,这三个任意一种情况下,地面平面方程对应的平面均不是地面,确定上述先验平面方程为上述地面平面方程,否则,地面平面方程对应的平面是地面,确定上述最大平面方程为上述地面平面方程。
本申请的一种实施例中,上述障碍物点云包括悬浮障碍物点云、高障碍物点云和低障碍物点云,对上述预备障碍物点云进行识别,确定障碍物点云,包括:将所有点的Z轴坐标大于第四预定值的上述预备障碍物点云,标定为上述悬浮障碍物点云,上述第四预定值大于第二预定值;将部分点的Z轴坐标大于上述第四预定值的上述预备障碍物点云,标定为上述高障碍物点云;将所有点的Z轴坐标小于或者等于上述第二预定值的上述预备障碍物点云,标定为上述低障碍物点云。具体地,将所有点云进行欧式聚类,去除点云噪声,上述方法将把聚类得到的多个点云块根据其几何特征和统计特征分类为悬浮障碍物点云、高障碍物点云和低障碍物点云。
本申请的一种实施例中,在对上述预备障碍物点云进行识别,确定障碍物点云之后,上述方法还包括:根据目标点确定上述目标点的邻近点,上述目标点为上述高障碍物点云或者上述低障碍物点云的任意一点,上述邻近点为上述高障碍物点云或者上述低障碍物点云中,与上述目标点的距离小于第一预定距离的点;根据聚类条件将上述目标点进行聚类得到多个点云块,上述聚类条件包括第一聚类条件、第二聚类条件和第三聚类条件,上述第一聚类条件为满足上述目标点的Z轴坐标与所有上述邻近点的Z轴坐标的差值大于第五预定值,上述第二聚类条件为同时满足上述目标点的法向量角度小于或者等于预定角度、上述目标点的Z轴坐标与所有的上述邻近点的Z轴坐标的差值均小于第六预定值以及上述目标点与所有的上述邻近点的欧式距离均小于第二预定距离,上述法向量角度为上述目标点的局部法向量与上述机器人坐标系的Z轴的夹角,上述局部法向量为上述目标点和上述邻近点组成的曲面在上述目标点的切线的法向量,上述第二预定距离小于上述第一预定距离,上述第六预定值小于上述第五预定值,上述第三聚类条件为同时满足属于不满足上述第一聚类条件和第二聚类条件的上述目标点、上述目标点的法向量角度大于上述预定角度以及上述目标点与所有的上述邻近点的欧式距离均小于第三预定距离;将多个上述点云块进行拼接,得到上述障碍物点云。具体地,由于深度相机多路径因素,高障碍物点云下方会包含部分扭曲下沉的地面,低矮障碍物点云可能是真实的低矮障碍物,也可能是正常地面,上述方法将通过聚类把同一平面的点聚类在一起,形成点云块,点云块进行拼接后,即可区分地面和障碍物,避免把正常地面识别为低障碍物,以及高障碍物点云下方会包含部分扭曲下沉的地面,提高障碍物识别的精确度。
本申请的一种实施例中,在对上述预备障碍物点云进行识别,确定障碍物点云之后,上述方法还包括:根据上述低障碍物点云的点云数据生成第一强度图;根据上述第一强度图确定高强度区域,上述高强度区域为上述低障碍物点云的强度大于第一预定强度的区域;根据上述高强度区域确定阴影区域,上述阴影区域为上述第一强度图中上述高强度区域的点云对应的障碍物遮挡导致无法采集点云的区域;根据占空比确定上述低障碍物点云是否误判,上述占空比为上述阴影区域内的点云所占面积与上述阴影区域的面积的比值。具体地,地面上贴有例如安全出口等标签时,因标签反射率比地面反射率高,标签位置的点云比地面点云高,会误判为低矮障碍物,因此需要对第一强度图确定高强度区域进行误检筛查,真实低矮障碍物后方一定范围内应当没有点云,即可通过低矮障碍物点云后方的阴影区域的占空比确定是否为真实的障碍物,从而确定是否误判。
本申请的一种实施例中,根据占空比确定上述低障碍物点云是否误判,包括:在上述占空比大于预定阈值的情况下,确定上述低障碍物点云误判;在上述占空比小于或者等于上述预定阈值的情况下,确定上述低障碍物点云没有误判。具体地,上述占空比大于预定阈值,即可证明低障碍物点云后面存在点云,上述低障碍物点云不是真实的障碍物,否则即可确定上述低障碍物点云不是真实的障碍物,需要说明的是,上述占空比小于或者等于上述预定阈值,可能标签距离较远,标签后方区域原本的点云就很少,需要机器人靠近进行识别。
本申请的一种实施例中,在对上述预备障碍物点云进行识别,确定障碍物点云之后,上述方法还包括:根据上述待识别点云的点云数据生成第二强度图;根据上述第二强度图确定强度异常区域,上述强度异常区域为上述待识别点云的强度大于第二预定强度或者小于第三预定强度的区域,上述第三预定强度小于上述第二预定强度;对上述第二强度图进行逆透视变换,得到变换强度图;对比上述变换强度图和上述第二强度图的上述强度异常区域,确定上述强度异常区域对应的上述待识别点云是否为上述障碍物点云。具体地,地面上障碍物可能是高反射率或低反射率材料,比如铝型材或黑色盒子,这部分区域的障碍物由于过曝或者强度过低,实际产生的点云非常少,可能导致漏检,因此需要对强度异常区域进行漏检筛查,强度图异常区域,做相机和地面的IPM逆透视变换,若变换后的区域会被拉伸异常长,则可以判定该区域是真实立体物体,确定漏检,以区域下方的点云作为障碍物下边缘,强度图上边缘根据透视变换得到物体的上边缘,以此估计弱反射障碍的位置的大小,从而减少漏检测。
本申请的一种实施例中,对比上述变换强度图和上述第二强度图的上述强度异常区域,确定上述强度异常区域对应的上述待识别点云是否为上述障碍物点云,包括:在第一长度与第二长度的比值大于预定比值的情况下,确定上述强度异常区域的上述待识别点云为障碍物点云,上述第一长度为上述变换强度图中上述强度异常区域在目标方向上的长度,上述第二长度为上述第二强度图中上述强度异常区域在上述目标方向上的长度,上述目标方向为任意方向,上述预定比值大于1;在第一长度与第二长度的比值小于或者等于上述预定比值的情况下,确定上述强度异常区域的上述待识别点云不是障碍物点云。具体地,上述方法即可判断强度图异常区域变换后的区域是否满足被拉伸异常长的条件,从而确定是否漏检,保证识别的准确度。
本申请实施例还提供了一种障碍物的检测装置,需要说明的是,本申请实施例的障碍物的检测装置可以用于执行本申请实施例所提供的用于障碍物的检测方法。以下对本申请实施例提供的障碍物的检测装置进行介绍。
图2是根据本申请实施例的障碍物的检测装置的示意图。如图2所示,该装置包括:
获取单元10,用于获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;
计算单元20,用于根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;
处理单元30,用于将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;
第一确定单元40,用于根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;
第二确定单元50,用于对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。
上述障碍物的检测装置中,获取单元获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;计算单元根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;处理单元将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;第一确定单元根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;第二确定单元对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。该装置通过实时计算地面平面方程,避免深度相机随机器人移动发生抖动时地面平面方程与平地的地面平面方程差异较大,导致地面平面方程不可靠的问题,提高了地面平面方程的可靠性,解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
本申请的一种实施例中,上述计算单元包括获取模块、第一确定模块、第二确定模块和第三确定模块,其中,上述获取模块用于获取先验平面方程,上述先验平面方程为上述机器人在平地上时地面在机器人坐标系下的方程,上述先验平面方程对应的平面与上述机器人坐标系的Z轴垂直;上述第一确定模块用于根据上述先验平面方程确定分割面候选区域,上述分割面候选区域为上述机器人坐标系中第一平面和第二平面之间的区域,上述第一平面为上述先验平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第二预定值得到的,上述第二平面为上述先验平面方程对应的平面沿上述机器人坐标系的Z轴的负方向移动上述第二预定值得到的,上述机器人坐标系的Z轴的正方向为高度升高的方向;上述第二确定模块用于根据上述分割面候选区域内的上述待识别点云确定最大平面方程,上述最大平面方程为上述分割面候选区域内上述待识别点云形成的最大平面在机器人坐标系下的方程;上述第三确定模块用于根据上述先验平面方程和上述最大平面方程确定上述地面平面方程。具体地,深度相机安装在机器人上后,需要标定相机的安装外参,根据外参即可确定先验平面方程,若对障碍物检测精度要求低,且机器人活动的地面相对比较平整,则仅保留用P1上方固定高度点云既可,例如,P1上方6cm。但实际场景中地面不是很平整,机器人运动时会有上下颠簸,这会造成将部分地面点云认定为障碍物,上述方法获取分割面候选区域,在先验平面方程P1对应的平面在Z轴上下小范围区域用RANSAC提取最大平面,例如,上下20cm,即得到最大平面对应的最大平面方程P2,根据实际情况在先验平面方程P1和最大平面方程P2中选择合适的地面平面方程。
需要说明的是,采用球形点云滤波器仅保留需要处理区域范围内的点云,将点云从相机坐标系转换到机器人坐标系,对当前点云利用矩形框滤波器保留小车规定范围内的点云数据,即可得到分割面候选区域的点云,这里的参数可变,例如,背负式AGV在背负和空载两种状态下需要点云范围不同。
本申请的一种实施例中,上述第二确定模块用于包括第一处理子模块、第一采样子模块、第二处理子模块、第二采样子模块和第一确定子模块,其中,上述第一处理子模块用于将上述分割面候选区域划分为多个第一单元格,上述第一单元格为边长为第一长度的正方体;上述第一采样子模块用于将各上述第一单元格内的上述待识别点云进行采样,得到多个预备采样点,上述预备采样点的坐标为上述第一单元格内的上述待识别点云的任意一个点的坐标;上述第二处理子模块用于将上述分割面候选区域划分为多个第二单元格,上述第二单元格为边长为第二长度的正方体,上述第二长度大于上述第一长度;上述第二采样子模块将上述第二单元格内的上述采样点进行二次采样,得到多个采样点,上述采样点为上述第二单元格内的上述采样点的重心;上述第一确定子模块用于根据上述采样点确定上述最大平面方程,上述最大平面方程为上述采样点形成的最大平面在机器人坐标系下的方程。具体地,深度相机直出的点云过于稠密,若后续的滤波器对其直接处理,则非常占用CPU资源,若降采样过于稀疏,则检测精度会下降,因此对点云进行合适尺度的降采样处理。主流的点云降采样方法有体素滤波和直接降采样,体素滤波计算每个单元格中所有点的平局坐标值,非常耗费计算资源,但整体点云分布较为均匀,例如一个平面上的点云经过体素滤波后,所有点云几乎是在一个平面上。直接降采样将每个单元格中第一个出现的点作为这个单元格的代表,降采样速度快,占用资源少,但其采样后的点分布误差较大,上述方法结合以上两种滤波器的优缺点,用小尺度单元格的直接降采样和大尺度单元格的体素滤波叠加降采样,在保证降采样精度的同时,提高计算速度,也就是说,既可以有较好的降采样效果,又有降低了CPU占用。
本申请的一种实施例中,上述第三确定模块包括第二确定子模块和第三确定子模块,其中,上述第二确定子模块用于在满足至少一个预定条件的情况下,确定上述先验平面方程为上述地面平面方程,上述预定条件包括第一点与第二点的距离大于距离阈值、第一法向量与第二法向量的夹角大于预定夹角以及上述分割面候选区域内的点云的点数小于点数阈值,上述第一点为上述先验平面方程对应的平面上,X轴坐标和Y轴坐标均小于第三预定值的任意一点,上述第二点为上述最大平面方程对应的平面上,X轴坐标和Y轴坐标均小于上述第三预定值的任意一点,上述第一法向量为上述先验平面方程对应的平面的法向量,上述第二法向量为上述最大平面方程对应的平面的法向量;上述第三确定子模块用于在所有的上述预定条件均不满足的情况下,确定上述最大平面方程为上述地面平面方程。具体地,第一点与第二点的距离大于距离阈值,最大平面方程对应的平面为台阶平面,第一法向量与第二法向量的夹角大于预定夹角,最大平面方程对应的平面为墙面平面,分割面候选区域内的点云的点数小于点数阈值,点云是噪声等形成的点云,因此,这三个任意一种情况下,地面平面方程对应的平面均不是地面,确定上述先验平面方程为上述地面平面方程,否则,地面平面方程对应的平面是地面,确定上述最大平面方程为上述地面平面方程。
本申请的一种实施例中,上述障碍物点云包括悬浮障碍物点云、高障碍物点云和低障碍物点云,上述第二确定单元包括第一标定模块、第二标定模块和第三标定模块,其中,上述第一标定模块用于将所有点的Z轴坐标大于第四预定值的上述预备障碍物点云,标定为上述悬浮障碍物点云,上述第四预定值大于第二预定值;上述第二标定模块用于将部分点的Z轴坐标大于上述第四预定值的上述预备障碍物点云,标定为上述高障碍物点云;上述第三标定模块用于将所有点的Z轴坐标小于或者等于上述第二预定值的上述预备障碍物点云,标定为上述低障碍物点云。具体地,将所有点云进行欧式聚类,去除点云噪声,上述方法将把聚类得到的多个点云块根据其几何特征和统计特征分类为悬浮障碍物点云、高障碍物点云和低障碍物点云。
本申请的一种实施例中,上述装置还包括第一复检单元,上述第一复检单元包括第四确定模块、聚类模块和合成模块,其中,上述第四确定模块用于在对上述预备障碍物点云进行识别,确定障碍物点云之后,根据目标点确定上述目标点的邻近点,上述目标点为上述高障碍物点云或者上述低障碍物点云的任意一点,上述邻近点为上述高障碍物点云或者上述低障碍物点云中,与上述目标点的距离小于第一预定距离的点;上述聚类模块用于根据聚类条件将上述目标点进行聚类得到多个点云块,上述聚类条件包括第一聚类条件、第二聚类条件和第三聚类条件,上述第一聚类条件为满足上述目标点的Z轴坐标与所有上述邻近点的Z轴坐标的差值大于第五预定值,上述第二聚类条件为同时满足上述目标点的法向量角度小于或者等于预定角度、上述目标点的Z轴坐标与所有的上述邻近点的Z轴坐标的差值均小于第六预定值以及上述目标点与所有的上述邻近点的欧式距离均小于第二预定距离,上述法向量角度为上述目标点的局部法向量与上述机器人坐标系的Z轴的夹角,上述局部法向量为上述目标点和上述邻近点组成的曲面在上述目标点的切线的法向量,上述第二预定距离小于上述第一预定距离,上述第六预定值小于上述第五预定值,上述第三聚类条件为同时满足属于不满足上述第一聚类条件和第二聚类条件的上述目标点、上述目标点的法向量角度大于上述预定角度以及上述目标点与所有的上述邻近点的欧式距离均小于第三预定距离;上述合成模块用于将多个上述点云块进行拼接,得到上述障碍物点云。具体地,由于深度相机多路径因素,高障碍物点云下方会包含部分扭曲下沉的地面,低矮障碍物点云可能是真实的低矮障碍物,也可能是正常地面,上述方法将通过聚类把同一平面的点聚类在一起,形成点云块,点云块进行拼接后,即可区分地面和障碍物,避免把正常地面识别为低障碍物,以及高障碍物点云下方会包含部分扭曲下沉的地面,提高障碍物识别的精确度。
本申请的一种实施例中,上述装置还包括第二复检单元,上述第二复检单元包括第一生成模块、第五确定模块、第六确定模块和第七确定模块,其中,上述第一生成模块用于在对上述预备障碍物点云进行识别,确定障碍物点云之后,根据上述低障碍物点云的点云数据生成第一强度图;上述第五确定模块用于根据上述第一强度图确定高强度区域,上述高强度区域为上述低障碍物点云的强度大于第一预定强度的区域;上述第六确定模块用于根据上述高强度区域确定阴影区域,上述阴影区域为上述第一强度图中上述高强度区域的点云对应的障碍物遮挡导致无法采集点云的区域;上述第七确定模块用于根据占空比确定上述低障碍物点云是否误判,上述占空比为上述阴影区域内的点云所占面积与上述阴影区域的面积的比值。具体地,地面上贴有例如安全出口等标签时,因标签反射率比地面反射率高,标签位置的点云比地面点云高,会误判为低矮障碍物,因此需要对第一强度图确定高强度区域进行误检筛查,真实低矮障碍物后方一定范围内应当没有点云,即可通过低矮障碍物点云后方的阴影区域的占空比确定是否为真实的障碍物,从而确定是否误判。
本申请的一种实施例中,上述第七确定模块包括第四确定子模块和第五确定子模块,其中,上述第四确定子模块用于在上述占空比大于预定阈值的情况下,确定上述低障碍物点云误判;上述第五确定子模块用于在上述占空比小于或者等于上述预定阈值的情况下,确定上述低障碍物点云没有误判。具体地,上述占空比大于预定阈值,即可证明低障碍物点云后面存在点云,上述低障碍物点云不是真实的障碍物,否则即可确定上述低障碍物点云不是真实的障碍物,需要说明的是,上述占空比小于或者等于上述预定阈值,可能标签距离较远,标签后方区域原本的点云就很少,需要机器人靠近进行识别。
本申请的一种实施例中,上述装置还包括第三复检单元,上述第三复检单元包括第二生成模块、第八确定模块、处理模块和第九确定模块,其中,上述第二生成模块用于在对上述预备障碍物点云进行识别,确定障碍物点云之后,根据上述待识别点云的点云数据生成第二强度图;上述第八确定模块用于根据上述第二强度图确定强度异常区域,上述强度异常区域为上述待识别点云的强度大于第二预定强度或者小于第三预定强度的区域,上述第三预定强度小于上述第二预定强度;上述处理模块用于对上述第二强度图进行逆透视变换,得到变换强度图;上述第九确定模块用于对比上述变换强度图和上述第二强度图的上述强度异常区域,确定上述强度异常区域对应的上述待识别点云是否为上述障碍物点云。具体地,地面上障碍物可能是高反射率或低反射率材料,比如铝型材或黑色盒子,这部分区域的障碍物由于过曝或者强度过低,实际产生的点云非常少,可能导致漏检,因此需要对强度异常区域进行漏检筛查,强度图异常区域,做相机和地面的IPM逆透视变换,若变换后的区域会被拉伸异常长,则可以判定该区域是真实立体物体,确定漏检,以区域下方的点云作为障碍物下边缘,强度图上边缘根据透视变换得到物体的上边缘,以此估计弱反射障碍的位置的大小,从而减少漏检测。
本申请的一种实施例中,上述第九确定模块包括第六确定子模块和第七确定子模块,其中,上述第六确定子模块用于在第一长度与第二长度的比值大于预定比值的情况下,确定上述强度异常区域的上述待识别点云为障碍物点云,上述第一长度为上述变换强度图中上述强度异常区域在目标方向上的长度,上述第二长度为上述第二强度图中上述强度异常区域在上述目标方向上的长度,上述目标方向为任意方向,上述预定比值大于1;上述第七确定子模块用于在第一长度与第二长度的比值小于或者等于上述预定比值的情况下,确定上述强度异常区域的上述待识别点云不是障碍物点云。具体地,上述方法即可判断强度图异常区域变换后的区域是否满足被拉伸异常长的条件,从而确定是否漏检,保证识别的准确度。
上述障碍物的检测装置包括处理器和存储器,上述获取单元、计算单元、处理单元、第一确定单元和第二确定单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述方法。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;
步骤S102,根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;
步骤S103,将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;
步骤S104,根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;
步骤S105,对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;
步骤S102,根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;
步骤S103,将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;
步骤S104,根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;
步骤S105,对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请的障碍物的检测方法中,首先,获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;然后,根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;之后,将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;之后,根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;最后,对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。通过实时计算地面平面方程,避免深度相机随机器人移动发生抖动时地面平面方程与平地的地面平面方程差异较大,导致地面平面方程不可靠的问题,提高了地面平面方程的可靠性,解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
2)、本申请的障碍物的检测装置中,获取单元获取待识别点云,上述待识别点云为上述深度相机视野内物体的点云;计算单元根据上述待识别点云实时计算地面平面方程,上述地面平面方程为当前地面在机器人坐标系下的方程;处理单元将上述地面平面方程对应的平面沿上述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;第一确定单元根据上述分割平面确定预备障碍物点云,上述预备障碍物点云为位于上述分割平面靠近上述机器人坐标系的Z轴的正方向的一侧的上述待识别点云;第二确定单元对上述预备障碍物点云进行识别,确定障碍物点云,上述障碍物点云为标定为障碍物的点云。该装置通过实时计算地面平面方程,避免深度相机随机器人移动发生抖动时地面平面方程与平地的地面平面方程差异较大,导致地面平面方程不可靠的问题,提高了地面平面方程的可靠性,解决现有技术中地面平面方程可靠度低导致障碍物漏检和误检的问题。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种障碍物的检测方法,其特征在于,机器人包括深度相机,所述方法包括:
获取待识别点云,所述待识别点云为所述深度相机视野内物体的点云;
根据所述待识别点云实时计算地面平面方程,所述地面平面方程为当前地面在机器人坐标系下的方程;
将所述地面平面方程对应的平面沿所述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;
根据所述分割平面确定预备障碍物点云,所述预备障碍物点云为位于所述分割平面靠近所述机器人坐标系的Z轴的正方向的一侧的所述待识别点云;
对所述预备障碍物点云进行识别,确定障碍物点云,所述障碍物点云为标定为障碍物的点云。
2.根据权利要求1所述的方法,其特征在于,根据所述待识别点云实时计算地面平面方程,包括:
获取先验平面方程,所述先验平面方程为所述机器人在平地上时地面在机器人坐标系下的方程,所述先验平面方程对应的平面与所述机器人坐标系的Z轴垂直;
根据所述先验平面方程确定分割面候选区域,所述分割面候选区域为所述机器人坐标系中第一平面和第二平面之间的区域,所述第一平面为所述先验平面方程对应的平面沿所述机器人坐标系的Z轴的正方向移动第二预定值得到的,所述第二平面为所述先验平面方程对应的平面沿所述机器人坐标系的Z轴的负方向移动所述第二预定值得到的,所述机器人坐标系的Z轴的正方向为高度升高的方向;
根据所述分割面候选区域内的所述待识别点云确定最大平面方程,所述最大平面方程为所述分割面候选区域内所述待识别点云形成的最大平面在机器人坐标系下的方程;
根据所述先验平面方程和所述最大平面方程确定所述地面平面方程。
3.根据权利要求2所述的方法,其特征在于,根据所述分割面候选区域内的所述待识别点云确定最大平面方程,包括:
将所述分割面候选区域划分为多个第一单元格,所述第一单元格为边长为第一长度的正方体;
将各所述第一单元格内的所述待识别点云进行采样,得到多个预备采样点,所述预备采样点的坐标为所述第一单元格内的所述待识别点云的任意一个点的坐标;
将所述分割面候选区域划分为多个第二单元格,所述第二单元格为边长为第二长度的正方体,所述第二长度大于所述第一长度;
将所述第二单元格内的所述采样点进行二次采样,得到多个采样点,所述采样点为所述第二单元格内的所述采样点的重心;
根据所述采样点确定所述最大平面方程,所述最大平面方程为所述采样点形成的最大平面在机器人坐标系下的方程。
4.根据权利要求2所述的方法,其特征在于,根据所述先验平面方程和所述最大平面方程确定所述地面平面方程,包括:
在满足至少一个预定条件的情况下,确定所述先验平面方程为所述地面平面方程,所述预定条件包括第一点与第二点的距离大于距离阈值、第一法向量与第二法向量的夹角大于预定夹角以及所述分割面候选区域内的点云的点数小于点数阈值,所述第一点为所述先验平面方程对应的平面上,X轴坐标和Y轴坐标均小于第三预定值的任意一点,所述第二点为所述最大平面方程对应的平面上,X轴坐标和Y轴坐标均小于所述第三预定值的任意一点,所述第一法向量为所述先验平面方程对应的平面的法向量,所述第二法向量为所述最大平面方程对应的平面的法向量;
在所有的所述预定条件均不满足的情况下,确定所述最大平面方程为所述地面平面方程。
5.根据权利要求1所述的方法,其特征在于,所述障碍物点云包括悬浮障碍物点云、高障碍物点云和低障碍物点云,对所述预备障碍物点云进行识别,确定障碍物点云,包括:
将所有点的Z轴坐标大于第四预定值的所述预备障碍物点云,标定为所述悬浮障碍物点云,所述第四预定值大于第二预定值;
将部分点的Z轴坐标大于所述第四预定值的所述预备障碍物点云,标定为所述高障碍物点云;
将所有点的Z轴坐标小于或者等于所述第二预定值的所述预备障碍物点云,标定为所述低障碍物点云。
6.根据权利要求5所述的方法,其特征在于,在对所述预备障碍物点云进行识别,确定障碍物点云之后,所述方法还包括:
根据目标点确定所述目标点的邻近点,所述目标点为所述高障碍物点云或者所述低障碍物点云的任意一点,所述邻近点为所述高障碍物点云或者所述低障碍物点云中,与所述目标点的距离小于第一预定距离的点;
根据聚类条件将所述目标点进行聚类得到多个点云块,所述聚类条件包括第一聚类条件、第二聚类条件和第三聚类条件,所述第一聚类条件为满足所述目标点的Z轴坐标与所有所述邻近点的Z轴坐标的差值大于第五预定值,所述第二聚类条件为同时满足所述目标点的法向量角度小于或者等于预定角度、所述目标点的Z轴坐标与所有的所述邻近点的Z轴坐标的差值均小于第六预定值以及所述目标点与所有的所述邻近点的欧式距离均小于第二预定距离,所述法向量角度为所述目标点的局部法向量与所述机器人坐标系的Z轴的夹角,所述局部法向量为所述目标点和所述邻近点组成的曲面在所述目标点的切线的法向量,所述第二预定距离小于所述第一预定距离,所述第六预定值小于所述第五预定值,所述第三聚类条件为同时满足属于不满足所述第一聚类条件和第二聚类条件的所述目标点、所述目标点的法向量角度大于所述预定角度以及所述目标点与所有的所述邻近点的欧式距离均小于第三预定距离;
将多个所述点云块进行拼接,得到所述障碍物点云。
7.根据权利要求5所述的方法,其特征在于,在对所述预备障碍物点云进行识别,确定障碍物点云之后,所述方法还包括:
根据所述低障碍物点云的点云数据生成第一强度图;
根据所述第一强度图确定高强度区域,所述高强度区域为所述低障碍物点云的强度大于第一预定强度的区域;
根据所述高强度区域确定阴影区域,所述阴影区域为所述第一强度图中所述高强度区域的点云对应的障碍物遮挡导致无法采集点云的区域;
根据占空比确定所述低障碍物点云是否误判,所述占空比为所述阴影区域内的点云所占面积与所述阴影区域的面积的比值。
8.根据权利要求7所述的方法,其特征在于,根据占空比确定所述低障碍物点云是否误判,包括:
在所述占空比大于预定阈值的情况下,确定所述低障碍物点云误判;
在所述占空比小于或者等于所述预定阈值的情况下,确定所述低障碍物点云没有误判。
9.根据权利要求5所述的方法,其特征在于,在对所述预备障碍物点云进行识别,确定障碍物点云之后,所述方法还包括:
根据所述待识别点云的点云数据生成第二强度图;
根据所述第二强度图确定强度异常区域,所述强度异常区域为所述待识别点云的强度大于第二预定强度或者小于第三预定强度的区域,所述第三预定强度小于所述第二预定强度;
对所述第二强度图进行逆透视变换,得到变换强度图;
对比所述变换强度图和所述第二强度图的所述强度异常区域,确定所述强度异常区域对应的所述待识别点云是否为所述障碍物点云。
10.根据权利要求9所述的方法,其特征在于,对比所述变换强度图和所述第二强度图的所述强度异常区域,确定所述强度异常区域对应的所述待识别点云是否为所述障碍物点云,包括:
在第一长度与第二长度的比值大于预定比值的情况下,确定所述强度异常区域的所述待识别点云为障碍物点云,所述第一长度为所述变换强度图中所述强度异常区域在目标方向上的长度,所述第二长度为所述第二强度图中所述强度异常区域在所述目标方向上的长度,所述目标方向为任意方向,所述预定比值大于1;
在第一长度与第二长度的比值小于或者等于所述预定比值的情况下,确定所述强度异常区域的所述待识别点云不是障碍物点云。
11.一种障碍物的检测装置,其特征在于,机器人包括深度相机,所述装置包括:
获取单元,用于获取待识别点云,所述待识别点云为所述深度相机视野内物体的点云;
计算单元,用于根据所述待识别点云实时计算地面平面方程,所述地面平面方程为当前地面在机器人坐标系下的方程;
处理单元,用于将所述地面平面方程对应的平面沿所述机器人坐标系的Z轴的正方向移动第一预定值,得到分割平面;
第一确定单元,用于根据所述分割平面确定预备障碍物点云,所述预备障碍物点云为位于所述分割平面靠近所述机器人坐标系的Z轴的正方向的一侧的所述待识别点云;
第二确定单元,用于对所述预备障碍物点云进行识别,确定障碍物点云,所述障碍物点云为标定为障碍物的点云。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,所述程序执行权利要求1至10中任意一项所述的方法。
13.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至10中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210240766.1A CN114764885A (zh) | 2022-03-10 | 2022-03-10 | 障碍物的检测方法、装置、计算机可读存储介质和处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210240766.1A CN114764885A (zh) | 2022-03-10 | 2022-03-10 | 障碍物的检测方法、装置、计算机可读存储介质和处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114764885A true CN114764885A (zh) | 2022-07-19 |
Family
ID=82364661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210240766.1A Pending CN114764885A (zh) | 2022-03-10 | 2022-03-10 | 障碍物的检测方法、装置、计算机可读存储介质和处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114764885A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115641462A (zh) * | 2022-12-26 | 2023-01-24 | 电子科技大学 | 一种雷达图像目标识别方法 |
CN116740361A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 一种点云分割方法、装置、存储介质及电子设备 |
-
2022
- 2022-03-10 CN CN202210240766.1A patent/CN114764885A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115641462A (zh) * | 2022-12-26 | 2023-01-24 | 电子科技大学 | 一种雷达图像目标识别方法 |
CN116740361A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 一种点云分割方法、装置、存储介质及电子设备 |
CN116740361B (zh) * | 2023-08-11 | 2023-10-13 | 之江实验室 | 一种点云分割方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、***、装置 | |
CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距***及方法 | |
CN111210429B (zh) | 点云数据划分方法及装置、障碍物检测方法及装置 | |
US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
CN114764885A (zh) | 障碍物的检测方法、装置、计算机可读存储介质和处理器 | |
CN111553946B (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
CN112097732A (zh) | 一种基于双目相机的三维测距方法、***、设备及可读存储介质 | |
CN111308500B (zh) | 基于单线激光雷达的障碍物感知方法、装置和计算机终端 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
CN116503803A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN114792416A (zh) | 一种目标检测方法及装置 | |
CN112683228A (zh) | 单目相机测距方法及装置 | |
CN114677655A (zh) | 多传感器目标检测方法、装置、电子设备以及存储介质 | |
CN115641553A (zh) | 掘进机作业环境侵入物的在线检测装置及方法 | |
CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及*** | |
Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
CN114648639B (zh) | 一种目标车辆的检测方法、***及装置 | |
CN113935946B (zh) | 实时检测地下障碍物的方法及装置 | |
CN115457506A (zh) | 一种目标检测方法、装置及存储介质 | |
Kovacs et al. | Edge detection in discretized range images | |
CN112001247A (zh) | 多目标检测方法、设备及存储装置 | |
CN113902043A (zh) | 目标识别方法、装置及设备 | |
Lee et al. | Object recognition and pose estimation based on 3D planar closed loop boundaries |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |