CN108460333B - 基于深度图的地面检测方法及装置 - Google Patents

基于深度图的地面检测方法及装置 Download PDF

Info

Publication number
CN108460333B
CN108460333B CN201810052737.6A CN201810052737A CN108460333B CN 108460333 B CN108460333 B CN 108460333B CN 201810052737 A CN201810052737 A CN 201810052737A CN 108460333 B CN108460333 B CN 108460333B
Authority
CN
China
Prior art keywords
point
points
sample
determining
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810052737.6A
Other languages
English (en)
Other versions
CN108460333A (zh
Inventor
王行
盛赞
李朔
周晓军
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810052737.6A priority Critical patent/CN108460333B/zh
Publication of CN108460333A publication Critical patent/CN108460333A/zh
Priority to US16/247,603 priority patent/US10885662B2/en
Application granted granted Critical
Publication of CN108460333B publication Critical patent/CN108460333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种基于深度图的地面检测方法及装置，方法包括：根据当前深度图中点的深度值筛选出第一样本点；确定第一样本点的空间坐标，并根据当前重力加速度信息和空间坐标确定第一样本点的空间高度；在第一样本点中根据空间高度筛选出第二样本点；根据第二样本点的空间坐标确定最优地面方程；利用最优地面方程确定深度图中的地面点。由于重力加速度信息不受深度相机姿态的影响，因此根据空间高度筛选的样本点不受深度相机姿态的影响，从而本案适用于各种相机姿态，且适用于存在较多平面干扰物场景的检测；由于经过二次筛选的样本点的准确度高，因此地面检测精度高；由于本案不过分依赖深度值，因此计算复杂度低，且可在不同硬件上运行。

Description

基于深度图的地面检测方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于深度图的地面检测方法及装置。
背景技术
目前地面检测已经广泛应用在机器人导航、自动驾驶、体感交互、安防监控等领域中。传统的地面检测是基于彩色图像中地面颜色信息的一致性进行检测，其适用的场景比较简单，对于复杂的场景其可靠性比较低。在相关技术中，由于深度图比彩色图具有丰富的空间信息，因此利用场景深度图的深度信息进行地面检测更具优势。然而现有基于深度图的地面检测方法通常对深度相机的姿态有要求，如果检测到相机的姿态不符合要求，需要人工进行调整到符合要求，因此存在相机不同姿态适应性较差，需要人工干预的问题。
发明内容
有鉴于此，本申请提供一种基于深度图的地面检测方法及装置，以解决现有地面检测方法存在相机不同姿态适应性较差，需要人工干预的问题。
根据本申请实施例的第一方面，提供一种基于深度图的地面检测方法，所述方法包括：
从采集设备获取当前的深度图和重力加速度信息；
根据所述深度图中点的深度值筛选出第一样本点；
确定所述第一样本点的空间坐标，并根据所述空间坐标和所述重力加速度信息确定所述第一样本点的空间高度；
在所述第一样本点中，根据所述空间高度继续筛选出第二样本点；
根据所述第二样本点的空间坐标确定最优地面方程；
利用所述最优地面方程确定所述深度图中的地面点。
根据本申请实施例的第二方面，提供一种基于深度图的地面检测装置，所述装置包括：
获取模块，用于从采集设备获取当前的深度图和重力加速度信息；
第一筛选模块，用于根据所述深度图中点的深度值筛选出第一样本点；
第一确定模块，用于确定所述第一样本点的空间坐标，并根据所述空间坐标和所述重力加速度信息确定所述第一样本点的空间高度；
第二筛选模块，用于在所述第一样本点中，根据所述空间高度继续筛选出第二样本点；
第二确定模块，用于根据所述第二样本点的空间坐标确定最优地面方程；
确定地面点模块，用于利用所述最优地面方程确定所述深度图中的地面点。
应用本申请实施例，在从采集设备获取到当前的深度图和重力加速度信息之后，可以根据该深度图中点的深度值筛选出第一样本点，并确定第一样本点的空间坐标，并根据空间坐标和重力加速度信息确定第一样本点的空间高度，然后在第一样本点中，根据空间高度继续筛选出第二样本点，并根据第二样本点的空间坐标确定最优地面方程，最后利用最优地面方程确定该深度图中的地面点。基于上述实现方式，基于重力加速度信息计算空间高度，由于重力加速度信息不受深度相机姿态的影响，因此根据空间高度筛选的样本点不受深度相机姿态的影响，从而本案可以适用于各种不同相机姿态，且适用于存在较多平面干扰物场景的检测。并且本案在利用深度值筛选样本点之后，进一步利用空间高度筛选样本点，因此经过二次筛选的样本点准确度高，其确定的地面方程更加精确，进而提高了地面检测精度。此外，由于本案不过分依赖深度值，因此计算复杂度低，执行效率高，占用内存低，可在不同硬件上运行。
附图说明
图1A为本申请根据一示例性实施例示出的一种基于深度图的地面检测方法的实施例流程图；
图1B为本申请根据图1A所示实施例示出的一种相机坐标系；
图1C至图1E分别为本申请根据图1A所示实施例示出的标有初筛点、次筛点、第一样本点的网格示意图；
图1F为本申请根据图1A所示实施例示出的标记有地面区域的深度图；
图2A为本申请根据一示例性实施例示出的另一种基于深度图的地面检测方法的实施例流程图；
图2B为本申请根据图2A所示实施例示出的一种图像像素坐标系和图像物理坐标系关系示意图；
图2C为本申请根据图2A所示实施例示出的一种相机坐标系下点的空间坐标矢量在重力加速度方向上的投影示意图；
图3为本申请根据一示例性实施例示出的又一种基于深度图的地面检测方法的实施例流程图；
图4为本申请根据一示例性实施例示出的一种处理设备的硬件结构图；
图5为本申请根据一示例性实施例示出的一种基于深度图的地面检测装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1A为本申请根据一示例性实施例示出的一种基于深度图的地面检测方法的实施例流程图；图1B为本申请根据图1A所示实施例示出的一种相机坐标系；图1C至图1E分别为本申请根据图1A所示实施例示出的标有初筛点、次筛点、第一样本点的网格示意图；图1F为本申请根据图1A所示实施例示出的标记有地面区域的深度图，该实施例可以应用于处理设备(例如PC机)上，如图1A所示，该基于深度图的地面检测方法包括如下步骤：
步骤101：从采集设备获取当前的深度图和重力加速度信息。
在一实施例中，采集设备可以包括深度相机以及重力加速度计，通过深度相机可以采集深度图，通过重力加速度计可以获取重力加速度信息。
其中，重力加速度信息也即重力加速度矢量，该矢量以相机坐标系为参考，该相机坐标系可以以深度相机光心O为坐标原点，深度相机光轴为ZC轴，XC轴和YC轴组成的面为深度相机平面，且XC轴与YC轴之间垂直，如图1B所示。
步骤102：根据深度图中点的深度值筛选出第一样本点。
在一实施例中，可以先在深度图中以预设步长建立网格，得到网格点，并将每条水平网格线中深度值最大的网络点确定为初筛点，然后针对每条水平网格线，若该条水平网格线的初筛点的深度值超过下一条水平网格线的初筛点的深度值，则将该条水平网格线的初筛点确定为次筛点，最后将连续相邻水平网络线的次筛点的数量超过第一预设数量的次筛点确定为第一样本点，该第一样本点指的是可能的地面点。
其中，预设步长指的是两个网格点的水平或垂直方向像素索引值的之间差值，可以根据实际经验设置，例如设置为8，由于深度图中相邻点之间的深度值相差比较小，且根据深度图的每个点深度值筛选，其计算量也比较大，因此通过建立网格，可以用水平网格线与垂直网格线之间的交点的深度值表示其附近点的深度值，且可以降低算法的计算量。由于地面通常在深度图的下方，因此可以在深度图的下半部建立网格，可以进一步降低算法的计算量。又由于在同一水平网格线中地面距离深度相机的纵深比较大，相应深度值也比较大的特点，因此可以从每条水平网格线里筛选出深度值最大的网格点作为初筛点；又由于地面点在深度图中越靠下，其纵深越小，相应深度值也越小，因此可以进一步将当前水平网格线中初筛点的深度值超过下一条水平网格线中初筛点的深度值的初筛点确定为次筛点。为了排除孤立点，可以将满足连续相邻水平网络线的次筛点的数量超过第一预设数量的次筛点确定为第一样本点，而将不满足的次筛点丢弃，该第一预设数量可以根据实际经验设置，例如设置为3。
在一示例性场景中，结合图1C至图1E所示，深度相机采集的深度图的分辨率为640×480，预设步长为8，第一预设数量为3，在深度图的下半部建立网格，即网格的四个顶点的坐标分别为(0，240)、(639，240)、(0，479)以及(639，479)，图1C中所示的8个小白点标识的网格点均是初筛点，即所在水平网格线中深度值最大的点；图1D中所示的6个小白点标识的网格点均是次筛点，即当前水平网格线中初筛点的深度值超过下一条水平网格线中初筛点的深度值，由于图1D中连续相邻水平网络线(第4、5、6、7行)的次筛点的数量超过3，因此，可以将第4、5、6、7行水平网格线中的次筛点确定为第一样本点，如图1E所示的4个小白点标识的网格点。
本领域技术人员可以理解的是，上述图1E所示的一组连续相邻水平网格线的次筛点作为第一样本点仅为示例性说明而非限制，本申请对连续相邻水平网格线的次筛点的数量超过第一预设数量的组数不做限制。
步骤103：确定第一样本点的空间坐标，并根据该空间坐标和重力加速度信息确定第一样本点的空间高度。
在一实施例中，第一样本点的空间坐标指的是第一样本点在相机坐标系下的坐标。第一样本点的空间高度指的是样本点相对深度相机光心的高度，也即样本点在重力方向上距深度相机光心的距离。
如何确定第一样本点的空间坐标，并根据该空间坐标和重力加速度信息确定第一样本点的空间高度的描述可以参见下述图2A所示实施例的描述，在此先不详述。
步骤104：在第一样本点中，根据空间高度继续筛选出第二样本点。
如何在第一样本点中，根据空间高度继续筛选出第二样本点的描述可以参见下述图3所示实施例的描述，在此先不详述。
步骤105：根据第二样本点的空间坐标确定最优地面方程。
在一实施例中，针对根据第二样本点的空间坐标确定最优地面方程的过程，可以从第二样本点中选取第二预设数量组的样本点，且每组样本点的数量至少为3个，然后针对每组样本点，确定该组样本点的地面方程，并计算第二样本点中每个点到该地面方程对应的地面的距离，并统计距离小于第四阈值的点的数量，最后将最大的数量对应的地面方程确定为最优地面方程。
其中，第二预设数量指的是在第二样本点中的采样次数，可以根据实际经验设置。由至少3个点确定一个平面的原理，每次至少采样3个第二样本点，为了降低计算平面方程的复杂度，每次可以采样3个第二样本点。第四阈值可以根据实际经验设置，如果某次采样得到的地面方程，距其对应的地面的距离小于第四阈值的第二样本点的数量最多，可以将该次采样得到的地面方程作为最优地面方程。
下面以采样点数为3为例进行详细阐述：
假设从第二样本点中选取的一组样本点为PR、PS、PT，空间坐标分别为(XR,YR,ZR)、(XS,YS,ZS)、(XT,YT,ZT)：
1.任取两对点[PR、PS]和[PS、PT]，并分别计算两对点的矢量：
Figure BDA0001552822830000061
Figure BDA0001552822830000071
2.计算两对点[PR、PS]和[PS、PT]的法向量：
Figure BDA0001552822830000072
3.在PR、PS、PT组成的平面上任取一点P，坐标为(x,y,z)，计算点P与点PR的向量
Figure BDA0001552822830000073
4.由
Figure BDA0001552822830000074
得出地面方程Ax+By+Cz+D＝0，其中，A、B、C、D为由XR、YR、ZR、XS、YS、ZS、XT、YT、ZT组成的常数；
5.从第二样本点中任取一点(X′,Y′,Z′)，计算该点到该地面方程对应的地面的距离：
Figure BDA0001552822830000075
步骤106：利用最优地面方程确定该深度图中的地面点。
在一实施例中，可以先确定深度图下半部分中网格点的空间坐标，并针对每个网格点，根据该网格点的空间坐标计算该点到最优地面方程对应的地面的距离，选取距离小于第五阈值的网格点，并根据选取的网格点确定该深度图中最终的地面点。
其中，具体如何确定深度图中点的空间坐标的描述可以参见下述图2A所示实施例的相关描述，在此先不详述。计算点到最优地面方程对应的地面的距离可以参见上述步骤105的相关描述，不再赘述。具体如何根据选取的网格点确定该深度图中最终的地面点，下面以一个例子进行详细阐述：
例如，取水平方向和垂直方向网格线彼此相邻的4个网格点，若4个网格点都满足距离小于第五阈值的条件，则将这4个网格点构成的方形区域中的像素点都标记为最终的地面点；若都不满足距离小于第五阈值的条件，则将这4个网格点构成的方形区域中的像素点丢弃；若这4个网格点中，并非都满足距离小于第五阈值的条件，则获取这4个网格点构成的方形区域包括的像素点，并计算这些点到最优地面方程对应的地面的距离，将距离小于第五阈值的像素点标记为最终的地面点。以此类推，按照上述方法遍历所有网格线彼此相邻的4个网格点。
在一实施例中，可以在深度图中高亮显示确定的地面点，以方便用户查看深度图中的地面区域。如图1F所示，为标记有地面区域(白色区域部分)的深度图。
本实施例中，在从采集设备获取到当前的深度图和重力加速度信息之后，可以根据该深度图中点的深度值筛选出第一样本点，并确定第一样本点的空间坐标，并根据空间坐标和重力加速度信息确定第一样本点的空间高度，然后在第一样本点中，根据空间高度继续筛选出第二样本点，并根据第二样本点的空间坐标确定最优地面方程，最后利用最优地面方程确定该深度图中的地面点。基于上述实现方式，基于重力加速度信息计算空间高度，由于重力加速度信息不受深度相机姿态的影响，因此根据空间高度筛选的样本点不受深度相机姿态的影响，从而本案可以适用于各种不同相机姿态，且适用于存在较多平面干扰物场景的检测。并且本案在利用深度值筛选样本点之后，进一步利用空间高度筛选样本点，因此经过二次筛选的样本点准确度高，其确定的地面方程更加精确，进而提高了地面检测精度。此外，由于本案不过分依赖深度值，因此计算复杂度低，执行效率高，占用内存低，且可在不同硬件上运行。
图2A为本申请根据一示例性实施例示出的另一种基于深度图的地面检测方法的实施例流程图；图2B为本申请根据图2A所示实施例示出的一种图像像素坐标系和图像物理坐标系关系示意图；图2C为本申请根据图2A所示实施例示出的一种在相机坐标系下点的空间坐标矢量在重力加速度方向上的投影示意图，本实施例利用本申请实施例提供的上述方法，以如何确定第一样本点的空间坐标，并根据空间坐标和重力加速度信息确定第一样本点的空间高度为例进行示例性说明，如图2A所示，基于深度图的地面检测方法包括如下步骤：
步骤201：在深度图中建立图像像素坐标系，并建立采集设备的相机坐标系。
其中，图像像素坐标系可以以深度图的左上角顶点为坐标原点OP，水平方向为u轴，垂直方向为v轴，用于表示点在图像平面的第几行、第几列；采集设备的相机坐标系如上述图1B所示，以深度相机光心O为坐标原点，深度相机光轴为ZC轴，XC轴和YC轴组成的面为深度相机平面，图像像素坐标系中的u轴和v轴分别与相机坐标系中的XC轴和YC轴平行。
步骤202：根据第一样本点在深度图中的像素坐标，确定第一样本点在相机坐标系下的空间坐标。
在执行步骤202之前，还需要在深度图中建立图像物理坐标系，以深度相机光心与深度图的交点为坐标原点o，图像物理坐标系与图像像素坐标系之间的关系，如图2B所示，图像物理坐标系的x轴和y轴分别与图像像素坐标系中的u轴和v轴平行，其中坐标值可以以毫米为物理单位表示，且图像物理坐标系的x轴和y轴还分别与相机坐标系的XC轴和YC轴平行，下面根据射影几何原理，以深度图中像素坐标为(u,v)的点p为例详细阐述如何确定该点在相机坐标系下的空间坐标(XC,YC,ZC)：
1.根据三角测量原理，由空间坐标到图像物理坐标的推导公式如下：
Figure BDA0001552822830000091
其中，f为常量，表示的是等效的相机像方焦距，由深度相机的硬件决定其大小。(x,y)表示的是p点在图像物理坐标系中的坐标。
2.由图像物理坐标到图像像素坐标的推导公式如下：
Figure BDA0001552822830000092
其中，Δx、Δy为常量，分别表示单个像素在水平、垂直方向上的尺寸；u0、v0也为常量，分别表示图像平面的主点的列索引值、行索引值，如图2B中所示。
3.将上述1和2中的公式转换为齐次方程的形式，如下：
Figure BDA0001552822830000093
其中，fx＝f/Δx，fy＝f/Δy。
4.通过对上述3中的方程进行逆运算，即可计算出p点的空间坐标(XC,YC,ZC)，即p点在实际空间中的位置。
本领域技术人员可以理解的是，上述所述的f、u0、v0、Δx、Δy均属于深度相机的内参，由深度相机的硬件决定。
步骤203：根据第一样本点的空间坐标和重力加速度信息计算第一样本点的空间高度。
在一实施例中，可以通过如下公式计算第一样本点的空间高度height：
Figure BDA0001552822830000101
其中，
Figure BDA0001552822830000102
表示的是p点在相机坐标系中的矢量，
Figure BDA0001552822830000103
表示的是重力加速度矢量。第一样本点的空间高度指的是将p点的空间坐标矢量在重力加速度矢量上做投影得到的实际空间高度，如图2C所示。
值得说明的是，通过计算重力加速度矢量与相机光轴(即ZC轴)之间的夹角可以自动获取深度相机的姿态。
本实施例中，通过将第一样本点的像素坐标转换到相机坐标系下的空间坐标，以得到第一样本点在实际空间中的位置，进而通过第一样本点的空间坐标和重力加速度信息计算第一样本点的空间高度，即相对深度相机光心的实际高度，用于后续进一步筛选样本点，以脱离深度相机姿态的影响。
图3为本申请根据一示例性实施例示出的又一种基于深度图的地面检测方法的实施例流程图，本实施例利用本申请实施例提供的上述方法，以如何在第一样本点中，根据空间高度继续筛选第二样本点为例进行示例性说明，如图3所示，基于深度图的地面检测方法包括如下步骤：
步骤301：确定第一样本点的空间高度的最大值。
在一实施例中，通常地面在整个场景中的最低位置，因此地面点相对场景中的其他点的空间高度应该最大，因此可以先从第一样本点中找出空间高度最大的点。
步骤302：确定第一样本点中每个点的空间高度与最大值的差值。
步骤303：将差值低于第一阈值的点确定为第一候选点，并确定第一候选点的数量。
在一实施例中，对于第一样本点中每个点的空间高度与最大值的差值，其越小，表示是地面点的可能性越大，因此可以将差值低于第一阈值的点作为第一候选点，该第一阈值可以根据实际经验进行设置。
步骤304：若数量超过第二阈值，则将第一候选点确定为第二样本点。
在一实施例中，第二阈值表示的是要求的最少点数，可以根据实际经验设置。
在一实施例中，在第一候选点的数量超过第二阈值的情况下，还可以进一步对第二样本点的数量进行约束，以降低算法计算量。例如，如果第一候选点的数量超过某一阈值(该阈值大于第二阈值，也可称为高阈值)，则可以将高阈值的预设倍数(例如0.5)、且其空间高度与最大值更接近的点确定为第二样本点。如果第一候选点的数量介于高阈值与第二阈值之间，则可以将第一候选点确定为第二样本点。
步骤305：若数量未超过第二阈值，则确定第一样本点的空间高度的均值。
在一实施例中，在第一候选点的数量未超过第二阈值，第一候选点的数量低于要求的最少点数的情况下，可以进一步通过第一样本点的空间高度的均值筛选。
步骤306：确定第一样本点中每个点的空间高度与均值的差值，并返回执行步骤303的过程。
值得说明的是，在经过第一样本点的空间高度的最大值和均值筛选后，得到的第一候选点的数量均低于第二阈值(要求的最少点数)，则将建立网格的预设步长减半，并返回上述步骤102的过程，直到预设步长小于一定阈值，此时判定为地面检测失败或当前无地面。
在一实施例中，在执行步骤306之后，由于上述在第一样本点中筛选的第二样本点属于网格中的纵向样本点(行样本点)，为了丰富第二样本点的组成结构，可以继续对第二样本点进行横向扩充(扩充列样本点)，以进一步提高地面检测精度。例如，在第一候选点的数量超过第二阈值的情况下，根据第一候选点的数量确定每条水平网格线的待扩充数量，针对每个第二样本点所在的水平网格线，将该条水平网格线中空间高度与该第二样本点的空间高度的差值小于第三阈值的网格点确定为第二候选点，并将第二候选点补充到第二样本点中，直到第二候选点的数量达到待扩充数量为止。
在一实施例中，针对根据第一候选点的数量确定每条水平网格线的待扩充数量的过程，如上述步骤304所述，如果第一候选点的数量超过高阈值，则将待扩充数量PerLineSampleNum设置为某一数值(例如设置为2)，如果第一候选点的数量介于高阈值与第二阈值之间，则将待扩充数量设置PerLineSampleNum为高阈值/第一候选点的数量。
本实施例中，利用第一样本点的空间高度的最大值(或者第一样本点的空间高度的均值)与每个第一样本点的空间高度的比较结果，从第一样本点中进一步筛选出第二样本点。由于通常地面在整个场景中的最低位置，因此地面点相对场景中的其他点的空间高度应该最大，因此通过第一样本点的空间高度的最大值筛选的第二样本点的准确度更高。
与前述基于深度图的地面检测方法的实施例相对应，本申请还提供了基于深度图的地面检测装置的实施例。
本申请基于深度图的地面检测装置的实施例可以应用在处理设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请根据一实施例性实施例示出的一种处理设备的硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
图5为本申请根据一示例性实施例示出的一种基于深度图的地面检测装置的实施例结构图，该实施例可以应用在处理设备上。如图5所述，该基于深度图的地面检测装置包括：获取模块510、第一筛选模块520、第一确定模块530、第二筛选模块540、第二确定模块550、确定地面点模块560。
其中，获取模块510，用于从采集设备获取当前的深度图和重力加速度信息；
第一筛选模块520，用于根据所述深度图中点的深度值筛选出第一样本点；
第一确定模块530，用于确定所述第一样本点的空间坐标，并根据所述空间坐标和重力加速度信息确定所述第一样本点的空间高度；
第二筛选模块540，用于在所述第一样本点中，根据所述空间高度继续筛选出第二样本点；
第二确定模块550，用于根据所述第二样本点的空间坐标确定最优地面方程；
确定地面点模块560，用于利用所述最优地面方程确定所述深度图中的地面点。
在一可选实现方式中，所述第一筛选模块520，具体用于在所述深度图中以预设步长建立网格，得到网格点，所述网格由水平网格线和垂直网格线组成，所述水平网格线与所述垂直网格线的交点为网格点；将每条水平网格线中深度值最大的网络点确定为初筛点；针对每条水平网格线，若该条水平网格线的初筛点的深度值超过下一条水平网格线的初筛点的深度值，则将该条水平网格线的初筛点确定为次筛点；将连续相邻水平网络线的次筛点的数量超过第一预设数量的次筛点确定为第一样本点，所述第一样本点指的是可能的地面点。
在一可选实现方式中，所述第二筛选模块540，具体用于确定所述第一样本点的空间高度的最大值；确定所述第一样本点中每个点的空间高度与所述最大值的差值；将差值低于第一阈值的点确定为第一候选点，并确定所述第一候选点的数量；若所述数量超过第二阈值，则将所述第一候选点确定为第二样本点；若所述数量未超过第二阈值，则确定所述第一样本点的空间高度的均值，确定所述第一样本点中每个点的空间高度与所述均值的差值，并返回执行将差值低于第一阈值的点确定为第一候选点的过程。
在一可选实现方式中，所述装置还包括(图5中未示出)：
样本点扩充模块，具体用于在所述第二确定模块550根据所述第二样本点的空间坐标确定最优地面方程之前，在所述第一候选点的数量超过所述第二阈值的情况下，根据所述第一候选点的数量确定每条水平网格线的待扩充数量；针对每个第二样本点所在的水平网格线，将该水平网格线中空间高度与该第二样本点的空间高度的差值小于第三阈值的网格点确定为第二候选点，并将所述第二候选点补充到第二样本点中，直到所述第二候选点的数量达到所述待扩充数量为止。
在一可选实现方式中，所述第一确定模块530，具体用于在所述深度图中建立图像像素坐标系，并建立所述采集设备的相机坐标系；其中，所述图像像素坐标系以所述深度图的左上角顶点为坐标原点，水平方向为u轴，垂直方向为v轴，所述相机坐标系以深度相机光心O为坐标原点，深度相机光轴为ZC轴，相机坐标系的XC轴和YC轴分别与u轴和v轴平行，且XC轴和YC轴组成的面为所述深度相机的平面；根据所述第一样本点在所述深度图中的像素坐标，确定所述第一样本点在所述相机坐标系下的空间坐标；根据所述第一样本点的空间坐标和所述重力加速度信息计算所述第一样本点的空间高度。
在一可选实现方式中，所述第二确定模块550，具体用于从所述第二样本点中选取第二预设数量组的样本点，且每组样本点的数量至少为3个；针对每组样本点，确定该组样本点的地面方程，并计算所述第二样本点中每个点到该地面方程对应的地面的距离，并统计距离小于第四阈值的点的数量；将最大的数量对应的地面方程确定为最优地面方程。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于深度图的地面检测方法，其特征在于，所述方法包括：
从采集设备获取当前的深度图和重力加速度信息；
在所述深度图中以预设步长建立网格得到多个网格点，并从所述多个网格点中筛选出第一样本点；所述网格由水平网格线和垂直网格线组成，所述水平网格线与所述垂直网格线的交点为网格点；
确定所述第一样本点在所述采集设备的相机坐标系下的空间坐标，并根据所述空间坐标和所述重力加速度信息确定所述第一样本点的空间高度，公式为：
Figure FDA0002164141560000011
其中，
Figure FDA0002164141560000012
表示第一样本点在相机坐标系中的矢量，
Figure FDA0002164141560000013
表示重力加速度矢量；
依据所述第一样本点的空间高度，从所述第一样本点中继续筛选出第二样本点；
从所述第二样本点中选取多组样本点，并确定每组样本点对应的地面方程；
计算所述第二样本点中每个点到各个地面方程对应地面的距离；
依据所述第二样本点中各个点到各个地面方程对应地面的距离，从各个地面方程中选择最优地面方程；
利用所述最优地面方程确定所述深度图中的地面点。
2.根据权利要求1所述的方法，其特征在于，所述从所述多个网格点中筛选出第一样本点，包括：
将每条水平网格线中深度值最大的网络点确定为初筛点；
针对每条水平网格线，若该条水平网格线的初筛点的深度值超过下一条水平网格线的初筛点的深度值，则将该条水平网格线的初筛点确定为次筛点；
将连续相邻水平网络线的次筛点的数量超过第一预设数量的次筛点确定为第一样本点，所述第一样本点指的是可能的地面点。
3.根据权利要求2所述的方法，其特征在于，所述依据所述第一样本点的空间高度，从所述第一样本点中继续筛选出第二样本点，包括：
确定所述第一样本点的空间高度的最大值；
确定所述第一样本点中每个点的空间高度与所述最大值的差值；
将差值低于第一阈值的点确定为第一候选点，并确定所述第一候选点的数量；
若所述数量超过第二阈值，则将所述第一候选点确定为第二样本点；
若所述数量未超过第二阈值，则确定所述第一样本点的空间高度的均值，确定所述第一样本点中每个点的空间高度与所述均值的差值，并返回执行将差值低于第一阈值的点确定为第一候选点的过程。
4.根据权利要求3所述的方法，其特征在于，在根据所述第二样本点的空间坐标确定最优地面方程之前，所述方法还包括：
在所述第一候选点的数量超过所述第二阈值的情况下，根据所述第一候选点的数量确定每条水平网格线的待扩充数量；
针对每个第二样本点所在的水平网格线，将该水平网格线中空间高度与该第二样本点的空间高度的差值小于第三阈值的网格点确定为第二候选点，并将所述第二候选点补充到第二样本点中，直到所述第二候选点的数量达到所述待扩充数量为止。
5.根据权利要求1所述的方法，其特征在于，所述确定所述第一样本点在相机坐标系下的空间坐标，包括：
在所述深度图中建立图像像素坐标系，并建立所述采集设备的相机坐标系；其中，所述图像像素坐标系以所述深度图的左上角顶点为坐标原点，水平方向为u轴，垂直方向为v轴，所述相机坐标系以深度相机光心O为坐标原点，深度相机光轴为ZC轴，相机坐标系的XC轴和YC轴分别与u轴和v轴平行，且XC轴和YC轴组成的面为所述深度相机的平面；
根据所述第一样本点在所述深度图中的像素坐标，确定所述第一样本点在所述相机坐标系下的空间坐标。
6.一种基于深度图的地面检测装置，其特征在于，所述装置包括：
获取模块，用于从采集设备获取当前的深度图和重力加速度信息；
第一筛选模块，用于在所述深度图中以预设步长建立网格得到多个网格点，并从所述多个网格点中筛选出第一样本点；所述网格由水平网格线和垂直网格线组成，所述水平网格线与所述垂直网格线的交点为网格点；
第一确定模块，用于确定所述第一样本点在所述采集设备的相机坐标系下的空间坐标，并根据所述空间坐标和所述重力加速度信息确定所述第一样本点的空间高度，公式为：
Figure FDA0002164141560000031
其中，
Figure FDA0002164141560000032
表示第一样本点在相机坐标系中的矢量，
Figure FDA0002164141560000033
表示重力加速度矢量；
第二筛选模块，用于依据所述第一样本点的空间高度，从所述第一样本点中继续筛选出第二样本点；
第二确定模块，用于从所述第二样本点中选取多组样本点，并确定每组样本点对应的地面方程；计算所述第二样本点中每个点到各个地面方程对应地面的距离；依据所述第二样本点中各个点到各个地面方程对应地面的距离，从各个地面方程中选择最优地面方程；
确定地面点模块，用于利用所述最优地面方程确定所述深度图中的地面点。
7.根据权利要求6所述的装置，其特征在于，所述第一筛选模块，具体用于将每条水平网格线中深度值最大的网络点确定为初筛点；针对每条水平网格线，若该条水平网格线的初筛点的深度值超过下一条水平网格线的初筛点的深度值，则将该条水平网格线的初筛点确定为次筛点；将连续相邻水平网络线的次筛点的数量超过第一预设数量的次筛点确定为第一样本点，所述第一样本点指的是可能的地面点。
8.根据权利要求7所述的装置，其特征在于，所述第二筛选模块，具体用于确定所述第一样本点的空间高度的最大值；确定所述第一样本点中每个点的空间高度与所述最大值的差值；将差值低于第一阈值的点确定为第一候选点，并确定所述第一候选点的数量；若所述数量超过第二阈值，则将所述第一候选点确定为第二样本点；若所述数量未超过第二阈值，则确定所述第一样本点的空间高度的均值，确定所述第一样本点中每个点的空间高度与所述均值的差值，并返回执行将差值低于第一阈值的点确定为第一候选点的过程。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
样本点扩充模块，具体用于在所述第二确定模块根据所述第二样本点的空间坐标确定最优地面方程之前，在所述第一候选点的数量超过所述第二阈值的情况下，根据所述第一候选点的数量确定每条水平网格线的待扩充数量；针对每个第二样本点所在的水平网格线，将该水平网格线中空间高度与该第二样本点的空间高度的差值小于第三阈值的网格点确定为第二候选点，并将所述第二候选点补充到第二样本点中，直到所述第二候选点的数量达到所述待扩充数量为止。
10.根据权利要求6所述的装置，其特征在于，所述第一确定模块，具体用于在所述深度图中建立图像像素坐标系，并建立所述采集设备的相机坐标系；其中，所述图像像素坐标系以所述深度图的左上角顶点为坐标原点，水平方向为u轴，垂直方向为v轴，所述相机坐标系以深度相机光心O为坐标原点，深度相机光轴为ZC轴，相机坐标系的XC轴和YC轴分别与u轴和v轴平行，且XC轴和YC轴组成的面为所述深度相机的平面；根据所述第一样本点在所述深度图中的像素坐标，确定所述第一样本点在所述相机坐标系下的空间坐标。
CN201810052737.6A 2018-01-19 2018-01-19 基于深度图的地面检测方法及装置 Active CN108460333B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810052737.6A CN108460333B (zh) 2018-01-19 2018-01-19 基于深度图的地面检测方法及装置
US16/247,603 US10885662B2 (en) 2018-01-19 2019-01-15 Depth-map-based ground detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810052737.6A CN108460333B (zh) 2018-01-19 2018-01-19 基于深度图的地面检测方法及装置

Publications (2)

Publication Number Publication Date
CN108460333A CN108460333A (zh) 2018-08-28
CN108460333B true CN108460333B (zh) 2020-03-24

Family

ID=63220999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810052737.6A Active CN108460333B (zh) 2018-01-19 2018-01-19 基于深度图的地面检测方法及装置

Country Status (2)

Country Link
US (1) US10885662B2 (zh)
CN (1) CN108460333B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782472B (zh) * 2019-09-05 2022-06-07 腾讯科技（深圳）有限公司 点云地面点的识别方法及装置
CN111586299B (zh) * 2020-05-09 2021-10-19 北京华捷艾米科技有限公司 一种图像处理方法和相关设备
CN115018877A (zh) * 2021-03-03 2022-09-06 腾讯科技（深圳）有限公司 地面区域的特效展示方法、装置、设备及存储介质
CN113064179A (zh) * 2021-03-22 2021-07-02 上海商汤临港智能科技有限公司 一种点云数据筛选方法、车辆控制方法及装置
CN115308621B (zh) * 2022-08-30 2023-12-08 湖北工业大学 一种多信号可嵌入式锂离子电池电化学阻抗谱测试装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
FR2988504B1 (fr) * 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
CN103389042A (zh) * 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
US9330435B2 (en) * 2014-03-19 2016-05-03 Raytheon Company Bare earth finding and feature extraction for 3D point clouds
CN104361575B (zh) * 2014-10-20 2015-08-19 湖南戍融智能科技有限公司 深度图像中的自动地面检测及摄像机相对位姿估计方法
US9886035B1 (en) * 2015-08-17 2018-02-06 X Development Llc Ground plane detection to verify depth sensor status for robot navigation
US20170142405A1 (en) * 2015-10-21 2017-05-18 Praxik, LLC. Apparatus, Systems and Methods for Ground Plane Extension
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
CA3125730C (en) * 2018-01-05 2023-10-24 Aquifi, Inc. Systems and methods for volumetric sizing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust ground plane detection and tracking in stereo sequences using camera orientation;Paul Herghelegiu et al;《2016 20th International Conference on System Theory, Control and Computing (ICSTCC)》;20161219;514-519 *

Also Published As

Publication number Publication date
CN108460333A (zh) 2018-08-28
US10885662B2 (en) 2021-01-05
US20190228536A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
CN108460333B (zh) 基于深度图的地面检测方法及装置
CN108885791B (zh) 地面检测方法、相关装置及计算机可读存储介质
WO2021143935A1 (zh) 一种检测方法、装置、电子设备及存储介质
CN105825493B (zh) 图像配准方法和装置
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及***
CN114119751A (zh) 用于大规模确定rgbd相机姿势的方法和***
JP5105481B2 (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN112798811B (zh) 速度测量方法、装置和设备
CN108537214B (zh) 一种室内语义地图的自动化构建方法
CN112115980A (zh) 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
CN110956069A (zh) 一种行人3d位置的检测方法及装置、车载终端
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN110176028B (zh) 一种基于事件相机的异步角点检测方法
CN104700355A (zh) 室内二维平面图的生成方法、装置和***
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
Luo et al. Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots
CN111091594B (zh) 多点云平面融合方法及装置
JP2019211981A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN115683109B (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
CN113011212B (zh) 图像识别方法、装置及车辆
CN110428452B (zh) 非静态场景点的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant