CN111366917B - 可行驶区域检测方法、装置、设备及计算机可读存储介质 - Google Patents

可行驶区域检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111366917B
CN111366917B CN202010175382.7A CN202010175382A CN111366917B CN 111366917 B CN111366917 B CN 111366917B CN 202010175382 A CN202010175382 A CN 202010175382A CN 111366917 B CN111366917 B CN 111366917B
Authority
CN
China
Prior art keywords
target image
image
grid
projection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010175382.7A
Other languages
English (en)
Other versions
CN111366917A (zh
Inventor
唐逸之
韩承志
谭日成
王智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010175382.7A priority Critical patent/CN111366917B/zh
Publication of CN111366917A publication Critical patent/CN111366917A/zh
Application granted granted Critical
Publication of CN111366917B publication Critical patent/CN111366917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种可行驶区域检测方法、装置、设备及计算机可读存储介质，涉及自主泊车技术领域。具体实现方案为：通过获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，匹配图像是与目标图像连续的前一帧图像；然后根据匹配图像对目标图像进行三维重建，得到目标图像对应的目标三维点云数据，从而实现对单目相机采集的连续帧图像重建三维点云数据；接着根据目标三维点云数据，确定目标图像的拍摄区域中最近障碍物点，并根据各最近障碍物点，确定目标图像的拍摄区域中的可行驶区域，无需采集三维图像或大量图像样本进行机器学习，降低了对于图像采集方式的依赖，降低了处理难度、提高了检测的准确性和可靠性。

Description

可行驶区域检测方法、装置、设备及计算机可读存储介质
技术领域
本申请实施例涉及图像处理技术领域，具体涉及一种自主泊车技术。
背景技术
为了避免车身与障碍物碰撞或者超出道路边界，车辆在自动驾驶和自主泊车过程中都需要进行可行驶区域检测。
目前主要是基于有监督深度学习的图像检测或利用三维相机采集三维点云进行可行驶区域检测。但基于有监督深度学习的图像检测需要大量人工标注成本，且在有限数据集上训练的模型难以解决泛化问题。而三维相机结构复杂，制造难度大、检测成本较高。
可见，现有的可行驶区域检测方法可靠性不够高。
发明内容
本申请的目的是提供一种可行驶区域检测方法、装置、设备及计算机可读存储介质，提高了可行驶区域检测的可靠性。
根据本申请的第一方面，提供一种可行驶区域检测方法，包括：
获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是与所述目标图像连续的前一帧图像；
根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据；
根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点；
根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域。
本申请实施例通过对单目相机采集的连续帧图像，重建三维点云数据，并提取最近障碍物点，得到可行驶区域，降低了可行驶区域检测对于图像采集方式的依赖，降低了处理难度、提高了检测的准确性和可靠性。
在一些实施例中，所述根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据，包括：
将所述匹配图像按照所述目标图像的视角投影至预设的多个投影面上，得到多个投影图像，其中，每个所述投影面对应一相对于相机原点的深度；
根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度；
根据所述目标图像中像素的估计深度，获取所述目标图像对应的目标三维点云数据。
本申请实施例利用匹配图像在不同深度投影面上的投影图像，以代价匹配对目标图像实现深度恢复，转化得到目标三维点云数据，提高了对单目图像进行三维重建的准确性和可靠性，进而提高了可行驶区域检测的准确性和可靠性。
在一些实施例中，所述投影面包括：N1个竖直投影平面；
所述N1个竖直投影平面平行于相机正对面，且所述相机原点到所述N1个竖直投影平面的距离成反比例等差分布，其中，N1为大于1的整数。
本申请实施例通过竖直投影平面实现对相机前方区域的深度恢复，提高在弯道等复杂环境下深度恢复的准确性，进而提高对目标图像三维重建的准确性和可靠性。
在一些实施例中，所述投影面还包括：N2个水平投影平面和/或N3个投影球面；
其中，所述N2个水平投影平面平行于相机正下方地面，且所述N2个水平投影平面在以所述地面为对称中心的地面分布范围内均匀排列，其中，N2为大于1的整数；
所述N3个投影球面为以所述相机原点为球心的同心球面，且所述N3个投影球面的半径成反比例等差分布，其中，N3为大于1的整数。
本申请实施例通过水平投影平面恢复目标图像中地面区域的深度，通过投影球面引入更多法向采样，提高深度恢复的准确性和可靠性。对于目标图像中既不在水平面上又不在竖直面上的点，通过结合投影球面可以增加法向采样能够提高这些点的深度恢复的准确性。另外，引入平行的投影球面还能够对视角大于180度的鱼眼的目标图像提供有利的投影面，提高深度恢复的准确性和可靠性。
在一些实施例中，所述根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度，包括：
获取所述目标图像中像素的目标像素窗口特征；
获取所述多个投影图像中相应像素的投影像素窗口特征；
根据所述目标像素窗口特征和所述投影像素窗口特征，获取所述目标图像中像素与各所述投影图像中相应像素的匹配代价；
将所述匹配代价最小的所述相应像素对应的深度，作为所述目标图像中像素的估计深度，其中，所述相应像素对应的深度，是所述相应像素所在投影面对应的深度。
本申请实施例通过将匹配代价最小的相应像素所对应的深度，作为目标图像中像素的估计深度，提高了对目标图像中像素深度恢复的准确性。
在一些实施例中，在所述根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度之前，还包括：
根据所述目标图像与所述匹配图像的相机相对位姿，确定所述匹配图像中与所述目标图像中像素一一对应的相应像素；
根据所述匹配图像中的所述相应像素，确定各所述投影图像中与所述目标图像中像素一一对应的相应像素。
本申请实施例通过相机相对位姿定位匹配图像和目标图像中相对应的像素，提高了对目标图像深度恢复的准确性和可靠性。
在一些实施例中，在所述根据所述目标图像与所述匹配图像的相机相对位姿，确定所述匹配图像中与所述目标图像中像素一一对应的相应像素之前，还包括：
采集车辆后轮的轮速计数据和车载惯性测量单元IMU数据，其中，所述车辆后轮的轮速计数据指示了所述车载单目相机的水平运动距离，所述车载IMU数据指示了所述车载单目相机的水平运动方向；
根据所述车辆后轮的轮速计数据和所述车载IMU数据，确定所述车载单目相机的相机位姿数据；
根据所述车载单目相机的相机位姿数据，确定所述目标图像与所述匹配图像的相机相对位姿。
本申请实施例由于后轮与车身之间在水平方向无相对转动，后轮的轮速可以直接表征车身的移速，结合车辆后轮的轮速计数据和车载IMU数据得到相机位姿，提高了相机相对位姿的可靠性，进而提高可行驶区域检测的准确性和可靠性。
在一些实施例中，所述根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点，包括：
根据所述目标三维点云数据和对所述目标图像的拍摄区域水平切分的极坐标栅格网络，确定所述极坐标栅格网络中各栅格中包含障碍物点的数量，其中，所述障碍物点为对地高度大于预设障碍物高度阈值的目标三维点；
根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点，其中，所述最近障碍物栅格是所述扇形分区中与所述相机原点径向距离最近、且所包含障碍物点的数量大于预设数量阈值的栅格。
本申请实施例利用对相机原点建立的极坐标栅格网络对目标图像的拍摄区域进行空间划分，将各方向扇形分区中可能是障碍物且对相机原点径向距离最小的栅格提取出来，用于确定相机原点各方向的最近障碍物点，提高了最近障碍物点的准确性，进而提高可行驶区域检测的准确性和可靠性。
在一些实施例中，所述根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点，包括：
获取所述最近障碍物栅格中所包含障碍物点的平均位置点；
将各所述最近障碍物栅格对应的平均位置点，作为所述目标图像的拍摄区域中最近障碍物点。
本申请实施例进一步优化最近障碍物点的位置，提高障碍物点的准确性。
在一些实施例中，所述根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域，包括：
在对所述目标图像的拍摄区域水平切分的均匀分割网络中，根据所述均匀分割网络中各网格单元相对于所述最近障碍物点的位置，确定各网格单元的加权值；
根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值，其中，所述新权值大于或等于最小权阈值、且小于或等于最大权阈值，所述网格单元的初始权值是0或者是在对前一帧图像确定可行驶区域时确定的新权值；
根据所述新权值指示的第一类网格单元或第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，所述新权值指示的第一类网格单元与所述相机原点之间有所述最近障碍物点，所述新权值指示的第二类网格单元与所述相机原点之间没有所述最近障碍物点。
本申请实施例通过计算目标图像拍摄区域在均匀分割网络中各网格单元的加权值，对网格单元更新权值，随着连续图像帧的不断更新，不断加权更新网格单元的新权值，不仅能够平滑噪声还能够起到弥补单帧最近障碍物点漏检的问题，提高了对可行驶区域检测的可靠性。
在一些实施例中，所述根据所述均匀分割网络中各网格单元相对于所述最近障碍物点的位置，确定各网格单元的加权值，包括：
若所述均匀分割网络中网格单元对相机原点的径向距离，减去所述网格单元方向上的最近障碍物点对相机原点的径向距离的差值，大于或等于距离上限阈值，则所述网格单元的加权值为第一值；
若所述最近障碍物点对相机原点的径向距离，减去所述最近障碍物点方向上网格单元对相机原点的径向距离的差值，小于或等于距离下限阈值，则所述网格单元的加权值为第二值；
若所述最近障碍物点对相机原点的径向距离，减去所述最近障碍物点方向上网格单元对相机原点的径向距离的差值，小于所述距离上限阈值且大于所述距离下限阈值，则所述网格单元的加权值为第三值，其中，所述第三值是根据所述差值和预设的平滑连续函数确定的值；
其中，所述距离上限阈值是所述距离下限阈值的相反数，所述第一值是所述第二值的相反数，所述第三值的绝对值小于所述距离上限阈值的绝对值或所述距离下限阈值的绝对值。
本申请实施例实现了对各网格单元加权值的确定，并通过平滑连续函数对差值在距离上限阈值和距离下限阈值之间的网格单元平滑过渡，进一步降低多帧融合加权累积过程中的噪声，提高了对网格单元新权值确定的可靠性，进而提高了对可行驶区域检测的可靠性。
在一些实施例中，所述匹配图像和目标图像都是鱼眼图像。
本申请实施例通过采用鱼眼图像，实现了增大水平视角(能够超过180度)，扩大图像拍摄区域视野范围，提高可行驶区域检测的可靠性。
根据本申请的第二方面，提供一种可行驶区域检测装置，包括：
图像采集模块，用于获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是所述目标图像的前一帧图像；
第一处理模块，用于根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据；
第二处理模块，用于根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点；
第三处理模块，用于根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域。
根据本申请的第三方面，提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面及第一方面任一实施例所述的可行驶区域检测方法。
根据本申请的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面及第一方面任一实施例所述的可行驶区域检测方法。
上述申请中的一个实施例具有如下优点或有益效果：通过获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是与所述目标图像连续的前一帧图像；然后根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据，从而实现对单目相机采集的连续帧图像重建三维点云数据；接着根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点，并根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域，无需采集三维图像或大量图像样本进行机器学习，降低了对于图像采集方式的依赖，降低了处理难度、提高了检测的准确性和可靠性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种自主泊车的应用场景示意图；
图2是本申请实施例提供的一种可行驶区域检测方法流程示意图；
图3是本申请实施例提供的一种图2中步骤S102的方法流程示意图；
图4是本申请实施例提供的一种在多个投影面上投影匹配深度的示意图；
图5是本申请实施例提供的一种竖直投影平面分布的俯视图；
图6是本申请实施例提供的一种多类型投影平面分布的侧视图；
图7是本申请实施例提供的一种极坐标栅格网络的俯视图；
图8是本申请实施例提供的一种目标图像的拍摄区域中最近障碍物点示意图；
图9是本申请实施例提供的一种均匀分割网络俯视图；
图10是本申请实施例提供的一种可行驶区域示意图；
图11是本申请实施例提供的一种可行驶区域检测装置结构示意图；
图12是根据本申请实施例的可行驶区域检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在车辆自动驾驶或自主泊车的场景中，车辆需要对车辆周围的可行驶区域进行检测，以规划安全可行的行驶路径或泊车路径，实现自动驾驶中对障碍物的自动规避或者自动泊车入库。例如是在车库进行自主泊车过程中，需要检测前进或后退方向上的可行驶区域，再根据可行驶区域控制车辆进入车位。参见图1，是本申请实施例提供的一种自主泊车的应用场景示意图。在图1所示的泊车场景中，车辆倒车进入车位时，需要避开空置车位左侧的其他车辆以及右侧的石柱。首先需要采集车辆倒车后方的物体三维信息，识别出其他车辆和石柱的位置，从而准确地获取到车辆倒车时的可行驶区域。
现有的可行驶区域检测方法中，通过有监督深度学习的图像检测需要大量的图片样本进行学习，遇到新的障碍物或复杂环境可能存在识别不准确的风险。而利用三维相机采集车辆后方三维点云则需要给车辆配置结构复杂的三维相机，车辆行驶中可能存在检测不可靠的问题。
本申请通过提供一种可行驶区域检测方法、装置、设备及计算机可读存储介质，利用车载单目相机实现对可行驶区域的检测，降低检测的难度，提高检测的准确性和可靠性。
参见图2，是本申请实施例提供的一种可行驶区域检测方法流程示意图，图2所示方法的执行主体可以是软件和/或硬件的可行驶区域检测装置，具体例如可以是各种类型的终端、车载检测***、云端等之一或多者的结合。图2所示的方法包括步骤S101至步骤S104，具体如下：
S101，获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是与所述目标图像连续的前一帧图像。
车载单目相机可以是安装在车辆前方或者后方。车载单目相机拍摄车辆周围区域，例如可以是对车辆前方区域进行拍摄，也可以是对车辆后方区域进行拍摄。或者，可以根据车辆的前进或后退动作，选择采集车辆前方区域图像或车辆后方区域图像。
在车载单目相机采集的连续帧图像中确定目标图像，并将目标图像的前一帧作为匹配图像。这里的目标图像例如可以是车载单目相机实时采集的当前帧图像，但也可以是历史帧图像，本实施例不做限定。
其中，车载单目相机可以是采用非广角镜头、广角镜头或者超广角镜头的相机。鱼眼镜头是一种超大视场、大孔径的光学成像***，一般采用两块或三块负弯月形透镜作为前光组，将物方超大视场压缩至常规镜头要求的视场范围。采用鱼眼镜头的相机拍摄图像，视角例如可达到220°或230°。
在一些实施例中，车载单目相机可以是采用鱼眼镜头的相机，其采集的匹配图像和目标图像可以都是鱼眼图像。本实施例可以通过采用鱼眼图像，增大水平视角(例如超过180°)，扩大图像拍摄区域视野范围，提高可行驶区域检测的可靠性。
S102，根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据。
目标图像是二维图像，但与其前一帧图像之间可以得到相机的位姿改变，进而可以通过投影进对目标图像生成深度图像，进而实现三维重建。步骤S102的实现方式有多种，下面结合图3和具体实施例进行举例说明。参见图3，是本申请实施例提供的一种图2中步骤S102的方法流程示意图。图3所示方法具体包括步骤S201至S203，具体如下：
S201，将所述匹配图像按照所述目标图像的视角投影至预设的多个投影面上，得到多个投影图像，其中，每个所述投影面对应一相对于相机原点的深度。
参见图4，是本申请实施例提供的一种在多个投影面上投影匹配深度的示意图。如图所示，按照目标图像的视角，将匹配图像投影到多个投影面上，得到具有各种深度的投影图像。可以理解为，对相机预先设置有多个深度的投影面。深度可以理解为是与相机原点所在垂面的距离。不同深度的多个投影面，可以理解为是空间中设置有多个投影面，且每个投影面与相机原点径向距离(也是与相机原点所在垂面的距离)不相同，由此每个投影面对应了一个深度。当匹配图像被投影到投影面上后，投影面上的投影图像就具有了与该投影面对应的深度，即单个投影图像中所有像素的深度都是其所述投影面的深度。
在一些实施例中，上述投影面例如包括N1个竖直投影平面，其中，N1为大于1的整数。具体地，N1个竖直投影平面平行于相机正对面，且所述相机原点到所述N1个竖直投影平面的距离成反比例等差分布。在图1所示场景中，加入车辆的车载单目相机正对前方车库的墙壁，那么，N1个竖直投影平面可以理解为是N1个与前方车库墙壁平行的空间平面。相机所拍摄图像，近处物体图像分辨率通常大于远处物体图像分辨率，可以理解为远景像素所表示的实际尺寸大于近景像素所表示的实际尺寸。因此，为了提高深度恢复的可靠性，靠近相机原点的竖直投影平面分布密度，大于远离相机原点的竖直投影平面分布密度。另外，障碍物越靠近车辆，可能产生的影响或者危险就越大，在越靠近车辆的区域可以提高深度恢复的精度，以对靠近车辆的区域生成更精确的深度数据。例如N1个竖直投影平面的分布密度可以满足：靠近相机原点的分布密度大于远离相机原点的分布密度。参见图5，是本申请实施例提供的一种竖直投影平面分布的俯视图。图5所示相机原点的前方拍摄区域布置有64个竖直投影平面(图中未全部示出)，且相机原点到各竖直投影平面的距离成反比例等差分布，例如依次是：20/64米,20/63米,20/62米,....,20/3米,20/2米,20米。其中，越靠近相机原点，竖直投影平面分布越密集，所恢复深度的精度越大。本实施例通过竖直投影平面实现对相机前方区域的深度恢复，提高在弯道等复杂环境下深度恢复的准确性，进而提高对目标图像三维重建的准确性和可靠性。
在另一些实施例中，在上述竖直投影平面的基础上，还可以引入N2个水平投影平面和/或N3个投影球面作为投影面。其中，水平投影平面可以用于对地面的深度恢复，投影球面可以用于对鱼眼图像中畸变图像的深度恢复。
参见图6，是本申请实施例提供的一种多类型投影平面分布的侧视图。图6中示意出了多个相互平行的竖直投影平面、相互平行的水平投影平面以及同球心的投影球面。N2个水平投影平面平行于相机正下方地面，且所述N2个水平投影平面在以所述地面为对称中心的地面分布范围内均匀排列，其中，N2为大于1的整数。以图6所示为例，相机标定后，可以确定出相机原点正下方地面所在平面位置，以4个水平投影平面均匀分布在相机正下方地面附近-5cm到5cm的地面分布范围内，用于对接近地面的点的深度进行恢复。其中，水平投影平面的个数也可以是8个。本实施例通过水平投影平面，可以恢复目标图像中地面区域像素的深度，提高对地面图像区域深度恢复的准确性和可靠性。
上述实施例中，N3个投影球面为以所述相机原点为球心的同心球面，且所述N3个投影球面的半径成反比例等差分布，其中，N3为大于1的整数。继续参见图6，以相机原点为球心，64个半径从0.5m到32m按反比例等差分布，形成投影球面。设置投影球面能够在投影平面的基础上引入更多法向采样，尤其对于目标图像中既不在水平面上又不在竖直面上的像素，通过结合投影球面增加法向采样能够提高这些像素的深度恢复的准确性。另外，在上述目标图像和匹配图像都是鱼眼图像的实施例中，引入平行的N3个投影球面，还能够对视角大于180°的鱼眼的目标图像提供有利的投影面，提高深度恢复的准确性和可靠性。
S202，根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度。
继续参见图4，目标图像在各投影图像中都具有相应像素，匹配代价(match cost)越小，则像素特征越相关，由此将匹配代价最小的相应像素所在深度作为目标图像中像素的估计深度，实现对目标图像的深度恢复，可以得到目标图像对应的深度图。
在一些实施例中，在进行匹配代价计算之前，可以先根据所述目标图像与所述匹配图像的相机相对位姿，确定所述匹配图像中与所述目标图像中像素一一对应的相应像素。具体可以采用现有的各种追踪算法实现相应像素的追踪，在此不做限定。在匹配图像中的相应像素确定后，可以根据匹配图像中的所述相应像素，确定各所述投影图像中与所述目标图像中像素一一对应的相应像素。参见图4中每个投影图像都具有与目标图像中像素的相应像素。本实施例通过相机相对位姿定位匹配图像和目标图像中相对应的像素，提高了对目标图像深度恢复的准确性和可靠性。
车载单目相机、车辆的车身以及车载惯性测量单元(Inertial measurementunit，IMU)之间的位置关系预先标定。根据车身的移动方向和距离，就能确定车载单目相机的相机原点位置、相机拍摄区域、视角等信息。
在根据所述目标图像与所述匹配图像的相机相对位姿，确定所述匹配图像中与所述目标图像中像素一一对应的相应像素之前，可以先确定出匹配图像和目标图像之间的相机相对位姿。例如，先采集车辆后轮的轮速计数据和车载IMU数据，其中，所述车辆后轮的轮速计数据指示了所述车载单目相机的水平运动距离，所述车载IMU数据指示了所述车载单目相机的水平运动方向；根据所述车辆后轮的轮速计数据和所述车载IMU数据，可以确定所述车载单目相机的相机位姿数据。车载单目相机拍摄的每一帧图像，都有对应的相机位姿。由此可以根据所述车载单目相机的相机位姿数据，确定匹配图像和目标图像之间的相机相对位姿。本实施中，由于车辆后轮与车身之间在水平方向无相对转动，后轮的轮速可以直接表征车身的移速，结合车辆后轮的轮速计数据和车载IMU数据得到相机位姿，提高了相机位姿的可靠性，进而提高可行驶区域检测的准确性和可靠性。
步骤S202中，具体的实现方式例如可以是先获取所述目标图像中像素的目标像素窗口特征，以及所述多个投影图像中相应像素的投影像素窗口特征。这里的窗口特征例如是以预设大小的采样窗口在目标图像和投影图像上滑动，以窗口内像素特征的均值作为窗口中心像素的窗口特征。该采样窗口的大小可以是7*7、5*5，也可以是1*1，在此不做限定。目标像素窗口特征例如是以目标图像中像素为中心的采样窗口内像素的灰度均值。匹配像素窗口特征例如是以相应像素为中心的采样窗口内像素的灰度均值。然后，根据所述目标像素窗口特征和所述投影像素窗口特征，获取所述目标图像中像素与各所述投影图像中相应像素的匹配代价。例如，对目标图像中像素和投影图像中相应像素以7*7窗口采样得到的灰度均值误差，作为相应像素与目标图像中像素的匹配代价。得到各投影图像中相应像素对目标图像中像素的匹配代价后，可以将所述匹配代价最小的所述相应像素对应的深度，作为所述目标图像中像素的估计深度，其中，所述相应像素对应的深度，是所述相应像素所在投影面对应的深度。本实施例通过将匹配代价最小的相应像素所对应的深度，作为目标图像中像素的估计深度，提高了对目标图像中像素深度恢复的准确性。
S203，根据所述目标图像中像素的估计深度，获取所述目标图像对应的目标三维点云数据。
目标图像中各像素确定估计深度的过程可以并行执行。在目标图像中像素都确定出估计深度后，得到目标图像对应的深度图像。进而将深度图像结合目标图像中各像素的像素位置，可以得到各像素的三维信息，得到目标图像对应的目标三维点云数据。
图2所示三维重建的实施例，通过利用匹配图像在不同深度投影面上的投影图像，以代价匹配对目标图像实现深度恢复，转化得到目标三维点云数据，提高了对单目图像进行三维重建的准确性和可靠性，进而提高了可行驶区域检测的准确性和可靠性。
S103，根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点。
目标三维点云数据体现了目标图像的拍摄区域中的三维立体信息，由此可以过滤出障碍物的三维点，并根据相对于相机原点的径向距离再次过滤出用于确定可行驶区域边界的最近障碍物点。
在一些实施例中，可以根据所述目标三维点云数据和对所述目标图像的拍摄区域水平切分的极坐标栅格网络，确定所述极坐标栅格网络中各栅格中包含障碍物点的数量，然后根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点。
具体地，首先可以利用极坐标栅格网络对相机拍摄区域进行空间划分，以便对其中最近障碍物点进行提取。例如，可以根据所述目标三维点云数据和所述目标图像对应的相机原点位置，确定预设的极坐标栅格网络的各栅格中的目标三维点。相机原点位置例如是预先标定的、用于指示相机原点相对于地面高度、相对于车身位置的信息。参见图7，是本申请实施例提供的一种极坐标栅格网络的俯视图。如图7所示，所述极坐标栅格网络是对目标图像的拍摄区域，以扇形排布的第一类切割面和正对相机且平行排布的第二类切割面叠加分割形成的分割网络，所述第一类切割面的交线与相机原点的对地垂线共线。第一类切割面和第二类切割面都是与地面垂直的平面。参见图7，多个第一类切割面对目标图像的拍摄区域的分割，在俯视图上例如可以形成以相机原点为中心，将水平方向175°划分为128个扇面分区。在此基础上，多个第二类切割面与相机正对面平行分布进行叠加分割。在一些实施例中，越靠近车辆的像素分辨率越高，目标三维点越密集，而且越靠近车辆的障碍物可能产生越大的影响，对靠近相机原点的分割密度应大于远离相机原点的分割密度。靠近相机原点的第二类切割面分布密度大于远离相机原点的第二类切割面的分布密度。例如，第二类切割面按与相机原点的径向距离从0.5m到32m成反比例等差划分出63段形成栅格。
继续参见图7，确定预设的极坐标栅格网络的各栅格中的目标三维点后，可以确定各所述栅格中包含障碍物点的数量，其中，所述障碍物点为对地高度大于预设障碍物高度阈值的目标三维点。预设障碍物高度阈值例如可以是4cm、5cm、6cm等车辆可以直接越过的限额高度，例如车辆的底盘高度。然后，在所述第一类切割面分割出的扇形分区中，确定最近障碍物栅格，其中，所述最近障碍物栅格是所述扇形分区中与所述相机原点径向距离最近、且所包含障碍物点的数量大于预设数量阈值的栅格。例如，在以原点为中心向图7所示极坐标栅格网络各方向搜索障碍物点数量大于预设数量阈值的第一个栅格，作为该方向上的最近障碍物栅格。最后可以根据所述最近障碍物栅格，确定所述目标图像的拍摄区域中最近障碍物点。参见图8，是本申请实施例提供的一种目标图像的拍摄区域中最近障碍物点示意图。在图8所示的场景中，车位两侧的其他车辆和石柱都在最近障碍物点以外，在最近障碍物点圈定的相机侧区域中，可以确定出可行驶区域。本实施例利用对相机原点建立的极坐标栅格网络对目标图像的拍摄区域进行空间划分，将各方向扇形分区中可能是障碍物且对相机原点径向距离最小的栅格提取出来，用于确定相机原点各方向的最近障碍物点，提高了最近障碍物点的准确性，进而提高可行驶区域检测的准确性和可靠性。
最近障碍物点可以是最近障碍物栅格的中心点或者是根据最近障碍物栅格中目标三维点确定的点。在一些实施例中，可以是获取所述最近障碍物栅格中所包含障碍物点的平均位置点；将各所述最近障碍物栅格对应的平均位置点，作为所述目标图像的拍摄区域中最近障碍物点。本实施例进一步优化最近障碍物点的位置，提高障碍物点的准确性。
S104，根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域。
在最近障碍物点确定后，可以以最近障碍物点作为可行驶区域的边界。而为了提高可行驶区域的可靠性，还可以结合均匀分割网络景进行多帧融合处理，对可行驶区域的边界进行持续优化。
在一些实施例中，可以根据所述最近障碍物点和所述目标图像对应的相机原点位置，获取包含所述最近障碍物点的均匀分割网络。其中，所述均匀分割网络是对目标图像的拍摄区域在水平方向以均匀方形网格分割形成的分割网络。参见图9，是本申请实施例提供的一种均匀分割网络俯视图。如图9所示，将水平空间按0.1m*0.1m的网格均匀划分出均匀分割网络，其中的方形网格实际上是对水平方向进行均匀分割的立体网格，每个网格单元实际上是横截面为方形的棱柱体区域。
本实施例通过均匀分割网络俯视图对空间进行均匀分割，在对所述目标图像的拍摄区域水平切分的均匀分割网络中，可以根据所述均匀分割网络中各网格单元相对于所述最近障碍物点的位置，确定各网格单元的加权值。具体地，可以根据所述均匀分割网络中各网格单元对相机原点的径向距离，以及所述网格单元方向上的最近障碍物点对相机原点的径向距离，确定各所述网格单元的加权值。参见图9所示，每个箭头代表一个径向方向，对每个径向方向上的网格单元确定各自的加权值。该加权值的计算是根据网格单元对相机原点的径向距离，和其网格单元所在方向上障碍物点对相机原点的径向距离来确定的。具体在后续实施例中对加权值的计算进行举例说明。在每个网格单元得到加权值时，形成了以最近障碍物点为截断面的截断有向距离场，可以根据相对于截断面的有向距离，对截断有效距离场中各网格单元进行权值计算。得到各网格单元的加权值后，根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值，其中，所述新权值大于或等于最小权阈值、且小于或等于最大权阈值，所述网格单元的初始权值是0或者是在对前一帧图像确定可行驶区域时确定的新权值。应当理解地，最大权阈值和最小权阈值是用于对新权值进行限定，避免新权值的无限增大。例如，假设多个连续帧中，车库墙壁对应的网格单元的加权值维持取+1，那么其新权值增大到10(最大权阈值)后不再增大。
然后，可以根据所述新权值指示的第一类网格单元或第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，所述新权值指示的第一类网格单元与所述相机原点之间有所述最近障碍物点，所述新权值指示的第二类网格单元与所述相机原点之间没有所述最近障碍物点。可以理解为，根据新权值的数值可以对网格单元实现分类，确定各网格单元是第一类网格单元还是第二类网格单元。例如，可以根据所述网格单元的新权值，确定所述网格单元是第一类网格单元或者第二类网格单元，其中，所述第一类网格单元与所述相机原点之间有所述最近障碍物点，所述第二类网格单元与所述相机原点之间没有所述最近障碍物点。第二类网格单元可以理解为是在最近障碍物点和相机原点之间的网格单元。最后，根据所述第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，与所述第一类网格单元相邻的所述第二类网格单元是所述可行驶区域的边界。应理解地，第二类网格单元合并后可以形成目标图像的拍摄区域中的可行驶区域。
上述实施例中，在根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值之前，还可以先确定所述目标图像对应的各网格单元的初始权值。目标图像各网格单元的初始权值是根据匹配图像和目标图像的相机相对位姿，将匹配图像对应的截断有向距离场旋转平移变换至目标图像对应的截断有向距离场中，确定匹配图像对应的网格单元与目标图像对应的网格单元之间的对应关系。而在匹配图像对应的网格单元所确定的新权值，就是目标图像对应的网格单元的初始权值。
假如目标图像是连续帧图像的首帧图像，则初始权值为0。
上述实施例通过计算目标图像拍摄区域在均匀分割网络中各网格单元的加权值，对网格单元更新权值，随着连续图像帧的不断更新，不断加权更新网格单元的新权值，不仅能够平滑噪声还能够起到弥补单帧最近障碍物点漏检的问题，提高了对可行驶区域检测的可靠性。
在上述实施例中，确定各所述网格单元的加权值的实现方式，例如可以是：
若所述均匀分割网络中网格单元对相机原点的径向距离，减去所述网格单元方向上的最近障碍物点对相机原点的径向距离的差值，大于或等于距离上限阈值，则所述网格单元的加权值为第一值。
若所述最近障碍物点对相机原点的径向距离，减去所述最近障碍物点方向上网格单元对相机原点的径向距离的差值，小于或等于距离下限阈值，则所述网格单元的加权值为第二值。
若所述最近障碍物点对相机原点的径向距离，减去所述最近障碍物点方向上网格单元对相机原点的径向距离的差值，小于所述距离上限阈值且大于所述距离下限阈值，则所述网格单元的加权值为第三值，其中，所述第三值是根据所述差值和预设的平滑连续函数确定的值。
其中，所述距离上限阈值是所述距离下限阈值的相反数，所述第一值是所述第二值的相反数，所述第三值的绝对值小于所述距离上限阈值的绝对值或所述距离下限阈值的绝对值。
作为一种示例，可以是根据下列公式一，确定指定方向上的网格单元的加权值f(c)：
Figure BDA0002410636520000171
其中，c是网格单元对相机原点的径向距离，d是该网格方向上最近障碍物点对相机原点的径向距离。公式一中，距离上限阈值是0.3，距离下线阈值是-0.3，第一值是1，第二值是-1，平滑连续函数是预设的三角函数。
参见图10，是本申请实施例提供的一种可行驶区域示意图。图10中阴影区域为可行驶区域。如图10所示的可行驶区域边界是通过多帧图像的加权值累计加权更新得到的结果，是对图8所示最近障碍物点所标记位置的进一步优化。图10所示的可行驶区域边界融合了目标图像的最近障碍物所确定的网格单元加权值，以及之前连续帧累计得到的初始权值，具有较高的可靠性。
上述实施例实现了对各网格单元加权值的确定，并通过平滑连续函数对差值在距离上限阈值和距离下限阈值之间的网格单元平滑过渡，进一步降低多帧融合加权累积过程中的噪声，提高了对网格单元新权值确定的可靠性，进而提高了对可行驶区域检测的可靠性。
图1所示实施例通过获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是与所述目标图像连续的前一帧图像；然后根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据，从而实现对单目相机采集的连续帧图像重建三维点云数据；接着根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点，并根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域，无需采集三维图像或大量图像样本进行机器学习，降低了对于图像采集方式的依赖，降低了处理难度、提高了检测的准确性和可靠性。
参见图11，是本申请实施例提供的一种可行驶区域检测装置结构示意图。如图11所示的可行驶区域检测装置30包括：
图像采集模块31，用于获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是所述目标图像的前一帧图像。
第一处理模块32，用于根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据。
第二处理模块33，用于根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点。
第三处理模块34，用于根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域。
本实施例提供的可行驶区域检测装置，通过获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是与所述目标图像连续的前一帧图像；然后根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据，从而实现对单目相机采集的连续帧图像重建三维点云数据；接着根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点，并根据各所述最近障碍物点，确定所述目标图像的拍摄区域中的可行驶区域，无需采集三维图像或大量图像样本进行机器学习，降低了对于图像采集方式的依赖，降低了处理难度、提高了检测的准确性和可靠性。
在一些实施例中，第一处理模块32，具体用于将所述匹配图像按照所述目标图像的视角投影至预设的多个投影面上，得到多个投影图像，其中，每个所述投影面对应一相对于相机原点的深度；根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度；根据所述目标图像中像素的估计深度，获取所述目标图像对应的目标三维点云数据。
本实施例利用匹配图像在不同深度投影面上的投影图像，以代价匹配对目标图像实现深度恢复，转化得到目标三维点云数据，提高了对单目图像进行三维重建的准确性和可靠性，进而提高了可行驶区域检测的准确性和可靠性。
在一些实施例中，所述投影面包括：N1个竖直投影平面；所述N1个竖直投影平面平行于相机正对面，且所述相机原点到所述N1个竖直投影平面的距离成反比例等差分布，其中，N1为大于1的整数。本实施例通过竖直投影平面实现对相机前方区域的深度恢复，提高在弯道等复杂环境下深度恢复的准确性，进而提高对目标图像三维重建的准确性和可靠性。
在一些实施例中，所述投影面还包括：N2个水平投影平面和/或N3个投影球面；其中，所述N2个水平投影平面平行于相机正下方地面，且所述N2个水平投影平面在以所述地面为对称中心的地面分布范围内均匀排列，其中，N2为大于1的整数；所述N3个投影球面为以所述相机原点为球心的同心球面，且所述N3个投影球面的半径成反比例等差分布，其中，N3为大于1的整数。本实施例通过水平投影平面恢复目标图像中地面区域的深度，通过投影球面引入更多法向采样，提高深度恢复的准确性和可靠性。对于目标图像中既不在水平面上又不在竖直面上的点，通过结合投影球面可以增加法向采样能够提高这些点的深度恢复的准确性。另外，引入平行的投影球面还能够对视角大于180度的鱼眼的目标图像提供有利的投影面，提高深度恢复的准确性和可靠性。
在一些实施例中，第一处理模块32，具体用于获取所述目标图像中像素的目标像素窗口特征；获取所述多个投影图像中相应像素的投影像素窗口特征；根据所述目标像素窗口特征和所述投影像素窗口特征，获取所述目标图像中像素与各所述投影图像中相应像素的匹配代价；将所述匹配代价最小的所述相应像素对应的深度，作为所述目标图像中像素的估计深度，其中，所述相应像素对应的深度，是所述相应像素所在投影面对应的深度。
本实施例通过将匹配代价最小的相应像素所对应的深度，作为目标图像中像素的估计深度，提高了对目标图像中像素深度恢复的准确性。
在一些实施例中，第一处理模块32，在所述根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度之前，还用于根据所述目标图像与所述匹配图像的相机相对位姿，确定所述匹配图像中与所述目标图像中像素一一对应的相应像素；根据所述匹配图像中的所述相应像素，确定各所述投影图像中与所述目标图像中像素一一对应的相应像素。
本实施例通过相机相对位姿定位匹配图像和目标图像中相对应的像素，提高了对目标图像深度恢复的准确性和可靠性。
在一些实施例中，第一处理模块32，在所述根据所述目标图像与所述匹配图像的相机相对位姿，确定所述匹配图像中与所述目标图像中像素一一对应的相应像素之前，还用于采集车辆后轮的轮速计数据和车载惯性测量单元IMU数据，其中，所述车辆后轮的轮速计数据指示了所述车载单目相机的水平运动距离，所述车载IMU数据指示了所述车载单目相机的水平运动方向；根据所述车辆后轮的轮速计数据和所述车载IMU数据，确定所述车载单目相机的相机位姿数据；根据所述车载单目相机的相机位姿数据，确定所述目标图像与所述匹配图像的相机相对位姿。
本实施例由于后轮与车身之间在水平方向无相对转动，后轮的轮速可以直接表征车身的移速，结合车辆后轮的轮速计数据和车载IMU数据得到相机位姿，提高了相机位姿的可靠性，进而提高可行驶区域检测的准确性和可靠性。
在一些实施例中，第二处理模块33，用于根据所述目标三维点云数据和对所述目标图像的拍摄区域水平切分的极坐标栅格网络，确定所述极坐标栅格网络中各栅格中包含障碍物点的数量，其中，所述障碍物点为对地高度大于预设障碍物高度阈值的目标三维点；根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点，其中，所述最近障碍物栅格是所述扇形分区中与所述相机原点径向距离最近、且所包含障碍物点的数量大于预设数量阈值的栅格。具体地，例如是根据所述目标三维点云数据和所述目标图像对应的相机原点位置，确定预设的极坐标栅格网络的各栅格中的目标三维点，其中，所述极坐标栅格网络是对目标图像的拍摄区域，以扇形排布的第一类切割面和正对相机且平行排布的第二类切割面叠加分割形成的分割网络，所述第一类切割面的交线与相机原点的对地垂线共线；确定各所述栅格中包含障碍物点的数量，其中，所述障碍物点为对地高度大于预设障碍物高度阈值的目标三维点；在所述第一类切割面分割出的扇形分区中，确定最近障碍物栅格，其中，所述最近障碍物栅格是所述扇形分区中与所述相机原点径向距离最近、且所包含障碍物点的数量大于预设数量阈值的栅格；根据所述最近障碍物栅格，确定所述目标图像的拍摄区域中最近障碍物点。
本实施例利用对相机原点建立的极坐标栅格网络对目标图像的拍摄区域进行空间划分，将各方向扇形分区中可能是障碍物且对相机原点径向距离最小的栅格提取出来，用于确定相机原点各方向的最近障碍物点，提高了最近障碍物点的准确性，进而提高可行驶区域检测的准确性和可靠性。
在一些实施例中，第二处理模块33，用于获取所述最近障碍物栅格中所包含障碍物点的平均位置点；将各所述最近障碍物栅格对应的平均位置点，作为所述目标图像的拍摄区域中最近障碍物点。
本实施例进一步优化最近障碍物点的位置，提高障碍物点的准确性。
在一些实施例中，第三处理模块34，用于在对所述目标图像的拍摄区域水平切分的均匀分割网络中，根据所述均匀分割网络中各网格单元相对于所述最近障碍物点的位置，确定各网格单元的加权值；根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值，其中，所述新权值大于或等于最小权阈值、且小于或等于最大权阈值，所述网格单元的初始权值是0或者是在对前一帧图像确定可行驶区域时确定的新权值；根据所述新权值指示的第一类网格单元或第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，所述新权值指示的第一类网格单元与所述相机原点之间有所述最近障碍物点，所述新权值指示的第二类网格单元与所述相机原点之间没有所述最近障碍物点。例如，具体可以是根据所述最近障碍物点和所述目标图像对应的相机原点位置，获取包含所述最近障碍物点的均匀分割网络，其中，所述均匀分割网络是对目标图像的拍摄区域在水平方向以均匀方形网格分割形成的分割网络；根据所述均匀分割网络中各网格单元对相机原点的径向距离，以及所述网格单元方向上的最近障碍物点对相机原点的径向距离，确定各所述网格单元的加权值；根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值，其中，所述新权值大于或等于最小权阈值、且小于或等于最大权阈值，所述网格单元的初始权值是0或者是在对前一帧图像确定可行驶区域时确定的新权值；根据所述网格单元的新权值，确定所述网格单元是第一类网格单元或者第二类网格单元，其中，所述第一类网格单元与所述相机原点之间有所述最近障碍物点，所述第二类网格单元与所述相机原点之间没有所述最近障碍物点；根据所述第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，与所述第一类网格单元相邻的所述第二类网格单元是所述可行驶区域的边界。
本实施例通过计算目标图像拍摄区域在均匀分割网络中各网格单元的加权值，对网格单元更新权值，随着连续图像帧的不断更新，不断加权更新网格单元的新权值，不仅能够平滑噪声还能够起到弥补单帧最近障碍物点漏检的问题，提高了对可行驶区域检测的可靠性。
在一些实施例中，第三处理模块34，具体用于若所述均匀分割网络中网格单元对相机原点的径向距离，减去所述网格单元方向上的最近障碍物点对相机原点的径向距离的差值，大于或等于距离上限阈值，则所述网格单元的加权值为第一值；若所述最近障碍物点对相机原点的径向距离，减去所述最近障碍物点方向上网格单元对相机原点的径向距离的差值，小于或等于距离下限阈值，则所述网格单元的加权值为第二值；若所述最近障碍物点对相机原点的径向距离，减去所述最近障碍物点方向上网格单元对相机原点的径向距离的差值，小于所述距离上限阈值且大于所述距离下限阈值，则所述网格单元的加权值为第三值，其中，所述第三值是根据所述差值和预设的平滑连续函数确定的值；其中，所述距离上限阈值是所述距离下限阈值的相反数，所述第一值是所述第二值的相反数，所述第三值的绝对值小于所述距离上限阈值的绝对值或所述距离下限阈值的绝对值。
本实施例实现了对各网格单元加权值的确定，并通过平滑连续函数对差值在距离上限阈值和距离下限阈值之间的网格单元平滑过渡，进一步降低多帧融合加权累积过程中的噪声，提高了对网格单元新权值确定的可靠性，进而提高了对可行驶区域检测的可靠性。
在一些实施例中，所述匹配图像和目标图像都是鱼眼图像。本申请实施例通过采用鱼眼图像，实现了增大水平视角，扩大图像拍摄区域视野范围，提高可行驶区域检测的可靠性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
参见图12，是根据本申请实施例的可行驶区域检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图12所示，该电子设备包括：一个或多个处理器1201、存储器1202，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图12中以一个处理器1201为例。
存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的可行驶区域检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的可行驶区域检测方法。
存储器1202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的可行驶区域检测方法对应的程序指令/模块(例如，附图11所示的图像采集模块31、第一处理模块32、第二处理模块33和第三处理模块34)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的可行驶区域检测的方法。
存储器1202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据可行驶区域检测的电子设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1202可选包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至可行驶区域检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可行驶区域检测的方法的电子设备还可以包括：输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接，图12中以通过总线连接为例。
输入装置1203可接收输入的数字或字符信息，以及产生与可行驶区域检测的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种可行驶区域检测方法，其特征在于，包括：
获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是与所述目标图像连续的前一帧图像；
根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据；
根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点；
在对所述目标图像的拍摄区域水平切分的均匀分割网络中，根据所述均匀分割网络中各网格单元对相机原点的径向距离，以及所述网格单元方向上的最近障碍物点对相机原点的径向距离，确定各网格单元的加权值；
根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值，其中，所述新权值大于或等于最小权阈值、且小于或等于最大权阈值，所述网格单元的初始权值是0或者是在对前一帧图像确定可行驶区域时确定的新权值；
根据所述新权值指示的第一类网格单元或第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，所述新权值指示的第一类网格单元与所述相机原点之间有所述最近障碍物点，所述新权值指示的第二类网格单元与所述相机原点之间没有所述最近障碍物点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据，包括：
将所述匹配图像按照所述目标图像的视角投影至预设的多个投影面上，得到多个投影图像，其中，每个所述投影面对应一相对于相机原点的深度；
根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度；
根据所述目标图像中像素的估计深度，获取所述目标图像对应的目标三维点云数据。
3.根据权利要求2所述的方法，其特征在于，所述投影面包括：N1个竖直投影平面；
所述N1个竖直投影平面平行于相机正对面，且所述相机原点到所述N1个竖直投影平面的距离成反比例等差分布，其中，N1为大于1的整数。
4.根据权利要求3所述的方法，其特征在于，所述投影面还包括：N2个水平投影平面和/或N3个投影球面；
其中，所述N2个水平投影平面平行于相机正下方地面，且所述N2个水平投影平面在以所述地面为对称中心的地面分布范围内均匀排列，其中，N2为大于1的整数；
所述N3个投影球面为以所述相机原点为球心的同心球面，且所述N3个投影球面的半径成反比例等差分布，其中，N3为大于1的整数。
5.根据权利要求2至4任一所述的方法，其特征在于，所述根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度，包括：
获取所述目标图像中像素的目标像素窗口特征；
获取所述多个投影图像中相应像素的投影像素窗口特征；
根据所述目标像素窗口特征和所述投影像素窗口特征，获取所述目标图像中像素与各所述投影图像中相应像素的匹配代价；
将所述匹配代价最小的所述相应像素对应的深度，作为所述目标图像中像素的估计深度，其中，所述相应像素对应的深度，是所述相应像素所在投影面对应的深度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点，包括：
根据所述目标三维点云数据和对所述目标图像的拍摄区域水平切分的极坐标栅格网络，确定所述极坐标栅格网络中各栅格中包含障碍物点的数量，其中，所述障碍物点为对地高度大于预设障碍物高度阈值的目标三维点；
根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点，其中，所述最近障碍物栅格是所述扇形分区中与所述相机原点径向距离最近、且所包含障碍物点的数量大于预设数量阈值的栅格。
7.根据权利要求6所述的方法，其特征在于，所述根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点，包括：
获取所述最近障碍物栅格中所包含障碍物点的平均位置点；
将各所述最近障碍物栅格对应的平均位置点，作为所述目标图像的拍摄区域中最近障碍物点。
8.根据权利要求1、2、3、4、6或7所述的方法，其特征在于，所述匹配图像和目标图像都是鱼眼图像。
9.一种可行驶区域检测装置，其特征在于，包括：
图像采集模块，用于获取以车载单目相机对车辆周围区域拍摄所采集的匹配图像和目标图像，其中，所述匹配图像是所述目标图像的前一帧图像；
第一处理模块，用于根据所述匹配图像对所述目标图像进行三维重建，得到所述目标图像对应的目标三维点云数据；
第二处理模块，用于根据所述目标三维点云数据，确定所述目标图像的拍摄区域中最近障碍物点；
第三处理模块，用于在对所述目标图像的拍摄区域水平切分的均匀分割网络中，根据所述均匀分割网络中各网格单元对相机原点的径向距离，以及所述网格单元方向上的最近障碍物点对相机原点的径向距离，确定各网格单元的加权值；根据各所述网格单元的初始权值以及所述加权值，确定各所述网格单元的新权值，其中，所述新权值大于或等于最小权阈值、且小于或等于最大权阈值，所述网格单元的初始权值是0或者是在对前一帧图像确定可行驶区域时确定的新权值；根据所述新权值指示的第一类网格单元或第二类网格单元，确定所述目标图像的拍摄区域中的可行驶区域，其中，所述新权值指示的第一类网格单元与所述相机原点之间有所述最近障碍物点，所述新权值指示的第二类网格单元与所述相机原点之间没有所述最近障碍物点。
10.根据权利要求9所述的装置，其特征在于，所述第一处理模块，具体用于将所述匹配图像按照所述目标图像的视角投影至预设的多个投影面上，得到多个投影图像，其中，每个所述投影面对应一相对于相机原点的深度；根据所述目标图像中像素与所述多个投影图像中相应像素的匹配代价，确定所述目标图像中像素的估计深度；根据所述目标图像中像素的估计深度，获取所述目标图像对应的目标三维点云数据。
11.根据权利要求10所述的装置，其特征在于，所述投影面包括：N1个竖直投影平面；所述N1个竖直投影平面平行于相机正对面，且所述相机原点到所述N1个竖直投影平面的距离成反比例等差分布，其中，N1为大于1的整数。
12.根据权利要求11所述的装置，其特征在于，所述投影面还包括：N2个水平投影平面和/或N3个投影球面；其中，所述N2个水平投影平面平行于相机正下方地面，且所述N2个水平投影平面在以所述地面为对称中心的地面分布范围内均匀排列，其中，N2为大于1的整数；所述N3个投影球面为以所述相机原点为球心的同心球面，且所述N3个投影球面的半径成反比例等差分布，其中，N3为大于1的整数。
13.根据权利要求10至12任一所述的装置，其特征在于，所述第一处理模块，具体用于获取所述目标图像中像素的目标像素窗口特征；获取所述多个投影图像中相应像素的投影像素窗口特征；根据所述目标像素窗口特征和所述投影像素窗口特征，获取所述目标图像中像素与各所述投影图像中相应像素的匹配代价；将所述匹配代价最小的所述相应像素对应的深度，作为所述目标图像中像素的估计深度，其中，所述相应像素对应的深度，是所述相应像素所在投影面对应的深度。
14.根据权利要求9所述的装置，其特征在于，所述第二处理模块，用于根据所述目标三维点云数据和对所述目标图像的拍摄区域水平切分的极坐标栅格网络，确定所述极坐标栅格网络中各栅格中包含障碍物点的数量，其中，所述障碍物点为对地高度大于预设障碍物高度阈值的目标三维点；根据所述极坐标栅格网络的各扇形分区中的最近障碍物栅格，确定所述目标图像的拍摄区域中各方向的最近障碍物点，其中，所述最近障碍物栅格是所述扇形分区中与所述相机原点径向距离最近、且所包含障碍物点的数量大于预设数量阈值的栅格。
15.根据权利要求14所述的装置，其特征在于，所述第二处理模块33，用于获取所述最近障碍物栅格中所包含障碍物点的平均位置点；将各所述最近障碍物栅格对应的平均位置点，作为所述目标图像的拍摄区域中最近障碍物点。
16.根据权利要求9、10、11、12、14或15所述的装置，其特征在于，所述匹配图像和目标图像都是鱼眼图像。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一所述的可行驶区域检测方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至8中任一所述的可行驶区域检测方法。
CN202010175382.7A 2020-03-13 2020-03-13 可行驶区域检测方法、装置、设备及计算机可读存储介质 Active CN111366917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010175382.7A CN111366917B (zh) 2020-03-13 2020-03-13 可行驶区域检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010175382.7A CN111366917B (zh) 2020-03-13 2020-03-13 可行驶区域检测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111366917A CN111366917A (zh) 2020-07-03
CN111366917B true CN111366917B (zh) 2022-07-15

Family

ID=71208941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010175382.7A Active CN111366917B (zh) 2020-03-13 2020-03-13 可行驶区域检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111366917B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289070B (zh) * 2020-10-20 2021-12-07 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、车辆、可读介质
CN113409268B (zh) * 2021-06-18 2023-04-18 广东工业大学 基于单目相机的可通行区域检测方法、装置及存储介质
CN115661238B (zh) * 2022-12-06 2023-03-07 广汽埃安新能源汽车股份有限公司 可行驶区域生成方法、装置、电子设备和计算机可读介质
CN117218244B (zh) * 2023-11-07 2024-02-13 武汉博润通文化科技股份有限公司 一种基于图像识别的3d动画模型智能生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903096A (zh) * 2012-07-04 2013-01-30 北京航空航天大学 一种基于单目视频的对象深度提取方法
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN107064955A (zh) * 2017-04-19 2017-08-18 北京汽车集团有限公司 障碍物聚类方法及装置
CN108038905A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于超像素的目标重建方法
CN109949355A (zh) * 2019-03-14 2019-06-28 大连民族大学 单目视觉行人距离估计中建立半扇形等距线模型的方法
CN110244321A (zh) * 2019-04-22 2019-09-17 武汉理工大学 一种基于三维激光雷达的道路可通行区域检测方法
CN112243518A (zh) * 2019-08-29 2021-01-19 深圳市大疆创新科技有限公司 获取深度图的方法、装置及计算机存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4256812B2 (ja) * 2004-04-26 2009-04-22 三菱重工業株式会社 移動体の障害物回避方法及び該移動体
EP2952993B1 (en) * 2014-06-05 2018-04-25 Softbank Robotics Europe Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
US9933264B2 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN104950883A (zh) * 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法
US10635913B2 (en) * 2016-10-17 2020-04-28 Mediatek Inc. Path planning method and related navigation device
US10296012B2 (en) * 2016-12-21 2019-05-21 X Development Llc Pre-computation of kinematically feasible roadmaps
KR102275310B1 (ko) * 2017-04-20 2021-07-12 현대자동차주식회사 자동차 주변의 장애물 검출 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903096A (zh) * 2012-07-04 2013-01-30 北京航空航天大学 一种基于单目视频的对象深度提取方法
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN107064955A (zh) * 2017-04-19 2017-08-18 北京汽车集团有限公司 障碍物聚类方法及装置
CN108038905A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于超像素的目标重建方法
CN109949355A (zh) * 2019-03-14 2019-06-28 大连民族大学 单目视觉行人距离估计中建立半扇形等距线模型的方法
CN110244321A (zh) * 2019-04-22 2019-09-17 武汉理工大学 一种基于三维激光雷达的道路可通行区域检测方法
CN112243518A (zh) * 2019-08-29 2021-01-19 深圳市大疆创新科技有限公司 获取深度图的方法、装置及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种快速多视图立体匹配方法;赵洪田;《现代计算机》;20180131;全文 *
基于视差的单目视觉障碍检测;王辉等;《万方数据》;20050627;正文第237-239页 *

Also Published As

Publication number Publication date
CN111366917A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111366917B (zh) 可行驶区域检测方法、装置、设备及计算机可读存储介质
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
Kim et al. Remove, then revert: Static point cloud map construction using multiresolution range images
US20210279444A1 (en) Systems and methods for depth map sampling
CN109144095B (zh) 用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避***
US10192113B1 (en) Quadocular sensor design in autonomous platforms
US10496104B1 (en) Positional awareness with quadocular sensor in autonomous platforms
US9933264B2 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、***及可读存储介质
CN111274343B (zh) 一种车辆定位方法、装置、电子设备及存储介质
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP3414641B1 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机***
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN111968229A (zh) 高精度地图制图方法及装置
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN110132242B (zh) 多摄像机即时定位与地图构建的三角化方法及其运动体
CN111539973A (zh) 用于检测车辆位姿的方法及装置
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
CN111222579B (zh) 跨相机的障碍物关联方法、装置、设备、电子***及介质
CN111674388B (zh) 用于车辆弯道行驶的信息处理方法和装置
CN112330815A (zh) 基于障碍物融合的三维点云数据处理方法、装置和设备
CN112668428A (zh) 车辆变道的检测方法、路侧设备、云控平台和程序产品
CN111666876A (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant