CN109117691A - 可行驶区域检测方法、装置、设备及存储介质 - Google Patents

可行驶区域检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109117691A
CN109117691A CN201710487182.3A CN201710487182A CN109117691A CN 109117691 A CN109117691 A CN 109117691A CN 201710487182 A CN201710487182 A CN 201710487182A CN 109117691 A CN109117691 A CN 109117691A
Authority
CN
China
Prior art keywords
pavement image
pixel
image
depth information
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710487182.3A
Other languages
English (en)
Inventor
陈世佳
何明
夏添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710487182.3A priority Critical patent/CN109117691A/zh
Publication of CN109117691A publication Critical patent/CN109117691A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了可行驶区域检测方法、装置、设备及存储介质，其中方法包括：获取安装在无人驾驶车辆上的单目摄像头采集的路面图像；根据预先训练得到的深度学习模型，得到路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息；根据各像素点的深度信息得到空间可行驶区域。应用本发明所述方案，能够提高检测结果的准确性等。

Description

可行驶区域检测方法、装置、设备及存储介质
【技术领域】
本发明涉及计算机应用技术，特别涉及可行驶区域检测方法、装置、设备及存储介质。
【背景技术】
近年来随着交通改善和驾驶安全需求的不断增强，自动驾驶技术迅速进入大众视野。
在无人驾驶车辆的行驶过程中，可实时地进行障碍物检测，以便进行避障等操作，目前虽然已经有比较有效的障碍物检测方案，但其检测准确性仍有待提高，而且只能检测定义好的障碍物类型，应对突发或未知类型的障碍物存在困难。
为此，现有技术中又提出了可行驶区域检测技术，可行驶区域检测技术的检测目标与障碍物检测相反，只考虑可以行驶的路面部分(不包含障碍物部分)，不需要对障碍物进行各种细分，只需要区分出路面上的可行驶区域和不可行驶区域即可。
具体的可行驶区域检测方式可为：通过双目摄像头采集左右目路面图像，计算并生成视差信息图，从而获得每个像素的三维信息，之后通过投影、拟合等方式，得到路面边缘信息，进而通过扫描方式确定路面可行驶区域。
但双目摄像头在室外运动环境中的配置要求严格，获取的视差精度通常较低，从而导致后续可行驶区域的检测结果不够准确。
【发明内容】
有鉴于此，本发明提供了可行驶区域检测方法、装置、设备及存储介质，能够提高检测结果的准确性。
具体技术方案如下：
一种可行驶区域检测方法，包括：
获取安装在无人驾驶车辆上的单目摄像头采集的路面图像；
根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息；
根据各像素点的深度信息得到空间可行驶区域。
根据本发明一优选实施例，所述获取安装在无人驾驶车辆上的单目摄像头采集的路面图像之前，进一步包括：
获取作为训练数据的路面图像；
针对作为训练数据的每张路面图像，分别获取其中的各像素点的标注结果，所述标注结果包括属于可行驶区域以及属于不可行驶区域；
针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息；
根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型。
根据本发明一优选实施例，所述获取作为训练数据的路面图像包括：
获取安装有单目摄像头的采集车所采集的路面图像，将采集到的路面图像作为训练数据；
所述采集车上进一步安装有深度传感器，所述针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息包括：
针对作为训练数据的每张路面图像，分别根据所述深度传感器采集到的对应的深度数据，确定出所述路面图像中的各像素点的深度信息。
根据本发明一优选实施例，所述获取作为训练数据的路面图像包括：
获取安装有双目摄像头的采集车所采集的路面图像；
针对所述双目摄像头每次采集到的左右目路面图像，分别从中选出一个路面图像作为训练数据，所选出的路面图像为左目路面图像或右目路面图像；
所述针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息包括：
针对作为训练数据的每张路面图像，分别根据所述路面图像对应的左右目路面图像确定出所述路面图像中的各像素点的深度信息。
根据本发明一优选实施例，所述根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型包括：
根据作为训练数据的各路面图像以及其中的各像素点的标注结果，训练得到第一深度学习模型；
根据作为训练数据的各路面图像以及其中的各像素点的深度信息，训练得到第二深度学习模型；
所述根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息包括：
将所述路面图像输入给所述第一深度学习模型，得到由可行驶区域以及不可行驶区域组成的分类结果图像；
将所述路面图像输入给所述第二深度学习模型，得到所述图像中的各像素点的深度信息。
根据本发明一优选实施例，所述根据各像素点的深度信息得到空间可行驶区域之前，进一步包括：
对所述分类结果图像进行图像后处理，得到优化后的可行驶区域。
根据本发明一优选实施例，所述根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型包括：
根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，通过多任务学习的方式，训练得到第三深度学习模型；
所述根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息包括：
将所述路面图像输入给所述第三深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息。
根据本发明一优选实施例，所述根据各像素点的深度信息得到空间可行驶区域包括：
从所述路面图像中的各像素点的深度信息中提取出所述可行驶区域中的各像素点的深度信息；
根据所述可行驶区域中的各像素点的深度信息得到所述空间可行驶区域。
根据本发明一优选实施例，所述根据各像素点的深度信息得到空间可行驶区域之后，进一步包括：
对所述空间可行驶区域进行空间后处理，得到优化后的空间可行驶区域。
一种可行驶区域检测装置，包括：图像获取单元和检测单元；
所述图像获取单元，用于获取安装在无人驾驶车辆上的单目摄像头采集的路面图像；
所述检测单元，用于根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息，并根据各像素点的深度信息得到空间可行驶区域。
根据本发明一优选实施例，所述装置中进一步包括：预处理单元；
所述预处理单元中包括：样本获取子单元以及模型训练子单元；
所述样本获取子单元，用于获取作为训练数据的路面图像，针对作为训练数据的每张路面图像，分别获取其中的各像素点的标注结果，所述标注结果包括属于可行驶区域以及属于不可行驶区域，并针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息；
所述模型训练子单元，用于根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型。
根据本发明一优选实施例，所述样本获取子单元获取安装有单目摄像头的采集车所采集的路面图像，将采集到的路面图像作为训练数据；
所述采集车上进一步安装有深度传感器，所述样本获取子单元针对作为训练数据的每张路面图像，分别根据所述深度传感器采集到的对应的深度数据，确定出所述路面图像中的各像素点的深度信息。
根据本发明一优选实施例，所述样本获取子单元获取安装有双目摄像头的采集车所采集的路面图像，针对所述双目摄像头每次采集到的左右目路面图像，分别从中选出一个路面图像作为训练数据，所选出的路面图像为左目路面图像或右目路面图像；
所述样本获取子单元针对作为训练数据的每张路面图像，分别根据所述路面图像对应的左右目路面图像确定出所述路面图像中的各像素点的深度信息。
根据本发明一优选实施例，所述模型训练子单元根据作为训练数据的各路面图像以及其中的各像素点的标注结果，训练得到第一深度学习模型，根据作为训练数据的各路面图像以及其中的各像素点的深度信息，训练得到第二深度学习模型；
所述检测单元将所述路面图像输入给所述第一深度学习模型，得到由可行驶区域以及不可行驶区域组成的分类结果图像，将所述路面图像输入给所述第二深度学习模型，得到所述图像中的各像素点的深度信息。
根据本发明一优选实施例，所述检测单元进一步用于，
对所述分类结果图像进行图像后处理，得到优化后的可行驶区域。
根据本发明一优选实施例，所述模型训练子单元根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，通过多任务学习的方式，训练得到第三深度学习模型；
所述检测单元将所述路面图像输入给所述第三深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息。
根据本发明一优选实施例，所述检测单元从所述路面图像中的各像素点的深度信息中提取出所述可行驶区域中的各像素点的深度信息，根据所述可行驶区域中的各像素点的深度信息得到所述空间可行驶区域。
根据本发明一优选实施例，所述检测单元进一步用于，
对所述空间可行驶区域进行空间后处理，得到优化后的空间可行驶区域。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，可获取安装在无人驾驶车辆上的单目摄像头采集的路面图像，之后将路面图像输入给预先训练得到的深度学习模型，从而得到路面图像中的可行驶区域以及其中的各像素点的深度信息，进而得到所需的空间可行驶区域，相比于现有技术，本发明中基于深度学习的方式直接在单目摄像头采集的图像上进行可行驶区域检测等，从而克服了现有技术中存在的问题，进而提高了检测结果的准确性。
【附图说明】
图1为本发明所述可行驶区域检测方法实施例的流程图。
图2为本发明所述可行驶区域检测方法第一较佳实施例的流程图。
图3为本发明所述可行驶区域检测方法第二较佳实施例的流程图。
图4为本发明所述可行驶区域检测装置实施例的组成结构示意图。
图5示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。
【具体实施方式】
针对现有技术中存在的问题，本发明中提出一种基于深度学习的可行驶区域检测方式。
可行驶区域主要是指车辆在不发生碰撞等危险的情况下，短时间内可抵达的安全路面区域，包括同向车道没有障碍物区域、路口或者匝道潜在可行驶方向路面等。
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述可行驶区域检测方法实施例的流程图，如图1所示，包括以下具体实现方式：
在101中，获取安装在无人驾驶车辆上的单目摄像头采集的路面图像；
在102中，根据预先训练得到的深度学习模型，得到路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息；
在103中，根据各像素点的深度信息得到空间可行驶区域。
可以看出，为实现上述方案，需要首先训练得到深度学习模型，之后即可根据深度学习模型来进行可行驶区域的检测等，以下分别对上述各部分的具体实现进行详细说明。
一)深度学习模型
为训练得到深度学习模型，需要首先获取训练数据，进而根据训练数据训练得到深度学习模型。
具体地，可获取作为训练数据的路面图像，并且，针对作为训练数据的每张路面图像，分别获取其中的各像素点的标注结果，标注结果包括属于可行驶区域以及属于不可行驶区域，此外，针对作为训练数据的每张路面图像，还需要分别获取其中的各像素点的深度信息。
之后，即可根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到深度学习模型。
在实际应用中，可利用采集车来采集作为训练数据的路面图像等，并且，至少可以有以下两种实现方式。
1)方式一
该方式中，采集车上可安装有单目摄像头以及深度传感器。
可获取采集车利用单目摄像头所采集的路面图像，将采集到的路面图像作为训练数据。
采集车可为无人驾驶车辆，也可为有人驾驶车辆，另外，所采集的作为训练数据的路面图像的数量可根据实际需要而定。
针对作为训练数据的每张路面图像，可分别根据深度传感器采集到的对应的深度数据，确定出该路面图像中的各像素点的深度信息。
比如，深度传感器可为激光雷达，相应地，采集到的深度数据可为点云数据，这样，针对单目摄像头每次采集到的路面图像，可分别将对应的点云数据通过标定得到的转换矩阵投影到该路面图像上，进而根据与之对应的点云三维坐标，分别确定出该路面图像中的各像素点的深度信息，具体实现为现有技术。
另外，针对作为训练数据的每张路面图像，还需要分别获取其中的各像素点的标注结果，标注结果包括属于可行驶区域以及属于不可行驶区域。
如何进行标注不作限制，比如，可以采用人工标注方式，也可以采用机器标注方式。
2)方式二
该方式中，采集车上可安装有基线(baseline)较大的双目摄像头，从而大量采集同步的左右目路面图像。
针对双目摄像头每次采集到的左右目路面图像，可分别进行以下处理：
从中选出一个路面图像作为训练数据，所选出的路面图像为左目路面图像或右目路面图像；
根据左右目路面图像确定出作为训练数据的路面图像中的各像素点的深度信息，比如，可按照现有的双目立体视觉的方式，根据左右目路面图像确定出作为训练数据的路面图像中的各像素点的深度信息。
同样地，针对作为训练数据的每张路面图像，还需要分别获取其中的各像素点的标注结果，标注结果包括属于可行驶区域以及属于不可行驶区域。
无论是基于上述方式一还是方式二，在得到作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息之后，即可根据这些信息来训练得到深度学习模型。
训练得到的深度学习模型可以为一个，也可以为两个，为便于区别，当训练得到两个深度学习模型时，将这两个深度学习模型分别称为第一深度学习模型以及第二深度学习模型，当训练得到一个深度学习模型时，将这一个深度学习模型称为第三深度学习模型。
以下分别对各深度学习模型的训练方式进行说明。
1)第一深度学习模型及第二深度学习模型
可根据作为训练数据的各路面图像以及其中的各像素点的标注结果，训练得到第一深度学习模型。
第一深度学习模型为图像的可行驶区域分割检测模型，对于输入的每张路面图像，深度学习模型会分别预测出图像中的每个像素点属于可行驶区域还是不可行驶区域，进而可输出由可行驶区域以及不可行驶区域组成的分类结果图像，即给出图像中的可行驶区域分割结果，从而将图像中的各像素点分为了两类，一类属于可行驶区域，另一类属于不可行驶区域。
可见，第一深度学习模型是图像到图像的端到端预测模型，输入是图像，输出仍是图像。
另外，可根据作为训练数据的各路面图像以及其中的各像素点的深度信息，训练得到第二深度学习模型。
第二深度学习模型为深度估计预测模型，可预测出输入的路面图像中的各像素点的深度信息。
2)第三深度学习模型
可根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，通过多任务学习(multi-task)的方式，训练得到第三深度学习模型。
可将上述第一和第二深度学习模型，共用相同的模型输入和模型结构，从模型中引出不同结构分支，分别依据各自关联的监督/标注信息构建各自任务的训练代价函数，然后乘以不同加权系数得到最终的模型代价函数，多个任务同时进行训练，同时通过代价函数的优化过程进行迭代，得到一个端到端的多任务模型。
第三深度学习模型的输出既包括图像中的可行驶区域分割结果，也包括图像中的各像素点的深度信息。
二)可行驶区域检测
在训练得到深度学习模型之后，即可利用深度学习模型来进行实际的可行驶区域检测。
比如，在无人驾驶车辆的行驶过程中，针对无人驾驶车辆上安装的单目摄像头每次采集到的路面图像，可分别将其输入给深度学习模型，从而得到检测出的图像上的可行驶区域等。
具体地，根据所采用的深度学习模型的不同，可以有不同的实现方式。
图2为本发明所述可行驶区域检测方法第一较佳实施例的流程图，如图2所示，包括以下具体实现方式。
在201中，获取安装在无人驾驶车辆上的单目摄像头采集的路面图像。
在202中，将获取到的路面图像输入给第一深度学习模型，得到由可行驶区域以及不可行驶区域组成的分类结果图像。
对于输入的每张路面图像来说，深度学习模型会分别预测出图像中的每个像素点属于可行驶区域还是不可行驶区域，进而可输出由可行驶区域以及不可行驶区域组成的分类结果图像。
可选地，对于得到的分类结果图像，还可进一步对其进行图像后处理，从而得到优化后的可行驶区域。
如可对分类结果图像进行平滑、优化拟合等处理，从而得到边界更为圆滑的可行驶区域，可使用的方法包括图像形态学处理、条件随机场(CRF，Conditional RandomField)、马尔科夫随机场(MRF，Markov Random Filed)等。
在203中，将获取到的路面图像输入给第二深度学习模型，得到图像中的各像素点的深度信息。
202和203中输入给第一深度学习模型和第二深度学习模型的路面图像为同一图像。
在204中，从203中得到的各像素点的深度信息中提取出可行驶区域中的各像素点的深度信息，得到空间可行驶区域。
203中得到了图像中的每个像素点的深度信息，根据202中的处理，又已知可行驶区域中包括哪些像素点，那么则可以很容易地确定出可行驶区域中的各像素点的深度信息，进而得到空间可行驶区域，即三维空间中的可行驶区域。
在205中，对空间可行驶区域进行空间后处理，得到优化后的空间可行驶区域。
可根据空间可行驶区域中的各点的连续性等，对存在的奇异值或空洞等非连续性特征，通过局部平滑或CRF等方式进行后处理，从而得到圆滑连续的空间可行驶区域。
图3为本发明所述可行驶区域检测方法第二较佳实施例的流程图，如图3所示，包括以下具体实现方式。
在301中，获取安装在无人驾驶车辆上的单目摄像头采集的路面图像。
在302中，将获取到的路面图像输入给第三深度学习模型，得到路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息。
即利用第三深度学习模型，将图2中所示的第一深度学习模型和第二深度学习模型的功能合二为一。
在303中，从302中得到的各像素点的深度信息中提取出可行驶区域中的各像素点的深度信息，得到空间可行驶区域。
在304中，对空间可行驶区域进行空间后处理，得到优化后的空间可行驶区域。
可根据空间可行驶区域中的各点的连续性等，对存在的奇异值或空洞等非连续性特征，通过局部平滑或CRF等方式进行后处理，从而得到圆滑连续的空间可行驶区域。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
总之，采用上述各方法实施例所述方案，可获取安装在无人驾驶车辆上的单目摄像头采集的路面图像，之后将路面图像输入给预先训练得到的深度学习模型，从而得到路面图像中的可行驶区域以及其中的各像素点的深度信息，进而得到所需的空间可行驶区域，相比于现有技术，本发明中基于深度学习的方式直接在单目摄像头采集的图像上进行可行驶区域检测等，从而克服了现有技术中存在的问题，进而提高了检测结果的准确性。
后续，还可将得到的空间可行驶区域与lidar感知及高精地图相结合，互为补充，得到更可信的可行驶区域，可作为无人驾驶车辆的规划控制的输入，实现更友好的自动驾驶调度策略等。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图4为本发明所述可行驶区域检测装置实施例的组成结构示意图，如图4所示，包括：图像获取单元401和检测单元402。
图像获取单元401，用于获取安装在无人驾驶车辆上的单目摄像头采集的路面图像。
检测单元402，用于根据预先训练得到的深度学习模型，得到路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息，并根据各像素点的深度信息得到空间可行驶区域。
可以看出，为实现上述方案，需要首先训练得到深度学习模型，之后即可根据深度学习模型来进行可行驶区域的检测等。
相应地，图4所示装置中可进一步包括：预处理单元400，而且，预处理单元400中又可具体包括：样本获取子单元4001以及模型训练子单元4002。
样本获取子单元4001获取作为训练数据的路面图像，针对作为训练数据的每张路面图像，分别获取其中的各像素点的标注结果，标注结果包括属于可行驶区域以及属于不可行驶区域，并针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息。
模型训练子单元4002根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到深度学习模型。
样本获取子单元4001可采取两种不同的方式来获取训练数据等，具体采用哪种方式可根据实际需要而定。
比如，样本获取子单元4001可获取安装有单目摄像头的采集车所采集的路面图像，将采集到的路面图像作为训练数据，采集车上进一步安装有深度传感器，针对作为训练数据的每张路面图像，分别根据深度传感器采集到的对应的深度数据，确定出该路面图像中的各像素点的深度信息。
另外，针对作为训练数据的每张路面图像，样本获取子单元4001还需要分别获取其中的各像素点的标注结果，标注结果包括属于可行驶区域以及属于不可行驶区域。
如何进行标注不作限制，比如，可以采用人工标注方式，也可以采用机器标注方式。
再比如，样本获取子单元4001可获取安装有双目摄像头的采集车所采集的路面图像，针对双目摄像头每次采集到的左右目路面图像，分别从中选出一个路面图像作为训练数据，所选出的路面图像为左目路面图像或右目路面图像，针对作为训练数据的每张路面图像，分别根据该路面图像对应的左右目路面图像确定出该路面图像中的各像素点的深度信息。
同样地，针对作为训练数据的每张路面图像，样本获取子单元4001还需要分别获取其中的各像素点的标注结果，标注结果包括属于可行驶区域以及属于不可行驶区域。
在得到作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息之后，模型训练子单元4002即可根据这些信息来训练得到深度学习模型。
训练得到的深度学习模型可以为一个，也可以为两个，为便于区别，当训练得到两个深度学习模型时，将这两个深度学习模型分别称为第一深度学习模型以及第二深度学习模型，当训练得到一个深度学习模型时，将这一个深度学习模型称为第三深度学习模型。
比如，模型训练子单元4002可根据作为训练数据的各路面图像以及其中的各像素点的标注结果，训练得到第一深度学习模型，根据作为训练数据的各路面图像以及其中的各像素点的深度信息，训练得到第二深度学习模型。
再比如，模型训练子单元4002可根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，通过多任务学习的方式，训练得到第三深度学习模型。
在训练得到深度学习模型之后，即可利用深度学习模型来进行实际的可行驶区域检测。
比如，在无人驾驶车辆的行驶过程中，针对无人驾驶车辆上安装的单目摄像头每次采集到的路面图像，图像获取单元401可分别将其发送给检测单元402，检测单元402可将获取到的路面图像输入给深度学习模型，从而得到检测出的图像上的可行驶区域等。
具体地，根据所采用的深度学习模型的不同，检测单元402可以有不同的实现方式。
比如，检测单元402可将路面图像输入给第一深度学习模型，得到由可行驶区域以及不可行驶区域组成的分类结果图像，将路面图像输入给第二深度学习模型，得到图像中的各像素点的深度信息。
可选地，对于得到的分类结果图像，检测单元402还可进一步对其进行图像后处理，从而得到优化后的可行驶区域。
如可对分类结果图像进行平滑、优化拟合等处理，从而得到边界更为圆滑的可行驶区域，可使用的方法包括图像形态学处理、CRF、MRF等。
之后，检测单元402可从路面图像中的各像素点的深度信息中提取出可行驶区域中的各像素点的深度信息，进而根据可行驶区域中的各像素点的深度信息得到空间可行驶区域。
进一步地，还可对空间可行驶区域进行空间后处理，从而得到优化后的空间可行驶区域。
如可根据空间可行驶区域中的各点的连续性等，对存在的奇异值或空洞等非连续性特征，通过局部平滑或CRF等方式进行后处理，从而得到圆滑连续的空间可行驶区域。
再比如，检测单元402可将路面图像输入给第三深度学习模型，得到路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息。
之后，检测单元402可从路面图像中的各像素点的深度信息中提取出可行驶区域中的各像素点的深度信息，进而根据可行驶区域中的各像素点的深度信息得到空间可行驶区域。
进一步地，检测单元402还可对空间可行驶区域进行空间后处理，从而得到优化后的空间可行驶区域。
图4所示装置实施例的具体工作流程请参照前述各方法实施例中的相应说明，不再赘述。
总之，采用上述装置实施例所述方案，基于深度学习的方式直接在单目摄像头采集的图像上进行可行驶区域检测等，从而克服了现有技术中存在的问题，进而提高了检测结果的准确性。
后续，还可将得到的空间可行驶区域与lidar感知及高精地图相结合，互为补充，得到更可信的可行驶区域，可作为无人驾驶车辆的规划控制的输入，实现更友好的自动驾驶调度策略等。
图5示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。图5显示的计算机***/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同***组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信，和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法，即获取安装在无人驾驶车辆上的单目摄像头采集的路面图像，根据预先训练得到的深度学习模型，得到路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息，根据各像素点的深度信息得到空间可行驶区域。
具体实现请参照前述各实施例中的相关说明，不再赘述。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (20)

1.一种可行驶区域检测方法，其特征在于，包括：
获取安装在无人驾驶车辆上的单目摄像头采集的路面图像；
根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息；
根据各像素点的深度信息得到空间可行驶区域。
2.根据权利要求1所述的方法，其特征在于，
所述获取安装在无人驾驶车辆上的单目摄像头采集的路面图像之前，进一步包括：
获取作为训练数据的路面图像；
针对作为训练数据的每张路面图像，分别获取其中的各像素点的标注结果，所述标注结果包括属于可行驶区域以及属于不可行驶区域；
针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息；
根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型。
3.根据权利要求2所述的方法，其特征在于，
所述获取作为训练数据的路面图像包括：
获取安装有单目摄像头的采集车所采集的路面图像，将采集到的路面图像作为训练数据；
所述采集车上进一步安装有深度传感器，所述针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息包括：
针对作为训练数据的每张路面图像，分别根据所述深度传感器采集到的对应的深度数据，确定出所述路面图像中的各像素点的深度信息。
4.根据权利要求2所述的方法，其特征在于，
所述获取作为训练数据的路面图像包括：
获取安装有双目摄像头的采集车所采集的路面图像；
针对所述双目摄像头每次采集到的左右目路面图像，分别从中选出一个路面图像作为训练数据，所选出的路面图像为左目路面图像或右目路面图像；
所述针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息包括：
针对作为训练数据的每张路面图像，分别根据所述路面图像对应的左右目路面图像确定出所述路面图像中的各像素点的深度信息。
5.根据权利要求2所述的方法，其特征在于，
所述根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型包括：
根据作为训练数据的各路面图像以及其中的各像素点的标注结果，训练得到第一深度学习模型；
根据作为训练数据的各路面图像以及其中的各像素点的深度信息，训练得到第二深度学习模型；
所述根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息包括：
将所述路面图像输入给所述第一深度学习模型，得到由可行驶区域以及不可行驶区域组成的分类结果图像；
将所述路面图像输入给所述第二深度学习模型，得到所述图像中的各像素点的深度信息。
6.根据权利要求5所述的方法，其特征在于，
所述根据各像素点的深度信息得到空间可行驶区域之前，进一步包括：
对所述分类结果图像进行图像后处理，得到优化后的可行驶区域。
7.根据权利要求2所述的方法，其特征在于，
所述根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型包括：
根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，通过多任务学习的方式，训练得到第三深度学习模型；
所述根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息包括：
将所述路面图像输入给所述第三深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息。
8.根据权利要求1所述的方法，其特征在于，
所述根据各像素点的深度信息得到空间可行驶区域包括：
从所述路面图像中的各像素点的深度信息中提取出所述可行驶区域中的各像素点的深度信息；
根据所述可行驶区域中的各像素点的深度信息得到所述空间可行驶区域。
9.根据权利要求1所述的方法，其特征在于，
所述根据各像素点的深度信息得到空间可行驶区域之后，进一步包括：
对所述空间可行驶区域进行空间后处理，得到优化后的空间可行驶区域。
10.一种可行驶区域检测装置，其特征在于，包括：图像获取单元和检测单元；
所述图像获取单元，用于获取安装在无人驾驶车辆上的单目摄像头采集的路面图像；
所述检测单元，用于根据预先训练得到的深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息，并根据各像素点的深度信息得到空间可行驶区域。
11.根据权利要求10所述的装置，其特征在于，
所述装置中进一步包括：预处理单元；
所述预处理单元中包括：样本获取子单元以及模型训练子单元；
所述样本获取子单元，用于获取作为训练数据的路面图像，针对作为训练数据的每张路面图像，分别获取其中的各像素点的标注结果，所述标注结果包括属于可行驶区域以及属于不可行驶区域，并针对作为训练数据的每张路面图像，分别获取其中的各像素点的深度信息；
所述模型训练子单元，用于根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，训练得到所述深度学习模型。
12.根据权利要求11所述的装置，其特征在于，
所述样本获取子单元获取安装有单目摄像头的采集车所采集的路面图像，将采集到的路面图像作为训练数据；
所述采集车上进一步安装有深度传感器，所述样本获取子单元针对作为训练数据的每张路面图像，分别根据所述深度传感器采集到的对应的深度数据，确定出所述路面图像中的各像素点的深度信息。
13.根据权利要求11所述的装置，其特征在于，
所述样本获取子单元获取安装有双目摄像头的采集车所采集的路面图像，针对所述双目摄像头每次采集到的左右目路面图像，分别从中选出一个路面图像作为训练数据，所选出的路面图像为左目路面图像或右目路面图像；
所述样本获取子单元针对作为训练数据的每张路面图像，分别根据所述路面图像对应的左右目路面图像确定出所述路面图像中的各像素点的深度信息。
14.根据权利要求11所述的装置，其特征在于，
所述模型训练子单元根据作为训练数据的各路面图像以及其中的各像素点的标注结果，训练得到第一深度学习模型，根据作为训练数据的各路面图像以及其中的各像素点的深度信息，训练得到第二深度学习模型；
所述检测单元将所述路面图像输入给所述第一深度学习模型，得到由可行驶区域以及不可行驶区域组成的分类结果图像，将所述路面图像输入给所述第二深度学习模型，得到所述图像中的各像素点的深度信息。
15.根据权利要求14所述的装置，其特征在于，
所述检测单元进一步用于，
对所述分类结果图像进行图像后处理，得到优化后的可行驶区域。
16.根据权利要求11所述的装置，其特征在于，
所述模型训练子单元根据作为训练数据的各路面图像以及其中的各像素点的标注结果和深度信息，通过多任务学习的方式，训练得到第三深度学习模型；
所述检测单元将所述路面图像输入给所述第三深度学习模型，得到所述路面图像中的可行驶区域分割结果以及其中的各像素点的深度信息。
17.根据权利要求10所述的装置，其特征在于，
所述检测单元从所述路面图像中的各像素点的深度信息中提取出所述可行驶区域中的各像素点的深度信息，根据所述可行驶区域中的各像素点的深度信息得到所述空间可行驶区域。
18.根据权利要求10所述的装置，其特征在于，
所述检测单元进一步用于，
对所述空间可行驶区域进行空间后处理，得到优化后的空间可行驶区域。
19.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～9中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～9中任一项所述的方法。
CN201710487182.3A 2017-06-23 2017-06-23 可行驶区域检测方法、装置、设备及存储介质 Pending CN109117691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710487182.3A CN109117691A (zh) 2017-06-23 2017-06-23 可行驶区域检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710487182.3A CN109117691A (zh) 2017-06-23 2017-06-23 可行驶区域检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109117691A true CN109117691A (zh) 2019-01-01

Family

ID=64732142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710487182.3A Pending CN109117691A (zh) 2017-06-23 2017-06-23 可行驶区域检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109117691A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977845A (zh) * 2019-03-21 2019-07-05 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN110162040A (zh) * 2019-05-10 2019-08-23 重庆大学 一种基于深度学习的低速自动驾驶小车控制方法及***
CN111832368A (zh) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用
CN112241662A (zh) * 2019-07-17 2021-01-19 杭州海康威视数字技术股份有限公司 一种检测可行驶区域的方法及装置
CN112395917A (zh) * 2019-08-15 2021-02-23 纳恩博（北京）科技有限公司 区域的识别方法及装置、存储介质、电子装置
CN112863247A (zh) * 2020-12-30 2021-05-28 潍柴动力股份有限公司 一种道路识别方法、装置、设备和存储介质
CN113012422A (zh) * 2019-12-20 2021-06-22 百度在线网络技术（北京）有限公司 公交车定位方法、装置、设备及存储介质
CN113496514A (zh) * 2020-04-01 2021-10-12 阿里巴巴集团控股有限公司 数据处理方法、监测***、电子设备及显示设备
US11586861B2 (en) 2019-09-13 2023-02-21 Toyota Research Institute, Inc. Embeddings + SVM for teaching traversability
CN116052122A (zh) * 2023-01-28 2023-05-02 广汽埃安新能源汽车股份有限公司 一种可行驶空间的检测方法、装置、电子设备及存储介质
WO2023173699A1 (zh) * 2022-03-18 2023-09-21 合众新能源汽车股份有限公司 基于机器学习的辅助驾驶方法、装置和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102310771A (zh) * 2011-05-26 2012-01-11 臧安迪 基于驾驶员面部识别的机动车安全控制方法及***
CN103185571A (zh) * 2011-12-30 2013-07-03 财团法人车辆研究测试中心 可行驶空间的检测***及其检测方法
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN105654732A (zh) * 2016-03-03 2016-06-08 上海图甲信息科技有限公司 一种基于深度图像的道路监控***及方法
CN105930855A (zh) * 2016-05-19 2016-09-07 华南理工大学 一种基于深度卷积神经网的车辆检测方法
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及***
US20170091559A1 (en) * 2015-09-29 2017-03-30 Valeo North America, Inc. Camera monitor system for a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102310771A (zh) * 2011-05-26 2012-01-11 臧安迪 基于驾驶员面部识别的机动车安全控制方法及***
CN103185571A (zh) * 2011-12-30 2013-07-03 财团法人车辆研究测试中心 可行驶空间的检测***及其检测方法
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
US20170091559A1 (en) * 2015-09-29 2017-03-30 Valeo North America, Inc. Camera monitor system for a vehicle
CN105654732A (zh) * 2016-03-03 2016-06-08 上海图甲信息科技有限公司 一种基于深度图像的道路监控***及方法
CN105930855A (zh) * 2016-05-19 2016-09-07 华南理工大学 一种基于深度卷积神经网的车辆检测方法
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[美]胡迪•利普森等: "《无人驾驶》", 31 May 2017, 文汇出版社 *
KING NGI NGAN等: "《视频分割及其应用》", 30 April 2014, 国防工业出版社 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN109977845A (zh) * 2019-03-21 2019-07-05 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN111832368A (zh) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用
CN110162040A (zh) * 2019-05-10 2019-08-23 重庆大学 一种基于深度学习的低速自动驾驶小车控制方法及***
CN112241662A (zh) * 2019-07-17 2021-01-19 杭州海康威视数字技术股份有限公司 一种检测可行驶区域的方法及装置
CN112241662B (zh) * 2019-07-17 2024-03-19 杭州海康威视数字技术股份有限公司 一种检测可行驶区域的方法及装置
CN112395917A (zh) * 2019-08-15 2021-02-23 纳恩博（北京）科技有限公司 区域的识别方法及装置、存储介质、电子装置
CN112395917B (zh) * 2019-08-15 2024-04-12 纳恩博（北京）科技有限公司 区域的识别方法及装置、存储介质、电子装置
US11586861B2 (en) 2019-09-13 2023-02-21 Toyota Research Institute, Inc. Embeddings + SVM for teaching traversability
CN113012422A (zh) * 2019-12-20 2021-06-22 百度在线网络技术（北京）有限公司 公交车定位方法、装置、设备及存储介质
CN113496514B (zh) * 2020-04-01 2022-09-20 阿里巴巴集团控股有限公司 数据处理方法、监测***、电子设备及显示设备
CN113496514A (zh) * 2020-04-01 2021-10-12 阿里巴巴集团控股有限公司 数据处理方法、监测***、电子设备及显示设备
CN112863247A (zh) * 2020-12-30 2021-05-28 潍柴动力股份有限公司 一种道路识别方法、装置、设备和存储介质
WO2023173699A1 (zh) * 2022-03-18 2023-09-21 合众新能源汽车股份有限公司 基于机器学习的辅助驾驶方法、装置和计算机可读介质
CN116052122A (zh) * 2023-01-28 2023-05-02 广汽埃安新能源汽车股份有限公司 一种可行驶空间的检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109117691A (zh) 可行驶区域检测方法、装置、设备及存储介质
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN109117690A (zh) 可行驶区域检测方法、装置、设备及存储介质
CN109116374A (zh) 确定障碍物距离的方法、装置、设备及存储介质
Polychronopoulos et al. Sensor fusion for predicting vehicles' path for collision avoidance systems
CN111832655A (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN109118532B (zh) 视觉景深估计方法、装置、设备及存储介质
CN111369617B (zh) 一种基于卷积神经网络的单目视图的3d目标检测方法
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN109816780B (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
US9323989B2 (en) Tracking device
CN113408324A (zh) 目标检测方法、装置及***、高级驾驶辅助***
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN106080397A (zh) 自适应巡航***及车载设备
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
CN110363193A (zh) 车辆重识别方法、装置、设备和计算机存储介质
CN117830786A (zh) 目标和语义感知的图像融合模型、训练方法及使用方法
CN110414374B (zh) 一种障碍物位姿的确定方法、装置、设备及介质
CN107563333A (zh) 一种基于测距辅助的双目视觉手势识别方法和装置
Cheng et al. G-Fusion: LiDAR and Camera Feature Fusion on the Ground Voxel Space
Xiong et al. A 3d estimation of structural road surface based on lane-line information
KR102609829B1 (ko) 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
US11544899B2 (en) System and method for generating terrain maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination