CN114694115A - 一种道路障碍物检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种道路障碍物检测方法、装置、设备及存储介质，其中，所述方法包括：获取道路图像；基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域；基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

Description

一种道路障碍物检测方法、装置、设备及存储介质

技术领域

本申请实施例涉及智能驾驶技术领域，涉及但不限于一种道路障碍物检测方法、装置、设备及存储介质。

背景技术

在自动驾驶***中，通常采用目标检测的方式对障碍物进行识别；由于障碍物形状和出现位置都是未知的，需要非常多的样本数据，使得障碍物检测难度较大且准确率不高。

发明内容

本申请实施例提供一种道路障碍物检测技术方案。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种道路障碍物检测方法，所述方法包括：获取道路图像；基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域；基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

在一些实施例中，基于所述道路图像，确定所述道路图像中的可行驶区域，包括：确定所述道路图像中纹理与表征道路纹理的信息之间的相似度大于预设相似度阈值的图像区域；将所述图像区域确定为所述可行驶区域。如此，通过在道路图像中识别画面信息与表征道路纹理的信息之间相似度较高的图像区域作为可行驶区域，使得可行驶区域的识别复杂度较低且易实现。

在一些实施例中，于所述道路图像，确定所述理想行驶区域，包括：对所述道路图像进行检测，确定所述道路图像中的道路边缘；将所述道路边缘包围的区域，确定为所述理想行驶区域。如此，将该道路边缘包围的道路区域作为理想行驶区域，能够使得确定出的理想行驶区域的覆盖范围更加全面。

在一些实施例中，所述基于所述道路图像，确定所述理想行驶区域，包括：基于所述可行驶区域，确定所述理想行驶区域。如此，在可行驶区域的基础上确定理想行驶区域，从而通过比较理想行驶区域和可行驶区域确定的障碍物区域更加精准。

在一些实施例中，所述基于所述可行驶区域，确定所述理想行驶区域，包括：确定所述可行驶区域的至少一个轮廓；在所述至少一个轮廓中，确定包围区域的面积最大的目标轮廓；将所述目标轮廓包围的区域确定为所述理想行驶区域。如此，通过识别可行驶区域的多个轮廓，将最外层的目标轮廓包围的区域作为理想行驶区域，实现过程简单且确定的理想行驶区域的正确率较高。

在一些实施例中，在将所述目标轮廓包围的区域确定为所述理想行驶区域之前，所述方法还包括：确定所述目标轮廓包围的区域中包括所述道路的两个道路边缘。然后根据目标轮廓和两个道路边缘共同确定理想行驶区域，使得到的理想行驶区域更合理。

在一些实施例中，基于所述道路图像，确定所述理想行驶区域，包括：对所述道路图像进行检测，得到所述道路图像中的多个车道；基于所述多个车道和所述多个车道对应的交通规则，确定所述理想行驶区域。如此，能够使得理想行驶区域完整包括各个车道的覆盖区域，进而提高确定理想行驶区域的准确度。

在一些实施例中，所述基于所述道路图像，确定所述道路图像中的可行驶区域，包括：确定所述道路图像中纹理与表征道路纹理的信息之间的相似度大于预设相似度阈值的图像区域；将所述图像区域确定为所述可行驶区域。如此，通过在道路图像中分割出可行驶区域和理想道路区域，能够快速且准确地实现区域分割。

在一些实施例中，所述基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域，包括：确定所述理想行驶区域中与所述可行驶区域不重叠的区域；将所述不重叠的区域，确定为所述障碍物区域。如此，将不重叠的区域作为障碍物区域，既能够精确地检测出影响车辆行驶的障碍物区域，还能够提高障碍物识别的稳定性。

在一些实施例中，所述在确定道路上的障碍物区域之后，所述方法还包括：基于所述障碍物区域，确定所述车辆的行驶路径；基于所述行驶路径，控制所述车辆的行驶。如此，使得产生的行驶路径是更加准确的，基于此通过将该行驶路径能够实现对车辆的精准控制。

本申请实施例提供一种道路障碍物检测装置，所述装置包括：图像获取模块，用于获取道路图像；行驶区域确定模块，用于基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域；障碍物区域确定模块，用于基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述所述的方法步骤。

本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述所述的方法步骤。

本申请实施例提供一种道路障碍物检测方法、装置、设备及存储介质，通过对获取的道路图像进行检测，识别出该道路图像中的可行驶区域和理想行驶区域；通过比对该可行驶区域和理想行驶区域，能够有效地确定出该道路上任意形状的障碍物所在的障碍物区域；这样，通过比较可行驶区域和理想行驶区域，能够快速地识别道路上的障碍物区域，还能够提高对不同形状障碍物识别的稳定性。

附图说明

图1为本申请实施例道路障碍物检测方法的实现流程示意图；

图2为本申请实施例提供的道路障碍物检测方法的另一实现流程示意图；

图3为本申请实施例提供的道路障碍物检测方法的又一实现流程示意图；

图4为本申请实施例提供的道路障碍物检测方法的应用场景示意图；

图5为本申请实施例提供的道路障碍物检测方法的另一应用场景示意图；

图6为本申请实施例提供的道路障碍物检测方法的另一应用场景示意图；

图7为本申请实施例提供的道路障碍物检测方法的网络结构图；

图8为本申请实施例道路障碍物检测装置结构组成示意图；

图9为本申请实施例计算机设备的组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使在一些实施例中描述的本申请实施例能够以除了在一些实施例中图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)深度神经网络(Deep Neural Networks，DNN)，深度学习的一种框架,它是一种具备至少一个隐层的神经网络。从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。在本申请实施例中，深度神经网络可以用于实现语义分割任务，或者目标检测任务等。

2)自车(ego vehicle)：包含感知周围环境传感器的车辆。车辆坐标系固连在自车上，其中，x轴为汽车前进的方向，y轴指向车辆前进方向的左侧，z轴垂直于地面向上，符合右手坐标系。坐标系原点位于后轴中点下方的大地上。

下面说明本申请实施例提供的道路障碍物检测方法应用于电子设备的示例性应用，本申请实施例提供的电子设备可以是车载设备，也可以是云平台或其他计算机设备。示例性的，车载设备可以是安装在车辆上的瘦客户机、厚客户机、基于微处理器的***、小型计算机***，等等，云平台可以是包括小型计算机***或大型计算机***的分布式云计算技术环境等等。下面，将说明电子设备实施为终端或服务器时的示例性应用。

该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。

图1为本申请实施例道路障碍物检测方法的实现流程示意图，如图1所示，结合如图1所示步骤进行说明：

步骤S101，获取道路图像。

在一些实施例中，道路图像可以是任意道路采集的图像，可以是包括画面内容复杂的图像还可以是包括画面内容简单的图像。比如，通过车辆上的图像采集设备采集到的道路图像。

在一些实施例中，图像采集设备可以是安装在车辆的车载设备上，还可以是独立于车载设备。车载设备可以与车辆的传感器、定位装置等通信连接，车载设备可以通过通信连接获取车辆的传感器采集的数据、以及定位装置上报的地理位置信息等。示例性的，车辆的传感器可以是毫米波雷达、激光雷达、摄像头等设备中的至少一种；定位装置可以是基于以下至少一种定位***的用于提供定位服务的装置：全球定位***(GPS，GlobalPositioning System)、北斗卫星导航***或伽利略卫星导航***。

在一些实施例中，车载设备可以为高级辅助驾驶***(ADAS，Advanced DrivingAssistant System)，ADAS设置在车辆上，ADAS可以从车辆的定位装置中获取车辆的实时位置信息，和/或，ADAS可以从车辆的传感器中获得表示车辆周围环境信息的图像数据、雷达数据等等。其中，可选地，ADAS可以将包括车辆的实时位置信息的车辆行驶数据发送至云平台，如此，云平台可以接收到车辆的实时位置信息和/或表示车辆周围环境信息的图像数据、雷达数据等等。

通过设置在车辆上的图像采集设备(即传感器，如摄像头)获得道路图像，图像采集设备伴随车辆的移动而实时采集车辆周围的图像，得到该道路图像。在一些可能的实现方式中，可以是在车辆行驶的过程中，安装在车辆上的摄像头，对该车辆所行驶道路以及周围环境进行采集，得到该道路图像。

步骤S102，基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域。

在一些实施例中，车辆相关道路可以是车辆当前所行驶的道路。可行驶区域和所述理想行驶区域，可以是分别独立确定的，还可以是基于可行驶区域确定理想行驶区域。以可行驶区域和所述理想行驶区域独立确定为例，将道路图像输入到训练好的神经网络，利用神经网络的不同分支网络对道路图像进行语义分割，得到该道路上的可行驶区域和理想行驶区域。该神经网络可以是用于进行语义分割的神经网络。通过神经网络检测道路图像中的可行驶区域；可行驶区域(freespace)，表示车辆可行驶的道路区域。在道路图像中，除了当前车辆之外，通常还包括其他车辆、行人、树木、道路边缘等，例如其他车辆、行人、树木、道路边缘所在区域均是当前车辆不可行驶的区域。因此，通过对道路图像进行语义分割，去除道路图像中例如其他车辆、行人、树木、道路边缘所在区域，得到车辆的可行驶区域。理想行驶区域为假设路面上无任何车辆、行人或者物体的情况下，路面上能够行驶的真实道路区域。这样，理想行驶区域的覆盖面积大于可行驶区域；或者是，理想行驶区域包括该道路上的可行驶区域。

步骤S103，基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

在一些实施例中，道路的障碍物区域是会影响该车辆正常行驶的任一类型的障碍物所在的区域；比如，道路上该车辆之外的其他车辆、行人、树木等所在的区域。

在一些可能的实现方式中，在道路图像中，对车辆所在的道路识别出可行驶区域以及道路的理想区域之后，对比两个区域之间的重叠部分和不重叠部分。可行驶区域和理想行驶区域之间重叠的区域，即可行驶区域中存在，理想行驶区域也存在的道路区域，表明该重叠的区域是道路的真实道路区域。该重叠的区域为道路车辆能够行驶的区域，进而说明重叠的区域中不存在障碍物。可行驶区域和理想行驶区域之间不重叠的区域，为理想行驶区域中存在，可行驶区域中不存在的区域，说明该不重叠的区域是车辆不能够行驶的区域，进而说明该不重叠的区域为障碍物存在的区域，即道路上的障碍物区域。

在本申请实施例中，通过对获取的道路图像进行检测，识别出该道路图像中车辆相关可行驶区域和该理想行驶区域；通过比对该可行驶区域和理想行驶区域，能够有效地确定出该道路上任意形状的障碍物所在的区域；这样，通过比较可行驶区域和理想行驶区域，能够快速地识别道路上的障碍物区域，还能够提高不同形状障碍物识别的稳定性。

在一些实施例中，不仅可以通过将道路图像输入到第一网络得到可行驶区域，还可以通过对道路图像的画面信息与预设道路图像的画面信息进行比对，识别该道路图像中的可行驶区域，即上述步骤S101中基于所述道路图像，确定所述道路图像中可行驶区域，可以通过以下步骤S111至S113(图示未示出)实现：

步骤S111，确定所述道路图像中纹理与表征道路纹理的信息之间的相似度大于预设相似度阈值的图像区域。

在一些实施例中，道路纹理的信息可以是通过对车辆可行驶的道路进行采集得到的路面图像，还可以是在道路图像中抠取的画面为道路的图像区域。

在一些可能的实现方式中，通过对道路图像的纹理特征进行提取，在提取的纹理特征中查找与表征道路纹理的信息相似度较大的纹理特征，并确定该纹理特征所对应的图像区域。

步骤S112，将所述图像区域确定为所述可行驶区域。

在一些实施例中，通过在道路图像中与预设道路图像的画面信息相似度较高的图像区域，说明该图像区域内的画面和预设道路图像的画面相似度较高，进而说明该图像区域内的画面为路面，即该图像区域为车辆的可行驶区域。如此，通过在道路图像中识别画面信息与预设道路图像的画面信息相似度较高的图像区域作为可行驶区域，使得可行驶区域的识别复杂度较低且易实现。

在一些实施例中，不仅可以通过将道路图像输入到神经网络(比如，第一网络)得到理想行驶区域，还可以通过对车辆相关道路的道路边缘进行识别，通过分道路边缘包围的区域，确定该理想行驶区域，即上述步骤S101中基于所述道路图像，确定所述理想行驶区域，可以通过以下步骤S113和S114(图示未示出)：

步骤S113，对所述道路图像进行检测，确定所述道路图像中的道路边缘。

在一些实施例中，采用第三网络对所述道路的道路边缘进行识别，确定所述道路图像中的道路边缘。第三网络可以是任意用于进行道路边缘识别的网络，比如，残差网络、超分辨率测试序列(Visual Geometry Group，VGG)网络、等。将道路图像输入到第三网络中，对道路图像进行特征提取；并基于提取的图像特征，对道路边缘进行识别，以识别出车辆相关道路的道路边缘。

步骤S114，将所述道路边缘包围的区域，确定为所述理想行驶区域。

在一些实施例中，识别到的道路边缘可以理解为是道路的最外层轮廓，这样该最外层轮廓包围的区域即为道路上无任何类型车辆、行人或物体的真实道路区域；从而将该道路边缘包围的道路区域作为理想行驶区域，能够使得确定出的理想行驶区域的覆盖范围更加全面。

在一些实施例中，理想行驶区域，还可以在可行驶区域的基础上，确定该理想行驶区域，即上述步骤S101中的基于所述可行驶区域，确定所述理想行驶区域，还可以通过以下过程实现：

基于所述道可行驶区域，确定所述理想行驶区域。

这里，通过上述实施例中的任一种方式识别出道路图像中车辆的可行驶区域之后，在可行驶区域的基础上，在该可行驶区域所在的道路上对可行驶区域进行扩展，确定该理想行驶区域。如此，在可行驶区域的基础上，确定理想行驶区域，能够使得理想行驶区域包括可行驶区域，从而通过比较理想行驶区域和可行驶区域确定的障碍物区域更加精准。

在一些实施例中，基于所述可行驶区域，确定所述理想行驶区域，可以通过以下步骤实现：

第一步，确定所述可行驶区域的至少一个轮廓。

在一些实施例中，由于可行驶区域是在道路整个路面上抠除道路上的其他车辆、物体等得到的路面区域，所以可行驶区域中包括多个空洞，这样，该可行驶区域的轮廓为多个。

第二步，在所述至少一个轮廓中，确定包围区域的面积最大的目标轮廓。

在一些实施例中，在至少一个轮廓中，确定每一个轮廓包围的区域的面积，从中选择面积最大的轮廓为目标轮廓。目标轮廓的包围区域面积最大，该目标轮廓还可以理解为是至少一个轮廓中可行驶区域的最外层轮廓。

第三步，将所述目标轮廓包围的区域确定为所述理想行驶区域。

在一些实施例中，由于目标轮廓可以是可行驶区域的最外层轮廓，所以将目标轮廓包围的区域确定为理想行驶区域是合理的，如此，通过识别可行驶区域的多个轮廓，将最外层的目标轮廓包围的区域作为理想行驶区域，实现过程简单且确定的理想行驶区域的正确率较高。

在一些实施例中，在将目标轮廓包围的区域确定为理想行驶区域之前，还可以是先分析目标轮廓包围的区域中是否包括道路的两个道路边缘，即：

在将所述目标轮廓包围的区域确定为所述理想行驶区域之前，所述方法还包括：

确定所述目标轮廓包围的区域中包括所述道路的两个道路边缘。

这样，在所述目标轮廓的包围区域中包括所述道路的两个道路边缘的情况下，将所述目标轮廓的包围区域确定为所述理想行驶区域。

在一些实施例中，如果目标轮廓的包围区域包括两个道路边缘，说明该目标轮廓的包围区域覆盖了整个道路的路面，因此，使得到的理想行驶区域更为合理。

在一些实施例中，上即述步骤S101还可以通过以下两种方式实现：

方式一，理想行驶区域还可以通过检测道路上的多个车道，通过分析车道对应的交通规则，能够确定该理想行驶区域，即上述步骤S102中基于所述道路图像，确定所述理想行驶区域，还可以通过以下步骤实现：

第一步，对所述道路图像进行检测，得到所述道路图像中的多个车道。

在一些实施例中，可以采用检测器对道路图像中的车道线进行检测。基于检测到的多个车辆线，将相邻两个车辆线之间的道路区域作为一个车辆，从而得到多个车道。还可以是将道路图像输入到已训练的车道检测网络中，直接输出该道路上的多个车道。

第二步，基于所述多个车道和所述多个车道对应的交通规则，确定所述理想行驶区域。

在一些实施例中，检测到道路的多个车道之后，获取每一个车道上的路面信号(比如，路面上的箭头、实线或虚线等)，按照交通规则可确定路面信号表达的意义，比如，白色实线为禁止跨越同向车行道分界线。这样，通过确定每一车道覆盖的区域，以及每一个车道上的路面信号对应的交通规则，可确定每一车道覆盖的区域；将多个车辆覆盖的区域相结合，即可确定无障碍物的情况下道路车辆能够行驶的真实道路区域，即理想行驶区域。如此，通过车道检测确定由车道包围的区域作为理想行驶区域，既能够丰富理想行驶区域的确定方式，还能够使得理想行驶区域完整包括各个车道的覆盖区域，进而提高确定理想行驶区域的准确度。

方式二：通过同一神经网络中的不同网络分支，分别对道路图像中道路的真实道路区域和车辆能够行驶的区域进行语义分割，得到该理想行驶区域和可行驶区域，即上述步骤S101可以通过过程实现：

对所述道路图像进行语义分割，得到所述道路图像中的所述可行驶区域和所述理想行驶区域。

在一些实施例中，首先，采用第一网络在所述道路图像中，对所述道路中所述车辆能够行驶的道路区域进行语义分割，得到所述可行驶区域；然后，采用第二网络在所述道路图像中，对所述车辆相关道路的真实道路区域进行语义分割，得到所述理想行驶区域。第一网络可以是已训练好的能够对道路上车辆能够行驶的道路区域以及车辆不能行驶的道路区域进行语义分割的任意类型的神经网络，第一网络可以是任一神经网络的网络分支；比如，神经网络可以是全卷积神经网络、掩模区域卷积神经网络(Mask RegionConvolutional Neural Networks，Mask R-CNN)、深度神经网络等。通过将道路图像输入到第一网络中对该道路图像进行特征提取，基于提取的图像特征，对道路图像中车辆能够行驶的道路区域以及哪些是车辆不可行驶的区域进行语义分割；如此，能够快速且准确地识别出道路图像中的可行驶区域。

第二网络和第一网络可以是同一神经网络的不同网络分支；第二网络还可以是已训练好的能够对道路上真实道路区域以及非道路区域进行语义分割的任意类型的神经网络。通过将道路图像输入到第二网络中，第二网络对道路图像中道路的真实道路区域和非真实道路区域进行语义分割，将分割的真实道路区域作为该理想行驶区域。真实道路区域可以是，在道路上无任何类型物体的情况下，车辆实际能够行驶的道路区域。

上述过程可以在神经网络中的不同网络分支同时执行的，通过将道路图像输入到该神经网络中进行特征提取，将提取到的特征分别输入到第一网络和第二网络中，通过神经网络的第一网络分支对道路图像中车辆能够行驶的道路区域进行语义分割，得到可行驶区域；同时，通过神经网络的第二网络分支对道路图像中该道路的真实道路区域进行语义分割，得到理想行驶区域。如此，通过同一神经网络中的不同网络分支在道路图像中分割出可行驶区域和理想道路区域，能够快速且准确地实现区域分割。

在本申请实施例中，通过多种方式确定可行驶区域以及理想行驶区域，从而无论在任何情况下，均能够以高准确度识别出车辆的可行驶区域和理想行驶区域。

在一些实施例中，通过比较可行驶区域和理想行驶区域之间不重叠的区域，确定该道路的障碍物区域，即上述步骤S103可以通过图2所示的步骤实现：

步骤S201，确定所述理想行驶区域中与所述可行驶区域不重叠的区域。

在一些实施例中，将理想行驶区域与可行驶区域比较，确定两个区域之间重叠的区域，以及两个区域之间不重叠的区域。该重叠区域为真实的道路区域，可以是等于可行驶区域。两个区域之间不重叠的区域，即理想行驶区域中存在，但可行驶区域中不存在的区域，说明该不重叠的区域是车辆当前不可行驶的区域。

步骤S202，将所述不重叠的区域，确定为所述障碍物区域。

在一些实施例中，车辆当前不可行驶的区域(即不重叠的区域)，说明该区域存在影响车辆正常行驶的障碍物，该障碍物可以是其他车辆、行人、树木或其他物体等。这样，将不重叠的区域作为障碍物区域，无论障碍物的在哪个位置，形状如何，均能够精确地检测出影响车辆行驶的障碍物区域；提高了障碍物识别的稳定性。

在一些实施例中，通过检测出的障碍物区域，重新制定车辆的路径，以更有效地控制车辆行驶，即在步骤S103之后，还包括图3所示的步骤：

步骤S301，基于所述障碍物区域，确定所述车辆的行驶路径。

在一些实施例中，行驶路径包括车辆的行驶速度和行驶方向等。通过分析障碍物区域在道路上的位置，以及障碍物区域与车辆之间的位置关系，重新制定车辆在道路上行驶的行驶路径。比如，在车辆与障碍物区域之间的距离较近的情况下，控制车辆准备刹车，或者控制车辆远离该障碍物区域。

步骤S302，基于所述行驶路径，控制所述车辆的行驶。

在一些实施例中，车辆的自动驾驶***可确定车辆的行驶路径，进而控制车辆按照行驶路径行驶。

通过上述步骤S301和S302，在识别到障碍物区域之后，结合道路信息，产生后续的行驶路径；这样，产生的行驶路径是更加准确的，基于此通过将该行驶路径能够实现对车辆的精准控制。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，以采用深度神经网络对路面标志确定车辆在道路路口的转向为例，进行说明。

以深度学习为主的自动驾驶领域取得了较大的进展，包括图像分割和目标检测领域。但自动驾驶作为一个整体的***，感知模块的输出是为后续模块服务的，比如感知结果不只是要给出前方是否存在某个物体，还需要为后续模块提供相关的逻辑输出，为自动驾驶提供一定的控制信号以及逻辑信号。

在本申请实施例提供一种道路障碍物检测方法，从语义分割领域角度出发，通过确定理想行驶区域和可行驶区域的非重叠区域，进行障碍物检测，可以有效地将不规则形状和不定位置的障碍物进行识别，且可以有效地进行障碍物的距离评估，能够为自动驾驶***的后续决策规划控制模块提供有效地信息。

本申请实施例提供一种道路障碍物检测方法，利用深度学习方法获得自动驾驶车的可行驶区域和理想行驶区域，并利用可行驶区域和理想行驶区域获得路面上的通用障碍物检测结果，为后续的自动驾驶路径规划提供有效的信号。

对采集到的道路图像进行语义分割之后，确定该图像中的可行驶区域和理想行驶区域，如图4所示，对道路图像401进行语义分割，得到图像的道路中的可行驶区域和理想行驶区域；如图5和图6所示，其中，图5中的区域501表示可行驶区域，图6中的区域601表示该理想行驶区域。通过对比区域501和区域601可以看出，可行驶区域中将车辆、行人以及一些不规则的障碍物都排除在外；而该理想行驶区域则即将理想状态下，车辆能够行驶的区域都进行识别；由此可见，理想行驶区域和可行驶区域两者的主要差别在于对障碍物的识别。

在一些实施例中，车辆在自动驾驶过程中，根据道路上提供的信息进行感知输出，并将模型输出的结果进行信息综合。如图7所示，图7为本申请实施例提供的道路感知信号输出网络结构图，其中：

图像输入模块701，用于输入道路图像；

主干网络702，用于对输入的道路图像进行特征提取。

这里，该主干网络可以是残差网络或VGG网络、GoogleNet网络或者ResNet网络等。

可行驶区域分支网络703，用于实现分割任务，基于提取的图像特征，进行语义分割，以输出可行驶区域。

在一些可能的实现方式中，通过将主干网络702提取的图像特征输入到执行语义分割任务的可行驶区域分支网络703中，对可行驶区域进行分割，以输出该可行驶区域。

在一些可能的实现方式中，由于道路都具有相似的纹理，可行驶区域分支网络703将查找类似道路的对象作为可行驶区域，因此可行驶区域分支网络703能够生成排除障碍物的可行驶区域。这样，通过可行驶区域分支网络403可以在道路区域中稳健地检测到可行驶区域。

理想行驶区域分支网络704，用于实现分割任务，基于提取的图像特征进行语义分割，以输出理想行驶区域。

在一些可能的实现方式中，通过将主干网络702提取的图像特征输入到执行语义分割任务的理想行驶区域分支网络704中，对理想行驶区域进行分割，以输出该理想行驶区域。通过该理想行驶区域分支网络704识别道路区域中，哪些区域是真实的道路区域(即使路面上有障碍物也需要识别出来)，哪些区域是非真实的道路区域。

在一些可能的实现方式中，将该理想行驶区域分支网络704输入的图像区域的最外轮廓内的区域确定为理想区域。

在一些可能的实现方式中，可以根据可行驶区域确定理想行驶区域，比如，将可行驶区域的最外层轮廓确定为理想行驶区域。

在一些可能的实现方式中，通过对道路图像进行车道检测，确定该车道包围的区域为理想行驶区域，这样基于检测到的车道区域，以及该道路的车道行驶规则，即可确定该理想行驶区域。

在一些实施例中，通过可行驶区域分支网络703和理想行驶区域分支网络704分别确定可行驶区域和理想行驶区域之后，通过对比两个区域的结果，将重合区域划分为真实的道路区域；将两者不重合的区域(在大多数情况下，理想行驶区域的面积大于可行驶区域的面积)，即理想行车区域中存在，但可行驶区域中不存在的区域，识别为障碍物区域并输出。如此，能够有效地将车辆，行人、非机动车以及一些形状不固定的障碍物进行识别。

在本申请实施例中，能够有效地将可行驶区域和理想行驶区域进行基于深度学习模型进行识别，将两个学习任务集中到一个网络中，两个分支一个相同的骨干网络，既能够加速模型处理速度，还可以有效减少运行速度的压力。

本申请实施例提供一种道路障碍物检测装置，图8为本申请实施例道路障碍物检测装置结构组成示意图，如图8所示，所述道路障碍物检测装置800包括：

图像获取模块801，用于获取道路图像；

行驶区域确定模块802，用于基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域；

障碍物区域确定模块803，用于基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

在一些实施例中，行驶区域确定模块802，包括：

图像区域识别子模块，用于确定所述道路图像中纹理与表征道路纹理的信息之间的相似度大于预设相似度阈值的图像区域；

可行驶区域确定子模块，用于将所述图像区域确定为所述可行驶区域。

在一些实施例中，行驶区域确定模块802，包括：

道路边缘识别子模块，用于对所述道路图像进行检测，确定所述道路图像中的道路边缘；

第一理想行驶区域确定子模块，用于将所述道路边缘包围的区域，确定为所述理想行驶区域。

在一些实施例中，行驶区域确定模块802，包括：

第二理想行驶区域确定子模块，用于基于所述可行驶区域，确定所述理想行驶区域。

在一些实施例中，所述第二理想行驶区域确定子模块，包括：

轮廓确定单元，用于确定所述可行驶区域的至少一个轮廓；

目标轮廓确定单元，用于在所述至少一个轮廓中，确定包围区域的面积最大的目标轮廓；

理想行驶区域确定单元，用于将所述目标轮廓包围的区域确定为所述理想行驶区域。

在一些实施例中，所述第二理想行驶区域确定子模块，还用于：

确定所述目标轮廓包围的区域中包括所述道路的两个道路边缘。

在一些实施例中，行驶区域确定模块802，包括：

车道检测子模块，用于对所述道路图像进行检测，得到所述道路图像中的多个车道；

第四理想行驶区域确定子模块，用于基于所述多个车道和所述多个车道对应的交通规则，确定所述理想行驶区域。

在一些实施例中，所述行驶区域确定模块802，还用于：

对所述道路图像进行语义分割，得到所述道路图像中的所述可行驶区域和所述理想行驶区域。

在一些实施例中，所述障碍物区域确定模块803，包括：

不重叠的区域确定子模块，用于确定所述理想行驶区域中与所述可行驶区域不重叠的区域；

障碍物区域确定子模块，用于将所述不重叠的区域，确定为所述障碍物区域。

在一些实施例中，所述装置还包括：

行驶路径确定模块，用于基于所述障碍物区域，确定所述车辆的行驶路径；

车辆控制模块，用于基于所述行驶路径，控制所述车辆的行驶。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的道路障碍物检测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、运动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的道路障碍物检测方法中的步骤。相应的，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的道路障碍物检测方法的步骤。相应的，本申请实施例提供一种计算机设备，图9为本申请实施例计算机设备的组成结构示意图，如图9所示，所述计算机设备900包括：一个处理器901、至少一个通信总线、通信接口902、至少一个外部通信接口和存储器903。其中，通信接口902配置为实现这些组件之间的连接通信。其中，通信接口902可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器901，配置为执行存储器中道路障碍物检测程序，以实现上述实施例提供的道路障碍物检测方法的步骤。

以上道路障碍物检测装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本申请道路障碍物检测装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种障碍物检测方法，其特征在于，所述方法包括：

获取道路图像；

基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域；

基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

2.根据权利要求1所述的方法，其特征在于，基于所述道路图像，确定所述道路图像中的可行驶区域，包括：

确定所述道路图像中纹理与表征道路纹理的信息之间的相似度大于预设相似度阈值的图像区域；

将所述图像区域确定为所述可行驶区域。

3.根据权利要求1或2所述的方法，其特征在于，基于所述道路图像，确定所述理想行驶区域，包括：

对所述道路图像进行检测，确定所述道路图像中的道路边缘；

将所述道路边缘包围的区域，确定为所述理想行驶区域。

4.根据权利要求1所述的方法，其特征在于，基于所述道路图像，确定所述理想行驶区域，包括：

基于所述可行驶区域，确定所述理想行驶区域。

5.根据权利要求4所述的方法，其特征在于，所述基于所述可行驶区域，确定所述理想行驶区域，包括：

确定所述可行驶区域的至少一个轮廓；

在所述至少一个轮廓中，确定包围区域的面积最大的目标轮廓；

将所述目标轮廓包围的区域确定为所述理想行驶区域。

6.根据权利要求5所述的方法，其特征在于，在将所述目标轮廓包围的区域确定为所述理想行驶区域之前，所述方法还包括：

确定所述目标轮廓包围的区域中包括所述道路的两个道路边缘。

7.根据权利要求1所述的方法，其特征在于，基于所述道路图像，确定所述理想行驶区域，包括：

对所述道路图像进行检测，得到所述道路图像中的多个车道；

基于所述多个车道和所述多个车道对应的交通规则，确定所述理想行驶区域。

8.根据权利要求1所述的方法，其特征在于，所述基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域，包括：

对所述道路图像进行语义分割，得到所述道路图像中的所述可行驶区域和所述理想行驶区域。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域，包括：

确定所述理想行驶区域中与所述可行驶区域不重叠的区域；

将所述不重叠的区域，确定为所述障碍物区域。

10.根据权利要求1至9任一项所述的方法，其特征在于，在确定道路上的障碍物区域之后，所述方法还包括：

基于所述障碍物区域，确定所述车辆的行驶路径；

基于所述行驶路径，控制所述车辆的行驶。

11.一种道路障碍物检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取道路图像；

行驶区域确定模块，用于基于所述道路图像，确定所述道路图像中的可行驶区域和理想行驶区域；

障碍物区域确定模块，用于基于所述可行驶区域和所述理想行驶区域，确定道路上的障碍物区域。

12.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至10任一项所述的方法步骤。

13.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至10任一项所述的方法步骤。

Images