CN111435425B - 可行驶区域检测方法及***、电子设备、可读存储介质 - Google Patents

Abstract

本发明涉及一种可行驶区域检测方法及***、电子设备、可读存储介质，方法包括如下步骤：接收原始图像，原始图像为车辆前方图像；对原始图像进行预处理得到具有预设尺寸的第一图像；利用第一卷积神经网络提取第一图像的高层特征；利用第二卷积神经网络将高层特征映射至原始图像空间得到具有预设尺寸的第二图像；第二图像至少包括可行驶区域和非行驶区域的分割；第一卷积神经网络中包括至少一个桥臂和/或第二卷积神经网络中包括至少一个桥臂，桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。所述***、电子设备、可读存储介质均为实现所述方法的载体。实施本发明，能够实现自动驾驶可行驶区域的快速检测。

Description

可行驶区域检测方法及***、电子设备、可读存储介质

技术领域

本发明涉及技术领域，具体涉及一种可行驶区域检测方法及***、电子设备、可读存储介质。

背景技术

自动驾驶领域算法领域可以分割为四大板块，环境场景感知、驾驶决策仲裁、车辆运动控制和车内驾驶员行为监测。其中，环境场景感知由于其在整个自动驾驶算法模块最上游而占据最为重要的位置。目前环境场景感知主要依托激光雷达、毫米波雷达、超声波雷达和摄像头等传感器，激光雷达由于其高昂的价格而被难以量产落地，毫米波雷达和超声波雷达由于不能够生成稠密点云信号而导致信息量不足，摄像头却因能够在生成稠密感知信息的同时对天气、大气、距离、光照等具有充足的鲁棒性而被自动驾驶相关学术界和工业界选为主传感器，其他类型传感器权当作为冗余。

由于摄像头能够检测得到稠密光源信号，因此可以通过算法模型设计来提取原始摄像头数据(即图像数据)中的高层语义信息。自动驾驶环境感知领域高层语义信息一般包括可行驶区域边界信息、车道线信息、目标检测信息和目标跟踪信息，而后三项信息又全部都以可行驶区域信息为依托，即车道线、目标种类、位置和速度等信息当且仅当其处于可行驶区域内才有可分析的价值，因此可行驶区域信息提取是环境场景感知模块中占据首要地位。目前国内乃至世界范围内还没有一款成熟的过车规的自动驾驶解决方案，自动驾驶可行驶区域检测相关技术方案还停留在理论论证阶段。

发明内容

本发明的目的在于提出一种可行驶区域检测方法及***、电子设备、计算机可读存储介质，以进行自动驾驶的可行驶区域的快速检测。

为了实现本发明目的，本发明第一方面实施例提供一种可行驶区域检测方法，包括如下步骤：

接收原始图像，所述原始图像为车辆前方图像；

对所述原始图像进行预处理得到具有预设尺寸的第一图像；

利用第一卷积神经网络提取所述第一图像的高层特征；

利用第二卷积神经网络将所述高层特征映射至原始图像空间得到具有预设尺寸的第二图像；所述第二卷积神经网络为所述第一卷积神经网络的反向网络；所述第二图像至少包括可行驶区域和非行驶区域的分割；

其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。

在一些实施例中，所述第一卷积神经网络包括多个卷积层，每一卷积层包括多个数据矩阵块，通过桥臂进行桥接的两个数据矩阵块分别位于所述第一卷积神经网络的不同层。

在一些实施例中，在第一卷积神经网络中，对于连接的两个数据矩阵块满足以下条件：

处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

在一些实施例中，所述第一卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

在一些实施例中，所述第二卷积神经网络包括多个卷积层，每一卷积层包括多个数据矩阵块，通过桥臂进行桥接的两个数据矩阵块分别位于所述第二卷积神经网络的不同层。

在一些实施例中，在第二卷积神经网络中，对于连接的两个数据矩阵块满足以下条件：

处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

在一些实施例中，所述第二卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

在一些实施例中，每一桥臂设置相应权重，其中，桥臂跨越数据矩阵块的数量越多，则其权重越大。

在一些实施例中，所述第二图像的可行驶区域和非行驶区域的分割采用语义分割，具体包括：

预先设置若干标签，每一标签对应一个数值范围和一种颜色；

确定每个数据矩阵块的数值；

将每一数据矩阵块的数值与预先设置的若干标签的数值范围进行比较，若某个数据矩阵块的数值落入某个标签的数值范围，则该数据矩阵块所对应的第二图像的像素点为相应标签所对应的颜色。

本发明第二方面实施例提供一种可行驶区域检测***，包括：

图像接收单元，用于接收原始图像，所述原始图像为车辆前方图像；

图像预处理单元，对所述原始图像进行预处理得到具有预设尺寸的第一图像；

图像特征提取单元，用于利用第一卷积神经网络提取所述第一图像的高层特征；

图像特征映射单元，用于利用第二卷积神经网络将所述高层特征映射至原始图像空间得到具有预设尺寸的第二图像；所述第二卷积神经网络为所述第一卷积神经网络的反向网络；所述第二图像至少包括可行驶区域和非行驶区域的分割；

其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。

本发明第三方面实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，以实现如本发明第一方面实施例所述的可行驶区域检测方法。

本发明第四方面实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成如本发明第一方面实施例所述的可行驶区域检测方法。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例提出一种可行驶区域检测方法及***、电子设备、计算机可读存储介质，其中，所述***、电子设备和计算机可读存储介质均为实现所述方法的载体。所述方法包括第一卷积神经网络和第二卷积神经网络，在车辆自动驾驶过程中，可以利用第一卷积神经网络提取车辆前方图像的高层特征，并利用第二卷积神经网络将所述高层特征映射至原始车辆前方图像的图像空间得到第二图像；所述第二图像至少包括可行驶区域和非行驶区域的分割；其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信，通过调整对不同网络深度层数的桥接策略，激活整个神经网络内部的通信机制，保证神经元之间数据进行流畅的通信信息交互。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所述一种可行驶区域检测方法流程图。

图2为本发明实施例一所述可行驶区域检测神经网络结构图。

图3为本发明实施例一中所述车辆前方图像示例。

图4为使用本发明实施例一所述方法对图3进行检测可行驶区域的效果图。

图5为本发明实施例二所述一种可行驶区域检测***结构图。

附图标记：

卷积层1，桥臂2，图像接收单元3，图像预处理单元4，图像特征提取单元5，图像特征映射单元6。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。

如图1所示，本发明实施例一提供一种可行驶区域检测方法，包括如下步骤：

S1接收原始图像，所述原始图像为车辆前方图像；在自动驾驶或半自动驾驶过程中，车辆设置有相应的图像采集单元，用于实时采集车辆前方图像。

S2对所述原始图像进行预处理得到具有预设尺寸的第一图像；具体而言，所述预设尺寸根据下面卷积神经网络的卷积层的数据矩阵块所能处理的图像尺寸大小确定。

S3利用第一卷积神经网络提取所述第一图像的高层特征，以便于后续步骤根据高层特征进行分类和标记，实现图像区域分割。

S4利用第二卷积神经网络将所述高层特征映射至原始图像空间得到具有预设尺寸的第二图像，也就是将高维特征映射回低维图像空间。

其中，所述第二卷积神经网络为所述第一卷积神经网络的反向网络，从某种角度来说，两个卷积神经网络是对称的网络结构；具体而言，所述第一卷积神经网络的数据流向由浅层部分流向深层部分，而所述第二卷积神经网络的数据流向则由深层部分流向浅层部分，最后输出。所述第一卷积神经网络的输出作为所述第二卷积神经网络的输入。

其中，所述第二图像至少包括可行驶区域和非行驶区域的分割。

其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。

具体而言，本实施例中所述第一卷积神经网络和第二卷积神经网络均包括多个数据矩阵块，也就是卷积模块，下面对卷积的运算原理进行说明：卷积模块有时也叫算子，即用一个模板去和另一个图片对比，进行卷积运算；目的是使目标与目标之间的差距变得更大。例如图像的边缘提取，假如目标像素点和它周边的值(上下左右前后的临点，具体的比邻范围依赖于算子的大小，3×3的算子比邻范围为1，5×5的为2，以此类推)有较大差异，那么就可以通过这个算子对原图矩阵中的这个位置进行卷积运算，得出的值和该像素点原来的灰度值会产生显著的差异。当这种前后差异超过我们预设的范围后，就将这个像素点标记为0(例如白色)，其余点标记为255(例如黑色)，这样就得到了一黑色为背景，白色线条作为边缘或形状的边缘提取效果图。

基于以上所述卷积原理，对于一幅车辆前方图像，其包括可行驶区域和非行驶区域，可行驶区域和非行驶区域的像素点的值有较大差异，通过利用多个卷积算子对图像进行卷积，并预设相应的阈值，根据卷积运算结果和预设阈值的比较，并根据比较结果进行像素点标记，即可对车辆前方图像可行驶区域和非行驶区域进行分割。需说明的是，本实施例中卷积算子不限于某种大小。

本实施例第一卷积神经网络和第二卷积神经网络组成本实施例中的可行驶区域检测神经网络，如图2所示为所述可行驶区域检测神经网络的其中一个示例情况。

举例说明，在一种例子中，原始图像经过预处理操作之后变成

1×480×480×3的矩形的图片，经过第一卷积神经网络之后变成一个1×1×1×225的高维向量(表示原始图片的高维特征)，经过第二卷积神经网络之后变成一个1×480×480×3的大小跟原始图片一样的矩阵。经过本实施例方法的桥连策略之后，输出还是这个跟原始图片一个大小的1×480×480×3的矩阵，这个矩阵就是最后的可行驶区域分割效果图。

为了提高检测准确率并快速检测出可行驶区域，如图2所示，本实施例提出桥臂概念，设置所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，通过调整对不同网络深度层数的桥接策略，激活整个神经网络内部的通信机制，保证神经元之间数据进行流畅的通信信息交互，桥臂的箭头方向即数据传递方向。其中，对于一个1×480×480×3的数据矩阵而言，其包括1×480×480×3＝691200个神经元。

在一些实施例中，所述第一卷积神经网络包括多个卷积层1，每一卷积层1包括多个数据矩阵块，通过桥臂2进行桥接的两个数据矩阵块分别位于所述第一卷积神经网络的不同层，以提高不同层数据矩阵块之间数据传递的准确性。

在一些实施例中，在所述第一卷积神经网络中，对于桥接的两个数据矩阵块满足以下条件：

基于桥臂的箭头方向，处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

具体而言，以图2所示结构为例进行说明，图2中左侧部分为第一卷积神经网络，第一卷积神经网络中第一层卷积层的1×480×480×3这样一个四维数据矩阵与第三层卷积层的3×480×480×32的四维数据矩阵信息通过一桥臂桥连起来；将第四层卷积层的32×160×160×16的数据矩阵与第七层卷积层的16×80×80×8的数据矩阵通过一桥臂桥连起来；将第八层卷积层的16×80×80×8和第十二层卷积层的8×32×32×8的数据矩阵通过一桥臂桥连起来，以此类推。所述四维数据矩阵第一维为数据块的多少，第二、三维分别为当前数据块的长和宽，第四维为每个数据块内部层数的多少，也就是每个数据块内部包括的卷积层数量，数据流向前端的数据矩阵块的第四维要跟数据流向后端的数据矩阵块的第一维相同，否则无法进行适配和矩阵卷积计算。

在一些实施例中，所述第一卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

具体而言，本实施例中深度神经网络的浅层部分只能够提取原始图像数据的低频信息和低层语义信息，即只能够抽取图像中主要边缘，而深层部分则能够在主要边缘之外还能够提取图像的高频信息和高层语义信息，所述高层特征包括所述高频信息和高层语义信息，也就是说，随着神经网络层数的变深，每一层逐渐由提取低层特征到提取高层特征演进，因为低层数据是高层数据的输入，所以低层神经网络提取出的低层特征是为高层神经网络提取出的特征服务的；因此浅层部分相对而言，层与层之间相关性较小，所以相邻层之间进行桥连的必要性较高，反之，深层部分层与层之间相关性较大，所以相邻层之间进行桥连的必要性低，所以深层部分的桥连跨桥的数目就会更多。

在一些实施例中，所述第二卷积神经网络包括多个卷积层1，每一卷积层1包括多个数据矩阵块，通过桥臂2进行桥接的两个数据矩阵块分别位于所述第二卷积神经网络的不同层，以提高不同层数据矩阵块之间数据传递的准确性和效率。

在一些实施例中，在所述第二卷积神经网络中，对于桥接的两个数据矩阵块满足以下条件：

顺着桥臂的箭头方向，处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

具体而言，以图2所示结构为例进行说明，图2右侧部分为第二卷积神经网络，第二卷积神经网络每一层均包括多个四维数据矩阵。四维数据矩阵的第一维为所在卷积层数据块的数量，第二、三维分别为当前数据块的长和宽，第四维为每个数据块内部层数的多少，也就是每个数据块内部包括的卷积层数量，对于桥连的两个数据矩阵块，数据流向前端的数据矩阵块的第四维要跟数据流向后端的数据矩阵块的第一维相同，否则无法进行适配和矩阵卷积计算。

在一些实施例中，所述第二卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

具体而言，本实施例所述第二卷积神经网络为所述第一卷积神经网络的反向网络，其用于将第一卷积神经网络所提取得到的高层特征映射回原始图像空间，因此其网络结构的内容可以参阅前面有关第一卷积神经网络的阐述部分；深度神经网络浅层部分层与层之间相关性较小，所以相邻层之间进行桥连的必要性较高，反之，深层部分层与层之间相关性较大，所以相邻层之间进行桥连的必要性低，所以深层部分的桥连跨桥的数目就会更多。

在一些实施例中，每一桥臂设置相应权重，其中，桥臂跨越数据矩阵块的数量越多，则其权重越大。

具体而言，由于深度神经网络一直存在难以训练直至收敛的这样一个难题存在，所以如何将反向传播过程中的梯度变化逐层级反馈到浅层中一直是个根本痛点。即便是通过桥臂连接通信的桥连策略使得反向传播过程中能有一些改善，但是理论分析和实验结果都指明这种改善还存在可提升的空间。因此在本实施例中，在桥连的基础上，又提出了反向传播权值分配法，该方法旨在对桥连和数据回溯进行增强。

对于第一卷积神经网络而言，由于越靠近输出端的网络部分越能够代表高层语义输出，因此在靠近输出端的部分被赋予更高的权值，又由于神经网络对细节调控很敏感，且浅层神经网络部分控制整个第一卷积神经网络的输入，所以为了避免太过生硬地改变整个第一卷积神经网络架构输出，浅层的反向传播权值被赋予更小的权值。

需说明的是，由于第二卷积神经网络是与第一卷积神经网络反向的网络结构，因此基于以上内容，同理可得第二卷积神经网络深层和浅层部分反向传播权值的设定，具体参阅第一卷积神经网络的桥臂权重设定，此处不再赘述。

因此，本实施例所提出的桥连策略就是给上述步骤搭建完的可行驶区域检测神经网络的不同层接上不同权值的桥臂，所述权值为神经网络单元之间的反向传播系数，这样一方面可以保证神经元之间的通信，另一方面不同的权值又可以保证神经元不至于因为神经网络太深而被置0。

以图2所示网络结构为例进行说明，第一卷积神经网络第一层的1×480×480×3这样一个四维数据矩阵与第三层的3×480×480×32的四维数据矩阵信息通过一桥臂桥连起来，并配置一个较小的反向传播系数，例如0.001；将第四层的32×160×160×16的数据矩阵与第七层的16×80×80×8的数据矩阵通过一桥臂桥连起来，并配置一个较大的反向传播系数，例如0.01。

在一些实施例中，所述第二图像的可行驶区域和非行驶区域的分割采用语义分割，具体包括：

预先设置若干标签，每一标签对应一个数值范围和一种颜色；例如标签1表示车道，对应第一数值范围和灰色；标签2表示树，对应第二数值范围和绿色；

确定每个数据矩阵块的数值；

将每一数据矩阵块的数值与预先设置的若干标签的数值范围进行比较，若某个数据矩阵块的数值落入某个标签的数值范围，则该数据矩阵块所对应的第二图像的像素点为相应标签所对应的颜色。

具体而言，例如：假设一幅车辆前方图像只有车道以及两旁的树，那么最终经本实施例方法检测输出的结果图像则只包含灰色部分和绿色部分，其中灰色部分为可行驶区域。

如图3为一种车辆前方图像示例，图4为使用本发明实施例所述检测方法检测所述图3得到的可行驶区域以及非行驶区域分割效果图。

如图5所示，本发明实施例二提供一种可行驶区域检测***，包括：

图像接收单元3，用于接收原始图像，所述原始图像为车辆前方图像；

图像预处理单元4，对所述原始图像进行预处理得到具有预设尺寸的第一图像；

图像特征提取单元5，用于利用第一卷积神经网络提取所述第一图像的高层特征；

图像特征映射单元6，用于利用第二卷积神经网络将所述高层特征映射至原始图像空间得到具有预设尺寸的第二图像；所述第二卷积神经网络为所述第一卷积神经网络的反向网络；所述第二图像至少包括可行驶区域和非行驶区域的分割。

其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。

本实施例中，所述第一卷积神经网络包括多个卷积层，每一卷积层包括多个数据矩阵块，通过桥臂进行桥接的两个数据矩阵块分别位于所述第一卷积神经网络的不同层。

本实施例中，在第一卷积神经网络中，对于连接的两个数据矩阵块满足以下条件：

处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

本实施例中，所述第一卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

本实施例中，所述第二卷积神经网络包括多个卷积层，每一卷积层包括多个数据矩阵块，通过桥臂进行桥接的两个数据矩阵块分别位于所述第二卷积神经网络的不同层。

本实施例中，在第二卷积神经网络中，对于连接的两个数据矩阵块满足以下条件：

处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

本实施例中，所述第二卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

本实施例中，每一桥臂设置相应权重，其中，桥臂跨越数据矩阵块的数量越多，则其权重越大。

本实施例中，所述第二图像的可行驶区域和非行驶区域的分割采用语义分割，具体包括：

预先设置若干标签，每一标签对应一个数值范围和一种颜色；

确定每个数据矩阵块的数值；

将每一数据矩阵块的数值与预先设置的若干标签的数值范围进行比较，若某个数据矩阵块的数值落入某个标签的数值范围，则该数据矩阵块所对应的第二图像的像素点为相应标签所对应的颜色。

对于实施例二公开的***而言，由于其与实施例一公开的方法相对应，相关之处参见方法部分说明即可，此处不再赘述。

本发明实施例三提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现如实施例一所述的可行驶区域检测方法。

在一种可选的实现形式中，该电子设备还可以包括：存储器及处理器，连接不同组件(包括存储器和处理器)的总线，存储器存储有计算机程序，当处理器执行所述计算机程序时实现本申请实施例一所述的可行驶区域检测方法。

总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

电子设备典型地包括多种计算机设备可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器还可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器。电子设备可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***可以用于读写不可移动的、非易失性磁介质(图未显示，通常称为“硬盘驱动器”)。尽管图中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块的程序/实用工具，可以存储在例如存储器中，这样的程序模块包括——但不限于——操作***、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本申请所描述的实施例中的功能和/或方法。

电子设备也可以与一个或多个外部设备(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器通过总线与电子设备的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

需要说明的是，前述对实施例一方法的解释说明也适用于实施例三的电子设备，其实现原理类似，此处不再赘述。

本发明实施例四提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成如本发明实施例一所述的可行驶区域检测方法。

在一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括Matlab、C语言、C++、python等支持文本处理的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

需要说明的是，前述对实施例一方法的解释说明也适用于实施例四的计算机可读存储介质，其实现原理类似，此处不再赘述。

通过以上实施例的描述可知，本发明实施例提出一种可行驶区域检测方法及***、电子设备、计算机可读存储介质，其中，所述***、电子设备和计算机可读存储介质均为实现所述方法的载体。所述方法包括第一卷积神经网络和第二卷积神经网络，在车辆自动驾驶过程中，可以利用第一卷积神经网络提取车辆前方图像的高层特征，并利用第二卷积神经网络将所述高层特征映射至原始车辆前方图像的图像空间得到第二图像；所述第二图像至少包括可行驶区域和非行驶区域的分割；其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信，通过调整对不同网络深度层数的桥接策略，激活整个神经网络内部的通信机制，保证神经元之间数据进行流畅的通信信息交互。

在本说明书的描述中，参考术语“一些实施例”等的描述意指结合所述实施例或示例描述的具体特征包含于本发明的至少一个实施例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例。而且，描述的具体特征可以在任何的一个或多个实施例中以合适的方式结合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (12)

1.一种可行驶区域检测方法，其特征在于，包括如下步骤：

接收原始图像，所述原始图像为车辆前方图像；

对所述原始图像进行预处理得到具有预设尺寸的第一图像；

利用第一卷积神经网络提取所述第一图像的高层特征；

利用第二卷积神经网络将所述高层特征映射至原始图像空间得到具有预设尺寸的第二图像；所述第二卷积神经网络为所述第一卷积神经网络的反向网络；所述第二图像至少包括可行驶区域和非行驶区域的分割；

其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。

2.如权利要求1所述的可行驶区域检测方法，其特征在于，所述第一卷积神经网络包括多个卷积层，每一卷积层包括多个数据矩阵块，通过桥臂进行桥接的两个数据矩阵块分别位于所述第一卷积神经网络的不同层。

3.如权利要求2所述的可行驶区域检测方法，其特征在于，在第一卷积神经网络中，对于连接的两个数据矩阵块满足以下条件：

处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

4.如权利要求2所述的可行驶区域检测方法，其特征在于，所述第一卷积神经网络中包括多个桥臂，所述第一卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

5.如权利要求1所述的可行驶区域检测方法，其特征在于，所述第二卷积神经网络包括多个卷积层，每一卷积层包括多个数据矩阵块，通过桥臂进行桥接的两个数据矩阵块分别位于所述第二卷积神经网络的不同层。

6.如权利要求5所述的可行驶区域检测方法，其特征在于，在第二卷积神经网络中，对于连接的两个数据矩阵块满足以下条件：

处于数据流向前端的数据矩阵块所在卷积层的数据矩阵块数量等于处于数据流向后端的数据矩阵块内部层数。

7.如权利要求6所述的可行驶区域检测方法，其特征在于，所述第二卷积神经网络中包括多个桥臂，所述第二卷积神经网络中浅层部分桥臂跨越数据矩阵块的数量小于处于深层部分的桥臂跨越数据矩阵块的数量。

8.如权利要求4或7所述的可行驶区域检测方法，其特征在于，每一桥臂设置相应权重，其中，桥臂跨越数据矩阵块的数量越多，则其权重越大。

9.如权利要求1所述的可行驶区域检测方法，其特征在于，所述第二图像的可行驶区域和非行驶区域的分割采用语义分割，具体包括：

预先设置若干标签，每一标签对应一个数值范围和一种颜色；

确定每个数据矩阵块的数值；

将每一数据矩阵块的数值与预先设置的若干标签的数值范围进行比较，若某个数据矩阵块的数值落入某个标签的数值范围，则该数据矩阵块所对应的第二图像的像素点为相应标签所对应的颜色。

10.一种可行驶区域检测***，其特征在于，包括：

图像接收单元，用于接收原始图像，所述原始图像为车辆前方图像；

图像预处理单元，对所述原始图像进行预处理得到具有预设尺寸的第一图像；

图像特征提取单元，用于利用第一卷积神经网络提取所述第一图像的高层特征；

图像特征映射单元，用于利用第二卷积神经网络将所述高层特征映射至原始图像空间得到具有预设尺寸的第二图像；所述第二卷积神经网络为所述第一卷积神经网络的反向网络；所述第二图像至少包括可行驶区域和非行驶区域的分割；

其中，所述第一卷积神经网络中包括至少一个桥臂和/或所述第二卷积神经网络中包括至少一个桥臂，所述桥臂用于连接两个数据矩阵块并进行相应两个数据矩阵块之间的数据通信。

11.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，以实现如权利要求1-9任一所述的可行驶区域检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成如权利要求1-9任意一项所述的可行驶区域检测方法。