CN108345875B - 可行驶区域检测模型训练方法、检测方法和装置 - Google Patents
可行驶区域检测模型训练方法、检测方法和装置 Download PDFInfo
- Publication number
- CN108345875B CN108345875B CN201810308028.XA CN201810308028A CN108345875B CN 108345875 B CN108345875 B CN 108345875B CN 201810308028 A CN201810308028 A CN 201810308028A CN 108345875 B CN108345875 B CN 108345875B
- Authority
- CN
- China
- Prior art keywords
- travelable
- neural network
- region
- detection model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 216
- 238000012549 training Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003062 neural network model Methods 0.000 claims abstract description 128
- 239000013598 vector Substances 0.000 claims description 120
- 238000012545 processing Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 17
- 238000003709 image segmentation Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 51
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 102220203103 rs1057521344 Human genes 0.000 description 1
- 102220022382 rs386833443 Human genes 0.000 description 1
- 102220086336 rs864622288 Human genes 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种可行驶区域检测模型的训练方法，获取道路样本图像，道路样本图像中标注有可行驶区域，将道路样本图像输入预先建立的初始神经网络模型，利用道路样本图像以有监督学习方式训练初始神经网络模型，得到可行驶区域检测模型。基于可行驶区域检测模型，本申请还提供了一种可行驶区域检测方法，将当前道路图像输入可行驶区域检测模型，该可行驶区域检测模型能够从当前道路图像中直接学习并输出结构化的可行驶区域信息。相较于传统的图像分割技术，本申请能够充分利用模型的学习能力，提高了可行驶区域的检测效率和检测的准确度。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种可行驶区域检测模型的训练方法、可行驶区域检测方法和装置。
背景技术
随着智能化***被应用到车辆驾驶领域中，越来越多的车辆上配置了能够实现自动驾驶功能或辅助驾驶功能的智能***。为了实现自动驾驶功能或辅助驾驶功能，车辆上的智能***通常需要从车辆周围的道路图像中识别出可行驶区域，从而指导车辆的驾驶。
现有的可行驶区域检测技术主要是利用传统的图像分割技术，来获得像素级别的可行驶区域轮廓。具体为，输入一张图像，通过图像分割技术，输出一张同样大小的结果图，结果图上每个像素点的数值代表图像上同样位置的像素点的分类。
然而，现有技术中车辆的感知模块采用图像分割技术输出的结果图是一张逐像素的类别图。在发送给后续规划控制模块使用时，无法直接被使用。还需要利用图像处理技术提取轮廓的结构化信息。感知模块和控制模块之间不直接互通，无法充分利用模型的学习能力，影响了检测效率和检测的准确度。
发明内容
有鉴于此，本申请第一方面提供了一种可行驶区域检测模型的训练方法，所述方法应用于自动驾驶领域，包括：
获取道路样本图像，所述道路样本图像标注有可行驶区域；
将所述道路样本图像输入预先建立的初始神经网络模型；
利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
可选的，所述道路样本图像的可行驶区域是采用道路样本图像底边出发垂直向上的N条等间隔线段进行标注的，N为正整数，其中，每条线段的结束位置为可行驶区域的边界位置；
则所述将所述道路样本图像输入预先建立的初始神经网络模型包括：
将采用N条等间隔线段标注的道路样本图像输入预先建立的初始神经网络模型；
所述利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型包括：
利用所述采用N条等间隔线段标注的道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
可选的，所述利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型包括：
所述初始神经网络模型提取所述道路样本图像的特征；
所述初始神经网络模型将提取的特征映射为1*N的区域向量，N为正整数，所述区域向量表征所述初始神经网络模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
所述初始神经网络模型将区域向量与标注向量进行比较，所述标注向量为标注道路样本图像可行驶区域的各条线段的长度所构成的1*N向量；
根据比较结果更新所述初始神经网络模型的参数；
当所述初始神经网络模型的损失函数满足预设条件，则将所述初始神经网络模型的当前模型参数作为可行驶区域检测模型的参数，并根据所述参数得到所述可行驶区域检测模型。
可选的，所述根据比较结果更新所述初始神经网络模型的参数包括：
根据比较结果，确定所述初始神经网络模型的损失函数；
根据所述损失函数，更新所述初始神经网络模型的参数。
可选的，所述初始神经网络模型将提取的特征映射为1*N的区域向量包括：
对提取的特征进行双线性插值和非对称卷积，从而得到1*N的区域向量。
可选的，所述初始神经网络模型为深度残差网络模型。
可选的，所述初始神经网络模型的损失函数为Smooth L1损失函数。
本申请第二方面提供了一种可行驶区域检测方法，所述方法应用于自动驾驶领域，包括：
获取当前道路图像；
将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域；所述可行驶区域检测模型是根据本申请实施例第一方面提供的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型。
可选的，所述将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域包括：
可行驶区域检测模型提取所述当前道路图像的特征；
所述可行驶区域检测模型将提取的特征映射为1*N的区域向量，N为整数，所述区域向量表征所述可行驶区域检测模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域。
本申请实施例第三方面提供一种可行驶区域检测模型的训练装置，该装置包括：
样本获取单元，用于获取道路样本图像，所述道路样本图像标注有可行驶区域；
训练单元，用于将所述道路样本图像输入预先建立的初始神经网络模型，利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
可选的，所述道路样本图像的可行驶区域是采用道路样本图像底边出发垂直向上的N条等间隔线段进行标注的，N为正整数，其中，每条线段的结束位置为可行驶区域的边界位置；
则所述训练单元具体用于：
将采用N条等间隔线段标注的道路样本图像输入预先建立的初始神经网络模型；
利用所述采用N条等间隔线段标注的道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
可选的，所述训练单元包括：
提取子单元，用于提取所述道路样本图像的特征；
映射子单元，用于将提取的特征映射为1*N的区域向量，N为正整数，所述区域向量表征所述初始神经网络模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
比较子单元，用于将区域向量与标注向量进行比较，所述标注向量为标注道路样本图像可行驶区域的各条线段的长度所构成的1*N向量；
更新子单元，用于根据比较结果更新所述初始神经网络模型的参数；
确定子单元，用于当损失函数满足预设条件，则将当前模型参数作为可行驶区域检测模型的参数，并根据所述参数得到所述可行驶区域检测模型。
可选的，比较子单元具体用于：
根据比较结果，确定所述初始神经网络模型的损失函数；
根据所述损失函数，更新所述初始神经网络模型的参数。
可选的，映射子单元具体用于：
对提取的特征进行双线性插值和非对称卷积，从而得到1*N的区域向量。
可选的，所述初始神经网络模型为深度残差网络模型。
可选的，其特征在于，所述初始神经网络模型的损失函数为Smooth L1损失函数。
本申请第四方面提供一种可行驶区域检测装置，所述装置包括：
当前道路图像获取单元，用于获取当前道路图像；
可行驶区域检测单元，用于将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域。
所述可行驶区域检测模型是根据本申请实施例提供的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型。
可选的，可行驶区域检测单元包括：
提取子单元，用于提取所述当前道路图像的特征；
映射子单元，用于将提取的特征映射为1*N的区域向量，N为整数，所述区域向量表征所述可行驶区域检测模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
确定子单元，用于所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种可行驶区域检测模型的训练方法，获取道路样本图像，道路样本图像中标注有可行驶区域，将道路样本图像输入预先建立的初始神经网络模型，利用道路样本图像以有监督学习方式训练初始神经网络模型，得到可行驶区域检测模型。基于可行驶区域检测模型，本申请还提供了一种可行驶区域检测方法，将当前道路图像输入可行驶区域检测模型，该可行驶区域检测模型能够从当前道路图像中直接学习并输出结构化的可行驶区域信息。相较于传统的图像分割技术，本申请能够充分利用模型的学习能力，提高了可行驶区域的检测效率和检测的准确度。
附图说明
图1为本申请实施例中一种可行驶区域检测模型的训练方法的流程图；
图2为本申请实施例中采用等间隔线段对道路样本图像中可行驶区域进行标注的示意图；
图3为本申请实施例中一种利用N条等间隔线段标注的道路样本图像训练初始神经网络模型，得到可行驶区域检测模型的流程图；
图4为本申请实施例中一种基于可行驶区域检测模型的可行驶区域检测方法的流程图；
图5为本申请实施例中将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域的流程图；
图6A和图6B分别当前道路图像以及将当前道路图像输入到可行驶区域检测模型得到标识有可行驶区域的道路图像；
图7为本申请实施例中一种可行驶区域检测模型的训练装置的一个结构示意图；
图8为本申请实施例中一种可行驶区域检测装置的一个结构示意图；
图9为本申请实施例中一种服务器的结构示意图；
图10为本申请实施例中一种服务器的结构示意图。
具体实施方式
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。传统的驾驶方式需要人为控制车辆按照可行驶区域进行行驶，而在自动驾驶领域，车辆可以预置智能化的***，用于自动识别出车辆当前可行驶区域。具体的，车辆的摄像头可以拍摄车辆当前所处道路的路况，采用图像处理技术对拍摄得到的道路图像进行识别，可以得到车辆的可行驶区域，从而指导车辆的驾驶。
利用传统的图像分割技术，对道路图像进行处理，可以获得像素级别的可行驶区域轮廓。然而，感知模块采用图像分割技术对道路图像进行处理，输出的结果图是一张逐像素的类别图。在发送给后续规划控制模块使用时，无法直接被使用。还需要利用图像处理技术提取轮廓的结构化信息。感知模块和控制模块之间不直接互通，无法充分利用模型的学习能力，影响了检测效率和检测的准确度。
有鉴于此，本申请提供了一种端到端的可行驶区域检测方法，该方法利用预先训练好的可行驶区域检测模型，对车辆拍摄的当前道路图像进行识别，由于该模型可以提取当前道路图像特征并进行学习，然后直接输出结构化的所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域信息，如此，在后续的行驶路线规划时，可以直接利用该结构化的可行驶区域。该方法可以充分利用模型的学习能力，提高了检测效率和检测的准确度。
本申请实施例提供了一种可行驶区域检测模型的训练方法和基于该可行驶区域检测模型的可行驶区域检测方法。上述可行驶区域检测模型的训练方法以及可行驶区域检测方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。
还需要注意的是，本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个示例。本申请的实施方式在此方面不受任何限制。
下面结合附图对本申请实施例的具体实现方式进行介绍。
首先，对本申请实施例提供的一种可行驶区域检测模型的训练方法的具体实现方式进行介绍。
图1所示为本申请实施例提供的一种可行驶区域检测模型的训练方法的流程图，应用于自动驾驶领域，参见图1，该方法包括：
步骤101：获取道路样本图像，所述道路样本图像标注有可行驶区域。
道路样本图像可以视为用于训练可行驶区域检测模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，因而，道路样本图像中标注有可行驶区域，通过标注可行驶区域，可以加快模型训练的速率，提高模型检测的准确率。
其中，可行驶区域是指车辆当前可以行驶的区域。可行驶区域在数学上，可以理解为一个范围，可以通过多种形式进行表征。对于一个范围，通常可以采用界限、轮廓等进行表示，例如可以采用函数、坐标等方式进行表示。考虑到车辆行驶这一情景，车辆的摄像头拍摄的图像一般都是从车辆当前位置出发的道路图像，其中，车辆当前位置一般在图像底部，因此，可以采用底部出发的多条线段来标注可行驶区域。
在本申请实施例一些可能的实现方式中，可以采用道路样本图像底边出发垂直向上的N条等间隔线段标注对应于该道路样本图像的车辆可行驶区域，其中每条线段的结束位置为可行驶区域的边界位置，N为正整数。为了便于理解，图2示出了采用线段标注可行驶区域的一个具体示例，参见图2，多条线段的结束位置构成可行驶区域的边界位置，线段所在区域即为可行驶区域。需要说明的是，N数值越大，线段分布越密集，越有利于获取到准确的可行驶区域轮廓，即获取到更为准确的可行驶区域。在一些可能的实现方式中，可以根据道路样本图像的大小，合理地设置N的取值。
以上为采用线段的方式对可行驶区域进行结构化的标注，在本申请实施例一些可能的实现方式中，也可以其他方式进行标注，例如，可以采用点阵的方式。与其他方式相比，采用线段的方式可以将线段转换为长度，进而得到一个表征可行驶区域的向量，实现可行驶区域的结构化，并且采用线段标注的方式所需的数据量相对较小，有利于减少计算量。
在本实施例中，可以预先建立样本库，从样本库中获取道路样本图像。其中，样本库可以通过网络爬虫的方式，从互联网中搜集相关数据而建立，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的可行驶区域进行标注，从而建立样本库。在有些情况下，也可以直接获取道路样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像中的可行驶区域进行标注，将标注后的图像作为道路样本图像。
步骤102：将所述道路样本图像输入预先建立的初始神经网络模型。
在获取到道路样本图像后，可以将道路样本图像输入预先建立的初始神经网络模型，以便利用道路样本图对初始神经网络模型进行训练。
在本申请实施例一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对统一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本图像进行处理，提高模型训练的效率。
步骤103：利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络***，它是一个高度复杂的非线性动力学习***，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。
其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。
具体到本实施例，可以采用卷积神经网络模型作为初始神经网络模型。利用初始道路样本图像对初始神经网络模型进行训练，具体为初始神经网络模型中的卷积层充分学习道路样本图像中的可行驶区域的特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到可行驶区域的识别结果，将可行驶区域的识别结果与道路样本图像预先标注的可行驶区域进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得可行驶区域检测模型。
在本实施例中，当采用等间隔的线段对可行驶区域进行标注时，可以将可行驶区域用结构化的信息进行表示。具体的，标注可行驶区域的各条线段的长度是确定的，根据各条线段的长度，可以得到一个与线段长度相关的向量。其中，线段数量为N，则向量为1*N向量。因此，在道路样本图像中，可以采用该1*N向量对道路样本图像的可行驶区域进行标注，为了方便表述，将这种道路样本图像中标注可行驶区域的1*N向量称为标注向量。
进一步地，可以利用采用N条等间隔线段标注的道路样本图像训练，初始神经网络模型，得到可行驶区域检测模型。其中，由于道路样本图像是采用1*N的标注向量进行标注的，在利用该道路样本图像对初始神经网络模型进行训练时，初始神经网络模型可以学习标注向量特征，通过初审神经网络模型训练得到的可行驶区域检测模型，在对可行驶区域进行预测时也可以得到1*N向量，用于表征对可行驶区域的预测值。为了方便表述，将可行驶区域检测模型预测得到的1*N向量称为区域向量。
在本实施例中，采用区域向量表征可行驶区域，实现了对可行驶区域的信息结构化。针对自动驾驶场景的应用，降低了结构化信息的复杂度，并且保留了对自动驾驶有价值的信息量。
由上可知，本申请提供了一种可行驶区域检测模型的训练方法，获取道路样本图像，道路样本图像中标注有可行驶区域，将道路样本图像输入预先建立的初始神经网络模型，利用道路样本图像以有监督学习方式训练初始神经网络模型，得到可行驶区域检测模型。相较于传统的图像分割技术，本申请提供的训练可行驶区域检测模型的方法能够直接端到端学习，并输出结构化的可行驶区域信息，不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。
并且，采用标注有可行驶区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以是使得训练得到的可行驶区域检测模型在对可行驶区域进行预测时具有较高的准确度和效率。
为了使本申请的技术方案更清楚，下面将结合具体实施例对利用采用N条等间隔线段标注的道路样本图像训练初始神经网络模型，得到可行驶区域检测模型的过程进行详细说明。
图3示出了一种利用采用N条等间隔线段标注的道路样本图像训练初始神经网络模型，得到可行驶区域检测模型的流程图。参见图3，该方法包括：
步骤301：所述初始神经网络模型提取所述道路样本图像的特征。
道路样本图像中包括较多的信息，其中，既有与可行驶区域相关的信息，也有与可行驶区域无关的信息，为了对道路样本图像中的可行驶区域进行检测，可以对道路样本图像进行特征提取。
可以理解，初始神经网络模型可以对道路样本图像进行特征提取。作为一种可能的实现方式，可以利用初始神经网络模型中的卷积层提取道路样本图像的特征。可以理解，图像的空间联系是局部的，每个神经元无需感受全局图像，只需感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元进行综合，即可得到全局信息，如此，可以达到减少神经网络需要训练的权值参数的个数。具体地，在卷积层的一次卷积计算中，对一张图像的不同区域采用相同的卷积核提取出该图像的一种特征，例如沿某一方向的边缘，不同区域之间实现权值共享，如此可以大大降低训练的参数。进一步地，采用多种卷积核分别对图像的不同区域进行特征提取，可以得到该图像的多种特征。通过设置具有不同卷积核的卷积层，提取不同种类的特征，从而保留较多的与可行驶区域相关的有效信息。
步骤302：所述初始神经网络模型将提取的特征映射为1*N的区域向量。
其中，N为正整数，所述区域向量表征所述初始神经网络模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度。
初始神经网络模型在提取到道路样本图像的特征后，可以对特征进行映射得到表征可行驶区域预测值的区域向量。在本申请实施例一些可能的实现方式中，当初始神经网络模型为卷积神经网络模型时，卷积神经网络模型中的全连接层可以对提取到的特征进行映射得到区域向量。
在一些可能的实现方式中，可以对提取的特征进行双线性插值和非对称卷积，从而得到1*N的区域向量。其中，双线性插值是指在两个方向上分别进行一次线性插值。例如，我们想得到未知函数f在点P(x，y)的值，假设函数f在Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)，Q22＝(x2，y2)四个点的值，则可以首先在x方向进行线性插值，得到函数f在R1和R2这两点的值，然后基于R1和R2在y方向进行线性插值即可得到函数f在P点的值。
非对称卷积是一种采用1*n和n*1的卷积核代替n*n卷积核进行卷积的卷积方式。相较于n*n这种对称卷积，采用1*n和n*1进行卷积可以显著降低计算量，降低网络的参数，而且增加了网络的深度。
在本实施例中，通过双线性插值和非对称卷积，可以实现将特征图放大并且压扁，从而得到1*N的区域向量。
步骤303：所述初始神经网络模型将区域向量与标注向量进行比较。
由于区域向量表征对可行驶区域的预测值，标注向量表征可行驶区域的预测值，训练模型的目的即为使得模型的对可行驶区域的预测值接近真实值，通过将区域向量与标注向量进行比较可以获得模型预测的偏差程度。
在本实施例中，区域向量和标注向量均为1*N向量，将区域向量和标注向量进行比较可以为，对区域向量和标注向量的各维度分别进行比较，如此可以确定模型预测在各个维度上的偏差程度。
步骤304：根据比较结果更新所述初始神经网络模型的参数。
在将区域向量与标注向量进行比较后，可以得到比较结果，该比较结果可以反映模型预测的偏差程度。该偏差程度包含了模型在各个维度上进行预测的偏差程度，通过各个维度上预测的偏差程度，可以对初始神经网络模型的参数进行更新，以便减小模型预测的偏差程度，使得可行驶区域检测模型具有较高的检测准确率。
在本实施例中，模型预测的偏差程度可以采用损失函数进行衡量。作为一种可能的实现方式，可以根据比较结果，确定所述初始神经网络模型的损失函数，根据所述损失函数，更新所述初始神经网络模型的参数。
其中，根据初始神经网络模型的种类不同，可以设置不同类型的损失函数。例如，损失函数包括对数损失函数、铰链损失函数、指数损失函数或平方损失函数等，可以根据需求设置相对应的损失函数。在本申请实施例一些可能的实现方式中，可以选择Smooth L1损失函数作为初始神经网络模型的损失函数。可以理解，在利用损失函数对神经网络模型的参数进行更新时，通常是采用梯度下降法等方法进行更新的，也就是说，可以求解损失函数的梯度，实现模型参数的更新。
传统的包括L2正则项的损失函数在预测值与真实值相差较大时，容易出现梯度***现象，极大地影响了模型的训练效率，为此，可以采用Smooth L1损失函数，将原先L2梯度里的x-t替换成±1,如此可以避免梯度***,模型具有较好的鲁棒性。
步骤305：当所述初始神经网络模型的损失函数满足预设条件，则将所述初始神经网络模型的当前模型参数作为可行驶区域检测模型的参数，并根据所述参数得到所述可行驶区域检测模型。
在通过大量的道路样本图像对初始神经网络模型后，初始神经网络模型的损失函数可以下降至较小的值，损失函数越小，模型预测的精度相对越高。当初始神经网络模型的损失函数满足预设条件时，可以将初始神经网络模型的当前模型参数作为可行驶区域检测模型的参数，根据该参数可以得到可行驶区域检测模型。
其中，预设条件是一种预先设置、用于衡量损失函数数学特性的条件。在本申请实施例一些可能的方式中，预设条件可以为损失函数趋于收敛，或者损失函数达到最小值。
由上可知，本申请提供了一种可行驶区域检测模型的训练方法，初始神经网络模型提取道路样本图像的特征，将提取到的特征映射为表征对可行驶区域的预测值的区域向量，将区域向量与标注向量进行比较，由于比较结果反映了模型预测的偏差程度，可以根据偏差程度，更新初始神经网络模型的参数，当初始神经网络模型的损失函数满足预设条件时，将当前模型参数作为可行驶区域检测模型的参数，根据该参数得到可行驶区域检测模型。与传统图像分割技术相比，本申请采用了深度学习的方式训练得到的可行驶区域检测模型，能够直接端到端学习，输出结构化的可行驶区域信息，该结构化的可行驶区域可以直接用于辅助车辆行驶，而不需要作其他的转换，有利于自动驾驶应用及推广。
基于上述实施例提供的一种可行驶区域检测模型的训练方法的具体实现方式，本申请实施例还提供了一种基于可行驶区域检测模型的可行驶区域检测方法。
接下来，结合附图对本申请实施例提供的一种可行驶区域检测方法进行详细说明。
图4为本申请实施例提供的一种可行区域检测方法的流程图，该方法应用于自动驾驶领域，参见图4，该方法包括：
步骤401：获取当前道路图像。
当前道路图像是指车辆当前所在道路的图像。在本实施例中，当前道路图像为需要检测可行驶区域的图像。
可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例一些可能的实现方式中，可以通过车辆的前视摄像头拍摄得到当前道路图像。作为上述实施例的扩展，当前道路图像也可以是车辆的后视摄像头拍摄得到的图像。例如，车辆需要倒车时，可以通过后视摄像头拍摄车辆后方的图像，作为当前道路图像。类似的，当车辆左拐或右拐时，还可以通过对应的车载摄像头拍摄相应方向的道路图像，得到当前道路图像。在一些可能的实现方式中，还可以通过车辆的环视摄像头拍摄车辆所在道路图像，从而获取当前道路图像。
在一些情况下，当前道路图像也可以是接收到的其他设备所发送的道路图像。例如，当车辆的摄像头出现故障时，车上的乘客可以通过手机等设备拍摄车辆当前所在道路的图像，如此，可以从用户的设备上获取当前道路图像，以便通过该图像进行可行驶区域检测。
以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取不做限定，可以根据需求采用不同的实现方式。
步骤402：将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域。
所述可行驶区域检测模型是根据上述实施例提供的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型。
将当前道路图像输入到可行驶区域检测模型后，可行驶区域检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征可行驶区域的区域向量，该区域向量即为可行驶区域检测模型的输出结果，由于该区域向量的各个元素值为可行驶区域上的各条线段的长度，各条线段的终点为可行驶区域的边界，各条线段的终点连接起来得到的线即为可行驶区域的部分轮廓，各条线段的终点连接起来得到的线与当前道路图像的两侧及底部所包围的区域即为可行驶区域。
由上可知，本申请实施例提供了一种可行驶区域的检测方法，通过将当前道路图像输入到预先训练的可行驶区域检测模型，基于可行驶区域检测模型的输出结果，可以确定当前道路图像中的可行驶区域。本申请实施例提供的可行驶区域检测方法能够直接端到端学习，并输出结构化的可行驶区域信息，不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且，该模型是采用海量道路样本图像结合深度学习的方式训练得到，在对可行驶区域进行预测时具有较高的准确度和效率。
为了更清楚地理解可行驶区域检测的具体实现过程，下面结合具体实施例对步骤402进行详细说明。
图5为本申请实施例提供的一种将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域的方法的流程图，参见图5，该方法包括：
步骤501：可行驶区域检测模型提取所述当前道路图像的特征。
可行驶区域检测模型是利用大量的道路样本图像训练得到的，在训练过程中，在对道路样本图像进行训练时，可以对模型参数进行优化，使得提取到较多的与可行驶区域相关的特征，如此，在利用可行驶区域检测模型对当前道路图像中的可行驶区域进行检测时，可以提取到当前道路图像中与可行驶区域相关的特征。其中，提取到的特征可以以特征图的方式进行呈现。
步骤502：所述可行驶区域检测模型将提取的特征映射为1*N的区域向量。
其中，N为整数，所述区域向量表征所述可行驶区域检测模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度。
提取的特征中保留了较多与可行驶区域相关的有效信息，可以通过双线性插值以及非对称卷积等方式，将特征图映射为表征可行驶区域的区域向量。
步骤503：所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域。
可行驶区域检测模型在获得区域向量后，可以根据区域向量确定当前道路图像中的可行驶区域。其中，区域向量的各个元素值对应可行驶区域的多条线段的长度，这多条线段的终点即为可行驶区域的边界位置，与当前道路图像的底部及两侧所包围的区域即为当前道路图像的可行驶区域。
需要说明的是，若当前道路图像在输入至可行驶区域检测模型进行了缩放处理，如缩放至预设尺寸，则在获取到缩放后的当前道路图像对应的区域向量时，还可以对该区域向量进行转换，得到缩放前的当前道路图像对应的区域向量，以便根据转换后的区域向量确定当前道路图像的可行驶区域。
由上可知，本申请实施例提供了一种可行驶区域检测方法，该方法包括通过可行驶区域检测模型提取所述当前道路图像的特征，将提取的特征映射为1*N的区域向量，该区域向量表征可行驶区域检测模型对当前道路图像中可行驶区域的预测值，通过该区域向量可以确定当前道路图像中的可行驶区域。相较于传统的图像分割方法，本申请实施例提供的方法能够端到端地输出可行驶区域的结构化信息，规划控制模块可以直接利用该结构化信息进行路线规划等，能够给自动驾驶带来帮助，有利于自动驾驶的应用及推广。
以上实施例主要是以卷积神经网络模型作为初始神经网络模型，进行训练得到可行驶区域检测模型，并基于该可行驶区域检测模型对当前道路图像中的可行驶区域进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。卷积神经网络包括VGG Net(Visual Geometry Group)、AlexNet、Network inNetwork、ResNet深度残差网络模型等等。在一些可能的实现方式中，可以采用ResNet作为初始神经网络模型进行训练，得到可行驶区域检测模型。
VGG Net、AlexNet等模型的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题。ResNet在某种程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络则只需要学习输入、输出差别的那一部分，简化学习目标和难度。具体到本实施例，由于可行驶区域采用多体等间隔线段进行表示，模型需要回归各线段的长度得到区域向量，采用ResNet可以减小传输开销，以及信息在传输过程中的损失，从而提高模型预测的准确率。
接下来，结合具体应用场景对本申请实施例提供的可行驶区域检测模型的训练方法以及可行驶区域检测方法进行详细说明。
首先，初始化一个初始神经网络模型。在该示例中，以ResNet18结构的全卷积网络作为初始神经模型，采用Smooth L1作为该模型的损失函数。
然后，从预先建立的训练集中获取道路样本图像。其中，训练集中至少包括100万以上个标注有可行驶区域的道路样本图像。道路样本图像中的可行驶区域采用图像底部出发的224条等间隔线段进行标注，用1*224的向量表示可行驶区域。在利用道路样本图像进行训练前，还可以将道路样本图像缩放至预设尺寸，例如缩放至448*448。
接着，将获取到的道路样本图像分批输入到ResNet 18结构的全卷积网络，可以得到7*7的特征图，利用双线性插值，结合非对称卷积，可以对特征图不断放大并且压扁，特征图的尺寸由7*7变化为14*14，然后变化为28*56，接着压扁为7*224，再进一步压扁为1*224，最后输出的结构化信息即为1*224的向量。
在本实施例中，需要将样本集中的道路样本图像训练大约16个epoch，前8个epoch的学习率可以设为1*e-5，后8个epoch的学习率可以设为1*e-6。
需要说明，上述网络结构、训练参数是根据经验值设置的，在本申请实施例其他可能的实现方式中，也可以设置其他网络结构、训练参数。
为了使本申请的有益效果更突出，本申请实施例还提供了当前道路图像和采用本实施例中训练得到的模型对当前道路图像进行检测得到可行驶区域的图像。参见图6A和图6B，图6A为当前道路图像，将图6A输入到训练好的可行驶区域检测模型，可以得到图6B所示的标识有可行驶区域的图像。
由此可见，本申请实施例提供了一种可行驶区域检测模型的训练方法以及可行驶区域检测方法，初始神经网络模型提取道路样本图像的特征，将提取到的特征映射为表征对可行驶区域的预测值的区域向量，将区域向量与标注向量进行比较，由于比较结果反映了模型预测的偏差程度，可以根据偏差程度，更新初始神经网络模型的参数，当初始神经网络模型的损失函数满足预设条件时，将当前模型参数作为可行驶区域检测模型的参数，根据该参数得到可行驶区域检测模型。然后，可行驶区域检测模型提取所述当前道路图像的特征，将提取的特征映射为1*N的区域向量，该区域向量表征可行驶区域检测模型对当前道路图像中可行驶区域的预测值，通过该区域向量可以确定当前道路图像中的可行驶区域。相较于传统的图像分割方法，本申请实施例提供的方法能够端到端地输出可行驶区域的结构化信息，规划控制模块可以直接利用该结构化信息进行路线规划等，能够给自动驾驶带来帮助，有利于自动驾驶的应用及推广。
基于上述实施例提供的可行驶区域检测模型的训练方法及可行驶区域检测方法，本申请实施例还提供了一种可行驶区域检测模型的训练装置和可行驶区域检测装置。下面将结合附图，从功能模块化的角度对本申请实施例提供的装置进行介绍。
首先，结合附图对本申请实施例提供的可行驶区域检测模型的训练装置进行介绍。
图7为本申请实施例提供的一种可行驶区域检测模型的训练装置的结构示意图，参见图7，该装置包括：
样本获取单元710，用于获取道路样本图像，所述道路样本图像标注有可行驶区域；
训练单元720，用于将所述道路样本图像输入预先建立的初始神经网络模型，利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
可选的，所述道路样本图像的可行驶区域是采用道路样本图像底边出发垂直向上的N条等间隔线段进行标注的，N为正整数，其中，每条线段的结束位置为可行驶区域的边界位置；
则所述训练单元720具体用于：
将采用N条等间隔线段标注的道路样本图像输入预先建立的初始神经网络模型；
利用所述采用N条等间隔线段标注的道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
可选的，所述训练单元720包括：
提取子单元，用于提取所述道路样本图像的特征；
映射子单元，用于将提取的特征映射为1*N的区域向量，N为正整数，所述区域向量表征所述初始神经网络模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
比较子单元，用于将区域向量与标注向量进行比较，所述标注向量为标注道路样本图像可行驶区域的各条线段的长度所构成的1*N向量；
更新子单元，用于根据比较结果更新所述初始神经网络模型的参数；
确定子单元，用于当损失函数满足预设条件，则将当前模型参数作为可行驶区域检测模型的参数，并根据所述参数得到所述可行驶区域检测模型。
可选的，比较子单元具体用于：
根据比较结果，确定所述初始神经网络模型的损失函数；
根据所述损失函数，更新所述初始神经网络模型的参数。
可选的，映射子单元具体用于：
对提取的特征进行双线性插值和非对称卷积，从而得到1*N的区域向量。
可选的，所述初始神经网络模型为深度残差网络模型。
可选的，其特征在于，所述初始神经网络模型的损失函数为Smooth L1损失函数。
由上可知，本申请提供了一种可行驶区域检测模型的训练装置，该装置包括样本获取单元和训练单元，其中，样本获取单元可以获取道路样本图像，道路样本图像中标注有可行驶区域，训练单元可以将道路样本图像输入预先建立的初始神经网络模型，利用道路样本图像以有监督学习方式训练初始神经网络模型，得到可行驶区域检测模型。相较于传统的图像分割技术，本申请提供的训练可行驶区域检测模型的方法能够直接端到端学习，并输出结构化的可行驶区域信息，不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且，采用标注有可行驶区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的可行驶区域检测模型在对可行驶区域进行预测时具有较高的准确度和效率。
接下来，结合附图对本申请实施例提供的一种可行驶区域检测装置进行介绍。
图8为本申请实施例提供的一种可行驶区域检测装置的结构示意图，参见图8，该装置包括：
当前道路图像获取单元810，用于获取当前道路图像；
可行驶区域检测单元820，用于将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域。
所述可行驶区域检测模型是根据本申请实施例提供的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型。
可选的，可行驶区域检测单元820包括：
提取子单元，用于提取所述当前道路图像的特征；
映射子单元，用于将提取的特征映射为1*N的区域向量，N为整数，所述区域向量表征所述可行驶区域检测模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
确定子单元，用于所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域。
由上可知，本申请实施例提供了一种可行驶区域检测装置。该装置包括当前道路图像获取单元，获取当前道路图像，然后可行驶区域检测单元，用于将前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域。本申请实施例提供的可行驶区域检测装置能够直接端到端学习，并输出结构化的可行驶区域信息，不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且，该模型是采用海量道路样本图像结合深度学习的方式训练得到，在对可行驶区域进行预测时具有较高的准确度和效率。
以上为从功能模块化的角度对本申请实施例提供的可行驶区域检测模型的训练装置和可行驶区域检测装置进行介绍，接下来从设备硬件化的角度对本申请实施例提供的上述装置进行介绍。
图9是本申请实施例提供的一种服务器结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processingunits，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。
服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作***941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图9所示的服务器结构。
其中，CPU 922用于执行如下步骤：
获取道路样本图像，所述道路样本图像标注有可行驶区域；
将所述道路样本图像输入预先建立的初始神经网络模型；
利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
本申请实施例还提供了另一种可行驶区域检测设备，该设备可以为服务器。图10是本申请实施例提供的一种服务器结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。
服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作***1041，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图10所示的服务器结构。
其中，CPU 1022用于执行如下步骤：
获取当前道路图像；
将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域；所述可行驶区域检测模型是根据本申请实施例提供的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种可行驶区域检测模型的训练方法中的任意一种实施方式。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种可行驶区域检测方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种可行驶区域检测模型的训练方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种可行驶区域检测方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
Claims (9)
1.一种可行驶区域检测模型的训练方法，其特征在于，所述方法应用于自动驾驶领域，包括：
获取道路样本图像，所述道路样本图像标注有可行驶区域；
将所述道路样本图像输入预先建立的初始神经网络模型；
利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型；
所述道路样本图像的可行驶区域是采用道路样本图像底边出发垂直向上的N条等间隔线段进行标注的，N为正整数，其中，每条线段的结束位置为可行驶区域的边界位置；
则所述将所述道路样本图像输入预先建立的初始神经网络模型包括：将采用N条等间隔线段标注的道路样本图像输入预先建立的初始神经网络模型；
所述利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型包括：利用所述采用N条等间隔线段标注的道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
2.根据权利要求1所述的方法，其特征在于，所述利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型包括：
所述初始神经网络模型提取所述道路样本图像的特征；
所述初始神经网络模型将提取的特征映射为1*N的区域向量，N为正整数，所述区域向量表征所述初始神经网络模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
所述初始神经网络模型将区域向量与标注向量进行比较，所述标注向量为标注道路样本图像可行驶区域的各条线段的长度所构成的1*N向量；
根据比较结果更新所述初始神经网络模型的参数；
当所述初始神经网络模型的损失函数满足预设条件，则将所述初始神经网络模型的当前模型参数作为可行驶区域检测模型的参数，并根据所述参数得到所述可行驶区域检测模型。
3.根据权利要求2所述的方法，其特征在于，所述根据比较结果更新所述初始神经网络模型的参数包括：
根据比较结果，确定所述初始神经网络模型的损失函数；
根据所述损失函数，更新所述初始神经网络模型的参数。
4.根据权利要求2所述的方法，其特征在于，所述初始神经网络模型将提取的特征映射为1*N的区域向量包括：
对提取的特征进行双线性插值和非对称卷积，从而得到1*N的区域向量。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述初始神经网络模型为深度残差网络模型。
6.根据权利要求1-4任意一项所述的方法，其特征在于，所述初始神经网络模型的损失函数为Smooth L1损失函数。
7.一种可行驶区域检测方法，其特征在于，所述方法应用于自动驾驶领域，包括：
获取当前道路图像；
将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域；所述可行驶区域检测模型是根据权利要求1-6任意一项所述的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型；
所述将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域包括：可行驶区域检测模型提取所述当前道路图像的特征；
所述可行驶区域检测模型将提取的特征映射为1*N的区域向量，N为整数，所述区域向量表征所述可行驶区域检测模型对可行驶区域的预测值，所述区域向量的各个元素值表征道路样本图像底边各条线段的长度；
所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域。
8.一种可行驶区域检测模型的训练装置，其特征在于，所述装置包括：
样本获取单元，用于获取道路样本图像，所述道路样本图像标注有可行驶区域；
训练单元，用于将所述道路样本图像输入预先建立的初始神经网络模型，利用所述道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型；
所述道路样本图像的可行驶区域是采用道路样本图像底边出发垂直向上的N条等间隔线段进行标注的，N为正整数，其中，每条线段的结束位置为可行驶区域的边界位置；
则所述训练单元具体用于：将采用N条等间隔线段标注的道路样本图像输入预先建立的初始神经网络模型；利用所述采用N条等间隔线段标注的道路样本图像训练所述初始神经网络模型，得到可行驶区域检测模型。
9.一种可行驶区域检测装置，其特征在于，所述装置包括：
当前道路图像获取单元，用于获取当前道路图像；
可行驶区域检测单元，用于将所述当前道路图像输入到可行驶区域检测模型，并基于所述可行驶区域检测模型的输出结果，确定所述当前道路图像中的可行驶区域；所述可行驶区域检测模型是根据权利要求1-6任意一项所述的可行驶区域检测模型的训练方法训练生成的可行驶区域检测模型；
可行驶区域检测单元包括：
提取子单元，用于提取所述当前道路图像的特征；
映射子单元，用于将提取的特征映射为1*N的区域向量，N为整数，所述区域向量表征所述可行驶区域检测模型对可行驶区域的预测值，所述区域向量的各个元素值表征所述道路样本图像底边各条线段的长度；
确定子单元，用于所述可行驶区域检测模型根据所述区域向量确定所述当前道路图像中的可行驶区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810308028.XA CN108345875B (zh) | 2018-04-08 | 2018-04-08 | 可行驶区域检测模型训练方法、检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810308028.XA CN108345875B (zh) | 2018-04-08 | 2018-04-08 | 可行驶区域检测模型训练方法、检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108345875A CN108345875A (zh) | 2018-07-31 |
| CN108345875B true CN108345875B (zh) | 2020-08-18 |
Family
ID=62957750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810308028.XA Active CN108345875B (zh) | 2018-04-08 | 2018-04-08 | 可行驶区域检测模型训练方法、检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108345875B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726627B (zh) * | 2018-09-29 | 2021-03-23 | 初速度（苏州）科技有限公司 | 一种神经网络模型训练及通用接地线的检测方法 |
| CN110969664B (zh) * | 2018-09-30 | 2023-10-24 | 北京魔门塔科技有限公司 | 一种相机外部参数的动态标定方法 |
| CN111209779A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 可行驶区域检测及智能驾驶控制方法、装置和*** |
| CN111259704B (zh) * | 2018-12-03 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种虚线车道线端点检测模型的训练方法 |
| CN111259705B (zh) * | 2018-12-03 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种特殊线型车道线检测方法及*** |
| CN111256693B (zh) * | 2018-12-03 | 2022-05-13 | 北京魔门塔科技有限公司 | 一种计算位姿变化方法及车载终端 |
| CN111435537B (zh) * | 2019-01-13 | 2024-01-23 | 北京魔门塔科技有限公司 | 模型训练方法、装置及基于拼接图的位姿优化方法、装置 |
| CN111435425B (zh) * | 2019-01-14 | 2023-08-18 | 广州汽车集团股份有限公司 | 可行驶区域检测方法及***、电子设备、可读存储介质 |
| CN111434553B (zh) * | 2019-01-15 | 2021-12-24 | 魔门塔(苏州)科技有限公司 | 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 |
| CN109977845B (zh) * | 2019-03-21 | 2021-08-17 | 百度在线网络技术（北京）有限公司 | 一种可行驶区域检测方法及车载终端 |
| CN111832368A (zh) * | 2019-04-23 | 2020-10-27 | 长沙智能驾驶研究院有限公司 | 可行驶区域检测模型的训练方法、训练装置及应用 |
| CN111126204A (zh) * | 2019-12-09 | 2020-05-08 | 上海博泰悦臻电子设备制造有限公司 | 可行驶区域检测方法及相关设备 |
| CN111680730A (zh) * | 2020-06-01 | 2020-09-18 | 中国第一汽车股份有限公司 | 一种地理围栏的生成方法、装置、计算机设备和存储介质 |
| CN113108794B (zh) * | 2021-03-30 | 2022-09-16 | 北京深睿博联科技有限责任公司 | 位置识别方法、装置、设备及计算机可读存储介质 |
| CN113518425B (zh) * | 2021-09-14 | 2022-01-07 | 武汉依迅北斗时空技术股份有限公司 | 设备定位方法及*** |
| CN114674338B (zh) * | 2022-04-08 | 2024-05-07 | 石家庄铁道大学 | 基于分层输入输出和双注意力跳接的道路可行驶区域精细推荐方法 |
| CN116863429B (zh) * | 2023-07-26 | 2024-05-31 | 小米汽车科技有限公司 | 检测模型的训练方法、可行使区域的确定方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1275936A2 (en) * | 2001-07-09 | 2003-01-15 | Nissan Motor Company, Limited | Information display system for vehicle |
| US6678394B1 (en) * | 1999-11-30 | 2004-01-13 | Cognex Technology And Investment Corporation | Obstacle detection system |
| CN105488534A (zh) * | 2015-12-04 | 2016-04-13 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及*** |
| CN106372618A (zh) * | 2016-09-20 | 2017-02-01 | 哈尔滨工业大学深圳研究生院 | 一种基于svm与遗传算法的道路提取方法及*** |
| CN106446914A (zh) * | 2016-09-28 | 2017-02-22 | 天津工业大学 | 基于超像素和卷积神经网络的道路检测 |
| CN106558058A (zh) * | 2016-11-29 | 2017-04-05 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9275286B2 (en) * | 2014-05-15 | 2016-03-01 | Xerox Corporation | Short-time stopping detection from red light camera videos |
-
2018
- 2018-04-08 CN CN201810308028.XA patent/CN108345875B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6678394B1 (en) * | 1999-11-30 | 2004-01-13 | Cognex Technology And Investment Corporation | Obstacle detection system |
| EP1275936A2 (en) * | 2001-07-09 | 2003-01-15 | Nissan Motor Company, Limited | Information display system for vehicle |
| CN105488534A (zh) * | 2015-12-04 | 2016-04-13 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及*** |
| CN106372618A (zh) * | 2016-09-20 | 2017-02-01 | 哈尔滨工业大学深圳研究生院 | 一种基于svm与遗传算法的道路提取方法及*** |
| CN106446914A (zh) * | 2016-09-28 | 2017-02-22 | 天津工业大学 | 基于超像素和卷积神经网络的道路检测 |
| CN106558058A (zh) * | 2016-11-29 | 2017-04-05 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| José M. Álvarez等.Vision-based road detection using road models.《2009 16th IEEE International Conference on Image Processing (ICIP)》.2010, * |
| 基于机器视觉的非结构化道路检测与障碍物识别方法;宋怀波等;《农业工程学报》;20110630;第225-230页 * |
| 融合超像素3D与Appearance特征的可行驶区域检测;刘丹等;《计算机工程》;20170731;第43卷(第7期);第293-297页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108345875A (zh) | 2018-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108345875B (zh) | 可行驶区域检测模型训练方法、检测方法和装置 | |
| EP3971772B1 (en) | Model training method and apparatus, and terminal and storage medium | |
| EP4198820A1 (en) | Training method for semi-supervised learning model, image processing method, and device | |
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| CN111401516B (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
| US11823443B2 (en) | Segmenting objects by refining shape priors | |
| US20230076266A1 (en) | Data processing system, object detection method, and apparatus thereof | |
| US20220156483A1 (en) | Efficient three-dimensional object detection from point clouds | |
| CN111860439A (zh) | 一种无人机巡检图像缺陷检测方法、***及设备 | |
| CN111401517A (zh) | 一种感知网络结构搜索方法及其装置 | |
| CN111931764A (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
| CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| CN113065576A (zh) | 一种特征提取的方法以及装置 | |
| CN111259710B (zh) | 采用停车位框线、端点的停车位结构检测模型训练方法 | |
| CN111046973A (zh) | 多任务检测方法及装置、存储介质 | |
| CN112001378B (zh) | 基于特征空间的车道线处理方法、装置、车载终端和介质 | |
| CN111738403A (zh) | 一种神经网络的优化方法及相关设备 | |
| CN111098850A (zh) | 一种自动停车辅助***及自动泊车方法 | |
| CN111950702A (zh) | 一种神经网络结构确定方法及其装置 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN114091554A (zh) | 一种训练集处理方法和装置 | |
| CN116432736A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN115620122A (zh) | 神经网络模型的训练方法、图像重识别方法及相关设备 | |
| CN113627421A (zh) | 一种图像处理方法、模型的训练方法以及相关设备 | |
| CN113065575A (zh) | 一种图像处理方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220422 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Patentee after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: Room 301, floor 3, block C, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100083 Patentee before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |