CN111209777A - 车道线检测方法、装置、电子设备及可读存储介质 - Google Patents
车道线检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111209777A CN111209777A CN201811392943.8A CN201811392943A CN111209777A CN 111209777 A CN111209777 A CN 111209777A CN 201811392943 A CN201811392943 A CN 201811392943A CN 111209777 A CN111209777 A CN 111209777A
- Authority
- CN
- China
- Prior art keywords
- lane line
- road surface
- probability
- lane
- surface image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000013528 artificial neural network Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 73
- 238000010586 diagram Methods 0.000 description 28
- 238000000605 extraction Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明实施例提供一种车道线检测方法、装置、电子设备及可读存储介质，该方法包括：获取车辆上安装的车载设备所采集的路面图像；将所述路面图像输入神经网络，并经所述神经网络输出所述路面图像对应的M个概率图，所述M个概率图包括N个车道线概率图和M‑N个非车道线概率图，所述N个车道线概率图分别对应路面上的N条车道线，用于表示所述路面图像中的像素点属于对应的车道线的概率；所述M‑N个非车道线概率图对应所述路面上的非车道线，用于表示所述路面图像中的像素点属于非车道线的概率；根据所述车道线概率图，确定所述路面图像中的车道线。该方法实现在复杂度较高的场景下也能够得到准确的车道线检测结果。
Description
技术领域
本发明实施例涉及计算机技术，尤其涉及一种车道线检测方法、装置、电子设备及可读存储介质。
背景技术
辅助驾驶和自动驾驶是智能驾驶领域的两项重要技术，通过辅助驾驶或自动驾驶，可以将车间间隔减小，减少交通事故的发生，减少驾驶员的身心负担，因此在智能驾驶领域发挥着重要作用。
在辅助驾驶技术和自动驾驶技术中，需要进行车道线检测，即检测车辆行驶路面上的车道线。在辅助驾驶中，车道线检测可以为车辆行驶偏离进行预警，也可以在车辆与前方车辆即将发生碰撞时发出警告。在自动驾驶中，车道线检测可以为自动巡航驾驶、车道保持、车辆超车等操作提供最基本的信息，从而保障车辆的正常行驶。因此，如何进行准确高效的车道线检测，是值得研究的重要课题。
发明内容
本发明实施例提供一种车道线检测技术方案。
本发明实施例第一方面提供一种车道线检测方法，包括：
获取车辆上安装的车载设备所采集的路面图像；
将所述路面图像输入神经网络，并经所述神经网络输出所述路面图像对应的M个概率图，所述M个概率图包括N个车道线概率图和M-N个非车道线概率图，所述N个车道线概率图分别对应路面上的N条车道线，用于表示所述路面图像中的像素点属于对应的车道线的概率；所述M-N个非车道线概率图对应所述路面上的非车道线，用于表示所述路面图像中的像素点属于非车道线的概率，其中，N为正整数，M为大于N的整数；
根据所述车道线概率图，确定所述路面图像中的车道线。
进一步的，所述根据所述车道线概率图，确定所述路面图像中的车道线，包括：
响应于第L个车道线概率图中包括有概率值大于等于预设阈值的多个像素点，根据概率值大于等于预设阈值的多个像素点拟合第L条车道线，其中，所述第L个车道线概率图为所述N个车道线概率图中的任一个车道线概率图。
进一步的，所述根据所述车道线概率图，确定所述路面图像中的车道线，包括：
响应于第一像素点在多个车道线概率图中对应的多个概率值均大于等于预设阈值，将所述第一像素点作为拟合第一车道线时的像素点，其中，所述第一车道线为所述多个概率值中最大概率值所对应的车道线概率图所对应的车道线。
进一步的，所述根据所述车道线概率图，确定所述路面图像中的车道线，包括：
响应于第S个非车道线概率图中包括有概率值大于等于预设阈值的多个像素点，根据概率值大于等于预设阈值的多个像素点确定非车道线，其中，所述第S个非车道线概率图为所述M-N个非车道线概率图中的任一个非车道线概率图。
进一步的，还包括：
对所述M个概率图进行融合处理，得到一个目标概率图；
将所述目标概率图中与第一车道线概率图对应的像素点的像素值调整为与所述第一车道线概率图对应的预设像素值；
其中，所述第一车道线概率图为所述N个车道线概率图中的任一个车道线概率图，所述与第一车道线概率图对应的像素点为在所述第一车道线概率图组成拟合的车道线的像素点。
进一步的，所述经所述神经网络输出所述路面图像对应的M个概率图，包括：
通过所述神经网络的至少一个卷积层提取所述路面图像的M个通道的低层特征信息；
通过所述神经网络的至少一个残差提取层基于所述M个通道低层特征信息提取所述路面图像的M个通道的高层特征信息；
通过所述神经网络的至少一个上采样层对所述M个通道的高层特征信息进行上采样处理，得到与所述路面图像等大的M个概率图。
进一步的，所述至少一个卷积层为连接的6-10个卷积层，所述至少一个残差提取层包括连接的7-12个残差提取层，所述至少一个上采样层包括连接的1-4个上采样层。
进一步的，所述神经网络采用包括有车道线或非车道线标注信息的路面训练图像集监督训练而得。
进一步的，所述神经网络采用包括有车道线或非车道线标注信息的路面训练图像集监督训练而得，包括：
将所述路面训练图像集包括的训练用图像输入至所述神经网络，获取所述训练用图像的预测车道线概率图；
根据所述预测车道线概率图中所包括的概率值大于等于预设阈值的多个像素点，拟合所述训练用图像的预测车道线；
获取所述训练用图像的预测车道线与所述训练用图像的车道线真值图中的车道线之间的损失，其中，所述车道线真值图基于所述训练用像的车道线的标注信息获得；
根据所述损失调整所述神经网络的网络参数。
进一步的，所述使用所述路面训练图像集对所述神经网络进行训练之前，还包括：
采集多个场景下的路面图像；
将对所述多个场景下的路面图像进行车道线标注后所得到的图像作为训练用图像；
其中，所述多个场景包括白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景。
进一步的，所述将所述路面图像输入神经网络之前，还包括：
对所述路面图像进行去畸变处理。
进一步的，还包括：
将所述路面图像中的车道线映射到世界坐标系中，得到所述路面图像中的车道线在世界坐标系中的位置。
本发明实施例第二方面提供一种车道线检测装置，包括：
第一获取模块，用于获取车辆上安装的车载设备所采集的路面图像；
第二获取模块，用于将所述路面图像输入神经网络，并经所述神经网络输出所述路面图像对应的M个概率图，所述M个概率图包括N个车道线概率图和M-N个非车道线概率图，所述N个车道线概率图分别对应路面上的N条车道线，用于表示所述路面图像中的像素点属于对应的车道线的概率；所述M-N个非车道线概率图对应所述路面上的非车道线，用于表示所述路面图像中的像素点属于非车道线的概率，其中，N为正整数，M为大于N的整数；
第一确定模块，用于根据所述车道线概率图，确定所述路面图像中的车道线。
进一步的，所述第一确定模块包括：
第一确定单元，用于在第L个车道线概率图中包括有概率值大于等于预设阈值的多个像素点时，根据概率值大于等于预设阈值的多个像素点拟合第L条车道线，其中，所述第L个车道线概率图为所述N个车道线概率图中的任一个车道线概率图。
进一步的，所述第一确定模块还包括：
第二确定单元，用于在第一像素点在多个车道线概率图中对应的多个概率值均大于等于预设阈值时，将所述第一像素点作为拟合第一车道线时的像素点，其中，所述第一车道线为所述多个概率值中最大概率值所对应的车道线概率图所对应的车道线。
进一步的，所述第一确定模块还包括：
第三确定单元，用于在第S个非车道线概率图中包括有概率值大于等于预设阈值的多个像素点时，根据概率值大于等于预设阈值的多个像素点确定非车道线，其中，所述第S个非车道线概率图为所述M-N个非车道线概率图中的任一个非车道线概率图。
进一步的，还包括：
融合模块，用于对所述M个概率图进行融合处理，得到一个目标概率图；
调整模块，用于将所述目标概率图中与第一车道线概率图对应的像素点的像素值调整为与所述第一车道线概率图对应的预设像素值；
其中，所述第一车道线概率图为所述N个车道线概率图中的任一个车道线概率图，所述与第一车道线概率图对应的像素点为在所述第一车道线概率图组成拟合的车道线的像素点。
进一步的，所述第二获取模块包括：
第一获取单元，用于通过所述神经网络的至少一个卷积层提取所述路面图像的M个通道的低层特征信息；
第二获取单元，用于通过所述神经网络的至少一个残差提取层基于所述M个通道低层特征信息提取所述路面图像的M个通道的高层特征信息；
第三获取单元，用于通过所述神经网络的至少一个上采样层对所述M个通道的高层特征信息进行上采样处理，得到与所述路面图像等大的M个概率图。
进一步的，所述至少一个卷积层为连接的6-10个卷积层，所述至少一个残差提取层包括连接的7-12个残差提取层，所述至少一个上采样层包括连接的1-4个上采样层。
进一步的，所述神经网络采用包括有车道线或非车道线标注信息的路面训练图像集监督训练而得。
进一步的，所述神经网络采用包括有车道线或非车道线标注信息的路面训练图像集监督训练而得，包括：
将所述路面训练图像集包括的训练用图像输入至所述神经网络，获取所述训练用图像的预测车道线概率图；
根据所述预测车道线概率图中所包括的概率值大于等于预设阈值的多个像素点，拟合所述训练用图像的预测车道线；
获取所述训练用图像的预测车道线与所述训练用图像的车道线真值图中的车道线之间的损失，其中，所述车道线真值图基于所述训练用像的车道线的标注信息获得；
根据所述损失调整所述神经网络的网络参数。
进一步的，还包括：
采集模块，用于采集多个场景下的路面图像，以及，将对所述多个场景下的路面图像进行车道线标注后所得到的图像作为训练用图像；
其中，所述多个场景包括雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景。
进一步的，还包括：
预处理模块，用于对所述路面图像进行去畸变处理。
进一步的，还包括：
映射模块，用于将所述路面图像中的车道线映射到世界坐标系中，得到所述路面图像中的车道线在世界坐标系中的位置。
本发明实施例第三方面提供一种驾驶控制方法，包括：
驾驶控制装置获取路面图像的车道线检测结果，所述路面图像的车道线检测结果采用如上述第一方面所述的车道线检测方法得到；
所述驾驶控制装置根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
本发明实施例第四方面提供一种驾驶控制装置，包括：
获取模块，用于获取路面图像的车道线检测结果，所述路面图像的车道线检测结果采用如上述第一方面所述的车道线检测方法得到；
驾驶控制模块，用于根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
本发明实施例第五方面提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。
本发明实施例第六方面提供一种智能驾驶***，其特征在于，包括：通信连接的相机、如上述第五方面所述的电子设备和如上述第四方面所述的驾驶控制装置，所述相机用于获取路面图像。
本发明实施例第七方面提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法步骤。
本发明实施例所提供的车道线检测方法、装置、电子设备及可读存储介质，使用包括有车道线或非车道线标注信息的路面训练图像训练得到的神经网络得到路面图像中各像素点属于对应车道线的概率图，并根据车道线的概率图确定路面图像中的车道线，从而实现在复杂度较高的场景下也能够得到准确的车道线检测结果。另外，本实施例中的M个概率图中包括了非车道线概率图，即在车道线类别之外增加了非车道线类别。因此可以提高路面图像分割的准确性，进而提高车道线检测结果的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车道线检测方法的场景示意图；
图2为本发明实施例提供的车道线检测方法实施例一的流程示意图；
图3为本发明实施例提供的车道线检测方法实施例二的流程示意图；
图4为本发明实施例提供的车道线检测方法实施例三的流程示意图；
图5为该示例对应的卷积神经网络的结构示意图；
图6为本发明实施例提供的车道线检测方法实施例四的流程示意图；
图7为本发明实施例提供的车道线检测方法实施例五的流程示意图；
图8为本发明实施例提供的车道线检测装置实施例一的模块结构图；
图9为本发明实施例提供的车道线检测装置实施例二的模块结构图；
图10为本发明实施例提供的车道线检测装置实施例三的模块结构图；
图11为本发明实施例提供的车道线检测装置实施例四的模块结构图；
图12为本发明实施例提供的车道线检测装置实施例五的模块结构图；
图13为本发明实施例提供的车道线检测装置实施例六的模块结构图；
图14为本发明实施例提供的车道线检测装置实施例七的模块结构图；
图15为本发明实施例提供的车道线检测装置实施例八的模块结构图；
图16为本发明实施例提供的车道线检测装置实施例九的模块结构图；
图17为本发明实施例提供的一种电子设备的实体框图；
图18为本发明实施例提供的驾驶控制方法的流程示意图；
图19为本发明实施例提供的驾驶控制装置的结构示意图；
图20为本发明实施例提供的智能驾驶***的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提出一种车道线检测方法，使用经过大量标注数据训练得到的神经网络得到路面图像中各像素点属于车道线的概率图，并根据车道线的概率图确定路面图像中的车道线，通过该端到端的方法不仅可以在一些简单的场景下，例如天气条件和光照条件都较好的场景下，得到准确的车道线检测结果，在复杂度较高的场景下，例如在雨天、夜晚、隧道等场景下，也能够得到准确的车道线检测结果。
图1为本发明实施例提供的车道线检测方法的场景示意图。如图1所示，该方法可以适用于安装有车载设备的车辆。其中，该车载设备可以是安装在车辆上的摄像头或者行车记录仪等具有拍摄功能的设备。当车辆位于路面上时，通过车辆上的车载设备采集路面图像，并基于本发明实施例的方法检测车辆所在路面上的车道线，进而使得车辆所得到的检测结果可以应用于辅助驾驶或者自动驾驶中。
图2为本发明实施例提供的车道线检测方法实施例一的流程示意图，如图2所示，该方法包括：
S201、获取车辆上安装的车载设备所采集的路面图像。
可选的，安装在车辆上的车载设备可以实时采集车辆行驶路面上的路面图像，进而，可以持续将车载设备所采集到的路面图像输入到神经网络中，得到不断更新的车道线检测结果。
S202、将上述路面图像输入神经网络，并经上述神经网络输出上述路面图像对应的M个概率图，该M个概率图包括N个车道线概率图和M-N个非车道线概率图，该N个车道线概率图分别对应路面上的N条车道线，用于表示上述路面图像中的像素点属于对应的车道线的概率，上述M-N个非车道线概率图对应路面上的非车道线，用于表示上述路面图像中的像素点属于非车道线的概率。
其中，N为正整数，M为大于N的整数。
可选的，上述神经网络可以但不限为卷积神经网络。
可选的，上述神经网络预先采用包括由车道线或非车道线标注信息的路面训练图像集监督训练而得。该路面训练图像集中包括大量的训练用图像。每个训练用图像经由采集实际路面图像以及进行标注的过程获得。具体的，首先采集白天、夜晚、雨天、隧道等多种场景下的实际路面图像，进而，对于每幅实际路面图像，进行像素级的标注，即标注实际路面图像中每个像素点的类别为车道线或非车道线，从而得到训练用图像。由于神经网络是经丰富场景采集的训练图像监督训练而得，因此，训练完成后的神经网络不仅可以在一些简单的场景下，例如天气条件和光照条件都较好的白天场景下，得到准确的车道线检测结果，在复杂度较高的场景下，例如在雨天、夜晚、隧道等场景下，也能够得到准确的车道线检测结果。
上述神经网络的训练过程将在下述实施例中进行详细说明。
可选的，上述N为正整数，M为大于N的整数。
可选的，上述非车道线可以是指车辆行驶路面上除车道线之外的部分，也可以称为路面背景。示例性的，除车道线之外的路面、路面上的汽车、路面一侧的植物等，都属于路面背景的范畴。
作为一种示例，上述M可以等于5，上述N可以等于4。即可以认为车辆行驶路面上有4个车道线，则上述神经网络可以输出5个概率图，其中，该5个概率图中有4个车道线概率图，分别对应路面上的4个车道线，即该4个车道线概率图与路面上的4个车道线一一对应。除此之外，该5个概率图中有1个非车道线概率图，对应路面上的非车道线。
作为另一种示例，上述M可以等于3，上述N可以等于2。即车辆行驶路面上有2个车道线。相应的，上述神经网络可以输出3个概率图，该3个概率图中有2个车道线概率图，分别对应路面上的2个车道线，即该2个车道线概率图与路面上的2个车道线一一对应。另外，该3个概率图中有1个非车道线概率图，对应路面上的非车道线。
假设路面上的4个车道线按照从车辆的左侧到右侧的顺序分别为车道线1、车道线2、车道线3和车道线4，上述5个概率图中的4个车道线概率图分别为概率图1、概率图2、概率图3和概率图4。车道线概率图与车道线的对应关系可以为下述表1所示。
表1
| 车道线概率图 | 概率图1 | 概率图2 | 概率图3 | 概率图4 |
| 车道线 | 车道线1 | 车道线2 | 车道线3 | 车道线4 |
即上述神经网络输出的概率图1对应于车道线1、概率图2对应于车道线2，以此类推。
需要说明的是，上述表1仅为车道线概率图与车道线的对应关系的一种示例，在具体实施过程中，车道线概率图与车道线的对应关系可以根据需要灵活设置，本发明实施例对此不做具体限制。
进而，示例性的，基于上述表1所示的对应关系，概率图1可以标识路面图像中的每个像素点属于车道线1的概率。假设路面图像使用200*200大小的矩阵表示，将该矩阵输入上述神经网络之后，可以输出一个200*200大小的矩阵，其中，矩阵中的每个元素的值即为对应像素点属于车道线1的概率。例如，神经网络输出的200*200大小的矩阵中，第1行第1列的值为0.4，则说明路面图像中第1行第1列的像素点属于车道线1的概率为0.4。进而，神经网络所输出的矩阵可以以车道线概率图的形式表示。
S203、根据上述车道线概率图，确定上述路面图像中的车道线。
经过上述步骤之后，可以确定出路面图像中每个像素点属于每个车道线的概率，基于这些概率，即可确定出路面图像中的车道线。
可选的，神经网络所输出的N个车道线概率图分别对应于路面上的N条车道线，针对每个车道线概率图，可以按照预的条件选择其中的一部分像素点，通过对这些像素点拟合出车道线概率图所对应的车道线，从而得到N条车道线。
本实施例中，使用包括有车道线或非车道线标注信息的路面训练图像训练得到的神经网络得到路面图像中各像素点属于对应车道线的概率图，并根据车道线的概率图确定路面图像中的车道线，从而实现在复杂度较高的场景下也能够得到准确的车道线检测结果。另外，本实施例中的M个概率图中包括了非车道线概率图，即在车道线类别之外增加了非车道线类别。因此可以提高路面图像分割的准确性，进而提高车道线检测结果的准确性。
在上述实施例的基础上，本实施例涉及根据车道线概率图确定路面图像中的车道线方法。
可选的，如前所述，上述M个概率图中的N个概率图对应于路面上的N条车道线，则可选的，上述N个车道线概率图中的第L个车道线概率图对应第L条车道线，L为大于等于1小于等于M的任意一个整数，即第L个车道线概率图为N个车道线概率图中的任意一个车道线概率图。
对于上述第L个车道线概率图，可以基于该概率图中概率值大于等于预设阈值的多个像素点来拟合第L条车道线。
可选的，响应于第L个车道线概率图中包括有概率值大于等于预设阈值的多个像素点，概率值大于等于预设阈值的多个像素点拟合第L条车道线。
首先，将路面图像输入神经网络之后，在神经网络输出的第L个车道线概率图中，每个像素点均具有一个概率值，如果概率值大于等于预设阈值，则说明该像素点属于第L个车道线的概率较大。
进而，从第L个车道线概率图中选择出概率值大于等于预设阈值的多个像素点之后，可以对这些选择出的像素点进行求最大连通域的计算，进而，基于最大连通域进行车道线拟合，从而可以得到路面图像中的车道线。
示例性的，上述预设阈值例如可以是0.5。
在一个示例中，假设第L个车道线概率图包括三个像素点的概率值，其中，像素点A的概率值为0.5，像素点B的概率值为0.6，像素点C的概率值为0.2，即像素点A和像素点B的概率值大于预设阈值，则可以通过像素点A和像素点B拟合出第L条车道线。
在另一种情况下，如果第L个车道线概率图不满足包括有概率值大于等于预设阈值的多个像素点的条件，则说明当前路面图像中不存在第L个车道线概率图所对应的第L个车道线。
在具体实施过程中，可能存在同一个像素点在多个概率图中的概率值均大于等于预设阈值的情况，在这种情况下，可以按照如下方式处理。
可选的，响应于第一像素点在多个车道线概率图中对应的多个概率值均大于等于预设阈值，将上述第一像素点作为拟合第一车道线时的像素点，其中，上述第一车道线为上述多个概率值中最大概率值所对应的车道线概率图所对应的车道线。
示例性的，假设上述预设阈值为0.5，神经网络共输出4个车道线概率图，上述第一像素点在第1个车道线概率图中的概率值为0.5，在第2个车道线概率图中的概率值为0.6，在第3个车道线概率图中的概率为0.7，在第4个车道线概率图中的概率为0.2，即第一像素点在第1、2、3个车道线概率图中的概率均大于等于预设阈值，此时，可以认为第一像素点属于第3个车道线概率图对应的车道线，即使用第一像素点拟合第3个车道线概率图所对应的车道线。
通过上述处理，可以达到有效去除噪声的目的，避免出现一个像素点属于多个车道线的情况。
另一实施例中，如前所述，上述M个概率图中的M-N个概率图对应于路面上的非车道线，则可选的，上述M-N个车道线概率图中的第S个车道线概率图对应非车道线，S为大于等于1小于等于M-N的任意一个整数，即第S个非车道线概率图为上述M-N个非车道线概率图中的任一个非车道线概率图。
对于上述第S个车道线概率图，可以基于该概率图中概率值大于等于预设阈值的多个像素点来确定非车道线。
可选的，响应于第S个非车道线概率图中包括有概率值大于等于预设阈值的多个像素点，根据概率值大于等于预设阈值的多个像素点确定非车道线。
首先，将路面图像输入神经网络之后，在神经网络输出的第S个非车道线概率图中，每个像素点均具有一个概率值，如果概率值大于等于预设阈值，则说明该像素点属于非车道线的概率较大。
进而，从第S个车道线概率图中选择出概率值大于等于预设阈值的多个像素点之后，可以对这些选择出的像素点进行例如求最大连通域的计算，从而得到路面图像中的非车道线区域。
示例性的，上述预设阈值例如可以是0.5。
在一个示例中，假设第S个非车道线概率图包括三个像素点的概率值，其中，像素点A的概率值为0.5，像素点B的概率值为0.6，像素点C的概率值为0.2，即像素点A和像素点B的概率值大于预设阈值，则可以通过像素点A和像素点B确定路面图像中的非车道线。
进一步的，当经过上述实施例确定出路面图像中的车道线之后，可选的，还可以根据上述路面图像中的像素点所属的车道线，将上述路面图像中的像素点的颜色调整为上述所属的车道线对应的颜色，提高可视效果。
图3为本发明实施例提供的车道线检测方法实施例二的流程示意图，如图3所示，上述方法还包括：
S301、对上述M个概率图进行融合处理，得到一个目标概率图。
上述M个概率图分别对应一个车道线或者非车道线，使用该M个概率图分别拟合出每个车道线以及确定出车道线之后，可以将该M个概率图融合成一个目标概率图。该目标概率图中包含了每条车道线的信息以及非车道线的信息。
S302、将上述目标概率图中与第一车道线概率图对应的像素点的像素值调整为与上述第一车道线概率图对应的预设像素值。
其中，上述第一车道线概率图为上述N个车道线概率图中的任一个车道线概率图，上述与第一车道线概率图对应的像素点为在上述第一车道线概率图中组成拟合的车道线的像素点。
可选的，在由上述实施例拟合出第一车道线概率图对应的车道线后，即确定出组成第一车道线概率图对应的车道线的像素点，在本步骤中，在所融合出的概率图中将组成第一车道线概率图对应的车道线的每个像素点的像素值均设置为与该车道线对应的颜色。
示例性的，可以预先设置每个车道线对应的颜色，例如，路面上有4个车道线，则可以分别设置该4个车道线的颜色分别为红、黄、蓝、紫，当经过上述过程得到目标概率图之后，将组成每条车道线的每个像素点的像素值分别设置为对应的颜色，设置之后，即可得到通过红、黄、蓝、紫四种颜色所显示的4个车道线。
本实施例中，通过第一车道线概率图对应的像素点的像素值调整为与第一车道线概率图对应的预设像素值，可以使得位于车辆内的用户可以更加直观清楚的查看路面上的车道线，提升用户体验。
在上述实施例的基础上，本实施例涉及通过车道线概率图的过程。
图4为本发明实施例提供的车道线检测方法实施例三的流程示意图，如图4所示，上述步骤S202包括：
S401、通过上述神经网络的至少一个卷积层提取上述路面图像的M个通道的低层特征信息。
可选的，通过卷积层可以缩小路面图像的分辨率，并保留路面图像的低层特征。
示例性的，路面图像的低层特征信息可以包括图像中的边缘信息、直线信息以及曲线信息等。
可选的，上述路面图像的M个通道分别对应一种车道线类别，其中，假设路面上有4个车道线，则车道线类别有5种，分别为车道线1、车道线2、车道线3、车道线4和非车道线。
S402、通过上述神经网络的至少一个残差提取层基于上述M个通道低层特征信息提取上述路面图像的M个通道的高层特征信息。
可选的，通过残差提取层所提取的路面图像的M个通道的高层特征信息包括语义特征、轮廓、整体结构等。
S403、通过上述神经网络的至少一个上采样层对上述M个通道的高层特征信息进行上采样处理，得到与上述路面图像等大的M个概率图。
可选的，通过上采样层的上采样处理，可以将图像恢复成输入神经网络的图像的原始大小。
本步骤中，对M个通道的高层特征信息进行上采样处理后，可以得到与输入神经网络的路面图像等大的M个概率图。
进一步的，可选的，神经网络中在上述上采样层之后还可以包括归一化层，通过归一化层对上采样处理后的结果进行归一化，并输出上述车道线概率图。
示例性的，经过上采样处理之后得到路面图像的特征图，对该特征图中的各像素点的取值进行归一化处理，使得特征图中的各像素点的取值在0至1范围内，从而得到可行驶区域概率图。
示例性的，一种归一化方法为：首先确定特征图中像素点取值的最大值，然后将各像素点的取值除以该最大值，从而使得特征图中各像素点的取值在0至1范围内。
需要说明的是，本发明实施例对上述步骤S401和S402的执行顺序不做限制，即可以先执行S401再执行S402，或者先执行S402再执行S401。
在上述实施例的基础上，本实施例涉及本实施例涉及上述神经网络的建立训练过程。
可选的，基于前述的实施例可知，本发明实施例所涉及的神经网络可以为卷积神经网络，卷积神经网络可以包括卷积层、残差提取层、上采样层以及归一化层。其中，卷积层和残差提取层的先后顺序可以根据需要进行灵活设置，另外，各层的数量也可以根据需要进行灵活设置。
一种可选的方式中，上述卷积神经网络中可以包括连接的6-10个卷积层、连接的7-12个残差提取层以及1-4个上采样层。
将具有该特定结构的卷积神经网络用于车道线检测时，能够满足多场景或复杂场景车道线检测的要求，从而使得检测结果鲁棒性更好。
一种示例中，上述卷积神经网络中可以包括连接的8个卷积层、连接的9个残差提取层以及连接的2个上采样层。
图5为该示例对应的卷积神经网络的结构示意图，如图5所示，路面图像输入之后，首先经过该卷积神经网络的连续8个卷积层，在该连续的8个卷积层之后，包括连续9个残差提取层，在该连续的9个残差提取层之后，包括连续的2个上采样层，在该连续的2个上采样层之后，为归一化层，即最终由归一化层输出车道线概率图。
示例性的，每个上述残差提取层中可以包括256个滤波器，每一层包括128个3*3和128个1*1大小的滤波器。
可选的，在使用神经网络确定路面图像对应的车道线概率图之前，可以使用上述的路面训练图像集对上述神经网络进行训练。
图6为本发明实施例提供的车道线检测方法实施例四的流程示意图，如图6所示，上述神经网络的训练过程可以为：
S601、将上述路面训练图像集包括的训练用图像输入至上述神经网络，获取训练用图像的预测车道线概率图。
其中，上述预测车道线概率图即为神经网络当前所输出的车道线概率图。
S602、根据上述预测车道线概率图中所包括的概率值大于等于预设阈值的多个像素点，拟合上述训练用图像的预测车道线。
具体过程可以参照上述根据车道线概率图确定路面图像中的车道线的部分，此处不再赘述。
S603、获取上述训练用图像的预测车道线与上述训练用图像的车道线真值图中的车道线之间的损失。
其中，上述车道线真值图基于上述训练用像的车道线的标注信息获得。
可选的，可以通过采用损失函数，计算预测车道线与车道线真值图中的车道线之间的损失。
S604、根据上述损失调整上述神经网络的网络参数。
可选的，神经网络的网络参数可以包括卷积核大小、权重信息等。
本步骤中，可以通过梯度反向传播的方式，将上述损失在神经网络中进行反向回传，并调整神经网络的网络参数。
经过本步骤之后，即完成一次训练过程，得到新的神经网络。
进一步的，基于该新的神经网络继续上述步骤S601-S604，直至上述预测车道线和上述车道线真值图中的车道线的损失在预设损失范围内，此时即得到训练完成的神经网络。
示例性的，可每次采用一幅训练用图像对神经网络进行训练，或者，还可一次采用多幅训练用图像对神经网络进行训练。
在上述实施例的基础上，本实施例涉及生成上述训练用图像的过程。
图7为本发明实施例提供的车道线检测方法实施例五的流程示意图，如图7所示，在训练上述神经网络之前，还包括：
S701、采集多个场景下的路面图像。
S702、将对上述多个场景下的路面图像进行车道线标注后所得到的图像作为上述训练用图像。
其中，上述多个场景包括白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景。
可选的，可以预先使用车辆上的摄像头等车载设备分别在上述的各个场景下进行路面图像采集，进而，可以通过人工标注等方式对所采集的路面图像上的车道线进行标注，从而得到各个场景下的训练用图像。
通过上述过程所得到的训练用图像覆盖了实际中的各种场景，因此，使用这些训练用图像所训练出的神经网络对于各种场景下的车道线检测都具有良好的鲁棒性，并且检测时间短，检测结果准确性高。
作为一种可选的实施方式，在上述步骤S202将路面图像输入神经网络之前，可以首先对上述路面图像进行去畸变处理，以进一步提升神经网络输出结果的准确性。
在上述各实施例的基础上，进一步的，在确定出路面图像中的车道线之后，还可以将上述路面图像中的车道线映射到世界坐标系中，得到上述路面图像中的车道线在世界坐标系中的位置。
可选的，可以分别对路面图像中的每个属于车道线的像素点进行坐标映射，从而得到世界坐标系下的车道线信息，并基于所得到的世界坐标系下的车道线信息进行辅助驾驶或自动驾驶。
图8为本发明实施例提供的车道线检测装置实施例一的模块结构图，如图8所示，该装置包括：
第一获取模块801，用于获取车辆上安装的车载设备所采集的路面图像。
第二获取模块802，用于将所述路面图像输入神经网络，并经所述神经网络输出所述路面图像对应的M个概率图，所述M个概率图包括N个车道线概率图和M-N个非车道线概率图，所述N个车道线概率图分别对应路面上的N条车道线，用于表示所述路面图像中的像素点属于对应的车道线的概率；所述M-N个非车道线概率图对应所述路面上的非车道线，用于表示所述路面图像中的像素点属于非车道线的概率，其中，N为正整数，M为大于N的整数。
第一确定模块803，用于根据所述车道线概率图，确定所述路面图像中的车道线。
该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
图9为本发明实施例提供的车道线检测装置实施例二的模块结构图，如图9所示，第一确定模块803包括：
第一确定单元8031，用于在第L个车道线概率图中包括有概率值大于等于预设阈值的多个像素点时，根据概率值大于等于预设阈值的多个像素点拟合第L条车道线，其中，所述第L个车道线概率图为所述N个车道线概率图中的任一个车道线概率图。
图10为本发明实施例提供的车道线检测装置实施例三的模块结构图，如图10所示，第一确定模块803还包括：
第一确定单元8032，用于在第一像素点在多个车道线概率图中对应的多个概率值均大于等于预设阈值时，将所述第一像素点作为拟合第一车道线时的像素点，其中，所述第一车道线为所述多个概率值中最大概率值所对应的车道线概率图所对应的车道线。
图11为本发明实施例提供的车道线检测装置实施例四的模块结构图，如图11示，第一确定模块803还包括：
第三确定单元8033，用于在第S个非车道线概率图中包括有概率值大于等于预设阈值的多个像素点时，根据概率值大于等于预设阈值的多个像素点确定非车道线，其中，所述第S个非车道线概率图为所述M-N个非车道线概率图中的任一个非车道线概率图。
图12为本发明实施例提供的车道线检测装置实施例五的模块结构图，如图12所示，还包括：
融合模块804，用于对所述M个概率图进行融合处理，得到一个目标概率图。
调整模块805，用于将所述目标概率图中与第一车道线概率图对应的像素点的像素值调整为与所述第一车道线概率图对应的预设像素值。
其中，所述第一车道线概率图为所述N个车道线概率图中的任一个车道线概率图，所述与第一车道线概率图对应的像素点为在所述第一车道线概率图组成拟合的车道线的像素点。
图13为本发明实施例提供的车道线检测装置实施例六的模块结构图，如图13所示，第二获取模块802包括：
第一获取单元8021，用于通过所述神经网络的至少一个卷积层提取所述路面图像的M个通道的低层特征信息。
第二获取单元8022，用于通过所述神经网络的至少一个残差提取层基于所述M个通道低层特征信息提取所述路面图像的M个通道的高层特征信息。
第三获取单元8023，用于通过所述神经网络的至少一个上采样层对所述M个通道的高层特征信息进行上采样处理，得到与所述路面图像等大的M个概率图。
另一实施例中，所述至少一个卷积层为连接的6-10个卷积层，所述至少一个残差提取层包括连接的7-12个残差提取层，所述至少一个上采样层包括连接的1-4个上采样层。
另一实施例中，所述神经网络采用包括有车道线或非车道线标注信息的路面训练图像集监督训练而得。
另一实施例中，所述神经网络采用包括有车道线或非车道线标注信息的路面训练图像集监督训练而得，包括：
将所述路面训练图像集包括的训练用图像输入至所述神经网络，获取所述训练用图像的预测车道线概率图；
根据所述预测车道线概率图中所包括的概率值大于等于预设阈值的多个像素点，拟合所述训练用图像的预测车道线；
获取所述训练用图像的预测车道线与所述训练用图像的车道线真值图中的车道线之间的损失，其中，所述车道线真值图基于所述训练用像的车道线的标注信息获得；
根据所述损失调整所述神经网络的网络参数。
图14为本发明实施例提供的车道线检测装置实施例七的模块结构图，如图14所示，还包括：
采集模块806，用于采集多个场景下的路面图像，以及，将对所述多个场景下的路面图像进行车道线标注后所得到的图像作为训练用图像。
其中，所述多个场景包括雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景。
图15为本发明实施例提供的车道线检测装置实施例八的模块结构图，如图15所示，还包括：
预处理模块807，用于对所述路面图像进行去畸变处理。
图16为本发明实施例提供的车道线检测装置实施例九的模块结构图，如图16所示，还包括：
映射模块808，用于将所述路面图像中的车道线映射到世界坐标系中，得到所述路面图像中的车道线在世界坐标系中的位置。
图17为本发明实施例提供的一种电子设备的实体框图，如图17所示，该电子设备1700包括：
存储器1701，用于存储程序指令。
处理器1702，用于调用并执行存储器1701中的程序指令，执行上述第一方面所述的方法步骤。
图18为本发明实施例提供的驾驶控制方法的流程示意图，在上述实施例的基础上，本发明实施例还提供一种驾驶控制方法，包括：
S1801、驾驶控制装置获取路面图像的车道线检测结果。
S1802、驾驶控制装置根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
本实施例的执行主体是驾驶控制装置，本实施例的驾驶控制装置和上述实施例所述的电子设备可以位于同一设备中，也可以单独设备在不同的设备中。其中本实施例的驾驶控制装置与上述的电子设备之间通信连接。
其中，路面图像的车道线检测结果为上述实施例的车道线检测方法得到，具体过程参照上述实施例的描述，在此不再赘述。
具体的，电子设备执行上述的车道线检测方法，获得路面图像的车道线检测结果，并将路面图像的车道线检测结果输出。驾驶控制装置获取路面图像的车道线检测结果，并根据路面图像的车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
其中，提示信息可以包括车道线偏离预警提示，或者，进行车道线保持提示等。
本实施例的智能驾驶包括辅助驾驶和/或自动驾驶。
上述智能驾驶控制可以包括：制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态、驾驶模式切换等，其中，驾驶模式切换可以是辅助驾驶与自动驾驶之间的切换，例如，将辅助驾驶切换为自动驾驶。
本实施例提供的驾驶控制方法，驾驶控制装置通过获取路面图像的车道线检测结果，并根据路面图像的车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制，进而提高了智能驾驶的安全性和可靠性。
图19为本发明实施例提供的驾驶控制装置的结构示意图，在上述实施例的基础上，本发明实施例的驾驶控制装置1900，包括：
获取模块1901，用于获取路面图像的车道线检测结果，所述路面图像的车道线检测结果采用如上述的车道线检测方法得到；
驾驶控制模块1902，用于根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
本发明实施例的驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图20为本发明实施例提供的智能驾驶***的示意图，如图20所示，本实施例的智能驾驶***2000包括：通信连接的相机2001、电子设备1700和驾驶控制装置1900，其中电子设备1700如图17所示，驾驶控制装置1900如图19所示，相机2001用于拍摄路面图像。
具体的，如图20所示，在实际使用时，相机2001拍摄路面图像，并将路面图像发送给电子设备1700，电子设备1700接收到路面图像后，根据上述车道线检测方法对路面图像进行处理，获得路面图像的车道线检测结果。接着，电子设备1700将获得的路面图像的车道线检测结果发送给驾驶控制装置1900，驾驶控制装置1900根据路面图像的车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种车道线检测方法，其特征在于，包括：
获取车辆上安装的车载设备所采集的路面图像；
将所述路面图像输入神经网络，并经所述神经网络输出所述路面图像对应的M个概率图，所述M个概率图包括N个车道线概率图和M-N个非车道线概率图，所述N个车道线概率图分别对应路面上的N条车道线，用于表示所述路面图像中的像素点属于对应的车道线的概率；所述M-N个非车道线概率图对应所述路面上的非车道线，用于表示所述路面图像中的像素点属于非车道线的概率，其中，N为正整数，M为大于N的整数；
根据所述车道线概率图，确定所述路面图像中的车道线。
2.根据权利要求1所述的方法，其特征在于，所述根据所述车道线概率图，确定所述路面图像中的车道线，包括：
响应于第L个车道线概率图中包括有概率值大于等于预设阈值的多个像素点，根据概率值大于等于预设阈值的多个像素点拟合第L条车道线，其中，所述第L个车道线概率图为所述N个车道线概率图中的任一个车道线概率图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述车道线概率图，确定所述路面图像中的车道线，包括：
响应于第一像素点在多个车道线概率图中对应的多个概率值均大于等于预设阈值，将所述第一像素点作为拟合第一车道线时的像素点，其中，所述第一车道线为所述多个概率值中最大概率值所对应的车道线概率图所对应的车道线。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述车道线概率图，确定所述路面图像中的车道线，包括：
响应于第S个非车道线概率图中包括有概率值大于等于预设阈值的多个像素点，根据概率值大于等于预设阈值的多个像素点确定非车道线，其中，所述第S个非车道线概率图为所述M-N个非车道线概率图中的任一个非车道线概率图。
5.一种车道线检测装置，其特征在于，包括：
第一获取模块，用于获取车辆上安装的车载设备所采集的路面图像；
第二获取模块，用于将所述路面图像输入神经网络，并经所述神经网络输出所述路面图像对应的M个概率图，所述M个概率图包括N个车道线概率图和M-N个非车道线概率图，所述N个车道线概率图分别对应路面上的N条车道线，用于表示所述路面图像中的像素点属于对应的车道线的概率；所述M-N个非车道线概率图对应所述路面上的非车道线，用于表示所述路面图像中的像素点属于非车道线的概率，其中，N为正整数，M为大于N的整数；
第一确定模块，用于根据所述车道线概率图，确定所述路面图像中的车道线。
6.一种驾驶控制方法，其特征在于，包括：
驾驶控制装置获取路面图像的车道线检测结果，所述路面图像的车道线检测结果采用如权利要求1-4任一项所述的车道线检测方法得到；
所述驾驶控制装置根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
7.一种驾驶控制装置，其特征在于，包括：
获取模块，用于获取路面图像的车道线检测结果，所述路面图像的车道线检测结果采用如权利要求1-4任一项所述的车道线检测方法得到；
驾驶控制模块，用于根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。
8.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-4任一项所述的方法步骤。
9.一种智能驾驶***，其特征在于，包括：通信连接的相机、如权利要求8所述的电子设备和如权利要求7所述的驾驶控制装置，所述相机用于获取路面图像。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1-4任一项所述的方法步骤。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811392943.8A CN111209777A (zh) | 2018-11-21 | 2018-11-21 | 车道线检测方法、装置、电子设备及可读存储介质 |
| PCT/CN2019/119886 WO2020103892A1 (zh) | 2018-11-21 | 2019-11-21 | 车道线检测方法、装置、电子设备及可读存储介质 |
| KR1020217015000A KR20210080459A (ko) | 2018-11-21 | 2019-11-21 | 차선 검출방법, 장치, 전자장치 및 가독 저장 매체 |
| JP2021525040A JP2022506920A (ja) | 2018-11-21 | 2019-11-21 | 区画線検出方法、装置、電子機器及び可読記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811392943.8A CN111209777A (zh) | 2018-11-21 | 2018-11-21 | 车道线检测方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111209777A true CN111209777A (zh) | 2020-05-29 |
Family
ID=70773344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811392943.8A Pending CN111209777A (zh) | 2018-11-21 | 2018-11-21 | 车道线检测方法、装置、电子设备及可读存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2022506920A (zh) |
| KR (1) | KR20210080459A (zh) |
| CN (1) | CN111209777A (zh) |
| WO (1) | WO2020103892A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539403A (zh) * | 2020-07-13 | 2020-08-14 | 航天宏图信息技术股份有限公司 | 农业大棚的识别方法、装置及电子设备 |
| CN111860255A (zh) * | 2020-07-10 | 2020-10-30 | 东莞正扬电子机械有限公司 | 驾驶检测模型的训练、使用方法、装置、设备及介质 |
| CN112446344A (zh) * | 2020-12-08 | 2021-03-05 | 北京深睿博联科技有限责任公司 | 路况提示的方法及装置、电子设备及计算机可读存储介质 |
| CN112560684A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 车道线检测方法、装置、电子设备、存储介质以及车辆 |
| CN112633151A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
| CN113739811A (zh) * | 2021-09-03 | 2021-12-03 | 阿波罗智能技术(北京)有限公司 | 关键点检测模型的训练和高精地图车道线的生成方法设备 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178215B (zh) * | 2019-12-23 | 2024-03-08 | 深圳成谷科技有限公司 | 一种传感器数据融合处理的方法和装置 |
| CN112373474B (zh) * | 2020-11-23 | 2022-05-17 | 重庆长安汽车股份有限公司 | 车道线融合及横向控制方法、***、车辆及存储介质 |
| CN112464742B (zh) * | 2021-01-29 | 2024-05-24 | 福建农林大学 | 赤潮图像自动识别的方法及装置 |
| KR102487408B1 (ko) * | 2021-09-07 | 2023-01-12 | 포티투닷 주식회사 | 로컬맵에 기초한 차량의 라우팅 경로 결정 장치, 방법 및 이를 기록한 기록매체 |
| CN114004809A (zh) * | 2021-10-29 | 2022-02-01 | 北京百度网讯科技有限公司 | 皮肤图像处理方法、装置、电子设备和介质 |
| CN115131759A (zh) * | 2022-07-01 | 2022-09-30 | 上海商汤临港智能科技有限公司 | 交通标线的识别方法、装置、计算机设备和存储介质 |
| CN116863429B (zh) * | 2023-07-26 | 2024-05-31 | 小米汽车科技有限公司 | 检测模型的训练方法、可行使区域的确定方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654064A (zh) * | 2016-01-25 | 2016-06-08 | 北京中科慧眼科技有限公司 | 车道线检测方法和装置及高级驾驶辅助*** |
| CN108216229A (zh) * | 2017-09-08 | 2018-06-29 | 北京市商汤科技开发有限公司 | 交通工具、道路线检测和驾驶控制方法及装置 |
| CN108280450A (zh) * | 2017-12-29 | 2018-07-13 | 安徽农业大学 | 一种基于车道线的高速公路路面检测方法 |
| CN108846328A (zh) * | 2018-05-29 | 2018-11-20 | 上海交通大学 | 基于几何正则化约束的车道检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| CN108052904B (zh) * | 2017-12-13 | 2021-11-30 | 辽宁工业大学 | 车道线的获取方法及装置 |
| CN108875603B (zh) * | 2018-05-31 | 2021-06-04 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
-
2018
- 2018-11-21 CN CN201811392943.8A patent/CN111209777A/zh active Pending
-
2019
- 2019-11-21 JP JP2021525040A patent/JP2022506920A/ja active Pending
- 2019-11-21 KR KR1020217015000A patent/KR20210080459A/ko not_active Application Discontinuation
- 2019-11-21 WO PCT/CN2019/119886 patent/WO2020103892A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654064A (zh) * | 2016-01-25 | 2016-06-08 | 北京中科慧眼科技有限公司 | 车道线检测方法和装置及高级驾驶辅助*** |
| CN108216229A (zh) * | 2017-09-08 | 2018-06-29 | 北京市商汤科技开发有限公司 | 交通工具、道路线检测和驾驶控制方法及装置 |
| CN108280450A (zh) * | 2017-12-29 | 2018-07-13 | 安徽农业大学 | 一种基于车道线的高速公路路面检测方法 |
| CN108846328A (zh) * | 2018-05-29 | 2018-11-20 | 上海交通大学 | 基于几何正则化约束的车道检测方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860255A (zh) * | 2020-07-10 | 2020-10-30 | 东莞正扬电子机械有限公司 | 驾驶检测模型的训练、使用方法、装置、设备及介质 |
| CN111539403A (zh) * | 2020-07-13 | 2020-08-14 | 航天宏图信息技术股份有限公司 | 农业大棚的识别方法、装置及电子设备 |
| CN112446344A (zh) * | 2020-12-08 | 2021-03-05 | 北京深睿博联科技有限责任公司 | 路况提示的方法及装置、电子设备及计算机可读存储介质 |
| CN112560684A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 车道线检测方法、装置、电子设备、存储介质以及车辆 |
| CN112560684B (zh) * | 2020-12-16 | 2023-10-24 | 阿波罗智联(北京)科技有限公司 | 车道线检测方法、装置、电子设备、存储介质以及车辆 |
| US11967132B2 (en) | 2020-12-16 | 2024-04-23 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle |
| CN112633151A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
| CN112633151B (zh) * | 2020-12-22 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
| CN113739811A (zh) * | 2021-09-03 | 2021-12-03 | 阿波罗智能技术(北京)有限公司 | 关键点检测模型的训练和高精地图车道线的生成方法设备 |
| CN113739811B (zh) * | 2021-09-03 | 2024-06-11 | 阿波罗智能技术(北京)有限公司 | 关键点检测模型的训练和高精地图车道线的生成方法设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022506920A (ja) | 2022-01-17 |
| KR20210080459A (ko) | 2021-06-30 |
| WO2020103892A1 (zh) | 2020-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209777A (zh) | 车道线检测方法、装置、电子设备及可读存储介质 | |
| CN111209780A (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
| US11694430B2 (en) | Brake light detection | |
| CN105512623B (zh) | 基于多传感器雾天行车视觉增强与能见度预警***及方法 | |
| CN105825696B (zh) | 基于信号灯信息提示的驾驶辅助*** | |
| CN111815959B (zh) | 一种车辆违章的检测方法、装置以及计算机可读存储介质 | |
| CN108399403B (zh) | 一种基于车牌尺寸计算的车距检测方法 | |
| CN110689724B (zh) | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 | |
| CN111222522B (zh) | 神经网络训练、路面检测、智能驾驶控制方法和装置 | |
| CN103902985A (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
| CN114418895A (zh) | 驾驶辅助方法及装置、车载设备及存储介质 | |
| CN106650730A (zh) | 汽车变道过程中的转向灯检测方法和*** | |
| CN105426863A (zh) | 检测车道线的方法和装置 | |
| CN111209779A (zh) | 可行驶区域检测及智能驾驶控制方法、装置和*** | |
| CN107346547A (zh) | 基于单目平台的实时前景提取方法及装置 | |
| CN112131914B (zh) | 车道线属性检测方法、装置、电子设备及智能设备 | |
| CN110348273B (zh) | 神经网络模型训练方法、***及车道线识别方法、*** | |
| CN110310485B (zh) | 周围信息采集显示*** | |
| CN103886609A (zh) | 基于粒子滤波和lbp特征的车辆跟踪方法 | |
| CN117495847B (zh) | 路口检测方法、可读存储介质及智能设备 | |
| CN110472508A (zh) | 基于深度学习和双目视觉的车道线测距方法 | |
| CN104268859A (zh) | 一种用于夜间车道线检测的图像预处理方法 | |
| CN107452230B (zh) | 一种障碍物检测方法、装置、终端设备及存储介质 | |
| CN116343085A (zh) | 一种公路上的障碍物检测方法、***、存储介质及终端 | |
| CN115100618A (zh) | 一种多源异构感知信息多层级融合表征与目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |
|
| RJ01 | Rejection of invention patent application after publication |