CN111213154A - 一种车道线检测方法、设备、移动平台及存储介质 - Google Patents
一种车道线检测方法、设备、移动平台及存储介质 Download PDFInfo
- Publication number
- CN111213154A CN111213154A CN201980004927.3A CN201980004927A CN111213154A CN 111213154 A CN111213154 A CN 111213154A CN 201980004927 A CN201980004927 A CN 201980004927A CN 111213154 A CN111213154 A CN 111213154A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- local
- lines
- assumed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种车道线检测方法、设备、移动平台及存储介质，该方法包括：获取车道线的图像，并确定局部车道线集合；根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；从所述假设车道线集合中确定出目标车道线集合，可提高车道线检测的精度。
Description
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。
技术领域
本发明实施例涉及控制技术领域，尤其涉及一种车道线检测方法、设备、移动平台及存储介质。
背景技术
车道线局部地图主要应用于自动驾驶领域，基于车道线局部地图可以规划当前行驶车辆的行驶计划，而局部地图的建立主要依赖于对车道线的检测，当前采用的车道线检测方法主要还是基于摄像机等图像传感器采集到的图像，在自动驾驶车辆上的图像传感器采集到图像后，通过图像识别来确定出图像传感器的视场角内的车道线。
经研究发现，基于图像识别的方式来构建车道线易受图像噪声等因素的干扰，车道线的确定存在一定的误差，还存在优化空间。
发明内容
有鉴于此，本发明实施例提供了一种车道线检测方法、设备、移动平台及存储介质，可提高车道线检测的精度。
一方面，本发明实施例提供了一种车道线检测方法，该方法包括：
获取车道线的图像，并确定局部车道线集合；
根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；
从所述假设车道线集合中确定出目标车道线集合；
其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
另一方面，本发明实施例提供了一种车道线检测装置，该装置包括：
确定单元，用于获取车道线的图像，并确定局部车道线集合；
构造单元，用于根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；
所述确定单元，还用于从所述假设车道线集合中确定出目标车道线集合；
其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
再一方面，本发明实施例提供了一种车道线检测设备，所述车道线检测设备内置于移动平台中，其特征在于，车道线检测设备包括：存储器和处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取车道线的图像，并确定局部车道线集合；
根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；
从所述假设车道线集合中确定出目标车道线集合；
其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
再一方面，本发明实施例提供了一种移动平台，包括：
动力***，用于为所述移动平台提供动力；
以及如第三方面中所述的车道线检测设备。
在本发明实施例中，移动平台以车道线俯瞰图中像素点拟合得到的局部车道线为最小单位进行假设车道线构造，并基于构造的假设车道线完成对车道线的检测过程，由于在构造假设车道线时所用的局部车道线比较小，因此，可提高移动平台的构造速度，而且基于局部车道线构造的假设车道线的精度更高，因此在基于预设的多假设求解规则从构造的假设车道线中确定出目标车道线集合时，确定出的目标车道线集合的精度也得以提高，从而可降低车道线检测所带来的误差，此外，在从构造的假设车道线中确定出目标车道线时，可基于预设的多假设求解规则设定的多假设模型进行，解决了车道线俯瞰图中车道线难以得到全局最优的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车道线检测方法的示意流程图；
图2为本发明实施例提供的一种车道线检测场景图；
图3为本发明另一实施例提供的一种车道线检测方法的示意流程图；
图4为本发明又一实施例提供的一种车道线检测方法的示意流程图；
图5为本发明实施例提供的一种连通域标签的示意图；
图6为本发明又一实施例提供的一种车道线检测方法的示意流程图；
图7a为本发明实施例的提供的一种假设车道线的示意图；
图7b为本发明实施例的提供的一种对如图7a所示的假设车道线进行拆分的示意图；
图7c为本发明实施例的提供的一种对如图7b中拆分后的假设车道线建立对应连通图的示意图；
图8是本发明实施例提供的一种连通图的示意图；
图9为本发明实施例提供的一种车道线检测装置的示意性框图；
图10是本发明实施例提供的一种车道线检测设备的示意性框图。
具体实施方式
为了减少车道线检测中的误差，提高车道线检测精度，本发明实施例提出了一种基于多假设的车道线检测方法，该方法在图像识别出疑似车道线的基础上，通过构造假设车道线，并对构造的假设车道线基于多假设进行求解，从而实现对车道线的检测。具体地，移动平台可根据图像中小范围内的像素点进行车道线拟合，以得到每个小范围图像区域内的局部车道线，进而构成局部车道线集合。进一步地，基于针对车道线的特征信息，可将得到的局部车道线构造成一条或多条假设车道线，然后再从假设车道线中筛选出目标车道线，筛选得到的目标车道线可以认为是和实际车道线最相符的车道线。相对于当前采用的直接根据图像中所有像素点拟合得到完整车道线的方法，采用本发明实施例的从局部车道线出发，构造整体车道线的方法，可在一定程度上提高车道线的拟合精度，提高车道线识别的准确度，还可在一定程度上节省移动平台在进行车道线拟合时运算速度。
在一个实施例中，可参见如图1所示的车道线检测方法的示意流程图，移动平台可先确定车道线俯瞰图，从而可在车道线俯瞰图上确定出针对该车道线俯瞰图的局部车道线集合，并将该局部车道线集合中的各局部车道线作为构造假设车道线的最小单位，以提升移动平台处理器的计算速度。进一步地，可基于该最小单位的局部车道线之间的几何关系，构造假设车道线集合，从而可从该假设车道线集合中确定出目标车道线集合，以完成对车道线的检测。
移动平台在从所述假设车道线集合中确定出目标车道线集合时，可先确定所述假设车道线集合中各假设车道线对应的假设分值，其中，所述假设分值用于表示对应的假设车道线为实际车道线的可能性大小，所述假设分值是根据用于构造假设车道线的局部车道线的权重值确定的，在确定各假设车道线对应的假设分值后，可基于所述假设分值从所述假设车道线集合中确定出目标车道线集合。其中，可将假设分值中满足预设分数阈值的假设车道线确定为目标车道线，从而组成目标车道线集合。
在一个实施例中，所述车道线检测方法可应用在如图2所示的车道线检测场景中，其中，移动平台(如图2所示的无人驾驶汽车)获取的车道线俯瞰图是基于安置在所述移动平台上的一个或多个视觉传感器(如图2设置在移动平台前面的相机传感器等)，在当前时刻以及多个历史时刻采集到的车道线的图像生成的。其中，所述视觉传感器可安置在移动平台的前方、后方和/或车顶等位置，移动平台中安置的一个或多个视觉传感器可以安置在相同位置，也可安置在不同位置，在本发明实施例中不做限定。
通常，移动平台的视觉传感器安装在移动平台的前方，用于获取前方的图像。在获取了前方的图像，或称为前视图后，可基于前视图对前视图中的像素点进行投影、分割和融合处理，以完成对车道线的检测。其中，投影是指基于视觉传感器的内参和外参，根据视觉传感器与移动平台的位置关系及假定地面的位置通过几何计算变换至行驶车辆局部的俯瞰图；分割是指对前视图或俯瞰图上车道线的像素点进行聚类，赋予每个车道线像素点对应车道线的标签；融合是指对多帧带有标签的俯瞰图进行数据关联，在时序上将多帧的车道线合并，并对车道线的曲线参数进行优化，以完成对移动平台周围车道线的检测。
基于当前和历史多个时刻采集的车道线的图像生成的车道线俯瞰图，由于参考了多个时刻的车道线的图像，使得对移动平台周围的可视范围增大，而且可能存在包括大曲率曲线，以及汇入汇出车道等车道线的图像生成的车道线俯瞰图，因此，如果依旧采取传统的车道线检测策略，则不能正确地对一些非常规性的车道线进行检测而确定出目标车道线集合，从而导致车道线检测更容易出错。例如图2中的分岔路口的车道线存在交叠且方向不一致的情况，此时如果使用传统的车道线检测策略例如利用车道线的平行性进行检测，则无法正确地检测出这种车道线场景。
因此，为了更好地检测一些非常规性的车道线问题，提供一种更通用的车道线检测方法，可以从车道线俯瞰图中生成局部车道线集合，并且根据局部车道线集合构造多条假设车道线，作为目标车道线的待定选择；再从假设车道线集合中确定出目标车道线集合，从而能够更好地适用于多种车道线场景，提升了通用性。
请参见图3，是本发明实施例提出的一种车道线检测方法的流程示意图，所述车道线检测方法可应用于如图2所示的各类汽车等移动平台中，在一些实施例中，具体可以由移动平台中的移动控制器来执行，其中，所述方法包括以下步骤：
S301，获取车道线的图像，并确定局部车道线集合。在一个实施例中，移动平台可根据车道线俯瞰图确定局部车道线集合，该车道线俯瞰图是根据所述移动平台上的一个或多个视觉传感器在当前和/或历史时刻拍摄得到的车道线的图像生成的。具体地，移动平台可先基于设置在前方的视觉传感器获取所述移动平台所处环境的前视图，进一步地，可先针对所述前视图作关于车道线的初步检测，从而可在将所述前视图转换为所述移动平台局部的俯瞰图后，基于对所述前视图中的车道线作初步检测的结果，可初步确定出转换得到的俯瞰图中的车道线区域，在一个实施例中，可采用卷积神经网络(Convolutional NeuralNetworks，CNN)对前视图作初步的车道线检测。
在初步确定出车道线俯瞰图包括的车道线区域后，可基于图4所示的流程示意图确定出车道线俯瞰图对应的局部车道线集合。具体地，移动平台可针对车道线俯瞰图进行连通域提取，从而可根据连通域检测结果确定小范围内像素点的连通域标签，基于各像素点对应的连通域标签可进行车道线拟合，确定出小范围内像素点对应的一条或多条局部车道线，以此类推，可确定出车道线俯瞰图中的所有局部车道线，将得到的所有局部车道线进行后处理，可得到与车道线俯瞰图对应的局部车道线集合。
在一个实施例中，车道线俯瞰图中像素点的连通域标签是移动平台预先为各像素点添加的，移动平台可预先为所述车道线俯瞰图中属于同一车道线的像素点添加相同的连通域标签，如图5所示，为一种移动平台为车道线俯瞰图中的某些像素点添加的连通域标签的示意图，如图所示，每一个方格表示一个像素点，方格中的数字表示该像素点对应的连通域标签，其中，连通域标签为0的像素点可能为所述车道线俯瞰图中不属于车道线的像素点，也可能为所述车道线俯瞰图中的A车道线对应的像素点；连通域标签为1的像素点为所述车道线俯瞰图中属于B车道线的像素点；连通域标签为2的像素点为所述车道线俯瞰图中区别于该A车道线以及该B车道线的车道线对应的像素点，其中，该A车道线和该B车道线为该车道线俯瞰图中不相同的两条车道线。
在为所述车道线俯瞰图中的像素点添加连通域标签后，可进行连通域检测(即连通域提取)，以确定出各像素点对应的连通域标签。其中，移动平台在所述车道线俯瞰图中进行连通域提取时，可按照预设尺寸的图像检测窗口从所述车道线俯瞰图中选取小范围的像素点，则可确定出预先为处于该图像检测窗口内的像素点的连通域标签。由于处于相同连通域的像素点对应有相同的连通域标签，所以基于连通域标签是否相同的特性可确定出图像检测窗口的各连通域，即确定每个连通域包括的像素点，其中，所述图像检测窗口的预设尺寸例如可以是3像素*3像素或者5像素*5像素等。
在确定每个连通域包括的像素点后，可对各连通域对应的像素点按照最优解算法进行拟合，得到各连通域对应的局部车道线，以此类推，可确定出图像检测窗口在车道线俯瞰图中位于不同位置时包括的像素点对应的局部车道线，从而可确定出所述车道线俯瞰图的所有局部车道线。
举例来说，如果从所述车道线俯瞰图中选取的位于图像检测窗口中的像素点对应的连通域标签如图4所示，可将连通域标签为1的所有像素点按照最优解算法拟合出一条局部车道线，将连通域标签为2的所有像素点按照最优解算法拟合出一条局部车道线，以此类推，可将处于该图像检测窗口中的所有像素点拟合成多条局部车道线，从而可确定出针对该车道线俯瞰图的所有局部车道线。
在确定出针对该车道线俯瞰图的所有局部车道线后，可基于预设的针对局部车道线的先验信息进行后处理，以实现对所述车道线俯瞰图的所有局部车道线进行过滤，将该所有局部车道线中的错误车道线滤除。其中，所述预设的针对局部车道线的先验信息是基于车道线的国家标准设定的一个预设范围或者预设值，所述先验信息具体包括长度信息以及宽度信息等，假设国家标准的车道线长度为1.5米，则该针对局部车道线的先验信息包括的长度信息可以设定为小于标准车道线长度的部分长度，例如10厘米～15厘米的范围等等；假设国家标准的车道线宽度为15厘米，则该先验信息包括的宽度信息可以设定为13厘米～17厘米的范围等。对应的，该错误车道线为不满足该预设的先验信息的车道线。
在移动平台滤除该车道线俯瞰图对应的所有局部车道线中的错误车道线后，可确定出针对该车道线俯瞰图的局部车道线集合，避免了后续步骤中对错误车道线的处理，可解放处理资源，从而提高计算速度。
S302，根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合。在一个实施例中，针对车道线的先验信息包括：车道线的特征属性，所述特征属性包括：所述车道线的几何特征和颜色特征，所述几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。
在一个实施例中，可基于针对车道线的先验信息，确定所述局部车道线集合中各局部车道线是否属于同一车道线，从而可将属于同一车道线的局部车道线划分到一个局部车道线子集中，并将处于所述局部车道线子集中的各局部车道线进行连接，则可确定出基于该局部车道线集合构造的一条或多条假设车道线，其中，任一局部车道线子集对应可构成一条或多条假设车道线。
在确定所述局部车道线集合中的局部车道线是否属于同一车道线时，可基于任意两条所述局部车道线之间的方向角和/或欧拉距离决定，当任意两条所述局部车道线之间的方向角小于或等于预设的方向角阈值，和/或当所述任意两条局部车道线之间的欧拉距离小于或等于预设的距离阈值时，可确定所述任意两条局部车道线属于同一车道线，即属于同一条假设车道线。
在一个实施例中，移动平台可先从该局部车道线集合中确定出一条局部车道线C，并将其作为局部车道线子集H中的一个元素，所述局部车道线集合中除C以外的其他局部车道线则可为剩余局部车道线集合R中的元素，在确定局部车道线子集H以及剩余局部车道线集合R后，由于局部车道线子集H中只包括一条局部车道线C，因此可从剩余局部车道线集合R中确定出一条与局部车道线C欧式距离最小的局部车道线，假设为局部车道线D，该局部车道线C和局部车道线D即构成一个局部车道线组。
进一步地，对该局部车道线子集H和剩余局部车道线集合R进行更新，此时的局部车道线子集H中包括局部车道线C和D，而剩余局部车道线集合R中为除局部车道线C和D之外的剩余局部车道线，此时，可将更新后的剩余局部车道线集合R中的局部车道线与局部车道线D进行对比，并确定出和局部车道线D之间的欧式距离最短的局部车道线E，从而可将该E添加到该局部车道线子集H中，其中，局部车道线D和局部车道线E也构成一个局部车道线组。以此类推，可确定出局部车道线集合中所有的局部车道线组，并确定出属于同一条假设车道线的局部车道线子集。
在另一实施例，移动平台在确定局部车道线子集H以及剩余局部车道线集合R后，还可从剩余局部车道线集合R中确定出一条与局部车道线C之间的方向差最小的局部车道线，假设为局部车道线A，则局部车道线A和该局部车道线C构成一个局部车道线组，以此类推，可从所述局部车道线集合中确定出所有局部车道线组，并确定出属于同一假设车道线的局部车道线子集。
再一个实施例中，移动平台在确定局部车道线子集H以及剩余局部车道线集合R后，还可从剩余局部车道线集合R中确定出一条与局部车道线C之间的方向差最小的局部车道线，假设为局部车道线B，则局部车道线B和该局部车道线C构成一个局部车道线组，同理，可从所述局部车道线集合中确定出所有局部车道线组，并确定出属于同一假设车道线的局部车道线子集。
在一个实施例中，将确定出的局部车道线组中的局部车道线按照添加到局部车道线子集中的先后顺序进行连接，可构造得到对应的假设车道线。
S303，从所述假设车道线集合中确定出目标车道线集合。在一个实施例中，所述目标车道线集合包括至少一条目标车道线，每条所述目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
在从所述假设车道线集合中确定出目标车道线集合时，可先基于步骤S302中构造的假设车道线建立连通图，具体地，可将所述假设车道线集合中的各假设车道线作为待建立连通图的顶点，如果任意两个顶点对应的假设车道线不包含相同的局部车道线时，则说明这两个假设车道线是相容的，则可用一条边连接相容的顶点，从而建立该假设车道线对应的连通图。
在一个实施例中，如果任意两个顶点对应的假设车道线包含相同的局部车道线，则需要将该包含相同局部车道线的一组假设车道线进行拆分，得到两组假设车道线，其中，得到的两组假设车道线中不包含相同的局部车道线，并将该拆分后得到的两组假设车道线分别作为待建立连通图的顶点，以保证建立的连通图中任意两个顶点对应的假设车道线(或假设车道线组)中不包含相同的局部车道线。
在基于所述假设车道线建立对应的连通图后，可获取每条假设车道线对应的假设分值，并将该假设分值作为对应连通图顶点的权重值，其中，假设分值越高，说明和该假设分值对应的假设车道线为实际车道线的可能性越大。进一步地，基于该连通图解出带权最大团，解出的最大团中顶点对应的假设车道线是相互相容且得分最高的，则由求解出的最大团的顶点对应的假设车道线组成的目标车道线，即为和实际车道线最相符的车道线。
在本发明实施例中，移动平台以车道线俯瞰图中像素点拟合得到的局部车道线为最小单位进行假设车道线构造，并基于构造的假设车道线完成对车道线的检测过程，由于在构造假设车道线时所用的局部车道线比较小，因此，可提高移动平台的计算速度，而且基于局部车道线构造的假设车道线的精度更高，因此在基于预设的多假设求解规则从构造的假设车道线中确定出目标车道线集合时，确定出的目标车道线集合的精度也得以提高，从而可降低车道线检测所带来的误差。此外，在从构造的假设车道线中确定出目标车道线时，可基于预设的多假设求解规则设定的多假设模型进行，解决了车道线俯瞰图中车道线难以得到全局最优的问题。
请参见图6，是本发明另一实施例提出的一种车道检测方法的示意流程图，该方法也可应用于图2所示的各类汽车等移动平台中，在一些实施例中，具体可以由移动平台中的移动控制器来执行，如图6所示，该方法包括以下步骤。
S601，获取车道线的图像，并确定局部车道线集合。在一个实施例中，移动平台在确定局部车道线集合时，可先根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到所述车道线的图像，从而可基于所述车道线的图像生成车道线俯瞰图，具体地，所述移动平台可获取设置在所述移动平台上的一个或多个视觉传感器在当前及历史时刻对环境进行图像拍摄，得到的至少两个拍摄角度下的车道线的图像，从而可基于所述至少两个拍摄角度下的车道线的图像生成车道线俯瞰图。
在确定所述车道线俯瞰图后，可根据所述车道线俯瞰图确定局部车道线集合，具体地，移动平台可先对所述车道线俯瞰图进行连通域分析处理，确定所述车道线俯瞰图中各像素点的连通域标签，其中，所述车道线俯瞰图中各像素点的连通域标签是移动平台预先添加并存储的，属于同一连通域的像素点被记录有相同的连通域标签。
进一步地，可从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点，在一个实施例中，所述移动平台可按照预设尺寸的图像检测窗口在所述车道线俯瞰图上检测连通域，并在所述车道线俯瞰图上从位于所述图像检测窗口内的连通域中选取目标像素点，进一步地，可将位于所述图像检测窗口内的连通域中，与所述目标像素点具有相同连通域标签的其他像素点作为关联像素点。其中，所述预设的尺寸包括上述的3像素*3像素或者5像素*5像素等尺寸。
在移动平台从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点后，可按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合。在一个实施例中，移动平台可基于最优解算法将所述目标像素点和所述关联像素点进行拟合，得到初始局部车道线，从而可根据多个图像检测窗口得到的初始局部车道线，得到所述局部车道线集合，其中，所述最优解算法包括最小二乘算法。
在移动平台根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合时，可先按照预设的过滤算法对多个图像检测窗口得到的初始局部车道线进行过滤，其中，所述预设的过滤算法是根据所述车道线的先验信息生成的，所述先验信息包括：车道线的特征属性，所述车道线的属性特征包括：所述车道线的几何特征和颜色特征，所述几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。基于对所述初始局部车道线的过滤，可滤除所述初始局部车道线中的错误局部车道线，得到所述车道线俯瞰图对应的局部车道线集合。
在基于最优解算法对所述目标像素点和所述关联像素点进行拟合，得到初始局部车道线时，可确定将所述目标像素点和所述关联像素点进行拟合时的拟合信息，所述拟合信息用于描述目标像素点与关联像素点之间的聚集程度或者离散程度，从而可基于该拟合信息确定所述初始局部车道线对应的拟合权重，所述拟合权重用于表征拟合为的初始局部车道线为实际车道线局部的可能性大小，其中，可用拟合权重越大的值表征初始局部车道线为实际车道线的局部的可能性越大。进一步地，可确定出进行滤除操作后的局部车道线集合中的各局部车道线分别对应的拟合权重。
S602，按照预设的用于判决局部车道线是否属于同一车道线的判决条件，从所述局部车道线集合中确定出局部车道线子集。在一个实施例中，所述预设的用于判决局部车道线是否属于同一车道线的判决条件包括：基于局部车道线之间的方向差和/或欧式距离设置的条件；所述局部车道线子集中包括局部车道线组；构成所述局部车道线组的至少两个局部车道线之间的方向差小于或等于预设方向差阈值；和/或，构成所述局部车道线组的至少两个局部车道线之间的欧式距离小于或等于预设距离阈值。
在一个实施例中，所述局部车道线组的至少两个局部车道线为构成同一车道线的相邻局部车道线，例如，所述局部车道线子集包括局部车道线组A、B和C，其中，局部车道线组A包括局部车道线a、b和c，局部车道线组B包括局部车道线d、e，局部车道线组C包括局部车道线f、g、h和i。如果局部车道线a、b、c、d、e、f、g、h和i属于同一车道线，则在局部车道线组A中必然有a和b之间的方向差小于或等于预设方向差阈值；和/或，a和b之间的欧式距离小于或等于预设距离阈值；b和c之间的方向差小于或等于预设方向差阈值；和/或，b和c之间的欧式距离小于或等于预设距离阈值。在局部车道线组B中必然有d和e之间的方向差小于或等于预设方向差阈值；和/或，d和e之间的欧式距离小于或等于预设距离阈值。且在局部车道线组A和B中必然有c和d之间的方向差小于或等于预设方向差阈值；和/或，c和d之间的欧式距离小于或等于预设距离阈值。
在从局部车道线中确定出局部车道线子集后，可执行步骤S603，根据所述局部车道线子集中的各局部车道线，构造对应的假设车道线。
S603，根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合。
在一个实施例中，移动平台可先根据局部车道线子集中的局部车道线，构造与各个子集所对应的假设车道线，如果构造的假设车道线中存在满足岔路口条件的假设车道线组，则对所述满足岔路口条件的假设车道线组进行拆分，得到两组假设车道线，其中，拆分后的每组假设车道线中不包括相同的局部车道线。
在构造得到多条假设车道线后，由于基于预设的多假设求解规则从假设车道线集合中确定出目标车道线集合时，需要构建顶点互相相容的连通图，且该连通图中的顶点和假设车道线集合中的假设车道线相对应，则需要保证建立的连通图中的各顶点对应的假设车道线是互相相容的，以确保建立的连通图存在最优解，因此，只需确保建立的连通图中的顶点对应的假设车道线之间不包括相同的局部车道线即可。在一个实施例中，用是否满足岔路口条件判别构造的假设车道线中是否包括相同的局部车道线，且满足所述岔路口条件的两条假设车道线中存在相同的局部车道线。
在一个实施例中，如果根据局部车道线子集中的局部车道线，构造出的假设车道线包括图7a中假设1和假设2对应的车道线，可确定构造的假设车道线中存在满足岔路口条件的假设车道线组，即是由假设1对应的车道线以及假设2对应的车道线组成的假设车道线组。为了使得构造的假设车道线中不包括相同的局部车道线，因此，可将由假设1和假设2组成的假设车道线组进行拆分，所述拆分过程可如图7b所示，可先确定假设车道线组中假设1对应的假设车道线以及假设2对应的假设车道线的重叠部分，即图中用虚线框出的部分；进一步地，可基于所述重叠部分和非重叠部分，对所述假设车道线组进行拆分，从而得到两组假设车道线，其中，得到的两组假设车道线可如图所示，分别为包括由假设1和假设3对应的假设车道线组成的一个假设车道线组，以及由假设2和假设3对应的假设车道线组成的一个假设车道线组。
在对满足岔路口条件的假设车道线组进行拆分后，可建立顶点互不相容的连通图，基于图7b中拆分后得到的4条假设车道线，建立的连通图可如图7c所示，其中，连通图中被标记为1的顶点和图7b中拆分后的假设1的假设车道线相对应，被标记为2的顶点和图7b中拆分后的假设2的假设车道线相对应，被标记为3的顶点和图7b中拆分后的假设3的假设车道线相对应，被标记为4的顶点和图7b中拆分后的假设4的假设车道线相对应，由于假设1和假设3的车道线之间不包括相同的局部车道线，则在图7c中用一条线将顶点1和顶点3相连，用于表示假设1和假设3是相容的，同理，由于假设2和假设4是相容的，则用一条线将顶点2和顶点4相连。
在建立和假设车道线集合相对应的连通图后，可基于预设的多假设求解规则和所述连通图，从所述假设车道线集合中确定出目标车道线集合，即转而执行步骤S604。
S604，基于预设的多假设求解规则，从所述假设车道线集合中确定出目标车道线集合。在一个实施例中，基于多假设进行求解的过程即是获取互相相容的最优假设组合的过程。当然，在其他实施例中，基于行驶环境的拍摄图像，也可以直接基于一张或多张拍摄图像进行图像识别(或者在图像上进行连通域检测等方式)和多假设求解来确定最终的车道线。
在一个实施例中，基于多假设的求解规则即是采用多假设模型对数据源(即对局部车道线集合)进行处理，即如果不存在一种合理的流程得到最优解，就把当前数据源可能产生的所有解都列举出来，确定出车道线俯瞰图对应的局部车道线集合，并将列举出的所有假设车道线作为假设，进一步可通过先验信息对该所有假设车道线进行评分，直到找出评分较好的假设车道线，即作为最终的可以用来制作车道线局部地图或者其他用途的车道线。其中，找出的评分较好的车道线可能由一个或多个假设联合构成，在由多个假设联合构成时，不同的假设之间可能存在互斥性，即当假设A为真时，假设B为假。所以，在对多个假设进行求解时，不但要考虑多个假设的评分，还要保证最优解中的假设都不是互斥的，即求解得到的目标车道线集合中各车道线不是互斥的。
为了保证基于多假设的求解规则从假设车道线集合中确定出的目标车道线集合中的各目标车道线之间均不互斥，可先根据该假设车道线集合中的假设车道线之间两两建立一张连通图。所述连通图中的各个顶点对应于该假设车道线集合中的一条假设车道线，所述顶点还将该每条假设车道线对应的评分作为该顶点对应的权重，如果两个假设互不相斥(即相容、可同时存在)，则用一条边连接对应的顶点，从而可通过计算带权最大团得到假设相容且评分较好的解，组成该目标车道线集合，在一个实施例中，可将计算带权最大团得到的假设相容且对应权重值最大的解，作为组成目标车道线集合的元素。其中，带权最大团是指：上述连通图中所有顶点均存在边两两相连(顶点之间存在相连边是指相连顶点对应的假设车道线不相互排斥)，且所有顶点的权重之和最大的团。互不相斥可以认为两条假设车道线之间可能是同时存在的，例如，实际环境下的岔路口处的两条车道线所对应的假设车道线。
在建立和假设车道线集合对应的连通图时，如果存在由相同的局部车道线构造的一条或多条假设车道线，则需要对该一条或多条假设车道线进行拆分，确保能从基于该假设车道线集合建立的连通图中求解得到最大团，可解决在分割车道线俯瞰图时难以得到全局最优解的问题。
如果假设车道线集合中包括5条假设车道线a、b、c、d、e，在基于假设车道线集合建立对应的连通图时，可先确定该连通图中的顶点，其中，该连通图中的各顶点和假设车道线集合中的各条假设车道线相对应，例如将顶点1和假设车道线a对应，顶点2和假设车道线b对应，顶点3和假设车道线c对应，顶点4和假设车道线d对应，顶点5和假设车道线e对应，在确定连通图中的顶点后，可根据各条假设车道线中是否存在重叠部分(即是否包括相同的局部车道线)确定各顶点之间的连接关系，从而可基于假设车道线集合建立图如图8所示的连通图。
在一个实施例中，在确定假设车道线集合对应的连通图后，基于连通图求解最大团，其中，如图所示的连通图中，顶点集V＝{1、2、3、4、5}，边集E＝{(1、2)(1、4)(1、5)(2、3)(2、5)(3、5)(4、5)}，求解得到的最大团可以是{1、2、5}，也可以是{1、4、5}或者{2、3、5}。其中，基于各顶点各自对应的假设权重分值，可计算得到每个最大团对应的权重值，通过比较各最大团的权重值可确定出该连通图对应的带权最大团，假设最大团{1、2、5}对应的权重值为25；最大团{1、4、5}对应的权重值为18；最大团{2、3、5}对应的权重值为7，那么确定出的带权最大团则为{1、2、5}。
根据确定出的带权最大团，可确定出由假设车道线构成的目标车道线集合，在一个实施例中，可将该带权最大团中各顶点对应的假设车道线作为组成目标车道线集合中的元素，即如果确定出的带权最大团则为{1、2、5}，则目标车道线集合包括车道线a、车道线b和车道线e。
在一个实施例中，步骤S604具体包括步骤s11和s12，其中，首先s11中，移动平台基于预设的多假设求解规则的指示，将所述假设车道线集合划分得到至少两个假设车道线组，并确定各假设车道线组对应的假设权重分值。在一个实施例中，为了避免假设车道线集合中包括的假设车道线之间由于存在相同的局部车道线，而导致的对基于假设车道线建立的连通图无解的问题，可按照上述步骤，对所述假设车道线集合进行划分，得到至少两个假设车道线组，其中，每个车道线组中包括的假设车道线不包括相同的局部车道线；进一步地，可基于拆分后的得到的假设车道线组，确定各假设车道线组中的假设车道线对应的假设权重分值。
在一个实施例中，假设车道线对应的假设权重分值是由构成该假设车道线的一条或多条局部车道线对应的拟合权重确定的，对所述局部车道线对应的拟合权重的确定方式可具体参见上述步骤S601中的相关叙述，在此不再赘述。
在确定出各假设车道线组对应的假设权重分值后，可转而执行步骤S605，以从假设车道线集合中确定出目标车道线集合。
在s12中，移动平台由最大的假设权重分值对应的假设车道线组中的假设车道线组成目标车道线集合。在一个实施例中，所述假设权重分值是根据所述假设车道线组中的假设车道线的权重值确定的，所述假设车道线的权重值是根据所述针对车道线的先验信息确定的。
在确定各假设车道线组对应的假设权重分值后，可基于建立的连通图求解带权最大团问题，其中，该连通图各顶点对应的权重即为该顶点对应的假设车道线所对应的假设权重分值，从而可解出该连通图的带权最大团，即求解出最大的假设权重分值对应的假设车道线组中的假设车道线组成目标车道线集合。
举例来说，如图7b所示的两个假设车道线组，假设1对应的假设车道线的假设权重分值例如可以是15，假设2对应的假设权重分值例如可以是14，假设3对应的假设权重分值例如可以是10，假设4对应的假设权重分值例如可以是8，对应建立的图7c的连通图中顶点1对应的权重为15，顶点2对应的权重为14，顶点3对应的权重为10，顶点4对应的权重为8，基于该连通图求解出的最大团包括(1，3)和(2，4)，对应的权重分别是25和22，因此，该连通图的带权最大团为(1，3)，由此，求解出的目标车道线集合中包括假设1对应的假设车道线以及假设3对应的假设车道线。
在本发明实施例中，移动平台在确定出针对车道线俯瞰图的局部车道线集合后，按照预设的用于判决局部车道线是否属于同一车道线的判决条件，从所述局部车道线集合中确定出局部车道线子集，并基于该局部车道线子集包括的局部车道线组，构造每个局部车道线子集对应的假设车道线，从而得到假设车道线集合。进一步地，可基于预设的多假设求解规则的指示，将假设车道线集合进行划分，得到两个假设车道线组，以保证假设车道线集合中的各条假设车道线不包括相同的局部车道线，进一步地，可建立和假设车道线集合对应的连通图，通过求解连通图的带权最大团，从该假设车道线组中确定出目标车道线集合，可避免假设车道线中包括相同局部车道线而导致的最大团误解的问题，从而可解决车道线俯瞰图中车道线难以得到全局最优的问题。
本发明实施例提供了一种车道线检测装置，所述车道线检测装置用于执行前述任一项所述的方法的单元，具体地，参见图9，是本发明实施例提供的一种车道线检测装置的示意框图，本实施例的车道线检测装置可设置在例如自动驾驶汽车等类型的移动平台中，车道线检测装置包括：确定单元901和构造单元902。
其中，确定单元901，用于获取车道线的图像，并确定局部车道线集合；构造单元902，用于根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；所述确定单元901，还用于基于预设的多假设求解规则从所述假设车道线集合中确定出目标车道线集合。其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
在一个实施例中，所述确定单元901，具体用于：根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到所述车道线的图像；根据所述车道线的图像生成车道线俯瞰图；根据所述车道线俯瞰图确定局部车道线集合。
在一个实施例中，根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到的是至少两个拍摄角度下的车道线的图像，所述确定单元901，还具体用于：基于所述至少两个拍摄角度下的车道线的图像生成车道线俯瞰图。
在一个实施例中，所述确定单元901，还具体用于：对所述车道线俯瞰图进行连通域分析处理，确定所述车道线俯瞰图中各像素点的连通域标签，其中，属于同一连通域的像素点被记录相同的连通域标签；从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点；按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合。
在一个实施例中，所述确定单元901，还具体用于：按照预设尺寸的图像检测窗口在所述车道线俯瞰图上检测连通域；在所述车道线俯瞰图上从位于所述图像检测窗口内的连通域中选取目标像素点；将位于所述图像检测窗口内的连通域中，与所述目标像素点具有相同连通域标签的其他像素点作为关联像素点。
在一个实施例中，所述确定单元901，还具体用于：基于最优解算法将所述目标像素点和所述关联像素点进行拟合，得到初始局部车道线；根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合。
在一个实施例中，所述最优解算法包括最小二乘算法。
在一个实施例中，所述确定单元901，还具体用于：按照预设的过滤算法对多个图像检测窗口得到的初始局部车道线中的各初始局部车道线进行过滤；滤除所述初始局部车道线中的错误局部车道线，得到所述车道线俯瞰图对应的局部车道线集合；所述预设的过滤算法是根据针对所述车道线的先验信息生成的。
在一个实施例中，所述构造单元902，具体用于：按照预设的用于判决局部车道线是否属于同一车道线的判决条件，从所述局部车道线集合中确定出局部车道线子集；根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合。
在一个实施例中，所述预设的用于判决局部车道线是否属于同一车道线的判决条件包括：基于局部车道线之间的方向差和/或欧式距离设置的条件。
在一个实施例中，所述局部车道线子集中包括局部车道线组；构成所述局部车道线组的至少两个局部车道线之间的方向差小于或等于预设方向差阈值；和/或，构成所述局部车道线组的至少两个局部车道线之间的欧式距离小于或等于预设距离阈值。
在一个实施例中，所述构造单元902，还具体用于：根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线；如果构造的假设车道线中存在满足岔路口条件的假设车道线组，则对所述满足岔路口条件的假设车道线组进行拆分，得到两组假设车道线；其中，拆分后的每组假设车道线中不包括相同的局部车道线。
在一个实施例中，所述构造单元902，还具体用于：基于预设的多假设求解规则的指示，将所述假设车道线集合划分得到至少两个假设车道线组，并确定各假设车道线组对应的假设权重分值；由最大的假设权重分值对应的假设车道线组中的假设车道线组成目标车道线集合；其中，所述假设权重分值是根据所述假设车道线组中的假设车道线的权重值确定的，所述假设车道线的权重值是根据所述针对车道线的先验信息确定的。
在一个实施例中，所述车道线的属性特征包括：所述车道线的几何特征和颜色特征，所述几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。
在一个实施例中，本实施例提供的车道线检测装置能执行前述实施例提供的如图3和图6所示的车道线检测方法，且执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供了一种车道线检测设备，所述车道线检测设备可应用于上述实施例提及的移动平台，其中，图10是本发明实施例提供的一种车道线检测设备的结构图，如图10所示，所述车道线检测设备100包括存储器101、处理器102和视觉传感器103。
其中，所述处理器102可以是中央处理器(central processing unit，CPU)。所述处理器102可以是硬件芯片。所述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。所述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmablegate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。
存储器102中存储有程序代码，处理器102调用存储器中的程序代码，当程序代码被执行时，处理器102执行如下操作：获取车道线的图像，并确定局部车道线集合；根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；从所述假设车道线集合中确定出目标车道线集合；其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
在一个实施例中，所述处理器102在获取车道线的图像，并确定局部车道线集合时，用于：根据移动平台上设置的一个或多个视觉传感器103在当前及历史时刻拍摄得到所述车道线的图像；根据所述车道线的图像生成车道线俯瞰图；根据所述车道线俯瞰图确定局部车道线集合。
在一个实施例中，根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到的是至少两个拍摄角度下的车道线的图像，所述处理器102在根据所述车道线的图像生成车道线俯瞰图时，用于：基于所述至少两个拍摄角度下的车道线的图像生成车道线俯瞰图。
在一个实施例中，所述处理器102在根据所述车道线俯瞰图确定局部车道线集合时，用于：对所述车道线俯瞰图进行连通域分析处理，确定所述车道线俯瞰图中各像素点的连通域标签，其中，属于同一连通域的像素点被记录相同的连通域标签；从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点；按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合。
在一个实施例中，所述处理器102在从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点时，用于：按照预设尺寸的图像检测窗口在所述车道线俯瞰图上检测连通域；在所述车道线俯瞰图上从位于所述图像检测窗口内的连通域中选取目标像素点；将位于所述图像检测窗口内的连通域中，与所述目标像素点具有相同连通域标签的其他像素点作为关联像素点。
在一个实施例中，所述处理器102在按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合时，用于：基于最优解算法将所述目标像素点和所述关联像素点进行拟合，得到初始局部车道线；根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合。
在一个实施例中，所述最优解算法包括最小二乘算法。
在一个实施例中，所述处理器102在根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合时，用于：按照预设的过滤算法对多个图像检测窗口得到的初始局部车道线中的各初始局部车道线进行过滤；滤除所述初始局部车道线中的错误局部车道线，得到所述车道线俯瞰图对应的局部车道线集合；所述预设的过滤算法是根据针对所述车道线的先验信息生成的。
在一个实施例中，所述处理器102在根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合时，用于：按照预设的用于判决局部车道线是否属于同一车道线的判决条件，从所述局部车道线集合中确定出局部车道线子集；根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合。
在一个实施例中，所述预设的用于判决局部车道线是否属于同一车道线的判决条件包括：基于局部车道线之间的方向差和/或欧式距离设置的条件。
在一个实施例中，所述局部车道线子集中包括局部车道线组；构成所述局部车道线组的至少两个局部车道线之间的方向差小于或等于预设方向差阈值；和/或，构成所述局部车道线组的至少两个局部车道线之间的欧式距离小于或等于预设距离阈值。
在一个实施例中，所述处理器102在根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合时，用于：根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线；如果构造的假设车道线中存在满足岔路口条件的假设车道线组，则对所述满足岔路口条件的假设车道线组进行拆分，得到两组假设车道线；其中，拆分后的每组假设车道线中不包括相同的局部车道线。
在一个实施例中，所述处理器102在基于预设的多假设求解规则从所述假设车道线集合中确定出目标车道线集合时，用于：基于预设的多假设求解规则的指示，将所述假设车道线集合划分得到至少两个假设车道线组，并确定各假设车道线组对应的假设权重分值；由最大的假设权重分值对应的假设车道线组中的假设车道线组成目标车道线集合；其中，所述假设权重分值是根据所述假设车道线组中的假设车道线的权重值确定的，所述假设车道线的权重值是根据所述针对车道线的先验信息确定的。
在一个实施例中，所述车道线的属性特征包括：所述车道线的几何特征和颜色特征，所述几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。
本实施例提供的移动平台能执行前述实施例提供的如图3和图6所示的车道线检测方法，且执行方式和有益效果类似，在这里不再赘述。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例所述的车道线检测方法的相关步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (34)
1.一种车道线检测方法，其特征在于，包括：
获取车道线的图像，并确定局部车道线集合；
根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；
从所述假设车道线集合中确定出目标车道线集合；
其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
2.根据权利要求1所述的方法，其特征在于，所述获取车道线的图像，并确定局部车道线集合，包括：
根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到所述车道线的图像；
根据所述车道线的图像生成车道线俯瞰图；
根据所述车道线俯瞰图确定局部车道线集合。
3.根据权利要求2所述的方法，其特征在于，根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到的是至少两个拍摄角度下的车道线的图像，所述根据所述车道线的图像生成车道线俯瞰图，包括：
基于所述至少两个拍摄角度下的车道线的图像生成车道线俯瞰图。
4.根据权利要求2所述的方法，其特征在于，所述根据所述车道线俯瞰图确定局部车道线集合，包括：
对所述车道线俯瞰图进行连通域分析处理，确定所述车道线俯瞰图中各像素点的连通域标签，其中，属于同一连通域的像素点被记录相同的连通域标签；
从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点；
按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合。
5.根据权利要求4所述的方法，其特征在于，所述从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点，包括：
按照预设尺寸的图像检测窗口在所述车道线俯瞰图上检测连通域；
在所述车道线俯瞰图上从位于所述图像检测窗口内的连通域中选取目标像素点；
将位于所述图像检测窗口内的连通域中，与所述目标像素点具有相同连通域标签的其他像素点作为关联像素点。
6.根据权利要求5所述的方法，其特征在于，所述按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合，包括：
基于最优解算法将所述目标像素点和所述关联像素点进行拟合，得到初始局部车道线；
根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合。
7.根据权利要求6所述的方法，其特征在于，所述最优解算法包括最小二乘算法。
8.根据权利要求6所述的方法，其特征在于，所述根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合，包括：
按照预设的过滤算法对多个图像检测窗口得到的初始局部车道线中的各初始局部车道线进行过滤；
滤除所述初始局部车道线中的错误局部车道线，得到所述车道线俯瞰图对应的局部车道线集合；
所述预设的过滤算法是根据针对所述车道线的先验信息生成的。
9.根据权利要求8所述的方法，其特征在于，所述根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，包括：
按照预设的用于判决局部车道线是否属于同一车道线的判决条件，从所述局部车道线集合中确定出局部车道线子集；
根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合。
10.根据权利要求9所述的方法，其特征在于，所述预设的用于判决局部车道线是否属于同一车道线的判决条件包括：基于局部车道线之间的方向差和/或欧式距离设置的条件。
11.根据权利要求9所述的方法，其特征在于，所述局部车道线子集中包括局部车道线组；
构成所述局部车道线组的至少两个局部车道线之间的方向差小于或等于预设方向差阈值；
和/或，构成所述局部车道线组的至少两个局部车道线之间的欧式距离小于或等于预设距离阈值。
12.根据权利要求9所述的方法，其特征在于，所述根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合，包括：
根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线；
如果构造的假设车道线中存在满足岔路口条件的假设车道线组，则对所述满足岔路口条件的假设车道线组进行拆分，得到两组假设车道线；
其中，拆分后的每组假设车道线中不包括相同的局部车道线。
13.根据权利要求12所述的方法，其特征在于，所述从所述假设车道线集合中确定出目标车道线集合，包括：
基于预设的多假设求解规则，从所述假设车道线集合中确定出目标车道线集合。
14.根据权利要求13所述的方法，其特征在于，所述基于预设的多假设求解规则，从所述假设车道线集合中确定出目标车道线集合，包括：
基于预设的多假设求解规则的指示，将所述假设车道线集合划分得到至少两个假设车道线组，并确定各假设车道线组对应的假设权重分值；
由最大的假设权重分值对应的假设车道线组中的假设车道线组成目标车道线集合；
其中，所述假设权重分值是根据所述假设车道线组中的假设车道线的权重值确定的，所述假设车道线的权重值是根据所述针对车道线的先验信息确定的。
15.根据权利要求1-14任一项所述的方法，其特征在于，所述车道线的属性特征包括：所述车道线的几何特征和颜色特征，所述几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。
16.一种车道线检测设备，所述车道线检测设备内置于移动平台中，其特征在于，所述车道线检测设备包括：存储器和处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取车道线的图像，并确定局部车道线集合；
根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合，所述先验信息包括：车道线的特征属性；
从所述假设车道线集合中确定出目标车道线集合；
其中，所述目标车道线集合包括至少一条目标车道线，每条目标车道线由所述假设车道线集合中的一条假设车道线构成，或者由至少两条假设车道线组合构成。
17.根据权利要求16所述的车道线检测设备，其特征在于，所述车道线检测设备还包括视觉传感器，所述处理器在获取车道线的图像，并确定局部车道线集合时，执行如下操作：
根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到所述车道线的图像；
根据所述车道线的图像生成车道线俯瞰图；
根据所述车道线俯瞰图确定局部车道线集合。
18.根据权利要求17所述的车道线检测设备，其特征在于，根据移动平台上设置的一个或多个视觉传感器在当前及历史时刻拍摄得到的是至少两个拍摄角度下的车道线的图像，所述处理器在根据所述车道线的图像生成车道线俯瞰图时，执行如下操作：
基于所述至少两个拍摄角度下的车道线的图像生成车道线俯瞰图。
19.根据权利要求17所述的车道线检测设备，其特征在于，所述处理器在根据所述车道线俯瞰图确定局部车道线集合时，执行如下操作：
对所述车道线俯瞰图进行连通域分析处理，确定所述车道线俯瞰图中各像素点的连通域标签，其中，属于同一连通域的像素点被记录相同的连通域标签；
从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点；
按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合。
20.根据权利要求19所述的车道线检测设备，其特征在于，所述处理器在从所述车道线俯瞰图的连通域中选取目标像素点，并确定与所述目标像素点具有相同连通域标签的关联像素点时，执行如下操作：
按照预设尺寸的图像检测窗口在所述车道线俯瞰图上检测连通域；
在所述车道线俯瞰图上从位于所述图像检测窗口内的连通域中选取目标像素点；
将位于所述图像检测窗口内的连通域中，与所述目标像素点具有相同连通域标签的其他像素点作为关联像素点。
21.根据权利要求20所述的车道线检测设备，其特征在于，所述处理器在按照预设的曲线拟合算法将所述目标像素点和所述关联像素点进行曲线拟合处理，得到局部车道线集合时，执行如下操作：
基于最优解算法将所述目标像素点和所述关联像素点进行拟合，得到初始局部车道线；
根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合。
22.根据权利要求21所述的车道线检测设备，其特征在于，所述最优解算法包括最小二乘算法。
23.根据权利要求21所述的车道线检测设备，其特征在于，所述处理器在根据多个图像检测窗口得到的初始局部车道线，得到局部车道线集合时，执行如下操作：
按照预设的过滤算法对多个图像检测窗口得到的初始局部车道线中的各初始局部车道线进行过滤；
滤除所述初始局部车道线中的错误局部车道线，得到所述车道线俯瞰图对应的局部车道线集合；
所述预设的过滤算法是根据针对所述车道线的先验信息生成的。
24.根据权利要求23所述的车道线检测设备，其特征在于，所述处理器在根据车道线的先验信息以及所述局部车道线集合构造假设车道线，得到假设车道线集合时，执行如下操作：
按照预设的用于判决局部车道线是否属于同一车道线的判决条件，从所述局部车道线集合中确定出局部车道线子集；
根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合。
25.根据权利要求24所述的车道线检测设备，其特征在于，所述预设的用于判决局部车道线是否属于同一车道线的判决条件包括：基于局部车道线之间的方向差和/或欧式距离设置的条件。
26.根据权利要求24所述的车道线检测设备，其特征在于，所述局部车道线子集中包括局部车道线组；
构成所述局部车道线组的至少两个局部车道线之间的方向差小于或等于预设方向差阈值；
和/或，构成所述局部车道线组的至少两个局部车道线之间的欧式距离小于或等于预设距离阈值。
27.根据权利要求24所述的车道线检测设备，其特征在于，所述处理器在根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线，得到假设车道线集合时，执行如下操作：
根据各局部车道线子集中的局部车道线，构造每个局部车道线子集对应的假设车道线；
如果构造的假设车道线中存在满足岔路口条件的假设车道线组，则对所述满足岔路口条件的假设车道线组进行拆分，得到两组假设车道线；
其中，拆分后的每组假设车道线中不包括相同的局部车道线。
28.根据权利要求27所述的车道线检测设备，其特征在于，所述处理器在从所述假设车道线集合中确定出目标车道线集合时，执行如下操作：
基于预设的多假设求解规则，从所述假设车道线集合中确定出目标车道线集合。
29.根据权利要求28所述的车道线检测设备，其特征在于，所述处理器在基于预设的多假设求解规则，从所述假设车道线集合中确定出目标车道线集合时，执行如下操作：
基于预设的多假设求解规则的指示，将所述假设车道线集合划分得到至少两个假设车道线组，并确定各假设车道线组对应的假设权重分值；
由最大的假设权重分值对应的假设车道线组中的假设车道线组成目标车道线集合；
其中，所述假设权重分值是根据所述假设车道线组中的假设车道线的权重值确定的，所述假设车道线的权重值是根据所述针对车道线的先验信息确定的。
30.根据权利要求16-29任一项所述的车道线检测设备，其特征在于，所述车道线的属性特征包括：所述车道线的几何特征和颜色特征，所述几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。
31.一种移动平台，其特征在于，包括：
动力***，用于为所述移动平台提供动力；
以及如权利要求16-30中任一项所述的车道线检测设备。
32.根据权利要求30所述的移动平台，其特征在于，所述移动平台还包括：视觉传感器；
所述视觉传感器安置在所述移动平台上，用于对车道线的图像进行拍摄，以得到至少两个拍摄角度下的车道线的图像。
33.根据权利要求32所述的移动平台，其特征在于，所述移动平台为车辆。
34.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，当所述程序指令在处理器上运行时，实现权利要求1-15任一项所述的车道线检测方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/077526 WO2020181426A1 (zh) | 2019-03-08 | 2019-03-08 | 一种车道线检测方法、设备、移动平台及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111213154A true CN111213154A (zh) | 2020-05-29 |
Family
ID=70790121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980004927.3A Pending CN111213154A (zh) | 2019-03-08 | 2019-03-08 | 一种车道线检测方法、设备、移动平台及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111213154A (zh) |
| WO (1) | WO2020181426A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559659A (zh) * | 2020-12-10 | 2021-03-26 | 首都师范大学 | 电子地图的生成方法及设备、行驶数据的采集方法及设备 |
| CN113378719A (zh) * | 2021-06-11 | 2021-09-10 | 许杰 | 车道线的识别方法、装置、计算机设备和存储介质 |
| CN113723382A (zh) * | 2021-11-03 | 2021-11-30 | 深圳佑驾创新科技有限公司 | 车道线提点的方法、装置和计算机设备 |
| CN115240435A (zh) * | 2022-09-21 | 2022-10-25 | 广州市德赛西威智慧交通技术有限公司 | 一种基于ai技术的车辆违章行驶检测方法、装置 |
| CN115359378A (zh) * | 2022-10-22 | 2022-11-18 | 长岛国家海洋公园管理中心(庙岛群岛海豹省级自然保护区管理中心) | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104670229A (zh) * | 2013-11-28 | 2015-06-03 | 现代摩比斯株式会社 | 假想车道线生成装置与方法及车道线保持控制*** |
| US20160314360A1 (en) * | 2015-04-23 | 2016-10-27 | Honda Motor Co., Ltd. | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof |
| CN107045629A (zh) * | 2017-04-19 | 2017-08-15 | 南京理工大学 | 一种多车道线检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101163446B1 (ko) * | 2009-03-18 | 2012-07-18 | 기아자동차주식회사 | 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템 |
-
2019
- 2019-03-08 WO PCT/CN2019/077526 patent/WO2020181426A1/zh active Application Filing
- 2019-03-08 CN CN201980004927.3A patent/CN111213154A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104670229A (zh) * | 2013-11-28 | 2015-06-03 | 现代摩比斯株式会社 | 假想车道线生成装置与方法及车道线保持控制*** |
| US20160314360A1 (en) * | 2015-04-23 | 2016-10-27 | Honda Motor Co., Ltd. | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof |
| CN107045629A (zh) * | 2017-04-19 | 2017-08-15 | 南京理工大学 | 一种多车道线检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559659A (zh) * | 2020-12-10 | 2021-03-26 | 首都师范大学 | 电子地图的生成方法及设备、行驶数据的采集方法及设备 |
| CN112559659B (zh) * | 2020-12-10 | 2021-12-24 | 首都师范大学 | 电子地图的生成方法及设备、行驶数据的采集方法及设备 |
| CN113378719A (zh) * | 2021-06-11 | 2021-09-10 | 许杰 | 车道线的识别方法、装置、计算机设备和存储介质 |
| CN113378719B (zh) * | 2021-06-11 | 2024-04-05 | 北京清维如风科技有限公司 | 车道线的识别方法、装置、计算机设备和存储介质 |
| CN113723382A (zh) * | 2021-11-03 | 2021-11-30 | 深圳佑驾创新科技有限公司 | 车道线提点的方法、装置和计算机设备 |
| CN113723382B (zh) * | 2021-11-03 | 2022-04-26 | 深圳佑驾创新科技有限公司 | 车道线提点的方法、装置和计算机设备 |
| CN115240435A (zh) * | 2022-09-21 | 2022-10-25 | 广州市德赛西威智慧交通技术有限公司 | 一种基于ai技术的车辆违章行驶检测方法、装置 |
| CN115359378A (zh) * | 2022-10-22 | 2022-11-18 | 长岛国家海洋公园管理中心(庙岛群岛海豹省级自然保护区管理中心) | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 |
| CN115359378B (zh) * | 2022-10-22 | 2023-03-24 | 长岛国家海洋公园管理中心(庙岛群岛海豹省级自然保护区管理中心) | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020181426A1 (zh) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084095B (zh) | 车道线检测方法、车道线检测装置和计算机存储介质 | |
| CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN111213154A (zh) | 一种车道线检测方法、设备、移动平台及存储介质 | |
| CN110147706B (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
| CN110148144B (zh) | 点云数据的分割方法和装置、存储介质、电子装置 | |
| Awrangjeb et al. | An automatic and threshold-free performance evaluation system for building extraction techniques from airborne LIDAR data | |
| WO2022188663A1 (zh) | 一种目标检测方法及装置 | |
| CN109658454B (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
| CN110163039B (zh) | 判定车辆行驶状态的方法、设备、存储介质以及处理器 | |
| CN110163109B (zh) | 一种车道线标注方法及装置 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN108010065A (zh) | 低空目标快速检测方法及装置、存储介质及电子终端 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| CN115410181A (zh) | 双头解耦对齐的全场景目标检测方法、***、装置及介质 | |
| CN115457358A (zh) | 一种图像与点云的融合的处理方法、装置和无人车 | |
| CN115327524A (zh) | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 | |
| CN103578105A (zh) | 一种基于区域特征的多源异类图像配准方法 | |
| Duarte et al. | Damage detection on building façades using multi-temporal aerial oblique imagery | |
| CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及*** | |
| CN111259709B (zh) | 基于弹性多边形的停车位结构检测模型的训练方法 | |
| CN116486130A (zh) | 障碍物识别的方法、装置、自移动设备及存储介质 | |
| CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200529 |
|
| WD01 | Invention patent application deemed withdrawn after publication |