CN113807333B - 用于检测车道线的数据处理方法及存储介质 - Google Patents
用于检测车道线的数据处理方法及存储介质 Download PDFInfo
- Publication number
- CN113807333B CN113807333B CN202111375395.XA CN202111375395A CN113807333B CN 113807333 B CN113807333 B CN 113807333B CN 202111375395 A CN202111375395 A CN 202111375395A CN 113807333 B CN113807333 B CN 113807333B
- Authority
- CN
- China
- Prior art keywords
- sampling
- lane line
- sampling point
- image
- point data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000005070 sampling Methods 0.000 claims abstract description 257
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请是关于一种用于检测车道线的数据处理方法及存储介质。该方法包括:按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,其中所述第一预设规则用于获取所述图像y方向的像素坐标;将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据;按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,所述第二预设规则用于过滤所述无人车的坐标系下的车道线上的非目标采样点;对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出。本申请提供的用于检测车道线的数据处理方法及存储介质,能够为自动驾驶***提供高质量的车道线数据。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种用于检测车道线的数据处理方法及存储介质。
背景技术
随着人工智能、自动驾驶等技术的发展,车路一体化技术也越来越成熟,在自动驾驶过程中,高精度地图起到了高精度定位、辅助环境感知、规划与决策等功能。高精度地图可以帮助汽车预先感知路面复杂信息,如车道线、坡度、曲率以及航向等,结合智能路径规划,让汽车做出正确决策。由此可知,在高精度地图中精确的车道线或其他路面标志信息能够帮助高精度地图关键交通要素的生成,是实现自动驾驶的重要条件之一,而车道线利用语义分割算法进行拟合的方案容易出现误识别以及出现杂点的情况,降低了车道线或其他路面标志信息的拟合精度,进而影响高精度地图的精度。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种用于检测车道线的数据处理方法及存储介质,能够为自动驾驶***提供高质量的车道线数据。
本申请第一方面提供一种用于检测车道线的数据处理方法,包括:
按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,其中所述第一预设规则用于获取所述图像y方向的像素坐标;
将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据;
按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,所述第二预设规则用于过滤所述无人车的坐标系下的车道线上的非目标采样点;
对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出。
在一种实施方式中,所述按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,包括:
获取分割图像,所述分割图像为对车道线图像语义分割得到的图像;
对所述分割图像中的车道线像素不等间隔采样,得到所述至少一条车道线分布不均的多个采样像素坐标。
在一种实施方式中,所述对所述分割图像中的车道线像素不等间隔采样包括:
沿所述图像y方向从分割图像的底部到顶部至少划分成两个区域;
对每个区域中对应的车道线像素以预设间隔做等间隔采样,不同区域中所设置的预设间隔不同。
在一种实施方式中,所述对每个区域中对应的车道线像素以预设间隔做等间隔采样,包括:
沿所述图像y方向从所述分割图像的底部到顶部划分为第一区域、第二区域和第三区域;
将位于所述第一区域中所述车道线像素以5个像素为间隔采样,将位于所述第二区域中所述车道线像素点以3个像素为间隔采样,将位于所述第三区域中的所述车道线像素以2个像素为间隔采样。
在一种实施方式中,所述对所述分割图像中的车道线像素不等间隔采样,包括:
在所述无人车的坐标系下对所述车道线像素以预设距离为间隔等间隔选取车道线像素点;
将所述车道线像素点利用内外参反算至所述分割图像。
在一种实施方式中,所述将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据,包括:
利用所述分割图像中所述车道线作为连通域,选取所述连通域的两个边界;
选取所述采样像素坐标中位于所述两个边界的中点;
将所述中点转换为无人车的坐标系中的点,得到所述采样点数据。
在一种实施方式中,所述按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,包括:
将所述多个采样点数据排序;
从顺序排布的所述多个采样点数据的一端为起点,从所述起点以连续的两个以上所述采样点数据作为滑窗,并向另一端以预设的步长移动所述滑窗;
计算所述滑窗中的所述多个采样点数据的均值和方差;
基于所述均值和方差获取引起所述方差最大的采样点数据,判断该采样点数据到均值的距离是否大于第一门限,若是,则删除该采样点数据。
在一种实施方式中,所述按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,包括:
将所述多个采样点数据排序;
从顺序排布的所述多个采样点数据的一端为起点,从所述起点以连续的两个以上所述采样点数据作为初始滑窗,将所述初始滑窗以1m的步频0.5m向另一端移动形成移动滑窗;
若所述移动滑窗中位于两端的采样点数据之间存在其他采样点数据,则继续移动所述移动滑窗,否则删除所述移动滑窗中远离所述起点端的采样点数据以及之后的其它采样点数据。
在一种实施方式中,所述对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出,包括:
采用随机采样一致算法对所述目标采样点集合进行多次迭代曲线拟合处理而输出曲线,识别所输出的曲线的曲率半径,当曲率半径大于250m时,则输出所述曲线作为车道线,否则放弃输出。
本申请第二方面提供一种存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果:
本申请实施例提供的方法,按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,其中所述第一预设规则用于获取图像y方向的像素坐标;将多个采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据;按照第二预设规则过滤多个采样点数据,得到目标采样点集合,第二预设规则用于过滤无人车的坐标系下的车道线上的非目标采样点;对目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出车道线,否则放弃输出。能够将分割图像中的包含车道线信息的像素点进行滤除,以避免语义分割时出现的误识别点和杂点影响车道线的拟合精度。并且在滤除误识别点和杂点时,为了能够有效的滤除对应的点,提高滤除速度和效果,降低滤除难度,故将包含车道线信息的像素点通过转换至无人车的坐标系下点的方式,由于基于无人车的坐标系下对应的车道线的能够表现出线性的物理距离,在基于此坐标系下对车道线的像素进行过滤处理时,能够提高杂点、误识别点的识别精度和过滤精度,简化了过滤算法。再将过滤后得到的目标采样点集合进行曲线拟合处理后,所得到的曲线精度更高,选取符合条件的拟合曲线输出作为车道线信息,有利于高精地图中车道线信息的精度,为自动驾驶提供有用的车道线信息。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的用于检测车道线的数据处理方法第一流程示意图;
图2是本申请实施例示出的用于检测车道线的数据处理方法第二流程示意图;
图3是本申请实施例示出的用于检测车道线的数据处理方法第三流程示意图;
图4是本申请实施例示出的用于检测车道线的数据处理方法第四流程示意图;
图5是本申请实施例示出的用于检测车道线的数据处理方法第五流程示意图;
图6是本申请实施例示出的用于检测车道线的数据处理方法第六流程示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
相关技术中,高精度地图中在制作车道线或其他路面标志信息时,一般需要通过数据采集、加工、转换等步骤最终得到高精度地图所需数据信息。以获得高精度地图所需的车道线为例,通过安装在汽车上和/或道路上的传感器使得汽车在道路上行驶的过程中进行数据采集,以得到车道线的图像信息。之后,对采集到的图像信息利用语义分割进行处理,由于语义分割大都是基于视觉的深度学习方案,在进行分割算法时不可避免的会出现一些误识别以及一些杂点出现的情况,在进行车道线的拟合时,杂点以及误识别的点都严重影响了车道线的拟合精度。
并且,现有的车道线拟合方案,在对图像语义分割后得到具有多个像素的分割图像后,一般是在图像面或将图像转换到俯视图下进行曲线拟合,这种方式由于图像坐标系下单个像素表现的物理距离不是线性的,会使得相应用于过滤点的算法变得异常复杂,导致杂点滤除的难度加大。
可以理解的是,对于安装在汽车上和/或道路上的传感器可以包括激光雷达和摄像头等图像采集装置,以获取图像数据,在此不做详细说明。
针对上述问题,本申请提供了一种用于检测车道线的数据处理方法,以对语义分割后的图像进行处理,能够有效滤除杂点和误识别点,提高车道线的拟合精度,进而保证高精度地图中制得的车道线精度。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的用于检测车道线的数据处理方法第一流程示意图。
参见图1,该方法包括:
S101、按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,其中第一预设规则用于获取图像y方向的像素坐标。
S102、将多个采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据。
S103、按照第二预设规则过滤多个采样点数据,得到目标采样点集合,第二预设规则用于过滤无人车的坐标系下的车道线上的非目标采样点。
S104、对目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出车道线,否则放弃输出。
可选地,基于图像,可以建立图像坐标系,图像坐标系的原点位于图像的左上角,图像y方向为图像左上角到左下角的竖直延伸方向,图像x方向为图像左上角到右上角的水平延伸方向。基于具有图像坐标系的图像,在对其进行语义分割以获取分割图像时,分割图像中的各像素同时具有了在图像坐标系下的坐标信息,后续不再单独强调。
本申请实施例中,可以先通过设置于道路上的监控***作为图像采集设备,以获取至少包括车辆以及与车道线相关的道路环境对象而得到具有区域性的图像,再基于此图像按照第一预设规则获取至少一条车道线的多个采样像素坐标。
与通过分割图像得到的包含车道线类别的像素点直接提取作为车道线信息输出形成高精地图的车道线相比,我们对分割图像中包含车道线类别的像素点进行进一步的处理,而能够将分割图像中的包含车道线信息的像素点进行滤除分割时的杂点以及误识别的点等非目标采样点,以避免语义分割时出现的误识别点和杂点影响车道线的拟合精度。
并且在滤除误识别点和杂点时,为了能够有效的滤除对应的点,提高滤除速度和效果,降低滤除难度,故将包含车道线信息的像素点通过转换至无人车的坐标系下点的方式,由于基于无人车的坐标系下对应的车道线上的点能够表现出线性的物理距离,在基于此坐标系下对车道线对应的像素点进行过滤处理时,能够提高杂点、误识别点的识别精度和过滤精度,简化了过滤算法。
再将过滤后得到的目标采样点集合进行曲线拟合处理后,所得到的曲线精度更高,选取符合条件的拟合曲线输出作为车道线信息,有利于高精地图中车道线信息的精度,为自动驾驶提供有用的车道线信息。
具体地,参见图2,是本申请实施例示出的用于检测车道线的数据处理方法第二流程示意图。按照第一预设规则从图像中获取至少一条车道线中多个采样像素坐标,可以包括:
S1011、获取分割图像,分割图像为对车道线图像语义分割得到的图像。
在该步骤中,用于语义分割的图像为通过图像采集设备对车辆在具有车道线的道路上行驶的环境下采集到的图像信息。该图像信息采集所得到的至少包括车辆以及车道线等具有区域性的图像。
选取上述中的二维图像,对其进行语义分割,得到分割图像。可以理解的是,在对图像进行语义分割时,所得到的分割图像不仅为像素级的多个像素,而且同时包含类别信息,不同类别之间的像素可以通过不同的颜色标记。而本实施例中所要获得的车道线类别被标记为相同颜色的多个像素的集合,如图像中存在多条车道线,多条车道线属于同一车道线类别,则属于车道线的像素均被标记为相同的颜色,在此不做详细说明。
在此需要强调的是,通过语义分割获取像素级的类别信息时所采用具体的语义分割方法可以选用例如以卷积神经网络为代表的基于卷积神经网络的语义分割方法,也可以为其他的方式,在此不做具体限定。
S1012、对分割图像中的车道线像素不等间隔采样,得到至少一条车道线分布不均的多个采样像素坐标。
在该步骤中,以选取一条车道线为例,将所选取的一条车道线所包含的所有像素作为一个像素组,对分割图像中的该条车道线进行不等间隔采样来选取像素。
可以理解的是,对分割图像中的车道线像素不等间隔采样是基于图像所拍摄的图片为基准,在该图片中,以车道线的延伸方向车道线由远及近排布,车辆位于其中的两条车道线之间。为了保证所获取的车道线的精度,车道线上像素的采集需要根据图片中车道线的变化而做出相应调整。所以说,由于车道线在图像中为由近到远的延伸,对于属于车道线像素的采集也需要调整为不等间隔采样,才能够保证在图像上所采样的像素更符合实际车道线上的采样需求,也就意味着所采样的实际车道线像素更均匀,这样所获取到的像素在进行后处理时才有利于所得到的拟合车道线为较高的精度。
分割图像中的车道线像素不等间隔采样的具体实现手段可以包括:
在一种实施例中,可以基于分割图像中属于车道线的像素进行采样,以一条车道线的像素组为例。
参见图3,是本申请实施例示出的用于检测车道线的数据处理方法第三流程示意图。
S10201、沿图像y方向从分割图像的底部到顶部至少划分成两个区域。
S10202、对每个区域中对应的车道线像素以预设间隔做等间隔采样,不同区域中所设置的预设间隔不同。
在选取该方式进行不等间隔采样时,对分割图像区域的划分可以存在多种不同的形式以及数量的变化。例如,沿图像y方向,车道线沿分割图像的底部到顶部延伸,底部为车道线的近景,并从底部到顶部方向将分割图像中的车道线划分成第一区域、第二区域、第三区域……第N区域,本申请以划分成三个在分割图像上相等的区域为例,但并不限于此。在三个区域中将车道线像素分别以预设间隔采样,其中,第一区域的预设间隔>第二区域的预设间隔>第三区域的预设间隔,以获得最终的采样像素坐标。
对于所设置的预设间隔,根据分割图像划分的形状、数量等的不同,不同区域中所设置的具体的预设间隔也会有所不同,在此不做具体限定。仍然以上述中所划分的等区域的三个区域为例,在第一区域中预设间隔可以设置为以5个像素为间隔,第二区域中预设间隔可以设置为以3个像素为间隔,第三区域中预设间隔可以设置为以2个像素为间隔。这样在分割图像的图像坐标系下,越靠近底部,单个像素沿多个区域的排布方向(底部到顶部的图像y方向)所对应的物理距离越短。
在分割图像中,车道线的延伸方向不与y方向重合。如一个720*480像素的分割图像,在图像y方向360-480 pix作为第一区域,其采样的预设间隔为5个像素,300-360pix作为第二区域,其采样的预设间隔为3个像素,240-300pix作为第三区域,其采样的预设间隔为2个像素。
在一种实施例中,对分割图像中的车道线不等间隔采样也可以基于无人车的坐标系下的车道线进行采样后反算到分割图像中,同样以一条车道线的像素组为例。可以理解的是,无人车的坐标系,是基于图像所对应的三维环境下,以该车辆中车尾位置相对两侧身的中点,且以地面为基准平面,所建立的无人车的坐标系。
参见图4,是本申请实施例示出的用于检测车道线的数据处理方法第四流程示意图。
S101211、获取无人车的坐标系下的车道线像素。
S101212、在无人车的坐标系下对车道线像素以预设距离为间隔等间隔选取采样车道点。
S101213、将采样车道点利用内外参反算至图像坐标系下的分割图像,得到一条车道线在分割图像上分布不均的多个采样像素坐标。
具体地,在获取的图像中,不仅包含了车道线,而且包含有无人车行驶在道路中,以无人车为基准,可以建立一个无人车的坐标系,该无人车的坐标系中,建立其目的在于能够通过无人车的坐标系下获取的像素的点通过与图像坐标系下的像素建立映射关系,进而通过反算等手段实现对车道线相关像素的选取。我们所获取的目标为车道线对应的像素,为了得到精度较高的车道线,所以无人车的坐标系中的原点需要建立在地面上,使得地面上的像素在移动设备坐标系中表现出来的高度一致。因此,无人车的坐标系的原点可以为基于无人车的尾部位置相对两侧身的中点,x方向为相对两条车道线的对称中心线垂直的方向,y方向为相对两条车道线平行的方向,z方向为垂直于地面的方向且原点位于地面。无人车的坐标系与图像坐标系相比,两者的x方向和y方向并不重合。
在无人车的坐标系下,对应图像中的车道线被赋予了长度信息,例如,一条车道线的长度为120米,该车道线在移动设备坐标下标记为0-120米,以每间隔3米为间隔采样距离,选取车道线上对应的点。然后再利用内外参反算到图像坐标系下,所选取车道线上对应的点在图像坐标下图像y方向对应的车道线上的像素则选取作为采样像素坐标。基于无人车的坐标系下等间隔采样的点利用与图像坐标系下的分割图像所建立的对应关系,而获取图像坐标系下的采样像素坐标,提高了车道线的像素点选取的精度,避免误识别和错识别,有利于后处理时车道线拟合的精度。
可选地,将从无人车的坐标系下获取的车道线像素点利用内外参反算至图像坐标系下的分割图像中,属于一种常规的技术手段,其目的在于能够建立无人车的坐标系下的图像中像素点与图像坐标系下的像素点的对映射关系,其具体实现方式在此不做具体限定。基于无人车的坐标系下识别为车道线类别并采用等间隔采样得到的车道线像素点映射到图像坐标系下时,寻找以车道线像素点匹配的像素找到与之具有映射关系的车道线像素而作为采样像素坐标,此种方式所得到的多个采样像素坐标,在图像坐标系下表现出来的为不等间隔,且基于无人车的坐标系下所获取的车道线像素点比直接在图像坐标系下采样的车道线像素的准确度更多,降低了误识别和错识别的情况。
可以理解的是,对于将分割图中的车道线不等间隔采样的实现手段可以包括多种,例如,也可以通过log算法直接对分割图像中一条车道线的像素组中的像素进行不等间隔采样:y=ord_num*np.log(gt)/np.log(beta),其中,ord_num为采样的像素数量,beta为最远的采样距离,gt为[0-beta]等间隔采样的像素的点,其具体算法和实现手段在此不做详细说明。
需要强调的是,用于将分割图中的车道线不等间隔采样的方法并不限定于上述几种具体的实现手段,也可以为其他能够实现分割图中对车道线不等间隔采样而得到实际较为均匀的多个像素,以提高融合形成车道线的精度,在此不做具体限定。
将多个采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据。基于通过上述方式所获得的基于图像坐标系下的多个采样像素坐标,所获取的采样像素坐标为在分割图像中呈不同形状不均匀排布,且由于车道线本身在是具有一定宽度的,所以车道线在宽度方向(即x方向)所采集的一个采样像素坐标可以包括多个子像素,位于最外侧的两个子像素相对远离的边缘分别形成车道线的左右两侧边缘。为了保证融合得到的车道线为有效车道线信息,提高车道线的精度,获得多个采样点数据的方法可以包括:
利用分割图像中车道线作为连通域,选取连通域的两个边界;
选取采样像素坐标中位于两个边界的中点;
将中点转换为无人车的坐标系中的点,得到采样点数据。
具体地,基于图像坐标系下的分割图像,利用分割图像中的车道线作为连通域,在该连通域中具有两个边界,对于一条车道线来说,多个采样像素坐标的集合构成了连通域。以其中的一个采样像素坐标为例,一个采样像素坐标对应连通域的两个边界为采样像素坐标在x方向两个最外侧的边缘。可选地,采样像素坐标可以包括多个子像素,位于最外侧的两个子像素相对远离一侧的边缘分别对应连通域的两个边界。为了便于车道线的融合,利用连通域的两个边界,选取采样像素坐标中对应两个边界的中点,再将中点根据对应关系转换到无人车的坐标系下,得到采样点数据。以此类推,分别对沿y方向不等间隔采样得到的多个采样像素坐标按此种方式处理后最终得到无人车的坐标系下的多个采样点数据。通过统一车道线上像素的采样标准,仅通过采样得到多个点的形式,使得多个点转换到无人车的坐标系后进行拟合而更容易得到更为精准的车道线信息。
同样的,将图像坐标系下的中点转换为无人车的坐标系中的点也是基于两者事先所建立的映射关系,在此不做详细说明。
按照第二预设规则过滤多个采样点数据,得到目标采样点集合。图5是本申请实施例示出的用于检测车道线的数据处理方法第五流程示意图;图6是是本申请实施例示出的用于检测车道线的数据处理方法第六流程示意图。以下在上述中所获得的无人车的坐标系下的多个采样点数据基础上,对如何获取目标采样点集合进行举例说明,但并不限于以下几种具体实施方式。
参见图5,在一种实施例中,按照第二预设规则过滤多个采样点数据,得到目标采样点集合,包括:
S10301、将多个采样点数据排序。
S10302、从顺序排布的多个采样点数据的一端为起点,从起点以连续的两个以上采样点数据作为滑窗,并向另一端以预设的步长移动滑窗。
S10303、计算滑窗中的多个采样点数据的均值和方差。
S10304、基于均值和方差获取引起方差最大的采样点数据,判断该采样点数据到均值的距离是否大于第一门限,若是,则删除该采样点数据。
在上述步骤中,以一条车道线为例,对于每个采样像素坐标,上述利用连通域的边界选取中点作为采样点数据,以获得多个采样点数据的方式中,可以理解的是,在获取采样像素数据中就存在了混入误识别、错识别的杂点,即非目标采样点,为了能够便于滤除杂点,在滤除前对具有宽度的采样像素坐标进行处理以获得多个采样点数据,通过对多个采样点数据的滤除即可方便有效的得到目标采样点集合的车道线信息。
具体地,选取多个采样点数据,多个采样点数据为在无人车的坐标系下沿y方向顺序排布的多个点的集合,且各采样点数据在y方向基于无人车的坐标系能够对应有不同的数值,选取该采样点数值的集合,以集合中沿y方向最靠近分割图像底部的采样像素坐标对应的采样点数据作为一端的起点,最靠近分割图像顶部的采样像素坐标对应的采样点数据作为另一端的终点。在该集合中,通过建立的一个滑窗将起点以及与其相邻的至少一个采样点数据框选在滑窗内,滑窗从起点向终点的方向移动,每次移动预设的步长而建立新的滑窗,滑窗的长度以及框选的采样点数据的数量不变。在每个滑窗中,计算滑窗内的多个采样点的均值和方差,基于均值和方差获取得到滑窗内某个引起方差最大的采样点数据,对该采样点数据进行判断,当该采样点数据到均值的距离大于第一门限时,代表该采样点数据可能为车道线的杂点,则删除该非目标采样点,否则保留,保留下来的采样点数据以及滑窗内的其他采样点数据均作为目标采样点集合中的一个数据,至集合中的所有采样点数据均通过滑窗的方式过滤掉杂点,得到多个目标采样点集合。以通过此种滑窗的方式,对集合中的多个采样点数据分别进行对比,以过滤掉车道线两侧某些误选取的非目标采样点,避免杂点影响车道线的拟合精度,有利于提高高精度地图中车道线的精度。
以框选5个采样点数据的滑窗、预设的步长为每次向终点方向滑窗移动一个采样点数据的集合为例,从起点顺序排布的采样点数据集合的数据中包括1.16,1.21,1.22,1.27,1.7,1.3,1.31……,以起点为基准建立的滑窗中第一组数据为{1.16,1.21,1.22,1.27,1.7},在该滑窗中,对5个采样点数据求均值和方差,mean=1.312,var=0.155,找到引起方差最大的元素1.7,计算该元素到均值的距离为0.388,判断0.388>2*0.155,则去除1.7。
在此基础上,向终点方向移动一个采样点数据的滑窗,得到滑窗内新的采样点数据为{1.21,1.22,1.27,1.3,1.31 },在该滑窗中的采样点数据,由于上次的滑窗已经将1.7的采样点过滤掉,所以在此滑窗中,虽然仅移动了一个采样点数据,但是为了保证滑窗中始终维持在5个点的数据,故将后面的采样点数据补足到滑窗内。在该新的采样点数据组成的滑窗中,计算五个采样点数据的均值和方差,mean=1.262,var=0.038,找到引起方差最大的元素1.21,计算该元素到均值的距离为0.052,0.052<2*0.038,则保留1.21以及其他数据对应的采样点数据均作为目标采样点集合中一个数据。
根据上述的方式不断移动滑窗、计算滑窗中新的采样点数据对应的均值和方差,以过滤掉奇异的杂点,至滑窗中最后的数据对应的采样点为终点,所留下来的所有数据对应的采样点组合形成目标采样点集合。可以理解的是,第一门限是根据计算后的均值和方差所得到的对应数据,并不限制于某一具体数值。
可选地,对于滑窗框选的采样点数据的数量以及预设的步长的设置也可以为其他的数据,其目的在于能够过滤掉多个采样点中的杂点,在此不做一一列举。
参见图6,在一种实施例中,按照第二预设规则过滤多个采样点数据,得到目标采样点集合,包括:
S10311、将多个采样点数据排序。
S10312、从顺序排布的多个采样点数据的一端为起点,从起点以连续的两个以上采样点数据作为初始滑窗,以1m的步频0.5m向另一端移动形成移动滑窗。
S10313、若移动滑窗中位于两端的采样点数据之间存在其他采样点数据,则继续移动该移动滑窗,否则删除移动滑窗中远离起点端的采样点数据以及之后的其它采样点数据。
在上述步骤中,以一条车道线为例,基于无人车的坐标系下,一般车道线在y方向具有连续性,如果某个点在y方向离车道线较远,超过1米以内没有其他的点在他们中间,则认为是杂点需要过滤掉。具体地,选取该车道线中采样点数据的集合,以集合中沿y方向最靠近分割图像底部的采样像素坐标对应的采样点数据作为一端的起点,最靠近分割图像顶部的采样像素坐标对应的采样点数据作为另一端的终点。在该集合中,通过建立的一个滑窗,将起点以及与其相邻的至少两个连续的采样点数据框选在滑窗中,沿终点的方向以1m步频0.5米移动滑窗,在每个滑窗中,判断位于滑窗内位于两个最外端的采样点之间是否存在其他采样点数据,若是,则移动到下一个滑窗,若否,则删除滑窗内靠近终点一侧的采样点数据以及与其相邻的一个滑窗距离的采样点数据。此种过滤的方式,适用于过滤掉车道线延长线上以及相邻车道线较远距离中误识别的杂点。当滑窗在滑动过程中遇到两端的采样点数据之间不存在其他采样点数据时,将靠近终点一侧的采样点数据以及对应该采样点数据的下一滑窗中的采样点数据全部删除,表示形成该线段的采样点数据可能为相邻车道线上的线段或车道线延长线上间隔的其他车道线线段,属于误识别到本车道线的情况,从而通过多个采样点数据同时滤除的方式过滤异常线段,剔除混入该条车道线采样点数据中的一系列杂点。
可以理解的是,在将采样点数据中的杂点过滤得到目标采样点集合时,可以采用上述过滤方式以及其他过滤方式中的一种或多种的组合,在此不做具体限定。
对目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出车道线,否则放弃输出。在该步骤中,通过将采样点进行杂点的过滤得到目标采样点后,对目标采样点进行曲线拟合,从而得到车道线。为了能够使得目标采样点最终所拟合得到的曲线精度更高,以提高车道线的精度信息,可以采用随机采样一直算法对目标采样点进行多次迭代的曲线拟合以得到效果较好的曲线作为车道线输出。
可选地,为了得到拟合效果较好的车道线,在对目标采样点集合中的多个目标采样点进行多次迭代的拟合中,将最终拟合得到的曲线计算出其曲率半径,若该曲率半径在大于250m时,则认为是比较好的车道线拟合而作为车道线信息输出;若曲率半径小于250m时,则认为不是好的车道线拟合,则放弃此条车道线的输出。
本申请提供的用于检测车道线的数据处理方法可以基于电子设备实现,电子设备可以是任意具有计算单元的设备,如计算机、服务器、手持设备(如智能手机、平板电脑等)、或行车记录仪等,本申请实施例在此不做具体限定。
该电子设备包括存储器和处理器。处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital SignalProcessor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括各种类型的存储单元,例如***内存、只读存储器(ROM),和永久存储装置。其中,ROM可以存储处理器或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。***内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器上存储有可执行代码,当可执行代码被处理器处理时,可以使处理器执行上文述及的方法中的部分或全部步骤。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种用于检测车道线的数据处理方法,其特征在于:包括:
按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,其中所述第一预设规则用于获取所述图像y方向的像素坐标,所述车道线的延伸方向不与所述y方向重合;
将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据;
按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,所述第二预设规则用于过滤所述无人车的坐标系下的车道线上的非目标采样点;
对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出;
其中,所述按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,包括:
获取分割图像,所述分割图像为对所述车道线图像语义分割得到的图像;
对所述分割图像中的车道线像素不等间隔采样,得到所述至少一条车道线分布不均的多个采样像素坐标;
所述对所述分割图像中的车道线像素不等间隔采样包括:
沿所述图像y方向从所述分割图像的底部到顶部至少划分成两个区域;
对每个区域中对应的所述车道线像素以预设间隔做等间隔采样,不同区域中所设置的预设间隔不同;或者,
在所述无人车的坐标系下对所述车道线像素以预设距离为间隔等间隔选取车道线像素点;
将所述车道线像素点利用内外参反算至所述分割图像。
2.根据权利要求1所述的方法,其特征在于:所述对每个区域中对应的所述车道线像素以预设间隔做等间隔采样,包括:
沿所述图像y方向从所述分割图像的底部到顶部划分为第一区域、第二区域和第三区域;
将位于所述第一区域中所述车道线像素以5个像素为间隔采样,将位于所述第二区域中所述车道线像素以3个像素为间隔采样,将位于所述第三区域中的所述车道线像素以2个像素为间隔采样。
3.根据权利要求1所述的方法,其特征在于:所述将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据,包括:
利用所述分割图像中所述车道线作为连通域,选取所述连通域的两个边界;
选取所述采样像素坐标中位于所述两个边界的中点;
将所述中点转换为无人车的坐标系中的点,得到所述采样点数据。
4.根据权利要求1-3中任一项所述的方法,其特征在于:所述按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,包括:
将所述多个采样点数据排序;
从顺序排布的所述多个采样点数据的一端为起点,从所述起点以连续的两个以上所述采样点数据作为滑窗,并向另一端以预设的步长移动所述滑窗;
计算所述滑窗中的所述多个采样点数据的均值和方差;
基于所述均值和方差获取引起所述方差最大的采样点数据,判断该采样点数据到均值的距离是否大于第一门限,若是,则删除该采样点数据。
5.根据权利要求1-3中任一项所述的方法,其特征在于:所述按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,包括:
将所述多个采样点数据排序;
从顺序排布的所述多个采样点数据的一端为起点,从所述起点以连续的两个以上所述采样点数据作为初始滑窗,将所述初始滑窗以1m的步频0.5m向另一端移动形成移动滑窗;
若所述移动滑窗中位于两端的采样点数据之间存在其他采样点数据,则继续移动所述移动滑窗,否则删除所述移动滑窗中远离所述起点端的采样点数据以及之后的其它采样点数据。
6.根据权利要求1-3中任一项所述的方法,其特征在于:所述对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出,包括:
采用随机采样一致算法对所述目标采样点集合进行多次迭代曲线拟合处理而输出曲线,识别所输出的曲线的曲率半径,当曲率半径大于250m时,则输出所述曲线作为车道线,否则放弃输出。
7.一种存储介质,其特征在于,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111375395.XA CN113807333B (zh) | 2021-11-19 | 2021-11-19 | 用于检测车道线的数据处理方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111375395.XA CN113807333B (zh) | 2021-11-19 | 2021-11-19 | 用于检测车道线的数据处理方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807333A CN113807333A (zh) | 2021-12-17 |
CN113807333B true CN113807333B (zh) | 2022-03-18 |
Family
ID=78937488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111375395.XA Active CN113807333B (zh) | 2021-11-19 | 2021-11-19 | 用于检测车道线的数据处理方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807333B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114435402B (zh) * | 2022-02-16 | 2024-05-31 | 智道网联科技(北京)有限公司 | 一种车道线平滑方法、装置和电子设备 |
CN114581890B (zh) * | 2022-03-24 | 2023-03-10 | 北京百度网讯科技有限公司 | 确定车道线的方法、装置、电子设备和存储介质 |
CN116486354B (zh) * | 2022-07-13 | 2024-04-16 | 阿波罗智能技术(北京)有限公司 | 车道线处理方法、装置、设备以及存储介质 |
CN115574805B (zh) * | 2022-12-02 | 2023-04-28 | 小米汽车科技有限公司 | 车道线关系的识别方法、装置、车辆和存储介质 |
CN116091648B (zh) * | 2023-02-09 | 2023-12-01 | 禾多科技(北京)有限公司 | 车道线的生成方法及装置、存储介质及电子装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636842A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 车道线修正方法、装置、设备及存储介质 |
CN110843781A (zh) * | 2019-11-27 | 2020-02-28 | 长安大学 | 一种基于驾驶员行为的车辆弯道自动控制方法 |
CN111291601A (zh) * | 2018-12-07 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 车道线识别方法和装置以及电子设备 |
CN111626078A (zh) * | 2019-02-27 | 2020-09-04 | 湖南湘江地平线人工智能研发有限公司 | 识别车道线的方法及装置 |
CN112560680A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 车道线处理方法、装置、电子设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200090527A (ko) * | 2019-01-21 | 2020-07-29 | 현대자동차주식회사 | 차선 인식 장치 및 그 방법 |
CN110163930B (zh) * | 2019-05-27 | 2023-06-27 | 北京百度网讯科技有限公司 | 车道线生成方法、装置、设备、***及可读存储介质 |
CN112818778B (zh) * | 2021-01-21 | 2023-10-03 | 北京地平线机器人技术研发有限公司 | 车道线拟合方法、装置、介质以及电子设备 |
-
2021
- 2021-11-19 CN CN202111375395.XA patent/CN113807333B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636842A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 车道线修正方法、装置、设备及存储介质 |
CN111291601A (zh) * | 2018-12-07 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 车道线识别方法和装置以及电子设备 |
CN111626078A (zh) * | 2019-02-27 | 2020-09-04 | 湖南湘江地平线人工智能研发有限公司 | 识别车道线的方法及装置 |
CN110843781A (zh) * | 2019-11-27 | 2020-02-28 | 长安大学 | 一种基于驾驶员行为的车辆弯道自动控制方法 |
CN112560680A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 车道线处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
An Automatic Method for Detection and Update of Additive Changes in Road Network with GPS Trajectory Data;Jianbo Tang 等;《International Journal of Geo-Information》;20190913;第1-20页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113807333A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113807333B (zh) | 用于检测车道线的数据处理方法及存储介质 | |
EP3792901A1 (en) | Ground mark extraction method, model training method, device and storage medium | |
CN110929655B (zh) | 一种行驶过程中车道线识别方法、终端设备及存储介质 | |
CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
CN111508258A (zh) | 一种定位方法及装置 | |
CN112990293A (zh) | 一种点云标注方法、装置和电子设备 | |
CN110796230A (zh) | 卷积神经网络的训练及使用方法、设备及存储介质 | |
CN112699711A (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
CN111881752B (zh) | 一种护栏检测分类方法、装置、电子设备及存储介质 | |
CN116740680A (zh) | 一种车辆定位方法、装置及电子设备 | |
CN111950434A (zh) | 一种基于离散点扫描的车道线结构化方法及*** | |
CN111488771B (zh) | Ocr挂接方法、装置与设备 | |
CN113157827B (zh) | 车道类型的生成方法、装置、数据处理设备及存储介质 | |
Zhang et al. | Urban vehicle extraction from aerial laser scanning point cloud data | |
CN112069899A (zh) | 一种路肩检测方法、装置及存储介质 | |
US20240203133A1 (en) | Lane line recognition method, electronic device and storage medium | |
CN113592915B (zh) | 端到端旋转框目标搜索方法、***及计算机可读存储介质 | |
CN113452952B (zh) | 一种路况监测方法及装置和*** | |
CN116129383A (zh) | 一种可行驶区域检测方法、装置和电子设备、存储介质 | |
CN111523475B (zh) | 3d点云中物体的识别方法、装置、存储介质和处理器 | |
CN116597376A (zh) | 路侧设备感知范围确定方法、装置及路侧设备 | |
CN118172739A (zh) | 车道线判别方法及相关设备 | |
CN117456488A (zh) | 目标检测方法、设备和存储介质 | |
CN115620003A (zh) | 一种视觉定位方法、装置及智能车辆 | |
CN116228561A (zh) | 基于关键点序列的车道线复原方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |