CN117911656A - 三维车道线标注方法、装置、电子设备及存储介质 - Google Patents
三维车道线标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117911656A CN117911656A CN202311643969.6A CN202311643969A CN117911656A CN 117911656 A CN117911656 A CN 117911656A CN 202311643969 A CN202311643969 A CN 202311643969A CN 117911656 A CN117911656 A CN 117911656A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- cloud data
- ground
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000002372 labelling Methods 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种三维车道线标注方法、装置、电子设备及存储介质,本发明三维车道线标注方法使用了车辆的时序数据和采集设备的参数信息,能够对点云进行全局场景的叠帧组合,建立更为精密和广阔的整体场景路面点云数据,能够通过相关的数据关系将整体场景点映射到点云数据点和图片数据坐标。在人工标注和算法模型检测时能够提供更综合全面的信息,有利于提高标注结果的精确性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种三维车道线标注方法、装置、电子设备及存储介质。
背景技术
车道线检测是自动驾驶***中一个重要的感知任务,通过车道线检测可以帮助完成众多上层应用。例如,可以有助于车道偏离警示、车道保持辅助等***。
在公开号为CN116524447,名称为《三维车道线标注方法、装置、电子设备及存储介质》的中国专利中公开了一种三维车道线标注方法,包括:获取同步采集的第一激光点云数据和图像数据,所述第一激光点云数据和所述图像数据均包括车道线的信息;在所述图像数据中标注车道线图像,获得二维车道线语义分割标注结果;将所述第一激光点云数据投影到所述图像数据,并根据投影结果和所述二维车道线语义分割标注结果,获得点云属性信息;将所述点云属性信息加入到所述第一激光点云数据中,获得第二激光点云数据;根据所述第二激光点云数据,获得标注出三维车道线的激光点云标注结果。本方案能够实现三维车道线的自动化标注,节约成本。
在公开号为CN104766058,名称为《一种获取车道线的方法和装置》的中国专利中公开了一种用于获取车道线的方法和装置,包括:采集道路数据,其中道路数据至少包括二维图像数据和三维激光点云数据;采用机器学习方法对二维图像数据中的车道线进行识别;基于二维图像数据和三维激光点云数据的空间位置关系,将车道线识别结果转换为三维车道线散点;根据统计特性对三维车道线散点进行过滤;以及对过滤后的车道线散点进行聚类,以获取车道线。该实施方式可以准确、高效地获取车道线,避免道路图像中车辆、道路边沿、其他标志线对车道线获取的影响,在应用于地图绘制时,可以明显提高绘制速度和精度。
在公开号为CN114882463,名称为《三维标注、车道线检测方法及装置、设备及存储介质》的中国专利中公开了一种三维标注、车道线检测方法及装置、设备及存储介质,该方法包括:获取同一目标场景下分别采集的目标图像和目标点云数据;基于目标点云数据中的点云点的三维坐标信息,确定将目标点云数据投影至目标图像后,各个点云点分别对应的投影点的二维坐标信息;基于投影点的二维坐标信息、投影点所对应的点云点的三维坐标信息、以及针对目标图像中的目标车道线进行标注的二维标注结果,确定目标车道线的三维标注结果。本公开基于目标点云数据构建稠密的三维标注结果,从而便于实现三维车道线检测,提升了检测的准确度。
上述公开号为CN116524447的专利中,是使用二维图片数据的标注信息投影到三维点云数据中,获得三维车道线的标注信息;上述公开号为CN104766058的专利中,是使用机器学习算法对二维图像中的车道线进行识别,然后映射到对应的三维点云中,经过后续处理获得三位车道线的标注信息。上述两专利只对同步的一帧二维三维数据进行标注,没有使用采集数据时的时序信息和车辆信息,标注工作的工作量大且成本高。
上述公开号为CN114882463的专利中,是使用二维图片数据的标注信息投影到三维点云数据中,并且合并点云的各个采集时刻的数据,获得车道线融合目标点云点,包括对图片的车道线网络检测。这个方法使用了同步的二维三维数据和多帧信息,对二维图片数据进行标注然后得到三维点云的标注信息,仅使用图片进行标注而没有使用点云数据进行标注,没有最大化标注效率。
因此如何提高三维车道线的标注效率和精度,并减小标注的工作量和成本,已成为本领域亟需解决的技术问题。
发明内容
鉴于上述问题,本申请提供了一种三维车道线标注方法,用于解决上述车道线标注效率低和精度差的技术问题。
为实现上述目的,发明人提供了一种三维车道线标注方法,包括以下步骤:
获取同一目标场景下采集设备采集到的图像数据和点云数据,并获取该场景采集车的车辆位姿信息和所述采集设备相关的参数信息;
对每帧所述点云数据中的点集合进行地面点分割,获取每帧的地面点云点集合;
利用所述采集车的车辆位姿信息,对时序的所述地面点云集合进行叠帧操作,以建立时间片段下的整体场景地面点云集合;
利用算法拟合出所述整体场景地面点云集合的地面点集合,所述地面点集合为待标注的主体点集合;
用标注工具对整体场景的所述地面点集合进行三维标注,得到整体场景的三维车道线标注结果;
利用所述车辆位姿信息和所述整体场景的三维车道线标注结果,计算得到局部点云数据的三维车道线标注结果;
利用所述参数信息,将每帧点云数据中的三维车道线标注结果投影到二维图像坐标,得到图像的二维车道线标注结果。
进一步的,所述采集设备包括用于获取所述图像数据的摄像头,和用于获取所述点云数据的激光雷达。
进一步的,所述车辆位姿信息包括:车辆相对起始点的位移和相对起始姿态的欧拉角;所述参数信息包括:摄像头曝光开始时间戳、摄像头曝光结束时间戳、激光雷达扫描时刻的时间戳、摄像头和激光雷达之间的外参信息和摄像头的内参信息。
进一步的,所述利用所述采集车的车辆位姿信息,对时序的所述地面点云集合进行叠帧操作,包括:
将采集车每次驾驶的起始点为原点建立全局坐标系;
把所述地面点云集合中tn,tn-1至t中,各自时刻下的所述点云数据在激光雷达坐标系下的第一坐标,转换为全局坐标系下的全局坐标,其中n为正整数;
将所述点云数据的所述全局坐标,转换到t_n时刻下的激光雷达坐标系,然后进行地面点云集合的并集操作。
进一步的,所述利用算法拟合出所述整体场景地面点云集合的地面点集合,包括步骤:
将地面设定为一个平面,
利用多项式拟合算法拟合出所述整体场景地面点云集合的地面点集合;
RANSAC算法去除所述地面点集合中的噪音点。
进一步的,所述地面点分割是通过Patchwork算法执行的。
为解决上述技术问题,本申请还提供了另一技术方案:
一种三维车道线标注装置,包括:
获取模块,用于获取同一目标场景下采集设备采集到的图像数据和点云数据,并获取该场景采集车的车辆位姿信息和所述采集设备相关的参数信息;
地面点分割模块,用于对每帧所述点云数据中的点集合进行地面点分割,获取每帧的地面点云点集合;
时序三维确定模块,用于基于所述车辆位姿信息和目标点云数据中各点云点的三维坐标信息,确定将所述目标点云数据投影至所述整体场景的目标点云数据后,各个所述点云点分别对应的整体目标点云点的三维坐标信息;
二维三维确定模块,用于基于所述目标点云数据中的点云点的三维坐标信息,确定将所述目标点云数据投影至所述目标图像后,各个所述点云点分别对应的投影点的二维坐标信息;
三维标注模块,用于基于所述点云点的三维坐标信息、所述图片的二维投影坐标信息、所述整体场景点云数据的三维坐标信息以及针对所述整体场景点云数据中的目标车道线进行标注的三维标注结果,确定所述点云点目标车道线的三维标注结果和所述图片目标车道线的二维标注结果。
为解决上述技术问题,本申请还提供了另一技术方案:
一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行以上任意一项所述的三维车道线标注方法。
为解决上述技术问题,本申请还提供了另一技术方案:
一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行以上任意一项所述的三维车道线标注方法。
区别于现有技术,上述技术方案三维车道线标注方法使用了车辆的时序数据和采集设备的参数信息,能够对点云进行全局场景的叠帧组合,建立更为精密和广阔的整体场景路面点云数据,能够通过相关的数据关系将整体场景点映射到点云数据点和图片数据坐标。在人工标注和算法模型检测时能够提供更综合全面的信息,有利于提高标注结果的精确性。
上述发明内容相关记载仅是本申请技术方案的概述,为了让本领域普通技术人员能够更清楚地了解本申请的技术方案,进而可以依据说明书的文字及附图记载的内容予以实施,并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解,以下结合本申请的具体实施方式及附图进行说明。
附图说明
附图仅用于示出本发明具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等,并不能认为是对本申请的限制。
在说明书附图中:
图1为具体实施方式所述三维车道线标注方法的流程图;
图2为具体实施方式所述地面点云集合进行叠帧操作的流程图;
图3为具体实施方式所述三维车道线标注装置的模块框图;
图4为具体实施方式所述电子设备的示意图;
图5为具体实施方式所述计算机可读存储介质的示意图;
上述各附图中涉及的附图标记说明如下:
300、三维车道线标注装置;301、获取模块;302、地面点分割模块;303、时序三维确定模块;304、二维三维确定模块;305、三维标注模块;
具体实施方式
为详细说明本申请可能的应用场景,技术原理,可实施的具体方案,能实现目的与效果等,以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案,因此只作为示例,而不能以此来限制本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例,亦不特别限定其与其它实施例之间的独立性或关联性。原则上,在本申请中,只要不存在技术矛盾或冲突,各实施例中所提到的各项技术特征均可以以任意方式进行组合,以形成相应的可实施的技术方案。
除非另有定义,本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同;本文中对相关术语的使用只是为了描述具体的实施例,而不是旨在限制本申请。
在本申请的描述中,用语“和/或”是一种用于描述对象之间逻辑关系的表述,表示可以存在三种关系,例如A和/或B,表示:存在A,存在B,以及同时存在A和B这三种情况。另外,本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。
在本申请中,诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。
在没有更多限制的情况下,在本申请中,语句中所使用的“包括”、“包含”、“具有”或者其他类似的开放式表述,意在涵盖非排他性的包含,这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素,从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素,而且还可以包括没有明确列出的其他要素,或者还包括为这种过程、方法或者产品所固有的要素。
与《审查指南》中的理解相同,在本申请中,“大于”、“小于”、“超过”等表述理解为不包括本数;“以上”、“以下”、“以内”等表述理解为包括本数。此外,在本申请实施例的描述中“多个”的含义是两个以上(包括两个),与之类似的与“多”相关的表述亦做此类理解,例如“多组”、“多次”等,除非另有明确具体的限定。
在本申请实施例的描述中,所使用的与空间相关的表述,诸如“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“垂直”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等,所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系,仅是为了便于描述本申请的具体实施例或便于读者理解,而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作,因此不能理解为对本申请实施例的限制。
除非另有明确的规定或限定,在本申请实施例的描述中,所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如,所述“连接”可以是固定连接,也可以是可拆卸连接,或成一体设置;其可以是机械连接,也可以是电连接,也可以是通信连接;其可以是直接相连,也可以通过中间媒介间接相连;其可以是两个元件内部的连通或两个元件的相互作用关系。对于本申请所属技术领域的技术人员而言,可以根据具体情况理解上述用语在本申请实施例中的具体含义。
请参阅图1,本实施例提供了一种三维车道线标注方法。所述三维车道线标注方法可以应用于汽车自动驾驶中,在汽车自动驾驶的连续时序场景下对点云数据和图片数据进行标注。所述三维车道线标注方法包括步骤:
S101、获取同一目标场景下采集设备采集到的图像数据和点云数据,并获取该场景采集车的车辆位姿信息和所述采集设备相关的参数信息;
S102、对每帧所述点云数据中的点集合进行地面点分割,获取每帧的地面点云点集合;
S103、利用所述采集车的车辆位姿信息,对时序的所述地面点云集合进行叠帧操作,以建立时间片段下的整体场景地面点云集合;
S104、利用算法拟合出所述整体场景地面点云集合的地面点集合,所述地面点集合为待标注的主体点集合;
S105、用标注工具对整体场景的所述地面点集合进行三维标注,得到整体场景的三维车道线标注结果;
S106、利用所述车辆位姿信息和所述整体场景的三维车道线标注结果,计算得到局部点云数据的三维车道线标注结果;
S107、利用所述参数信息,将每帧点云数据中的三维车道线标注结果投影到二维图像坐标,得到图像的二维车道线标注结果。
其中,所述车辆位姿信息:采集车在行驶过程中会随着时间产生一系列的位置和行驶姿态的时序信息,比如世界坐标系的经纬度坐标,车辆的朝向、转角等等信息,这些信息可能随着时间序列有一定的变动。
设备的参数信息:设备在车辆坐标系和设备内部坐标系下有一些对应关系和自设备信息。这些信息一般都是固定的。
点云数据:激光雷达设备捕捉采集到的三维立体信息,以点阵文件的形式存储。本实施例中的数据默认是已经经过校准对齐的精确数据。
图像数据:光学摄像头捕捉采集到的二维平面信息,以图片文件的形式存储。这里的数据默认是已经经过校准对齐的精确数据。
标注工具:这里指对标注人员提供的图形交互标注工具,或者使用机器学习网络模型的自动化标注工具。
整体场景地面点云数据:这里指把一段连续时序采集到的点云数据经过车辆位姿信息的参数计算汇总得到的全时序场景的地面点的集合数据,包含这些点云数据帧的所有地面点信息。
局部点云数据:某个时刻下采集到的点云数据帧,一般对应一个点云文件。
所述采集设备包括用于获取所述图像数据的摄像头,和用于获取所述点云数据的激光雷达。所述车辆位姿信息包括:车辆相对起始点的位移和相对起始姿态的欧拉角;所述参数信息包括:摄像头曝光开始时间戳、摄像头曝光结束时间戳、激光雷达扫描时刻的时间戳、摄像头和激光雷达之间的外参信息和摄像头的内参信息。
在步骤S102中,地面点云点集合是每个点云数据帧点集合中的子集合—。地面点分割算法有多种可以选用,比如,所述地面点分割可通过Patchwork算法执行。利用Patchwork算法,可以进行快速的地面点云分割。
在步骤S103中,目的是建立一个时间片段下的整体场景地面点云集合。这个集合是一段时间下的所有点云数据的地面点数据的集合。
如图2所示,在步骤S103中,所述利用所述采集车的车辆位姿信息,对时序的所述地面点云集合进行叠帧操作,包括:
S201、将采集车每次驾驶的起始点为原点建立全局坐标系;
S202、把所述地面点云集合中tn,tn-1至t中,各自时刻下的所述点云数据在激光雷达坐标系下的第一坐标,转换为全局坐标系下的全局坐标,其中n为正整数;
S203、将所述点云数据的所述全局坐标,转换到t_n时刻下的激光雷达坐标系,然后进行地面点云集合的并集操作。
在本实施例中,由于采集车保持相对运动,所以每一时刻下的激光雷达坐标系都可能是在变化的。因此定义每次驾驶的起始点为全局坐标系原点,所以全局坐标系是不变的。拥有车辆在全局坐标系下的位姿信息后,可以实现点云在激光雷达坐标系和全局坐标系之间的相互转换。首先把(tn,tn-1,tn-2,...t)各自时刻下的点云(其在各自时刻的激光雷达坐标系下)转换到全局坐标系,再将上述点云(全局坐标系)转换到t_n时刻下的激光雷达坐标系此时,各时刻的点云坐标系已经统一,可以直接进行点云集合的并集操作,即完成点云的叠帧。
所述步骤S104中,所述利用算法拟合出所述整体场景地面点云集合的地面点集合,包括步骤:
将地面设定为一个平面;
利用多项式拟合算法拟合出所述整体场景地面点云集合的地面点集合;
RANSAC算法去除所述地面点集合中的噪音点。
在本实施例中,这个点集合是拟合处理后的地面点集合,也就是待标注的主体点集合。该算法的描述如下:首先假定地面是一个平面,那么在三维世界中,即可认为其是一个三维多项式。针对分割得到的地面点云,利用多项式拟合算法(再配合RANSAC算法去除噪音点),即可得到地面方程。
在步骤S105中,使用标注工具对整体场景的地面点集合进行三维标注,比如三维连线标注或者三维框体标注,标注其中的每条车道线实体,得到整体场景的三维车道线标注结果。这里标注可以是人工标注,也可以是机器学习网络模型的自动标注。
在步骤S107中,利用设备参数信息,通过计算将每帧点云数据中的三维车道线标注点投影到二维图像坐标,获取图像的二维车道线标注结果。计算过程如下:利用设备参数信息:激光雷达到相机的外参矩阵、相机的内参矩阵,即可实现3D点云到相机图像的投影功能。首先利用外参矩阵,将激光雷达坐标系下的点云,转换到相机坐标系下,再利用针孔相机模型和相机内参矩阵,将相机坐标系下的点云,投影至像素坐标系,即可获得2D图像坐标。
在上述实施例中,根据车辆时序位姿信息聚合点云数据,重建地面信息,组合生成一个汇总的点云场景数据,然后对场景数据进行路面静态目标标注,将目标信息再返还到原始点云数据中,得到对应的标注信息。这个三维车道线标注方法的优势是:激光雷达的激光点云原始信息较为稀疏,激光雷达设备覆盖一个3D空间,这是一个很大的长方体,可以将其平均分为足够多且致密的子长方体,这种子长方体,又名体素voxel。当体素的体积较小时,即整个空间被切分地较为细致,此时可以认为体素是稠密的。将激光雷达的点云置于上述场景会有部分体素中含有点云,另一部分体素中没有点云,并且,距离激光雷达发射器越远的位置,没有点云的体素会越来越多,即越来越稀疏。这里的稀疏和密集可以认为是局部空间范围内目标轮廓的点数量。目前,激光雷达由于其传感器工作原理,获取到的点云都是稀疏的。根据当前市场上不同的激光雷达型号其所可捕获的场景3D范围各不相同,最远可达500米。利用时序的多帧数据,可以使其数据更加丰富,在汇总的全局整体场景下能够获取更多的视野信息,节约了标注成本。
因此在上述实施例中,三维车道线标注方法使用了车辆的时序数据和设备参数信息,能够对点云进行全局场景的叠帧组合,建立更为精密和广阔的整体场景路面点云数据,能够通过相关的数据关系将整体场景点映射到点云数据点和图片数据坐标。在人工标注和算法模型检测时能够提供更综合全面的信息,有利于提高标注结果的精确性。
并且上述实施例中,只获取地面,能够缩小点云数据标注点集合的大小,减少待标注目标点的范围,对于提高车道线人工标注的精准度有一定帮助。以及通过在综合场景路面点云数据进行标注,能够提供在综合场景路面进行一次三维标注,该场景下每个车道线实体只需要进行一次标注,通过计算自动生成局部点云数据和图片数据的路面车道线标注结果,大大减少了同一场景下的标注工作量。
如图3所示,在另一实施例中提供了一种三维车道线标注装置300。所述三维车道线标注装置300包括:
获取模块301,用于获取同一目标场景下采集设备采集到的图像数据和点云数据,并获取该场景采集车的车辆位姿信息和所述采集设备相关的参数信息;
地面点分割模块302,用于对每帧所述点云数据中的点集合进行地面点分割,获取每帧的地面点云点集合;
时序三维确定模块303,用于基于所述车辆位姿信息和目标点云数据中各点云点的三维坐标信息,确定将所述目标点云数据投影至所述整体场景的目标点云数据后,各个所述点云点分别对应的整体目标点云点的三维坐标信息;
二维三维确定模块304,用于基于所述目标点云数据中的点云点的三维坐标信息,确定将所述目标点云数据投影至所述目标图像后,各个所述点云点分别对应的投影点的二维坐标信息;
三维标注模块305,用于基于所述点云点的三维坐标信息、所述图片的二维投影坐标信息、所述整体场景点云数据的三维坐标信息以及针对所述整体场景点云数据中的目标车道线进行标注的三维标注结果,确定所述点云点目标车道线的三维标注结果和所述图片目标车道线的二维标注结果。
该三维车道线标注装置同样具有上述实施例三维车道线标注方法所具有的有益效果,这里就不再赘述。
如图4所示,在另一实施例提供了一种电子设备400,所述电子设备处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行以上任意一项实施例所述的三维车道线标注方法。
如图5所示,在另一实施例提供了一种计算机可读存储介质500,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行以上任意一项实施例所述的三维车道线标注方法。
最后需要说明的是,尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述,但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念,利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案,以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等,均包括在本申请的专利保护范围之内。
Claims (9)
1.一种三维车道线标注方法,其特征在于,包括以下步骤:
获取同一目标场景下采集设备采集到的图像数据和点云数据,并获取该场景采集车的车辆位姿信息和所述采集设备相关的参数信息;
对每帧所述点云数据中的点集合进行地面点分割,获取每帧的地面点云点集合;
利用所述采集车的车辆位姿信息,对时序的所述地面点云集合进行叠帧操作,以建立时间片段下的整体场景地面点云集合;
利用算法拟合出所述整体场景地面点云集合的地面点集合,所述地面点集合为待标注的主体点集合;
用标注工具对整体场景的所述地面点集合进行三维标注,得到整体场景的三维车道线标注结果;
利用所述车辆位姿信息和所述整体场景的三维车道线标注结果,计算得到局部点云数据的三维车道线标注结果;
利用所述参数信息,将每帧点云数据中的三维车道线标注结果投影到二维图像坐标,得到图像的二维车道线标注结果。
2.根据权利要求1所述的三维车道线标注方法,其特征在于,所述采集设备包括用于获取所述图像数据的摄像头,和用于获取所述点云数据的激光雷达。
3.根据权利要求1所述的三维车道线标注方法,其特征在于,所述车辆位姿信息包括:车辆相对起始点的位移和相对起始姿态的欧拉角;所述参数信息包括:摄像头曝光开始时间戳、摄像头曝光结束时间戳、激光雷达扫描时刻的时间戳、摄像头和激光雷达之间的外参信息和摄像头的内参信息。
4.根据权利要求1所述的三维车道线标注方法,其特征在于,所述利用所述采集车的车辆位姿信息,对时序的所述地面点云集合进行叠帧操作,包括:
将采集车每次驾驶的起始点为原点建立全局坐标系;
把所述地面点云集合中tn,tn-1至t中,各自时刻下的所述点云数据在激光雷达坐标系下的第一坐标,转换为全局坐标系下的全局坐标,其中n为正整数;
将所述点云数据的所述全局坐标,转换到t_n时刻下的激光雷达坐标系,然后进行地面点云集合的并集操作。
5.根据权利要求1所述的三维车道线标注方法,其特征在于,所述利用算法拟合出所述整体场景地面点云集合的地面点集合,包括步骤:
将地面设定为一个平面;
利用多项式拟合算法拟合出所述整体场景地面点云集合的地面点集合;
RANSAC算法去除所述地面点集合中的噪音点。
6.根据权利要求1所述的三维车道线标注方法,其特征在于,所述地面点分割是通过Patchwork算法执行的。
7.一种三维车道线标注装置,其特征在于,包括:
获取模块,用于获取同一目标场景下采集设备采集到的图像数据和点云数据,并获取该场景采集车的车辆位姿信息和所述采集设备相关的参数信息;
地面点分割模块,用于对每帧所述点云数据中的点集合进行地面点分割,获取每帧的地面点云点集合;
时序三维确定模块,用于基于所述车辆位姿信息和目标点云数据中各点云点的三维坐标信息,确定将所述目标点云数据投影至所述整体场景的目标点云数据后,各个所述点云点分别对应的整体目标点云点的三维坐标信息;
二维三维确定模块,用于基于所述目标点云数据中的点云点的三维坐标信息,确定将所述目标点云数据投影至所述目标图像后,各个所述点云点分别对应的投影点的二维坐标信息;
三维标注模块,用于基于所述点云点的三维坐标信息、所述图片的二维投影坐标信息、所述整体场景点云数据的三维坐标信息以及针对所述整体场景点云数据中的目标车道线进行标注的三维标注结果,确定所述点云点目标车道线的三维标注结果和所述图片目标车道线的二维标注结果。
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行权利要求1至6任一所述的三维车道线标注方法。
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行权利要求1至6任一所述的三维车道线标注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311643969.6A CN117911656A (zh) | 2023-12-04 | 2023-12-04 | 三维车道线标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311643969.6A CN117911656A (zh) | 2023-12-04 | 2023-12-04 | 三维车道线标注方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117911656A true CN117911656A (zh) | 2024-04-19 |
Family
ID=90684596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311643969.6A Pending CN117911656A (zh) | 2023-12-04 | 2023-12-04 | 三维车道线标注方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117911656A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118172423A (zh) * | 2024-05-14 | 2024-06-11 | 整数智能信息技术(杭州)有限责任公司 | 时序点云数据路面元素标注方法及装置、电子设备 |
-
2023
- 2023-12-04 CN CN202311643969.6A patent/CN117911656A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118172423A (zh) * | 2024-05-14 | 2024-06-11 | 整数智能信息技术(杭州)有限责任公司 | 时序点云数据路面元素标注方法及装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108846333B (zh) | 标志牌地标数据集生成及车辆定位方法 | |
WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
CN112132901A (zh) | 一种点云标注的方法、装置、电子设备及存储介质 | |
EP3621032A2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
CN111695497B (zh) | 基于运动信息的行人识别方法、介质、终端和装置 | |
CN114692720A (zh) | 基于鸟瞰图的图像分类方法、装置、设备及存储介质 | |
CN113673400A (zh) | 基于深度学习的实景三维语义重建方法、装置及存储介质 | |
CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
CN111899277B (zh) | 运动目标检测方法及装置、存储介质、电子装置 | |
CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
CN112948605B (zh) | 点云数据的标注方法、装置、设备及可读存储介质 | |
CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位*** | |
CN116823966A (zh) | 相机的内参标定方法、装置、计算机设备和存储介质 | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
CN117911656A (zh) | 三维车道线标注方法、装置、电子设备及存储介质 | |
CN116468796A (zh) | 生成来自鸟瞰视角的表示的方法、车辆对象识别***及存储介质 | |
CN115761164A (zh) | 逆透视ipm图像生成的方法和装置 | |
CN112528918A (zh) | 道路元素识别方法、地图标注方法及装置、车辆 | |
CN113536854A (zh) | 一种高精地图路牌的生成方法、装置及服务器 | |
CN117372632B (zh) | 二维图像的标注方法、装置、计算机设备及存储介质 | |
CN114897968B (zh) | 车辆视野的确定方法、装置、计算机设备、存储介质 | |
CN113177984B (zh) | 基于稀疏直接法的语义要素测距方法、装置和电子设备 | |
CN117201708B (zh) | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |