CN110705577A - 一种激光点云车道线提取方法 - Google Patents

一种激光点云车道线提取方法 Download PDF

Info

Publication number
CN110705577A
CN110705577A CN201910936338.0A CN201910936338A CN110705577A CN 110705577 A CN110705577 A CN 110705577A CN 201910936338 A CN201910936338 A CN 201910936338A CN 110705577 A CN110705577 A CN 110705577A
Authority
CN
China
Prior art keywords
point cloud
projection
points
lane line
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910936338.0A
Other languages
English (en)
Other versions
CN110705577B (zh
Inventor
惠念
郑小辉
熊迹
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhonghai Data Technology Co Ltd
Original Assignee
Wuhan Zhonghai Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhonghai Data Technology Co Ltd filed Critical Wuhan Zhonghai Data Technology Co Ltd
Priority to CN201910936338.0A priority Critical patent/CN110705577B/zh
Publication of CN110705577A publication Critical patent/CN110705577A/zh
Application granted granted Critical
Publication of CN110705577B publication Critical patent/CN110705577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种激光点云车道线提取方法,包括:S1、结合点云,将历史车道线提取成果,生成点云投影图和标注样本;S2、使用标注样本进行深度学习分割网络模型训练,获得训练好的分割模型;S3、结合轨迹,生成点云投影图,保存点云和投影的对应关系,获得中间成果;S4、使用训练好的分割模型,推理S3获得的点云投影图,获得二值化的Mask图;S5、使用opencv对所述Mask图进行轮廓提取、骨架提取和宽度计算;S6、基于S5的结果,结合S3的中间成果,反算出车道线图像坐标对应的三维点云坐标。本发明实施例提取在路面铺设材质不同,或车道线有磨损,或者采集设备不同时,可以通过再训练模型的方式,应对不适应的情况。

Description

一种激光点云车道线提取方法
技术领域
本发明涉及交通技术领域,更具体地,涉及一种激光点云车道线提取方法。
背景技术
由于激光点云较高的位置精度,近年来越来越多的被用于高精度地图要素的采集,包括车道线、箭头、标志牌和交通信号灯等。其中,车道线作为道路网络中最核心的组成部分,各种车道线的自动提取方法一直在被探索和实践。常规的方法是基于点云反射强度进行滤波,该方法的原理是利用车道线印刷材质和路面铺设材质的差异,车道线点云的反射强度一般远高于路面点云的反射强度的原理。
常用的反射强度阈值计算方法报刊大津法和otsu法等,也有将点云转换为图片,在图片上,基于图片的边缘检测+霍夫变换的方法来提取车道线的边缘。这两类方法共同的关键点,都在于区分车道线与道路面的反射强度阈值。阈值的设定直接影响到最终提取的精度。而现实世界中的道路面材质各异,车道线的印刷也常常有磨损等状况,在一些区域,车道线附近路面会有一些高反射强度的噪点,都会影响阈值的计算。除此之外,不同厂家、型号的激光雷达设备,采集的激光点云的反射强度分布也各有差异。基于以上传统方法的车道线提取在不同区域、不同采集设备上的适用性很难快速适应。
现有技术中,通常采用直接使用点云反射强度阈值来分割车道线和道路面的方法,或者将其转换为图片,使用图片的常规边缘检测的方法;因此,其二值化的阈值,会直接影响到最终的提取精度。对于路面铺设材质不同,或车道线有磨损,或者采集设备不同时,阈值计算的方法的通用性不够好。而且这些方法只能提取到路面上的长实线和短虚线,后续道路网络的构建有较高难度。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的激光点云车道线提取方法。
根据本发明实施例的第一方面,提供一种激光点云车道线提取方法,该方法包括:S1、结合点云,将历史车道线提取成果,生成点云投影图和标注样本;S2、使用标注样本进行深度学习分割网络模型训练,获得训练好的分割模型;S3、结合轨迹,生成点云投影图,保存点云和投影的对应关系,获得中间成果;S4、使用训练好的分割模型,推理S3获得的点云投影图,获得二值化的Mask图;S5、使用opencv对Mask图进行轮廓提取、骨架提取和宽度计算;S6、基于S5的结果,结合S3的中间成果,反算出车道线图像坐标对应的三维点云坐标。
其中,S1具体包括:S11、点云切片:a1、将点云参考轨迹数据的z值进行过滤,保留轨迹高程以下的点云数据;a2、将沿道路前进方向切割成设定距离的一块,其中,道路方向由采集的轨迹数据计算得到;S12、点云投影成图像:b1、将S11切片后获得的点云旋转到道路前进方向;b2、计算每一块旋转后点云的三维空间包围盒,取最小的点(min_x,min_y)作为原点,将点云块上所有的点平移到局部坐标系下;b3、计算点云块最大的反射强度max_intensity和最小反射强度min_intensity;b4、按照解析度resolution的像素分辨率将点云投影成第一设定尺寸的单通道图像;S13、保存投影图像和点云:将第一设定尺寸的图像分割为多张第二设定尺寸的图像,并保存为JPG格式,同时保存切片后的点云为LAZ格式,记录点(x,y,z)和行列r,c的对应关系;S14、结合点云数据的位置信息,查找已有的历史车道线提取成果;将历史数据的三维x,y,z,计算出其对应的r,c,将车道线内部的区域填充为白色,其他区域填充为黑色,形成单通道的二值化Mask图;并按照S13的同样方式将第一设定尺寸的图分割为多张第二设定尺寸的图。
其中,将历史数据的三维x,y,z,计算出其对应的r,c,具体采用如下方式:
r=4098-1-(y-min_y)/resolution
c=4098-1-(x-min_x)/resolution
pix=(intensity-min_intensity)/(max_intensity-min_intensity)
其中,intensity为点(x,y,z)的反射强度,r为对应的行,c为对应的列,pix为像素值。
其中,在S13中的记录点(x,y,z)和r,c的对应关系之后,还包括:JPG和LAZ的文件命名为原始点云名称+点云切片顺序号+图像分割顺序号的形式。
其中,在S14中,若没有历史数据,则采取人工标注的方式,在S12的投影图上,手工标注后再生成Mask图;其中,将标注信息直接绘制在点云投影图上,用于样本数据的筛选。
其中,S6具体包括:S61、将S5中提供的第二设定尺寸的像素坐标,按照分割时的范围,还原为第一设定尺寸;S62、在一副第一设定尺寸的投影图范围内判断是否有不同骨架的小于设定角度的夹角很小;若有,则将其连接起来;S63、删除长度小于设定值的骨架;S64、将骨架上的点,按照位置进行聚类,以设定数量个像素为半径,将在设定数量个像素内的点聚合为同一个点;S65、读取投影图对应的切片点云的LAZ文件,得到点云的xyz坐标集合以及每个点(x,y,z)所对应的行列r,c;S66、将每一个骨架和宽度width表示的车道线,按照x-0.5*width,x+0.5*width的形式还原左右轮廓线各自的像素坐标;对每一个像素按照邻域顺序进行探索,找到最接近的x,y,z有效点;S67、对左侧轮廓线和右侧轮廓线,分别进行RANSAC随机采样拟合,剔除部分异常的点;拟合时,优先采用圆进行拟合,如果半径大于1000m,则改为直线拟合;比较拟合后的线段与拟合前的线段,如果首部或者尾部的长度缩短了3m上,则将缩短的部分再进行RANSAC随机采样拟合;S68、将左右轮廓线上的点规则化为1对1:以左侧轮廓线为基准,检测右侧轮廓线的首部和尾部是否与左侧轮廓线对齐,如果没有,则将缺的部分以垂直投影的方式补齐;再以右侧轮廓线为基准,对齐左侧轮廓线;遍历左侧轮廓线的点,查找右侧轮廓线上最近点,并计算两点的中心点,采用中心点、宽度和方向,计算向左向右计算两个点。
其中,S6之后,还包括:S7:设置容错机制,支持数据部分重生产。
其中,S7具体包括:S71:在生成投影图时,检查投影图的保存目录,如果当前文件存在,则跳过,否则就重新生成投影图;S72:在新数据生产阶段,投影图的数据保存到本地文件,推理的mask保存到本地文件;由mask计算的骨架和宽度保存到本地文件;结合点云反算后的车道线三维坐标,保存到本地文件;S3~S6顺序执行的过程中,读取上一个步骤中保存的本地文件。
根据本发明实施例的第二方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的激光点云车道线提取方法。
根据本发明实施例的第三方面,提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的激光点云车道线提取方法。
本发明实施例提供的激光点云车道线提取方法,车道线几何边界为车道线地面印刷的左右轮廓线,提取精度可以达到1/3车道线宽以内;并且在路面铺设材质不同,或车道线有磨损,或者采集设备不同时,可以通过补充样本,再训练模型的方式,快速应对不适应的情况;并且不会造成已有功能的回退。基于本发明实施例的结果进行后续道路网络的构建,相比于现有技术中只基于实现、虚线的几何位置进行网络构建的方式,更加简单和稳定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的激光点云车道线提取方法的流程示意图;
图2为本发明实施例提供的点云旋转到道路方向上以后的投影图;
图3为本发明实施例提供的历史成果数据相同投影后的标注图;
图4为本发明实施例提供的历史成果数据叠加点云投影图;
图5为本发明实施例提供的结合深度学习在激光点云上提取出的车道线;
图6为本发明另一实施例提供的结合深度学习在激光点云上提取出的车道线;
图7为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
近些年基于深度学习的方法,在很多图像和语音上较纯传统方法都有明显的提升。故本发明实施例将深度学习与一些图像和点云上的传统计算方法进行结合,提出车道线的提取方法。结合深度学习的方法,将想要提取的效果,以标注的形式,提供给模型。将虚线连接后的结果作为标注,在推理时,就可以获取连接后的长线。降低后续道路网络的构建时,纯依赖距离和角度进行计算的错误率。
参见图1至图6,本发明实施例提供一种激光点云车道线提取方法,该方法包括如下步骤:
S1:将历史的车道线提取成果,结合点云,生成点云投影图+标注样本;
具体地,步骤S1可包括如下步骤:
S11:点云切片:
a1、将点云参考轨迹数据的z值(高程)进行过滤,保留轨迹高程以下的点云数据;a2、将沿道路前进方向切割成20m一块,道路方向由采集的轨迹数据计算得到;
S12:点云投影成图像:b1、将S11切片后的点云旋转到道路前进方向,因为旋转后点云的横纵方向与道路的左右方向、前进方向基本一致,可以简化后续图像基于点云的坐标反投影计算;b2、计算每一块旋转后点云的三维空间包围盒,取最小的点(min_x,min_y)作为原点,x轴,y轴不变,将该块点云上所有的点平移到该局部坐标系下。b3、计算该块点云最大的反射强度max_intensity和最小反射强度min_intensity。b4、按照resolution(为了保证提取精度,像素分辨率设置为1cm)的像素分辨率将点云投影成4096*4096(即第一设定尺寸)的单通道图像。点(x,y,z)反射强度为intensity,对应的行r,列c,像素值pix计算如下:
r=4098-1-(y-min_y)/resolution
c=4098-1-(x-min_x)/resolution
pix=(intensity-min_intensity)/(max_intensity-min_intensity)。
S13:保存投影图像和点云:(1)将4096*4096的图像分割为四张2048*2048(即第二设定尺寸)的图像以降低深度学习模型训练和推理所需的资源,并保存为JPG格式,同时保存切片后的点云为LAZ格式,记录点(x,y,z)和r,c的对应关系。(2)JPG和LAZ的文件命名为原始点云名称+点云切片顺序号+图像分割顺序号的形式:例如PointCloud_1_1。用于图像和点云关系的快速检索,以及后续的各种后处理。
S14:结合点云数据的位置信息,查找已有的车道线提取历史成果。将历史数据的三维x,y,z,按照S12中的计算公式计算出其对应的r,c,将车道线内部的区域填充为白色,其他区域填充为黑色,形成单通道的二值化Mask图。并按照S13的同样方式将4096*4096的图分割为四张2048*2048的图。如果没有历史数据,可以采取人工标注的方式,在S12的投影图上,手工标注后再生成Mask图。为方便检查,将标注信息直接绘制在点云投影图上,用于样本数据的筛选。
S2:使用S1生成的样本,进行深度学习分割网络模型训练;
具体地,本步骤中,将点云投影图+Mask图作为样本先进行样本筛选,剔除异常样本。再随机抽取20%作为验证集,其余80%作为训练集,进行模型训练。本方案只用于车道线的几何边界提取,挑选合适的分割网络模型,训练至模型收敛结束。
S3:结合轨迹,生成点云投影图,保存点云和投影的对应关系;
具体地,步骤S3具体实施步骤类似S1,将点云按照S11进行切片,S12进行投影,S13保存投影图像和点云。
S4:使用S2训练好分割的模型,推理S3的投影图,得到二值化Mask图;
具体地,本步骤中,调用S2训练处的模型,推理S3中生产的点云投影图,获得推理结果的Mask。
S5:从S4的Mask图上,使用opencv进行轮廓提取、骨架提取和宽度计算;
具体地,本步骤中,从S4的Mask图上,使用opencv进行轮廓提取、骨架提取和宽度计算;提取的车道线几何边界为车道线地面印刷的左右轮廓线,由于Mask中直接提取的轮廓是多边形,从多边形中分割出左边轮廓线和右边轮廓线,需要剔除两头多边形闭合的部分,实践效果并不稳定。故本发明实施例提出使用骨架线+宽度的方式,来表达车道线的左右轮廓线。
S6:基于S5的结果,结合S3中间成果,反算出车道线图像坐标对应的三维点云坐标。
具体地,步骤S6可具体包括如下步骤:
S61:将S5中提供的2048*2048的像素坐标,按照分割时的范围,还原为4096*4096;
S62:在一副4096*4096投影图范围内计算是否有不同骨架的夹角很小(设置为10°),如果有,则将其连接起来。以处理部分车道线推理结果一条线断为几条的情况;
S63:删除较短的骨架(长度设置为500像素),因为点云投影图像是按照约20m的长度投影。提取的骨架长度较小的,多为误提取箭头,文字,护栏等噪声数据,将其过滤掉;
S64:将骨架上的点,按照位置进行聚类,以10个像素为半径,将在10个像素内的点聚合为同一个点。以对应反算到点云上时,部分非常接近的像素点顺序交错的问题;
S65:读取投影图对应的切片点云的LAZ文件,得到点云的xyz坐标集合以及每个xyz点所对应的行列r,c;
S66:将每一个骨架+宽度width表示的车道线,按照x-0.5*width,x+0.5*width的形式还原左右轮廓线各自的像素坐标。对每一个像素按照下表的8邻域的顺序进行探索,找到最接近的x,y,z有效点。至此,已经获取到像素坐标所对应的三维xyz坐标。
表1 8邻域顺序
3 2 4
0 1
6 5 7
S67:对左侧轮廓线和右侧轮廓线,分别进行RANSAC随机采样拟合,剔除部分异常的点。拟合时,优先采用圆进行拟合,如果半径大于1000m,则改为直线拟合。比较拟合后的线段与拟合前的线段,如果首部或者尾部的长度缩短了3m上,则将缩短的部分再进行RANSAC随机采样拟合。这样,就实现了20m范围内车道线最多分为三段的分段随机拟合。
S68:将左右轮廓线上的点规则化为1对1:以左侧轮廓线为基准,检测右侧轮廓线的首部和尾部是否与左侧轮廓线对齐,如果没有,则将缺的部分以垂直投影的方式补齐。再以右侧轮廓线为基准,对齐左侧轮廓线;遍历左侧轮廓线的点,查找右侧轮廓线上最近点,并计算两点的中心点,用中心点+宽度+方向,计算向左向右计算两个点。
S7:设置容错机制,支持数据部分重生产。
具体地,本步骤可进一步包括如下步骤:
S71:样本生成阶段的容错机制,在生成投影图时,检查投影图的保存目录,如果当前文件存在则跳过,否则就重新生成投影图;
S72:在新数据生产阶段,投影图的数据保存到本地文件,推理的mask保存到本地文件。由mask计算的骨架+宽度保存到本地文件。结合点云反算后的车道线三维坐标,保存到本地文件。S3~S6顺序执行的过程中,读取上一个步骤中保存的本地文件。以实现可以分整体运行也可以步骤执行的效果。
以上通过S1到S7的步骤,实现了结合的深度学习的激光点云车道线提取。
本发明实施例提取的车道线几何边界为车道线地面印刷的左右轮廓线,提取精度可以达到1/3车道线宽以内。并且在路面铺设材质不同,或车道线有磨损,或者采集设备不同时,可以通过补充样本,再训练模型的方式,快速应对不适应的情况。并且不会造成已有功能的回退。基于本发明实施例的结果进行后续道路网络的构建,相比于现有技术中只基于实现、虚线的几何位置进行网络构建的方式,更加简单和稳定。
本发明实施例提供了一种电子设备,如图7所示,该设备包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序,以执行上述各实施例提供的激光点云车道线提取方法,例如包括:S1、结合点云,将历史车道线提取成果,生成点云投影图和标注样本;S2、使用标注样本进行深度学习分割网络模型训练,获得训练好的分割模型;S3、结合轨迹,生成点云投影图,保存点云和投影的对应关系,获得中间成果;S4、使用训练好的分割模型,推理S3获得的点云投影图,获得二值化的Mask图;S5、使用opencv对Mask图进行轮廓提取、骨架提取和宽度计算;S6、基于S5的结果,结合S3的中间成果,反算出车道线图像坐标对应的三维点云坐标。
此外,上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的激光点云车道线提取方法,例如包括:S1、结合点云,将历史车道线提取成果,生成点云投影图和标注样本;S2、使用标注样本进行深度学习分割网络模型训练,获得训练好的分割模型;S3、结合轨迹,生成点云投影图,保存点云和投影的对应关系,获得中间成果;S4、使用训练好的分割模型,推理S3获得的点云投影图,获得二值化的Mask图;S5、使用opencv对Mask图进行轮廓提取、骨架提取和宽度计算;S6、基于S5的结果,结合S3的中间成果,反算出车道线图像坐标对应的三维点云坐标。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种激光点云车道线提取方法,包括:
S1、结合点云,将历史车道线提取成果,生成点云投影图和标注样本;
S2、使用所述标注样本进行深度学习分割网络模型训练,获得训练好的分割模型;
S3、结合轨迹,生成点云投影图,保存点云和投影的对应关系,获得中间成果;
S4、使用所述训练好的分割模型,推理S3获得的所述点云投影图,获得二值化的Mask图;
S5、使用opencv对所述Mask图进行轮廓提取、骨架提取和宽度计算;
S6、基于S5的结果,结合S3的中间成果,反算出车道线图像坐标对应的三维点云坐标。
2.根据权利要求1所述的方法,其特征在于,所述S1具体包括:
S11、点云切片:
a1、将点云参考轨迹数据的z值进行过滤,保留轨迹高程以下的点云数据;
a2、将沿道路前进方向切割成设定距离的一块,其中,所述道路前进方向由采集的轨迹数据计算得到;
S12、点云投影成图像:
b1、将S11切片后获得的点云旋转到道路前进方向;
b2、计算每一块旋转后点云的三维空间包围盒,取最小的点(min_x,min_y)作为原点,将点云块上所有的点平移到局部坐标系下;
b3、计算点云块最大的反射强度max_intensity和最小反射强度min_intensity;
b4、按照解析度resolution的像素分辨率将点云投影成第一设定尺寸的单通道图像;
S13、保存投影图像和点云:将第一设定尺寸的图像分割为多张第二设定尺寸的图像,并保存为JPG格式,同时保存切片后的点云为LAZ格式,记录点(x,y,z)和行列r,c的对应关系;
S14、结合点云数据的位置信息,查找已有的历史车道线提取成果;将历史数据的三维x,y,z,计算出其对应的r,c,将车道线内部的区域填充为白色,其他区域填充为黑色,形成单通道的二值化Mask图;并按照S13的同样方式将第一设定尺寸的图分割为多张第二设定尺寸的图。
3.根据权利要求2所述的方法,其特征在于,所述将历史数据的三维x,y,z,计算出其对应的r,c,具体采用如下方式:
r=4098-1-(y-min_y)/resolution
c=4098-1-(x-min_x)/resolution
pix=(intensity-min_intensity)/(max_intensity-min_intensity)
其中,intensity为点(x,y,z)的反射强度,r为对应的行,c为对应的列,pix为像素值。
4.根据权利要求2所述的方法,其特征在于,在S13中的记录点(x,y,z)和r,c的对应关系之后,还包括:
JPG和LAZ的文件命名为原始点云名称+点云切片顺序号+图像分割顺序号的形式。
5.根据权利要求2所述的方法,其特征在于,在S14中,若没有历史数据,则采取人工标注的方式,在S12的投影图上,手工标注后再生成Mask图;其中,将标注信息直接绘制在点云投影图上,用于样本数据的筛选。
6.根据权利要求1所述的方法,其特征在于,所述S6具体包括:
S61、将S5中提供的第二设定尺寸的像素坐标,按照分割时的范围,还原为第一设定尺寸;
S62、在一副第一设定尺寸的投影图范围内判断是否有不同骨架的小于设定角度的夹角很小;若有,则将其连接起来;
S63、删除长度小于设定值的骨架;
S64、将骨架上的点,按照位置进行聚类,以设定数量个像素为半径,将在设定数量个像素内的点聚合为同一个点;
S65、读取投影图对应的切片点云的LAZ文件,得到点云的xyz坐标集合以及每个点(x,y,z)所对应的行列r,c;
S66、将每一个骨架和宽度width表示的车道线,按照x-0.5*width,x+0.5*width的形式还原左右轮廓线各自的像素坐标;对每一个像素按照邻域的顺序进行探索,找到最接近的x,y,z有效点;
S67、对左侧轮廓线和右侧轮廓线,分别进行RANSAC随机采样拟合,剔除部分异常的点;拟合时,优先采用圆进行拟合,如果半径大于1000m,则改为直线拟合;比较拟合后的线段与拟合前的线段,如果首部或者尾部的长度缩短了3m上,则将缩短的部分再进行RANSAC随机采样拟合;
S68、将左右轮廓线上的点规则化为1对1:以左侧轮廓线为基准,检测右侧轮廓线的首部和尾部是否与左侧轮廓线对齐,如果没有,则将缺的部分以垂直投影的方式补齐;再以右侧轮廓线为基准,对齐左侧轮廓线;遍历左侧轮廓线的点,查找右侧轮廓线上最近点,并计算两点的中心点,采用中心点、宽度和方向,计算向左向右计算两个点。
7.根据权利要求1所述的方法,其特征在于,S6之后,还包括:
S7:设置容错机制,支持数据部分重生产。
8.根据权利要求7所述的方法,其特征在于,所述S7具体包括:
S71:在生成投影图时,检查投影图的保存目录,如果当前文件存在,则跳过,否则就重新生成投影图;
S72:在新数据生产阶段,投影图的数据保存到本地文件,推理的mask保存到本地文件;由mask计算的骨架和宽度保存到本地文件;结合点云反算后的车道线三维坐标,保存到本地文件;S3~S6顺序执行的过程中,读取上一个步骤中保存的本地文件。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述激光点云车道线提取方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至8任一项所述激光点云车道线提取方法的步骤。
CN201910936338.0A 2019-09-29 2019-09-29 一种激光点云车道线提取方法 Active CN110705577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910936338.0A CN110705577B (zh) 2019-09-29 2019-09-29 一种激光点云车道线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910936338.0A CN110705577B (zh) 2019-09-29 2019-09-29 一种激光点云车道线提取方法

Publications (2)

Publication Number Publication Date
CN110705577A true CN110705577A (zh) 2020-01-17
CN110705577B CN110705577B (zh) 2022-06-07

Family

ID=69196807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910936338.0A Active CN110705577B (zh) 2019-09-29 2019-09-29 一种激光点云车道线提取方法

Country Status (1)

Country Link
CN (1) CN110705577B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160328A (zh) * 2020-04-03 2020-05-15 速度时空信息科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法
CN111397578A (zh) * 2020-03-11 2020-07-10 中煤航测遥感集团有限公司 管道焊口的高程获取方法、装置及存储介质
CN111696059A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种车道线光滑连接处理方法和装置
CN112131947A (zh) * 2020-08-21 2020-12-25 河北鼎联科技有限公司 道路指示线提取方法及装置
CN112434582A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线颜色识别方法、***、电子设备及存储介质
CN112700405A (zh) * 2020-12-11 2021-04-23 深圳市道通科技股份有限公司 刹车盘磨损度测量方法、装置及设备
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113160396A (zh) * 2020-01-23 2021-07-23 宝马股份公司 建立地图模型的方法、生成实时地图的方法和地图***
CN113269897A (zh) * 2021-07-19 2021-08-17 深圳市信润富联数字科技有限公司 表面点云的获取方法、装置、设备及存储介质
CN113609632A (zh) * 2021-10-08 2021-11-05 天津云圣智能科技有限责任公司 电力线补点的确定方法、装置及服务器
CN113807193A (zh) * 2021-08-23 2021-12-17 武汉中海庭数据技术有限公司 一种激光点云中交通道路虚线段自动提取方法及***
CN114723867A (zh) * 2022-03-29 2022-07-08 北京百度网讯科技有限公司 点云地图的渲染方法、装置、设备及存储介质
CN116485636A (zh) * 2023-04-27 2023-07-25 武汉纵横天地空间信息技术有限公司 一种点云立面成像方法、***及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技(深圳)有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
US20190033459A1 (en) * 2017-07-25 2019-01-31 Waymo Llc Determining Yaw Error from Map Data, Lasers, and Cameras
US20190176841A1 (en) * 2017-12-13 2019-06-13 Luminar Technologies, Inc. Training multiple neural networks of a vehicle perception component based on sensor settings
CN109993099A (zh) * 2019-03-27 2019-07-09 西安航空职业技术学院 一种基于机器视觉的车道线提取识别方法
CN110111414A (zh) * 2019-04-10 2019-08-09 北京建筑大学 一种基于三维激光点云的正射影像生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
US20190033459A1 (en) * 2017-07-25 2019-01-31 Waymo Llc Determining Yaw Error from Map Data, Lasers, and Cameras
US20190176841A1 (en) * 2017-12-13 2019-06-13 Luminar Technologies, Inc. Training multiple neural networks of a vehicle perception component based on sensor settings
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技(深圳)有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN109993099A (zh) * 2019-03-27 2019-07-09 西安航空职业技术学院 一种基于机器视觉的车道线提取识别方法
CN110111414A (zh) * 2019-04-10 2019-08-09 北京建筑大学 一种基于三维激光点云的正射影像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALBERTO HATA,DENIS WOLF: "Road marking detection using LIDAR reflective intensity data and its application to vehicle localization", 《 17TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
靖固,宋振伟,王铮: "车道线识别***算法设计及其FPGA实现", 《哈尔滨理工大学学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160396B (zh) * 2020-01-23 2024-03-29 宝马股份公司 建立地图模型的方法、生成实时地图的方法和地图***
CN113160396A (zh) * 2020-01-23 2021-07-23 宝马股份公司 建立地图模型的方法、生成实时地图的方法和地图***
CN111397578A (zh) * 2020-03-11 2020-07-10 中煤航测遥感集团有限公司 管道焊口的高程获取方法、装置及存储介质
CN111160328A (zh) * 2020-04-03 2020-05-15 速度时空信息科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法
CN111160328B (zh) * 2020-04-03 2023-07-07 速度科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法
CN111696059A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种车道线光滑连接处理方法和装置
CN111696059B (zh) * 2020-05-28 2022-04-29 武汉中海庭数据技术有限公司 一种车道线光滑连接处理方法和装置
CN112131947A (zh) * 2020-08-21 2020-12-25 河北鼎联科技有限公司 道路指示线提取方法及装置
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置
CN112434582A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线颜色识别方法、***、电子设备及存储介质
CN112700405A (zh) * 2020-12-11 2021-04-23 深圳市道通科技股份有限公司 刹车盘磨损度测量方法、装置及设备
CN112700405B (zh) * 2020-12-11 2023-07-07 深圳市道通科技股份有限公司 刹车盘磨损度测量方法、装置及设备
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113269897A (zh) * 2021-07-19 2021-08-17 深圳市信润富联数字科技有限公司 表面点云的获取方法、装置、设备及存储介质
CN113269897B (zh) * 2021-07-19 2021-11-09 深圳市信润富联数字科技有限公司 表面点云的获取方法、装置、设备及存储介质
CN113807193A (zh) * 2021-08-23 2021-12-17 武汉中海庭数据技术有限公司 一种激光点云中交通道路虚线段自动提取方法及***
CN113609632A (zh) * 2021-10-08 2021-11-05 天津云圣智能科技有限责任公司 电力线补点的确定方法、装置及服务器
CN113609632B (zh) * 2021-10-08 2021-12-21 天津云圣智能科技有限责任公司 电力线补点的确定方法、装置及服务器
CN114723867A (zh) * 2022-03-29 2022-07-08 北京百度网讯科技有限公司 点云地图的渲染方法、装置、设备及存储介质
CN116485636A (zh) * 2023-04-27 2023-07-25 武汉纵横天地空间信息技术有限公司 一种点云立面成像方法、***及可读存储介质
CN116485636B (zh) * 2023-04-27 2023-10-20 武汉纵横天地空间信息技术有限公司 一种点云立面成像方法、***及可读存储介质

Also Published As

Publication number Publication date
CN110705577B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110705577B (zh) 一种激光点云车道线提取方法
KR102325033B1 (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
CN110008809B (zh) 表格数据的获取方法、装置和服务器
WO2019214372A1 (zh) 地面标志提取的方法、模型训练的方法、设备及存储介质
CN111695486B (zh) 一种基于点云的高精度方向标志牌目标提取方法
CN110634291A (zh) 基于众包大数据的高精度地图拓扑自动构建方法及***
WO2017041396A1 (zh) 一种车道线数据的处理方法、装置、存储介质及设备
CN110598541B (zh) 一种提取道路边缘信息的方法及设备
CN107424166B (zh) 点云分割方法及装置
CN112652015B (zh) 基于bim的路面病害标记方法和装置
WO2021155558A1 (zh) 道路标线的识别方法、地图生成方法及相关产品
CN110363771B (zh) 一种基于三维点云数据的隔离护栏形点提取方法及装置
CN110598581B (zh) 基于卷积神经网络的光学乐谱识别方法
CN111696059B (zh) 一种车道线光滑连接处理方法和装置
CN113240623A (zh) 一种路面病害检测方法及装置
CN114862861B (zh) 基于少样本学习的肺叶分割方法和装置
CN110728735A (zh) 道路级拓扑图层构建方法及***
CN110135382B (zh) 一种人体检测方法和装置
CN112033419A (zh) 用于港口自动驾驶车道线检测的方法、电子设备及介质
CN113538500B (zh) 图像分割方法、装置、电子设备和存储介质
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
CN115170657A (zh) 钢轨识别方法及装置
CN114495049A (zh) 识别车道线的方法和装置
CN114118188A (zh) 针对待检测图像中移动对象的处理***、方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant