CN111242031B - 基于高精度地图的车道线检测方法 - Google Patents

基于高精度地图的车道线检测方法 Download PDF

Info

Publication number
CN111242031B
CN111242031B CN202010032917.5A CN202010032917A CN111242031B CN 111242031 B CN111242031 B CN 111242031B CN 202010032917 A CN202010032917 A CN 202010032917A CN 111242031 B CN111242031 B CN 111242031B
Authority
CN
China
Prior art keywords
lane line
coordinate system
map
image
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010032917.5A
Other languages
English (en)
Other versions
CN111242031A (zh
Inventor
胡禹超
戴震
倪凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HoloMatic Technology Beijing Co Ltd
Original Assignee
HoloMatic Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HoloMatic Technology Beijing Co Ltd filed Critical HoloMatic Technology Beijing Co Ltd
Priority to CN202010032917.5A priority Critical patent/CN111242031B/zh
Publication of CN111242031A publication Critical patent/CN111242031A/zh
Application granted granted Critical
Publication of CN111242031B publication Critical patent/CN111242031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于高精度地图的车道线检测方法,包括:由车辆的图像传感器获取的图像中提取图像车道线;根据车辆获得图像时的定位数据在预存的高精度地图中抽取地图车道线;根据高精度地图和定位数据判断获取车道线处的地面是否为平面:是,则将投影至车体坐标系中的图像车道线和地图车道线采用二维的迭代最近点算法进行配准,以修正定位位姿,并得到最终的车道线;否,则将投影至归一化相机坐标系中的图像车道线和地图车道线采用粒子滤波算法进行配准,以修正定位位姿,并得到最终的车道线。其实现了将高精度地图作为先验信息加入到从图像提取车道线的过程中,从而得到比以图像作为单一数据源更加鲁棒的车道线检测效果。

Description

基于高精度地图的车道线检测方法
技术领域
本发明涉及无人驾驶技术领域,尤其涉及一种基于高精度地图的车道线检测方法。
背景技术
车道线检测作为无人驾驶车的车道级定位、车道保持、障碍物检测等功能所依赖的技术,对于无人驾驶车的安全稳定行驶具有重要的作用。传统的车道线检测方法仅依赖于实时感知数据,比如图像和/或激光雷达等,容易在某些特定的情况下出错。例如,对于图像来说,一辆与车道线颜色相近的车出现在车道线上或附近,检测结果就容易受到影响。高精度地图较高的相对精度,如果能将高精度地图和车道线检测结合将可以为减少这种错误作出贡献,从而提升车道线检测的鲁棒性。
发明内容
本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于高精度地图的车道线检测方法,实现了将高精度地图作为先验信息加入到从图像提取车道线的过程中,从而得到比以图像作为单一数据源更加鲁棒的车道线检测效果。
为实现上述目的和一些其他的目的,本发明采用如下技术方案:
一种基于高精度地图的车道线检测方法,包括:
由车辆的图像传感器获取的图像中提取图像车道线;
根据车辆获得所述图像时的定位数据在预存的高精度地图中抽取地图车道线;
根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面:
是,则将所述图像车道线的点以及所述地图车道线的点分别投影至车体坐标系中,并采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准,以修正定位位姿,并得到最终的车道线;
否,则将所述图像车道线的点以及所述地图车道线的点分别投影至归一化相机坐标系中,并采用粒子滤波算法将归一化相机坐标系中的图像车道线和地图车道线进行配准,以修正定位位姿,并得到最终的车道线。
优选的是,所述的基于高精度地图的车道线检测方法中,将所述图像车道线的点投影至归一化相机坐标系中,即将所述图像车道线的点由像素坐标系投影至归一化相机坐标系中,包括:
设所述车辆后轴中心距离地面的距离为hg,则车道线所在平面为z=-hg
根据所述图像传感器的内参和畸变参数得到像素坐标系与归一化相机坐标系的对应关系如公式1所示:
(xi,yi)T=fci(xc,yc) 公式1;
其中,i代表像素坐标系;c代表归一化相机坐标系;x和y分别代表图像车道线的点在坐标系中X轴和Y轴上的值;
利用公式1的对应关系将像素坐标系中所述图像车道线的点投影至平面z=-hg上。
优选的是,所述的基于高精度地图的车道线检测方法中,所述图像车道线投影至平面z=-hg上的点需要满足公式2的约束:
μRc(xc,yc,1)T=(x,y,z)T-Tc 公式2;
其中,μ代表归一化系数;Rc代表图像传感器的外参相对于车体坐标系的姿态;T代表图像传感器的外参相对于车体坐标系的位置;且μ>0。
优选的是,所述的基于高精度地图的车道线检测方法中,当车体坐标系与地面平面间存在偏角时,则以地面平面模型(a1,a2,a3,a4)(x,y,z,1)T=0代替z=-hg,其中ai,i=0,1,2,3,4代表事先标定的参数。
优选的是,所述的基于高精度地图的车道线检测方法中,将所述地图车道线的点投影至归一化相机坐标系中,包括:
将所述地图车道线的点先投影至车体坐标系中,然后再由车体坐标系投影至归一化相机坐标系中;
其中,按照公式3所示的映射关系将地图车道线由车体坐标系投影至归一化相机坐标系中:
(xc,yc,1)T=fbc(xb,yb,zb)=a(Rc(xb,yb,zb)T+Tc) 公式3;
其中,a代表归一化系数;b代表车体坐标系。
优选的是,所述的基于高精度地图的车道线检测方法中,根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面,包括:
将所述地图车道线投影至车体坐标系中,并对地图车道线的纵向范围进行限制,且将横向范围限制为当前同向的道路范围加上预设的横向误差,得到投影地图车道线;
使用RANSAC和最小二乘法将所述投影地图车道线的点拟合为如公式4所示的多项式曲面;
z=a0+a1x+a2y+a3xy+a4x2+a5y2 公式4;
判断公式4中曲面多项式系数aj,j=3,4,5是否小于预设的阈值:是,则判定地面为平面;否,则判定地面为非平面。
优选的是,所述的基于高精度地图的车道线检测方法中,采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准时,对组成车道线的点在坐标系X轴上的值按照值的由大到小赋予的权重逐渐变大。
优选的是,所述的基于高精度地图的车道线检测方法中,采用粒子滤波算法将归一化相机坐标系中的图像车道线和地图车道线进行配准,包括:
将组成地图车道线的每个粒子的位姿Pp采样的范围限定在定位Pi的位姿周围,并以误差范围eP为界,即使Pp满足公式5:
通过归一化相机坐标系中的地图车道线与图像车道线间的偏差更新粒子的权重,迭代执行,直至偏差小于设定的偏差阈值后,则实现了图像车道线和地图车道线的配准;若迭代步数达到预设的迭代步数限制时,偏差仍大于偏差阈值,则放弃本次采用地图车道线对图像车道线的配准。
一种基于高精度地图的车道线检测方法,包括:
由车辆的激光雷达传感器获取点云车道线;
获得车辆获得所述点云车道线时的定位数据,根据所述定位数据在预存的高精度地图中抽取地图车道线,并将所述地图车道线投影至车体坐标系下;
根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面:
是,则采用二维的迭代最近点算法将点云车道线和投影至车体坐标系下的地图车道线做点云配准,以修正定位位姿,并得到最终的车道线;
否,则采用三维的迭代最近点算法或粒子滤波算法将点云车道线和投影至车体坐标系下的地图车道线做点云配准,以修正定位位姿,并得到最终的车道线。
优选的是,所述的基于高精度地图的车道线检测方法中,所述高精度地图设为相对位置误差不大于0.1m的高精度地图;所述定位数据与高精度地图间的偏差不大于预设的偏差值。
本发明至少包括以下有益效果:
本发明的基于高精度地图的车道线检测方法中,通过在判断车道线所在的地面是否为平面后,再将图像传感器获得图像车道线和由高精度地图获得的地图车道线投影至不同的坐标系下进行配准,不仅实现了将高精度地图作为先验信息加入到从图像提取车道线的过程中,从而得到比以图像作为单一数据源更加鲁棒的车道线检测效果,并使得定位数据与高精度地图在车体坐标系中存在的位移偏差和旋转偏差均能得到准确的检测,以用于车道线的修正,进而进一步保证了将高精度地图作为先验信息加入到车道线检测后,得到的车道线检测结果的准确性。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1是本发明提供的基于高精度地图的车道线检测方法的总体流程图;
图2是本发明提供的数据源为图像传感器,且地面为平面时的基于高精度地图的车道线检测方法的流程图;
图3是本发明提供的数据源为图像传感器,且地面为非平面时的基于高精度地图的车道线检测方法的流程图;
图4是本发明提供的数据源为激光雷达传感器,且地面为平面时的基于高精度地图的车道线检测方法的流程图;
图5是发明提供的数据源为激光雷达传感器,且地面为非平面时的基于高精度地图的车道线检测方法的流程图。
具体实施方式
下面结合附图对本发明做详细说明,以令本领域普通技术人员参阅本说明书后能够据以实施。
如图1-图3所示,一种基于高精度地图的车道线检测方法,包括:由车辆的图像传感器获取的图像中提取图像车道线;
根据车辆获得所述图像时的定位数据在预存的高精度地图中抽取地图车道线;
根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面:
是,则将所述图像车道线的点以及所述地图车道线的点分别投影至车体坐标系中,并采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准,以修正定位位姿,并得到最终的车道线;
否,则将所述图像车道线的点以及所述地图车道线的点分别投影至归一化相机坐标系中,并采用粒子滤波算法将归一化相机坐标系中的图像车道线和地图车道线进行配准,以修正定位位姿,并得到最终的车道线。
在上述方案中,通过在判断车道线所在的地面是否为平面后,再将图像传感器获得图像车道线和由高精度地图获得的地图车道线投影至不同的坐标系下进行配准,不仅实现了将高精度地图作为先验信息加入到从图像提取车道线的过程中,从而得到比以图像作为单一数据源更加鲁棒的车道线检测效果,并使得定位数据与高精度地图在车体坐标系中存在的位移偏差和旋转偏差均能得到准确的检测,以用于车道线的修正,进而进一步保证了将高精度地图作为先验信息加入到车道线检测后,得到的车道线检测结果的准确性。
由于定位与高精度地图存在偏差ep,所以两条不同来源的车道线也会存在偏差。因此需要对两者进行配准。当两者在同一个平面上时,可以使用二维的ICP(迭代最近点)算法来处理,同时配准时需要将最终配准的位姿与初始位姿的差限制在误差范围之内,即而当两者不在同一平面上时,由于无法事先确定该非平面的形状,所以难以直接计算图像点在该非平面的反向投影点,这里使用粒子滤波来处理这种情况。通过在判断车道线所在的地面是否为平面后,再采用不同的算法将图像车道线和地图车道线配准,使得定位数据与高精度地图在车体坐标系中存在的位移偏差和旋转偏差均能得到准确的检测,以用于车道线的修正,进而进一步保证了将高精度地图作为先验信息加入到车道线检测后,得到的车道线检测结果的准确性。
其中,配准后的地图车道线可直接用作最后的检测结果输出,也可以作为一个参考,用于输入到图像/激光雷达传感器点云车道线的后续处理过程中,以降低检测出错的可能性。
一个优选方案中,将所述图像车道线的点投影至归一化相机坐标系中,即将所述图像车道线的点由像素坐标系投影至归一化相机坐标系中,包括:
设所述车辆后轴中心距离地面的距离为hg,则车道线所在平面为z=-hg
根据所述图像传感器的内参和畸变参数得到像素坐标系与归一化相机坐标系的对应关系如公式1所示:
(xi,yi)T=fci(xc,yc) 公式1;
其中,i代表像素坐标系;c代表归一化相机坐标系;x和y分别代表图像车道线的点在坐标系中X轴和Y轴上的值;
利用公式1的对应关系将像素坐标系中所述图像车道线的点投影至平面z=-hg上。
一个优选方案中,所述图像车道线投影至平面z=-hg上的点需要满足公式2的约束:
μRc(xc,yc,1)T=(x,y,z)T-Tc 公式2;
其中,μ代表归一化系数;Rc代表图像传感器的外参相对于车体坐标系的姿态;T代表图像传感器的外参相对于车体坐标系的位置;且μ>0。
在上述方案中,使用公式1所述的映射关系将图像中的每一点反投影到平面z=-hg上,即以以相机光心为原点,经过图像在归一化相机坐标系中的对应点作射线,与上述平面的交点,并满足公式2的约束条件,从而可以得到将像素坐标系中检测到的车道线点投影至车体坐标系中。
一个优选方案中,当车体坐标系与地面平面间存在偏角时,则以地面平面模型(a1,a2,a3,a4)(x,y,z,1)T=0代替z=-hg,其中ai,i=0,1,2,3,4代表事先标定的参数。
一个优选方案中,将所述地图车道线的点投影至归一化相机坐标系中,包括:
将所述地图车道线的点先投影至车体坐标系中,然后再由车体坐标系投影至归一化相机坐标系中;
其中,按照公式3所示的映射关系将地图车道线由车体坐标系投影至归一化相机坐标系中:
(xc,yc,1)T=fbc(xb,yb,zb)=a(Rc(xb,yb,zb)T+Tc) 公式3;
其中,a代表归一化系数;b代表车体坐标系。
一个优选方案中,根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面,包括:
将所述地图车道线投影至车体坐标系中,并对地图车道线的纵向范围进行限制,且将横向范围限制为当前同向的道路范围加上预设的横向误差,得到投影地图车道线;
使用RANSAC和最小二乘法将所述投影地图车道线的点拟合为如公式4所示的多项式曲面;
z=a0+a1x+a2y+a3xy+a4x2+a5y2 公式4;
判断公式4中曲面多项式系数aj,j=3,4,5是否小于预设的阈值:是,则判定地面为平面;否,则判定地面为非平面。
一个优选方案中,采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准时,对组成车道线的点在坐标系X轴上的值按照值的由大到小赋予的权重逐渐变大。
在上述方案中,通过在采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准时,对组成车道线的点在坐标系X轴上的值按照值的由大到小赋予的权重逐渐变大,使得将x值较小的点相对于较大的点赋予相对较高的权重,能够降低图像中较远点精度较低的影响,进而提高了配准精度。
一个优选方案中,采用粒子滤波算法将归一化相机坐标系中的图像车道线和地图车道线进行配准,包括:
将组成地图车道线的每个粒子的位姿Pp采样的范围限定在定位Pi的位姿周围,并以误差范围eP为界,即使Pp满足公式5:
通过归一化相机坐标系中的地图车道线与图像车道线间的偏差更新粒子的权重,迭代执行,直至偏差小于设定的偏差阈值后,则实现了图像车道线和地图车道线的配准;若迭代步数达到预设的迭代步数限制时,偏差仍大于偏差阈值,则放弃本次采用地图车道线对图像车道线的配准。
如图4和图5所示,一种基于高精度地图的车道线检测方法,包括:
由车辆的激光雷达传感器获取点云车道线;
获得车辆获得所述点云车道线时的定位数据,根据所述定位数据在预存的高精度地图中抽取地图车道线,并将所述地图车道线投影至车体坐标系下;
根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面:
是,则采用二维的迭代最近点算法将点云车道线和投影至车体坐标系下的地图车道线做点云配准,以修正定位位姿,并得到最终的车道线;
否,则采用三维的迭代最近点算法或粒子滤波算法将点云车道线和投影至车体坐标系下的地图车道线做点云配准,以修正定位位姿,并得到最终的车道线。
在上述方案中,如果用的是激光雷达传感器,由于地图车道线及激光雷达点云车道线均是在车体坐标系下,直接与地图车道线做点云配准即可,无需进行坐标系转换的工作。与图像的情况类似,如果地面处于同一个平面,执行二维ICP算法,如果地面是非平面,可使用三维ICP或者粒子滤波。
同时,该方法还支持除来自图像、激光雷达外的其他数据源的车道线检测过程,适用范围广泛。
一个优选方案中,所述高精度地图设为相对位置误差不大于0.1m的高精度地图;所述定位数据与高精度地图间的偏差不大于预设的偏差值。
实施例
以从图像提取车道线作为例子:
在车体坐标系下,一条车道线可以表示为三次曲线y=c0+c1x+c2x2+c3x3,其中cn,n=0,1,2,3代表系数,在车道线检测中是需要被估算的量。在本例中估算的车道线纵向范围被限制为x∈[0,120]。
这里所使用的高精度地图及定位需满足以下条件:
1、高精度地图具有较高的相对精度,设相对位置误差不大于el,该值一般为0.1m;
2、定位与高精度地图之间的偏差在一定范围以内,设纵向误差不大于ex,横向误差不大于ey
约定所用坐标系满足:
1、车体坐标系以车辆后轴中心为零点,纵向为X轴,以前向为正,横向为Y轴,以左向为正,Z轴垂直其余两轴,并以向上为正,满足右手坐标系;
2、车辆后轴中心离地面距离设为hg
3、图像传感器的内外参及畸变参数均已标定,其中外参即相对于车体坐标系的位置为Tc,姿态为Rc
根据高精度地图及定位数据判断所检测的车道线是否落在同一个平面上。方法如下:
1、根据高精度地图及定位,从地图抽取车道线并投影到车体坐标系,考虑到误差,将车道线的纵向范围限制为x∈[0-ex,120+ex],横向范围限制为当前同向的道路范围加上误差ey
2、使用RANSAC及最小二乘法将前一步所得到的所有车道线的点拟合成多项式曲面,比如二次多项式z=a0+a1x+a2y+a3xy+a4x2+a5y2
3、检查归一化系数aj,j=3,4,5是否小于阈值,如果小于阈值,则认为在同一个平面上,否则认为不在同一个平面上。
由于定位与高精度地图之间不可避免地存在偏差,在车体坐标系中该偏差ep可分解为位移偏差eT,及旋转偏差eR,将地图信息用于车道线检测的核心在于如何得到这个偏差信息。根据车道线是否在同一个平面上,有不同的处理方法。
1、在同一个平面上
需要先将像素坐标系中的点,即图像车道线的点转换到归一化相机坐标系下,然后再根据车体距离地面的高度将归一化相机坐标系中的点转换到车体坐标系下,具体为:
由车体距离地面的高度可得该平面为z=-hg。由内参及畸变参数可得像素坐标系与归一化相机坐标系的对应关系,设该映射为(xi,yi)T=fci(xc,yc),其中下标i代表像素坐标系,c代表归一化相机坐标系。使用该映射将图像中的每一点反投影到平面z=-hg,即以相机光心为原点,经过图像在归一化相机坐标系中的对应点,作射线,与上述平面的交点。那么该点应当满足如下约束:z=-hg、(xi,yi)T=fci(xc,yc)、μRc(xc,yc,1)T=(x,y,z)T-Tc以及μ>0。
据此,可将像素坐标系中检测到的车道线点投影至车体坐标系中。同时根据定位从高精度地图中抽取车道线,同样投影至车体坐标系中。由于定位与高精度地图存在偏差ep,所以以上两条不同来源的车道线也会存在偏差。因此需要对两者进行配准。由于两者是在同一个平面上,可以使用二维的ICP(迭代最近点)算法来处理。在使用ICP时将值较小的点相对于较大的点赋予相对较高的权重,以降低图像中较远点精度较低的影响。需要注意的是,配准时需要将最终配准的位姿与初始位姿的差限制在误差范围之内,即更进一步的,如果考虑到车体坐标系与地面平面存在的偏角,如果事先已标定,那么可将地面平面建模为(a1,a2,a3,a4)(x,y,z,1)T=0,代替原来的z=-hg,其中ai,i=0,1,2,3,4代表事先标定的参数代表标定的参数。
2、不在同一个平面上
由于无法事先确定该非平面的形状,所以难以直接计算图像点在该非平面的反向投影点。这里使用粒子滤波来处理这种情况,步骤如下:
1、根据定位从高精度地图中抽取车道线,投影至车体坐标系中;
2、将车体坐标系中的地图车道线投影至归一化相机坐标系中,设该映射为(xc,yc,1)T=fbc(xb,yb,zb)=a(Rc(xb,yb,zb)T+Tc),其中a为归一化系数;
3、将图像中检测到的车道线像素点反向投影至归一化相机坐标系中
4、以上两条不同来源的车道线在归一化相机坐标系中存在偏差,使用粒子滤波进行配准,每个粒子位姿Pp采样的范围为定位Pi的位姿周围,以误差范围ep为界,即每个粒子根据第1及第2步将地图车道线投影至归一化相机坐标系中,并计算与图像车道线的偏差,并更新粒子权重,迭代执行,直到找到偏差小于设定的阈值或者超出迭代步数限制;
5、如果迭代超出步数限制,则认为失败,放弃本次使用地图信息的尝试。
以由激光雷达传感器提取点云车道线为例:
由于地图车道线及激光雷达点云车道线均是在车体坐标系下,直接与地图车道线做点云配准即可,无需进行坐标系转换的工作。与图像的情况类似,如果地面处于同一个平面,执行二维ICP算法,如果地面是非平面,可使用三维ICP或者粒子滤波。
配准后的地图车道线可直接用作最后检测的结果输出,也可以将其作为一个参考,将其输入到图像/激光雷达点云车道线的后续处理过程中,以降低检测出错的可能性。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里所示出与描述的图例。

Claims (9)

1.一种基于高精度地图的车道线检测方法,其中,包括:
由车辆的图像传感器获取的图像中提取图像车道线;
根据车辆获得所述图像时的定位数据在预存的高精度地图中抽取地图车道线;
根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面,包括:
将所述地图车道线投影至车体坐标系中,并对地图车道线的纵向范围进行限制,且将横向范围限制为当前同向的道路范围加上预设的横向误差,得到投影地图车道线;
使用RANSAC和最小二乘法将所述投影地图车道线的点拟合为如公式4所示的多项式曲面;
z=a0+a1x+a2y+a3xy+a4x2+a5y2公式4;
判断公式4中曲面多项式系数aj,j=3,4,5是否小于预设的阈值:是,则判定地面为平面;否,则判定地面为非平面;
是,则将所述图像车道线的点以及所述地图车道线的点分别投影至车体坐标系中,并采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准,以修正定位位姿,并得到最终的车道线;
否,则将所述图像车道线的点以及所述地图车道线的点分别投影至归一化相机坐标系中,并采用粒子滤波算法将归一化相机坐标系中的图像车道线和地图车道线进行配准,以修正定位位姿,并得到最终的车道线。
2.如权利要求1所述的基于高精度地图的车道线检测方法,其中,将所述图像车道线的点投影至归一化相机坐标系中,即将所述图像车道线的点由像素坐标系投影至归一化相机坐标系中,包括:
设所述车辆后轴中心距离地面的距离为hg,则车道线所在平面为z=-hg
根据所述图像传感器的内参和畸变参数得到像素坐标系与归一化相机坐标系的对应关系如公式1所示:
(xi,yi)T=fci(xc,yc)公式1;
其中,i代表像素坐标系;c代表归一化相机坐标系;x和y分别代表图像车道线的点在坐标系中X轴和Y轴上的值;fci()代表将车道线的点从归一化相机坐标系投影至像素坐标系;
利用公式1的对应关系将像素坐标系中所述图像车道线的点投影至平面z=-hg上。
3.如权利要求2所述的基于高精度地图的车道线检测方法,其中,所述图像车道线投影至平面z=-hg上的点需要满足公式2的约束:
μRc(xc,yc,1)T=(x,y,z)T-Tc 公式2;
其中,μ代表归一化系数;Rc代表图像传感器的外参相对于车体坐标系的姿态;
Tc代表图像传感器的外参相对于车体坐标系的位置;且μ>0。
4.如权利要求2所述的基于高精度地图的车道线检测方法,其中,当车体坐标系与地面平面间存在偏角时,则以地面平面模型(a1,a2,a3,a4)(x,y,z,1)T=0代替z=-hg,其中ai,i=0,1,2,3,4代表事先标定的参数。
5.如权利要求1所述的基于高精度地图的车道线检测方法,其中,将所述地图车道线的点投影至归一化相机坐标系中,包括:
将所述地图车道线的点先投影至车体坐标系中,然后再由车体坐标系投影至归一化相机坐标系中;
其中,按照公式3所示的映射关系将地图车道线由车体坐标系投影至归一化相机坐标系中:
(xc,yc,1)T=fbc(xb,yb,zb)=a(Rc(xb,yb,zb)T+Tc) 公式3;
其中,a代表归一化系数;b代表车体坐标系;fbc()代表将车道线的点从车体坐标系投影至归一化相机坐标系;xb、yb和zb分别代表车道线的点在车体坐标系中X轴和Y轴和Z轴上的值;xc和yc分别代表车道线的点在归一化相机坐标系中X轴和Y轴上的值;Rc代表图像传感器的外参相对于车体坐标系的姿态;Tc代表图像传感器的外参相对于车体坐标系的位置。
6.如权利要求1所述的基于高精度地图的车道线检测方法,其中,采用二维的迭代最近点算法将车体坐标系中的图像车道线和地图车道线进行配准时,对组成车道线的点在坐标系X轴上的值按照值的由大到小赋予的权重逐渐变大。
7.如权利要求1所述的基于高精度地图的车道线检测方法,其中,采用粒子滤波算法将归一化相机坐标系中的图像车道线和地图车道线进行配准,包括:
将组成地图车道线的每个粒子的位姿Pp采样的范围限定在定位Pi的位姿周围,并以误差范围eP为界,即使Pp满足公式5:
通过归一化相机坐标系中的地图车道线与图像车道线间的偏差更新粒子的权重,迭代执行,直至偏差小于设定的偏差阈值后,则实现了图像车道线和地图车道线的配准;若迭代步数达到预设的迭代步数限制时,偏差仍大于偏差阈值,则放弃本次采用地图车道线对图像车道线的配准。
8.一种基于高精度地图的车道线检测方法,其中,包括:
由车辆的激光雷达传感器获取点云车道线;
获得车辆获得所述点云车道线时的定位数据,根据所述定位数据在预存的高精度地图中抽取地图车道线,并将所述地图车道线投影至车体坐标系下;
根据所述高精度地图和定位数据判断获取车道线处的地面是否为平面,包括:
将所述地图车道线投影至车体坐标系中,并对地图车道线的纵向范围进行限制,且将横向范围限制为当前同向的道路范围加上预设的横向误差,得到投影地图车道线;
使用RANSAC和最小二乘法将所述投影地图车道线的点拟合为如公式4所示的多项式曲面;
z=a0+a1x+a2y+a3xy+a4x2+a5y2 公式4;
判断公式4中曲面多项式系数aj,j=3,4,5是否小于预设的阈值:是,则判定地面为平面;否,则判定地面为非平面;
是,则采用二维的迭代最近点算法将点云车道线和投影至车体坐标系下的地图车道线做点云配准,以修正定位位姿,并得到最终的车道线;
否,则采用三维的迭代最近点算法或粒子滤波算法将点云车道线和投影至车体坐标系下的地图车道线做点云配准,以修正定位位姿,并得到最终的车道线。
9.如权利要求1或8所述的基于高精度地图的车道线检测方法,其中,所述高精度地图设为相对位置误差不大于0.1m的高精度地图;所述定位数据与高精度地图间的偏差不大于预设的偏差值。
CN202010032917.5A 2020-01-13 2020-01-13 基于高精度地图的车道线检测方法 Active CN111242031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010032917.5A CN111242031B (zh) 2020-01-13 2020-01-13 基于高精度地图的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010032917.5A CN111242031B (zh) 2020-01-13 2020-01-13 基于高精度地图的车道线检测方法

Publications (2)

Publication Number Publication Date
CN111242031A CN111242031A (zh) 2020-06-05
CN111242031B true CN111242031B (zh) 2023-08-01

Family

ID=70870911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010032917.5A Active CN111242031B (zh) 2020-01-13 2020-01-13 基于高精度地图的车道线检测方法

Country Status (1)

Country Link
CN (1) CN111242031B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111873995B (zh) * 2020-08-04 2021-07-23 禾多科技(北京)有限公司 高速公路自动驾驶上下匝道的***及方法
CN112232246A (zh) * 2020-10-22 2021-01-15 深兰人工智能(深圳)有限公司 基于深度学习的垃圾检测分类方法和装置
CN112902987B (zh) * 2021-02-02 2022-07-15 北京三快在线科技有限公司 一种位姿修正的方法及装置
CN113191459B (zh) * 2021-05-27 2022-09-09 山东高速建设管理集团有限公司 一种基于路侧激光雷达的在途目标分类方法
CN113469045B (zh) * 2021-06-30 2023-05-02 上海西井信息科技有限公司 无人集卡的视觉定位方法、***、电子设备和存储介质
CN113379852B (zh) * 2021-08-10 2021-11-30 禾多科技(北京)有限公司 用于验证相机标定结果的方法、装置、电子设备和介质
CN113870600B (zh) * 2021-09-29 2022-09-27 禾多阡陌科技(北京)有限公司 车道线信息显示方法、装置、电子设备和计算机可读介质
CN114199244A (zh) * 2021-10-28 2022-03-18 中交第三航务工程勘察设计院有限公司 一种面向港口场景的视觉车道线辅助定位方法
CN114034307B (zh) * 2021-11-19 2024-04-16 智道网联科技(北京)有限公司 基于车道线的车辆位姿校准方法、装置和电子设备
CN113869293B (zh) * 2021-12-03 2022-03-11 禾多科技(北京)有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN114396957B (zh) * 2022-02-28 2023-10-13 重庆长安汽车股份有限公司 基于视觉与地图车道线匹配的定位位姿校准方法及汽车
CN115143996B (zh) * 2022-09-05 2023-01-17 北京智行者科技股份有限公司 定位信息修正方法及电子设备和存储介质
CN115686018A (zh) * 2022-11-04 2023-02-03 智道网联科技(北京)有限公司 车道中心线精度验证方法及装置
CN115616510B (zh) * 2022-12-05 2023-03-31 广州市德赛西威智慧交通技术有限公司 一种交通毫米波雷达标定方法及***
CN115798218B (zh) * 2023-01-16 2023-04-28 高德软件有限公司 关联交通标识信息的方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107782321A (zh) * 2017-10-10 2018-03-09 武汉迈普时空导航科技有限公司 一种基于视觉和高精度地图车道线约束的组合导航方法
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院(江苏)有限公司 一种车道线检测的方法和设备
CN109883432A (zh) * 2019-02-21 2019-06-14 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质
CN109948413A (zh) * 2018-12-29 2019-06-28 禾多科技(北京)有限公司 基于高精度地图融合的车道线检测方法
CN110634156A (zh) * 2019-08-28 2019-12-31 重庆知行宏图科技有限公司 室内平面图的在线配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776996B (zh) * 2016-12-02 2018-09-07 百度在线网络技术(北京)有限公司 用于测试高精度地图的准确性的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107782321A (zh) * 2017-10-10 2018-03-09 武汉迈普时空导航科技有限公司 一种基于视觉和高精度地图车道线约束的组合导航方法
CN109948413A (zh) * 2018-12-29 2019-06-28 禾多科技(北京)有限公司 基于高精度地图融合的车道线检测方法
CN109883432A (zh) * 2019-02-21 2019-06-14 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院(江苏)有限公司 一种车道线检测的方法和设备
CN110634156A (zh) * 2019-08-28 2019-12-31 重庆知行宏图科技有限公司 室内平面图的在线配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Semi-Automated Generation of Road Transition Lines Using Mobile Laser Scanning Data;Chengming Ye 等;IEEE Transactions on Intelligent Transportation Systems;1877-1890 *
基于多传感融合的车道线检测与跟踪方法的研究;吴彦文;张楠;周涛;严巍;;计算机应用研究(02);全文 *
最小二乘曲面拟合的LiDAR数据滤波方法;熊俊华;方源敏;邓德标;;测绘科学(04);全文 *

Also Published As

Publication number Publication date
CN111242031A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242031B (zh) 基于高精度地图的车道线检测方法
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN112529966B (zh) 一种车载环视***的在线标定方法及其车载环视***
CN111815713A (zh) 自动标定相机外参的方法及***
US10363940B2 (en) Vehicle position attitude-angle estimation device and vehicle position attitude-angle estimation method
US11814056B2 (en) Travel amount estimation apparatus
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN112017249A (zh) 车载摄像头滚转角获取、安装角度校正方法及设备
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
CN114067001A (zh) 车载相机角度标定方法、终端及存储介质
CN116681733B (zh) 一种空间非合作目标近距离实时位姿跟踪方法
CN113643355B (zh) 一种目标车辆位置和朝向的检测方法、***及存储介质
CN116681776B (zh) 一种双目相机的外参标定方法和***
JP2021193340A (ja) 自己位置推定装置
KR101394770B1 (ko) 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템
CN117029870A (zh) 一种基于路面点云的激光里程计
CN111220399A (zh) 一种基于图像测定车轮前束角的方法及其***
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
KR20220153802A (ko) 캘리브레이션 방법 및 장치
CN114037977A (zh) 道路灭点的检测方法、装置、设备及存储介质
CN114004949A (zh) 机载点云辅助的移动测量***安置参数检校方法及***
CN114648576B (zh) 一种目标车辆的定位方法、装置以及***
CN113537161B (zh) 一种障碍物的识别方法、***及装置
CN114265081A (zh) 2d相机与激光雷达的数据融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant