CN110263607B - 一种用于无人驾驶的道路级全局环境地图生成方法 - Google Patents

一种用于无人驾驶的道路级全局环境地图生成方法 Download PDF

Info

Publication number
CN110263607B
CN110263607B CN201811498011.1A CN201811498011A CN110263607B CN 110263607 B CN110263607 B CN 110263607B CN 201811498011 A CN201811498011 A CN 201811498011A CN 110263607 B CN110263607 B CN 110263607B
Authority
CN
China
Prior art keywords
lane line
visual
image
unmanned
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811498011.1A
Other languages
English (en)
Other versions
CN110263607A (zh
Inventor
程洪
邓桂林
杜鹏
赵洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811498011.1A priority Critical patent/CN110263607B/zh
Publication of CN110263607A publication Critical patent/CN110263607A/zh
Application granted granted Critical
Publication of CN110263607B publication Critical patent/CN110263607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种用于无人驾驶的道路级全局环境地图生成方法,获取无人驾驶汽车当前数据、计算无人驾驶汽车当前运动状态、提取图像特征矩阵、筛选相似视觉模板和添加新视觉模板、经验点匹配、车道线检测和车道线与全局经验地图融合等步骤最终生成无人驾驶的道路级全局环境地图,无人驾驶汽车利用车载传感器来感知车辆周围环境,并根据感知得到的道路、车辆位置和障碍物信息,来达到无人驾驶的目的,克服了传统的易受地形、天气状况以及精度欠精确的问题,本发明的一种用于无人驾驶的道路级全局环境地图生成方法,通过在车辆行驶过程中持续捕捉环境信息生成全局经验地图,再结合多车道线检测,得到准确度较高的道路级全局环境地图。

Description

一种用于无人驾驶的道路级全局环境地图生成方法
技术领域
本发明涉及无人驾驶技术领域,特别涉及一种用于无人驾驶的道路级全局环境地图生成方法。
背景技术
随着通信技术、机器智能技术、计算机网络技术以及地理信息***技术等技术的蓬勃发展,无人驾驶在军事、民用以及科学研究等诸多方面获得了广泛的关注,无人驾驶集中实现了控制论、电子学及人工智能的等诸多领域的交叉研究,具有非常广阔的运用前景。无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,从上世纪70年代开始,美国、英国、德国等发达国家开始进行无人驾驶汽车的研究,多年来,在可行性和实用化方面都取得了重大突破。
无人驾驶汽车目前大多是利用车载传感器来感知车辆周围环境,并根据感知得到的道路、车辆位置和障碍物信息,来达到无人驾驶的目的,已有的无人驾驶汽车道路环境感知***采用的传感器有传感器、激光雷达、惯导以及GPS等,但是普通GPS的精度有限,信号不稳定且易受遮挡,利用激光雷达等纯视觉器件可有效识别出道路边界和障碍物,且这类器件虽然适用于大部分环境,价格相对低廉,安装十分便捷,但是,要想实现无人驾驶汽车的精确安全行驶,就必须要有非常丰富的道路信息提供给无人车作驾驶决策。假若能绘制一种精度和准确度相当高的地图,用来指导无人驾驶汽车在变道、超车等过程中对路线进行精确判定,那么就能防止在此过程中造成交通事故。
因此,在汽车行驶的过程中,对无人驾驶汽车行驶车道进行检测,得到当前行驶车道的车道信息是非常有必要的。不少传统的无人驾驶汽车,是利用GPS进行地图绘制的,然而就像前面所说,这种现有的技术方案存在很大的问题和缺点,那就是易受地形、天气状况以及精度欠精确的问题。而且制作成本还不低,运用这种办法制作出来的地图对无人驾驶汽车进行推广,显然是很不利的。
发明内容
本发明的目的在于克服现有技术的不足,提供一种用于无人驾驶的道路级全局环境地图生成方法,通过在车辆行驶过程中持续捕捉环境信息生成全局经验地图,再结合多车道线检测,得到准确度高的道路级全局环境地图,为无人驾驶提供更精确的驾驶决策。
本发明的目的是通过以下技术方案来实现的:
一种用于无人驾驶的道路级全局环境地图生成方法,包括以下步骤:
S1、获取无人驾驶汽车当前数据,在无人驾驶汽车运动过程中持续进行定位和拍摄图像,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨迹,得到全局经验地图;
S2、计算无人驾驶汽车当前运动状态,通过比较捕捉到的前后两张图片中特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息,所述位置坐标(xh,yh)和所述角度θh构成无人驾驶汽车当前的位姿Ph=(xh,yhh);
S3、提取图像特征矩阵,根据无人驾驶汽车行驶环境的特点选择颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵;
S4、筛选相似视觉模板和添加新视觉模板,从图像特征矩阵中筛选出具有环境代表性的图像特征矩阵作为视觉模板,每采集一帧图像后,判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板;
所述筛选相似视觉模板的分步骤如下:
S401、记视觉模板集合F={F1,F2,…},其中FK表示第K个视觉模板,k=1,2,…,K,K表示当前视觉模板集合中的模板数量;计算当前帧的图像特征矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似度,选择相似度最大的视觉模板
Figure GDA0002165452400000021
将其对应的图像序号记为R;
S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系数d,比较匹配系数d和预设阈值dmax
d=min f(s,Ih,IR)
比较匹配系数d和预设阈值dmax,如果d>dmax,将Fh作为第K+1个视觉模板添加到视觉模板集合,当前帧图像的视觉模板Fh=Fh,否则,将视觉模板
Figure GDA0002165452400000031
也就是与当前帧相似度最大的视觉模板,作为当前帧图像对应的视觉模板
Figure GDA0002165452400000032
S5、经验点匹配,根据无人驾驶汽车当前对应的位姿Ph和视觉模板Fh与当前已存在的每个经验点ei的位姿Pi与视觉模板Fi进行比较,求得匹配值Si,所述ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已有经验点数量,具体计算公式如下:
Si=μP|Pi-Ph|+μF|Fi-Fh|
其中,μP和μF分别是位姿信息和视觉特征的权值;
当Q个Si均大于预设阈值Smax时,根据当前无人驾驶汽车当前对应的位姿信息Ph和视觉模板Fh生成新经验点;
当Q个Si均小于预设阈值Smax时,选择Si最小的经验点作为匹配经验点;
S6、车道线检测,拍摄每帧图像的同时,采用摄像头和激光雷达采集360度视角范围内的车道信息,检测得到当前帧图像对应的所有车道线的特征点集;
S7、车道线与全局经验地图融合,融合车道线检测结果和生成的全局经验地图,得到无人驾驶的道路级全局环境地图。
进一步地,所述的步骤S2中无人驾驶汽车当前的位姿Ph=(xh,yhh)计算公式如下:
第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,Ih,Ih-1)为:
Figure GDA0002165452400000033
其中,w是图片宽度,s是进行强度分布比较的宽度,
Figure GDA0002165452400000034
Figure GDA0002165452400000035
分别表示图片中第ξ+max(s,0)像素列的强度值;
无人驾驶汽车当前的角度θh=θh-1+Δθh,旋转角度增量Δθh=σ·sm,σ为增量参数,sm是强度分布比较的宽度即sm=arg min f(s,Ih,Ih-1)。
进一步地,所述步骤S4中图像特征矩阵Fh和视觉模板Fk的相似度采用以下方式计算:
计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,Ih,Ik)中的最小值,作为相似度D(h,k),即D(h,k)=minf(s,Ih,Ih-1),D(h,k)越小,相似度越大。
进一步地,所述的步骤S6中车道线检测,具体包括以下分步骤:
S601、基于图像的车道线特征点识别,根据摄像头拍摄到的360视角的路面图像进行车道线识别,得到每根车道线的特征点集;
S602、坐标变换,根据各个特征点在路面图像中的坐标和激光雷达所获得的该特征点的距离,将特征点变换到无人驾驶汽车的车辆坐标系下;
S603、判断最近车道线,在车辆坐标系下,计算每根车道线的特征点集的所有的点到无人驾驶汽车坐标的平均距离,选择车辆左、右两侧平均距离最小的车道线分别作为左侧最近车道线和右侧最近车道线,并根据特征点坐标判断得到车辆左侧的车道线数量WL和右侧的车道线数量WR
S604、最近车道线拟合,根据左侧最近车道线和右侧最近车道线的特征点集,拟合得到左侧最近车道线和右侧最近车道线;
S605、获取车道线参数,搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近车道线的最短线段,取其长度作为车道宽度ρ,ρ=ρLR,ρL为无人驾驶汽车距离左侧最近车道线的最短距离,ρR为无人驾驶汽车距离右侧最近车道线的最短距离。
本发明的有益效果是:
1)本发明能够完成智能车实时建图和精确定位,相较于传统的基于深度学习的语义SLAM***有更好的定位精度。
2)本发明的车道检测,使用360度的视角,将所有车道全部覆盖,这样即使在某一方向受到遮挡,仍有其他视角的信息作为补充,特别适用于多车道检测的建图,360度的图像视野虽然有了很大的扩展,但是仍然控制在有限范围内,而不像前视图那样扩展到无穷远,因此在针对结构化道路的情况下,大部分的曲率变化都很小。
3)在本发明中,利用车道线检测结果与生成的全局经验地图进行融合,从而得到一种准确度和精度都非常高的用于无人驾驶的道路级全局环境地图。
附图说明
图1为本发明方法的流程图;
图2为基于深度学习的语义SLAM***框图。
具体实施方式
下面将结合实施例,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1-2,本发明提供一种技术方案:
一种用于无人驾驶的道路级全局环境地图生成方法,如图1-2所示,包括以下步骤:
S1、获取无人驾驶汽车当前数据,在无人驾驶汽车运动过程中持续进行定位和拍摄图像,记当前帧图像序号为h,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨迹,得到全局经验地图;
S2、计算无人驾驶汽车当前运动状态,通过比较捕捉到的前后两张图片中特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息,所述位置坐标(xh,yh)和所述角度θh构成无人驾驶汽车当前的位姿Ph=(xh,yhh);所述的步骤S2中无人驾驶汽车当前的位姿Ph=(xh,yhh)计算公式如下:第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,Ih,Ih-1)为:
Figure GDA0002165452400000061
其中,w是图片宽度,s是进行强度分布比较的宽度,
Figure GDA0002165452400000062
Figure GDA0002165452400000063
分别表示图片中第ξ+max(s,0)像素列的强度值;
无人驾驶汽车当前的角度θh=θh-1+Δθh,旋转角度增量Δθh=σ·sm,σ为增量参数,sm是强度分布比较的宽度即sm=arg min f(s,Ih,Ih-1),根据宽度sm可计算得到无人驾驶汽车当前位置的旋转角度增量Δθh=σ·sm,其中σ为增量参数,可得无人驾驶汽车当前的角度θh=θh-1+Δθh,θh-1表示前一帧图像拍摄时无人驾驶汽车对应的角度,θ0是无人驾驶汽车启动时相对于地图的旋转角度,可以在无人驾驶汽车启动时测量得到。由位置坐标(xh,yh)和角度θh即可构成无人驾驶汽车当前的位姿Ph=(xh,yhh)。
根据宽度sm对应的光照强度差值f(sm,Ih,Ih-1)可计算得到无人驾驶汽车当前的移动速度
Figure GDA0002165452400000064
其中vcal为经验常数,vmax表示速度上限阈值。
S3、提取图像特征矩阵,根据无人驾驶汽车行驶环境的特点选择颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵;
对当前第h帧图像进行图像特征提取得到当前帧的图像特征矩阵为Fh。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征等,可以根据无人驾驶汽车行驶环境的特点选择其中一种或多种图像特征来构成图像特征矩阵。
S4、筛选相似视觉模板和添加新视觉模板,从图像特征矩阵中筛选出具有环境代表性的图像特征矩阵作为视觉模板,每采集一帧图像后,判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板;
所述筛选相似视觉模板的分步骤如下:
S401、记视觉模板集合F={F1,F2,…},其中FK表示第K个视觉模板,k=1,2,…,K,K表示当前视觉模板集合中的模板数量;视觉模板是从历史的图像特征矩阵中筛选出来的具有环境代表性的图像特征矩阵。因此,每采集一帧图像后,需要判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板。
计算当前帧的图像特征矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似度,选择相似度最大的视觉模板
Figure GDA0002165452400000071
将其对应的图像序号记为R;
所述图像特征矩阵Fh和视觉模板Fk的相似度采用以下方式计算:
计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,Ih,Ik)中的最小值,作为相似度D(h,k),即D(h,k)=minf(s,Ih,Ih-1),D(h,k)越小,相似度越大。
S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系数
d,d=min f(s,Ih,IR)
比较匹配系数d和预设阈值dmax,如果d>dmax,则认为当前帧的图像特征矩阵Fh所包含的环境信息与之前视觉模板均不同,将Fh作为第K+1个视觉模板添加到视觉模板集合,当前帧图像的视觉模板Fh=Fh,否则,将视觉模板
Figure GDA0002165452400000072
也就是与当前帧相似度最大的视觉模板,作为当前帧图像对应的视觉模板
Figure GDA0002165452400000073
S5、经验点匹配,在全局经验地图中,在无人驾驶汽车运动轨迹上存在一种特殊的点,称之为经验点,该经验点是具有代表性的点。在当前的全局经验地图中,每个经验点ei是由该经验点所对应的无人驾驶汽车的位姿Pi、视觉模板Fi和经验点的地图坐标pi来表示的:ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已有经验点数量。pi可以直接从位姿Pi中得到,即为位姿Pi中包含的坐标信息。
根据无人驾驶汽车当前对应的位姿Ph和视觉模板Fh与当前已存在的每个经验点ei的位姿Pi与视觉模板Fi进行比较,求得匹配值Si,所述ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已有经验点数量,具体计算公式如下:
Si=μP|Pi-Ph|+μF|Fi-Fh|
其中,μP和μF分别是位姿信息和视觉特征的权值;
当Q个Si均大于预设阈值Smax时,根据当前无人驾驶汽车当前对应的位姿信息Ph和视觉模板Fh生成新经验点;
当Q个Si均小于预设阈值Smax时,选择Si最小的经验点作为匹配经验点;
添加新经验点:根据当前无人驾驶汽车当前对应的位姿信息Ph和视觉模板Fh生成第Q+1个经验点eQ+1={PQ+1,FQ+1,pQ+1},其中PQ+1=Ph,VQ+1=Fh,pQ+1即为位姿信息Ph中的坐标(xh,yh),然后计算得到经验点eQ+1地图坐标pQ+1与之前Q个经验点ei的地图坐标pi之间的距离Δpi,Q+1。可见,在添加每个经验点时,均会计算新经验点与已有经验点之间的地图坐标距离,那么显然存在一个关联矩阵T,其中每个元素tij就表示经验点ei和经验点ej之间的地图坐标距离,ej可以表示为:ej={Pj,Vj,pi+Δpij}。
全局经验地图修正:
当存在Si小于预设阈值Smax时,则认为当前位姿信息与视觉模板与之前的经验点能够匹配,选择Si最小的经验点作为匹配经验点,然后判断是否有超过预设帧数的图像的位姿信息与视觉模板与之前的连续若干个经验点匹配,如果不是,则不作任何操作,如果是,则认为回到了之前经历过的地方,并完成了一次闭环检测,那么需要对全局经验地图中以上匹配的经验点的坐标进行修正,经验点ei的坐标修正值Δpi为:
Figure GDA0002165452400000081
其中α是修正常数,N表示全局经验地图中经验点ei到其他经验点的连接数,Nη表示全局经验地图中其他经验点到经验点ei的连接数。即用全局经验地图中其他与经验点ei存在直接连接关系的经验点来对经验点ei进行修正,那么修正后的经验点ei={Pi,Fi,pi+Δpi}。
S6、车道线检测,拍摄每帧图像的同时,采用摄像头和激光雷达采集360度视角范围内的车道信息,检测得到当前帧图像对应的所有车道线的特征点集;
传统相机的多车道检测由于视野有限,无法保证检测到路面所有车道,故在本发明中使用360度的视角,将所有车道全部覆盖,采用360度视角,这样即使在某一方向受到遮挡,仍有其他视角的信息作为补充,如此就特别适用于多车道检测的建图。360度的图像视野虽然有了很大的扩展,但是仍然控制在有限范围内,而不像前视图那样扩展到无穷远。因此在针对结构化道路的情况下,大部分的曲率变化都很小,因此本实施例中选用二次拟合算法得到二次曲线模型来实现车道线检测。
如图2所示,车道线检测的流程图,所述的步骤S6中车道线检测,具体包括以下分步骤:
S601、基于图像的车道线特征点识别,根据摄像头拍摄到的360视角的路面图像进行车道线识别,得到每根车道线的特征点集,。目前业内已经具有多种车道线识别算法,根据实际需要选择即可。
S602、坐标变换,根据各个特征点在路面图像中的坐标和激光雷达所获得的该特征点的距离,将特征点变换到无人驾驶汽车的车辆坐标系下。
S603、判断最近车道线,在车辆坐标系下,计算每根车道线的特征点集的所有的点到无人驾驶汽车坐标的平均距离,选择车辆左、右两侧平均距离最小的车道线分别作为左侧最近车道线和右侧最近车道线,并根据特征点坐标判断得到车辆左侧的车道线数量WL和右侧的车道线数量WR
S604、最近车道线拟合,根据左侧最近车道线和右侧最近车道线的特征点集,拟合得到左侧最近车道线和右侧最近车道线,采用二次拟合算法拟合得到车道线,其具体方法为:记车道线的特征点集DOTS={(xμ,yμ)|μ=1,2,3,...,M},M表示特征点数量,(xμ,yμ)表示第μ个特征点在车辆坐标系下x、y轴的二维坐标。由于本实施例中采用二次拟合算法,记车道线的y=cx2+bx+a,a、b、c为车道线方程系数,设U(a,b,c)是根据该道路模型给出的拟合函数,令:
Figure GDA0002165452400000101
由多元函数极值原理,计算上式偏微分,分别令3个方程为0时得到方程组:
Figure GDA0002165452400000102
解此方程组,求得二次曲线的系数a、b、c。
定义一个判别函数DYM=max{|f(xμ)-yμ|,(xμ,yμ)∈DOTS}表示利用以上拟合函数后与实际数据的接近程度,其中f(xμ)为点集DOTS进行上面所述二次拟合后得到的拟合函数。要想检测出车道线,就是要找到一个点序列使得DYM<DTH,其中DTH为进行该拟合所要求的精度。这个由点序列所构成的点集,直观上看就是线条,这个经过拟合得到的线就是所要得到的车道线。
S605、获取车道线参数,搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近车道线的最短线段,取其长度作为车道宽度ρ,ρ=ρLR,ρL为无人驾驶汽车距离左侧最近车道线的最短距离,ρR为无人驾驶汽车距离右侧最近车道线的最短距离。
具体做法如下,搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近车道线的最短线段
Figure GDA0002165452400000103
其中L表示该线段在左侧最近车道线上的端点,R表示该线段在右侧最近车道线上的端点,其长度
Figure GDA0002165452400000104
作为车道宽度ρ,其方向作为车道基准方向,将
Figure GDA0002165452400000105
的长度作为无人驾驶汽车距离左侧最近车道线的最短距离ρL
Figure GDA0002165452400000111
的长度作为无人驾驶汽车距离右侧最近车道线的最短距离ρR,其中O表示车辆坐标系中无人驾驶汽车的坐标,即原点坐标,显然ρ=ρLR
S7、车道线与全局经验地图融合,融合车道线检测结果和生成的全局经验地图,得到无人驾驶的道路级全局环境地图。
全局经验地图实际上就是无人驾驶汽车在不断向前运动过程中的行车线轨迹,在本发明中,利用车道线检测结果与生成的全局经验地图进行融合,从而得到一种准确度和精度都非常高的用于无人驾驶的道路级全局环境地图。其融合方法为:记全局经验地图的缩放比例为1:γ,其中γ表示缩放倍数,显然当把车道线映射到全局经验地图中时,每条车道的宽度为ρ/γ。在无人驾驶汽车运动过程中,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨迹。然后在无人驾驶汽车的车辆坐标系中,沿车道基准方向
Figure GDA0002165452400000112
方向,得到与原点坐标距离为ρL/γ的左侧最近车道线点,然后得到与原点坐标距离为[(τ-1)ρ+ρL]/γ的其余WL-1个左侧车道线点,τ=2,3,L,WL;沿车道基准方向
Figure GDA0002165452400000113
方向,得到与原点坐标距离为ρR/γ的右侧最近车道线点,然后得到与原点坐标距离为[(τ′-1)ρ+ρR]/γ的其余WR-1个右侧车道线点,τ′=2,3,L,WR。由图2可知,由于无人驾驶汽车存在旋转增量,车辆坐标系与地图的坐标系之间可能存在一个旋转角度,而且在车辆坐标系中无人驾驶汽车是原点,而在地图中每次获取图像时的无人驾驶汽车位置坐标均不相同,因此需要进行坐标转换才能实现车道线和全局经验地图的准确融合。因此最后还需要根据无人驾驶汽车的位姿Ph=(xh,yhh)将车道线点转换到地图坐标系中,从而同步绘制出无人驾驶汽车所在道路的车道线,得到道路级全局环境地图。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (3)

1.一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于,包括以下步骤:
S1、获取无人驾驶汽车当前数据,在无人驾驶汽车运动过程中持续进行定位和拍摄图像,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨迹,得到全局经验地图;
S2、计算无人驾驶汽车当前运动状态,通过比较捕捉到的前后两张图片中特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息,所述坐标(xh,yh)和所述角度θh构成无人驾驶汽车当前的位姿Ph=(xh,yhh),所述无人驾驶汽车当前的位姿Ph=(xh,yhh)计算公式如下:
第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,Ih,Ih-1)为:
Figure FDA0003545538740000011
其中,w是图片宽度,s是进行强度分布比较的宽度,
Figure FDA0003545538740000012
Figure FDA0003545538740000013
分别表示图片中第ξ+max(s,0)像素列的强度值;
无人驾驶汽车当前的角度θh=θh-1+Δθh,旋转角度增量Δθh=σ·sm,σ为增量参数,sm是强度分布比较的宽度即sm=arg min f(s,Ih,Ih-1);
S3、提取图像特征矩阵,根据无人驾驶汽车行驶环境的特点选择颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵;
S4、筛选相似视觉模板和添加新视觉模板,从图像特征矩阵中筛选出具有环境代表性的图像特征矩阵作为视觉模板,每采集一帧图像后,判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板;
所述筛选相似视觉模板的分步骤如下:
S401、记视觉模板集合F={F1,F2,…},其中FK表示第K个视觉模板,k=1,2,…,K,K表示当前视觉模板集合中的模板数量;计算当前帧的图像特征矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似度,选择相似度最大的视觉模板
Figure FDA0003545538740000021
将其对应的图像序号记为R;
S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系d,
d=min f(s,Ih,IR)
比较匹配系数d和预设阈值dmax,如果d>dmax,将Fh作为第K+1个视觉模板添加到视觉模板集合,当前帧图像的视觉模板Fh=Fh,否则,将视觉模板
Figure FDA0003545538740000022
也就是与当前帧相似度最大的视觉模板,作为当前帧图像对应的视觉模板
Figure FDA0003545538740000023
S5、经验点匹配,根据无人驾驶汽车当前对应的位姿Ph和视觉模板Fh与当前已存在的每个经验点ei的位姿Pi与视觉模板Fi进行比较,求得匹配值Si,所述ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已有经验点数量,具体计算公式如下:
Si=μP|Pi-Ph|+μF|Fi-Fh|
其中,μP和μF分别是位姿信息和视觉特征的权值;
当Q个Si均大于预设阈值Smax时,根据当前无人驾驶汽车当前对应的位姿信息Ph和视觉模板Fh生成新经验点;
当Q个Si均小于预设阈值Smax时,选择Si最小的经验点作为匹配经验点;
S6、车道线检测,拍摄每帧图像的同时,采用摄像头和激光雷达采集360度视角范围内的车道信息,检测得到当前帧图像对应的所有车道线的特征点集;
S7、车道线与全局经验地图融合,融合车道线检测结果和生成的全局经验地图,得到无人驾驶的道路级全局环境地图。
2.根据权利要求1所述的一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于:所述步骤S4中图像特征矩阵Fh和视觉模板Fk的相似度采用以下方式计算:
计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,Ih,Ik)中的最小值,作为相似度D(h,k),即D(h,k)=minf(s,Ih,Ih-1),D(h,k)越小,相似度越大。
3.根据权利要求1所述的一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于:所述的步骤S6中车道线检测,具体包括以下分步骤:
S601、基于图像的车道线特征点识别,根据摄像头拍摄到的360视角的路面图像进行车道线识别,得到每根车道线的特征点集;
S602、坐标变换,根据各个特征点在路面图像中的坐标和激光雷达所获得的该特征点的距离,将特征点变换到无人驾驶汽车的车辆坐标系下;
S603、判断最近车道线,在车辆坐标系下,计算每根车道线的特征点集的所有的点到无人驾驶汽车坐标的平均距离,选择车辆左、右两侧平均距离最小的车道线分别作为左侧最近车道线和右侧最近车道线,并根据特征点坐标判断得到车辆左侧的车道线数量WL和右侧的车道线数量WR
S604、最近车道线拟合,根据左侧最近车道线和右侧最近车道线的特征点集,拟合得到左侧最近车道线和右侧最近车道线;
S605、获取车道线参数,搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近车道线的最短线段,取其长度作为车道宽度ρ,ρ=ρLR,ρL为无人驾驶汽车距离左侧最近车道线的最短距离,ρR为无人驾驶汽车距离右侧最近车道线的最短距离。
CN201811498011.1A 2018-12-07 2018-12-07 一种用于无人驾驶的道路级全局环境地图生成方法 Active CN110263607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811498011.1A CN110263607B (zh) 2018-12-07 2018-12-07 一种用于无人驾驶的道路级全局环境地图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811498011.1A CN110263607B (zh) 2018-12-07 2018-12-07 一种用于无人驾驶的道路级全局环境地图生成方法

Publications (2)

Publication Number Publication Date
CN110263607A CN110263607A (zh) 2019-09-20
CN110263607B true CN110263607B (zh) 2022-05-20

Family

ID=67911817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811498011.1A Active CN110263607B (zh) 2018-12-07 2018-12-07 一种用于无人驾驶的道路级全局环境地图生成方法

Country Status (1)

Country Link
CN (1) CN110263607B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046981B (zh) * 2020-03-17 2020-07-03 北京三快在线科技有限公司 一种无人车控制模型的训练方法及装置
CN112053592A (zh) * 2020-04-28 2020-12-08 上海波若智能科技有限公司 路网动态数据采集方法及路网动态数据采集***
CN111998860B (zh) * 2020-08-21 2023-02-17 阿波罗智能技术(北京)有限公司 自动驾驶定位数据校验方法、装置、电子设备及存储介质
CN112269384B (zh) * 2020-10-23 2021-09-14 电子科技大学 一种结合障碍物行为意图的车辆动态轨迹规划方法
CN112329567A (zh) * 2020-10-27 2021-02-05 武汉光庭信息技术股份有限公司 自动驾驶场景中目标检测的方法及***、服务器及介质
CN112634282B (zh) * 2020-12-18 2024-02-13 北京百度网讯科技有限公司 图像处理方法、装置以及电子设备
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN114694107A (zh) * 2022-03-24 2022-07-01 商汤集团有限公司 一种图像处理方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954275A (zh) * 2014-04-01 2014-07-30 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成***及方法
CN106527427A (zh) * 2016-10-19 2017-03-22 东风汽车公司 基于高速公路的自动驾驶感知***
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN106969779A (zh) * 2017-03-17 2017-07-21 重庆邮电大学 基于dsrc的智能车辆地图融合***及方法
CN108594812A (zh) * 2018-04-16 2018-09-28 电子科技大学 一种结构化道路的智能车辆平滑轨迹规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851212B2 (en) * 2016-05-06 2017-12-26 Ford Global Technologies, Llc Route generation using road lane line quality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954275A (zh) * 2014-04-01 2014-07-30 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成***及方法
CN106527427A (zh) * 2016-10-19 2017-03-22 东风汽车公司 基于高速公路的自动驾驶感知***
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN106969779A (zh) * 2017-03-17 2017-07-21 重庆邮电大学 基于dsrc的智能车辆地图融合***及方法
CN108594812A (zh) * 2018-04-16 2018-09-28 电子科技大学 一种结构化道路的智能车辆平滑轨迹规划方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Low-Cost Solution for Automatic Lane-Level Map Generation Using Conventional In-Car Sensors;Chunzhao Guo;《IEEE Transactions on Intelligent Transportation Systems》;20160229;第17卷(第8期);2355-2366 *
基于引导域的参数化RRT无人驾驶车辆运动规划算法研究;冯来春;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20180115(第1期);C035-202 *
基于道路结构特征的智能车单目视觉定位;俞毓锋等;《自动化学报》;20170216;第43卷(第5期);725-734 *
智能车认知地图的创建及其应用;邓桂林;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20180915(第9期);C035-30 *

Also Published As

Publication number Publication date
CN110263607A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110263607B (zh) 一种用于无人驾驶的道路级全局环境地图生成方法
US11636686B2 (en) Structure annotation
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
US11900627B2 (en) Image annotation
US11175145B2 (en) System and method for precision localization and mapping
De Silva et al. Fusion of LiDAR and camera sensor data for environment sensing in driverless vehicles
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
Jang et al. Road lane semantic segmentation for high definition map
US11748449B2 (en) Data processing method, data processing apparatus, electronic device and storage medium
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN114399748A (zh) 一种基于视觉车道检测的农机实时路径校正方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
Kasmi et al. End-to-end probabilistic ego-vehicle localization framework
Wong et al. Single camera vehicle localization using SURF scale and dynamic time warping
Bikmaev et al. Visual Localization of a Ground Vehicle Using a Monocamera and Geodesic-Bound Road Signs
WO2022133986A1 (en) Accuracy estimation method and system
Li et al. Improving Vehicle Localization with Lane Marking Detection Based on Visual Perception and Geographic Information
Hoveidar-Sefid et al. Autonomous Trail Following.
CN118151168A (zh) 一种融合时序信息的机场平板拖车识别定位方法
CN118329059A (zh) 一种视觉辅助的激光slam***及方法
CN116543043A (zh) 用于在行驶期间在环境中定位机动车辆的方法和处理器设备以及相应配备的机动车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant