CN106960591A - 一种基于路面指纹的车辆高精度定位装置及方法 - Google Patents

一种基于路面指纹的车辆高精度定位装置及方法 Download PDF

Info

Publication number
CN106960591A
CN106960591A CN201710207232.8A CN201710207232A CN106960591A CN 106960591 A CN106960591 A CN 106960591A CN 201710207232 A CN201710207232 A CN 201710207232A CN 106960591 A CN106960591 A CN 106960591A
Authority
CN
China
Prior art keywords
image
module
road surface
information
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710207232.8A
Other languages
English (en)
Other versions
CN106960591B (zh
Inventor
胡钊政
王相龙
胡月志
穆孟超
陶倩文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201710207232.8A priority Critical patent/CN106960591B/zh
Publication of CN106960591A publication Critical patent/CN106960591A/zh
Application granted granted Critical
Publication of CN106960591B publication Critical patent/CN106960591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)

Abstract

本发明公开了一种基于路面指纹的车辆高精度定位装置及方法,该装置包括地图采集车和待定位车;地图采集车上的第一数据采集单元实时获取路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息,第一控制显示单元对数据进行预处理得到地图集;待定位车上的第二数据采集单元实时获取车辆的当前定位信息和当前路面图像,第二控制显示单元对当前定位信息与地图集进行比较,得到粗匹配的多张相似图像,进而根据路面指纹信息从中选取一张最接近路面图像,并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。本发明定位精度高、成本低、误差小,且定位过程不受信号遮蔽的影响。

Description

一种基于路面指纹的车辆高精度定位装置及方法
技术领域
本发明涉及地图测绘技术领域,尤其涉及一种基于路面指纹的车辆高精度定位装置及方法。
背景技术
目前,在车辆定位方面已有一些成果,例如已申请的专利CN106405601A,申请日2016年10月21日,专利名为“车辆定位方法、装置和车辆”公开了一种利用路灯位置信息实现车辆定位的***和方法。已申请的专利CN106441321A,申请日2015年8月7日,专利名为“车辆定位装置、车辆定位方法及导航装置”公开了一种利用地图匹配的车辆定位***和方法。
近年来,随着智能车的发展不断加快,车辆定位尤其是对度量级定位的需求也日益紧迫,目前利用RTK-GPS结合惯导进行车辆定位为主流手段,该方法不仅成本巨大,而且在隧道,桥梁下等存在信号遮蔽的情况下会导致较大的误差。
发明内容
本发明要解决的技术问题在于针对现有技术中车辆定位容易受到信号遮蔽等情况影响的缺陷,提供一种基于路面指纹的车辆高精度定位装置及方法。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种基于路面指纹的车辆高精度定位装置,包括地图采集车和待定位车,其中:
地图采集车上设置有第一数据采集单元和第一控制显示单元;
第一数据采集单元,包括图像传感模块、定位模块和惯性导航模块;图像传感模块用于实时获取路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息;
第一控制显示单元,用于对数据采集单元采集到的数据进行预处理,得到各个路面图像与对应定位信息和惯导信息组成的地图集;
待定位车上设置有第二数据采集单元和第二控制显示单元;
第二数据采集单元,包括图像传感模块和定位模块,用于实时获取车辆的当前定位信息和当前路面图像;
第二控制显示单元,用于对当前定位信息与地图集中的定位信息进行分析比较,得到粗匹配的多张相似图像;对当前路面图像和相似图像进行图像特征提取,得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息,根据路面指纹信息得到一张最接近路面图像;并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。
进一步地,本发明的图像传感模块为CMOS图像传感器;地图采集车上的定位模块为RTK-GPS传感器,其定位精度为0.2-0.8m;待定位车上的定位模块为DGPS传感器,其定位精度为10-20m。
进一步地,本发明的地图采集车和待定位车上均设置有数据传输单元,数据传输单元包括数据传输模块和信号转换模块;在地图采集车上,第一数据采集单元通过数据传输模块和信号转换模块与第一控制显示显示单元相连;在待定位车上,第二数据采集单元通过数据传输模块和信号转换模块与第二控制显示显示单元相连;数据传输模块包括lighting接口和USB接口;信号转换模块用于实现lighting接口和USB接口之间的信号转换。
进一步地,本发明的地图采集车和待定位车上均设置有数据采集辅助单元,数据采集辅助单元包括供电模块、刚性固定模块和移动平台,供电模块包括蓄电池、逆变器和导线,蓄电池提供12V直流电,通过逆变器将12V直流电转换为120V交流电,并通过导线传输电力,为车辆高精度定位装置提供电力支持;刚性固定模块用于固定图像传感模块,使图像传感模块保持一定高度且与路面平行。
进一步地,本发明的控制显示单元包括PC机和显示屏。
本发明提供一种基于路面指纹的车辆高精度定位方法,包括以下步骤:
地图采集阶段:
S1、通过设置在地图采集车上的图像传感模块实时采集路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息;
S2、对采集到的路面图像进行预处理,得到对应的灰度图像;对定位信息和惯导信息进行预处理,得到灰度图像对应的位置信息;
S3、将各个灰度图像和位置信息一一对应,结合实际车速和图像传感模块的采集频率,使每张灰度图像固定间隔,得到地图集;
定位阶段:
S4、通过设置在待定位车上的图像传感模块实时采集当前路面图像,定位模块同步采集当前定位信息,通过比较当前定位信息与地图集中的位置信息,在地图集中提取多张与当前路面图像接近的相似图像;
S5、对当前路面图像进行预处理,得到当前灰度图像;对当前灰度图像和相似图像进行图像特征提取,得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息,根据路面指纹信息得到一张最接近路面图像;
S6、根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。
进一步地,本发明的步骤S5中进行图像特征提取的方法为:
S51、检测图像特征点:通过Harris算法检测角点,即比较图像中的一个像素点P和周围16个点组成的圆上的像素点的差值,其公式为:
其中,I(x)为当前像素点的灰度值,I(p)为像素点P的灰度值,ε为设定的阈值,16个点的响应函数值的和为N,当N大于12时,该点为图像特征点;
根据特征点到形心的方向确定特征点的主方向:
θ=arctan(m10,m01)
其中,mpq,(p,q∈(0,1))表示图像块的力矩,I(x,y)表示在坐标(x,y)处的灰度值,θ为质心与特征点的夹角;
S52、描述特征点:
在特征点上选定n对特征,形成矩阵s:
矩阵s的大小为2×2n,其中xi,yi(i∈(1,n))表示第i个特征对在X,Y轴的坐标,再利用特征点到形心的方向得到仿射变换矩阵R,利用矩阵R计算得到新的描述矩阵sθ,其公式为:
结合BRIEF描述子,得到ORB特征描述子:
gn(P,θ)=fn(P)|(xi,yi)∈Mθ
其中,n取值为256;
S53、特征点匹配:根据得到的256维ORB特征描述子,计算待定位的当前灰度图像和相似图像的全部特征描述子的汉明距离,比较汉明距离实现特征点粗匹配,并利用RANSAC算法去除错误的匹配,从而找到待定位的当前灰度图像与相似图像的相同特征点,这些匹配的特征点作为路面指纹信息;通过比较相同特征点的数量,在粗匹配的相似图像中找到一幅最接近路面图像,其与待定位图像的匹配的特征点数量最多,从而利用指纹信息实现待定位图像精匹配。
进一步地,本发明的步骤S6中计算得到当前路面图像的精确定位结果的方法为:
利用待定位的当前路面图像和相似图像的指纹信息求得两张图像的相对位置关系,利用相似图像的位置和相对位置关系,计算待定位的当前路面图像的位置信息,从而实现车辆的度量级定位。
进一步地,本发明的步骤S2中对定位信息和惯导信息进行预处理,得到灰度图像对应的位置信息的方法为:将GPS数据和惯导数据转换为经纬度表示的位置信息。
进一步地,本发明的步骤S3中地图集中每张图像的固定间隔为0.5m。
本发明产生的有益效果是:本发明的基于路面指纹的车辆高精度定位装置及方法,通过建立包含路面图像和对应的位置信息组成的地图集,利用待定位图像的位置信息在地图集中找到与待定位图像相似的若干张图像从而实现粗匹配,再通过利用图像特征点提取算法提取的路面指纹信息,在地图中找到与待定位图中最接近的一张图像,利用这两张图像的指纹信息计算待定位图像和地图图像的相对位置关系,结合地图图像的位置计算得到待定位图像的位置,从而实现车辆定位;该方法定位精度高,且定位过程不受信号遮蔽的影响,相比于传统方法,基于路面指纹的车辆定位成本低、精确度高、鲁棒性强。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的结构示意图;
图2是本发明实施例的扫描方式示意图;
图3是本发明实施例的特征点提取效果图;
图4是本发明实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例的基于路面指纹的车辆高精度定位装置,包括地图采集车和待定位车,其中:
地图采集车上设置有第一数据采集单元和第一控制显示单元;
第一数据采集单元,包括图像传感模块、定位模块和惯性导航模块;图像传感模块用于实时获取路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息;
第一控制显示单元,用于对数据采集单元采集到的数据进行预处理,得到各个路面图像与对应定位信息和惯导信息组成的地图集;
待定位车上设置有第二数据采集单元和第二控制显示单元;
第二数据采集单元,包括图像传感模块和定位模块,用于实时获取车辆的当前定位信息和当前路面图像;
第二控制显示单元,用于对当前定位信息与地图集中的定位信息进行分析比较,得到粗匹配的多张相似图像;对当前路面图像和相似图像进行图像特征提取,得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息,根据路面指纹信息得到一张最接近路面图像;并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。
图像传感模块为CMOS图像传感器;地图采集车上的定位模块为RTK-GPS传感器,其定位精度为0.2-0.8m;待定位车上的定位模块为DGPS传感器,其定位精度为10-20m。
地图采集车和待定位车上均设置有数据传输单元,数据传输单元包括数据传输模块和信号转换模块;在地图采集车上,第一数据采集单元通过数据传输模块和信号转换模块与第一控制显示显示单元相连;在待定位车上,第二数据采集单元通过数据传输模块和信号转换模块与第二控制显示显示单元相连;数据传输模块包括lighting接口和USB接口;信号转换模块用于实现lighting接口和USB接口之间的信号转换。
地图采集车和待定位车上均设置有数据采集辅助单元,数据采集辅助单元包括供电模块、刚性固定模块和移动平台,供电模块包括蓄电池、逆变器和导线,蓄电池提供12V直流电,通过逆变器将12V直流电转换为120V交流电,并通过导线传输电力,为车辆高精度定位装置提供电力支持;刚性固定模块用于固定图像传感模块,使图像传感模块保持一定高度且与路面平行。
控制显示单元包括PC机和显示屏。
本发明实施例的基于路面指纹的车辆高精度定位方法,包括以下步骤:
地图采集阶段:
S1、通过设置在地图采集车上的图像传感模块实时采集路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息;
S2、对采集到的路面图像进行预处理,得到对应的灰度图像;对定位信息和惯导信息进行预处理,得到灰度图像对应的位置信息;
S3、将各个灰度图像和位置信息一一对应,结合实际车速和图像传感模块的采集频率,使每张灰度图像固定间隔,地图集中每张图像的固定间隔优选为0.5m,得到地图集;
定位阶段:
S4、通过设置在待定位车上的图像传感模块实时采集当前路面图像,定位模块同步采集当前定位信息,通过比较当前定位信息与地图集中的位置信息,在地图集中提取多张与当前路面图像接近的相似图像;
S5、对当前路面图像进行预处理,得到当前灰度图像;对当前灰度图像和相似图像进行图像特征提取,得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息,根据路面指纹信息得到一张最接近路面图像;
S6、根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。
步骤S5中进行图像特征提取的方法为:
S51、检测图像特征点:通过Harris算法检测角点,即比较图像中的一个像素点P和周围16个点组成的圆上的像素点的差值,其公式为:
其中,I(x)为当前像素点的灰度值,I(p)为像素点P的灰度值,ε为设定的阈值,16个点的响应函数值的和为N,当N大于12时,该点为图像特征点;
根据特征点到形心的方向确定特征点的主方向:
θ=arctan(m10,m01)
其中,mpq,(p,q∈(0,1))表示图像块的力矩,I(x,y)表示在坐标(x,y)处的灰度值,θ为质心与特征点的夹角;
S52、描述特征点:
在特征点上选定n对特征,形成矩阵s:
矩阵s的大小为2×2n,其中xi,yi(i∈(1,n))表示第i个特征对在X,Y轴的坐标,再利用特征点到形心的方向得到仿射变换矩阵R,利用矩阵R计算得到新的描述矩阵sθ,其公式为:
结合BRIEF描述子,得到ORB特征描述子:
gn(P,θ)=fn(P)|(xi,yi)∈Mθ
其中,n取值为256;
S53、特征点匹配:根据得到的256维ORB特征描述子,计算待定位的当前灰度图像和相似图像的全部特征描述子的汉明距离,比较汉明距离实现特征点粗匹配,并利用RANSAC算法去除错误的匹配,从而找到待定位的当前灰度图像与相似图像的相同特征点,这些匹配的特征点作为路面指纹信息;通过比较相同特征点的数量,在粗匹配的相似图像中找到一幅最接近路面图像,其与待定位图像的匹配的特征点数量最多,从而利用指纹信息实现待定位图像精匹配。
步骤S6中计算得到当前路面图像的精确定位结果的方法为:
利用待定位的当前路面图像和相似图像的指纹信息求得两张图像的相对位置关系,利用相似图像的位置和相对位置关系,计算待定位的当前路面图像的位置信息,从而实现车辆的度量级定位。
在本发明的另一个具体实施例中:
该方法利用COMS图像传感器结合GPS、惯导、采集路面信息,首先建立包含RTK-GPS信息、惯导信息组成的位置信息和道路图像信息的地图集,对比待定位图像的位置信息与地图中的位置信息,找到若干张与待定位图像相似的地图图像,再通过特征点提取算法提取待定位图像和提取的地图图像的特征点作为路面指纹信息,通过比较提取的路面指纹信息,找到一张与待定位图像中指纹信息最相似的地图图像,从而实现图像级定位,再结合摄像机标定参数与特征点的图像位置关系,计算出待定位图像和地图图像的对应特征点的相对位置,进而实现度量级定位。
本发明实施例的装置特征在于其由数据采集单元、数据传输单元、数据采集辅助单元及显示控制单元组成。其中:
数据采集单元,该单元在制图车中为一台RTK-GPS,一台惯导和一台COMS图像传感模块。在测试车中为一台DGPS和一台COMS图像传感模块。COMS图像模块为一台COMS图像传感器,为3264×2448,焦距为29mm,光圈为f2.0。RTK-GPS的定位精度为0.2-0.8m。DGPS的定位精度为10-20m。
数据传输单元,该单元由数据传输模块和信号转换模块组成,其传输速度为47.8M/s,通过lighting接口和USB接口连接数据采集单元和显示控制单元。数据传输模块实现信号在数据采集单元与显示控制单元传输。信号转换单元模块实现lighting接口信号与USB接口信号转换。
数据采集辅助单元,该单元由供电模块、刚性固定模块、移动平台构构成。移动平台搭载整套设备以固定的速度前进以采集路面处理数据。刚性固定模块通过支架固定各个模块,使它们不与移动平台发生相对位移。供电模块由蓄电池、逆变器和导线组成,蓄电池提供12V直流电,通过逆变器将12V直流电转换为120V交流电,并通过导线传输电力,为整套设备提供电力支持。
控制显示单元,该单元为一台PC机。在采集车中通过数据线与COMS图像模块,RTK-GPS,惯导相连接,通过PC机发送指令控制采集设备并显示采集结果。在测试车中通过数据线与通过数据线与COMS图像模块和DGPS接收模块相连接,通过PC机发送指令控制设备采集,对两个模块接收的数据进行处理,并显示处理结果。
本发明实施例的基于路面指纹的车辆高精度定位方法,该方法包括:数据采集、数据预处理、地图建立,待定位图像粗匹配,待定位图像精匹配,待定位图像精确定位。所述的数据采集部分,是指COMS图像传感器图像采集和GPS、惯导数据采集方式。所述的数据预处理部分是指图像灰度化和GPS坐标转换。所述的地图建立是指融合地图中位置信息和图像信息的方法。所述的待定位图像粗匹配是指在地图集中找到与待定位图像相似的图片的大致范围。所述的图像特征点检测是指利用图像特征点提取方法提取图像的特征点,然后在地图集中找到与待定位图像精确匹配的图像。所述的待定位图像精确定位是指利用待定位图像和其对应地图图像的特征点提取两张图片的相对位置关系,再通过相对位置关系和地图的位置信息计算得到待定位图像的地理位置信息,从而实现待定位车辆定位。
数据采集方法是指采集路面信息的方法。在制图阶段利用刚性固定模块将COMS图像传感器,RTK-GPS和惯导固定在地图采集车上,并使COMS图像传感器保持一定高度并且保持COMS图像传感器路面平行从而采集路面图像,RTK-GPS,惯导和COMS图像传感器同步采集数据,即一张图像对应一个GPS信息和一个惯导信息。测试阶段采集方法与制图阶段相同,采集得到待定位图像和对应的GPS信息,并且将两个信息一一对应。
数据预处理是指对采集数据进行预处理;在制图阶段将路面的RGB图像转换为灰度图像,并将GPS数据和惯导数据转换为经纬度表示的位置信息,测试阶段处理方法与之相同,获得路面的灰度图和由GPS数据转换的经纬度表示的位置信息。
地图建立是指建立地图集从而根据地图集的位置实现车辆高精度定位。地图集由若干张图像组成和位置信息组成,每张图像相隔距离为0.5m,每一张图像对应一个GPS信息和一个惯导信息。
待定位图像粗匹配是指利用位置信息对待定位图像和地图中的图像进行粗匹配。根据待定位图像中的位置信息在地图集中找到与待定位图像相近的若干张图像,从而实现待定位图像粗匹配。
待定位图像精匹配是指利用路面指纹实现待定位图像与地图图像的精确匹配。利用图像特征提取算法提取特征点作为路面指纹,并根据待定位图像与地图图像的路面指纹找到与待定位图像最接近的一张地图图像,从而实现图像级定位。
待定位图像精确定位是指利用待定位图像和地图图像的指纹信息求得两张图像的相对位置关系,利用地图图像的位置和相对位置关系,计算待定位图像的位置信息,从而实现车辆的度量级定位。
在本发明的另一个具体实施例中:
该装置通过数据采集单元采集数据,通过数据传输单元传输给控制显示单元,处理数据后并显示定位结果。该装置如图1所示,该装置包括数据采集单元、数据传输单元、数据采集辅助单元及显示单元组成。
数据采集单元在地图采集车中由惯导和RTK-GPS模块和一台COMS图像传感器组成,数据采集单元在测试车中由DGPS模块和一台COMS图像传感器组成,数据采集单元用于获取路面RGB图像和位置信息。数据传输单元由数据传输模块和信号转换模块组成,通过信号转换模块实现信号在数据采集单元与显示控制单元转换,通过数据传输模块实现信号的传输。数据采集辅助单元由刚性固定模块,供电模块,移动平台组成,刚性固定模块用于固定各个模块,使其不与移动平台发生相对位移。供电模块为整套设备正常运行提供电力。移动平台待在整套设备以一定速度前进。导线将电力传输至各个模块。显示控制单元由控制显示模块组成,其为一台PC机,用于控制各个模块运行和显示最终处理结果。
在本发明的另一个具体实施例中:
该方法包括数据采集、数据预处理、地图建立,待定位图像粗匹配,待定位图像精匹配,待定位图像精确定位,具体包括:
1.数据采集
数据采集分为地图数据采集和测试数据采集。地图数据通过RTK-GPS,惯导和COMS图像传感器采集,测试数据通过DGPS和COMS图像传感器采集。其中COMS图像传感器,惯导和RTK-GPS模块或DGPS模块9通过刚性固定模块2固定于移动平台6上。其中COMS与地面平行并保持一定高度,数据采集单元不与移动平台发生相对位移。其中,COMS图像传感器每采集一张图片都对应一个位置信息,即RTK-GPS模块和惯导或DGPS模块采集的位置信息。由控制显示单元根据前进速度控制数据采集单元采集数据频率,从而使路面信息被充分采集。其中COMS图像传感器的分辨率为3264×2448,焦距为29mm,光圈为f2.0。RTK-GPS的定位精度为0.2-0.8m。DGPS的定位精度为10-20m。
2.数据预处理
将地图集中的COMS图像传感器采集的3264×2448RGB图像转换为3264×2448灰度图像,通过解析RTK-GPS信息和惯导信息,得到当前图像的位置信息。利用相同的方法处理待定位图像,通过解析DGPS信息得到待定位图像的位置信息。实现地图集和待定位图片的数据预处理
3.地图建立
将地图集中的灰度图像与位置信息一一对应,结合实际车速和图像采集单元的采集频率,使每张路面图像相隔固定的距离,本发明中,该距离为0.5m,并且将路面灰度图像与位置信息一一对应,同时也将待定位灰度图像与其位置信息一一对应,并将数据保存至控制显示单元。
4.待定位图像粗匹配
通过对比待定位图像的位置信息和地图集中的位置信息,在地图集中提取若干张与待定位图像位置接近的图像,从而初步确定待定位图像在地图集中的大致位置。
5.待定位图像精匹配
通过SURF,ORB,SIFT等特征提取算法提取待定位图像和通过粗匹配地图图像的特征点作为路面指纹,根据对比路面指纹,在地图集中找到与待定位图像最相似的一张路面图像。以ORB算法为例,其具体步骤如下:
(1)检测图像特征点
通过Harris算法检测角点,即比较图像中的一个像素点P和周围16个点组成的圆上的像素点的差值:
其中,I(x)为当前像素点的灰度值,I(p)为像素点P的灰度值,ε为设定的阈值,16个点的响应函数值的和为N,当N大于12时,该点为图像特征点;
根据特征点到形心的方向确定特征点的主方向:
θ=arctan(m10,m01)
其中,θ为质心与特征点的夹角;
(2)描述特征点:
在步骤(1)选定的特征点上选定n对特征,形成矩阵s:
矩阵s的大小为2×2n,再利用特征点到形心的方向得到仿射变换矩阵R,利用矩阵R计算得到新的描述矩阵sθ,其公式为:
结合BRIEF描述子,得到ORB特征描述子:
gn(P,θ)=fn(P)|(xi,yi)∈Mθ
其中,n可选128、256或512,本实施例中取值为256;
(3)特征点匹配
通过步骤(2)得到256维ORB特征描述子,计算待定位图像和粗匹配的地图集图像的全部特征点描述向量的汉明距离,比较汉明距离实现特征点粗匹配,并利用RANSAC去除错误的匹配,从而找到待定位图像与地图集图像的相同特征点,这些匹配的特征点作为路面指纹信息。通过比较相同特征点的数量,在粗匹配的地图集中找到一幅图像,其与待定位图像的匹配的特征点数量最多,从而利用指纹信息实现待定位图像精匹配。
6.待定位图像精确定位
利用这些指纹信息作为定位信息计算得到待定位图像的精确位置。首先利用平放在地面上的标定板标定架设在移动平台上的摄像机,通过利用世界坐标系、图像坐标系、摄像机坐标系之间的转换关系和标定的参数,求得地图图像与待定位图像之间的相对位置关系,最后利用地图图像的位置和与待定位图像的相对位置关系,计算得到待定位图像的位置信息,从而实现待定位图像的精确定位。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于路面指纹的车辆高精度定位装置,其特征在于,包括地图采集车和待定位车,其中:
地图采集车上设置有第一数据采集单元和第一控制显示单元;
第一数据采集单元,包括图像传感模块、定位模块和惯性导航模块;图像传感模块用于实时获取路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息;
第一控制显示单元,用于对数据采集单元采集到的数据进行预处理,得到各个路面图像与对应定位信息和惯导信息组成的地图集;
待定位车上设置有第二数据采集单元和第二控制显示单元;
第二数据采集单元,包括图像传感模块和定位模块,用于实时获取车辆的当前定位信息和当前路面图像;
第二控制显示单元,用于对当前定位信息与地图集中的定位信息进行分析比较,得到粗匹配的多张相似图像;对当前路面图像和相似图像进行图像特征提取,得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息,根据路面指纹信息得到一张最接近路面图像;并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。
2.根据权利要求1所述的基于路面指纹的车辆高精度定位装置,其特征在于,图像传感模块为CMOS图像传感器;地图采集车上的定位模块为RTK-GPS传感器,其定位精度为0.2-0.8m;待定位车上的定位模块为DGPS传感器,其定位精度为10-20m。
3.根据权利要求1所述的基于路面指纹的车辆高精度定位装置,其特征在于,地图采集车和待定位车上均设置有数据传输单元,数据传输单元包括数据传输模块和信号转换模块;在地图采集车上,第一数据采集单元通过数据传输模块和信号转换模块与第一控制显示显示单元相连;在待定位车上,第二数据采集单元通过数据传输模块和信号转换模块与第二控制显示显示单元相连;数据传输模块包括lighting接口和USB接口;信号转换模块用于实现lighting接口和USB接口之间的信号转换。
4.根据权利要求1所述的基于路面指纹的车辆高精度定位装置,其特征在于,地图采集车和待定位车上均设置有数据采集辅助单元,数据采集辅助单元包括供电模块、刚性固定模块和移动平台,供电模块包括蓄电池、逆变器和导线,蓄电池提供12V直流电,通过逆变器将12V直流电转换为120V交流电,并通过导线传输电力,为车辆高精度定位装置提供电力支持;刚性固定模块用于固定图像传感模块,使图像传感模块保持一定高度且与路面平行。
5.根据权利要求1所述的基于路面指纹的车辆高精度定位装置,其特征在于,控制显示单元包括PC机和显示屏。
6.一种基于路面指纹的车辆高精度定位方法,其特征在于,包括以下步骤:
地图采集阶段:
S1、通过设置在地图采集车上的图像传感模块实时采集路面图像,定位模块和惯性导航模块同步采集定位信息和惯导信息;
S2、对采集到的路面图像进行预处理,得到对应的灰度图像;对定位信息和惯导信息进行预处理,得到灰度图像对应的位置信息;
S3、将各个灰度图像和位置信息一一对应,结合实际车速和图像传感模块的采集频率,使每张灰度图像固定间隔,得到地图集;
定位阶段:
S4、通过设置在待定位车上的图像传感模块实时采集当前路面图像,定位模块同步采集当前定位信息,通过比较当前定位信息与地图集中的位置信息,在地图集中提取多张与当前路面图像接近的相似图像;
S5、对当前路面图像进行预处理,得到当前灰度图像;对当前灰度图像和相似图像进行图像特征提取,得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息,根据路面指纹信息得到一张最接近路面图像;
S6、根据最接近路面图像和当前路面图像中指纹信息的相对位置关系,计算得到当前路面图像的精确定位结果。
7.根据权利要求6所述的基于路面指纹的车辆高精度定位方法,其特征在于,步骤S5中进行图像特征提取的方法为:
S51、检测图像特征点:通过Harris算法检测角点,即比较图像中的一个像素点P和周围16个点组成的圆上的像素点的差值,其公式为:
f ( p ) = 1 | I ( x ) - I ( p ) | > ϵ 0 o t h e r
N = Σ x ∈ c i r c l e ( p ) f ( I ( x ) )
其中,I(x)为当前像素点的灰度值,I(p)为像素点P的灰度值,ε为设定的阈值,16个点的响应函数值的和为N,当N大于12时,该点为图像特征点;
根据特征点到形心的方向确定特征点的主方向:
m p q = Σ x , y x p y q I ( x , y )
c = ( m 10 m 00 , m 01 m 00 )
θ=arctan(m10,m01)
其中,mpq,(p,q∈(0,1))表示图像块的力矩,I(x,y)表示在坐标(x,y)处的灰度值,θ为质心与特征点的夹角;
S52、描述特征点:
在特征点上选定n对特征,形成矩阵s:
s = x 1 x 2 ... x n y 1 y 2 ... y n
矩阵s的大小为2×2n,其中xi,yi(i∈(1,n))表示第i个特征对在X,Y轴的坐标,再利用特征点到形心的方向得到仿射变换矩阵R,利用矩阵R计算得到新的描述矩阵sθ,其公式为:
s θ = R s = c o s θ s i n θ - s i n θ c o s θ x 1 x 2 ... x n y 1 y 2 ... y n
结合BRIEF描述子,得到ORB特征描述子:
gn(P,θ)=fn(P)|(xi,yi)∈Mθ
其中,n取值为256;
S53、特征点匹配:根据得到的256维ORB特征描述子,计算待定位的当前灰度图像和相似图像的全部特征描述子的汉明距离,比较汉明距离实现特征点粗匹配,并利用RANSAC算法去除错误的匹配,从而找到待定位的当前灰度图像与相似图像的相同特征点,这些匹配的特征点作为路面指纹信息;通过比较相同特征点的数量,在粗匹配的相似图像中找到一幅最接近路面图像,其与待定位图像的匹配的特征点数量最多,从而利用指纹信息实现待定位图像精匹配。
8.根据权利要求6所述的基于路面指纹的车辆高精度定位方法,其特征在于,步骤S6中计算得到当前路面图像的精确定位结果的方法为:
利用待定位的当前路面图像和相似图像的指纹信息求得两张图像的相对位置关系,利用相似图像的位置和相对位置关系,计算待定位的当前路面图像的位置信息,从而实现车辆的度量级定位。
9.根据权利要求6所述的基于路面指纹的车辆高精度定位方法,其特征在于,步骤S2中对定位信息和惯导信息进行预处理,得到灰度图像对应的位置信息的方法为:将GPS数据和惯导数据转换为经纬度表示的位置信息。
10.根据权利要求6所述的基于路面指纹的车辆高精度定位方法,其特征在于,步骤S3中地图集中每张图像的固定间隔为0.5m。
CN201710207232.8A 2017-03-31 2017-03-31 一种基于路面指纹的车辆高精度定位装置及方法 Active CN106960591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710207232.8A CN106960591B (zh) 2017-03-31 2017-03-31 一种基于路面指纹的车辆高精度定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710207232.8A CN106960591B (zh) 2017-03-31 2017-03-31 一种基于路面指纹的车辆高精度定位装置及方法

Publications (2)

Publication Number Publication Date
CN106960591A true CN106960591A (zh) 2017-07-18
CN106960591B CN106960591B (zh) 2019-08-27

Family

ID=59471565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710207232.8A Active CN106960591B (zh) 2017-03-31 2017-03-31 一种基于路面指纹的车辆高精度定位装置及方法

Country Status (1)

Country Link
CN (1) CN106960591B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704821A (zh) * 2017-09-29 2018-02-16 河北工业大学 一种弯道的车辆位姿计算方法
CN107808117A (zh) * 2017-09-29 2018-03-16 上海工程技术大学 一种基于云计算的共享车辆定位***及其定位方法
CN109099929A (zh) * 2018-07-13 2018-12-28 武汉理工大学 基于场景指纹的智能车定位装置及方法
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
CN109328292A (zh) * 2017-12-28 2019-02-12 深圳配天智能技术研究院有限公司 一种车辆定位方法、装置及存储介质
CN110197157A (zh) * 2019-05-31 2019-09-03 武汉理工大学 一种基于历史裂纹数据的路面裂纹生长检测方法
CN110264777A (zh) * 2019-06-26 2019-09-20 广州小鹏汽车科技有限公司 室内车辆导航方法、装置、存储介质及车辆控制终端
CN111157009A (zh) * 2020-04-02 2020-05-15 深圳司南数据服务有限公司 基于移动终端和ar智能的室内定位导航创建方法及***
CN111190199A (zh) * 2018-11-15 2020-05-22 北京嘀嘀无限科技发展有限公司 定位方法及定位装置、计算机设备和可读存储介质
US20210255337A1 (en) * 2017-11-22 2021-08-19 DeepMap Inc. Accuracy of global navigation satellite system based positioning using high definition map based localization

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566471A (zh) * 2007-01-18 2009-10-28 上海交通大学 基于地面纹理的智能车视觉全局定位方法
CN103353758A (zh) * 2013-08-05 2013-10-16 青岛海通机器人***有限公司 一种室内机器人导航装置及其导航技术
CN105246039A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于图像处理的室内定位方法及***
CN105807296A (zh) * 2014-12-31 2016-07-27 ***通信集团公司 一种车辆定位方法、装置和设备
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位***及方法
US20170004366A1 (en) * 2015-06-30 2017-01-05 Denso Corporation Display Device, Vehicle Controller, Transmitter, And Travelling Assistance System
CN106355577A (zh) * 2016-09-08 2017-01-25 武汉科技大学 基于特征状态与全局一致性的快速图像匹配方法及***
CN106446825A (zh) * 2016-09-21 2017-02-22 中国第汽车股份有限公司 一种行车环境特征目标信息提取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566471A (zh) * 2007-01-18 2009-10-28 上海交通大学 基于地面纹理的智能车视觉全局定位方法
CN103353758A (zh) * 2013-08-05 2013-10-16 青岛海通机器人***有限公司 一种室内机器人导航装置及其导航技术
CN105807296A (zh) * 2014-12-31 2016-07-27 ***通信集团公司 一种车辆定位方法、装置和设备
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位***及方法
US20170004366A1 (en) * 2015-06-30 2017-01-05 Denso Corporation Display Device, Vehicle Controller, Transmitter, And Travelling Assistance System
CN105246039A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于图像处理的室内定位方法及***
CN106355577A (zh) * 2016-09-08 2017-01-25 武汉科技大学 基于特征状态与全局一致性的快速图像匹配方法及***
CN106446825A (zh) * 2016-09-21 2017-02-22 中国第汽车股份有限公司 一种行车环境特征目标信息提取方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704821B (zh) * 2017-09-29 2020-06-09 河北工业大学 一种弯道的车辆位姿计算方法
CN107808117A (zh) * 2017-09-29 2018-03-16 上海工程技术大学 一种基于云计算的共享车辆定位***及其定位方法
CN107704821A (zh) * 2017-09-29 2018-02-16 河北工业大学 一种弯道的车辆位姿计算方法
US11675092B2 (en) * 2017-11-22 2023-06-13 Nvidia Corporation Accuracy of global navigation satellite system based positioning using high definition map based localization
US20210255337A1 (en) * 2017-11-22 2021-08-19 DeepMap Inc. Accuracy of global navigation satellite system based positioning using high definition map based localization
CN109328292A (zh) * 2017-12-28 2019-02-12 深圳配天智能技术研究院有限公司 一种车辆定位方法、装置及存储介质
CN109099929A (zh) * 2018-07-13 2018-12-28 武汉理工大学 基于场景指纹的智能车定位装置及方法
CN109099929B (zh) * 2018-07-13 2021-10-15 武汉理工大学 基于场景指纹的智能车定位装置及方法
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
CN111190199A (zh) * 2018-11-15 2020-05-22 北京嘀嘀无限科技发展有限公司 定位方法及定位装置、计算机设备和可读存储介质
CN111190199B (zh) * 2018-11-15 2022-08-05 北京嘀嘀无限科技发展有限公司 定位方法及定位装置、计算机设备和可读存储介质
CN110197157B (zh) * 2019-05-31 2023-03-24 武汉理工大学 一种基于历史裂纹数据的路面裂纹生长检测方法
CN110197157A (zh) * 2019-05-31 2019-09-03 武汉理工大学 一种基于历史裂纹数据的路面裂纹生长检测方法
CN110264777A (zh) * 2019-06-26 2019-09-20 广州小鹏汽车科技有限公司 室内车辆导航方法、装置、存储介质及车辆控制终端
CN111157009A (zh) * 2020-04-02 2020-05-15 深圳司南数据服务有限公司 基于移动终端和ar智能的室内定位导航创建方法及***

Also Published As

Publication number Publication date
CN106960591B (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN106960591A (zh) 一种基于路面指纹的车辆高精度定位装置及方法
CN106919915B (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图***与方法
CN104848851B (zh) 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN104280036B (zh) 一种交通信息的检测与定位方法、装置及电子设备
CN110322702A (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN109472831A (zh) 面向压路机施工过程的障碍物识别测距***及方法
CN112836737A (zh) 一种基于车路数据融合的路侧组合感知设备在线标定方法
TW202001786A (zh) 用於更新高度自動化駕駛地圖的系統和方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN105654732A (zh) 一种基于深度图像的道路监控***及方法
CN106441319A (zh) 一种无人驾驶车辆车道级导航地图的生成***及方法
CN103941746A (zh) 无人机巡检图像处理***及方法
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN109584238A (zh) 一种基于立体视觉的弓网运行状况在线检测***及方法
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
CN103065519A (zh) 坡道定点停车和起步检测***及其检测方法
CN108932477A (zh) 一种巡检机器人充电房视觉定位方法
CN107194343B (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN110516633A (zh) 一种基于深度学习的车道线检测方法及***
CN114252884A (zh) 路侧雷达定位监测方法、装置、计算机设备和存储介质
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant