CN109949365B - 基于路面特征点的车辆指定位置停车方法及*** - Google Patents

基于路面特征点的车辆指定位置停车方法及*** Download PDF

Info

Publication number
CN109949365B
CN109949365B CN201910154967.8A CN201910154967A CN109949365B CN 109949365 B CN109949365 B CN 109949365B CN 201910154967 A CN201910154967 A CN 201910154967A CN 109949365 B CN109949365 B CN 109949365B
Authority
CN
China
Prior art keywords
point
vehicle
points
parking
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910154967.8A
Other languages
English (en)
Other versions
CN109949365A (zh
Inventor
苏晓聪
潘尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Technology Corp
Original Assignee
Wuhan Kotei Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Technology Corp filed Critical Wuhan Kotei Technology Corp
Priority to CN201910154967.8A priority Critical patent/CN109949365B/zh
Publication of CN109949365A publication Critical patent/CN109949365A/zh
Application granted granted Critical
Publication of CN109949365B publication Critical patent/CN109949365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于路面特征点的车辆指定位置停车方法及***,其根据棋盘图计算每一个停车位置的地面平面到相机像素平面的单应矩阵,并采集包含相应车位置附近路标的图像参考特征点,然后结合停车位置的各项信息制作构建样本库;通过将实时图像的当前特征点与样本库中对应的特征点进行筛选匹配;将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系,最后将得到的相对位置关系加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,从而利用视觉通过计算与路标相对关系来得到当前车辆的绝对位置,实现精准停车,其在图像匹配时极大精简了构建样本库流程,提高了可操作性。

Description

基于路面特征点的车辆指定位置停车方法及***
技术领域
本发明涉及基于路面特征点的车辆指定位置停车方法及***,涉及图像识别和机器视觉的交叉技术领域。
背景技术
在智能驾驶中,车辆位置信息代表当前车辆所在道路或所处环境中的位置状态,是回答“车辆在哪里”的重要参考。高精度的位置信息分为绝对位置信息和相对位置信息。绝对位置信息一般用全球定位***(Global Position System,GPS)获取,以某点为参考原点,用经纬度高程信息进行绝对位置表达。通过GPS获取绝对位置信息是智能驾驶重要途径,一般GPS位置精度越高售价也就越高昂。GPS一大弊端是在长隧道、大型立交桥下、“城市森林”等场景中,存在“丢星”情况,测量误差剧烈跳变,通常能达到几米甚至几十米。相对位置信息计算常见道路属性到车辆某点的相对关系,从而获得车辆与路标的相对位置。常用手段使用传感器(如毫米波雷达、相机等)检测路标(如车道线、车辆、路灯、路牌等)与车辆的相对距离信息,从而推测车辆与路标的位置关系。绝对位置与相对位置互补是近些年来研究热点。路面上固定的一些路标可以提前利用高精度的GPS设备采集它的绝对位置,通过路标的绝对位置关系,车辆与路标的实时相对关系可以推算出当前车辆的实时绝对位置关系,如相机实时采集图像来检测路标再与高精度地图进行融合匹配,高精度惯性测量装置(Inertial Measurement Unit,IMU)与相机进行融合等。
利用相机在路面指定位置时,通常检测地面路标或地物,主要使用模板匹配或深度学习。模板匹配主要利用小样本库(相对于深度学习),提取样本库中的公共特征组成模板,再进行目标分类,一般速度较快;深度学习主要利用大样本库,设置多层神经网络,直接输出分类结果,一般速度较慢。这两种方法中都涉及到样本库的制作。目前,在公共资料上存在较多免费甚至已经标注好的高质量数据集,但在实际项目中跟客户需求及相机不同选型,最终的效果也会大打折扣,因此,构建项目的样本库必不可少。在制作样本库时,主要是人工对事先采集的数据(视频或图像)按每帧或每张图像找到所需的目标物,手动标注或裁剪目标物合适的大小并保存。这种依赖人工进行生产的方式操作繁琐,效率低下,质量无法保证,人力成本非常高昂。
发明内容
有鉴于此,本发明提供一种能够简化构建样本库流程,提高了可操作性的基于路面特征点的车辆指定位置停车方法及***。
一种基于路面特征点的车辆指定位置停车方法,所述基于路面特征点的车辆指定位置停车方法包括以下步骤:
S1、在每一个停车位置处采集包含附近路标的图像,提取参考特征点,根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵,并结合每一个停车位置的各项信息制作构建样本库;
S2、车载***接收输入的停车位置的预设编号,根据停车位置的预设编号自样本库中获取相应停车位置信息;
S3、采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵,并将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;
S4、将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系;
S5、将得到的相对位置关系以及棋盘图参考原点到已知GPS路标位置点的相对距离加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,车载***根据当前车辆的绝对位置点实现精准停车。
一种基于路面特征点的车辆指定位置停车***,所述基于路面特征点的车辆指定位置停车***包括以下功能模块:
样本库建立模块,用于在每一个停车位置处采集包含附近路标的图像,提取参考特征点,根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵,并结合每一个停车位置的各项信息制作构建样本库;
信息获取模块,用于车载***接收输入的停车位置的预设编号,根据停车位置的预设编号自样本库中获取相应停车位置信息;
特征点筛选匹配模块,用于采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵,并将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;
相对位置计算模块,用于将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系;
绝对位置停车模块,用于将得到的相对位置关系以及棋盘图参考原点到已知GPS路标位置点的相对距离加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,车载***根据当前车辆的绝对位置点实现精准停车。
本发明所述基于路面特征点的车辆指定位置停车方法及***,其根据棋盘图计算每一个停车位置的地面平面到相机像素平面的单应矩阵,并在每一个停车位置处采集包含附近路标的图像,提取参考特征点,然后结合每一个停车位置的各项信息制作构建样本库;通过将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系,最后将得到的相对位置关系加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,由车载***根据当前车辆的绝对位置点实现精准停车。采用本发明所述基于路面特征点的车辆指定位置停车方法,只需要在停车位置采集几张相应的图像,然后利用视觉通过计算与路标相对关系来得到当前车辆的绝对位置,实现精准停车,其在图像匹配时极大精简了构建样本库流程,提高了可操作性。
附图说明
图1是本发明所述基于路面特征点的车辆指定位置停车方法的流程图;
图2是本发明所述基于路面特征点的车辆指定位置停车方法的步骤概要图;
图3是图1中步骤S1的步骤框图;
图4是图1中步骤S3的步骤框图;
图5是图1中步骤S4的步骤框图;
图6是本发明所述基于路面特征点的车辆指定位置停车***的功能模块具体应用图;
图7是本发明所述样本库建立模块的单元框图;
图8是本发明所述特征点筛选匹配模块的单元框图;
图9是本发明所述相对位置计算模块的单元框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1和图2所示,本发明实施例提供一种基于路面特征点的车辆指定位置停车方法,所述基于路面特征点的车辆指定位置停车方法包括以下步骤:
S1、在每一个停车位置处采集包含附近路标的图像,提取参考特征点,根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵,并结合每一个停车位置的各项信息制作构建样本库。
其中,如图3所示,所述步骤S1包括以下分步骤:
S11、对车载相机进行内参矩阵标定;
S12、在每一个停车位置上,利用车载相机拍摄含有路标的图像和棋盘图置于地面的图像;
S13、自棋盘图置于地面的图像中提取得到地面棋盘图物理角点与相机间的像素角点,利用地面棋盘图物理角点与相机间的像素角点根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵;
S14、自车载相机拍摄的含有路标图像中提取出参考特征点和特征描述符;
S15、将每一个停车位置的预设编号、图像、参考特征点、特征描述符、已知实际GPS路标位置点、路标位置点与棋盘图参考原点的偏移记录作为样本库地图属性,即完成样本库地图构建。
本发明所述地标包括如L形标记、箱号、特殊标线等,不同的位置停止点根据地面标识进行区分,而且对标识设置独立标号。车载相机在车辆上照地时,原则上离地面越近,检测地面特征点的效果越好,将相机垂直照地位置解算精度更高,但是实际中,相机安装过低,车身抖动和路面的坑洼会造成相机的剧烈抖动,同时垂直照地,相机高度太低会造成相机所用的可用视场范围太小,在车辆行驶时,连续两帧的重复区域太少,匹配难度增大,要求算法处理速度加快,因此本发明取消将相机垂直照地,在安装时与水平线呈一定角度θ,这种方法安装好处为相机安装高度可以适当增加,相机的视野范围可以增大较多,有利于特征点匹配,但是如果θ角太小,或者说相机主要照射目标为空中目标,这样检测的特征点不太稳定,因为空中目标容易受环境影响改变状态。因此,θ大小在实际中以相机主要视野完全覆盖地面,稍微倾斜即可。
具体的,将不同停车位置的停车点采用不同标号进行标记,记为Pi(i为1,2,3,4…),停车位置的属性主要由停车位置编号、Landmark GPS坐标、相对于Landmark的物理偏移(x,y)、图像块Patch特征点、图像块Patch特征描述符来表示,记为P(位置编号,LandmarkGPS,Patch特征点,Patch描述符)。样本库的停车位置序列用S表示,整个样本库由多个带有序列的P点来组成,记为S{P1,…,Pi,…}。
例如,在实际操作时,车辆在位置编号为013的位置停止点停车,记下此时Landmark GPS点。然后在该图像场景中拍摄两张图像,一张图像为同时含有路标和棋盘图的图像,一张同样角度但仅含有路标的图像,设棋盘格左上角位置的第一个角点即为棋盘图参考原点,根据相机像素平面的角点与实际物理平面中棋盘图物理角点之间一一映射关系计算得到地面平面到相机像素平面的单应矩阵;并将含有棋盘图图像中的特征点、特征描述符提取出来进行存储。在计算得到地面平面到相机像素平面的单应矩阵以及提取出特征点、特征描述符之后,即可删除含有棋盘图的图像,在样本库中仅存储含有路标的图像,记为训练帧,从而完成该停车位在样本库中的信息制作。分别采集每一个停车点的相关信息,制作完成样本库。优选的,所述棋盘图的XY坐标系与路标的坐标系平行设置,且棋盘图采用高精度激光打印机打印,并事先量出小格的物理尺寸。
S2、车载***接收输入的停车位置的预设编号,根据停车位置的预设编号自样本库中获取相应停车位置信息。
即当用户需要将车子停入编号为013的位置停车点停车,则首先向车载***中输入该停车点的编号:013,然后车载***自样本库中将编号013的停车点的相关停车位置信息提取出来。
S3、采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵,并将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配。
如图4所示,所述步骤S3包括以下分步骤:
S31、采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵;
S32、利用Hessian阈值、特征点距离对实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选;
S33、使用RANSAC算法对特征点的内点进行一致性匹配,并过滤无关外点。
在倒车的过程中,车载相机开始进行实时图像采集,然后采用常用的图像特征检测算法提取实时采集图像中的特征点和特征描述符,如果没有检测到特征点,则继续对下一帧图像进行检测。
目前支持SIFT(Scale-invariant feature transform)特征检测、SURF(SpeededUp Robust Features)特征检测、ORB(Oriented FAST and Rotated BRIEF)特征检测、FAST(Features from Accelerated Segment Test)特征检测、HARRIS特征检测这五种。
在检测到特征点和特征描述符之后,通过预设的Hessian阈值、特征点距离对实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选,然后利用OpenCV提供的RANSAC算法保存特征点的内点;并使用RANSAC算法对特征点的内点进行一致性匹配。
S4、将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系。
如图5所示,所述步骤S4包括以下分步骤:
S41、将筛选匹配得到的当前特征点结合相机内参矩阵以及地面平面到图像平面的单应矩阵计算相机位置到样本库中带棋盘图的图像参考原点的旋转矩阵和平移矩阵;
S42、将旋转矩阵和平移矩阵利用几何对极关系解算出相机中心点到棋盘图参考原点的XYZ相对关系,并根据相机中心点到棋盘图参考原点的XYZ相对关系计算得到相机中心点到棋盘图参考原点的距离;
S43、将相机中心点到棋盘图参考原点的距离加上相机到车辆基准点的偏置即为棋盘图参考原点到车辆基准点的位置距离。
具体的,将单应矩阵、相机内参矩阵利用decomposeHomographyMat函数分解成R、T矩阵,将矩阵的转置左乘平移矩阵即为XYZ坐标,具体公式如下:
Figure BDA0001982609710000061
上式中,λ为尺度因子,fx为相机在x方向上焦距,fy为相机在y方向上焦距,dx为x方向上像元尺寸,dy为y方向上像元尺寸,u0为图像主点x坐标,v0为图像主点y坐标;R为物理平面到像素平面的一个3x3旋转矩阵,T为物理平面到像素平面的一个3x1平移矩阵,1为3x1的单位阵;u、v分别为像素平面的x、y坐标,Xw、Yw、Zw为目标在世界坐标系下距相机中心的物理坐标;fx、dx、fy、dy、u0、v0组成的矩阵称为相机内参矩阵。
S5、将得到的相对位置关系以及棋盘图参考原点到已知GPS路标位置点的相对距离加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,车载***根据当前车辆的绝对位置点实现精准停车。
将棋盘图参考原点到车辆基准点的位置距离输入到车载***中进行停车测试,通过测试结果应用距离偏移量进行实时修正,如果停车精度满足了需求,则距离偏移量标定好了。最后根据相机解算的距离、棋盘图参考原点到车辆基准点的位置距离以及样本库中Landmark的物理偏移计算得到车辆参考点位置的绝对位置坐标。
本发明所述基于路面特征点的车辆指定位置停车方法,其根据棋盘图计算每一个停车位置的地面平面到相机像素平面的单应矩阵,并在每一个停车位置处采集包含附近路标的图像,提取参考特征点,然后结合每一个停车位置的各项信息制作构建样本库;通过将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系,最后将得到的相对位置关系加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,由车载***根据当前车辆的绝对位置点实现精准停车。采用本发明所述基于路面特征点的车辆指定位置停车方法,只需要在停车位置采集几张相应的图像,然后利用视觉通过计算与路标相对关系来得到当前车辆的绝对位置,实现精准停车,其在图像匹配时极大精简了构建样本库流程,提高了可操作性。
基于上述基于路面特征点的车辆指定位置停车方法,本发明还提供一种基于路面特征点的车辆指定位置停车***,如图6所示,所述基于路面特征点的车辆指定位置停车***包括以下功能模块:
样本库建立模块10,用于在每一个停车位置处采集包含附近路标的图像,提取参考特征点,根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵,并结合每一个停车位置的各项信息制作构建样本库;
信息获取模块20,用于车载***接收输入的停车位置的预设编号,根据停车位置的预设编号自样本库中获取相应停车位置信息;
特征点筛选匹配模块30,用于采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵,并将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;
相对位置计算模块40,用于将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系;
绝对位置停车模块50,用于将得到的相对位置关系以及棋盘图参考原点到已知GPS路标位置点的相对距离加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,车载***根据当前车辆的绝对位置点实现精准停车。
其中,如图7所示,所述样本库建立模块10包括如下功能单元:
内参标定单元11,用于对车载相机进行内参矩阵标定;
图像采集单元12,用于在每一个停车位置上,利用车载相机拍摄含有路标的图像和棋盘图置于地面的图像;
单应矩阵计算单元13,用于自棋盘图置于地面的图像中提取得到地面棋盘图物理角点与相机间的像素角点,利用地面棋盘图物理角点与相机间的像素角点根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵;具体的,所述矩阵计算单元具体用于自棋盘图置于地面的图像中提取得到地面棋盘图物理角点与相机间的像素角点,根据相机像素平面的角点与实际物理平面中棋盘图物理角点之间一一映射关系计算得到地面平面到相机像素平面的单应矩阵;
参考特征提取单元14,用于自车载相机拍摄的含有路标图像中提取出特征点和特征描述符;
信息规整单元15,用于将每一个停车位置的预设编号、图像、参考特征点、特征描述符、已知实际GPS路标位置点、路标位置点与棋盘图参考原点的偏移记录作为样本库地图属性,即完成样本库地图构建。
如图8所示,所述特征点筛选匹配模块30包括如下功能单元:
当前特征点提取单元31,用于采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵;
特征点筛选单元32,用于利用Hessian阈值、特征点距离对实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选,并利用RANSAC算法保存特征点的内点;
特征点匹配单元33,用于使用RANSAC算法对特征点的内点进行一致性匹配。
如图9所示,所述相对位置计算模块40包括如下功能单元:
RT矩阵解算单元41,用于将筛选匹配得到的当前特征点结合相机内参矩阵以及地面平面到图像平面的单应矩阵计算相机位置到样本库中带棋盘图的图像参考原点的旋转矩阵和平移矩阵;
坐标解算单元42,用于将旋转矩阵和平移矩阵利用几何对极关系解算出相机中心点到棋盘图参考原点的XYZ相对关系,并根据相机中心点到棋盘图参考原点的XYZ相对关系计算得到相机中心点到棋盘图参考原点的距离;
位置距离计算单元43,用于将相机中心点到棋盘图参考原点的距离加上相机到车辆基准点的偏置即为棋盘图参考原点到车辆基准点的位置距离。
以上装置实施例与方法实施例是一一对应的,装置实施例简略之处,参见方法实施例即可。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应超过本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (10)

1.一种基于路面特征点的车辆指定位置停车方法,其特征在于,所述基于路面特征点的车辆指定位置停车方法包括以下步骤:
S1、在每一个停车位置处采集包含附近路标的图像,提取参考特征点,根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵,并结合每一个停车位置的各项信息制作构建样本库;
S2、车载***接收输入的停车位置的预设编号,根据停车位置的预设编号自样本库中获取相应停车位置信息;
S3、采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵,并将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;
S4、将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系;
S5、将得到的相对位置关系以及棋盘图参考原点到已知GPS路标位置点的相对距离加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,车载***根据当前车辆的绝对位置点实现精准停车。
2.根据权利要求1所述基于路面特征点的车辆指定位置停车方法,其特征在于,所述步骤S1包括以下分步骤:
S11、对车载相机进行内参矩阵标定;
S12、在每一个停车位置上,利用车载相机拍摄含有路标的图像和棋盘图置于地面的图像;
S13、自棋盘图置于地面的图像中提取得到地面棋盘图物理角点与相机间的像素角点,利用地面棋盘图物理角点与相机间的像素角点根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵;
S14、自车载相机拍摄的含有路标图像中提取出参考特征点和特征描述符;
S15、将每一个停车位置的预设编号、图像、参考特征点、特征描述符、已知实际GPS路标位置点、路标位置点与棋盘图参考原点的偏移记录作为样本库地图属性,即完成样本库地图构建。
3.根据权利要求1所述基于路面特征点的车辆指定位置停车方法,其特征在于,所述步骤S3包括以下分步骤:
S31、采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵;
S32、利用Hessian阈值、特征点距离对实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选;
S33、使用RANSAC算法对当前特征点的内点进行一致性匹配,并过滤无关外点。
4.根据权利要求1所述基于路面特征点的车辆指定位置停车方法,其特征在于,所述步骤S4包括以下分步骤:
S41、将筛选匹配得到的当前特征点结合相机内参矩阵、实时帧与样本帧单应矩阵以及地面平面到图像平面的单应矩阵计算相机位置到样本库中带棋盘图的图像参考原点的旋转矩阵和平移矩阵;
S42、将旋转矩阵和平移矩阵利用几何对极关系解算出相机中心点到棋盘图参考原点的XYZ相对关系,并根据相机中心点到棋盘图参考原点的XYZ相对关系计算得到相机中心点到棋盘图参考原点的距离;
S43、将相机中心点到棋盘图参考原点的距离加上相机到车辆基准点的偏置即为棋盘图参考原点到车辆基准点的位置距离。
5.根据权利要求1所述基于路面特征点的车辆指定位置停车方法,其特征在于,所述利用地面棋盘图物理角点与相机间的像素角点根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵的具体方法为:
根据相机像素平面的角点与实际物理平面中棋盘图物理角点之间一一映射关系计算得到地面平面到相机像素平面的单应矩阵。
6.一种基于路面特征点的车辆指定位置停车***,其特征在于,所述基于路面特征点的车辆指定位置停车***包括以下功能模块:
样本库建立模块,用于在每一个停车位置处采集包含附近路标的图像,提取参考特征点,根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵,并结合每一个停车位置的各项信息制作构建样本库;
信息获取模块,用于车载***接收输入的停车位置的预设编号,根据停车位置的预设编号自样本库中获取相应停车位置信息;
特征点筛选匹配模块,用于采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵,并将实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选匹配;
相对位置计算模块,用于将筛选匹配得到的当前特征点结合地面平面到图像平面的单应矩阵计算相机当前位置与图像参考点的相对位置关系;
绝对位置停车模块,用于将得到的相对位置关系以及棋盘图参考原点到已知GPS路标位置点的相对距离加上样本库中已知GPS路标位置点即为当前车辆的绝对位置点,车载***根据当前车辆的绝对位置点实现精准停车。
7.根据权利要求6所述基于路面特征点的车辆指定位置停车***,其特征在于,所述样本库建立模块包括如下功能单元:
内参标定单元,用于对车载相机进行内参矩阵标定;
图像采集单元,用于在每一个停车位置上,利用车载相机拍摄含有路标的图像和棋盘图置于地面的图像;
单应矩阵计算单元,用于自棋盘图置于地面的图像中提取得到地面棋盘图物理角点与相机间的像素角点,利用地面棋盘图物理角点与相机间的像素角点根据棋盘图计算每一个停车位置的地面平面到车载相机像素平面的单应矩阵;
参考特征提取单元,用于自车载相机拍摄的含有路标图像中提取出参考特征点和特征描述符;
信息规整单元,用于将每一个停车位置的预设编号、图像、参考特征点、特征描述符、已知实际GPS路标位置点、路标位置点与棋盘图参考原点的偏移记录作为样本库地图属性,即完成样本库地图构建。
8.根据权利要求6所述基于路面特征点的车辆指定位置停车***,其特征在于,所述特征点筛选匹配模块包括如下功能单元:
当前特征点提取单元,用于采集车载相机实时获取的图像,检测提取实时图像中的当前特征点,并计算实时帧与样本帧单应矩阵;
特征点筛选单元,用于利用Hessian阈值、特征点距离对实时图像的当前特征点与样本库中该停车位置对应的参考特征点进行筛选;
特征点匹配单元,用于使用RANSAC算法对特征点的内点进行一致性匹配,并过滤无关外点。
9.根据权利要求6所述基于路面特征点的车辆指定位置停车***,其特征在于,所述相对位置计算模块包括如下功能单元:
RT矩阵解算单元,用于将筛选匹配得到的当前特征点结合相机内参矩阵、实时帧与样本帧单应矩阵以及地面平面到图像平面的单应矩阵计算相机位置到样本库中带棋盘图的图像参考原点的旋转矩阵和平移矩阵;
坐标解算单元,用于将旋转矩阵和平移矩阵利用几何对极关系解算出相机中心点到棋盘图参考原点的XYZ相对关系,并根据相机中心点到棋盘图参考原点的XYZ相对关系计算得到相机中心点到棋盘图参考原点的距离;
位置距离计算单元,用于将相机中心点到棋盘图参考原点的距离加上相机到车辆基准点的偏置即为棋盘图参考原点到车辆基准点的位置距离。
10.根据权利要求6所述基于路面特征点的车辆指定位置停车***,其特征在于,所述单应矩阵计算单元,具体用于自棋盘图置于地面的图像中提取得到地面棋盘图物理角点与相机间的像素角点,根据相机像素平面的角点与实际物理平面中棋盘图物理角点之间一一映射关系计算得到地面平面到相机像素平面的单应矩阵。
CN201910154967.8A 2019-03-01 2019-03-01 基于路面特征点的车辆指定位置停车方法及*** Active CN109949365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910154967.8A CN109949365B (zh) 2019-03-01 2019-03-01 基于路面特征点的车辆指定位置停车方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910154967.8A CN109949365B (zh) 2019-03-01 2019-03-01 基于路面特征点的车辆指定位置停车方法及***

Publications (2)

Publication Number Publication Date
CN109949365A CN109949365A (zh) 2019-06-28
CN109949365B true CN109949365B (zh) 2022-12-02

Family

ID=67008061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910154967.8A Active CN109949365B (zh) 2019-03-01 2019-03-01 基于路面特征点的车辆指定位置停车方法及***

Country Status (1)

Country Link
CN (1) CN109949365B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669377B (zh) * 2019-10-15 2023-09-05 杭州海康威视数字技术股份有限公司 一种车位检测方法、装置、电子设备及存储介质
EP3809313A1 (en) * 2019-10-16 2021-04-21 Ningbo Geely Automobile Research & Development Co. Ltd. A vehicle parking finder support system, method and computer program product for determining if a vehicle is at a reference parking location
CN110969655B (zh) * 2019-10-24 2023-08-18 百度在线网络技术(北京)有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN110907955B (zh) * 2019-12-02 2021-02-09 荣讯塑胶电子制品(深圳)有限公司 定位仪器故障辨识***
CN111047904B (zh) * 2019-12-17 2020-11-20 北京科技大学 一种基于井字标定线的车辆位置信息检测***及方法
CN111540023B (zh) * 2020-05-15 2023-03-21 阿波罗智联(北京)科技有限公司 图像采集设备的监测方法、装置、电子设备及存储介质
CN112184818B (zh) * 2020-10-09 2022-06-10 重庆邮电大学 基于视觉的车辆定位方法及应用其方法的停车场管理***
CN113129376A (zh) * 2021-04-22 2021-07-16 青岛联合创智科技有限公司 一种基于棋盘格的相机实时定位方法
CN114485682B (zh) * 2021-12-30 2023-06-27 武汉光庭信息技术股份有限公司 一种基于slam技术的定位方法
CN117760437A (zh) * 2023-12-20 2024-03-26 北京远舢智能科技有限公司 一种自动驾驶中的车辆定位方法、装置、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
CN106529587A (zh) * 2016-08-26 2017-03-22 北京航空航天大学 基于目标点识别的视觉航向识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100982192B1 (ko) * 2008-12-09 2010-09-14 한국과학기술연구원 사진의 촬영 위치 및 방향 정보 태깅 방법과 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
CN106529587A (zh) * 2016-08-26 2017-03-22 北京航空航天大学 基于目标点识别的视觉航向识别方法

Also Published As

Publication number Publication date
CN109949365A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109949365B (zh) 基于路面特征点的车辆指定位置停车方法及***
CN110285793B (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN110322702B (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和***
JP6543520B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
CN110598743A (zh) 一种目标对象的标注方法和装置
CN104280036B (zh) 一种交通信息的检测与定位方法、装置及电子设备
CN106529587B (zh) 基于目标点识别的视觉航向识别方法
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
CN111261016B (zh) 道路地图的构建方法、装置和电子设备
KR100915600B1 (ko) 지상기준점 표지를 이용한 영상의 3차원 좌표 측정방법
CN109146958B (zh) 一种基于二维图像的交通标志空间位置测量方法
CN113139031B (zh) 用于自动驾驶的交通标识的生成方法及相关装置
CN107589069B (zh) 一种物体碰撞恢复系数的非接触式测量方法
CN111932627A (zh) 一种标识物绘制方法及***
CN115205382A (zh) 目标物定位方法以及装置
CN112424568A (zh) 构建高清地图的***和方法
CN111191596B (zh) 一种封闭区域制图方法、装置及存储介质
CN116645404B (zh) 一种照片gps位置信息提取匹配方法以及提取匹配装置
CN112488022A (zh) 一种环视全景监控方法、装置及***
CN111598956A (zh) 标定方法、装置和***
CN111783597A (zh) 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN110148205B (zh) 一种基于众包影像的三维重建的方法和装置
CN111243021A (zh) 基于多组合相机的车载视觉定位方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant