CN109435942B - 一种基于信息融合的车位线车位识别方法及装置 - Google Patents
一种基于信息融合的车位线车位识别方法及装置 Download PDFInfo
- Publication number
- CN109435942B CN109435942B CN201811283453.4A CN201811283453A CN109435942B CN 109435942 B CN109435942 B CN 109435942B CN 201811283453 A CN201811283453 A CN 201811283453A CN 109435942 B CN109435942 B CN 109435942B
- Authority
- CN
- China
- Prior art keywords
- parking space
- line
- vehicle
- inter
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 235000021152 breakfast Nutrition 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于信息融合的车位线车位识别方法及装置。所述车位线车位识别方法包括步骤:从车身侧面鸟瞰图中识别出车位角点,且车位角点与摄像头处于对应位置时,记录下此时的车位角点坐标,并令其为第一车位角点;车辆的超声波雷达开始探测车辆面向第一车位角点的侧向上是否有障碍物,若有,则返回上一步骤,否则进行下一步骤;同理获取第二车位角点;根据两个车位角点计算车位线车位的车位大致宽度及车辆与车位线车位的侧向距离。本发明可实现对有标准车位标志线车位的检测识别,利用超声波雷达识别车位内有无障碍物的检测,利用轮速传感器获取的行驶距离值与视觉信息做融合获取车位角点坐标,最终实现车位线车位的识别。
Description
技术领域
本发明涉及自动泊车技术领域,具体涉及一种基于信息融合的车位线车位识别方法及装置。
背景技术
自动泊车***(Automatic Parking System,APS)是一个集环境感知、决策与规划,智能控制与执行等功能于一体的综合***,是智能驾驶辅助***的重要组成部分。作为自动泊车***三大关键技术之一的环境感知技术,目前主要以超声波雷达或单目摄像头为主的感知识别***,已经取得了部分成功应用,并且部分已经产品化应用于实车上。近年来,多传感器信息融合技术成为各大高校及研究机构的热点,并在移动机器人领域以取得了一定的研究成果,但在自动泊车领域对信息融合技术的研究还少之又少。
目前常见的自动泊车技术领域关于车位线车位识别的研究主要基于单目视觉和360环视***进行车位检测。基于单目视觉的车位线车位识别***由于单个摄像头视野窄小的原因,很难囊括整个平行车位,如要囊括整个平行车位,则需要自车距离车位的侧向距离大于4m甚至更远,但通常平行车位旁边空间窄小,导致无法识别车位。基于360环视***的车位线车位识别***虽然解决了视野窄小的缺点,但是随着视野的扩大,图像中的噪声,光照,地面纹理等影响会降低车位线的识别精度,如要提高识别精度,则需要更复杂的算法设计,计算量会加大,实时性降低。
发明内容
为解决因单个摄像头视野窄小而难以囊括整个平行车位的技术问题,本发明提出一种基于信息融合的车位线车位识别方法及装置。
为实现上述目的,本发明采用了以下技术方案:
一种基于信息融合的车位线车位识别方法,以车辆的摄像头为坐标原点,车辆的行驶方向为x轴正方向建立O1xy坐标系;以车辆的后轴中心点为原点,第一车位角点和第二车位角点所在直线为x′轴,第一车位角点指向第二车位角点的方向为x′轴正方向建立Ox′y′坐标系;所述车位线车位通过位于同一侧上的第一车位角点第二车位角点以及车辆从第一车位角点/>驶向第二车位角点/>的过程中得到的车位大致宽度Lp决定;所述车辆在行驶过程中对两个车位角点分别进行摄像并由此获得相应的车身侧面鸟瞰图;
所述车位线车位识别方法包括步骤:
步骤一、从车身侧面鸟瞰图中识别出在该鸟瞰图的相应坐标系下的车位角点(xinter,yinter),且车位角点(xinter,yinter)与摄像头处于对应位置时,以此时摄像头的位置为O1xy坐标系下的原点,记录下此时在O1xy坐标系下的车位角点坐标,并令其为第一车位角点
其中,基于车身侧面鸟瞰图中车位线部分像素高于路面区域依据,从所述车身侧面鸟瞰图中提取出车位角点(xinter,yinter);
车位角点与摄像头处于对应位置时的判断条件为:X/2-δ3≤xinter≤X/2+δ3,其中,X为鸟瞰图横坐标最大值,其值为540,δ3为10;
步骤二、车辆的超声波雷达开始探测车辆面向第一车位角点的侧向上是否有障碍物,若有,则返回步骤一,否则进行步骤三;
步骤三、根据步骤一同理获取第二车位角点
步骤四、根据第一车位角点与第二车位角点/>计算车位线车位的车位大致宽度Lp及车辆与车位线车位的侧向距离yp;
侧向距离yp为:yP=K+(Y-yinter)·k,其中,K为盲区距离,由摄像头安装俯仰角度及高度决定;Y为鸟瞰图纵坐标最大值,其值为430;k就是真实世界平面与逆透视图像平面的比列系数。
作为上述方案的进一步改进,车位角点(xinter,yinter)的提取方法包括步骤:
a)对车身侧面鸟瞰图进行特征提取及二值化;
b)对特征提取及二值化后的车身侧面鸟瞰图做边缘噪点去除;
c)对去除边缘早点的车身侧面鸟瞰图进行图像细化;
d)对细化后的车身侧面鸟瞰图做检侧直线及求取检侧直线的交点,所述检侧直线的交点即车位角点(xinter,yinter)。
进一步地,特征提取及二值化的步骤为:
在所述车身侧面鸟瞰图中,车位线的灰度值高于位于车位线两侧的像素值,若存在一个像素比其左右相聚一个预定车位线宽度的像素值高或存在一个像素比其上下相距一个预定车位线宽度的像素灰度值高,即认为该像素为一个可能的车位线像素,对该像素点置255,否则对该像素点置0,即g1(x,y)为:
其中,dV+e(x,y)为车位线特征模板右移时求取的特征,dV-e(x,y)为车位线特征模板左移时求取的特征,dP+e(x,y)为车位线特征模板上移时求取的特征,dP-e(x,y)为车位线特征模板下移时求取的特征,p(x,y)为输入的灰度图,即所述车身侧面鸟瞰图,p(x,y±e)为将所述灰度图按e个像素进行左右平移后的图,p(x±e,y)为将所述灰度图按e个像素进行上下平移后的图,δ0为40。
进一步地,边缘噪点去除的步骤为:随车身侧面鸟瞰图继续进行如下处理:
其中
FL(xn),FR(xn)分别为左右曲线方程,g1(x,y)为输入的二值化特征图,g2(x,y)为输出的二值化特征图。
进一步地,图像细化的步骤为:采用Zhang-Suen细化算法细化图像得到图像骨架,即细化后的车身侧面鸟瞰图。
进一步地,对得到的细化后的车身侧面鸟瞰图的上边缘进行概率霍夫变换检测,根据长度分别保留径向和切向最长线段,其中一条最长线段为所述检侧直线,再求取车位角点(xinter,yinter)。
再进一步地,车位角点(xinter,yinter)的求取过程如下:
切向线段所在直线定义为直线一,径向线段所在直线定义为直线二,已知两条不平行的直线一的两个点(x1,y1)、(x2,y2)和直线二的两个点(x3,y3)、(x4,y4),分如下情况求取:
3)当两条直线都垂直于x轴,就是斜率k1、k2不存在;
4)仅有一条直线垂直于x轴,即k1或者k2不存在,根据斜率定义及其斜截式方程有
则直线一的方程为y=k1x+b1;
于是两直线交点坐标为
3)两条直线都没有垂直于x轴,即k1、k2都存在,根据斜率定义及其斜截式方程有
则直线一的方程为y=k1x+b1,直线二方程为y=k2x+b2
于是两直线交点坐标为
优选地,车位角点(xinter,yinter)的提取方法还包括步骤:e)类型划分。
再优选地,根据车位角点(xinter,yinter)及直线一的两个点(x1,y1)、(x2,y2)将车位标志线分为三类:“T”型,左“L”型,右“L”型,判断标准如下:
其中,δ1为30,δ2为5。
本发明还提供一种基于信息融合的车位线车位识别装置,其采用上述任意基于信息融合的车位线车位识别方法,所述车位线车位识别装置包括:
车位角点检测模块,其用于获取第一车位角点和第二车位角点
障碍物检测模块,其用于采用车辆的超声波雷达探测车辆面向第一车位角点的侧向上是否有障碍物;
计算模块,其用于在所述障碍物检测模块没有检测到障碍物时,根据第一车位角点与第二车位角点/>计算车位线车位的车位大致宽度Lp及车辆与车位线车位的侧向距离yp。
本发明基于信息融合的车位线车位识别方法可实现对有标准车位标志线车位的检测识别,利用超声波雷达识别车位内有无障碍物的检测,利用轮速传感器获取的行驶距离值与视觉信息做融合获取车位角点坐标,最终实现车位线车位的识别。
附图说明
图1为应用本发明的车位线车位识别方法的车位线车位识别***的软件***框架图。
图2为本发明车位线车位识别方法中的车位线检测中间结果图。
图3为本发明车位线车位识别方法中的车位标志线类型定义图。
图4为本发明车位线车位识别方法的信息融合流程图。
图5为本发明车位线车位识别方法中基于逆透视变换的平面视觉测距模型图。
图6为本发明车位线车位识别方法中的车位坐标系建立的说明图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
本发明的基于信息融合的车位线车位识别方法,应用于基于信息融合的车位线车位识别装置中,基于信息融合的车位线车位识别装置可加载在车位线车位识别***中。车位线车位识别***有如下几类***组成:
1.电源***;由可以提供12V直流电的蓄电池,超声波传感器使用额外电源模块完成变压,计算机使用逆变器完成变压,其他设备均具有配套独立的变压设备。
2.传感***;单目摄像头型号为HD DOGITAL CAMERA的高清USB摄像头;超声波传感器为某厂家生产的型号为KS103的超声波雷达;轮速传感器采用某公司生产的增量式旋转编码器,型号为BS80T20-5-24F-360BM,脉冲数为360。
3.通信***:当前***的通信数据包括:
(1)图像处理结果,通过CAN发送到泊车控制器;
(2)超声波雷达数据,通过IIC通信方式发送到泊车控制器;
(3)轮速传感器数据,通过CAN发送到泊车控制器。
车位线车位识别***可整体安装在江淮IEV4纯电动汽车上。其中,车位线车位识别***的单目相机HD DOGITAL CAMERA安装在后视镜处,位于车身侧面;车位线车位识别***的超声波雷达安装在前轮翼子板上,离地高度为80cm;车位线车位识别***的轮速传感器分别安装在汽车两个后轮轴上。
该***主要包括离线标定及逆投影变换模块,车位角点检测及视觉测距模块,信息融合模块,车位坐标系建立模块,可实现对有标准车位标志线的车位进行实时精确的识别。该***包括如下部分:超声波雷达采用某厂家生产的型号为KS103的超声波雷达,最大探测距离为5m;摄像头采用某厂家生产的HD DOGITAL CAMERA的高清USB摄像头,以离地高度80cm,俯仰角30度设置参数标定;轮速传感器采用某公司生产的增量式旋转编码器,型号为BS80T20-5-24F-360BM,脉冲数为360;车位坐标系建立模块为自主开发设计的以FreescaleMC9S128单片机的最小***为基础开发的泊车控制器。摄像头和轮速传感器通过CAN通道将信息采集到泊车控制器,超声波雷达以IIC通信方式将信号采集到泊车控制器。***能够以100HZ的频率稳定提供车身侧面前5.5m范围内的车位标志线检测结果,并可区分“T”型车位标志线及左、右“L”型车位标志线。***成本低廉,功耗低,具有较高的整体移植性,适合产品化。
该车位线车位识别***的工作原理:离线标定及逆投影变换模块,利用张正友相机标定法编写程序完成相机的内参和外参标定,通过HD DOGITAL CAMERA的高清USB摄像头采集当前车位图像,并依据内外参数进行逆投影变换,获取鸟瞰图像;车位角点检测及视觉测距模块中车位角点检测模块,基于车位标志线局部高亮特性和平行垂直性约束造成的角度约束条件获取当前帧的车位角点检测结果,视觉测距模块基于逆投影变换的鸟瞰图获取当前帧车位角点的侧向距离值。
本发明的基于信息融合的车位线车位识别方法,其以车辆的摄像头为坐标原点,车辆的行驶方向为x轴正方向建立O1xy坐标系;以第一车位角点坐标为原点,第一车位角点和第二车位角点所在直线为x′轴,第一车位角点指向第二车位角点的方向为x′轴正方向建立Ox′y′坐标系。所述车位线车位通过位于同一侧上的第一车位角点第二车位角点/>以及车辆从第一车位角点/>驶向第二车位角点/>的过程中得到的车位大致宽度Lp决定。所述车辆在行驶过程中对两个车位角点分别进行摄像并由此获得相应的车身侧面鸟瞰图。
所述车位线车位识别方法包括步骤:
步骤一、从车身侧面鸟瞰图中识别出在该鸟瞰图的相应坐标系下的车位角点(xinter,yinter),且车位角点(xinter,yinter)与摄像头处于对应位置时,以此时摄像头的位置为O1xy坐标系下的原点,记录下此时在O1xy坐标系下的车位角点坐标,并令其为第一车位角点
其中,基于车身侧面鸟瞰图中车位线部分像素高于路面区域依据,从所述车身侧面鸟瞰图中提取出车位角点(xinter,yinter);
车位角点与摄像头处于对应位置时的判断条件为:X/2-δ3≤xinter≤X/2+δ3,其中,X为鸟瞰图横坐标最大值,其值为540,δ3为10;
步骤二、车辆的超声波雷达开始探测车辆面向第一车位角点的侧向上是否有障碍物,若有,则返回步骤一,否则进行步骤三;
步骤三、根据步骤一同理获取第二车位角点
步骤四、根据第一车位角点与第二车位角点/>计算车位线车位的车位大致宽度Lp及车辆与车位线车位的侧向距离yp;
其中,车位大致宽度Lp为:
侧向距离yp为:yP=K+(Y-yinter)·k,其中,K为盲区距离,由摄像头安装俯仰角度决定;Y为鸟瞰图纵坐标最大值,其值为430;k就是真实世界平面与逆透视图像平面的比列系数。
所述基于信息融合的车位线车位识别方法在程序设计成,可设计成一种基于信息融合的车位线车位识别装置,这个车位线车位识别装置包括:车位角点检测模块,其用于获取第一车位角点和第二车位角点/>障碍物检测模块,其用于采用车辆的超声波雷达探测车辆面向第一车位角点/>的侧向上是否有障碍物;计算模块,其用于在所述障碍物检测模块没有检测到障碍物时,根据第一车位角点/>与第二车位角点/>计算车位线车位的车位大致宽度Lp及车辆与车位线车位的侧向距离yp。
本发明基于信息融合的车位线车位识别***可实现对有标准车位标志线车位的检测识别,利用超声波雷达识别车位内有无障碍物的检测,利用轮速传感器获取的行驶距离值与视觉信息做融合获取车位角点坐标,最终实现车位线车位的识别。
实施例1
参见图1,基于信息融合的车位线车位识别***在软件框架上主要包括:离线标定及逆投影变换模块M1、车位角点检测及视觉测距模块M2、信息融合模块M3、车位坐标系建立模块M4。
所述离线标定及逆投影变换模块M1用于采集图像信息,并完成相对于车身侧面平面的逆投影变换,得到车身侧面鸟瞰图,离线标定及逆投影变换模块M1包括进行相机内参和外参的离线标定模块M11和逆投影变换模块M12。离线标定模块M11利用特征标记点求取相机内部参数和相机相对于车体坐标的外部参数。逆投影变换模块M12实时采集BGR图像,并利用计算得到的相机内部参数和外部参数,将图像转化为鸟瞰图(Bird-eye View),并将其转化为灰度图像,即后续需要进行数据处理的车身侧面鸟瞰图。
车位角点检测及视觉测距模块M2用于进行车位角点检测及车身侧面距车位角点距离检测,车位角点检测及视觉测距模块M2包括车位角点检测模块M21和基于逆透视变换的平面测距模块M22。车位角点检测模块M21基于车身侧面鸟瞰图中车位线部分像素高于路面区域依据,从所述车身侧面鸟瞰图中提取出车位角点(xinter,yinter)。平面测距模块M22获取车位角点(xinter,yinter)距离车身侧面的距离值yp,在本实施例中,利用一平面测距模型获取车位角点距离车身侧面的距离值。
车位角点检测模块M21输出车位角点(xinter,yinter)的数据处理方法包括步骤:
a)特征提取及二值化。
参见图2(a),车位线特征提取基于如下假设:即车位线灰度值高于其两侧的像素值,若存在一个像素比其左右相聚一个车位线宽度的像素值高或存在一个像素比其上下相距一个车位线宽度的像素灰度值高,即认为该像素为一个可能的车位线像素,该像素点置255;若某一像素点与其相邻像素不符合上述条件,则该像素点置0。
其中,
g1(x,y)为求取的初步车位线特征图,dV+e(x,y)为车位线特征模板右移时求取的特征,dV-e(x,y)为车位线特征模板左移时求取的特征,dP+e(x,y)为车位线特征模板上移时求取的特征,dP-e(x,y)为车位线特征模板下移时求取的特征,p(x,y)为输入的灰度图,p(x,y±e)为将原始输入的灰度图按e个像素进行左右平移后的图,p(x±e,y)为将原始输入的灰度图按e个像素进行上下平移后的图。
b)鸟瞰图边缘早点去除。
参见图2(b),对提取出的车位线特征,由于在离线标定及逆投影变换模块中获得的鸟瞰图内边缘与外边缘比较也符合比其左右相聚一个车位线宽度的像素值高的条件,且一旦标定后,此边缘线为固定曲线。采用离线方法取两条曲线上的若干像素点坐标,利用Matlab中的cftool工具箱进行曲线拟合,得到拟合曲线方程为FL(xn)和FR(xn),对上述(a)图继续进行如下处理:
其中
FL(xn),FR(xn)分别为左右曲线方程。
g1(x,y)为输入的二值化特征图,g2(x,y)为输出的二值化特征图。
c)图像细化。
参见图2(c),对具有车位线特征的二值化图采用Zhang-Suen细化算法细化图像得到图像骨架。
d)检侧直线及求取垂直平行直线交点。
参见图2(d),对得到的图像骨架下边缘进行概率霍夫变换检测,根据长度分别保留径向和切向最长线段,求取线段的直线方程并求取其交点,过程如下:
已知两条不平行的直线1(切向线段所在直线)的两个点(x1,y1)、(x2,y2)和直线2(径向线段所在直线)的两个点(x3,y3)、(x4,y4),分如下情况求取:
5)当两条直线都垂直于x轴,就是斜率k1、k2不存在。不在本发明讨论范围。
6)仅有一条直线垂直于x轴,即k1或者k2不存在,本发明直线2存在这种情况。根据斜率定义及其斜截式方程有
则直线1的方程为y=k1x+b1;
于是两直线交点坐标为
3)两条直线都没有垂直于x轴,即k1、k2都存在。根据斜率定义及其斜截式方程有
则直线1的方程为y=k1x+b1,直线2方程为y=k2x+b2
于是两直线交点坐标为
e)类型划分。
参见图2(e)及图3,根据上述所得交点(xinter,yinter)及直线1(切向线段所在直线)的两个点(x1,y1)、(x2,y2)将车位标志线分为三类:“T”型,左“L”型,右“L”型,判断标准如下:
信息融合模块M3用于将超声波雷达和轮速传感器获取的距离信息和摄像头获取的视觉信息进行融合,获取建立车位坐标系特征点坐标。
请参阅图4,所述的信息融合模块M3主要包括以下步骤:
步骤一,摄像头检测标识车位线车位的车位角点,若识别出车位角点且车位角点与摄像头处于平行位置时,记录下此时的车位角点坐标,并令其为第一车位角点
步骤二,超声波雷达开始探测侧向是否有障碍物,若有,回到步骤一,若无,继续进行步骤M3S3;
步骤三,摄像头检测标识车位线车位的车位角点,若识别出车位角点且车位角点与摄像头处于平行位置时,记录下此时的车位角点坐标,并令其为第二车位角点
步骤四,根据所述的第一车位角点与所述的第二车位角点的坐标,计算所述目标车位的宽度及自车与目标车位的侧向距离。
其中,所述的第一车位角点坐标和第二车位角点坐标/>的横坐标由轮速传感器获得的自车行驶距离得到,纵坐标由所述的车位角点检测及视觉测距模块M2中的基于逆透视变换的平面测距模块M22得到。
车位坐标系建立模块M4用于判断检测到的车位符合垂直车位或平行车位,并确定自车与车位相对位置,进而进行相应路径规划。车位坐标系建立模块M4利用信息融合模块得到的第一车位角点坐标和第二车位角点坐标/>计算得到车位的大致宽度LP,根据车位宽度设定阈值判断是平行车位或垂直车位,根据计算得到的自车后轴的中心坐标进行路径规划,其中的车位大致宽度LP由以下公式计算:/>
在本实施例中,参见图,5,摄像机安装在车身侧面后视镜处,基于逆透视变换的平面测距模块原理:逆透视图像理论上与真实平面具有严格的线型关系,即鸟瞰图像中每一个像素块(1pix*1pix)对应的实际面积都是相等的,或者说鸟瞰图像中的某两点间的距离与真实世界平面中对应的两点的距离存在以下关系,即
DAB=k·dab
其中,DAB表示的是真实世界平面上点A与点B之间的欧式距离,单位取mm,dab表示的是真实世界平面点A和点B在鸟瞰图像中对应的点a和点b之间的欧式距离,单位是像素(pix),k则是鸟瞰图与真实世界平面的关系系数,单位是mm/pix。
实际车上,由于摄像头的视野受限一般都会有视野盲区,这和摄像头安装时的俯仰角有关,如图3所示:
则D=K+kd
其中,D是车位标志线(切向直线)与车身侧面的距离;K是摄像机的盲区,可以通过实验进行测量得到;而k就是真实世界平面与逆透视图像平面的比列系数;d是车位标志线所在逆透视图像的位置与图像最低端的像素距离。
于是由基于逆透视变换的平面测距模块得到的车位角点到车身侧面的距离为:
yP=K+(Y-yinter)·k
其中,yP为车位角点的纵坐标,即车位标志线(切向直线)距车身侧面的距离;K为盲区距离,由摄像头安装俯仰角度决定;Y为鸟瞰图纵坐标最大值,其值为430;yinter为车位标志线两直线交点纵坐标值;k就是真实世界平面与逆透视图像平面的比列系数。
参见图6,以摄像头为坐标原点,自车行驶方向为x轴正方向建立O1xy坐标系;以第一车位角点为原点,自车行驶方向为x轴正方向建立Ox′y′坐标系。信息融合模块中车位角点坐标及车位坐标系建立模块中自车后轴坐标确定如图所示,识别出车位角点且车位角点与摄像头处于平行位置时(图中Ⅰ位置),记录下此时的车位角点坐标,并令其为第一车位角点第二车位角点坐标同理;其中车位角点与摄像头处于平行位置的判断条件为:
X/2-δ3≤xinter≤X/2+δ3
其中,X为鸟瞰图横坐标最大值,其值为540。
当自车行驶到图中Ⅱ位置时,此时摄像头的坐标点变为
其中,xc由自车行驶距离值得到;
其中,W为车位实际宽度,由超声波雷达探测得知或由国标得知。
则当自车行驶到图中Ⅱ位置时,自车后轴中心的坐标点为:
其中,L为摄像头距后轴的距离,w为自车车宽。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于信息融合的车位线车位识别方法,其特征在于,
以车辆的摄像头为坐标原点,车辆的行驶方向为x轴正方向建立O1xy坐标系;以第一车位角点坐标为原点,第一车位角点和第二车位角点所在直线为x′轴,第一车位角点指向第二车位角点的方向为x′轴正方向建立Ox′y′坐标系;所述车位线车位通过位于同一侧上的第一车位角点第二车位角点/>以及车辆从第一车位角点/>驶向第二车位角点/>的过程中得到的车位大致宽度Lp决定;所述车辆在行驶过程中对两个车位角点分别进行摄像并由此获得相应的车身侧面鸟瞰图;
所述车位线车位识别方法包括步骤:
步骤一、从车身侧面鸟瞰图中识别出在该鸟瞰图的相应坐标系下的车位角点(xinter,yinter),且车位角点(xinter,yinter)与摄像头处于对应位置时,以此时摄像头的位置为O1xy坐标系下的原点,记录下此时在O1xy坐标系下的车位角点坐标,并令其为第一车位角点
其中,基于车身侧面鸟瞰图中车位线部分像素高于路面区域依据,从所述车身侧面鸟瞰图中提取出车位角点(xinter,yinter);
车位角点与摄像头处于对应位置时的判断条件为:
X/2-δ3≤xinter≤X/2+δ3,其中,X为鸟瞰图横坐标最大值,其值为540,δ3为10;
步骤二、车辆的超声波雷达开始探测车辆面向第一车位角点的侧向上是否有障碍物,若有,则返回步骤一,否则进行步骤三;
步骤三、根据步骤一同理获取第二车位角点
步骤四、根据第一车位角点与第二车位角点/>计算车位线车位的车位大致宽度Lp及车辆与车位线车位的侧向距离yp;
其中,车位大致宽度Lp为:LP=xP2-xP1;
侧向距离yp为:yP=K+(Y-yinter)·k,其中,K为盲区距离,由摄像头安装俯仰角及高度决定;Y为鸟瞰图纵坐标最大值,其值为430;k就是真实世界平面与逆透视图像平面的比列系数。
2.如权利要求1所述的基于信息融合的车位线车位识别方法,其特征在于,车位角点(xinter,yinter)的提取方法包括步骤:
a)对车身侧面鸟瞰图进行特征提取及二值化;
b)对特征提取及二值化后的车身侧面鸟瞰图做边缘噪点去除;
c)对去除边缘早点的车身侧面鸟瞰图进行图像细化;
d)对细化后的车身侧面鸟瞰图做检侧直线及求取检侧直线的交点,所述检侧直线的交点即车位角点(xinter,yinter)。
3.如权利要求2所述的基于信息融合的车位线车位识别方法,其特征在于,特征提取及二值化的步骤为:
在所述车身侧面鸟瞰图中,车位线的像素值高于位于车位线两侧的像素值,若存在一个像素比其左右相聚一个预定车位线宽度的像素值高或存在一个像素比其上下相距一个预定车位线宽度的像素灰度值高,即认为该像素为一个可能的车位线像素,对该像素点置255,否则对该像素点置0,即g1(x,y)为:
其中,dV+e(x,y)为车位线特征模板右移时求取的特征,dV-e(x,y)为车位线特征模板左移时求取的特征,dP+e(x,y)为车位线特征模板上移时求取的特征,dP-e(x,y)为车位线特征模板下移时求取的特征,p(x,y)为输入的灰度图,即所述车身侧面鸟瞰图,p(x,y±e)为将所述灰度图按e个像素进行左右平移后的图,p(x±e,y)为将所述灰度图按e个像素进行上下平移后的图,δ0为40。
4.如权利要求2所述的基于信息融合的车位线车位识别方法,其特征在于,边缘噪点去除的步骤为:随车身侧面鸟瞰图继续进行如下处理:
其中
FL(xn),FR(xn)分别为左右曲线方程,g1(x,y)为输入的二值化特征图,g2(x,y)为输出的二值化特征图。
5.如权利要求2所述的基于信息融合的车位线车位识别方法,其特征在于,图像细化的步骤为:采用Zhang-Suen细化算法细化图像得到图像骨架,即细化后的车身侧面鸟瞰图。
6.如权利要求2所述的基于信息融合的车位线车位识别方法,其特征在于,对得到的细化后的车身侧面鸟瞰图的下边缘进行概率霍夫变换检测,根据长度分别保留径向和切向最长线段,其中一条最长线段为所述检侧直线,再求取车位角点(xinter,yinter)。
7.如权利要求6所述的基于信息融合的车位线车位识别方法,其特征在于,车位角点(xinter,yinter)的求取过程如下:
切向线段所在直线定义为直线一,径向线段所在直线定义为直线二,已知两条不平行的直线一的两个点(x1,y1)、(x2,y2)和直线二的两个点(x3,y3)、(x4,y4),分如下情况求取:
1)当两条直线都垂直于x轴,就是斜率k1、k2不存在;
2)仅有一条直线垂直于x轴,即k1或者k2不存在,根据斜率定义及其斜截式方程有
则直线一的方程为y=k1x+b1;
于是两直线交点坐标为
3)两条直线都没有垂直于x轴,即k1、k2都存在,根据斜率定义及其斜截式方程有
则直线一的方程为y=k1x+b1,直线二方程为y=k2x+b2
于是两直线交点坐标为
8.如权利要求7所述的基于信息融合的车位线车位识别方法,其特征在于,车位角点(xinter,yinter)的提取方法还包括步骤:e)类型划分。
9.如权利要求8所述的基于信息融合的车位线车位识别方法,其特征在于,根据车位角点(xinter,yinter)及直线一的两个点(x1,y1)、(x2,y2)将车位标志线分为三类:“T”型,左“L”型,右“L”型,判断标准如下:
其中,δ1为30,δ2为5。
10.一种基于信息融合的车位线车位识别装置,其特征在于,其采用如权利要求1至9中任意一项所述的基于信息融合的车位线车位识别方法,所述车位线车位识别装置包括:
车位角点检测模块,其用于获取第一车位角点和第二车位角点/>
障碍物检测模块,其用于采用车辆的超声波雷达探测车辆面向第一车位角点的侧向上是否有障碍物;
计算模块,其用于在所述障碍物检测模块没有检测到障碍物时,根据第一车位角点与第二车位角点/>计算车位线车位的车位大致宽度Lp及车辆与车位线车位的侧向距离yp。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811283453.4A CN109435942B (zh) | 2018-10-31 | 2018-10-31 | 一种基于信息融合的车位线车位识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811283453.4A CN109435942B (zh) | 2018-10-31 | 2018-10-31 | 一种基于信息融合的车位线车位识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109435942A CN109435942A (zh) | 2019-03-08 |
CN109435942B true CN109435942B (zh) | 2024-04-09 |
Family
ID=65548957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811283453.4A Active CN109435942B (zh) | 2018-10-31 | 2018-10-31 | 一种基于信息融合的车位线车位识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109435942B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740584B (zh) * | 2019-04-02 | 2019-06-25 | 纽劢科技(上海)有限公司 | 基于深度学习的自动泊车停车位检测方法 |
CN110097087B (zh) * | 2019-04-04 | 2021-06-11 | 浙江科技学院 | 一种自动钢筋捆扎位置识别方法 |
CN110070752A (zh) * | 2019-05-29 | 2019-07-30 | 北京百度网讯科技有限公司 | 一种泊车评估方法、装置、电子设备及存储介质 |
CN110293964B (zh) * | 2019-06-25 | 2020-11-03 | 重庆长安汽车股份有限公司 | 自动泊车融合车位判断方法、***、计算机可读存储介质及车辆 |
CN110414355A (zh) * | 2019-06-27 | 2019-11-05 | 沈阳工业大学 | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 |
CN110390306B (zh) * | 2019-07-25 | 2021-08-10 | 湖州宏威新能源汽车有限公司 | 直角车位的检测方法、车辆和计算机可读存储介质 |
CN110544386A (zh) * | 2019-09-18 | 2019-12-06 | 奇瑞汽车股份有限公司 | 车位识别方法、装置及存储介质 |
CN111311925B (zh) * | 2020-01-21 | 2022-02-11 | 阿波罗智能技术(北京)有限公司 | 车位的检测方法和装置、电子设备、车辆、存储介质 |
CN113255405B (zh) * | 2020-02-12 | 2024-06-25 | 广州汽车集团股份有限公司 | 车位线识别方法及其***、车位线识别设备、存储介质 |
CN111754468A (zh) * | 2020-06-10 | 2020-10-09 | 深圳南方德尔汽车电子有限公司 | 基于投影的车位检测方法、装置、计算机设备及存储介质 |
CN112052782B (zh) * | 2020-08-31 | 2023-09-05 | 安徽江淮汽车集团股份有限公司 | 基于环视的停车位识别方法、装置、设备及存储介质 |
CN112172797B (zh) * | 2020-09-27 | 2021-12-17 | 华人运通(上海)自动驾驶科技有限公司 | 泊车控制方法、装置、设备和存储介质 |
CN112201078B (zh) * | 2020-09-30 | 2021-08-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
CN112036385B (zh) * | 2020-11-04 | 2021-02-02 | 天津天瞳威势电子科技有限公司 | 库位修正方法、装置、电子设备及可读存储介质 |
CN114475434B (zh) * | 2020-11-11 | 2023-08-04 | 广州汽车集团股份有限公司 | 一种倒车外后视镜控制调节方法及其***、存储介质 |
CN112455430B (zh) * | 2020-12-02 | 2023-05-30 | 苏州优达斯汽车科技有限公司 | 无车位线的斜列车位的检测方法、泊车方法及泊车*** |
CN112598922B (zh) * | 2020-12-07 | 2023-03-21 | 安徽江淮汽车集团股份有限公司 | 车位检测方法、装置、设备及存储介质 |
CN112633152B (zh) * | 2020-12-22 | 2021-11-26 | 深圳佑驾创新科技有限公司 | 停车位检测方法、装置、计算机设备和存储介质 |
CN112622885B (zh) * | 2020-12-30 | 2022-03-22 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于超声波雷达的斜列车位构建方法及*** |
CN112767425A (zh) * | 2020-12-30 | 2021-05-07 | 智车优行科技(北京)有限公司 | 一种基于视觉的车位检测方法及装置 |
CN112927552B (zh) * | 2021-01-20 | 2022-03-11 | 广州小鹏自动驾驶科技有限公司 | 一种车位检测的方法和装置 |
CN112863242B (zh) * | 2021-02-08 | 2022-07-01 | 广州小鹏自动驾驶科技有限公司 | 一种车位检测的方法和装置 |
CN112776797A (zh) * | 2021-02-27 | 2021-05-11 | 重庆长安汽车股份有限公司 | 泊出原始车位创建方法、***、车辆和存储介质 |
CN112983085A (zh) * | 2021-04-30 | 2021-06-18 | 的卢技术有限公司 | 一种基于视觉的车位线识别方法 |
CN113053164A (zh) * | 2021-05-11 | 2021-06-29 | 吉林大学 | 一种利用环视图像的车位识别方法 |
CN113311437B (zh) * | 2021-06-08 | 2022-04-19 | 安徽域驰智能科技有限公司 | 一种提高车载雷达定位侧边车位角点位置精度的方法 |
CN113822156B (zh) * | 2021-08-13 | 2022-05-24 | 北京易航远智科技有限公司 | 车位检测处理方法、装置、电子设备及存储介质 |
CN113799769B (zh) * | 2021-09-28 | 2023-06-16 | 北京经纬恒润科技股份有限公司 | 车位识别精度的检测方法、装置及自动驾驶车辆 |
CN113885532B (zh) * | 2021-11-11 | 2023-07-25 | 江苏昱博自动化设备有限公司 | 一种智能避障的无人搬运小车控制*** |
CN115206130B (zh) * | 2022-07-12 | 2023-07-18 | 合众新能源汽车股份有限公司 | 一种车位检测方法、***、终端及存储介质 |
CN115148047B (zh) * | 2022-07-25 | 2024-05-24 | 中汽创智科技有限公司 | 一种车位检测方法及装置 |
CN118097999A (zh) * | 2024-04-29 | 2024-05-28 | 知行汽车科技(苏州)股份有限公司 | 一种车位识别方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2436577A3 (de) * | 2010-09-30 | 2012-10-10 | Valeo Schalter und Sensoren GmbH | Verfahren und Vorrichtung zum Erkennen von freien Parkplätzen |
CN104933409A (zh) * | 2015-06-12 | 2015-09-23 | 北京理工大学 | 一种基于全景图像点线特征的车位识别方法 |
CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的***及方法 |
CN108281041A (zh) * | 2018-03-05 | 2018-07-13 | 东南大学 | 一种基于超声波和视觉传感器相融合的泊车车位检测方法 |
-
2018
- 2018-10-31 CN CN201811283453.4A patent/CN109435942B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2436577A3 (de) * | 2010-09-30 | 2012-10-10 | Valeo Schalter und Sensoren GmbH | Verfahren und Vorrichtung zum Erkennen von freien Parkplätzen |
CN104933409A (zh) * | 2015-06-12 | 2015-09-23 | 北京理工大学 | 一种基于全景图像点线特征的车位识别方法 |
CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的***及方法 |
CN108281041A (zh) * | 2018-03-05 | 2018-07-13 | 东南大学 | 一种基于超声波和视觉传感器相融合的泊车车位检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109435942A (zh) | 2019-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109435942B (zh) | 一种基于信息融合的车位线车位识别方法及装置 | |
CN107738612B (zh) | 基于全景视觉辅助***的自动泊车停车位检测与识别*** | |
CN109460709B (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
WO2021259344A1 (zh) | 车辆检测方法、装置、车辆和存储介质 | |
US8699754B2 (en) | Clear path detection through road modeling | |
US8634593B2 (en) | Pixel-based texture-less clear path detection | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
CN106952308B (zh) | 运动物体的位置确定方法及*** | |
CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
JP4714104B2 (ja) | 物体傾き検出装置 | |
US9042639B2 (en) | Method for representing surroundings | |
CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及*** | |
KR20160123668A (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
US20100104137A1 (en) | Clear path detection using patch approach | |
US20090121899A1 (en) | Parking assistance device | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制***、移动对象、信息处理方法和计算机可读记录介质 | |
CN101910781A (zh) | 移动状态推测装置 | |
CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
KR20120072020A (ko) | 자율주행 시스템의 주행정보 인식 방법 및 장치 | |
TWI656518B (zh) | 停車格辨識系統及其方法 | |
Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
CN112927303B (zh) | 一种基于车道线的自动驾驶车载相机位姿估计方法及*** | |
JP4296287B2 (ja) | 車両認識装置 | |
JP4956099B2 (ja) | 壁検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |