CN109063632B - 一种基于双目视觉的泊车位特征筛选方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的泊车位特征筛选方法，该方法包括以下步骤：分别提取左、右相机采集的泊车位图像的角点；对提取的角点进行筛选；识别泊车位标线和车档轮廓直线；提取车挡颜色特征区域；将直线段与角点进行互匹配；将颜色与角点进行互匹配。本发明提出了一种基于极线约束和泊车位多特征综合的特征筛选方法，可以有效的筛除干扰特征及无关特征，并大大减少特征量，便于快速、精确的实现对目标泊车位的识别和测距。

Description

一种基于双目视觉的泊车位特征筛选方法

技术领域

本发明涉及泊车领域，具体涉及一种基于双目视觉的泊车位特征筛选方法。

背景技术

据国外相关统计分析表明，8％的交通事故是由驾驶员倒车引发的，11％的交通事故死亡率则是由倒车事故导致的。自动泊车***可以完成检测-控制车辆泊车入位，不但能彻底解放驾驶员的双手，还可以避免由于驾驶员的个人因素导致的泊车事故，具有极为广阔的应用前景。

现有泊车环境感知技术主要基于超声波、毫米波雷达和机器视觉。超声波或毫米波雷达必须依靠障碍物的反射方可测定障碍物的方位，对于一些平面目标(如停车线、水面、钢板)以及悬崖等复杂环境确无能为力，无法适应所有的泊车场景。机器视觉主要分为单目视觉和双目视觉，单目视觉图像存在失真、抗干扰能力差，且无法直接获得目标的深度信息。双目视觉可有效感知停车线、水面等平面目标和悬崖等复杂环境，可直接从一对图像中测得目标的距离信息，因此基于双目视觉的泊车环境感知技术将越来越多的应用到自动泊车。

对双目泊车位图像进行特征提取时，由于地面反光、左右相机视场存在差异等原因，提取结果存在大量的干扰特征点及无关特征点，由于干扰来源多样，使用现有图像滤波技术识别和筛除效果较差。

发明内容

有鉴于此，为了解决上述问题，本发明提供一种基于双目视觉的泊车位特征筛选方法。

为实现上述目的及其他目的，本发明提供一种基于双目视觉的泊车位特征筛选方法，包括以下步骤：

分别提取左、右相机采集的泊车位图像的角点；

对提取的角点进行筛选；

识别泊车位标线和车档轮廓直线；

提取车挡颜色特征区域；

将直线段与角点进行互匹配；

将颜色与角点进行互匹配。

优选地，所述对提取的角点进行筛选的具体方法为：

将每对匹配点(p_l,p_r)置于二维数组中，依次取出每对匹配点进行比较；

比较每对匹配点(p_l,p_r)在像素坐标系中的纵坐标值，当|Y_pl-Y_pR|≤Δ_τ时，保留该匹配对，否则删除该匹配对，其中Δ_τ为像素定位误差，其中Δ_τ为像素定位误差，p_l、p_r分别为物点P在左右相机成像平面上的像点；

将筛选完成的匹配对坐标分别返回左右图像角点数组。

优选地，所述的识别泊车位标线和车档轮廓直线的具体方法为：采用Hough变换算法检测泊车位标线和车档轮廓直线。

优选地，所述的提取车挡颜色特征区域的具体方法为：采用HSV颜色空间来提取车挡颜色特征区域。

优选地，所述的将直线段与角点进行互匹配的具体方法为：

将筛选出的角点与直线特征提取得到的直线段逐个比较；

若角点在某条直线段上，则保留该角点和直线段，若不在任何一条直线段上，比较下一角点；

直至所有角点比较完成，筛除不包含任何角点的直线段。

优选地，所述的将颜色与角点进行互匹配的具体方法为：

对提取出的每一个颜色特征区域，定义其靠近图像底边的边缘为底边缘，计算其长度L_i；

从每个特征区域底边缘两个端点开始，分别向底边缘所在直线两端搜索角点；

分别记录两边搜索距离为L_i/3范围内的角点，两边各保存1个距离底边缘最近的角点，若没有角点，则无匹配。

由于采用了上述技术方案，本发明具有如下的优点：

基于此，本发明根据泊车位的标线和车挡特征，提出了颜色-角点匹配和直线段-角点匹配相结合的筛选方法对泊车位特征进行筛选。

本发明提出了一种基于极线约束和泊车位多特征综合的特征筛选方法，可以有效的筛除干扰特征及无关特征，并大大减少特征量，便于快速、精确的实现对目标泊车位的识别和测距。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述：

图1为预处理后的泊车位图；

图2为Shi-Tomasi角点提取结果图(左相机)；

图3为Shi-Tomasi角点提取结果图(右相机)；

图4为双目对极线几何示意图；

图5为立体校正后极线示意图；

图6为角点提取极线对比图；

图7为匹配对筛选结果图；

图8为左相机角点筛选效果图；

图9为右相机角点筛选效果图；

图10为Hough变换提取结果图；

图11为重合线合并效果图；

图12为角点特征筛选结果图；

图13为车挡颜色特征对比图；

图14为车挡颜色特征提取结果图；

图15为车挡颜色特征筛选结果图；

图16为直线段-角点互匹配结果图；

图17为颜色-角点匹配原理图；

图18为颜色-角点互匹配结果图；

图19为颜色-直线段-角点互匹配结果图；

图20为本发明所述方法的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图20所示，本发明提供一种基于双目视觉的泊车位特征筛选方法，包括以下步骤：

分别提取左、右相机采集的泊车位图像的角点；

对提取的角点进行筛选；

识别泊车位标线和车档轮廓直线；

提取车挡颜色特征区域；

将直线段与角点进行互匹配；

将颜色与角点进行互匹配。

于本实施例中，在进行角点提取前先要进行图像预处理与特征提取：

经过ROI区域提取、图像灰度化、形态学滤波及双目图像立体校正后，得到预处理后的双目泊车位图像如图1所示。

对左相机泊车图像进行Shi-Tomasi角点提取，并设置最大角点数量阈值为100，提取结果如图2所示，其实际提取角点数为68个；采用同样的方法和参数对右相机采集图像进行提取，如图3所示，其实际提取角点数为64个。

对于双目视觉成像，如图4所示，P为物点，O_l、O_r分别为左右相机光心，p_l、p_r分别为其在左右相机成像平面上的像点，光心O_l、O_r的连线与左右像平面的交点e_l、e_r称为极点,极点与像点的连线称为极线。根据相机成像模型，像素坐标系下的坐标p与其在世界坐标系中的坐标P之间存在关系p＝KP，其中，K为相机内外参数矩阵，将其写成齐次坐标的形式有：

dp＝KP (1)

其中，d为空间深度，那么对于双目相机来说有：

d_lp_l＝KP，d_rp_r＝K(RP+T) (2)

其中，R是旋转矩阵，T是平移矩阵，令x＝k^-1p，去掉相机内外参数矩阵K归一化成：

d_lx_l＝P，d_rx_r＝RP+T (3)

即：

d_rx_r＝R(d_lx_l)+T (4)

两边同时叉乘T消去加号后面单独的T项后化简得：

T×x_r＝T×Rx_l (5)

两边同时乘以

可以得：

x_r ^T(T×x_r)＝x_r ^T(T×Rx_l) (6)

易知，等号左边等于0，于是有：

x_r ^TT×Rx_l＝0 (7)

由此,可以得到向量

T、Rx_l共面，即边PO_l、PO_r、O_lO_r共面，令上式中T×R＝E，称之为本质矩阵，本质矩阵的几何意义为：

因此左成像平面上的像点pl所对应的右成像平面上的像点p_r总是在唯一确定的一条右极线上，可以得到右极线l_r＝Ex_l，称之为极线约束。

经过立体校正后，左右相机之间已经被旋转至共面，同时在y方向上被平移至共线，此时，左右相机光轴完全平行且处于同一水平线上，三角形PO_lO_r将完全垂直于左右像平面。这种情况下，左右相机的极线将重合且完全平行于像平面的上下边缘，如图5所示。

对完成角点提取的实测图像每隔16个像素画上极线，效果如图6所示。可以看出绝大多数左右相对应的角点对位于同一条极线上。

通过上述分析可知，大部分左右图像相对应的角点对位于同一条极线上，而相对应的干扰角点和无关角点则大部分位于不同极线。据此原理，本发明提出基于极线约束的特征筛选方法。对完成角点提取的双目泊车位图像，采用ORB特征描述子+FLANN特征匹配算法进行匹配，通过增加极线约束条件对匹配点进行筛选来筛除干扰角点及无关角点。

具体地，所述的分别提取左、右相机采集的泊车位图像的角点的具体方法为：

①将每对匹配点(p_l,p_r)置于二维数组中，依次取出每对匹配点进行比较；

②比较每对匹配点(p_l,p_r)在像素坐标系中的纵坐标值(y值)，当|Y_pl-Y_pR|≤Δ_τ时，可以判断该匹配准确，保留该匹配对，否则删除该匹配对。其中Δ_τ为像素定位误差，单位为像素，具体根据标定的效果来，本实施例设定Δ_τ＝2像素。

③将筛选完成的特征匹配对坐标分别返回左右图像角点数组，筛除其他角点。

采用ORB特征描述子+FLANN特征匹配算法对左右相机图像角点进行匹配。通过增加极线约束条件对匹配对进行筛选，匹配对筛选结果如图7所示，经此方法筛选后，绝大部分干扰角点及无关角点将被删除。

根据匹配筛选结果显示，筛选后匹配对数量为16对。将匹配筛选结果返回至角点提取结果，在左右相机中各筛选出15个角点，角点筛选结果如图8、9所示，相比筛选前左、右相机分别为68个和64个的角点数量，可以看出筛除了约3/4的干扰角点。筛选结果对比如表1所示。

表1极线约束筛选角点统计表

本发明提出的基于极线约束的角点筛选方法可以极大程度的筛除多种干扰角点及无关角点，为泊车位识别清除了大量干扰，可提高识别的成功率和精度。

为了进一步提高识别率，本发明还提出直线特征提取，具体地方法如下：

在地下停车场环境，泊车位标线、车档轮廓具有明显的直线特征，可采用直线提取识别这两种目标。采用Hough变换算法检测泊车位标线和车档轮廓直线。直线提取图如下图10，共提取出直线段96条。

由于车道线边缘不整齐及噪声干扰等因素，在经过预处理后轮廓图中仍然存在部分不整齐的边缘，导致直线提取过程中将同一条直线段误认为多条直线段，这些直线段的斜率和间距远小于不同直线段，应将其合并为一条直线段，因此进行了重合线筛选。重合线筛选结果如图11所示，筛选后直线段数量为37条，泊车位标线轮廓的所有直线段均被合并为1条，进一步缩小了特征空间。

为了进一步提高识别率，本发明还提出颜色特征提取，具体地方法如下：

在地下停车场中，通常每个泊车位后方有两个共线布置的车挡，如图13所示。车挡中间部分矩形区域为亮黄色，而地面背景为灰色，背景车辆轮胎一般为黑色，泊车位标线为白色，与车挡类色物体及背景较少，因此，采用颜色特征来识别车挡。

使用HSV颜色空间来提取车挡颜色特征，提取结果如图14所示

从图14中发现仍然有柱子的黄色标志等对车挡形成干扰，此时采用形状特征来提取车挡。车挡在图像中呈类四边形图像，因此可当作四边形进行处理。其黄色部分实际尺寸为底边35cm，高度5cm，长宽比为7:1；柱子标线为长20cm，宽10cm，长宽比为2:1。因此，扫描提取出的每个连通区域，计算其长宽比，当长宽比大于5小于9时，可认定为车挡区域。经过筛选，结果如图15所示。

分析可知，泊车位图像经过特征提取及初步筛选后，特征数量仍然较多。需要从众多点、线特征中筛选出目标泊车位特征，使用现有方法筛选流程较为复杂。目标泊车位兴趣角点一定位于泊车位标线或车挡的边缘上；同样，提取直线段上或车挡区域内一定存在兴趣角点。根据这个原则，本发明提出对角点、直线段及颜色特征进行互筛选方法。

直线段与角点进行互匹配的原则如下：

1)从前述筛选的角点库中取出角点，将其与直线特征提取得到的37条直线段逐个比较；

2)若角点在某条直线段上，则保留该角点和直线段，若不在任何一条直线段上，比较下一角点；

3)直至所有角点比较完成，筛除不包含任何角点的直线段。

直线段结合角点进行互筛选的效果如图16所示。可以看出，经过筛选，直线段数量变成了12条。该方法再次筛除了部分干扰直线段，优化了特征提取的效果。

当泊车位标线角点不可见或者难以通过角点-直线特征判断目标泊车位时，需结合每个泊车位后方的两个车挡对目标泊车位特征进行筛选。

通过颜色特征提取，获得车挡所在大致区域，再与提取的角点进行互匹配。通过实际测量车挡尺寸，得出车挡黄色区域占车挡长度的3/4，即车挡两侧角点距黄色区域距离各为黄色区域长度的1/4。由于车挡总长度较小，在图像中受透视畸变的影响不大，因此图像中仍可用此比例关系确定车挡边缘角点的位置。颜色与角点进行互匹配的原则如下：

1)对提取出的每一个颜色特征区域，定义其靠近图像底边的边缘为底边缘，计算其长度L_i；

2)从每个特征区域底边缘两个端点开始，分别向边缘所在直线两端搜索角点；

3)分别记录两边搜索距离为L_i/3范围内(适当放大阈值)的角点，两边各保存1个距离底边缘最近的角点，若没有角点，则无匹配。该方法匹配原理如图17所示。

运用该方法对颜色和角点特征互匹配结果如图18所示。

将颜色-角点匹配结果与直线段-角点匹配结果相结合，筛除无关角点，如图19所示。

此时泊车位图像特征数量统计如下表2所示。可以看出，经过颜色-角点匹配和直线段-角点匹配相综合的筛选方法，泊车位目标特征数量大大减少，为泊车位的快速、精确识别奠定了基础。

表2特征综合后的泊车位特征数量表

实验结果表明，本发明所提方法可极大程度地筛除干扰特征和无关特征，大大减少特征量，便于实现目标泊车位的快速、精确识别。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (3)

1.一种基于双目视觉的泊车位特征筛选方法，其特征在于，包括以下步骤：

分别提取左、右相机采集的泊车位图像的角点；对提取的角点进行筛选；识别泊车位标线和车档轮廓直线；提取车挡颜色特征区域；将直线段与角点进行互匹配；将颜色与角点进行互匹配；

所述对提取的角点进行筛选的具体方法为：

将每对匹配点(p_l,p_r)置于二维数组中，依次取出每对匹配点进行比较；

比较每对匹配点(p_l,p_r)在像素坐标系中的纵坐标值，当|Y_pl-Y_pr |≤Δ_τ时，保留该匹配对，否则删除该匹配对，其中Δ_τ为像素定位误差，p_l、p_r分别为物点P在左右相机成像平面上的像点；

将筛选完成的匹配对坐标分别返回左右图像角点数组；

所述的识别泊车位标线和车档轮廓直线的具体方法为：采用Hough变换算法检测泊车位标线和车档轮廓直线；

所述的将颜色与角点进行互匹配的具体方法为：

对提取出的每一个颜色特征区域，定义其靠近图像底边的边缘为底边缘，计算其长度L_i；

从每个特征区域底边缘两个端点开始，分别向底边缘所在直线两端搜索角点；

分别记录两边搜索距离为L_i/3范围内的角点，两边各保存1个距离底边缘最近的角点，若没有角点，则无匹配。

2.根据权利要求1所述的一种基于双目视觉的泊车位特征筛选方法，其特征在于，所述的提取车挡颜色特征区域的具体方法为：

采用HSV颜色空间来提取车挡颜色特征区域。

3.根据权利要求1所述的一种基于双目视觉的泊车位特征筛选方法，其特征在于，所述的将直线段与角点进行互匹配的具体方法为：

将筛选出的角点与直线特征提取得到的直线段逐个比较；

若角点在某条直线段上，则保留该角点和直线段，若不在任何一条直线段上，比较下一角点；

直至所有角点比较完成，筛除不包含任何角点的直线段。

Images