CN106056100A - 一种基于车道检测与目标跟踪的车辆辅助定位方法 - Google Patents

Abstract

本发明涉及一种基于车道检测与目标跟踪的车辆辅助定位方法，属于智能交通技术领域。该方法主要针对车辆所在的具体车道进行精确定位。在车道线检测与多目标车辆跟踪的基础上，将最靠近图像竖直中轴线的两条车道线作为本车车道线，以道路图像底边中点为原点，将目标车辆与原点用直线连接，判断该直线与本车车道线是否有交点，确定目标车辆与本车道的相对位置关系，结合相对位置关系与车道线确定车辆所在的具体车道，结合具体车道信息与GPS信息实现车辆的车道级定位。本发明能够弥补GPS***无法精确定位本车所在具体车道的缺点，为车道级定位和辅助驾驶提供更加可靠与准确的数据。

Description

一种基于车道检测与目标跟踪的车辆辅助定位方法

技术领域

本发明属于智能交通技术领域，涉及一种基于车道检测与目标跟踪的车辆辅助定位方法。

背景技术

自动驾驶***利用多种传感器，感知车辆周围环境，并根据感知***得到的道路车道信息、车辆位置和状态信息和障碍物信息，构建局部地图，规划局部路径，并实时控制控制车辆的转向和速度，从而使得车辆能够安全、可靠地在道路上行驶。它能把人从单一持久的驾驶活动中解放出来，减少驾驶行为差异对交通流稳定性的影响，有利于提高现有道路网络的车辆通行率缓解交通拥堵，另一方面可以提高汽车行驶安全，降低交通事故率改善交通安全，降低能源消耗和环境污染，对我国能源转型减少污染、缓解交通拥堵有重大意义。

车辆所在车道定位是自动驾驶的一个重要部分，尤其是当前自有车辆日益增加，越来越越复杂的城市交通环境给人的生命财产带来了新的挑战。由于当前GPS定位***只能将车辆所在公路以及公路方向进行定位，无法进行车辆所在车道的精确定位。目前，为了实现所需精度的车辆定位，都需要来自车辆外部来源的校正。例如有相对定位或差分的DGPS，广域增强***等，此类***的缺点有价格较高，部分地区接收的信息没有跟新而导致与实际路口有所差别，无法精确到车辆具体所在哪条车道的定位。

发明内容

有鉴于此，本发明的目的在于提供一种基于车道检测与目标跟踪的车辆辅助定位方法，该方法将视频跟踪和GPS结合起来实现车道定位，提高了车道定位精度，为智能车的决策***提供更多的道路环境信息，增强导航设备的导航能力。

为达到上述目的，本发明提供如下技术方案：

一种基于车道检测与目标跟踪的车辆辅助定位方法，该方法包括以下步骤：

S1：检测车道线与确定本车车道线，输入视频序列，对图像进行预处理，利用Hough变换与直线拟合检测车道线，取最靠近图像竖直中轴线的左右侧车道线为本车车道线，初步预测下一帧车道所在的感兴趣区域；

S2：用预先训练好的车辆模型检测车辆，利用卡尔曼滤波算法跟踪车辆，利用匈牙利算法(Hungarian Algorithm)关联相邻两帧的同一目标；计算前方车辆在图像上与车道线的重叠区域，将车辆所在区域从初步预测的车道线感兴趣区域除去，重新确定下一帧车道线感兴趣区域；

S3：计算前方车辆与本车道的相对位置关系，结合相对位置关系与检测到的车道线确定本车的车道信息，利用GPS定位***确定本车在地图上的位置信息，将位置信息与车道信息融合实现对自身车辆的车道级定位。

进一步，所述步骤S1具体包括：

S11：假设输入视频序列的道路图像为u×v，将图像上部分1/3去掉,并以u/2为中线将图像分为左右两部分感兴趣区域ROI1和ROI2；

S12：对图像进行灰度化处理以及中值滤波去噪，然后利用Canny算法进行边缘检测，再对处理后的图像进行Hough变换，检测图像中的车道线；取ROI1中最右侧的车道线为本车道左车道线，取ROI2中最左侧的车道线为本车道右车道线；

S13：以车道线的斜率、截距、斜率变化率以及截距变化率作为状态变量，利用卡尔曼滤波预测出下一帧该车道线的初步感兴趣区域。

进一步，所述步骤S2具体包括：

S21：使用DPM算法(Deformable Parts Model)训练的车辆模型检测图像中的车辆；

S22：利用卡尔曼滤波预测车辆位置，给定目标车辆的状态向量V_t如下

V_t＝[x_t y_t w_t h_tΔi_tΔj_tψ_t]^T

ψ_t∈{-1,0,1}

其中x_t，y_t表示车辆在图像中目标框架的左上角坐标，w_t，h_t表示该框架的宽与高，Δx_t，Δy_t表示相邻两帧x_t，y_t的变化率，ψ表示车辆相对于本车道的位置；

S23：数据关联采用匈牙利算法(HungarianAlgorithm)：首先利用车辆相对于本车道的位置对检测到的车辆分类，对处于同一车道内的车辆分别与前一帧同车道内的各车计算欧式距离，并以该距离矩阵作为匈牙利算法输入的置信度矩阵，根据匈牙利算法的匹配结果实现数据关联；

S24：其中置信度的求取过程是：假设t时刻跟踪目标数为N_t，t+1时刻检测目标数为M_t+1，并已知道各车所在车道；对同一车道内相邻时刻各车辆分别计算欧式距离，假设有n条车道，以在n车道为例，公式如下：

C_ij＝|i_t-j_t+1|i,j＝1,2,3…

其中i_t表示t时刻该车道内的第i个目标的图像坐标，j_t+1表示t+1时刻该车道内的第j个目标的图像坐标，|·|表示欧式距离计算方法；

S25：定义一个二分图G₁(D，T：E)，其中每条边E有一个非负的置信度C_ij表示检测结果与跟踪目标的相似度，用欧式距离表示，通过匈牙利算法(Hungarian Algorithm)解出最优匹配；

S26：判断车辆在图像中的区域与车道感兴趣区域重叠部分，计算车辆区域r₁与车道感兴趣区域r₂的重叠部分，公式如下：

overlap＝r₁∩r₂；

S27：新的车道线感兴趣区域为r₂-overlap。

进一步，所述步骤S3具体包括：

S31：计算前方车辆与本车道的相对位置关系，假设其中一个目标车辆的检测框架为(x,y,w,h)，其中x，y表示框架左上角的像素坐标，w，h表示宽与高；取点与建立直线方程，若该直线与左车道线直线相交，则该车辆位于本车车道左侧，记为状态-1；若该直线与车道线没有相交，则该车辆位于本车车道内，记为状态0；若该直线与右车道线直线相交，则该车辆位于本车车道右侧，记为状态1；

S32：结合所测车道线与每条车道上目标车辆的标记状态，确定本车所在车道的车道顺序，将车道顺序与GPS在地图上的位置信息融合，最终实现车道级定位。

本发明的有益效果在于：本发明利用了车道线检测与车辆跟踪，与现有技术相比提高了复杂环境下车辆与车道线跟踪的准确度和效率；建立车辆与车道线的相对位置关系，减少了车辆与车道线跟踪相互之间的干扰，同时关联算法只对同一车道内的车辆目标进行匹配，提高了车辆跟踪的准确度与效率。最后利用车辆与车道线的关系，实现本车所处车道的确定，弥补了GPS***只能定位车辆所在公路而无法确定车辆在公路上哪条车道的缺点，为车辆驾驶提供了更加可靠的精确数据。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明实施例的方法流程图；

图2为本发明实施例的自身车辆所在车道的车道线确定图；

图3为本发明实施例的二分图匹配图；

图4为本发明实施例的前方车辆与自身车辆所在车道的相对位置关系确定图；

图5为本发明实施例的车道定位确定方法。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明实施例的方法流程图，如图1所示，本发明提供的基于车道检测与目标跟踪的车辆辅助定位方法，包括以下步骤：

步骤1：检测车道线与确定本车车道线，将摄像机安装在智能车前方正中间，摄像机的水平朝向与车辆方向相同。在摄像机采集的视频序列中，将道路图像用竖直中轴线分成左右两部分，分别进行图像预处理，利用Canny与Hough变换检测车道线，取最靠近图像竖直中轴线的左右侧车道线为本车车道线。图2为本发明实施例的自身车辆所在车道的车道线确定图。结合卡尔曼滤波初步预测出下一帧车道线所在的感兴趣区域，具体过程如下：

11)假设输入视频序列的道路图像为u×v，将图像上部分1/3去掉,并以u/2为中线将图像分为左右两部分感兴趣区域ROI1和ROI2；

12)对图像进行灰度化处理以及中值滤波去噪，然后利用Canny算法进行边缘检测，再对处理后的图像进行Hough变换，直线拟合提取出图像中的车道线。取ROI1中最右侧的车道线为本车道左车道线，取ROI2中最左侧的车道线为本车道右车道线；

13)利用卡尔曼滤波预测出下一帧该车道线的感兴趣区域：以右车道为例，用(k_r，b_r)表示车道线直线的斜率和截距，用(Δk_r，Δb_r)表示斜率和截距变化率，所以定义如下：状态变量为：X_r(n)＝(k_r,b_r,Δk_r,Δb_r)

观测向量：Z_r＝(k_r,b_r)

由卡尔曼滤波算法得P(n,n-1)：

P(n,n-1)＝AP(n-1)A^T+Q

其中A表示状态转移矩阵，Q表示***方程的误差协方差矩阵。

由卡尔曼滤波算法预测方程得P(n)：

P(n)＝P(n,n-1)-K(n)×H(n)P(n,n-1)

P(n)表示感兴趣区域的不确定范围，P(n,n-1)表示n-1时刻对n时刻不确定范围的预测值，K(n)表示增益矩阵，H(n)表示观测矩阵，在进入跟踪后，则右车道线的感兴趣范围：

14)t时刻直接从t-1帧得出的感兴趣区域内检测车道线，若此兴趣范围内无法检测到车道线，重复11)步骤开始进行车道线检测。

步骤2：用预先训练好的模型进行目标车辆检测，利用卡尔曼滤波算法跟踪车辆，利用匈牙利算法(Hungarian Algorithm)关联相邻两帧的同一目标，具体包括以下步骤：

21)使用DPM算法(Deformable Parts Model)训练的车辆模型检测视频序列中的车辆，获取车辆在图像中的位置信息，位置信息用矩形框架来描述；

22)利用卡尔曼滤波预测车辆位置，给定目标车辆的状态向量V_t如下：

V_t＝[x_t y_t w_t h_tΔi_tΔj_tψ_t]^T

ψ_t∈{-1,0,1}

其中x_t，y_t，w_t，h_t是目标车辆在图像平面中的框架，Δx_t，Δy_t表示相邻两帧x_t，y_t的变化率，ψ表示车辆相对于本车道的位置；

23)数据关联采用匈牙利算法(Hungarian Algorithm)：首先利用车辆相对于本车道的位置对检测到的车辆分类，对处于同一车道内的车辆分别与前一帧同车道内的各车计算欧式距离，并以该距离矩阵作为匈牙利算法的输入，根据匈牙利算法的匹配结果实现数据关联。

24)其中置信度的求取过程是：假设t时刻跟踪目标数为N_t，t+1时刻检测目标数为M_t+1，并已知道各车所在车道。对同一车道内相邻时刻各车辆分别计算欧式距离，假设有n条车道，以在n车道为例，公式如下：

C_ij＝|i_t-j_t+1|i,j＝1,2,3…

其中i_t表示t时刻该车道内的第i个目标的图像坐标，j_t+1表示t+1时刻该车道内的第j个目标的图像坐标，|·|表示欧式距离计算方法。

25)定义一个二分图G₁(D，T：E)，其中每条边E有一个非负的置信度C_ij表示检测结果与跟踪目标的相似度，这里用欧式距离表示，通过匈牙利算法(Hungarian Algorithm)解出最优匹配，其中匈牙利算法匹配过程如图3所示。

步骤3：将车辆所在区域从车道线检测兴趣区域除去，重新确定车道线感兴趣区域，具体包括以下步骤：

31)判断车辆在图像中的区域与车道感兴趣区域重叠部分，计算车辆区域r₁与车道感兴趣区域r₂的重叠部分，公式如下：

overlap＝r₁∩r₂；

32)新的车道线感兴趣区域为r₂-overlap。

步骤4：计算前方各车辆相对于本车道的位置关系并标记，结合所测车道线，确定本车所在车道的车道顺序，具体包括以下步骤：

41)计算前方车辆与本车道的相对位置关系，假设其中一个目标车辆的检测框架为(x,y,w,h)，其中x，y表示框架左上角的像素坐标，w，h表示宽与高。取点与建立直线方程，若该直线与车道线左侧直线相交，则该车辆位于本车车道左侧，记为状态-1；若该直线与车道线没有相交电，则该车辆位于本车车道内，记为状态0；若该直线与车道线右侧直线相交，则该车辆位于本车车道右侧，记为状态1，判断过程如图4所示。

42)本发明设定车道按从右往左的顺序排列，设有4条车道，那么车道顺序从右往左分别是1车道、2车道、3车道、4车道。假设每条车道上都检测到了车辆，取每条车道上最靠近本车的目标车辆做判断，获取该车的状态标记，设这4个目标车辆的状态标记集合为R。若R∈{-1，-1，-1,0}，则本车处于1车道上，如图5(a)所示。若R∈{-1，-1，0,1}，则本车处于2车道上，如图5(b)所示。若R∈{-1，0，1,1}，则本车处于3车道上，如图5(c)所示。若R∈{0，1，1,1}，则本车处于4车道上，如图5(d)所示。其它数量的车道按次方法类推。

步骤5：利用GPS确定车辆所在公路以及车辆的行驶方向，结合具体车道信息与GPS信息，最终实现车辆的车道级定位。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征在于：该方法包括以下步骤：

S1：检测车道线与确定本车车道线，输入视频序列，对图像进行预处理，利用Hough变换与直线拟合检测车道线，取最靠近图像竖直中轴线的左右侧车道线为本车车道线，初步预测下一帧车道所在的感兴趣区域；

S2：用预先训练好的车辆模型检测车辆，利用卡尔曼滤波算法跟踪车辆，利用匈牙利算法(Hungarian Algorithm)关联相邻两帧的同一目标；计算前方车辆在图像上与车道线的重叠区域，将车辆所在区域从初步预测的车道线感兴趣区域除去，重新确定下一帧车道线感兴趣区域；

S3：计算前方车辆与本车道的相对位置关系，结合相对位置关系与检测到的车道线确定本车的车道信息，利用GPS定位***确定本车在地图上的位置信息，将位置信息与车道信息融合实现对自身车辆的车道级定位。

2.根据权利要求1所述的一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征在于：所述步骤S1具体包括：

S11：假设输入视频序列的道路图像为u×v，将图像上部分1/3去掉,并以u/2为中线将图像分为左右两部分感兴趣区域ROI1和ROI2；

S12：对图像进行灰度化处理以及中值滤波去噪，然后利用Canny算法进行边缘检测，再对处理后的图像进行Hough变换，检测图像中的车道线；取ROI1中最右侧的车道线为本车道左车道线，取ROI2中最左侧的车道线为本车道右车道线；

S13：以车道线的斜率、截距、斜率变化率以及截距变化率作为状态变量，利用卡尔曼滤波预测出下一帧该车道线的初步感兴趣区域。

3.根据权利要求2所述的一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征在于：所述步骤S2具体包括：

S21：使用DPM算法(Deformable Parts Model)训练的车辆模型检测图像中的车辆；

S22：利用卡尔曼滤波预测车辆位置，给定目标车辆的状态向量V_t如下

V_t＝[x_t y_t w_t h_t Δi_t Δj_t ψ_t]^T

ψ_t∈{-1,0,1}

其中x_t，y_t表示车辆在图像中目标框架的左上角坐标，w_t，h_t表示该框架的宽与高，Δx_t，Δy_t表示相邻两帧x_t，y_t的变化率，ψ表示车辆相对于本车道的位置；

S23：数据关联采用匈牙利算法(Hungarian Algorithm)：首先利用车辆相对于本车道的位置对检测到的车辆分类，对处于同一车道内的车辆分别与前一帧同车道内的各车计算欧式距离，并以该距离矩阵作为匈牙利算法输入的置信度矩阵，根据匈牙利算法的匹配结果实现数据关联；

S24：其中置信度的求取过程是：假设t时刻跟踪目标数为N_t，t+1时刻检测目标数为M_t+1，并已知道各车所在车道；对同一车道内相邻时刻各车辆分别计算欧式距离，假设有n条车道，以在n车道为例，公式如下：

C_ij＝|i_t-j_t+1|i，j＝1，2，3…

其中i_t表示t时刻该车道内的第i个目标的图像坐标，j_t+1表示t+1时刻该车道内的第j个目标的图像坐标，|·|表示欧式距离计算方法；

S25：定义一个二分图G₁(D，T：E)，其中每条边E有一个非负的置信度C_ij表示检测结果与跟踪目标的相似度，用欧式距离表示，通过匈牙利算法(Hungarian Algorithm)解出最优匹配；

S26：判断车辆在图像中的区域与车道感兴趣区域重叠部分，计算车辆区域r₁与车道感兴趣区域r₂的重叠部分，公式如下：

overlap＝r₁∩r₂；

S27：新的车道线感兴趣区域为r₂-overlap。

4.根据权利要求3所述的一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征在于：所述步骤S3具体包括：

S31：计算前方车辆与本车道的相对位置关系，假设其中一个目标车辆的检测框架为(x，y，w，h)，其中x，y表示框架左上角的像素坐标，w，h表示宽与高；取点与建立直线方程，若该直线与左车道线直线相交，则该车辆位于本车车道左侧，记为状态-1；若该直线与车道线没有相交，则该车辆位于本车车道内，记为状态0；若该直线与右车道线直线相交，则该车辆位于本车车道右侧，记为状态1；

S32：结合所测车道线与每条车道上目标车辆的标记状态，确定本车所在车道的车道顺序，将车道顺序与GPS在地图上的位置信息融合，最终实现车道级定位。