CN107766789A

CN107766789A - 一种基于车载单目相机的车辆检测定位方法

Info

Publication number: CN107766789A
Application number: CN201710720932.7A
Authority: CN
Inventors: 孙焱标; 缪其恒; 苏巍; 高山; 王江明; 许炜
Original assignee: Zhejiang Zero Run Technology Co Ltd
Current assignee: Zhejiang Zero Run Technology Co Ltd
Priority date: 2017-08-21
Filing date: 2017-08-21
Publication date: 2018-03-06
Anticipated expiration: 2037-08-21
Also published as: CN107766789B

Abstract

本发明公开了一种基于车载单目相机的车辆检测定位方法，包括：S1，获取来自行驶车辆车载单目相机的前视图像信息；S2，根据预设的ROI区域，确定与所述前视图像信息对应的目标框图像；S3，将目标框图像输入到分类器中进行检测，确定目标框中的图像是否为车辆；S4，在目标框中的图像为车辆时，对目标框进行回归校正；S5，显示所述回归校正过的目标框，并根据所述目标框确定前方车辆的位置。采用本发明，提高了车辆定位的准确度。

Description

一种基于车载单目相机的车辆检测定位方法

技术领域

本发明涉及车辆技术领域，特别涉及到一种基于车载单目相机的车辆检测定位方法。

背景技术

目前通常利用边缘信息检测车辆目标，在复杂的城市路况中，目标有时候会与背景连载一起，从而造成漏检，同时用于背景的复杂化，会产生大量的误检，另一种方法利用级联分类器进行目标的检测，但是由于分类器在训练时都是长宽等比例训练，最后检测的目标框长宽也是等比例，但是由于实际场所中，比如小汽车，SUV，面包车等并非等比例存在，而且同一类车载不同的视角下也不是同一尺度，最终会导致虽然能检测到目标框，但是却不是在准确的位置上，其中红色为实际的车辆尾部位置，蓝色为检测框比例为1∶1的检测位置。同时现有的方法很多不考虑视频序列中的车辆上下文关系，导致同一目标的检测结果在视频序列中极不稳定。

发明内容

本发明的目的提供一种基于车载单目相机的车辆检测定位方法，提高了车辆检测目标框定位的准确度。

为解决现有技术存在的问题，本发明提供一种基于车载单目相机的车辆检测定位方法，该方法包括：

S1，获取来自行驶车辆车载单目相机的前视图像信息；

S2，根据预设的ROI区域，确定与所述前视图像信息对应的目标框图像；

S3，将目标框图像输入到分类器中进行检测，确定目标框中的图像是否为车辆；

S4，在目标框中的图像为车辆时，对目标框进行回归校正；

S5，显示所述回归校正过的目标框，并根据所述目标框确定前方车辆的位置。

本技术方案在通过分类器对目标框图像进行检测后，对目标框进行回归校正，从而使目标框与车辆相匹配，从而提高了车辆定位的准确度。

优选的，所述检测区间为行驶车辆的当前车道和与当前车道相邻的左右两车道。这样的检测区间的设置如果太大则会造成检测时间长效率低的缺陷，如果检测区间太小则会使检测结果出现误差，因此本发明设置以当前行驶车辆所在的车道为中心，并且包括左右两侧的车道，这样的范围既能够提高检测的速度，同时又提高了位置检测的准确度。

优选的，所述步骤S3具体包括：

将所要检测的目标框图像输入到分类器中，根据弱分类器计算相应的LBP特征值，并将多个弱分类器的特征值组合成一个强分类器；

强分类器的值与预设的第一阈值进行比较判断，若强分类器的值大于预设的第一阈值，则判继续下一个强分类器的比较，否则，进行丢弃处理；

若目标框图像通过了所有的强分类器，则表示该目标框为车辆。

本技术方案采用分类器对目标框图像是否为车辆进行确定，分类器不仅包括由多个弱分类器串联而成的强分类器，而且还包括多个强分类器的级联判断，从而提高了目标框图像信息识别的准确度。

优选的，所述步骤S3还包括：

采用分类器确定当前帧的目标框图像是否为车辆，并在判断为是后，将检测位置标识为遮罩标记区域；

在对下一帧进行检测时，将待检测目标框图像与遮罩标记区域进行比较，判断当前待检测目标框图像与遮罩标记区域的重合度是否大于预设的第二阈值，若是，则丢弃，否则判定待检测目标框图像为车辆。

本技术方案中如果当前帧中有检测到目标，则将检测位置通过mask形式标记，在下一帧的检测过程中，先检测mask标记的区域，以检测框的上下左右扩充20％来兼容上下两帧之间的位置变化，如果存在目标，则在全图检测中，凡是与该目标框重合度大于预设的阈值，则直接跳过，从而减少了计算量，达到更快捷的目的。

优选的，所述步骤S3之前还包括：

通过相机标定的道路模型，以不同的长度映射实际车辆的物理长度，并将车的宽度范围设定检测标准；

若输入目标框图像的选框宽度与设定的检测标准一致，则判定目标框图像中可能为车辆，否则，跳出。

本技术方案在采用分类器对图像进行识别之前，将目标框图像的选矿宽度与预设的检测标注进行比较，直接排除不符合条件的，减少了运算量，达到了更快捷的目的。

优选的，所述步骤S4具体包括：

训练的输入为带有车辆的灰度图像及其对应的四个顶点的坐标；

进行两组卷积-稀疏-池化层，再连接三个卷积层，输出为左上角和右下角坐标4个变量；

通过损失函数回归校正目标框，以调整用于计算目标框位置的中间参数；所述损失函数为输出4个变量与灰度图像四个顶点坐标的绝对值的和。

本技术方案通过两组卷积-稀疏-池化层，以及三个卷积层的回归算法后，目标框更能反映出实际车辆的位置信息。

优选的，还包括：

采用下面算法对车辆目标框进行跟踪：

X(k|k-1)＝AX(k-1|k-1)+BU(k)………………………(1)

P(k|k-1)＝AP(k-1|k-1)A’+Q…………………………(2)

X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))……………(3)

Kg(k)＝P(k|k-1)H’/(HP(k|k-1)H’+R)……………(4)

P(k|k)＝(I-Kg(k)H)P(k|k-1)…………………………(5)

其中X为状态量，k为离散的时间序列，A，B，H为状态空间矩阵P为***的协方差矩阵，Q，R分别为过程噪声和观测噪声，Kg为***增益，Z为观测值，即上一步的回归框。

本技术方案通过上述算法对车辆目标框进行跟踪，提高了车辆定位的准确度。

优选的，通过检测当前接收帧的待检测目标框图像与上一帧目标框图像的确定位置之间的误差来调整QR矩阵，使其能更稳定的跟踪目标，调整公式为：

Q(t)＝Q(t-1)+(abs(Δ)-α)*β…………………………(6)

R(t)＝R(t-1)-(abs(Δ)-α)*γ…………………………(7)

其中Δ为两帧之间的误差值，α为设定的阈值，β，γ为所对应的系数；

所述上一阵目标框图像的确定位置为，目标框图像确定为车辆时目标框位置。

本技术方案提高了目标跟踪的稳定性。

优选的，采用多帧融合算法使视频序列中的目标框变化更加平滑，公式为：

其中Z(t-k)为前k帧的结果，wk为对应的权重。

本技术方案通过上述算法使目标框变的更加平滑，从而进一步提

高了车辆定位的准确度。

优选的，采用分类器检测目标时，以车辆与地面的接触为检测框的下边缘，以不同的尺寸进行搜索。可以直接排除不与地面接触的目标框，节省了算法运算的时间、调整效率并减少了错误检测结果。

本发明的技术方案在通过分类器对目标框图像进行检测后，对目标框进行回归校正，从而使目标框与车辆相匹配，从而提高了车辆定位的准确度。

附图说明

图1是本发明一种基于车载单目相机的车辆检测定位方法的一种实施例的示意图；

图2是本发明一种基于车载单目相机的车辆检测定位方法的预设的ROI区域示意图；

图3是本发明一种基于车载单目相机的车辆检测定位方法的分类器的示意图；

图4是本发明一种基于车载单目相机的车辆检测定位方法的坐标框的回归网络示意图；

图5是本发明一种基于车载单目相机的车辆检测定位方法的回归效果示意图；

图6是本发明一种基于车载单目相机的车辆检测定位方法的滑窗策略不同状态的示意图。

具体实施方式

下面结合附图进行详细说明。

参考图1，该图是本发明一种基于车载单目相机的车辆检测定位方法的一种实施例的流程示意图，该方法包括如下步骤：

步骤S1，获取来自行驶车辆车载单目相机的前视图像信息；

步骤S2，根据预设的ROI区域，确定与所述前视图像信息对应的目标框图像；具体实现时，该预设的ROI区域可以为车辆行驶的当前车道和左右两车道；如图2所示的车辆行驶的当前车道和左右两车道；

步骤S3，将目标框图像输入到分类器中进行检测，确定目标框中的图像是否为车辆；具体实现时，该分类器可以为级联分类器，该级联分类器的结构如图3所示，该分类器包括强分类器(图3中F(i)，和强分类器的级联判断，其中强分类器又可以分为若干个弱分类器的串联。在检测过程中，将所要检测的目标框图像输入到分类器中，根据弱分类器计算相应的LBP特征值，多个弱分类器的特征值组合成一个强分类器，强分类器的值与预先所知的阈值t(第一阈值)进行判断，如果满足条件则继续下一个强分类器，不满足则丢弃，如果目标后选矿通过了上述所有的强分类器，这表示该目标框图像为车辆。这里所说的满足条件，指的是强分类器的值与预设的阈值t进行比较判断，若强分类器的值大于预设的第一阈值，则判继续下一个强分类器的比较，否则，进行丢弃处理；

步骤S4，在目标框中的图像为车辆时，对目标框进行回归校正；具体实现时，采用深度学习目标框回归网络算法对目标框进行回归校正，坐标框的回归网络如图4所示，训练的输入为带有车辆的灰度图像及其对应的四个顶点的坐标。两组卷积-稀疏-池化层，再连接三个卷积层，输出为左上角和右下角坐标4个变量，同时损失函数为输出四个坐标变量与图像中车辆标签的绝对值的和，即L1范式。训练所用的样本中车辆部分占二分之一，背景占二分之一，携带背景信息有更高的泛化性。回归效果如下图5所示，其中外侧大的矩形框是长宽比按1∶1检测到的目标，里侧小的矩形框为在检测目标的基础上进行回归所得到的目标框，使用回归算法后，目标框更能反映出实际车辆的位置信息。使用回归算法后，目标框更能反映出实际车辆的位置信息；所说的训练指网络的参数通过训练确定。

步骤S5，显示所述回归校正过的目标框，并根据所述目标框确定前方车辆的位置。

另外，还可以采用滑窗策略进行快速检测，检测的滑窗策略具体的为：利用训练好的分类器检测目标，在检测时，以车辆与地面的接触为检测框的下边缘，以不同的尺寸进行搜索，如果检测结果为车辆，则对其进行保留。如图6所示，其中，图6a中的外侧的大框为检测框，里面的小框为确定框，如果当前帧中有检测到目标，则将检测位置通过遮罩标记区域(mask)形式标记，在下一帧的检测过程中，先检测mask标记的区域，以检测框的上下左右的扩充(例如20％的扩充量兼容上下两帧之间的位置变化(图6.b为扩充图像，图6.c中的黑区域为mask区域)来兼容上下两帧之间的位置变化，如果存在目标，则在全图检测中凡是与该目标框重合度大于预设的阈值(预设的第二阈值)的检测框直接跳过，从而减少计算量，达到更快速的目的。另一方面也可以通过相机标定的道路模型来进行快速检测，具体的，以不同的长度映射实际世界中的物理长度，则可根据车的实际宽度范围进行设定，如果图像中的选框宽度所对应的现实世界中的宽度不满足车辆宽度范围，则跳出，通过这些策略可以大大的提高检测速度。

另外，还可以对车辆目标框进行跟踪，由于检测为视频信息，因此检测框的稳定性十分的重要，检测框的坐标采用自适应卡尔曼来实现。原有的卡尔曼滤波通过以下5个方程计算完成：

X(k|k-1)＝A X(k-1|k-1)+B U(k)…………………………(1)

P(k|k-1)＝A P(k-1|k-1)A’+Q…………………………(2)

X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-H X(k|k-1))……………(3)

Kg(k)＝P(k|k-1)H’/(HP(k|k-1)H’+R)……………(4)

P(k|k)＝(I-Kg(k)H)P(k|k-1)…………………………(5)

其中X为状态量，k为离散的时间序列，A，B，H为状态空间矩阵，P为***的协方差矩阵，Q，R分别为过程噪声和观测噪声，Kg为***增益，Z为观测值，即上一步的回归框。

卡尔曼的预测结果和Q，R矩阵有着密切的关联，R/Q越大，越偏向于预测值，相反则越偏向于观测值，在实际的路况中，正前方车辆在视频序列中相对位置变化不大，而侧方的车辆由于存在较多变道等操作，在时间序列中会产生较大的位移，故一组稳定的Q，R值无法满足实际的应用。本发明实施例通过检测两帧之间预测值与观测量之间的误差来实时的调整Q，R矩阵，使其能更稳定的跟踪目标。调整的公式如下：

Q(t)＝Q(t-1)+(abs(Δ)-α)*β…………………………(6)

R(t)＝R(t-1)-(abs(Δ)-α)*γ…………………………(7)

其中Δ为两帧之间的误差值，α为设定的阈值，β，γ为所对应的系数。

为了进一步的使视频序列中的检测框变化更加平滑，本发明实施例又添加了多帧融合算法，根据前n帧的结果再乘以相关的权重，公式如下：

其中Z(t-k)为前k帧的结果，wk为对应的权重。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种基于车载单目相机的车辆检测定位方法，其特征在于，包括：

S1，获取来自行驶车辆车载单目相机的前视图像信息；

S4，在目标框中的图像为车辆时，对目标框进行回归校正；

2.根据权利要求1所述的车辆检测定位方法，其特征在于，所述检测区间为行驶车辆的当前车道和与当前车道相邻的左右两车道。

3.根据权利要求1所述的车辆检测定位方法，其特征在于，所述步骤S3具体包括：

4.根据权利要求1所述的车辆检测定位方法，其特征在于，所述步骤S3还包括：

采用分类器确定当前帧的目标框图像是否为车辆，并在判断为是后，将检测位置标识为遮罩标记区域

5.根据权利要求1所述的车辆检测定位方法，其特征在于，所述步骤S3之前还包括：

6.根据权利要求1所述的车辆检测定位方法，其特征在于，所述步骤S4具体包括：

7.根据权利要求1所述的车辆检测定位方法，其特征在于，还包括：

采用下面算法对车辆目标框进行跟踪：

X(k|k-1)＝A X(k-1|k-1)+B U(k)………………………(1)

P(k|k-1)＝A P(k-1|k-1)A’+Q......……………………(2)

X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-H X(k|k-1))................(3)

Kg(k)＝P(k|k-1)H’/(H P(k|k-1)H’+R)...............(4)

P(k|k)＝(I-Kg(k)H)P(k|k-1)…………………………(5)

8.根据权利要求7所述的车辆检测定位方法，其特征在于，还包括：通过检测当前接收帧的待检测目标框图像与上一帧目标框图像的确定位置之间的误差来调整QR矩阵，使其能更稳定的跟踪目标，调整公式为：

Q(t)＝Q(t-1)+(abs(Δ)-α)*β..............................(6)

R(t)＝R(t-1)-(abs(Δ)-α)*γ..............................(7)

9.根据权利要求1所述的车辆检测定位方法，其特征在于，还包括：采用多帧融合算法使视频序列中的目标框变化更加平滑，公式为：

<mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </msubsup> <mi>Z</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> </mrow>

其中Z(t-k)为前k帧的结果，wk为对应的权重。

10.根据权利要求1-9中任一项所述的车辆检测定位方法，其特征在于，采用分类器检测目标时，以车辆与地面的接触为检测框的下边缘，以不同的尺寸进行搜索。