CN106802144A - 一种基于单目视觉和车牌的车距测量方法 - Google Patents

Abstract

本发明属于图像处理领域，涉及一种基于单目视觉的前方车辆检测和测距算法，该方法提出了机器视觉与先验知识和几何算法相结合的方法进行车辆检测和车距测量。其实现过程是：(1)将车载摄像机采集的视频图像转换为灰度图像，(2)对灰度图像进行滤波去噪处理，(3)利用投影法定位提取车牌区域，并确定车牌的四个顶点，(4)利用Tsai两步算法和棋盘格算法对相机内部参数进行校正，(5)最后利用得到的相机内部参数和车牌顶点运用P4P算法计算前车距离。本发明解决了单一利用机器视觉的方法产生过多误检的问题，能够准确有效地实现车距测量，可以满足智能车辆控制的实时性要求。

Description

一种基于单目视觉和车牌的车距测量方法

技术领域

本发明涉及一种基于单目视觉的前方车辆检测和测距算法，该方法提出了机器视觉与先验知识和几何算法相结合的方法进行车辆检测，属于图像处理和机器视觉领域，可应用于准确高效的检测出前方车辆并准确测量车距。

背景技术

道路交通事故给人民生命财产和国民经济带来了巨大损失，而交通事故主要是由于车辆间没有保持安全距离造成的。由此可见，及时检测当前车辆与前方车辆之间的距离并做出预警作为高级驾驶辅助***中的一部分具有非常重要的意义。

在机器视觉进行车辆检测与跟踪方面，主要分为两类：一类是基于立体视觉，一类是基于单目视觉。基于立体视觉的检测方法采用对极几何规则测量两个目标之间的距离，由于复杂的特征匹配，该方法需要很大的存储空间，比较长的计算时间，而且对外界噪声和光线比较敏感；基于单目视觉的检测方法仅需要一个摄像头，不需要考虑特征匹配问题，因此，该方法具有成本低，实时性好等优点，适用于车辆安全辅助驾驶领域。

在单目视觉车辆测距方面，主要有三类方法：基于成像模型的方法；基于几何关系的推导方法；基于数学回归建模测距的方法。车辆检测中基于成像模型用到的参数主要包括利用车身的影子、车灯、车身框架、车身的对称性结构等。基于几何关系的推导方法用到的技术主要是建立车辆的数学模型，然后利用模型匹配方法实现车辆检测。基于机器学习的算法主要用到神经网络、支持向量机和贝叶斯算法等技术。这些方法主要受车辆实际宽度、精确测量相机视野角与俯仰角、前期数据采集分析并计算数学模型的影响。

为了解决当前车辆检测和测距中存在的对光线敏感，实时性和精确性较差等问题，我们提出了一种利用车牌区域测量两车距离的健壮的车距测量方法。通过Tsai两步算法获取相机内部参数，然后，两车之间距离通过相机内部参数与车牌的大小和四个顶点计算得到。实验表明本方法能准确有效的检测出不同路况下的车辆并准确测量车距，满足实时性要求。

发明内容

本发明的目的是克服现有技术的上述不足，提出了一种基于单目视觉的前方车辆检测与测距方法，该方法能够准确有效地检测出不同天气情况下的车辆，同时还能准确测量车距。为此，本发明采用如下的技术方案：

1.获取检测图像并进行灰度化；

2.提取车牌区域；

3.获取车牌四个顶点坐标；

4.采用Tsai两步算法校正相机内部参数；

5.基于矩形测量理论，计算两车之间的距离；

本发明具有如下技术特点：

1.方法简单，易于实施。本发明利用机器视觉和几何测量理论相结合的算法，通过对车辆前置摄像头拍摄的图片信息进行分析计算，即可计算前后两车之间的距离，计算速度高，不需要高精度的仪器设备，方法简单实用。

2.准确性高。本发明在检测过程中，基于前车的车牌区域进行测距，误检率较小，不容易受周围环境的影响，提高了检测精度。

3.对不同天气和路况能够满足视觉车辆检测、测距与实时性要求。

附图说明

图1：本发明总体方案流程图。

图2：由原始图像得到车牌区域的过程。

图3：车牌的投影图像

具体实施方式

本发明的流程图如图1所示，首先将车载摄像机采集的视频图像变换为HSV颜色空间图像，然后选取适当的颜色阈值，将彩色图像转化为二值图像，再利用滤波技术滤除与车牌底色无关的背景像素点，增强牌照部位的像素信息。最后用投影法确定车牌的边界位置，根据边界位置把车牌从原图像中提取出来，完成车牌提取部分。对提取的车牌边界进行线性化得到车牌区域的顶点坐标。利用Tsai两步算法和棋盘和算法对相机进行内部参数校正，最后利用得到的相机内部参数和车牌的四个顶点运用P4P算法进行车距测量。

1.图像获取及灰度化

本实验采用的数据是从车辆前置摄像头拍摄得到，相机安装在车辆内部前挡风玻璃后视镜下方，距离地面高度为1.2m。视频采集于城郊快速路和高速公路。

(1)颜色空间的选择

要处理彩色图像，首先要选取合适的颜色空间。一般图像常采用RGB三元彩色空间表示，但RGB三色空间中两点间的欧氏距离与颜色距离不成线性比例。为了更好地进行彩色牌照的分割，通过实验，本发明采用了HSV颜色空间。其中H参数表示色彩信息，即所处的光谱颜色的位置。该参数用一角度量来表示，红、绿、蓝分别相隔120°，互补色分别相差180°。S代表纯度，为一比例值，范围从0～1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。S＝0时，只有灰度。V表示色彩的明亮程度，范围从0～1，它和光强度之间并没有直接地联系。

根据HSV颜色空间的定义，对于任3个在[0,1]范围内的R、G、B值，其对应HSV颜色空间中的V、S、H分量可以由下面给出的公式计算：

根据RGB空间到HSV空间的转换关系，可以得到图像转换后每一个像素的色彩信息H，其中R、G、B分别为点像素的红、绿、蓝三色刺激值。

(2)彩色图像的二值化

为了提高图像处理的速度，将输入的彩色图像变换成二值图像。变换方法为：设h(x,y)表示输入图像f中的点(x,y)在HSV颜色空间中H的值。H_f(x,y)是任一选中的代表车牌底色的点(x,y)在HSV颜色空间的H值。则有：如果H(x,y)∈[H_f(x,y)(1-k),H_f(x,y)(1+k)]，则N＝N+1,其中，k为计算的宽容度，k∈[0,1]；N是计数器，计算符合条件的点数。经过以上过程，得到了如下定义的车牌底色二值图像。

(3)滤波消噪

经过转换的二值图像，存在一定的噪声干扰，为了突出二值图像的牌照区域特征，我们使用空间聚类技术对二值图像进行消噪和区域连通处理，具体做法是：

①将图像分成k*k个区域，每个区域的大小为m×n；

②对每个区域R，按照如下定义进行变换

其中其次，对车牌区域进行区域连通。连通的目的是去除一些不必要的背景区域，保留目标区域。通常连通区域的分析采用种子填充算法，但种子填充算法存在着压栈过多、速度过慢，不适合进行实时处理。为此，我们采用一种由Haralic与Shapirot提出的二维连通分析方法，简称H-S连通分析方法。

2.车牌的定位与提取

经过滤波处理的二值图像，车牌区域明显突出，这就为车牌的定位与分割作好了准备。基于速度的考虑，我们应用投影法定位提取车牌区域。具体算法描述如下：

(1)对经过二值转换处理的车牌图像进行水平投影，即把二值图像再水平方向上统计其赋值为1的像素。

(2)牌照区的上下边界定位。取一阈值(设为T1)，自下而上扫描。将水平投影值大于T1的行取出，可以认为这是车牌区域的下边界，并命名为y1。因为，通过实验发现大部分的图片中存在这样的一行：这一行大于阈值而且经过车牌区域。然后继续进行扫描，将水平投影值小于T1的位置记下，可以认为这是牌照区的上边界，命名为y2。然而，y1和y2不一定是真正的车牌区域的上边界与下边界。为了确认提取的区域含有车牌区域，加入了判断式y2-y1≥t1。And.y2-y1≤t2，其中t1与t2是对大量图片进行测试而得到的车牌高度经验值。经过判断，如果满足条件就可以认为y1、y2是牌照区的上下边界，否则，y1:＝y2,重新开始扫描。ylow＝y1；yhigh＝y2。

(3)对二值图像进行垂直投影。垂直投影是在垂直方向上统计其赋值为1的像素数。

(4)定位牌照区的左右边界。用与(2)类似的方法，设一阈值为T2，自左向右扫描，将垂直投影大于和小于T2的列位置标记为x1和x2，为了确认提取的区域含有车牌区域，同样加入了判断式x2-x1≥s1.and.x2-x1≤s2，s1与s2是车牌宽度经验值。经过判断，如果满足条件就可以认为x1、x2是牌照区的左右边界，否则，x1:＝x2，重新开始扫描。xleft＝x1；xright＝x2。得到牌照的左右边界xleft，xright。

(5)根据牌照区的四个边界值，ylow,yhigh,xleft,xright在原图像中提取车牌，如图2中c所示。最终提取灰度化后的结果如图2中d所示。

3.相机内部参数校正

首先对相机定义一个三维坐标系O-XYZ，对图像定义一个二维坐标系O₀-uv和一个世界坐标系O’-X’Y’Z’，如图3所示。其中A1，A2，A3，A4是实际车牌的四个顶点，而a1,a2,a3,a4是车牌映射到图像上对应的四个顶点。图3中d1,d2,d3,d4分别是OA1，OA2，OA3和OA4的长度。在世界坐标系中，任何点P(X’,Y’Z’)，对应的二维(u,v)映射和三维坐标(X,Y,Z)之间的关系，可以表述为：

其中K是相机内部参数，我们采用一种与Tsai模型类似的带有径向畸变的针孔模型，改进如下：

其中k为畸变系数，(u₀,v₀)是主点。K可以表示为：

K通过经典的Tsai两步算法和棋盘格算法得到。

4.距离测量

由第二步和第三步得到车牌的顶点和相机的内部参数，我们利用P4P算法得到前后两车之间的距离，算法可以表示如下：

其中，cosθ₁₂，cosθ₂₃，cosθ₃₄和cosθ₁₄分别在ΔOa₁a₂，ΔOa₂a₄，ΔOa₃a₄和ΔOa₁a₄中计算如图3所示。W和H是一个车牌对应的常量，由于国内小车车牌的尺寸为宽度440，高度140，所以这里W和H分别取440和140。

通过对式(6)的求解可以得到d₁，d₂，d₃和d₄的值，我们利用几何知识就可以得到前后两车之间的距离d_oo'：

本发明提出一种基于单目视觉的前方车辆检测与测距方法，该方法将机器视觉与几何理论相结合利用车牌区域实现车距测量。准确有效的检测出不同天气情况下的车辆，同时还能准确测量车距，解决了单一利用基于先验知识的方法对光照敏感的问题以及基于机器视觉的方法产生过多误检的问题，满足智能车辆控制的实时性要求。

Claims (4)

1.一种基于单目视觉和车牌的车距测量方法，包括下列步骤：

(1)利用摄像机采集获取检测图像并进行灰度化；

(2)提取车牌区域；

(3)获取车牌四个顶点坐标；

(4)采用Tsai两步算法校正相机内部参数；

(5)基于矩形测量理论，计算两车之间的距离。

2.根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(2)中使用投影法定位和提取车牌区域。具体算法描述如下：

(1)对经过二值转换处理的车牌图像进行水平投影，即把二值图像再水平方向上统计其赋值为1的像素。

(2)牌照区的上下边界定位。取一阈值(设为T1)，自下而上扫描。将水平投影值大于T1的行取出，可以认为这是车牌区域的下边界，并命名为y1。因为，通过实验发现大部分的图片中存在这样的一行：这一行大于阈值而且经过车牌区域。然后继续进行扫描，将水平投影值小于T1的位置记下，可以认为这是牌照区的上边界，命名为y2。然而，y1和y2不一定是真正的车牌区域的上边界与下边界。为了确认提取的区域含有车牌区域，加入了判断式y2-y1≥t1。And.y2-y1≤t2，其中t1与t2是对大量图片进行测试而得到的车牌高度经验值。经过判断，如果满足条件就可以认为y1、y2是牌照区的上下边界，否则，y1:＝y2,重新开始扫描。ylow＝y1；yhigh＝y2。

(3)对二值图像进行垂直投影。垂直投影是在垂直方向上统计其赋值为1的像素数。

(4)定位牌照区的左右边界。用与(2)类似的方法，设一阈值为T2，自左向右扫描，将垂直投影大于和小于T2的列位置标记为x1和x2，为了确认提取的区域含有车牌区域，同样加入了判断式x2-x1≥s1.and.x2-x1≤s2，s1与s2是车牌宽度经验值。经过判断，如果满足条件就可以认为x1、x2是牌照区的左右边界，否则，x1:＝x2，重新开始扫描。xleft＝x1；xright＝x2。得到牌照的左右边界xleft，xright。

(5)根据牌照区的四个边界值，ylow,yhigh,xleft,xright在原图像中提取车牌，如图2中c所示。最终提取灰度化后的结果如图2中d所示。

3.根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(4)中采用Tsai两步算法和棋盘格算法对相机内部参数进行校正。首先对相机定义一个三维坐标系O-XYZ，对图像定义一个二维坐标系O₀-uv和一个世界坐标系O’-X’Y’Z’，如图3所示。其中A1，A2，A3，A4是实际车牌的四个顶点，而a1,a2,a3,a4是车牌映射到图像上对应的四个顶点。图3中d1,d2,d3,d4分别是OA1，OA2，OA3和OA4的长度。在世界坐标系中，任何点P(X’,Y’Z’)，对应的二维(u,v)映射和三维坐标(X,Y,Z)之间的关系，可以表述为：

其中K是相机内部参数，我们采用一种与Tsai模型类似的带有径向畸变的针孔模型，改进如下：

(x-u₀)(1+k(u²+v²))＝u-u₀

(y-v₀)(1+k(u²+v²))＝v-v₀

其中k为畸变系数，(u₀,v₀)是主点。K可以表示为：

K通过经典的Tsai两步算法和棋盘格算法得到。

4.根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(5) 中基于矩形测量理论，利用P4P算法计算前车距离，算法可以描述为：

其中，cosθ₁₂，cosθ₂₃，cosθ₃₄和cosθ₁₄分别在ΔOa₁a₂，ΔOa₂a₄，ΔOa₃a₄和ΔOa₁a₄中计算如图3所示。W和H是一个车牌对应的常量，由于国内小车车牌的尺寸为宽度440，高度140，所以这里W和H分别取440和140。

通过对式(6)的求解可以得到d₁，d₂，d₃和d₄的值，我们利用几何知识就可以得到前后两车之间的距离d_oo'：

。