CN105574552A - 一种基于单目视觉的车辆测距与碰撞预警方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的车辆测距与碰撞预警方法。本发明首先通过单目摄像头采集目标的动态视频，将采集到的每一帧视频进行图像预处理，然后通过将图像的特征与训练得到的正样本特征进行比较来检测目标，并用矩形框将其标记出来。通过获取矩形框底边的中点坐标，根据小孔成像和相似三角形的几何比例关系可以得到两车的实际距离；根据给定时间内两车的距离变化计算出相对速度，再结合距离计算出碰撞时间，当该时间小于碰撞安全时间时，就会发出语音警告，提醒司机采取相应措施。本发明只采用一个摄像头采集视频，设备简单，采用的目标检测方法准确率高，实时性强，测距方法也简单高效，实现了及时预警，有效预防交通事故的发生。

Description

一种基于单目视觉的车辆测距与碰撞预警方法

技术领域

本发明属于汽车辅助安全驾驶领域，尤其涉及的是一种基于单目视觉的车辆测距与碰撞预警方法。

背景技术

随着我国经济和科技的高速发展，汽车及车载装备领域形成了极具发展潜力的巨大市场。根据国家***的数据，2012年末全国民用汽车保有量达12089万辆，比上年末增长14.3％。与此同时，行车安全问题日益突出，交通事故频繁发生，成为全社会关注的热点。2013年我国因交通事故造成6万余人伤亡。若驾驶者早1.0s知道危险隐患，可减少90％的交通事故；早0.5s知道，可回避30％的正面碰撞事故和50％的追尾碰撞与交叉路口事故。按事故原因分析，驾驶员自身原因导致的事故所占比例为70-80％，仅尾部碰撞所造成的交通事故比例即高达30％。切实提高汽车本身安全驾驶的可靠性，成为减少交通事故的关键因素。作为车载辅助驾驶与行车安全装置的关键技术之一，车载测距与告警装置获得了国内外研究机构的高度重视。

对于汽车主动避撞***方法的研究兴起于20世纪60年代，目前，运用于车辆测距的方法主要有以下几种：超声波测距、毫米波雷达测距、激光测距以及视觉测距等方法。超声波测距原理简单、成本较低，但受外界温度等因素影响较大，无法实现精确测距；而且，超声波能量与距离的平方成正比而衰减，只适用于较短的距离。目前国内外一般的超声波测距仪理想测量距离为4-5米左右，这对于现代汽车高速安全行驶是远远不够的。雷达测距可提供较长距离的感知，测量精度很高，并且可探测多目标，但容易受电磁波干扰；雷达装置相互间以及其它通信设施的电磁波被干扰会导致车辆的误操作。激光测距利用计数或相位原理实现测距，对硬件的要求很高，存在近距误差较大、信号处理复杂等缺陷。

在利用视觉技术获得三维信息方面，通常有单目***和多目***等两种方式。双目视觉模仿人类利用双目视差感知距离的方法，实现对三维信息的感知。具体地，即基于三角测量的方法，运用两个摄像机对同一景物从不同位置成像，并进而从视差中恢复距离。双目视觉***的致命弱点是需要做图像匹配，而三维场景投影存在畸变和噪声，深度和不可见部分的信息被丢失，导致同一物体在不同视角下的图像有极大差异，以及物体遮挡而丢失特征信息等问题，都将增大图像配准的难度。研究者也提出了多目配准的方法，即采用多个摄像机同时摄取物体的多幅图像，增加景物的信息量和配准的约束条件，简化配准问题。但这将大幅增加测距***的成本，而且***安装和图像同步的难度也大大增加，因此现阶段还不易达到实用化。相对地，单目视觉方法采用单幅图像根据摄像机的焦距和事先确定的参数来估算深度信息，或者从视频长序列图像中采用特征匹配和光流技术估算三维参数，具有结构简单、成本低的优点，与多目视觉***相比避免了图像配准问题，而且单幅图像的处理更为快捷、实时性更好。因此，单目视觉测距***对于车辆更为合适。

综上所述，单目视觉测距与安全告警***体积小巧、安装方便，是汽车智能化领域有着光明前途的一项技术。由于在测距的过程得到的图像包含有大量的信息，还可用于实现其它辅助驾驶功能，例如车道状态的估计、交通标志和信号的识别、牌照识别、车辆偏离车道中心的偏离等。

在目前的移动电子设备中，仍然缺乏基于汽车安全驾驶***的单目测距装置，用来保证高速公路上的行车安全。因此，亟待研究新型的算法与***。

发明内容

为了保障高速公路上的行车安全，本发明的目的在于提供了一种基于单目视觉的车辆碰撞预警方法，具有目标检测准确率高、实时性强、简单高效等特点，能够有效实现及时的预警，预防交通事故的发生。

本发明的技术方案如下：

一种基于车载单目摄像头的测距与报警技术，包括如下步骤：

步骤1：单目摄像头采集汽车的运动视频，并对视频的每一帧图像进行预处理。

预处理操作主要为了提高该方法的运算速度，和增强图片的对比度和清晰度，降低局部的阴影和光照变化所造成的影响，同时可以对包含的噪声进行合理的抑制，为了更好的识别目标；其操作主要包括灰度化处理、Gamma校正和直方图均衡化。

在灰度化过程中，对RGB三分量进行加权平均，以得到较合理的灰度图像。

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)(1)

Gamma校正中采用乘幂函数：

Y＝(X+e)γ(2)

进行校正图像，其中，Y为亮度、X为输出电压、e为补偿系数、乘幂值(γ)为伽玛值，改变乘幂值(γ)的大小，就能改变的伽玛曲线。典型的Gamma值是0.45，可以使影像亮度呈现线性。

直方图均衡化通过把原始图的像素值变换为均匀分布的形式，从而增加了灰度值的动态范围，达到增强图像整体对比度的效果。

步骤2：对预处理的图像进行汽车的检测与跟踪，并用矩形框实时标注汽车；

本专利采用的是基于Haar特征的Adaboost算法，采用级联分类器得到训练子。该方法的核心思想是通过训练出不同级别的弱分类器，经过串联集合，得到最终的强分类器。本专利采用Haar特征，是一种矩形特征，黑白色两种，定义其特征值为白色特征的像素和减去黑色特征的像素和。

基于Haar特征的Adaboost训练过程，具体步骤如下：

步骤2.1：采集一定数量的车辆样本集(正样本)和非车辆样本集(负样本)，一般负样本的数量应远大于正样本数量，对所有样本进行预处理，使所有训练样本的归一大小为20*20。

步骤2.2：运用积分图计算正、负样本Haar特征，形成特征集。

步骤2.3：确定阈值，由矩形特征值生成对应的弱分类器，形成弱分器集。

步骤2.4：获取强分类器，Adaboost是一种基于级联分类模型的分类器。

它是将多个强分类器连接在一起进行操作。每一个强分类器都由若干个弱分类器加权组成，最后所有的弱分类器投票决定分类，而每个分类器的权重不同。

首先要初始化所有训练样例的权重为1/N，其中N为样例数。然后训练弱分类器y_m(x)，当一个弱分类器的检测结果有误时就加重这一分类器的权值。最小化其权重误差函数为。

步骤2.5：挑选最优的弱分类器，调用Adaboost算法训练强分类器，形成强分类器集，最终构成级联分类器。

步骤2.6：将强分类器生成对应的xml文件，作为检测子，用来目标的识别。

步骤3：确定图像中矩形框的中点坐标，结合摄像机的固定参数，利用小孔成像原理和相似原理，计算出本车与前方车辆的实际距离。

设摄像头镜头的垂直方向视角范围为2α₀，摄像机俯仰角的余角为γ₀，h为单目摄像头的垂直安装高度，可利用公式：

IP_y＝h·tan(γ₀+α)(3)

所要求得的两车间的相对垂直距离。

步骤4：预测两车碰撞时间，根据给定时间(0.1s)内两车之间的距离变化量计算两车的相对速度，再结合两车的距离计算可能的发生碰撞时间。

计算碰撞时间所用的公式为：

$\mathrm{TTC}=\frac{d}{S/\mathrm{\Δt}}---\left(4\right)$

其中，TTC表示车辆碰撞时间，d表示当前时刻两车的实际距离，Δt表示给定的时间差，即0.1s。S表示Δt(0.1s)时间间隔内两车的距离变化量。

步骤5：将计算得到的碰撞时间和给定的碰撞安全时间进行比较，当小于该值时则发出警报提醒司机。

在***应用之前，需要把单目摄像头固定在车辆前方，确定距离地面的高度和其轴线和水平方向的夹角，即垂直高度和俯仰角，实现测距的需要。

附图说明

图1基于单目视觉的测距与碰撞报警的流程图。

图2基于Haar特征的Adaboost训练示意图。

图3用于汽车检测的几种典型的Haar特征。

图4用积分图计算矩形特征的示意图。

图5级联分类器模型。

图6摄像机在世界坐标内的投影关系图。

图7摄像机投影平面的对应关系图。

图8Y轴方向投影关系。

具体实施方式

下面结合附图和实例对本发明做进一步的说明：

基于单目视觉的测距与报警方法包括图像采集及预处理，目标检测，目标测距以及安全预警等。其中，本发明所针对的目标为道路上的车辆。图1给出了基于单目视觉的测距与碰撞报警实现过程的流程图。

在目标识别之前首先要采集图像并进行预处理，包括如下步骤：

步骤1：将单目摄像头固定在车辆前方，确定其距地面的高度和其轴线与水平方向的夹角，即俯仰角。

步骤2：根据摄像头拍摄获得的视频对摄像头的俯仰角、距地面高度、安装位置以及偏转角度做出调整，使摄像头获得最佳的拍摄视野。

步骤3：对拍摄得到的图像进行预处理，以提升后面目标检测的效果和效率。

步骤3.1：Gamma校正。Gamma校正可以实现如下目的：暗场灰阶的颜色明显改善，各灰阶的颜色误差明显减少，暗场颜色细节分明，图像亮度颜色一致，透亮度好，对比明显。

采用乘幂函数作为矫正函数。

Y＝(X+e)γ(1)

其中，Y为亮度、X为输出电压、e为补偿系数、乘幂值(γ)为伽玛值，改变乘幂值(γ)的大小，即可改变伽玛曲线。

步骤3.2灰度化处理。在灰度化算法中，根据重要性及其它指标，将R、G、B三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感度最高，对蓝色敏感度最低。因此，可以按下式对RGB三分量进行加权平均得到较合理的灰度图像：

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)(2)

步骤3.3直方图均衡化。通过直方图均衡化，将原始图的直方图变换为均匀分布的形式，增加像素灰度值的动态范围，增强图像整体对比度。

设原始图像在(x，y)处的灰度为f，而改变后的图像为g，则对图像增强的方法可表述为将在(x，y)处的灰度f映射为g。在灰度直方图均衡化处理中对图像的映射函数可定义为：

g＝EQ(f)(3)

映射函数EQ(f)必须满足两个条件(其中L为图像的灰度级数)：

(1)EQ(f)在0≤f≤L-1范围内是一个单值单增函数。这是为了保证增强处理没有打乱原始图像的灰度排列次序，原图各灰度级在变换后仍保持从黑到白(或从白到黑)的排列。

(2)对于0≤f≤L-1有0≤g≤L-1，这个条件保证了变换前后灰度值动态范围的一致性。

采用直方图均衡化映射函数：

g_k＝EQ(f_kf_k)＝(ni/n)＝pf(f_i)(k＝0，1，2，.......，L-1)(4)

上述求和区间为0到k，根据该方程可以由源图像的各像素灰度值直接得到直方图均衡化后各像素的灰度值。在处理变换时，先对原始图像的灰度情况进行统计分析，并计算出原始直方图分布，然后根据计算出的累计直方图分布求出到的灰度映射关系。重复上述步骤，得到源图像所有灰度级到目标图像灰度级的映射关系，然后按照该映射关系对源图像各点像素进行灰度转换，实现源图像的直方图均衡化。

针对目标检测的方法，本专利采用基于Haar特征的adaboost算法，以级联分类器得到训练子。该方法的核心思想是通过训练出不同级别的弱分类器，经过串联集合，得到最终的强分类器。本专利采用Haar特征，它是一种矩形特征，黑白色两种，定义其特征值为白色特征的像素和减去黑色特征的像素和。图3是本发明用到的几种Haar特征。

基于Haar特征的Adaboost训练过程，如图2所示。具体步骤如下：

步骤1：采集一定数量的车辆样本集(正样本)和非车辆样本集(负样本)，一般负样本的数量应远大于正样本数量，为得到较好的检测效果，正样本的数量应不少于2000张，负样本数量应不少于8000张；对所有样本进行预处理，使所有训练样本的归一大小为20*20。

步骤2：运用积分图计算正、负样本Haar特征，形成特征集。

将矩形表示为：

其中，x,y表示起点坐标，w,h表示矩形的宽和高，α表示角度。矩形内像素之和为RecSum(r)。

积分图(SAT)中每个点储存的是其左上方所有像素之和：

$\mathrm{SAT}(x,y)=\underset{x^{\′}\≤x,y^{\′}}{\mathrm{\Σ}}(x^{\′},y^{\′})---\left(6\right)$

其中I(x,y)表示(x,y)位置的像素值。积分图像可以采用增量的方式计算：

SAT（x，y)＝SAT(x，y-1)+SAT(x-1，y)+I(x，y)-SAT(x-1，y-1)(7)

初始边界：SAT(-1，y)＝SAT(x，-1)＝SAT(-1，-1)＝0(8)

对整张图像遍历一次，就可以求得一张图的积分图像。图4为用积分图计算矩形特征的示意图。利用积分图可以计算矩形特征区域内的像素和：

RecSum＝SAT(x-1，y-1)+SAT(x+w-1，y+h-1)-SAT(x-1，y+h-1)+SAT(x+w-1，y-1)(9)

Haar特征值为图3所示的白色区域内的像素和减去黑色区域内的像素和：

f(x)＝Recsum(x_w)-Recsum(x_b)(10)

步骤3：确定阈值，由矩形特征值生成对应的弱分类器，形成弱分类器集。

一个弱分类器y(x，f，p，q)由一个特征f，阈值q和指示不等符号方向的p组成

其中，弱分类器的特征值f(x)就是矩形特征的特征值。在训练时选择的训练样本集的尺寸等于检测子窗口的尺寸，检测子窗口的尺寸决定了巨型特征的数量，因此在训练过程中要保证每个样本的特征数量相同就应该保证图像大小一致且检测子窗口尺寸一定；训练一个弱分类器就是在当前权重分布的情况下，确定特征f的最优阈值，使得这个弱分类器对所有训练样本的分类误差最低，对于一个特征f，计算所有的训练样本的特征值，并将其排序，通过扫描一遍排好的序的特征值，可以为这个特征值确定一个最优的阈值，从而训练生成一个弱分类器。

步骤4：获取强分类器，Adaboost是一种基于级联分类模型的分类器。级联分类模型可以用图5表示。它是将多个强分类器连接在一起进行操作。每一个强分类器都由若干个弱分类器加权组成，由所有的弱分类器投票决定分类，而每个分类器的权重α不同。其数学描述为：

其中为训练样本的当前权重，y_m(x)为训练得到的弱分类器，Y_M(x)为最后得到的强分类器。首先要初始化所有训练样例的权重为1/N，其中N为样例数。然后训练弱分类器y_m(x)，当一个弱分类器的检测结果有误时就加重这一分类器的权重，反之对检测正确的分类器就减小其权重。最小化其权重误差函数为：

${\mathrm{\ϵ}}_m=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n^{\left(m\right)}I(y_m\left(X_n\right)\≠t_n)---\left(13\right)$

计算弱分类器的权重α：

${\mathrm{\α}}_m=\ln \left\{\frac{1-{\mathrm{\ϵ}}_m}{{\mathrm{\ϵ}}_m}\right\}---\left(14\right)$

更新权重。

$w_{m+1,i}=\frac{w_{m,i}}{Z_m}\exp (-{\mathrm{\α}}_m{t}_i{y}_m\left(x_i\right)),i=1,2,\·\·\·,N---\left(15\right)$

其中：是规范化因子，使所有w的和为1。最后得到强分类器。

$Y_M\left(x\right)=\mathrm{sign}\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_m{y}_m\left(x\right)\right)---\left(16\right)$

步骤5：将强分类器生成对应的xml文件，作为检测子，用来目标的识别。

在测距阶段，采用基于摄像机固定参数的几何测距方法。具体的步骤包括：

步骤1：将单目摄像头在车辆前方固定好最佳角度之后，测取其距离地面的高度和俯仰角等固定参数。

步骤2：由于摄像机与地面所成的角度和距离地面的高度一定，以所拍摄画面的几何中心为中心可以与实际空间位置相对应建立坐标系，通过几何关系和比例推导可以得到目标的世界坐标。摄像机成像在世界坐标系中的投影关系和摄像机投影平面的对应关系分别如图6和图7所示，平面ABU代表道路平面，ABCD为摄像机拍摄到的路平面上的梯形区域，O点为摄像机镜头中心点，OG为摄像机光轴，G点为摄像机光轴和路平面的交点(同时也是视野梯形的对角线交点)，I点为0点在路平面上的垂直投影。在路面坐标系中，将G点定义为坐标系原点，车辆前进方向定义为Y轴方向。G、A、B、C、D各点在图像平面内的对应点如图7所示，a、b、c、d为像平面矩形的4个端点，H和W分别为像平面的高和宽。定义图像矩形的中点g为像平面坐标系的坐标原点，y轴代表车辆前进方向。

取路平面上一点P，其在路平面坐标系的坐标为(Xp,Yp),P点在像平面内的对应点为(xp,yp)，需要求得的是目标车辆到摄像头的相对垂直距离IPy。图5为摄像机光轴所在的与路面相垂直的平面示意图，此平面为OEI，图8中各字符与图6的对应字符含义相同。直线ML与直线OG垂直，与直线fF的延长线相交于点L，点py表示像平面上的点P在视野纵向对称线上的投影，Z是直线pyPy与直线ML的交点。

设摄像头镜头的垂直方向视角范围为2α₀,摄像机俯仰角的余角为γ₀由此可得

角度 $\mathrm{\α}=\arctan \left(\frac{2\·y_p\·\tan \left({\mathrm{\α}}_0\right)}{H}\right)---\left(17\right)$

线段 $\mathrm{OG}=\left(\frac{h}{\cos {\mathrm{\γ}}_0}\right)---\left(18\right)$

线段IG＝h·tanγ₀(19)

线段IP_y＝h·tan(γ₀+α)(20)

即所要求得的两车间的相对垂直距离。

步骤3：取图像中的若干点进行距离测量，通过测量实际距离检验准确率。

距离测出之后，计算碰撞时间所用的公式为：

$\mathrm{TTC}=\frac{d}{S/\mathrm{\Δt}}---\left(21\right)$

其中，TTC表示车辆碰撞时间，d表示当前时刻两车的实际距离，Δt表示给定的时间差，即0.1s。S表示Δt(0.1s)时间间隔内两车的距离变化量。

特别地，当***测出某一时刻(设为t₁)的距离后，***将记录此时刻的距离信息和时间信息。然后，在该时刻的0.1s(设为t₂)后，同样将距离信息和时间信息记录下来，用这两个时刻的距离差S和时间差Δt计算出相对速度v，即V＝S/Δt。此时用t₂时刻的距离d，除以这个相对速度v，即可预测出两车的碰撞时间。由于数据是实时更新的，保证了预测的及时性。

在这里，可以把实际研究和调查数据得到的车辆碰撞安全时间，作为比较阈值，当计算得到的车辆碰撞时间小于给定的车辆安全碰撞时间时，车辆就会发出预警，提醒驾驶者及时做出相应措施。

Claims (2)

1.一种基于单目视觉的车辆测距与碰撞预警方法，该方法包括目标检测、距离测算和安全预警等步骤；各个步骤是顺序进行的，即对经过处理之后的图像进行目标检测，将检测得到的目标提取底边中点坐标用于目标测距，测距完成后根据给定时间内的相对距离变化获得相对速度，从而实时判断发生碰撞所用时间，当计算所得的碰撞时间小于给定值时发出报警，提醒驾驶者注意存在的危险；

其特征在于：方法包括如下步骤：

步骤1：通过单目摄像头采集车辆前方的图像，并对图像进行滤波和去噪、色彩归一化等预处理；

步骤2：对经过预处理的图像，采用小波变换和级联分类器进行车辆检测；

步骤3：将目标检测部分与目标测距部分相结合，提取检测得到的车辆的底部边缘线中点，得到中点坐标；

步骤4：结合摄像机的焦距、距地面高度和摄像头轴线与水平方向的角度即俯仰角等固定参数，运用小孔成像原理和几何关系计算与前方车辆的垂直距离；

步骤5：预测两车碰撞时间，根据给定时间（0.1s）内两车之间的距离变化量计算两车的相对速度，再结合两车的距离计算可能的发生碰撞时间，因为两车的速度会实时改变因此预计碰撞时间也会实时做出调整；

步骤6：当计算得到的碰撞时间小于给定的安全碰撞时间时，发出报警，提醒驾驶员做出调整。

2.根据权利要求1所述的基于单目视觉的车辆测距及预警***，其特征在于，步骤4所述的测距方式给出了一种新的方法，即在图像平面上建立平面坐标系，对应地构建实际路面的世界坐标系；利用小孔成像原理和三角形相似找到图像距离与实际之间的比例关系，利用目标车辆的底部边缘中点的纵坐标获得世界坐标系中两车之间的垂直距离。