CN110414357B - 一种基于车辆类型识别的前方车辆定位方法 - Google Patents

Abstract

本发明涉及机器视觉的技术领域，公开了一种基于车辆类型识别的前方车辆定位方法，利用神经网络对前方车辆的尾部图像进行分类识别，判断前方车辆的所属类型，对所述前方车辆的尾部图像进行车尾下边沿的边缘检测，得到车尾下边沿在尾部图像中的宽度，根据检测得到前方车辆的车尾下边沿宽度和所属类型，利用相似三角形原理，计算得到自车与前方车辆的垂直距离，从而完成对前方车辆的定位。采用本发明的方法可以在行车过程中准确、实时的对前方车辆进行定位，对于行车安全以及智能驾驶辅助***都具有重要意义，操作方便，便于推广和应用。

Description

一种基于车辆类型识别的前方车辆定位方法

技术领域

本发明涉及机器视觉的技术领域，具体涉及一种基于车辆类型识别的前方车辆定位方法。

背景技术

随着生活水平的提高，汽车已经成为生活中必不可缺的一部分，科学技术的快速发展也加快智能化的脚步，汽车的主动安全对提高车辆行驶安全性具有重要的影响。根据Daimler-Benz公司的研究表明，若能在发生交通事故前0.5秒提醒驾驶者，可避免50％的交通事故，若能在发生交通事故前1s提醒驾驶员，可避免90％的交通事故，由此可见，对前方车辆的定位检测有着重要意义。

对车型的识别方法主要分为两大类，入侵式分类方法和非入侵式分类方法。入侵式分类方法需要在公路路面下安装传感器，比如气动管，环路检测器，磁传感器和压电传感器等，当汽车经过时通过收集车速、车重以及车身长度等，判断车辆类型，这类方法具有寿命短，安装不方便等缺点。而非入侵法主要是通过安装雷达、红外传感器、声传感器和摄像头等外接设备，通过接受车体轮廓、高度和轴距等信息来给车辆分类，其中超声波测距受外界环境(空气密度、温度)影响较大，而雷达测距会受其他通信设备的电磁波干扰。对车辆测距的方法主要有基于成像模型的方法，基于几何关系推导出图像坐标系和世界坐标系间的对应关系，基于数学回归模型利用不同的基准距离与其图像中的位置对应关系，计算回归模型测量车距的方法等等，大都过程繁琐，计算复杂，实时性差。

发明内容

本发明提供了一种基于车辆类型识别的前方车辆定位方法，解决了现有检测方法过程繁琐，计算复杂，效率较低，实时性差等问题。

本发明可通过以下技术方案实现：

一种基于车辆类型识别的前方车辆定位方法，利用神经网络对前方车辆的尾部图像进行分类识别，判断前方车辆的所属类型，对所述前方车辆的尾部图像进行车尾下边沿的边缘检测，得到车尾下边沿在尾部图像中的宽度，根据检测得到前方车辆的车尾下边沿宽度和所属类型，利用相似三角形原理，计算得到自车与前方车辆的垂直距离，从而完成对前方车辆的定位。

进一步，判断前方车辆的所属类型的方法包括以下步骤：

步骤一、利用Prewitt边缘检测算子对前方车辆的尾部图像进行水平边缘和垂直边缘的检测,结合车辆自身的对称性特点,确定前方车辆在尾部图像中的存在区域；

步骤二、在所述存在区域内，重新利用Prewitt边缘检测算子进行水平边缘和垂直边缘的检测，以所述水平边缘和垂直边缘的平行关系和数量作为神经网络的输入，完成对前方车辆的所属类型的识别分类。

进一步，对于小汽车car的尾部图像，包含五条平行的水平边缘；对于载运货物车track的尾部图像，包含两条平行的水平边缘和两条平行的垂直边缘且共同组成一个矩形框；对于公共汽车bus的尾部图像，包含四条平行的水平边缘和四条平行的垂直边缘，分别组成两个矩形框。

进一步，计算得到自车与前方车辆的垂直距离的方法包括以下步骤：

步骤Ⅰ、对所述存在区域进行灰度化处理，得到灰度图像，根据所述灰度图像的均值和方差，对所述灰度图像进行两次自适应阈值去噪；

步骤Ⅱ、对去噪后的灰度图像进行二值化处理，提取车尾下边沿周边的区域；

步骤Ⅲ、设置面积阈值，从所述区域中筛选出车尾下边沿所在的连通域，找出所述连通域的左侧边缘和右侧边缘在图像所在横轴上的投影点，计算两个投影点之间的距离即为车尾下边沿在图像中的宽度；

步骤Ⅳ、利用如下方程式，计算自车与前方车辆的垂直距离D，

其中，W表示前方车辆车尾下边沿的实际宽度，P表示前方车辆车尾下边沿在图像中的宽度，F表示拍摄前方车辆尾部图像的摄像头的焦距。

进一步，利用如下方程式，计算所述灰度图像的均值μ和方差σ，根据所述均值μ和方差σ，设置第一次自适应阈值threshold₁，进行初次去噪，再对初次去噪后的灰度图像重新计算对应的均值μ₁和方差σ₁，设置第二次自适应阈值threshold₂，进行再次去噪，

其中，f(x,y)为灰度图像在坐标点(x,y)处对应的亮度值，M,N分别为灰度图像的宽度和高度。

本发明有益的技术效果在于：

通过建立包含车辆尾部的图像集，利用迭代训练数据集以得到更完善的卷积神经网络模型，以不同类型车辆所具有不同的水平边缘和垂直边缘的特征作为神经网络的输入，可以更准确的识别出具体车辆类型，补偿误差，再结合两次自适应阈值对灰度图像进行去噪处理，最大限度地抑制噪声的干扰，可以更加准确地提取车尾下边沿周边的区域，从而可以更加准确地计算出车尾下边沿的宽度，实现对前方车辆的精确定位，采用本发明的方法可以在行车过程中准确、实时的对前方车辆进行定位，对于行车安全以及智能驾驶辅助***都具有重要意义，操作方便，便于推广和应用。

附图说明

图1为本发明的总体流程示意图；

图2为本发明的数据集中的尾部图像的标注；

图3为本发明的进行两次自适应阈值去噪前后的示意图，标识a表示去噪前，标识b表示去噪后；

图4为本发明的设置面积阈值进行连通域筛选的对比示意图，标识c表示筛选前，标识b表示筛选后；

图5为本发明的三种车辆的尾部图像中车尾下边沿和车底阴影所在的连通域面积的统计对比示意图；

图6为本发明的自车和前方车辆的三角形位置示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

如图1所示，本发明提供了一种基于车辆类型识别的前方车辆定位方法，主要为利用神经网络对前方车辆的尾部图像进行分类识别，判断前方车辆的所属类型，对前方车辆的尾部图像进行车尾下边沿的边缘检测，得到车尾下边沿在尾部图像中的宽度，根据检测得到前方车辆的车尾下边沿宽度和所属类型，利用相似三角形原理，计算得到自车与前方车辆的垂直距离，从而完成对前方车辆的定位。

一、利用神经网络对前方车辆的尾部图像进行分类识别的方法如下：

1、采集行驶中的车辆图像生成数据集

在不同的天气和外界环境下，使用车载相机录制采集车辆图像，后经过人工筛选视频，转换为可用的图片序列；然后，人工筛选出各种场景一定数量高质量的含有可识别车辆尾部的图像；最后，用矩形框通过人工标注将车辆尾部在图像中标记出来，并且注明其类型标签，如图2所示，所选标签分为三类：“car”，“bus”，“truck”,其默认实际车尾下边沿宽度对应设置为：“1.70m”、“2.91m”、“2.31m”，构建一个规模达两万多张含车尾坐标信息及其类别标签的数据集。

2、利用边缘检测对数据集中的尾部图像进行特征提取，作为神经网络分类的输入，具体如下：

边缘检测既是图像分析和模型识别的主要特征提取手段，也是图像匹配的基础，其实质就是采用某种算法来提取对象与背景间的交界线，常见的边缘检测算法有Roberts,Sobel,Prewitt,Canny,Log等，但因尚无通用的分割理论，并没有一种适合所有图像的通用检测方法，而Prewitt算子利用像素点间的灰度差会在边缘处达到极值的特点进行边缘检测，是一种边缘样板算子，对噪声具有平滑作用。该算子不仅抑制噪声效果好，而且能检测到边缘点，因此，在图像噪声比较多的情况下，用的比较多，考虑到车辆行驶的环境，本发明采用Prewitt算子进行边缘检测。

步骤一、利用Prewitt边缘检测算子对前方车辆的尾部图像进行水平边缘和垂直边缘的检测,结合车辆自身的对称性特点,确定前方车辆在尾部图像中的存在区域；

步骤二、在上述存在区域内，重新利用Prewitt边缘检测算子进行水平边缘和垂直边缘的检测，以水平边缘和垂直边缘的平行关系和数量作为神经网络的输入，完成对前方车辆的所属类型的识别分类。

根据车辆自身的特征，其水平边缘和垂直边缘的关系如下：对于小汽车car的尾部图像，包含五条平行的水平边缘；对于载运货物车track的尾部图像，包含两条平行的水平边缘和两条平行的垂直边缘且共同组成一个矩形框；对于公共汽车bus的尾部图像，包含四条平行的水平边缘和四条平行的垂直边缘，分别组成两个矩形框。

为了提高检测检测，可以采用不同尺度的模块进行边缘检测，优选采用5*3模板进行水平边缘检测，3*5模板进行垂直检测。

3、将数据集中的尾部图像分为两个部分，一部分作为训练集，另一部分作为测试集，将训练集中处理后的尾部图像对应的特征作为神经网络输入，利用通过分类得分和基于窗口非极大值抑制方法进行车尾最佳位置和类别标签的确定，完成训练，再将测试集中处理后的尾部图像对应的特征作为已经训练好的神经网络输入，对其进行检测。

二，计算得到自车与前方车辆的垂直距离的方法包括以下步骤：

步骤Ⅰ、对上述存在区域进行灰度化处理，得到灰度图像，根据该灰度图像的均值和方差，对该灰度图像进行两次自适应阈值去噪，如图3所示，从而最大限度地抑制图像中的噪声干扰，为提取车尾下边沿周边的区域做好准备，具体如下：

利用如下方程式，计算该灰度图像的均值μ和方差σ，根据均值μ和方差σ，设置第一次自适应阈值threshold₁，进行初次去噪，再对初次去噪后的灰度图像重新计算对应的均值μ₁和方差σ₁，设置第二次自适应阈值threshold₂，进行再次去噪，

其中，f(x,y)为灰度图像在坐标点(x,y)处对应的亮度值，M,N分别为灰度图像的宽度和高度。

步骤Ⅱ、对去噪后的灰度图像进行二值化处理，提取车尾下边沿周边的区域。

经过两次自适应阈值去噪后，车尾下边沿周边的区域较灰度图像中其它区域的对比度更高，只要选择合适的阈值进行二值化处理，就可以将其提取出来，主要包含两个部分车尾下边沿所在的连通域和车底阴影所在的连通域。

步骤Ⅲ、设置面积阈值，从车尾下边沿周边的区域中筛选出车尾下边沿所在的连通域，如图4所示，找出该连通域的左侧边缘和右侧边缘在图像所在横轴上的投影点(Xmin,0)和(Xmax,0)，利用如下方程式，计算两个投影点之间的距离即为车尾下边沿在图像中的宽度P。

P＝X_max-X_min

由于车载相机固定在车内后视镜上，车载相机拍摄的角度取在15°左右，此时拍摄得到的图像中车底阴影效果最好，当相机角度越大时，采集到的车底阴影效果会比较差，而且，为了保持安全车距，车载相机的拍摄角度不可大于30°。同时，考虑到不同时间段，太阳光照的角度也会到车底阴影产生影响，我们选取上午9时、中午12时、下午3时和6时进行拍摄，经过大量的数据统计和计算，车尾下边沿所在的连通域的面积与车底阴影所在的连通域的面积的分布如图5所示，从图中可以看出，上述三种车辆“car”，“bus”，“truck”的车尾下边沿所在的连通域的面积不大于60，而车底阴影所在的连通域的面积不小于60，因此，该面积阈值优选55-60。

步骤Ⅳ、根据相似三角形原理，利用如下方程式，计算自车与前方车辆的垂直距离D，如图6所示，

其中，W表示前方车辆车尾下边沿的实际宽度，P表示前方车辆车尾下边沿在图像中的宽度，F表示拍摄前方车辆尾部图像的摄像头的焦距。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (3)

1.一种基于车辆类型识别的前方车辆定位方法，其特征在于：利用神经网络对前方车辆的尾部图像进行分类识别，判断前方车辆的所属类型，对所述前方车辆的尾部图像进行车尾下边沿的边缘检测，得到车尾下边沿在尾部图像中的宽度，根据检测得到前方车辆的车尾下边沿宽度和所属类型，利用相似三角形原理，计算得到自车与前方车辆的垂直距离，从而完成对前方车辆的定位；

判断前方车辆的所属类型的方法包括以下步骤：

步骤一、利用Prewitt边缘检测算子对前方车辆的尾部图像进行水平边缘和垂直边缘的检测,结合车辆自身的对称性特点,确定前方车辆在尾部图像中的存在区域；

步骤二、在所述存在区域内，重新利用Prewitt边缘检测算子进行水平边缘和垂直边缘的检测，以所述水平边缘和垂直边缘的平行关系和数量作为神经网络的输入，完成对前方车辆的所属类型的识别分类；

计算得到自车与前方车辆的垂直距离的方法包括以下步骤：

步骤Ⅰ、对所述存在区域进行灰度化处理，得到灰度图像，根据所述灰度图像的均值和方差，对所述灰度图像进行两次自适应阈值去噪；

步骤Ⅱ、对去噪后的灰度图像进行二值化处理，提取车尾下边沿周边的区域；

步骤Ⅲ、设置面积阈值，从所述区域中筛选出车尾下边沿所在的连通域，找出所述连通域的左侧边缘和右侧边缘在图像所在横轴上的投影点，计算两个投影点之间的距离即为车尾下边沿在图像中的宽度；

步骤Ⅳ、利用如下方程式，计算自车与前方车辆的垂直距离D，

其中，W表示前方车辆车尾下边沿的实际宽度，P表示前方车辆车尾下边沿在图像中的宽度，F表示拍摄前方车辆尾部图像的摄像头的焦距。

2.根据权利要求1所述的基于车辆类型识别的前方车辆定位方法，其特征在于：对于小汽车car的尾部图像，包含五条平行的水平边缘；对于载运货物车track的尾部图像，包含两条平行的水平边缘和两条平行的垂直边缘且共同组成一个矩形框；对于公共汽车bus的尾部图像，包含四条平行的水平边缘和四条平行的垂直边缘，分别组成两个矩形框。

3.根据权利要求1所述的基于车辆类型识别的前方车辆定位方法，其特征在于：利用如下方程式，计算所述灰度图像的均值μ和方差σ，根据所述均值μ和方差σ，设置第一次自适应阈值threshold₁，进行初次去噪，再对初次去噪后的灰度图像重新计算对应的均值μ₁和方差σ₁，设置第二次自适应阈值threshold₂，进行再次去噪，

其中，f(x,y)为灰度图像在坐标点(x,y)处对应的亮度值，M,N分别为灰度图像的宽度和高度。

Images