CN103116748A - 基于路面标识识别违规驾驶行为的方法及*** - Google Patents

Abstract

本发明提出一种基于路面标识识别违规驾驶行为的方法及***。其中，方法包括以下步骤：获取车辆行驶的道路图像，并对道路图像进行预处理以生成道路图像的二值化图像；根据二值化图像中的白像素点确定道路的边界以生成道路边界线；从道路图像中检测与道路边界线对应的道路线之间是否有引导标识，其中，引导标识包括公交专用标识和方向标识；以及当引导标识为方向标识时，根据方向标识和车辆状态信息判断车辆是否违规行驶。根据本发明实施例的方法，通过生成道路图像的二值化图像，并在该二值化图像中判别引导标识识别驾驶是否规范，提前预防了交通事故的发生，进而提高了驾驶的安全性。

Description

基于路面标识识别违规驾驶行为的方法及***

技术领域

本发明涉及驾驶行为的识别技术领域，特别涉及一种基于路面标识识别违规驾驶行为的方法及***。

背景技术

随着车辆数量的急速增加，给道路安全带来了诸多问题，例如，交通拥堵、交通事故频发等。在交通事故中很大一部分是由驾驶人的不规范驾驶而引起的。

路面标识识别的问题有以下几个方面：

路面情况复杂：行驶路面情况主要可以分为两类，一是在市区行驶时的路面情况，此时前方车辆较多，前方路面可能被遮挡，行驶情况多变复杂。二是在高速公路行驶时的路面情况，此时路面空旷，车辆比较少，利于车道线的检测和标识的识别。

光照影响：由于车辆行驶时光照变化对于采集到的路面图像影响较大。主要表现为夜晚采集图像不清晰、白天采集图像可能出现各个角度的光照不均、隧道及道路两旁树木对于采集图像的影响等。因此需要设计对于光照变化鲁棒的算法。

算法运行速度：车辆行驶时速度较快，并且需要进行车道线检测和标识识别。因此，我们研究的车道线以及标识的识别算法必须能够满足车辆高速行驶时的实时性要求，以提供安全的行驶保障。

目前普遍采用的方法是检测路边标识牌以及车辆状态信息的方法。该方法通过对路边标识牌的检测与识别确定当前车道对车辆行驶参数的制约情况，车辆状态信息通过车载传感器获得。检测路边标识牌结合车辆状态信息判断当前车辆行驶情况是否为违规行为。

现有技术的缺点：

（1）路边标识牌常被车辆及树木等遮挡，检测精度不高，没有检测路面标识稳定可靠。

（2）基于路边标识牌检测与车辆状态信息判断违规驾驶行为的判断逻辑不够完善。

（3）检测算法受光照条件的影响较大。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明一方面的实施例提出一种基于路面标识识别违规驾驶行为的方法，包括以下步骤：获取车辆行驶的道路图像，并对所述道路图像进行预处理以生成所述道路图像的二值化图像；根据所述二值化图像中的白像素点确定道路的边界以生成道路边界线；从所述道路图像中检测与所述道路边界线对应的道路线之间是否有引导标识，其中，所述引导标识包括公交专用标识和方向标识；以及当所述引导标识为方向标识时，根据所述方向标识和车辆状态信息判断所述车辆是否违规行驶。

根据本发明实施例的方法，通过生成道路图像的二值化图像，并在该二值化图像中判别引导标识识别驾驶是否规范，提前预防了交通事故的发生，进而提高了驾驶的安全性。

本发明的一个实施例中，当引导标识为公交车专用车道标识时，向驾驶员发出提示信息。

本发明的一个实施例中，所述引导标识和引导标识模板的特征相似度小于阈值时，则所述引导标识与相对应的引导标识模板相同。

本发明的一个实施例中，所述预处理包括线性滤波和帧间叠加。

为达到上述目的，本发明的实施例另一方面提出一种基于路面标识识别违规驾驶行为的***，包括：预处理模块，用于获取车辆行驶的道路图像，并对所述道路图像进行预处理以生成所述道路图像的二值化图像；生成模块，用于根据所述二值化图像中的白像素点确定道路的边界以生成道路边界线；检测模块，用于从所述道路图像中检测与所述道路边界线对应的道路线之间是否有引导标识，其中，所述引导标识包括公交专用标识和方向标识；以及处理模块，用于当所述引导标识为方向标识时，根据所述方向标识和车辆状态信息判断所述车辆是否违规行驶。

根据本发明实施例的***，通过生成道路图像的二值化图像，并在该二值化图像中判别引导标识识别驾驶是否规范，提前预防了交通事故的发生，进而提高了驾驶的安全性。

本发明的一个实施例中，所述处理模块还用于当引导标识为公交车专用车道标识时，向驾驶员发出提示信息。

本发明的一个实施例中，所述引导标识和引导标识模板的特征相似度小于阈值时，则所述引导标识与相对应的引导标识模板相同。

本发明的一个实施例中，所述预处理包括线性滤波和帧间叠加。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于路面标识识别违规驾驶行为的方法的流程图；

图2为根据本发明一个实施例的实际道路图像；

图3为根据本发明一个实施例的礼帽运算图像；

图4为根据本发明一个实施例的二值化图像；

图5为根据本发明一个实施例的进行帧间叠加的二值化图像；

图6为根据本发明一个实施例的道路边界线的搜索示意图；

图7为根据本发明一个实施例的引导标识模板图；

图8为根据本发明一个实施例的直行线上左、右转弯的示意图；

图9为根据本发明一个实施例的公交车道占用示意图；

图10为根据本发明一个实施例的左、右转弯车道上直行的示意图；以及

图11为本发明实施例的基于路面标识识别违规驾驶行为的***的结构框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明实施例的基于路面标识识别违规驾驶行为的方法的流程图。如图1所示，根据本发明实施例的基于路面标识识别违规驾驶行为的方法，包括以下步骤：

步骤S101，获取车辆行驶的道路图像，并对道路图像进行预处理以生成道路图像的二值化图像。其中，预处理包括线性滤波和帧间叠加。

具体地，本项目采用所谓的“礼帽”运算进行形态学滤波。“礼帽”运算定义为该图像和其开运算之间的逐像素差分，而开运算定义为对图像先进行腐蚀，再进行膨胀。这里的腐蚀和膨胀运算都是实数域上的运算。

腐蚀：dst(x,y)=min(x',y');element(x',y')≠0src(x+x',y+y')，其中，src为源图像，dst为目标图像，element为结构元素，x',y'和x,y分别表示结构元素与图像像素的坐标。

膨胀：dst(x,y)=max(x',y');element(x',y')≠0src(x+x',y+y')，其中，src为源图像，dst为目标图像，element为结构元素，x',y'和x,y分别表示结构元素与图像像素的坐标。

于是“礼帽”运算可以定义为：dst=src-open(src,element)=src-dilate(erode(src,element))，其中，open(src,dlement)表示开运算，dilate(erode(src,element))表示先进行腐蚀，再进行膨胀。“礼帽”运算突出了比周围像素更亮的点，图2和图3分别为实际道路图像和礼帽运算图像。从图3中可以看出礼帽运算的结果不受全局光照的影响，换言之，结果只与像素与周边像素的大小关系决定，这一优点源于运算中的差分环节，这一优点与图片的梯度特征是一致的，但梯度特征对于中心倒影带来的严重干扰更加敏感。

由“礼帽”运算直接进行阈值化已经能够得到较好的结果，但结果依赖于阈值的选择，因此利用模板滤波来实现。注意到道路线的特征不仅是具有明显的边缘，同时道路线也具有明显的宽度，因此考虑如表1所示的模板对图像进行卷积，之后再对卷积图像进行阈值化，采取固定的阈值（灰度值220），得到二值化图像，如图4所示。但是，其道路线为不连续的线条，因此再进行帧间叠加使得道路线成为连续的线。

表1

-1	-1	-1	-1	1	1	1	1
								-1	-1	-1	-1	1	1	1	1

道路线不总是连续的，例如，图4所示，道路线左侧连续，而右侧为间断的虚线。而公路上常见的虚线类型又有长虚线（如图4）和短虚线两种，可以对三种虚线类型分别处理，但对帧间信息的帧间叠加可以使原本间断的道路线成为连续的直线，从而得到最终的二值化图像，如图5所示。

步骤S102，根据二值化图像中的白像素点确定道路的边界以生成道路边界线。

具体地，对于道路的数学模型有多种选择，直线模型的拟合最为简单，也有包含更多参数的高阶多项式模型及双曲线模型，本***选择了直线模型，其主要原因除了计算简单的考虑外还在于：对于路面符号的检测范围仅限于车前一小段距离，即使是曲率很大的路面（类似于立交桥上的环形弯道），在车辆前方的一小段距离内也可以大致近似成直线，而曲线模型带来的关于道路在远方的趋势信息对于近处的路面符号检测没有帮助。

在本发明的一个实施例中，在得到二值化图像的基础上，需要得到道路线的准确参数，即确定道路的边界线。通过采用基于经验规则的逐行搜索方法，这种方法具有计算快速的优点，虽然这种方法容易受到噪声以及路面符号的干扰，但如果适当利用帧间信息，上述干扰的影响可以被大幅消减。

在本发明的一个实施例中，在二值化图像中按行进行搜素，从中线向左右两侧开始搜索，每行存储搜索得到的第一个白色点，将这个点当作可能的道路线点，每向道路点集合中加入一个新的点，下一次的搜索范围就在上一个点的附近。直到连续出现多次搜索失败或达到手工设定的边界时认为搜索结束，对已有的结果进行直线拟合，若相关系数大于某个阈值（例如0.99）则接受搜索结果，否则就从集合中的第一个点的附近选取一新起始点，继续进行搜索过程。

典型情况下成功的搜索如图6所示，圆圈代表搜索的点的轨迹，搜索左侧道路线时，首先从中线开始向左搜索，将遇到的第一个白像素加入道路线集合，之后每次的搜索都在之前的上一行，而水平方向上的搜索范围在之前点的附近，如此很大程度上地减少了搜索量。在搜索过程中可能会遇到并非道路线上的像素但其灰度值为255，由于以这样的像素点为开始的后续的搜索无法找到在同一直线上的多个白色像素，这样的错误初始点会被抛弃。通过这种方式可得到一个类似直线型的白像素点集合。

从所得到的白像素点集合中各点位于道路内侧边缘上的位置之后，采用最小二乘拟合生成道路的边界线。最小二乘拟合是一种直线优化技术，已知一组点(x_i,y_i)位于直线x=ky+b上，已知对于y_i的测量是准确的，全部的误差来自于x坐标（即列的位置是有误差的），最小二乘方法给出了最小化误差平方k、b的估计，

其中，S_x=∑x_i为白像素点x坐标之和，x_i为白像素点x坐标，S_y=∑y_i为白像素点y坐标之和，y_i为白像素点y坐标，S_xy=∑x_iy_i，

为白像素点坐标的相应运算，

为参数k的估计值，为参数b的估计值。

在本发明的一个实施例中，道路线搜索算法中确实包含了对于噪声的抵抗能力，但仅限于不在同一直线上的噪声，而道路间的符号包含了数量众多的白像素点，很容易找出在同一直线上的若干个像素，从而造成搜索算法不能正常工作。假设所得到的上一帧图像是正确的，这个信息就为消除道路中间的符号提供了重要的依据，因为只要将两条斜边延长交于消失点，两条斜线与水平的底线组成了三角形的道路区，道路区外是道路线，而道路区内是可能造成干扰的道路间的符号，因此去除干扰的方法就是将道路区内的像素都置成黑色，由此可准确的得出道路的边界线。

步骤S103，从道路图像中检测与道路边界线对应的道路线之间是否有引导标识，其中，引导标识包括公交专用标识和方向标识。

具体地，引导标识有引导标识模板，由于其结构简单可通过引导标识模板与处理所获得的引导标识进行比较，从而确定是何种引导标识。引导标识包括公交专用标识和方向标识，如图7所示。

步骤S104，当引导标识为方向标识时，根据方向标识和车辆状态信息判断车辆是否违规行驶。

在本发明的一个实施例中，确定道路线后，为了更加稳定地进行模式分类，需要将摄像机的平视视图变换为俯视视图，这样的变换对于匹配非常重要，因为在平视视图中摄像机的水平位移会导致符号的形状发生变化，而俯视视图中，只要正确地确定了道路线，符号的形状就是大致固定的。经过转换后，俯视块中有很大可能存在着标识，下面通过模板匹配的方法决定标识的种类。即定义图片与模板间的相关系数C(I,I_i)，其中I_i是引导标识i的模板，图像的分类按照如下方式确定：x=argmax_iC(I,I_i)，其中，x表示最终确定的引导标识类别。

也就是在所有模板中寻找与图片相关度最高的一幅。同时为了处理没有包含在模板库中的标识并且增强对噪声的抵抗能力，当最大相关系数仍旧较小时认为识别失败，放弃对这一符号的识别，于是分类依据可以完整地表述为： $x=\left\{\begin{array}{c}{\arg \max }_{i}C(I,I_i),\mathrm{if}\max \left(C(I,I_i)\right)>\mathrm{TH}\\ -1,\mathrm{else}\end{array}\right.,$ 其中，TH表示手动设定的相关系数阈值。分类输出为-1表示分类失败。

相关系数的选择对于分类的效果有着重要的影响，就这一问题研究者提出了多种相关系数的计算方法，需要在不同的场合择优选取。

在本发明的一个实施例中，最常用的实向量的相似性测度包括内积、余弦相关系数、Pearson相关系数和汉明测度。

(1)内积

定义为C(x,y)=x^Ty=∑x_iy_i，其中，x_i与y_i分别表示向量x与y的坐标。在大多数情况下，当向量x和y被归一化而具有相同的长度a时，C的上限和下限分别为+a²和-a²。

（2）余弦相关系数

余弦相关系数与内积相关较大，定义为：其中，x和y分别表示向量。这一相关系数有着向量夹角余弦的几何意义，也是归一化于-1到+1之间的相关系数，而且是旋转不变的。

（3）Pearson相关系数。其表达式是：

其中，x_d=(x₁-m_x,x₂-m_x,…,x_n-m_x)表示向量x与均值的差值坐标，y_d=(y₁-m_y,y₂-m_y,…,y_n-m_y)表示向量y与均值的差值坐标，表示向量x的均值，表示向量y的均值，x_i与y_i分别为向量x与y的坐标。

（4）汉明测度，设 $A_i=\left\{\begin{array}{c}1,{\mathrm{ifx}}_i=y_i\\ 0,\mathrm{otherwise}\end{array}\right.,C(x,y)=\mathrm{\Σ}{A}_i,$ 其中，x_i与y_i分别为向量x与y的坐标。

根据C(x,y)获得引导标识和引导标识模板的特征相似度，当相似度即相关系数小于阈值时，则引导标识与相对应的引导标识模板相同，从而确定引导标识的类别。

在本发明的一个实施例中，由于余弦相关系数能够取得较好的分类效果，因此采用余弦相关系数作为引导标识和引导标识模板之间的相似性度量方法。

本发明所要识别的违规驾驶包括直行线左、右转，转弯未开转向灯，占用公交车道和左、右转弯车道直行。

图8为根据本发明一个实施例的直行线上左、右转弯的示意图。如图8所示，车辆在直行车道上，不应该存在左、右转弯的驾驶行为，若驾驶人想左、右转弯应该变更至左右转弯车道上。在直行线上转弯，即使开启了转向车灯，后方驾驶员也会误以为前方车辆为换线行为，造成后方驾驶人未能有效解读出前方驾驶人的操作意图，没有一定的心理及行为上的准备，造成安全隐患。

路面标识检测到直行标识时，检测方向盘转角信号，若方向盘转角在一定阈值内变化，说明当前状态下，车辆没有转弯行为；若方向盘转角超过了一定的阈值，说明车辆有转弯行为。若检测到车辆有转弯行为，则违规程序输出预警信息。

在本发明的一个实施例中，车辆转弯行驶时，一般伴随着降低车速的驾驶行为，若此时未开启转向灯，跟随车辆未能有效辨识出前车的驾驶意图，依旧直线快速行驶，此时便会造成严重的交通事故。转弯未开转向灯行为，危害巨大。

路面标识检测到左转或右转标识时，说明车辆行驶在转向车道上。此时检测方向盘转角信号，若方向盘转角在一定的转角阈值内，驾驶人员开启转向灯，说明驾驶人已经产生了转向意识，且开启了转向车灯。若超过一定的转角阈值，驾驶人员仍未开启转向车灯，则违规程序输出预警信息，通知驾驶人应该开启转向灯。道路设专用车道的，在专用车道内，只准许规定的车辆通行，其他车辆不得进入专用车道内行驶。

图9为根据本发明一个实施例的公交车道占用示意图。如图9所示，在道路资源严重稀缺的现实中，设置公交专用道是为了解决大多数人的出行问题。公交专用道的设置，提升了市民乘坐公交的热情，公交专用车道用于提醒市民应改变出行方式，减少驾驶私家车，选择公共交通，从而缓解交通拥堵。在交通运输高峰时期，占用公交车道，势必造成交通拥堵，影响交通运力。路面标识检测到“公”、“交”、“车”、“道”标识时，说明当前情况下，车辆行驶在公交专用车道上，占用了公交车道，违规程序发出预警提示信息，通知驾驶人变更车道，从当前车道变更至其他车道。

图10为根据本发明一个实施例的左、右转弯车道上直行的示意图。如图10所示，设立左、右转车道是为了便于车辆转弯行驶。车辆转弯行驶时，一般伴随着减速行为。若在左、右转车道上，前方车辆有转弯行为，则其开始减速，并开启转向车灯，若此时自车仍高速行驶在左、右转车道上，未能有效意识到前车的转弯行为，则很有可能与前车发生碰撞，造成严重的交通安全事故。

路面标识检测到左转或右转标识时，说明车辆行驶在转向车道上。此时检测车速信号，将车速对时间积分，若在一定的距离范围内，驾驶人员开启转向灯，说明驾驶人的驾驶意图为转向行驶，且已经意识到自车行驶在转向车道上，开启了转向车灯准备换道。若超过一定的距离阈值，驾驶人员仍未开启转向车灯，依旧直线行驶，则违规程序输出预警信息。

根据本发明实施例的方法，通过生成道路图像的二值化图像，并在该二值化图像中判别引导标识识别驾驶是否规范，提前预防了交通事故的发生，进而提高了驾驶的安全性。

图11为本发明实施例的基于路面标识识别违规驾驶行为的***的结构框图，如图11所示，根据本发明实施例的基于路面标识识别违规驾驶行为的***状态评估***包括预处理模块100、生成模块200、检测模块300和处理模块400。

预处理模块100用于获取车辆行驶的道路图像，并对道路图像进行预处理以生成道路图像的二值化图像。

具体地，本项目采用所谓的“礼帽”运算进行形态学滤波。“礼帽”运算定义为该图像和其开运算之间的逐像素差分，而开运算定义为对图像先进行腐蚀，再进行膨胀。这里的腐蚀和膨胀运算都是实数域上的运算。

腐蚀：dst(x,y)=min(x',y');element(x',y')≠0src(x+x',y+y')，其中，src为源图像，dst为目标图像，element为结构元素，x',y'和x,y分别表示结构元素与图像像素的坐标。

膨胀：dst(x,y)=max(x',y');element(x',y')≠0src(x+x',y+y')，其中，src为源图像，dst为目标图像，element为结构元素，x',y'和x,y分别表示结构元素与图像像素的坐标。

于是“礼帽”运算可以定义为：dst=src-open(src,element)=src-dilate(erode(src,element))，其中，open(src,dlement)表示开运算，dilate(erode(src,element))表示先进行腐蚀，再进行膨胀。“礼帽”运算突出了比周围像素更亮的点，图2和图3分别为实际道路图像和礼帽运算图像。从图3中可以看出礼帽运算的结果不受全局光照的影响，换言之，结果只与像素与周边像素的大小关系决定，这一优点源于运算中的差分环节，这一优点与图片的梯度特征是一致的，但梯度特征对于中心倒影带来的严重干扰更加敏感。

由“礼帽”运算直接进行阈值化已经能够得到较好的结果，但结果依赖于阈值的选择，因此利用模板滤波来实现。注意到道路线的特征不仅是具有明显的边缘，同时道路线也具有明显的宽度，因此考虑如表1所示的模板对图像进行卷积，之后再对卷积图像进行阈值化，采取固定的阈值（灰度值220），得到二值化图像，如图4所示。但是，其道路线为不连续的线条，因此再进行帧间叠加使得道路线成为连续的线。

表1

-1	-1	-1	-1	1	1	1	1
								-1	-1	-1	-1	1	1	1	1

道路线不总是连续的，例如，图4所示，道路线左侧连续，而右侧为间断的虚线。而公路上常见的虚线类型又有长虚线（如图4）和短虚线两种，可以对三种虚线类型分别处理，但对帧间信息的帧间叠加可以使原本间断的道路线成为连续的直线，从而得到最终的二值化图像，如图5所示。

生成模块200用于根据二值化图像中的白像素点确定道路的边界以生成道路边界线。

具体地，对于道路的数学模型有多种选择，直线模型的拟合最为简单，也有包含更多参数的高阶多项式模型及双曲线模型，本***选择了直线模型，其主要原因除了计算简单的考虑外还在于：对于路面符号的检测范围仅限于车前一小段距离，即使是曲率很大的路面（类似于立交桥上的环形弯道），在车辆前方的一小段距离内也可以大致近似成直线，而曲线模型带来的关于道路在远方的趋势信息对于近处的路面符号检测没有帮助。

在本发明的一个实施例中，在得到二值化图像的基础上，需要得到道路线的准确参数，即确定道路的边界线。通过采用基于经验规则的逐行搜索方法，这种方法具有计算快速的优点，虽然这种方法容易受到噪声以及路面符号的干扰，但如果适当利用帧间信息，上述干扰的影响可以被大幅消减。

在本发明的一个实施例中，在二值化图像中按行进行搜素，从中线向左右两侧开始搜索，每行存储搜索得到的第一个白色点，将这个点当作可能的道路线点，每向道路点集合中加入一个新的点，下一次的搜索范围就在上一个点的附近。直到连续出现多次搜索失败或达到手工设定的边界时认为搜索结束，对已有的结果进行直线拟合，若相关系数大于某个阈值（例如0.99）则接受搜索结果，否则就从集合中的第一个点的附近选取一新起始点，继续进行搜索过程。

典型情况下成功的搜索如图6所示，圆圈代表搜索的点的轨迹，搜索左侧道路线时，首先从中线开始向左搜索，将遇到的第一个白像素加入道路线集合，之后每次的搜索都在之前的上一行，而水平方向上的搜索范围在之前点的附近，如此很大程度上地减少了搜索量。在搜索过程中可能会遇到并非道路线上的像素但其灰度值为255，由于以这样的像素点为开始的后续的搜索无法找到在同一直线上的多个白色像素，这样的错误初始点会被抛弃。通过这种方式可得到一个类似直线型的白像素点集合。

从所得到的白像素点集合中各点位于道路内侧边缘上的位置之后，采用最小二乘拟合生成道路的边界线。最小二乘拟合是一种直线优化技术，已知一组点(x_i,y_i)位于直线x=ky+b上，已知对于y_i的测量是准确的，全部的误差来自于x坐标（即列的位置是有误差的），最小二乘方法给出了最小化误差平方k、b的估计，

其中，S_x=∑x_i为白像素点x坐标之和，x_i为白像素点x坐标，S_y=∑y_i为白像素点y坐标之和，y_i为白像素点y坐标，S_xy=∑x_iy_i，

为白像素点坐标的相应运算，

为参数k的估计值，

为参数b的估计值。

在本发明的一个实施例中，道路线搜索算法中确实包含了对于噪声的抵抗能力，但仅限于不在同一直线上的噪声，而道路间的符号包含了数量众多的白像素点，很容易找出在同一直线上的若干个像素，从而造成搜索算法不能正常工作。假设所得到的上一帧图像是正确的，这个信息就为消除道路中间的符号提供了重要的依据，因为只要将两条斜边延长交于消失点，两条斜线与水平的底线组成了三角形的道路区，道路区外是道路线，而道路区内是可能造成干扰的道路间的符号，因此去除干扰的方法就是将道路区内的像素都置成黑色，由此可准确的得出道路的边界线。

检测模块300用于从道路图像中检测与道路边界线对应的道路线之间是否有引导标识，其中，引导标识包括公交专用标识和方向标识。

具体地，引导标识有引导标识模板，由于其结构简单可通过引导标识模板与处理所获得的引导标识进行比较，从而确定是何种引导标识。引导标识包括公交专用标识和方向标识，如图7所示。

处理模块400用于当引导标识为方向标识时，根据方向标识和车辆状态信息信息判断车辆是否违规行驶。

在本发明的一个实施例中，确定道路线后，为了更加稳定地进行模式分类，需要将摄像机的平视视图变换为俯视视图，这样的变换对于匹配非常重要，因为在平视视图中摄像机的水平位移会导致符号的形状发生变化，而俯视视图中，只要正确地确定了道路线，符号的形状就是大致固定的。经过转换后，俯视块中有很大可能存在着标识，下面通过模板匹配的方法决定标识的种类。即定义图片与模板间的相关系数C(I,I_i)，其中I_i是引导标识i的模板，图像的分类按照如下方式确定：x=argmax_iC(I,I_i)，其中，x表示最终确定的引导标识类别。

也就是在所有模板中寻找与图片相关度最高的一幅。同时为了处理没有包含在模板库中的标识并且增强对噪声的抵抗能力，当最大相关系数仍旧较小时认为识别失败，放弃对这一符号的识别，于是分类依据可以完整地表述为： $x=\left\{\begin{array}{c}{\arg \max }_{i}C(I,I_i),\mathrm{if}\max \left(C(I,I_i)\right)>\mathrm{TH}\\ -1,\mathrm{else}\end{array}\right.,$ 其中，TH表示手动设定的相关系数阈值。分类输出为-1表示分类失败。

相关系数的选择对于分类的效果有着重要的影响，就这一问题研究者提出了多种相关系数的计算方法，需要在不同的场合择优选取。

在本发明的一个实施例中，最常用的实向量的相似性测度包括内积、余弦相关系数、Pearson相关系数和汉明测度。

(1)内积

定义为C(x,y)=x^Ty=∑x_iy_i，其中，x_i与y_i分别表示向量x与y的坐标。在大多数情况下，当向量x和y被归一化而具有相同的长度a时，C的上限和下限分别为+a²和-a²。

（2）余弦相关系数

余弦相关系数与内积相关较大，定义为：

其中，x和y分别表示向量。这一相关系数有着向量夹角余弦的几何意义，也是归一化于-1到+1之间的相关系数，而且是旋转不变的。

（3）Pearson相关系数。其表达式是：

其中，x_d=(x₁-m_x,x₂-m_x,…,x_n-m_x)表示向量x与均值的差值坐标，y_d=(y₁-m_y,y₂-m_y,…,y_n-m_y)表示向量y与均值的差值坐标，

表示向量x的均值，表示向量y的均值，x_i与y_i分别为向量x与y的坐标。

（4）汉明测度，设 $A_i=\left\{\begin{array}{c}1,{\mathrm{ifx}}_i=y_i\\ 0,\mathrm{otherwise}\end{array}\right.,C(x,y)=\mathrm{\Σ}{A}_i,$ 其中，x_i与y_i分别为向量x与y的坐标。

根据C(x,y)获得引导标识和引导标识模板的特征相似度，当相似度即相关系数小于阈值时，则引导标识与相对应的引导标识模板相同，从而确定引导标识的类别。在本发明的一个实施例中，由于余弦相关系数能够取得较好的分类效果，因此采用余弦相关系数作为引导标识和引导标识模板之间的相似性度量方法。

本发明所要识别的违规驾驶包括直行线左、右转，转弯未开转向灯，占用公交车道和左、右转弯车道直行。

图8为根据本发明一个实施例的直行线上左、右转弯的示意图。如图8所示，车辆在直行车道上，不应该存在左、右转弯的驾驶行为，若驾驶人想左、右转弯应该变更至左右转弯车道上。在直行线上转弯，即使开启了转向车灯，后方驾驶员也会误以为前方车辆为换线行为，造成后方驾驶人未能有效解读出前方驾驶人的操作意图，没有一定的心理及行为上的准备，造成安全隐患。

路面标识检测到直行标识时，检测方向盘转角信号，若方向盘转角在一定阈值内变化，说明当前状态下，车辆没有转弯行为；若方向盘转角超过了一定的阈值，说明车辆有转弯行为。若检测到车辆有转弯行为，则违规程序输出预警信息。

在本发明的一个实施例中，车辆转弯行驶时，一般伴随着降低车速的驾驶行为，若此时未开启转向灯，跟随车辆未能有效辨识出前车的驾驶意图，依旧直线快速行驶，此时便会造成严重的交通事故。转弯未开转向灯行为，危害巨大。

路面标识检测到左转或右转标识时，说明车辆行驶在转向车道上。此时检测方向盘转角信号，若方向盘转角在一定的转角阈值内，驾驶人员开启转向灯，说明驾驶人已经产生了转向意识，且开启了转向车灯。若超过一定的转角阈值，驾驶人员仍未开启转向车灯，则违规程序输出预警信息，通知驾驶人应该开启转向灯。道路设专用车道的，在专用车道内，只准许规定的车辆通行，其他车辆不得进入专用车道内行驶。

图9为根据本发明一个实施例的公交车道占用示意图。如图9所示，在道路资源严重稀缺的现实中，设置公交专用道是为了解决大多数人的出行问题。公交专用道的设置，提升了市民乘坐公交的热情，公交专用车道用于提醒市民应改变出行方式，减少驾驶私家车，选择公共交通，从而缓解交通拥堵。在交通运输高峰时期，占用公交车道，势必造成交通拥堵，影响交通运力。路面标识检测到“公”、“交”、“车”、“道”标识时，说明当前情况下，车辆行驶在公交专用车道上，占用了公交车道，违规程序发出预警提示信息，通知驾驶人变更车道，从当前车道变更至其他车道。

图10为根据本发明一个实施例的左、右转弯车道上直行的示意图。如图10所示，设立左、右转车道是为了便于车辆转弯行驶。车辆转弯行驶时，一般伴随着减速行为。若在左、右转车道上，前方车辆有转弯行为，则其开始减速，并开启转向车灯，若此时自车仍高速行驶在左、右转车道上，未能有效意识到前车的转弯行为，则很有可能与前车发生碰撞，造成严重的交通安全事故。

路面标识检测到左转或右转标识时，说明车辆行驶在转向车道上。此时检测车速信号，将车速对时间积分，若在一定的距离范围内，驾驶人员开启转向灯，说明驾驶人的驾驶意图为转向行驶，且已经意识到自车行驶在转向车道上，开启了转向车灯准备换道。若超过一定的距离阈值，驾驶人员仍未开启转向车灯，依旧直线行驶，则违规程序输出预警信息。

根据本发明实施例的***，通过生成道路图像的二值化图像，并在该二值化图像中判别引导标识识别驾驶是否规范，提前预防了交通事故的发生，进而提高了驾驶的安全性。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于路面标识识别违规驾驶行为的方法，其特征在于，包括以下步骤：

获取车辆行驶的道路图像，并对所述道路图像进行预处理以生成所述道路图像的二值化图像；

根据所述二值化图像中的白像素点确定道路的边界以生成道路边界线；

从所述道路图像中检测与所述道路边界线对应的道路线之间是否有引导标识，其中，所述引导标识包括公交专用标识和方向标识；以及

当所述引导标识为方向标识时，根据所述方向标识和车辆状态信息判断所述车辆是否违规行驶。

2.如权利要求1所述的基于路面标识识别违规驾驶行为的方法，其特征在于，当引导标识为公交车专用车道标识时，向驾驶员发出提示信息。

3.如权利要求1或2所述的基于路面标识识别违规驾驶行为的方法，其特征在于，所述引导标识和引导标识模板的特征相似度小于阈值时，则所述引导标识与相对应的引导标识模板相同。

4.如权利要求1所述的基于路面标识识别违规驾驶行为的方法，其特征在于，所述预处理包括线性滤波和帧间叠加。

5.一种基于路面标识识别违规驾驶行为的***，其特征在于，包括：

预处理模块，用于获取车辆行驶的道路图像，并对所述道路图像进行预处理以生成所述道路图像的二值化图像；

生成模块，用于根据所述二值化图像中的白像素点确定道路的边界以生成道路边界线；

检测模块，用于从所述道路图像中检测与所述道路边界线对应的道路线之间是否有引导标识，其中，所述引导标识包括公交专用标识和方向标识；以及

处理模块，用于当所述引导标识为方向标识时，根据所述方向标识和车辆状态信息判断所述车辆是否违规行驶。

6.如权利要求5所述的基于路面标识识别违规驾驶行为的***，其特征在于，所述处理模块还用于当引导标识为公交车专用车道标识时，向驾驶员发出提示信息。

7.如权利要求5或6所述的基于路面标识识别违规驾驶行为的***，其特征在于，所述引导标识和引导标识模板的特征相似度小于阈值时，则所述引导标识与相对应的引导标识模板相同。

8.如权利要求5所述的基于路面标识识别违规驾驶行为的***，其特征在于，所述预处理包括线性滤波和帧间叠加。

Images