CN101984478B

CN101984478B - 基于双目视觉车道线检测的非正常s型驾驶预警方法

Info

Publication number: CN101984478B
Application number: CN2010102438309A
Authority: CN
Inventors: 周泓; 刘林冲; 徐海儿; 虞侠挺
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2010-08-03
Filing date: 2010-08-03
Publication date: 2012-08-08
Anticipated expiration: 2030-08-03
Also published as: CN101984478A

Abstract

本发明专利公开了一种基于双目视觉车道线检测的非正常S型驾驶预警方法，该方法通过对前视方向和侧视方向采集到的视频图像进行分析，即可判定出车辆行驶的“S”型路线，然后通过语音或亮灯的方式对驾驶员进行报警。该方法是通过间接的方法来判别驾驶员的驾驶状态，没有对驾驶员驾驶状态产生任何干扰，能够有效防止车辆事故的发生。

Description

基于双目视觉车道线检测的非正常S型驾驶预警方法

技术领域

本发明涉及一种在具有良好标识线的公路上的辅助驾驶技术，尤其涉及一种提高汽车驾驶的安全性乃至整个公路***的安全性的基于双目视觉车道线检测的非正常S型驾驶预警方法。

背景技术

人机工程学的研究表明，交通事故是在人-车-环境***中产生不稳定或不平衡时发生的。道路交通事故的直接或间接原因包括人、车、路及各种环境因素。其中由于疲劳驾驶、酒后驾驶以及其它精力不集中情况下驾驶操作失误而引发的车辆偏离车道行驶是导致重大交通事故发生的主要原因之一。根据(美国)联邦公路局的估计，美国2002年所有的致命的交通事故中44％是跟车道偏离驾驶有关。同时，多次跨越车道线行驶即“S”型线路驾驶也被看成车祸事故的主要原因，不仅危害“S”型线路行驶的驾驶员本身的安全，对道路上其他驾驶员及公共财产也存在着很大的安全隐患。因此，对“S”型驾驶检测与预警的研究很有必要。

目前，有学者针对结构化高速道路进行车道线识别研究，分别采用曲线拟合方法、Hough变换法、逆投射投影变换车道线检测方法等，但由于上述方法都是对灰度图像进行处理，图像预处理复杂，其他因素对车道线的提取干扰太大，提取车道线的准确率较低。在车道偏离车道线预警决策中，多数采用的是一次车道偏离就报警的策略，这样可能会产生误报，不能很好的反映出驾驶员目前的驾驶状态；而对多次车道跨越行驶的“S”型驾驶检测与预警就能比较理想的反应驾驶员当前是否处于非正常驾驶状态，从而及时发现安全隐患，有效避免交通事故的发生。

发明内容

本发明的目的在于针对现有车道偏离预警***中普遍采用的灰度图像处理和单目视觉方法检测车道线的不足，提供一种基于双目视觉车道线检测的非正常S型驾驶预警方法。

本发明的目的是通过以下技术方案来实现的：一种基于双目视觉车道线检测的非正常S型驾驶预警方法，它包括以下步骤：

(1)采集前视和侧视彩***图像：通过车载CCD摄像头采集标准模式图像，即现实中的公路图像；将前视摄像头装在车顶，采集车头前面的车道线，将侧视摄像头装在车的左侧，采集车辆左侧的车道线。

(2)转换标准模式图像的颜色模型，从RGB模型转向HSI模型，利用饱和度亮度分量作为特征参数进行图像分割，采用Hough直线检测提取出车道线。

(3)车道预警决策中，首先采用TLC方法判别车辆每一次的触界或跨界与否，并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶。

(4)对驾驶员进行报警：通过预警决策判断满足报警条件之后，通过语音报警或亮灯报警对驾驶员进行报警。

本发明的有益效果是：本发明通过对前视方向和侧视方向采集到的视频图像进行分析，即可判定出车辆行驶的“S”型路线，然后通过语音或亮灯的方式对驾驶员进行报警。该方法是通过间接的方法来判别驾驶员的驾驶状态，没有对驾驶员驾驶状态产生任何干扰，有效防止车辆事故的发生。

附图说明

图1是本发明车道检测判别和预警决策框图；

图2是采集到的前视和侧视车道原始图像，其中，(a)是前视图像，(b)是侧视图像；

图3是RGB颜色模型转化到HSI颜色模型，得到的亮度分量图像，其中，(a)是前视图像，(b)是侧视图像；

图4是RGB颜色模型转化到HSI颜色模型，根据饱和度和亮度分量二值化后的图像，其中，(a)是前视图像，(b)是侧视图像；

图5是对二值化后的图像进行形态学操作消除噪声干扰后的结果，其中，(a)是前视图像，(b)是侧视图像；

图6是Hough直线检测后的结果，其中，(a)前视图像，(b)是侧视图像。

具体实施方式

目前，国内对车道线的检测很多。有学者针对结构化高速道路进行车道线识别研究，分别采用曲线拟合方法、Hough变换法、逆投射投影变换车道线检测方法等，但由于上述方法都是对灰度图像进行处理，图像预处理复杂，其他因素对车道线的提取干扰太大，提取车道线的准确率较低。

在车道偏离预警方面采用的方法有：(1)基于车辆在车道中的当前位置(Car’s Current Position，CCP)，(2)基于将来偏离量的不同(Future OffsetDifference，FOD)，(3)基于车辆将横越车道边界的时间(Time to Lane Crossing，TLC)，(4)基于知识的道路场景感知(Knowledge-Based Interpretation of RoadScenes，KBIRS)。目前采用较多的是TLC预警方法，但他们都是采用一次触界报警的TLC方法，即要根据以后几秒钟内车辆运动假设模型，估计出车辆将触碰车道的时间，设置一个合理的时间阈值，当估计出的时间小于该阈值时就触发报警。

通过对比分析发现，车道线的饱和度较低，这也可以作为区别于车道线和其他干扰因素的特征之一。所以本发明专利提出一种在HSI模型下利用饱和度和亮度综合特征并采用Hough直线检测来提取车道线的方法。

在车道预警判定决策方面，针对的是“S”型线路即多次触界或跨界的检测。

本发明基于双目视觉车道线检测的非正常“S”型驾驶预警方法框图如附图1所示，主要步骤如下：

1采集前视和侧视彩***图像：

采用车载CCD摄像头采集标准模式图像，即现实中的公路图像。将前视摄像头装在车顶，保证能够采集到车头前面的车道线，将侧视摄像头装在车的左侧，使得能够采集到车辆左侧的车道线。采集到的车道前视和侧视车道线原始图像如图2所示。

2转换标准模式图像的颜色模型，从RGB模型转向HSI模型，利用饱和度亮度分量作为特征参数进行图像分割，采用Hough直线检测提取出车道线：首先，对采集到视频图像进行预处理，采用7*7模板进行中值滤波，消除突变的噪声点；然后将图像RGB模型转换为HSI模型，HSI模型中亮度分量如附图3所示；接着利用饱和度值和亮度值作为特征参数提取车道线，主要步骤如下：

1)图像二值化：选定饱和度亮度合适的阈值区间对图像进行二值化，计算公式由式(1)给出：

式中：g(x，y)为二值化后图像，s为饱和度值，s₁为饱和度阈值，i为亮度值，i₁为亮度阈值。阈值可以通过计算饱和度和亮度图的直方图得出。二值化结果如附图4所示。

2)形态学操作：对二值图像进行开运算操作，消除阈值分割后遗留的噪声。采用半径为3像素的圆形结构元素进行腐蚀，膨胀后的图像如附图5所示。

3)Hough直线检测：结果如附图6所示。

Hough变换的基本思想是点-线的对偶性，即图像空间中共线的点映射为参数空间里相交的直线；反之，参数空间相交于同一点的所有直线在图像空间里都有共线的点与之对应。常用Hough变换直线检测方法采用式(2)在图像空间和参数空间建立对偶变换。

ρ＝xcosθ+ysinθ (2)

3车道预警决策中，首先采用TLC方法判别车辆每一次的触界或跨界与否，并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶：首先需设定两个阈值：

(1)车辆将要触碰车道线的时间阈值t_th；

(2)触界或跨界的次数阈值n。

根据前视视频图像和侧视视频图像计算出车辆将要触碰车道线的时间t_c，当计算出的时间t_c小于阈值t_th时判定为一次触界；当在一段时间内，车辆的触界或跨界次数超过n时，判定该车辆在做“S”型线路行驶，并触发报警。

采用TLC算法判别车辆每一次的触界或跨界与否：TLC算法包括一阶TLC算法和二阶TLC算法，一阶TLC用到了车辆的侧向位置和侧向速度，预测车辆前轮碰触道路边界的时间，并设置阈值，若该时间小于阈值则产生警报。一阶TLC触发报警的条件如公式(3)所示：

t_{c} = \frac{d}{v_{l}} < t_{th} - - - (3)

其中，d为前胎外沿距道路边界距离；v_l为汽车侧向速度；t_th为前视时间阈值。采用的假设：侧向速度在短时间内是常值，车体和道路之间的侧偏角是常值。

本专利中采用二阶TLC算法，除了考虑侧向位置和侧向速度外，还用到了侧向加速度来建模车辆运动，触发警报的条件如公式(4)所示：

t_{c} = \frac{{- v}_{l} + \sqrt{v_{l}^{2} + 2 a_{l} d}}{a_{l}} < t_{th} - - - (4)

其中，d为前胎外沿距道路边界距离；v_l为汽车侧向速度；t_th为前视时间阈值；a_l汽车的测向加速。若a_l为0，则二阶TLC等价于一阶TLC(当a_l趋于0时，运用洛比达求极限法则，分子分母分别求a_l的导数，得到与一阶TLC触发报警条件相同的条件，如公式(5)所示)。

\lim_{a_{l} &RightArrow; 0} \frac{{- v}_{l} + \sqrt{v_{l}^{2} + 2 a_{l} d}}{a_{l}} = \lim_{a_{l} &RightArrow; 0} \frac{\frac{2 d}{2 \sqrt{v_{l}^{2} + 2 a_{l} d}}}{1} = \frac{d}{v_{l}} - - - (5)

采用的假设：汽车的侧向加速度在一段时间内是常值，等效于汽车运动轨迹曲率为常值。

本发明利用彩色图像HSI模型检测车道线的方法，并综合前视和侧视车道图像(即双目视觉)的车道线检测结果后采用TLC方法得出每一次的触界或跨界预警决策规律；特别针对“S”型行驶路线进行检测，即在检测出每一次是否触界的基础上设置合理的触界次数阈值，只有当在一段时间内，车辆跨越车道线次数达到该触界次数阈值时才触发报警信号。

4对驾驶员进行报警：

通过预警决策判断满足报警条件之后，就需要通过驱动硬件电路的方式对驾驶员进行报警，比如语音报警或亮灯报警，可以将硬件电路的I0口置低即可。

Claims

1.一种基于双目视觉车道线检测的非正常S型驾驶预警方法，其特征在于，它包括以下步骤：

(1)采集前视和侧视彩***图像：通过车载CCD摄像头采集标准模式图像，即现实中的公路图像；将前视摄像头装在车顶，采集车头前面的车道线，将侧视摄像头装在车的左侧，采集车辆左侧的车道线；

(2)转换标准模式图像的颜色模型，从RGB模型转向HSI模型，利用饱和度亮度分量作为特征参数进行图像分割，采用Hough直线检测提取出车道线；

(3)车道预警决策中，首先采用TLC方法判别车辆每一次的触界或跨界与否，并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶；

2.根据权利要求1所述基于双目视觉车道线检测的非正常S型驾驶预警方法，其特征在于，所述步骤(2)具体为：首先，对采集到视频图像进行预处理，采用7*7模板进行中值滤波，消除突变的噪声点；然后将图像RGB模型转换为HSI模型；接着利用饱和度值和亮度值作为特征参数提取车道线。

3.根据权利要求2所述基于双目视觉车道线检测的非正常S型驾驶预警方法，其特征在于，所述步骤(2)分为以下子步骤：

(A)图像二值化：选定饱和度亮度合适的阈值区间对图像进行二值化：

Figure 2010102438309100001DEST_PATH_IMAGE002

式中：g(x，y)为二值化后图像，s为饱和度值，s₁为饱和度阈值，i为亮度值，i₁为亮度阈值；阈值通过计算饱和度和亮度图的直方图得出；

(B)形态学操作：对二值图像进行开运算操作，消除阈值分割后遗留的噪声；采用半径为3像素的圆形结构元素进行腐蚀；

(C)Hough直线检测。

4.根据权利要求1所述基于双目视觉车道线检测的非正常S型驾驶预警方法，其特征在于，所述步骤(3)具体为：首先需设定两个阈值：

(a)车辆将要触碰车道线的时间阈值t_th；

(b)触界或跨界的次数阈值n；