CN112329623A - 雾天能见度检测与能见度安全等级划分预警方法 - Google Patents

Abstract

本发明公开了一种雾天能见度检测与能见度安全等级划分预警方法，属于智能车辆安全辅助驾驶技术领域，该方法构建了雾天不同道路类型图像分类器、基于天空道路分界线和消失点的结构化道路能见度检测模型、基于监督学习的非结构化道路雾天能见度预警等级分类器模型，实时计算能见度并且结合行驶车速和前方车辆距离进行预警。在实际行车过程中，采集车辆行进过程中的道路视频图像，根据离线训练的雾天道路类型分类器图像库，实时判断图像是否为结构化道路、对于结构化道路，实时计算能见度并且结合行驶车速和前方车辆距离进行预警，对于非结构化道路,实现对雾天能见度进行预警等级划分，减弱雾天能见度低对驾驶员视觉产生的影响。

Description

雾天能见度检测与能见度安全等级划分预警方法

技术领域

本发明属于智能车辆安全辅助驾驶技术领域，具体涉及到一种雾天能见度检测与能见度安全等级划分预警方法。

背景技术

恶劣天气是造成道路交通事故的主要因素之一，在所有容易引起交通事故的恶劣天气中，雾的影响最大，常常导致高速公路限速或关闭，延误行车时间，甚至引发连环碰撞事故，造成巨大经济损失。近年来由于霾(干)或雾(湿)严重程度，甚至使能见度降低至零(能见度不足100米通常被认为能见度为零)，这对于驾驶员来说非常危险。因此，亟需对雾天能见度进行实时检测，当出现能见度低到影响驾驶员安全行驶的情况，给予驾驶员有效的预警，避免道路交通事故的发生。

目前，能见度检测方法主要分为基于能见度仪的检测方法、基于双目摄相机标定的检测方法、基于建立对比度模型的检测方法、基于图像去雾的能见度检测方法。其中，基于能见度仪的检测方法存在价格十分昂贵等问题，要保证公路上的交通安全，尤其在团雾检测时，需要密集布置监测设备，从而成本居高不下，同时实时性、便携性不佳。基于双目摄相机标定的检测方法，由于需要标定模板、测量摄像机安装角度等受实际条件的限制，难以适用实时操作。基于建立对比度模型的检测方法，该方法会产生较大误差，而且测量结果容易受到远方障碍物的不利影响；当前针对雾天的能见度检测技术研究不成熟，误差大，传统的能见度检测方法存在价格昂贵、难以适用实时操作或者测量结果容易受到远方障碍物的影响等技术问题，并且检测方法的实时性不能满足能见度预警***的需要，同时当前能见度检测方法在一些非结构化道路或者复杂状况(场景)容易失效的问题，例如不同车道线类型，存在人行横道标志、十字路口的停止线，方向和车道线方向一致的道路箭头标志，或者车道线被前方车辆覆盖，车道线不清晰污损等情况。因此，有必要针对实际道路图像能见度检测方法进行全面深入研究。

发明内容

本发明所要解决的技术问题是：提供一种雾天能见度检测与能见度安全等级划分预警方法，用来解决当前能见度的检测方法实时性不能满足能见度预警***的需要，以及用来解决当前能见度的检测方法在一些非结构化道路或者复杂状况(场景)容易失效的问题。

雾天能见度检测与能见度安全等级划分预警方法，其特征在于，包括以下步骤：

步骤一、建立结构化和非结构化道路类型分类器并进行实时道路图像分类

①实时采集雾天道路图像；

②建立结构化和非结构化道路图像极限学习机ELM分类器，利用结构化和非结构化道路图像极限学习机ELM分类器进行道路图像类型分类，分别得到结构化道路图像和非结构化道路图像；

③对结构化道路图像和非结构化道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，分别得到处理后的结构化道路图像和非结构化道路图像；

步骤二、建立基于天空道路分界线和消失点的结构化道路能见度检测模型，将经步骤一得到的结构化道路图像输入到基于天空道路分界线和消失点的结构化道路能见度检测模型内依次进行自适应阈值分割图像预处理，基于hough变换的车道线检测，道路消失点估计，采用区域生长法分割结构化道路图像获取雾天天空和道路分界线，图像平面与道路平面的几何映射，从而获得基于车道线检测的雾天道路能见度值；

步骤三、建立基于监督学***均梯度值，熵值，对比度值，边缘强度特征值，暗原色像素数及透射率，利用已经离线训练好的ELM监督学习的能见度预警等级分类器和基于SVM监督学习的能见度预警等级分类器，对当前雾天道路能见度等级进行分类，得到雾天道路能见度等级；

步骤四、构建雾天低能见度安全驾驶预警策略

在结构化道路中，预先设定雾天道路能见度预警值，步骤二中得到的雾天道路能见度值高于所述预先设定雾天道路能见度预警值，则不提供给驾驶员预警信息，步骤二中得到的雾天道路能见度值低于预先设定雾天道路能见度预警值，则向驾驶员提供预警信息；

在非结构化道路中，预先设定雾天道路能见度预警等级，步骤三中得到的雾天道路能见度等级高于预先设定雾天道路能见度预警等级，则不提供给驾驶员预警信息，步骤三中得到的雾天道路能见度等级低于预先设定雾天道路能见度预警等级，则向驾驶员提供预警信息。

进一步，步骤一中，建立结构化和非结构化道路图像极限学习机ELM分类器的过程如下：

①工业摄像机采集N张结构化道路图像和非结构化道路图像，其中包括N1张结构化道路图像和N2张非结构化道路图像，N、N1、N2均为自然数，并将采集到的图像传输到雾天不同道路类型图像分类器模块，在雾天不同道路类型图像分类器模块中建立结构化和非结构化道路类型分类器的图像训练库；

②通过结构化和非结构化道路类型分类器的图像训练库离线训练极限学习机ELM分类器，极限学习机ELM分类器根据道路纹理、颜色、边缘特征获得具有车道线的结构化道路图像特征，对结构化道路图像和非结构化道路图像分类，并获得道路图像特征，结构化和非结构化道路图像极限学习机ELM分类器建立完成。

进一步，步骤二中，建立基于天空道路分界线和消失点的结构化道路能见度检测模型的过程如下：

①采用自适应阈值分割图像预处理方式获得结构化道路图像车道线

首先通过迭代循环整个图像像素找到图像中的最大灰度值与最小灰度值，求最大灰度值与最小灰度值两个区域的平均灰度值，反复迭代求最佳阈值，使两区域灰度差最大，根据最佳阈值将图像二值化；

②采用Hough变换直线车道线模型检测车道线，并将霍夫变换的极坐标系参数用直角坐标系表示，最终获得左右车道线参数，具体形式如下：

y＝k×x+b (1)

ρ＝x cosθ+y sinθ (2)

其中，x是在直角坐标系中任意某个点的横坐标，y是这个点的纵坐标，k是斜率，b截距；在极坐标系中，ρ表示直线车道线到原点的法线距离，θ表示车道线法线对x轴的角度；ρ_l和ρ_r分别表示左右直线车道线到原点的法线距离，θ_l和θ_r分别表示左右车道线法线对x轴的角度，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距；

③估计结构化道路消失点的直角坐标，形式如下：

其中，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距，两车道线的交点为(x,y)，得出

通过获得的左右车道线参数截距和斜率，最终获得结构化道路消失点的直角坐标值；

④采用区域生长法分割结构化道路图像，获取雾天天空和道路分界线；

⑤获取基于坐标转换的道路能见度值：

在世界坐标系中的一点(X,Y,Z)与图像坐标系的中一点(x,y,z)之间的关系如下式：

v＝f_yy+v₀ (10)

f为相机焦距，f_x和f_y均为以像素为单位的焦距，(u₀,v₀)为相机光轴的光学中心位置的坐标；(X_W,Y_W,Z_W)为的世界坐标系中一点，(X_C,Y_C,Z_C)表示相机坐标系的三维坐标点，(x,y)为像素坐标系坐标，R为旋转矩阵，t为平移矩阵；T为矩阵转置；

⑥为获得深度信息，即图像映射该点到3D世界中Z轴的坐标值，需要得到相对天空高度v和消失点的高度v₀，通过计算工业摄像机的标定参数，深度距离计算模型用下式表示：

其中，v为天空道路分界线在图像上的垂直坐标值，f为相机焦距，v₀消失点在图像上的垂直坐标值，Y为工业摄像机相对地面的安装高度。

进一步，步骤三中，建立基于监督学习的非结构化道路雾天能见度预警等级分类器模型的过程如下：

Ⅰ建立非结构化道路雾天能见度预警等级分类器

①工业摄像机采集M张不同雾浓度的非结构化道路图像，其中包括M1张浓雾图像、M2张大雾图像，M3张中雾图像和M4张薄雾图像，M、M1、M2、M3、M4均为自然数，在基于监督学习的非结构化道路雾天能见度预警等级分类器模块中建立非结构化道路雾天能见度等级分类器的图像训练库；根据能见度距离值，浓雾能见度距离值L≤50m，大雾能见度距离值50m<L≤100m、中雾能见度距离值100m<L≤200m、薄雾能见度距离值200m<L≤500m；

②通过非结构化道路雾天能见度等级分类器的图像训练库离线训练极限学***均梯度、熵、对比度及边缘强度特征，提取非结构化道路不同雾天能见度等级图像的平均梯度值、熵值、对比度值及边缘强度特征值，并进行分类，非结构化道路不同雾天能见度等级极限学习机ELM分类器建立完成；

③通过非结构化道路雾天能见度等级分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据不同浓度雾图像的暗原色像素数及透射率，对不同浓度雾图像进行分类，并提取不同浓度雾图像的暗原色像素数特征值及透射率特征值，非结构化道路不同雾天能见度等级图像支持向量机SVM分类器建立完成；

④将非结构化道路不同雾天能见度等级极限学习机ELM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像与非结构化道路不同雾天能见度等级图像支持向量机SVM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像分别取并集，得到非结构化道路雾天能见度预警等级图像样本库；

Ⅱ实时能见度预警等级分类

①工业摄像机实时采集非结构化道路图像；

②利用非结构化道路雾天能见度预警等级分类器，分类出浓雾图像、大雾图像，中雾图像和薄雾图像。

更进一步，所述的N≥3000，N1≥1000，N2≥2000。

更进一步，所述的M≥6000，M1≥1000，M2≥2000，M3≥1000，M4≥2000。

通过上述设计方案，本发明可以带来如下有益效果：

1、本发明提出的雾天能见度检测与能见度安全等级划分预警方法，构建了雾天不同道路类型图像分类器、基于天空道路分界线和消失点的结构化道路能见度检测模型、基于监督学习的非结构化道路雾天能见度预警等级分类器模型,实时计算能见度并且结合行驶车速和前方车辆距离进行预警。在实际行车过程中，采集车辆行进过程中的道路视频图像，根据离线训练的雾天道路类型分类器图像库，实时判断图像是否为结构化道路、对于结构化道路，实时计算能见度并且结合行驶车速和前方车辆距离进行预警，对于非结构化道路，实现对雾天能见度进行预警等级划分，减弱雾天能见度低对驾驶员视觉产生的影响。

2、本发明提高了雾天能见度计算的准确率，能够对低能见度环境获得良好预警效果，有益于推广应用，可大幅降低驾驶员在雾天低能见度条件下驾驶发生恶***通事故的概率。

附图说明

此处的附图说明用来提供对本发明的进一步理解，构成本发明申请的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：

图1为本发明实施例中雾天能见度检测与能见度安全等级划分预警方法所采用***的结构框图。

图2为本发明实施例中雾天能见度检测与能见度安全等级划分预警方法的流程图；

图3为本发明实施例中霍夫变换直线检测示意图。

图中各标记如下：1-车载蓄电池、2-正弦波逆变器、3-工业摄像机、4-图像采集卡、5-工控机、6-车载电控单元模块、7-雾天不同道路类型图像分类器模块、8-基于天空道路分界线和消失点的结构化道路能见度检测模块、9-基于监督学习的非结构化道路雾天能见度预警等级分类器模块、10-预警模块、11-车载显示屏、12-汽车音响设备、13-车载扬声器。

具体实施方式

下面结合图1、图2及图3对本发明作进一步的详细描述。但不应将此理解为本发明保护主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有进行详尽的说明。

如图1所示，本发明提出的雾天能见度检测与能见度安全等级划分预警方法所采用***包括车载蓄电池1、正弦波逆变器2、工业摄像机3、图像采集卡4、工控机5、车载电控单元模块6、车载显示屏11、汽车音响设备12及车载扬声器13。所述车载蓄电池1通过正弦波逆变器2与工业摄像机3连接，同时车载蓄电池1通过正弦逆变器2与工控机5连接；所述工业摄像机3通过图像采集卡4与工控机5连接；所述车载电控单元模块6包括雾天不同道路类型图像分类器模块7、基于天空道路分界线和消失点的结构化道路能见度检测模块8、基于监督学习的非结构化道路雾天能见度预警等级分类器模块9和预警模块10，雾天不同道路类型图像分类器模块7的输入端与工控机5连接，雾天不同道路类型图像分类器模块7的输出端分别与基于天空道路分界线和消失点的结构化道路能见度检测模块8的输入端、基于监督学习的非结构化道路雾天能见度预警等级分类器模块9的输入端连接；所述基于天空道路分界线和消失点的结构化道路能见度检测模块8的输出端和基于监督学习的非结构化道路雾天能见度预警等级分类器模块9的输出端同时与预警模块10的输入端连接；所述车载显示屏11通过导线与预警模块10连接；所述汽车音响设备12的一端通过导线与预警模块10连接，汽车音响设备12的另一端通过导线与车载扬声器13连接。

雾天能见度检测与能见度安全等级划分预警方法，包括以下步骤：

步骤一、建立结构化和非结构化道路类型分类器并进行实时道路图像分类

Ⅰ建立结构化和非结构化道路图像极限学习机ELM分类器对道路图像类型进行分类

①工业摄像机3采集N张结构化道路图像和非结构化道路图像，并将采集到的图像传输到雾天不同道路类型图像分类器模块7，其中包括N1张结构化道路图像和N2张非结构化道路图像，N、N1、N2均为自然数，N≥3000，N1≥1000，N2≥2000，在雾天不同道路类型图像分类器模块7中建立结构化和非结构化道路类型分类器的图像训练库；

②通过结构化和非结构化道路类型分类器的图像训练库离线训练极限学习机ELM分类器，极限学习机ELM(Extreme Learning Machine)分类器根据道路纹理、颜色、边缘特征获得具有车道线的结构化道路图像特征，对结构化道路图像和非结构化道路图像分类，并获得道路图像特征，结构化和非结构化道路图像极限学习机ELM分类器建立完成；

Ⅱ实时图像分类

①工业摄像机3实时采集雾天道路图像；

②利用结构化和非结构化道路图像极限学习机ELM分类器进行道路图像类型分类，分别得到结构化道路图像和非结构化道路图像；

③对结构化道路图像和非结构化道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，分别得到处理后结构化道路图像和非结构化道路图像；

Ⅲ制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，基于L2范数的相对错误评价标准是将得到的实时雾天道路图像与雾天图像样本库中雾天道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，说明置信度高，结果可靠，可判断当时图像为雾天道路图像；

步骤二、在基于天空道路分界线和消失点的结构化道路能见度检测模块8中建立基于天空道路分界线和消失点的结构化道路能见度检测模型；将经步骤一得到的结构化道路图像输入到基于天空道路分界线和消失点的结构化道路能见度检测模块8中，依次进行自适应阈值分割图像预处理，基于hough变换的车道线检测，道路消失点估计，采用区域生长法分割结构化道路图像获取雾天天空和道路分界线，图像平面与道路平面的几何映射，从而获得基于车道线检测的雾天道路能见度值；

具体建立基于天空道路分界线和消失点的结构化道路能见度检测模型的过程如下：

①由于图像整体灰度不均匀，为获得结构化道路图像车道线，采用自适应阈值分割进行图像预处理，首先通过迭代循环整个图像像素找到图像中的最大灰度值与最小灰度值，求最大灰度值与最小灰度值两个区域的平均灰度值，反复迭代求最佳阈值，使两区域灰度差最大，根据最佳阈值将图像二值化；

②采用Hough变换直线车道线模型检测车道线，并将霍夫变换的极坐标系参数用直角坐标系表示(参照图3)，最终获得的左右车道线参数，形式如下：

y＝k×x+b (1)

ρ＝x cosθ+y sinθ (2)

其中，x是在直角坐标系中任意某个点的横坐标，y是这个点的纵坐标，k是斜率，b截距；在极坐标系中，ρ表示直线车道线到原点的法线距离，θ表示车道线法线对x轴的角度；ρ_l和ρ_r分别表示左右直线车道线到原点的法线距离，θ_l和θ_r分别表示左右车道线法线对x轴的角度，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距；

③为了估计结构化道路消失点的直角坐标，形式如下：

其中，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距，因此，车道线的检测识别问题将转化为左右车道线参数的获取，两车道线的交点为(x,y)，得出，

通过获得的左右车道线参数截距和斜率，最终获得结构化道路消失点的直角坐标值；

④采用区域生长法分割结构化道路图像，获取雾天天空和道路分界线；

⑤基于坐标转换的道路能见度值推导过程，在世界坐标系的一点(X,Y,Z)与图像坐标系的一点(x,y,z)之间的关系如下式所示：

v＝f_yy+v₀ (10)

f为相机焦距，f_x和f_y均为以像素为单位的焦距，(u₀,v₀)为相机光轴的光学中心位置的坐标；(X_W,Y_W,Z_W)为的世界坐标系中一点，(X_C,Y_C,Z_C)表示相机坐标系的三维坐标点，(x,y)为像素坐标系坐标，R为旋转矩阵，t为平移矩阵；T为矩阵转置；

⑥为获得深度信息，即图像映射该点到3D世界中Z轴的坐标值，需要得到相对天空高度v和消失点的高度v₀，通过计算工业摄像机3的标定参数，深度距离计算模型用下式表示：

其中，v为天空道路分界线在图像上的垂直坐标值，f为相机焦距，v₀消失点在图像上的垂直坐标值，Y为工业摄像机3相对地面的安装高度。

步骤三、建立基于监督学***均梯度值，熵值，对比度值，边缘强度特征值，暗原色像素数及透射率，利用已经离线训练好的ELM监督学习的能见度预警等级分类器和基于SVM监督学习的能见度预警等级分类器，对当前雾天道路能见度等级进行分类，得到雾天道路能见度等级；

具体建立基于监督学习的非结构化道路雾天能见度预警等级分类器模型的过程如下：

Ⅰ建立非结构化道路雾天能见度预警等级分类器

①工业摄像机3采集M张不同雾浓度的非结构化道路图像，其中包括M1张浓雾图像、M2张大雾图像，M3张中雾图像和M4张薄雾图像，M、M1、M2、M3、M4均为自然数，其中M≥6000，M1≥1000，M2≥2000，M3≥1000，M4≥2000，在基于监督学习的非结构化道路雾天能见度预警等级分类器模块9中建立非结构化道路雾天能见度等级分类器的图像训练库；根据能见度距离值，浓雾能见度距离值L≤50m，大雾能见度距离值50m<L≤100m、中雾能见度距离值100m<L≤200m、薄雾能见度距离值200m<L≤500m；

②通过非结构化道路雾天能见度等级分类器的图像训练库离线训练极限学***均梯度、熵、对比度及边缘强度特征，提取非结构化道路不同雾天能见度等级图像的平均梯度值、熵值、对比度值及边缘强度特征值，并进行分类，非结构化道路不同雾天能见度等级极限学习机ELM分类器建立完成，所述非结构化道路不同雾天能见度等级极限学习机ELM分类器即为ELM监督学习的能见度预警等级分类器；

③通过非结构化道路雾天能见度等级分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据不同浓度雾图像的暗原色像素数及透射率，对不同浓度雾图像进行分类，并提取不同浓度雾图像的暗原色像素数特征值及透射率特征值，非结构化道路不同雾天能见度等级图像支持向量机SVM分类器建立完成，所述非结构化道路不同雾天能见度等级图像支持向量机SVM分类器即为基于SVM监督学习的能见度预警等级分类器；

④将非结构化道路不同雾天能见度等级极限学习机ELM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像与非结构化道路不同雾天能见度等级图像支持向量机SVM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像分别取并集，得到非结构化道路雾天能见度预警等级图像样本库；

Ⅱ实时能见度预警等级分类

①工业摄像机3实时采集非结构化道路图像；

②利用非结构化道路雾天能见度预警等级分类器，分类出浓雾图像、大雾图像，中雾图像和薄雾图像。

步骤四、构建雾天低能见度安全驾驶预警策略

①工业摄像机3实时采集图像

本***要求是车辆行驶过程中实时的处理数据，因此该***采用工业摄像机3来获取数据，对于本发明的普遍性、实时性等要求，道路环境的复杂性，考虑到拍摄环境光线昏暗模糊，并且与地面不平行、道路在图像中有轻微的扭曲。在车辆行进过程中，将采集的图像输入到雾天不同道路类型图像分类器模块7中，如果判断为结构化道路图像，则对结构化道路图像进行能见度值计算，如果判断为非结构化道路图像，则进行非结构化道路雾天能见度预警等级分类；

②当采集的实时图像识别为结构化道路图像，将结构化道路图像输入到基于天空道路分界线和消失点的结构化道路能见度检测模块8，在该模块里将结构化道路图像进行自适应阈值分割图像预处理，基于hough变换的车道线检测，道路消失点估计，采用区域生长法对道路天空道路分界线获取，利用图像平面与道路平面的几何映射关系，获得基于车道线检测获取道路能见度计算模型，在基于天空道路分界线和消失点的结构化道路能见度检测模块8中进行当前雾天道路能见度值的实时计算，计算后的雾天道路能见度值，输入预警模块10并通过车载扬声器13发出声音警告并在车载显示屏11上显示该道路能见度值；

③当采集的实时图像识别为非结构化道路，将非结构化道路图像输入到基于监督学***均梯度值，熵值，对比度值，边缘强度特征值，暗原色像素数，透射率，在基于监督学习的非结构化道路雾天能见度预警等级分类器模块9中，利用已经离线训练好的非结构化道路不同雾天能见度等级极限学习机ELM分类器和非结构化道路不同雾天能见度等级图像支持向量机SVM分类器，分类进行当前雾天道路能见度等级，将计算后的雾天道路能见度等级，输入预警模块10并通过汽车音响设备12和车载扬声器13发出声音警告并在车载显示屏11上显示该道路能见度值；

④在预警模块10中根据实时处理的雾天道路能见度值，结合行驶车速和前方车辆距离进行预警，具体结构化道路，在预警模块10中预先设定雾天道路能见度预警值，若当前雾天道路能见度值高于所述预先设定雾天道路能见度预警值，则不提供给驾驶员预警信息；若当前雾天道路能见度值低于预先设定雾天道路能见度预警值，则向驾驶员提供预警信息，即预警模块10通过汽车音响设备12和车载扬声器13发出声音警告并在车载显示屏11上显示警告信号；

非结构化道路中，在预警模块10中预先设定雾天道路能见度预警等级，当前雾天道路能见度等级高于预先设定雾天道路能见度预警等级，则不提供给驾驶员预警信息，若当前雾天道路能见度等级低于预先设定雾天道路能见度预警等级，则向驾驶员提供预警信息，即预警模块10通过车载扬声器13发出声音警告并在车载显示屏11上显示警告信号。

下面给出本方法的一个具体实施例：

一种雾天能见度检测与能见度安全等级划分预警方法，包括以下步骤：

步骤一、建立结构化和非结构化道路类型分类器并进行实时道路图像分类

Ⅰ建立结构化和非结构化道路图像极限学习机ELM分类器对道路图像类型进行分类

①利用工业摄像机3获得数据，拍摄允许在光线昏暗模糊环境下进行，允许拍摄图像与地面不平行、允许图像有轻微的扭曲。通过工业摄像机3采集1000张结构化道路图像和2000张非结构化道路图像，在雾天不同道路类型图像分类器模块7中建立结构化和非结构化道路类型分类器的图像训练库；

②根据道路纹理、颜色、边缘特征获得具有车道线的结构化道路图像特征，训练极限学习机ELM(Extreme Learning Machine)分类器，通过该离线训练过程，对结构化和非结构化道路图像分组，分别获得结构化和非结构化道路图像特征，通过获取的特征判定所采集图像是否为结构化和非结构化道路图像，结构化和非结构化道路图像极限学习机ELM分类器建立完成；

Ⅱ实时图像分类

①工业摄像机3实时采集雾天道路图像；

②利用结构化和非结构化道路图像极限学习机ELM分类器进行道路图像类型分类，分别得到结构化道路图像和非结构化道路图像；

③对结构化道路图像和非结构化道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，分别得到处理后结构化道路图像和非结构化道路图像；

Ⅲ制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，基于L2范数的相对错误评价标准是将得到的实时雾天道路图像与雾天图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，说明置信度高，结果可靠，可判断当时图像为雾天道路图像；

步骤二、在基于天空道路分界线和消失点的结构化道路能见度检测模块8中建立基于天空道路分界线和消失点的结构化道路能见度检测模型；将经步骤一得到的结构化道路图像输入到基于天空道路分界线和消失点的结构化道路能见度检测模块8中，依次进行自适应阈值分割图像预处理，基于hough变换的车道线检测，道路消失点估计，采用区域生长法分割结构化道路图像获取雾天天空和道路分界线，图像平面与道路平面的几何映射，从而获得基于车道线检测的雾天道路能见度值；

具体建立基于天空道路分界线和消失点的结构化道路能见度检测模型的过程如下：

①由于图像整体灰度不均匀，为获得结构化道路图像车道线，采用自适应阈值分割进行图像预处理，首先通过迭代循环整个图像像素找到图像中的最大灰度值与最小灰度值，求最大灰度值与最小灰度值两个区域的平均灰度值，反复迭代求最佳阈值，使两区域灰度差最大，根据最佳阈值将图像二值化；

②采用Hough变换直线车道线模型检测车道线，并将霍夫变换的极坐标系参数用直角坐标系表示(参照图3)，最终获得的左右车道线参数，形式如下：

y＝k×x+b (1)

ρ＝x cosθ+y sinθ (2)

其中，x是在直角坐标系中任意某个点的横坐标，y是这个点的纵坐标，k是斜率，b截距；在极坐标系中，ρ表示直线车道线到原点的法线距离，θ表示车道线法线对x轴的角度；ρ_l和ρ_r分别表示左右直线车道线到原点的法线距离，θ_l和θ_r分别表示左右车道线法线对x轴的角度，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距；

③为了估计结构化道路消失点的直角坐标，形式如下：

其中，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距，因此，车道线的检测识别问题将转化为左右车道线参数的获取，两车道线的交点为(x,y)，得出，

通过获得的左右车道线参数截距和斜率，最终获得结构化道路消失点的直角坐标值；

④采用区域生长法分割结构化道路图像，获取雾天天空和道路分界线；

⑤基于坐标转换的道路能见度值推导过程，在世界坐标系的一点(X,Y,Z)与图像坐标系的一点(x,y,z)之间的关系如下式所示：

v＝fyy+v0(10)

f为相机焦距，f_x和f_y均为以像素为单位的焦距，(u₀,v₀)为相机光轴的光学中心位置的坐标；(X_W,Y_W,Z_W)为的世界坐标系中一点，(X_C,Y_C,Z_C)表示相机坐标系的三维坐标点，(x,y)为像素坐标系坐标，R为旋转矩阵，t为平移矩阵；T为矩阵转置；

⑥为获得深度信息，即图像映射该点到3D世界中Z轴的坐标值，需要得到相对天空高度v和消失点的高度v₀，通过计算工业摄像机3的标定参数，深度距离计算模型用下式表示：

其中，v为天空道路分界线在图像上的垂直坐标值，f为相机焦距，v₀消失点在图像上的垂直坐标值，Y为工业摄像机3相对地面的安装高度。

步骤三、建立基于监督学***均梯度值，熵值，对比度值，边缘强度特征值，暗原色像素数及透射率，利用已经离线训练好的ELM监督学习的能见度预警等级分类器和基于SVM监督学习的能见度预警等级分类器，对当前雾天道路能见度等级进行分类，得到雾天道路能见度等级；

具体建立基于监督学习的非结构化道路雾天能见度预警等级分类器模型的过程如下：

Ⅰ建立非结构化道路雾天能见度预警等级分类器

①工业摄像机3收集用于训练的图像：通过工业摄像机3采集6000张不同雾浓度的非结构化道路图像，其中包括1000张浓雾图像、2000张大雾图像，1000张中雾图像和2000张薄雾图像，通过离线训练过程，在基于监督学习的非结构化道路雾天能见度预警等级分类器模块9中建立非结构化道路雾天能见度等级分类器的图像训练库；

②通过非结构化道路雾天能见度等级分类器的图像训练库离线训练极限学***均梯度，熵，对比度，边缘强度特征，提取非结构化道路不同雾天能见度等级图像的平均梯度值，熵值，对比度值，边缘强度特征值，并进行分类，非结构化道路不同雾天能见度等级极限学习机ELM分类器建立完成；

③通过非结构化道路雾天能见度等级分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据不同浓度雾图像的暗原色像素数，透射率，对不同浓度雾图像进行分类，并提取不同浓度雾图像的暗原色像素数特征值，透射率特征值，非结构化道路不同雾天能见度等级图像支持向量机SVM分类器建立完成；

④将非结构化道路不同雾天能见度等级极限学习机ELM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像与非结构化道路不同雾天能见度等级图像支持向量机SVM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像分别取并集，得到非结构化道路雾天能见度预警等级图像样本库；

Ⅱ实时能见度预警等级分类

①工业摄像机3采集实时非结构化道路图像；

②利用非结构化道路雾天能见度预警等级分类器，分类出的浓雾图像、大雾图像，中雾图像和薄雾图像；

步骤四、构建雾天低能见度安全驾驶预警策略

①工业摄像机3实时采集图像

本***要求是车辆行驶过程中实时的处理数据，因此该***采用工业摄像机3来获取数据，对于本发明的普遍性、实时性等要求，道路环境的复杂性，考虑到拍摄环境光线昏暗模糊，并且与地面不平行、道路在图像中有轻微的扭曲。在车辆行进过程中，将采集的图像输入到雾天不同道路类型图像分类器模块7中，如果判断为结构化道路图像，则对结构化道路图像进行能见度值计算，如果判断为非结构化道路图像，则进行非结构化道路雾天能见度预警等级分类；

②当采集的实时图像识别为结构化道路图像，将结构化道路图像输入到基于天空道路分界线和消失点的结构化道路能见度检测模块8，在该模块里将结构化道路图像进行自适应阈值分割图像预处理，基于hough变换的车道线检测，道路消失点估计，采用区域生长法对道路天空道路分界线获取，利用图像平面与道路平面的几何映射关系，获得基于车道线检测获取道路能见度计算模型，在基于天空道路分界线和消失点的结构化道路能见度检测模块8中进行当前雾天道路能见度值的实时计算，计算后的雾天道路能见度值，输入预警模块10并通过车载扬声器13发出声音警告并在车载显示屏11上显示该道路能见度值；

③当采集的实时图像识别为非结构化道路，将非结构化道路图像输入到基于监督学***均梯度值，熵值，对比度值，边缘强度特征值，暗原色像素数，透射率，在基于监督学习的非结构化道路雾天能见度预警等级分类器模块9中，利用已经离线训练好的非结构化道路不同雾天能见度等级极限学习机ELM分类器和非结构化道路不同雾天能见度等级图像支持向量机SVM分类器，分类进行当前雾天道路能见度等级，将计算后的雾天道路能见度等级，输入预警模块10并通过汽车音响设备12和车载扬声器13发出声音警告并在车载显示屏11上显示该道路能见度值；

④在预警模块10中根据实时处理的雾天道路能见度值，结合行驶车速和前方车辆距离进行预警，具体结构化道路，在预警模块10中预先设定雾天道路能见度预警值，若当前雾天道路能见度值高于所述预先设定雾天道路能见度预警值，则不提供给驾驶员预警信息；若当前雾天道路能见度值低于预先设定雾天道路能见度预警值，则向驾驶员提供预警信息，即预警模块10通过汽车音响设备12及车载扬声器13发出声音警告并在车载显示屏11上显示警告信号；

非结构化道路中，在预警模块10中预先设定雾天道路能见度预警等级，当前雾天道路能见度等级高于预先设定雾天道路能见度预警等级，则不提供给驾驶员预警信息，若当前雾天道路能见度等级低于预先设定雾天道路能见度预警等级，则向驾驶员提供预警信息，即预警模块10通过车载扬声器13发出声音警告并在车载显示屏11上显示警告信号。

以上具体实施范例中，采集不同道路图像的张数为3000张，其中包括1000张结构化道路图像和2000张非结构化道路图像(包括建筑、草地、天空等)，但本发明对道路图像采集张数的范围不限于本实施例，基于公知常识，前期数据采集量越大，后期数据处理的准确度越高，故本实施例中只给出端值，即最小值的范例；同理，本具体实施范例中采集6000张不同雾浓度的非结构化道路图像，其中包括1000张浓雾图像、2000张大雾图像，1000张中雾图像和2000张薄雾图像。在具体实施例中也只给出端值，即最小值的范例。

Claims (6)

1.雾天能见度检测与能见度安全等级划分预警方法，其特征在于，包括以下步骤：

步骤一、建立结构化和非结构化道路类型分类器并进行实时道路图像分类

①实时采集雾天道路图像；

②建立结构化和非结构化道路图像极限学习机ELM分类器，利用结构化和非结构化道路图像极限学习机ELM分类器进行道路图像类型分类，分别得到结构化道路图像和非结构化道路图像；

③对结构化道路图像和非结构化道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，分别得到处理后的结构化道路图像和非结构化道路图像；

步骤二、建立基于天空道路分界线和消失点的结构化道路能见度检测模型，将经步骤一得到的结构化道路图像输入到基于天空道路分界线和消失点的结构化道路能见度检测模型内依次进行自适应阈值分割图像预处理，基于hough变换的车道线检测，道路消失点估计，采用区域生长法分割结构化道路图像获取雾天天空和道路分界线，图像平面与道路平面的几何映射，从而获得基于车道线检测的雾天道路能见度值；

步骤三、建立基于监督学***均梯度值，熵值，对比度值，边缘强度特征值，暗原色像素数及透射率，利用已经离线训练好的ELM监督学习的能见度预警等级分类器和基于SVM监督学习的能见度预警等级分类器，对当前雾天道路能见度等级进行分类，得到雾天道路能见度等级；

步骤四、构建雾天低能见度安全驾驶预警策略

在结构化道路中，预先设定雾天道路能见度预警值，步骤二中得到的雾天道路能见度值高于所述预先设定雾天道路能见度预警值，则不提供给驾驶员预警信息，步骤二中得到的雾天道路能见度值低于预先设定雾天道路能见度预警值，则向驾驶员提供预警信息；

在非结构化道路中，预先设定雾天道路能见度预警等级，步骤三中得到的雾天道路能见度等级高于预先设定雾天道路能见度预警等级，则不提供给驾驶员预警信息，步骤三中得到的雾天道路能见度等级低于预先设定雾天道路能见度预警等级，则向驾驶员提供预警信息。

2.根据权利要求1所述的雾天能见度检测与能见度安全等级划分预警方法，其特征在于：步骤一中，建立结构化和非结构化道路图像极限学习机ELM分类器的过程如下：

①工业摄像机采集N张结构化道路图像和非结构化道路图像，其中包括N1张结构化道路图像和N2张非结构化道路图像，N、N1、N2均为自然数，并将采集到的图像传输到雾天不同道路类型图像分类器模块，在雾天不同道路类型图像分类器模块中建立结构化和非结构化道路类型分类器的图像训练库；

②通过结构化和非结构化道路类型分类器的图像训练库离线训练极限学习机ELM分类器，极限学习机ELM分类器根据道路纹理、颜色、边缘特征获得具有车道线的结构化道路图像特征，对结构化道路图像和非结构化道路图像分类，并获得道路图像特征，结构化和非结构化道路图像极限学习机ELM分类器建立完成。

3.根据权利要求1所述的雾天能见度检测与能见度安全等级划分预警方法，其特征在于：步骤二中，建立基于天空道路分界线和消失点的结构化道路能见度检测模型的过程如下：

①采用自适应阈值分割图像预处理方式获得结构化道路图像车道线

首先通过迭代循环整个图像像素找到图像中的最大灰度值与最小灰度值，求最大灰度值与最小灰度值两个区域的平均灰度值，反复迭代求最佳阈值，使两区域灰度差最大，根据最佳阈值将图像二值化；

②采用Hough变换直线车道线模型检测车道线，并将霍夫变换的极坐标系参数用直角坐标系表示，最终获得左右车道线参数，具体形式如下：

y＝k×x+b (1)

ρ＝xcosθ+ysinθ (2)

其中，x是在直角坐标系中任意某个点的横坐标，y是这个点的纵坐标，k是斜率，b截距；在极坐标系中，ρ表示直线车道线到原点的法线距离，θ表示车道线法线对x轴的角度；ρ_l和ρ_r分别表示左右直线车道线到原点的法线距离，θ_l和θ_r分别表示左右车道线法线对x轴的角度，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距；

③估计结构化道路消失点的直角坐标，形式如下：

其中，k_l，b_l分别是左车道线的斜率和截距，k_r，b_r分别是右车道线的斜率和截距，两车道线的交点为(x,y)，得出

通过获得的左右车道线参数截距和斜率，最终获得结构化道路消失点的直角坐标值；

④采用区域生长法分割结构化道路图像，获取雾天天空和道路分界线；

⑤获取基于坐标转换的道路能见度值：

在世界坐标系中的一点(X,Y,Z)与图像坐标系的中一点(x,y,z)之间的关系如下式：

v＝f_yy+v₀ (10)

f为相机焦距，f_x和f_y均为以像素为单位的焦距，(u₀,v₀)为相机光轴的光学中心位置的坐标；(X_W,Y_W,Z_W)为的世界坐标系中一点，(X_C,Y_C,Z_C)表示相机坐标系的三维坐标点，(x,y)为像素坐标系坐标，R为旋转矩阵，t为平移矩阵；T为矩阵转置；

⑥为获得深度信息，即图像映射该点到3D世界中Z轴的坐标值，需要得到相对天空高度v和消失点的高度v₀，通过计算工业摄像机的标定参数，深度距离计算模型用下式表示：

其中，v为天空道路分界线在图像上的垂直坐标值，f为相机焦距，v₀消失点在图像上的垂直坐标值，Y为工业摄像机相对地面的安装高度。

4.根据权利要求1所述的雾天能见度检测与能见度安全等级划分预警方法，其特征在于：步骤三中，建立基于监督学习的非结构化道路雾天能见度预警等级分类器模型的过程如下：

Ⅰ建立非结构化道路雾天能见度预警等级分类器

①工业摄像机采集M张不同雾浓度的非结构化道路图像，其中包括M1张浓雾图像、M2张大雾图像，M3张中雾图像和M4张薄雾图像，M、M1、M2、M3、M4均为自然数，在基于监督学习的非结构化道路雾天能见度预警等级分类器模块中建立非结构化道路雾天能见度等级分类器的图像训练库；根据能见度距离值，浓雾能见度距离值L≤50m，大雾能见度距离值50m<L≤100m、中雾能见度距离值100m<L≤200m、薄雾能见度距离值200m<L≤500m；

②通过非结构化道路雾天能见度等级分类器的图像训练库离线训练极限学***均梯度、熵、对比度及边缘强度特征，提取非结构化道路不同雾天能见度等级图像的平均梯度值、熵值、对比度值及边缘强度特征值，并进行分类，非结构化道路不同雾天能见度等级极限学习机ELM分类器建立完成；

③通过非结构化道路雾天能见度等级分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据不同浓度雾图像的暗原色像素数及透射率，对不同浓度雾图像进行分类，并提取不同浓度雾图像的暗原色像素数特征值及透射率特征值，非结构化道路不同雾天能见度等级图像支持向量机SVM分类器建立完成；

④将非结构化道路不同雾天能见度等级极限学习机ELM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像与非结构化道路不同雾天能见度等级图像支持向量机SVM分类器分类出的浓雾图像、大雾图像、中雾图像以及薄雾图像分别取并集，得到非结构化道路雾天能见度预警等级图像样本库；

Ⅱ实时能见度预警等级分类

①工业摄像机实时采集非结构化道路图像；

②利用非结构化道路雾天能见度预警等级分类器，分类出浓雾图像、大雾图像，中雾图像和薄雾图像。

5.根据权利要求2所述的雾天能见度检测与能见度安全等级划分预警方法，其特征在于：所述的N≥3000，N1≥1000，N2≥2000。

6.根据权利要求4所述的雾天能见度检测与能见度安全等级划分预警方法，其特征在于：所述的M≥6000，M1≥1000，M2≥2000，M3≥1000，M4≥2000。

Images