CN102175613A - 基于图像亮度特征的ptz视频能见度检测方法 - Google Patents

Abstract

基于图像亮度特征的PTZ视频能见度检测方法，采用PTZ视频摄像机获取路况视频图像，提取路面的兴趣域ROI，获得所选像素的高度一致性；利用基于Nagao滤波的区域增长算法得到精确路面区域，确保所选像素在世界坐标中的照度一致；在路面区域中，提取反映路面亮度变化的对比度曲线，找寻亮度曲线特征点，通过消光系数计算图像中人眼可分辨最远像素；结合摄像机标定换算出最大能见距离，确定能见度值。本发明无需设置任何人工标志物，充分利用已有的PTZ摄像机进行路况摄像，获取图像，能够实时监测，且监测成本低；满足大面积路况监测的要求，监测稳定不受外界环境干扰，是一种简便易实现，精度高效果良好的能见度监测方法。

Description

基于图像亮度特征的PTZ视频能见度检测方法

技术领域

本发明属于图像处理技术领域，涉及摄像机定标技术、自适应Nagao滤波技术、噪声抑制技术、能见度求解技术等，在保证所选像素的高度、照度一致性的基础上，提取反映路面亮度变化的对比度曲线，找寻亮度曲线特征点，通过消光系数计算图像中人眼可分辨最远像素；结合摄像机标定换算出最大能见距离，确定能见度值，具体为一种基于图像亮度特征的PTZ视频能见度检测方法。

背景技术

高速公路是涉及国计民生的新兴产业，2010年我国总里程计划数将超过8万公里。江苏是我国经济发达地区，是智能交通***ITS(Intelligent Transportation System)的领头羊。目前已有高速公路3558公里，高速公路密度为3.46公里/百平方公里，2010年总里程将达5000公里。

同时我国境内山水平原错落，河流湖泊纵横，特别是中、西部地区，是地势复杂的丘陵地带，雾、靋、霾等自然灾害性天气多有发生，给交通运输带来了极大的隐患，特别是在不定时间和地点突然生成的团雾，对车辆安全的危害尤大。1975年，美国加利福利亚至纽约的高速公路，因大雾致使300多辆车相撞，死伤1000多人，造成了世界最大的交通事故。法国在1986年，有1200起事故(不含市内)是由于雾引起的，造成182人死，175人受伤，1352人轻伤，虽然高速公路上因雾产生的事故率仅为该年度的4％，但死亡率却高达7％～8％。在管理手段上，沪宁高速公路构建的仅10余观测点的气象检测***耗资近千万，仍很难准确检测出发生在局部地区的团雾。

针对能见度降低，我国公路管理部门动辄封路，以降低交通事故的发生。然而管理部门实施交通管制的程序主观性较强，实施管制的条件无量化指标、不够科学、不够规范，通过关闭来求安全可能适得其反。为此，对路况气象，特别是低能见度的及时检测发布，是加强应对灾害天气能力，减少损失，提高高速公路管理水平的切实要求。

目前高速公路使用的气象能见度检测设备主要以传统激光能见度仪为主，一般可用大气透射仪、散射仪等，这两类设备在雨、雾等低能见度天气，会因水汽吸收等复杂条件造成较大误差，难以正常观测，也很难准确检测出发生在局部地区的团雾。同时造价昂贵，维护成本高，在高速公路全程密集构建单独的气象检测站成本过高，难以普及推广。以沪宁高速公路为例，构建10余观测点的气象检测***的耗资近千万。

视频能见度检测方法将图像分析和人工智能技术与传统的大气光学分析结合起来，通过对视频图像的分析处理，建立图像与真实场景之间的关系，通过测量图像特征的变化情况，计算出气象能见度的值。与传统手段相比，在检测原理上接近人眼观看方式，具有低成本、易操作，及兼容沿路摄像机的广覆盖的优势，但不够成熟，尚需改进。

目前，国外对此研究较少，仍处于理论与实验阶段。美国明尼苏达州大学提出基于固定距离目标物的视频能见度检测方法^[1]，需人为预置多个视频检测目标，成本较高，操作繁琐，容易受到地形环境等因素的制约；MIT提出基于标志图像计算相对能见度的方法^[2]，将检测场景图像与预存的已知气象能见度图像比较分析，获得相对能见度，该方法无需辅助设施，使用方便，但难以用于云台摄像机，也易受到场景中运动物体遮挡的影响；瑞典国家道路管理中心提出了基于神经网络和红外视频的能见度检测方法^[3]，提取不同能见度图像边缘，采用神经网络算法分类，并转换为能见度相应等级，红外摄像机摄像噪声相对低，但其价格昂贵，维护复杂，难以沿路密集布设。

文献[4]提出一种基于路况标记物的能见度检测算法采用匹配算法从图像上分割出预置的目标物，进而对其特征进行拟合，得出能见度值。该方法需要设置额外标记，成本高，其探测范围和精度受限于视野范围内可选用的目标物的距离和数量，难以兼容已布设的PTZ摄像机；文献[5]提出基于视频图像对比度的检测方法，解析各像素与其四邻的对比度，所选取的最大值若大于给定阈值，即为人眼可分辨像素，再结合摄像机标定来换算出能见度值，由于阈值划分，易受噪声干扰，包括车道分割线区域噪声、CCD成像电流噪声，特别是量化误差噪声会引起检测结果跳变，算法不够稳定。

参考文献

[1]T.M.Kwon.Atmospheric visibility measurements using video cameras：Relative visibility.Technical report[R]，America：University of Minnesota Duluth，July 2004.

[2]Robert G.Hallowell，Michael P.Matthews，and Paul A.Pisano，Automated Extraction of Weather Variables from Camera Imagery[C].Proceedings of the 2005 Mid-Continent Transportation Research Symposium，Ames，IA，2005.8

[3]Final Report on Signal and Image Processing for Road Condition Classfication[R]，AerotechTelub and Dalarma University under the7 Swedish National Road Agency.Report#2002-02-06.2002.6.

[4]陈钊正，周庆逵，陈启美.基于小波变换的视频能见度检测算法研究与实现[J].仪器仪表学报2010，31(1)：92～98

[5]李勃，董蓉，陈启美.无需人工标记的视频对比度道路能见度检测[J].《计算机辅助设计与图形学学报》，2009，11(21)：1575-1982

[6]Li Bo，Chen Qimei.Vehicle activity analysis from freeway traffic video[J].Chinese Journal of Scientific Instrument，2006，27(Suppl.3)：2118-2120(in Chinese)(李勃，陈启美.基于监控视频的运动车辆行为分析算法[J].仪器仪表学报，2006，27(增刊3)：2118-2120)

[7]于莉娜，胡正平，练秋生.基于改进随机Hough变换的混合圆/椭圆快速检测方法[J].电子测量与仪器学报，2004，18(2)：92～97

[8]蒋联源.Fast detection of multi-circle with randomized Hough transform[J].Optoelectronics Letters VOL5，2009

[9]张煜东，吴乐南.基于SPCNN和Nagao滤波的图像去噪.中国科学F辑：信息科学，2009，39(6)：598-607

[10]Nagao M，Takashi M.Edge preserving smoothing.Comput Graph Image Process，1979，(9)：394-407

发明内容

本发明要解决的问题是：现有技术对能见度的监测存在不足，如检测局限性较大、不能满足大面积路况监测的要求，监测实时性不够，监测成本高昂，监测精度易受影响等；需要一种简便易实现，精度高效果良好的能见度监测方法。

本发明的技术方案为：基于图像亮度特征的PTZ视频能见度检测方法，采用PTZ视频摄像机获取路况视频图像，提取路面的兴趣域ROI，获得所选像素的高度一致性；利用基于Nagao滤波的区域增长算法得到精确路面区域，去除路基、车辆的影响，确保所选像素在世界坐标中的照度一致；在路面区域中，提取反映路面亮度变化的对比度曲线，找寻亮度曲线特征点，通过消光系数计算图像中人眼可分辨最远像素；结合摄像机标定换算出最大能见距离，确定能见度值，包括以下步骤：

1)通过设置的PTZ视频摄像机，实时获取路况视频图像信息；

2)从视频摄像机获取的图像信息，通过摄像机定标技术完成视频图像与路面世界坐标的转换关系，计算视频图像中路面区域与摄像机的距离；

3)采用Kluge模型拟合车道分割线在视频图像中的投影，通过随机霍夫变化求解模型中的未知参数，车道分割线间的区域即为当前图像的兴趣域ROI，将后续的处理过程限制于ROI内，确保图像像素的高度一致性；

4)采用区域增长算法，结合ROI区域内亮度判断准则以及自适应Nagao滤波方法，精确提取路面mask区域，所有的后续处理将限制在mask区域中，以减少计算量，保证所选像素在世界坐标中的照度一致：计算ROI中最下面一行的灰度中值，计为median(P_g)，选取亮度为median(P_g)的像素作为种子点，依照自下而上、从左至右原则逐行扫描mask区域，对扫描的目标像素点P(i，j)根据如下增长准则，依次判断是否属于路面区域：

41)亮度均衡性

P(i，j)与median(P_g)之间满足

$P(i,j)-\mathrm{median}\left(P_g\right)\≤\mathrm{\ρ}{n}_r\min G_{\max }^k$ (6)

(k＝-1，0，1)

式(6)中，ρ是小于1的常数，n_r代表P(i，j)和初始种子点P_g相隔行数，G_max则指某像素点与其上3-邻域内亮度差阈值，上3-邻域即像素点的左上方、上方、以及右上方的三个像素点，左上方亮度差阈值

上方亮度差阈值

右上方亮度差阈值

其中：

$G_{\max }^{-1}=G_{\max }^1<G_{\max }^0---\left(7\right)$

42)照度一致性

采用自适应窗宽的Nagao中值滤波器，滤除图像中的噪声干扰，同时不扩散噪声点的能量，满足亮度均衡性的像素点经过自适应窗宽的Nagao中值滤波，得到像素灰度值Q(i，j)满足：

$\&Exists;m\&Element;\{i-1,i,i+1\}$

$Q(i,j)-Q(m,j+1)<G_{\max }^{i-m}---\left(8\right)$

满足亮度连续性以及一致性的像素点即可加入到路面区域中，直至mask区域扫描完毕，精确的路面区域即可得到；

5)亮度特征提取：利用前述步骤获得的初始照度一致、高度一致的路面区域，分析路面像素因大气消光导致的亮度变化趋势，找出其中的变化特征点，即亮度曲线的二阶导数零点；

6)能见度计算：通过由摄像机标定算法求得的灭点坐标以及摄像机参数，以及亮度曲线求得的二阶导数零点坐标，确定大气消光系数，再利用科西米德定理推导出大气消光系数与能见度之间的关系，进而求解确定能见度值。

步骤2)中的摄像机定标为：

PTZ视频摄像机成像映射模型包括3个坐标系：路面世界坐标系(X_w，Y_w，Z_w)，摄像机坐标系(X_c，Y_c，Z_c)以及视频图像的像平面坐标系(u，v)，Z_c与路面夹角为θ，O距离路面高度为H，f为镜头有效焦距，建立路面坐标系与摄像机坐标系间、摄像机坐标系与成像平面间的变换关系为：

$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\&theta;}& -\cos \mathrm{\&theta;}& H\cos \mathrm{\&theta;}\\ 0& \cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& H\sin \mathrm{\&theta;}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(1\right)$

$u=-f\frac{X_c}{Z_c}$ $v=-f\frac{Y_c}{Z_c}---\left(2\right)$

由Y_w＝+∞可得，地平线v_h，也就是灭点在像平面中的投影为：

v_h＝-f tan θ    (3)

代入式(2)中可以得到：

$\frac{v-v_h}{f}=\frac{Y_c}{Z_c}+\tan \mathrm{\&theta;}---\left(4\right)$

Y_c＝L-d sin θ       Z_c＝d cos θ

据此，图像中像素所表征的路面区域距摄像机光心的距离d_c可表示为：

$d_c=\left\{\begin{array}{cc}\frac{\mathrm{\&lambda;}}{(v-v_h)}& v>v_h\\ \&infin;& v\&le;v_h\end{array}\right.\mathrm{\&lambda;}=\frac{\mathrm{Hf}}{{\cos }^2\mathrm{\&theta;}}---\left(5\right)$

步骤6)中大气能见度与消光系数的关系为：

根据科西米德定理，设k表示大气消光系数，某一固定亮度的物体在距离人眼距离为d处的视亮度或辐射率L与物体本身亮度L₀及背景亮度L_f关系如下式：

L＝L₀e^-kd+L_f(1-e^-kd)    (9)

式(9)表明物体的视亮度由两部分组成：物体固有亮度L₀以e^-kd消弱，以及背景亮度L_f以1-e^-kd形式逐渐加强，则对比度变化与大气消光系数k，距离d之间的关系为：

$C_d=\frac{L-L_f}{L_f}=\frac{L_0-L_f}{L_f}{e}^{-\mathrm{kd}}=C_0{e}^{-\mathrm{kd}}---\left(10\right)$

式(10)中，C_d是目标物接收亮度对比度，C₀是固有亮度对比度，当散射系数与方位角无关且沿观测者、目标物和地平天空之间的整个路径上的照度均匀时，关系式(10)成立，

设Vmet为人眼所能观测到的最远距离，即对比度为0.05处的像素点，有：

$V_{\mathrm{met}}=-\frac{1}{k}\ln \left(\frac{C_d}{C_0}\right)=-\frac{1}{k}\ln \left(0.05\right)\&ap;\frac{3}{k}---\left(11\right)$

关系式(11)表明了大气能见度与消光系数之间的关系；

则基于亮度特征点的能见度求解为：

将图像亮度L对像平面竖直方向坐标v求二阶导数，并将距离d用关系式(5)代入，有：

$\frac{d^{2}L}{{\mathrm{dv}}^2}=k\frac{\mathrm{\&lambda;}(L_0-L_f)}{{(v-v_h)}^3}{e}^{-k\frac{\mathrm{\&lambda;}}{v-v_h}}(\frac{\mathrm{k\&lambda;}}{v-v_h}-2)---\left(12\right)$

在消光系数k的作用下，图像像素亮度L及其导数随距离的变化而发生变化，随着雾的增大，在天空背景下，目标物变得更加模糊，并且求得的极值点也在减小，令二阶导数为0，舍弃无意义的k＝0的解，得到：

$k=\frac{2(v_i-v_h)}{\mathrm{\&lambda;}}---\left(13\right)$

v_i即亮度曲线二阶拐点位置，也就是二阶导数零点，v_h为地平线即灭点位置，由此，大气能见距离为：

$V_{\mathrm{met}}\&ap;\frac{3}{k}=\frac{3\mathrm{\&lambda;}}{2(v_i-v_h)}---\left(14\right)$

当v_i趋近于v_h的时候，V_met处于临界状态，认为此时刚好看见雾的出现；当v_i大于v_h的时候，雾是可以检测得到的；相反，v_i小于v_h的时候，认为没有雾的出现。

步骤5)具体为，在步骤4)得到的路面区域中，依次找出第j行最大长度连续像素点集Pix(i，j)，起始于(a，j)，终止于(b，j)，其长度lengh(j)＝(b-a+1)__，Pix(i，j)中点middle为((b+a)/2，j)，各行的中点坐标middle作为路面测量带的中心，在式(15)的条件下，组成一条路面测量带：

len(Pix(j))＝min(Lengh，lengh(j))    (15)

式中Pix(j)代表组成测量带的第j行点集，len(Pix(j))即为其长度，Lengh为一设置的常数阈值；获取测量带内每行中值亮度，得到亮度-距离变化曲线B，对B求二阶导数，确定变化特征点v_i，即二阶导数零点，并且在寻找二阶导数零点前，对曲线B进行插值、滤波，消除混淆二阶零点，以减小误差，得到尽可能精确测量结果。

本发明具有以下优点：

1.无需设置任何人工标志物，充分利用已有的PTZ摄像机进行路况摄像，获取图像，能够实时监测，且监测成本低；

2.本发明检测方法稳定性高，能较好的适应各天气状况下的图像，能准确判断出雾霾程度，检测精确在10米内；

3.采用自适应窗宽的Nagao中值滤波器取代传统的均值滤波，能够同时保证图像分辨率以及边缘的效果，且在噪声密度大范围变化时仍然具有较好的鲁棒性；

4.本发明实现了道路全程能见度无缝检测，包括局部地区团雾、全程能见度分布等，为在雾霾天气有针对性的给出路段车辆限速，路由迂回等信息，而非盲目封路提供了准确的数据支撑，提高了道路利用率，具有重要的经济效益。

附图说明

图1为本发明方法的流程图。

图2为本发明摄像机标定模模型图。

图3为本发明为确保亮度一致性采用的区域增长方法流程图。

图4为区域增长算法采用种子店上3-邻域示意图。

图5为图像灰度等级图，对应步骤6)中的能见度计算。

图6为本发明摄像机所测得目标物实际亮度组成图示。

图7为基于亮度特征点的能见度求解流程图。

图8为本发明预处理后得到的路面测量带示意图。

图9为本发明计算后得到的亮度变化曲线一阶导数及滤波图。

图10为本发明实际检测结果示意图。

图11为本发明实际检测结果与对比度算法及人眼观测结果相比较示意。

具体实施方式

本发明使用数字摄像机模拟人眼的感知特性，通过研究视频图像中像素对比度、亮度变化趋势，将图像的特征参量变化转换为人的感知强度，进而求解能见度。相对于传统的人力观看视频，采用纷繁复杂的外场设备进行交通参数采集，本发明提出了统一的视频处理方法，采用现有高速公路上覆盖面最广、信息反映最直观的监控摄像机进行处理，研究构建低成本、覆盖面广、信息反映直观的检测手段，检测当前路况能见度，实现低误报率、低漏检率、高精度的检测***，以实现高密度、低成本、易维护的实时路况信息采集。

如图1，本发明采用PTZ视频摄像机获取路况视频图像，提取路面的兴趣域ROI，获得所选像素的高度一致性；利用基于Nagao滤波的区域增长算法得到精确路面区域，去除路基、车辆的影响，确保所选像素在世界坐标中的照度一致；在路面区域中，提取反映路面亮度变化的对比度曲线，找寻亮度曲线特征点，通过消光系数计算图像中人眼可分辨最远像素；结合摄像机标定换算出最大能见距离，确定能见度值。PTZ视频摄像机，即Pan(平移)，Tilt(倾斜)，Zoom(变焦)，可以水平、垂直改变视角及变焦的摄像机，用于监控***。

本发明包括以下步骤：

1)通过设置的PTZ视频摄像机，实时获取路况视频图像信息；

2)从视频摄像机获取的图像信息，通过摄像机定标技术完成视频图像与路面世界坐标的转换关系，计算视频图像中路面区域与摄像机的距离；

3)采用Kluge模型拟合车道分割线在视频图像中的投影，通过随机霍夫变化求解模型中的未知参数，车道分割线间的区域即为当前图像的兴趣域ROI，将后续的处理过程限制于ROI内，确保图像像素的高度一致性；

4)大气光散射的作用，使图像中路面像素亮度随着距离呈现一定的变化关系。路面上路基、车道分割线等亮度的跳变，可能导致路面亮度提取过程中误差较大。采用区域增长算法，结合ROI区域内亮度判断准则以及自适应Nagao滤波方法，精确提取路面mask区域，所有的后续处理将限制在mask区域中，以减少计算量，保证所选像素在世界坐标中的照度一致：根据摄像机投影成像原理，图像ROI中最下面几行必为路面所在区域，为此，计算ROI中最下面一行的灰度中值，计为median(P_g)，选取亮度为median(P_g)的像素作为种子点，依照自下而上、从左至右原则逐行扫描mask区域，对扫描的目标像素点P(i，j)根据如下增长准则，依次判断是否属于路面区域：满足亮度连续性以及一致性的像素点即可加入到路面区域中，直至mask区域扫描完毕，精确的路面区域即可得到；

5)亮度特征提取：利用前述步骤获得的初始照度一致、高度一致的路面区域，分析路面像素因大气消光导致的亮度变化趋势，找出其中的变化特征点，即亮度曲线的二阶导数零点；

6)能见度计算：如图7，通过由摄像机标定算法求得的灭点坐标以及摄像机参数，以及亮度曲线求得的二阶导数零点坐标，确定大气消光系数，再利用科西米德定理推导出大气消光系数与能见度之间的关系，进而求解确定能见度值。

进一步的，本发明中，图像亮度随着距离逐渐变化，但是由于亮度值是0～255之间的离散的整数值，经常出现相邻行之间亮度值相同的现象，或是由于噪声点的影响，导致存在很多混淆的二阶导数零点，因此，为了避免误检，在寻找突变点前，对亮度曲线进行插值、滤波，消除混淆二阶零点。

步骤2)中，PTZ摄像机的成像映射标定模块的计算方法如下：

由路况摄像机成像映射模型，如图2所示，参考文献[8]中有详细说明，包括3个坐标系：路面坐标系(X_w，Y_w，Z_w)，摄像机坐标系(X_c，Y_c，Z_c)以及像平面坐标系(u，v)。Z_c与路面夹角为θ，O距离路面高度为H，其中f为镜头有效焦距。建立路面坐标系与摄像机坐标系间、摄像机坐标系与成像平面间的变换关系为：

$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\&theta;}& -\cos \mathrm{\&theta;}& H\cos \mathrm{\&theta;}\\ 0& \cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& H\sin \mathrm{\&theta;}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(1\right)$

$u=-f\frac{X_c}{Z_c}$ $v=-f\frac{Y_c}{Z_c}---\left(2\right)$

由Y_w＝+∞可得，地平线v_h，也即灭点在像平面中的投影为：

v_h＝-f tan θ    (3)

代入(2)中可以得到：

$\frac{v-v_h}{f}=\frac{Y_c}{Z_c}+\tan \mathrm{\&theta;}---\left(4\right)$

Y_c＝L-d sin θ     Z_c＝d cos θ

据此，图像中像素所表征的路面区域距摄像机光心的距离d_c可表示为：

$d_c=\left\{\begin{array}{cc}\frac{\mathrm{\&lambda;}}{(v-v_h)}& v>v_h\\ \&infin;& v\&le;v_h\end{array}\right.\mathrm{\&lambda;}=\frac{\mathrm{Hf}}{{\cos }^2\mathrm{\&theta;}}---\left(5\right)$

步骤3)和步骤4)中，分别从高度一致性和照度一致性两个方面来保证视频图像一致性。

3)ROI检测保证高度一致性。在路面成像过程中，不可避免的会丢失物体高度信息，如路侧树木成像可能在地平线之上。这将导致提取到的图像特征点难以通过摄像机标定算法转换为具体的能见度值。为此，本发明采用Kluge模型拟合车道分割线在视频图像中的投影，通过随机霍夫变化(randomized Hough transform，RHT)求解模型中的未知参数，检测车道分割线在图像中的投影，分割线间的区域即为当前图像的ROI，关于Kluge模型及其参数的求解具体可参见参考文件[6]的记载。将后续的处理过程限制于ROI内，以确保图像像素的等高性，同时也大大降低后续运算的复杂度。

4)设定mask区域的最底端为种子区域，保证每个种子点灰度值与此行所有像素中值灰度值相差不大，根据摄像机投影成像原理，图像ROI中最下面几行必为路面所在区域，为此，计算ROI中最下面一行的灰度中值，计为median(P_g)，选取亮度为median(P_g)的像素作为种子点，依照自下而上、从左至右原则逐行扫描mask区域。区域增长流程图如图3所示，对判断目标像素点P(i，j)根据如下增长准则，依次判断是否属于路面区域。

41)亮度均衡性

P(i，j)与median(P_g)之间满足

$P(i,j)-\mathrm{median}\left(P_g\right)\&le;\mathrm{\&rho;}{n}_r\min G_{\max }^k$ (6)

(k＝-1，0，1)

式(6)中，ρ是小于1的常数，n_r代表P(i，j)和初始种子点P_g相隔行数，G_max则指某像素点与其上3-邻域内亮度差阈值，上3-邻域即像素点的左上方、上方、以及右上方的三个像素点，左上方亮度差阈值

上方亮度差阈值

右上方亮度差阈值

如图4所示，一般有：

$G_{\max }^{-1}=G_{\max }^1<G_{\max }^0---\left(7\right)$

亮度均衡性保证防止像素点亮度发生漂移，假设图像灰度值范围为0～255，相邻两行间阈值为8，如果只限制相邻行而不加此限制，有可能在32行后黑点(亮度值为0)和白点(亮度值为255)同时存在在路面区域内，灰度值相对于种子点灰度发生了较大的漂移。

42)基于自适应窗宽的Nagao中值滤波器的照度一致性

这里的Nagao中值滤波器在文件[9][10]中已有详细介绍，不再详述。满足亮度均衡性的像素点经过自适应窗宽的Nagao中值滤波，得到像素灰度值Q(i，j)满足：

$\&Exists;m\&Element;\{i-1,i,i+1\}$

$Q(i,j)-Q(m,j+1)<G_{\max }^{i-m}---\left(8\right)$

这一条件在去除图像噪声的基础上有效防止了区域内灰度值发生跳变。

Nagao算法的思想是：首先围绕中心像素将一个长条形模板旋转一周，选择方差最小的模板位置，以其灰度均值来代替中心像素的灰度值，迭代至变化的像素数为0。

考虑到角分辨率、边缘的保留以及计算准确率，选择了自适应窗宽的Nagao滤波器：

自适应窗宽Nagao滤波器对于同质区，采用大尺度模板，使得角分辨率更为精细；而对于边缘区和纹理区，采用小尺度模板，避免了模糊边缘与纹理。由于传统Nagao滤波器采用均值滤波，本身效果并不理想。而对模板采用中值滤波替代均值滤波，抵御噪声的能力更强，即使模板内存在多个噪声点，也能清晰滤波。采用自适应窗宽Nagao中值滤波器可以有效的滤除由于路基、绿化带、阴影等所导致的路面噪声点，同时保留mask区域的边缘与纹理特性。满足亮度连续性以及一致性的像素点即可加入到路面区域中，直至mask区域扫描完毕，精确的路面区域即可得到。

步骤5)中，亮度特征提取步骤如下所示：

在步骤4)得到的路面区域中，由于车辆、绿化带的影响，每行像素点存在间断，直接取其中值亮度可能受到干扰物的影响。从中依次找出第j行最大长度连续像素点集Pix(i，j)，起始于(a，j)，终止于(b，j)，其长度lengh(j)＝(b-a+1)__，Pix(i，j)中点middle为((b+a)/2，j)，当b+a为奇数时，按本领域常规进行取整操作，也就是在位于中间的两个像素点中任选一个作为中点。各行的中点坐标middle作为路面测量带的中心，在式(15)的条件下，组成一条路面测量带。

len(Pix(j))＝min(Lengh，lengh(j))    (15)

式中Pix(j)代表组成测量带的第j行点集，len(Pix(j))即为其长度，Lengh为一常数阈值，一般依据图像分辨率，取图像水平分辨率的5％～10％，在本***中，由于图像分辨率为704*576，水平分辨率为704，该阈值取为50，测量带以及其中点示意如图8所示；获取测量带内每行中值亮度，如下式：

B_j＝median(Pix(j))    (16)

得到亮度-距离变化曲线B。对B求二阶导数，确定突变点v_i，结合摄像机标定计算消光系数，继而得到最大能见距离。亮度B随着距离逐渐变化，但是由于亮度值是0～255之间的离散的整数值，经常出现相邻行之间亮度值相同的现象，或是由于噪声点的影响，导致存在很多混淆的二阶导数零点。因此，为了避免误检，在寻找突变点前，对B插值、滤波，消除混淆二阶零点，寻找B一阶导数极大值点，也即亮度函数二阶突变点，如图9所示，横轴代表图像坐标系沿竖直方向坐标，也即图像坐标系中目标点距摄像机距离，蓝色线条表示对各行亮度求导的一阶导数值，红色线条代表一阶导数滤波效果图，一阶导数最大值处即为二阶亮度特征点，据此计算能见度。

步骤6)中，能见度的推导方式如下：

61)大气能见度与消光系数的关系

大气能见度属反映大气透明度的指标。一般定义为相对于天空散射光背景下，观测安置于地面附近、适当尺度的黑色目标物，能看到且能辨认出的最大距离。该定义依赖于人的视觉，人与计算机对图像的感知能力存在差异，如图5所示，一个16位的灰度等级，计算机能够准确分辨出任两等级之间的差异，而人眼只能区分亮度差大的等级。

根据CIE的定义，目标物相对于背景对比度大于0.05的像素点，人眼才能够区分出来。只有确定人和计算机对图像感知能力之间的差异，计算机才能具有测量能见度的能力。

Koschmieder提出，在天空背景下光线透过大气层时存在衰减，假设k表示大气消光系数，某一固定亮度的物体在距离人眼距离为d处的视亮度或辐射率L与物体本身亮度L₀及背景亮度L_f关系如下式：

L＝L₀e^-kd+L_f(1-e^-kd)    (9)

式(9)表明物体的视亮度由两部分组成：物体固有亮度L₀以e^-kd消弱以及背景亮度L_f以(1-e^-kd)形式逐渐加强，如图6所示，据此可推导出对比度变化与大气消光系数k，距离d之间的关系为：

$C_d=\frac{L-L_f}{L_f}=\frac{L_0-L_f}{L_f}{e}^{-\mathrm{kd}}=C_0{e}^{-\mathrm{kd}}---\left(10\right)$

式(10)中，C_d是目标物接收亮度对比度，C₀是固有亮度对比度。当散射系数与方位角无关且沿观测者、目标物和地平天空之间的整个路径上的照度均匀时，关系式(10)成立。

设V_met为人眼所能观测到的最远距离，即对比度为0.05处的像素点，有：

$V_{\mathrm{met}}=-\frac{1}{k}\ln \left(\frac{C_d}{C_0}\right)=-\frac{1}{k}\ln \left(0.05\right)\&ap;\frac{3}{k}---\left(11\right)$

关系式(11)表明了大气能见度与消光系数之间的关系。

62)基于亮度特征点的能见度求解

将图像亮度对像平面竖直方向坐标v求二阶导数，有：

$\frac{d^{2}L}{{\mathrm{dv}}^2}=k\frac{\mathrm{\&lambda;}(L_0-L_f)}{{(v-v_h)}^3}{e}^{-k\frac{\mathrm{\&lambda;}}{v-v_h}}(\frac{\mathrm{k\&lambda;}}{v-v_h}-2)---\left(12\right)$

在消光系数k的作用下，图像像素亮度L及其导数随距离的变化而发生变化。随着雾的增大，在天空背景下，目标物变得更加模糊，并且求得的极值点也在减小。令二阶导数为0，舍弃无意义的k＝0的解，得到：

$k=\frac{2(v_i-v_h)}{\mathrm{\&lambda;}}---\left(13\right)$

v_i即亮度曲线二阶拐点位置，v_h为地平线即灭点位置。由此，大气能见距离为：

$V_{\mathrm{met}}\&ap;\frac{3}{k}=\frac{3\mathrm{\&lambda;}}{2(v_i-v_h)}---\left(14\right)$

当v_i趋近于v_h的时候，V_met处于临界状态，认为此时刚好看见雾的出现；当v_i大于v_h的时候，雾是可以检测得到的；相反，v_i小于v_h的时候，认为没有雾的出现。

下面以路况能见度检测来具体说明本发明的实施。

能见度检测测试硬件平台为P4/2.8GHz单CPU、1G内存、SUSE Linux操作***，视频采集来自江苏省宁连高速公路视频监控图像，MPEG-2，分辨率为704×576。

图10分别取自同一场景的能见度逐步变化的一组4幅图像，每隔约30min截取一帧图像，图中“+”代表由对比度算法得到的临界能见度，横线位置即为本发明方法得到的能见度，其中V为人眼观测得到的能见度值。

图11所示场景能见度变化过程中，本发明方法与人眼以及基于对比度方法的检测结果比较。该算法与人眼观测效果一致，准确率达到96％以上，检测误差在10米以内，与能见度的对比度算法相比较，操作简单、抗干扰强、准确率高。

由图10～11可以看出，随着能见度的增加，检测到的最大能见距离与图像的顶端越近；在大多数情况下，本发明方法与人眼观测值相一致，也与基于对比度计算法结果符合。在误差允许范围内存在微小波动，而在图像噪声较大或者团雾环境下，基于对比度算法存在跳变，误差较大，本发明方法可给出较好的能见度值。

Claims (5)

1.基于图像亮度特征的PTZ视频能见度检测方法，其特征是采用PTZ视频摄像机获取路况视频图像，提取路面的兴趣域ROI，获得所选像素的高度一致性；利用基于Nagao滤波的区域增长算法得到精确路面区域，去除路基、车辆的影响，确保所选像素在世界坐标中的照度一致；在路面区域中，提取反映路面亮度变化的对比度曲线，找寻亮度曲线特征点，通过消光系数计算图像中人眼可分辨最远像素；结合摄像机标定换算出最大能见距离，确定能见度值，包括以下步骤：

1)通过设置的PTZ视频摄像机，实时获取路况视频图像信息；

2)从视频摄像机获取的图像信息，通过摄像机定标技术完成视频图像与路面世界坐标的转换关系，计算视频图像中路面区域与摄像机的距离；

3)采用Kluge模型拟合车道分割线在视频图像中的投影，通过随机霍夫变化求解模型中的未知参数，车道分割线间的区域即为当前图像的兴趣域ROI，将后续的处理过程限制于ROI内，确保图像像素的高度一致性；

4)采用区域增长算法，结合ROI区域内亮度判断准则以及自适应Nagao滤波方法，精确提取路面mask区域，将所有的后续处理限制在mask区域中，以减少计算量，保证所选像素在世界坐标中的照度一致；计算ROI中最下面一行的灰度中值，计为median(P_g)，选取亮度为median(P_g)的像素作为种子点，依照自下而上、从左至右原则逐行扫描mask区域，对扫描的目标像素点P(i，j)根据如下增长准则，依次判断是否属于路面区域：

41)亮度均衡性

P(i，j)与median(P_g)之间满足

$P(i,j)-\mathrm{median}\left(P_g\right)\&le;\mathrm{\&rho;}{n}_r\min G_{\max }^k$ (6)

(k＝-1，0，1)

式(6)中，ρ是小于1的常数，n_r代表P(i，j)和初始种子点P_g相隔行数，G_max则指某像素点与其上3-邻域内亮度差阈值，上3-邻域即像素点的左上方、上方、以及右上方的三个像素点，左上方亮度差阈值

上方亮度差阈值右上方亮度差阈值

其中：

$G_{\max }^{-1}=G_{\max }^1<G_{\max }^0---\left(7\right)$

42)照度一致性

采用自适应窗宽的Nagao中值滤波器，滤除图像中的噪声干扰，同时不扩散噪声点的能量，满足亮度均衡性的像素点经过自适应窗宽的Nagao中值滤波，得到像素灰度值Q(i，j)满足：

$\&Exists;m\&Element;\{i-1,i,i+1\}$

$Q(i,j)-Q(m,j+1)<G_{\max }^{i-m}---\left(8\right)$

满足亮度连续性以及一致性的像素点即可加入到路面区域中，直至mask区域扫描完毕，精确的路面区域即可得到；

5)亮度特征提取：利用前述步骤获得的初始照度一致、高度一致的路面区域，分析路面像素因大气消光导致的亮度变化趋势，找出其中的变化特征点，即亮度曲线的二阶导数零点；

6)能见度计算：通过由摄像机标定算法求得的灭点坐标以及摄像机参数，以及亮度曲线求得的二阶导数零点坐标，确定大气消光系数，再利用科西米德定理推导出大气消光系数与能见度之间的关系，进而求解确定能见度值。

2.根据权利要求1所述的基于图像亮度特征的PTZ视频能见度检测方法，其特征是步骤2)中的摄像机定标为：

PTZ视频摄像机成像映射模型包括3个坐标系：路面世界坐标系(X_w，Y_w，Z_w)，摄像机坐标系(X_c，Y_c，Z_c)以及视频图像的像平面坐标系(u，v)，Z_c与路面夹角为θ，摄像机光心O距离路面高度为H，f为镜头有效焦距，建立路面坐标系与摄像机坐标系间、摄像机坐标系与成像平面间的变换关系为：

$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\&theta;}& -\cos \mathrm{\&theta;}& H\cos \mathrm{\&theta;}\\ 0& \cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& H\sin \mathrm{\&theta;}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(1\right)$

$u=-f\frac{X_c}{Z_c}$ $v=-f\frac{Y_c}{Z_c}---\left(2\right)$

由Y_w+∞可得，地平线v_h，也就是灭点在像平面中的投影为：

v_h＝-f tanθ    (3)

代入式(2)中可以得到：

$\frac{v-v_h}{f}=\frac{Y_c}{Z_c}+\tan \mathrm{\&theta;}---\left(4\right)$

Y_c＝L-d sin θ   Z_c＝d cos θ

据此，图像中像素所表征的路面区域距摄像机光心的距离d_c可表示为：

$d_c=\left\{\begin{array}{cc}\frac{\mathrm{\&lambda;}}{(v-v_h)}& v>v_h\\ \&infin;& v\&le;v_h\end{array}\right.\mathrm{\&lambda;}=\frac{\mathrm{Hf}}{{\cos }^2\mathrm{\&theta;}}---\left(5\right).$

3.根据权利要求1或2所述的基于图像亮度特征的PTZ视频能见度检测方法，其特征是步骤6)中大气能见度与消光系数的关系为：

根据科西米德定理，设k表示大气消光系数，某一固定亮度的物体在距离人眼距离为d处的视亮度或辐射率L与物体本身亮度L₀及背景亮度L_f关系如下式：

L＝L₀e^-kd+L_f(1-e^-kd)    (9)

式(9)表明物体的视亮度由两部分组成：物体固有亮度L₀以e^-kd消弱，以及背景亮度L_f以1-e^-kd形式逐渐加强，则对比度变化与大气消光系数k，距离d之间的关系为：

$C_d=\frac{L-L_f}{L_f}=\frac{L_0-L_f}{L_f}{e}^{-\mathrm{kd}}=C_0{e}^{-\mathrm{kd}}---\left(10\right)$

式(10)中，C_d是目标物接收亮度对比度，C₀是固有亮度对比度，当散射系数与方位角无关且沿观测者、目标物和地平天空之间的整个路径上的照度均匀时，关系式(10)成立，

设V_met为人眼所能观测到的最远距离，即对比度为0.05处的像素点，有：

$V_{\mathrm{met}}=-\frac{1}{k}\ln \left(\frac{C_d}{C_0}\right)=-\frac{1}{k}\ln \left(0.05\right)\&ap;\frac{3}{k}---\left(11\right)$

关系式(11)表明了大气能见度与消光系数之间的关系；

则基于亮度特征点的能见度求解为：

将图像亮度L对像平面竖直方向坐标v求二阶导数，并将距离d用关系式(5)代入，有：

$\frac{d^{2}L}{{\mathrm{dv}}^2}=k\frac{\mathrm{\&lambda;}(L_0-L_f)}{{(v-v_h)}^3}{e}^{-k\frac{\mathrm{\&lambda;}}{v-v_h}}(\frac{\mathrm{k\&lambda;}}{v-v_h}-2)---\left(12\right)$

在消光系数k的作用下，图像像素亮度L及其导数随距离的变化而发生变化，随着雾的增大，在天空背景下，目标物变得更加模糊，并且求得的极值点也在减小，令二阶导数为0，舍弃无意义的k＝0的解，得到：

$k=\frac{2(v_i-v_h)}{\mathrm{\&lambda;}}---\left(13\right)$

v_i即亮度曲线二阶拐点位置，也就是二阶导数零点，v_h为地平线即灭点位置，由此，大气能见距离为：

$V_{\mathrm{met}}\&ap;\frac{3}{k}=\frac{3\mathrm{\&lambda;}}{2(v_i-v_h)}---\left(14\right)$

当v_i趋近于v_h的时候，V_met处于临界状态，认为此时刚好看见雾的出现；当v_i大于v_h的时候，雾是可以检测得到的；相反，v_i小于v_h的时候，认为没有雾的出现。

4.根据权利要求1或2所述的基于图像亮度特征的PTZ视频能见度检测方法，其特征是步骤5)具体为，在步骤4)得到的路面区域中，依次找出第j行最大长度连续像素点集Pix(i，j)，起始于(a，j)，终止于(b，j)，其长度lengh(j)＝(b-a+1)__，Pix(i，j)中点middle为((b+a)/2，j)，各行的中点坐标middle作为路面测量带的中心，在式(15)的条件下，组成一条路面测量带：

len(Pix(j))＝min(Lengh，lengh(j))    (15)

式中Pix(j)代表组成测量带的第j行点集，len(Pix(j))即为其长度，Lengh为一设置的常数阈值；获取测量带内每行中值亮度，得到亮度-距离变化曲线B，对B求二阶导数，确定变化特征点v_i，即二阶导数零点，并且在寻找二阶导数零点前，对曲线B进行插值、滤波，消除混淆二阶零点，以减小误差，得到尽可能精确测量结果。

5.根据权利要求3所述的基于图像亮度特征的PTZ视频能见度检测方法，其特征是步骤5)具体为，在步骤4)得到的路面区域中，依次找出第j行最大长度连续像素点集Pix(i，j)，起始于(a，j)，终止于(b，j)，其长度lengh(j)＝(b-a+1)__，Pix(i，j)中点middle为((b+a)/2，j)，各行的中点坐标middle作为路面测量带的中心，在式(15)的条件下，组成一条路面测量带：

len(Pix(j))＝min(Lengh，lengh(j))    (15)

式中Pix(j)代表组成测量带的第j行点集，len(Pix(j))即为其长度，Lengh为一设置的常数阈值；获取测量带内每行中值亮度，得到亮度-距离变化曲线B，对B求二阶导数，确定变化特征点v_i，即二阶导数零点，并且在寻找二阶导数零点前，对曲线B进行插值、滤波，消除混淆二阶零点，以减小误差，得到尽可能精确测量结果。

Images