CN102044151B - 基于光照可见度辨识的夜间车辆视频检测方法 - Google Patents

Abstract

本发明公开了一种基于光照可见度辨识的夜间车辆视频检测方法，该方法的步骤如下：1.夜间交通场景视频图像采集：摄像镜头将采集的交通场景的视频图像压缩为MPEG格式传输到计算机进行存储。2.夜间光照模式识别：确定是夜间无路灯模式还是夜间有路灯模式。3.进行夜间无路灯模式下车辆检测或夜间有路灯模式下车辆检测：4.夜间车辆运动跟踪：利用kalman滤波算法对匹配的车辆头灯(夜间无路灯模式下)或车辆整体(夜间有路灯模式下)进行运动跟踪，获取车辆的运动状态，实现连续快速的车辆运动跟踪。5.夜间车辆交通参数提取：根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的提取。

Description

基于光照可见度辨识的夜间车辆视频检测方法

技术领域

本发明涉及一种用于城市交通管理控制***中夜间机动车辆的检测方法，更确切地说，本发明涉及一种基于光照可见度辨识的夜间车辆视频检测方法。

背景技术

随着城市信息化、智能化的快速发展以及计算机图像处理、通信传输技术的不断更新，视频检测已经广泛应用于城市交通***，利用视频检测技术可实现运动目标的自动检测、识别、跟踪、参数获取、行为分析等等，进而实现交通事件及交通状态的实时监控，对于优化交通管理控制方法，保障城市道路交通安全具有重要的意义。

目前国内外已经开发出一些视频检测***并投入实际应用，但是这些***大都在白天环境下检测效果良好，对于夜间复杂环境下的车辆检测准确率相对较低。夜间视频检测的主要难点在于夜间的光线不足，可见度较低，尤其是在无路灯的情况下，车体轮廓难以分辨，且夜间道路受周围环境光线的干扰较大，加大了夜间车辆检测的难度。中国专利公开号为CN101382997，公开日为2009年3月11，申请号为20081011067317，发明名称为夜间车辆的检测与跟踪方法及装置，该申请案中提出了一种通过选定合适的检测区域，对车道线外侧进行最小像素化处理，去除车道线外侧噪声，选取最佳的二值化阈值，然后通过二值化处理以及数字图像处理的模板操作，提取车灯信息，最后完成对车灯信息的提取和跟踪从而完成对夜间车辆的检测和跟踪。上述专利申请文件选择车灯为特征值，在夜间没有路灯时，可见度低，车灯成为明显的特征值，能达到很好的效果，但是在有路灯的情况下，光照可见度较高，周围环境的光线干扰较大，车灯特征不明显。并且，在车灯跟踪时，车灯轮廓的周长的提取过程中会出现误差，仅仅据此判定非同一辆车是不准确的。鉴于此，基于视频监控的机动车交通流夜间检测技术一直是个难题，目前国内外在这方面的研究相对较少，一种方法是依赖适用于白天的检测方法(例如帧间差分法、背景差分法等)，抽取运动车辆进而获取交通流参数；一种方法采用检测车辆头灯进而实现车辆识别。这些方法均难以适应夜间有、无路灯环境下的光线亮度变化，无法保证夜间机动车交通流参数检测的高精度。因此，现有的夜间车辆视频检测方法离应用于实际的检测要求尚有较大差距。

发明内容

本发明所要解决的技术问题是克服了现有技术存在难以适应夜间有、无路灯环境下的光线亮度变化，无法保证夜间机动车交通流参数检测的高精度的问题，提供了一种基于光照可见度辨识的夜间车辆视频检测方法。

为解决上述技术问题，本发明是采用如下技术方案实现的：所述的基于光照可见度辨识的夜间车辆视频检测方法包括如下步骤：

1.夜间交通场景视频图像采集

分别于有路灯与无路灯车道上方安装摄像镜头，摄像镜头距路面8～12米且处于垂直路面的位置，将采集的交通场景的视频图像压缩为MPEG格式传输到计算机进行存储；

2.夜间光照模式识别

确定是夜间无路灯模式还是夜间有路灯模式；

3.进行夜间无路灯模式下车辆检测或夜间有路灯模式下车辆检测；

4.夜间车辆运动跟踪

利用kalman滤波算法对匹配的车辆头灯进行运动跟踪，获取车辆的运动状态，实现连续快速的车辆运动跟踪；

5.夜间车辆交通参数提取

根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的提取。

技术方案中所述的夜间光照模式识别包括如下步骤：

1.基于聚类识别的背景提取

对于采集到的视频图像序列，利用聚类识别的背景提取算法实现场景内背景图像的获取，即利用搜索到的图像像素时间序列上的不重叠平稳序列，通过像素值变化度约束构造背景子集实现背景图像的提取。

2.特征值选取

选取HSI颜色空间的亮度I＝1/3(R+G+B)间接表达光照可见度，从背景图像中的车道位置标出一个矩形感兴趣区域，感兴趣区域的标准差和均值，作为光照可见度评价特征指标，其中：R、G与B分别表示图像中红、绿与蓝三个通道的颜色。

3.夜间光照模式分类模型建立

1)提前采集夜间有路灯和无路灯两种交通场景不同时段的视频序列，分别在选定的感兴趣区域内提取出HSI颜色空间的亮度I的标准差和均值，对采集到光照信息指标数据样本利用SVM进行离线训练，构建出基于光照可见度的SVM场景识别模型。

2)将待检测交通场景的光照信息指标数据输入到离线学习得到的基于光照可见度的场景识别模型，将其划分为有路灯光照模式或无路灯光照模式。

技术方案中所述的夜间无路灯模式下车辆检测包括如下步骤：

1.通过背景差分法与二值化处理提取车头灯

保留车辆车头灯的显著特征，排除其它光源的影响，利用车头灯特征检测运行车辆，通过背景差分法进行图像分割，选取合适的阈值进行二值化处理，提取得到车头灯。

2.运用形态滤波与数学形态学处理提高检测精度

为了最大化精确提取出车头灯，运用形态滤波对二值化图像进行处理，去除一些较小的噪声点，减少影响；

3.基于8连通区域方法，采用基于模板扫描的区域增长算法得到正确的运动目标和提高匹配跟踪的精度；

4.采用车辆车头灯匹配函数完成无路灯模式下的车辆检测

对于检测区域中的每个车头灯，按照匹配距离准则选择最佳匹配，找到使匹配函数最小的车头灯确定为同一车辆，具体匹配函数如下：

|A_i-A_j|≤ε

|Y_i-Y_j|≤φ

其中：A为车头灯区域面积，Y为摄像机拍摄垂直方向坐标，X为摄像机拍摄水平方向坐标，ε，φ，

γ为提前设定的约束阈值；

利用匹配后的每辆车的双车头灯水平距离以及车头灯区域的占空比均值作为分类特征，根据离线车辆特征采集设置合理分类阈值，对车辆类型进行在线判别，将车辆划分大型车、中型车和小型车。

技术方案中所述的基于8连通区域方法，采用基于模板扫描的区域增长算法得到正确的运动目标和提高匹配跟踪的精度包括如下步骤：

1.建立一个n×n的扫描模板，并把前景图像划分成p×q个n×n的子区域，建立p×q的前景区域标记矩阵M。

2.按照从左至右，从上至下的顺序对图像上的p×q个子区域进行逐一扫描，当第i行，j列区域的前景点个数多于

时，M(i，j)＝1，否则，M(i，j)＝0，针对标记矩阵M按照从左至右，从上至下的顺序搜索连通区域。

3.当M(i，j)＝0，按顺序搜索下个点；当M(i，j)＝1，将其作为种子。

4.针对种子点M(i，j)，修改M(i，j)＝0，搜索其连通区域，规则如下：依次判断邻域八个点的值，如果左上点为1，将其作为种子点，执行步骤4，否则判别下一个点，以此类推，直到其邻域无连通点为止，将此连通区域作为一个目标区域，并执行步骤3。

技术方案中所述的夜间有路灯模式下车辆检测包括如下步骤：

1.消除影响因素

提取车体轮廓为特征值，利用Retinex算法计算出车头灯与路面的投射光束的反射强度，然后消除其影响。

2.车辆检测

采用基于模板扫描的区域增长算法实现前景图像的多区域分割，并采用基于Kalman滤波模型实现有路灯模式下的运动车辆检测。

3.基于矩特征判断车型

基于矩特征的目标特征表达方法实现有路灯模式下车辆类型的判断，即构建多类别车辆训练样本库，提取偏心矩特征，构建基于SVM的车辆类型分类模型，将待检测交通场景的车辆特征输入到离线学习得到的车辆类别识别模型，在线识别车辆类型，将其划分大型车、中型车和小型车。

技术方案中所述的基于矩特征判断车型包括如下步骤：

1.偏心矩定义

假设存在空间离散化大小为M*N的图像f(x，y)，其pq阶矩定义为：

$m_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j)$

那么对于经过分割以后的二值图像，前景目标区域R中的任意像素点的像素值f(i，j)均为1，则R中的第(p，q)阶矩有如下表示形式：

$m_{\mathrm{pq}}=\underset{i,j\∈R}{\overset{M}{\mathrm{\Σ}}}\stackrel{N}{\mathrm{\Σ}}{i}^p{j}^q$

通过上式能够分别计算得出m₀₀、m₀₁、m₁₀，其中m₀₀表示区域R的像素点个数，即面积，m₁₀，m₀₁则代表中心矩，那么区域R的重心C坐标(x_c，y_c)可以表示为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{y}_i}{n}$

式中，n为区域R中的像素点个数，

根据前景区域的连通特性，将区域轮廓点集按逆时针顺序排序并表示为一个向量的形式：p(p₁，p₂，p₃…p_m)，那么本发明向量中每个元素p_i与区域重心C之间的距离定义为p_i的偏心矩d_i，由此向量p(p₁，p₂，p₃…p_m)中各个元素与重心之间的距离可以构成一个偏心矩序列，将此偏心矩序列定义为前景目标区域的偏心矩向量：

D(d₁，d₂，d₃…d_m)^T

$d_i=\mathrm{dist}(C,p_i),\∀i\∈(1...m).$

2.偏心矩向量归一化

从原有向量D(d₁，d₂，d₃…d_m)^T中按照公式

D′(d₁，d₂，d₃…d_m)^T

$D^{\′}\left(i\right)=D[i.\frac{m}{k}],\∀i\∈(1...k),k\∈N$

选择一定的间隔提取出固定数目且能够反映物体整体轮廓特性的偏心矩元素构造一组新向量，将此向量定义为偏心矩优化向量；通过上式把不同目标的偏心矩向量统一为相同的k维向量，式中

的值表示小于且最接近

的整数；

为使偏心矩向量中各维元素具有可比性，定义偏心矩归一化向量：

D″(d₁，d₂，d₃…d_k)^T

$D^{\′\′}\left(i\right)=\frac{D^{\′}\left(i\right)}{{\mathrm{\Σ}}_1^k{D}^{\′}\left(i\right)},\∀i\∈(1...k),k\∈N$

式中：D″(i)表示目标的第i维的偏心矩特征与各维偏心矩之和的比值；

计算得到目标偏心矩向量均值、偏心矩向量分散度、极大极小偏心矩之比三个基本特征；

偏心矩向量均值可以表示为：

$M_1=\stackrel{\‾}{D}=\frac{1}{K}{\mathrm{\Σ}}_1^K{D}^{\′\′}\left(i\right)$

偏心矩向量分散度可以表示为：

$M_2=\frac{1}{K}{\mathrm{\Σ}}_1^K{(D^{\′\′}\left(i\right)-\stackrel{\‾}{D})}^2$

极大极小偏心矩之比可以表示为：

$M_3=\frac{\mathrm{MAX}\left(D^{\′\′}\left(i\right)\right)}{\mathrm{MIN}\left(D^{\′\′}\left(i\right)\right)}$

式中：MAX(D″(i))，MIN(D″(i))分别表示偏心矩归一化向量中最大元素值与最小元素值，以M₁，M₂，M₃作为目标形态特征的最终表达。

技术方案中所述的夜间车辆运动跟踪包括如下步骤：

1.特征表达

令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的重心C坐标(x_c，y_c)可定义为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{y}_i}{n}$

式中：n为R内像素点个数，本发明为简化问题起见，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪，同时，为了提高目标匹配的精确性，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束。R的紧密度S定义为：

$S=\frac{A}{L^2}$

式中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点；利用运动目标的重心、速度、紧密度及紧密度变化对目标的状态进行描述，目标k时刻的状态特征向量可表达为：

$X_k=(C_k,V_k,S_k,\▿S_k).$

2.参数初始化

在目标稳定出现于检测区域内后，利用前两个观测时刻的重心位置确定目标的速度，即：

V_x，0＝x_c，1-x_c，0

V_y，0＝y_c，1-y_c，0

其中，V_x，0，V_y，0分别为x，y方向的初始速度，目标的前两个观测时刻坐标分别为C₀＝(x_c，0，y_c，0)，C₁＝(x_c，1，y_c，1)，同时，由于运动的相对稳定性，连续两观测时刻内目标的紧密度不会发生较大的改变，因此初始紧密度变化值定为：

$\▿S_0=0$

3.状态估计

对于当前观测时刻中的每个分割前景目标要与已标记的被跟踪目标进行匹配，利用当前目标的状态特征观测值与所有受跟踪目标的前一个观测时刻状态特征的估计值按照匹配最小距离准则选择最佳匹配，找到使匹配距离最小的目标即为被跟踪的目标，受跟踪目标状态估计方程为：

$x_{c,t}^L=x_{c,t-1}^L+V_{x,t-1}^L\×\mathrm{\Δt}+\mathrm{\ω}$

$y_{c,t}^L=y_{c,t-1}^L+V_{y,t-1}^L\×\mathrm{\Δt}+\mathrm{\ω}$

$S_t^L=S_{t-1}^L+\▿S_{t-1}^L+\mathrm{\ξ}$

式中：Δt为相邻观测时间间隔，

为第L个已跟踪目标第t时刻重心坐标估计值，

为第L个已跟踪目标第t-1时刻重心坐标，

为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，为已跟踪目标第t时刻的紧密度估计值，

为已跟踪目标第t-1时刻的紧密度，

为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差。

4.特征匹配与更新

对于匹配成功的目标，计算估计值与观测值的匹配误差，在t时刻对目标t+1时刻的速度以及紧密度变化

进行更新：

$V_{x,t}^L=\mathrm{\α}{V}_{x,t}^i+(1-\mathrm{\α})(V_{x,t}^i-V_{x,t-1}^L)$

$V_{y,t}^L=\mathrm{\α}{V}_{y,t}^i+(1-\mathrm{\α})(V_{y,t}^i-V_{y,t-1}^L)$

$\▿S_t^L=\mathrm{\β}\▿S_{t-1}^L+(1-\mathrm{\β})(S_t^i-S_{t-1}^L)$

式中：

为当前观测时刻与第L个已跟踪目标匹配成功的物体的x、y方向速度值，为当前观测时刻与第L个已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数。

技术方案中所述的夜间车辆交通参数提取包括如下步骤：根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的有效采集；

1.摄像机标定

图像坐标与世界坐标的投影关系模型关系可以表示为：

sm＝pM

式中：s为不为0比例因子，M为三维世界齐次坐标，M＝[X Y Z 1]^T，m为二维图像齐次坐标，m＝[u v 1]^T，p为三乘四的映射变换矩阵；

黑箱标定法只需求解三维到二维的映射变换矩阵p，假设模型平面位于世界坐标系Z＝0的平面上，则式sm＝pM变为如下形式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}_1& p_2& p_3\\ p_4& p_5& p_6\\ p_7& p_8& p_9\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

则：

$u=\frac{p_{1}X+p_{2}Y+p_3}{p_{7}X+p_{8}Y+p_9}$

$v=\frac{p_{4}X+p_{5}Y+p_6}{p_{7}X+p_{8}Y+p_9}$

变换上式得：

p₁X+p₂Y+p₃-uXp₇-uYp₈＝up₉

p₄X+p₅Y+p₆-vXp₇-vYp₈＝vp₉

映射变换矩阵p乘以任意不为0的常数，并不影响世界坐标与图像坐标之间的关系，因此不妨假设p₉＝1，则有n(n≥4)对(X_i，Y_i)，(u_i，v_i)对应点就得到关于p矩阵其他元素的2n个线性方程，用矩阵的形式表示如下：

$\left[\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& -u_1{X}_1& -u_1{Y}_1\\ 0& 0& 0& X_1& Y_1& 1& -v_1{X}_1& -v_1{Y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ X_n& Y_n& 1& 0& 0& 0& -u_n{X}_n& -u_n{Y}_n\\ 0& 0& 0& X_n& Y_n& 1& -v_n{X}_n& -v_n{Y}_n\end{array}\right]\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\\ p_4\\ p_5\\ p_6\\ p_7\\ p_8\end{array}\right]=\left[\begin{array}{c}{u}_1\\ v_1\\ .\\ .\\ .\\ u_n\\ v_n\end{array}\right]$

将上式写成：AP＝U，其中A：2n×8，P：8×1，U：2n×1，至少用四对(X_i，Y_i)，(u_i，v_i)对应点采用最小二乘法可解得：P＝(A^TA)^-1A^TU。

2.二维重建获得车辆的位置与实际速度

二维重建就是在已知目标物的图像位置条件下求解目标物在实际场景中的位置，即摄像机标定的逆过程；用黑箱标定方法标定摄像机，得到映射变换矩阵p，进而重建Z＝0平面上点的实际位置坐标，得：

$X_i=\frac{(p_6{p}_8-p_5{p}_9)u_i+(p_2{p}_9-p_3{p}_8)v_i+(p_3{p}_5-p_2{p}_6)}{(p_5{p}_7-p_4{p}_8)u_i+(p_1{p}_8-p_2{p}_7)v_i+(p_2{p}_4-p_1{p}_5)}$

$Y_i=\frac{(p_4{p}_9-p_6{p}_7)u_i+(p_3{p}_7-p_1{p}_9)v_i+(p_1{p}_6-p_3{p}_4)}{(p_5{p}_7-p_4{p}_8)u_i+(p_1{p}_8-p_2{p}_7)v_i+(p_2{p}_4-p_1{p}_5)}$

由此由图像坐标求得实际空间的坐标；通过运动跟踪求得车辆在图像坐标系下的位置，通过二维重建，获得车辆在实际空间坐标系下的位置；利用前后两个采样时刻的位置除以采样间隔，则获得车辆的实际速度。

与现有技术相比本发明的有益效果是：

1.本发明所述的基于光照可见度辨识的夜间车辆视频检测方法是基于光照可见度评价，采用双模式夜间车辆检测方式，弥补了以往夜间车辆视频检测技术对于光照条件自适应性较差的缺陷，满足了夜间有路灯、无路灯情况下的机动车交通流参数有效获取；

2.本发明所述的基于光照可见度辨识的夜间车辆视频检测方法完善了全天候车辆信息采集***功能，为城市交通***的智能化、自动化管理与控制提供技术支持。

附图说明

下面结合附图对本发明作进一步的说明：

图1-a是表示夜间车辆在有路灯道路上行驶的交通场景视频图；

图1-b是表示夜间车辆在无路灯道路上行驶的交通场景视频图；

图2是表示本发明所述的基于光照可见度辨识的夜间车辆视频检测方法的技术流程框图；

图3是表示本发明所述的基于光照可见度辨识的夜间车辆视频检测方法中背景初始化的技术流程框图；

图4是表示采用本发明所述的基于光照可见度辨识的夜间车辆视频检测方法为某小轿车的偏心矩归一化向量曲线图。

具体实施方式

下面结合附图对本发明作详细的描述：

参阅图1，夜间的道路场景通常包含有路灯与无路灯两种情况。针对目前夜间车辆视频检测技术对于光照条件自适应性较差的不足，本发明根据待检测道路夜间场景的光照可见度利用模式识别方法将场景自动划分为有路灯和无路灯两种光照模式，在两种光照模式下分别采用不同的检测方案以实现夜间机动车流的流量、类型及运行速度等交通参数的提取。在有路灯光照模式下，提高车辆的亮度和对比度以获取车辆的形态信息，利用运动跟踪实现车辆的有效检测；在无路灯光照模式下，利用图像形态学算法移除非车头灯光源，根据车头灯之间的相对距离以及一些固有的性质，实现车辆头灯配对并进行车辆跟踪。本发明所述的基于光照可见度辨识的夜间车辆视频检测方法的具体内容如下：

1.夜间交通场景视频图像采集

分别于有路灯与无路灯的车道上方安装摄像镜头，摄像镜头尽可能处于垂直路面的位置，摄像镜头距路面8-12米高。摄像镜头对有路灯或无路灯的交通场景进行视频图像采集，将采集的视频信号压缩为MPEG格式传输到计算机并进行存储。

2.夜间光照模式识别

为有效评价视频图像的道路交通场景中的光照条件，需提取视频图像的交通场景中的背景图像，根据背景图像的亮度信息对待检测场景进行光照模式划分。本发明利用聚类识别的背景提取算法实现视频图像的交通场景内背景图像的获取。由于在长时间检测过程中视频图像中的光照会发生变化，本发明又结合前景运动目标区域信息，提出了基于运动对象的背景更新改进方法，保证了待检测场景中光照信息的实时、准确获取。

为对各个交通场景下提取出的背景图像进行光照可见度评价与辨识，则需要选择有效的光照评价指标参数。本发明采用感兴趣检测区域(一般为行车道)内的HS I颜色空间的亮度均值I＝1/3(R+G+B)以及区域颜色亮度标准差，其中：R、G与B分别表示图像中红、绿与蓝三个通道的颜色；作为光照可见度评价特征指标，确定其为光照可见度表达特征。利用提前采集的多个交通场景背景图像作为训练样本，构建基于SVM(支持向量机)的光照可见度分类模型，实现基于光照可见度评价的夜间光照模式识别。

3.无路灯模式车辆检测方案

当判定为夜间无路灯模式时，本发明通过背景差分法提取得到前景图像(此时的前景图像为车头灯光源，而非车体)，进而利用图像二值化及适当的数学形态学处理移除干扰光源。在此基础上利用获取的车头灯区域的中心坐标值和面积构造匹配函数确定所属车辆，实现无路灯光照模式下的车辆检测，并根据车头灯之间的相对距离进行车辆类型的识别。同时利用kalman滤波算法对匹配的车辆头灯进行运动跟踪，获取车辆的运动状态，并根据图像坐标与世界坐标的投影关系模型，实现车辆运行速度参数的有效采集。

4.有路灯模式车辆检测方案

当判定为夜间有路灯照明模式时，本发明通过背景差分法提取得到前景图像(此时的前景图像为车体)，车头灯并不特别显著，但车头灯及其投射的光束对运动目标的检测仍有很大影响。本发明根据Retinex算法估计车辆头灯光束散射强度，采用阈值处理消除车头灯光线干扰，由此提高车辆的亮度和对比度。在背景模型抽取前景运动区域的基础上，采用图像分割获取夜间车辆形态信息，实现有路灯模式下的车辆有效识别。同时利用kalman滤波算法对车辆轮廓重心进行跟踪，获取车辆的运动状态，并根据图像坐标与世界坐标的投影关系模型，实现车辆运行速度参数的有效采集。

参阅图2，基于光照可见度辨识的夜间车辆视频检测方法的包括如下步骤：夜间车辆视频图像采集、夜间光照模式识别、进行夜间无路灯模式下车辆检测或夜间有路灯模式下车辆检测、车辆运动跟踪与车辆运动参数提取。

1.夜间交通场景视频图像采集

分别于有路灯与无路灯交通场景进行视频图像采集，采集方式为将摄像镜头置于车道上方，尽可能处于垂直位置，距路面8-12米高。将采集的视频信号压缩为MPEG格式传输到计算机并进行存储。

2.夜间光照模式识别

1)基于聚类识别的背景提取

对于采集到的视频图像序列，利用聚类识别的背景提取算法实现场景内背景图像的获取。该方法利用搜索到的图像像素时间序列上的不重叠平稳序列，通过像素值变化度约束构造背景子集，由此实现背景图像的有效提取，该方法能有效克服前景大型目标缓慢运动生成“伪背景”的问题。

候选背景序列可能由三种情况生成：实际背景、停止的前景目标以及大型目标缓慢运动。因此，获取初始背景需要剔除由于停止前景目标或缓慢运动大型目标生成的平稳序列分量。通常为满足实际应用，用于生成背景的视频训练序列长度不会很长，出现多个由停止前景目标或缓慢运动大型目标导致的平稳序列的可能性很小，而出现多个由实际背景导致的平稳序列的可能性则很高，且不同的背景子序列灰度值也都处于一个稳定值附近。因此，可以依据背景子序列的相似性，将训练序列上搜索得到的平稳序列划分为不同的子类，实际背景将由包含平稳序列数最多那部分的子类生成。

由于背景序列的灰度值长时间都维持在一个稳定值附近，因此候选背景值集合中的实际背景值的变化范围不会超过最大允许变化量δ_max。以候选背景集合<s₁，…，s_k>的每个元素为中心，以δ_max为半径构建圆形区域，计算落在圆形区域的元素点数目。在计算各个区域数据点数目过程中，将<s₁，…，s_k>中元素由小到大进行排序顺序<s₁，…，s_k>→<s′₁，…，s′_k>，进而以<s′₁，…，s′_k>集合每个元素为中心，以δ_max为半径构建圆形区域可加快子集数据点的计算速度。由此选择具有最多数据元素构成的那个区域集合作为背景子集。如果背景子集的元素个数多于两个，那么初始背景值可以认定为距离背景子集中心最近的数据点；如果候选背景集合<s₁，…，s_k>元素个数少于两个，或集合中两两数据点之间距离均大于δ_max时，可采用下述方法：当候选背景集合<s₁，…，s_k>中数据个数等于零时，可能是由周围环境、天气等因素的短时连续变化导致，这种情况可采用时间序列中值法实现背景初始化；当<s₁，…，s_k>元素个数为1时，可能由于图像训练序列上均为真是背景值，这时可用中值法实现背景初始化，同时也可能由于训练序列完全被前景静止目标占据造成，对于这种情况所有方法均不能获取背景，只能采取重新构建图像训练序列的办法。另外，如果候选背景集合<s₁，…，s_k>中任意两个元素点间距离都大于δ_max时，可选取<l₁，…，l_k>中平稳度最大的子序列作为背景序列，并将背景序列的中值确定为初始背景值。子序列的平稳度可以表示为：1≤j≤k。其中，

-第j个子序列的长度；

-第j个子序列的方差。

具体的背景初始化技术流程参阅图3。

由于受到天气、光线变化的影响，像素背景值不是一成不变的。因此，为实现长期有效的背景维持，背景模型的参数需要不断修正。传统背景更新算法仅考虑了单个像素时间维度上的数据信息，而对于相邻区域像素之间的空间信息则未加考虑。因此，对于运动物体进入检测区域且停止的情况，一段时间的背景更新以后，停驶的前景目标将变为背景的一部分。为解决上述问题，本发明在考虑像素时间序列状态值的基础上，结合了基于前景目标区域的信息构建基于对象层的背景更新改进方法。保证了检测场景中光照信息的实时、准确获取。

根据混合高斯模型获取的背景图像，结合背景差分我们可以实现前景图像的有效提取：

F(x，y，t)＝I(x，y，t)-B(x，y，t-1)(1)

式中：B表示背景图像，F表示前景图像。在提取出前景图像后，利用区域分割、运动跟踪等图像处理环节，可以获取前景图像中运动目标的对象区域信息。由此可以设定与图像大小相同的二值矩阵作为前景对象区域判定矩阵：

$M(x,y,t)=\left\{\begin{array}{ccc}1,& \mathrm{if}& F(x,y,t)\&Element;\mathrm{ForegroundObject}\\ 0,& \mathrm{if}& F(x,y,t)\&NotElement;\mathrm{ForegroundObject}\end{array}\right.---\left(2\right)$

其中，ForegroundObject代表前景对象区域，如果图像像素点位于这些对象区域内时，M(x，y，t)＝1，表明该点目前被前景运动区域占据，无需进行背景更新；否则，当M(x，y，t)＝0时，背景则依据传统象素层的背景更新算法自动完成更新。

2)特征值选取

光照均匀度表达为特定区域内光照的分布情况，通常情况下，白天的区域亮度均匀度较高，具有路灯情况下区域的亮度均匀度相对较低，无路灯情况下区域的亮度均匀度最低。亮度的均匀度可以利用区域亮度的方差体现，即方差越大，均匀度越低，从而可以方便地评价光照的均匀度，获取白天夜间模式以及夜间有无路灯模式。本发明选取HSI颜色空间的亮度I＝1/3(R+G+B)间接表达光照可见度，其中：R、G与B分别表示图像中红、绿与蓝三个通道的颜色，为了确保提取特征的准确性，本发明从背景图像中的车道位置标出一个矩形确定为感兴趣区域，在感兴趣区域标准差和均值，作为光照可见度评价特征指标，确定其为光照可见度表达特征。

3)夜间光照模式分类模型建立

提前采集夜间有路灯和无路灯两种模式下的交通场景不同时段(夜间有路灯和夜间无路灯)的视频序列，分别在选定的感兴趣区域内提取出HSI颜色空间的亮度I的标准差和均值，对采集到光照信息指标数据样本利用SVM进行离线训练，构建出基于光照可见度的SVM场景识别模型；将待检测交通场景的光照信息指标数据输入到离线学习得到的基于光照可见度的场景识别模型，在线识别场景光照可见模式，将其划分为有路灯光照模式或无路灯光照模式；从而在不同的模式下采用不同的检测方案进行夜间车辆检测。

3.无路灯模式下车辆检测

1)通过背景差分法与二值化处理提取车头灯

当识别出无路灯模式时，道路上只有车辆的车头灯与车尾灯(或其他装饰灯)可见，而车辆的车头灯成为了最显著的特征，这种情况可以尽量保留车头灯，并排除其它光源的影响，利用车头灯特征检测运行车辆。本发明通过背景差分法进行图像分割，选取合适的阈值进行二值化处理，提取得到车头灯。

2)运用形态滤波与数学形态学处理提高检测精度

运用形态滤波对二值化图像进行处理，去除一些较小的噪声点，减少影响。为了最大化精确提取出车头灯，对车头灯进行数学形态学处理消除影响。因为即使选取了合适的阈值，仍然有一些比较杂乱的散点，这会对检测的精度带来影响，还有车前灯下的装饰灯也会影响检测效果，甚至形成多检的情况，这就需要在检测前对图像作必要的形态学处理，在本发明中，假设感兴趣的区域为靠近前面的区域或者是一个车道，因此就可以去除掉感兴趣区域外的影响因素，对图像进行腐蚀运算，收缩和细化图像，对于车前装饰灯的问题，运行膨胀等运算把装饰灯与车头灯结合到一起。但是这样做处理的结果，车头灯的面积会比实际的大，在之后的车灯匹配中会对匹配算法有一定的约束。一般情况下，装饰灯相对于车头灯来说比较小，利用去除感兴趣区域外的车灯的方法去除，由于灯光又一定发散性，所提取出来的图像周围会有一些细小的突出部分，对于区域标记会带来一定的困难和影响，此时可以通过开运算进行消除。

3)基于8连通区域方法与基于模板扫描的区域增长算法得到正确的运动目标和提高匹配跟踪的精度

为了得到正确的运动目标，提高匹配跟踪的精度，本发明基于8连通区域方法，采用基于模板扫描的区域增长算法实现前景图像的多区域分割。其算法步骤如下：

(1)建立一个n×n的扫描模板，并把前景图像划分成p×q个n×n的子区域，建立p×q的前景区域标记矩阵M；

(2)按照从左至右，从上至下的顺序对图像上的p×q个子区域进行逐一扫描，当第i行，j列区域的前景点个数多于时，M(i，j)＝1，否则，M(i，j)＝0。针对标记矩阵M按照从左至右，从上至下的顺序搜索连通区域；

(3)当M(i，j)＝0，按顺序搜索下个点；当M(i，j)＝1，将其作为种子；

(4)针对种子点M(i，j)，修改M(i，j)＝0，搜索其连通区域。规则如下：依次判断邻域八个点的值。如果左上点为1，将其作为种子点，执行步骤(4)，否则判别下一个点(上面)，以此类推，直到其邻域无连通点为止，将此连通区域作为一个目标区域，并执行步骤(3)。

通过上述递归算法，能够获取整幅图像中的前景运动区域，并通过获取区域的左上点、右下点实现运动目标区域外接矩形的标记。即用最小外接矩形框把每个车灯框起来，同时记录此时车头灯矩形的中心点坐标值以及面积，基于这些参数，本发明对提取到的车头灯进行匹配，从而实现车辆检测。

4)采用车辆车头灯匹配函数完成无路灯模式下的车辆检测

由于车头灯在夜间场景下是车辆最为显著的特征，如果摄像机采用纵向拍摄，同一辆车的头灯(本发明方法假定每辆车包含两个车头灯)应该近似在一条水平线上，且车头灯区域面积大小相似。本发明根据这些性质，以获取的车辆车头灯区域重心纵坐标距离，横坐标距离以及在检测区域中车头灯的面积这三个因素相关构造匹配函数，以实现夜间无路灯模式下运动车辆的有效检测。车辆头灯匹配函数如下：

对于检测区域中的每个车头灯，按照匹配距离准则选择最佳匹配，找到使匹配函数最小的车头灯确定为同一车辆。具体匹配函数如下：

|A_i-A_j|≤ε

                                    (3)

|Y_i-Y_j|≤φ

其中，A为头灯区域面积，Y为摄像机拍摄垂直方向坐标，X为摄像机拍摄水平方向坐标。ε，φ，γ为提前设定的约束阈值。利用匹配后的每辆车的双头灯水平距离以及头灯区域的占空比(面积/周长^2)均值作为分类特征，根据离线车辆特征采集设置合理分类阈值，对车辆类型进行在线判别，将车辆划分大型车、中型车和小型车。

5)检测车辆的运动跟踪

通过车辆头灯的匹配完成无路灯模式下车辆检测，同时利用kalman滤波算法对匹配的车辆头灯进行运动跟踪，获取车辆的运动状态，实现连续、快速、稳定的车辆运动跟踪。技术方案由以下几个部分组成：

(1)特征表达

令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R第(p，q)阶矩可以表示为：

$m_{\mathrm{pq}}=\underset{i,j\&Element;R}{\overset{M}{\mathrm{\&Sigma;}}}\stackrel{N}{\mathrm{\&Sigma;}}{i}^p{j}^q---\left(4\right)$

式(4)中，m₀₀表示R的点数，m₁₀，m₀₁表示中心矩。R的重心C坐标(x_c，y_c)可定义为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{y}_i}{n}---\left(5\right)$

式(5)中，n为R内像素点个数。本发明为简化问题起见，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪。同时，为了提高目标匹配的精确性，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束。R的紧密度S定义为：

$S=\frac{A}{L^2}---\left(6\right)$

式(6)中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点。

利用运动目标的重心、速度、紧密度及紧密度变化对物体的状态进行描述，目标k时刻的状态特征向量可表达为：

$X_k=(C_k,V_k,S_k,\&dtri;S_k)---\left(7\right)$

(2)运动参数初始化

运动跟踪过程的稳定性直接依赖于运动参数的初始化，因此，各参数初始值的选取质量具有重要的作用。分割目标的重心、紧密度，可以通过计算直接得到，而速度、紧密度变化值则需要初始定义。通常情况下，目标会以一定范围的速度在跟踪区域内运行，其加速度的有限性决定了目标在相邻两观测时刻内运动位置的变化范围。因此，在目标稳定出现于检测区域内后，可以利用前两个观测时刻的重心位置确定运动目标的速度，即：

V_x，0＝x_c，1-x_c，0

                                    (8)

V_y，0＝y_c，1-y_c，0

其中：V_x，0、V_y，0分别为x、y方向的初始速度，目标的前两个观测时刻坐标分别为C₀＝(x_c，0，y_c，0)，C₁＝(x_c，1，y_c，1)。同时，由于运动的相对稳定性，连续两观测时刻内目标的紧密度不会发生较大的改变，因此初始紧密度变化值可以假定为：

$\&dtri;S_0=0---\left(9\right)$

(3)状态估计

实现连续视频图像序列内目标的运动跟踪，就是使得连续观测时间内的目标特征状态特征能够连续匹配。对于当前观测时刻中的每个分割前景目标要与被跟踪目标(已标记)进行匹配，可以利用当前目标的状态特征观测值与所有受跟踪目标的前一个观测时刻状态特征的估计值按照匹配最小距离准则选择最佳匹配，找到使匹配距离最小的目标即为被跟踪的目标。受跟踪目标的前一个观测时刻特征估计值可以利用前一个观测时刻状态的预测得到。通过状态预测可以缩小目标的匹配搜索范围，一定程度提高了处理速度。受跟踪目标状态估计方程为：

$x_{c,t}^L=x_{c,t-1}^L+V_{x,t-1}^L\&times;\mathrm{\&Delta;t}+\mathrm{\&omega;}---\left(10\right)$

$y_{c,t}^L=y_{c,t-1}^L+V_{y,t-1}^L\&times;\mathrm{\&Delta;t}+\mathrm{\&omega;}---\left(11\right)$

$S_t^L=S_{t-1}^L+\&dtri;S_{t-1}^L+\mathrm{\&xi;}---\left(12\right)$

式(10)、(11)、(12)中：Δt为相邻观测时间间隔，

为第L个已跟踪目标第t时刻重心坐标估计值，

为第L个已跟踪目标第t-1时刻重心坐标，

为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，

为已跟踪目标第t时刻的紧密度估计值，

为已跟踪目标第t-1时刻的紧密度，

为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差。

(4)特征匹配与更新

为增强目标区域跟踪过程中的匹配精度，本文采用了物体的运动特征与形态特征相结合的匹配策略。即针对当前观测时刻目标区域与受跟踪的每个目标的前一个观测时刻特征估计，将重心位置、紧密度状态特征分量分别匹配。按照最小距离匹配原则，可以分别计算出t-1时刻的以跟踪目标的状态特征分量估计值与t时刻中的所有分割未匹配的前景目标的状态特征的匹配代价，如果计算得到的某特征分量匹配代价最小，且小于某一设定阈值，则表明t-1时刻的标记目标的对应特征匹配成功。当两个特征均匹配成功时，则认为该目标被正确跟踪；否则，当仅有一个或没有特征匹配成功时，则有可能是发生遮挡所导致，需进行遮挡处理分析。

对于匹配成功的目标，计算估计值与观测值的匹配误差，在t时刻对目标t+1时刻的速度

以及紧密度变化

进行更新：

$V_{x,t}^L=\mathrm{\&alpha;}{V}_{x,t}^i+(1-\mathrm{\&alpha;})(V_{x,t}^i-V_{x,t-1}^L)---\left(13\right)$

$V_{y,t}^L=\mathrm{\&alpha;}{V}_{y,t}^i+(1-\mathrm{\&alpha;})(V_{y,t}^i-V_{y,t-1}^L)---\left(14\right)$

$\&dtri;S_t^L=\mathrm{\&beta;}\&dtri;S_{t-1}^L+(1-\mathrm{\&beta;})(S_t^i-S_{t-1}^L)---\left(15\right)$

在式(13)、(14)、(15)中：

为当前观测时刻与第L个已跟踪目标匹配成功的物体的x、y方向速度值，

为当前观测时刻与第L个已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数。通过参数更新，算法便可以在接下来的连续帧中自回归的执行下去，利用迭代实现对运动目标的跟踪。

6)车辆运行参数采集

根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的有效采集。

(1)摄像机标定

图像坐标与世界坐标的投影关系模型关系可以表示为：

sm＝pM    (16)

式中：s为不为0比例因子；M为三维世界齐次坐标，M＝[X Y Z 1]^T；m为二维图像齐次坐标，m＝[u v 1]^T；p为三乘四的映射变换矩阵。

现有的摄像机标定方法大都需要完全标定摄像机，方法复杂费时，本发明的黑箱标定法只需求解三维到二维的映射变换矩阵p，不需要具体标定摄像机内外参数，大大简化了计算。不失一般性，假设模型平面位于世界坐标系Z＝0的平面上，则式(15)变为如下形式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}_1& p_2& p_3\\ p_4& p_5& p_6\\ p_7& p_8& p_9\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(17\right)$

则：

$\begin{array}{c}u=\frac{p_{1}X+p_{2}Y+p_3}{p_{7}X+p_{8}Y+p_9}\\ v=\frac{p_{4}X+p_{5}Y+p_6}{p_{7}X+p_{8}Y+p_9}\end{array}---\left(18\right)$

变换式(18)得：

p₁X+p₂Y+p₃-uXp₇-uYp₈＝up₉

                                    (19)

p₄X+p₅Y+p₆-vXp₇-vYp₈＝vp₉

映射变换矩阵p乘以任意不为0的常数，并不影响世界坐标与图像坐标之间的关系，因此不妨假设p₉＝1，则有n(n≥4)对(X_i，Y_i)，(u_i，v_i)对应点就可以得到关于p矩阵其他元素的2n个线性方程，用矩阵的形式表示如下：

$\left[\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& -u_1{X}_1& -u_1{Y}_1\\ 0& 0& 0& X_1& Y_1& 1& -v_1{X}_1& -v_1{Y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ X_n& Y_n& 1& 0& 0& 0& -u_n{X}_n& -u_n{Y}_n\\ 0& 0& 0& X_n& Y_n& 1& -v_n{X}_n& -v_n{Y}_n\end{array}\right]\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\\ p_4\\ p_5\\ p_6\\ p_7\\ p_8\end{array}\right]=\left[\begin{array}{c}{u}_1\\ v_1\\ .\\ .\\ .\\ u_n\\ v_n\end{array}\right]---\left(20\right)$

将式(20)写成：AP＝U，其中A：2n×8，P：8×1，U：2n×1，至少用四对(X_i，Y_i)，(u_i，v_i)对应点采用最小二乘法可解得：P＝(A^TA)^-1A^TU。

(2)二维重建获得车辆的位置与实际速度

二维重建就是在已知目标物的图像位置条件下求解目标物在实际场景中的位置，即摄像机标定的逆过程。用黑箱标定方法标定摄像机，得到映射变换矩阵p，进而重建Z＝0平面上点的实际位置坐标。即在式(18)中p₁～p₉和(u_i，v_i)已知，求解与(u_i，v_i)对应的(X_i，Y_i)的坐标。由矩阵代数的方法求解方程组式(19)得：

$\begin{array}{c}{X}_i=\frac{(p_6{p}_8-p_5{p}_9)u_i+(p_2{p}_9-p_3{p}_8)v_i+(p_3{p}_5-p_2{p}_6)}{(p_5{p}_7-p_4{p}_8)u_i+(p_1{p}_8-p_2{p}_7)v_i+(p_2{p}_4-p_1{p}_5)}\\ Y_i=\frac{(p_4{p}_9-p_6{p}_7)u_i+(p_3{p}_7-p_1{p}_9)v_i+(p_1{p}_6-p_3{p}_4)}{(p_5{p}_7-p_4{p}_8)u_i+(p_1{p}_8-p_2{p}_7)v_i+(p_2{p}_4-p_1{p}_5)}\end{array}---\left(21\right)$

由此可以由图像坐标求得实际空间的坐标。通过运动跟踪可以求得车辆在图像坐标系下的位置，通过二维重建，可以获得车辆在实际空间坐标系下的位置。利用前后两个采样时刻的位置除以采样间隔，则可以获得车辆的实际速度。

4.有路灯模式下车辆检测

1)消除影响因素

当判定为有路灯模式时，光照比较充足，车头灯并不是特别显著，本发明提取车体轮廓为特征值，但车头灯及其投射的光束对运动目的检测仍然有很大影响，路面的投射光束对结果影响也比较明显，利用Retinex算法估计出光束反射强度，然后消除其影响。

2)车辆检测

与无路灯下车辆检测方案类似，为满足实时处理的需求，采用基于模板扫描的区域增长算法实现前景图像的多区域分割。并采用基于Kalman滤波模型实现有路灯模式下的运动车辆检测。假定图像坐标与世界坐标近似符合齐次线性变换关系，直接在图像坐标系下进行处理。根据运动目标的历史状态信息预测它在当前帧中的状态，并根据预测状态匹配候选的区域。匹配特征采用了目标重心、面积特征。对于候选区域中的每个前景目标将与被跟踪目标进行匹配，按照匹配距离准则选择最佳匹配，找到使匹配距离最小的目标即为被跟踪的目标。

3)基于矩阵特征判断车型

本发明提出了基于矩特征的目标特征表达方法，由此实现有路灯模式下车辆类型的判断。矩特征是一种形态分析的区域内部变换方法，描述了区域目标形态的全局特征，从不同的角度提供了关于该区域的大量几何特征信息。利用基本矩函数能够转化出具有平移、伸缩、旋转不变性的特征矩，该特征矩不受区域目标的位置、大小和角度改变的影响。另外，由于矩特征是通过统计计算目标内部的区域点集获得，因而具有较好的抗噪性，能够克服目标运动状态和环境变化等因素造成的影响。

(1)偏心矩定义

假设存在空间离散化大小为M*N的图像f(x，y)，其pq阶矩定义为：

$m_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{i}^p{j}^{q}f(i,j)---\left(22\right)$

那么对于经过分割以后的二值图像，前景目标区域R中的任意像素点的像素值f(i，j)均为1，则R中的第(p，q)阶矩有如下表示形式：

$m_{\mathrm{pq}}=\underset{i,j\&Element;R}{\overset{M}{\mathrm{\&Sigma;}}}\stackrel{N}{\mathrm{\&Sigma;}}{i}^p{j}^q---\left(23\right)$

通过式(22)，能够分别计算得出m₀₀、m₁₀、m₀₁，其中m₀₀表示区域R的像素点个数，即面积，m₁₀，m₀₁则代表中心矩。那么区域R的重心C坐标(x_c，y_c)可以表示为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{y}_i}{n}---\left(24\right)$

式(24)中，n为区域R中的像素点个数。

根据前景区域的连通特性，将区域轮廓点集按逆时针顺序排序并表示为一个向量的形式：p(p₁，p₂，p₃…p_m)。那么本发明向量中每个元素P_i与区域重心C之间的距离定义为p_i的偏心矩d_i。由此向量p(p₁，p₂，p₃…p_m)中各个元素与重心之间的距离可以构成一个偏心矩序列，将此偏心矩序列定义为前景目标区域的偏心矩向量：

D(d₁，d₂，d₃…d_m)^T

                            (25)

$d_i=\mathrm{dist}(C,p_i),\&ForAll;i\&Element;(1...m)$

(2)偏心矩向量归一化

由于不同的目标，其轮廓向量p(p₁，p₂，p₃…p_m)维数会有所差异，相应的目标的偏心矩向量维数也不尽相同。因此，为了能够利用偏心矩向量特征在不同目标之间比较，首先要确保每个目标的偏心矩向量维数统一。从原有向量D(d₁，d₂，d₃…d_m)^T中按照公式(25)规则，选择一定的间隔提取出固定数目且能够反映物体整体轮廓特性的偏心矩元素构造一组新向量，将此向量定义为偏心矩优化向量：

D′(d₁，d₂，d₃…d_m)^T

                            (26)

$D^{\&prime;}\left(i\right)=D[i.\frac{m}{k}],\&ForAll;i\&Element;(1...k),k\&Element;N$

通过式(26)能够把不同目标的偏心矩向量统一为相同的k维向量。式(26)中，

的值表示小于且最接近

的整数。同时，由于拍摄场景的差异，或是目标运动产生的比例变化，会使相同目标的偏心矩的数值在物体的运动过程中发生偏差，容易导致目标的误识别。因此，本发明进一步采用归一化的方法来克服此影响。为使偏心矩向量中各维元素具有可比性，定义偏心矩归一化向量：

D″(d₁，d₂，d₃…d_k)^T

$D^{\&prime;\&prime;}\left(i\right)=\frac{D^{\&prime;}\left(i\right)}{{\mathrm{\&Sigma;}}_1^k{D}^{\&prime;}\left(i\right)},\&ForAll;i\&Element;(1...k),k\&Element;N---\left(27\right)$

在式(27)中，D″(i)表示目标的第i维的偏心矩特征与各维偏心矩之和的比值。由此获得的偏心矩归一化向量能够克服目标比例变化造成的影响。图4为某小轿车的偏心矩归一化向量曲线。

通过式(25)与式(26)，可以计算得到目标偏心矩向量特征均值、偏心矩向量分散度、极大极小偏心矩之比等三个基本特征。

偏心矩向量均值可以表示为：

$M_1=\stackrel{\&OverBar;}{D}=\frac{1}{K}{\mathrm{\&Sigma;}}_1^K{D}^{\&prime;\&prime;}\left(i\right)---\left(28\right)$

偏心矩向量分散度可以表示为：

$M_2=\frac{1}{K}{\mathrm{\&Sigma;}}_1^K{(D^{\&prime;\&prime;}\left(i\right)-\stackrel{\&OverBar;}{D})}^2---\left(29\right)$

极大极小偏心矩之比可以表示为：

$M_3=\frac{\mathrm{MAX}\left(D^{\&prime;\&prime;}\left(i\right)\right)}{\mathrm{MIN}\left(D^{\&prime;\&prime;}\left(i\right)\right)}---\left(30\right)$

式(29)中，MAX(D″(i))，MIN(D″(i))分别表示偏心矩归一化向量中最大元素值与最小元素值。计算得到的基于偏心矩向量的特征M₁，M₂，M₃在区域目标的运动过程中具有较好的稳定性，且具有平移、伸缩、旋转不变特性，以M₁，M₂，M₃作为目标形态特征的最终表达。

构建多类别车辆训练样本库，提取偏心矩特征，构建基于SVM的车辆类型分类模型，将待检测交通场景的车辆特征输入到离线学习得到的车辆类别识别模型，在线识别车辆类型，将其划分大型车、中型车和小型车。

4)与无路灯下车辆检测方案相同，根据图像坐标与世界坐标的投影关系模型，在运动跟踪的基础上，实现车辆运行速度参数的有效采集。具体实现流程见第3步骤(无路灯模式下车辆检测)中第6)步骤即根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的有效采集，此处不再赘述。

Claims (8)

1.一种基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的基于光照可见度辨识的夜间车辆视频检测方法包括如下步骤：

1)夜间交通场景视频图像采集

分别于有路灯与无路灯车道上方安装摄像镜头，摄像镜头距路面8～12米且处于垂直路面的位置，将采集的交通场景的视频图像压缩为MPEG格式传输到计算机进行存储；

2)夜间光照模式识别

确定是夜间无路灯模式还是夜间有路灯模式；

3)进行夜间无路灯模式下车辆检测或夜间有路灯模式下车辆检测；

4)夜间车辆运动跟踪

利用kalman滤波算法对匹配的车辆头灯进行运动跟踪，获取车辆的运动状态，实现连续快速的车辆运动跟踪；

5)夜间车辆交通参数提取

根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的提取。

2.按照权利要求1所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的夜间光照模式识别包括如下步骤：

1)基于聚类识别的背景提取

对于采集到的视频图像序列，利用聚类识别的背景提取算法实现场景内背景图像的获取，即利用搜索到的图像像素时间序列上的不重叠平稳序列，通过像素值变化度约束构造背景子集实现背景图像的提取；

2)特征值选取

选取HSI颜色空间的亮度I＝(R+G+B)/3间接表达光照可见度，从背景图像中的车道位置标出一个矩形感兴趣区域，感兴趣区域的标准差和均值，作为光照可见度评价特征指标，其中：R、G与B分别表示图像中像素点的红、绿与蓝颜色特征分量；

3)夜间光照模式分类模型建立

(1)提前采集夜间有路灯和无路灯两种交通场景不同时段的视频序列，分别在选定的感兴趣区域内提取出HSI颜色空间的亮度I的标准差和均值，对采集到光照信息指标数据样本利用SVM进行离线训练，构建出基于光照可见度的SVM场景识别模型；

(2)将待检测交通场景的光照信息指标数据输入到离线学习得到的基于光照可见度的场景识别模型，将其划分为有路灯光照模式或无路灯光照模式。

3.按照权利要求1所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的夜间无路灯模式下车辆检测包括如下步骤：

1)通过背景差分法与二值化处理提取车头灯

保留车辆车头灯的显著特征，排除其它光源的影响，利用车头灯特征检测运行车辆，通过背景差分法进行图像分割，选取合适的阈值进行二值化处理，提取得到车头灯；

2)运用形态滤波与数学形态学处理提高检测精度

为了最大化精确提取出车头灯，运用形态滤波对二值化图像进行处理，去除一些较小的噪声点，减少影响；

3)基于8连通区域方法，采用基于模板扫描的区域增长算法得到正确的运动目标和提高匹配跟踪的精度；

4)采用车辆车头灯匹配函数完成无路灯模式下的车辆检测

对于检测区域中的每个车头灯，按照匹配距离准则选择最佳匹配，找到使匹配函数最小的车头灯确定为同一车辆，具体匹配函数如下：

|A_i-A_j|≤ε

|Y_i-Y_j|≤φ

其中：A为车头灯区域面积，Y为摄像机拍摄垂直方向坐标，X为摄像机拍摄水平方向坐标，ε，φ，

γ为提前设定的约束阈值；

利用匹配后的每辆车的双车头灯水平距离以及车头灯区域的占空比均值作为分类特征，根据离线车辆特征采集设置合理分类阈值，对车辆类型进行在线判别，将车辆划分大型车、中型车和小型车。

4.按照权利要求3所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的基于8连通区域方法，采用基于模板扫描的区域增长算法得到正确的运动目标和提高匹配跟踪的精度包括如下步骤：

1)建立一个n×n的扫描模板，并把前景图像划分成p×q个n×n的子区域，建立p×q的前景区域标记矩阵M；

2)按照从左至右，从上至下的顺序对图像上的p×q个子区域进行逐一扫描，当第i行，j列区域的前景点个数多于

时，M(i，j)＝1，否则，M(i，j)＝0，针对标记矩阵M按照从左至右，从上至下的顺序搜索连通区域；

3)当M(i，j)＝0，按顺序搜索下个点；当M(i，j)＝1，将其作为种子；

4)针对种子点M(i，j)，修改M(i，j)＝0，搜索其连通区域，规则如下：依次判断邻域八个点的值，如果左上点为1，将其作为种子点，执行步骤4)，否则判别下一个点，以此类推，直到其邻域无连通点为止，将此连通区域作为一个目标区域，并执行步骤3)。

5.按照权利要求1所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的夜间有路灯模式下车辆检测包括如下步骤：

1)消除影响因素

提取车体轮廓为特征值，利用Retinex算法计算出车头灯与路面的投射光束的反射强度，然后消除其影响；

2)车辆检测

采用基于模板扫描的区域增长算法实现前景图像的多区域分割，并采用基于Kalman滤波模型实现有路灯模式下的运动车辆检测；

3)基于矩特征判断车型

基于矩特征的目标特征表达方法实现有路灯模式下车辆类型的判断，即构建多类别车辆训练样本库，提取偏心矩特征，构建基于SVM的车辆类型分类模型，将待检测交通场景的车辆特征输入到离线学习得到的车辆类别识别模型，在线识别车辆类型，将其划分大型车、中型车和小型车。

6.按照权利要求5所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的基于矩特征判断车型包括如下步骤：

1)偏心矩定义

假设存在空间离散化大小为M*N的图像f(x，y)，其pq阶矩定义为：

$m_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{i}^p{j}^q(i,j)$

那么对于经过分割以后的二值图像，前景目标区域R中的任意像素点的像素值f(i，j)均为1，则R中的第(p，q)阶矩有如下表示形式：

$m_{\mathrm{pq}}=\underset{i,j\&Element;R}{\overset{M}{\mathrm{\&Sigma;}}}\stackrel{N}{\mathrm{\&Sigma;}}{i}^p{j}^q$

通过上式能够分别计算得出m₀₀、m₀₁、m₁₀，其中m₀₀表示区域R的像素点个数，即面积，m₁₀，m₀₁则代表中心矩，那么区域R的重心C坐标(x_c，y_c)可以表示为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{y}_i}{n}$

式中，n为区域R中的像素点个数，

根据前景区域的连通特性，将区域轮廓点集按逆时针顺序排序并表示为一个向量的形式：p(p₁，p₂，p₃...p_m)，那么本发明向量中每个元素p_i与区域重心C之间的距离定义为p_i的偏心矩d_i，由此向量p(p₁，p₂，p₃...p_m)中各个元素与重心之间的距离可以构成一个偏心矩序列，将此偏心矩序列定义为前景目标区域的偏心矩向量：

D(d₁，d₂，d₃...d_m)^T，其中：d_i＝dist(C，p_i)，

2)偏心矩向量归一化

从原有向量D(d₁，d₂，d₃...d_m)^T中按照公式

D′(d₁，d₂，d₃...d_m)^T

$D^{\&prime;}\left(i\right)=D[i\&CenterDot;\frac{m}{k}],\&ForAll;i\&Element;(1...k),k\&Element;N$

选择一定的间隔提取出固定数目且能够反映物体整体轮廓特性的偏心矩元素构造一组新向量，将此向量定义为偏心矩优化向量；通过上式把不同目标的偏心矩向量统一为相同的k维向量，式中

的值表示小于且最接近

的整数；

为使偏心矩向量中各维元素具有可比性，定义偏心矩归一化向量：

D″(d₁，d₂，d₃...d_k)^T

$D^{\&prime;\&prime;}\left(i\right)=\frac{D^{\&prime;}\left(i\right)}{{\mathrm{\&Sigma;}}_1^k{D}^{\&prime;}\left(i\right)},\&ForAll;i\&Element;(1...k),k\&Element;N$

式中：D″(i)表示目标的第i维的偏心矩特征与各维偏心矩之和的比值；

计算得到目标偏心矩向量均值、偏心矩向量分散度、极大极小偏心矩之比三个基本特征；

偏心矩向量均值可以表示为：

$M_1=\stackrel{\&OverBar;}{D}=\frac{1}{k}{\mathrm{\&Sigma;}}_1^k{D}^{\&prime;\&prime;}\left(i\right)$

偏心矩向量分散度可以表示为：

$M_2=\frac{1}{k}{\mathrm{\&Sigma;}}_1^k{(D^{\&prime;\&prime;}\left(i\right)-\stackrel{\&OverBar;}{D})}^2$

极大极小偏心矩之比可以表示为：

$M_3=\frac{\mathrm{MAX}\left(D^{\&prime;\&prime;}\left(i\right)\right)}{\mathrm{MIN}\left(D^{\&prime;\&prime;}\left(i\right)\right)}$

式中：MAX(D″(i))，MIN(D″(i))分别表示偏心矩归一化向量中最大元素值与最小元素值，以M₁，M₂，M₃作为目标形态特征的最终表达。

7.按照权利要求1所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的夜间车辆运动跟踪包括如下步骤：

1)特征表达

令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，

则R的重心C坐标(x_c，y_c)可定义为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\&Sigma;}}_1^n{y}_i}{n}$

式中：n为R内像素点个数，本发明为简化问题起见，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪，同时，为了提高目标匹配的精确性，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束，R的紧密度S定义为：

$S=\frac{A}{L^2}$

式中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点；利用运动目标的重心、速度、紧密度及紧密度变化对目标的状态进行描述，目标k时刻的状态特征向量可表达为：

$X_k=(C_k,V_k,S_k,{\&dtri;S}_k),$

其中：C_k-k时刻的重心；V_k-k时刻的速度；S_k-k时刻的紧密度；

时刻的紧密度变化；

2)参数初始化

一在目标稳定出现于检测区域内后，利用前两个观测时刻的重心位置确定目标的速度，即：

V_x，0＝x_c，1-x_c，0

V_y，0＝y_c，1-y_c，0

其中，V_x，0，V_y，0分别为x，y方向的初始速度，目标的前两个观测时刻坐标分别为C₀＝(x_c，0，y_c，0)，C₁＝(x_c，1，yc_，1)，同时，由于运动的相对稳定性，连续两观测时刻内目标的紧密度不会发生较大的改变，因此初始紧密度变化值定为：

${\&dtri;S}_0=0$

3)状态估计

对于当前观测时刻中的每个分割前景目标要与已标记的被跟踪目标进行匹配，利用当前目标的状态特征观测值与所有受跟踪目标的前一个观测时刻状态特征的估计值按照匹配最小距离准则选择最佳匹配，找到使匹配距离最小的目标即为被跟踪的目标，受跟踪目标状态估计方程为：

$x_{c,t}^L=x_{c,t-1}^L+V_{x,t-1}^L\&times;\mathrm{\&Delta;t}+\mathrm{\&omega;}$

$y_{c,t}^L=y_{c,t-1}^L+V_{y,t-1}^L\&times;\mathrm{\&Delta;t}+\mathrm{\&omega;}$

$S_t^L=S_{t-1}^L+{\&dtri;S}_{t-1}^L+\mathrm{\&xi;}$

式中：Δt为相邻观测时间间隔，为第L个已跟踪目标第t时刻重心坐标估计值，

为第L个已跟踪目标第t-1时刻重心坐标，

为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，

为已跟踪目标第t时刻的紧密度估计值，

为已跟踪目标第t-1时刻的紧密度，为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差；

4)特征匹配与更新

对于匹配成功的目标，计算估计值与观测值的匹配误差，并对t时刻目标的预测速度以及紧密度变化进行更新：

$V_{x,t}^L={\mathrm{\&alpha;V}}_{x,t}^i+(1-\mathrm{\&alpha;})(V_{x,t}^i-V_{x,t-1}^L)$

$V_{y,t}^L=\mathrm{\&alpha;}{V}_{y,t}^i+(1-\mathrm{\&alpha;})(V_{y,t}^i-V_{y,t-1}^L)$

${\&dtri;S}_t^L=\mathrm{\&beta;}\&dtri;S_{t-1}^L+(1-\mathrm{\&beta;})(S_t^i-S_{t-1}^L)$

式中：

为当前观测时刻与第L个已跟踪目标匹配成功的物体的x、y方向速度值，

为当前观测时刻与第L个已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数。

8.按照权利要求1所述的基于光照可见度辨识的夜间车辆视频检测方法，其特征在于，所述的夜间车辆交通参数提取包括如下步骤：根据图像坐标与世界坐标的投影关系模型，采用基于黑箱标定的二维重建算法实现车辆运行速度参数的有效采集；

1)摄像机标定

图像坐标与世界坐标的投影关系模型关系可以表示为：

sm＝pM

式中：s为不为0比例因子，M为三维世界齐次坐标，M＝[X Y Z 1]^T，m为二维图像齐次坐标，m＝[u v 1]^T，p为三乘四的映射变换矩阵；

黑箱标定法只需求解三维到二维的映射变换矩阵p，假设模型平面位于世界坐标系Z＝0的平面上，则式sm＝pM变为如下形式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}_1& p_2& p_3\\ p_4& p_5& p_6\\ p_7& p_8& p_9\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

则： $u=\frac{p_{1}X+p_{2}Y+p_3}{p_{7}X+p_{8}Y+p_9}$

$v=\frac{p_{4}X+p_{5}Y+p_6}{p_{7}X+p_{8}Y+p_9}$

变换上式得：

p₁X+p₂Y+p₃-uXp₇-uYp₈＝up₉

p₄X+p₅Y+p₆-vXp₇-vYp₈＝vp₉

映射变换矩阵p乘以任意不为0的常数，并不影响世界坐标与图像坐标之间的关系，因此不妨假设p₉＝1，则若有n对(X_i，Y_i)，(u_i，v_i)对应点就得到关于P矩阵其他元素的2n个线性方程，其中，n≥4，用矩阵的形式表示如下：

$\left[\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& {-u}_1{X}_1& -u_1{Y}_1\\ 0& 0& 0& X_1& Y_1& 1& -v_1{X}_1& -v_1{Y}_1\\ M& M& M& M& M& M& M& M\\ X_n& Y_n& 1& 0& 0& 0& -u_n{X}_n& {-u}_n{Y}_n\\ 0& 0& 0& X_n& Y_n& 1& -v_n{X}_n& -v_n{Y}_n\end{array}\right]\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\\ p_4\\ p_5\\ p_6\\ p_7\\ p_8\end{array}\right]=\left[\begin{array}{c}{u}_1\\ v_1\\ M\\ u_n\\ v_n\end{array}\right]$

将上式写成：AP＝U，其中：A为2n×8维矩阵，P为8×1维矩阵，U为2n×1维矩阵，n为标定特征点个数，至少用四对(X_i，Y_i)，(u_i，v_i)对应点采用最小二乘法可解得：P＝(A^TA)^-1A^TU；

2)二维重建获得车辆的位置与实际速度

二维重建就是在已知目标物的图像位置条件下求解目标物在实际场景中的位置，即摄像机标定的逆过程；用黑箱标定方法标定摄像机，得到映射变换矩阵p，进而重建Z＝0平面上点的实际位置坐标，得：

$X_i=\frac{(p_6{p}_8-p_5{p}_9)u_i+(p_2{p}_9-p_3{p}_8)v_i+(p_3{p}_5-p_2{p}_6)}{(p_5{p}_7-p_4{p}_8)u_i+(p_1{p}_8-p_2{p}_7)v_i+(p_2{p}_4-p_1{p}_5)}$

$Y_i=\frac{(p_4{p}_9-p_6{p}_7)u_i+(p_3{p}_7-p_1{p}_9)v_i+(p_1{p}_6-p_3{p}_4)}{(p_5{p}_7-p_4{p}_8)u_i+(p_1{p}_8-p_2{p}_7)v_i+(p_2{p}_4-p_1{p}_5)}$

由此由图像坐标求得实际空间的坐标；通过运动跟踪求得车辆在图像坐标系下的位置，通过二维重建，获得车辆在实际空间坐标系下的位置；利用前后两个采样时刻的位置除以采样间隔，则获得车辆的实际速度。

Images