CN101729872A - 一种基于视频监控图像自动判别道路交通状态的方法 - Google Patents

Abstract

本发明涉及一种基于视频监控图像自动判别道路交通状态的方法，该方法从背景建模、前景提取、车辆识别、多目标跟踪等技术层面入手，对视频监控录像进行详细的分类分析，最终通过设定相应的参数值便可对安装有监控摄像头的道路交通状态进行判别，大大提高了交通状况自动识别的精确度。

Description

一种基于视频监控图像自动判别道路交通状态的方法

技术领域

本发明涉及视频检测技术在交通领域的应用，具体涉及一种基于视频监控图像实时判别道路交通状况的方法。

背景技术

道路交通状态判别是城市智能交通***进行路况信息发布和交通诱导的基础。目前道路交通状态判别主要还是基于浮动车数据进行分析处理，辅以城市中大量的视频监控资源以人工观测的手段对道路交通状态进行修正和补充。但是基于浮动车数据的交通状态判别算法的准确度与浮动车数量以及运营状态有直接的关联，故而无法达到很高的准确度，而人工观测视频监控的方法则又对观测人有着极高的要求，存在判别依据过于主观以及较高的漏报率。故而为了更有效的利用现有的视频监控资源，有必要将先进的视频检测技术合理的应用于我国交通领域。

视频检测技术也被称为数字图像处理技术，是结合视频图像和电脑化模式识别技术新兴技术。该技术应用于交通领域之后，可以通过视频摄像机和计算机模仿人眼的功能，将连续的模拟图像转换为离散的数字图像，在成熟的物理模型和数字模型的基础上对图像按一定的处理算法进行分析，从而判别出道路的交通状态。

视频检测技术在交通领域的应用研究的发展历史并不很长，1984年，美国的明尼苏达大学首次开展了将计算机视觉应用于高级交通管理的研究。1984～1989年，该大学在美国明尼苏达州的交通管理部门的扶植下，做了进一步的实验研究，与此同时成立了ISS(ImageSensing System，INC.)公司，专门从事交通视频技术的开发。在1987年，ISS公司设计出了第一台原型机，此次设计首次验证了视频检测技术在交通领域的应用。1989年ISS公司开发出了第二代产品。在以后的几年里，推出了一系列以Autoscope^TM为注册商标的交通视频检测产品，形成了一个较为成功的商业***。AUTOSCOP***具有实时检测交通参数的能力，是国际上交通信息采集中最具竞争力的视频检测***之一。AUTOSCOP可以装在室外机柜里，接收多路由路边摄像机传来的视频信号。用户根据显示的路面交通状况图像，利用鼠标在屏幕上绘制虚拟“车辆检测器”。***一旦完成检测器的设置，每当车辆通过任何一个虚拟检测器时，就会产生一个检测信号。AUTOSCOPE处理器分析输入的视频图像，产生所需的交通数据，例如：流量、速度、占有率、车头距离、车辆排队长度以及车辆类型等。ISS公司对AUTOSCOPE技术不断开发、改进和完善，目前该公司的产品已成为业界的领头羊。另外国外还有一些公司在这方面也从事了应用研究和开发，也推出了各自成熟的***级产品，如美国PEEK公司的VideoTrak-900，比利时的Traficon公司的推出的Monitor系列等。

视频检测技术在国内的应用研究起步较晚，伴随着交通运输的发展，交通管理与控制的应用需求在不断增加，国内有许多公司也在这方面作了许多努力，比如湖南天翼信息技术有限公司推出的“智能交通视频图像处理***”，清华紫光开发的VS3001视频检测***，厦门恒深智能软件***有限公司研制的Headsun SmartViewer-II视频交通检测器等等。这些产品大多停留在原型机的层次或实现的功能不够完善，在实际的推广当中效果并不明显，还远远没有达到实际应用的要求，同国外产品相比还有相当的差距。

综上，基于视频监控的道路交通状态判别方面还有许多不足之处，主要体现在，目前的视频检测***不仅检测精度不高且仍停留在交通参数检测的层面上，若要判别道路交通状态还需进一步对交通参数进行分析处理，没有充分发挥出视频监控的应有的性能。

发明内容

为了解决更加精确监控判别道路交通状况的问题，本发明提出一种基于视频监控图像自动判别道路交通状态的方法，包括如下步骤：

A、获取视频监控图像；

B、对于第一周期时间中的视频监控图像，基于混合高斯模型建立视频监控图像的时空域背景模型；

C、计算当前图像与时空域背景模型的相似性，基于相似性提取前景信息；

D、运用连通域blob分析方法提取前景信息中各连通区域的特征信息；

E、利用连通域的距离和面积信息进行车辆识别，若有车，保存车辆特征信息，转步骤F；若无车，以当前图像更新背景模型，并输出畅通，转步骤J；

F、以去除车辆信息的背景信息更新背景模型；

G、在第一周期时间内，基于已有目标特征和当前图像的目标特征的匹配结果建立特征辨识矩阵判断目标的运动状态，若辨识发现出现新目标，则建立新目标信息并预测目标形心进行跟踪，若发现目标处于理想跟踪状态，则预测目标形心进行跟踪，若目标消失，则删除目标信息；

H、计算不同目标在第一周期时间内的平均速度，计算图像上所有车辆速度的平均值作为当前道路的速度参数；

I、根据设定好的速度阈值判断道路交通状态，速度参数小于所述阈值输出拥堵，大于等于所述阈值输出畅通；

J、对输出的拥堵信号次数计数，判断第二周期时间是否结束，如果结束，则转步骤K，否则转步骤A；

K、在第二周期时间内，计算输出拥堵的次数，如果输出拥堵次数大于预定值，则提示监控路段处于拥堵状态；

其中，步骤D具体包括：

D1、形态学操作去除前景信息中的噪点影响；

D2、将目标从像素级转换到连通分量级，利用膨胀算子去除填补目标区域的小孔，再将结果重新返回到初始前景点集上，以恢复前景图像的固有边缘；

D3、统计图像中连通域的数目并对各连通域标号；

D4、提取连通域的面积、周长、形心位置以及外接矩形信息。

其中，步骤B基于混合高斯模型建立视频监控图像的时空域背景模型具体包括：

B1、利用混合高斯背景建模法建立每个像素的时间域背景模型；

B2、进行高斯成分个数的自适应选择，具体包括：

B21、初始化时，场景每个像素的混合高斯模型只设置一个高斯成分；

B22、当场景发生变化，像素的混合高斯模型不能与当前像素值匹配时，如果该像素混合高斯模型中的高斯成分个数没有达到设定的最大值，则自动增加一个以当前值为均值的初始高斯成分，否则则用当前像素值为均值的新高斯成分代替像素混合高斯模型中的末尾高斯成分；

B23、在模型更新完成后，判断每个像素的混合高斯模型中的最后一个高斯成分是否过期，如果过期则删除

B3、通过时间域背景模型对场景的学习，已经获得了表示背景的一组样本，直接统计这些表示背景的样本在空间上的分布，作为像素的空间域背景模型。

其中，步骤E具体包括：

E1、对搜索区域内的连通域进行初步筛选，将将Blob面积小于一定门限的Blob置于考虑范围之外；

E2、进行区域聚合，基于形心位置、外接矩形的上下边界条件将具有相似性的多个连通域聚合为一个车辆；

E3、获取聚合得到的车辆的面积、外接矩形特性、车辆的直方图信息；

E4、将获得的车辆特征信息保存为目标信息。

其中，步骤G还包括如下步骤：

G11、判断目标是否出现***，如果是则执行G12，否则跳出***观测；

G12、保持追踪，将***的子目标放入备用目标信息列表，并保持更新和预测；

G13、如果***一预定时间，确认***删除原目标，将***子目标放入目标信息列表，且赋予新的标记，进行追踪。

其中，步骤G还包括如下步骤：

G21、判断目标是否出现合并，如果是，则保存目标在合并前的图像信息，然后将合并后的区域看作一个新的目标，保持在合并期间的跟踪；

622、当目标合并时间超过某一阈值，则确认目标合并，将其作为共同的运动体生成新目标，并删除模板和合并前的子目标。

本发明的上述以及其它的目的、特征以及优点将在结合显示和描述本发明的具体实施例的附图阅读了以下的详细说明后对于本领域的技术人员变得明确。

附图说明

图1是本发明实施例的方法整体流程图；

图2是基于混合高斯模型建立视频监控图像的时空域背景模型的流程图；

图3是目标特征匹配流程图；

图4是多目标跟踪处理流程图；

图5是目标***状态的跟踪处理流程图；

图6是目标融合状态的跟踪处理流程图。

具体实施方式

以下结合附图详细说明本发明的具体实施方式。

本发明所述方法可以以嵌入交通监控***的软件来实现，其具体方法流程如图1所示。

Step0：获取视频监控图像

Step1：基于自适应混合高斯模型建立视频监控图像的时空域背景模型。

Step2：采取基于决策融合的目标检测方法提取前景信息。

Step3：运用Blob分析方法提取各Blob的特征信息。

Step4：利用Blob的距离和面积信息进行车辆识别，若有车，保存车辆特征信息，转step5；若无车，转step9。

step5：以去除车辆信息的背景信息更新背景模型。

step6：建立特征辨识矩阵判断目标的运动状态，再针对不同运动状态采取相应的跟踪策略。

Step7：根据跟踪保存的车辆信息计算车辆速度，进而计算道路速度参数。

Step8：根据设定好的速度阈值判断道路交通状态，小于所述阈值输出拥堵；大于等于所述阈值输出畅通。

Step9：以当前图像更新背景模型，并输出畅通。

上述流程以一秒为周期循环执行，每秒钟输出一个交通状态的判定值。在每秒钟输出的交通状态的基础上，方法每30秒输出一个明确的交通状态信号。若在30秒内后台有累计超过15次的拥堵状态值，则输出一个交通拥堵状态信号，代表这30秒内该观测点交通拥堵；否则输出一个交通畅通状态信号。

以下针对各步骤的具体实施方式做进一步的详细说明。

其中，步骤1中采用基于自适应的混合高斯模型的时空背景建模法来对视频监控图像进行背景建模。

基于自适应混合高斯模型的时空背景建模法在利用混合高斯模型学习了每个像素的时间域背景模型之后，使用非参数密度估计方法构造了基于像素的空间域背景模型，从而有效地融合了每个像素在时空域上的分布信息；同时利用混合高斯模型的高斯成分个数的自适应选择策略，改善了时空背景的建模效率。

(1)混合高斯模型

混合高斯背景建模法对每个像素采用多个高斯模型进行混合表示。设用来描述每个像素颜色分布的高斯分布共有K个，便可以K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型。以图像中的像素j为例，在t时刻取值为χ_j的概率为：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^o,{\mathrm{\Σ}}_{j,t}^i)$

式中：ω_j，t ⁱ表示在t时刻像素j的混合高斯模型中第i个高斯成分的权重，

$\stackrel{K}{\mathrm{\Σ}}{\mathrm{\ω}}_{j,t}^i=1;$ μ_j，t ⁱ表示第i个高斯成分的均值；

表示第i个高斯成分的协方差，其中σ表示第i个高斯成分的标准差，I表示单位矩阵；η为高斯概率密度函数，函数表达式为：

$\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{d}{2}}{\left|{\mathrm{\Σ}}_{j,t}^i\right|}^{\frac{1}{2}}}\exp [-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)]$

其中d为χ_j的维数。

在视频中场景变化时，每个像素的混合高斯模型都会被不断地学习更新。其具体的更新步骤为：首先每个场景的混合高斯模型中的K个高斯成分都会按照ω_j，t ⁱ/σ_j，t ⁱ由大到小的顺序进行排列，然后用像素的当前值χ_j与混合高斯模型中的K个成分逐一比较，若χ_j与第i个高斯成分的均值μ_j，t ⁱ的差小于δ倍(通常δ设为2.5～3.5)的该高斯成分的标准差σ_j，t ⁱ，则该高斯成分将被χ_i更新，反之则保持不变。更新方程优选如下：

${\mathrm{\ω}}_{j,t+1}^i=(1-\mathrm{\α}){\mathrm{\ω}}_{j,t}^i+\mathrm{\α}{M}_{j,t}^i$

${\mathrm{\μ}}_{j,t+1}^i=(1-\mathrm{\ρ}){\mathrm{\μ}}_{j,t}^i+{\mathrm{\ρx}}_j$

${\left({\mathrm{\σ}}_{j,t+1}^i\right)}^2=(1-\mathrm{\ρ}){\left({\mathrm{\σ}}_{j,t}^i\right)}^2+\mathrm{\ρ}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T(x_j-{\mathrm{\μ}}_{j,t}^i)$

$\mathrm{\ρ}=\frac{\mathrm{\α}}{{\mathrm{\ω}}_{j,t}^i}$

其中，α是模型的学习率，当第i个高斯成分与χ_j匹配时，M_j，t ⁱ否则为0；如果χ_j与像素j的混合高斯模型中的K个成分都不匹配，则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分的均值为χ_j，初始标准差及权重设为σ_init和ω_init。在更新完成后，各高斯成分的权重要进行归一化处理，保证

在判断背景前景时，往往按每个高斯成分的ω_j，t ⁱ/σ_j，t ⁱ由大到小进行排序，取前B_j个高斯成分作为背景分布。B_j的计算公式如下：

$B_j=\arg \underset{b}{\min }(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t+1}^i>T)$

阈值T度量了背景高斯成分在像素的整个概率分布中所占的最小比例。

(2)高斯成分个数的自适应选择

实际场景中，不同区域背景的状态个数不同，随着场景变化，同一区域的状态个数也会改变，因此若所有像素都保持固定不变的高斯成分个数，往往会造成***运算资源的大量浪费。

由混合高斯模型的更新方程可以看出，长时间与场景匹配的高斯成分的权重会越来越大，而不匹配的高斯成分权重会越来越小，从而逐渐落入表示前景的部分，当某个高斯成分的去权重ω_j，t ⁱ小于初始权重ω_init，且该高斯成分的ω_j，t ⁱ/σ_j，t ⁱ小于初始的ω_init/σ_init时，经过排序，该高斯成分将会被排在初始化的成分之后。继续保留该高斯成分，将使得在此出现与这个高斯成分匹配的场景时，利用该高斯成分学习此场景比用一个新的高斯成分学习此场景所花费的时间更长，于是可将这样的高斯成分称为“过期的”高斯成分，应该被删除。过期高斯成分的判别公式如下：

${\mathrm{\&omega;}}_{j,t}^i<{\mathrm{\&omega;}}_{\mathrm{init}}$ 且 $\frac{{\mathrm{\&omega;}}_{j,t}^i}{{\mathrm{\&sigma;}}_{j,t}^i}<\frac{{\mathrm{\&omega;}}_{\mathrm{init}}}{{\mathrm{\&sigma;}}_{\mathrm{init}}}$

在上述分析的基础上，可以给出如下的高斯成分个数自适应选择策略：

a、初始化时，场景每个像素的混合高斯模型只设置一个高斯成分；

b、当场景发生变化，某个像素的混合高斯模型不能与当前像素值匹配时，如果该像素混合高斯模型中的高斯成分个数没有达到设定的最大值(通常设为3～5)，则自动增加一个以当前值为均值的初始高斯成分，否则则用当前像素值为均值的新高斯成分代替像素混合高斯模型中的末尾高斯成分；

c、在模型更新完成后，判断每个像素的混合高斯模型中的最后一个高斯成分是否过期，如果过期则删除。

(3)时空域背景模型

时间域背景模型对场景学习之后，已经获得了每个像素的混合高斯模型中表示背景的前B_j个高斯成分，这些高斯成分的均值对应着背景的状态，权重表示该背景状态出现的相对频率。即通过时间域背景模型对场景的学习，已经获得了表示背景的一组样本，因而可以直接统计这些表示背景的样本在空间上的分布，作为像素的空间域背景模型。

由于每个背景高斯成分在时间上出现的频率不一样，因此在统计像素的空间域背景模型时，需要用背景高斯成分的权重对相应的样本进行加权。

这里利用颜色直方图来统计每个像素邻域内背景高斯成分的分布。颜色直方图是一种简单的非参数概率密度估计方法，具有旋转及平移不变性，用于统计像素邻域内的背景分布能够较好地克服背景局部运动的干扰。设像素j用颜色直方图表示的空间域背景模型为：

q(x_j)＝{q_v(x_j)}_{v＝1，…，m}

$q_v\left(x_j\right)=C_q\underset{l\&Element;x_j^N}{\mathrm{\&Sigma;}}\underset{i=1}{\overset{B_l}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{l,t}^i\mathrm{\&delta;}[b\left({\mathrm{\&mu;}}_{l,t}^i\right)-v]$

其中，m表示直方图区间的个数；x_j ^N表示以像素j为中心的N×N邻域；B_j为该邻域内第ι个像素的混合高斯模型中背景高斯成分的个数；ω_j，t ⁱ为像素ι的第i个高斯成分的权重；b(μ_l，t ⁱ)表示均值为μ_j，t ⁱ的高斯成分对应的直方图颜色区间；v为相应的颜色区间；δ为Kronecker函数；C_q为归一化系数。因为ω_j，t ⁱ表示了相应的背景状态在时间上出现的相对频率，因而使得空间域背景模型也同时反映了时间域的分布信息，用一个直方图即可表示时间上动态变化的背景，因而称为时空域背景模型。

由于图像中获得的像素值通常会受到噪声的干扰，如果直接利用当前像素值作为样本统计每个像素邻域内的颜色直方图，会使颜色直方图易受噪声的影响。因此，当像素ι的当前值χ_ι与混合高斯模型的某个高斯成分匹配时，则以该高斯成分作为当前空间颜色直方图的统计样本，否则以该像素的当前值作为统计样本，于是可得：

$p_v\left(x_j\right)=C_p\underset{l\&Element;x_j^N}{\mathrm{\&Sigma;}}\underset{i=1}{\overset{K_1}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}[b\left({\mathrm{\&mu;}}_{l,t}^i{M}_{l,t}^i\right)-v]$

其中，K_ι表示像素ι的混合高斯模型中高斯成分的个数；C_p为归一化系数；当第ι个高斯成分与χ_ι匹配时，M_l，t ⁱ为1，否则为0。

在进行背景减除时，需要判断在当前帧中像素的空间分布是否与其时空域背景模型相似，即判断两个直方图之间的相似性。这里采用直方图相交法，计算两个直方图共有的部分。像素j的时空域背景模型与当前场景的相似性ρ表示为：

$\mathrm{\&rho;}\left(x_j\right)=\underset{v=1}{\overset{m}{\mathrm{\&Sigma;}}}\min (p_v,q_v)$

建立时空域背景模型后，本实施例步骤2采取以下这种基于决策融合的目标检测方法来提取前景信息获得前景目标轮廓，其主要思想是先利用时空域背景模型进行粗尺度判断，再利用时间域背景模型对进行细尺度判断。

当像素的相邻域与其背景模型极为相似时，即ρ＞τ₁时(τ₁为判定当前场景为背景的相似性度量的下界)，可以认为该像素邻域为背景；当该像素的当前邻域与其时空域背景模型极为不相似时，即ρ＞τ₂时(τ₂为判定当前场景为前景的相似性度量的上界)，则可认为该像素邻域为前景；当时空域背景模型不能准确判断像素归属时，即τ₁≤ρ≤τ₂时，可以利用时间域背景模型对该像素进行细尺度判断，当该像素的混合高斯模型中存在与当前值匹配的背景高斯成分时，则像素为背景，否则为前景。整个流程的决策公式如下：

如果τ₁≤ρ≤τ₂

否则

$D\left(x_j\right)=\left\{\begin{array}{cc}0,& \mathrm{\&rho;}>{\mathrm{\&tau;}}_1\\ 1,& \mathrm{\&rho;}<{\mathrm{\&tau;}}_2\end{array}\right.$

其中，D(χ_j)为0表示像素j为背景，D(χ_j)为1表示像素j为前景。

整个前景提取过程是根据像素在时间域和空间域上的分布对每个像素进行检测的，因而可以消除传统背景模型对非平稳变化比较敏感的缺点，并能保持较好的前景目标轮廓。

本实施例步骤3采用Blog分析来基于前景信息提取前景目标的相关信息。Blob分析是对图像中相同像素的连通域进行特征分析，该连通域被称为Blob。Blob分析技术在此应用于在时空域背景模型的基础上所提取的前景目标，对其进行分析，主要操作步骤如下：

(1)形态学操作

形态学操作的目的是去除噪声点的影响，可以利用腐蚀算子去除孤立的噪声前景点。但这种处理也会影响目标原本的边缘和形状，特别是目标本身尺度较小的时候，它的边缘细节很容易被去噪处理破坏。

(2)连通性分析

将目标从像素级转换到连通分量级，利用膨胀算子去除填补目标区域的小孔。膨胀运算可以补偿目标被去噪处理破坏的部分信息。我们将去噪后连通检测的结果重新返回到初始前景点集上，以恢复其固有的边缘。这种分割算法既保持了目标的完整性，避免了噪声前景点的影响，又保留了目标的边缘细节部分。

(3)Blob统计

Blob统计阶段就是统计出图像中满足条件的Blob的数目，并对画面中每个Blob进行标号

(4)Blob特征信息提取

这一阶段将提取Blob所有所需的信息，也是最为耗时的部分，在此采用Blob线处理方法，该方法可以有效的提高计算效率，实现实时处理的要求。Blob线处理方法可在连通区域的扫描过程中，同时获取连通区域的几何特征，包括连通区域的面积、周长、形心位置、外接矩阵等。

在衡量目标区域大小时，目标区域面积参数A(·)可以作为一种度量尺度，对于区域R(x，y)，A(·)定义为该区域中像素数目。

形心在目标跟踪阶段是一个很重要的参量，对区域R(x，y)来说，其形心(x₀，y₀)的计算式为：

x₀＝M₁₀(R(x，y))/M₀₀(R(x，y))

y₀＝M₀₁(R(x，y))/M₀₀(R(x，y))

其中矩

$M_{\mathrm{pq}}\left(R(x,y)\right)=\underset{(x,y)\&Element;R(x,y)}{\mathrm{\&Sigma;}}f(x,y)x^p{y}^q,$

依据此式不仅可以得到形心坐标，如果需要还可得到更高阶的矩。

除了上述信息外，还可提取Blob的边界信息，包括边界点的轮廓以及上下左右各个极值点的位置，利用边界的极值点还可进一步确定Blob的外接矩形。

极值点的确定算法为：

$\mathrm{top}=\underset{y}{\min }\left\{(x,y)\right|(x,y)\&Element;R(x,y)\}$

$\mathrm{bottom}=\underset{y}{\max }\left\{(x,y)\right|(x,y)\&Element;R(x,y)\}$

$\mathrm{left}=\underset{x}{\min }\left\{(x,y)\right|(x,y)\&Element;R(x,y)\}$

$\mathrm{right}=\underset{x}{\max }\left\{(x,y)\right|(x,y)\&Element;R(x,y)\}$

这些信息都存储在各个Blob的信息结构体中。

步骤4中，在得到图像中的Blob信息之后，需要根据各个Blob的特性将同一辆车的Blob聚合起来，完成对一辆整车信息的提取，从而实现从Blob信息到车辆信息的转换。

进行区域合并的主要依据是Blob的距离和面积信息。在合并过程中，首先对搜索区域内的Blob进行初步的筛选，将Blob面积小于一定门限的Blob置于考虑范围之外，从而滤除这些噪声Blob的干扰，这一步称为Blob的面积滤波器。然后进行区域聚合，其依据包括形心的位置，外接矩形的上下边界条件等。通过这些条件将满足条件的具有相似性的多个Blob聚合为一个车辆，同时通过Blob信息得到车辆信息枛大小、外接矩形特性、车辆的直方图等。最后将这些信息组成的车辆特征存入目标信息的结构体中。

步骤6建立特征辨识矩阵判断目标的运动状态，再针对不同运动状态采取相应的跟踪策略。

1)建立特征辨识矩阵

特征辨识矩阵就是利用已有目标特征和当前图像的目标特征的匹配结果建立的矩阵。设第k帧的目标数目为N，第K+1帧的目标数目为P，设第k帧目标集为X＝{X_i|i＝1，2，…，N}，第K+1帧目标集为Y＝{Y_j|j＝1，2，…，P}，则X_i和Y_j若干个特征的匹配结果就是特征辨识矩阵的元素，称为辨识元素m_ij。由辨识元素m_ij组成的N×P矩阵即为特征辨识矩阵M。

多个目标的运动状态主要可分为以下五类：新目标产生、理想跟踪状态、目标***、目标融合、目标消失。多目标跟踪场景中，运动状态也就在五个状态之间相互转换。设目标的状态空间为S＝{S_i|i＝0，1，2，3，4}，分别代表以上五种状态。

这里采用性能相对稳定的目标面积参数A，形心位置参数C以及目标与边界的距离参数三个特征建立特征辨识矩阵，并通过对辨识矩阵行和列的分析推断各目标运动状态。

m_ij是运动状态识别算法的输入参数，代表这三维几何特征匹配的结果，其取值与两个目标集的三个特征匹配函数f_A(i，j)、f_C(i，j)、f_D(i，j)关系密切。这三个特征匹配函数的代表着两个目标集的匹配结果，其具体表达式如下：

f_A(i，j)＝{λ_A|if(|A(X_i)-A(Y_j)|≤H_A)，λ_A＝1，elseλ_A＝0}

f_D(i，j)＝{λ_D|if(|D(X_i)|≤H_D)，λ_D＝1，elseλ_D＝0}

其中：A(·)、C(·)、

D(·)分别表示目标的面积、形心、预测形心、外接矩形离图像边缘的距离；H_A、H_C、H_D分别表示各特征匹配的有限匹配门限，一般H_A取目标面积较小值的十分之一，H_C取目标外接矩形宽的一半，H_D取5；d表示前一帧目标预测形心与当前帧目标形心之间的距离，d越小，重叠程度越高。

由这三个特征可以产生四种有意义的匹配情况，如下所示：

$m_{\mathrm{ij}}=\left\{\begin{array}{cc}0,& {\mathrm{\&lambda;}}_A=1\&cap;{\mathrm{\&lambda;}}_C>0\\ 1,& {\mathrm{\&lambda;}}_A=0\&cap;{\mathrm{\&lambda;}}_C>0\\ 2,& {\mathrm{\&lambda;}}_C=0\&cap;{\mathrm{\&lambda;}}_D=1\\ 3,& {\mathrm{\&lambda;}}_C=0\&cap;{\mathrm{\&lambda;}}_D=0\end{array}\right.$

由上式计算得到m_ij后，即可建立特征辨识矩阵M。

(2)划分运动目标状态

对于目标状态空间S来说，其特征辨识算法如下：

新目标产生状态S₀：新目标产生意味着当前提取的新目标不与任何已有的目标特征吻合，因此，S0对应的识别算法为：M满足

j₀使得

$(m_{i_0{j}_0}=0)\&cap;(m_{i_{0}j}\&NotEqual;0)\&cap;(m_{i{j}_0}\&NotEqual;0)$ 或 $(m_{i_0{j}_0}=1)\&cap;(m_{i_{0}j}=\mathrm{2,3})\&cap;(m_{i{j}_0}=\mathrm{2,3})$

，其中i＝1，2，…，N，i≠i₀，j＝1，2，…，P，j≠j₀。

目标***状态S₂：目标***有两种可能，一种是目标真实的***，一种则是目标被背景部分遮挡所致，两种***都会导致当前帧有多个目标与前一帧同一目标相对应，因此S₂对应的识别算法为：M满足

j_t使得

$(m_{i_0{j}_t}=1)\&cap;(m_{i_{0}j}=\mathrm{2,3})\&cap;(m_{i{j}_t}=\mathrm{2,3})$ 其中t＝1，2，…h，h当前帧为与前一帧某目标匹配的目标数目，i＝1，2，…，N，i≠i₀，j＝1，2，…，P，j≠j_t。

目标消失状态S₄：目标消失与目标产生类似，场景中没有任何目标与前一帧的目标相匹配，因此，S₄对应的识别算法为：M满足

使得

其中j＝1，2，…，P。

复杂遮挡，即前一帧m个目标对应后一帧n个目标的情况要通过计算形心匹配程度，转化为以上五种对应，从而避免歧义，更好地判断目标的运动状态。

(3)基于运动状态分析的多目标跟踪

运动目标的跟踪、调整与其所处的运动状态密切相关，不同运动状态对应不同的跟踪处理和预测策略，才能更可靠的保持场景中多目标的跟踪。

处于新目标产生状态时，需要判断该目标是否处于背景中可进出车辆的位置。如果在，则认为其为新的目标，生成一个新的目标信息结构体(A，C，R，D)，分别表示车辆的面积、形心、外接矩形以及其与边界的位置特征，然后初始化该目标的预测信息，并将目标放入目标信息列表。当该目标被稳定跟踪超过了T帧则确认目标，赋予其新的标记。若目标出现位置不符合，则判断其为场景中先前出现但被背景遮挡的目标或周围其他目标的部分***块，或者为噪声。

理想跟踪最为普遍，一旦判断为该状态，则可利用当前目标特征更新前一帧目标特征。以面积参数为例，其更新公式为：

其中：

分别表示目标i₀的在第k+1帧的面积，第K帧的预测面积以及其在K+1帧对应的面积。α为更新因子，控制更新的快慢，在m_ij＝0时，α可以取值稍大，在m_ij＝1时，则需减小取值，减缓更新。面积的预测采用平均变化法。而形心和与边界距离的预测则采用Kalman滤波法。

目标***状态需要对其中的两类状态进一步予以判别。真正的目标***，分开趋势会逐渐加大，面积和外接矩形会发生明显变化，且此***是持续稳定的。而由于目标被背景遮挡而引起的***，趋势不会持续增加，面积和外接矩形也不会明显增大，***不稳定。判别时，首先要合并K+1帧的多个目标，计算合并后区域的面积和外接矩形，若面积小于K帧的目标面积，且外接矩形无明显扩张，则为背景遮挡，此时，利用合并区域的特征更新目标信息，更新和预测方法与理想跟踪状态一致。当合并后的外接矩形明显扩大，且目标形心之间距离随帧变大时，则目标可能***，此时，一方面保持跟踪，一方面将***的子目标放入备用目标信息列表，并在保持更新和预测，当持续***一定时间或分开距离超过某一阈值时，确认***，删除原目标，将***子目标放入目标信息列表，且赋予新的标记。

目标融合状态需要为合并前的子目标建立模板，即保存目标在合并前的图像信息，然后将合并后的区域看作一个新的目标，保持在合并期间的跟踪。合并结束后，利用合并前的模板信息与各个目标信息进行比较，从而将合并前后的目标对应起来。当目标合并时间超过某一阈值，则确认目标合并，将其作为共同的运动体生成新目标，并删除模板和合并前的子目标。

目标消失状态也有两种情况，当m_ij＝2时，目标处于图像边缘或其他目标可以进出的位置，因此为正常消失，此时保留其信息和最后出现的位置，当消失时间超过某一阈值，则确认目标消失，将其从目标信息列表中删除。当m_ij＝3时，目标为非正常消失，应该是被背景完全遮挡了，此时保持目标的信息并减缓运动预测速度，在目标重新出现时，恢复目标标记，更新目标信息，若目标长时间非正常消失，则记录其信息并中断对其的跟踪。

步骤7中在目标跟踪的基础上可根据同一个车辆目标记录下来的信息，推出某段时间内的车辆位移，进而可以计算出该车辆的速度。图像上所以车辆速度的平均值即为当前道路的速度参数，设定阈值之后即可判断拥堵和畅通，该阈值可调整。

通过本发明的方法能够基于实时获取的视频监控图像自动判别监控路段的交通状况，利用交通管理部门已有的视频监控资源，从背景建模、前景提取、车辆识别、多目标跟踪等技术层面入手，对视频监控录像进行详细的分类分析，最终通过设定相应的参数值便可对安装有监控摄像头的道路交通状态进行判别。本发明道路交通状态的判别准确率在90％以上。一旦判别出拥堵，即可诱导车辆绕道，从而减少道路拥堵时间，有利于改善城市交通环境。本发明中采用的方法和技术均可通过软件实现且运行条件容易满足，易于在全国中大型城市中推广应用。

Claims (5)

1.一种基于视频监控图像自动判别道路交通状态的方法，包括如下步骤：

A、获取视频监控图像；

B、对于第一周期时间中的视频监控图像，基于混合高斯模型建立视频监控图像的时空域背景模型；

C、计算当前图像与时空域背景模型的相似性，基于相似性提取前景信息；

D、运用连通域blob分析方法提取前景信息中各连通区域的特征信息；

E、利用连通域的距离和面积信息进行车辆识别，若有车，保存车辆特征信息，转步骤F；若无车，以当前图像更新背景模型，并输出畅通，转步骤J；

F、以去除车辆信息的背景信息更新背景模型；

G、在第一周期时间内，基于已有目标特征和当前图像的目标特征的匹配结果建立特征辨识矩阵判断目标的运动状态，若辨识发现出现新目标，则建立新目标信息并预测目标形心进行跟踪，若发现目标处于理想跟踪状态，则预测目标形心进行跟踪，若目标消失，则删除目标信息；

H、计算不同目标在第一周期时间内的平均速度，计算图像上所有车辆速度的平均值作为当前道路的速度参数；

I、根据设定好的速度阈值判断道路交通状态，速度参数小于所述阈值输出拥堵，大于等于所述阈值输出畅通；

J、对输出的拥堵信号次数计数，判断第二周期时间是否结束，如果结束，则转步骤K，否则转步骤A；

K、在第二周期时间内，计算输出拥堵的次数，如果输出拥堵次数大于预定值，则提示监控路段处于拥堵状态；

其中，步骤D具体包括：

D1、形态学操作去除前景信息中的噪点影响；

D2、将目标从像素级转换到连通分量级，利用膨胀算子去除填补目标区域的小孔，再将结果重新返回到初始前景点集上，以恢复前景图像的固有边缘；

D3、统计图像中连通域的数目并对各连通域标号；

D4、提取连通域的面积、周长、形心位置以及外接矩形信息。

2.如权利要求1所述的方法，其特征在于：步骤B基于混合高斯模型建立视频监控图像的时空域背景模型具体包括：

B1、利用混合高斯背景建模法建立每个像素的时间域背景模型；

B2、进行高斯成分个数的自适应选择，具体包括：

B21、初始化时，场景每个像素的混合高斯模型只设置一个高斯成分；

B22、当场景发生变化，像素的混合高斯模型不能与当前像素值匹配时，如果该像素混合高斯模型中的高斯成分个数没有达到设定的最大值，则自动增加一个以当前值为均值的初始高斯成分，否则则用当前像素值为均值的新高斯成分代替像素混合高斯模型中的末尾高斯成分；

B23、在模型更新完成后，判断每个像素的混合高斯模型中的最后一个高斯成分是否过期，如果过期则删除

B3、通过时间域背景模型对场景的学习，已经获得了表示背景的一组样本，直接统计这些表示背景的样本在空间上的分布，作为像素的空间域背景模型。

3.如权利要求2所述的方法，其特征在于：步骤E具体包括：

E1、对搜索区域内的连通域进行初步筛选，将将Blob面积小于一定门限的Blob置于考虑范围之外；

E2、进行区域聚合，基于形心位置、外接矩形的上下边界条件将具有相似性的多个连通域聚合为一个车辆；

E3、获取聚合得到的车辆的面积、外接矩形特性、车辆的直方图信息；

E4、将获得的车辆特征信息保存为目标信息。

4.如权利要求3所述的方法，其特征在于，步骤G还包括如下步骤：

G11、判断目标是否出现***，如果是则执行G12，否则跳出***观测；

G12、保持追踪，将***的子目标放入备用目标信息列表，并保持更新和预测；

G13、如果***一预定时间，确认***删除原目标，将***子目标放入目标信息列表，且赋予新的标记，进行追踪。

5.如权利要求3所述的方法，其特征在于，步骤G还包括如下步骤：

G21、判断目标是否出现合并，如果是，则保存目标在合并前的图像信息，然后将合并后的区域看作一个新的目标，保持在合并期间的跟踪；

G22、当目标合并时间超过某一阈值，则确认目标合并，将其作为共同的运动体生成新目标，并删除模板和合并前的子目标。

Images