CN103218916B - 基于复杂高动态环境建模的闯红灯检测方法及*** - Google Patents

Abstract

本发明公开了一种基于复杂高动态环境建模的闯红灯检测方法及***，包括以下步骤：1）路口画面进行标定；2）利用高斯混合模型对路口画面进行背景建模；3）对建模的背景进行光照检测与分析，并进行背景的更新，得到当前路口的准确背景图像；4）通过背景差分以及跟踪算法处理得到路口车辆的跟踪信息；5）根据车辆的跟踪信息和标定图像判断车辆是否闯红灯。基于此方法的***包括摄像装置、控制装置，摄像装置与控制装置连接向其发送拍摄到的路口画面，控制装置用于通过高斯混合模型对拍摄到的路口画面进行背景建模，对建模的背景进行光照检测与分析，判断车辆是否闯红灯。本发明能快速、准确地更新背景，适应各种复杂环境，提高闯红灯检测的准确性和适应性。

Description

基于复杂高动态环境建模的闯红灯检测方法及***

技术领域

本发明属于交通图像处理领域，尤指一种基于复杂高动态环境建模的闯红灯检测方法及***。

背景技术

经济发展催生的交通问题已然成为城市的共有难题。中国是一个经济持续发展的发展中国家，城市化与汽车化发展十分迅猛。为了解决由此带来的一系列问题，需要增加交通设施的投入，加速交通供给的建设；更重要的是要科学合理的使用现有的道路交通设施，发挥它们最大的作用。而传统的采用地感线圈进行闯红灯检测的方式有成本高，维护难的缺点，近来催生的视频检测方式通过工业摄像机获取路口视频来进行闯红灯检测，为了得到摄像机所拍摄图像中的车辆，一般采用有帧间差分和背景差分两种方式。

帧间差分法算法实现简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好，也是目前在针对复杂高动态环境的智能监控领域用得比较多的方法。但是它不能提取出对象的完整区域，只能提取出边界；同时依赖于选择的帧间时间间隔。对快速运动的物体，如果时间间隔偏大，当物体在前后两帧中没有重叠时，会被检测为两个分开的物体；而对慢速运动的物体，如果时间间隔偏小，当物体在前后两帧中几乎完全重叠时，则检测不到物体，不适于路口的闯红灯检测。

背景差分包含静态背景和基于高斯体的背景建模方法。在以前的老式监控***中会采用一帧没有车辆的图片作为背景的前景检测方法。这种方法的缺陷当然很明显，因为即便是室内环境都会遇到光线变化的干扰情况。而基于高斯混合体的背景建模方法是较为流行的，它将图像中的每一个像素点进行建模，定义每个像素点的分布模型为由多个单高斯模型组成的集合，根据每一个新的像素值更新模型参数，按照一定的准则判断哪些像素点为背景点、哪些为前景点。当光照发生大规模的迅速变化时，混合高斯模型将为其新建一个高斯体，但仍以以前的像素值作为背景（因为新的高斯体的“力量”还不到能够取代原来主高斯体的地步），直到一定帧数后，新的高斯体取代原来的背景。但是对于城市里高动态、光照变化复杂的环境，便会出现背景还没来得及更新完毕环境又发生变化的情况，混合高斯模型就出现了不断建新的高斯体、在各种变化间疲于奔命的结果，达不到实时、准确监控的目的。

发明内容

针对现有技术存在的问题，本发明的目的之一在于提供一种能快速、准确地更新背景，适应各种复杂环境，提高闯红灯检测的准确性和适应性的基于复杂高动态环境建模的闯红灯检测方法。本发明的另一目的在于提供一种基于上述闯红灯检测方法的检测***。

为实现上述目的，本发明的基于复杂高动态环境建模的闯红灯检测方法，包括以下步骤：

1）对摄像机拍摄到的路口画面进行标定；

2）利用高斯混合模型对拍摄到的路口画面进行背景建模；

3）对建模的背景进行光照检测与分析，并进行背景的更新，得到当前路口的准确背景图像；

4）通过背景差分以及跟踪算法处理得到路口车辆的跟踪信息；

5）根据车辆的跟踪信息和标定图像判断车辆是否闯红灯。

进一步，步骤2）中高斯混合模型能够通过检测和消除大量干扰运动物体的方法获得准确背景图像。

进一步，干扰运动物体的检测方法具体为：将当前帧与背景图像同一点的像素差值与运动临界阈值进行比较，根据比较结果确定干扰运动物体，然后将确定为干扰运动物体的像素点进行分块处理得到背景图像中的所有干扰运动目标。

进一步，确定为干扰运动目标的背景图像不进行背景更新。

进一步，高斯混合模型根据HSV颜色模型进行背景建模，背景更新速度能够根据当前背景模型和先前背景模型的相似度进行调整，如果当前背景模型接近于先前的模型，则减慢背景的更新速度，否则加快背景的更新速度。

进一步，步骤3）中对建模的背景进行光照检测与分析的方法，

包括如下步骤：1）对背景图像的边缘进行提取，将边缘扩大；2）将背景图像的非边缘区域根据位置划分为多个分区域；3）在每个分区域取两个样本点，并计算每个分区域中光照量；4）根据光照量的计算结果判断是否进行分区域的背景更新。

进一步，步骤4）具体为：将当前帧图像与背景图像差分得到当前帧前景的二值化图像，通过两次膨胀和两次腐蚀滤除掉人和自行车的干扰，然后对前景使用Meanshift跟踪算法对车辆进行跟踪得到当前帧图像的车辆轨迹。

本发明的基于复杂高动态环境建模的闯红灯检测***，包括摄像装置、控制装置，摄像装置与控制装置连接向其发送拍摄到的路口画面，控制装置用于通过高斯混合模型对拍摄到的路口画面进行背景建模，对建模的背景进行光照检测与分析，并进行背景的更新，得到当前路口的准确背景图像，通过背景差分以及跟踪算法处理得到路口车辆的跟踪信息，根据车辆的跟踪信息和标定图像判断车辆是否闯红灯。

本发明对经典的高斯混合模型的背景更新方式进行了改进，不再对每一帧图像的背景均进行更新，而是根据规则有选择地进行更新，有效避免了在高动态、光照变化复杂的环境下，由于混合高斯模型建模速度达不到光照变化速度，导致无法实时、准确监控的问题。

附图说明

图1为本发明的闯红灯检测***的示意图;

图2为本发明的基于复杂高动态环境建模的闯红灯检测方法的流程图；

图3为高斯混合模型建模中对建模的背景进行光照检测与分析的流程图。

具体实施方式

本发明提供了一种基于复杂高动态环境建模的闯红灯违规检测记录方法和一个基于此方法的***，整个***的硬件构成示意图如图1所示，包括工业摄像机（含补光灯），工控机。搭载了软件的工控机是***的主体，摄像机通过网线与工控机相连。摄像头箱安装在架杆上，工控机安装在地面设备箱内。

如图2所示，本发明的基于复杂高动态环境建模的闯红灯违规检测方法，包括以下步骤：

1）标定

首先，要对摄像机拍摄到的画面做一个标定，考虑到摄像机的位置是固定的，只需要做一次标定就可以一直使用。需要在画面中标出路口区域、交通灯区域和用于违规证据保存的三根线。

2）高斯混合模型建模

对于路口这种比较复杂的环境，在视频中经常有大量的移动人或物。为了适应这种环境，通过检测和消除大量运动物体的方法来获得更好的背景。

用I_x,y,t来代表当前帧坐标为(x,y)的点的像素，用I_x,y,t-1代表上一帧同一点的像素，那么点的运动量定义为

M_x,y,t=|I_x,y,t-I_x,y,t-1|

定义一个运动临界阈值Threshold，来将运动量二值化：

$B_{x,y,t}=\left\{\begin{array}{cc}1& M_{x,y,t}>\mathrm{Threshold}\\ 0& M_{x,y,t}<\mathrm{Threshold}\end{array}\right.$

其中，B_x,y,t代表当前帧坐标为(x,y)的点是否为前景，当B_x,y,t=1时，表示这个点是前景运动目标，否则不是前景运动目标。其中运动临界阈值定义为

$\mathrm{Threshold}=\frac{{\left|\right|I_t\left|\right|}_{m_1}}{K\&CenterDot;N}$

其中 $I_t=\left[\begin{array}{cccc}{I}_{\mathrm{0,0},t}& I_{\mathrm{0,1},t}& L& I_{0,\mathrm{width}-1,t}\\ I_{\mathrm{1,0},t}& I_{\mathrm{1,1},t}& L& I_{1,\mathrm{width}-1,t}\\ M& M& O& M\\ I_{\mathrm{height}-\mathrm{1,0},t}& I_{\mathrm{height}-\mathrm{1,1},t}& L& I_{\mathrm{height}-1,\mathrm{width}-1,t}\end{array}\right],$ 是矩阵I_t的1范数，N是图像帧中点的数量，而K是一个常数，当K=2时，能取得较好的效果。

这样，就确定了运动的物体。接着，将前景点分成许多块，这些块就代表了所有运动的目标。

即是变大后的前景为

${\mathrm{BL}}_{x,y,t}=\left\{\begin{array}{cc}1& (B_{x,y,t}=1\mathrm{or}{B}_{x-1,y,t}=1\mathrm{or}{B}_{x+1,y,t}=1\\ & B_{x,y-1,t}=1\mathrm{or}{B}_{x,y=1,t}=1)\\ 0& \mathrm{otherwise}\end{array}\right.$

其中，BL_x,y,t代表了扩大后的前景中坐标为(x,y)的点是否为前景，当BL_x,y,t=1时，表示这个点是前景运动目标。存储临近的n个值，用于更新背景像素：

${\mathrm{UpdateBackground}}_{x,y}=\left\{\begin{array}{cc}\mathrm{false}& ({\mathrm{BL}}_{x,y,t}=1,t=[T-n,T\left]\right)\\ \mathrm{true}& ({\mathrm{BL}}_{x,y,t}=0,t=[T-n,T\left]\right)\end{array}\right.$

UpdateBackground_x,y代表这个点是否进行背景更新（false表示不更新，true表示更新），t是运动量运动信息的时间区间，T是当前的时刻。

根据HSV颜色模型进行背景建模，背景更新速度能够根据当前背景模型和先前背景模型的相似度进行调整，如果当前背景模型接近于先前的模型，则减慢背景的更新速度，否则加快背景的更新速度。

${\mathrm{BackgroundingSpeed}}_{x,y}=\left\{\begin{array}{cc}1& (H_{x,y}\&Element;[H_{\mathrm{Threshold}},H_{\mathrm{Threshold}2}]\\ & \mathrm{and}{S}_{x,y}\&Element;[S_{\mathrm{Threshold}1},S_{\mathrm{Threshold}2}]\\ & \mathrm{and}{V}_{x,y}\&Element;[V_{\mathrm{Threshold}1},V_{\mathrm{Threshold}2}])\\ 0.1& \mathrm{otherwise}\end{array}\right.$

其中，BackgroundingSpeed_x,y代表坐标为(x,y)的点的更新速度，数字越大更新速度越慢；H_x,y、S_x,y、V_x,y是坐标为(x,y)的点的H、S、V色彩分量，H_Threshold1、H_Threshold2、S_Threshold1、S_Threshold2、V_Threshold1、V_Threshold2是手动指定的阈值，即是如果当前背景模型的该点在原背景模型的这个点上下浮动的一个阈值内，就减慢更新速度。

3）光照检测与背景的再生成

由于边缘或者角点并不能代表图片的光照信息，甚至是边缘部分的毛刺太多，不适合用来求取大部分的光照。因此将图片分成边缘和非边缘部分分别进行计算。

首先，需要对背景图像的边缘进行提取。然后对边缘进行“加粗”，即直接采用膨胀算子，将边缘扩大。这样，就可以对其他没有进行扩大的非边缘部分进行处理。

对非边缘部分的处理经历了以下几个步骤：

<1>对每个区域进行标定。定义一个height*width的int型矩阵，通过遍历和递归的办法，对每个区域的序号进行标定。

<2>对于每个非边缘区域，取两个点作为样本点，用于对光照的计算。将样本点的当前灰度值和背景灰度值存在结构体中。

<3>对于每个区域中光照量的计算，总体来说是基于

I_frame=(1-α)·I_background+α·I_shine

其中，I_frame是当前帧这个区域的灰度值，I_background是背景图像这个区域的灰度值。在这个方程中，有α和I_shine两个未知量。其中α是更新参数，是光照量的权重值，I_shine就是需要获取的光照量。那么联立两个方程，组成一个方程组，就可以解出这两个未知量。

<4>背景的重新生成。接着，对每个区域内的I_shine进行考察。如果其只有一个峰值，即可以认为影响这个区域的因素完全是光照，那么就把当前的场景作为新的背景。如果其有两个或以上峰值，那么可以认为当前帧中出现的前景（人物或车辆）对这里的改变量有了贡献。那么这个区域我们就不用进行背景的重新生成了。即通过以下公式进行背景的再生成：

$I_{\mathrm{new\; background}}=\left\{\begin{array}{cc}{I}_{\mathrm{frame}}& I_{\mathrm{shine}}\mathrm{is}\sin \mathrm{gle}\\ I_{\mathrm{original\; background}}& I_{\mathrm{shine}}\mathrm{is\; mixture}\end{array}\right.$

这样，通过边缘的分块处理，就能在有车辆运动的情况下迅速更新背景。

4）特征提取与车辆跟踪

将当前帧图像与背景图像差分，便可得到当前帧前景的二值化图像，通过两次膨胀和两次腐蚀，基本可以滤除掉人和自行车的干扰。

得到了车辆的二值前景特征，便可以使用Meanshift这个经典的跟踪算法对车辆进行跟踪，将车辆的轨迹线存入结构体。

5）违规判定与证据保存

通过上述的图像车辆跟踪处理，得到了车辆的历史轨迹。此时对在路口的车辆的轨迹进行回溯，检测轨迹是否在红灯亮起的时刻与先前标定的三根线相交，如果车辆与其中的两根线相交，那么就可以认定这辆车为闯红灯违规。

由于此前已经得到了车辆在每一帧图片中的运动轨迹，那么我们就可以很容易得到在当前帧前第几帧车辆有越线行为发生，摄像机在整个过程中都应该处于录制视频的状态。我们只需要从录制的视频中选取特定帧图片，作为车辆闯红灯违规的三张证据图片。

Claims (4)

1.基于复杂高动态环境建模的闯红灯检测方法，包括以下步骤：

1)对摄像机拍摄到的路口画面进行标定；

2)利用高斯混合模型对拍摄到的路口画面进行背景建模；

3)对建模的背景进行光照检测与分析，并进行背景的更新，得到当前路口的准确背景图像；

4)通过背景差分以及跟踪算法处理得到路口车辆的跟踪信息；

5)根据车辆的跟踪信息和标定图像判断车辆是否闯红灯；

其中，步骤1)具体为：对摄像机拍摄到的路口画面标定出路口区域、交通灯区域和用于违规证据保存的三根线；

高斯混合模型根据HSV颜色模型进行背景建模，背景更新速度能够根据当前背景模型和先前背景模型的相似度进行调整，如果当前背景模型接近于先前的模型，则减慢背景的更新速度，否则加快背景的更新速度；

在步骤3)中对建模的背景进行光照检测与分析，包括：31)对背景图像的边缘进行提取，将边缘扩大，32)将背景图像的非边缘区域根据位置划分为多个分区域，33)在每个分区域取两个样本点，并计算每个分区域中光照量，34)根据光照量的计算结果判断是否进行分区域的背景更新；

高斯混合模型能够通过检测和消除大量干扰运动物体的方法获得准确背景图像；

干扰运动物体的检测方法具体为，将当前帧与背景图像同一点的像素差值与运动临界阈值进行比较，根据比较结果确定干扰运动物体，然后将确定为干扰运动物体的像素点进行分块处理得到背景图像中的所有干扰运动目标；

步骤5)具体为：检测车辆的轨迹是否在红灯亮起的时刻与先前标定的三根线相交，如果所述车辆与其中的两根线相交，则认定所述车辆闯红灯违规。

2.根据权利要求1所述的闯红灯检测方法，其特征在于，确定为干扰运动目标的背景图像不进行背景更新。

3.根据权利要求1所述的闯红灯检测方法，其特征在于，步骤4)具体为：将当前帧图像与背景图像差分得到当前帧前景的二值化图像，通过两次膨胀和两次腐蚀滤除掉人和自行车的干扰，然后对前景使用Meanshift跟踪算法对车辆进行跟踪得到当前帧图像的车辆轨迹。

4.基于复杂高动态环境建模的闯红灯检测***，包括摄像装置、控制装置，摄像装置与控制装置连接向其发送拍摄到的路口画面，其特征在于，所述控制装置用于通过高斯混合模型对拍摄到的路口画面进行背景建模，对建模的背景进行光照检测与分析，并进行背景的更新，得到当前路口的准确背景图像，通过背景差分以及跟踪算法处理得到路口车辆的跟踪信息，根据车辆的跟踪信息和标定图像判断车辆是否闯红灯；

其中，所述摄像装置还用于对摄像机拍摄到的路口画面标定出路口区域、交通灯区域和用于违规证据保存的三根线；

所述控制装置还用于高斯混合模型根据HSV颜色模型进行背景建模，背景更新速度能够根据当前背景模型和先前背景模型的相似度进行调整，如果当前背景模型接近于先前的模型，则减慢背景的更新速度，否则加快背景的更新速度；

所述控制装置还用于对建模的背景进行光照检测与分析，包括：1)对背景图像的边缘进行提取，将边缘扩大；2)将背景图像的非边缘区域根据位置划分为多个分区域；3)在每个分区域取两个样本点，并计算每个分区域中光照量；4)根据光照量的计算结果判断是否进行分区域的背景更新；

所述控制装置还用于高斯混合模型能够通过检测和消除大量干扰运动物体的方法获得准确背景图像；

所述控制装置还用于将当前帧与背景图像同一点的像素差值与运动临界阈值进行比较，根据比较结果确定干扰运动物体，然后将确定为干扰运动物体的像素点进行分块处理得到背景图像中的所有干扰运动目标；

所述控制装置还用于检测车辆的轨迹是否在红灯亮起的时刻与先前标定的三根线相交，如果所述车辆与其中的两根线相交，则认定所述车辆闯红灯违规。