CN109684996B - 基于视频的实时车辆进出识别方法 - Google Patents

Abstract

基于视频的实时车辆进出识别方法涉及一种图像处理方法。本发明包括安装摄像头采集图像，基于帧差分法和稠密光流法结合的运动目标检测，基于背景差分法的前景检测，融合运动前景并提取车辆区域彩色图像，基于LK光流法的运动目标的角点跟踪，运动车辆进入判断，运动车辆颜色识别，统计车辆个数并输出结果图像。本发明不仅可以提高分割车辆区域的完整性，同时不管车辆是否在运动都可以分割出车辆区域。车辆停留时也可以检测出车辆区域，不会丢失目标。该方法具有很强的鲁棒性。

Description

基于视频的实时车辆进出识别方法

技术领域

本发明涉及一种图像处理方法，特别涉及一种车辆进出识别方法。

背景技术

随着我国经济的发展，科学技术的不断进步，各大城市都在大力推进智慧城市的建设。智能停车场作为其中的一部分，采用信息化手段管理小区车辆的进出时一个发展趋势。在高效的无人值守停车场***中，需要准确、实时检测出车辆的进入行为。

通常对车辆进出行为的判断，有使用地磁感应、红外感应的传感器的方法，有基于车牌检测的图像识别方法，还有使用身份卡的无线感应方式。这些方法中有的安装困难、只能用于特定场景，有的成本高昂。其次这些方法并不能获取车辆图像、颜色等完整的车辆信息。若抓拍车辆图像要单独安装摄像头负责抓拍。而获取、保存更多的车辆信息，有利于为车辆缴费、车辆安保等后续事件留有更多的凭证，这是必不可少的环节。若使用摄像头基于图像识别的方法，不仅能够检测车辆进入行为，还能获取车辆图像信息。

除上述车辆进入检测方式外，另一类是基于智能视频检测方法。常见的有使用卷积神经网络检测车辆，但网络模型往往很大，需要的计算机配置较高，难以达到实时性的要求。或是使用传统的分类器，提取车辆特征以区分其他物体，达到检测的效果，但这需要大量的场景下车辆的数据集，对分类器进行训练，工作量很大。还有应用在高速公路上的智能监控***，获取运动目标的方法检测车辆，往往需要车辆的连续运动，应用场合固定。

运动目标检测法计算复杂度相对更低，更容易满足实时性要求。其包括帧差法、背景差分法、背景建模法、光流法等。帧差法检测运动物体会出现空洞现象，只有边缘位置变化较大会被标记出来。背景差分法受到光照的影响比较大，如果场景发生光照的变化，没有运动的物体像素值改变会被标记为运动物体。背景建模法在某个像素的突然的变化、轻微晃动的物体等现象出现时，模型会判断错误。在道闸门前这种实际场景下，往往环境较为复杂，一般的运动目标检测方法难以到达很好的效果。

发明内容

本发明的目地旨在解决上述技术的缺陷，用于道闸门前场景下运动车辆进出的检测。

为达到上述目地，本发明提出一种基于视频的实时车辆进出识别方法，包括以下步骤：

步骤1，安装摄像头采集图像

步骤2，基于帧差分法和稠密光流法结合的运动目标检测

步骤3，基于背景差分法的前景检测

步骤4，融合运动前景并提取车辆区域彩色图像

步骤5，基于LK光流法的运动目标的角点跟踪

步骤6，运动车辆进入判断

步骤7，运动车辆颜色识别，统计车辆个数并输出结果图像。

本发明将多种运动检测方法融合检测车辆达到的有益效果有以下几个方面：

1基于帧差分法和稠密光流法结合的运动目标检测算法。传统的稠密光流算法可以很好的检测出运动目标，精确的分割出运动区域，但是不能消除光照等外界环境带来的影响。帧差法对光照变化影响小，但分割出的运动区域存在空洞，不连通。本发明将两算法结合检测运动目标，该方法具有较好的光照鲁棒性，检测出的目标区域无空洞，是一个完整的连通域。

2基于背景差分法的前景检测算法。传统的背景差分法受到光照变化的影响比较大，只能在同一场景光照变化较小的场景下应用。本发明使用实时更新背景的方法应对光照的变化，不仅对从早到晚这种缓慢光照变化大的情况鲁棒，而且对场景突然开灯这种光照的突变鲁棒。

3运动目标检测与场景前景检测结合的车辆检测算法。基于帧差法和稠密光流法结合的运动目标检测算法，可以很完美的分割出运动区域，但是在实际场景中车辆有停顿的现象，停顿时该算法不能分割出车辆区域。使用更新背景的背景差分前景提取算法可以在车辆停留时也能将车辆前景从背景中分割出来，但是如果车辆颜色与背景颜色相近，可能会出现分割区域不完整的现象。本发明将上述两种算法结合，不仅可以提高分割车辆区域的完整性，同时不管车辆是否在运动都可以分割出车辆区域。车辆停留时也可以检测出车辆区域，不会丢失目标。

4基于LK光流法的运动目标的角点跟踪。使用该方法记录的运动轨迹的优点在于，记录的确实是运动物体。如果分割出的车辆区域出错，分割出的是变化的光照，一般光照变换只是像素值变化，特征点不会引起左右移动，LK光流法记录的角点移动距离较小，近乎为零。如果是真实的移动车辆，移动距离会很大。因此使用该方法即使有变化光照，车辆检测依然鲁棒。

附图说明

图1为本发明实例的基于视频的实时车辆进出识别方法流程图

图2为摄像头安装图

图3为道闸门前车辆经过时原图

图4为帧差法产生的灰度图

图5为稠密光流法产生的二值图

图6为提取出的背景彩色图像

图7为背景差分产生的前景二值图像

图8为多运动检测方法融合后的车辆彩色图像

图9为LK光流法跟踪角点效果图

图10为车辆进入后的结果图

图11为该场景下另一车辆处理过程图

图12为另一场景下车辆正在停留时的处理过程图

图13为该场景下停留的车辆又继续前进时的处理过程图

图14为光照引起场景变化处理过程图

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，根据本发明基于视频的实时车辆进出识别方法，对道闸门前车辆检测，具体实施步骤如下：

步骤1，安装摄像头采集图像。本发明使用一种鱼眼广角摄像头采集图像。摄像头安装在道闸箱侧面，如图2所示，拍摄方向与车辆驶入方向垂直。

步骤2，基于帧差分法和稠密光流法结合的运动目标检测。

步骤2.1帧差法运动目标检测。帧差法将前后两帧图像对应像素值相减。如果差值很小，认为此处静止，如果差值很大，则认为是由于物体运动引起的。设差分图像为Y_k(i，j)，第k+1帧与第k帧图像在(i，j)点的像素分别为T_k+1(i，j)与T_k(i，j)，阈值处理后的结果为I_k(i，j)，则帧差法公式为：

Y_k(i，j)＝|T_k+1(i，j)-T_k(i，j)| (1)

上述公式中的I为阈值，此处为30。如图3所示为道闸门前区域有车辆经过时的原图。如图4所示为帧差法处理产生的灰度结果图。

步骤2.2稠密光流运动目标检测。将步骤2.1帧差法处理产生的灰度图像使用稠密光流法分割运动目标。稠密光流法采用相邻两帧图像来估计物体的光流矢量，计算每一个像素点的光流矢量。首先使用多项式展开的方法，对每个像素的邻域使用一个二次多项式来近似表达，然后通过分析前后两帧像素点的多项式展开系数，估计光流场的位移矢量。

使用该算法处理结果如图5所示。车辆从摄像头前经过一般为最大的运动物体，因此如果一个场景下有多个运动区域，这里只保留面积最大的一个。

步骤3基于背景差分法的前景检测。

步骤3.1背景差分获取运动区域。该方法使用视频帧与背景图像相减，之后对差分灰度图像做阈值处理活动运动区域二值图像。设背景差分图像为Y_k(i，j)，第k帧图像在(i，j)点的像素为M_k(i，j)，此时的背景图像为B_k(i，j)，阈值处理后的结果为I_k(i，j)，背景差分法公式为：

Y_k(i，j)＝|M_k(i，j)-B_k(i，j)| (1)

上述公式中的I为阈值，此处为50。“1”代表第K帧图像发生前景区域，“0”代表背景区域。如图6所示为场景背景图像，如图7为背景差分法获得的前景二值图。同样这里只保留面积最大的一块前景区域。

步骤3.2背景更新。使用视频的前100帧图像的平均值作为初始背景，当视频中没有运动物体时，实时更新背景图像，有运动物体时不更新背景。此处认为是运动区域的判断条件有两个：1背景差分算法分割出的运动前景面积小于50×50。2该区域前后两帧图像使用LK光流法跟踪特征点，特征点移动距离小于100。

步骤4融合运动前景并提取车辆区域彩色图像。将步骤1和步骤2获取的运动区域二值图像叠加，并和原图像做与操作，处理结果如图8所示。车辆从摄像头前面经过，运动面积较大，因此当运动区域面积大于一定阈值时认为是车辆，并对此保留，如果小于阈值则剔除。此处使用的阈值为，0.15倍原图像面积

步骤5，基于LK光流法的运动目标的角点跟踪。首先将车辆彩色图转换为灰度图像，使用Shi-Tomasi角点检测算法检测图像中的关键点，然后使用Lucas-Kanade算法迭代跟踪这些点。将这些跟踪轨迹绘制在图上，效果如图9所示。

步骤6，运动车辆进出判断。车辆进出的判断有两个条件：1、视频序列中必须有连续大于10帧图像被检测出为步骤4的车辆区域，否则认为是光照引起的环境变化。2、记录每一帧图像，LK光流跟踪的所有关键点移动距离和，车辆进入序列中出现距离和大于100的认为车辆通过，否则为非车辆区域。同时满足这两个条件判断为车辆的移动，然后根据LK光流法跟踪的关键点移动方向判断车辆进出方向。例如图3为地库入口闸门前的场景，若关键点向左移动则判断为车辆进入，相反为车辆驶出。

步骤7，运动车辆颜色识别。对分割出的车辆图像，首先将颜色空间转换到HSV，然后根据量化模板分别计算车辆图像中在不同色彩范围上的像素点个数，统计出像素点个数最对的颜色范围为车辆颜色。HSV颜色统计模板为表1。

表1HSV颜色统计模板

车辆进入后，统计车辆个数并输出结果图像，如图10所示。

如图11所示为该场景下另一车辆处理过程图，从图中看出稠密光流二值图和背景差分二值图分割出的车辆区域并不完整，但叠加后较为完整。背景差分二值图中，除了分割出车辆部分，还分割出了闸门部分，但在LK光流跟踪角点时并不会产生影响。

从图12中可以分享本发明算法较为鲁棒，可以很好的检测出车辆进入。

如图13所示为另一场景下车辆在闸门前处理流程图，此时车辆正在停留，从图中可以看出，稠密光流二值图并没有检测出有运动区域。背景差分法依然可以分割出车辆区域，叠加后依然可以检测出车辆，车辆停止不会丢失。车辆停止，LK光流跟踪的角点也不会变化，不存在位移。

如图14所示为停留车辆又继续运动，Lk光流跟踪的角点产生位移，在图中画出了一条条的轨迹，车辆进入后产生结果。

从图12,13可以分析本发明算法对车辆停留时也是鲁棒的，可以正常检测，不会丢失运动目标。

如图14为光照引起场景变化处理过程图，此时稠密光流法没有检测出有运动目标，背景差分检测出有变化的区域，合成后分离出了由于光照变化引起的变化区域。此区域并不是运动的车辆区域，但是LK光流跟踪角点这一步骤，没有检测出车身上的角点，没有运动轨迹。而且光照的变化时突然的，只有短短的两、三帧图像，视频序列中没有超过连续的10帧运动区域，没有大于运动车辆进出判断时的阈值条件。因此即使光照变化引起的变化区域，对最后的车辆检测结果也不会产生影响。

从图14可以分析出本发明算法对光照变化鲁棒，不会影响车辆进出的检测。该算法达到了很好的效果。

Claims (1)

1.基于视频的实时车辆进出识别方法，其特征在于，具体实施步骤如下：

步骤1，安装摄像头采集图像

步骤2，基于帧差分法和稠密光流法结合的运动目标检测，具体如下：

步骤2.1帧差法运动目标检测

帧差法将前后两帧图像对应像素值相减；

设差分图像为Y_k(i,j)，第k+1帧与第k帧图像在(i,j)点的像素分别为T_k+1(i,j)与T_k(i,j)，阈值处理后的结果为I_k(i,j)，则帧差法公式为：

Y_k(i,j)＝|T_k+1(i,j)-T_k(i,j)| (1)

上述公式中的I为阈值，此处为30；

步骤2.2稠密光流运动目标检测

将步骤2.1帧差法处理产生的灰度图像使用稠密光流法分割运动目标；

车辆从摄像头前经过一般为最大的运动物体，如果一个场景下有多个运动区域，这里只保留面积最大的一个；

步骤3基于背景差分法的前景检测，具体如下：

步骤3.1背景差分获取运动区域；

使用视频帧与背景图像相减，之后对差分灰度图像做阈值处理活动运动区域二值图像；设背景差分图像为Y_k(i,j)，第k帧图像在(i,j)点的像素为M_k(i,j)，此时的背景图像为B_k(i,j)，阈值处理后的结果为I_k(i,j)，背景差分法公式为：

Y_k(i,j)＝|M_k(i,j)-B_k(i,j)| (1)

上述公式中的I为阈值，此处为50；“1”代表第K帧图像发生前景区域，“0”代表背景区域；

背景差分法获得的前景二值图；同样这里只保留面积最大的一块前景区域；

步骤3.2背景更新；

使用视频的前100帧以上图像的平均值作为初始背景，当视频中没有运动物体时，实时更新背景图像，有运动物体时不更新背景；

此处认为不是运动区域的判断条件有两个：1背景差分算法分割出的运动前景面积小于50×50；2该区域前后两帧图像使用LK光流法跟踪特征点，特征点移动距离小于100；

步骤4融合运动前景并提取车辆区域彩色图像；

将步骤2和步骤3获取的运动区域二值图像叠加，并和原图像做与操作，

车辆从摄像头前面经过，运动面积较大，因此当运动区域面积大于一定阈值时认为是车辆，并对此保留，如果小于阈值则剔除；此处使用的阈值为0.15倍原图像面积；

步骤5，基于LK光流法的运动目标的角点跟踪；将车辆彩色图转换为灰度图像，使用Shi-Tomasi角点检测算法检测图像中的关键点，然后使用Lucas-Kanade算法迭代跟踪这些点；将这些跟踪轨迹绘制在图上；

步骤6，运动车辆进出判断；

车辆进出的判断有两个条件：1、视频序列中必须有连续大于10帧图像被检测出为步骤4的车辆区域，否则认为是光照引起的环境变化；2、记录每一帧图像，LK光流跟踪的所有关键点移动距离和，车辆进入序列中出现距离和大于100的认为车辆通过，否则为非车辆区域；同时满足这两个条件判断为车辆的移动，然后根据LK光流法跟踪的关键点移动方向判断车辆进出方向；

步骤7，运动车辆颜色识别；

对分割出的车辆图像，首先将颜色空间转换到HSV，然后根据量化模板分别计算车辆图像中在不同色彩范围上的像素点个数，统计出像素点个数最多的颜色范围为车辆颜色；车辆进入后，统计车辆个数并输出结果图像。

Images