CN104680133B - 一种违规车让人行为实时检测方法 - Google Patents

Abstract

本发明涉及一种违规车让人行为实时检测方法，该方法包括以下步骤：1)将视频数据解析成画面帧信息；2)检测画面中的斑马线区域；3)检测画面中车辆位置；4)对车辆进行速度检测和轨迹追踪；5)当有车辆越过斑马线且行驶速度超过阈值的时候，对斑马线两端的位置进行行人检测；6)若斑马线两端有行人等待，则高速越过斑马线的车辆为没有遵守车让人规定的违规车辆；7)对违规的车辆进行车牌识别。与现有技术相比，本发明检测性能好，违规捕获率高，误报率低，鲁棒性强，对于不同形状的斑马线区域都能够自动检测，并且能识别出违规车辆的车牌号码，从而促进交通秩序的改善，减少交通事故的发生。

Description

一种违规车让人行为实时检测方法

技术领域

本发明涉及视频监控技术和智能交通技术领域，具体涉及一种违规车让人行为实时检测方法。

背景技术

随着城市化进程加快，城市人口急剧增加，地面交通状况变得越来越复杂。目前在交通信息采集***中，视频车辆检测一般用CCD摄像机对车道车辆进行拍摄，用硬件将拍摄到的图像进行数字化存储，用图像处理的方式对图像初步处理，去除图像噪声信息，对图像进行分区并采用一定算法对各分区图像处理，提取必要的车辆特征信息，根据特征信息进行车速、排队等交通信息统计。

视频检测算法是整个视频车辆检测***的核心，直接影响到***的检测精度和效率。视频检测算法可分为知识型、运动型、立体视觉型和像素强度型4类。中国专利CN101398932A公开的视频车辆检测方法和装置就是基于像素强度型的车辆检测方法，该方法通过获取视频图像、对视频图像进行车灯消干扰操作以及对检测区域进行监测等步骤来获取视频车辆检测结果，在光线较暗的情况下也能获得较好的结果。但该技术只能对车辆进行识别和检测，无法做到实时检测车辆在斑马线上不避让行人的违规行为。

发明内容

本发明的目的就是为了克服现有技术中的缺陷而提供一种检测速度快、检测性能好、鲁棒性强的违规车让人行为实时检测方法。

本发明的目的可以通过以下步骤实现：

一种违规车让人行为实时检测方法，该方法包括以下步骤：

1)获得实时视频，将视频数据解析成画面帧信息；

2)检测画面中的斑马线区域；

3)检测画面中车辆位置；

4)根据画面帧信息对车辆进行速度检测和轨迹追踪；

5)实时判断车辆是否同时满足以下条件：

a)车辆越过斑马线，b)车辆行驶速度超过阈值；

若是，则执行步骤6)，若否，则返回步骤1)；

6)对斑马线两端区域进行行人检测，判断是否有行人处于等待状态，若是，则判定当前车辆违规，执行步骤7)，若否，则返回步骤1)；

7)对违规车辆进行车牌识别，保存违规车辆信息和违规时刻画面信息。

所述步骤2)中，采用Adaboost检测器和haar特征相结合的方法检测画面中的斑马线区域。

所述步骤3)中，采用SVM分类器和HOG特征相结合的方法检测画面中车辆位置。

所述步骤4)中，轨迹追踪的具体过程为：

4-1)采用Optical flow算法进行车辆轨迹跟踪；

4-2)在车辆轨迹追踪的过程中，采用车辆检测算法修正每一个时刻的追踪位置；

4-3)根据所检测的车辆运动速度估计下一时刻位置，修正每一个时刻的追踪位置。

所述步骤6)中，行人检测具体步骤为：

6-1)采用DPM模型检测行人；

6-2)采用Optical flow算法进行行人轨迹追踪，并在行人轨迹追踪过程中采用Kalman滤波器修正行人位置；

6-3)判断行人在斑马线两端区域的停留时间是否超过设定时间，若是，则判定行人处于等待状态，若否，则判定行人不处于等待状态。

所述步骤7)中，车牌识别具体为：

7-1)采用Adaboost检测器和Haar特征相结合的方法对车牌进行检测定位；

7-2)采用SVM分类器和HOG特征相结合的方法对车牌进行识别。

所述步骤7)中，违规时刻画面信息为车辆与斑马线区域的重合区域最大的时刻的画面。

与现有技术相比，本发明具有以下优点：

(1)本发明速度快，能够做到实时检测。

(2)本发明在采用Optical flow算法对车辆轨迹进行追踪时，采用了车辆检测算法来修正每一个时刻的追踪位置，在一定程度上能够实时地跟新目标的外观，避免了多次跟踪误差的累积导致轨迹不准确，另外，本发明还采用了根据车辆运动速度估计下一时刻位置的算法，在某些困难场景下(比如车辆在短时间内被遮挡)也能获得准确的车辆轨迹，检测性能好，鲁棒性强，违规的捕获率高，违规的误报率低。

(3)本发明采用adaboost检测器与haar特征相结合的方法，对于不同形状的斑马线区域都能够自动检测。

(4)本发明在采用Optical flow算法进行行人轨迹检测时，增加了Kalman滤波器来提高追踪的精确度，行人跟踪的鲁棒性得到了提高，跟踪过程中不易丢失跟踪目标，可以很好的处理行人转身或者下蹲等情况。

(5)本发明不仅能够检测车辆，还能检测出在斑马线旁等待的行人，从而检测车辆违规不避让行人的行为，并检测出违规车辆的车牌号码，从而促进交通秩序的改善，减少交通事故的发生。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供一种用于视频中的违规车让人行为实时检测方法，具体流程如下：

步骤S01，获得实时视频，将视频数据解析成画面帧信息，实时视频为一段斑马线场景的视频。

步骤S02，检测画面中的斑马线区域。本实施例采用Adaboost检测器和haar特征相结合的方法检测画面中的斑马线区域，提取检测画面的haar特征，通过Adaboost检测器检测出其中的斑马线区域。

Adaboost检测器是英文"Adaptive Boosting"(自适应增强)的缩写，是一种机器学习方法，相对于大多数其它学习算法而言，不会很容易出现过拟合现象。haar特征(哈尔特征)是用于物体识别的一种数字图像特征，它们因为与哈尔小波转换极为相似而得名。

步骤S03，检测画面中车辆位置。本实施例采用SVM分类器和HOG特征相结合的方法检测画面中车辆位置。提取检测画面的HOG特征，通过SVM分类器检测其中的车辆位置。

支持向量机(SVM)方法是一种训练机器学习的算法，可以用于解决分类和回归问题。根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折中，以求获得最好的推广能力。

方向梯度直方图(Histogram of Oriented Gradient，HOG)描述子是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。与其他的特征描述方法相比，方向梯度直方图(HOG)描述子有很多优点。首先，由于HOG方法是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。方向梯度直方图方法是特别适合于做图像中的行人检测的。

步骤S04，根据画面帧信息对车辆进行速度检测和轨迹追踪，具体过程为：

4-1)采用Optical flow算法进行车辆轨迹跟踪。Optical flow算法会给图像中的每一个像素点赋予一个速度矢量，形成一个图像运动场。在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。

Optical flow算法是关于视域中的物体运动检测中的概念，是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

Optical flow算法的优点在于optical flow不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下检测出运动对象。

但是直接使用Optical flow算法对于车辆轨迹的捕获率无法满足要求，当某次追踪位置不够准确时，其中的误差可能会累积导致最后整个轨迹偏差很大。所以需要采用手段来增加轨迹追踪的准确性。

4-2)在车辆轨迹追踪的过程中，采用车辆检测算法修正每一个时刻的追踪位置。在一定程度上能够实时地跟新目标的外观，避免了多次跟踪误差的累积导致轨迹不准确。

4-3)根据所检测的车辆运动速度估计下一时刻位置，修正每一个时刻的追踪位置。这种做法利用到了车辆特有的性质，即它的运行状态是符合一定规律的：它的行驶方向不会发生突变，如突然掉头、直角转向；它的速度不会突然发生变化，如速度瞬间变大、减速过程需要符合物理规律。通过速度估计，增加了车辆轨迹跟踪的鲁棒性，在某些困难场景下(比如车辆在短时间内被遮挡)导致optical flow算法和车辆检测算法都失效的时候，也能获得准确的车辆轨迹。

步骤S05，判断车辆是否越过斑马线且越过斑马线时行驶速度超过阈值，若是，则执行步骤S06，若否，则返回步骤S01。

步骤S06，对斑马线两端区域进行行人检测，判断是否有行人处于等待状态，若是，则判定当前车辆违规，执行步骤S07，若否，则返回步骤S01。

行人检测具体步骤为：

6-1)采用DPM模型(Deformable Part Model)检测行人。该模型对于行人的外观的多样性有很强的处理能力。若检测到斑马线两端有行人等待时，那么高速越过斑马线的这辆车就是没有遵守车让人规定的车辆。

6-2)采用Optical flow算法进行行人轨迹追踪，区分行人在斑马线等待和行人路过斑马线的行为，并在行人轨迹追踪过程中采用Kalman滤波器修正行人位置。

由于人体和车辆不同，车辆属于刚体，而人体属于非刚体，运动比较灵活、复杂，具有不规则性，所以我们在optical flow算法后增加了Kalman滤波器来提高追踪的精确度。Kalman滤波器能够根据optical flow结构，预测目标在下一时刻可能出现的位置，从而知道下一帧的跟踪。4.加入了Kalman预估的跟踪，行人跟踪的鲁棒性得到了提高。跟踪过程中不易丢失跟踪目标，可以很好的处理行人转身或者下蹲等情况。

6-3)判断行人在斑马线两端区域的停留时间是否超过设定时间，若是，则判定行人处于等待状态，若否，则判定行人不处于等待状态。

步骤S07，对违规车辆进行车牌识别，保存违规车辆信息和违规时刻画面信息。违规时刻画面信息为车辆与斑马线区域的重合区域最大的时刻的画面。

车牌识别具体为：

7-1)采用Adaboost检测器和Haar特征相结合的方法对车牌进行检测定位，速度快；

7-2)采用SVM分类器和HOG特征相结合的方法对车牌进行识别。

Claims (6)

1.一种违规车让人行为实时检测方法，其特征在于，该方法包括以下步骤：

1)获得实时视频，将视频数据解析成画面帧信息；

2)检测画面中的斑马线区域；

3)检测画面中车辆位置；

4)根据画面帧信息对车辆进行速度检测和轨迹追踪；

5)实时判断车辆是否同时满足以下条件：

a)车辆越过斑马线，b)车辆行驶速度超过阈值；

若是，则执行步骤6)，若否，则返回步骤1)；

6)对斑马线两端区域进行行人检测，判断是否有行人处于等待状态，若是，则判定当前车辆违规，执行步骤7)，若否，则返回步骤1)，其中，行人检测具体步骤为：

6-1)采用DPM模型检测行人；

6-2)采用Optical flow算法进行行人轨迹追踪，并在行人轨迹追踪过程中采用Kalman滤波器修正行人位置；

6-3)判断行人在斑马线两端区域的停留时间是否超过设定时间，若是，则判定行人处于等待状态，若否，则判定行人不处于等待状态；

7)对违规车辆进行车牌识别，保存违规车辆信息和违规时刻画面信息。

2.根据权利要求1所述的违规车让人行为实时检测方法，其特征在于，所述步骤2)中，采用Adaboost检测器和haar特征相结合的方法检测画面中的斑马线区域。

3.根据权利要求1所述的违规车让人行为实时检测方法，其特征在于，所述步骤3)中，采用SVM分类器和HOG特征相结合的方法检测画面中车辆位置。

4.根据权利要求1所述的违规车让人行为实时检测方法，其特征在于，所述步骤4)中，轨迹追踪的具体过程为：

4-1)采用Optical flow算法进行车辆轨迹跟踪；

4-2)在车辆轨迹追踪的过程中，采用车辆检测算法修正每一个时刻的追踪位置；

4-3)根据所检测的车辆运动速度估计下一时刻位置，修正每一个时刻的追踪位置。

5.根据权利要求1所述的违规车让人行为实时检测方法，其特征在于，所述步骤7)中，车牌识别具体为：

7-1)采用Adaboost检测器和Haar特征相结合的方法对车牌进行检测定位；

7-2)采用SVM分类器和HOG特征相结合的方法对车牌进行识别。

6.根据权利要求1所述的违规车让人行为实时检测方法，其特征在于，所述步骤7)中，违规时刻画面信息为车辆与斑马线区域的重合区域最大的时刻的画面。