CN104680133B - 一种违规车让人行为实时检测方法 - Google Patents
一种违规车让人行为实时检测方法 Download PDFInfo
- Publication number
- CN104680133B CN104680133B CN201510058281.0A CN201510058281A CN104680133B CN 104680133 B CN104680133 B CN 104680133B CN 201510058281 A CN201510058281 A CN 201510058281A CN 104680133 B CN104680133 B CN 104680133B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- violation
- pedestrian
- zebra stripes
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种违规车让人行为实时检测方法,该方法包括以下步骤:1)将视频数据解析成画面帧信息;2)检测画面中的斑马线区域;3)检测画面中车辆位置;4)对车辆进行速度检测和轨迹追踪;5)当有车辆越过斑马线且行驶速度超过阈值的时候,对斑马线两端的位置进行行人检测;6)若斑马线两端有行人等待,则高速越过斑马线的车辆为没有遵守车让人规定的违规车辆;7)对违规的车辆进行车牌识别。与现有技术相比,本发明检测性能好,违规捕获率高,误报率低,鲁棒性强,对于不同形状的斑马线区域都能够自动检测,并且能识别出违规车辆的车牌号码,从而促进交通秩序的改善,减少交通事故的发生。
Description
技术领域
本发明涉及视频监控技术和智能交通技术领域,具体涉及一种违规车让人行为实时检测方法。
背景技术
随着城市化进程加快,城市人口急剧增加,地面交通状况变得越来越复杂。目前在交通信息采集***中,视频车辆检测一般用CCD摄像机对车道车辆进行拍摄,用硬件将拍摄到的图像进行数字化存储,用图像处理的方式对图像初步处理,去除图像噪声信息,对图像进行分区并采用一定算法对各分区图像处理,提取必要的车辆特征信息,根据特征信息进行车速、排队等交通信息统计。
视频检测算法是整个视频车辆检测***的核心,直接影响到***的检测精度和效率。视频检测算法可分为知识型、运动型、立体视觉型和像素强度型4类。中国专利CN101398932A公开的视频车辆检测方法和装置就是基于像素强度型的车辆检测方法,该方法通过获取视频图像、对视频图像进行车灯消干扰操作以及对检测区域进行监测等步骤来获取视频车辆检测结果,在光线较暗的情况下也能获得较好的结果。但该技术只能对车辆进行识别和检测,无法做到实时检测车辆在斑马线上不避让行人的违规行为。
发明内容
本发明的目的就是为了克服现有技术中的缺陷而提供一种检测速度快、检测性能好、鲁棒性强的违规车让人行为实时检测方法。
本发明的目的可以通过以下步骤实现:
一种违规车让人行为实时检测方法,该方法包括以下步骤:
1)获得实时视频,将视频数据解析成画面帧信息;
2)检测画面中的斑马线区域;
3)检测画面中车辆位置;
4)根据画面帧信息对车辆进行速度检测和轨迹追踪;
5)实时判断车辆是否同时满足以下条件:
a)车辆越过斑马线,b)车辆行驶速度超过阈值;
若是,则执行步骤6),若否,则返回步骤1);
6)对斑马线两端区域进行行人检测,判断是否有行人处于等待状态,若是,则判定当前车辆违规,执行步骤7),若否,则返回步骤1);
7)对违规车辆进行车牌识别,保存违规车辆信息和违规时刻画面信息。
所述步骤2)中,采用Adaboost检测器和haar特征相结合的方法检测画面中的斑马线区域。
所述步骤3)中,采用SVM分类器和HOG特征相结合的方法检测画面中车辆位置。
所述步骤4)中,轨迹追踪的具体过程为:
4-1)采用Optical flow算法进行车辆轨迹跟踪;
4-2)在车辆轨迹追踪的过程中,采用车辆检测算法修正每一个时刻的追踪位置;
4-3)根据所检测的车辆运动速度估计下一时刻位置,修正每一个时刻的追踪位置。
所述步骤6)中,行人检测具体步骤为:
6-1)采用DPM模型检测行人;
6-2)采用Optical flow算法进行行人轨迹追踪,并在行人轨迹追踪过程中采用Kalman滤波器修正行人位置;
6-3)判断行人在斑马线两端区域的停留时间是否超过设定时间,若是,则判定行人处于等待状态,若否,则判定行人不处于等待状态。
所述步骤7)中,车牌识别具体为:
7-1)采用Adaboost检测器和Haar特征相结合的方法对车牌进行检测定位;
7-2)采用SVM分类器和HOG特征相结合的方法对车牌进行识别。
所述步骤7)中,违规时刻画面信息为车辆与斑马线区域的重合区域最大的时刻的画面。
与现有技术相比,本发明具有以下优点:
(1)本发明速度快,能够做到实时检测。
(2)本发明在采用Optical flow算法对车辆轨迹进行追踪时,采用了车辆检测算法来修正每一个时刻的追踪位置,在一定程度上能够实时地跟新目标的外观,避免了多次跟踪误差的累积导致轨迹不准确,另外,本发明还采用了根据车辆运动速度估计下一时刻位置的算法,在某些困难场景下(比如车辆在短时间内被遮挡)也能获得准确的车辆轨迹,检测性能好,鲁棒性强,违规的捕获率高,违规的误报率低。
(3)本发明采用adaboost检测器与haar特征相结合的方法,对于不同形状的斑马线区域都能够自动检测。
(4)本发明在采用Optical flow算法进行行人轨迹检测时,增加了Kalman滤波器来提高追踪的精确度,行人跟踪的鲁棒性得到了提高,跟踪过程中不易丢失跟踪目标,可以很好的处理行人转身或者下蹲等情况。
(5)本发明不仅能够检测车辆,还能检测出在斑马线旁等待的行人,从而检测车辆违规不避让行人的行为,并检测出违规车辆的车牌号码,从而促进交通秩序的改善,减少交通事故的发生。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例提供一种用于视频中的违规车让人行为实时检测方法,具体流程如下:
步骤S01,获得实时视频,将视频数据解析成画面帧信息,实时视频为一段斑马线场景的视频。
步骤S02,检测画面中的斑马线区域。本实施例采用Adaboost检测器和haar特征相结合的方法检测画面中的斑马线区域,提取检测画面的haar特征,通过Adaboost检测器检测出其中的斑马线区域。
Adaboost检测器是英文"Adaptive Boosting"(自适应增强)的缩写,是一种机器学习方法,相对于大多数其它学习算法而言,不会很容易出现过拟合现象。haar特征(哈尔特征)是用于物体识别的一种数字图像特征,它们因为与哈尔小波转换极为相似而得名。
步骤S03,检测画面中车辆位置。本实施例采用SVM分类器和HOG特征相结合的方法检测画面中车辆位置。提取检测画面的HOG特征,通过SVM分类器检测其中的车辆位置。
支持向量机(SVM)方法是一种训练机器学习的算法,可以用于解决分类和回归问题。根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折中,以求获得最好的推广能力。
方向梯度直方图(Histogram of Oriented Gradient,HOG)描述子是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。与其他的特征描述方法相比,方向梯度直方图(HOG)描述子有很多优点。首先,由于HOG方法是在图像的局部方格单元上操作,所以它对图像几何的和光学的形变都能保持很好的不变性,这两种形变只会出现在更大的空间领域上。其次,在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下,只要行人大体上能够保持直立的姿势,可以容许行人有一些细微的肢体动作,这些细微的动作可以被忽略而不影响检测效果。方向梯度直方图方法是特别适合于做图像中的行人检测的。
步骤S04,根据画面帧信息对车辆进行速度检测和轨迹追踪,具体过程为:
4-1)采用Optical flow算法进行车辆轨迹跟踪。Optical flow算法会给图像中的每一个像素点赋予一个速度矢量,形成一个图像运动场。在运动的一个特定时刻,图像上的点与三维物体上的点一一对应,这种对应关系可由投影关系得到,根据各个像素点的速度矢量特征,可以对图像进行动态分析。
Optical flow算法是关于视域中的物体运动检测中的概念,是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。
Optical flow算法的优点在于optical flow不仅携带了运动物体的运动信息,而且还携带了有关景物三维结构的丰富信息,它能够在不知道场景的任何信息的情况下检测出运动对象。
但是直接使用Optical flow算法对于车辆轨迹的捕获率无法满足要求,当某次追踪位置不够准确时,其中的误差可能会累积导致最后整个轨迹偏差很大。所以需要采用手段来增加轨迹追踪的准确性。
4-2)在车辆轨迹追踪的过程中,采用车辆检测算法修正每一个时刻的追踪位置。在一定程度上能够实时地跟新目标的外观,避免了多次跟踪误差的累积导致轨迹不准确。
4-3)根据所检测的车辆运动速度估计下一时刻位置,修正每一个时刻的追踪位置。这种做法利用到了车辆特有的性质,即它的运行状态是符合一定规律的:它的行驶方向不会发生突变,如突然掉头、直角转向;它的速度不会突然发生变化,如速度瞬间变大、减速过程需要符合物理规律。通过速度估计,增加了车辆轨迹跟踪的鲁棒性,在某些困难场景下(比如车辆在短时间内被遮挡)导致optical flow算法和车辆检测算法都失效的时候,也能获得准确的车辆轨迹。
步骤S05,判断车辆是否越过斑马线且越过斑马线时行驶速度超过阈值,若是,则执行步骤S06,若否,则返回步骤S01。
步骤S06,对斑马线两端区域进行行人检测,判断是否有行人处于等待状态,若是,则判定当前车辆违规,执行步骤S07,若否,则返回步骤S01。
行人检测具体步骤为:
6-1)采用DPM模型(Deformable Part Model)检测行人。该模型对于行人的外观的多样性有很强的处理能力。若检测到斑马线两端有行人等待时,那么高速越过斑马线的这辆车就是没有遵守车让人规定的车辆。
6-2)采用Optical flow算法进行行人轨迹追踪,区分行人在斑马线等待和行人路过斑马线的行为,并在行人轨迹追踪过程中采用Kalman滤波器修正行人位置。
由于人体和车辆不同,车辆属于刚体,而人体属于非刚体,运动比较灵活、复杂,具有不规则性,所以我们在optical flow算法后增加了Kalman滤波器来提高追踪的精确度。Kalman滤波器能够根据optical flow结构,预测目标在下一时刻可能出现的位置,从而知道下一帧的跟踪。4.加入了Kalman预估的跟踪,行人跟踪的鲁棒性得到了提高。跟踪过程中不易丢失跟踪目标,可以很好的处理行人转身或者下蹲等情况。
6-3)判断行人在斑马线两端区域的停留时间是否超过设定时间,若是,则判定行人处于等待状态,若否,则判定行人不处于等待状态。
步骤S07,对违规车辆进行车牌识别,保存违规车辆信息和违规时刻画面信息。违规时刻画面信息为车辆与斑马线区域的重合区域最大的时刻的画面。
车牌识别具体为:
7-1)采用Adaboost检测器和Haar特征相结合的方法对车牌进行检测定位,速度快;
7-2)采用SVM分类器和HOG特征相结合的方法对车牌进行识别。
Claims (6)
1.一种违规车让人行为实时检测方法,其特征在于,该方法包括以下步骤:
1)获得实时视频,将视频数据解析成画面帧信息;
2)检测画面中的斑马线区域;
3)检测画面中车辆位置;
4)根据画面帧信息对车辆进行速度检测和轨迹追踪;
5)实时判断车辆是否同时满足以下条件:
a)车辆越过斑马线,b)车辆行驶速度超过阈值;
若是,则执行步骤6),若否,则返回步骤1);
6)对斑马线两端区域进行行人检测,判断是否有行人处于等待状态,若是,则判定当前车辆违规,执行步骤7),若否,则返回步骤1),其中,行人检测具体步骤为:
6-1)采用DPM模型检测行人;
6-2)采用Optical flow算法进行行人轨迹追踪,并在行人轨迹追踪过程中采用Kalman滤波器修正行人位置;
6-3)判断行人在斑马线两端区域的停留时间是否超过设定时间,若是,则判定行人处于等待状态,若否,则判定行人不处于等待状态;
7)对违规车辆进行车牌识别,保存违规车辆信息和违规时刻画面信息。
2.根据权利要求1所述的违规车让人行为实时检测方法,其特征在于,所述步骤2)中,采用Adaboost检测器和haar特征相结合的方法检测画面中的斑马线区域。
3.根据权利要求1所述的违规车让人行为实时检测方法,其特征在于,所述步骤3)中,采用SVM分类器和HOG特征相结合的方法检测画面中车辆位置。
4.根据权利要求1所述的违规车让人行为实时检测方法,其特征在于,所述步骤4)中,轨迹追踪的具体过程为:
4-1)采用Optical flow算法进行车辆轨迹跟踪;
4-2)在车辆轨迹追踪的过程中,采用车辆检测算法修正每一个时刻的追踪位置;
4-3)根据所检测的车辆运动速度估计下一时刻位置,修正每一个时刻的追踪位置。
5.根据权利要求1所述的违规车让人行为实时检测方法,其特征在于,所述步骤7)中,车牌识别具体为:
7-1)采用Adaboost检测器和Haar特征相结合的方法对车牌进行检测定位;
7-2)采用SVM分类器和HOG特征相结合的方法对车牌进行识别。
6.根据权利要求1所述的违规车让人行为实时检测方法,其特征在于,所述步骤7)中,违规时刻画面信息为车辆与斑马线区域的重合区域最大的时刻的画面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510058281.0A CN104680133B (zh) | 2015-02-04 | 2015-02-04 | 一种违规车让人行为实时检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510058281.0A CN104680133B (zh) | 2015-02-04 | 2015-02-04 | 一种违规车让人行为实时检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104680133A CN104680133A (zh) | 2015-06-03 |
CN104680133B true CN104680133B (zh) | 2018-02-02 |
Family
ID=53315151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510058281.0A Active CN104680133B (zh) | 2015-02-04 | 2015-02-04 | 一种违规车让人行为实时检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104680133B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503627A (zh) * | 2016-09-30 | 2017-03-15 | 西安翔迅科技有限责任公司 | 一种基于视频分析的车辆避让行人检测方法 |
CN107622669B (zh) * | 2017-10-25 | 2021-03-12 | 哈尔滨工业大学 | 一种识别右转机动车是否礼让行人的方法 |
CN109409191A (zh) * | 2018-08-24 | 2019-03-01 | 广东智媒云图科技股份有限公司 | 一种基于机器学习的斑马线车辆避让检测方法及*** |
CN110689724B (zh) * | 2018-12-31 | 2022-08-30 | 上海眼控科技股份有限公司 | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 |
CN110059609B (zh) * | 2019-04-12 | 2023-09-12 | 广西信路威科技发展有限公司 | 视频流图像的车辆与行人同步检测识别记录*** |
CN112257606A (zh) * | 2020-10-23 | 2021-01-22 | 深圳市锐明技术股份有限公司 | 一种行人礼让检测方法、装置及终端设备 |
CN112509315B (zh) * | 2020-11-04 | 2022-02-15 | 杭州远眺科技有限公司 | 一种基于视频分析的交通事故检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592450A (zh) * | 2012-02-22 | 2012-07-18 | 杭州海康威视数字技术股份有限公司 | 机动车斑马线不礼让行人行为抓拍***及其方法 |
CN102902955A (zh) * | 2012-08-30 | 2013-01-30 | 中国科学技术大学 | 一种车辆行为的智能分析方法及*** |
CN103150902A (zh) * | 2013-02-05 | 2013-06-12 | 陕西科技大学 | 机动车行经人行横道时不避让行人的取证*** |
CN103198659A (zh) * | 2013-04-08 | 2013-07-10 | 长安大学 | 车辆通过人行横道时与行人抢道的抓拍装置及其抓拍方法 |
-
2015
- 2015-02-04 CN CN201510058281.0A patent/CN104680133B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592450A (zh) * | 2012-02-22 | 2012-07-18 | 杭州海康威视数字技术股份有限公司 | 机动车斑马线不礼让行人行为抓拍***及其方法 |
CN102902955A (zh) * | 2012-08-30 | 2013-01-30 | 中国科学技术大学 | 一种车辆行为的智能分析方法及*** |
CN103150902A (zh) * | 2013-02-05 | 2013-06-12 | 陕西科技大学 | 机动车行经人行横道时不避让行人的取证*** |
CN103198659A (zh) * | 2013-04-08 | 2013-07-10 | 长安大学 | 车辆通过人行横道时与行人抢道的抓拍装置及其抓拍方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104680133A (zh) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104680133B (zh) | 一种违规车让人行为实时检测方法 | |
EP3416134B1 (en) | Surrounding environment recognition device for moving body | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警*** | |
He et al. | Recognition of car makes and models from a single traffic-camera image | |
Davis et al. | A two-stage template approach to person detection in thermal imagery | |
JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
US20180150704A1 (en) | Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera | |
TW201405486A (zh) | 利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法 | |
CN103745216B (zh) | 一种基于空域特性的雷达图像杂波抑制方法 | |
KR101663574B1 (ko) | 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템 | |
CN107924466A (zh) | 用于机动车辆的视觉***和方法 | |
Bhowmick et al. | Stereo vision based pedestrians detection and distance measurement for automotive application | |
JP2006160116A (ja) | 車両運動推定装置及び移動体検出装置 | |
JP2005311691A (ja) | 物体検出装置及び方法 | |
KR20170137273A (ko) | 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법 | |
Garg et al. | Real-time license plate recognition and speed estimation from video sequences | |
Wang et al. | A two-layer night-time vehicle detector | |
CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和*** | |
Patel et al. | An algorithm for automatic license plate detection from video using corner features | |
Deng et al. | An integrated forward collision warning system based on monocular vision | |
Xia et al. | An automobile detection algorithm development for automated emergency braking system | |
Amin et al. | An automatic number plate recognition of Bangladeshi vehicles | |
Chandorkar et al. | Vehicle Detection and speed tracking | |
Qasim et al. | Abandoned Object Detection and Classification Using Deep Embedded Vision | |
Spraul et al. | Persistent multiple hypothesis tracking for wide area motion imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |