CN104809437A - 一种基于实时视频的车辆检测与跟踪方法 - Google Patents

Abstract

本发明公开一种基于实时视频的车辆检测与跟踪方法，该方法包括如下步骤：S101、获取初始样本集；S102、训练初始分类器；S103、迭代训练分类器；S104、车辆候选区域生成；S105、车辆确认与跟踪；S106、车流辆统计；S107、算法交互。本发明能够对实时视频中出现的车辆进行稳定的检测和跟踪，并对车流量进行统计，不仅鲁棒性高，能够适应噪声、光照和天气变化，对遮挡也具有一定的适应能力，且处理速度快，准确度高，可满足实时***的运行需求。

Description

一种基于实时视频的车辆检测与跟踪方法

技术领域

本发明涉及车辆检测与跟踪技术领域，尤其涉及一种基于实时视频的车辆检测与跟踪方法。

背景技术

车辆检测与跟踪是指从通过分析视频图像序列自动获取画面中出现的车辆信息，并在连续视频中对相同车辆目标进行稳定跟踪。车辆检测与跟踪技术是智能交通***、智能安防等领域的关键技术，可以很好的辅助相关人员的工作并提高工作效率，因此成为数字图像处理领域的研究热点。常见的车辆检测与跟踪有道路车辆检测与跟踪，出入口车辆检测与跟踪，卫星俯视图的车辆检测与跟踪等。

基于视频的车辆检测与跟踪具有较高的实用价值且应用广泛，近年来很多学者致力于研究相关算法。迄今为止涌现出很多车辆检测方法，美国内华达州立大学雷诺分校的Zehang博士(IEEE会员)等人在对现有方法做了大量研究和总结，并于2006年在《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE》上发表论文“On-Road Vehicle Detection:A Review”，文中将现有方法大致概括为生成候选区域和候选区域验证两个步骤，即在图像中快速定位可能是车辆的区域，然后进一步确认其是否是车辆。虽然近些年来研究人员也不断对车辆检测算法进行改进，但整体思路依然遵循这两个步骤。候选区域的生成的方法主要有三类，分别是基于先验知识、基于立体视觉和基于运动的方法。基于先验知识的方法通过分析图像中的对称性、颜色、阴影、角点、边缘、纹理、车灯等特征来得到车辆候选区域。基于立体视觉的方法主要通过两个摄像头得到图像的视差图、逆透视变换等来分析车辆的立体特征。基于运动的方法主要通过光流法、运动矢量法、帧差法和背景减除法等方法来得到运动物体的信息从而作为车辆候选。候选区域验证的方法主要分为基于模板和基于外观的两类方法。基于模板的方法是将候选区域的图像与事先获得的模板图像相比较来确认，这类方法受模板的影响较大，当候选车辆与模板差异较大时不能被正确检测。基于外观的方法主要是利用机器学习的方法学习车辆特征，并将候选区域的特征与车辆特征相比较来确认，这类方法结果比较稳定，在大多数情况下表现良好，但检测结果受训练样本集的影响较大。目前主流的目标跟踪方法有卡尔曼滤波方法，Meanshift方法和Camshift方法等，这些方法均为单目标跟踪方法，多目标跟踪的方法大都是基于这些方法的改进。值得注意的是这些跟踪方法需要首先指定跟踪目标，然后在视频序列中进行跟踪，与车辆检测方法相结合时一般是只有一开始进行车辆检测，检测到目标之后便停止检测并开始跟踪该目标，这样做的好处是时间开销少，并且可以抑制错误检测。但是这种方式也有其不可忽视的弊端，误检测结果将会直接传递给***，而且没有机会得到改正，如果检测结果不好则会直接危及到***的可靠性。

衡量车辆检测算法性能的主要指标有鲁棒性、准确度和处理速度。但是现有的方法很难同时兼顾这三项指标，比如帧差法和边缘检测法虽然其鲁棒性较高，处理速度也较快，但是这两种方法的准确度较低；而光流法和运动矢量法虽然准确度尚可，但是鲁棒性较差并且处理速度很难，无法满足实时***的应用需求；背景减除法因为具有较高的准确度和较快的处理速度，应用较为广泛，但是由于对噪声、光照和天气敏感，其鲁棒性也是一个不容忽视的问题。

发明内容

本发明的目的在于通过一种基于实时视频的车辆检测与跟踪方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种基于实时视频的车辆检测与跟踪方法，其包括如下步骤：

S101、获取初始样本集：

对文件***中的图片结果进行分类，分别放置于不同的文件夹中，得到初始样本图片集；采用批处理文件分别得到每个文件夹中样本图片的绝对路径列表，并对每个文件夹中的文件赋予不同的标记，最后将带标记的样本绝对路径列表合并至一个文本文件中；

S102、训练初始分类器：

利用步骤S101获得的初始样本集训练分类器，依次读入每个样本及其标记，分析其特征得到每个样本的特征向量，对特征向量进行有监督分类，得到初始分类器；

S103、迭代训练分类器：

利用步骤S102获得的初始分类器对视频序列中的运动物体进行分类，并将运动物体所在的局部区域图像按分类结果标记加时间戳命名存储到文件***中，如果用户对分类结果满意则无需进行迭代训练，如果不满意则找出不满意的错分类结果，并将其添加至正确类的样本集文件夹中，利用步骤S101所述方法得到新的训练样本集文本文件，然后利用步骤S102所述方法进行迭代训练，如此反复直至用户对分类结果满意则完成分类器的迭代训练；将分类器写入文件保存到文件***中；

S104、车辆候选区域生成：

读入分类器文件，依次检测视频序列中出现的运动区域图像，分析运动区域图像的特征得到其特征向量，将特征向量送入分类器进行分类并得到分类结果，如果结果是车辆则认为该运动区域图像包含车辆，以此完成车辆候选区域的生成；

S105、车辆确认与跟踪：

步骤S104中得到了每帧图像中的车辆检测结果，在实时视频中首先以当前帧为基准，对当前帧的每个车辆检测结果遍历上一帧中的所有车辆检测结果，将满足相似性指标并且相似性度量结果最小的一个视为当前目标的匹配结果；同样的，以上一帧为基准，对上一帧的每个检测结果遍历当前帧的结果，将满足相似性指标并且相似性度量结果最小的一个视为上一帧目标的匹配结果；最后，如果上一帧存在而当前帧丢失的目标视为目标消失，如果上一帧未出现而当前帧出现的目标则视为新目标并为其分配新的标记，如果当前帧和上一帧的两个目标互相匹配则视为同一目标并且以相同标记进行跟踪。

特别地，所述基于实时视频的车辆检测与跟踪方法还包括：

S106、车流辆统计：

统计类型分为三种：画面中出现的车辆总数，驶入车辆总数，驶出车辆总数；车辆总数的统计根据步骤S105中车辆跟踪的结果进行，只有当新目标出现时才进行计数；驶入和驶出车辆根据虚拟线的方式来统计，当初始状态为线外的车辆当前状态为线内则认为其为驶入车辆，进行计数并将其初始状态改设为线内，其中，驶出车辆的统计方法与驶入车辆的统计方法相同。

特别地，所述基于实时视频的车辆检测与跟踪方法还包括：

S107、算法交互：

由于每一帧图像中的车辆目标的局部区域图像都会存储至文件***中，同时将该检测结果包括摄像机编号、记录时间、车辆目标图片结果路径在内的信息写入服务器数据库；每次达到车流量统计时间间隔时，将当前时段数据写入数据库并将计数器清零；交互程序可以实时监控数据库的状态，当有数据***时依据***数据进行渲染显示结果；每当达到程序运行状态日志间隔时，将程序当前状态写入日志文件中，以便发生故障时有据可查，另一方面，程序提供配置文件供用户修改参数，用户可修改包括车流量统计时间间隔、程序运行状态日志间隔、帧画面处理占空比在内的参数数据；

特别地，所述步骤S105还包括：利用车辆跟踪结果改善车辆检测效果，稳定跟踪预设次数的目标才确认为车辆，以此作为车辆检测结果，同时保存车辆所在局部区域的图片结果到文件***并将检测结果数据***数据库。

特别地，所述步骤S105进一步包括：对于稳定跟踪的结果，如果突然消失则予以预测补偿预设帧数，如果在预设帧数以内目标再次出现则继续跟踪，否则认为目标丢失。

本发明提出的基于实时视频的车辆检测与跟踪方法具有如下优点：一、鲁棒性高：利用跟踪结果对检测结果进行的修正有效克服了噪声的影响，分类器的迭代训练有效克服了光照和天气等变化的影响，并且随时可以扩充样本集得到更好的检测结果。二、准确度高：例如在经过4次迭代训练，样本集数量为4146时，分类器的大小为89.1M，连续运行测试得到的62448个分类结果中只有3415个错分结果，准确度达到了94.53％，而且继续迭代可以达到更高的准确度。三、处理速度快，并且程序规模可控：例如程序将所有视频输入分辨率调整为640*360再进行处理，因此图像质量改变并不影响处理速度，平均每帧处理速度为20ms。在视频码流带宽为4M，分辨率为1280*720，帧率为25，帧处理占空比为5ms时，CPU使用率为45％左右，内存占用率为142M左右。而当帧处理占空比变为200ms其他参数不变时，CPU使用率降低至24％左右，内存占用率为137M左右。当参数设置为带宽512K，分辨率640*360，帧率15，占空比200ms时，CPU使用率为17％左右，内存占用率为115M左右，完全可以在低配置计算机中流畅运行。四、具有良好的交互性：程序根据不同输入指令执行不同的功能模块，运行参数可以由用户更改，多样化输出结果方便前端程序渲染显示效果，存储至数据库的方式使得该程序可以与前端程序完全独立，前端甚至可以采用不同的编程语言。

附图说明

图1为本发明实施例提供的基于实时视频的车辆检测与跟踪方法流程图；

图2为本发明实施例提供的车辆候选区域生成方法流程图；

图3为本发明实施例提供的车辆确认与跟踪方法流程图；

图4为本发明实施例提供的车辆跟踪过程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容，除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例，不是旨在于限制本发明。

请参照图1所示，图1为本发明实施例提供的基于实时视频的车辆检测与跟踪方法流程图。

本实施例中基于实时视频的车辆检测与跟踪方法具体包括如下步骤：

S101、获取初始样本集：

捕获视频序列中出现的所有运动物体，并将运动物体所在局部区域的图像存储到文件***中，由用户对文件***中的图片结果进行人工分类，分别放置于不同的文件夹中，得到初始样本图片集。如分类如下：0非车辆类、1车辆正反面类、2夜间车辆类、3车辆侧面类、4局部车辆类、5有遮挡车辆类。采用批处理文件分别得到每个文件夹中样本图片的绝对路径列表，并对每个文件夹中的文件赋予相应的数字标记，最后将这些带标记的样本绝对路径列表合并至同一个文本文件中。

S102、训练初始分类器：

训练初始分类器。利用步骤S101得到的初始样本集训练分类器，依次读入每个样本及其标记，例如可以首先将图像统一调整至64*64的大小，然后分析其方向梯度直方图得到每个样本的1764维特征向量，最后采用支持向量机对这些特征向量进行有监督分类，得到初始分类器。

S103、迭代训练分类器：

利用步骤S102得到的初始分类器对视频序列中的运动物体进行分类，并将运动物体所在的局部区域图像按分类结果标记加时间戳命名存储到文件***中，如果用户对分类结果满意则无需进行迭代训练，如果不满意则需要找出不满意的错分类结果，并将其添加至正确类的样本集文件夹中，利用步骤S101所述方法得到新的训练样本集文本文件，然后利用步骤S102所述方法进行迭代训练，如此反复直至用户对分类结果满意则完成分类器的迭代训练。将分类器写入文件保存到文件***中。

S104、车辆候选区域生成：

首先读入分类器文件，依次检测视频序列中出现的运动区域图像，分析运动区域图像的特征得到其特征向量，将特征向量送入分类器进行分类并得到分类结果，如果结果是车辆则认为该运动区域图像包含车辆，以此完成车辆候选区域的生成。具体如图2所示：初始化参数；载入分类器；获取下一帧图像；判断图像是否为空，若为空，则结束，否则将当前结果复制至上一帧；检测运动区域；利用分类器得到运动区域分类标记；判断是否为车辆，若否，则获取下一帧图像，若是，则保存候选区域的信息；车辆确认与跟踪；判断是否退出，若是，则结束，若否，则获取下一帧图像。

S105、车辆确认与跟踪：

如图3和图4所示，具体如下：步骤S104中得到了每帧图像中的车辆候选区域结果，在实时视频中首先以当前帧为基准，对当前帧的每个车辆检测结果Ci遍历上一帧中的所有车辆检测结果，将满足相似性指标并且相似性度量结果最小的一个Pj视为当前目标的匹配结果即Ci->Pj。类似的，以上一帧为基准，对上一帧的每个检测结果Pi遍历当前帧的结果，将满足相似性指标并且相似性度量结果最小的一个Cj视为上一帧目标的匹配结果即Pi->Cj。最后如果上一帧存在而当前帧丢失的目标视为目标消失，如果上一帧未出现而当前帧出现的目标则视为新目标并为其分配新的标记，如果当前帧和上一帧的两个目标互相匹配，即满足Ci->Pj且Pj->Ci,则Ci和Pj视为同一目标，并且对Ci以和Pj相同的标记进行跟踪。图4中当前帧的C1、C2、C3分别为上一帧的P1、P2、P3的跟踪结果，而目标P4消失，C4为新目标。同时利用车辆跟踪结果改善车辆检测效果，稳定跟踪m次以上的目标才确认为车辆，以此作为车辆检测结果，同时保存车辆所在局部区域的图片结果到文件***并将检测结果数据***数据库，有效剔除了部分噪声干扰；而对于稳定跟踪的结果如果突然消失则予以预测补偿n帧，如果n帧以内目标再次出现则继续跟踪，否则认为目标丢失，有效解决了检测不稳定中断的问题。

S106、车流辆统计：

统计类型分为三种，分别是统计时间内画面中出现的车辆总数，驶入车辆总数以及驶出车辆总数。车辆总数的统计是根据步骤S105中车辆跟踪的结果进行的，只有当新目标出现时才进行计数，计数之后修改该目标的计数标志位，之后每一帧出现的目标都继承该标志位防止重复计数。驶入和驶出车辆是根据虚拟线的方式来统计的，为了防止车辆检测结果坐标的波动，虚拟线设置一定的宽度。目标首次出现时根据其与虚拟线的相对位置设置其初始状态，当初始状态在线外的车辆当前状态为线内则认为其驶入，进行计数并将其初始状态改设为线内，驶出车辆同理。

S107、算法交互：

如上所述，每一帧图像中的车辆目标的局部区域图像都会存储至文件***中，同时将该检测结果的摄像机编号、记录时间、车辆目标图片结果路径等信息写入服务器数据库。每次达到车流量统计的时间间隔时，将当前时段数据写入数据库并将计数器清零。交互程序可以实时监控数据库的状态，当有数据***时依据***数据进行渲染显示结果。每当达到程序运行状态日志间隔时，将程序当前状态写入日志文件中，以此确保发生故障时有据可查。另一方面，程序提供配置文件供用户修改参数，用户可修改车流量统计时间间隔、程序运行状态日志间隔、帧画面处理占空比、摄像机ID、摄像机与卡口相对位置、虚拟线坐标、图片结果存储路径、数据库属性、视频地址等参数。修改帧画面处理占空比可以控制程序规模，有效控制该程序的CPU使用率和内存占用率，例如在默认参数状态下帧处理占空比为5ms时，CPU使用率为45％左右，内存占用率为142M左右。而当帧处理占空比变为200ms其他参数不变时，CPU使用率降低至24％左右，内存占用率为137M左右，以此确保在不同配置的计算机中都能够达到最佳运行状态。

本发明的技术方案优点如下：一、鲁棒性高：利用跟踪结果对检测结果进行的修正有效克服了噪声的影响，分类器的迭代训练有效克服了光照和天气等变化的影响，并且随时可以扩充样本集得到更好的检测结果。二、准确度高：例如在经过4次迭代训练，样本集数量为4146时，分类器的大小为89.1M，连续运行测试得到的62448个分类结果中只有3415个错分结果，准确度达到了94.53％，而且继续迭代可以达到更高的准确度。三、处理速度快，并且程序规模可控：例如程序将所有视频输入分辨率调整为640*360再进行处理，因此图像质量改变并不影响处理速度，平均每帧处理速度为20ms。在视频码流带宽为4M，分辨率为1280*720，帧率为25，帧处理占空比为5ms时，CPU使用率为45％左右，内存占用率为142M左右。而当帧处理占空比变为200ms其他参数不变时，CPU使用率降低至24％左右，内存占用率为137M左右。当参数设置为带宽512K，分辨率640*360，帧率15，占空比200ms时，CPU使用率为17％左右，内存占用率为115M左右，完全可以在低配置计算机中流畅运行。四、具有良好的交互性：程序根据不同输入指令执行不同的功能模块，例如采集样本图片模块、训练分类器模块、在线运行模块等。运行参数可以由用户更改，多样化输出结果方便前端程序渲染显示效果，存储至数据库的方式使得该程序可以与前端程序完全独立，前端甚至可以采用不同的编程语言。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (5)

1.一种基于实时视频的车辆检测与跟踪方法，其特征在于，包括如下步骤：

S101、获取初始样本集：

对文件***中的图片结果进行分类，分别放置于不同的文件夹中，得到初始样本图片集；采用批处理文件分别得到每个文件夹中样本图片的绝对路径列表，并对每个文件夹中的文件赋予不同的标记，最后将带标记的样本绝对路径列表合并至一个文本文件中；

S102、训练初始分类器：

利用步骤S101获得的初始样本集训练分类器，依次读入每个样本及其标记，分析其特征得到每个样本的特征向量，对特征向量进行有监督分类，得到初始分类器；

S103、迭代训练分类器：

利用步骤S102获得的初始分类器对视频序列中的运动物体进行分类，并将运动物体所在的局部区域图像按分类结果标记加时间戳命名存储到文件***中，如果用户对分类结果满意则无需进行迭代训练，如果不满意则找出不满意的错分类结果，并将其添加至正确类的样本集文件夹中，利用步骤S101所述方法得到新的训练样本集文本文件，然后利用步骤S102所述方法进行迭代训练，如此反复直至用户对分类结果满意则完成分类器的迭代训练；将分类器写入文件保存到文件***中；

S104、车辆候选区域生成：

读入分类器文件，依次检测视频序列中出现的运动区域图像，分析运动区域图像的特征得到其特征向量，将特征向量送入分类器进行分类并得到分类结果，如果结果是车辆则认为该运动区域图像包含车辆，以此完成车辆候选区域的生成；

S105、车辆确认与跟踪：

步骤S104中得到了每帧图像中的车辆检测结果，在实时视频中首先以当前帧为基准，对当前帧的每个车辆检测结果遍历上一帧中的所有车辆检测结果，将满足相似性指标并且相似性度量结果最小的一个视为当前目标的匹配结果；同样的，以上一帧为基准，对上一帧的每个检测结果遍历当前帧的结果，将满足相似性指标并且相似性度量结果最小的一个视为上一帧目标的匹配结果；最后，如果上一帧存在而当前帧丢失的目标视为目标消失，如果上一帧未出现而当前帧出现的目标则视为新目标并为其分配新的标记，如果当前帧和上一帧的两个目标互相匹配则视为同一目标并且以相同标记进行跟踪。

2.根据权利要求1所述的基于实时视频的车辆检测与跟踪方法，其特征在于，还包括：

S106、车流辆统计：

统计类型分为三种：画面中出现的车辆总数，驶入车辆总数，驶出车辆总数；车辆总数的统计根据步骤S105中车辆跟踪的结果进行，只有当新目标出现时才进行计数；驶入和驶出车辆根据虚拟线的方式来统计，当初始状态为线外的车辆当前状态为线内则认为其为驶入车辆，进行计数并将其初始状态改设为线内，其中，驶出车辆的统计方法与驶入车辆的统计方法相同。

3.根据权利要求2所述的基于实时视频的车辆检测与跟踪方法，其特征在于，还包括：

S107、算法交互：

由于每一帧图像中的车辆目标的局部区域图像都会存储至文件***中，同时将该检测结果包括摄像机编号、记录时间、车辆目标图片结果路径在内的信息写入服务器数据库；每次达到车流量统计时间间隔时，将当前时段数据写入 数据库并将计数器清零；交互程序可以实时监控数据库的状态，当有数据***时依据***数据进行渲染显示结果；每当达到程序运行状态日志间隔时，将程序当前状态写入日志文件中，以便发生故障时有据可查，另一方面，程序提供配置文件供用户修改参数，用户可修改包括车流量统计时间间隔、程序运行状态日志间隔、帧画面处理占空比在内的参数数据。

4.根据权利要求1至3之一所述的基于实时视频的车辆检测与跟踪方法，其特征在于，所述步骤S105还包括：利用车辆跟踪结果改善车辆检测效果，稳定跟踪预设次数的目标才确认为车辆，以此作为车辆检测结果，同时保存车辆所在局部区域的图片结果到文件***并将检测结果数据***数据库。

5.根据权利要求4所述的基于实时视频的车辆检测与跟踪方法，其特征在于，所述步骤S105进一步包括：对于稳定跟踪的结果，如果突然消失则予以预测补偿预设帧数，如果在预设帧数以内目标再次出现则继续跟踪，否则认为目标丢失。