CN106778478A - 一种基于混合特征的带缓存机制的实时行人检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于混合特征的带缓存机制的实时行人检测与跟踪方法。本方法为：1)提取正样本图像、负样本图像的混合特征；2)基于混合特征训练软级联分类器，得到最终的分类器；3)监控***从监控视频的第t‑1帧图像中提取若干滑动窗口，然后提取每一滑动窗口内的图像的混合特征并将其输入分类器进行检测，获得该滑动窗口的初步检测窗口；然后对获取的初步检测窗口进行融合，得到该第t‑1帧图像的行人检测窗口；4)采用前后双向跟踪预测，并通过计算预测特征点与实际特征点的匹配程度来决定是否跟踪成功。5)检测与跟踪融合中，采用延缓播放机制，并利用双线程和双缓存机制实现。本发明能够实现高精度的实时行人检测与跟踪。

Description

一种基于混合特征的带缓存机制的实时行人检测与跟踪方法

技术领域

本发明涉及数字图像处理、模式识别、计算机视觉应用中的行人检测与跟踪技术，属于智能视频监控装置的一个子***模块，适用于安全智能监控中的对静止或运动的行人进行检测与跟踪。

背景技术

行人检测与跟踪技术，是指从连续的视频图像中将行人目标提取、标识出来，进而在后续视频图像中，对标识出的行人进行跟踪标识的一项技术。利用这一技术，不仅可对静止的图像中的行人检测标识出来，也可以对视频场景中的行人检测标识出来，以便于后期对行人的行为进行分析，统计行人人数等。在安全智能监控***中，行人是其关注的重点对象之一，故对行人的检测、跟踪、行为分析显得至关主要。此外，行人跟踪技术在交通辅助设备、智能机器人等相关领域也有着广阔的应用前景。

目前行人检测的方法主要包括基于传统的图像处理方法、基于机器学习的方法和基于深度学习的方法。基于传统的图像处理方法主要包括前后背景分离，图像开闭运算，连通域分析(参见《基于视频监控运动目标检测算法研究》等)等；基于机器学习的行人检测方法主要包括HOG+SVM方法(参见《Histograms of Oriented Gradient for HumanDetection》和《Fast human detection using a cascade of histograms of orientedgradients》等)、Haar+Adaboost方法(参见《Rapid Object Detection using a BoostedCascade of Simple Feature》和《Robust Real-Time Face Detection》等)、ICF+级联Adaboost方法(参见《Integral Channel Features》、《The Fasted Pedestrian Detectorin the West》和《Fast feature pyramids for object detection》等)等；基于深度学习的行人检测方法主要是将CNN用于行人检测(参见《Robust people counting usingsparse representation and random projection》和《Joint Deep Learning forPedestrian Detection》等)等。行人跟踪技术指对视频序列中检测出来的行人进行进一步的跟踪，以确定后续视频图像中行人位置的一项技术。目前的行人跟踪技术的方法有MeanShift跟踪方法(参见《Real-Time Tracking of Non-Rigid Objects Using MeanShift》)、光流跟踪方法(参见《Pyramidal Implementation of the Lucas KanadeFeature TrackerDescription of the algorithm》)、Particle Filter跟踪方法(参见《基于粒子滤波的行人跟踪》)、基于深度学习的跟踪方法(《Hierarchical ConvolutionalFeatures for Visual Track》和《Learning Multi-Domain Convolution NeuralNetworks for Visual Tracking》等)等。

由于行人检测与跟踪***容易受视频图像中的行人姿态、光照强度、遮挡、拍摄角度以及视频图像信息量大等影响，所以提高行人检测与跟踪的准确度和速度的难度大大加大，进而***的开发难度也加大。

发明内容

目前，随着计算机视觉的发展，已经有越来越多的公司、研究机构研究相关的算法(主要是基于机器学习的方法和基于深度学习的方法)来提高行人检测与跟踪的精度和速度，并取得了一定的成果。尽管如此，基于机器学习的方法很难同时在精度和速度上达到很好的检测与跟踪效果，而基于深度学习行人检测与跟踪方法要达到高精度、实时的检测，需要依赖于内存、硬件(如GPU)等的支持。基于以上，本发明提出了一种基于混合特征的带缓存机制的实时行人检测与跟踪方法，以在不依赖昂贵硬件如内存、GPU等的支持下，达到高精度的实时行人检测与跟踪效果。这一方案的提出，对于实现监控领域的智能化、加快高级辅助驾驶***和人机交互智能产品的发展有一定的意义。

本发明的技术方案为：

一种基于混合特征的带缓存机制的实时行人检测与跟踪方法，其步骤为：

1)提取正样本图像、负样本图像的混合特征；所述混合特征包括图像的颜色特征、边缘特征、纹理特征；

2)基于步骤1)提取的混合特征训练软级联分类器，得到最终的分类器；

3)监控***从监控视频的第t-1帧图像中提取若干滑动窗口，然后提取每一滑动窗口内的图像的混合特征并将其输入所述分类器进行检测，获得该滑动窗口的初步检测窗口；然后对获取的初步检测窗口进行融合，得到该第t-1帧图像的行人检测窗口；

4)监控***从第t-1帧图像的行人检测窗口提取行人的光流特征点，然后利用第t-1帧图像的光流特征点预测第t帧图像的光流特征点；然后利用预测的第t帧图像的光流特征点反向预测t-1帧图像的光流特征点；然后计算预测的第t-1帧图像的光流特征点与第t-1帧图像的光流特征点的距离；如果该距离小于设定阈值，并且预测的第t-1帧图像的光流特征点超过设定数目，则判定跟踪成功，否则重复步骤3)、4)。

进一步的，所述监控***中设有双线程进行监控跟踪，其中检测与跟踪线程对监控视频进行检测与跟踪处理，显示线程对处理后的图像进行播放，两个线程同步进行。

进一步的，所述监控***中设置有双缓存区，第一缓存区存储上一时段检测与跟踪的行人检测窗口，第二缓存区当前时段正在检测与跟踪的行人检测窗口；两个缓冲区交替使用，所述显示线程每次从对应的缓存区中读取数据进行显示。

进一步的，所述时段的长度为1秒。

进一步的，提取所述混合特征的方法为：

1)提取样本图像的11个通道信息，分别为L、U、V通道、梯度幅值通道、6个梯度直方图通道和灰度图像通道；

2)计算L、U、V通道、梯度幅值通道、6个梯度直方图通道的积分图；

3)根据L、U、V通道的积分图信息提取基于L、U、V通道的Harr-like特征，即颜色特

征；根据梯度度幅值和梯度直方图，提取行人的类HOG特征，即边缘特征；然后针对灰

度图像通道，提取LBP特征，即纹理特征。

进一步的，步骤2)中，利用近似尺度特征估计方法对所述混合特征分别提取真实尺度下的特征值和近似尺度下的近似特征值，从而得到样本图像的多尺度特征信息；利用对尺度特征信息训练软级联分类器，得到最终的分类器；步骤3)中，提取每一滑动窗口内的图像的多尺度特征信息并将其输入所述分类器进行检测。

进一步的，利用非极大值抑制算法对获取的初步检测窗口进行融合，得最终的行人检测窗口。

进一步的，从INRIA数据库选取若干图像，然后对这些图像进行镜像变换、旋转变换得到所述正样本；从INRIA数据库随机选取若干图像作为所述负样本。

进一步的，步骤4)中，利用金字塔LK光流算法预测第t帧图像的光流特征点，进而进行跟踪判断。

进一步的，所述行人检测分类器为软级联Adaboost分类器；其中，弱分类器是高度为3的决策树，强分类器是弱分类器的加权组合。

本发明融合多特征的带缓存机制的行人检测与跟踪方案设计主要包括三大部分：行人检测方案设计、行人跟踪算法设计、检测与跟踪后的实时显示。

行人检测方案设计：主要包括混合特征(颜色特征、边缘特征、纹理特征)的提取，软级联Adaboost分类器的设计、基于滑动窗口的行人检测。其中，为了加快行人检测的速度，在检测实现上，利用近似特征提取算法来快速提取特征；为了提高检测精度，使用非极大值抑制算法对初步检测到的行人窗口进行融合，从而提高检测率，降低误检率。

行人跟踪算法设计：主要采用光流跟踪算法。实现中为了提高跟踪的效果，采用前后双向跟踪预测，并通过计算预测特征点与实际特征点的匹配程度来决定是否跟踪成功。即针对第t–1帧中的多行人，利用网格均匀采样思想提取多个特征点，得第t-1帧的光流特征点，然后利用提取的第t-1帧中的光流特征点来预测第t帧的光流点，此过程为前向光流预测；然后利用预测到的第t帧光流特征点反向预测第t-1帧的光流特征点，之后计算预测的第t-1帧光流特征点与原来第t-1帧光流特征点的距离(即相似度)，如果距离小于一定阈值，并且预测的光流特征点超过一定数目，则认为此次前向跟踪正确，否则跟踪失败，进行跟踪调整。

检测与跟踪实时显示设计：要实现检测与跟踪的实时显示，需要控制检测与跟踪的处理速度达到每秒25帧。由于检测一帧视频图像的时间慢于跟踪一帧视频图像的时间，故为了使跟踪的效果不会出现处理速度不一致效果，提出使用缓存机制，其具体为开辟两块缓存空间，分别保存上一秒24帧图像中的检测与跟踪结果和当前这一秒正在检测与跟踪的结果。然后缓一秒进行播放，即当前这一秒显示检测与跟踪的图像是上一秒的检测与跟踪的结果。此外，为了充分利用CPU使用率，提高***检测跟踪速度，***采用多线程技术，做到视频的检测跟踪处理与显示同步进行。

与现有技术相比，本发明的积极效果为：

此方案通过提取行人的多尺度混合特征，利用训练好的软级联Adaboost分类器进行检测，从而能够高精度地检测出当前视频帧的行人，之后对检测后的多行人利用前后光流跟踪算法进行跟踪。在行人检测与跟踪中，为了使其能够达到每秒检测与跟踪25帧，对特征提取、分类器设计、跟踪算法进行改进。但由于行人检测速度较慢，而行人跟踪速度较快，故存在检测与跟踪一帧时间不等现象，为了解决这一问题，提出了采用延缓播放和多线程加速的机制，来达到基于视频的实时行人检测与跟踪效果。此外，为了减少检测与跟踪过程中对内存的要求，本文采用双缓存交替使用机制。综上，本方案通过改善算法，并利用软加速方法能够实现在不依赖特殊硬件(GPU、大内存)的条件下，达到实时的行人检测与跟踪效果。综上，这一方案的提出解决了不依靠特殊硬件，实现高精度的实时行人检测与跟踪，它对安全智能监控***、辅助交通驾驶、智能机器人等相关领域研究有一定的意义。

附图说明

图1为行人检测整体流程；其中主要涉及到11个通道(LUV通道、梯度幅值通道、6个梯度方向直方图通道，灰度图像通道)信息的提取，前10个通道积分图计算，近似金字塔特征提取，Soft cascade级联Adaboost分类器训练与检测，对检测窗口的非极大值抑制处理等。

图2为利用光流方法进行行人跟踪的整体流程，主要包括行人矩形框的确定、特征点的提取，以及利用光流法进行跟踪计算当前视频帧的光流点，然后对光流点进行聚类，最终得每帧图像的多个行人目标等。

图3为基于混合特征的带缓存机制的行人目标检测与跟踪整体流程流；其主要包括两个线程，一是视频序列中行人的检测与跟踪处理线程，一是检测跟踪后的实时显示线程。

具体实施方式

本发明针对安全智能监控中的实时行人检测与跟踪技术，提出了基于混合特征的带缓存机制的实时行人检测与跟踪方法。通过设计双线程程序，实现一个线程对视频图像进行检测与跟踪处理，一个线程对处理后的图像进行播放，两个线程同步进行，从而加快行人检测速度。缓存的设计主要是双缓存区，分别存储上一秒检测与跟踪的行人矩形框信息与当前这一秒正在检测与跟踪的行人矩形框。而显示过程中，采用延缓一秒播放的原理，每次从保存上一秒检测结果的缓存中读取相关数据进行显示，即可达到不利用大内存和特殊的硬件设备就能实时行人检测与跟踪效果。

对于基于混合特征的带缓存机制的实时行人检测与跟踪方案的核心关键点有以下几点：其一，基于混合特征的行人检测，主要包括：混合特征的提取；软级联Adaboost分类器的设计与训练；基于滑动窗口行人检测，在检测时，为加快检测速度，利用近似特征提取算法；其二，针对提取到多行人检测框，提取光流特征点，然后利用前后光流跟踪和NCC算法，对行人进行跟踪；其三，设计多线程与双缓存机制，同时协调好线程之间的同步与异步关系，实现在低内存消耗下，良好流畅的实时行人检测跟踪。其各模块的具体处理如下：

●行人检测，如图1所示。

混合特征提取：

1)对图像提取11个通道信息，11个通道分别为L、U、V通道、梯度幅值通道、6个梯度直方图通道和灰度图像通道；

2)计算前10个通道的积分图；

3)针对该前10个通道的积分图信息，然后分别提取颜色特征(基于L、U、V通道的Harr-like特征)、边缘特征(针对梯度幅值和梯度直方图，提取行人的类HOG特征)、纹理特征(对灰度图像通道，提取LBP特征)；

4)利用近似尺度特征估计方法(The Fastest Pedestrian Detector in thewest)对步骤3)提取的特征分别提取真实尺度下的特征值和近似尺度下的近似特征值，从而得到整个图像的多尺度特征信息。

软级联Adaboost分类器设计与训练：

1)软级联Adaboost分类器的设计为，弱分类器是高度为3的决策树，强分类利用弱分类器加权组合而成，而强分类的级联，采用的是软投票策略。分类器训练过程中为了防止过拟合，采用六折交叉验证方法来训练的最终的分类器。

2)训练集主要使用INRIA数据库，首先对正样本进行镜像变换、旋转变换从而得到5000个正样本，而负样本则先随机产生5000个，然后在后续的训练中，再每次自举产生5000困难负样本；

3)对正、负样本提取特征，训练软级联分类器，从而得到最终的分类器。

检测实现

1)针对待检的图像，提取滑动窗口；

2)针对滑动窗口，利用近似尺度特征估计(The Fastest Pedestrian Detectorin the west)方法，提取对应窗口的多尺度混合特征；

3)将提取的特征，送入到训练好的分类器中进行检测，获取初步检测窗口；

4)为提高行人检测的检测率，并降低误检率，利用非极大值抑制算法对获取的初步检测窗口进行融合，得到最终的行人检测窗口。

●行人跟踪，如图2所示。

1)针对上一帧检测到的行人检测窗口，利用网格均匀划分原理提取行人的光流特征点；

2)对上一帧提取到的光流点，利用金字塔LK光流算法(PyramidalImplementation of the Lucas Kanade Feature Tracker Description of thealgorithm)预测其在下一帧的光流特征点，然后选择满足3)条件的光流特征点，利用这些特征点，再反向预测前一帧光流点所在的位置；

3)通过计算前一帧光流点与预测的前一帧光流点的预测错误率和匹配相似度，筛选出小于设定阈值H的光流特征点，来选出跟踪效果比较好的光流特征点，并通过统计预测光流特征点是否超过一定数目N来判定跟踪是否成功。

4)重复步骤2)和3)来对视频序列进行预测跟踪。

●检测与跟踪实时显示，如图3所示。

1)首先等待***启动起来，然后启动行人检测与跟踪线程来处理视频序列，并将对应的检测结果保存在缓存区中，待处理完24帧图像后，启动显示线程；

2)控制以每秒显示24帧视频的速度播放上一秒检测跟踪完的视频，在显示上一秒检测后的视频图像序列的同时处理当前这一秒视频帧的检测与跟踪，从而达到检测跟踪与显示同步进行。

3)在实现2)的过程中，为了减少内存消耗，使用双缓存进行存储。两个缓存空间分别用于存放上一秒检测与跟踪得到的行人矩形框信息(即检测和跟踪得到的最终检测窗口)，与当前这一秒正在处理的检测与跟踪结果。两个缓存交替使用，利用两个互斥锁，同时协调好多线程之间的同步互斥关系即可。

综上，通过提取行人的混合特征，改进分类器的设计，将高精度检测与快速跟踪算法结合，并通过多线程、延缓播放和双缓存机制解决检测与跟踪速度不一致问题，从而能够达到只依靠软加速便能实现实时的行人检测与跟踪效果。

Claims (10)

1.一种基于混合特征的带缓存机制的实时行人检测与跟踪方法，其步骤为：

1)提取正样本图像、负样本图像的混合特征；所述混合特征包括图像的颜色特征、边缘特征、纹理特征；

2)基于步骤1)提取的混合特征训练软级联分类器，得到最终的分类器；

3)监控***从监控视频的第t-1帧图像中提取若干滑动窗口，然后提取每一滑动窗口内的图像的混合特征并将其输入所述分类器进行检测，获得该滑动窗口的初步检测窗口；然后对获取的初步检测窗口进行融合，得到该第t-1帧图像的行人检测窗口；

4)监控***从第t-1帧图像的行人检测窗口提取行人的光流特征点，然后利用第t-1帧图像的光流特征点预测第t帧图像的光流特征点；然后利用预测的第t帧图像的光流特征点反向预测t-1帧图像的光流特征点；然后计算预测的第t-1帧图像的光流特征点与第t-1帧图像的光流特征点的距离；如果该距离小于设定阈值，并且预测的第t-1帧图像的光流特征点超过设定数目，则判定跟踪成功，否则重复步骤3)、4)。

2.如权利要求1所述的方法，其特征在于，所述监控***中设有双线程进行监控跟踪，其中检测与跟踪线程对监控视频进行检测与跟踪处理，显示线程对处理后的图像进行播放，两个线程同步进行。

3.如权利要求2所述的方法，其特征在于，所述监控***中设置有双缓存区，第一缓存区存储上一时段检测与跟踪的行人检测窗口，第二缓存区当前时段正在检测与跟踪的行人检测窗口；两个缓冲区交替使用，所述显示线程每次从对应的缓存区中读取数据进行显示。

4.如权利要求3所述的方法，其特征在于，所述时段的长度为1秒。

5.如权利要求1或2或3所述的方法，其特征在于，提取所述混合特征的方法为：

1)提取样本图像的11个通道信息，分别为L、U、V通道、梯度幅值通道、6个梯度直方图通道和灰度图像通道；

2)计算L、U、V通道、梯度幅值通道、6个梯度直方图通道的积分图；

3)根据L、U、V通道的积分图信息提取基于L、U、V通道的Harr-like特征，即颜色特征；根据梯度度幅值和梯度直方图，提取行人的类HOG特征，即边缘特征；然后针对灰度图像通道，提取LBP特征，即纹理特征。

6.如权利要求1或2或3所述的方法，其特征在于，步骤2)中，利用近似尺度特征估计方法对所述混合特征分别提取真实尺度下的特征值和近似尺度下的近似特征值，从而得到样本图像的多尺度特征信息；利用对尺度特征信息训练软级联分类器，得到最终的分类器；步骤3)中，提取每一滑动窗口内的图像的多尺度特征信息并将其输入所述分类器进行检测。

7.如权利要求1或2或3所述的方法，其特征在于，利用非极大值抑制算法对获取的初步检测窗口进行融合，得最终的行人检测窗口。

8.如权利要求1或2或3所述的方法，其特征在于，从INRIA数据库选取若干图像，然后对这些图像进行镜像变换、旋转变换得到所述正样本；从INRIA数据库随机选取若干图像作为所述负样本。

9.如权利要求1或2或3所述的方法，其特征在于，步骤4)中，利用金字塔LK光流算法预测第t帧图像的光流特征点，进而进行跟踪判断。

10.如权利要求1或2或3所述的方法，其特征在于，所述行人检测分类器为软级联Adaboost分类器；其中，软级联Adaboost分类器中弱分类器是高度为3的决策树，强分类为弱分类器的加权组合。