CN102663491B - 一种基于surf特征的高密度人群计数方法 - Google Patents

Abstract

一种基于SURF特征的高密度人群计数方法，包括如下步骤：1)通过摄像头采集实时监控数据，并对图像进行预处理；2)对预处理后的图像提取运动人群的特征点；3)特征点聚类：采用基于传统DBSCAN算法的MST-DBSCAN算法；4)人流计数：依照步骤3)的聚类结果通过(4)计算实时的人群特征向量T，采用支持向量回归机得到(5)，经(5)给出预测人数。本发明提供一种有效适用人流量大或人群密度高的场景的基于SURF特征的高密度人群计数方法。

Description

一种基于SURF特征的高密度人群计数方法

技术领域

本发明涉及计算机视觉领域的监控技术，尤其涉及基于计算机视觉的人群计数方法。 

背景技术

人群流量统计具有广泛的应用，如汽车公交站、地铁站台、旅游景点和商场出入口等。利用统计的流量数据，管理人员可以合理调度人力和物力，合理配置资源；另外在一些广场、通道等公共场合，通过人流信息来实现有效管理、紧急情况的有效疏导等，从而避免一系列社会治安问题，人流统计对社会治安管理有重要作用。除了人工清点方式之外，目前常见的自动人流统计方法主要有以下几种： 

(1)机械脚踏传感器方式。这种方式在通道口地面上安装机械脚踏踏板，由踏板连接的传感器将踩踏信息传递到处理端，在信息处理端进行踩踏信息统计。这种方式处理依赖于踏板的分布情况，当进出人流分布不均匀时，该方法的累积精度降低。 

(2)红外线感应方式。该方式在通道出入口的两侧安装红外线发射装置和红外信号感应接收装置，通过贯穿通道的红外信号遮挡情况，来分析行人通过情况。这种方式适用于少数行人进出，对于人流遮挡、人流密度较大等情况，会出现严重的漏检情况。 

(3)计算机视觉方式。该方法采用摄像头获取监控场景实时图像，通过计算机视觉技术实现视频的人流统计，由于该方法简便，相对成本较低，因此是目前使用较为广泛的人流统计方法。这也是本发明将 采取的方式。 

传统的基于计算机视觉的人流统计方法主要通过精确定位并跟踪每个行人来实现计数，它仅适用于视频清晰度高以及人流量不大的情况，而对人流量大或人群密度高的场景并不适用。 

发明内容

为了克服已有的人流统计方法的不适用人流量大或人群密度高的场景的不足，本发明提供一种有效适用人流量大或人群密度高的场景的基于SURF特征的高密度人群计数方法。 

本发明解决其技术问题所采用的技术方案是： 

一种基于SURF特征的高密度人群计数方法，所述计数方法包括如下步骤： 

1)通过摄像头采集实时监控数据，并对图像进行预处理； 

2)对预处理后的图像提取运动人群的特征点： 

经过SURF算法检测得到的特征点同时包含背景和运动人群两部分，采用块匹配算法，通过对相邻两帧的运动信息的分析来判断特征点的归属： 

$p(x,y)=\left\{\begin{array}{cc}1,& \left|\stackrel{V}{v}(x,y)\right|>\mathrm{\α}\\ 0,& \left|\stackrel{V}{v}(x,y)\right|\≤\mathrm{\α}\end{array}\right.---\left(1\right)$

其中，p(x，y)用于标记(x，y)处的特征点是否属于运动人群，1表示是，反之不是， 是块匹配计算过程中，当前帧与相邻帧在(x，y)处的运动向量，α为判别阈值； 

3)特征点聚类： 

采用基于传统DBSCAN算法的MST-DBSCAN算法，将需要聚类的数据转化为二维空间的点，并在这些点的基础上构建一棵MST，通 过对MST的分析，给出传统DBSCAN算法的搜索最小域，并最终得到具有聚类数目自适应的一个聚类效果： 

$\mathrm{\λ}=\mathrm{\β}\·\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_i---\left(2\right)$

MST-DBSCAN(data，λ，minPts)    (3) 

其中，δ_i是根据运动人群特征点构造的MST的第i条边的长度，N为该MST的边数，β为调节因子，由(2)得到的λ作为MST-DBSCAN的搜索最小域； 

4)人流计数： 

依照步骤3)的聚类结果通过(4)计算实时的人群特征向量T，采用支持向量回归机得到(5)，经(5)给出预测人数； 

人群特征量向量T以及人数评估函数的表达如下： 

T＝(n_points，S_cluster，d)    (4) 

n_people＝f(T)                (5) 

其中： 

n_points表示人群特征点的数量，S_cluster表示经IPM逆透视变换后的人群面积；d表示通过IPM逆透视变换后的运动人群与摄像机之间的距离。 

进一步，采用凸包来近似表达人群的面积，将面积作为人群特征向量T的一个维度。 

再进一步，所述支持向量回归机具有学习能力，通过特征向量的训练得到支持向量回归机，过程为：先对实时训练图像做运动人群分割，在此基础上进行特征点检测并以此构建人群特征向量，最后根据特征向量训练得到支持向量回归机，所述支持向量回归机为具有环境自适应性的人群状态模型。 

本发明的技术构思为：本发明针对传统方法的不足，将人群作为一个整体特征进行分析来研究高密度人群流量统计，通过建立人群特征模型，然后进行聚类分析，再进行参数寻优评估，最终不仅可统计 整体流量情况，还能获得局部流量，对于安防监控、资源管理具有重要的意义，较传统方法有很大的改进与创新。图1是传统人流计数方法的应用场景，图2是本发明提出的高密度人群计数方法的应用场景。 

本发明的有益效果主要表现在：有效适用人流量大或人群密度高的场景、可靠性良好。 

附图说明

图1是传统人流技术方法的示意图。 

图2是本发明的高密度人群计数方法的示意图。 

图3是本发明的核心算法的实现层次图。 

图4是本发明的核心算法的流程图。 

具体实施方式

下面结合附图对本发明作进一步描述。 

参照图1～图4，一种基于SURF特征的高密度人群计数方法，利用计算机视觉在处理图像方面应用的理解、识别以及项目部署灵活性大的优势，结合目前传统的安防监控、人流统计方面在图像获取、预处理、特征提取、检测分割领域取得的成果以及在高密度人流环境下存在的不足与缺点，研究高密度人群及视场开阔的环境中人群计数所碰到的新问题、难题，通过对这些新问题、难题的分析、解决，最终提出一种切实可行的具有环境自适应性的高密度人群计数方法并给出该方法下的一般化实现框架和设计方案。 

本发明涉及的相关算法层次见图2，主要由数据采集预处理层、核心算法层以及展示交互层等三大部分组成。其中，数据采集预处理部分主要负责通过摄像头采集实时监控数据并做一些底层的图像预处理工作，如信号去噪、滤波、直方图均衡化等，为核心算法层提供高质 量的图像；核心算法部分考虑移植的方便以及管理维护的便利，相关子算法采用模块封装，实现了人群的运动分割、特征提取、聚类、评估函数型的自适应训练以及最后的实时评估，主要有人群特征处理模块、自适应评估模块等组成。同时，核心算法层为展示交互层提供实时的高密度人群信息，并可以根据用户设置好的报警提示阈值做相应动作，在***实时运行过程中提供用户对***参数的调整交互接口。 

本发明的核心算法流程中结合了实际环境的相关计算机视觉因素，采取先训练具有环境自适应的人群状态模型，再进行实际人数评估工作。训练过程中先对实时训练图像做运动人群分割，在此基础上进行特征点检测并以此构建人群特征向量，最后根据特征向量结合实际环境的一些参数(如环境亮度、视场和摄像头的相对位置等信息)训练得到具有环境自适应性的人群状态模型。在人群状态模型训练完成之后，进入实际人数评估工作阶段，此阶段和人群状态模型的训练阶段相比，在人群特征向量的获取部分是相同的，不同之处在于，该阶段将得到的人群特征向量通过人群状态模型的评估，最终得到人群的实际状态并反馈给显示报警***做进一步的处理。其流程如图4所示。其中，基于SURF特征的高密度人群计数方法核心算法的关键步骤如下： 

检测运动人群的特征点：运动人群的特征点检测主要分为两步：(i)、首先检测出待分析图像中的所有特征点；(ii)、通过块匹配技术(blob-matching technique)，考虑人群的运动信息，将不属于人群的特征点剔除。 

目前可用于特征点检测算法有很多，如Harris算法，SIFT算法，SURF算法等。本发明经过前期大量的实验，最终选用SURF算法。 该算法相对于其他检测算法，具有对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等的不变性，稳定性更强；同时SURF算法由于采用了Hessian矩阵进行特征值检测，总体检测速度更快。 

但经过SURF算法检测得到的特征点同时包含背景和运动人群两部分，为了较精确地剔除背景部分静止的特征点，采用块匹配算法，通过对相邻两帧的运动信息的分析来判断特征点的归属： 

$p(x,y)=\left\{\begin{array}{cc}1,& \left|\stackrel{V}{v}(x,y)\right|>\mathrm{\α}\\ 0,& \left|\stackrel{V}{v}(x,y)\right|\≤\mathrm{\α}\end{array}\right.---\left(1\right)$

其中，p(x，y)用于标记(x，y)处的特征点是否属于运动人群，1表示是，反之不是。 是块匹配计算过程中，当前帧与相邻帧在(x，y)处的运动向量，α为判别阈值(本发明获得的α经验值为0.5)。 

特征点聚类：特征点聚类的效果好坏直接影响人群特征向量的构造，进而影响以人群特征向量为训练数据的人数评估器，并最终影响最终的评估结果。 

由于运动人群随机分布的特点，同时也决定了其特征点的随机部分性，所以常用的一些聚类算法(如k-means等)在这样的情况不能有很好的表现。因为该类算法通常需要人为地事先给出聚类的数目，而人群的数量是预先无法确定的。为了克服这些不足点，本发明提出了一种基于传统DBSCAN算法的MST-DBSCAN算法。 

MST-DBSCAN算法的关键在于将需要聚类的数据转化为二维空间的点，并在这些点的基础上构建一棵MST，通过对MST的分析，给出传统DBSCAN算法的搜索最小域，并最终得到具有聚类数目自适应的一个聚类效果： 

$\mathrm{\λ}=\mathrm{\β}\·\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_i---\left(2\right)$

MST-DBSCAN(data，λ，minPts)    (3) 

其中，δ_i是根据运动人群特征点构造的MST的第i条边的长度，N为该MST的边数，β为调节因子(本发明实际测试获得的经验值为2.0)。由(2)得到的λ作为MST-DBSCAN的搜索最小域。 

特征向量的构建和训练：经过特征点的聚类之后，视场中的行人被分割成彼此独立的人群，人群特征向量的构建也将在此基础上展开并用于进一步的训练。 

在人群特征向量的构建过程中，将人群与摄像机之间的距离对其特征点数的影响加入考虑，通过IPM(Inverse Perspective Mapping，逆透视)变换，将人群与摄像机之间的距离作为特征向量的其中一个维度，作为约束条件用以克服在不同距离下相同人群的特征点数不同的问题。 

鉴于人群特征点数和人数之间的关系并不是简单的映射关系，对于人群特征向量的训练，本发明采用了具有学习能力的支持向量回归机(ε-SVR)。通过对人群特征向量T的学习，将给出一个以T的维度为空间的评估函数。在实际的高密度人群计数过程中，输入实时的人群特征向量T，经(5)给出预测人数。 

人群特征量向量T以及人数评估函数的表达如下： 

T＝(n_points，S_cluster，d)    (4) 

n_people＝f(T)                (5) 

其中： 

n_points表示人群特征点的数量； 

S_cluster表示经IPM逆透视变换后的人群面积，建议用凸包来近似表达人群的面积，相对于外接矩形，凸包的拟合程度更高。将面积作为人群特征向量T的一个维度，主要是考虑通过人群特征点密度来增加 对运动人群与摄像机距离不同引起的透视现象的约束； 

d表示通过IPM逆透视变换后的运动人群与摄像机之间的距离。 

为验证本发明提出的方法对实际环境下的高密度人群计数的准确性，发明人采用PETS2009的专业行人数据库进行实验分析(http://www.cvg.rdg.ac.uk/PETS2009/)。该数据库分为4部分(分别为S0、S1、S2、S3)，并且4部分都有从8个不同角度拍摄(分别为View1、View2......View8)的视频。实验部分选用以“人群计数和人群密度估计”为专题的S1，视频角度为View1。方便起见，将实验过程中使用的视频序列S1.L1.13-57、S1.L1.13-59、S1.L2.14-06、S1.L3.14-17分别简记为V1、V2、V3、V4。 

在特征点聚类环节，本发明采用了根据传统DBSCAN算法改进的MST-DBSCAN算法，有效克服了运动人群聚类无法自适应的不足，实现运动人群特征点的自适应聚类，为人群特征向量的构造提供准确的运动人群的分割结果。 

高密度人群计数方法的优劣主要通过对比实验视频序列的实际人数与对应的预测人数来做判断。过程中主要考虑两个指标，MAE(Mean Absolute Error，平均绝对错误)和MRE(Mean Relative Error，平均相对错误)： 

$\mathrm{MAE}=\frac{1}{N}g\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|G\left(i\right)-T\left(i\right)|---\left(6\right)$

$\mathrm{MRE}=\frac{1}{N}g\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{|G\left(i\right)-T\left(i\right)|}{T\left(i\right)}---\left(7\right)$

其中，N为实验视频序列帧数，G(i)为第i帧的预测人数，T(i)为第i帧的实际人数。 

运动人群特征向量训练的过程中，训练样本占实验视频序列的比例控制在5％左右。通过对训练样本的ε-SVR学习，得到人数评估函数f(T)并用于剩余实验视频序列的预测。 

视频序列	MAE	MRE
			V1	1.02	5.08％
V2	1.16	9.8％

 

V3	4.26	18.05％
			V4	1.49	7.38％

表1各视频实验结果分析 

通过对PETS2009专业行人数据库的实验分析显示，本发明提出的方法对高密度以及视场开阔环境下的人群计数具有较高的准确性和鲁棒性。 

Claims (3)

1.一种基于SURF特征的高密度人群计数方法，其特征在于：所述计数方法包括如下步骤：

1)通过摄像头采集实时监控数据，并对图像进行预处理；

2)对预处理后的图像提取运动人群的特征点：

经过SURF算法检测得到的特征点同时包含背景和运动人群两部分，采用块匹配算法，通过对相邻两帧的运动信息的分析来判断特征点的归属：

$p(x,y)=\left\{\begin{array}{cc}1,& \left|\stackrel{\‾}{v}(x,y)\right|>\mathrm{\α}\\ 0,& \left|\stackrel{\‾}{v}(x,y)\right|\≤\mathrm{\α}\end{array}\right.---\left(1\right)$

其中，p(x,y)用于标记(x,y)处的特征点是否属于运动人群，1表示是，反之不是，是块匹配计算过程中，当前帧与相邻帧在(x,y)处的运动向量，α为判别阈值；

3)特征点聚类：

采用基于传统DBSCAN算法的MST-DBSCAN算法，将需要聚类的数据转化为二维空间的点，并在这些点的基础上构建一棵MST，通过对MST的分析，给出传统DBSCAN算法的搜索最小域，并最终得到具有聚类数目自适应的一个聚类效果：

MST-DBSCAN(data,λ,minPts)   (3)

其中，δ_i是根据运动人群特征点构造的MST的第i条边的长度，N为该MST的边数，β为调节因子，由(2)得到的λ作为MST-DBSCAN的搜索最小域，data表示聚类数据集，minPts表示最小域包含对象数目；

4)人流计数：

依照步骤3)的聚类结果通过(4)计算实时的人群特征向量T，采用支持向量回归机得到(5)，经(5)给出预测人数；

人群特征量向量T以及人数评估函数的表达如下：

T＝(n_points,S_cluster,d)   (4)

n_people＝f(T)   (5)

其中：

n_points表示人群特征点的数量，S_cluster表示经IPM逆透视变换后的人群面积；d表示通过IPM逆透视变换后的运动人群与摄像机之间的距离。

2.如权利要求1所述的一种基于SURF特征的高密度人群计数方法，其特征在于：采用凸包来近似表达人群的面积，将面积作为人群特征向量T的一个维度。

3.如权利要求1或2所述的一种基于SURF特征的高密度人群计数方法，其特征在于：所述支持向量回归机具有学习能力，通过特征向量的训练得到支持向量回归机，过程为：先对实时训练图像做运动人群分割，在此基础上进行特征点检测并以此构建人群特征向量，最后根据特征向量训练得到支持向量回归机，所述支持向量回归机为具有环境自适应性的人群状态模型。