CN103839085B - 一种列车车厢异常人群密度的检测方法 - Google Patents

Abstract

本发明公开了一种列车车厢异常人群密度的检测方法，该方法包括以下步骤：采集具有不同人群密度等级的多幅车厢样本图像，并获取其多模态融合特征；训练得到人群密度分类器；获取待检测图像的多模态融合特征；根据人群密度分类器，得到待检测图像对应车厢的人群密度等级，据此判断该车厢的人群密度是否异常；自动记录相关人群密度异常信息。本发明利用多模态融合特征，自动学习和识别异常人群密度场景，从而解决了列车运行过程中实时、自动识别和记录异常人群密度的问题。该方法对列车场景人群遮挡和光照、摄像头轻微畸变不敏感，适用于360摄像头或枪机摄像头的列车异常人群密度检测。

Description

一种列车车厢异常人群密度的检测方法

技术领域

本发明属于视频处理技术领域，尤其涉及一种根据列车车厢视频，实时、自动地分析是否存在异常人群密度的方法。

背景技术

目前，国内几乎所有的地铁列车都安装了视频图像监控***。列车在运行时，视频监控***自动记录车厢的状况并存储相关的视频。目前列车监控的情况是：地铁列车每天客流量在各个时段的差异较大，列车车厢相对封闭，列车车厢内的环境相对复杂，视频图像采集受限，光照依据环境条件变化很快，摄像头有360摄像头和枪机摄像头，图像数据存储量大，一辆列车在一天中运营3小时的视频数据量超过10Gbit，一个城市或地区往往同时多辆列车运营，多节车厢共用一套视频图像***，每天需要存储的视频数据量很大。一旦发生事故，需要人工调取和人工查询存储视频中是否存在异常状态，非常耗费人力和物力。

国际恐怖事件时有发生，人们安全意识日益提升，提升公共交通安全和反恐在国内也是一种共识。如何实时、准确的识别列车异常状况是快速处理列车事故、保障公共安全的重要环节，也是现代智能化地铁列车的迫切需求。而实时检测列车车厢人群密度异常，是车厢人员疏导，提高程序舒适度和预防群拥等列车管理的基本需求。现代视频图像处理技术快速发展，尤其是图像处理、计算机视觉和人工智能等技术的发展，使得实时分析车厢异常状态可以得以实现。尽管近年来，用于自动识别人群密度的图像处理方法逐步增加，但目前还没有一种合适的图像处理方法能自动判断列车车厢中的异常人群密度。

目前常用的人群密度判断方法主要有两大类：基于行人或人体部分（人头，上半身等）检测和基于统计学习的方法。

基于行人或人体部分（人头，上半身等）检测的方法，需要从图像中看到行人、人头或上半身等具有显著特征的身体或身体部分。而在列车车厢条件下，人群时常遮挡严重，即使想看到完整的人头也不能保证，因此这类方法用于判断列车车厢的人群密度是否异常较为困难。

基于统计学习的方法，目前有基于视频的地铁人群密度检测方法，主要是通过高斯背景建模方法，提取前景，依据前景的面积来估计人群密度；列车运行时，车厢背景复杂，光照变化，车厢乘客运动无规律且遮挡严重条件，因此高斯建模的效果不好，识别人群密度的准确率较低。

基于统计学习的方法，目前还有基于时空域局部二进制模式的动态纹理和支持向量机的人群密度总体估计方法，该方法用于分析人群密度有一定的效果，在公共场合人群密度的估计上有一些应用。然而由于单一的纹理特征在人群密度达到中高密度以上时，区分人群密度的能力显著下降，判断准确率偏低且需要很大的训练样本数量才能获得适当的效果。而列车车厢可能在上、下班或某段时间内，人群密度长时间处于中高密度，此时便难以检测出其中的异常。

发明内容

为了克服上述现有技术的不足，本发明提供了一种列车车厢异常人群密度的检测方法。该方法依据地铁环境下多节列车车厢共用一套视频图像***的现状，依据两节或多节列车车厢的密度差异（密度等级差异大于1级）来估计列车车厢内是否存在异常人群密度。

本发明提供的一种列车车厢异常人群密度的检测方法包括以下步骤：

步骤1、采集和存储具有不同人群密度等级的多幅列车车厢样本图像，并为所述样本图像标记相应的人群密度等级；

步骤2、提取所述样本图像各自的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征；

步骤3、融合提取得到的某一样本图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，生成多模态融合特征；

步骤4、根据所述多幅样本图像的多模态融合特征，训练得到人群密度分类器；

步骤5、从列车车厢的监控视频中截取待检测图像，依次提取所述待检测图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，并对这些特征进行融合，得到所述待检测图像的多模态融合特征；

步骤6、将所述待检测图像的多模态融合特征输入至所述人群密度分类器，得到所述待检测图像对应车厢的人群密度等级；

步骤7、根据所述步骤6得到的该车厢的人群密度等级判断该车厢的人群密度是否异常；

步骤8、自动记录人群密度异常车厢的人群密度异常信息。

本发明所采用的技术方案的优势有：

1、本发明依据地铁环境下多节车厢共用一套视频图像***现状，依据两节或多节车厢密度的差异（密度等级差异大于1级）来估计列车车厢中是否存在异常人群密度；

2、本发明使用基于统计机器学习的方法，来代替目前广泛存在的人工查看视频方法，可实现实时、自动检测地铁列车车厢人群密度是否存在异常，并记录发生人群密度异常车厢的车厢号和发生时间，及对应的人群密度异常画面；

3、本发明引入了Surf、Fast、Harris特征点和光流密度特征，改进了现存的单一利用前景图像或纹理特征检测地铁列车车厢人群密度，检测精度不高的问题；

4、本发明将LBP纹理特征向量，Surf、Fast、Harris特征点数量，前景图像面积比，光流密度特征相融合，生成多模态融合特征向量，使得多种特征共同作用于区分人群密度，提高检测人群密度的准确性；

5、本发明采用高效的随机森林学习算法，从不同密度等级的列车车厢图像样本中学习到随机森林分类器，并将学习到的分类器用于实时人群密度等级分类。

与现有技术相比，本发明的有益效果有：

1、本发明首次提供了一种在地铁列车运行时，实时、自动检测人群密度异常的方法，可在现有地铁列车车厢视频监控***基础上适当调整，以实现地铁列车车厢异常人群密度的实时、自动检测和记录；

2、针对目前还没有一种合适的图像处理方法自动判断地铁列车车厢人群密度异常的问题，本发明结合地铁列车车厢环境实际状况，提出了一种两节或多节地铁列车车厢人群密度等级差异（密度等级差异大于1级）识别车厢异常人群密度的方法，降低了仅依靠人群密度高来判断人群密度异常的误报情况。本发明可帮助地铁管理人员疏导乘客（引导高密度车厢乘客转移到低密度车厢），预防乘客拥挤、踩踏，提高乘客舒适度和满意度；

3、本发明提供了一种有效融合前景图像特征、纹理特征、Surf、Fast、Harris特征点和光流密度特征的方法，凸显了人群密度特征，并使得几种特征能在地铁列车车厢环境下共同作用，提高识别人群密度检测的准确率。

附图说明

图1是本发明提出的一种列车车厢异常人群密度检测方法的流程图。

图2是根据本发明一实施例的多节车厢联合异常人群密度估计的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明预先采集不同密度等级的列车车厢的样本图像，计算得到样本图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，并基于上述多模态特征生成多模态融合特征；基于得到的多模态融合特征训练得到人群密度分类器；当列车运行时，从监控视频中截取得到检测图像，同样计算得到检测图像的多模态融合特征；依据所述人群密度分类器对所述检测图像的多模态融合特征进行分类，判断出所述检测图像对应车厢的人群密度等级，进而估计该车厢是否存在人群密度异常，并同时自动记录发生人群密度异常的车厢号和发生时间，截取和存储此时对应的人群密度异常画面。

图1是本发明提出的一种列车车厢异常人群密度检测方法的流程图，如图1所示，所述方法包括以下步骤：

步骤1、采集和存储具有不同人群密度等级的多幅列车车厢样本图像，并为所述样本图像标记相应的人群密度等级；

所述人群密度等级包括低人群密度、中等人群密度、高人群密度和超高人群密度，为了方便起见，可将低人群密度标记为密度等级0；将中等人群密度标记为密度等级1；将高人群密度标记为密度等级2；将超高人群密度标记为密度等级3。

步骤2、提取所述样本图像各自的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征；

下面简单地说明如何提取纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征。

1）纹理特征

在本发明一实施例中，利用图像中多个子区域的LBP算子来提取所述图像的纹理特征。所述LBP算子定义为在m×m（通常取为3×3）的窗口内，以窗口的中心像素点的像素值为阈值，将与该中心像素点相邻的m×m-1个像素的像素值分别与其进行比较，若周围像素点的像素值大于中心像素点的像素值，则该中心像素点的位置被标记为1，否则标记为0，这样，经过与m×m邻域内的m×m-1个点比较后，可产生与该中心像素点对应的一个m×m-1位的二进制数，该二进制数通常转换为十进制数即LBP码，共256种，即得到该窗口中心像素点的LBP值，这个LBP值就可以用来反映该窗口区域的纹理信息。

具体地，提取一幅图像的LBP纹理特征的步骤包括以下步骤：

步骤211、将所述图像划分为多个n×n（其中，n>m，更优地，n>12，比如取为16）的子区域；

步骤212、对于每个子区域中的某一个像素点，将其像素值分别与其m×m（3×3）邻域内的m×m-1（8）个像素点的像素值进行比较，若周围像素点的像素值大于该像素点的像素值，则该像素点的位置被标记为1，否则标记为0，这样，经过与m×m（3×3）邻域内的m×m-1（8）个点比较后，可产生与该像素点对应的一个m×m-1（8）位的二进制数，这个二进制数就是该像素点对应的LBP值；

步骤213、根据每个子区域像素点的LBP值计算得到相应子区域的统计直方图，即相应子区域中每个像素点的LBP值（假定是十进制数的LBP值）出现的频率，并对得到的统计直方图进行归一化处理；

步骤214、将每个子区域的归一化后的统计直方图进行连接，得到一个特征向量，作为所述图像的LBP纹理特征。

步骤215、根据所述LBP纹理特征向量中的最大值和最小值，将所述LBP纹理特征向量等分为p个区间，其中，p的值可根据实际应用的需要来确定和调整，比如可取为9，统计所述LBP纹理特征向量中的每个元素落在每个区间的频数，从而得到一个p维的特征向量，再将其进行归一化，即得到p维的LBP纹理特征。

当然所述纹理特征除了使用所述LBP纹理特征之外，还可以使用归一化为一定维度的特征向量的灰度共生矩阵特征及可表示图像的纹理的其他特征。

2）Surf、Fast、Harris特征点特征

该步骤中，可使用现有技术中的多种方法来提取Surf、Fast、Harris特征点的提取，比如可根据Opencv库函数生成图像的Surf特征、Fast和Harris特征。

在本发明一实施例中，为了计算的方便，还将Surf特征点数量，Fast特征点数量和Harris特征点数量进行归一化处理，比如对于大小为704*576的图像，可以使用1000来进行归一化，生成由上述3个特征点数量构成的3维特征点特征向量。

3）前景图像面积比特征

所述步骤2中，所述前景图像面积比特征的提取包括以下步骤：

步骤221、存储每个列车车厢的空车厢图像作为背景图像；

步骤222、将当前图像减去背景图像，得到对应的前景图像；

步骤223、对所述前景图像经过高斯滤波（比如3*3的高斯滤波），得到所述前景图像联通区域外接矩形面积之和，将其除以所述当前图像的总像素，即得到1维的前景图像面积比特征。

4）光流密度特征

人群密度越大的区域，相邻两帧图像之间的光流密度就越大；反之光流密度就越小。该步骤中，可使用现有技术中的多种方法来提取所述光流密度特征，比如取当前图像与存储的上一帧图像，对于之前提取到的surf特征点，使用现有技术中的KLT（Kanade-Lucas-Tomasi）算法，计算得到发生位移变化的surf特征点的数量，即为光流数值，将其进行归一化处理，比如除以1000，就得到了1维的光流密度特征。

步骤3、融合提取得到的某一样本图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，生成多模态融合特征；

在本发明一实施例中，可采用依次组合纹理特征向量、特征点特征向量、前景图像面积比特征向量和光流密度特征向量的方法，得到所述多模态融合特征，当然也可采用其他的方法，比如适当地增加或减少各特征向量的维度、增加或减少各特征向量的权重等方式来得到所述多模态融合特征。

步骤4、根据所述多幅样本图像的多模态融合特征，训练得到人群密度分类器；

该步骤中，可使用现有技术中的多种方法来得到所述人群密度分类器，比如随机森林学习算法或支持向量机学习算法。

步骤5、从列车车厢的监控视频中截取待检测图像，依次提取所述待检测图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，并对这些特征进行融合，得到所述待检测图像的多模态融合特征；

该步骤中，提取待检测图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征的步骤，以及对这些特征进行融合，得到多模态融合特征的步骤均与所述步骤2、3的描述类似，在此不再赘述。

步骤6、将所述待检测图像的多模态融合特征输入至所述人群密度分类器，得到所述待检测图像对应车厢的人群密度等级；

步骤7、根据所述步骤6得到的该车厢的人群密度等级判断该车厢的人群密度是否异常；

该步骤中，对于误报要求不高的情况，可直接将人群密度等级为超高人群密度的车厢估计为存在人群密度异常的车厢；对于误报要求较高的情况，则可根据两节或多节车厢的联合密度等级状态来判断相应车厢的人群密度是否异常，即若两节或多节车厢的人群密度等级存在明显差异时，则将人群密度等级高的车厢估计为人群密度异常车厢，将人群密度等级低的车厢估计为人群密度正常车厢。

根据联合密度等级状态来判断相应车厢的人群密度是否异常的步骤进一步包括以下步骤：

步骤71、将K节车厢作为一组联合检测对象，其中，K的取值可根据实际应用的需要来设定，在本发明一实施例中，K的取值为2或3；

步骤72、按照所述步骤6依次计算K节车厢的人群密度等级：k1,k2,…,kK；

步骤73、若K节车厢的人群密度等级中至少有1个人群密度等级等于3，即判断为超高人群密度（最高级人群密度），且相邻车厢的人群密度等级差不超过1，即|k1-k2|>1、|k2-k3|>1、…、|kK-k1|>1至少有1个发生，则将密度等级为3的车厢估计为人群密度异常车厢。

以三节车厢为例，多节车厢联合异常人群密度估计的流程图如图2所示。

步骤8、自动记录人群密度异常车厢的人群密度异常信息。

当所述步骤7检测到某一车厢的人群密度为异常时，还可自动记录发生人群密度异常的车厢号和发生时间，截取和存储此时对应的人群密度异常画面，并将记录的信息绑定在一起，以便于以后的查看和下载。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种列车车厢异常人群密度的检测方法，其特征在于，该方法包括以下步骤：

步骤1、采集和存储具有不同人群密度等级的多幅列车车厢样本图像，并为所述样本图像标记相应的人群密度等级；

步骤2、提取所述样本图像各自的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征；

步骤3、融合提取得到的某一样本图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，采用依次组合纹理特征向量、特征点特征向量、前景图像面积比特征向量和光流密度特征向量的方法，或增加/减少各特征向量的维度，或增加/减少各特征向量的权重来得到多模态融合特征；

步骤4、根据所述多幅样本图像的多模态融合特征，训练得到人群密度分类器；

步骤5、从列车车厢的监控视频中截取待检测图像，依次提取所述待检测图像的纹理特征，Surf、Fast、Harris特征点特征，前景图像面积比特征和光流密度特征，并对这些特征进行融合，得到所述待检测图像的多模态融合特征；

步骤6、将所述待检测图像的多模态融合特征输入至所述人群密度分类器，得到所述待检测图像对应车厢的人群密度等级；

步骤7、根据所述步骤6得到的该车厢的人群密度等级判断该车厢的人群密度是否异常；

步骤8、自动记录人群密度异常车厢的人群密度异常信息；

其中，所述光流密度特征的提取包括以下步骤：

取当前图像与存储的上一帧图像；

对于之前提取到的surf特征点，使用KLT算法计算得到发生位移变化的surf特征点的数量；

将该数量进行归一化处理，得到所述光流密度特征。

2.根据权利要求1所述的方法，其特征在于，所述人群密度等级包括低人群密度、中等人群密度、高人群密度和超高人群密度。

3.根据权利要求1所述的方法，其特征在于，所述纹理特征为LBP纹理特征或归一化为一定维度的特征向量的灰度共生矩阵特征。

4.根据权利要求3所述的方法，其特征在于，当所述纹理特征为LBP纹理特征时，提取所述LBP纹理特征的步骤包括以下步骤：

步骤211、将所述图像划分为多个n×n的子区域；

步骤212、对于每个子区域中的某一个像素点，将其像素值分别与其3×3邻域内的8个像素点的像素值进行比较，若周围像素点的像素值大于该像素点的像素值，则该像素点的位置被标记为1，否则标记为0，经过与3×3邻域内的8个点比较后，得到与该像素点对应的一个8位的二进制数，即该像素点对应的LBP值；

步骤213、根据每个子区域像素点的LBP值计算得到相应子区域的统计直方图，并对得到的统计直方图进行归一化处理；

步骤214、将每个子区域的归一化后的统计直方图进行连接，得到所述图像的LBP纹理特征；

步骤215、根据所述LBP纹理特征向量中的最大值和最小值，将所述LBP纹理特征向量等分为p个区间，统计所述LBP纹理特征向量中的每个元素落在每个区间的频数，得到一个p维的特征向量，将其进行归一化，得到p维的LBP纹理特征。

5.根据权利要求1所述的方法，其特征在于，所述步骤2中，所述前景图像面积比特征的提取包括以下步骤：

步骤221、存储每个列车车厢的空车厢图像作为背景图像；

步骤222、将当前图像减去背景图像，得到对应的前景图像；

步骤223、对所述前景图像经过高斯滤波，得到所述前景图像联通区域外接矩形面积之和，将其除以所述当前图像的总像素，得到所述前景图像面积比特征。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中采用随机森林学习算法或支持向量机学习算法来训练得到所述人群密度分类器。

7.根据权利要求1所述的方法，其特征在于，所述步骤7中，直接将人群密度等级为超高人群密度的车厢估计为存在人群密度异常的车厢；或者根据两节或多节车厢的联合密度等级状态来判断相应车厢的人群密度是否异常，即若两节或多节车厢的人群密度等级存在明显差异时，则将人群密度等级高的车厢估计为人群密度异常车厢，将人群密度等级低的车厢估计为人群密度正常车厢。

8.根据权利要求7所述的方法，其特征在于，若所述步骤7根据联合密度等级状态来判断相应车厢的人群密度是否异常，则该判断的步骤进一步包括以下步骤：

步骤71、将K节车厢作为一组联合检测对象；

步骤72、按照所述步骤6依次计算K节车厢的人群密度等级；

步骤73、若K节车厢的人群密度等级中至少有1个人群密度等级为最高级人群密度，且相邻车厢的人群密度等级差不超过1，则将最高级人群密度等级的车厢估计为人群密度异常车厢。