CN104504377B - 一种公交车乘客拥挤程度识别***及方法 - Google Patents

Abstract

本发明涉及一种公交车乘客拥挤程度识别***及方法。该***包括用于采集公交车离站一分钟后的监控图像的图像采集模块、将采集的监控图像进行分割裁剪和按比例缩放的图像预处理模块、对经所述图像预处理模块处理的图像提取GLCM纹理特征的图像特征提取模块、根据所述图像特征提取模块提取的纹理特征训练得到XML文档的图像特征训练模块以及读取XML文档并进行拥挤程度训练和预测，以完成监控图像中乘客拥挤程度的预测的图像特征预测模块以。本发明充分复用现有车载监控设备的监控图像进行识别，综合了公交车中多个摄像头监控画面的检测结果，能做到三档拥挤程度的准确识别，具有很高的经济性，可靠性和高效性。

Description

一种公交车乘客拥挤程度识别***及方法

技术领域

本发明涉及一种公交车乘客拥挤程度识别***及方法。

背景技术

随着人们社会活动的不断增加，由于人群密度过大而造成人员伤亡的事件屡见不鲜。在日常生活中，对于人们经常出入的地铁、车站和超市等地点的人群密度统计是非常必要的，因此人群密度分析有着广泛的应用前景和研究价值。传统的人群密度分析通过监控场景的闭路电视进行人工监控，费时费力而且缺乏客观性。随着计算机和图像处理技术的发展和广泛应用，智能化的人群密度监控***应运而生。

人群密度估计主要有两种方法：基于像素统计的密度估计方法较为简单，但是当人群密度较高、人群遮挡严重时误差较大；使用纹理分析的方法可以充分利用图像的纹理信息，但是算法复杂度较高。现有的人群密度分析方法只是笼统对整张图像进行人群密度计算而忽略了局部的区域，而且高密度人群存在着明显的人与人间的重叠现象，故在特征提取的描述符选取上具有各种局限性和片面性，造成了人群密度分析上较高的误判率。

发明内容

本发明针对现有方法中高密度人群密度分析的缺陷，提供了一种公交车乘客拥挤程度识别***及方法。

为实现上述目的，本发明的技术方案是：一种公交车乘客拥挤程度识别***，包括图像采集模块、图像预处理模块、图像特征提取模块、图像特征训练模块和图像特征预测模块；

所述图像采集模块用于采集公交车离站一分钟正常行驶后的多路车载视频实时监控图像；

所述图像预处理模块将所述图像采集模块采集的监控图像进行分割裁剪、按比例缩放、LBP灰度化处理和梯度图处理；

所述图像特征提取模块对经所述图像预处理模块处理的图像提取GLCM纹理特征；

所述图像特征训练模块根据所述图像特征提取模块提取的多幅监控图像对应的纹理特征，训练得到XML文档；

所述图像特征预测模块调用所述图像特征提取模块，提取待处理的实时监控图像的GLCM纹理特征，结合所述图像特征训练模块训练所得的XML文档，进行拥挤程度预测，以完成监控图像中乘客拥挤程度的预测。

在本发明实施例中，所述的图像预处理模块根据公交车的特定场景分别对监控图像进行裁剪并以预定的比例缩放，即将公交车中各部分监控图像分别分割成若干块，然后对各块进行LBP灰度化处理和梯度图处理。

在本发明实施例中，所述的图像特征提取模块将各块分割成若干个cell，并分别提取各cell的GLCM纹理特征后，合并得到整块的GLCM纹理特征。

在本发明实施例中，所述的图像特征训练模块包括训练参数寻优子模块及图像特征训练子模块；所述的参数寻优子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优，得出最佳训练器参数并生成XML参数文件，形成XML文档，该寻优过程包括特征向量寻优和SVM参数寻优。

在本发明实施例中，所述的图像特征预测模块调用所述图像特征提取模块，提取待处理的实时监控图像的GLCM纹理特征，结合所述图像特征训练模块训练所得的XML文档，对实际待预测图像进行拥挤度的预测，最后综合多个块的预测结果加权求和计算出公交车乘客的整体拥挤程度。

本发明还提供了一种采用如上述所述的公交车乘客拥挤程度识别***的识别方法，包括如下步骤，

步骤S01：通过图像采集模块采集监控图像视频帧，并将监控图像分割为若干块；

步骤S02：将步骤S01的各块分割成若干个重叠的cell，分别提取其LBP灰度特征向量和梯度特征向量后进行拼接得到cell的特征向量；

步骤S03：拼接所有cell的特征向量得到各块的特征向量；

步骤S04：根据各块的特征向量，利用SVM对监控图像中的人群密度进行特征分类统计。

相较于现有技术，本发明具有以下有益效果：

1、本发明能更加全面地描述图像中人群密度的纹理特征；

2、本发明采用基于灰度和梯度的LBP特征提取极大提高了人群密度分析的性能；

3、本发明采用滑动窗口技术的引入用来检测潜在的拥挤区域。

附图说明

图1为本发明***架构示意图。

图2为本发明核心模块图像特征提取模块框架图。

图3为本发明中采用的参数寻优流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种公交车乘客拥挤程度识别***，包括图像采集模块、图像预处理模块、图像特征提取模块、图像特征训练模块和图像特征预测模块；

所述图像采集模块用于采集公交车离站一分钟正常行驶后的多路车载视频实时监控图像；

所述图像预处理模块将所述图像采集模块采集的监控图像进行分割裁剪、按比例缩放、LBP灰度化处理和梯度图处理；即根据公交车的特定场景分别对监控图像进行裁剪并以预定的比例缩放，具体为将公交车中各部分监控图像分别分割成若干块，然后对各块进行LBP灰度化处理和梯度图处理；

所述图像特征提取模块对经所述图像预处理模块处理的图像提取GLCM纹理特征；即将各块分割成若干个cell，并分别提取各cell的GLCM纹理特征后，合并得到整块的GLCM纹理特征；

所述图像特征训练模块根据所述图像特征提取模块提取的多幅监控图像对应的纹理特征，训练得到XML文档；所述的图像特征训练模块包括训练参数寻优子模块及图像特征训练子模块；所述的参数寻优子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优，得出最佳训练器参数并生成XML参数文件，形成XML文档，该寻优过程包括特征向量寻优和SVM参数寻优；

所述图像特征预测模块调用所述图像特征提取模块，提取待处理的实时监控图像的GLCM纹理特征，结合所述图像特征训练模块训练所得的XML文档，进行拥挤程度预测，以完成监控图像中乘客拥挤程度的预测；即调用所述图像特征提取模块，提取待处理的实时监控图像的GLCM纹理特征，结合所述图像特征训练模块训练所得的XML文档，对实际待预测图像进行拥挤度的预测，最后综合多个块的预测结果加权求和计算出公交车乘客的整体拥挤程度。

基于上述的公交车乘客拥挤程度识别***，还提供了一种公交车乘客拥挤程度识别方法，包括如下步骤，

步骤S01：通过图像采集模块采集监控图像视频帧，并将监控图像分割为若干块；

步骤S02：将步骤S01的各块分割成若干个重叠的cell，分别提取其LBP灰度特征向量和梯度特征向量后进行拼接得到cell的特征向量；

步骤S03：拼接所有cell的特征向量得到各块的特征向量；

步骤S04：根据各块的特征向量，利用SVM对监控图像中的人群密度进行特征分类统计。

以下为本发明的具体实施例。

如图1所示，本发明包括以下4个关键模块：

1.图像预处理模块:前端监控探头采集到的都是彩色的实时监控画面,而且因为设备不同,型号不同等原因,所以公交车离站后采集上来的监控画面可能尺寸不一样.该模块负责把原始的监控图片进行尺寸缩放为统一的尺寸以及将公交车中各部分监控图像分别分割成若干块（Block）,然后提取其灰度图,最后由图像特征提取模块做进一步的特征提取.

2.图像特征提取模块：综合LBP灰度图、梯度图、共生矩阵等提取出能准确描绘Block图像拥挤程度的特征向量，一张Block图像用一个一维的特征向量表示；具体流程图参见图2所示，

方案实现：

本分析方法采用纹理作为特征来描述图片的人群拥挤程度，先将源图像转化为LBP灰度图或者梯度图后，在LBP灰度图或者梯度图上提取纹理特征。

一张block图像首先被分割为n个大小一致的cell图像，cell图像之间有重叠。对每个cell图像提取其LBP梯度特征向量以及LBP灰度特征向量后进行拼接得到该cell的特征向量。拼接所有cell的特征向量就得到block的LBP特征向量，该向量作为有力的描述符来描述block图像的拥挤程度。

3.图像特征训练模块（SVM训练）：调用OpenCV中的相应接口函数对特征矩阵进行训练及预测，寻找出最佳训练器参数并生成xml参数文件；

方案实现：

（1）数据集格式构造：

本***采用数据集目录结构。每个诸如“空旷”、“拥挤”等文件夹下只存放其所指的类型，方便调试和查看。在读取图片时我们并不直接去目录找图片，而是先在“Left”、“Right”、“Middle”文件夹的根目录下生成描述文件，描述文件描述了在“Left”目录下每张图片的全路径以及其所属类别。这个过程类似于先建立了图片的索引，当需要读取图片时直接到描述文件中读取即可。

（2）参数寻优：

SVM训练需要首先对训练过程中的各重要参数进行遍历寻优，最终找到一个最佳参数组合。概括地说，寻优可分为两阶段：a.特征向量寻优；b.SVM参数寻优。该参数寻优流程图如图3所示。

a.特征向量寻优(stage1)：一个block内cell尺寸不同、重叠面积不同都会影响特征向量，从而影响最终的人群密度分类。一般来说，cell尺寸越小，cell间重叠的部分越大，则特征向量维度越高，也就是“向量越长”；反之亦然。因此，我们需要对cell的尺寸、cell重叠面积大小进行遍历训练并预测。

b.SVM参数寻优(stage2)：进行svm训练需要提供两个参数，一是上述的特征矩阵，二是由CvSVMParamter封装成的结构体; 在本***的应用场景下起主要影响作用的是其中的惩罚因子，这是一个正实数，特征矩阵不同意味着所需要的C参数不同，因此可以对其进行遍历。

4.图像特征预测模块：读取图像特征训练模块得到的XML参数文件,对同一时刻得到的公交车中间（Cam3）及其后下客门（Cam4）采集到的图像进行拥挤程度训练和预测，分别得到Cam3中3个块和Cam4中一个块的拥挤度（定义空旷时拥挤度指数为1，正常时拥挤度指数为2，拥挤时拥挤度指数为3），综合Cam3中3个块的拥挤度指数加权求和得到Cam3的拥挤度，同样的方法加权求和Cam3和Cam4的拥挤度指数计算出公交车乘客的整体拥挤程度。

本发明创新性地引入LBP灰度梯度共生矩阵来描述图像的纹理特征，经实验证明，该特征能很好地表征图片中的人群拥挤程度，相对于传统的分析方法，人群密度判断准确率有了很大程度的提高，该方法的提出对于智能交通调度及其智能安防领域提供了强有力的技术保证。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种公交车乘客拥挤程度识别***，其特征在于：包括图像采集模块、图像预处理模块、图像特征提取模块、图像特征训练模块和图像特征预测模块；

所述图像采集模块用于采集公交车离站一分钟正常行驶后的多路车载视频实时监控图像；

所述图像预处理模块将所述图像采集模块采集的监控图像进行分割裁剪、按比例缩放、LBP灰度化处理和梯度图处理；

所述图像特征提取模块对经所述图像预处理模块处理的图像提取GLCM纹理特征；

所述图像特征训练模块根据所述图像特征提取模块提取的多幅监控图像对应的纹理特征，训练得到XML文档；

所述图像特征预测模块调用所述图像特征提取模块，提取待处理的实时监控图像的GLCM纹理特征，结合所述图像特征训练模块训练所得的XML文档，进行拥挤程度预测，以完成监控图像中乘客拥挤程度的预测；

所述的图像预处理模块根据公交车的特定场景分别对监控图像进行裁剪并以预定的比例缩放，即将公交车中各部分监控图像分别分割成若干块，然后对各块进行LBP灰度化处理和梯度图处理；

所述的图像特征提取模块将各块分割成若干个cell，并分别提取各cell的GLCM纹理特征后，合并得到整块的GLCM纹理特征；

所述的图像特征训练模块包括图像特征训练子模块；所述图像特征训练子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优，得出最佳训练器参数并生成XML参数文件，形成XML文档，该图像特征训练子模块的寻优过程包括特征向量寻优，所述特征向量寻优与各块内cell尺寸和重叠面积有关；

所述的图像特征预测模块调用所述图像特征提取模块，提取待处理的实时监控图像的GLCM纹理特征，结合所述图像特征训练模块训练所得的XML文档，对实际待预测图像进行拥挤度的预测，最后综合多个块的预测结果加权求和计算出公交车乘客的整体拥挤程度。

2.根据权利要求1所述的一种公交车乘客拥挤程度识别***，其特征在于：所述的图像特征训练模块还包括训练参数寻优子模块；所述训练参数寻优子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优，得出最佳训练器参数并生成XML参数文件，形成XML文档，该训练参数寻优子模块的寻优过程包括SVM参数寻优。

3.一种采用如权利要求1所述的公交车乘客拥挤程度识别***的识别方法，其特征在于：包括如下步骤，

步骤S01：通过图像采集模块采集监控图像视频帧，并将监控图像分割为若干块；

步骤S02：将步骤S01的各块分割成若干个重叠的cell，分别提取其LBP灰度特征向量和梯度特征向量后进行拼接得到cell的特征向量；

步骤S03：拼接所有cell的特征向量得到各块的特征向量；

步骤S04：根据各块的特征向量，利用SVM对监控图像中的人群密度进行特征分类统计。