CN109446920A - 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，首先对待检测视频进行预处理，分段并提取运动残差图像，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理并计算原始图像和运动残差图像中包含的人群状态特征，再将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，进行融合处理，同时构建分类器，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测，更加全面的表征监控视频中的客流状况，实现拥挤程度的检测，提高了算法检测的准确率。

Description

基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法

所属领域

本发明属于轨道交通运输技术领域，具体涉及基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法。

背景技术

伴随着城市化进程的不断加快和轨道交通线网格局逐渐完善，城市轨道交通成为城市公共交通的主要承担者。快速增长客流对日常的运营管理水平提出了更高的要求。一方面，为了制定合理的行车计划和客流组织方案，高效率的利用运营资源和满足大规模线网上快速变化的乘客出行需求，需要精确的掌握客流状态和客流数据；另一方面，由于轨道交通车站通常位于封闭的地下或轨道高架，站厅面积较为有限，在客流高峰到来时，大量的客流涌入极易造成站厅拥挤和通道堵塞。大密度的人群不仅造成客流疏导困难，更容易引起大规模的群体安全事故，造成不良的社会影响。因此需要一种便捷、高效的方法实时获取客流分布、监测车站客流状态，为客流组织提供强有力的技术支持，保障乘客的安全和轨道交通的正常运营。

现有的城市轨道交通车站普遍安装有完备的视频监控***，监控视频的内容清晰反映了监控范围内的客流拥挤程度，包含大量有效的客流信息。以往由于技术的局限性，视频图像中信息的获取速度和精确程度难以满足实际应用的需求。伴随着图像处理技术、机器学习以及计算机性能等领域的不断发展，智能的图像识别技术应运而生。通过将图像识别技术与公共场合安装的视频监控***结合起来，利用计算机对监控摄像头获取图像中包含的乘客目标进行处理，对客流状态进行自动的检测、研判，在发现异常目标和异常场景时及时发出警报，实现对城市轨道交通客流拥挤程度自动化、智能化的检测监控。

由于人群存在明显的视觉特征，因此早期的人群密度估计方法大多通过提取人群聚集的后的视觉特征来反映人群的拥挤程度，这类方法包括两大类：基于像素和基于纹理。基于像素的检测方法原理简单，在人群密度适中的场景取得了较好的识别效果，但在车站、商场等人流密集的场所，由于人群密度过大导致严重的相互遮挡，性能下降较为明显；基于纹理类特征在实时性上表现不佳，两种方法在实际操作和运用中都不甚如意，因此，需要一种性能更佳的方法来实现城市轨道交通客流拥挤程度的检测。

发明内容

本发明正是针对现有技术中的问题，提供了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，克服了现有技术中测量误差大，实时性不强的问题，以视频监控***采集到的监控视频为基础，利用卷积神经网络强大的图像识别能力，通过构建多级的卷积神经网络提取人群图像和运动残差图像的混合特征，更加全面的表征监控视频中的客流状况，实现拥挤程度的检测，提高了算法检测的准确率。

为了实现上述目的，本发明采用的技术方案是：基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，包括如下步骤：

S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；

S2，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理原始图像和运动残差图像，分别计算原始图像和运动残差图像中包含的人群状态特征；

S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理：

S4，构建包含拥挤程度等级的分类器；

S5，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测。

作为本发明的一种改进，所述步骤S1进一步包括，

S11，获取交通监控待检测视频；

S12，设定检测周期T，依据检测周期T将待检测视频划分为长度为T的视频片段，所述视频片段的第一帧图像为基准图像；

S13，取视频片段中其他图像，分别与基准图像做差，得到运动残差图像。

作为本发明的一种改进，所述步骤S2中各个特征提取块的数量为1，所述卷积层与与池化层的连接方式为交替连接。

作为本发明的另一种改进，所述步骤S3中特征融合块以特征提取块输出的特征图为输入，所述特征融合块数量为1。

作为本发明的另一种改进，所述步骤S3中全连接层数量为3，且为最后三层，所述卷积层与池化层的连接方式为交替连接，且均位于全连接层前。

作为本发明的又一种改进，所述步骤S4中分类器等级分为十层，分别为宽敞：0-2级；舒适：3-5级；拥挤：5-8级；危险：9-10级。

作为本发明的更进一步改进，所述步骤S5对卷积神经网络进行训练中，采用随机梯度下降算法对卷积神经网络中的参数进行修正，所述随机梯度下降法公式如下：

g(θ)＝∑θx_i

其中，g(θ)表示网络假设函数，θ表示卷积神经网络的参数权值，h(θ)表示损失函数，yⁱ表示第i个样本的样本值，m表示算法迭代的总次数，σ表示惩罚系数，表示梯度，η表示梯度下降中的学习率。

作为本发明的更进一步改进，所述步骤S5中，当检测的结果低于实际拥挤程度时，惩罚系数η＝1+log(yⁱ-g_θ(xⁱ))，否则η＝1。

与现有技术相比，本发明提出了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，具有的有益效果是：基于卷积神经网络的轨道交通客流，拥挤程度检测方法结合视频监控***采集到的图像，检测结果能够实时、有效的反映监控范围内实际客流状况；拥挤程度的划分标准结合实际场景，符合使用地的运营需求；实时的检测能够最大程度的减少人工查看监控视频的工作量并指导客流管控工作，提高城市轨道交通运营的安全性和服务质量。

附图说明

图1为本发明的检测方法步骤示意图；

图2为本发明实施例2中卷积层及最大池化层的连接方式示意图；

图3为本发明实施例3特征融合块中卷积层、最大池化层和全连接层的连接方式。

具体实施方式

以下将结合附图和实施例，对本发明进行较为详细的说明。

实施例1

基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，如图1所示，包括如下步骤：

S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；

S11，获取交通监控待检测视频；

S12，设定检测周期T，依据检测周期T将待检测视频划分为长度为T的视频片段，所述视频片段的第一帧图像为基准图像，记为p₁；

S13，取视频片段中其他图像，例如分别取检测单元中1/3T，2/3T和T处的一帧图像，记为p₂，p₃，p₄，将p₂，p₃，p₄分别与基准图像p₁做差，获取待检测视频片段中人群的运动残差图像，记为p₁₂，p₁₃，p₁₄。

S2，将基准图像p₁与运动残差图像p₁₂,p₁₃,p₁₄组合成一组作为乘客拥挤程度卷积神经网络算法的输入，针对输入的基准图像p₁和运动残差图像p₁₂，p₁₃，p₁₄，构建第一、第二、第三、第四特征提取块对应处理输入的四幅图像，计算基准图像中包含的人群特征和残差图像中包含的运动特征，所述特征提取块至少包含一个卷积层和最大池化层；

第一、第二、第三、第四特征提取块为卷积神经网络的输入，第一、第二、第三、第四处理块的数量为1，所述卷积层与最大池化层的连接方式为交替连接。

S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理，所述融合方法是将第一、第二、第三、第四处理块输出的特征图进行数量上的相加，再输入到融合块中进行卷积运算。

特征融合块以第一、第二、第三、第四特征提取块输出的特征图为输入，特征融合块数量为1，全连接层数量为3，且为最后三层，所述卷积层与池化层的连接方式为交替连接，且均位于全连接层前，连接形式为卷积层-最大池化层-卷积层-最大池化层……全连接层-全连接层-全连接层，具体如下表：

S4，构建包含拥挤程度等级的分类器，所述分类器等级分为十层，分别为宽敞：0-2级；舒适：3-5级；拥挤：5-8级；危险：9-10级，使卷积神经网络具备对待检测视频中包含的乘客拥挤程度进行划分的能力。

S5，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，并根据改良的梯度下降方法更新网络中的参数，最后待检测视频输入完成训练的卷积神经网络，使分类器对图像中的乘客拥挤程度做出合理的判断检测。

实施例2

本实施例与实施例1的不同之处在于：所述步骤S5对卷积神经网络进行训练中，采用随机梯度下降算法对卷积神经网络中的参数进行修正，所述随机梯度下降法公式如下：

g(θ)＝∑θx_i

其中，g(θ)表示网络假设函数，θ表示卷积神经网络的参数权值，h(θ)表示损失函数，yⁱ表示第i个样本的样本值，m表示算法迭代的总次数，σ表示惩罚系数，表示梯度，η表示梯度下降中的学习率；

本方法涉及的卷积神经网络结构参数更新方法采用改良的随机梯度下降方法，改良的随机梯度下降法与传统方法相比，结合实际运营需求在损失函数中增加一项惩罚系数。在实际运营状况中，当拥挤程度的检测结果低于实际拥挤程度，可能导致后续管理措施的延迟，进而影响城市轨道交通的正常运营，其不良影响远大于检测结果高于实际拥挤程度的状况。因此，为减少低于实际拥挤程度的检测结果出现的次数，在损失函数中添加一项惩罚系数，使得低于实际拥挤程度的检测结果出现时，参数的调整幅度增大。当检测的结果低于实际拥挤程度时，η＝1+log(yⁱ-g_θ(xⁱ))，其余情况下，η＝1。

实施例3

Step1：设定检测周期T，本实施例以T＝3sec为例，依据检测周期T将待检测视频划分为长度为T的视频片段，以下称为检测单元。取检测单元的第一帧图像作为基准图像，记为p₁；取检测单元中t＝1s，t＝2s和t＝3s处的图像，记为p₂，p₃，p₄；将p₂，p₃，p₄分别与基准图像p₁做差，获取检测单元中人群的运动残差图像，记为p₁₂，p₁₃，p₁₄；将基准图像p₁与运动残差图像p₁₂，p₁₃，p₁₄组合成一组作为乘客拥挤程度检测算法的输入；根据城市轨道交通实际运营中的情况，拥挤程度被划分为10个等级宽敞{(0-2级)，舒适(3-5级)，拥挤(5-8级)，危险(9-10级)}，截取监控视频在不同拥挤程度下的图像，添加表示拥挤程度的标签，作为神经网络的训练集；

Step2:针对输入的基准图像p₁和运动残差图像p₁₂，p₁₃，p₁₄，构建第一、第二、第三、第四处理快对应处理输入的四幅图像，计算基准图像中包含的人群特征和残差图像中包含的运动特征，上述处理块均包含4个卷积层和最大池化层，连接形式如图2所示；假设输入图像为224*224的彩色图像经过卷积层C1，使用11*11*3的卷积核对其进行卷积运算，卷积步长为4，生成48层55*55像素的特征图；经过最大池化层MP1，池化运算尺度为3*3，步长为2，池化后的生成96层27*27像素的特征图；经过卷积层C2和最大池化层MP2生成256层13*13的特征图；经过卷积层C3和最大池化层MP3生成384层13*13的特征图；经过卷积层C4和最大池化层MP4生成384层13*13的特征图；

Step3:构建特征融合块对第一、第二、第三、第四处理块输出的四组13*13*384包含人群特征和运动特征的特征图进行融合处理。所述的特征融合块包含一个卷积层、最大池化层和3个全连接层，连接如图3所示；其中，卷积层C5的卷积核尺寸为3*3，卷积步长为1，卷积运算后得到四组13*13*256的特征图；再通过池化尺度为3*3，步长为2的最大池化层MP5，得到4组6*6*256的特征图；再通过三层具有4096的神经元的全连接层得到4096个输出。

Step4:构建分类器，包含10个拥挤程度等级，即{宽敞(0-2级)，舒适(3-5级)，拥挤(5-8级)，危险(9-10级)}，使网络具备对检测单元中包含的乘客拥挤程度进行划分的能力。全连接层的4096个输出与分类器的10个神经元进行全连接。

Step5:使用预设的训练集对先前构建的卷积神经网络进行训练，并根据改良的梯度下降方法修正网络中的参数。改良的随机梯度下降法在传统方法的基础上，根据实际运营需求在损失函数中增加一项惩罚系数当检测的结果低于实际拥挤程度时η＝1+log(yⁱ-g_θ(xⁱ))，其余情况下，η＝1。完成训练后，将待检测单元输入卷积神经网络，使分类器对待检测视频做出合理的判断。

本实施例涉及的卷积层激活函数选用ReLU函数。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实例的限制，上述实例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (8)

1.基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于，包括如下步骤：

S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；

S2，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理原始图像和运动残差图像，分别计算原始图像和运动残差图像中包含的人群状态特征；

S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理：

S4，构建包含拥挤程度等级的分类器；

S5，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测。

2.如权利要求1所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S1进一步包括，

S11，获取交通监控待检测视频；

S12，设定检测周期T，依据检测周期T将待检测视频划分为长度为T的视频片段，所述视频片段的第一帧图像为基准图像；

S13，取视频片段中其他图像，分别与基准图像做差，得到运动残差图像。

3.如权利要求1或2所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S2中各个特征提取块的数量为1，所述卷积层与与池化层的连接方式为交替连接。

4.如权利要求3所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S3中特征融合块以特征提取块输出的特征图为输入，所述特征融合块数量为1。

5.如权利要求4所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S3中全连接层数量为3，且为最后三层，所述卷积层与池化层的连接方式为交替连接，且均位于全连接层前。

6.如权利要求3所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S4中分类器等级分为十层，分别为宽敞：0-2级；舒适：3-5级；拥挤：5-8级；危险：9-10级。

7.根据权利要求4或5或6所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S5对卷积神经网络进行训练中，采用随机梯度下降算法对卷积神经网络中的参数进行修正，所述随机梯度下降法公式如下：

g(θ)＝∑θx_i

θ:＝θ-η▽_θh(θ)

其中，g(θ)表示网络假设函数，θ表示卷积神经网络的参数权值，h(θ)表示损失函数，yⁱ表示第i个样本的样本值，m表示算法迭代的总次数，σ表示惩罚系数，▽_θ表示梯度，η表示梯度下降中的学习率。

8.根据权利要求7所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S5中，当检测的结果低于实际拥挤程度时，惩罚系数η＝1+log(yⁱ-g_θ(xⁱ))，否则η＝1。