CN112434566B - 客流统计方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种客流统计方法、装置、电子设备及存储介质，其中该方法包括：在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；对所述图像信息进行目标检测，得到乘客的头肩检测框；基于所述头肩检测框得到待跟踪目标框；基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。本申请实施例有利于提高客流统计的准确度。

Description

客流统计方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种客流统计方法、装置、电子设备及存储介质。

背景技术

客流量统计对极力倡导发展公共交通的当今社会有着非常重要的意义，以公交车(巴士)运行为例，交管部门或公交(巴士)运营商可基于各个站点的客流量动态规划交通路线，实现公交(巴士)的智能化运营。目前的客流量统计方案，多是对公交(巴士)前后门采集的图像进行检测，然后对图像中的人物运动方向进行判别，以确定该人物是上车还是下车，最终统计出站点的上车人数和下车人数。但是，在某些情况下，图像采集设备采集的图像效果并不理想，这就对后续的检测和跟踪造成了一定影响，导致客流统计的准确度并不高。

发明内容

针对上述问题，本申请提供了一种客流统计方法、装置、电子设备及存储介质，有利于提高客流统计的准确度。

为实现上述目的，本申请实施例第一方面提供了一种客流统计方法，该方法包括：

在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

对所述图像信息进行目标检测，得到乘客的头肩检测框；

基于所述头肩检测框得到待跟踪目标框；

基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

本申请实施例第二方面提供了一种客流统计装置，该装置包括：

图像获取模块，用于在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

目标检测模块，用于对所述图像信息进行目标检测，得到乘客的头肩检测框；

目标跟踪模块，用于基于所述头肩检测框得到待跟踪目标框；

所述目标跟踪模块，还用于基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

客流统计模块，用于根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：

在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

对所述图像信息进行目标检测，得到乘客的头肩检测框；

基于所述头肩检测框得到待跟踪目标框；

基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：

在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

对所述图像信息进行目标检测，得到乘客的头肩检测框；

基于所述头肩检测框得到待跟踪目标框；

基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

本申请的上述方案至少包括以下有益效果：与现有技术相比，本申请实施例在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；对所述图像信息进行目标检测，得到乘客的头肩检测框；基于所述头肩检测框得到待跟踪目标框；基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。这样基于乘客的头肩进行检测，并在头肩检测框的基础上重新设定待跟踪目标框，有利于避免因图像采集视野较浅、目标过大等导致的目标跟丢问题，同时，采用多条绊线来进行乘客上车或下车的判定，有利于解决一条绊线判定时人已经过线了才被检测到而产生的客流判定错误问题，从而有利于提高客流统计的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用环境的示意图；

图2为本申请实施例提供的一种客流统计方法的流程示意图；

图3为本申请实施例提供的一种目标检测器的示意图；

图4为本申请实施例提供的一种获取待跟踪目标框的示意图；

图5为本申请实施例提供的一种上下车乘客判定的示意图；

图6为本申请实施例提供的一种标识入库及标识匹配的示意图；

图7为本申请实施例提供的另一种客流统计方法的流程示意图；

图8为本申请实施例提供的一种客流统计装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。

本申请实施例提供一种客流统计方法，可基于图1所示的应用环境实施，请参见图1，该应用环境包括乘客上下车的站点、在站点停靠的车辆，其中，车辆的前后门分别设有第一图像采集设备和第二图像采集设备，第一图像采集设备用于对车辆前门的上下车情况进行图像信息的采集，第二图像采集设备用于对车辆后门的上下车情况进行图像信息的采集，并将采集的图像信息上传至服务器，由服务器对图像信息进行目标检测，并对检测出的目标进行跟踪，基于预设的双绊线客流判定逻辑确定出站点的上车人数和下车人数，同时，也可统计出车上的人数。具体的，服务器的目标检测可以是基于头肩的目标检测，对于判定为上车乘客的头肩目标，服务器会在第一数据库中建立对应的标识，例如：建立对应ID(Identity document，唯一编码)，第一数据库可以是底库，用于存储上车乘客的相关信息，例如：上车乘客的抓拍图、该抓拍图对应的头肩特征及标识等，对于判定为下车乘客的头肩目标，服务器会在第二数据库建立对应的标识(ID)，第二数据库可以是查询库，用于存储下车乘客的相关信息，例如：下车乘客的抓拍图、该抓拍图对应的头肩特征及标识等，将第二数据库中的标识对应的信息与第一数据库中的标识对应的信息进行匹配，以得到与该下车乘客匹配的上车乘客，相匹配的两个标识作为匹配对进入第三数据库，第三数据库用于存储相匹配的上车乘客和下车乘客的相关信息，例如：为下车乘客A1匹配到上车乘客A，那么下车乘客A1和上车乘客A作为匹配对进入第三数据库，关联存储的还有下车乘客A1对应的抓拍图、头肩特征、标识、下车站点等信息以及上车乘客A对应的抓拍图、头肩特征、标识、上车站点等信息，通过第三数据库存储的匹配对便能得知某一乘客的上车站点和下车站点。由此可见，本申请不仅能够准确地进行客流统计，还可进一步知道乘客的上车站点和下车站点。

基于图1所示的应用环境，以下结合其他附图对本申请实施例提供的客流统计方法进行详细阐述。

请参见图2，图2为本申请实施例提供的一种客流统计方法的流程示意图，该方法应用于服务器，如图2所示，包括步骤S21-S25：

S21，在车辆停靠站点的时间段，获取预设图像采集区域的图像信息。

本申请具体实施例中，预设图像采集区域是指车辆上设于前门的第一图像采集设备和设于后门的第二图像采集设备所覆盖的图像采集区域，在车辆停靠站点的时间段，第一图像采集设备向服务器发送车辆前门乘客上下车的图像信息，第二图像采集设备向服务器发送车辆后门乘客上下车的图像信息，该图像信息可以是视频监控图像，也可以是连续抓拍图像。可选的，第一图像采集设备、第二图像采集设备可以实时进行图像信息的采集，也可以在检测到车辆开始停靠时进行图像信息的采集，检测到车辆结束停靠时停止图像信息的采集。

S22，对所述图像信息进行目标检测，得到乘客的头肩检测框。

在一种可能的实施方式中，所述对所述图像信息进行目标检测，得到乘客的头肩检测框，包括：

基于所述图像信息得到待处理图像；

对所述待处理图像进行下采样；

选取下采样得到的目标特征进行上采样，得到所述待处理图像对应的特征图；

基于所述特征图进行分类预测，得到所述头肩检测框。

本申请具体实施例中，对于第一图像采集设备和第二图像采集设备采集的图像信息，在保持其长宽比的前提下改变其尺寸得到512*512的待处理图像，对于待处理图像采用一个训练好的神经网络模型作为检测器进行目标检测，如图3所示，该检测器分为下采样和上采样两部分，其中，下采样分为五个阶段进行，每个阶段下采样2倍，共下采样32倍，下采样的每个卷积块采用可分离卷积进行卷积操作，以减少参数数量，提升运算速度，另外，目标特征即第一、第三、第五阶段下采样得到的特征，在下采样过程中，将第一至第三阶段下采样得到的特征保存以供上采样时使用。上采样部分与下采样部分对应，将第五阶段下采样得到的特征作为上采样的输入，在进行第一到第三阶段下采样对应的上采样时，将第一到第三阶段下采样得到的特征与输入特征进行叠加作为上采样的输入，最后输出与待处理图像尺寸相同的特征图。在该特征图上采用基于高斯核的方法对乘客的头肩中心进行预测，其输出为头肩检测框的中心、头肩检测框的宽高以及该中心的偏移值，最终输出的头肩检测框以热力图的形式呈现。

在一种可能的实施方式中，所述头肩检测框采用训练好的神经网络模型对所述图像信息进行目标检测得到；在获取预设图像采集区域的图像信息之前，所述方法还包括：

设定神经网络高斯核的大小；

构建样本图像，将所述样本图像输入神经网络进行训练，得到所述样本图像的目标检测结果；

根据所述目标检测结果与已标注图像确定目标损失；

根据所述目标损失和高斯核对所述神经网络模型的参数进行调整。

本申请具体实施例中，已标注图像通过对样本图像进行标注得到，由于在密集场合中，高斯核会有叠加的地方，导致两个比较靠近的人物的头肩只输出一个检测框，为解决这个问题，这里对于叠加部分的高斯值从取和变为取最大值，同时根据训练图像的最大宽高限制高斯核最大值的大小，如此，两个靠近的头肩对应的高斯核就不会互相干扰，能有效避免一个检测框包含多个目标的情况。针对样本图像的构建，首先对多张训练图像进行裁剪，得到对应的小图，具体可以16:9的比例在训练图像上进行随机裁剪，得到的小图中头肩目标更大，以模拟车辆上图像采集设备架设偏低所采集的图像信息，有利于提升对较大目标的检测效果。然后对所述小图进行拼接得到所述样本图像，使得样本图像中包括多个头肩目标，以模拟人群密集的场景，有利于提高神经网络模型的泛化能力，缓解人群密集时的漏检问题。其中，目标损失包括smoothL1损失、focalloss损失，smoothL1损失用于头肩检测框的宽高及中心的偏差值的训练，focalloss与高斯核用于头肩检测框中心点的训练，因为在目标中心点较为密集的场景下，仅采用focalloss损失对头肩检测框中心点的预测进行拟合的效果较差，因此，高斯核用于引导focalloss对头肩检测框中心点的预测进行拟合，以提高拟合效果。基于上述训练方法，本申请中采用的神经网络模型有利于解决图像采集设备架设较低、头肩目标过大、密集场合下一个检测框框住多个头肩目标等一系列问题，因此其检测精度更高。

S23，基于所述头肩检测框得到待跟踪目标框。

S24，基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹。

本申请具体实施例中，如图4所示，由于车辆上图像采集设备的架设角度较低，因此检测出的头肩目标较大，若采用传统的方法对头肩检测框进行跟踪会存在跟丢的问题，因此本申请不对整个头肩检测框进行跟踪，而是以头肩检测框的中心为中心选取m*m的方框，将m*m的方框作为待跟踪目标框，以方框内m*m的特征点为光流跟踪点，结合光流算法和匈牙利算法预测待跟踪目标框与下一帧(或下一张)图像中预测框的交并比(IoU，Intersection over Union)关系，由此实现对乘客的跟踪，得到乘客的运动轨迹。其中，m为小于等于20的正整数。

S25，根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

在一种可能的实施方式中，所述多条绊线包括第一绊线、第二绊线、第三绊线及第四绊线；所述根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数，包括：

将所述运动轨迹依次覆盖所述第一绊线、所述第二绊线的乘客确定为上车乘客，得到站点的上车人数；

将所述述运动轨迹依次覆盖所述第三绊线、所述第四绊线的乘客确定为下车乘客，得到站点的下车人数。

本申请具体实施例中，如图5所示，通过预设四条绊线来判定乘客是上车还是下车，其中，第一绊线和第二绊线用于上车乘客的判定，若某位乘客的运动轨迹依次覆盖第一绊线、第二绊线，则判定其为上车乘客，上车人数+1；若某位乘客的运动轨迹依次覆盖第三绊线、第四绊线，则判定其为下车乘客，下车人数+1。运动轨迹只有依次覆盖第一绊线、第二绊线的才会认为其是上车，若只覆盖到其中一条，则不对其进行统计，同理，运动轨迹只有依次覆盖第三绊线、第四绊线的才会认为其是下车，若只覆盖到其中一条，亦不对其进行统计，这样有利于解决人员徘徊所带来的重复统计问题。

在一种可能的实施方式中，所述方法还包括：

从所述图像信息中提取所述上车乘客经过所述第二绊线时的第一目标图像；

在第一数据库生成所述第一目标图像的第一标识信息，并提取所述上车乘客的第一头肩特征；

将所述第一目标图像、所述第一标识信息、所述第一头肩特征及上车站点关联存储。

具体的，第一目标图像即上车乘客经过第二绊线的时刻的一张(或一帧)图像，对于该第一目标图像，服务器在第一数据库为其建立第一标识信息，并采用训练好的重识别模型对其进行特征提取，得到上车乘客的第一头肩特征，以供后续匹配使用。由于乘客在上车和下车时朝向会有180度的转变，而人物的头肩特征相对较少，采用头肩特征进行匹配有利于提高匹配率。如图6所示，对于提取出的第一头肩特征，将其与第一目标图像、第一标识信息及站点(认为该站点就是上车站点)关联存储至第一数据库。

进一步的，对于第一头肩特征的提取，首先改变其尺寸得到待输入图像，然后输入resnet50神经网络进行特征提取，最后将提取出的特征归一化得到第一头肩特征，重识别模型采用softmax loss损失和hard mining triplet loss损失训练，并对训练数据进行了增强处理，以提高模型泛化能力。

在一种可能的实施方式中，所述方法还包括：

从所述图像信息中提取所述下车乘客经过所述第四绊线时的第二目标图像；

在第二数据库生成所述第二目标图像的第二标识信息，并提取所述下车乘客的第二头肩特征；

将所述第二目标图像、所述第二标识信息、所述第二头肩特征及下车站点关联存储。

具体的，第二目标图像即下车乘客经过第四绊线的时刻的一张(或一帧)图像。对于该第二目标图像，服务器同样采用重识别模型对其进行特征提取，得到下车乘客的第二头肩特征，如图6所示，对于提取出的第一头肩特征，将其与第二目标图像、第二标识信息及站点(认为该站点就是下车站点)关联存储至第二数据库。

在一种可能的实施方式中，所述方法还包括：

在所述第二数据库中存在所述第二标识信息的情况下，将所述第二标识信息对应的所述第二头肩特征与所述第一数据库中的所述第一头肩特征进行匹配，以确定出第一目标上车乘客；

在所述第一目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中；

在所述第一目标上车乘客对应的所述第一标识信息存在于所述第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中以替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对。

具体的，请继续参见图6，当第二数据库中有第二标识信息生成时，服务器将与该标识信息对应的第二头肩特征与第一数据库中的所有第一头肩特征进行匹配，以选取出相匹配的上车乘客，即第一目标上车乘客，例如：通过计算第二头肩特征与第一头肩特征的余弦相似度，选取相似度最大的上车乘客作为第一目标上车乘客。然后查询第三数据库中是否已经存在该第一目标上车乘客的第一标识信息，若不存在，则说明还未找到第一目标上车乘客相匹配的下车乘客，那么将第二标识信息与第一目标上车乘客对应的第一标识信息作为匹配对存储至第三数据库中，并且，将第二标识信息对应的第二目标图像、第二头肩特征及下车站点与其关联存储至第三数据库中，将第二标识信息以及其对应的第二目标图像、第二头肩特征及下车站点从第二数据库中删除，这样同一乘客的上车站点和下车站点就在第三数据库中呈现，且可以节省第二数据库的存储空间。另外，若第三数据库中已经存在该第一目标上车乘客的第一标识信息，说明已经找到第一目标上车乘客相匹配的下车乘客，但是当前第二标识信息对应的下车乘客与该第一目标上车乘客的匹配度更高，说明该第一目标上车乘客对应的第一标识信息所述的原匹配对并不准确，例如：对于上车乘客A，原匹配对中与其相匹配的是下车乘客B1，但是现在得到下车乘客B2与之更加匹配，则说明原始的A-B1匹配对并不准确，现在需要用当前的第二标识信息B2对第三数据库中的原匹配对A-B1进行更新，A-B2作为新的匹配对替换掉原匹配对A-B1。同时，原匹配对中的第二标识信息及该第二标识信息对应的第二目标图像、第二头肩特征及下车站点存回第二数据库中，从第三数据库中删除原匹配对。即原来与A相匹配的第二标识信息B1以及B1对应的第二目标图像、第二头肩特征及下车站点重新存储至第二数据库，并将A-B1这个匹配的所有信息删除。

在一种可能的实施方式中，所述方法还包括：

获取所述原匹配对中的所述第二标识信息在所述第二数据库中的生成时间；

获取所述第一数据库中在所述生成时间之前入库的所述第一头肩特征；

将所述原匹配对中的所述第二标识信息对应的所述第二头肩特征与所述生成时间之前入库的所述第一头肩特征进行匹配，以确定出第二目标上车乘客；

在所述第二目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述原匹配对中的所述第二标识信息与所述第二目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中。

具体的，在原匹配对中的第二标识信息及对应的第二目标图像、第二头肩特征及下车站点被存回第二数据库后，需要为该第二标识信息对应的下车乘客找到相匹配的第二目标上车乘客。由于原匹配对中的第二标识信息是在之前入库的，那么匹配时就只能用其在第二数据库中的生成时间之前进入第一数据库的第一头肩特征来计算相似度，将相似度最大的上车乘客作为第二目标上车乘客，此操作可以提高匹配对更新时的匹配速度。应当理解的，在确定出第二目标上车乘客后，同样会判断其是否存在第三数据库中，若不存在，则将原匹配对中的第二标识信息与第二目标上车乘客对应的第一标识信息作为新的匹配对进行存储，若第二目标上车乘客对应的第一标识信息已经存在第三数据库中，说明第二目标上车乘客已经有了匹配对，此时仍然将原匹配对中的第二标识信息与第二目标上车乘客对应的第一标识信息存储至第三数据库以替换第二目标上车乘客已经存在的匹配对，由此保证每一个下车乘客都能匹配到最相似的上车乘客，即确定出同一乘客在哪儿上车在哪儿下车的准确度更高。

可以看出，本申请实施例在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；对所述图像信息进行目标检测，得到乘客的头肩检测框；基于所述头肩检测框得到待跟踪目标框；基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。这样基于乘客的头肩进行检测，并在头肩检测框的基础上重新设定待跟踪目标框，有利于避免因图像采集视野较浅、目标过大等导致的目标跟丢问题，同时，采用多条绊线来进行乘客上车或下车的判定，有利于解决一条绊线判定时人已经过线了才被检测到而产生的客流判定错误问题，从而有利于提高客流统计的准确度。

请参见图7，图7本申请实施例提供的另一种客流统计方法的流程示意图，如图7所示，包括步骤S71-S76：

S71，在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

S72，对所述图像信息进行目标检测，得到乘客的头肩检测框；

S73，基于所述头肩检测框得到待跟踪目标框；

S74，基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

S75，将所述运动轨迹依次覆盖第一绊线、第二绊线的乘客确定为上车乘客，得到站点的上车人数；

S76，将所述述运动轨迹依次覆盖第三绊线、第四绊线的乘客确定为下车乘客，得到站点的下车人数。

其中，步骤S71-S76的具体实施方式在图2-图6所示的实施例中已有相关说明，且能达到相同或相似的有益效果，为避免重复，此处不再赘述。

本申请实施例在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；对所述图像信息进行目标检测，得到乘客的头肩检测框；基于所述头肩检测框得到待跟踪目标框；基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；将所述运动轨迹依次覆盖第一绊线、第二绊线的乘客确定为上车乘客，得到站点的上车人数；将所述述运动轨迹依次覆盖第三绊线、第四绊线的乘客确定为下车乘客，得到站点的下车人数。这样基于乘客的头肩进行检测，并在头肩检测框的基础上重新设定待跟踪目标框，有利于避免因图像采集视野较浅、目标过大等导致的目标跟丢问题，同时，采用两条绊线(即第一绊线、第二绊线)进行上车乘客的判定、两条绊线(即第三绊线。第四绊线)进行下车乘客的判定，有利于解决一条绊线判定时人已经过线了才被检测到而产生的客流判定错误以及人员徘徊带来的重复统计问题，从而有利于提高客流统计的准确度。

基于上述客流统计方法实施例的描述，请参见图8，图8为本申请实施例提供的一种客流统计装置的结构示意图，如图8所示，该装置包括：

图像获取模块81，用于在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

目标检测模块82，用于对所述图像信息进行目标检测，得到乘客的头肩检测框；

目标跟踪模块83，用于基于所述头肩检测框得到待跟踪目标框；

所述目标跟踪模块，还用于基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

客流统计模块84，用于根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

在一种可能的实施方式中，所述多条绊线包括第一绊线、第二绊线、第三绊线及第四绊线；在根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数方面，客流统计模块84具体用于：

将所述运动轨迹依次覆盖所述第一绊线、所述第二绊线的乘客确定为上车乘客，得到站点的上车人数；

将所述述运动轨迹依次覆盖所述第三绊线、所述第四绊线的乘客确定为下车乘客，得到站点的下车人数。

在一种可能的实施方式中，客流统计模块84还用于：

从所述图像信息中提取所述上车乘客经过所述第二绊线时的第一目标图像；

在第一数据库生成所述第一目标图像的第一标识信息，并提取所述上车乘客的第一头肩特征；

将所述第一目标图像、所述第一标识信息、所述第一头肩特征及上车站点关联存储。

在一种可能的实施方式中，客流统计模块84还用于：

从所述图像信息中提取所述下车乘客经过所述第四绊线时的第二目标图像；

在第二数据库生成所述第二目标图像的第二标识信息，并提取所述下车乘客的第二头肩特征；

将所述第二目标图像、所述第二标识信息、所述第二头肩特征及下车站点关联存储。

在一种可能的实施方式中，客流统计模块84还用于：

在所述第二数据库中存在所述第二标识信息的情况下，将所述第二标识信息对应的所述第二头肩特征与所述第一数据库中的所述第一头肩特征进行匹配，以确定出第一目标上车乘客；

在所述第一目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中；

在所述第一目标上车乘客对应的所述第一标识信息存在于所述第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中以替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对。

在一种可能的实施方式中，客流统计模块84还用于：

将所述第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点与所述第二标识信息关联存储至所述第三数据库中；

将所述第二标识信息及对应的所述第二目标图像、所述第二头肩特征及下车站点从所述第二数据库中删除。

在一种可能的实施方式中，在替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对方面，客流统计模块84具体用于：

将所述原匹配对中的所述第二标识信息及该第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点存回所述第二数据库中；

从所述第三数据库中删除所述原匹配对。

在一种可能的实施方式中，客流统计模块84还用于：

获取所述原匹配对中的所述第二标识信息在所述第二数据库中的生成时间；

获取所述第一数据库中在所述生成时间之前入库的所述第一头肩特征；

将所述原匹配对中的所述第二标识信息对应的所述第二头肩特征与所述生成时间之前入库的所述第一头肩特征进行匹配，以确定出第二目标上车乘客；

在所述第二目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述原匹配对中的所述第二标识信息与所述第二目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中。

在一种可能的实施方式中，在对所述图像信息进行目标检测，得到乘客的头肩检测框方面，目标检测模块82具体用于：

基于所述图像信息得到待处理图像；

对所述待处理图像进行下采样；

选取下采样得到的目标特征进行上采样，得到所述待处理图像对应的特征图；

基于所述特征图进行分类预测，得到所述头肩检测框。

在一种可能的实施方式中，在基于所述头肩检测框得到待跟踪目标框方面，目标跟踪模块83具体用于：

以所述头肩检测框的中心为中心确定出m*m的方框；

将所述m*m的方框作为所述待跟踪目标框。

根据本申请的一个实施例，图8所示的客流统计装置的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于客流统计装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的客流统计装置设备，以及来实现本申请实施例的客流统计方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图9，该电子设备至少包括处理器91、输入设备92、输出设备93以及计算机存储介质94。其中，电子设备内的处理器91、输入设备92、输出设备93以及计算机存储介质94可通过总线或其他方式连接。

计算机存储介质94可以存储在电子设备的存储器中，所述计算机存储介质94用于存储计算机程序，所述计算机程序包括程序指令，所述处理器91用于执行所述计算机存储介质94存储的程序指令。处理器91(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，本申请实施例提供的电子设备的处理器91可以用于进行一系列客流统计的处理：

在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

对所述图像信息进行目标检测，得到乘客的头肩检测框；

基于所述头肩检测框得到待跟踪目标框；

基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

再一个实施例中，所述多条绊线包括第一绊线、第二绊线、第三绊线及第四绊线；处理器91执行所述根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数，包括：

将所述运动轨迹依次覆盖所述第一绊线、所述第二绊线的乘客确定为上车乘客，得到站点的上车人数；

将所述述运动轨迹依次覆盖所述第三绊线、所述第四绊线的乘客确定为下车乘客，得到站点的下车人数。

再一个实施例中，处理器91还用于：

从所述图像信息中提取所述上车乘客经过所述第二绊线时的第一目标图像；

在第一数据库生成所述第一目标图像的第一标识信息，并提取所述上车乘客的第一头肩特征；

将所述第一目标图像、所述第一标识信息、所述第一头肩特征及上车站点关联存储。

再一个实施例中，处理器91还用于：

从所述图像信息中提取所述下车乘客经过所述第四绊线时的第二目标图像；

在第二数据库生成所述第二目标图像的第二标识信息，并提取所述下车乘客的第二头肩特征；

将所述第二目标图像、所述第二标识信息、所述第二头肩特征及下车站点关联存储。

再一个实施例中，处理器91还用于：

在所述第二数据库中存在所述第二标识信息的情况下，将所述第二标识信息对应的所述第二头肩特征与所述第一数据库中的所述第一头肩特征进行匹配，以确定出第一目标上车乘客；

在所述第一目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中；

在所述第一目标上车乘客对应的所述第一标识信息存在于所述第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中以替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对。

再一个实施例中，处理器91还用于：

将所述第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点与所述第二标识信息关联存储至所述第三数据库中；

将所述第二标识信息及对应的所述第二目标图像、所述第二头肩特征及下车站点从所述第二数据库中删除。

再一个实施例中，处理器91执行所述替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对，包括：

将所述原匹配对中的所述第二标识信息及该第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点存回所述第二数据库中；

从所述第三数据库中删除所述原匹配对。

再一个实施例中，处理器91还用于：

获取所述原匹配对中的所述第二标识信息在所述第二数据库中的生成时间；

获取所述第一数据库中在所述生成时间之前入库的所述第一头肩特征；

将所述原匹配对中的所述第二标识信息对应的所述第二头肩特征与所述生成时间之前入库的所述第一头肩特征进行匹配，以确定出第二目标上车乘客；

在所述第二目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述原匹配对中的所述第二标识信息与所述第二目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中。

示例性的，上述电子设备可以是服务器、云服务器、计算机主机、服务器集群、分布式***等，电子设备包括但不仅限于处理器91、输入设备92、输出设备93以及计算机存储介质94。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

需要说明的是，由于电子设备的处理器91执行计算机程序时实现上述的客流统计方法中的步骤，因此上述客流统计方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器91加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器91的计算机存储介质。在一个实施例中，可由处理器91加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关客流统计方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器91加载并执行如下步骤：

在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

对所述图像信息进行目标检测，得到乘客的头肩检测框；

基于所述头肩检测框得到待跟踪目标框；

基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

将所述运动轨迹依次覆盖第一绊线、第二绊线的乘客确定为上车乘客，得到站点的上车人数；

将所述述运动轨迹依次覆盖第三绊线、第四绊线的乘客确定为下车乘客，得到站点的下车人数。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

从所述图像信息中提取所述上车乘客经过所述第二绊线时的第一目标图像；

在第一数据库生成所述第一目标图像的第一标识信息，并提取所述上车乘客的第一头肩特征；

将所述第一目标图像、所述第一标识信息、所述第一头肩特征及上车站点关联存储。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

从所述图像信息中提取所述下车乘客经过所述第四绊线时的第二目标图像；

在第二数据库生成所述第二目标图像的第二标识信息，并提取所述下车乘客的第二头肩特征；

将所述第二目标图像、所述第二标识信息、所述第二头肩特征及下车站点关联存储。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

在所述第二数据库中存在所述第二标识信息的情况下，将所述第二标识信息对应的所述第二头肩特征与所述第一数据库中的所述第一头肩特征进行匹配，以确定出第一目标上车乘客；

在所述第一目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中；

在所述第一目标上车乘客对应的所述第一标识信息存在于所述第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中以替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

将所述第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点与所述第二标识信息关联存储至所述第三数据库中；

将所述第二标识信息及对应的所述第二目标图像、所述第二头肩特征及下车站点从所述第二数据库中删除。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

将所述原匹配对中的所述第二标识信息及该第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点存回所述第二数据库中；

从所述第三数据库中删除所述原匹配对。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

获取所述原匹配对中的所述第二标识信息在所述第二数据库中的生成时间；

获取所述第一数据库中在所述生成时间之前入库的所述第一头肩特征；

将所述原匹配对中的所述第二标识信息对应的所述第二头肩特征与所述生成时间之前入库的所述第一头肩特征进行匹配，以确定出第二目标上车乘客；

在所述第二目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述原匹配对中的所述第二标识信息与所述第二目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

基于所述图像信息得到待处理图像；

对所述待处理图像进行下采样；

选取下采样得到的目标特征进行上采样，得到所述待处理图像对应的特征图；

基于所述特征图进行分类预测，得到所述头肩检测框。

再一种示例中，计算机存储介质中的一条或多条指令由处理器91加载时还执行如下步骤：

以所述头肩检测框的中心为中心确定出m*m的方框；

将所述m*m的方框作为所述待跟踪目标框。

示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的客流统计方法中的步骤，因此上述客流统计方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种客流统计方法，其特征在于，所述方法包括：

在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

对所述图像信息进行目标检测，得到乘客的头肩检测框；

基于所述头肩检测框得到待跟踪目标框；

基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数；

所述多条绊线包括第一绊线、第二绊线、第三绊线及第四绊线；所述方法还包括：

从所述图像信息中提取所述上车乘客经过所述第二绊线时的第一目标图像；

在第一数据库生成所述第一目标图像的第一标识信息，并提取所述上车乘客的第一头肩特征；

将所述第一目标图像、所述第一标识信息、所述第一头肩特征及上车站点关联存储；

从所述图像信息中提取所述下车乘客经过所述第四绊线时的第二目标图像；

在第二数据库生成所述第二目标图像的第二标识信息，并提取所述下车乘客的第二头肩特征；

将所述第二目标图像、所述第二标识信息、所述第二头肩特征及下车站点关联存储；

在所述第二数据库中存在所述第二标识信息的情况下，将所述第二标识信息对应的所述第二头肩特征与所述第一数据库中的所述第一头肩特征进行匹配，以确定出第一目标上车乘客；

在所述第一目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中；

在所述第一目标上车乘客对应的所述第一标识信息存在于所述第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中以替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对。

2.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数，包括：

将所述运动轨迹依次覆盖所述第一绊线、所述第二绊线的乘客确定为上车乘客，得到站点的上车人数；

将所述述运动轨迹依次覆盖所述第三绊线、所述第四绊线的乘客确定为下车乘客，得到站点的下车人数。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点与所述第二标识信息关联存储至所述第三数据库中；

将所述第二标识信息及对应的所述第二目标图像、所述第二头肩特征及下车站点从所述第二数据库中删除。

4.根据权利要求1所述的方法，其特征在于，所述替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对，包括：

将所述原匹配对中的所述第二标识信息及该第二标识信息对应的所述第二目标图像、所述第二头肩特征及下车站点存回所述第二数据库中；

从所述第三数据库中删除所述原匹配对。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取所述原匹配对中的所述第二标识信息在所述第二数据库中的生成时间；

获取所述第一数据库中在所述生成时间之前入库的所述第一头肩特征；

将所述原匹配对中的所述第二标识信息对应的所述第二头肩特征与所述生成时间之前入库的所述第一头肩特征进行匹配，以确定出第二目标上车乘客；

在所述第二目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述原匹配对中的所述第二标识信息与所述第二目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中。

6.根据权利要求1所述的方法，其特征在于，所述对所述图像信息进行目标检测，得到乘客的头肩检测框，包括：

基于所述图像信息得到待处理图像；

对所述待处理图像进行下采样；

选取下采样得到的目标特征进行上采样，得到所述待处理图像对应的特征图；

基于所述特征图进行分类预测，得到所述头肩检测框。

7.根据权利要求1所述的方法，其特征在于，所述基于所述头肩检测框得到待跟踪目标框，包括：

以所述头肩检测框的中心为中心确定出m*m的方框；其中，m为小于等于20的正整数；

将所述m*m的方框作为所述待跟踪目标框。

8.一种客流统计装置，其特征在于，所述装置包括：

图像获取模块，用于在车辆停靠站点的时间段，获取预设图像采集区域的图像信息；

目标检测模块，用于对所述图像信息进行目标检测，得到乘客的头肩检测框；

目标跟踪模块，用于基于所述头肩检测框得到待跟踪目标框；

所述目标跟踪模块，还用于基于所述待跟踪目标框对乘客进行光流跟踪，得到乘客的运动轨迹；

客流统计模块，用于根据所述运动轨迹及预设的多条绊线确定站点的上车人数和下车人数；

所述多条绊线包括第一绊线、第二绊线、第三绊线及第四绊线；所述客流统计模块还用于：

从所述图像信息中提取所述上车乘客经过所述第二绊线时的第一目标图像；

在第一数据库生成所述第一目标图像的第一标识信息，并提取所述上车乘客的第一头肩特征；

将所述第一目标图像、所述第一标识信息、所述第一头肩特征及上车站点关联存储；

从所述图像信息中提取所述下车乘客经过所述第四绊线时的第二目标图像；

在第二数据库生成所述第二目标图像的第二标识信息，并提取所述下车乘客的第二头肩特征；

将所述第二目标图像、所述第二标识信息、所述第二头肩特征及下车站点关联存储；

在所述第二数据库中存在所述第二标识信息的情况下，将所述第二标识信息对应的所述第二头肩特征与所述第一数据库中的所述第一头肩特征进行匹配，以确定出第一目标上车乘客；

在所述第一目标上车乘客对应的所述第一标识信息不存在于第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中；

在所述第一目标上车乘客对应的所述第一标识信息存在于所述第三数据库中的情况下，将所述第二标识信息与所述第一目标上车乘客对应的所述第一标识信息作为匹配对存储至所述第三数据库中以替换所述第一目标上车乘客对应的所述第一标识信息在所述第三数据库中所属的原匹配对。

9.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的方法。