CN111046769A - 一种排队时长检测方法、装置及*** - Google Patents

Abstract

本发明涉及人工智能技术领域，公开了一种排队时长检测方法、装置及***。该方法包括：获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。采用本发明技术方案不但可以实时统计客流排队时间，而且通过人脸特征进行匹配，使得检测结果较为精确，本发明仅需要使用两台视频采集设备配合实现，从而使得***的使用和维护成本不高。

Description

一种排队时长检测方法、装置及***

技术领域

本发明涉及人工智能技术领域，特别涉及一种排队时长检测方法、装置及***。

背景技术

近年来，以卷积神经网络为代表的深度学习技术被广泛应用于各类人工智能任务，例如物体分类、人脸识别、行人身份再识别等。卷积神经网络在这些问题上取得的突破性进展源于其层次化的学习结构所带来的强大表达能力。在客流统计应用场景中，客流排队时间是一个非常重要的参数。由于客流速度未知，估算排队时间有误差。通常根据领域经验设置客流速度，若客流速度改变，往往无法及时更新。

由于客流排队时间是一个十分重要的信息。通过对客流排队时间的估计，可以作出客流疏导的方案。若客流过度拥挤，很容易导致顾客放弃排队，造成成交率下降。在地铁、公园等场所，甚至可能引发***件。

但是，客流排队时间的估计也是一个十分困难的问题。首先，客流的信息很难采集。传统的方式是在进门处放置闸机，统计客流量，进而估算排队时间。其次，顾客在排队的过程中会有各种变动，例如插队、放弃排队等。另外，当客流十分拥挤的情况下，顾客之间存在遮挡的问题，导致获取的信息不完整。

在现有技术的实现过程中，发明人发现现有技术至少存在如下技术问题：

现有技术中客流排队时间检测不够精确，且无法根据实际情况进行实时判断，给出实时排队时间，且需要多台硬件设备配合实现，从而使得***的使用和维护成本较高。

发明内容

本发明的目的在于提供一种排队时长检测方法、装置及***，以克服现有技术中客流排队时间检测不够精确，且无法根据实际情况进行实时判断，给出实时排队时间，且需要多台硬件设备配合实现，从而使得***的使用和维护成本较高的缺陷。

为解决上述技术问题，本发明的实施方式提供了一种排队时长检测方法，包括：

获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；

判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；

如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。

本发明的实施方式还提供了一种排队时长检测装置，包括。

信息获取单元，用于获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；

判断单元，用于判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；

排队时间确定单元，用于如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。

本发明的实施方式还提供了一种排队时长检测***，包括：如上所述排队时长检测装置。

本发明提供的一种排队时长检测方法、装置及***。本发明通过获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。采用本发明技术方案不但可以实时统计客流排队时间，而且通过人脸特征进行匹配，使得检测结果较为精确，本发明仅需要使用两台视频采集设备配合实现，从而使得***的使用和维护成本不高。

附图说明

图1是本发明实施例提供的一种排队时长检测方法流程图；

图2是本发明实施例提供的一种排队时长检测装置结构示意图；

图3是本发明实施例提供的一种排队时长检测方法排队示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种排队时长检测方法。具体流程如图1所示。该方法包括：

101：获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；

102：判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；

103：如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。

其中，所述获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合的步骤，包括：

设置离散时间点差值；

获取待起始点处检测视频图像帧集合及其对应的人脸特征集合；

根据所述离散时间点差值和所述待起始点处检测视频图像帧集合对应的人脸特征集合，确定所述待检测目标点处检测视频图像帧集合对应的人脸特征集合。

其中，所述判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配的步骤，包括：

设置人脸特征集合相似性阈值；

获取所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合的特征向量的集合相似距离；所述集合相似距离包括：改进的豪斯多夫距离，杰卡德距离或奥奇系数。

判断所述集合相似距离是否大于所述人脸特征集合相似性阈值；

如果所述集合相似距离大于所述人脸特征集合相似性阈值，则认为是同一组人的不同抓拍，进行聚类。

其中，该方法包括：

设置修正强度阈值；

根据所述修正强度阈值，获取修正后的当前需要排队的时间。

例如：设排队时间是连续变化的。上述确定的排队时间差为T₀。此前两次计算的时间差为T_-2和T_-1。则修正后的排队时间

T＝(1-α)T₀+α(2×T_-1-T_-2)

其中，α为修正强度阈值，α越大，修正后的排队时间越受之前状态的约束。此处可以设定α＝0.3。增加修正项后，排队时间的估计值更加稳定，排除了少量异常值带来的影响。

基于以上如图1所示的具体实施例，以下设预设图像参数为：预设人脸特征集合相似性阈值为0.2；使用深度学习算法，识别图像中的人脸即识别待起始点处检测视频图像帧集合和待检测目标点处检测视频图像帧集合中的人脸。所述模型提取的人脸特征为一个256维的向量，记为f。对于排队区域如图3所示入口处的第i时刻图像中所有提取的特征集合(待起始点处检测视频图像帧集合)，记为F_i＝{f_i,k|k＝1,2,3...}，k为图像中人脸序号。对于出口处第j时刻图像(即待检测目标点处检测视频图像帧集合中图像)中所有提取的特征集合，记为F'_j＝{f_j,k|k＝1,2,3...}，则所述排队时长检测方法的具体实现过程如图2所示，具体流程如下：

1、计算i时刻和j时刻人脸集合匹配度

对于F_i＝{f_i,k|k＝1,2,3...}和F'_j＝{f_j,k|k＝1,2,3...}，计算人脸集合的距离H。

我们熟知的计算两个集合匹配度的方法为豪斯多夫距离(hausdorff distance)。即：

H(A,B)＝max(h(A,B),h(B,A))

其中：

‖·‖是点集A和点集B间的距离范式(可以是L1或L2距离)，a，b为集合A，B中的特征向量。

豪斯多夫距离可以度量两个点集的距离，但是受异常点影响较大。也就是说，即使F和F'中大部分人都是对应的，只要两个点集中都有异常点，豪斯多夫距离就会是一个很大的值，无法表达F和F'中大部分点距离较近这样的事实。而在实际应用中，这种情况是极有可能出现的。即，当我们匹配两个摄像头拍摄的人脸时，几乎所有时刻都会有不匹配的人。有的人在区域入口的相机中但未被出口相机捕捉到，或者反之。这会对我们的计算带来较大的影响。

因此，提出了一种改进的豪斯多夫距离度量，使之可以准确描述两个点集之间的相似性。

H'(A,B)＝max(h(A,B),h(B,A))

其中

sigmoid函数用于降低异常点带来的影响。因为我们计算两个向量的欧氏距离，||a-b||∈(0,+∞)。即使我们对所有的距离作均值处理，当距离较大时依然会造成不良影响。使用sigmoid进行归一化。

对于某个a∈A，记

则

使用sigmoid的另一个好处是，我们计算得到的H'(A,B)取值范围变成了(0,1)，便于我们下一步设计阈值。

2、时间点采样策略；即设待检测起始点为i，则待检测目标点为j的时间采用方式如下：

两台摄像机实时拍摄数据，因此，每一时刻都有两个集合F和F’。显然，直接暴力匹配两台相机的集合是不现实的，我们设计了一个时间点采样策略，采样两台相机的时刻i和j，比较i和j时刻的集合F和F’的改进豪斯多夫距离。我们指定阈值为0.2，当H'(F,F')小于0.2时，认为i时刻和j时刻匹配，取i-j作为估计的排队时间。

下述时间点采样策略：

例如：每10分钟取定时间点i；

取j分别为时刻i后5s,10s,...,50s；

计算H'(F,F')

若H'(F,F')<0.2,对应时刻i、j即为所求

否则取j分别为时刻i后5m,10m,...,50m；

计算H'(F,F')

若H'(F,F')<0.5,对应j前后每隔1m取一次j，共取10个新的j；

计算H'(F,F')

H'(F,F')取最小值时对应时刻i、j即为所求

排队速度较慢时，即使我们采用稍大的时间间隔，也可以找到和时刻i中的同一群人。因此，我们可以使用较少的计算资源，得到合理的匹配结果。

本发明第二实施方式涉及一种排队时长检测装置，如图2所示，该装置包括：

信息获取单元201，用于获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；

判断单元202，用于判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；

排队时间确定单元203，用于如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。

其中，所述信息获取单元，还用于设置离散时间点差值；获取待起始点处检测视频图像帧集合及其对应的人脸特征集合；根据所述离散时间点差值和所述待起始点处检测视频图像帧集合对应的人脸特征集合，确定所述待检测目标点处检测视频图像帧集合对应的人脸特征集合。

其中，所述判断单元，还用于设置人脸特征集合相似性阈值；获取所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合的特征向量的集合相似距离；判断所述集合相似距离是否大于所述人脸特征集合相似性阈值；如果所述集合相似距离大于所述人脸特征集合相似性阈值，则认为是同一组人的不同抓拍，进行聚类。

其中，该装置还包括：

阈值设置单元，用于设置修正强度阈值；

修正单元，用于根据所述修正强度阈值，获取修正后的当前需要排队的时间。

本发明第三实施方式涉及一种排队时长检测***，该***包括：如上所述排队时长检测装置。

本发明提供的一种排队时长检测方法、装置及***。本发明通过获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。采用本发明技术方案不但可以实时统计客流排队时间，而且通过人脸特征进行匹配，使得检测结果较为精确，本发明仅需要使用两台视频采集设备配合实现，从而使得***的使用和维护成本不高。

不难发现，以上第一实施方式为与第二实施方式相对应的装置实施例，第二实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种排队时长检测方法，其特征在于，包括：

获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；

判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；

如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。

2.根据权利要求1所述的排队时长检测方法，其特征在于，所述获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合的步骤，包括：

设置离散时间点差值；

获取待起始点处检测视频图像帧集合及其对应的人脸特征集合；

根据所述离散时间点差值和所述待起始点处检测视频图像帧集合对应的人脸特征集合，确定所述待检测目标点处检测视频图像帧集合对应的人脸特征集合。

3.根据权利要求2所述的排队时长检测方法，其特征在于，判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配的步骤，包括：

设置人脸特征集合相似性阈值；

获取所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合的特征向量的集合相似距离；

判断所述集合相似距离是否大于所述人脸特征集合相似性阈值；

如果所述两个集合的集合相似距离大于所述人脸特征集合相似性阈值，则认为是两个人脸特征集合是同一组人。

4.根据权利要求1-3中任意一项所述的排队时长检测方法，其特征在于，该方法包括：

设置修正强度阈值；

根据所述修正强度阈值，获取修正后的当前需要排队的时间。

5.一种排队时长检测装置，其特征在于，包括：

信息获取单元，用于获取待起始点处检测视频图像帧集合及其对应的人脸特征集合和待检测目标点处检测视频图像帧集合及其对应的人脸特征集合；

判断单元，用于判断所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合是否匹配；

排队时间确定单元，用于如果匹配，则获取所述待检测目标点与所述待起始点之间的时间差，确定当前需要排队的时间。

6.根据权利要求5所述的排队时长检测装置，其特征在于，所述信息获取单元，还用于设置离散时间点差值；获取待起始点处检测视频图像帧集合及其对应的人脸特征集合；根据所述离散时间点差值和所述待起始点处检测视频图像帧集合对应的人脸特征集合，确定所述待检测目标点处检测视频图像帧集合对应的人脸特征集合。

7.根据权利要求6所述的排队时长检测装置，其特征在于，所述判断单元，还用于设置人脸特征集合相似性阈值；获取所述待检测目标点处检测视频图像帧集合对应的人脸特征集合与所述待起始点处检测视频图像帧集合对应的人脸特征集合的特征向量的集合相似距离；判断所述集合相似距离是否大于所述人脸特征集合相似性阈值；如果所述两个集合的集合相似距离大于所述人脸特征集合相似性阈值，则认为是两个人脸特征集合是同一组人。

8.根据权利要求5-7中任意一项所述的排队时长检测装置，其特征在于，该装置包括：

阈值设置单元，用于设置修正强度阈值；

修正单元，用于根据所述修正强度阈值，获取修正后的当前需要排队的时间。

9.一种排队时长检测***，其特征在于，如权利要求5-8中任意一项所述排队时长检测装置。

Images