CN111325048A - 一种人员聚集检测方法和装置 - Google Patents

Abstract

本申请提供了一种人员聚集检测方法和装置，该方法包括：从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表；根据所述跟踪链表，确定每一待检测目标的移动速度；判断该移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域；将视频流中存在静态区域的图像作为候选聚集图像；当确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像，并统计判断结果为人员聚集图像的个数M；当确定M大于第三预设阈值时，确定发生人员聚集事件。该方法能够提高人员聚集检测的准确性。

Description

一种人员聚集检测方法和装置

技术领域

本发明涉及监控技术领域，特别涉及一种人员聚集检测方法和装置。

背景技术

在现有技术中的视频监控中，当监控场景中出现人员聚集状态时，对监控区域的管理风险和控制难度都会有所增加，需要采用与正常状态不同的方案，对监控场景进行管理。

由于现代视频监控***部署量巨大，摄像机数量众多，在所有监控场景中发现人员聚集现象，需要大量的人力长时间的对所有摄像头进行监视，既耗费人力成本，也容易造成漏报。因此，通过视频分析手段，自动检测监控场景中的发现人员聚集现象就成了智能监控***的需求。

现有实现中提出一种基于视频的人员聚集检测方法。根据连续的视频图像进行监控区域学习，获得监控区域的当前背景图像；对前景图像进行阈值分割获得分割图像，对目标图像进行的连通区域进行像素统计，根据目标图像中各个连通区域的面积和预设阈值面积，判断是否存在人员聚集区域。

该方法通过采用对静态区域图像阈值分割的方法获取聚集区域，聚集判断条件较简单，未充分利用多帧视频的信息，场景适用性较差，在较复杂场景条件下融合产生错误检测，检测的准确率较差。

发明内容

有鉴于此，本申请提供一种人员聚集检测方法和装置，能够提高人员聚集检测的准确性。

为解决上述技术问题，本申请的第一方面提供一种人员聚集检测方法，该方法包括：

从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表；

根据所述跟踪链表，确定每一待检测目标的移动速度；

判断该移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域；

将视频流中存在静态区域的图像作为候选聚集图像；当确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像，并统计判断结果为人员聚集图像的个数M；

当确定M大于第三预设阈值时，确定发生人员聚集事件。

本申请的第二方面提供一种人员聚集检测装置，该装置包括：获取单元、第一确定单元、第二确定单元、第三确定单元、第四确定单元、统计单元和第五确定单元；

所述获取单元，用于从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表；

所述第一确定单元，用于根据所述获取单元获取的跟踪链表，确定每一待检测目标的移动速度；

所述第二确定单元，用于判断所述第一确定单元确定的移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域；

所述第三确定单元，用于将视频流中存在所述第二确定单元确定的静态区域的图像作为候选聚集图像；确定候选聚集图像的数量N是否达到第二预设阈值；

所述第四确定单元，用于当所述第三单元确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像；

所述统计单元，用于统计所述第四确定单元判断结果为人员聚集图像的个数M；

所述第五确定单元，用于当确定所述统计单元统计的M大于第三预设阈值时，确定发生人员聚集事件。

本申请的第三方面提供一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如所述的人员聚集检测方法的步骤。

一种电子设备，包括如上述非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。

本申请中通过静态区域识别和深度学习获得的预设的人员聚集预测模型相结合，对视频图像的多帧图像进行二次识别，充分利用了人员聚集事件发生的过程信息，能够提高人员聚集检测的准确性。

附图说明

图1为本申请实施例中人员聚集检测流程示意图；

图2为本申请实施例中发生聚集事件的位置区域示意图；

图3为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请实施例中提供一种人员聚集检测方法，通过静态区域识别和深度学习获得的预设的人员聚集预测模型相结合，对视频图像的多帧图像进行二次识别，充分利用了人员聚集事件发生的过程信息，能够提高人员聚集检测的准确性。

本申请应用于公共场合、重要区域的人员聚集事件的检测，下面结合附图，详细说明本申请实施例中实现人员聚集检测过程。

为了描述方便，实现人员聚集检测的设备在下文中简称为检测设备。

参见图1，图1为本申请实施例中人员聚集检测流程示意图。具体步骤为：

步骤101，检测设备从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表。

采集视频流可以通过视频监控设备，如摄像头等实时获取监控的场景中的视频图像，并传输给检测设备，检测设备接收视频监控设备发送的视频流并进行存储，即可实时获取视频流。

本步骤中从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表，包括如下两个步骤：

第一步、获取视频流的每一帧图像的前景图像，并获取前景图像中的待检测目标。

该步骤可以通过如下两种方式实现，但不限于如下两种实现方式：

第一种：

可以通过用于前景检测的前景模型从视频流中提取前景目标，从而以该前景目标为目标人员的检测目标。其中，上述背景建模方法可以包括高斯混合模型(GaussianMixture Model)和ViBe(visual background extractor，视觉背景提取)算法等。

第二种：

可以通过已训练的卷积神经网络(Convolutional Neural Network)从上述视频流中提取特征目标，从而以该特征目标为目标人员的检测目标。其中，上述卷积神经网络需预先通过人员特征的训练，可以识别出视频中一帧图像中出现的特征目标，作为一种实施例，可以用人员的肢体对卷积神经网络进行训练，使得后续已训练的卷积神经网络可以从视频流中提取人员的肢体目标，从而获得待检测目标。

第二步、对每一帧图像的前景图像中的每个待检测目标进行跟踪，获取跟踪链表。

在获得待检测目标后，可以跟踪获得的待检测目标，并将跟踪结果记录到跟踪表中。

具体实现时，可以通过卡尔曼滤波、粒子滤波或者多目标跟踪技术等方式对上述检测目标进行跟踪。

在具体实现时，可以使用跟踪链表针对每个检测目标生成一个跟踪表项。也可以使用一个跟踪链表针对一个检测目标生成一个跟踪链表。

本申请实施例中的跟踪链表至少包括：待检测目标的标识、所述待检测目标所处的视频帧的视频帧标识、以及所述待检测目标的历史坐标的映射关系。

待检测目标的历史坐标为检测目标的轮廓对应的外接矩形框的中心点的坐标。

具体实现跟踪链表时，可以通过如下表格的形式实现。参见表1，表1为本申请实施例中跟踪链表所包含的内容。

表1

在表1中给出了待检测目标1在视频帧2、3和8中出现时的历史坐标，各时刻对应的坐标信息，也就是二维坐标信息。如t1时刻的坐标可以为(3，5)等。

步骤102，该检测设备根据所述跟踪链表，确定每一待检测目标的移动速度。

本步骤中根据所述跟踪链表，确定每一待检测目标的移动速度，包括：

根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度。

具体实现时，待检测目标的移动速度可以根据如下公式计算待检测目标的移动速度v[t]：

其中，(x[t],y[t])为在时刻t时该待检测目标在所述跟踪表中的历史坐标，(x[t-T],y[t-T])为在时刻t-T时该检测目标在所述跟踪表中的历史坐标，T为预设时长。

以表1为例，假设t1和t2之间的时间间隔为预设时长T，则在时刻t2时待检测目标1的移动速度v[t2]：

假设待检测目标1在时刻t2(13:45:38)时的坐标为(6,9)，在时刻t1(13:45:36)时的坐标为(3,5)，则在时刻t2时的移动速度确定为：2.5CM/S，这里的位移以CM为单位，实际应用中可以根据实际需要确定移动单位。

本申请实施例中通过在第T时刻开始计算检测目标的移动速度，第T时刻之前的检测目标的移动速度可以忽略不计，T可以根据实际需要配置，为了对速度计算的更精确，可以设置的小一点。

步骤103，该检测设备判断该移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域。

本步骤中根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域，包括：

当一帧图像中存在K个移动速度小于第一预设阈值的K个待检测目标时，将所述K个待检测目标在该帧图像中的并集对应的最大外接矩形框作为该帧图像静态区域，或者直接将所述K个待检测目标在该帧图像中的并集直接作为该帧图像的静态区域。其中，K大于第四预设值，第四预设值的值根据实际需要设备，如5、8等。

参见图2，图2为本申请实施例中静态区域示意图。图2中针对7个检测目标对应的目标区域的并集所对应的外接矩形框作为静态区域，每个检测目标对应的区域也使用矩形框标示，图2中检测目标6和检测目标7对应的区域存在重叠部分。

本申请实施例中存在多个目标的移动速度小区第一预设值时，多个目标对应区域的并集对应的区域才作为静态区域，存在静态区域的图像才会作为候选聚集图像进行二次识别；这样做可以防止频繁进行人员聚集图像的二次识别。

步骤104，该检测设备将视频流中存在静态区域的图像作为候选聚集图像；当确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像，并统计判断结果为人员聚集图像的个数M。

本申请实施例中的人员聚集预测模型是以多张聚集事件的图像和非聚集事件的图像作为样本图像训练得到的，具体训练过程如下：

该人员聚集预测模型由卷积神经网络模型和回归学习模型组成；基于卷积神经网络模型输入一张图像时，输出聚集与非聚集的置信度；在回归学习模型中设置聚集置信度阈值，基于所述回归学习模型可以输入卷积神经网络模型的输出，即聚集与非聚集的置信度；输出该图像是否为人员聚集图像标识，当该聚集的置信度大于聚集置信度阈值时，输出为人员聚集图像标识；否则，输出为非人员聚集图像标识。

其中，聚集置信度阈值可以根据实际需要设置，本申请实施例中不进行限制。

卷积神经网络模型的建立，具体为：

通过将A张聚集事件的图像和B张非聚集事件的图像作为样本数据，在卷积神经网络中进行学习，获得识别聚集与非聚集图像的能力，进而建立卷积神经网络模型。其中，卷积神经网络根据输入的数据和类别标签进行学习，获得识别聚集与非聚集图像的能力。卷积神经网络可采用Googlenet、ResNet、VGG、Alexnet等深度学习网络。

该检测设备当确定候选聚集图像的数量N未达到第二预设阈值时，继续获取候选聚集图像。

其中，M、N根据实际应用环境进行设置，不做具体限制，M为整数，且不大于N、N为大于0的整数。

基于训练好的人员聚集预设模型输入一张图像，可输出该图像是否为人员聚集图像标识。

步骤105，当确定M大于第三预设阈值时，该检测设备确定发生人员聚集事件。

当M不大于第三预设值时，清空当前候选聚集图像，并根据实时采集到的视频流再次获取候选聚集图像。

本申请实施例中当检测设备确定发生人员聚集事件时，所述方法进一步包括：

检测设备发出告警信息，所述告警信息包括发生聚集事件标志，以及发生聚集事件的位置区域。

发生聚集事件标志即显示当前发生聚集事件，具体实现时可以使用文字、使用符号实现，也可以使用红色、黄色等图案实现等，且不限于上述实现方式；

发生聚集事件的位置区域即可以为通过在图像中标示出人员聚集的区域；本申请具体实现时给出但不限于下述表示方式：

选择出聚集的置信度最高的图像作为要显示的图像，并且将该图像中的静态区域显示。

当发出告警时，可以由管理员根据当前实际环境采取对应的预警措施，如报警、警告、疏导等；

也可以在设备上针对告警信息预先配置处理策略，即配置告警信息和处理策略的对应关系；

当发生告警时，使用告警信息与配置的告警信息匹配，若匹配成功，则使用对应的告警信息对应的处理策略进行处理，如报警，通过广播的方式警告、疏导等。

及时告警的实现方式能够快速，及时通知到聚集人员，保证人员的人生安全。

基于同样的发明构思，本申请还提出一种人员聚集检测装置。参见图3，图3为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：获取单元301、第一确定单元302、第二确定单元303、第三确定单元304、第四确定单元305、统计单元306和第五确定单元307；

获取单元301，用于从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表；

第一确定单元302，用于根据获取单元301获取的跟踪链表，确定每一待检测目标的移动速度；

第二确定单元303，用于判断第一确定单元302确定的移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域；

第三确定单元304，用于将视频流中存在第二确定单元303确定的静态区域的图像作为候选聚集图像；确定候选聚集图像的数量N是否达到第二预设阈值；

第四确定单元305，用于当所述第三单元确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像；

统计单元306，用于统计第四确定单元305判断结果为人员聚集图像的个数M；

第五确定单元307，用于当确定统计单元306统计的M大于第三预设阈值时，确定发生人员聚集事件。

较佳地，

获取单元301，具体用于从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表时，包括：获取视频流的每一帧图像的前景图像；对每一帧图像的前景图像中的每个待检测目标进行跟踪，获取跟踪链表。

较佳地，

第一确定单元302，具体用于根据所述跟踪链表，确定每一待检测目标的移动速度时，包括：根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度；其中，所述跟踪链表包括所述待检测目标的标识、所述待检测目标所处的视频帧的视频帧标识、以及所述待检测目标的历史坐标的映射关系。

较佳地，

第一确定单元302，具体用于根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度时，包括：根据如下公式计算待检测目标的移动速度v[t]：

其中，(x[t],y[t])为在时刻t时该待检测目标在所述跟踪表中的历史坐标，(x[t-T],y[t-T])为在时刻t-T时该检测目标在所述跟踪表中的历史坐标，T为预设时长。

较佳地，

第五确定单元307，进一步用于当确定M不大于第三预设值时，清空当前候选聚集图像，并触发获取单元301根据实时采集到的视频流再次获取候选聚集图像。

较佳地，

所述人员聚集预测模型是以多张聚集事件的图像和非聚集事件的图像作为样本图像训练得到的。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

此外，本申请实施例中还提供一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行所述人员聚集检测方法的步骤。

另外，还提供一种电子设备，包括如所述非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。

综上所述，本申请通过静态区域识别和深度学习相结合，对视频图像的多帧图像进行二次识别，充分利用了人员聚集事件发生的过程信息，能够提高人员聚集检测的准确性。

本申请实施例中采用离线深度学习多帧二次识别的方法，充分学习事件发生的过程信息，使事件判断更加准确；

深度学习方法结合静态区域识别的辅助判断，区别于只使用基础信息方法或深度学习方法进行判断，能有效减低误报。同时能输出发生聚集区域的位置，信息输出更丰富，方便于报警的后处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种人员聚集检测方法，其特征在于，该方法包括：

从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表；

根据所述跟踪链表，确定每一待检测目标的移动速度；

判断该移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域；

将视频流中存在静态区域的图像作为候选聚集图像；当确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像，并统计判断结果为人员聚集图像的个数M；

当确定M大于第三预设阈值时，确定发生人员聚集事件。

2.根据权利要求1所述的方法，其特征在于，所述从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表，包括：

获取视频流的每一帧图像的前景图像；

对每一帧图像的前景图像中的每个待检测目标进行跟踪，获取跟踪链表。

3.根据权利要求1所述的方法，其特征在于，所述跟踪链表包括所述待检测目标的标识、所述待检测目标所处的视频帧的视频帧标识、以及所述待检测目标的历史坐标的映射关系；

所述根据所述跟踪链表，确定每一待检测目标的移动速度，包括：

根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度。

4.根据权利要求3所述的方法，其特征在于，所述根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度，包括：

根据如下公式计算待检测目标的移动速度v[t]：

其中，(x[t],y[t])为在时刻t时该待检测目标在所述跟踪表中的历史坐标，(x[t-T],y[t-T])为在时刻t-T时该检测目标在所述跟踪表中的历史坐标，T为预设时长。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当M不大于第三预设值时，清空当前候选聚集图像，并根据实时采集到的视频流再次获取候选聚集图像。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述人员聚集预测模型是以多张聚集事件的图像和非聚集事件的图像作为样本图像训练得到的。

7.一种人员聚集检测装置，其特征在于，该装置包括：

所述获取单元，用于从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表；

所述第一确定单元，用于根据所述获取单元获取的跟踪链表，确定每一待检测目标的移动速度；

所述第二确定单元，用于判断所述第一确定单元确定的移动速度是否小于第一预设阈值，并根据移动速度小于第一预设阈值的多个待检测目标在一帧图像中所对应的多个区域，确定该帧图像的静态区域；

所述第三确定单元，用于将视频流中存在所述第二确定单元确定的静态区域的图像作为候选聚集图像；确定候选聚集图像的数量N是否达到第二预设阈值；

所述第四确定单元，用于当所述第三单元确定候选聚集图像的数量N达到第二预设阈值时，通过预设的人员聚集预测模型判断所述候选聚集图像是否为人员聚集图像；

所述统计单元，用于统计所述第四确定单元判断结果为人员聚集图像的个数M；

所述第五确定单元，用于当确定所述统计单元统计的M大于第三预设阈值时，确定发生人员聚集事件。

8.根据权利要求7所述的装置，其特征在于，

所述获取单元，具体用于从采集到的视频流中提取待检测目标，并跟踪所述待检测目标，获得跟踪链表时，包括：获取视频流的每一帧图像的前景图像；对每一帧图像的前景图像中的每个待检测目标进行跟踪，获取跟踪链表。

9.根据权利要求7所述的装置，其特征在于，

所述第一确定单元，具体用于根据所述跟踪链表，确定每一待检测目标的移动速度时，包括：根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度；其中，所述跟踪链表包括所述待检测目标的标识、所述待检测目标所处的视频帧的视频帧标识、以及所述待检测目标的历史坐标的映射关系。

10.根据权利要求9所述的装置，其特征在于，

所述第一确定单元，具体用于根据所述跟踪表中每一待检测目标的历史坐标，计算预设时长内每一待检测目标的移动速度时，包括：根据如下公式计算待检测目标的移动速度v[t]：

其中，(x[t],y[t])为在时刻t时该待检测目标在所述跟踪表中的历史坐标，(x[t-T],y[t-T])为在时刻t-T时该检测目标在所述跟踪表中的历史坐标，T为预设时长。

11.根据权利要求7所述的装置，其特征在于，

所述第五确定单元，进一步用于当确定M不大于第三预设值时，清空当前候选聚集图像，并触发所述获取单元根据实时采集到的视频流再次获取候选聚集图像。

12.根据权利要求7-11任一项所述的装置，其特征在于，所述人员聚集预测模型是以多张聚集事件的图像和非聚集事件的图像作为样本图像训练得到的。

13.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6中任一项所述的人员聚集检测方法的步骤。

14.一种电子设备，其特征在于，包括如权利要求13所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。

Images