CN110390226B - 人群事件识别方法、装置、电子设备及*** - Google Patents

Abstract

本发明公开了一种人群事件识别方法、装置、电子设备及***，属于人群事件识别领域。所述方法包括：获取目标区域的监控视频；从监控视频中获取至少一个目标监控图像组，每个目标监控图像组包括连续的多个监控视频帧；通过预设的人群事件模型对每个目标监控图像组进行人群事件识别，人群事件模型根据多个人群事件图像组训练得到，每个人群事件图像组包括反映人群事件发生过程的多幅人群事件图像；根据识别结果确定目标区域是否出现人群事件。本发明能够提高人群事件识别的准确性。

Description

人群事件识别方法、装置、电子设备及***

技术领域

本发明涉及人群事件识别领域，特别涉及一种人群事件识别方法、装置、电子设备及***。

背景技术

随着经济的快速发展以及人们社会活动的不断增加，交通枢纽、大型商场和大型活动现场等公共场所发生人群事件的可能性越来越高。所谓人群事件指的是人群突然大量聚集或人群突然大量分散的事件。人群事件很可能是由于突发公共安全事件引起的，并很容易导致踩踏等安全事故。例如，当发生恐怖袭击等公共安全事件时，很可能会出现人群突然大量分散的人群事件，而当发生人群突然大量聚集的人群事件时，人群事件很可能会演变成踩踏等安全事故。因此，准确识别人群事件在快速处置突发公共安全事件以及避免踩踏等安全事故方面有着重要的意义。

相关技术中，在识别人群事件时，可以每隔一段时间从监控视频中获取一个监控视频帧，并获取该监控视频帧对应的人群密度图，其中，人群密度图可以反映行人的密度，当该人群密度图反映的行人的密度较高时，即可认为发生了人群事件。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

一个监控视频帧对应的人群密度图反映的信息较为单一，采用该人群密度图来识别人群事件容易导致人群事件的识别准确率较低。

发明内容

本发明实施例提供了一种人群事件识别方法、装置、电子设备及***，能够提高人群事件识别的准确率。所述技术方案如下：

第一方面，提供了一种人群事件识别方法，所述方法包括：

获取目标区域的监控视频；

从所述监控视频中获取至少一个目标监控图像组，每个所述目标监控图像组包括连续的多个监控视频帧；

通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别，所述人群事件模型根据多个人群事件图像组训练得到，每个所述人群事件图像组包括反映人群事件发生过程的多幅人群事件图像；

根据识别结果确定所述目标区域是否出现人群事件。

可选的，所述监控视频包括多个监控图像组，每个所述监控图像组包括连续的多个监控视频帧，每个所述监控视频帧包括行人的图像，所述从所述监控视频中获取至少一个目标监控图像组，包括：

对于每个所述监控图像组，获取所述监控图像组的每个监控视频帧中的行人的图像；

根据所述每个监控视频帧中的行人的图像，判断所述行人的位置变化是否满足预设条件，所述预设条件为反映行人会聚或分散的位置变化条件；

当所述位置变化满足所述预设条件时，将所述监控图像组获取为所述目标监控图像组。

可选的，所述根据所述每个监控视频帧中的行人的图像，判断所述行人的位置变化是否满足预设条件，包括：

采用相同的生成方式，为所述监控图像组的多个监控视频帧分别生成行人直方图，其中，每个所述监控视频帧在第一方向上等间距划分为多个区域，每个所述行人直方图包括多个矩形条，所述多个矩形条在第一轴上的位置与对应的监控视频帧的多个区域一一对应，每个所述矩形条在第二轴上的长度表示对应的区域中行人图像的像素值之和，所述第一轴和所述第二轴相互垂直；

从每个所述行人直方图中确定中央矩形条和边缘矩形条，得到多个中央矩形条和多个边缘矩形条；

根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件。

可选的，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件，包括：

当所述多个中央矩形条的长度逐渐增加且所述多个边缘矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

可选的，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述多个运动行人的位置变化是否满足所述预设条件，包括：

当所述多个边缘矩形条的长度逐渐增加且所述多个中央矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

可选的，每个所述监控视频帧在第一方向上以目标长度为划分单位等间距划分为多个区域，所述目标长度为像素在所述第一方向上的长度，所述第一方向为行方向或列方向。

可选的，所述通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别，包括：

对于每个所述目标监控图像组，获取所述目标监控图像组中每个监控视频帧对应的第一人群密度图，得到多幅第一人群密度图；

获取所述目标监控图像组包括的多个监控视频帧中行人的图像对应的第一光流图；

通过所述人群事件模型，基于所述多幅第一人群密度图和所述第一光流图对所述目标监控图像组进行人群事件识别。

可选的，所述通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别之前，所述方法还包括：

对于所述多个人群事件图像组中每个人群事件图像组，获取所述人群事件图像组中每幅人群事件图像所对应的第二人群密度图，以得到多幅第二人群密度图；

获取所述人群事件图像组包括的多幅人群事件图像中行人的图像所对应的第二光流图；

基于所述多幅第二人群密度图和所述第二光流图进行模型训练，以得到所述人群事件模型。

可选的，所述人群事件模型为卷积神经网络模型。

第二方面，提供了一种人群事件识别装置，所述装置包括：

视频获取模块，用于获取目标区域的监控视频；

图像组获取模块，用于从所述监控视频中获取至少一个目标监控图像组，每个所述目标监控图像组包括连续的多个监控视频帧；

识别模块，用于通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别，所述人群事件模型根据多个人群事件图像组训练得到，每个所述人群事件图像组包括反映人群事件发生过程的多幅人群事件图像；

确定模块，用于根据识别结果确定所述目标区域是否出现人群事件。

可选的，所述监控视频包括多个监控图像组，每个所述监控图像组包括连续的多个监控视频帧，每个所述监控视频帧包括行人的图像，所述图像组获取模块，用于：

对于每个所述监控图像组，获取所述监控图像组的每个监控视频帧中的行人的图像；

根据所述每个监控视频帧中的行人的图像，判断所述行人的位置变化是否满足预设条件，所述预设条件为反映行人会聚或分散的位置变化条件；

当所述位置变化满足所述预设条件时，将所述监控图像组获取为所述目标监控图像组。

可选的，所述图像组获取模块，用于：

采用相同的生成方式，为所述监控图像组的多个监控视频帧分别生成行人直方图，其中，每个所述监控视频帧在第一方向上等间距划分为多个区域，每个所述行人直方图包括多个矩形条，所述多个矩形条在第一轴上的位置与对应的监控视频帧的多个区域一一对应，每个所述矩形条在第二轴上的长度表示对应的区域中行人图像的像素值之和，所述第一轴和所述第二轴相互垂直；

从每个所述行人直方图中确定中央矩形条和边缘矩形条，得到多个中央矩形条和多个边缘矩形条；

根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件。

可选的，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述图像组获取模块，用于：

当所述多个中央矩形条的长度逐渐增加且所述多个边缘矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

可选的，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述图像组获取模块，用于：

当所述多个边缘矩形条的长度逐渐增加且所述多个中央矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

可选的，每个所述监控视频帧在第一方向上以目标长度为划分单位等间距划分为多个区域，所述目标长度为像素在所述第一方向上的长度，所述第一方向为行方向或列方向。

可选的，所述识别模块，用于：

对于每个所述目标监控图像组，获取所述目标监控图像组中每个监控视频帧对应的第一人群密度图，得到多幅第一人群密度图；

获取所述目标监控图像组包括的多个监控视频帧中行人的图像对应的第一光流图；

通过所述人群事件模型，基于所述多幅第一人群密度图和所述第一光流图对所述目标监控图像组进行人群事件识别。

可选的，所述装置还包括训练模块，所述训练模块，用于：

对于所述多个人群事件图像组中每个人群事件图像组，获取所述人群事件图像组中每幅人群事件图像所对应的第二人群密度图，以得到多幅第二人群密度图；

获取所述人群事件图像组包括的多幅人群事件图像中行人的图像所对应的第二光流图；

基于所述多幅第二人群密度图和所述第二光流图进行模型训练，以得到所述人群事件模型。

可选的，所述人群事件模型为卷积神经网络模型。

第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，其中，所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器中存放的程序，以实现上述第一方面任一所述的人群事件识别方法。

第四方面，提供了一种人群事件识别***，所述人群事件识别***包括如上述第二方面任一所述的人群事件识别装置和监控设备

本发明实施例提供的技术方案带来的有益效果是：

通过从目标区域的监控视频中获取至少一个目标监控图像组，并利用预设的人群事件模型对每一个目标监控图像组进行人群事件识别，以根据识别结果确定目标区域是否出现人群事件，其中，每个目标监控图像组包括连续的多个监控视频帧，由于人群事件的发生与一段时间内人群的运动状况有关，而连续的多个监控视频帧可以反映一段时间内目标区域中行人的位置变化，从而反映一段时间内目标区域中人群的运动状况，因此，利用连续的多个监控视频帧进行人群事件识别可以提高人群事件识别的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种人群密度图。

图2A是本发明实施例提供的一种实施环境的示意图。

图2B是本发明实施例提供的一种实施环境的示意图。

图3是本发明实施例提供的一种人群事件识别方法的流程图。

图4A是本发明实施例提供的一种人群事件识别方法的流程图。

图4B是本发明实施例提供的一种直方图。

图5是本发明实施例提供的一种人群事件识别装置的框图。

图6是本发明实施例提供的一种人群事件识别装置的框图。

图7是本发明实施例提供的一种电子设备的框图。

图8是本发明实施例提供的一种人群事件识别***的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

人群事件识别在快速处置突发公共安全事件以及避免发***等安全事故方面有着重要的意义。

现有技术中，在针对某一区域进行人群事件识别时，服务器可以每隔一段时间从该区域的监控视频中获取一个监控视频帧。而后，服务器可以获取该监控视频帧对应的人群密度图，其中，人群密度图可以反映该区域中行人的密度。图1为一个示例性的人群密度图，如图1所示，该人群密度图为灰度图，其采用像素的灰度值大小来表征人群的密度大小，灰度值越大人群的密度越大，灰度值越小人群的密度越小。在获取了该监控视频帧对应的人群密度图后，服务器可以确定该人群密度图反映的该区域中行人的密度是否高于预设密度阈值，当该人群密度图反映的该区域中行人的密度高于预设密度阈值时，服务器即可确定该区域发生了人群事件。

然而，一个监控视频帧对应的人群密度图反映的信息较为单一，因此，采用该人群密度图来识别人群事件容易导致人群事件的识别准确率较低。

本发明实施例提供了一种人群事件识别方法，可以解决上述问题，图2A为该人群事件识别方法所涉及到的一种实施环境的示意图，如图2A所示，该实施环境可以包括监控设备101和服务器102，监控设备101可以通过有线或无线的方式与服务器102进行通信。监控设备101可以为监控摄像机，服务器102可以为一台服务器，也可以为由多台服务器组成的服务器集群，本发明实施例对此不做具体限定。

图2B为该人群事件识别方法所涉及到的另一种实施环境的示意图，如图2B所示，该实施环境可以包括监控设备103，该监控设备103可以为监控摄像机。

图3为本发明实施例提供的一种人群事件识别方法的流程图，该人群事件识别方法可以应用于图2A或图2B所示的实施环境中，该人群事件识别方法可以由图2A中的服务器102或监控设备101执行，也可以由图2B中的监控设备103执行，其中，本发明实施例仅以由服务器进行执行来进行说明，由监控设备进行执行的技术过程与之同理，本发明实施例在此不再赘述。如图3所示，该人群事件识别方法可以包括以下步骤：

步骤301、服务器获取目标区域的监控视频。

步骤302、服务器从该监控视频中获取至少一个目标监控图像组，每个目标监控图像组包括连续的多个监控视频帧。

步骤303、服务器通过预设的人群事件模型对每个目标监控图像组进行人群事件识别，其中，该人群事件模型根据多个人群事件图像组训练得到，每个人群事件图像组包括反映人群事件发生过程的多幅人群事件图像。

步骤304、服务器根据识别结果确定目标区域是否出现人群事件。

综上所述，本发明实施例提供的人群事件识别方法，通过从目标区域的监控视频中获取至少一个目标监控图像组，并利用预设的人群事件模型对每一个目标监控图像组进行人群事件识别，以根据识别结果确定目标区域是否出现人群事件，其中，每个目标监控图像组包括连续的多个监控视频帧，由于人群事件的发生与一段时间内人群的运动状况有关，而连续的多个监控视频帧可以反映一段时间内目标区域中行人的位置变化，从而反映一段时间内目标区域中人群的运动状况，因此，利用连续的多个监控视频帧，也即是利用目标监控图像组进行人群事件识别可以提高人群事件识别的准确度。

图4A为本发明实施例提供的另一种人群事件识别方法的流程图，该人群事件识别方法可以应用于图2A或图2B所示的实施环境中，该人群事件识别方法可以由图2A中的服务器102或监控设备101执行，也可以由图2B中的监控设备103执行，其中，本发明实施例仅以由服务器进行执行来进行说明，由监控设备进行执行的技术过程与之同理，本发明实施例在此不再赘述，如图4A所示，该人群事件识别方法可以包括以下步骤：

步骤401、服务器获取目标区域的监控视频。

在本发明实施例中，服务器可以实时地或周期性地与目标区域中架设的监控设备进行通信，以获取该监控设备所拍摄的监控视频，从而在后续步骤中根据该监控视频进行人群事件识别，以确定该目标区域是否发生了人群事件。

需要指出的是，上述目标区域可以为技术人员预先设置的区域，该目标区域可以为交通枢纽、大型商场或大型活动现场等人流量较大的公共场所。

步骤402、服务器从目标区域的监控视频中获取至少一个目标监控图像组。

目标区域的监控视频可以包括多个监控图像组，其中，每个监控图像组可以包括连续的多个监控视频帧，且，每个监控视频帧均可以包括行人的图像(也可以称为前景图像或运动目标图像)。

在步骤402中，服务器可以将该监控视频包括的所有监控图像组均获取为目标监控图像组，从而获取到多个目标监控图像组。

在本发明的一个实施例中，服务器也可以从该监控视频包括的多个监控图像组中确定至少一个监控图像组，并将确定的至少一个监控图像组获取为至少一个目标监控图像组，在这种情况下，目标监控图像组包括的多个连续的监控视频帧可以为疑似人群事件对应的监控视频帧，后续步骤中服务器可以根据该至少一个目标监控图像组进行人群事件识别，这样，服务器在后续步骤中可以仅根据疑似人群事件对应的监控视频帧组成的目标监控图像组进行人群事件识别，而不需要根据监控视频包括的所有监控图像组进行人群事件识别，从而可以减轻服务器的运算负担。

下面，本发明实施例将对服务器从该监控视频包括的多个监控图像组中获取至少一个目标监控图像组的技术过程进行说明：

对于监控视频包括的每个监控图像组而言，服务器可以采用帧差法或背景建模法等方式获取该监控图像组的每个监控视频帧中的行人的图像，而后，服务器可以根据获取到的每个监控视频帧中的行人的图像，判断行人的位置变化是否满足预设条件，当行人的位置变化满足预设条件时，服务器可以将该监控图像组获取为目标监控图像组。上述预设条件为反映行人会聚或分散的位置变化条件。

其中，对于监控视频包括的每个监控图像组而言，服务器根据该监控图像组的每个监控视频帧中的行人的图像，判断行人的位置变化是否满足预设条件的技术过程可以包括以下子步骤：

A1、服务器将该监控图像组的每个监控视频帧划分为多个区域。

可选的，服务器可以将每个监控视频帧在第一方向上等间距地划分为多个区域，其中，划分的间距可以为目标长度，该目标长度可以为一个像素或多个像素在第一方向上的长度，该第一方向可以为监控视频帧的行方向或列方向。换句话说，服务器可以将每个监控视频帧划分为多个条状区域，其中，每个条状区域可以包括至少一个像素行或至少一个像素列。

B1、对于每个监控视频帧而言，服务器可以获取该监控视频帧包括的每个区域中行人图像的像素值之和。

例如，某一监控视频帧中的某个区域可以为该某一监控视频帧的像素行a，该像素行a包括n(n为大于1的正整数)个像素，该n个像素中的m(m为大于或等于0的自然数)个像素为行人图像中的像素，其余像素为背景图像中的像素，则在步骤B1中，服务器可以将该m个像素的像素值相加，以得到该某个区域中行人图像的像素值之和。

C1、服务器采用相同的生成方式为每个监控视频帧对应生成一个行人直方图。

其中，每个行人直方图均可以包括多个矩形条，该多个矩形条在第一轴上的位置与对应的监控视频帧的多个区域一一对应，且，该多个矩形条在第一轴上的排列顺序与对应的监控视频帧的多个区域在第一方向上的排列顺序相同，每个矩形条在第二轴上的长度表示对应的区域中行人图像的像素值之和。其中，第一轴和第二轴相互垂直，上述第一轴可以为x轴，第二轴可以为y轴；或者，上述第一轴可以为y轴，第二轴可以为x轴。

图4B所示为一个示例性的行人直方图，该行人直方图与监控视频帧z对应，其中，监控视频帧z可以包括p个区域，且每个区域为监控视频帧z的一个像素列。如图4B所示，该行人直方图包括p个矩形条，该p个矩形条在x轴上的位置与监控视频帧z包括的p个区域一一对应，该p个矩形条在x轴上的排列顺序与监控视频帧z的p个区域在行方向上的排列顺序相同，该p个矩形条中每个矩形条在y轴上的长度表示对应的区域中行人图像的像素值之和。例如，该p个矩形条中的第k个矩形条与监控视频帧z包括的p个区域中的第k个区域对应(该第k个区域为该监控视频帧z的第k个像素列)，该第k个矩形条在y轴上的长度表示监控视频帧z的第k个像素列中行人图像的像素值之和。

D1、服务器根据该监控图像组包括的多个监控视频帧所对应的多个行人直方图判断行人的位置变化是否满足预设条件。

服务器可以从上述多个行人直方图中的每个行人直方图中确定中央矩形条和边缘矩形条，从而得到多个中央矩形条和多个边缘矩形条，其中，中央矩形条指的是在第一轴上的位置处于中央区域的矩形条，边缘矩形条指的是在第一轴上的位置处于边缘区域的矩形条。需要指出的是，服务器从每个行人直方图中确定的中央矩形条在第一轴上的位置相同，且，服务器从每个行人直方图中确定的边缘矩形条在第一轴上的位置也相同。在获取了多个中央矩形条和多个边缘矩形条之后，服务器可以根据多个中央矩形条和多个边缘矩形条的长度变化情况判断行人的位置变化是否满足预设条件。

可选的，服务器根据多个中央矩形条和多个边缘矩形条的长度变化情况判断行人的位置变化是否满足预设条件的技术过程可以包括以下子步骤：

A2、服务器按照该监控图像组中多个监控视频帧的排列顺序排列该多个中央矩形条和该多个边缘矩形条。

在排列后，每个中央矩形条在该多个中央矩形条中的排序与该中央矩形条对应的行人直方图所对应的监控视频帧在该监控图像组包括的多个监控视频帧中的排序相同，且，每个边缘矩形条在该多个边缘矩形条中的排序与该边缘矩形条对应的行人直方图所对应的监控视频帧在该监控图像组包括的多个监控视频帧中的排序相同。

B2、服务器按照该多个中央矩形条的排序确定该多个中央矩形条的长度变化情况。

C2、服务器按照该多个边缘矩形条的排序确定该多个边缘矩形条的长度变化情况。

D2、服务器根据该多个中央矩形条和该多个边缘矩形条的长度变化情况判断行人的位置变化是否满足预设条件。

可选的，当该多个中央矩形条的长度逐渐增加且该多个边缘矩形条的长度逐渐减小时，说明行人逐渐会聚，此时服务器可以确定行人的位置变化满足反映行人会聚的预设条件。或者，当该多个边缘矩形条的长度逐渐增加且该多个中央矩形条的长度逐渐减小时，说明行人逐渐分散，此时服务器可以确定行人的位置变化满足反映行人分散的预设条件。

步骤403、服务器通过预设的人群事件模型对每个目标监控图像组进行人群事件识别。

需要指出的是，上述人群事件模型可以为卷积神经网络模型，例如，该人群事件模型可以为谷歌卷积神经网络或残差卷积神经网络等。

下面，本发明实施例将以服务器对至少一个目标监控图像组中的第一目标监控图像组进行人群事件识别为例对步骤403的技术过程进行说明，该技术过程可以包括以下子步骤：

A3、服务器获取第一目标监控图像组中每个监控视频帧对应的第一人群密度图，得到多幅第一人群密度图。

服务器获取监控视频帧对应的人群密度图的方式可以有许多种，例如：在一种可能的方式中，服务器可以将监控视频帧划分为不同的区域，并计算每个区域所包含的行人图像的个数，而后服务器可以基于每个区域内行人图像的个数确定该区域对应的灰度值或颜色值，继而服务器可以根据每个区域对应的灰度值或颜色值生成人群密度图像；在另一种可能的方式中，服务器可以确定监控视频帧包括的每个行人图像，对于每个行人图像而言，服务器可以以该行人图像的一点为圆心以预设值为半径确定一个热度区域，从而得到多个热度区域，服务器可以为每个热度区域设置初始灰度值或初始像素值，而后，服务器可以确定交叉区域，该交叉区域与至少两个热度区域对应，该交叉区域为对应的至少两个热度区域重合的区域，服务器可以根据该交叉区域对应的热度区域的个数改变该交叉区域的像素值或颜色值，从而最终得到人群密度图。

B3、服务器获取第一目标监控图像组包括的多个监控视频帧中行人的图像对应的第一光流图。

其中，第一光流图可以为行人的图像中各个像素点的运动矢量图。

可选的，服务器可以获取该多个监控视频帧的第t个监控视频帧中行人的图像包括的各个像素点，对于每一个像素点而言，服务器可以遍历第t+1个监控视频帧的行人的图像，并从该第t+1个监控视频帧的行人的图像中获取与该像素点的相似度大于预设阈值的目标像素点，而后，服务器可以基于该像素点在图像坐标系中的坐标值和该目标像素点在图像坐标系中的坐标值，确定该像素点在第t个监控视频帧和第t+1个监控视频帧之间的运动矢量，服务器可以根据行人的图像中的每一个像素点的运动矢量生成第一光流图。

C3、服务器通过人群事件模型，基于多幅第一人群密度图和第一光流图进行人群事件识别。

服务器可以将该第一光流图和多幅第一人群密度图输入至人群事件模型中，该人群事件模型可以根据该第一光流图和多幅第一人群密度图进行相应的识别运算，并输出运算结果，服务器可以根据该运算结果确定该第一目标监控图像组包括的多个监控视频帧是否为人群事件对应的监控视频帧。

需要说明的是，上述人群事件模型可以根据多个人群事件图像组训练得到，其中，每个人群事件图像组包括反映人群事件发生过程的多幅人群事件图像。

下面本发明实施例将对人群事件模型的训练过程进行简要说明：

对于上述多个人群事件图像组中的每个人群事件图像组，服务器可以获取该人群事件图像组中每幅人群事件图像所对应的第二人群密度图，以得到多幅第二人群密度图，其中，获取多幅第二人群密度图的技术过程与上文所述的获取多幅第一人群密度图的技术过程同理，本发明实施例不再赘述。服务器还可以获取该人群事件图像组包括的多幅人群事件图像中行人的图像所对应的第二光流图，其中，获取第二光流图的技术过程与上文所述的获取第一光流图的技术过程同理，本发明实施例不再赘述。服务器基于该多幅第二人群密度图和该第二光流图进行模型训练，以得到人群事件模型。

步骤404、服务器根据识别结果确定目标区域是否出现人群事件。

当上述至少一个目标监控图像组中的任一个目标监控图像组包括的多个监控视频帧为人群事件对应的监控视频帧时，服务器可以确定目标区域出现了人群事件。

步骤405、在确定目标区域出现了人群事件时，服务器进行响应。

在本发明的一个实施例中，当服务器确定目标区域出现了人群事件后，服务器可以向指定终端发送报警信息，以使拥有该指定终端的工作人员可以对人群事件进行快速响应。

需要指出的是，当由监控设备执行上述人群事件识别方法时，在步骤405中，该监控设备可以在确定目标区域出现了人群事件时，向服务器发送响应指令，服务器在接收到该响应指令后，可以进行相应地响应，例如，服务器可以向指定终端发送报警信息，以使拥有该指定终端的工作人员可以对人群事件进行快速响应。

或者，在步骤405中，该监控设备可以在确定目标区域出现了人群事件时，进行相应地响应，例如，监控设备可以向指定终端发送报警信息，以使拥有该指定终端的工作人员可以对人群事件进行快速响应。在这种情况下，监控设备中可以安装有通信模块，以使监控设备可以通过该通信模块向指定终端发送报警信息。

综上所述，本发明实施例提供的人群事件识别方法，通过从目标区域的监控视频中获取至少一个目标监控图像组，并利用预设的人群事件模型对每一个目标监控图像组进行人群事件识别，以根据识别结果确定目标区域是否出现人群事件，其中，每个目标监控图像组包括连续的多个监控视频帧，由于人群事件的发生与一段时间内人群的运动状况有关，而连续的多个监控视频帧可以反映一段时间内目标区域中行人的位置变化，从而反映一段时间内目标区域中人群的运动状况，因此，利用连续的多个监控视频帧，也即是利用目标监控图像组进行人群事件识别可以提高人群事件识别的准确度。

图5为本发明实施例提供的一种人群事件识别装置500的框图，如图5所示，该人群事件识别装置500可以包括：视频获取模块501、图像组获取模块502、识别模块503和确定模块504。

其中，该视频获取模块501，用于获取目标区域的监控视频。

该图像组获取模块502，用于从该监控视频中获取至少一个目标监控图像组，每个该目标监控图像组包括连续的多个监控视频帧。

该识别模块503，用于通过预设的人群事件模型对每个该目标监控图像组进行人群事件识别，该人群事件模型根据多个人群事件图像组训练得到，每个该人群事件图像组包括反映人群事件发生过程的多幅人群事件图像。

该确定模块504，用于根据识别结果确定该目标区域是否出现人群事件。

在本发明的一个实施例中，该监控视频包括多个监控图像组，每个该监控图像组包括连续的多个监控视频帧，每个该监控视频帧包括行人的图像，该图像组获取模块502，用于：对于每个该监控图像组，获取该监控图像组的每个监控视频帧中的行人的图像；根据该每个监控视频帧中的行人的图像，判断该行人的位置变化是否满足预设条件，该预设条件为反映行人会聚或分散的位置变化条件；当该位置变化满足该预设条件时，将该监控图像组获取为该目标监控图像组。

在本发明的一个实施例中，该图像组获取模块502，用于采用相同的生成方式，为该监控图像组的多个监控视频帧分别生成行人直方图，其中，每个该监控视频帧在第一方向上等间距划分为多个区域，每个该行人直方图包括多个矩形条，该多个矩形条在第一轴上的位置与对应的监控视频帧的多个区域一一对应，每个该矩形条在第二轴上的长度表示对应的区域中行人图像的像素值之和，该第一轴和该第二轴相互垂直；从每个该行人直方图中确定中央矩形条和边缘矩形条，得到多个中央矩形条和多个边缘矩形条；根据该多个中央矩形条和该多个边缘矩形条的长度变化情况判断该行人的位置变化是否满足该预设条件。

在本发明的一个实施例中，该多个中央矩形条和该多个边缘矩形条的排布顺序与该监控图像组的多个监控视频帧的获取顺序一致，该图像组获取模块502，用于在该多个中央矩形条的长度逐渐增加且该多个边缘矩形条的长度逐渐减小时，确定该行人的位置变化满足该预设条件。

在本发明的一个实施例中，该图像组获取模块502，用于在该多个边缘矩形条的长度逐渐增加且该多个中央矩形条的长度逐渐减小时，确定该行人的位置变化满足该预设条件。

在本发明的一个实施例中，每个监控视频帧在第一方向上以目标长度为划分单位等间距划分为多个区域，该目标长度为像素在该第一方向上的长度，该第一方向为行方向或列方向。

在本发明的一个实施例中，该识别模块503，用于：对于每个该目标监控图像组，获取该目标监控图像组中每个监控视频帧对应的第一人群密度图，得到多幅第一人群密度图；获取该目标监控图像组包括的多个监控视频帧中行人的图像对应的第一光流图；通过该人群事件模型，基于该多幅第一人群密度图和该第一光流图对该目标监控图像组进行人群事件识别。

在本发明的一个实施例中，该人群事件模型为卷积神经网络模型。

本发明实施例还提供了另一种人群事件识别装置600，该人群事件识别装置600除了包括人群事件识别装置500包括的各个模块外，还可以包括训练模块505。

其中，该训练模块505，用于：对于该多个人群事件图像组中每个人群事件图像组，获取该人群事件图像组中每幅人群事件图像所对应的第二人群密度图，以得到多幅第二人群密度图；获取该人群事件图像组包括的多幅人群事件图像中行人的图像所对应的第二光流图；基于该多幅第二人群密度图和该第二光流图进行模型训练，以得到该人群事件模型。

综上所述，本发明实施例提供的人群事件识别装置，通过从目标区域的监控视频中获取至少一个目标监控图像组，并利用预设的人群事件模型对每一个目标监控图像组进行人群事件识别，以根据识别结果确定目标区域是否出现人群事件，其中，每个目标监控图像组包括连续的多个监控视频帧，由于人群事件的发生与一段时间内人群的运动状况有关，而连续的多个监控视频帧可以反映一段时间内目标区域中行人的位置变化，从而反映一段时间内目标区域中人群的运动状况，因此，利用连续的多个监控视频帧，也即是利用目标监控图像组进行人群事件识别可以提高人群事件识别的准确度。

需要说明的是：上述实施例提供的人群事件识别装置在进行人群事件识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人群事件识别装置与人群事件识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是根据一示例性实施例示出的一种电子设备的结构示意图，该电子设备可以为服务器。该电子设备用于执行图3或图4A所示实施例中提供的人群事件识别方法。所述电子设备700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702和只读存储器(ROM)703的***存储器704，以及连接***存储器704和中央处理单元701的***总线705。所述电子设备700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)706，和用于存储操作***713、应用程序714和其他程序模块715的大容量存储设备707。

所述基本输入/输出***706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到***总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出***706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备707通过连接到***总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为电子设备700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器704和大容量存储设备707可以统称为存储器。

根据本发明的各种实施例，所述电子设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即电子设备700可以通过连接在所述***总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机***(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器701通过执行该一个或一个以上程序来实现图3或图4A所示的人群事件识别方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成本发明各个实施例所示的人群事件识别方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图8为本发明实施例提供的一种人群事件识别***800的框图，如图8所示，该人群事件识别***800可以包括：服务器801和监控设备802。

其中，服务器801用于执行图4A所示实施例所提供的人群事件识别方法。

监控设备802，用于拍摄目标区域的监控视频，并将拍摄到的监控视频发送至该服务器801。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种人群事件识别方法，其特征在于，所述方法包括：

获取目标区域的监控视频；从所述监控视频中获取至少一个目标监控图像组，每个所述目标监控图像组包括连续的多个监控视频帧；

通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别，所述人群事件模型根据多个人群事件图像组中每个所述人群事件图像组的每幅人群事件图像所对应的人群密度图和每个所述人群事件图像组的多幅人群事件图像中行人的图像所对应的光流图训练得到，每个所述人群事件图像组包括反映人群事件发生过程的多幅人群事件图像；

根据识别结果确定所述目标区域是否出现人群事件；

所述监控视频包括多个监控图像组，每个所述监控图像组包括连续的多个监控视频帧，每个所述监控视频帧包括行人的图像，所述从所述监控视频中获取至少一个目标监控图像组，包括：

对于每个所述监控图像组，获取所述监控图像组的每个监控视频帧中的行人的图像；根据所述每个监控视频帧中的行人的图像，判断所述行人的位置变化是否满足预设条件，所述预设条件为反映行人会聚或分散的位置变化条件；

当所述位置变化满足所述预设条件时，将所述监控图像组获取为所述目标监控图像组。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个监控视频帧中的行人的图像，判断所述行人的位置变化是否满足预设条件，包括：

采用相同的生成方式，为所述监控图像组的多个监控视频帧分别生成行人直方图，其中，每个所述监控视频帧在第一方向上等间距划分为多个区域，每个所述行人直方图包括多个矩形条，所述多个矩形条在第一轴上的位置与对应的监控视频帧的多个区域一一对应，每个所述矩形条在第二轴上的长度表示对应的区域中行人图像的像素值之和，所述第一轴和所述第二轴相互垂直；

从每个所述行人直方图中确定中央矩形条和边缘矩形条，得到多个中央矩形条和多个边缘矩形条；

根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件。

3.根据权利要求2所述的方法，其特征在于，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件，包括：

当所述多个中央矩形条的长度逐渐增加且所述多个边缘矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

4.根据权利要求2所述的方法，其特征在于，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件，包括：

当所述多个边缘矩形条的长度逐渐增加且所述多个中央矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

5.根据权利要求2至4任一所述的方法，其特征在于，

每个所述监控视频帧在第一方向上以目标长度为划分单位等间距划分为多个区域，所述目标长度为像素在所述第一方向上的长度，所述第一方向为行方向或列方向。

6.根据权利要求1所述的方法，其特征在于，所述通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别，包括：

对于每个所述目标监控图像组，获取所述目标监控图像组中每个监控视频帧对应的第一人群密度图，得到多幅第一人群密度图；

获取所述目标监控图像组包括的多个监控视频帧中行人的图像对应的第一光流图；

通过所述人群事件模型，基于所述多幅第一人群密度图和所述第一光流图对所述目标监控图像组进行人群事件识别。

7.根据权利要求1所述的方法，其特征在于，所述通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别之前，所述方法还包括：

对于所述多个人群事件图像组中每个人群事件图像组，获取所述人群事件图像组中每幅人群事件图像所对应的第二人群密度图，以得到多幅第二人群密度图；

获取所述人群事件图像组包括的多幅人群事件图像中行人的图像所对应的第二光流图；

基于所述多幅第二人群密度图和所述第二光流图进行模型训练，以得到所述人群事件模型。

8.根据权利要求1所述的方法，其特征在于，所述人群事件模型为卷积神经网络模型。

9.一种人群事件识别装置，其特征在于，所述装置包括：

视频获取模块，用于获取目标区域的监控视频；

图像组获取模块，用于从所述监控视频中获取至少一个目标监控图像组，每个所述目标监控图像组包括连续的多个监控视频帧；

识别模块，用于通过预设的人群事件模型对每个所述目标监控图像组进行人群事件识别，所述人群事件模型根据多个人群事件图像组中每个所述人群事件图像组的每幅人群事件图像所对应的人群密度图和每个所述人群事件图像组的多幅人群事件图像中行人的图像所对应的光流图训练得到，每个所述人群事件图像组包括反映人群事件发生过程的多幅人群事件图像；

确定模块，用于根据识别结果确定所述目标区域是否出现人群事件；

所述监控视频包括多个监控图像组，每个所述监控图像组包括连续的多个监控视频帧，每个所述监控视频帧包括行人的图像，所述图像组获取模块，用于：

对于每个所述监控图像组，获取所述监控图像组的每个监控视频帧中的行人的图像；根据所述每个监控视频帧中的行人的图像，判断所述行人的位置变化是否满足预设条件，所述预设条件为反映行人会聚或分散的位置变化条件；

当所述位置变化满足所述预设条件时，将所述监控图像组获取为所述目标监控图像组。

10.根据权利要求9所述的装置，其特征在于，所述图像组获取模块，用于：

采用相同的生成方式，为所述监控图像组的多个监控视频帧分别生成行人直方图，其中，每个所述监控视频帧在第一方向上等间距划分为多个区域，每个所述行人直方图包括多个矩形条，所述多个矩形条在第一轴上的位置与对应的监控视频帧的多个区域一一对应，每个所述矩形条在第二轴上的长度表示对应的区域中行人图像的像素值之和，所述第一轴和所述第二轴相互垂直；

从每个所述行人直方图中确定中央矩形条和边缘矩形条，得到多个中央矩形条和多个边缘矩形条；

根据所述多个中央矩形条和所述多个边缘矩形条的长度变化情况判断所述行人的位置变化是否满足所述预设条件。

11.根据权利要求10所述的装置，其特征在于，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述图像组获取模块，用于：

当所述多个中央矩形条的长度逐渐增加且所述多个边缘矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

12.根据权利要求10所述的装置，其特征在于，所述多个中央矩形条和所述多个边缘矩形条的排布顺序与所述监控图像组的多个监控视频帧的获取顺序一致，所述图像组获取模块，用于：

当所述多个边缘矩形条的长度逐渐增加且所述多个中央矩形条的长度逐渐减小时，确定所述行人的位置变化满足所述预设条件。

13.根据权利要求10至12任一所述的装置，其特征在于，每个所述监控视频帧在第一方向上以目标长度为划分单位等间距划分为多个区域，所述目标长度为像素在所述第一方向上的长度，所述第一方向为行方向或列方向。

14.根据权利要求9所述的装置，其特征在于，所述识别模块，用于：

对于每个所述目标监控图像组，获取所述目标监控图像组中每个监控视频帧对应的第一人群密度图，得到多幅第一人群密度图；

获取所述目标监控图像组包括的多个监控视频帧中行人的图像对应的第一光流图；

通过所述人群事件模型，基于所述多幅第一人群密度图和所述第一光流图对所述目标监控图像组进行人群事件识别。

15.根据权利要求9所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块，用于：

对于所述多个人群事件图像组中每个人群事件图像组，获取所述人群事件图像组中每幅人群事件图像所对应的第二人群密度图，以得到多幅第二人群密度图；

获取所述人群事件图像组包括的多幅人群事件图像中行人的图像所对应的第二光流图；

基于所述多幅第二人群密度图和所述第二光流图进行模型训练，以得到所述人群事件模型。

16.根据权利要求9所述的装置，其特征在于，所述人群事件模型为卷积神经网络模型。

17.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，

其中，所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器中存放的程序，以实现权利要求1至8任一所述的人群事件识别方法。

18.一种人群事件识别***，其特征在于，所述人群事件识别***包括如权利要求9至16任一所述的人群事件识别装置和监控设备。

Images