CN113673328B - 一种基于特征聚合网络的人群区域监控方法 - Google Patents

Abstract

本发明公开了一种基于特征聚合网络的人群区域监控方法，首先对人群分布不均匀的图像进行标签化处理生成人群区域信息的yaml文件，使用Mobile‑Net轻量级网络架构接受标签化图像的输入，使用U‑Net神经网络提取输入图像的特征信息，并将特征还原之后带有人群信息的序列与数据库进行匹配，得到最终具体的人群区域；使用警报模块通知用户紧急的消息；通过用户界面调整和***的运行，使用模块化记录模式建时整个***的运行，通过这些方法的结合运用与配套***支持对分布散列的人群定位和数据的匹配，能提高人群区域定位的准确性和稳定性，同时提高方法的实时性。

Description

一种基于特征聚合网络的人群区域监控方法

技术领域

本发明涉及机器学习技术领域，主要涉及一种基于特征聚合网络的人群区域监控方法。

背景技术

视频中的语义分割和区域定位计算机视觉领域中的一个重要研究课题，具有重要的理论意义与实际应用价值。

近年来，随着城市安全问题的日渐突出，监控定位人群显得尤其的重要。人群区域定位是一项基于计算机视觉技术、机器学习，可以对监控范围内的人群进行监视、可以自主定位监控范围内的人群的现代化监控技术。随着深度学习的发展，越来越多的人群定位方法融入语义分割技术。语义分割技术是利用神经网络将图片中的每一个像素点进行分类，从而得到目标位于图中的位置和标签信息。

语义分割技术可以感知路面，行人，街道，建筑物等。但是目前的语义分割技术分割速度较慢，大多数研究者都只重视分割的准确度，这导致语义分割技术难以运用到其他应用邻域例如人群定位邻域中，对于这个问题，采用更加轻量级的Unet算法，将语义分割技术运用到人群定位中。

发明内容

发明目的：本发明提供了一种基于特征聚合网络的人群区域监控方法，采集视频中人群区域信息与图像信息，将场景信息与人群信息进行提取并进行二者信息的融合，并使用神经网络算法提高对人群区域识别的准确度。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于特征聚合网络的人群区域监控方法，包括以下步骤：

步骤S1、对输入的人群分布不均匀的图像进行标签化处理，获取特征标签图像，生成包括人群区域信息的yaml文件；设置过滤阈值，对特征区域进行过滤如下：

当输入图像中某一块特征区域的像素点数量小于时，过滤掉所述特征区域；其中S_i为第i块标签图像的像素点个数，N为当前特征标签图像的总的标签个数，e为自然常数；

步骤S2、将所述特征标签图像输入至MobileNet网络中，使用Unet网络进行网络的训练并提取特征；在池化操作时对网络提取的特征图像做无监督的K-means操作，并向对等层的特征还原网络做特征向量的复制和剪切的，实现特征向量的提取；具体地，

步骤S2.1、特征提取模块获取规格为n*m的特征标签图像信息，通过对视频场景进行预处理与场景识别来描述场景底层特征；

步骤S2.2、将特征标签图像输入至MobileNet网络模型中；对于每次可分离卷积，首先将1个k*k的卷积核遍历I通道的数据，获取I通道的特征图谱；接着采用0个1x1大小的卷积核遍历这I个特征图谱，网络所需要的特征参数量为K²I+IO，其中K表示卷积核的大小，I表示输入特征图谱，0表示1x1大小的卷积核；

步骤S2.3、采用Unet网络模型对特征标签图像进行特征提取；损失函数如下：

其中ω(x)表示标签为x的权值，log(p(x))表示x标签出现概率的自然对数；

对于每一块像素区域添加该区域的权重值如下：

其中w_c(x)为类别频率的权重，d1，d2依次为像素点距离各个聚类中心的距离中最近的、倒数第二近的距离；

步骤S2.4、通过聚类算法，对所述特征标签图像中每个像素增加权重值；对每个特征向量X_i，找出最相邻的k个特征向量，并将X_i改写成所述k个特征向量的线性表示；对于每一个样例k，计算所属标签类如下：

其中u_j表示每个类所在的中心，c^k表示每个像素点到聚类中心的欧式距离；

步骤S2.5、采用迭代更新法重新计算每个标签类的聚类中心如下：

其中u_j为每个类的中心，表示属于第j类卷积上的像素点第i维度上的值，/>表示第j类到聚类中心的距离的总和；

更新每个标签类里面特征向量的值如下：

其中x^k为当前的特征值，d^k为当前特征向量所属的标签类；

步骤S2.6、使用卷积核大小为2x2的下采样进行特征提取，最终得到输入图像的特征向量信息；

步骤S3、将步骤S2中获取的特征向量信息输入至UNet还原网络中，通过反卷积网络还原特征向量，获取特征图像；所述还原网络中使用向量融合技术融合上下层的特征向量；

步骤S4、将步骤S2获取的特征向量信息和步骤S3获取的特征图像输入至微智能服务器，进行联合识别；将连续时间段内的信息片段与数据库进行对比，进行模糊检索；将检索结果反馈至智能后端处理***；

步骤S5、智能后端处理***根据用户的设置按照人群逗留时间进行分类，记录当前事件的危险程度，当事件到达警告级别时，智能后端处理***立即通知用户危险信息，并且发出警告命令通知警告模块。

进一步地，所述步骤S3中获取特征图像步骤具体包括：

步骤S3.1、将浅层特征向量v₁∈Rⁿ和深层特征向量v₂∈R^m在同一阶上进行向量拼接，拼接后的向量为v＝[v₁，v₂]∈R^n+m；拼接完成后在相邻的特征层做线性变换v＝Wv∈R^x，转换为与上采样同维度的特征向量，实现特征融合；

步骤S3.2、上采样中两个卷积使用同一个卷积核，每一个输出通道的卷积核相互独立；第一层卷积的输入通道为x₁，x₂...x_c，第二层卷积的输入通道为y₁，y₂...y_c，两层位于同一个上采样操作；单个输出的通道表示为其中Z为融合之后的特征向量，K为当前上采样网络的卷积核，c表示特征融合之后的特征向量维数。

进一步地，所述步骤S4中的模糊检索具体包括：

步骤S4.1、微智能服务器接收来自特征还原模块和特征提取模块的特征图像的信息，取k_mt_m为识别时间单位，在k_mt_m时间内，得到人群的位置信息其中A表示每个图像人群在危险区域的像素点，k_mt_m为在m帧图像中人群密度大于k_m的时间；

步骤S4.2、以危险区域图像为标签，检索数据库中的子表，进行模糊匹配，当匹配成功时，则将行为识别结果返回给智能后端处理***模块。

进一步地，所述步骤S5中智能后端处理***处理步骤包括：

步骤S5.1、智能后端处理***接受微智能服务器发送的HTTPS请求，并接收数据，判断人群区域到达危险区域的平均像素点是否到达临界值；

步骤S5.2、整理记录人群区域信息，并根据危险等级通知警告模块。

有益效果：

本发明首先对人群分布不均匀的图像进行标签化处理生成人群区域信息的yaml文件，使用Mobile-Net轻量级网络架构接受标签化图像的输入，使用U-Net神经网络提取输入图像的特征信息，并将特征还原之后带有人群信息的序列与数据库进行匹配，得到最终具体的人群区域。使用警报模块通知用户紧急的消息。通过用户界面调整和***的运行，使用模块化记录模式建时整个***的运行，通过这些方法的结合运用与配套***支持对分布散列的人群定位和数据的匹配，能提高人群区域定位的准确性和稳定性，同时提高方法的实时性，具体来说：

(1)本发明使用UNet神经网络算法，可以有效考虑动作连续性对动作识别的影响，对传感器数据的上下文联系紧密，增加了人群区域识别的准确性。

(2)本发明将特征图像信息与特征向量信息结合起来考虑，通过场景信息作为标签在行为数据库中匹配动作序列，更准确完成了对人群区域的定位。

(3)本发明提出了一种有效、实用性强的***结构，并配置用户接口模组与运行记录模块，便利于该发明在工业上的具体应用。

附图说明

图1是本发明提供的基于特征聚合网络的人群区域监控方法流程图；

图2是本发明提供的基于特征聚合网络的人群区域监控方法的***功能模块图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示的一种基于特征聚合网络的人群区域监控方法流程，用户通过***界面设置该***用于危险区域人群监控，并将一套传感器设备绑定与***中并设置警告的级别以及警告的方式，并且智能后端能记录和导出监控的状态。

本发明采用的***模块如图2所示，包括图像输入模块、特征提取模块，特征还原模块、微智能服务器模块、智能后端模块、***截面和警告模块。具体步骤如下：

步骤S1、首先针对人群分布不均匀的图像进行标签化处理，获取特征标签图像，生成包括人群区域信息的yaml文件。采用逐步腐蚀的策略，设置过滤阈值，对特征区域进行过滤如下：

当输入图像中某一块特征区域的像素点数量小于时，过滤掉所述特征区域；其中S_i为第i块标签图像的像素点个数，N为当前特征标签图像的总的标签个数，e为自然常数。本实施例中，N优选为8。

步骤S2、将特征标签图像输入至MobileNet网络中，使用Unet网络进行网络训练并提取特征。在池化操作时对网络提取的特征图像做无监督的K-means操作，并向对等层的特征还原网络做特征向量的复制和剪切，实现特征向量的提取。具体地，

步骤S2.1、特征提取模块获取规格为n*m的特征标签图像信息，通过对视频场景进行预处理与场景识别来描述场景底层特征。本实施例中规格取352*288。

步骤S2.2、将特征标签图像输入至MobileNet网络模型中；对于每次可分离卷积，首先将I个k*k的卷积核遍历I通道的数据，获取I通道的特征图谱；接着采用0个1x1大小的卷积核遍历这I个特征图谱，网络所需要的特征参数量为K²I+IO，其中K表示卷积核的大小，优选为3*3；I表示输入特征图谱，O表示1x1大小的卷积核。

步骤S2.3、采用Unet网络模型对特征标签图像进行特征提取；损失函数如下：

其中ω(x)表示标签为x的权值，log(p(x))表示x标签出现概率的自然对数；

对于每一块像素区域添加该区域的权重值如下：

其中w_c(x)为类别频率的权重，d1，d2依次为像素点距离各个聚类中心的距离中最近的、倒数第二近的距离。其中w0按照经验取10，σ按照经验取5

步骤S2.4、通过聚类算法，对所述特征标签图像中每个像素增加权重值；对每个特征向量X_i，找出最相邻的k个特征向量，并将X_i改写成所述k个特征向量的线性表示；对于每一个样例k，计算所属标签类如下：

其中u_j表示每个类所在的中心，c^k表示每个像素点到聚类中心的欧式距离。这里k按照经验取4。

步骤S2.5、采用迭代更新法重新计算每个标签类的聚类中心如下：

其中u_j为每个类的中心，表示属于第j类卷积上的像素点第i维度上的值，/>表示第j类到聚类中心的距离的总和；

更新每个标签类里面特征向量的值如下：

其中x^k为当前的特征值，d^k为当前特征向量所属的标签类。本实施例中k按照经验取4，m按照经验取4。

步骤S2.6、使用卷积核大小为卷集合大小为卷积核大小为2x2的下采样进行特征提取，最终得到输入图像的特征向量信息。

其中网络模型MobileNet的流程如下：

输入：[224,224,224]的图像

输出：[1,1,1024]的特征向量

其中_depthwise_conv_block为深度可分离特征提取的过程。

步骤S3、将步骤S2中获取的特征向量信息输入至UNet还原网络中，通过反卷积网络还原特征向量，获取特征图像；所述还原网络中使用向量融合技术融合上下层的特征向量。具体地，

步骤S3.1、将浅层特征向量v₁∈Rⁿ和深层特征向量v₂∈R^m在同一阶上进行向量拼接，拼接后的向量为v＝[v₁，v₂]∈R^n+m；拼接完成后在相邻的特征层做线性变换v＝Wv∈R^x，转换为与上采样同维度的特征向量，实现特征融合；

步骤S3.2、上采样中两个卷积使用同一个卷积核，每一个输出通道的卷积核相互独立；第一层卷积的输入通道为x₁，x₂...x_c，第二层卷积的输入通道为y₁，y₂...y_c，两层位于同一个上采样操作；单个输出的通道表示为其中Z为融合之后的特征向量，K为当前上采样网络的卷积核，c表示特征融合之后的特征向量维数。

Unet不断的通过upsampling操作融合上下层的特征信息，流程代码如下：

输入：编码网络得到的特征信息encoder

输出：带有标签信息的特征图像

步骤S4、将步骤S2获取的特征向量信息和步骤S3获取的特征图像输入至微智能服务器，进行联合识别；将连续时间段内的信息片段与数据库进行对比，进行模糊检索；将检索结果反馈至智能后端处理***。

首先，微智能服务器接收来自特征还原模块和特征提取模块的特征图像的信息，取k_mt_m为识别时间单位，在k_mt_m时间内，得到人群的位置信息其中A表示每个图像人群在危险区域的像素点；然后以危险区域图像为标签，检索数据库中的子表，进行模糊匹配，当匹配成功时，则将行为识别结果返回给智能后端处理***模块。t_m按照经验取6，m按照经验取4，k_mt_m为在m帧图像中人群密度大于k_m的时间；。

步骤S5、智能后端处理***根据用户的设置按照人群逗留时间进行分类，记录当前事件的危险程度，当事件到达警告级别时，智能后端处理***立即通知用户危险信息，并且发出警告命令通知警告模块。具体地，

步骤S5.1、智能后端处理***接受微智能服务器发送的HTTPS请求，并接收数据，判断人群区域到达危险区域的平均像素点是否到达临界值；

步骤S5.2、整理记录人群区域信息，并根据危险等级通知警告模块。

此外***界面是用户对***调整和设置的入口，用户可通过该界面设置具体的服务器配置，设置危险等级，监控整个***的工作状态，可以导出监控***监控到的危险记录表，设置***的运行模式。警告模块接受来自智能后端***模块的危险等级，根据危险等级做出不同的响应动作，并通知用户是否关闭警报。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于特征聚合网络的人群区域监控方法，其特征在于，包括以下步骤：

步骤S1、对输入的人群分布不均匀的图像进行标签化处理，获取特征标签图像，生成包括人群区域信息的yaml文件；设置过滤阈值，对特征区域进行过滤如下：

当输入图像中某一块特征区域的像素点数量小于时，过滤掉所述特征区域；其中S_i为第i块标签图像的像素点个数，N为当前特征标签图像的总的标签个数，e为自然常数；

步骤S2、将所述特征标签图像输入至MobileNet网络中，使用Unet网络进行网络训练并提取特征；在池化操作时对网络提取的特征图像做无监督的K-means操作，并向对等层的特征还原网络做特征向量的复制和剪切，实现特征向量的提取；具体地，

步骤S2.1、特征提取模块获取规格为n*m的特征标签图像信息，通过对视频场景进行预处理与场景识别来描述场景底层特征；

步骤S2.2、将特征标签图像输入至MobileNet网络模型中；对于每次可分离卷积，首先将I个k*k的卷积核遍历I通道的数据，获取I通道的特征图谱；接着采用O个1x1大小的卷积核遍历这I个特征图谱，网络所需要的特征参数量为K²I+IO，其中K表示卷积核的大小，I表示输入特征图谱，O表示1x1大小的卷积核；

步骤S2.3、采用Unet网络模型对特征标签图像进行特征提取；损失函数如下：

其中ω(x)表示标签为x的权值，log(p(x))表示x标签出现概率的自然对数；

对于每一块像素区域添加该区域的权重值如下：

其中w_c(x)为类别频率的权重，d1，d2依次代表像素点距离各聚类中心的距离中最短的2个距离；

步骤S2.4、通过聚类算法，对所述特征标签图像中每个像素增加权重值；对每个特征向量X_i，找出最相邻的k个特征向量，并将X_i改写成所述k个特征向量的线性表示；对于每一个样例k，计算所属标签类如下：

其中u_j表示每个类所在的中心，c^k表示每个像素点到聚类中心的欧式距离；

步骤S2.5、采用迭代更新法重新计算每个标签类的聚类中心如下：

其中u_j为每个类的中心，表示属于第j类卷积上的像素点第i维度上的值，表示第j类的到聚类中心的距离总和；

更新每个标签类里面特征向量的值如下：

其中x^k为当前的特征值，d^k为当前特征向量所属的标签类；

步骤S2.6、使用卷积核大小为2x2的下采样进行特征提取，最终得到输入图像的特征向量信息；

步骤S3、将步骤S2中获取的特征向量信息输入至UNet还原网络中，通过反卷积网络还原特征向量，获取特征图像；所述还原网络中使用向量融合技术融合上下层的特征向量；

步骤S4、将步骤S2获取的特征向量信息和步骤S3获取的特征图像输入至微智能服务器，进行联合识别；将连续时间段内的信息片段与数据库进行对比，进行模糊检索；将检索结果反馈至智能后端处理***；

步骤S5、智能后端处理***根据用户的设置按照人群逗留时间进行分类，记录当前事件的危险程度，当事件到达警告级别时，智能后端处理***立即通知用户危险信息，并且发出警告命令通知警告模块。

2.根据权利要求1所述的一种基于特征聚合网络的人群区域监控方法，其特征在于，所述步骤S3中获取特征图像步骤具体包括：

步骤S3.1、将浅层特征向量v₁∈Rⁿ和深层特征向量v₂∈R^m在同一阶上进行向量拼接，拼接后的向量为v＝[v₁,v₂]∈R^n+m；拼接完成后在相邻的特征层做线性变换v＝Wv∈R^x，转换为与上采样同维度的特征向量，实现特征融合；

步骤S3.2、上采样中两个卷积使用同一个卷积核，每一个输出通道的卷积核相互独立；第一层卷积的输入通道为x₁，x₂...x_c，第二层卷积的输入通道为y₁，y₂...y_c，两层位于同一个上采样操作；单个输出的通道表示为其中Z为融合之后的特征向量，K为当前上采样网络的卷积核，c表示特征融合之后的特征向量维数。

3.根据权利要求1所述的一种基于特征聚合网络的人群区域监控方法，其特征在于，所述步骤S4中的模糊检索具体包括：

步骤S4.1、微智能服务器接收来自特征还原模块和特征提取模块的特征图像信息，取k_mt_m为识别时间单位，在k_mt_m时间内，得到人群的位置信息其中A表示每个图像人群在危险区域的像素点，k_mt_m为在m帧图像中人群密度大于k_m的时间；

步骤S4.2、以危险区域图像为标签，检索数据库中的子表，进行模糊匹配，当匹配成功时，则将行为识别结果返回给智能后端处理***模块。

4.根据权利要求1所述的一种基于特征聚合网络的人群区域监控方法，其特征在于，所述步骤S5中智能后端处理***处理步骤包括：

步骤S5.1、智能后端处理***接受微智能服务器发送的HTTPS请求，并接收数据，判断人群区域到达危险区域的平均像素点是否到达临界值；

步骤S5.2、整理记录人群区域信息，并根据危险等级通知警告模块。