CN113139476A - 一种面向数据中心的人体行为属性实时检测方法和*** - Google Patents

Abstract

本发明提出了一种面向数据中心的人体行为属性实时检测方法和***，该方法包括：获取数据中心在不同环境下不同人体的属性识别数据集；标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；对划分后数据集图片首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别相结合构建人体属性识别一体化检测网络，通过改进人体属性损失函数对检测网络进行迁移学***衡的问题，为高精度的智能识别提供保障。

Description

一种面向数据中心的人体行为属性实时检测方法和***

技术领域

本发明属于数据中心与人工智能中的图像识别技术领域，特别涉及一种面向数据中心的人体行为属性实时检测方法和***。

背景技术

随着信息技术的不断发展以及人工智能技术的不断进步，数据中心的智能化发展已成为新的趋势。模块化数据中心(MDC)是为了适应云计算、虚拟化、集中化的服务器的发展趋势而采用的新的设计理念，它采用的模块化的设计思想，能够快速部署且易于扩展。运维管理是数据中心中的重要一环，对数据中心中的人员的作业行为进行监测，能够及时发现潜在的安全隐患，并及时提供预警机制，保证作业人员的安全以及数据中心的安全可靠运行。随着数据中心规模的不断增大，整体***变得庞大且复杂，当数据中心中的一个环节发生异常就会造成整个***的停机，给企业生产造成巨大的损失。在数据中心的状态检测当中，人员检测是其中的重要环节。该环节主要是针对作业过程中的不规范而造成的安全隐患。具体的这些安全隐患行为包括：未穿静电服，未佩戴安全帽、吸烟、以及随意搬运服务器等。如果现场监测人员未能发现作业人员存在的不规范行为，将会对数据中心造成安全隐患，严重情况下会对操作人员的安全造成威胁。

传统的数据中心的作业行为规范主要是通过巡检人员的安全检查，即通过现场巡检或者通常视频监测中的人工识别的方式进行。另外，随着人工智能与图像识别技术在数据中心的应用，基于机器学习与深度学习的人体属性识别技术开始应用。现有的智能识别方法主要包括基于机器学习的人体行为属性识别方法以及基于深度学习方法。机器学习的人体行为属性识别方法主要通过人工提取人体图像特征，通过手动设计的特征配合监督学习方法对行为属性模型进行训练，对训练完成的模型进行离线或在线部署，实现推理预测。深度学习的人体属性识别利用属性识别网络来获取人体属性的语义特征，将特征提取后的各个属性视为独立的部分或建立属性之间的内在联系，从而建立人体特征与行为属性之间的非线性映射。

数据中心采用人工巡检或者视频监控人工进行行为属性的监测方法效率低下且人工监测容易存在漏检。基于机器学习的人体属性识别方法通过人工进行特征提取，并配合后续的识别模型对属性进行预测。该方法在人工特征提取上较为繁琐，且人体属性识别的效果取决于所提取特征的质量，由于在实际应用中，受到人体外观、行为、姿态以及光照等因素的影响，传统的机器学习方法的应用较为困难。基于深度学习的人体属性识别方法主要采用的策略为首先通过目标检测方法对人体进行识别，在此基础上通过独立的人体属性识别网络或关联的人体属性识别网络对人体行为属性进行识别，该方法采用了级联的方式，即将人体识别与行为属性识别视为两个独立的部分，该方法存在以下缺点：1)采用多级串联的网络方式需要分别对两级网络进行单独训练，在网络训练以及调优上存在不便；2)在推理端由于级联方式的存在，需要耗费两部分的网络推理时间，不利于嵌入式端部署中的实时性要求；3)行为属性识别端的网络识别结果受到人体检测网络识别结果的影响。因此，传统的人工现场巡检或者人工视频监控的方式存在效率低下，且容易存在漏检的缺点；采用传统的机器学习以及现有的深度学习的方式由于受到外界环境或者网络结构的影响较难在数据中心现场中应用。

发明内容

为了解决上述技术问题，本发明提出了一种面向数据中心的人体行为属性实时检测方法和***，改进了网络的损失函数来消除属性中正负样本不平衡的问题，在保证实时性的同时不失精度，能够达到目前先进的人体属性识别的模型的精度，为高精度的智能识别提供保障。

实现上述目的，本发明采用以下技术方案：

一种面向数据中心的人体行为属性实时检测方法，包括以下步骤：

获取数据中心在不同环境下不同人体的属性识别数据集；

标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；

对划分后数据集图片首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别相结合构建人体属性识别一体化检测网络，通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练；

将训练后的模型进行部署，实现在线推理与人体属性预测。

进一步的，所述获取数据中心在不同环境下不同人体的属性识别数据集的方法为：

将采集到的不同环境下不同人体的视频数据转换为图像；

将所述图像制作成人体属性识别数据集，所述人体属性识别数据集包括属性类别和属性标签。

进一步的，所述标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分的方法为：

采用标签标注人体属性识别数据集中的属性标签，将所述数据集的训练部分、验证部分和测试部分按比例划分。

进一步的，所述对划分后数据集图片首先采用拼接和裁切的方式进行预处理的过程为：

对数据集中待拼接的图片放置在拼接图中，并根据拼接线对超出拼接线的目标框进行裁剪。

进一步的，所述一体化检测网络包括主干部分、颈部、头部和一体化输出；

所述主干部分采用轻量化的CSPNet；

所述颈部采用yolov5的颈部网络；

所述头部采用yolov5的头部网络，并输出不同类型的特征图；

所述一体化输出包括：边框坐标、置信度以及属性类别。

进一步的，所述通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练的过程为：通过调节正负样本对与损失函数贡献的大小优化一体化检测网络的人体属性损失函数。

进一步的，所述一体化检测网络的人体属性损失函数表达式为：

其中，S²为feature map中网格的个数，B为Anchor box的个数，n为人体属性的个数；

表示如果第i个网格中的第j个anchor负责预测物体则

否则为0。p_ijk为真实值，p_i'_jk为预测值。α_k为权重调节参数，α_k＝m_{k_positive}/m_{k_all}，其中m_{k_positive}为第k个属性中正样本的数量，m_{k_all}为第k个属性中总体样本的数量；

通过(1-α_k)权重参数降低正样本产生的损失，通过α_k提高负样本的对于损失的贡献。

进一步的，所述一体化检测网络总体的损失函数表达式为：

L＝L_coord+L_conf+L_attribute；

其中，目标框损失函数

(x_i,y_i,h_i,w_i),(x′_i,y′_i,h′_i,w′_i)分别表示真实目标框与预测目标框中心点的坐标、宽与高；

GIOU为广义交并比；

A^c为最小包围框的面积，A^p为预测框的面积，A^g为真实框的面积，I为预测框与真实框交集的面积；

目标置信度损失函数

为标注目标框的置信度，

为预测框的置信度，λ_noobj参数主要用来平衡存在目标与不存在目标的置信度损失；

当第i个网格的第j个anchor用来负责预测目标时为1，否则为0；

当第i个网络的第j个anchor不存在目标时为1，否则为0。

本发明还提出了一种面向数据中心的人体行为属性实时检测***，包括获取模块、标注模块、训练模块和预测模块；

所述获取模块用于获取数据中心在不同环境下不同人体的属性识别数据集；

所述标注模块用于标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；

所述训练模块用于对划分后数据集首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别相结合构建人体属性识别一体化检测网络，通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练；

所述预测模块用于将训练后的模型进行部署，实现在线推理与人体属性预测。

进一步的，所述***还包括预警模块；

所述预警模块用于数据中心监控中的视频流输入到一体化推理网络中，进行实时在线推理，当检测到异常行为，将自动生成人体属性以及动作行为事件，通过通信终端进行报警。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提出了一种面向数据中心的人体行为属性实时检测方法和***，包括以下步骤：获取数据中心在不同环境下不同人体的属性识别数据集；标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；对划分后数据集图片首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别相结合构建人体属性识别一体化检测网络，通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学***衡的问题。能够实现数据中心的少人化巡检，通过更少的人员完成传统巡检中的作业人员的异常行为监测，从而降低企业的人力成本。通过网络摄像头的部署能够实现24小时全天不间断监控，并通过高精度实时行为属性识别算法捕捉作业人员的异常行为，消除了传统人工巡检容易漏检的问题，提高了数据中心的巡检效率。一体化网络解决了级联网络在线推理速度慢，不适合实际应用场景下的嵌入式部署，通过网络摄像头以及Jetson Nano等嵌入式设备即可完成现场部署，简单易用满足在线推理要求。在保证实时性的同时，该网络也不失精度，能够达到目前先进的人体属性识别的模型的精度，为高精度的智能识别提供保障，异常预警事件通过移动端APP等方式实时推送给管理人员，实现数据中心作业人员行为规范的智能预警。

附图说明

如图1为本发明实施例1一种面向数据中心的人体行为属性实时检测方法流程图；

如图2为本发明实施例1人体属性识别的一体化检测网络架构图；

如图3为本发明实施例1一种面向数据中心的人体行为属性实时检测***示意图；

如图4为本发明实施例1或实施例2实验结果示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例1

本发明实施例1提出了一种面向数据中心的人体行为属性实时检测方法，改进了网络的损失函数来消除属性中正负样本不平衡的问题。

如图1为本发明实施例1一种面向数据中心的人体行为属性实时检测方法流程图。

在步骤S101中，获取数据中心在不同环境下不同人体的属性识别数据集，获取数据集的方法为：将采集到的不同环境下不同人体的视频数据转换为图像；将图像制作成人体属性识别数据集人体属性识别数据集包括属性类别和属性标签。

其中数据集的属性类别以及属性标签定义如下表所示：

共采集10种属性不同环境以及人体姿态等条件下的人体属性数据集8000张。本发明保护的范围不局限于实施例中列出的数量，可以根据不同的情况获取不同数量的数据集图片。

在步骤S102中，标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分。首先，去除图片中不存在行人的部分，其次，预处理好的图片上采用Labelimg进行人体目标框的标注，相应的标注人体的属性标签。在属性标签的标注中，对于属性标签中存在属性标注为1，否则为0。将标注完成的数据进行数据集划分，训练、验证与测试的划分比例为6：2：2。本发明保护的范围不局限于实施例中列出的比例，可以根据不同的情况进行合理的设置。

在步骤S103中，对划分后数据集图片首先采用拼接和裁切的方式进行预处理。将需要拼接的子图片放置到拼接图中，并根据拼接线对超出拼接线的目标框进行裁剪。

数据中心监控中获取的人体图像由于受到光线、行为、遮挡以及图像分辨率等因素的影响，使得网络的识别的鲁棒性能受到限制。为了提高网络的泛化能力，提升后续预测的准确率，在网络前端对数据进行预处理以提高预测的准确率。具体的将图像中n张图片进行拼接，其中n为偶数。首先将n张图片进行反转、色彩变化缩放等预处理，然后将n张图片按照从左到右，从上到下的方式进行拼接。由于拼接后的图片为固定大小，因此将n张图片进行拼接时，n张图片会存在重叠，因此需要将重叠的部分进行裁剪。设拼接后的图片在长度方向以及高度方向分别由m张图片拼接而成。则长度以及高度方向的拼接线分别为：

x＝(x₁,x₂....x_m-1)

y＝(y₁,y₂....y_m-1)

其中，x＝x_i为第i条竖直方向的拼接线；y＝y_i为第i条水平方向的拼接线。

在步骤S104中，将人体目标检测与属性识别两部分进行结合，设计人体行为属性的一体化检测网络。

如图2给出了本发明实施例1人体属性识别的一体化检测网络架构图。

Backbone(主干部分)：网络的主干部分采用轻量化的CSPNet，在保持准确率的同时降低了计算内存，提高了计算效率，有利于实时性的数据中心的人体行为属性识别。

Neck(颈部):网络的颈部采用yolov5的颈部网络，提高浅层边缘特征与深层语义特征在不同尺度下的特征融合。

Head(头部)网络的头部采用yolov5的头部网络，分别输出三种类型的featuremap(特征图)，特征图的大小分别为19*19，38*38，76*76。不同尺度的feature map(特征图)能够适应不同尺度的目标的大小，其中19*19的feature map(特征图)其感受野较大用来识别较大的目标，76*76的feature map(特征图)其感受野较小用来识别较小的目标。

与传统的目标检测方法相比，本发明所提出的一体化人体属性识别网络中的目标类别只有行人一类。因此，将目标检测中的类别向量进行删除，在此基础上增加了人体行为属性类别。如图2所示，人体属性一体化网络的输出为边框坐标、置信度以及属性类别。因此，通过人体属性一体化网络的输出只有行人一类，并相应的输出行人所定义的行人属性。

一体化网络中所识别的目标只有行人一类。因此，将网络中的目标检测损失函数进行删除，在此基础上增加了人体属性损失函数。由于不同属性的正负样本存在不平衡，在训练时梯度的更新受到每种属性中正负样本占比大的部分所主导，占比较小的部分对梯度更新的贡献较小，因此，训练好的网络对于正样本的识别效果较好，而对于负样本的识别效果较差。为了改善正负样本不平衡所导致的小比例样本识别精度较差的问题，本发明提出了改进的加权交叉熵的人体属性识别损失函数。

本申请中改进的人体属性损失函数如下：

其中，S²为feature map中网格的个数，B为Anchor box的个数，n为人体属性的个数。

表示如果第i个网格中的第j个anchor负责预测物体则

否则为0。p_ijk为真实值，p′_ijk为预测值。α_k为权重调节参数，α_k＝m_{k_positive}/m_{k_all}，其中m_{k_positive}为第k个属性中正样本的数量，m_{k_all}为第k个属性中总体样本的数量。对于损失函数的改进主要是通过调节正负样本对与损失函数贡献的大小展开的。

当正样本比例较大时，通过(1-α_k)权重参数降低正样本产生的损失，通过α_k提高负样本的对于损失的贡献。

本申请中一体化网络的包含三个部分，分别为目标框损失、目标置信度损失以及属性类别损失。总体的损失函数如下所示：

L＝L_coord+L_conf+L_attribute

其中，目标框损失函数如下：

(x_i,y_i,h_i,w_i),(x′_i,y′_i,h′_i,w′_i)分别表示真实目标框与预测目标框中心点的坐标，宽与高。

GIOU为广义交并比，

其中，A^c为最小包围框的面积，A^p为预测框的面积，A^g为真实框的面积，I为预测框与真实框交集的面积。

目标置信度损失函数如下：

其中

为标注目标框的置信度，

为预测框的置信度，λ_noobj参数主要用来平衡存在目标与不存在目标的置信度损失；

当第i个网格的第j个anchor用来负责预测目标时为1，否则为0；

当第i个网络的第j个anchor不存在目标时为1，否则为0。

在步骤S105中，将训练后的模型进行部署，实现在线推理与人体属性预测。

连接网络摄像头与嵌入式端边缘计算盒子，将训练完成的模型部署到嵌入式端jetson nano边缘计算盒子中，实现一体化网络模型的在线推理与人体属性预测。

在步骤S106中，当检测到行为异常，则通过移动终端进行预警。

将数据中心监控中的视频流输入到一体化推理网络中，进行实时在线推理，当检测到异常行为(如抽烟、随意搬运服务器等)时，将自动生成人体属性以及动作行为事件，通过移动端APP,短信等方式推送给数据中心管理员。

实施例2

基于本发明实施例1提出的一种面向数据中心的人体行为属性实时检测方法，本发明实施例2还提出了一种面向数据中心的人体行为属性实时检测***。如图3为本发明实施例1一种面向数据中心的人体行为属性实时检测***示意图，该***包括：获取模块、标注模块、训练模块和预测模块；

获取模块用于获取数据中心在不同环境下不同人体的属性识别数据集；

标注模块用于标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；

训练模块用于对划分后数据集首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别相结合构建人体属性识别一体化检测网络，通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练；

预测模块用于将训练后的模型进行部署，实现在线推理与人体属性预测。

***还包括预警模块；预警模块用于数据中心监控中的视频流输入到一体化推理网络中，进行实时在线推理，当检测到异常行为，将自动生成人体属性以及动作行为事件，通过通信终端进行报警。

如图4为本发明实施例1或实施例2实验结果示意图，本发明将从一体化网络的识别性能指标平均准确率(mA)召回率(Recall)以及推理速度上与现有的先进网络模型进行评价，实验环境为NVIDIA 2080Ti，CUDA10.2,16核，64G内存,实验基于PyTorch深度学习框架，Ubuntu18.04操作***。实验结果对比如下表所示：

方法	平均准确率(mA)	召回率(Recall)	推理时间(ms)
				DeepSAR	79.5％	73.2％	82ms
DeepMar	80.3％	76.1％	78ms
				VeSPA	81.5％	76.5％	80ms
本发明所提出方法	83.6％	79.4％	12ms

本发明提出了一体化的人体属性识别网络，并改进了网络的损失函数来消除属性中正负样本不平衡的问题。能够实现数据中心的少人化巡检，通过更少的人员完成传统巡检中的作业人员的异常行为监测，从而降低企业的人力成本。通过网络摄像头的部署能够实现24小时全天不间断监控，并通过高精度实时行为属性识别算法捕捉作业人员的异常行为，消除了传统人工巡检容易漏检的问题，提高了数据中心的巡检效率。一体化网络解决了级联网络在线推理速度慢，不适合实际应用场景下的嵌入式部署，通过网络摄像头以及Jetson Nano等嵌入式设备即可完成现场部署，简单易用满足在线推理要求。在保证实时性的同时，该网络也不失精度，能够达到目前先进的人体属性识别的模型的精度，为高精度的智能识别提供保障，异常预警事件通过移动端APP等方式实时推送给管理人员，实现数据中心作业人员行为规范的智能预警。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种面向数据中心的人体行为属性实时检测方法，其特征在于，包括以下步骤：

获取数据中心在不同环境下不同人体的属性识别数据集；

标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；

对划分后数据集图片首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别相结合构建人体属性识别一体化检测网络，通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练；

将训练后的模型进行部署，实现在线推理与人体属性预测。

2.根据权利要求1所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述获取数据中心在不同环境下不同人体的属性识别数据集的方法为：

将采集到的不同环境下不同人体的视频数据转换为图像；

将所述图像制作成人体属性识别数据集，所述人体属性识别数据集包括属性类别和属性标签。

3.根据权利要求2所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分的方法为：

标注属性识别数据集中的人体目标框及属性标签，将所述数据集的训练部分、验证部分和测试部分按比例划分。

4.根据权利要求1所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述对划分后数据集图片首先采用拼接和裁切的方式进行预处理的过程为：

对数据集中待拼接的图片放置在拼接图中，并根据拼接线对超出拼接线的目标框进行裁剪。

5.根据权利要求1所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述一体化检测网络包括主干部分、颈部、头部和一体化输出；

所述主干部分采用轻量化的CSPNet；

所述颈部采用yolov5的颈部网络；

所述头部采用yolov5的头部网络，并输出不同类型的特征图；

所述一体化输出包括：边框坐标、置信度以及属性类别。

6.根据权利要求5所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练的过程为：通过调节正负样本对与损失函数贡献的大小优化一体化检测网络的人体属性损失函数。

7.根据权利要求6所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述一体化检测网络的人体属性损失函数表达式为：

其中，S²为feature map中网格的个数，B为Anchor box的个数，n为人体属性的个数；

表示如果第i个网格中的第j个anchor负责预测物体则

否则为0。p_ijk为真实值，p′_ijk为预测值。α_k为权重调节参数，α_k＝m_{k_positive}/m_{k_all}，其中m_{k_positive}为第k个属性中正样本的数量，m_{k_all}为第k个属性中总体样本的数量；

通过(1-α_k)权重参数降低正样本产生的损失，通过α_k提高负样本的对于损失的贡献。

8.根据权利要求7所述的一种面向数据中心的人体行为属性实时检测方法，其特征在于，所述一体化检测网络总体的损失函数表达式为：

L＝L_coord+L_conf+L_attribute；

其中，目标框损失函数

(x_i,y_i,h_i,w_i),(x′_i,y′_i,h′_i,w′_i)分别表示真实目标框与预测目标框中心点的坐标、宽与高；

GIOU为广义交并比；

A^c为最小包围框的面积，A^p为预测框的面积，A^g为真实框的面积，I为预测框与真实框交集的面积；

目标置信度损失函数

为标注目标框的置信度，

为预测框的置信度，λ_noobj参数主要用来平衡存在目标与不存在目标的置信度损失；

当第i个网格的第j个anchor用来负责预测目标时为1，否则为0；

当第i个网络的第j个anchor不存在目标时为1，否则为0。

9.一种面向数据中心的人体行为属性实时检测***，其特征在于，包括获取模块、标注模块、训练模块和预测模块；

所述获取模块用于获取数据中心在不同环境下不同人体的属性识别数据集；

所述标注模块用于标注属性识别数据集中的人体目标框及属性标签，对标注完成后的数据集进行划分；

所述训练模块用于对划分后数据集首先采用拼接和裁切的方式进行预处理，然后将人体目标框与属性识别数据集相结合构建人体属性识别一体化检测网络，通过改进一体化检测网络的人体属性损失函数对所述检测网络进行迁移学习训练；

所述预测模块用于将训练后的模型进行部署，实现在线推理与人体属性预测。

10.根据权利要求9所述的一种面向数据中心的人体行为属性实时检测***，其特征在于，所述***还包括预警模块；

所述预警模块用于数据中心监控中的视频流输入到一体化推理网络中，进行实时在线推理，当检测到异常行为，将自动生成人体属性以及动作行为事件，通过通信终端进行报警。

Images