CN110197134A - 一种人体动作检测方法及装置 - Google Patents

Abstract

本申请提供一种人体动作检测方法及装置。其中，方法包括：实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息；基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹；将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。如此，可以实现对人体关键部位的移动轨迹是否符合规范。

Description

一种人体动作检测方法及装置

技术领域

本申请涉及图像检测技术领域，具体而言，涉及一种人体动作检测方法及装置。

背景技术

随着用户对显示屏的品质要求的提高，显示屏生产厂家对生产的显示屏在进行出厂前需要进行严格检测，使得显示屏符合品质标准后才能推向市场。

目前，对于显示屏的部分性能的检测需要依靠工作人员肉眼观察显示屏显示效果，查找显示屏存在的缺陷、瑕疵等。而人工检测主要依赖于工作人员的主观判断，然而由于作业员工作习惯的多样性，容易出现观察不到位，检测不细致，动作不规范的情况，最终导致误检、漏检的问题。

针对显示屏检测人员及工作习惯多样性，如何准确的检验显示屏检测人员检验动作的规范性，针对提升显示屏的品质具有重要意义。

发明内容

有鉴于此，本申请提供一种人体动作检测方法及装置，以对所述人体的动作的规范性进行检测。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例中提供了一种人体动作检测方法，所述方法包括：

实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息；

基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹；

将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。

第二方面，本申请实施例提供了一种人体动作检测装置，包括：

检测模块，用于实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息；

确定模块，用于基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹；

判断模块，用于将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

本申请实施例中提供的一种人体动作检测方法及装置，能够准确的检测出被监控人员的动作，并判断人体的动作是否符合规范。

附图说明

图1是本申请一示例性实施例示出的一种人体动作检测方法的流程示意图；

图2是本申请一示例性实施例示出的训练神经网络的流程示意图；

图3是本申请一示例性实施例示出的一种人体动作检测装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1示出了本申请一个实施例提供的一种人体动作检测方法的流程示意图。参照图1所示，该方法包括如下步骤S101-S103：

S101、实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息。

参照图2所示的实施例，上述在训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测之前，需要先得到训练完成的卷积神经网络模型，该卷积神经网络模型是通过以下步骤S201-S202训练完成的：

S201、生成样本数据集和所述样本数据集中的各样本图像的标注信息。

具体的，从目标场景下得到包含人体的图像和不包含人体的图像作为训练数据，生成所述样本数据集，用在coco数据集中训练好的yolo模型从海量的样本数据中检测出包含人体的图像，对所述该图像标注检测人员的头、手关键点。

以该目标场景为显示屏检测场景为例，上述训练数据主要包含显示屏检测环境下有检测人员和无检测人员的图像数据，用于适配场景，以及部分其他场景下有、无人的图像数据，用于提升模型鲁邦性和兼容性。采集好训练数据后将图像数据、长宽尺寸以及标注的关键点坐标均映射到0到1上，消除数据之间、坐标之间量纲的影响使得各数据指标之间均处于同一数量级，具有可比性，并且保证反向传播梯度始终朝着最小值的方向，保证模型训练时加快收敛。

在针对于对显示屏检测场景下检测人员的关键部位的规范性进行检测，上述的人体的关键部位可以是包括：人体的头部和手部。

上述的目标场景也可以是比如针对于学生在屏幕前的坐姿规范性进行检测的场景；此时，上述的人体的关键部位可以是包括人体头部和人体躯干部。

S202、根据所述样本数据集中的各样本图像和该各样本图像的标注信息进行训练建立的的卷积神经网络，得到所述卷积神经网络的卷积层和批归一化层的参数。

本申请一实施例中，给出了一应用上述训练完成的循环神经网络模型计算人体关键部位的位置的方法，如下：

步骤A、利用对称空间变换网络调整当人体检测结果有偏差时的proposal位置，得到refine的特征F₀。

步骤B、构建一个单人姿态估计网络，将refine后的特征F₀输入到单人姿态网络中，并将输出特征映射回原空间(对称空间变换前的空间)得到特征F₁，目的是当人体检测框不准确的情况下，单人姿态估计网络依然有良好的效果。

步骤C、将F₁利用非极大值抑制消除冗余的姿态，得到头、手关键点。

其中，非极大值抑制采用的消除冗余公式定义为：

d(P_i,P_j|Λ)＝K_sim(P_i,P_j|σ₁)+λH_sim(P_i,P_j|σ₂)

其中，λ是权重系数，K_sim(P_i,P_j|σ₁)是姿态距离度量，表示姿态之间不同部位的匹配数，用于衡量姿态之间的相似度，消除离得较近且较相似的姿态，H_sim(P_i,P_j|σ₂)是姿态之间不同部位的空间距离。

姿态距离和空间距离的定义如下：

P_i和P_j表示F₁的冗余的不同响应点姿态坐标，σ₁和σ₂表示标准差参数，和表示第n个特征点的响应值，和表示第n个特征点的图像坐标，i和j为头、手的关键点索引。

当得到的非极大值抑制结果大于阈值η，即为检测得到的头、手位置关键点。

S102、基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹。

本实施例中，用训练的模型计算每一帧图像检测人员的头、手位置坐标，用卡尔曼跟踪得到平滑的轨迹；

S103、将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。

本实施例中，按照如下公示计算标准作业轨迹和确定的移动轨迹间的归整路径距离：

D(i,j)＝Dist(i,j)+min[D(i-1,j),D(i,j-1),D(i-1,j-1)]

其中，D(i,j)表示长度为i和j的两个轨迹序列之间的距离，Dist(w_ki,w_kj)表示欧几里得距离，w_ki和w_kj分别表示标准轨迹的第i个坐标点，检测轨迹的第j个坐标点。

可选的，本申请上述实施例，在实际应用中可以是在检测到人体动作不合规范时可以是通过给出提示的方式，提示工作人员进行姿态纠正。

本申请实施例提供的方法，在应用于显示屏检测人员的检测动作规范性时，首先采集显示屏检测人员的检测动作视频，通过深度学习算法提取检测人员的头、手的位置轨迹，再根据预先存取的标准作业轨迹判断出当前检验动作的准确度，最后根据阈值判断当前检测动作的合格性。

参照图3所示的实施例，本实施例中提供了一种人体动作检测装置，包括：

检测模块301，用于实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息；

确定模块302，用于基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹；

判断模块303，用于将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。

可选的，上述的装置，还包括：

生成模块，用于生成样本数据集和所述样本数据集中的各样本图像的标注信息；

训练模块，用于根据所述样本数据集中的各样本图像和该各样本图像的标注信息进行训练建立的的卷积神经网络，得到所述卷积神经网络的卷积层和批归一化层的参数。

可选的，上述生成模块，具体用于：

从目标场景下得到包含人体的图像和不包含人体的图像生成所述样本数据集，用在coco数据集中训练好的yolo模型从海量的样本数据中检测出包含人体的图像，对所述该图像标注检测人员的头、手关键点。

可选的，所述人体的关键部位包括：人体的头部和手部。

可选的，上述判断模块，具体用于：

计算标准轨迹和所述检测轨迹间的归整路径距离，当所述规整路径距离满足预设阈值范围时，判断所述关键部位的移动轨迹合规。

装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现一种人体动作检测方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种人体动作检测方法的步骤。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部磁盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种人体动作检测方法，其特征在于，所述方法包括：

实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息；

基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹；

将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。

2.根据权利要求1所述的方法，其特征在于，在所述实时采集包含所述人体的视频图像之前，包括：

生成样本数据集和所述样本数据集中的各样本图像的标注信息；

根据所述样本数据集中的各样本图像和该各样本图像的标注信息进行训练建立的的卷积神经网络，得到所述卷积神经网络的卷积层和批归一化层的参数。

3.根据权利要求2所述的方法，其特征在于，所述生成样本数据集和所述样本数据集中的各样本图像的标注信息，具体包括：

从目标场景下得到包含人体的图像和不包含人体的图像生成所述样本数据集，用在coco数据集中训练好的yolo模型从海量的样本数据中检测出包含人体的图像，对所述该图像标注检测人员的头、手关键点。

4.根据权利要求1所述的方法，其特征在于，所述人体的关键部位包括：人体的头部和手部。

5.根据权利要求1所述的方法，其特征在于，所述将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规，包括：

计算标准轨迹和所述检测轨迹间的归整路径距离，当所述规整路径距离满足预设阈值范围时，判断所述关键部位的移动轨迹合规。

6.一种人体动作检测装置，其特征在于，包括：

检测模块，用于实时采集包含所述人体的视频图像，通过训练完成的卷积神经网络模型对所述视频图像中包含的人体的关键部位进行检测，并得到所述关键部位的位置信息；

确定模块，用于基于得到的所述关键部位的位置信息，确定所述关键部位的移动轨迹；

判断模块，用于将确定的所述移动轨迹与预设的标准轨迹进行比较，判断所述关键部位的移动轨迹是否合规。

7.根据权利要求6所述的装置，其特征在于，还包括：

生成模块，用于生成样本数据集和所述样本数据集中的各样本图像的标注信息；

训练模块，用于根据所述样本数据集中的各样本图像和该各样本图像的标注信息进行训练建立的的卷积神经网络，得到所述卷积神经网络的卷积层和批归一化层的参数。

8.根据权利要求7所述的装置，其特征在于，所述生成模块，具体用于：

从目标场景下得到包含人体的图像和不包含人体的图像生成所述样本数据集，用在coco数据集中训练好的yolo模型从海量的样本数据中检测出包含人体的图像，对所述该图像标注检测人员的头、手关键点。

9.根据权利要求6所述的装置，其特征在于，所述人体的关键部位包括：人体的头部和手部。

10.根据权利要求6所述的装置，其特征在于，所述判断模块，具体用于：

计算标准轨迹和所述检测轨迹间的归整路径距离，当所述规整路径距离满足预设阈值范围时，判断所述关键部位的移动轨迹合规。