CN110321852B - 一种动作类型识别方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本发明实施例提供的一种动作类型识别方法、装置、存储介质及计算机设备，可以获得图像采集装置采集的监控目标图像；通过人体动作识别算法，获得所述监控目标图像中的人体动作；根据预设的人体动作类型库，确定所述人体动作所属的动作类型；当所述动作类型为违规类型时，生成违规信息。通过采用了识别监控目标图像中的人体动作，在确定该人体动作的动作类型为违规类型后生成违规信息的技术手段，克服了人工查看图像难以及时发现违规类型的人体动作的技术问题，进而达到了及时发现违规类型的人体动作的技术效果。

Description

一种动作类型识别方法、装置、存储介质及计算机设备

技术领域

本发明涉及图像识别领域，尤其涉及一种动作类型识别方法、装置、存储介质及计算机设备。

背景技术

为了保证员工在工作时间内积极正确地完成工作任务，不违反公司的规章和纪律，公司需要对员工在工作时间内的人体动作进行监控，以便发现员工的所属违规类型的人体动作。

对于员工在上班时间内出现所属违规类型的人体动作，各公司需要安排监督人员查看图像采集装置采集的图像，通过查看图像采集装置采集的图像，人工判断图像中的人体动作所属的动作类型是否属于违规类型。

然而，由于需要人工查看所有的图像采集装置采集的图像，并逐一判断图像中的人体动作是否属于违规类型的人体动作，因此难以及时发现员工的所属违规类型的人体动作。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种动作类型识别方法、装置、存储介质及计算机设备，技术方案如下：

一种动作类型识别方法，包括：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

当所述动作类型为违规类型时，生成违规信息。

可选的，所述方法还包括：

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息。

可选的，所述违规信息包括所述发起者的身份信息和/或所述人体动作所属的动作类型。

可选的，所述通过人体动作识别算法，获得所述监控目标图像中的人体动作，包括：

通过所述人体动作识别算法，确定所述监控目标图像中的人体关键点；

根据所述人体关键点，确定与所述人体关键点对应的人体动作。

可选的，所述方法应用于控制设备中，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，

所述当所述动作类型为违规类型时，生成违规信息，包括：

分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息。

可选的，所述方法还包括：

当所述人体动作所属的动作类型为违规类型时，确定所述各个图像采集装置采集的监控目标图像中的所述人体动作的发起者所处的位置；

对与所述发起者所处的位置对应的图像采集装置采集的监控目标图像进行人脸检测，获得所述发起者的人脸特征；

将所述人脸特征与预设的信息库进行匹配，获得所述发起者的身份信息。

一种动作类型识别装置，包括：图像获得单元、人体动作获得单元、动作类型确定单元和违规信息生成单元，

所述图像获得单元，用于获得图像采集装置采集的监控目标图像；

所述人体动作获得单元，用于通过人体动作识别算法，获得所述监控目标图像中的人体动作；

所述动作类型确定单元，用于根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

所述违规信息生成单元，当所述动作类型为违规类型时，用于生成违规信息。

可选的，所述装置还包括：人脸特征获得单元和身份信息获得单元，

所述人脸特征获得单元，当所述人体动作所属的动作类型为违规类型时，用于对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

所述身份信息获得单元，用于将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息。

一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述的动作类型识别方法。

一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行程序时至少实现以下步骤：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

当所述动作类型为违规类型时，生成违规信息。

借由上述技术方案，本发明提供的一种动作类型识别方法、装置、存储介质及计算机设备，可以获得图像采集装置采集的监控目标图像；通过人体动作识别算法，获得所述监控目标图像中的人体动作；根据预设的人体动作类型库，确定所述人体动作所属的动作类型；当所述动作类型为违规类型时，生成违规信息。通过采用了识别监控目标图像中的人体动作，在确定该人体动作的动作类型为违规类型后生成违规信息的技术手段，克服了人工查看图像难以及时发现违规类型的人体动作的技术问题，进而达到了及时发现违规类型的人体动作的技术效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种动作类型识别方法的流程示意图；

图2示出了本发明实施例提供的另一种动作类型识别方法的流程示意图；

图3示出了本发明实施例提供的人体关键点的分布情况示意图；

图4示出了本发明实施例提供的另一种动作类型识别方法的流程示意图；

图5示出了本发明实施例提供的一种对人体动作进行框选标记的说明示意图；

图6示出了本发明实施例提供的一种图像采集装置安装位置的说明示意图；

图7示出了本发明实施例提供的一种动作类型识别装置的结构示意图；

图8示出了本发明实施例提供的另一种动作类型识别装置的结构示意图；

图9示出了本发明实施例提供的另一种动作类型识别装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明实施例提供的一种动作类型识别方法，可以包括：

S100、获得图像采集装置采集的监控目标图像；

具体的，图像采集装置可以包括全景摄像机、监控摄像机以及携带摄像功能的计算机和移动设备。图像采集装置可以采集连续多帧的图像作为监控目标图像，也可以采集某一帧图像作为监控目标图像。监控目标图像可以包括处于静止动作的人体和处于移动动作的人体。可以理解的是，获得的监控目标图像中可以包括一个或多个人体。

S200、通过人体动作识别算法，获得所述监控目标图像中的人体动作；

具体的，人体动作识别算法可以包括人体姿态估计算法、肢体动作识别算法，人体关键点检测算法。可以理解的是，本实施例可以在同一帧监控目标图像中获得一个或多个人体动作，并且在同一帧监控目标图像中获得的人体动作可以是静止的人体动作，也可以是移动的人体动作。

可选的，基于图1所示的方法，如图2所示，本发明实施例提供的另一种动作类型识别方法，步骤S200可以包括：

S210、通过所述人体动作识别算法，确定所述监控目标图像中的人体关键点；

具体的，本发明一优选实施例主要通过人体关键点检测算法，确定监控目标图像中的人体关键点。人体关键点检测算法可以根据监控目标图像中的人体半身或人体全身的骨骼关节点，确定人体关键点。如图3所示，图中白色圆点表示根据监控目标图像中的人体的骨骼关节点所确定的人体关键点，一个人体存在多个人体关键点，通过人体关键点检测算法，可以确定人体的部分或全部的人体关键点。需要注意的是，本发明实施例的人体关键点检测算法还可以区分不同人体的人体关键点，如图3中有两个人体，本发明实施例可以区分这两个人体的关键点。

在实际应用中，会出现两个以上的人体在监控目标图像中出现重叠的情况，本发明实施例可以通过预先对每个人体的人体关键点标注ID和/或使用不同颜色的人体关键点和/或使用不同的人体关键点符号的方式，区分不同人体的人体关键点。

S220、根据所述人体关键点，确定与所述人体关键点对应的人体动作。

具体的，根据同一个人体的部分或全部的人体关键点的分布情况，本发明实施例可以确定该人体的人体关键点对应的人体动作。如图3左侧人体所示，根据该人体的人体关键点的分布情况，本发明实施例可以确定该人体的人体动作为站立。如图3右侧人体所示，根据该人体的人体关键点的分布情况，本发明实施例可以确定该人体的人体动作为跑步。本发明实施例还可以根据人体的人体关键点的分布情况，确定该人体的其他人体动作，例如：吸烟、打电话和拍照等人体动作。本发明实施例还可以通过不同的人体的重叠人体关键点，确定该不同的人体之间互动的人体动作。例如握手、推搡等人体动作。

S300、根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

具体的，预设的人体动作类型库包括多种人体动作对应的动作类型，动作类型可以包括正常类型、违规类型和其他类型。例如，坐着、站立等人体动作可以属于正常类型，吸烟、拿着手机拍电脑屏幕等人体动作可以属于违规类型。对于正常类型的人体动作和违规类型的人体动作可以根据本发明实施例的应用环境确定，例如，当应用环境为加油站时，则吸烟、打电话等人体行为可以属于违规类型；当应用环境为需要保密的部门，则拍照等人体行为可以属于违规类型；当应用环境为工厂时，跑步、推搡等人体行为可以属于违规类型。

本发明实施例除了指定某些人体动作属于违规类型之外，还可以统计特定时间段内，某一人体做出某一人体动作的次数和/或持续时间，并根据该人体做出该人体动作的次数和/或持续时间，确定该人体做出该人体动作是否属于违规类型。例如，在禁烟的场所，从监控目标图像中获得人体的吸烟的人体动作，由于吸烟的人体动作具有抬手至嘴部又放下手的特征，在放下手时获得的可能不是吸烟的人体动作，为了避免将人体偶然将抬手至嘴部的非吸烟的人体动作确定为吸烟的人体动作，因此，本发明实施例可以计算在特定时间段内该人体做出抬手至嘴部又放下手的特征的人体动作的次数，当该次数超过预设次数时，则确定该人体做出吸烟的人体动作，否则，该人体做出的人体动作不被确定为吸烟。根据人体做出的人体动作在特定时间段内的次数和/或持续时间，确定该人体动作是否属于违规类型，可以减少对违规类型的人体动作的误判，提高准确率。

S400、当所述动作类型为违规类型时，生成违规信息。

具体的，违规信息可以通过文字、截图和数据等形式进行表达。在生成违规信息之后，本发明实施例可以将违规信息存储到存储器中，并在预设的异常数据库中对该违规信息进行记录，该条记录包括该违规信息的生成时间、地点、图像采集装置的设备号和违规类型。

本发明实施例提供的一种动作类型识别方法，可以获得图像采集装置采集的监控目标图像；通过人体动作识别算法，获得所述监控目标图像中的人体动作；根据预设的人体动作类型库，确定所述人体动作所属的动作类型；当所述动作类型为违规类型时，生成违规信息。通过采用了识别监控目标图像中的人体动作，在确定该人体动作的动作类型为违规类型后生成违规信息的技术手段，克服了人工查看图像难以及时发现违规类型的人体动作的技术问题，进而达到了及时发现违规类型的人体动作的技术效果。

可选的，基于图1所示的方法，如图4所示，本发明实施例提供的另一种动作类型识别方法，还可以包括：

S500、当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

具体的，通过人脸识别技术对所属违规类型的人体动作所在的监控目标图像进行人脸识别，获得该人体动作的人体的脸部特征信息。可以理解的是，在确定监控目标图像中的人体动作属于违规类型之后，需要确定该人体动作的发起者的人脸特征。在确定该发起者的人脸特征后，可以截取该发起者的人脸特征进行保存，以便相关人员进行查看。

S600、将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的发起者的身份信息。

具体的，预设的信息库可以预先存储有包括图像采集装置采集的监控目标图像中的部分或全部的人体动作对应的发起者在内的人脸特征。在预设的信息库中，每一个存储的人脸特征与一个身份信息相匹配。身份信息可以包括与该身份信息对应的发起者的姓名、所在部门和职位。通过获得的人脸特征，可以在预设的信息库中查询到与该人脸特征匹配的身份信息，从而确定某一个人体动作的发起者的身份信息。通过确定人体动作的发起者的身份信息，可以准确定位违规类型人体动作的发起者。

在本发明实施例中，预设的信息库可以与预设的异常数据库连接，预设的信息库中存储的身份信息可以与预设的异常数据库中的一条或多条历史违规信息对应。例如，张三在这个月出现了三次违规类型的人体动作，那么预设的信息库中存储的张三的身份信息可以与预设的异常数据库中的根据该三次违规类型的人体动作所生成的历史违规信息对应。当获得张三的身份信息时，可以获得张三的部分或全部历史违规信息。

可选的，所述违规信息可以包括所述发起者的身份信息和/或所述人体动作所属的动作类型。

本发明实施例在获得监控目标图像中的人体动作之后，可以使用框选的方式对监控目标图像中的每一帧的人体动作进行标记，已达到跟踪该人体动作的目的。当人体动作是移动动作时，在移动的过程中该人体动作在监控目标图像中始终被框选标记。本发明实施例还可以实时展示被框选标记的人体动作所属的动作类型。如图5所示，实时对监控目标图像中的各人体动作进行框选标记，并在框选标记周围显示人体动作所属的动作类型。可以理解的是，在将监控目标图像存储到存储器后，后续从存储器中查看该监控目标图像时，也可以查看到该框选标记及展示的人体动作所属的动作类型。

对于所属动作类型为违规类型的人体动作，本发明实施例可以在该人体动作周围添加提醒标志，也可以使该人体动作的框选标记显示为红色，以便与所属正常类型的人体动作的框选标记进行区分。

可选的，本发明实施例提供的另一种动作类型识别方法可以应用于控制设备中，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，步骤S400可以具体包括：

S410、分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

本发明实施例的各图像采集装置可以安装在某一区域内的不同位置。如图6所示，图像采集装置A可以安装在墙与墙的交界处，图像采集装置B可以安装在墙上，图像采集装置C可以安装在此区域内的电子设备中。可以理解的是，图像采集装置的安装位置是可以根据实际环境和实际需要确定的，在此不作进一步的限定。

具体的，由于各图像采集装置采集的监控目标图像对人体动作的采集方向不同，因此根据各图像采集装置采集的监控目标图像中的同一人体动作，确定的动作类型可以不同。例如，在同一时间内，图像采集装置A采集的监控目标图像中张三的人体动作可以确定为端坐，但是图像采集装置B采集的监控目标图像中张三的人体动作可以确定为躺卧。根据各图像采集装置采集的监控目标图像中的人体动作，分别确定该人体动作所属的动作类型是否为违规类型。例如，在同一时间内，图像采集装置A采集的监控目标图像中李四的人体动作为吸烟，图像采集装置B采集的监控目标图像中的人体动作为站立，则根据图像采集装置A采集的监控目标图像，确定李四的人体动作为违规类型的人体动作，而根据图像采集装置B采集的监控目标图像，确定李四的人体动作为正常类型的人体动作。

S420、根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息。

本发明实施例可以为各图像采集装置分别预设权重，当各图像采集装置分别采集的监控目标图像中对同一人体动作的确定的该人体动作所属的动作类型不一致时，可以根据各图像采集装置的预设权重，确定该人体动作所属的动作类型。

进一步，当确定各图像采集装置分别采集的监控目标图像中对同一人体动作所属的动作类型是否为违规类型出现不一致的结果时，可以根据各图像采集装置的预设权重，确定出该人体动作所属的动作类型是否为违规类型。例如，确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型的确定结果可以为0或1，其中0可以表示为非违规类型，1可以表示为违规类型。本发明实施例可以对各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型的确定结果进行加权平均运算，再将加权平均运算获得的加权平均值与预设阀值进行比较，如果该加权平均值大于该预设阀值，则确定该人体动作所属的动作类型为违规类型，如果该加权平均值不大于该预设阀值，则确定该人体动作所属的动作类型为非违规类型。例如，图像采集装置A的预设权重为0.3、图像采集装置B的预设权重为0.5和图像采集装置C的预设权重为0.2，对同一人体动作：确定图像采集装置A采集的监控目标图像中的该人体动作所属的动作类型的确定结果为0、确定图像采集装置B采集的监控目标图像中的该人体动作所属的动作类型的确定结果为1和确定图像采集装置C采集的监控目标图像中的人体动作所属的动作类型的确定结果为1，则加权平均值为0.7，若预设阀值为0.5，则该人体动作所属的动作类型为违规类型。

可选的，本发明实施例提供的另一种动作类型识别方法，还可以包括：

S700、当所述人体动作所属的动作类型为违规类型时，确定所述多个图像采集装置采集的监控目标图像中的所述人体动作的发起者所处的位置；

本发明实施例可以根据人体动作的发起者在监控目标图像中的图像位置，确定该人体动作的发起者的实际位置。由多个图像采集装置采集的监控目标图像，共同确定人体动作的发起者的实际位置，使确定的实际位置更加准确。

S800、对与所述发起者所处的位置对应的图像采集装置采集的监控目标图像进行人脸检测，获得所述发起者的人脸特征；

具体的，本发明实施例可以通过与该发起者的实际位置相对较近的图像采集装置采集的监控目标图像中对该发起者进行人脸检测，获得该发起者的人脸特征。本发明实施例还可以通过发起者的面部所朝向的图像采集装置采集的监控目标图像中对该发起者进行人脸检测，获得该发起者的人脸特征。

若确定违规类型的人体动作的发起者在工位上，本发明实施例可以调用其工位上的图像采集装置，获得该违规类型的人体动作的发起者的人脸特征，例如调用其工位上计算机上的摄像头获得该摄像头前的发起者的人脸特征。

S900、将所述人脸特征与预设的信息库进行匹配，获得所述发起者的身份信息。

与上述方法实施例相对应，本发明实施例还提供了一种动作类型识别装置。

如图7所示，本发明实施例提供的一种动作类型识别装置，可以包括：图像获得单元100、人体动作获得单元200、动作类型确定单元300和违规信息生成单元400，

所述图像获得单元100，用于获得图像采集装置采集的监控目标图像；

具体的，图像采集装置可以包括全景摄像机、监控摄像机以及携带摄像功能的计算机和移动设备。图像采集装置可以采集连续多帧的图像作为监控目标图像，也可以采集某一帧图像作为监控目标图像。监控目标图像可以包括处于静止动作的人体和处于移动动作的人体。可以理解的是，获得的监控目标图像中可以包括一个或多个人体。

所述人体动作获得单元200，用于通过人体动作识别算法，获得所述监控目标图像中的人体动作；

具体的，人体动作识别算法可以包括人体姿态估计算法、肢体动作识别算法，人体关键点检测算法。可以理解的是，本实施例可以在同一帧监控目标图像中获得一个或多个人体动作，并且在同一帧监控目标图像中获得的人体动作可以是静止的人体动作，也可以是移动的人体动作。

可选的，基于图7所示的装置，如图8所示，本发明实施例提供的另一种动作类型识别装置，所述人体动作获得单元200包括人体关键点确定单元210和人体动作确定单元220，

所述人体关键点确定单元210，用于通过所述人体动作识别算法，确定所述监控目标图像中的人体关键点；

具体的，本发明一优选实施例主要通过人体关键点检测算法，确定监控目标图像中的人体关键点。人体关键点检测算法可以根据监控目标图像中的人体半身或人体全身的骨骼关节点，确定人体关键点。如图3所示，图中白色圆点表示根据监控目标图像中的人体的骨骼关节点所确定的人体关键点，一个人体存在多个人体关键点，通过人体关键点检测算法，可以确定人体的部分或全部的人体关键点。需要注意的是，本发明实施例的人体关键点检测算法还可以区分不同人体的人体关键点，如图3中有两个人体，本发明实施例可以区分这两个人体的关键点。

在实际应用中，会出现两个以上的人体在监控目标图像中出现重叠的情况，本发明实施例可以通过预先对每个人体的人体关键点标注ID和/或使用不同颜色的人体关键点和/或使用不同的人体关键点符号的方式，区分不同人体的人体关键点。

所述人体动作确定单元220，用于根据所述人体关键点，确定与所述人体关键点对应的人体动作。

具体的，根据同一个人体的部分或全部的人体关键点的分布情况，本发明实施例可以确定该人体的人体关键点对应的人体动作。如图3左侧人体所示，根据该人体的人体关键点的分布情况，本发明实施例可以确定该人体的人体动作为站立。如图3右侧人体所示，根据该人体的人体关键点的分布情况，本发明实施例可以确定该人体的人体动作为跑步。本发明实施例还可以根据人体的人体关键点的分布情况，确定该人体的其他人体动作，例如：吸烟、打电话和拍照等人体动作。本发明实施例还可以通过不同的人体的重叠人体关键点，确定该不同的人体之间互动的人体动作。例如握手、推搡等人体动作。

所述动作类型确定单元300，用于根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

具体的，预设的人体动作类型库包括多种人体动作对应的动作类型，动作类型可以包括正常类型、违规类型和其他类型。例如，坐着、站立等人体动作可以属于正常类型，吸烟、拿着手机拍电脑屏幕等人体动作可以属于违规类型。对于正常类型的人体动作和违规类型的人体动作可以根据本发明实施例的应用环境确定，例如，当应用环境为加油站时，则吸烟、打电话等人体行为可以属于违规类型；当应用环境为需要保密的部门，则拍照等人体行为可以属于违规类型；当应用环境为工厂时，跑步、推搡等人体行为可以属于违规类型。

本发明实施例除了指定某些人体动作属于违规类型之外，还可以统计特定时间段内，某一人体做出某一人体动作的次数和/或持续时间，并根据该人体做出该人体动作的次数和/或持续时间，确定该人体做出该人体动作是否属于违规类型。例如，在禁烟的场所，从监控目标图像中获得人体的吸烟的人体动作，由于吸烟的人体动作具有抬手至嘴部又放下手的特征，在放下手时获得的可能不是吸烟的人体动作，为了避免将人体偶然将抬手至嘴部的非吸烟的人体动作确定为吸烟的人体动作，因此，本发明实施例可以计算在特定时间段内该人体做出抬手至嘴部又放下手的特征的人体动作的次数，当该次数超过预设次数时，则确定该人体做出吸烟的人体动作，否则，该人体做出的人体动作不被确定为吸烟。根据人体做出的人体动作在特定时间段内的次数和/或持续时间，确定该人体动作是否属于违规类型，可以减少对违规类型的人体动作的误判，提高准确率。

所述违规信息生成单元400，当所述动作类型为违规类型时，用于生成违规信息。

具体的，违规信息可以通过文字、截图和数据等形式进行表达。在生成违规信息之后，本发明实施例可以将违规信息存储到存储器中，并在预设的异常数据库中对该违规信息进行记录，该条记录包括该违规信息的生成时间、地点、图像采集装置的设备号和违规类型。

本发明实施例提供的一种动作类型识别装置，可以获得图像采集装置采集的监控目标图像；通过人体动作识别算法，获得所述监控目标图像中的人体动作；根据预设的人体动作类型库，确定所述人体动作所属的动作类型；当所述动作类型为违规类型时，生成违规信息。通过采用了识别监控目标图像中的人体动作，在确定该人体动作的动作类型为违规类型后生成违规信息的技术手段，克服了人工查看图像难以及时发现违规类型的人体动作的技术问题，进而达到了及时发现违规类型的人体动作的技术效果。

可选的，基于图8所示的装置，如图9所示，本发明实施例提供的另一种动作类型识别装置，还可以包括：人脸特征获得单元500和身份信息获得单元600，

所述人脸特征获得单元500，当所述人体动作所属的动作类型为违规类型时，用于对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

具体的，通过人脸识别技术对所属违规类型的人体动作所在的监控目标图像进行人脸识别，获得该人体动作的人体的脸部特征信息。可以理解的是，在确定监控目标图像中的人体动作属于违规类型之后，需要确定该人体动作的发起者的人脸特征。在确定该发起者的人脸特征后，可以截取该发起者的人脸特征进行保存，以便相关人员进行查看。

所述身份信息获得单元600，用于将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息。

具体的，预设的信息库可以预先存储有包括图像采集装置采集的监控目标图像中的部分或全部的人体动作对应的发起者在内的人脸特征。在预设的信息库中，每一个存储的人脸特征与一个身份信息相匹配。身份信息可以包括与该身份信息对应的发起者的姓名、所在部门和职位。通过获得的人脸特征，可以在预设的信息库中查询到与该人脸特征匹配的身份信息，从而确定某一个人体动作的发起者的身份信息。通过确定人体动作的发起者的身份信息，可以准确定位违规类型人体动作的发起者。

在本发明实施例中，预设的信息库可以与预设的异常数据库连接，预设的信息库中存储的身份信息可以与预设的异常数据库中的一条或多条历史违规信息对应。例如，张三在这个月出现了三次违规类型的人体动作，那么预设的信息库中存储的张三的身份信息可以与预设的异常数据库中的根据该三次违规类型的人体动作所生成的历史违规信息对应。当获得张三的身份信息时，可以获得张三的部分或全部历史违规信息。

可选的，所述违规信息可以包括所述发起者的身份信息和/或所述人体动作所属的动作类型。

本发明实施例在获得监控目标图像中的人体动作之后，可以使用框选的方式对监控目标图像中的每一帧的人体动作进行标记，已达到跟踪该人体动作的目的。当人体动作是移动动作时，在移动的过程中该人体动作在监控目标图像中始终被框选标记。本发明实施例还可以实时展示被框选标记的人体动作所属的动作类型。如图5所示，实时对监控目标图像中的各人体动作进行框选标记，并在框选标记周围显示人体动作所属的动作类型。可以理解的是，在将监控目标图像存储到存储器后，后续从存储器中查看该监控目标图像时，也可以查看到该框选标记及展示的人体动作所属的动作类型。

对于所属动作类型为违规类型的人体动作，本发明实施例可以在该人体动作周围添加提醒标志，也可以使该人体动作的框选标记显示为红色，以便与所属正常类型的人体动作的框选标记进行区分。

可选的，所述动作类型识别装置可以为控制设备，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，

所述违规信息生成单元400可以具体用于：分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息。

本发明实施例的各图像采集装置可以安装在某一区域内的不同位置。如图6所示，图像采集装置A可以安装在墙与墙的交界处，图像采集装置B可以安装在墙上，图像采集装置C可以安装在此区域内的电子设备中。可以理解的是，图像采集装置的安装位置是可以根据实际环境和实际需要确定的，在此不作进一步的限定。

具体的，由于各图像采集装置采集的监控目标图像对人体动作的采集方向不同，因此根据各图像采集装置采集的监控目标图像中的同一人体动作，确定的动作类型可以不同。例如，在同一时间内，图像采集装置A采集的监控目标图像中张三的人体动作可以确定为端坐，但是图像采集装置B采集的监控目标图像中张三的人体动作可以确定为躺卧。根据各图像采集装置采集的监控目标图像中的人体动作，分别确定该人体动作所属的动作类型是否为违规类型。例如，在同一时间内，图像采集装置A采集的监控目标图像中李四的人体动作为吸烟，图像采集装置B采集的监控目标图像中的人体动作为站立，则根据图像采集装置A采集的监控目标图像，确定李四的人体动作为违规类型的人体动作，而根据图像采集装置B采集的监控目标图像，确定李四的人体动作为正常类型的人体动作。

本发明实施例可以为各图像采集装置分别预设权重，当各图像采集装置分别采集的监控目标图像中对同一人体动作的确定的该人体动作所属的动作类型不一致时，可以根据各图像采集装置的预设权重，确定该人体动作所属的动作类型。进一步，当确定各图像采集装置分别采集的监控目标图像中对同一人体动作所属的动作类型是否为违规类型出现不一致的结果时，可以根据各图像采集装置的预设权重，确定出该人体动作所属的动作类型是否为违规类型。

可选的，所述动作类型识别装置还可以包括：位置确定单元、人脸特征获得单元500和身份信息获得单元600，

所述位置确定单元，用于当所述人体动作所属的动作类型为违规类型时，确定所述各个图像采集装置采集的监控目标图像中的所述人体动作的发起者所处的位置；

本发明实施例可以根据人体动作的发起者在监控目标图像中的图像位置，确定该人体动作的发起者的实际位置。由多个图像采集装置采集的监控目标图像，共同确定人体动作的发起者的实际位置，使确定的实际位置更加准确。

所述人脸特征获得单元500，用于对与所述发起者所处的位置对应的图像采集装置采集的监控目标图像进行人脸检测，获得所述发起者的人脸特征；

具体的，本发明实施例可以通过与该发起者的实际位置相对较近的图像采集装置采集的监控目标图像中对该发起者进行人脸检测，获得该发起者的人脸特征。本发明实施例还可以通过发起者的面部所朝向的图像采集装置采集的监控目标图像中对该发起者进行人脸检测，获得该发起者的人脸特征。

若确定违规类型的人体动作的发起者在工位上，本发明实施例可以调用其工位上的图像采集装置，获得该违规类型的人体动作的发起者的人脸特征，例如调用其工位上计算机上的摄像头获得该摄像头前的发起者的人脸特征。

所述身份信息获得单元600，用于将所述人脸特征与预设的信息库进行匹配，获得所述发起者的身份信息。

本发明实施例提供的一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述的动作类型识别方法。

本发明实施例提供的一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行程序时至少实现以下步骤：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

当所述动作类型为违规类型时，生成违规信息。

所述一种动作类型识别装置包括处理器和存储器，上述图像获得单元100、人体动作获得单元200、动作类型确定单元300和违规信息生成单元400等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来及时发现违规类型的人体动作。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述动作类型识别方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述动作类型识别方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

当所述动作类型为违规类型时，生成违规信息。

可选的，还可以包括：

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息。

可选的，所述通过人体动作识别算法，获得所述监控目标图像中的人体动作，包括：

通过所述人体动作识别算法，确定所述监控目标图像中的人体关键点；

根据所述人体关键点，确定与所述人体关键点对应的人体动作。

可选的，所述方法应用于控制设备中，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，

所述当所述动作类型为违规类型时，生成违规信息，包括：

分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息。

可选的，还可以包括：

当所述人体动作所属的动作类型为违规类型时，确定所述各个图像采集装置采集的监控目标图像中的所述人体动作的发起者所处的位置；

对与所述发起者所处的位置对应的图像采集装置采集的监控目标图像进行人脸检测，获得所述发起者的人脸特征；

将所述人脸特征与预设的信息库进行匹配，获得所述发起者的身份信息。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

根据预设的人体动作类型库，确定所述人体动作所属的动作类型；

当所述动作类型为违规类型时，生成违规信息。

可选的，还可以包括：

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息。

可选的，所述通过人体动作识别算法，获得所述监控目标图像中的人体动作，包括：

通过所述人体动作识别算法，确定所述监控目标图像中的人体关键点；

根据所述人体关键点，确定与所述人体关键点对应的人体动作。

可选的，所述方法应用于控制设备中，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，

所述当所述动作类型为违规类型时，生成违规信息，包括：

分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息。

可选的，还可以包括：

当所述人体动作所属的动作类型为违规类型时，确定所述各个图像采集装置采集的监控目标图像中的所述人体动作的发起者所处的位置；

对与所述发起者所处的位置对应的图像采集装置采集的监控目标图像进行人脸检测，获得所述发起者的人脸特征；

将所述人脸特征与预设的信息库进行匹配，获得所述发起者的身份信息。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种动作类型识别方法，其特征在于，包括：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

获取人体动作所处应用环境，根据预设的人体动作类型库，确定所述人体动作所属的动作类型；所述确定所述人体动作所属的动作类型，包括：统计特定时间段内，人体做出所述人体动作的次数和/或持续时间，根据所述人体做出所述人体动作的次数和/或持续时间，确定所述人体动作所属的动作类型；其中，所述预设的人体动作类型库中的动作类型依据相应的应用环境确定；

当所述动作类型为违规类型时，生成违规信息；

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息；其中，所述预设的信息库与预设的异常数据库连接，所述预设的信息库中存储的所述身份信息与所述预设的异常数据库中的一条或多条历史违规信息对应；

所述方法应用于控制设备中，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，

所述当所述动作类型为违规类型时，生成违规信息，包括：

分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

当确定各图像采集装置分别采集的监控目标图像中对同一人体动作所属的动作类型是否为违规类型出现不一致的结果时，根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息；

所述根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，包括：

根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果进行加权平均运算；

将加权平均运算获得的加权平均值与预设阀值进行比较；

若所述加权平均值大于所述预设阀值，则确定所述人体动作所属的动作类型为违规类型，若所述加权平均值不大于所述预设阀值，则确定所述人体动作所属的动作类型为非违规类型；

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，包括：获取发起者实际位置，调取实际位置相对较近且所述发起者面部朝向的图像采集装置获取所述发起者的人脸特征；当判断违规类型的人体动作的发起者在工位上时，调用所述工位上的图像采集装置获取所述发起者的人脸特征。

2.根据权利要求1所述的方法，其特征在于，所述违规信息包括所述发起者的身份信息和/或所述人体动作所属的动作类型。

3.根据权利要求1所述的方法，其特征在于，所述通过人体动作识别算法，获得所述监控目标图像中的人体动作，包括：

通过所述人体动作识别算法，确定所述监控目标图像中的人体关键点；

根据所述人体关键点，确定与所述人体关键点对应的人体动作。

4.根据权利要求3所述的方法，其特征在于，还包括：

将所述人脸特征与预设的信息库进行匹配，获得所述发起者的身份信息。

5.一种动作类型识别装置，其特征在于，包括：图像获得单元、人体动作获得单元、动作类型确定单元、违规信息生成单元、人脸特征获得单元和身份信息获得单元，

所述图像获得单元，用于获得图像采集装置采集的监控目标图像；

所述人体动作获得单元，用于通过人体动作识别算法，获得所述监控目标图像中的人体动作；

所述动作类型确定单元，用于获取人体动作所处应用环境，根据预设的人体动作类型库，确定所述人体动作所属的动作类型；所述确定所述人体动作所属的动作类型，包括：统计特定时间段内，人体做出所述人体动作的次数和/或持续时间，根据所述人体做出所述人体动作的次数和/或持续时间，确定所述人体动作所属的动作类型；其中，所述预设的人体动作类型库中的动作类型依据相应的应用环境确定；

所述违规信息生成单元，当所述动作类型为违规类型时，用于生成违规信息；

所述人脸特征获得单元，当所述人体动作所属的动作类型为违规类型时，用于对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；

所述身份信息获得单元，用于将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息；其中，所述预设的信息库与预设的异常数据库连接，所述预设的信息库中存储的所述身份信息与所述预设的异常数据库中的一条或多条历史违规信息对应；

所述动作类型识别装置为控制设备，所述控制设备与多个图像采集装置通信连接，所述监控目标图像由所述图像采集装置采集得到，

所述违规信息生成单元，具体用于：

分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

当确定各图像采集装置分别采集的监控目标图像中对同一人体动作所属的动作类型是否为违规类型出现不一致的结果时，根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息；

所述根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，包括：

根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果进行加权平均运算；

将加权平均运算获得的加权平均值与预设阀值进行比较；

若所述加权平均值大于所述预设阀值，则确定所述人体动作所属的动作类型为违规类型，若所述加权平均值不大于所述预设阀值，则确定所述人体动作所属的动作类型为非违规类型；

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，包括：获取发起者实际位置，调取实际位置相对较近且所述发起者面部朝向的图像采集装置获取所述发起者的人脸特征；当判断违规类型的人体动作的发起者在工位上时，调用所述工位上的图像采集装置获取所述发起者的人脸特征。

6.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至4任一项所述的动作类型识别方法。

7.一种计算机设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行程序时至少实现以下步骤：

获得图像采集装置采集的监控目标图像；

通过人体动作识别算法，获得所述监控目标图像中的人体动作；

获取人体动作所处应用环境，根据预设的人体动作类型库，确定所述人体动作所属的动作类型；所述确定所述人体动作所属的动作类型，包括：统计特定时间段内，人体做出所述人体动作的次数和/或持续时间，根据所述人体做出所述人体动作的次数和/或持续时间，确定所述人体动作所属的动作类型；其中，所述预设的人体动作类型库中的动作类型依据相应的应用环境确定；

当所述动作类型为违规类型时，生成违规信息；

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，获得与所述人体动作对应的发起者的人脸特征；将所述人脸特征与预设的信息库进行匹配，获得与所述人脸特征匹配的所述发起者的身份信息；所述预设的信息库与预设的异常数据库连接，所述预设的信息库中存储的所述身份信息与所述预设的异常数据库中的一条或多条历史违规信息对应；

所述当所述动作类型为违规类型时，生成违规信息，包括：

分别确定各图像采集装置采集的监控目标图像中的人体动作所属的动作类型是否为违规类型；

当确定各图像采集装置分别采集的监控目标图像中对同一人体动作所属的动作类型是否为违规类型出现不一致的结果时，根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，如果是，则生成违规信息；

所述根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果，确定监控目标图像中的人体动作所属的动作类型是否为违规类型，包括：

根据各图像采集装置分别对应的预设权重和各图像采集装置对应的违规类型确定结果进行加权平均运算；

将加权平均运算获得的加权平均值与预设阀值进行比较；

若所述加权平均值大于所述预设阀值，则确定所述人体动作所属的动作类型为违规类型，若所述加权平均值不大于所述预设阀值，则确定所述人体动作所属的动作类型为非违规类型；

当所述人体动作所属的动作类型为违规类型时，对所述监控目标图像进行人脸检测，包括：获取发起者实际位置，调取实际位置相对较近且所述发起者面部朝向的图像采集装置获取所述发起者的人脸特征；当判断违规类型的人体动作的发起者在工位上时，调用所述工位上的图像采集装置获取所述发起者的人脸特征。

Images