CN112861576A - 员工形象检测方法、装置、计算机设备和存储介质 - Google Patents
员工形象检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112861576A CN112861576A CN201911181582.7A CN201911181582A CN112861576A CN 112861576 A CN112861576 A CN 112861576A CN 201911181582 A CN201911181582 A CN 201911181582A CN 112861576 A CN112861576 A CN 112861576A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- area
- image
- detection
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 206
- 238000013528 artificial neural network Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012216 screening Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 95
- 238000012806 monitoring device Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000001629 suppression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种员工形象检测方法、装置、计算机设备和存储介质。所述方法包括：对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域；利用预设的神经网络对单一正面行人区域进行工牌检测和工服检测，得到检测结果。采用本方法能够提高检测的准确率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种员工形象检测方法、装置、计算机设备和存储介质。
背景技术
随着企业管理的规范化，为了加强企业的形象以及行政管理的需求，部分企业要求员工统一穿着工服和佩戴工牌。而为了防止员工违规不佩戴工牌或不穿工服，行政管理人员还会定期检查员工形象。但是，人力检查不仅耗时耗力，效果也不高。随着计算机视觉的发展，大多企业开始利用目标检测算法对员工的工服和工牌进行违规检测。
然而，现有目标检测算法通常是通过非极大值抑制的方式选择有效的目标进行识别，而员工办公通常又都处于同一办公区域，极有可能导致非极大值抑制方法失效，从而降低了检测的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高准确率的员工形象检测方法、装置、计算机设备和存储介质。
一种员工形象检测方法，所述方法包括：
对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；
基于所述行人区域的图像坐标、所述人头区域的图像坐标和所述人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域；
利用预设的神经网络对所述单一正面行人区域进行工牌检测和工服检测，得到形象检测结果。
在其中一个实施例中，所述基于所述行人区域的图像坐标、所述人头区域的图像坐标和所述人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域，包括：
将所述行人区域的图像坐标与所述人头区域的图像坐标进行比较，确定包括单个所述人头区域的单一行人区域；
根据人脸关键点的图像坐标对所述单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域。
在其中一个实施例中，所述将所述行人区域的图像坐标与所述人头区域的图像坐标进行比较，确定包括单个所述人头区域的单一行人区域之后，还包括：
根据所述单一行人区域的图像坐标确定第一行人纵向距离，以及根据所述单一行人区域对应的人头区域的图像坐标确定人头纵向距离；
根据所述第一行人纵向距离和所述人头纵向距离的纵向比，确定满足形象检测要求的单一行人区域。
在其中一个实施例中，所述根据人脸关键点的图像坐标对所述单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域，包括：
根据所述人脸关键点中各关键点的图像坐标的位置关系，确定人脸为正面的正面人脸关键点；
将所述单一行人区域的图像坐标与所述正面人脸关键点的图像坐标进行比较，确定包括正面人脸的单一正面行人区域。
在其中一个实施例中，所述基于所述行人区域的图像坐标、所述人头区域的图像坐标和所述人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域之后，还包括：
根据所述单一正面行人区域的图像坐标确定第二行人纵向距离，以及根据所述单一正面行人区域对应的人脸关键点确定人脸纵向距离；
根据所述第二行人纵向距离和所述人脸纵向距离的纵向比，确定满足形象检测要求的单一相面行人区域。
在其中一个实施例中，利用预设的神经网络对所述单一正面行人区域进行工牌检测和工服检测得到形象检测结果之后，还包括：
根据所述形象检测结果确定形象不符合要求的单一正面行人区域；
对形象不符合要求的所述单一正面行人区域进行人脸识别，得到违规员工的员工信息。
在其中一个实施例中，所述对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点之前，还包括：
接收监控设备发送的视频流；
对所述视频流进行解码并去除重复帧，得到待检测员工图像。
一种员工形象检测装置，所述装置包括：
目标检测模块，用于对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；
筛选模块，用于基于所述行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域；
形象检测模块，用于利用预设的神经网络对所述单一正面行人区域进行工牌检测和工服检测，得到检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述员工形象检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述员工形象检测方法的步骤。
上述员工形象检测方法、装置、计算机设备和存储介质，在进行形象检测之前，结合人脸检测和人头检测，同时对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点。进而基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到进行形象检测的单一正面行人区域，保证进入形象检测的目标对象唯一且清晰，从而提高了检测的准确率。
附图说明
图1为一个实施例中员工形象检测方法的应用环境图；
图2为一个实施例中员工形象检测方法的流程示意图；
图3为一个实施例中从单一行人区域中选择满足形象检测要求的单一行人区域步骤的流程示意图；
图4为另一个实施例中员工形象检测方法的流程示意图；
图5为一个实施例中员工形象检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的员工形象检测方法，可以应用于如图1所示的应用环境中。该应用环境涉及监控设备102、终端104和服务器106。其中，监控设备102、终端104和服务器106通过网络互相进行通信。监控设备102用于采集待检测的视频流发送给终端104或服务器106。可以是当终端104或服务器106接收到监控设备102发送的视频流之后，终端104或服务器106对视频流进行解码得到待检测员工图像，并且基于待检测员工单独实现上述员工形象检测方法。也可以是由终端104接收到监控设备102发送的视频流之后，终端104将接收到的视频流发送给服务器106，由服务器106实现上述员工形象检测方法。
以服务器106为例具体说明员工形象检测方法，具体地，服务器106对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；服务器106基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域；服务器106利用预设的神经网络对单一正面行人区域进行工牌检测和工服检测，得到形象检测结果。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。监控设备102可以但不限于是摄像头、相机以及携带有图像采集功能的设备。
在一个实施例中，如图2所示，提供了一种员工形象检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点。
其中，待检测员工图像是当前需要进行员工形象检测的图像，可以是由用户对员工所处区域拍摄上传的图像，也可以是获取设置于员工所处区域的监控设备发送过来的视频流，从视频流中解码得到的图像。视频流可通过调用任意一种数据流分析工具包进行解码得到对应的图像，例如调用解码工具DeepStream即可解码得到图像。
行人检测是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给与精确定位的技术。在本实施例中，行人检测用于判断待检测员工图像是否存在员工并给出员工精确定位。人头检测是利用计算机视觉技术检测图像中的人头数量，常应用于人数统计。人脸检测是指对于给定的图像，采用一定的策略对其进行搜索以确定其中是否存在人脸的技术。而人脸关键点则是人脸检测得到的结果，是人脸检测得到的关键区域位置。因此，本实施例的人脸检测也可称为人脸关键点检测，得到的人脸关键点包括眼睛、鼻子和嘴角五个点。行人区域即是图像中包括员工的图像区域，人头区域即是图像中包括人头的图像区域。
具体地，当服务器获取到待检测员工图像之后，分别调用预先训练好用于行人检测的第一神经网络、用于人头检测的第二神经网络以及用于人脸检测的第三神经网络。然后，服务器将待检测员工图像输入至第一神经网络，由第一神经网络对待检测员工图像进行行人检测，得到待检测图像中包括行人的图像区域。同时分别将待检测员工图像输入至第二神经网络和第三神经网络，由第二神经网络对待检测员工图像进行人头检测，得到待检测图像中包括人头的图像区域。由第三神经网络对对待检测员工图像进行人脸检测，得到待检测图像中包括的人脸关键点。其中，第一神经网络、第二神经网络和第三神经网络均是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。第一神经网络可以是现有任意一种目标检测算法的模型，包括但不限于是非极大值抑制算法、SSD(Single Shot MultiBox Detector，单盒检测网络)等。第二神经网络可以是FCHD(A fastand accurate head detector，快速准确的人头检测)模型。第三神经网络可以是Mtcnn(Multi-task convolutional neuralnetwork，多任务卷积检测网络)模型。
步骤S204，基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域。
其中，图像坐标是指待检测图像上的坐标，由于神经网络输出检测结果时会同时输出所检测区域在图像上的坐标位置。所以本实施例中由第一神经网络、第二神经网络以及第三神经网络分别得到的行人区域、人头区域以及人脸关键点均有对应的图像坐标。例如，当FCHD网络对待检测员工图像检测之后，输出的检测结果中包括人头区域的坐标位置{(X0，Y0)、(X1，Y1)}，(X0，Y0)为人头区域的左上坐标，(X1，Y1)为人头区域的右下坐标。通过左上坐标和右下坐标同时能得到包括人头区域的区域框。
在一个实施例中，基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域具体包括：将行人区域的图像坐标与人头区域的图像坐标进行比较，确定包括单个人头区域的单一行人区域；根据人脸关键点的图像坐标对单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域。
具体地，获取单一正面行人区域时，将人头区域的图像坐标与行人区域的图像坐标进行比较，判断人头区域是否被包括在行人区域中。当根据图像坐标确定人头区域的被包括在行人区域中，表示该行人区域是有包括人头的，则将该行人区域保留下来。例如，人头区域的图像坐标为{(2，0)、(0，2)}和{(2，6)、(6，2)}，行人区域的图像坐标为{(4，0)、(0，4)}，服务器通过比较则可以确定图像坐标为{(2，0)、(0，2)}的人头区域被包括在图像坐标为{(4，0)、(0，4)}的行人区域中。当得到包括人头的行人区域之后，将包括两个或两个以上的人头区域的行人区域去除，最终保留下来的区域即为只包括单独员工的单一行人区域。
然后，根据人脸关键点的图像坐标筛选包括人脸且为正面的单一行人区域，得到单一正面行人区域。在一个实施例中，根据人脸关键点的图像坐标对单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域，具体包括：根据人脸关键点中各关键点的图像坐标的位置关系，确定人脸为正面的正面人脸关键点；将单一行人区域的图像坐标与正面人脸关键点的图像坐标进行比较，确定包括正面人脸的单一正面行人区域。
具体地，服务器首先根据人脸关键点中眼睛的图像坐标、鼻子图像坐标和嘴角的图像坐标判断鼻子是否处于眼睛和嘴角之间的位置。当服务器将五个关键点进行比较，确定鼻子的图像坐标同时处于右眼睛的图像坐标和左眼睛的图像坐标的之间、左嘴角的图像坐标和右嘴角的图像坐标的之间、以及眼睛的图像坐标与嘴角的图像坐标之间时，表示该鼻子位于眼睛和嘴角之间的位置，则确定这五个关键点对应的人脸为正面。将所有人脸为正面的人脸关键点保留下来，得到正面人脸关键点。然后，服务器再次将得到的正面人脸关键点的图像坐标与单一行人区域的图像坐标进行比较，当任意单一行人区域的图像坐标所包括的范围内包括一个正面人脸关键点时，表示该单一行人区域中存在人脸且人脸为正面，保留该单一行人区域，得到单一正面行人区域。在本实施例中，通过人头检测和人脸检测的结果对行人区域进行筛选，得到单一正面行人区域，保证后续形象检测的图像区域有且只有一个员工，提高检测的准确性。
步骤S206，利用预设的神经网络对单一正面行人区域进行工牌检测和工服检测，得到形象检测结果。
其中，用于检测工牌检测和工服检测神经网络为第四神经网络和第五神经网络，第四神经网络和第五神经网络同样为预先训练好的神经网络。在本实施例中，工牌检测的第四神经网络可以是YOLO(You Only Look Once:Unified,Real-Time Object Detection，单个神经网络的目标检测***)网络，包括但不限是与YOLOv1、YOLOv3等。工服检测的第五神经网络可以是mobileNets网络，mobileNets网络一种轻量级的深层神经网络。
具体地，当服务器通过筛选得到单一正面行人区域时，可以通过调用OpenCV的图像工具将单一正面行人区域从待检测员工图像中截取下来。然后，调用第四神经网络和第五神经网络，将截取下来的单一正面行人区域分别输出至第四神经网络和第五神经网络进行工牌检测和工服检测，得到工牌检测结果和工服检测结果，工牌检测结果和工服检测结果统称为形象检测结果。通过工牌检测结果和工服检测结果即可确定单一正面行人区域中的员工是否符合携带工牌和穿着工服的规定。
上述员工形象检测方法，在进行形象检测之前，结合人脸检测和人头检测，同时对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点。进而基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到进行形象检测的单一正面行人区域，保证进入形象检测的目标对象唯一且清晰，从而提高了检测的准确率。
在一个实施例中，如图3所示，在将行人区域的图像坐标与人头区域的图像坐标进行比较，确定包括单个人头区域的单一行人区域之后，还包括从单一行人区域中选择满足形象检测要求的单一行人区域，具体包括以下步骤：
S302，根据单一行人区域的图像坐标确定第一行人纵向距离，以及根据单一行人区域对应的人头区域的图像坐标确定人头纵向距离。
其中，第一行人纵向距离是单一行人区域的纵向距离，人头纵向距离是单一行人区域中包括的人头区域的纵向距离。在本实施例中，纵向距离可以理解为是图像区域的长度，例如单一行人区域的长度、人头区域的长度。
具体地，由于单一行人区域和其所包括的人头区域在服务器利用神经网络检测时，就有输出对应的图像坐标。根据单一行人区域的图像坐标和其所包括的人头区域的图像坐标可得第一行人纵向距离和人头纵向距离。当对应的图像坐标只有左上坐标和右下坐标时，根据左上坐标和右下坐标得到包括区域的区域框，区域框的长即为纵向距离。例如，根据单一行人区域的左上坐标和右下坐标得到对应的单一行人区域框，获取该框的长度为第一行人纵向距离。当对应的图像坐标包括四个坐标(左上、右上、左下和右下)时，获取X坐标相同的两个坐标，例如左上和左下、右上和右下。这两个坐标的Y坐标的差值的绝对值即为得到的纵向距离。
S304，根据第一行人纵向距离和人头纵向距离的纵向比，确定满足形象检测要求的单一行人区域。
其中，纵向比就是两个纵向距离之间的比值。具体地，当获取到第一行人纵向距离和人头纵向距离之后，获取这个两个纵向距离的比值，得到纵向比。将得到的纵向比与阈值纵向比进行比较，当纵向比大于阈值纵向比时，确定该单一行人区域满足形象检测要求。阈值纵向比为预先设定的纵向比，例如阈值纵向比设为0.5。当纵向比大于等于0.5时，确定其满足形象检测要求。然后，可以通过人脸关键点对满足形象检测要求的单一行人区域进一步筛选，得到单一正面行人区域。在本实施例中，由于进行形象检测是对员工的工牌和工服进行检测，所以得到的区域中的员工应当要包括足够多的身体画面。因此通过纵向比选择身体部分足够的区域，防止区域中只出现小部分的身体画面而导致形象检测失败，从而提高了检测的成功率。
在一个实施例中，如图4所示，提供另一种员工形象检测方法，在步骤S204，基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域之后，还包括步骤S205,从单一正面行人区域中选择满足形象检测要求的单一正面行人区域，具体包括：根据单一正面行人区域的图像坐标确定第二行人纵向距离，以及根据单一正面行人区域对应的人脸关键点确定人脸纵向距离；根据第二行人纵向距离和人脸纵向距离的纵向比，确定满足形象检测要求的单一相面行人区域。
其中，第二行人纵向距离是单一正面行人区域的纵向距离，人脸纵向距离是单一行人区域中包括的人脸的纵向距离。
具体地，根据单一正面行人区域的图像坐标可得第二行人纵向距离。而由于神经网络进行人脸检测得到人脸关键点时，还会输出人脸轮廓。因此，人脸关键点对应的人脸纵向距离即是其对应人脸轮廓的长度。根据图像坐标获取第二行人纵向距离和人脸纵向距离的方法与第一行人纵向距离和人头纵向距离获取的方法原理相同，在此不再赘述。
当获取到第二行人纵向距离和人头纵向距离后，同样获取这个两个纵向距离的比值，得到纵向比。将得到的纵向比与阈值纵向比进行比较，当纵向比大于阈值纵向比时，确定该单一正面行人区域满足形象检测要求。在本实施例中，由于进行形象检测是对员工的工牌和工服进行检测，所以得到的区域中的员工应当要包括足够多的身体画面。因此通过纵向比选择身体部分足够的区域，防止区域中只出现小部分的身体画面而导致形象检测失败，从而提高了检测的成功率。
在一个实施例中，得到形象检测结果之后，还包括：根据形象检测结果确定形象不符合要求的单一正面行人区域；对形象不符合要求的单一正面行人区域进行人脸识别，得到违规员工的员工信息。
具体地，当形象检测结果中的工牌检测结果为未佩戴工牌、或者工服检测结果为未穿工服，或者同时未佩戴工牌和未穿工服，则获取该形象检测结果对应的单一正面行人区域。例如，工牌检测结果为未佩戴工牌时，获取未佩戴工牌这一检测结果对应的单一正面行人区域。然后将获取的单一正面行人区域输入至人脸识别模型中进行人脸识别，得到违规员工的员工信息。员工信息包括但不限于姓名、性别、部分、职位等。最后，获取相关工作人员的联系方式，例如行政管理人员的邮箱。根据联系方式将该单一正面行人区域以及对应的员工信息打包发送给对应的工作人员。在本实施例中，检测到违规员工后，通过人脸识别获取员工的信息并记录上报，留证便于后续管理。
在一个实施例中，获取待检测员工图像包括：接收监控设备发送的视频流；对视频流进行解码并去除重复帧，得到待检测员工图像。
具体地，当接收监控设备发送的视频，利用解码工具对接收到的视频流进行解码得到视频流对应的图像之后，通过计算相邻两幅图像之间的相似度确定重复帧。然后将确定的重复帧去除，保留下来的图像即为待检测员工图像。在本实施例中，通过去除重复帧以减少服务器进行重复处理，从而节约资源和加快检测速度。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种员工形象检测装置，包括：目标检测模块502、筛选模块504和形象检测模块506，其中：
目标检测模块502，用于对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点。
筛选模块504，用于基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域。
形象检测模块506，用于利用预设的神经网络对单一正面行人区域进行工牌检测和工服检测，得到检测结果。
在一个实施例中，目标检测模块502还用于将行人区域的图像坐标与人头区域的图像坐标进行比较，确定包括单个人头区域的单一行人区域；根据人脸关键点的图像坐标对单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域。
在一个实施例中，目标检测模块502还用于根据人脸关键点中各关键点的图像坐标的位置关系，确定人脸为正面的正面人脸关键点；将单一行人区域的图像坐标与正面人脸关键点的图像坐标进行比较，确定包括正面人脸的单一正面行人区域。
在一个实施例中，目标检测模块502还用于根据单一行人区域的图像坐标确定第一行人纵向距离，以及根据单一行人区域对应的人头区域的图像坐标确定人头纵向距离；根据第一行人纵向距离和人头纵向距离的纵向比，确定满足形象检测要求的单一行人区域。
在一个实施例中，目标检测模块502还用于根据单一正面行人区域的图像坐标确定第二行人纵向距离，以及根据单一正面行人区域对应的人脸关键点确定人脸纵向距离；根据第二行人纵向距离和人脸纵向距离的纵向比，确定满足形象检测要求的单一相面行人区域。
在一个实施例中，员工形象检测装置还包括人脸识别模块，用于根据形象检测结果确定形象不符合要求的单一正面行人区域；对形象不符合要求的单一正面行人区域进行人脸识别，得到违规员工的员工信息。
在一个实施例中，员工形象检测装置还包括获取模块，用于接收监控设备发送的视频流；对视频流进行解码并去除重复帧，得到待检测员工图像。
关于员工形象检测装置的具体限定可以参见上文中对于员工形象检测方法的限定，在此不再赘述。上述员工形象检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储神经网络等模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种员工形象检测方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；
基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域；
利用预设的神经网络对单一正面行人区域进行工牌检测和工服检测，得到检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将行人区域的图像坐标与人头区域的图像坐标进行比较，确定包括单个人头区域的单一行人区域；根据人脸关键点的图像坐标对单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据人脸关键点中各关键点的图像坐标的位置关系，确定人脸为正面的正面人脸关键点；将单一行人区域的图像坐标与正面人脸关键点的图像坐标进行比较，确定包括正面人脸的单一正面行人区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据单一行人区域的图像坐标确定第一行人纵向距离，以及根据单一行人区域对应的人头区域的图像坐标确定人头纵向距离；根据第一行人纵向距离和人头纵向距离的纵向比，确定满足形象检测要求的单一行人区域。
根据单一正面行人区域的图像坐标确定第二行人纵向距离，以及根据单一正面行人区域对应的人脸关键点确定人脸纵向距离；根据第二行人纵向距离和人脸纵向距离的纵向比，确定满足形象检测要求的单一相面行人区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据形象检测结果确定形象不符合要求的单一正面行人区域；对形象不符合要求的单一正面行人区域进行人脸识别，得到违规员工的员工信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
接收监控设备发送的视频流；对视频流进行解码并去除重复帧，得到待检测员工图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；
基于行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对行人区域进行筛选，得到单一正面行人区域；
利用预设的神经网络对单一正面行人区域进行工牌检测和工服检测，得到检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将行人区域的图像坐标与人头区域的图像坐标进行比较，确定包括单个人头区域的单一行人区域；根据人脸关键点的图像坐标对单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据人脸关键点中各关键点的图像坐标的位置关系，确定人脸为正面的正面人脸关键点；将单一行人区域的图像坐标与正面人脸关键点的图像坐标进行比较，确定包括正面人脸的单一正面行人区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据单一行人区域的图像坐标确定第一行人纵向距离，以及根据单一行人区域对应的人头区域的图像坐标确定人头纵向距离；根据第一行人纵向距离和人头纵向距离的纵向比，确定满足形象检测要求的单一行人区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据单一正面行人区域的图像坐标确定第二行人纵向距离，以及根据单一正面行人区域对应的人脸关键点确定人脸纵向距离；根据第二行人纵向距离和人脸纵向距离的纵向比，确定满足形象检测要求的单一相面行人区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据形象检测结果确定形象不符合要求的单一正面行人区域；对形象不符合要求的单一正面行人区域进行人脸识别，得到违规员工的员工信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
接收监控设备发送的视频流；对视频流进行解码并去除重复帧，得到待检测员工图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种员工形象检测方法，所述方法包括：
对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；
基于所述行人区域的图像坐标、所述人头区域的图像坐标和所述人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域；
利用预设的神经网络对所述单一正面行人区域进行工牌检测和工服检测，得到形象检测结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述行人区域的图像坐标、所述人头区域的图像坐标和所述人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域，包括：
将所述行人区域的图像坐标与所述人头区域的图像坐标进行比较，确定包括单个所述人头区域的单一行人区域；
根据人脸关键点的图像坐标对所述单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域。
3.根据权利要求2所述的方法，其特征在于，所述将所述行人区域的图像坐标与所述人头区域的图像坐标进行比较，确定包括单个所述人头区域的单一行人区域之后，还包括：
根据所述单一行人区域的图像坐标确定第一行人纵向距离，以及根据所述单一行人区域对应的人头区域的图像坐标确定人头纵向距离；
根据所述第一行人纵向距离和所述人头纵向距离的纵向比，确定满足形象检测要求的单一行人区域。
4.根据权利要求2或3所述的方法，其特征在于，所述根据人脸关键点的图像坐标对所述单一行人区域进行筛选，得到包括正面人脸的单一正面行人区域，包括：
根据所述人脸关键点中各关键点的图像坐标的位置关系，确定人脸为正面的正面人脸关键点；
将所述单一行人区域的图像坐标与所述正面人脸关键点的图像坐标进行比较，确定包括正面人脸的单一正面行人区域。
5.根据权利要求1所述的方法，其特征在于，所述基于所述行人区域的图像坐标、所述人头区域的图像坐标和所述人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域之后，还包括：
根据所述单一正面行人区域的图像坐标确定第二行人纵向距离，以及根据所述单一正面行人区域对应的人脸关键点确定人脸纵向距离；
根据所述第二行人纵向距离和所述人脸纵向距离的纵向比，确定满足形象检测要求的单一相面行人区域。
6.根据权利要求1所述的方法，其特征在于，利用预设的神经网络对所述单一正面行人区域进行工牌检测和工服检测得到形象检测结果之后，还包括：
根据所述形象检测结果确定形象不符合要求的单一正面行人区域；
对形象不符合要求的所述单一正面行人区域进行人脸识别，得到违规员工的员工信息。
7.根据权利要求1所述的方法，其特征在于，所述对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点之前，还包括：
接收监控设备发送的视频流；
对所述视频流进行解码并去除重复帧，得到待检测员工图像。
8.一种员工形象检测装置，其特征在于，所述装置包括：
目标检测模块，用于对待检测员工图像分别进行行人检测、人头检测和人脸检测，得到行人区域、人头区域和人脸关键点；
筛选模块，用于基于所述行人区域的图像坐标、人头区域的图像坐标和人脸关键点的图像坐标，对所述行人区域进行筛选，得到单一正面行人区域；
形象检测模块，用于利用预设的神经网络对所述单一正面行人区域进行工牌检测和工服检测，得到检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181582.7A CN112861576A (zh) | 2019-11-27 | 2019-11-27 | 员工形象检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181582.7A CN112861576A (zh) | 2019-11-27 | 2019-11-27 | 员工形象检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861576A true CN112861576A (zh) | 2021-05-28 |
Family
ID=75985493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911181582.7A Pending CN112861576A (zh) | 2019-11-27 | 2019-11-27 | 员工形象检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861576A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301377A (zh) * | 2017-05-26 | 2017-10-27 | 浙江大学 | 一种基于深度相机的人脸与行人感知*** |
| CN107784294A (zh) * | 2017-11-15 | 2018-03-09 | 武汉烽火众智数字技术有限责任公司 | 一种基于深度学习的人脸检测与跟踪方法 |
| CN107784287A (zh) * | 2017-10-27 | 2018-03-09 | 华润电力技术研究院有限公司 | 一种检测方法以及装置、计算机装置、可读存储介质 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、***及存储介质 |
| CN109117827A (zh) * | 2018-09-05 | 2019-01-01 | 武汉市蓝领英才科技有限公司 | 基于视频的工服工帽穿戴状态自动识别方法与报警*** |
| CN109635697A (zh) * | 2018-12-04 | 2019-04-16 | 国网浙江省电力有限公司电力科学研究院 | 基于YOLOv3目标检测的电力作业人员安全着装检测方法 |
| KR20190094709A (ko) * | 2018-02-05 | 2019-08-14 | 주식회사 유어핏 | 얼굴 분석 장치 및 방법 |
-
2019
- 2019-11-27 CN CN201911181582.7A patent/CN112861576A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301377A (zh) * | 2017-05-26 | 2017-10-27 | 浙江大学 | 一种基于深度相机的人脸与行人感知*** |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、***及存储介质 |
| CN107784287A (zh) * | 2017-10-27 | 2018-03-09 | 华润电力技术研究院有限公司 | 一种检测方法以及装置、计算机装置、可读存储介质 |
| CN107784294A (zh) * | 2017-11-15 | 2018-03-09 | 武汉烽火众智数字技术有限责任公司 | 一种基于深度学习的人脸检测与跟踪方法 |
| KR20190094709A (ko) * | 2018-02-05 | 2019-08-14 | 주식회사 유어핏 | 얼굴 분석 장치 및 방법 |
| CN109117827A (zh) * | 2018-09-05 | 2019-01-01 | 武汉市蓝领英才科技有限公司 | 基于视频的工服工帽穿戴状态自动识别方法与报警*** |
| CN109635697A (zh) * | 2018-12-04 | 2019-04-16 | 国网浙江省电力有限公司电力科学研究院 | 基于YOLOv3目标检测的电力作业人员安全着装检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191567B (zh) | 身份数据处理方法、装置、计算机设备和存储介质 | |
| US10713532B2 (en) | Image recognition method and apparatus | |
| CN110210302B (zh) | 多目标跟踪方法、装置、计算机设备及存储介质 | |
| CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
| CN111191532B (zh) | 基于施工区域的人脸识别方法、装置、计算机设备 | |
| CN110674712A (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| CN113239874B (zh) | 基于视频图像的行为姿态检测方法、装置、设备及介质 | |
| CN109472213B (zh) | 掌纹识别方法、装置、计算机设备和存储介质 | |
| CN111626123A (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN108269333A (zh) | 人脸识别方法、应用服务器及计算机可读存储介质 | |
| JP2018508875A (ja) | 生体顔検出用の方法及び装置 | |
| WO2020024395A1 (zh) | 疲劳驾驶检测方法、装置、计算机设备及存储介质 | |
| CN111931594A (zh) | 人脸识别活体检测方法、装置、计算机设备和存储介质 | |
| CN110111136B (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
| CN110660078B (zh) | 对象追踪方法、装置、计算机设备和存储介质 | |
| CN111008621B (zh) | 对象追踪方法、装置、计算机设备和存储介质 | |
| CN112560796A (zh) | 人体姿态实时检测方法、装置、计算机设备及存储介质 | |
| CN110930434A (zh) | 目标对象跟踪方法、装置、存储介质和计算机设备 | |
| CN111191507A (zh) | 智慧社区的安全预警分析方法及*** | |
| CN111860582B (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
| CN111832561B (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 | |
| CN111159476B (zh) | 目标对象的搜索方法、装置、计算机设备及存储介质 | |
| US20200302572A1 (en) | Information processing device, information processing system, information processing method, and program | |
| CN111675059A (zh) | 基于人脸识别的电梯控制方法、装置和计算机设备 | |
| CN115223022A (zh) | 一种图像处理方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |