CN106228628A - 基于人脸识别的签到***、方法和装置 - Google Patents

基于人脸识别的签到***、方法和装置 Download PDF

Info

Publication number
CN106228628A
CN106228628A CN201610560334.3A CN201610560334A CN106228628A CN 106228628 A CN106228628 A CN 106228628A CN 201610560334 A CN201610560334 A CN 201610560334A CN 106228628 A CN106228628 A CN 106228628A
Authority
CN
China
Prior art keywords
face
user
gpu
image
registers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610560334.3A
Other languages
English (en)
Other versions
CN106228628B (zh
Inventor
于佳骏
王时全
陈志博
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610560334.3A priority Critical patent/CN106228628B/zh
Publication of CN106228628A publication Critical patent/CN106228628A/zh
Application granted granted Critical
Publication of CN106228628B publication Critical patent/CN106228628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于人脸识别的签到***、方法和装置。所述***包括：至少一个摄像头和嵌入式人脸识别处理装置；摄像头用于采集记录有签到用户的监控视频流，并发送给嵌入式人脸识别处理装置；嵌入式人脸识别处理装置用于通过输入输出接口接收监控视频流；通过GPU从监控视频流中提取签到用户的人脸特征，通过CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，若存在则确认目标注册用户签到成功。利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到直接步入签到现场即可，提升签到效率，以适用人流密度很高的签到场合，如大型会议。且GPU达到加速人脸识别的目的。

Description

基于人脸识别的签到***、方法和装置
技术领域
本发明实施例涉及电子签到技术领域，特别涉及一种基于人脸识别的签到***、方法和装置。
背景技术
随着各类电子化产品的应用和普及，电子签到在会议签到、员工上班签到、学生上课签到等领域得到了广泛应用。
以会议签到场景为例，现有的基于人脸识别的签到方案如下：在会场的入口处设置若干台人脸签到设备。签到用户进入会场时，将脸部对准人脸签到设备的摄像头，人脸签到设备的摄像头采集签到用户的人脸图像(一般为照片)，并将签到用户的人脸图像发送给服务器，由服务器对签到用户的人脸图像进行识别和匹配，并得到签到结果。
在现有技术中，一台人脸签到设备同时只能供一位用户使用，签到效率低。当需要签到的场合人流密度很高时，需要增加大量的人脸签到设备才能满足需求。
发明内容
为了解决现有技术所存在的签到效率低的问题，本发明实施例提供了一种基于人脸识别的签到***、方法和装置。所述技术方案如下：
第一方面，提供了一种基于人脸识别的签到***，所述***包括：至少一个摄像头和嵌入式人脸识别处理装置；所述嵌入式人脸识别处理装置包括：CPU(CentralProcessing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)、存储器和输入输出接口；
所述摄像头，用于采集记录有签到用户的监控视频流；将所述监控视频流发送给所述嵌入式人脸识别处理装置；
所述嵌入式人脸识别处理装置，用于通过所述输入输出接口接收所述监控视频流；通过所述GPU从所述监控视频流中提取所述签到用户的人脸特征；通过所述CPU根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征，若所述注册人脸特征集中存在所述目标注册用户，则确认所述目标注册用户签到成功。
第二方面，提供了一种嵌入式人脸识别处理装置，所述嵌入式人脸识别处理装置包括：CPU、GPU、存储器和输入输出接口；
所述输入输出接口，用于接收摄像头采集的记录有签到用户的监控视频流；
所述GPU，用于从所述监控视频流中提取所述签到用户的人脸特征；
所述CPU，还用于根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征；若所述注册人脸特征集中存在所述目标注册用户，则确认所述目标注册用户签到成功。
第三方面，提供了一种基于人脸识别的签到方法，应用于嵌入式人脸识别处理装置中，所述嵌入式人脸识别处理装置包括：CPU、GPU、存储器和输入输出接口；所述方法包括：
所述输入输出接口接收摄像头采集的记录有签到用户的监控视频流；
所述GPU从所述监控视频流中提取所述签到用户的人脸特征；
所述CPU根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征；
若所述注册人脸特征集中存在所述目标注册用户，则所述CPU确认所述目标注册用户签到成功。
第四方面，提供了一种基于人脸识别的签到装置，所述装置包括：
视频获取模块，用于通过输入输出接口接收摄像头采集的记录有签到用户的监控视频流；
特征提取模块，用于通过GPU从所述监控视频流中提取所述签到用户的人脸特征；
用户匹配模块，用于通过CPU根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征；
签到确认模块，用于若所述注册人脸特征集中存在所述目标注册用户，则通过CPU确认所述目标注册用户签到成功。
本发明实施例提供的技术方案带来的有益效果包括：
通过嵌入式人脸识别处理装置的输入输出接口获取摄像头采集的记录有签到用户的监控视频流，由GPU从中提取签到用户的人脸特征，并由CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，并在检测结果为存在的情况下确认目标注册用户签到成功；解决了现有技术所存在的签到效率低的问题；利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到，签到用户可直接步入签到现场，达到了显著提升签到效率的技术效果，以适用人流密度很高的签到场合，如大型会议。
另外，通过在嵌入式人脸识别处理装置搭载GPU，由GPU从监控视频流中提取签到用户的人脸特征，以达到加速人脸识别的目的，为实现基于监控视频流进行签到提供可靠的技术保证。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的实施环境的示意图；
图2是本发明一个实施例提供的基于人脸识别的签到***的框图；
图3是本发明一个实施例提供的嵌入式人脸识别处理装置的框图；
图4是本发明一个实施例提供的嵌入式人脸识别处理装置的处理流程图；
图5是现有技术中采用服务器进行人脸识别的流程示意图；
图6是使用嵌入式人脸识别处理装置进行人脸识别的流程示意图；
图7是本发明一个实施例提供的基于人脸识别的签到方法的流程图；
图8是本发明一个实施例提供的基于人脸识别的签到装置的框图；
图9是本发明另一实施例提供的基于人脸识别的签到装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1，其示出了本发明一个实施例提供的实施环境的示意图，该实施环境可以包括：至少一个摄像头11、路由器12、嵌入式人脸识别处理装置13和显示设备14。
摄像头11是具备视频采集功能的电子设备。摄像头11可部署于签到现场的入口通道处，在签到用户通过入口通道步入签到现场的过程中，摄像头11实时采集得到记录有签到用户的监控视频流。摄像头11在入口通道的部署位置以适宜采集到签到用户的正面人脸图像为佳。可选地，摄像头11为高清摄像头，且支持标准的RTSP(Real Time StreamingProtocol，实时流传输协议)以实现传输视频流，高分辨率便于在同一画面中同时采集到更多清晰的人脸。可选地，摄像头11为网络摄像头，具备网络接入功能。摄像头11接入路由器12构建的局域网中。以会议签到场景为例，假设会场存在三个入口，可在上述每个入口处分别部署一个高清网络摄像头，并接入局域网。摄像头实时采集入口处的监控视频流。在参会人员经过任一入口步入会场的过程中，摄像头采集的监控视频流中便会记录到参会人员的人脸图像。相较于现有技术，参会人员无需停下脚步一个一个排队签到，参会人员可直接步入会场。
路由器12用于构建局域网，摄像头11接入路由器12构建的局域网中。
嵌入式人脸识别处理装置13通过局域网与路由器12建立通信连接。嵌入式人脸识别处理装置13是搭载GPU的便携的人脸识别处理设备，用于实现快速的人脸识别和匹配。嵌入式人脸识别处理装置13可以包括：CPU、ISP(Image Signal Processor，图像信号处理器)、GPU、存储器和输入输出接口。其中，CPU用于负责逻辑运算，ISP用于负责视频流解码，GPU用于负责深度神经网络的前向计算，存储器用于存储数据，输入输出接口用于连接外部设备。例如，输入输出接口可包括网口(如RJ45网口)、串口(如RS232串口)、多媒体接口(如HDMI(High Definition Multimedia Interface，高清晰多媒体接口))、自定义输入输出接口(如GPIO(General Purpose Input Output，通用输入输出)接口)等。有关嵌入式人脸识别处理装置13所包括的各个部件的具体功能，参见下述实施例中的介绍和说明。在一个示例中，该嵌入式人脸识别处理装置13可称为优图盒子。
显示设备14用于签到结果的展示，可以是显示器、投影仪、电视机、会场大屏幕等。或者，显示设备14也可与嵌入式人脸识别处理装置13集成在一体机中，还可是接入局域网的智能电子相框等设备。
此外，本发明实施例提供的技术方案，适用于诸如会议签到、员工上班签到、学生上课签到等任意签到场景。由于相较于现有技术，本发明实施例提供的技术方案无需签到用户排队签到，签到用户可直接步入签到现场，因此签到效率显著提升，适用于人流密度很高的场合，如大型会议。
本发明一实施例提供了一种基于人脸识别的签到***，该***包括：至少一个摄像头和嵌入式人脸识别处理装置。嵌入式人脸识别处理装置包括：CPU、GPU、存储器和输入输出接口。
摄像头，用于采集记录有签到用户的监控视频流；将监控视频流发送给嵌入式人脸识别处理装置。
嵌入式人脸识别处理装置，用于通过输入输出接口接收监控视频流；通过GPU从监控视频流中提取签到用户的人脸特征；通过CPU根据签到用户的人脸特征检测存储器预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，注册人脸特征集中包括若干个注册用户的人脸特征，若注册人脸特征集中存在目标注册用户，则确认目标注册用户签到成功。
综上所述，本实施例提供的***，通过嵌入式人脸识别处理装置的输入输出接口获取摄像头采集的记录有签到用户的监控视频流，由GPU从中提取签到用户的人脸特征，并由CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，并在检测结果为存在的情况下确认目标注册用户签到成功；解决了现有技术所存在的签到效率低的问题；利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到，签到用户可直接步入签到现场，达到了显著提升签到效率的技术效果，以适用人流密度很高的签到场合，如大型会议。
另外，通过在嵌入式人脸识别处理装置搭载GPU，由GPU从监控视频流中提取签到用户的人脸特征，以达到加速人脸识别的目的，为实现基于监控视频流进行签到提供可靠的技术保证。
请参考图2，其示出了本发明一个实施例提供的基于人脸识别的签到***的框图。该***包括：至少一个摄像头21和嵌入式人脸识别处理装置22。
摄像头21，用于采集记录有签到用户的监控视频流；将监控视频流发送给嵌入式人脸识别处理装置22。
摄像头21可部署于签到现场的入口通道处，在签到用户通过入口通道步入签到现场的过程中，摄像头11实时采集得到记录有签到用户的监控视频流。摄像头21和嵌入式人脸识别处理装置22可接入路由器构建的局域网中，也即摄像头21与嵌入式人脸识别处理装置22通过局域网建立通信连接，摄像头21通过上述通信连接将监控视频流发送给嵌入式人脸识别处理装置22。
嵌入式人脸识别处理装置22包括：CPU、GPU、存储器和输入输出接口。相应地，嵌入式人脸识别处理装置22，用于通过输入输出接口接收摄像头21发送的监控视频流。
由于进行人脸识别所需的计算量很大，在现有技术中，往往需要服务器的支持。人脸签到设备将签到用户的人脸图像发送给服务器，由服务器对签到用户的人脸图像进行识别和匹配。人脸签到设备与服务器之间需要通过外网连接。而在一些签到场景下，并不具备搭建服务器和连接外网的能力。在本发明实施例中，各个摄像头21与嵌入式人脸识别处理装置22之间通过局域网建立通信连接，从而无需依赖于外网和服务器，该签到***只需搭建局域网即可部署，稳定性高且适用性更强。
嵌入式人脸识别处理装置22，还用于通过GPU从监控视频流中提取签到用户的人脸特征。
具体来讲，嵌入式人脸识别处理装置22还包括ISP。嵌入式人脸识别处理装置22，具体用于：通过ISP对监控视频流解码，得到待识别图像序列；对于待识别图像序列中的每一张待识别图像，通过GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从待识别图像中提取签到用户的人脸特征。在本发明实施例中，对采用的解码方式不作限定。例如，嵌入式人脸识别处理装置22可用于采用H.264解码方式对监控视频流解码，得到待识别图像序列。H.264是一种高效的视频编解码方法。例如，摄像头21可根据RTSP协议将采用H.264编码方式编码得到的监控视频流发送给嵌入式人脸识别处理装置22，嵌入式人脸识别处理装置22解析RTSP地址，并使用装置中的ISP芯片采用H.264解码方式对监控视频流进行快速解码。
在本发明实施例中，嵌入式人脸识别处理装置22搭载有GPU。GPU是一种专门用于图像运算工作的微处理器，GPU是显卡的处理器，可执行复杂的数学和几何计算。在本发明实施例中，GPU用于负责人脸识别处理。人脸识别算法用于从待识别图像中识别签到用户的人脸，提取签到用户的人脸特征。人脸识别处理算法包括人脸检测算法、人脸配准算法和特征提取算法。其中，人脸检测算法用于从待识别图像中检测出签到用户的人脸；人脸配准算法用于从签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；特征提取算法用于从归一化的人脸图像中提取签到用户的人脸特征。
在一个示例中，嵌入式人脸识别处理装置22，具体用于：
1、对于待识别图像序列中的每一张待识别图像，通过GPU采用经GPU优化的基于深度学习的人脸检测算法，从待识别图像中检测出签到用户的人脸；
该基于深度学习的人脸检测算法使用了大量的人脸数据进行训练，可以在高清视频图像中快速定位出所有的正面人脸位置(一般姿态在左右、俯仰30度以内)，可以检测出视频中0.3至10米范围内的人脸。
2、通过GPU采用经GPU优化的基于深度学习的人脸配准算法，从签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
人脸配准算法是一种图像预处理方法，主要用于人脸识别。其可以将面部图像的尺度、旋转和平移等变化去除，达到人脸识别的要求。在本发明实施例中，采用基于深度学***均误差小于2个像素。根据精确配准后的人脸的特征点位置，可以从图像中抠取归一化的人脸图像。人脸图像的归一化，目的是使不同成像条件(如光照强度、方向、距离、姿态等)下拍摄的同一个人的图像具有一致性。人脸图像的归一化包括几何归一化和灰度归一化。几何归一化也称为位置校准，有助于矫正因成像距离和人脸姿态变化造成的尺寸差异和角度倾斜，其目的在于解决人脸尺度变化和人脸旋转问题。几何归一化包括人脸尺度归一化、平面人脸旋转矫正(歪头)和深度人脸旋转矫正(扭脸)等过程。其中，人脸尺度归一化包括人脸图像的偏移、旋转、缩放和标准切割等。灰度归一化用于对不同光照强度、光源方向下得到的人脸图像进行补偿，以减弱单纯由于光照变化在成的图像信号的变化。
3、通过GPU采用经GPU优化的基于深度学习的特征提取算法，从归一化的人脸图像中提取签到用户的人脸特征。
该基于深度学习的特征提取算法使用了大量的照片和视频数据进行训练，从归一化的人脸图像中提取用于比对的人脸特征，以确保提取的人脸特征的准确性，提高后续的匹配精度。
可选地，人脸识别处理算法还包括活体识别算法。嵌入式人脸识别处理装置22，还用于：通过GPU采用经GPU优化的基于深度学习的活体识别算法，检测归一化的人脸图像是否为活体人脸；若归一化的人脸图像为活体人脸，则执行所述采用经GPU优化的基于深度学习的特征提取算法，从归一化的人脸图像中提取签到用户的人脸特征的步骤。
该基于深度学习的活体识别算法用于检测归一化的人脸图像是否为活体人脸，可以有效阻挡打印照片、手机图片、工卡照片等非活体人脸的通过。通俗地说，活体人脸是指真人，非活体人脸是指假人。
以上的各个人脸识别处理算法，都是基于深度学习(deep learning)算法构建的深度网络模型。各个深度网络模型，使用了大量的训练数据通过CNN(ConvolutionalNeural Networks，卷积神经网络)训练得到。另外，在本发明实施例中，将深度网络模型使用CuDNN移植到嵌入式人脸识别处理装置22中，并利用GPU进行计算，以达到加速人脸识别的目的。其中，CuDNN是专门针对深度学习框架设计的一套GPU计算加速方案。将传统的采用Caffe(Convolutional Architecture for Fast Feature Embedding，一个计算CNN相关算法的框架)训练的深度网络模型转换成效率更高的采用CuDNN加速库实现的代码，代码体积和内存占用更小，使其可以在嵌入式人脸识别处理装置22中运行，并进行了内存和显存分配的优化，减少多余的数据传输工作。
嵌入式人脸识别处理装置22，还用于通过CPU根据签到用户的人脸特征检测存储器预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户。注册人脸特征集中包括若干个注册用户的人脸特征。例如，预先收集所有需要签到的注册用户的人脸图像(照片或视频)，通过嵌入式人脸识别处理装置22分别从每一个注册用户的人脸图像中提取注册用户的人脸特征，并存储至注册人脸特征集中。
在一个示例中，嵌入式人脸识别处理装置22的CPU，具体用于：
1、计算签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
例如，可采用贝叶斯算法计算签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度。
2、检测相似度的最大值是否大于预设阈值；
3、若相似度的最大值大于预设阈值，则将相似度的最大值对应的注册用户确定为与签到用户相匹配的目标注册用户。
否则，若相似度的最大值小于预设阈值，则确定该签到用户并非注册用户。
嵌入式人脸识别处理装置22，还用于若注册人脸特征集中存在目标注册用户，则通过CPU确认目标注册用户签到成功。
嵌入式人脸识别处理装置22，还用于通过输入输出接口将签到结果发送给外部设备，由外部设备将签到结果进行展示。其中，外部设备可以是具有显示功能和/或发声功能的设备，由外部设备将签到结果进行显示或者声音提示。在一个示例中，本实施例提供的***还包括：显示设备(图中未示出)。显示设备用于从嵌入式人脸识别处理装置22获取签到结果，并显示该签到结果。
可选地，嵌入式人脸识别处理装置22，还用于通过CPU在确认目标注册用户签到成功之后，将目标注册用户标记为已签到。进一步地，嵌入式人脸识别处理装置22，还用于通过CPU对被标记为已签到的注册用户和/或未签到的注册用户进行统计，得到统计结果。可选地，嵌入式人脸识别处理装置22，还用于通过输入输出接口将统计结果发送给显示设备，显示设备用于获取统计结果并显示该统计结果。例如，显示设备用于将所有已签到的注册用户、所有未签到的注册用户、已签到的注册用户的人数或占比等统计结果进行显示。
综上所述，本实施例提供的***，通过嵌入式人脸识别处理装置的输入输出接口获取摄像头采集的记录有签到用户的监控视频流，由GPU从中提取签到用户的人脸特征，并由CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，并在检测结果为存在的情况下确认目标注册用户签到成功；解决了现有技术所存在的签到效率低的问题；利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到，签到用户可直接步入签到现场，达到了显著提升签到效率的技术效果，以适用人流密度很高的签到场合。
另外，还通过将摄像头与嵌入式人脸识别处理装置通过局域网建立通信连接，从而无需依赖于外网和服务器，该签到***只需搭建局域网即可部署，稳定性高且适用性更强。
另外，还通过嵌入式人脸识别处理装置采用经GPU优化的基于深度学习的人脸识别处理算法，从待识别图像中提取签到用户的人脸特征，实现了将深度网络模型使用CuDNN移植到嵌入式人脸识别处理装置中，并利用GPU进行计算，以达到加速人脸识别的目的。
另外，还通过嵌入式人脸识别处理装置采用经GPU优化的基于深度学习的活体识别算法，检测归一化的人脸图像是否为活体人脸，可以有效阻挡打印照片、手机图片、工卡照片等非活体人脸的通过，保障安全性。
经过实验发现，通过本发明实施例提供的基于深度学习的人脸识别处理算法，签到准确率可达到99％，满足绝大部分签到场合的需求。另外，每张人脸图像所需的处理时长约为70毫秒，可支持每秒同时约14人左右的人脸签到速度，签到速度大大提高。
请参考图3，其示出了本发明一个实施例提供的嵌入式人脸识别处理装置的框图。该嵌入式人脸识别处理装置30包括：CPU31、GPU32、存储器33和输入输出接口34。
输入输出接口34，用于接收摄像头采集的记录有签到用户的监控视频流。
可选地，嵌入式人脸识别处理装置30通过局域网与至少一个摄像头建立通信连接。例如，嵌入式人脸识别处理装置30和各个摄像头分别接入路由器构建的局域网中。输入输出接口34包括网口，各个摄像头将采集的监控视频流发送给路由器，嵌入式人脸识别处理装置30通过网口从路由器接收监控视频流。
GPU32，用于从监控视频流中提取签到用户的人脸特征。
具体来讲，如图3所示，嵌入式人脸识别处理装置30还包括：ISP35。ISP35，用于对监控视频流解码，得到待识别图像序列。例如，ISP35可用于采用H.264解码方式对监控视频流解码，得到待识别图像序列。GPU32，用于对于待识别图像序列中的每一张待识别图像，采用经GPU优化的基于深度学习的人脸识别处理算法，从待识别图像中提取签到用户的人脸特征。人脸识别算法用于从待识别图像中识别签到用户的人脸，提取签到用户的人脸特征。人脸识别处理算法包括人脸检测算法、人脸配准算法和特征提取算法。
在一个示例中，GPU32具体用于：
1、对于待识别图像序列中的每一张待识别图像，采用经GPU优化的基于深度学习的人脸检测算法，从待识别图像中检测出签到用户的人脸；
2、采用经GPU优化的基于深度学习的人脸配准算法，从签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
3、采用经GPU优化的基于深度学习的特征提取算法，从归一化的人脸图像中提取签到用户的人脸特征。
可选地，人脸识别处理算法还包括活体识别算法。GPU32还用于：采用经GPU优化的基于深度学习的活体识别算法，检测归一化的人脸图像是否为活体人脸；若归一化的人脸图像为活体人脸，则执行所述采用经GPU优化的基于深度学习的特征提取算法，从归一化的人脸图像中提取签到用户的人脸特征的步骤。
有关上述各个人脸识别处理算法的介绍和说明，参见上述图2所示实施例，本实施例对此不再赘述。以上的各个人脸识别处理算法，都是基于深度学习算法构建的深度网络模型。各个深度网络模型，使用了大量的训练数据通过CNN训练得到。另外，在本发明实施例中，将深度网络模型使用CuDNN移植到嵌入式人脸识别处理装置中，并利用GPU进行计算，以达到加速人脸识别的目的。
CPU31，还用于根据签到用户的人脸特征检测存储器33预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，注册人脸特征集中包括若干个注册用户的人脸特征；若注册人脸特征集中存在目标注册用户，则确认目标注册用户签到成功。
在一个示例中，CPU31具体用于：
1、计算签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
2、检测相似度的最大值是否大于预设阈值；
3、若相似度的最大值大于预设阈值，则将相似度的最大值对应的注册用户确定为与签到用户相匹配的目标注册用户。
否则，若相似度的最大值小于预设阈值，则确定该签到用户并非注册用户。
可选地，CPU31还用于通过输入输出接口34将签到结果发送给外部设备，由外部设备将签到结果进行展示。其中，外部设备可以是具有显示功能和/或发声功能的设备，由外部设备将签到结果进行显示或者声音提示。在一个示例中，CPU31，还用于通过输入输出接口34向显示设备发送签到结果，显示设备用于显示该签到结果。
可选地，CPU31还用于在确认目标注册用户签到成功之后，将目标注册用户标记为已签到。进一步地，CPU31还用于对被标记为已签到的注册用户和/或未签到的注册用户进行统计，得到统计结果。可选地，CPU31还用于通过输入输出接口34将统计结果发送给显示设备，显示设备用于获取统计结果并显示该统计结果。例如，显示设备用于将所有已签到的注册用户、所有未签到的注册用户、已签到的注册用户的人数或占比等统计结果进行显示。
综上所述，本实施例提供的嵌入式人脸识别处理装置，通过输入输出接口接收摄像头采集的记录有签到用户的监控视频流，通过GPU从中提取签到用户的人脸特征，并通过CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，并在检测结果为存在的情况下确认目标注册用户签到成功；解决了现有技术所存在的签到效率低的问题；利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到，签到用户可直接步入签到现场，达到了显著提升签到效率的技术效果，以适用人流密度很高的签到场合。
另外，还通过将摄像头与嵌入式人脸识别处理装置通过局域网建立通信连接，从而无需依赖于外网和服务器，该签到***只需搭建局域网即可部署，稳定性高且适用性更强。
另外，还通过嵌入式人脸识别处理装置采用经GPU优化的基于深度学习的人脸识别处理算法，从待识别图像中提取签到用户的人脸特征，实现了将深度网络模型使用CuDNN移植到嵌入式人脸识别处理装置中，并利用GPU进行计算，以达到加速人脸识别的目的。
另外，还通过嵌入式人脸识别处理装置采用经GPU优化的基于深度学习的活体识别算法，检测归一化的人脸图像是否为活体人脸，可以有效阻挡打印照片、手机图片、工卡照片等非活体人脸的通过，保障安全性。
图4示出了本发明一个实施例提供的嵌入式人脸识别处理装置的处理流程图。如图4所示，嵌入式人脸识别处理装置包括：视频流获取模块41、人脸识别处理模块42、存储模块43和结果展示模块44。
视频流获取模块41用于负责从摄像头获取监控视频流，将监控视频流解码后送入待识别图像序列中。视频流获取模块41由CPU和ISP负责处理，可采用多线程的方法同时处理多路监控视频流。
人脸识别处理模块42是嵌入式人脸识别处理装置的核心模块，由GPU负责处理，并使用CUDA(Compute Unified Device Architecture，统一计算设备架构)并行计算来进行深度网络的前向计算，从而提高计算速度。人脸识别处理模块42依次执行人脸检测、人脸配准、活体识别和特征提取等处理流程，从监控视频流中提取签到用户的人脸特征。
存储模块43用于存储数据。存储模块43用于存储预先准备的信息，例如包括各个需要签到的注册用户的姓名、ID(Identity，身份标识)、部门信息和注册用户的人脸图像等。存储模块43还用于存储注册人脸特征集、人脸识别的日志信息、签到结果和统计结果等。此外，人脸识别处理模块42还用于对各个注册用户的人脸图像进行识别，得到注册用户的人脸特征。
结果展示模块44用于进行人脸特征的匹配比对得到签到结果，并将签到结果进行展示。例如，结果展示模块44可以与外部设备建立连接，将签到结果发送给外部设备进行显示或者声音提示。
图5示出了现有技术中，采用服务器进行人脸识别的流程示意图。服务器一般没有独立显卡，集成显卡用于一些简单的图形计算和图像处理。服务器的CPU性能较好，使用服务器进行基于深度学习的人脸识别处理时，可采用多线程的方式并行计算。以服务器配置4核8线程的CPU为例，其处理流程如图5所示。
图6示出了采用本发明实施例提供的技术方案，使用嵌入式人脸识别处理装置进行人脸识别的流程示意图。嵌入式人脸识别处理装置可以使用NVIDIA显卡，支持CUDA并行计算，且使用CuDNN库进行了深度网络计算加速，充分发挥GPU的并行计算能力。以嵌入式人脸识别处理装置包括192个GPU核心计算单元为例，其处理流程如图6所示。
其中，深度网络前向计算的计算量是非常大的，使用GPU并行计算和CuDNN加速后，速度远远快于直接使用CPU多线程计算。数据在CPU和GPU之间拷贝的时间比较短。另外，服务器需要部署在后端机房，需要通过外网才能连接，而嵌入式人脸识别处理装置可以部署在签到现场的任何可以接入局域网的地方，部署更为简单。
下述为本发明方法实施例，对于本发明方法实施例中未披露的细节，请参照上述***实施例中的介绍和说明。
请参考图7，其示出了本发明一个实施例提供的基于人脸识别的签到方法的流程图。该方法可应用于上述签到***的嵌入式人脸识别处理装置中。该方法可以包括如下几个步骤：
步骤701，输入输出接口接收摄像头采集的记录有签到用户的监控视频流。
步骤702，GPU从监控视频流中提取签到用户的人脸特征。
步骤703，CPU根据签到用户的人脸特征检测存储器预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，注册人脸特征集中包括若干个注册用户的人脸特征。
步骤704，若注册人脸特征集中存在目标注册用户，则CPU确认目标注册用户签到成功。
综上所述，本实施例提供的方法，通过输入输出接口获取摄像头采集的记录有签到用户的监控视频流，GPU从中提取签到用户的人脸特征，CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，并在检测结果为存在的情况下确认目标注册用户签到成功；解决了现有技术所存在的签到效率低的问题；利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到，签到用户可直接步入签到现场，达到了显著提升签到效率的技术效果，以适用人流密度很高的签到场合。
在基于图7所示实施例提供的一个可选实施例中，上述步骤702包括如下几个子步骤：
第一、ISP对监控视频流解码，得到待识别图像序列；
第二、对于待识别图像序列中的每一张待识别图像，GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从待识别图像中提取签到用户的人脸特征。
在一个示例中，上述第二个子步骤包括：
1、对于待识别图像序列中的每一张待识别图像，GPU采用经GPU优化的基于深度学习的人脸检测算法，从待识别图像中检测出签到用户的人脸；
2、GPU采用经GPU优化的基于深度学习的人脸配准算法，从签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
3、GPU采用经GPU优化的基于深度学习的特征提取算法，从归一化的人脸图像中提取签到用户的人脸特征。
可选地，所述GPU采用经GPU优化的基于深度学习的人脸配准算法，从签到用户的人脸中定位特征点位置，并得到归一化的人脸图像之后，还包括：GPU采用经GPU优化的基于深度学习的活体识别算法，检测归一化的人脸图像是否为活体人脸；若归一化的人脸图像为活体人脸，则GPU执行所述采用经GPU优化的基于深度学习的特征提取算法，从归一化的人脸图像中提取签到用户的人脸特征的步骤。
在基于图7所示实施例提供的另一可选实施例中，上述步骤703包括如下几个子步骤：
第一，CPU计算签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
第二，CPU检测相似度的最大值是否大于预设阈值；
第三，若相似度的最大值大于预设阈值，则CPU将相似度的最大值对应的注册用户确定为与签到用户相匹配的目标注册用户。
在基于图7所示实施例提供的另一可选实施例中，上述步骤704之后还包括：输入输出接口向显示设备发送签到结果。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照上述***实施例中的介绍和说明。
请参考图8，其示出了本发明一个实施例提供的基于人脸识别的签到装置的框图。该装置可以实现成为上述签到***的嵌入式人脸识别处理装置。该装置具有实现上述方法的功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该装置可以包括：视频获取模块810、特征提取模块820、用户匹配模块830和签到确认模块840。
视频获取模块810，用于通过输入输出接口接收摄像头采集的记录有签到用户的监控视频流。
特征提取模块820，用于通过GPU从所述监控视频流中提取所述签到用户的人脸特征。
用户匹配模块830，用于通过CPU根据所述签到用户的人脸特征检测存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征。
签到确认模块840，用于若所述注册人脸特征集中存在所述目标注册用户，则通过所述CPU确认所述目标注册用户签到成功。
综上所述，本实施例提供的装置，通过输入输出接口获取摄像头采集的记录有签到用户的监控视频流，通过GPU从中提取签到用户的人脸特征，并通过CPU根据签到用户的人脸特征检测预先存储的注册人脸特征集中是否存在与签到用户相匹配的目标注册用户，并在检测结果为存在的情况下确认目标注册用户签到成功；解决了现有技术所存在的签到效率低的问题；利用摄像头实时采集签到现场的通道入口处的监控视频流，使得签到用户无需排队签到，签到用户可直接步入签到现场，达到了显著提升签到效率的技术效果，以适用人流密度很高的签到场合。
在基于图8所示实施例提供的一个可选实施例中，如图9所示，所述特征提取模块820，包括：视频解码单元820a和特征提取单元820b。
视频解码单元820a，用于通过ISP对所述监控视频流解码，得到待识别图像序列；
特征提取单元820b，用于对于所述待识别图像序列中的每一张待识别图像，通过所述GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从所述待识别图像中提取所述签到用户的人脸特征。
在一个示例中，所述特征提取单元820b，包括：人脸检测子单元820b1、特征定位子单元820b2和特征提取子单元820b3。
人脸检测子单元820b1，用于对于所述待识别图像序列中的每一张待识别图像，通过所述GPU采用经GPU优化的基于深度学习的人脸检测算法，从所述待识别图像中检测出所述签到用户的人脸。
特征定位子单元820b2，用于通过所述GPU采用经GPU优化的基于深度学习的人脸配准算法，从所述签到用户的人脸中定位特征点位置，并得到归一化的人脸图像。
特征提取子单元820b3，用于通过所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征。
可选地，所述特征提取单元820b，还包括：活体识别子单元820b4。
活体识别子单元820b4，用于通过所述GPU采用经GPU优化的基于深度学习的活体识别算法，检测所述归一化的人脸图像是否为活体人脸。
所述特征提取子单元820b3，还用于若所述归一化的人脸图像为所述活体人脸，则执行所述通过所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征的步骤。
在基于图8所示实施例提供的另一可选实施例中，如图9所示，所述用户匹配模块830，包括：相似度计算单元830a、相似度检测单元830b和匹配确定单元830c。
相似度计算单元830a，用于通过所述CPU计算所述签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度。
相似度检测单元830b，用于通过所述CPU检测所述相似度的最大值是否大于预设阈值。
匹配确定单元830c，用于若所述相似度的最大值大于所述预设阈值，则通过所述CPU将所述相似度的最大值对应的注册用户确定为与所述签到用户相匹配的目标注册用户。
在基于图8所示实施例提供的另一可选实施例中，如图9所示，所述装置还包括：结果发送模块850。
结果发送模块850，用于通过所述输入输出接口向显示设备发送签到结果。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
应当理解的是，在本文中提及的“若干个”是指一个或多个，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种基于人脸识别的签到***，其特征在于，所述***包括：至少一个摄像头和嵌入式人脸识别处理装置；所述嵌入式人脸识别处理装置包括：中央处理器CPU、图形处理器GPU、存储器和输入输出接口；
所述摄像头，用于采集记录有签到用户的监控视频流；将所述监控视频流发送给所述嵌入式人脸识别处理装置；
所述嵌入式人脸识别处理装置，用于通过所述输入输出接口接收所述监控视频流；通过所述GPU从所述监控视频流中提取所述签到用户的人脸特征；通过所述CPU根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征，若所述注册人脸特征集中存在所述目标注册用户，则确认所述目标注册用户签到成功。
2.根据权利要求1所述的***，其特征在于，所述嵌入式人脸识别处理装置还包括：图像信号处理器ISP；
所述嵌入式人脸识别处理装置，具体用于：
通过所述ISP对所述监控视频流解码，得到待识别图像序列；
对于所述待识别图像序列中的每一张待识别图像，通过所述GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从所述待识别图像中提取所述签到用户的人脸特征。
3.根据权利要求2所述的***，其特征在于，所述嵌入式人脸识别处理装置，具体用于：
对于所述待识别图像序列中的每一张待识别图像，通过所述GPU采用经GPU优化的基于深度学习的人脸检测算法，从所述待识别图像中检测出所述签到用户的人脸；
通过所述GPU采用经GPU优化的基于深度学习的人脸配准算法，从所述签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
通过所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征。
4.根据权利要求3所述的***，其特征在于，所述嵌入式人脸识别处理装置，还用于：
通过所述GPU采用经GPU优化的基于深度学习的活体识别算法，检测所述归一化的人脸图像是否为活体人脸；
若所述归一化的人脸图像为所述活体人脸，则执行所述通过所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征的步骤。
5.根据权利要求1至4任一项所述的***，其特征在于，所述嵌入式人脸识别处理装置，具体用于：
通过所述CPU计算所述签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
通过所述CPU检测所述相似度的最大值是否大于预设阈值；
若所述相似度的最大值大于所述预设阈值，则通过所述CPU将所述相似度的最大值对应的注册用户确定为与所述签到用户相匹配的目标注册用户。
6.根据权利要求1至4任一项所述的***，其特征在于，所述***还包括：显示设备；
所述显示设备，用于从所述嵌入式人脸识别处理装置获取签到结果；显示所述签到结果。
7.一种嵌入式人脸识别处理装置，其特征在于，所述嵌入式人脸识别处理装置包括：中央处理器CPU、图形处理器GPU、存储器和输入输出接口；
所述输入输出接口，用于接收摄像头采集的记录有签到用户的监控视频流；
所述GPU，用于从所述监控视频流中提取所述签到用户的人脸特征；
所述CPU，还用于根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征；若所述注册人脸特征集中存在所述目标注册用户，则确认所述目标注册用户签到成功。
8.根据权利要求7所述的嵌入式人脸识别处理装置，其特征在于，所述嵌入式人脸识别处理装置还包括：图像信号处理器ISP；
所述ISP，用于对所述监控视频流解码，得到待识别图像序列；
所述GPU，用于对于所述待识别图像序列中的每一张待识别图像，采用经GPU优化的基于深度学习的人脸识别处理算法，从所述待识别图像中提取所述签到用户的人脸特征。
9.根据权利要求8所述的嵌入式人脸识别处理装置，其特征在于，所述GPU具体用于：
对于所述待识别图像序列中的每一张待识别图像，采用经GPU优化的基于深度学习的人脸检测算法，从所述待识别图像中检测出所述签到用户的人脸；
采用经GPU优化的基于深度学习的人脸配准算法，从所述签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征。
10.根据权利要求9所述的嵌入式人脸识别处理装置，其特征在于，所述GPU还用于：
采用经GPU优化的基于深度学习的活体识别算法，检测所述归一化的人脸图像是否为活体人脸；
若所述归一化的人脸图像为所述活体人脸，则执行所述采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征的步骤。
11.根据权利要求7至10任一项所述的嵌入式人脸识别处理装置，其特征在于，所述CPU具体用于：
计算所述签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
检测所述相似度的最大值是否大于预设阈值；
若所述相似度的最大值大于所述预设阈值，则将所述相似度的最大值对应的注册用户确定为与所述签到用户相匹配的目标注册用户。
12.根据权利要求7至10任一项所述的嵌入式人脸识别处理装置，其特征在于，所述CPU，还用于：
通过所述输入输出接口向显示设备发送签到结果。
13.一种基于人脸识别的签到方法，其特征在于，应用于嵌入式人脸识别处理装置中，所述嵌入式人脸识别处理装置包括：中央处理器CPU、图形处理器GPU、存储器和输入输出接口；所述方法包括：
所述输入输出接口接收摄像头采集的记录有签到用户的监控视频流；
所述GPU从所述监控视频流中提取所述签到用户的人脸特征；
所述CPU根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征；
若所述注册人脸特征集中存在所述目标注册用户，则所述CPU确认所述目标注册用户签到成功。
14.根据权利要求13所述的方法，其特征在于，所述嵌入式人脸识别处理装置还包括：图像信号处理器ISP；
所述GPU从所述监控视频流中提取所述签到用户的人脸特征，包括：
所述ISP对所述监控视频流解码，得到待识别图像序列；
对于所述待识别图像序列中的每一张待识别图像，所述GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从所述待识别图像中提取所述签到用户的人脸特征。
15.根据权利要求14所述的方法，其特征在于，所述对于所述待识别图像序列中的每一张待识别图像，所述GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从所述待识别图像中提取所述签到用户的人脸特征，包括：
对于所述待识别图像序列中的每一张待识别图像，所述GPU采用经GPU优化的基于深度学习的人脸检测算法，从所述待识别图像中检测出所述签到用户的人脸；
所述GPU采用经GPU优化的基于深度学习的人脸配准算法，从所述签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征。
16.根据权利要求15所述的方法，其特征在于，所述GPU采用经GPU优化的基于深度学习的人脸配准算法，从所述签到用户的人脸中定位特征点位置，并得到归一化的人脸图像之后，还包括：
所述GPU采用经GPU优化的基于深度学习的活体识别算法，检测所述归一化的人脸图像是否为活体人脸；
若所述归一化的人脸图像为所述活体人脸，则所述GPU执行所述采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征的步骤。
17.根据权利要求13至16任一项所述的方法，其特征在于，所述CPU根据所述签到用户的人脸特征检测所述存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，包括：
所述CPU计算所述签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
所述CPU检测所述相似度的最大值是否大于预设阈值；
若所述相似度的最大值大于所述预设阈值，则所述CPU将所述相似度的最大值对应的注册用户确定为与所述签到用户相匹配的目标注册用户。
18.根据权利要求13至16任一项所述的方法，其特征在于，所述CPU确认所述目标注册用户签到成功之后，还包括：
所述输入输出接口向显示设备发送签到结果。
19.一种基于人脸识别的签到装置，其特征在于，所述装置包括：
视频获取模块，用于通过输入输出接口接收摄像头采集的记录有签到用户的监控视频流；
特征提取模块，用于通过图像处理器GPU从所述监控视频流中提取所述签到用户的人脸特征；
用户匹配模块，用于通过中央处理器CPU根据所述签到用户的人脸特征检测存储器预先存储的注册人脸特征集中是否存在与所述签到用户相匹配的目标注册用户，所述注册人脸特征集中包括若干个注册用户的人脸特征；
签到确认模块，用于若所述注册人脸特征集中存在所述目标注册用户，则通过所述CPU确认所述目标注册用户签到成功。
20.根据权利要求19所述的装置，其特征在于，所述特征提取模块，包括：
视频解码单元，用于通过图像信号处理器ISP对所述监控视频流解码，得到待识别图像序列；
特征提取单元，用于对于所述待识别图像序列中的每一张待识别图像，通过所述GPU采用经GPU优化的基于深度学习的人脸识别处理算法，从所述待识别图像中提取所述签到用户的人脸特征。
21.根据权利要求20所述的装置，其特征在于，所述特征提取单元，包括：
人脸检测子单元，用于对于所述待识别图像序列中的每一张待识别图像，通过所述GPU采用经GPU优化的基于深度学习的人脸检测算法，从所述待识别图像中检测出所述签到用户的人脸；
特征定位子单元，用于通过所述GPU采用经GPU优化的基于深度学习的人脸配准算法，从所述签到用户的人脸中定位特征点位置，并得到归一化的人脸图像；
特征提取子单元，用于通过所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征。
22.根据权利要求21所述的装置，其特征在于，所述特征提取单元，还包括：
活体识别子单元，用于通过所述GPU采用经GPU优化的基于深度学习的活体识别算法，检测所述归一化的人脸图像是否为活体人脸；
所述特征提取子单元，还用于若所述归一化的人脸图像为所述活体人脸，则执行所述通过所述GPU采用经GPU优化的基于深度学习的特征提取算法，从所述归一化的人脸图像中提取所述签到用户的人脸特征的步骤。
23.根据权利要求19至22任一项所述的装置，其特征在于，所述用户匹配模块，包括：
相似度计算单元，用于通过所述CPU计算所述签到用户的人脸特征与每一个注册用户的人脸特征之间的相似度；
相似度检测单元，用于通过所述CPU检测所述相似度的最大值是否大于预设阈值；
匹配确定单元，用于若所述相似度的最大值大于所述预设阈值，则通过所述CPU将所述相似度的最大值对应的注册用户确定为与所述签到用户相匹配的目标注册用户。
24.根据权利要求19至22任一项所述的装置，其特征在于，所述装置还包括：
结果发送模块，用于通过所述输入输出接口向显示设备发送签到结果。
CN201610560334.3A 2016-07-15 2016-07-15 基于人脸识别的签到***、方法和装置 Active CN106228628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610560334.3A CN106228628B (zh) 2016-07-15 2016-07-15 基于人脸识别的签到***、方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610560334.3A CN106228628B (zh) 2016-07-15 2016-07-15 基于人脸识别的签到***、方法和装置

Publications (2)

Publication Number Publication Date
CN106228628A true CN106228628A (zh) 2016-12-14
CN106228628B CN106228628B (zh) 2021-03-26

Family

ID=57520044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610560334.3A Active CN106228628B (zh) 2016-07-15 2016-07-15 基于人脸识别的签到***、方法和装置

Country Status (1)

Country Link
CN (1) CN106228628B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951866A (zh) * 2017-03-21 2017-07-14 北京深度未来科技有限公司 一种人脸认证方法及装置
CN106952371A (zh) * 2017-03-21 2017-07-14 北京深度未来科技有限公司 一种人脸漫游认证方法及***
CN107358667A (zh) * 2017-05-23 2017-11-17 合肥众耀信息科技有限公司 一种用于会议签到的考勤管理***
CN107423910A (zh) * 2017-08-02 2017-12-01 解益新 一种使用通信技术高精度确认人员身份的方法
CN107563360A (zh) * 2017-09-30 2018-01-09 百度在线网络技术（北京）有限公司 信息获取方法和装置
CN107609703A (zh) * 2017-09-15 2018-01-19 泾县麦蓝网络技术服务有限公司 一种应用于实体零售店的商品定位方法和***
CN108010152A (zh) * 2017-12-29 2018-05-08 宁波金晟芯影像技术有限公司 一种具备自动识别的考勤***
CN108090982A (zh) * 2017-12-28 2018-05-29 深圳英飞拓科技股份有限公司 一种签到方法、***及终端设备
CN108090981A (zh) * 2017-11-17 2018-05-29 克立司帝控制***（上海）有限公司 基于人脸识别技术的会议签到***及方法
CN108230475A (zh) * 2018-01-02 2018-06-29 新开普电子股份有限公司 一种远距离人脸识别签到***
CN108319921A (zh) * 2018-02-06 2018-07-24 高强 一种基于人脸识别的自动签到方法及***
CN108334846A (zh) * 2018-02-06 2018-07-27 高强 一种智能考场监考方法及***
CN108415875A (zh) * 2018-02-01 2018-08-17 深圳奥比中光科技有限公司 深度成像移动终端及人脸识别应用的方法
CN108446661A (zh) * 2018-04-01 2018-08-24 桂林电子科技大学 一种深度学习并行化人脸识别方法
CN108550197A (zh) * 2018-04-12 2018-09-18 弗徕威智能机器人科技（上海）有限公司 一种应用机器人进行签到的方法
CN108765610A (zh) * 2018-05-14 2018-11-06 北京洛斯达数字遥感技术有限公司 用于输电线路工程现场的考勤管理方法
CN108764153A (zh) * 2018-05-30 2018-11-06 深圳市飞瑞斯科技有限公司 人脸识别方法、装置、***和存储介质
CN108960205A (zh) * 2018-08-06 2018-12-07 广州开瑞信息科技有限公司 一种智能人脸识别方法及***
CN109165554A (zh) * 2018-07-24 2019-01-08 高新兴科技集团股份有限公司 一种基于cuda技术的人脸特征比对方法
CN109215150A (zh) * 2017-06-30 2019-01-15 上海弘视通信技术有限公司 人脸点名与计数方法及其***
CN109344686A (zh) * 2018-08-06 2019-02-15 广州开瑞信息科技有限公司 一种智能人脸识别***
CN109376675A (zh) * 2018-11-01 2019-02-22 廖芳婧 一种远距离人脸识别签到***及方法
CN109388496A (zh) * 2018-11-01 2019-02-26 北京视甄智能科技有限公司 一种基于多gpu卡的图像并发处理方法、装置及***
CN109409547A (zh) * 2018-09-04 2019-03-01 中国平安人寿保险股份有限公司 业务请求处理方法、装置、计算机设备和存储介质
CN109598827A (zh) * 2018-09-25 2019-04-09 深圳神目信息技术有限公司 一种人脸迎宾混合***及其工作方法
CN109720945A (zh) * 2018-05-22 2019-05-07 中国平安人寿保险股份有限公司 电梯分配方法、装置、设备及计算机可读存储介质
CN109726626A (zh) * 2018-09-27 2019-05-07 合肥博焱智能科技有限公司 基于gpu的人脸识别***
CN109858341A (zh) * 2018-12-24 2019-06-07 北京澎思智能科技有限公司 一种基于嵌入式***的快速多人脸检测和跟踪方法
CN109979578A (zh) * 2019-03-07 2019-07-05 上海建工四建集团有限公司 挂号签到***及方法
CN110012259A (zh) * 2018-07-26 2019-07-12 上海懿磬信息科技发展有限公司 一种视频会议会场远程监管***及方法
CN110046870A (zh) * 2019-04-16 2019-07-23 中山大学 一种基于地理位置和人脸特征的签到方法及***
CN110111071A (zh) * 2019-04-24 2019-08-09 上海商汤智能科技有限公司 签到方法、装置、电子设备和计算机存储介质
CN110111436A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人脸签到方法、装置及***
CN110321791A (zh) * 2019-05-22 2019-10-11 深圳壹账通智能科技有限公司 基于人脸识别的人像数据设置方法、装置及存储介质
CN110544324A (zh) * 2018-05-28 2019-12-06 陈健邦 登记签到方法、组件、终端设备和存储介质
CN110599129A (zh) * 2019-09-16 2019-12-20 世纪海航(厦门)科技有限公司 一种基于图像追踪校园考勤方法、装置、识别终端及***
CN110798648A (zh) * 2018-08-03 2020-02-14 视联动力信息技术股份有限公司 一种视频会议的处理方法和***
CN111507245A (zh) * 2020-04-15 2020-08-07 海信集团有限公司 人脸检测的嵌入式***及检测方法
CN111916220A (zh) * 2020-07-31 2020-11-10 北京睿家科技有限公司 信息的展现方法及装置、信息采集设备
CN112491924A (zh) * 2020-12-09 2021-03-12 威创集团股份有限公司 跨平台人脸识别登录方法、***及存储介质
CN113190700A (zh) * 2021-07-02 2021-07-30 成都旺小宝科技有限公司 用于房产交易的人脸抓拍、筛选和存储的方法及***
CN114038077A (zh) * 2021-10-29 2022-02-11 金陵科技学院 一种教室用疫情防控专用签到测温***
CN117894091A (zh) * 2024-02-23 2024-04-16 江西远格科技有限公司 一种铁路行业人脸考勤方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009013526A1 (en) * 2007-07-24 2009-01-29 Laing O'rourke Plc Biometric attendance verification
CN103136504A (zh) * 2011-11-28 2013-06-05 汉王科技股份有限公司 人脸识别方法及装置
US20130311807A1 (en) * 2012-05-15 2013-11-21 Lg Innotek Co., Ltd. Display apparatus and power saving method thereof
CN203909853U (zh) * 2014-03-20 2014-10-29 湖南大学 一种基于视频采集的安防考勤***
CN104732601A (zh) * 2014-11-19 2015-06-24 东北大学 一种基于人脸识别技术的高识别率自动考勤装置及方法
CN105006030A (zh) * 2015-06-01 2015-10-28 湘潭大学 签到***及方法
CN105184879A (zh) * 2015-04-30 2015-12-23 北京天诚盛业科技有限公司 生物识别考勤的方法、装置和***
CN105426875A (zh) * 2015-12-18 2016-03-23 武汉科技大学 一种基于深度卷积神经网络的人脸识别方法和考勤***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009013526A1 (en) * 2007-07-24 2009-01-29 Laing O'rourke Plc Biometric attendance verification
CN103136504A (zh) * 2011-11-28 2013-06-05 汉王科技股份有限公司 人脸识别方法及装置
US20130311807A1 (en) * 2012-05-15 2013-11-21 Lg Innotek Co., Ltd. Display apparatus and power saving method thereof
CN203909853U (zh) * 2014-03-20 2014-10-29 湖南大学 一种基于视频采集的安防考勤***
CN104732601A (zh) * 2014-11-19 2015-06-24 东北大学 一种基于人脸识别技术的高识别率自动考勤装置及方法
CN105184879A (zh) * 2015-04-30 2015-12-23 北京天诚盛业科技有限公司 生物识别考勤的方法、装置和***
CN105006030A (zh) * 2015-06-01 2015-10-28 湘潭大学 签到***及方法
CN105426875A (zh) * 2015-12-18 2016-03-23 武汉科技大学 一种基于深度卷积神经网络的人脸识别方法和考勤***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨铁军: "《产业专利分析报告》", 30 June 2015, 知识产权出版社 *
陈向震: "基于深度学习的人脸表情识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951866A (zh) * 2017-03-21 2017-07-14 北京深度未来科技有限公司 一种人脸认证方法及装置
CN106952371A (zh) * 2017-03-21 2017-07-14 北京深度未来科技有限公司 一种人脸漫游认证方法及***
CN107358667A (zh) * 2017-05-23 2017-11-17 合肥众耀信息科技有限公司 一种用于会议签到的考勤管理***
CN109215150A (zh) * 2017-06-30 2019-01-15 上海弘视通信技术有限公司 人脸点名与计数方法及其***
CN107423910A (zh) * 2017-08-02 2017-12-01 解益新 一种使用通信技术高精度确认人员身份的方法
CN107423910B (zh) * 2017-08-02 2018-03-20 蒙城县望槐信息科技有限责任公司 一种使用通信技术高精度确认人员身份的方法
CN107609703A (zh) * 2017-09-15 2018-01-19 泾县麦蓝网络技术服务有限公司 一种应用于实体零售店的商品定位方法和***
CN107563360A (zh) * 2017-09-30 2018-01-09 百度在线网络技术（北京）有限公司 信息获取方法和装置
US10740597B2 (en) 2017-09-30 2020-08-11 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for acquiring information
CN108090981A (zh) * 2017-11-17 2018-05-29 克立司帝控制***（上海）有限公司 基于人脸识别技术的会议签到***及方法
CN108090982A (zh) * 2017-12-28 2018-05-29 深圳英飞拓科技股份有限公司 一种签到方法、***及终端设备
CN108010152A (zh) * 2017-12-29 2018-05-08 宁波金晟芯影像技术有限公司 一种具备自动识别的考勤***
CN108230475A (zh) * 2018-01-02 2018-06-29 新开普电子股份有限公司 一种远距离人脸识别签到***
CN108415875A (zh) * 2018-02-01 2018-08-17 深圳奥比中光科技有限公司 深度成像移动终端及人脸识别应用的方法
CN110111436A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人脸签到方法、装置及***
CN108319921A (zh) * 2018-02-06 2018-07-24 高强 一种基于人脸识别的自动签到方法及***
CN108334846A (zh) * 2018-02-06 2018-07-27 高强 一种智能考场监考方法及***
CN108446661A (zh) * 2018-04-01 2018-08-24 桂林电子科技大学 一种深度学习并行化人脸识别方法
CN108446661B (zh) * 2018-04-01 2021-11-19 桂林电子科技大学 一种深度学习并行化人脸识别方法
CN108550197A (zh) * 2018-04-12 2018-09-18 弗徕威智能机器人科技（上海）有限公司 一种应用机器人进行签到的方法
CN108765610A (zh) * 2018-05-14 2018-11-06 北京洛斯达数字遥感技术有限公司 用于输电线路工程现场的考勤管理方法
CN109720945A (zh) * 2018-05-22 2019-05-07 中国平安人寿保险股份有限公司 电梯分配方法、装置、设备及计算机可读存储介质
CN110544324A (zh) * 2018-05-28 2019-12-06 陈健邦 登记签到方法、组件、终端设备和存储介质
CN108764153A (zh) * 2018-05-30 2018-11-06 深圳市飞瑞斯科技有限公司 人脸识别方法、装置、***和存储介质
CN109165554A (zh) * 2018-07-24 2019-01-08 高新兴科技集团股份有限公司 一种基于cuda技术的人脸特征比对方法
CN110012259A (zh) * 2018-07-26 2019-07-12 上海懿磬信息科技发展有限公司 一种视频会议会场远程监管***及方法
CN110798648A (zh) * 2018-08-03 2020-02-14 视联动力信息技术股份有限公司 一种视频会议的处理方法和***
CN108960205A (zh) * 2018-08-06 2018-12-07 广州开瑞信息科技有限公司 一种智能人脸识别方法及***
CN109344686A (zh) * 2018-08-06 2019-02-15 广州开瑞信息科技有限公司 一种智能人脸识别***
CN109409547A (zh) * 2018-09-04 2019-03-01 中国平安人寿保险股份有限公司 业务请求处理方法、装置、计算机设备和存储介质
CN109598827A (zh) * 2018-09-25 2019-04-09 深圳神目信息技术有限公司 一种人脸迎宾混合***及其工作方法
CN109726626A (zh) * 2018-09-27 2019-05-07 合肥博焱智能科技有限公司 基于gpu的人脸识别***
CN109376675A (zh) * 2018-11-01 2019-02-22 廖芳婧 一种远距离人脸识别签到***及方法
CN109388496A (zh) * 2018-11-01 2019-02-26 北京视甄智能科技有限公司 一种基于多gpu卡的图像并发处理方法、装置及***
CN109858341B (zh) * 2018-12-24 2021-05-25 北京澎思科技有限公司 一种基于嵌入式***的快速多人脸检测和跟踪方法
CN109858341A (zh) * 2018-12-24 2019-06-07 北京澎思智能科技有限公司 一种基于嵌入式***的快速多人脸检测和跟踪方法
CN109979578A (zh) * 2019-03-07 2019-07-05 上海建工四建集团有限公司 挂号签到***及方法
CN110046870A (zh) * 2019-04-16 2019-07-23 中山大学 一种基于地理位置和人脸特征的签到方法及***
CN110046870B (zh) * 2019-04-16 2023-10-20 中山大学 一种基于地理位置和人脸特征的签到方法及***
CN110111071A (zh) * 2019-04-24 2019-08-09 上海商汤智能科技有限公司 签到方法、装置、电子设备和计算机存储介质
CN110321791A (zh) * 2019-05-22 2019-10-11 深圳壹账通智能科技有限公司 基于人脸识别的人像数据设置方法、装置及存储介质
CN110599129A (zh) * 2019-09-16 2019-12-20 世纪海航(厦门)科技有限公司 一种基于图像追踪校园考勤方法、装置、识别终端及***
CN111507245A (zh) * 2020-04-15 2020-08-07 海信集团有限公司 人脸检测的嵌入式***及检测方法
CN111916220A (zh) * 2020-07-31 2020-11-10 北京睿家科技有限公司 信息的展现方法及装置、信息采集设备
CN112491924A (zh) * 2020-12-09 2021-03-12 威创集团股份有限公司 跨平台人脸识别登录方法、***及存储介质
CN113190700A (zh) * 2021-07-02 2021-07-30 成都旺小宝科技有限公司 用于房产交易的人脸抓拍、筛选和存储的方法及***
CN114038077A (zh) * 2021-10-29 2022-02-11 金陵科技学院 一种教室用疫情防控专用签到测温***
CN117894091A (zh) * 2024-02-23 2024-04-16 江西远格科技有限公司 一种铁路行业人脸考勤方法

Also Published As

Publication number Publication date
CN106228628B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN106228628A (zh) 基于人脸识别的签到***、方法和装置
US10650261B2 (en) System and method for identifying re-photographed images
CN106104569B (zh) 用于在电子装置之间建立连接的方法及设备
WO2019218621A1 (zh) 活体检测方法及装置、电子设备和存储介质
CN108470169A (zh) 人脸识别***及方法
US20210248356A1 (en) Method and apparatus for face recognition
KR102387495B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN105956518A (zh) 一种人脸识别方法、装置和***
JP2015529354A (ja) 顔認識のための方法および装置
WO2022062379A1 (zh) 图像检测方法和相关装置、设备、存储介质、计算机程序
CN106951866A (zh) 一种人脸认证方法及装置
CN107766811A (zh) 一种基于复杂流型结构的人脸识别方法及***
CN111241932A (zh) 汽车展厅客流检测与分析***、方法及存储介质
CN103955889B (zh) 一种基于增强现实技术的制图类作业评阅方法
CN112257513A (zh) 一种手语视频翻译模型的训练方法、翻译方法及***
CN208351494U (zh) 人脸识别***
CN109697389B (zh) 身份识别方法与装置
CN109376707A (zh) 具有独立人脸识别功能的执法记录仪
CN110222647A (zh) 一种基于卷积神经网络的人脸活体检测方法
CN107665328A (zh) 人脸面部识别方法
US20240161461A1 (en) Object detection method, object detection apparatus, and object detection system
CN112734966B (zh) 一种融合WiFi数据与人脸识别的课堂点名方法
CN106407906A (zh) 人脸面部识别方法
CN108538096A (zh) 一种基于物联网的智能电子白板
CN207965960U (zh) 基于人脸识别的酒店入住刷脸支付***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant