CN114926887A - 人脸识别方法、装置及终端设备 - Google Patents

人脸识别方法、装置及终端设备 Download PDF

Info

Publication number
CN114926887A
CN114926887A CN202210601012.4A CN202210601012A CN114926887A CN 114926887 A CN114926887 A CN 114926887A CN 202210601012 A CN202210601012 A CN 202210601012A CN 114926887 A CN114926887 A CN 114926887A
Authority
CN
China
Prior art keywords
face
image
front face
recognized
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210601012.4A
Other languages
English (en)
Inventor
谭伟
朱苑萍
李韦
王允
黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Longguangyunzhong Intelligent Technology Co ltd
Original Assignee
Shenzhen Longguangyunzhong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Longguangyunzhong Intelligent Technology Co ltd filed Critical Shenzhen Longguangyunzhong Intelligent Technology Co ltd
Priority to CN202210601012.4A priority Critical patent/CN114926887A/zh
Publication of CN114926887A publication Critical patent/CN114926887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于人脸识别技术领域，提供了人脸识别方法、装置及终端设备，包括：将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，所述正面人脸重构模型为预先训练好的神经网络模型，基于所述正面人脸信息进行人脸识别，得到人脸识别结果。本申请可以提高人脸识别的灵活性。

Description

人脸识别方法、装置及终端设备
技术领域
本申请属于人脸识别技术领域，尤其涉及人脸识别方法、装置、终端设备以及计算机可读存储介质。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，主要用摄像头采集包含人脸的图像或视频流，并自动检测和跟踪图像中的人脸，进而对检测到的人脸进行脸部识别。
随着科学技术的发展，人脸识别已广泛应用于工作生活中，如门禁机、考勤机等。为实现对部分岗位工作人员出勤统计的自动考勤，企业通常会在相应岗位安装摄像头以采集工作人员的人脸信息，与员工***信息比对，进行人脸识别，从而实现对相应工作人员上岗出勤的统计。现有技术中，通常在工作人员岗位前方安装单摄像头采集相应工作人员的正面人脸图像进行人脸识别，以实现自动出勤统计，由于只能对正面人脸进行人脸识别，而摄像头位置是固定的，因此，在进行相应工作人员的自动出勤统计时，要求工作人员需要正面朝向摄像头，对工作人员的限制较大，影响工作人员正常工作。
发明内容
本申请实施例提供了人脸识别方法、装置及终端设备，可以提高现有技术中人脸识别的灵活性。
第一方面，本申请实施例提供了一种人脸识别方法，包括：
将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，所述正面人脸重构模型为预先训练好的神经网络模型；
基于所述正面人脸信息进行人脸识别，得到人脸识别结果。
第二方面，本申请实施例提供了一种人脸识别装置，包括：
人脸重构模块，用于将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，所述正面人脸重构模型为预先训练好的神经网络模型；
人脸识别模块，用于基于所述正面人脸信息进行人脸识别，得到人脸识别结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的人脸识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中所述的人脸识别方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的人脸识别方法。
本申请实施例与现有技术相比存在的有益效果是：采用预先训练的正面人脸重构模型将待识别人脸图像转换为可表征人脸特征的正面人脸信息，再根据该正面人脸信息进行人脸识别，得到转换前的待识别人脸图像的人脸识别结果，由于正面人脸重构模型可将待识别人脸图像转换为表征了人脸特征的正面人脸信息，因此，通过正面人脸重构模型可将不同人脸角度的待识别人脸图像转换为标准的正面人脸信息进行人脸识别，避免人脸识别时因待识别人脸图像为非正面人脸图像时导致人脸识别结果误差较大或无法识别的问题，从而减小了采集待识别人脸图像时的局限性，提高了人脸识别的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种人脸识别方法的流程示意图；
图2是本申请实施例提供的头部姿态示意图；
图3是本申请实施例提供的正面人脸重构网络的结构示意图；
图4是本申请实施例提供的人脸识别装置的结构示意图；
图5是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
实施例一：
图1示出了本发明实施例提供的一种人脸识别方法的流程示意图，详述如下：
步骤S101，将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息；
上述正面人脸重构模型为预先训练好的神经网络模型。可选的，上述正面人脸信息可以是正面人脸图像的特征向量，也可以是正面人脸图像或其它可描述正面人脸特征的信息。
本申请实施例中，通过预先训练的正面人脸重构模型将待识别人脸图像转换为统一的可表征人脸特征的正面人脸信息，使后续根据该正面人脸信息进行人脸识别，避免了采集待识别人脸图像时需采集正面人脸图像的限制，从而提高了人脸识别的灵活性。
步骤S102，基于上述正面人脸信息进行人脸识别，得到人脸识别结果。
具体的，步骤S102可表现为：将步骤S101得到的正面人脸信息与预先录入的标准正面人脸信息进行匹配，以得到人脸识别结果。
可选的，在采集用户的正面人脸图像以获取用户的标准正面人脸信息时，基于头部姿态估计或人脸对称性等，判定上述正面人脸图像是否符合设定的标准正面人脸图像的规则，将可作为标准正面人脸图像的人脸信息存为标准正面人脸信息。例如，设定俯仰角(Pitch)、偏航角(Yaw)以及滚转角(Roll)均在0至0.5度内的正面人脸图像可作为标准正面人脸图像，采集的某一用户的正面人脸图像中，人脸的俯仰角、偏航角以及滚转角均在0至0.5度内，则该正面人脸图像可作为上述用户的标准正面人脸图像，获取该标准正面人脸图像的标准正面人脸信息并存储。
上述头部姿态估计是指通过一幅人脸图像获取头部在三维空间的朝向，通常认为人体头部可建模为一个无实体的对象，根据该设定，在姿势上头部被限制为如图2所示的俯仰角、偏航角和滚转角三个欧拉角，分别代表头部上下运动、头部左右运动和颈侧屈运动的角度。
具体地，上述将步骤S101得到的正面人脸信息与预先录入的标准正面人脸信息进行匹配包括：计算预先录入的用户的标准正面人脸信息与上述正面人脸信息的相似度。例如，可基于欧氏距离和/或余弦相似度计算上述标准正面人脸信息与上述正面人脸信息的相似度，将与上述正面人脸信息的相似度大于预设阈值的标准正面人脸信息作为目标人脸信息，输出上述目标人脸信息相应的身份信息作为人脸识别结果。若没有与上述正面人脸信息的相似度大于预设阈值的标准正面人脸信息，则输出如“不存在相应身份信息”的提示信息，表明上述正面人脸信息(待识别人脸图像)无相关识别结果(即人脸识别结果体现为诸如“无”或“匹配失败”等信息)。
本申请实施例中，根据待识别的正面人脸信息，计算预先录入的用户的标准正面人脸信息与上述正面人脸信息的相似度，将上述相似度满足预设阈值的标准正面人脸信息的相应的身份信息作为人脸识别结果，由于将与上述正面人脸信息大于预设阈值的标准正面人脸信息作为识别结果，得到的标准正面人脸信息与上述正面人脸信息(待识别人脸图像)相符，使得人脸识别结果具有更高的准确率。
需要说明的是，在计算预先录入的用户的标准正面人脸信息与上述正面人脸信息的相似度时，可能存在与上述正面人脸信息的相似度大于预设阈值的标准正面人脸信息的数量大于1的情况，此时，将与上述正面人脸信息的相似度最大的标准人脸信息作为目标人脸信息，将与上述正面人脸信息的相似度大于预设阈值的除目标人脸信息以外的标准正面人脸信息作为候选人脸信息，输出上述目标人脸信息相应的身份信息作为人脸识别结果，并将上述候选人脸信息相应的身份信息作为候选结果一起输出，并提供相应的用户界面以接收用户的选择指令，根据用户选择指令确定实际的人脸识别结果，以避免存在多个标准正面人脸信息与上述正面人脸信息的相似度大于预设阈值时，人脸识别结果不清楚的问题，从而提高人脸识别的容错率。
本申请实施例中，通过预先训练的正面人脸重构模型将待识别人脸图像转换为统一的可表征待识别图像的人脸特征的正面人脸信息，根据上述正面人脸信息，计算预先录入的用户的标准正面人脸信息与上述正面人脸信息的相似度，将上述相似度满足预设阈值的标准正面人脸信息的相应的身份信息作为人脸识别结果。由于转换得到的正面人脸信息表征了上述待识别人脸图像的人脸特征，因此，可直接根据上述正面人脸信息进行人脸识别，从而避免了采集待识别人脸图像时需采集正面人脸图像，或采集到的待识别人脸图像为偏转一定角度的人脸图像时，人脸识别结果误差较大的问题，从而减小了采集待识别人脸图像时的局限性，进而提高了人脸识别的灵活性和准确性。
在一些实施例中，上述正面人脸重构模型可通过如下方法训练得到：
A1、采集N个样本用户在多个头部姿态下的人脸图像，得到训练集，其中，N为大于1的正整数。
具体地，选取N个不同的人作为样本用户，分别采集N个样本用户在相同光照等环境下，多个不同的头部姿态下的人脸图像，以作为正面人脸重构模型的训练集，进行正面人脸重构训练。其中，N为大于1的正整数。
A2、采集上述N个样本用户的第一正面人脸图像，得到标准图像集。
具体地，由于正面人脸重构模型用于根据用户的人脸图像重构上述用户的正面人脸图像，因此，在训练过程中，需要获取样本用户的第一正面人脸图像作为标准，计算正面人脸重构模型训练过程中计算重构的正面人脸图像的误差，因此，采集上述N个样本用户的第一正面人脸图像作为标准图像集。
可选的，在采集上述N个样本用户的第一正面人脸图像时，采集上述样本用户正面面向如摄像头等摄像设备时的人脸图像，并基于头部姿态估计或人脸对称性等判断该人脸图像是否可作为第一正面人脸图像，如根据采集的人脸图像的俯仰角、偏航角以及滚转角是否在预设的偏转范围判定是否该人脸图像可作为相应样本用户的第一正面人脸图像，如，若采集的某一样本用户的人脸图像中，人脸的俯仰角、偏航角以及滚转角均在0至0.5度内，则该人脸图像可作为上述样本用户的第一正面人脸图像，将上述第一正面人脸图像存入标准图像集。
A3、对上述标准图像集和上述训练集中的图像分别进行预处理。
具体地，由于采集到的训练集以及标准图像集中的图像可能包括其它无关信息，以及光照、表情等因素对人脸图像中的人脸特征造成一定的影响，因此，在进行人脸重构模型的训练之前，对上述训练集和标准图像集中的图像分别进行预处理。可选的，上述训练集和标准图像集的图像预处理包括人脸检测、灰度处理等。例如，通过预训练的MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)分别对训练集和标准图像集中的图像进行人脸区域检测和人脸关键点检测，输出预设尺寸的包含人脸的图像，如64*64大小的包含人脸的图像，并基于平均灰度化或加权平均值灰度化等对输出的预设尺寸的人脸图像进行灰度处理，得到预处理后的训练集和标准图像集。
其中，MTCNN是一种基于深度学习的人脸检测和人脸对齐方法，可同时完成人脸检测和人脸对齐的任务。在进行MTCNN的训练时，需使用图像金字塔将原始图像缩放到不同的尺度，然后将不同尺度的图像送入MTCNN的三个子网络P-Net(Proposal Network，候选网络)、R-Net(Refine Network，细化网络)和O-Net(Output Network，输出网络)进行训练，以实现多尺度图像的人脸检测和特征点检测。
A4、基于预处理后的训练集和标准图像集对上述正面人脸重构模型进行训练。
可选的，上述正面人脸重构模型的模型结构包括：
具有次序的预设数量的卷积层，采用不同大小的卷积核对上述待识别人脸图像进行卷积处理，提取上述待识别人脸图像特征；
具有次序的池化层，上述池化层的预设数量较卷积层的预设数量少1层，除最后一个卷积层外，每个池化层的输入端依次连接一个卷积层的输出端，对上述卷积层输出的待识别人脸图像特征进行池化处理；
全连接层的输入端与最后一个卷积层的输出端连接，将上述卷积层输出的待识别人脸图像特征进行组合得到第二正面人脸图像，上述第二正面人脸图像为待识别人脸图像重构后的相应的正面人脸图像。
举例说明，上述正面人脸重构模型可采用如图3所示的结构，上述正面人脸重构模型包含输入层、3个卷积层、2个池化层以及全连接层和输出层，第一卷积层的输出端连接第一池化层的输入端，第一池化层的输出端连接第二卷积层的输入端，可选的，上述池化层采用最大池化以便更好的提取人脸特征。
具体地，根据上述预处理后的训练集训练上述正面人脸重构模型，并根据上述标准图像集计算正面人脸重构模型的损失函数，从而对正面人脸重构模型进行优化，得到正面人脸重构模型的最优解。在进行上述正面人脸重构模型的训练之前，可根据需求将训练集中部分样本用户的人脸图像作为验证集以验证上述正面人脸重构模型的泛化能力，以决定是否继续训练。
可选的，根据正面人脸重构网络重构的各样本用户的人脸图像对应的第二正面人脸图像，和上述目标图像集中各样本用户对应的第一正面人脸图像，计算上述正面人脸重构模型的目标函数，以对上述正面人脸重构模型进行优化，得到上述正面人脸重构模型的最优解。
可选的，上述目标函数E为：
Figure BDA0003669869380000081
其中，
Figure BDA0003669869380000082
为训练集PN中第i个样本用户的第k张人脸图像，W为正面人脸重构模型的权重参数，
Figure BDA0003669869380000083
为正面人脸重构模型重构的第i个样本用户的第k张人脸图像重构后的第二正面人脸图像，Yi为目标图像集中的第i个样本用户的第一正面人脸图像，F为范式函数。
本申请实施例中，通过对采集样本用户在不同的头部姿态下的人脸图像和正面人脸图像进行预处理后，基于得到的包含人脸的相同尺寸的训练集和标准图像集进行正面人脸重构模型的训练，由于对训练集和步骤图像集进行了人脸检测、灰度化等预处理，因此，训练集中的图像为包含人脸的单通道灰度图像，减少不必要的特征信息，从而加快了训练过程中的数据处理速度。
在一些实施例中，上述步骤A1包括：
A11、针对任一样本用户i，基于头部姿态估计，采集上述样本用户i在各头部姿态下的人脸图像，并存入训练集。
具体地，在采集各样本用户的人脸图像时，通过头部姿态估计计算样本用户的头部姿态，即人脸角度，根据预设的采集规则，分别采集各样本用户在不同的头部姿态下的人脸图像，分别存为相应的样本用户的训练图像，得到训练集。
本申请实施例中，基于头部姿态估计采集各样本用户在进行
在一些实施例中，上述步骤A11包括：
基于头部姿态估计，依次采集上述样本用户i在三种头部运动状态下的各头部姿态的人脸图像。
可选的，上述三种头部运动状态包括：头部左右运动、头部上下运动以及颈侧屈运动。
可选的，获取用户输入的指令，根据用户指令依次采集各样本用户在进行头部左右运动、头部上下运动以及颈侧屈运动时，即，如图2所示，围绕Y轴旋转(即Yaw)、围绕X轴旋转(即Pitch)和围绕Z轴旋转(即Roll)，根据预设的采集规则，采集各样本用户在进行上述头部运动时的人脸图像作为训练集中各样本用户的人脸图像，存入训练集。其中，上述用户指令用于指示用户进行相应的头部运动。
例如，预设的采集规则为，样本用户头部运动过程中，各运动方向最大改变45°，在各个运动方向上每改变1°，采集一张当前姿态的人脸图像。
针对任一样本用户i，根据用户输入的第一指令，使样本用户i分别缓慢向左和向右(围绕Y轴)旋转头部45°，摄像头连续采集该运动过程中样本用户i的人脸图像，通过头部姿态估计计算头部在向左和向右运动过程中偏航角的角度，依次将偏航角每变化1°时相应的人脸图像存入样本用户i对应的图像集Pi中；
根据上述第一指令采集完相应人脸图像后，根据用户输入的第二指令，使样本用户i分别缓慢向上和向下(围绕X轴)旋转头部45°，摄像头连续采集该运动过程中样本用户i的人脸图像，通过头部姿态估计计算头部在向上和向下运动过程中俯仰角的角度，依次将俯仰角每变化1°时相应的人脸图像存入样本用户i对应的图像集Pi中；
根据上述第二指令采集完相应人脸图像后，根据用户输入的第三指令，使样本用户i分别缓慢向左侧和右侧围绕Z轴旋转头部45°，摄像头连续采集该运动过程中样本用户i的人脸图像，通过头部姿态估计计算头部在向左侧和右侧围绕Z轴运动过程中滚转角的角度，依次将滚转角每变化1°时相应的人脸图像存入样本用户i对应的图像集Pi中；
根据上述第三指令采集完相应人脸图像后，根据用户输入的第四指令，使样本用户i在俯仰角为45°的头部姿态下，分别缓慢向左和向右(围绕Y轴)旋转头部45°，摄像头连续采集该运动过程中样本用户i的人脸图像，通过头部姿态估计计算头部在向左和向右运动过程中偏航角的角度，依次将偏航角每变化1°时相应的人脸图像存入样本用户i对应的图像集Pi中；
根据上述第四指令采集完相应人脸图像后，根据用户输入的第五指令，使样本用户i在俯仰角为-45°的头部姿态下，分别缓慢向左和向右(围绕Y轴)旋转头部45°，摄像头连续采集该运动过程中样本用户i的人脸图像，通过头部姿态估计计算头部在向左和向右运动过程中偏航角的角度，依次将偏航角每变化1°时相应的人脸图像存入样本用户i对应的图像集Pi中，至此，得到上述样本用户i的完整图像集Pi。
本申请实施例中，根据用户输入的指令，基于头部姿态估计，根据预设的采集规则分别采集各样本用户在进行头部左右运动、头部上下运动以及颈侧屈运动时各头部姿态的人脸图像作为训练集，由于训练集包括样本用户在各头部姿态下的人脸图像，因此，后续根据该训练集训练得到的正面人脸重构模型可对各头部姿态的人脸图像进行转换，使得可以根据转换得到的正面人脸信息进行人脸识别，从而减小了采集待识别人脸图像时采集角度的局限性，进而提高了人脸识别的灵活性。
在一些实施例中，在上述步骤S101之前，还包括：
B1、通过摄像头采集待识别图像。
可选的，上述待识别图像可以是通过单个摄像设备拍摄得到的一个图像，也可以是单个拍摄设备(如监控摄像头)拍摄得到的视频流中的一个图像帧。
可选的，根据需求设置待识别图像的采集时间或频率，如在固定的时间点定时采集待识别图像，或，在设定的时间范围内，随机进行指定次数的待识别图像的采集。
B2、对采集到的待识别图像进行预处理，以得到上述待识别人脸图像。
由于采集到的待识别图像可能包括人脸图像也可能不包括人脸图像，且可能在包括人脸图像时，也可能存在人脸图像不完整(如人脸图像中只拍摄到人脸的下半部分)的情况，因此，在进行正面人脸重构之前，需要先检测待识别图像中是否存在人脸图像。
可选的，基于预训练的MTCNN对上述待识别图像进行人脸区域检测和人脸关键点检测，若检测到符合预设要求的人脸区域和人脸关键点，则表明该待识别图像中包含人脸图像，输出预设尺寸的人脸图像，并对上述输出的预设尺寸的人脸图像进行灰度处理，得到待识别人脸图像。
当然，若上述预训练的MTCNN在上述待识别图像中没有检测到符合预设要求的人脸区域，则表明上述待识别图像中没有用户人脸，根据上述待识别人脸图像的采集时间、采集上述待识别人脸图像的摄像头的位置信息等生成异常事件记录。
若上述预训练的MTCNN在上述待识别图像中检测人脸区域和/或人脸关键点，但检测得到人脸区域和/或人脸关键点不符合预设要求，输出相应的提示信息重新采集待识别图像。
本申请实施例中，由于采集到的待识别图像不一定存在人脸图像或存在的人脸图像不满足预设要求，因此，需对采集到的待识别人脸图像进行预处理，提取待识别图像中存在的人脸图像得到待识别人脸图像，从而获取上述待识别人脸图像相应的正面人脸信息和进行人脸识别，由于对待识别图像进行了灰度处理，得到的待识别人脸图像为灰度图像，加快了获取待识别人脸图像的正面人脸信息的速度，从而提高了人脸识别效率。
在一些实施例中，在上述步骤S102之后，还包括：
根据上述人脸识别结果、目标摄像头所在的位置信息以及相应待识别人脸图像的采集时间，生成用户出勤记录。
上述目标摄像头为采集上述待识别人脸图像相应的待识别图像的摄像头。
可选的，根据上述人脸识别结果得到待识别人脸图像的身份信息，结合上述待识别人脸图像相应的待识别图像的采集时间以及采集上述待识别人脸图像对应的待识别图像的摄像头的位置信息，生成上述待识别人脸图像对应的出勤记录，以便相关工作人员进行考勤统计。上述出勤记录描述了上述待识别人脸图像的人脸身份信息、采集时间和采集位置。
可选的，摄像头预先设置有唯一标识，用于唯一指示相应摄像头的位置、型号等信息。上述唯一标识包括上述摄像头的型号、位置、摄像头编号等。
本申请实施例中，由于出勤记录唯一记载了上述人脸识别结果和摄像头的位置信息、相应的待识别人脸图像相应的采集时间，使得相关工作人员能够根据上述出勤记录进行相应用户的考勤统计。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
对应于上文实施例所述的人脸识别方法，图4示出了本申请实施例提供的装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该装置包括：人脸重构模块41、人脸识别模块42。其中，
人脸重构模块41，用于将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，上述正面人脸重构模型为预先训练好的神经网络模型；
人脸识别模块42，用于基于上述正面人脸信息进行人脸识别，得到人脸识别结果。
本申请实施例中，通过预先训练的正面人脸重构模型将待识别人脸图像转换为统一的可表征待识别图像的人脸特征的正面人脸信息，根据上述正面人脸信息，计算预先录入的用户的标准正面人脸信息与上述正面人脸信息的相似度，将上述相似度满足预设阈值的标准正面人脸信息的相应的身份信息作为人脸识别结果。由于转换得到的正面人脸信息表征了上述待识别人脸图像的人脸特征，因此，可直接根据上述正面人脸信息进行人脸识别，从而避免了采集待识别人脸图像时需采集正面人脸图像，或采集到的待识别人脸图像为偏转一定角度的人脸图像时，人脸识别结果误差较大的问题，从而减小了采集待识别人脸图像时的局限性，进而提高了人脸识别的灵活性和准确性。
在一些实施例中，上述人脸识别装置还包括：
训练集采集模块，用于采集N个样本用户在多个头部姿态下的人脸图像，得到训练集，其中，N为大于1的正整数。
标准图像集采集模块，用于采集上述N个样本用户的第一正面人脸图像，得到标准图像集。
训练图像预处理模块，用于对上述标准图像集和上述训练集中的图像分别进行预处理。
正面人脸重构模型训练模块，用于基于预处理后的训练集和标准图像集对上述正面人脸重构模型进行训练。
在一些实施例中，上述训练集采集模块包括：
采集单元，用于针对任一样本用户i，基于头部姿态估计，采集上述样本用户i在各头部姿态下的人脸图像，并存入训练集。
在一些实施例中，上述采集单元包括：
指令单元，用于根据基于头部姿态估计，依次采集上述样本用户i在三种头部运动状态下的各头部姿态的人脸图像，其中，上述三种头部运动状态包括：头部左右运动、头部上下运动以及颈侧屈运动。
在一些实施例中，上述人脸识别装置还包括：
待识别图像采集装置，用于通过摄像头采集待识别图像。
待识别人脸图像获取模块，用于对采集到的待识别图像进行预处理，以得到上述待识别人脸图像。
在一些实施例中，上述人脸识别装置还包括：
记录生成模块，用于根据上述人脸识别结果、目标摄像头所在的位置信息以及相应待识别人脸图像的采集时间，生成用户出勤记录。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例三：
图5为本申请一实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备5包括：至少一个处理器50(图5中仅示出一个处理器)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个方法实施例中的步骤。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。例如，所述计算机程序52可以被分割成人脸重构模块41、人脸识别模块42，各模块之间具体功能如下：
人脸重构模块41，用于将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，上述正面人脸重构模型为预先训练好的神经网络模型；
人脸识别模块42，用于基于上述正面人脸信息进行人脸识别，得到人脸识别结果。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的举例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51在一些实施例中可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，所述正面人脸重构模型为预先训练好的神经网络模型；
基于所述正面人脸信息进行人脸识别，得到人脸识别结果。
2.如权利要求1所述的人脸识别方法，其特征在于，所述正面人脸重构模型通过如下方法进行训练，包括：
采集N个样本用户在多个头部姿态下的人脸图像，得到训练集，其中，N为大于1的正整数；
采集所述N个样本用户的正面人脸图像，得到标准图像集；
对所述标准图像集和所述训练集中的图像分别进行预处理；
基于预处理后的训练集和标准图像集对所述正面人脸重构模型进行训练。
3.如权利要求2所述的人脸识别方法，其特征在于，所述采集N个样本用户在多个头部姿态的人脸图像，得到训练集，包括：
针对任一样本用户i，基于头部姿态估计，采集所述样本用户i在各头部姿态下的人脸图像，并存入训练集。
4.根据权利要求3所述的人脸识别方法，其特征在于，所述基于头部姿态估计，采集所述样本用户i在各头部姿态下的人脸图像为：
基于头部姿态估计，依次采集所述样本用户i在三种头部运动状态下的各头部姿态的人脸图像，所述三种头部运动状态包括：头部左右运动、头部上下运动以及颈侧屈运动。
5.如权利要求1至4任一项所述的人脸识别方法，其特征在于，所述将待识别人脸图像输入正面人脸重构模型之前，还包括：
通过摄像头采集待识别图像；
对采集到的待识别图像进行预处理，以得到所述待识别人脸图像。
6.如权利要求5所述的人脸识别方法，其特征在于，所述得到人脸识别结果之后还包括：
根据所述人脸识别结果、目标摄像头所在的位置信息以及相应待识别人脸图像的采集时间，生成用户出勤记录；
所述目标摄像头为采集相应待识别人脸图像的摄像头。
7.一种人脸识别装置，其特征在于，包括：
人脸重构模块，用于将待识别人脸图像输入正面人脸重构模型，得到可表征人脸特征的正面人脸信息，所述正面人脸重构模型为预先训练好的神经网络模型；
人脸识别模块，用于基于所述正面人脸信息进行人脸识别，得到人脸识别结果。
8.如权利要求7所述的人脸识别装置，其特征在于，还包括：
训练集采集模块，用于采集N个样本用户在多个头部姿态下的人脸图像，得到训练集，其中，N为大于1的正整数；
标准图像集采集模块，用于采集所述N个样本用户的正面人脸图像，得到标准图像集；
训练图像预处理模块，用于对所述标准图像集和所述训练集中的图像分别进行预处理；
正面人脸重构模型训练模块，用于基于预处理后的训练集和标准图像集对所述正面人脸重构模型进行训练。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202210601012.4A 2022-05-30 2022-05-30 人脸识别方法、装置及终端设备 Pending CN114926887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210601012.4A CN114926887A (zh) 2022-05-30 2022-05-30 人脸识别方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210601012.4A CN114926887A (zh) 2022-05-30 2022-05-30 人脸识别方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN114926887A true CN114926887A (zh) 2022-08-19

Family

ID=82813161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210601012.4A Pending CN114926887A (zh) 2022-05-30 2022-05-30 人脸识别方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN114926887A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238020A (zh) * 2023-11-10 2023-12-15 杭州启源视觉科技有限公司 人脸识别方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229313A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 人脸识别方法和装置、电子设备和计算机程序及存储介质
CN110363091A (zh) * 2019-06-18 2019-10-22 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN110751009A (zh) * 2018-12-20 2020-02-04 北京嘀嘀无限科技发展有限公司 人脸识别方法、目标识别方法、装置和电子设备
CN111488810A (zh) * 2020-03-31 2020-08-04 长沙千视通智能科技有限公司 人脸识别方法、装置、终端设备及计算机可读介质
CN113158852A (zh) * 2021-04-08 2021-07-23 浙江工业大学 一种基于人脸与非机动车协同识别的交通卡口监控***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229313A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 人脸识别方法和装置、电子设备和计算机程序及存储介质
CN110751009A (zh) * 2018-12-20 2020-02-04 北京嘀嘀无限科技发展有限公司 人脸识别方法、目标识别方法、装置和电子设备
CN110363091A (zh) * 2019-06-18 2019-10-22 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN111488810A (zh) * 2020-03-31 2020-08-04 长沙千视通智能科技有限公司 人脸识别方法、装置、终端设备及计算机可读介质
CN113158852A (zh) * 2021-04-08 2021-07-23 浙江工业大学 一种基于人脸与非机动车协同识别的交通卡口监控***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENYAO ZHU等: "Recover Canonical-View Faces in the Wild with Deep Neural Networks", 《ARXIX》, 16 April 2014 (2014-04-16), pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238020A (zh) * 2023-11-10 2023-12-15 杭州启源视觉科技有限公司 人脸识别方法、装置和计算机设备
CN117238020B (zh) * 2023-11-10 2024-04-26 杭州启源视觉科技有限公司 人脸识别方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
Lee et al. Ensemble deep learning for skeleton-based action recognition using temporal sliding lstm networks
CN109657533A (zh) 行人重识别方法及相关产品
WO2019245768A1 (en) System for predicting articulated object feature location
CN109829396B (zh) 人脸识别运动模糊处理方法、装置、设备及存储介质
CN110263603B (zh) 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN112446919A (zh) 物***姿估计方法、装置、电子设备及计算机存储介质
CN112530019A (zh) 三维人体重建方法、装置、计算机设备和存储介质
CN113159006B (zh) 基于人脸识别的考勤方法、***、电子设备和存储介质
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN109215131B (zh) 虚拟人脸的驱动方法及装置
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
Liu et al. Attentive cross-modal fusion network for RGB-D saliency detection
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
Weiyao et al. Human action recognition using multilevel depth motion maps
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN111680544B (zh) 人脸识别方法、装置、***、设备及介质
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN113435432B (zh) 视频异常检测模型训练方法、视频异常检测方法和装置
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN111079536A (zh) 基于人体关键点时序的行为分析方法、存储介质及设备
CN114550212A (zh) 一种基于轻量级模型的羊脸检测与识别方法
CN105844204B (zh) 人体行为识别方法和装置
CN116977937A (zh) 一种行人重识别的方法及***
CN114926887A (zh) 人脸识别方法、装置及终端设备
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination