CN110309706A - 人脸关键点检测方法、装置、计算机设备及存储介质 - Google Patents

人脸关键点检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110309706A
CN110309706A CN201910371609.2A CN201910371609A CN110309706A CN 110309706 A CN110309706 A CN 110309706A CN 201910371609 A CN201910371609 A CN 201910371609A CN 110309706 A CN110309706 A CN 110309706A
Authority
CN
China
Prior art keywords
face
facial image
key point
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910371609.2A
Other languages
English (en)
Other versions
CN110309706B (zh
Inventor
张欢
李爱林
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Information Technology Co Ltd
Original Assignee
Shenzhen Huafu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co Ltd filed Critical Shenzhen Huafu Information Technology Co Ltd
Priority to CN201910371609.2A priority Critical patent/CN110309706B/zh
Publication of CN110309706A publication Critical patent/CN110309706A/zh
Application granted granted Critical
Publication of CN110309706B publication Critical patent/CN110309706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人脸关键点检测方法、装置、计算机设备及存储介质，该方法包括获取初始人脸图像；对初始人脸图像进行预处理，以得到待检测人脸图像；通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸关键点；通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。本发明通过对初始人脸图像进行预处理后，利用呈级联式的初级卷积神经网络模型和二级卷积神经网络模型进行人脸关键点检测，先进行关键点预测，再针对预测的关键点进行再次卷积神经网络处理和回归处理，以得到目标关键点，实现提高人脸关键点的检测准确性。

Description

人脸关键点检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及人脸检测方法，更具体地说是指人脸关键点检测方法、装置、计算机设备及存储介质。
背景技术
人脸关键点检测技术包括定位并返回人脸五官与轮廓的关键点坐标位置。关键点包括人脸轮廓、眼睛、眉毛、嘴唇以及鼻子轮廓。其具有很强的现实意义，比如在智能家居、交通领域均有很大的实用价值，是人脸识别方面不可或缺的成分，虽然现阶段存在FaceNet一类的不需要人脸矫正的人脸识别技术，但是主流的人脸识别算法任然需要人脸关键点检测，以此来进行人脸矫正，进而提取和比对特征，达到识别的目的，在人脸检测算法还存在一大挑战，即检测精度和速度问题。
现有的人脸关键点检测方法有两种，一种是基于传统方法，自己设计特征，再对特征进行回归，得到人脸关键点，代表算法有机器学习库DLIB和LBF3000(局部特征，Localbinary feature)等，由于是自主设计特征，对于特征点的提取容易出现偏差，因此导致检测结果准确性不高；另外一种是基于深度学习的回归方法，使用卷积神经网络对人脸图像进行特征点直接提取，网络自己决定选取那种高维特征进行学习，此类方法由于是单级回归的方式，也存在准确率低的问题。
因此，有必要设计一种新的方法，实现提高人脸关键点的检测准确性。
发明内容
本发明的目的在于克服现有技术的缺陷，提供人脸关键点检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：人脸关键点检测方法，包括：
获取初始人脸图像；
对初始人脸图像进行预处理，以得到待检测人脸图像；
通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸关键点；
通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
其进一步技术方案为：所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
其进一步技术方案为：所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
其进一步技术方案为：所述对初始人脸图像进行预处理，以得到待检测人脸图像，包括：
根据初始人脸图像获取初始关键点数据集；
选取符合要求的初始关键点数据集，并存储至配置文件内，以得到待检测人脸图像。
其进一步技术方案为：所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型，包括：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第一U型结构的Hourglass网络内；
通过第一U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第一特征图；
对第一特征图进行下采样，以得到第一下采样特征图；
对第一下采样特征图进行上采样，以得到第一人脸特征；
对所述第一人脸特征采用Loss函数进行回归处理，以得到第一处理结果；
利用第一处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第一转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第一比较结果；
根据所述第一比较结果调整U型结构的Hourglass网络，以得到初级卷积神经网络模型。
其进一步技术方案为：所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型，包括：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第二U型结构的Hourglass网络内；
通过第二U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第二特征图；
对第二特征图进行下采样，以得到第二下采样特征图；
对第二下采样特征图进行上采样，以得到第二人脸特征；
对所述第二人脸特征采用Loss函数进行回归处理，以得到第二处理结果；
利用第二处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第二转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第二比较结果；
根据所述第二比较结果调整U型结构的Hourglass网络，以得到二级卷积神经网络模型。
其进一步技术方案为：所述第二U型结构的Hourglass网络的卷积核是第一U型结构的Hourglass网络的卷积核的一半。
本发明还提供了人脸关键点检测装置，包括：
初始图像获取单元，用于获取初始人脸图像；
预处理单元，用于对初始人脸图像进行预处理，以得到待检测人脸图像；
预测单元，用于通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸；
再测单元，用于通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对初始人脸图像进行预处理后，利用呈级联式的初级卷积神经网络模型和二级卷积神经网络模型进行人脸关键点检测，先进行关键点预测，再针对预测的关键点进行再次卷积神经网络处理和回归处理，以得到目标关键点，实现提高人脸关键点的检测准确性。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸关键点检测方法的应用场景示意图；
图2为本发明实施例提供的人脸关键点检测方法的流程示意图；
图3为本发明实施例提供的人脸关键点检测方法的子流程示意图；
图4为本发明实施例提供的人脸关键点检测方法的子流程示意图；
图5为本发明实施例提供的人脸关键点检测方法的子流程示意图；
图6为本发明实施例提供的开源人脸关键点数据集网站的人脸68点分布示意图；
图7为本发明实施例提供的第一U型结构的Hourglass网络的示意图；
图8为本发明实施例提供的人脸关键点检测装置的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的人脸关键点检测方法的应用场景示意图。图2为本发明实施例提供的人脸关键点检测方法的示意性流程图。该人脸关键点检测方法应用于服务器中。该服务器与终端进行数据交互，终端获取初始人脸图像后，由服务器内的两个卷积神经网络模型进行级联式检测，以准确地获取人脸关键点。
图2是本发明实施例提供的人脸关键点检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。
S110、获取初始人脸图像。
在本实施例中，初始人脸图像是指由带有摄像功能的终端拍摄人脸所得的图像。
S120、对初始人脸图像进行预处理，以得到待检测人脸图像。
在本实施例中，待检测人脸图像是指初始人脸图像的特征点进行筛选后形成的图像。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S122。
S121、根据初始人脸图像获取初始关键点数据集。
初始关键点数据集是指人脸五官和轮廓形成的点集合。
S122、选取符合要求的初始关键点数据集，并存储至配置文件内，以得到待检测人脸图像。
根据开源人脸关键点数据集网站(https://ibug.doc.ic.ac.uk/resources/300-W/)提供的数据集共有68个点，即初始人脸图像一般有68个初始关键点，如图6所示，每个点有x和y坐标。仅从68个点中选取5点，制作新的数据集，即选取37-42的点计算平均数，形成eye_left点，同样选取43-48,形成eye_right点，然后分别选取34、49和56为nose、mouth_left和mouth_right点，并最终形成5点的数据集，并将5点写入配置文件(.pts)，形成待检测人脸图像。
S130、通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸关键点。
在本实施例中，所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。请参阅图4，包括：
S131、获取随机输入的人脸图像以及关键点标注信息；
S132、将人脸图像输入至第一U型结构的Hourglass网络内；
S133、通过第一U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第一特征图；
S134、对第一特征图进行下采样，以得到第一下采样特征图；
S135、对第一下采样特征图进行上采样，以得到第一人脸特征。
选取Hourglass网络作为特征提取的基础网络，该网络架构如图7所示，为了提高网络的特征提取能力，在基础网络的基础上，选取U型结构的Hourglass网络作为特征提取结构，通过Hourglass网络卷积核对输入的人脸图像进行卷积得到第一特征图，而且第一特征图一般是多通道了，且一般是8的倍数。Hourglass网络对第一特征图进行下采样，再进行上采样，直至恢复到原始尺寸的特征图，而且为了第一特征图内的特征点之间进一步的融合，且在每一级特征图之间再进行连接，输入的人脸图像大小为256*256。Hourglass网络的基本结构是可以叠加的，对Hourglass网络进行8次叠加，以得到第一U型结构的Hourglass网络。
S136、对所述第一人脸特征采用Loss函数进行回归处理，以得到第一处理结果。
L1和L2 Loss函数属于常规目标回归Loss函数，即损失函数，L2 Loss函数对困难样本的反馈更高，更加重视，初级卷积神经网络模型训练采用L2 Loss函数。网络在深度学习框架mxnet下实现，网络在4块P100，批尺寸在256的情况下进行，训练时间大约为11小时。
S137、利用第一处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵。
在本实施例中，第一转换矩阵是指经过坐标转换后的人脸图像以及关键点标注信息。
S138、利用第一转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第一比较结果。
在本实施例中，第一比较结果是指经过坐标转换后的人脸图像以及关键点标注信息与输入的人脸图像以及关键点标注信息的差异程度。
S139、根据所述第一比较结果调整U型结构的Hourglass网络，以得到初级卷积神经网络模型。
初级卷积神经网络模型具有一定的关键点处理能力，通过初级卷积神经网络模型对人脸图像中的每一个人脸图像进行关键点预测，并通过预测到的关键点对人脸图像进行旋转、平移和缩放，达到将所有人脸图像大致统一到统一坐标系。与此同时，将人脸图像的标记坐标也进行同样操作，即初级卷积神经网络模型将人脸图像转换到统一坐标系后，会得到一个转换矩阵，人脸图的真实标记也按照此矩阵进行转换，即得到转换后的人脸图和变量坐标。
具体地，上述的S130的具体实施步骤如下：待检测人脸图像输入初级卷积神经网络模型后，初级卷积神经网络模型会对该待检测人脸图像进行卷积、下采样和上采样，以得到待检测人脸图像的特征，再对该待检测人脸图像的特征进行L2 Loss函数的回归处理，以得到预测的人脸关键点。
S140、通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
在本实施例中，目标关键点是指人脸五官以及轮廓的特征点。
在本实施例中，二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。具体地，请参阅图6，包括：
S141、获取随机输入的人脸图像以及关键点标注信息；
S142、将人脸图像输入至第二U型结构的Hourglass网络内；
S143、通过第二U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第二特征图；
S144、对第二特征图进行下采样，以得到第二下采样特征图；
S145、对第二下采样特征图进行上采样，以得到第二人脸特征；
S146、对所述第二人脸特征采用Loss函数进行回归处理，以得到第二处理结果；
S147、利用第二处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
S148、利用第二转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第二比较结果；
S149、根据所述第二比较结果调整U型结构的Hourglass网络，以得到二级卷积神经网络模型。
二级卷积神经网络模型的训练和搭建与初级卷积神经网络模型的训练和搭建类似，唯一的区别在于，二级卷积神经网络模型不必和初级卷积神经网络模型那么复杂，第二U型结构的Hourglass网络的卷积核是第一U型结构的Hourglass网络的卷积核的一半，即所有第二U型结构的Hourglass网络的卷积核个数都以0.5为倍数降低，同时Hourglass网络叠加的的数量由8次减少到4次，以得到第二U型结构的Hourglass网络。
L1和L2 Loss函数属于常规目标回归Loss函数，即损失函数，L2 Loss函数对困难样本的反馈更高，更加重视，初级卷积神经网络模型训练采用L2 Loss函数。网络在深度学习框架mxnet下实现，网络在4块P100，批尺寸在256的情况下进行，训练时间大约为7小时。
具体地，上述的S140的具体实施步骤如下：预测的人脸关键点输入二级卷积神经网络模型后，二级卷积神经网络模型会对该预测的人脸关键点进行卷积、下采样和上采样，以得到预测的人脸关键点的特征，再对该预测的人脸关键点的特征进行L2 Loss函数的回归处理，以得到目标关键点。
上述的人脸关键点检测方法，通过对初始人脸图像进行预处理后，利用呈级联式的初级卷积神经网络模型和二级卷积神经网络模型进行人脸关键点检测，先进行关键点预测，再针对预测的关键点进行再次卷积神经网络处理和回归处理，以得到目标关键点，实现提高人脸关键点的检测准确性。
图8是本发明实施例提供的一种人脸关键点检测装置300的示意性框图。如图8所示，对应于以上人脸关键点检测方法，本发明还提供一种人脸关键点检测装置300。该人脸关键点检测装置300包括用于执行上述人脸关键点检测方法的单元，该装置可以被配置于服务器中。
具体地，请参阅图8，该人脸关键点检测装置300包括：
初始图像获取单元301，用于获取初始人脸图像；
预处理单元302，用于对初始人脸图像进行预处理，以得到待检测人脸图像；
预测单元303，用于通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸；
再测单元304，用于通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
在一实施例中，所述预处理单元302包括：
数据集获取子单元，用于根据初始人脸图像获取初始关键点数据集；
选取子单元，用于选取符合要求的初始关键点数据集，并存储至配置文件内，以得到待检测人脸图像。
在一实施例中，上述的装置还包括初级模型训练单元以及二级模型训练单元；
所述初级模型训练单元，用于训练所述初级卷积神经网络模型，所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
所述二级模型训练单元，用于训练所述二级卷积神经网络模型，所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
在一实施例中，所述初级模型训练单元包括：
第一获取子单元，用于获取随机输入的人脸图像以及关键点标注信息；
第一输入子单元，用于将人脸图像输入至第一U型结构的Hourglass网络内；
第一卷积子单元，用于通过第一U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第一特征图；
第一下采样子单元，用于对第一特征图进行下采样，以得到第一下采样特征图；
第一上采样子单元，用于对第一下采样特征图进行上采样，以得到第一人脸特征；
第一回归处理子单元，用于对所述第一人脸特征采用Loss函数进行回归处理，以得到第一处理结果；
第一转换子单元，用于利用第一处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
第一比较子单元，用于利用第一转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第一比较结果；
第一调整子单元，用于根据所述第一比较结果调整U型结构的Hourglass网络，以得到初级卷积神经网络模型。
在一实施例中，所述二级模型训练单元包括：
第二获取子单元，用于获取随机输入的人脸图像以及关键点标注信息；
第二输入子单元，用于将人脸图像输入至第二U型结构的Hourglass网络内；
第二卷积子单元，用于通过第二U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第二特征图；
第二下采样子单元，用于对第二特征图进行下采样，以得到第二下采样特征图；
第二上采样子单元，用于对第二下采样特征图进行上采样，以得到第二人脸特征；
第二回归处理子单元，用于对所述第二人脸特征采用Loss函数进行回归处理，以得到第二处理结果；
第二转换子单元，用于利用第二处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
第二比较子单元，用于利用第二转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第二比较结果；
第二调整子单元，用于根据所述第二比较结果调整U型结构的Hourglass网络，以得到二级卷积神经网络模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述人脸关键点检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述人脸关键点检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器。
参阅图9，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种人脸关键点检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种人脸关键点检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取初始人脸图像；
对初始人脸图像进行预处理，以得到待检测人脸图像；
通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸关键点；
通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
其中，所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
在一实施例中，处理器502在实现所述对初始人脸图像进行预处理，以得到待检测人脸图像步骤时，具体实现如下步骤：
根据初始人脸图像获取初始关键点数据集；
选取符合要求的初始关键点数据集，并存储至配置文件内，以得到待检测人脸图像。
在一实施例中，处理器502在实现所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型步骤时，具体实现如下步骤：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第一U型结构的Hourglass网络内；
通过第一U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第一特征图；
对第一特征图进行下采样，以得到第一下采样特征图；
对第一下采样特征图进行上采样，以得到第一人脸特征；
对所述第一人脸特征采用Loss函数进行回归处理，以得到第一处理结果；
利用第一处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第一转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第一比较结果；
根据所述第一比较结果调整U型结构的Hourglass网络，以得到初级卷积神经网络模型。
在一实施例中，处理器502在实现所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型步骤时，具体实现如下步骤：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第二U型结构的Hourglass网络内；
通过第二U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第二特征图；
对第二特征图进行下采样，以得到第二下采样特征图；
对第二下采样特征图进行上采样，以得到第二人脸特征；
对所述第二人脸特征采用Loss函数进行回归处理，以得到第二处理结果；
利用第二处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第二转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第二比较结果；
根据所述第二比较结果调整U型结构的Hourglass网络，以得到二级卷积神经网络模型。
其中，所述第二U型结构的Hourglass网络的卷积核是第一U型结构的Hourglass网络的卷积核的一半。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取初始人脸图像；
对初始人脸图像进行预处理，以得到待检测人脸图像；
通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸关键点；
通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
其中，所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对初始人脸图像进行预处理，以得到待检测人脸图像步骤时，具体实现如下步骤：
根据初始人脸图像获取初始关键点数据集；
选取符合要求的初始关键点数据集，并存储至配置文件内，以得到待检测人脸图像。
在一实施例中，所述处理器在执行所述计算机程序而实现所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型步骤时，具体实现如下步骤：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第一U型结构的Hourglass网络内；
通过第一U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第一特征图；
对第一特征图进行下采样，以得到第一下采样特征图；
对第一下采样特征图进行上采样，以得到第一人脸特征；
对所述第一人脸特征采用Loss函数进行回归处理，以得到第一处理结果；
利用第一处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第一转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第一比较结果；
根据所述第一比较结果调整U型结构的Hourglass网络，以得到初级卷积神经网络模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型步骤时，具体实现如下步骤：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第二U型结构的Hourglass网络内；
通过第二U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第二特征图；
对第二特征图进行下采样，以得到第二下采样特征图；
对第二下采样特征图进行上采样，以得到第二人脸特征；
对所述第二人脸特征采用Loss函数进行回归处理，以得到第二处理结果；
利用第二处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第二转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第二比较结果；
根据所述第二比较结果调整U型结构的Hourglass网络，以得到二级卷积神经网络模型。
其中，所述第二U型结构的Hourglass网络的卷积核是第一U型结构的Hourglass网络的卷积核的一半。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.人脸关键点检测方法，其特征在于，包括：
获取初始人脸图像；
对初始人脸图像进行预处理，以得到待检测人脸图像；
通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸关键点；
通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
2.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
3.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型。
4.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述对初始人脸图像进行预处理，以得到待检测人脸图像，包括：
根据初始人脸图像获取初始关键点数据集；
选取符合要求的初始关键点数据集，并存储至配置文件内，以得到待检测人脸图像。
5.根据权利要求3所述的人脸关键点检测方法，其特征在于，所述初级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型，包括：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第一U型结构的Hourglass网络内；
通过第一U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第一特征图；
对第一特征图进行下采样，以得到第一下采样特征图；
对第一下采样特征图进行上采样，以得到第一人脸特征；
对所述第一人脸特征采用Loss函数进行回归处理，以得到第一处理结果；
利用第一处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第一转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第一比较结果；
根据所述第一比较结果调整U型结构的Hourglass网络，以得到初级卷积神经网络模型。
6.根据权利要求5所述的人脸关键点检测方法，其特征在于，所述二级卷积神经网络模型是通过随机输入的人脸图像以及关键点标注信息作为训练数据输入卷积神经网络进行训练所得的模型，包括：
获取随机输入的人脸图像以及关键点标注信息；
将人脸图像输入至第二U型结构的Hourglass网络内；
通过第二U型结构的Hourglass网络的卷积核对人脸图像进行卷积，以得到第二特征图；
对第二特征图进行下采样，以得到第二下采样特征图；
对第二下采样特征图进行上采样，以得到第二人脸特征；
对所述第二人脸特征采用Loss函数进行回归处理，以得到第二处理结果；
利用第二处理结果对所述人脸图像以及关键点标注信息进行坐标转换，以得到第一转换矩阵；
利用第二转换矩阵与所述人脸图像以及关键点标注信息进行比较，以得到第二比较结果；
根据所述第二比较结果调整U型结构的Hourglass网络，以得到二级卷积神经网络模型。
7.根据权利要求6所述的人脸关键点检测方法，其特征在于，所述第二U型结构的Hourglass网络的卷积核是第一U型结构的Hourglass网络的卷积核的一半。
8.人脸关键点检测装置，其特征在于，包括：
初始图像获取单元，用于获取初始人脸图像；
预处理单元，用于对初始人脸图像进行预处理，以得到待检测人脸图像；
预测单元，用于通过初级卷积神经网络模型对待检测人脸图像进行关键点预测，以得到预测的人脸；
再测单元，用于通过二级卷积神经网络模型对预测的人脸关键点进行再次检测，以得到目标关键点。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
CN201910371609.2A 2019-05-06 2019-05-06 人脸关键点检测方法、装置、计算机设备及存储介质 Active CN110309706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910371609.2A CN110309706B (zh) 2019-05-06 2019-05-06 人脸关键点检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910371609.2A CN110309706B (zh) 2019-05-06 2019-05-06 人脸关键点检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110309706A true CN110309706A (zh) 2019-10-08
CN110309706B CN110309706B (zh) 2023-05-12

Family

ID=68074891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910371609.2A Active CN110309706B (zh) 2019-05-06 2019-05-06 人脸关键点检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110309706B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852165A (zh) * 2019-10-10 2020-02-28 天津大学 一种基于视频的婴幼儿智能看护***及方法
CN110866500A (zh) * 2019-11-19 2020-03-06 上海眼控科技股份有限公司 人脸检测对齐***、方法、装置、平台、移动终端和存储介质
CN110879981A (zh) * 2019-11-14 2020-03-13 深圳市华付信息技术有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质
CN110909618A (zh) * 2019-10-29 2020-03-24 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN111046792A (zh) * 2019-12-11 2020-04-21 三一重工股份有限公司 人脸检测方法、装置、电子设备和计算机可读存储介质
CN111144310A (zh) * 2019-12-27 2020-05-12 创新奇智(青岛)科技有限公司 一种基于多层信息融合的人脸检测方法及***
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111382714A (zh) * 2020-03-13 2020-07-07 Oppo广东移动通信有限公司 图像检测方法、装置、终端及存储介质
CN111428645A (zh) * 2020-03-25 2020-07-17 Oppo广东移动通信有限公司 人体关键点的检测方法、装置、电子设备及存储介质
CN111444775A (zh) * 2020-03-03 2020-07-24 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111709878A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
CN112115860A (zh) * 2020-09-18 2020-12-22 深圳市威富视界有限公司 人脸关键点定位方法、装置、计算机设备和存储介质
CN112205961A (zh) * 2020-10-30 2021-01-12 深圳数联天下智能科技有限公司 中控机及视力检测装置
CN112560639A (zh) * 2020-12-11 2021-03-26 上海明略人工智能(集团)有限公司 人脸关键点数目转换方法、***、电子设备及存储介质
CN112733574A (zh) * 2019-10-14 2021-04-30 中移(苏州)软件技术有限公司 一种人脸识别的方法、装置及计算机可读存储介质
CN112766028A (zh) * 2019-11-06 2021-05-07 深圳云天励飞技术有限公司 人脸模糊处理方法、装置、电子设备及存储介质
CN112906446A (zh) * 2019-12-04 2021-06-04 深圳云天励飞技术有限公司 人脸检测方法、装置、电子设备及计算机可读存储介质
CN113128277A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸关键点检测模型的生成方法及相关设备
CN113468924A (zh) * 2020-03-31 2021-10-01 北京沃东天骏信息技术有限公司 关键点检测模型训练方法和装置、关键点检测方法和装置
CN113554034A (zh) * 2020-04-24 2021-10-26 北京达佳互联信息技术有限公司 关键点检测模型构建方法、检测方法、装置、设备及介质
CN113689527A (zh) * 2020-05-15 2021-11-23 武汉Tcl集团工业研究院有限公司 一种人脸转换模型的训练方法、人脸图像转换方法
CN113989846A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 检测图像中关键点的方法、训练关键点检测模型的方法
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN115578753A (zh) * 2022-09-23 2023-01-06 中国科学院半导体研究所 人体关键点检测方法、装置、电子设备及存储介质
CN112906446B (zh) * 2019-12-04 2024-07-05 深圳云天励飞技术有限公司 人脸检测方法、装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578435A (zh) * 2017-09-11 2018-01-12 清华-伯克利深圳学院筹备办公室 一种图像深度预测方法及装置
WO2018121737A1 (zh) * 2016-12-30 2018-07-05 北京市商汤科技开发有限公司 关键点预测、网络训练及图像处理方法和装置、电子设备
CN108399373A (zh) * 2018-02-06 2018-08-14 北京达佳互联信息技术有限公司 人脸关键点的模型训练及其检测方法和装置
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓（北京）科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN109063625A (zh) * 2018-07-27 2018-12-21 北京以萨技术股份有限公司 一种基于级联深度网络的人脸关键点检测方法
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法
US20190087686A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121737A1 (zh) * 2016-12-30 2018-07-05 北京市商汤科技开发有限公司 关键点预测、网络训练及图像处理方法和装置、电子设备
CN107578435A (zh) * 2017-09-11 2018-01-12 清华-伯克利深圳学院筹备办公室 一种图像深度预测方法及装置
US20190087686A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face
CN108399373A (zh) * 2018-02-06 2018-08-14 北京达佳互联信息技术有限公司 人脸关键点的模型训练及其检测方法和装置
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓（北京）科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN109063625A (zh) * 2018-07-27 2018-12-21 北京以萨技术股份有限公司 一种基于级联深度网络的人脸关键点检测方法
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852165A (zh) * 2019-10-10 2020-02-28 天津大学 一种基于视频的婴幼儿智能看护***及方法
CN112733574B (zh) * 2019-10-14 2023-04-07 中移(苏州)软件技术有限公司 一种人脸识别的方法、装置及计算机可读存储介质
CN112733574A (zh) * 2019-10-14 2021-04-30 中移(苏州)软件技术有限公司 一种人脸识别的方法、装置及计算机可读存储介质
CN110909618A (zh) * 2019-10-29 2020-03-24 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN110909618B (zh) * 2019-10-29 2023-04-21 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN112766028B (zh) * 2019-11-06 2024-05-03 深圳云天励飞技术有限公司 人脸模糊处理方法、装置、电子设备及存储介质
CN112766028A (zh) * 2019-11-06 2021-05-07 深圳云天励飞技术有限公司 人脸模糊处理方法、装置、电子设备及存储介质
CN110879981A (zh) * 2019-11-14 2020-03-13 深圳市华付信息技术有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质
CN110866500A (zh) * 2019-11-19 2020-03-06 上海眼控科技股份有限公司 人脸检测对齐***、方法、装置、平台、移动终端和存储介质
CN112906446B (zh) * 2019-12-04 2024-07-05 深圳云天励飞技术有限公司 人脸检测方法、装置、电子设备及计算机可读存储介质
CN112906446A (zh) * 2019-12-04 2021-06-04 深圳云天励飞技术有限公司 人脸检测方法、装置、电子设备及计算机可读存储介质
CN111046792A (zh) * 2019-12-11 2020-04-21 三一重工股份有限公司 人脸检测方法、装置、电子设备和计算机可读存储介质
CN111144310A (zh) * 2019-12-27 2020-05-12 创新奇智(青岛)科技有限公司 一种基于多层信息融合的人脸检测方法及***
CN113128277A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸关键点检测模型的生成方法及相关设备
CN111368685B (zh) * 2020-02-27 2023-09-29 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111444775A (zh) * 2020-03-03 2020-07-24 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111444775B (zh) * 2020-03-03 2023-10-27 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111382714B (zh) * 2020-03-13 2023-02-17 Oppo广东移动通信有限公司 图像检测方法、装置、终端及存储介质
CN111382714A (zh) * 2020-03-13 2020-07-07 Oppo广东移动通信有限公司 图像检测方法、装置、终端及存储介质
CN111428645A (zh) * 2020-03-25 2020-07-17 Oppo广东移动通信有限公司 人体关键点的检测方法、装置、电子设备及存储介质
CN113468924A (zh) * 2020-03-31 2021-10-01 北京沃东天骏信息技术有限公司 关键点检测模型训练方法和装置、关键点检测方法和装置
CN113554034A (zh) * 2020-04-24 2021-10-26 北京达佳互联信息技术有限公司 关键点检测模型构建方法、检测方法、装置、设备及介质
CN113689527A (zh) * 2020-05-15 2021-11-23 武汉Tcl集团工业研究院有限公司 一种人脸转换模型的训练方法、人脸图像转换方法
US11710215B2 (en) 2020-06-17 2023-07-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Face super-resolution realization method and apparatus, electronic device and storage medium
CN111709878A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
CN112115860A (zh) * 2020-09-18 2020-12-22 深圳市威富视界有限公司 人脸关键点定位方法、装置、计算机设备和存储介质
CN112205961A (zh) * 2020-10-30 2021-01-12 深圳数联天下智能科技有限公司 中控机及视力检测装置
CN112560639A (zh) * 2020-12-11 2021-03-26 上海明略人工智能(集团)有限公司 人脸关键点数目转换方法、***、电子设备及存储介质
CN112560639B (zh) * 2020-12-11 2023-12-12 上海明略人工智能(集团)有限公司 人脸关键点数目转换方法、***、电子设备及存储介质
CN113989846A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 检测图像中关键点的方法、训练关键点检测模型的方法
CN114359967B (zh) * 2022-01-10 2022-08-09 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN115578753B (zh) * 2022-09-23 2023-05-05 中国科学院半导体研究所 人体关键点检测方法、装置、电子设备及存储介质
CN115578753A (zh) * 2022-09-23 2023-01-06 中国科学院半导体研究所 人体关键点检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110309706B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110309706A (zh) 人脸关键点检测方法、装置、计算机设备及存储介质
CN110662484B (zh) 用于全身测量结果提取的***和方法
CN110796154B (zh) 一种训练物体检测模型的方法、装置以及设备
CN109522967A (zh) 一种商品定位识别方法、装置、设备以及存储介质
CN110826519A (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
CN108875522A (zh) 人脸聚类方法、装置和***及存储介质
CN110008956A (zh) ***关键信息定位方法、装置、计算机设备及存储介质
CN107316029B (zh) 一种活体验证方法及设备
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN105740808B (zh) 人脸识别方法和装置
CN109934065A (zh) 一种用于手势识别的方法和装置
CN109472193A (zh) 人脸检测方法及装置
CN109272002A (zh) 一种骨龄片的分类方法及装置
CN110210194A (zh) 电子合同显示方法、装置、电子设备及存储介质
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN110148117A (zh) 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN110298240A (zh) 一种汽车用户识别方法、装置、***及存储介质
CN109145703A (zh) 智能鉴定方法、装置、设备和介质
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN110490058A (zh) 行人检测模型的训练方法、装置、***和计算机可读介质
CN113762049B (zh) 内容识别方法、装置、存储介质和终端设备
CN110502961A (zh) 一种面部图像检测方法及装置
CN117435999A (zh) 一种风险评估方法、装置、设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen Huafu Technology Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Facial keypoint detection method, device, computer equipment, and storage medium

Granted publication date: 20230512

Pledgee: Industrial Bank Co.,Ltd. Shenzhen Songping Branch

Pledgor: Shenzhen Huafu Technology Co.,Ltd.

Registration number: Y2024980006437

PE01 Entry into force of the registration of the contract for pledge of patent right