CN109359575B - 人脸检测方法、业务处理方法、装置、终端及介质 - Google Patents

人脸检测方法、业务处理方法、装置、终端及介质 Download PDF

Info

Publication number
CN109359575B
CN109359575B CN201811165758.5A CN201811165758A CN109359575B CN 109359575 B CN109359575 B CN 109359575B CN 201811165758 A CN201811165758 A CN 201811165758A CN 109359575 B CN109359575 B CN 109359575B
Authority
CN
China
Prior art keywords
data set
sample
face
target
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811165758.5A
Other languages
English (en)
Other versions
CN109359575A (zh
Inventor
郑克松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811165758.5A priority Critical patent/CN109359575B/zh
Publication of CN109359575A publication Critical patent/CN109359575A/zh
Priority to PCT/CN2019/108145 priority patent/WO2020063744A1/zh
Priority to EP19864907.1A priority patent/EP3754541A4/en
Priority to US17/032,370 priority patent/US11256905B2/en
Application granted granted Critical
Publication of CN109359575B publication Critical patent/CN109359575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸检测方法、业务处理方法、装置、终端及介质，其中方法包括：获取待检测的目标人脸图像；调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；根据所述目标关键点集合确定所述目标人脸图像的特征区域。本发明实施例可以更好地对人脸图像进行人脸对齐检测。

Description

人脸检测方法、业务处理方法、装置、终端及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸检测方法、业务处理方法、装置、终端及存储介质。
背景技术
图像处理，又可称为影像处理，是用计算机对图像进行处理以达到所需结果的技术。在图像处理领域中，人脸检测成为了一个热门的研究课题，人脸检测可以包括人脸对齐检测，所谓的人脸对齐检测又可称为人脸关键点检测，是指：对人脸图像进行检测，定位出人脸部分的关键特征点，例如眼睛、鼻子、嘴角等关键特征点。如何更好地对人脸图像进行人脸检测成为了研究热点。
发明内容
本发明实施例提供了一种人脸检测方法、业务处理方法、装置、终端及存储介质，可更好地对人脸图像进行人脸检测，提高检测结果的准确性。
一方面，本发明实施例提供了一种人脸检测方法，包括：
获取待检测的目标人脸图像；
调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；
根据所述目标关键点集合确定所述目标人脸图像的特征区域。
另一方面，本发明实施例提供了一种业务处理方法，包括：
当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
采用人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
再一方面，本发明实施例提供了一种人脸检测装置，包括：
获取单元，用于获取待检测的目标人脸图像；
检测单元，用于调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；
确定单元，用于根据所述目标关键点集合确定所述目标人脸图像的特征区域。
再一方面，本发明实施例提供了一种业务处理装置，包括：
获取单元，用于当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
检测单元，用于采用人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
处理单元，用于根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
再一方面，本发明实施例提供一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括第一程序指令，所述处理器被配置用于调用所述第一程序指令，执行如下步骤：
获取待检测的目标人脸图像；
调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；
根据所述目标关键点集合确定所述目标人脸图像的特征区域。
或者，所述计算机程序包括第二程序指令，所述处理器被配置用于调用所述第二程序指令，执行如下步骤：
当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
采用人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
再一方面，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有第一计算机程序指令，该第一计算机程序指令被执行时用于实现上述的人脸检测方法；或者，该计算机存储介质存储有第二计算机程序指令，该第二计算机程序指令被执行时用于实现上述的业务处理方法。
本发明实施例可以采用目标人脸对齐模型进行人脸对齐检测，由于该目标人脸对齐模型是通过分级拟合训练得到的，因此该目标人脸对齐模型可较准确地对各特征区域进行关键点检测，提高检测结果的准确性。并且，该目标人脸对齐模型的内存较小，运行速度快，可以提高人脸对齐检测的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种目标人脸图像的示意图；
图1b是本发明实施例提供的另一种目标人脸图像的示意图；
图2是本发明实施例提供的一种人脸检测方法的流程示意图；
图3是本发明另一实施例提供的一种人脸检测方法的流程示意图；
图4a是本发明实施例提供的一种位移处理的示意图；
图4b是本发明实施例提供的一种旋转处理的示意图；
图4c是本发明实施例提供的一种镜像处理的示意图；
图4d是本发明实施例提供的一种压缩处理的示意图；
图5是本发明实施例提供的一种人脸区域划分的示意图；
图6是本发明实施例提供的一种业务处理方法的流程示意图；
图7是本发明实施例提供的一种业务处理方法的应用场景图；
图8是本发明实施例提供的另一种业务处理方法的应用场景图；
图9是本发明实施例提供的一种人脸检测装置的结构示意图；
图10是本发明实施例提供的一种业务处理装置的结构示意图；
图11是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
人脸关键点(简称关键点)，也可称为人脸特征点，通常包含了构成人脸五官(眉毛、眼睛、鼻子、嘴部以及耳朵)以及人脸轮廓的点。对人脸图像进行检测，标注人脸图像中的一个或多个关键点的方法，可以称为人脸关键点检测方法或者人脸对齐检测方法。通过对人脸图像进行人脸对齐检测，可以确定出人脸图像中的特征区域，此处的特征区域可以包括但不限于：眉毛区域、眼睛区域、鼻子区域、嘴部区域、耳朵区域，等等。
在本发明实施例中，可以提供一种目标人脸对齐模型(亦可称为目标人脸关键点检测模型)以实现人脸对齐检测。在获取到待检测的目标人脸图像之后，可以调用该目标人脸对齐模型对目标人脸图像进行人脸对齐检测，以确定目标人脸图像中的多个关键点以及各个关键点的标注信息，此处的关键点可以包括但不限于：嘴部关键点、眉毛关键点、眼睛关键点、鼻子关键点以及耳朵关键点，等等；关键点的标注信息可以包括但不限于：位置标注信息(如标注出关键点所在的位置)，形状标注信息(如标注为圆点形状)、特征信息，等等，其中特征信息用于表示该关键点的类别，如特征信息为眼睛的特征信息，则表明该关键点为眼睛的关键点，又如特征信息为鼻子的特征信息，则表明该关键点为鼻子的关键点等等。在目标人脸图像中确定出的多个关键点可以如图1a中的灰色圆点所示。在确定了多个关键点之后，可以基于各个关键点的标注信息确定目标人脸图像的特征区域。例如，根据图1a中所标注的各个灰色圆点的位置，可以分别确定眉毛区域11、眼睛区域12、鼻子区域13、嘴部区域14以及耳朵区域15，如图1b所示。
基于上述的描述，本发明实施例提出了一种人脸检测方法，该人脸检测方法可以由终端来实现，例如智能手机、平板电脑等移动终端，请参见图2，该方法可以包括如下步骤S201-S203：
S201，获取待检测的目标人脸图像。
此目标人脸图像可以是终端调用摄像装置(例如摄像头)对环境图像进行实时拍摄所获取到的人脸图像，也可以是终端从本地图库或者云相册中获取到的已存储的人脸图像，此处的云相册是指基于云计算平台的网络相册。
在一个实施例中，终端若检测到人脸对齐检测的触发事件，则可以获取待检测的目标人脸图像。此处的人脸对齐检测的触发事件可以是：检测到用户正在使用基于人脸对齐检测的应用程序的事件，基于人脸对齐检测的应用程序可以包括但不限于：表情识别应用程序、变脸特效应用程序、智能贴图应用程序，等等。用户在使用这些应用程序时，终端需要获取目标人脸图像，并对目标人脸图像进行人脸对齐检测以确定特征区域，从而基于该特征区域进行表情识别、变脸特效、智能贴图等操作。可选的，人脸对齐检测的触发事件还可以是：检测到终端根据目标人脸图像进行身份验证的事件。终端在根据目标人脸图像进行身份验证时，需要先对目标人脸图像进行人脸对齐检测以确定特征区域，从而基于该确定的特征区域与预设的人脸信息进行信息匹配等操作。
再一个实施例中，终端若检测到用户发送进行人脸对齐检测的指令，则可以获取待检测的目标人脸图像，该指令可以是语音指令、按压/点击指令、开启人脸对齐检测功能的指令，等等。
S202，调用目标人脸对齐模型对目标人脸图像进行人脸对齐检测，得到目标人脸图像的目标关键点集合。
终端在获取到待检测的目标人脸图像之后，可以将该目标人脸图像输入至目标人脸对齐模型中，以使得该目标人脸对齐模型可以对该目标人脸图像进行人脸对齐检测，从而得到目标人脸图像的目标关键点集合。此处的目标关键点集合可以包括多个目标关键点及各目标关键点的标注信息，目标关键点可以是以下任一种：嘴部关键点、眉毛关键点、眼睛关键点、鼻子关键点、耳朵关键点，等等。目标关键点的标注信息可以包括该目标关键点的位置标注信息、形状标注信息、特征信息，等等。
目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的，此处的人脸对齐算法可以包括但不限于：机器学习回归算法，例如SDM(SupervisedDescent Method)算法、LBF(Local Binary Features，局部二值特征)算法；或者CNN(Convolutional Neural Network，卷积神经网络)算法，例如TCDCN(Facial LandmarkDetection by Deep Multi-task Learning)算法、3DDFA(3D Dense Face Alignment)算法。基于这些算法，可以设计得到一个原始模型，然后基于原始模型和样本数据集进行训练后，最终可以得到目标人脸对齐模型。所谓的分级拟合训练是指：在模型训练优化过程中，根据样本人脸图像的各特征区域的损失权重确定训练优先级，损失权重越大的特征区域的优先级越高；根据训练优先级对各特征区域进行拟合训练。
相应的，在采用人脸对齐算法和样本数据集进行分级拟合训练得到目标人脸对齐模型时，是根据训练优先级采用人脸对齐算法和样本数据集中的样本人脸图像的特征区域进行的拟合训练，该训练优先级是根据所述样本数据集中的样本人脸图像的特征区域的损失权重确定的，损失权重越大的特征区域的训练优先级越高。在一个实施例中，在采用人脸对齐算法和样本数据集进行分级拟合训练得到目标人脸对齐模型时，是先根据人脸对齐算法和样本数据集进行迭代训练，再根据困难样本人脸图像对迭代训练的结果进行优化，所述困难样本人脸图像是从所述样本数据集中筛选得到。
越难检测的关键点所在的特征区域的损失权重越大，由于损失权重越大，对损失函数的值的影响越大，而损失函数的值可以用于描述人脸对齐模型在不同模型参数下的损失值。在训练过程中，可以不断更改模型参数，以减小损失函数的值，从而达到模型训练和优化的目的。当损失函数的值满足预设条件时，表明训练完成，此时得到的人脸对齐模型为目标人脸对齐模型，此处的预设条件可以包括但不限于：损失函数的值满足预设取值范围或者损失函数的值最小。因此，在训练过程中，为避免损失权重对损失函数的值的影响，可以更倾向于对损失权重越大的特征区域进行着重拟合训练，由此可以使得训练得到的目标人脸对齐模型可以较准确地对损失权重较大的特征区域(难检测的关键点所在的特征区域)进行关键点检测。由此可知，通过分级拟合训练所得到的目标人脸对齐模型的准确性较高。
S203，根据目标关键点集合确定所述目标人脸图像的特征区域。
在得到目标关键点集合之后，可以根据目标关键点集合中的各个目标关键点的标注信息确定目标人脸图像的特征区域。由前述可知，标注信息可以包括：特征信息、位置标注信息等。因此，在一个实施例中，可以根据各个目标关键点的特征信息确定特征区域。具体的，可以根据各目标关键点的特征信息确定各目标关键点的类别，将同一类别的目标关键点所构成的区域作为一个特征区域，并将类别作为该特征区域的类别。例如，选取特征信息全为鼻子的特征信息的目标关键点，这些目标关键点的类别都是鼻子关键点；将这些目标关键点所构成的区域作为鼻子区域。
再一个实施例中，可以根据各个目标关键点的位置标注信息确定特征区域。具体的，可以先根据位置标注信息确定各个目标关键点的标注位置，将相邻位置的目标关键点连接起来，若连接所得到的形状与人脸的五官(眉毛、眼睛、鼻子、嘴部、耳朵)中的任意一种形状相似，则将这些相邻位置的目标关键点所构成的区域确定为特征区域，并根据该形状确定特征区域的类别。例如，若将相邻位置的目标关键点连接起来所得到的形状与鼻子的形状相似，则可以将这些相邻位置的目标关键点所构成的区域确定为鼻子区域。
本发明实施例可以采用目标人脸对齐模型进行人脸对齐检测，由于该目标人脸对齐模型是通过分级拟合训练得到的，因此该目标人脸对齐模型可较准确地对各特征区域进行关键点检测，提高检测结果的准确性。并且，该目标人脸对齐模型的内存较小，运行速度快，可以提高人脸对齐的检测效率。
请参见图3，是本发明另一实施例提供的一种人脸检测方法，该人脸检测方法可以由终端来实现，例如智能手机、平板电脑等移动终端，请参见图3，该方法可以包括如下步骤S301-S305：
S301，获取样本数据集。
此处的样本数据集可以包括多个样本人脸图像及各样本人脸图像的参考关键点集合，每个样本人脸图像的参考关键点集合包含多个参考关键点及各参考关键点的标注信息，多个参考关键点及各参考关键点的标注信息可用于表示各样本人脸图像的多个特征区域。其中，此处的特征区域可以包括以下任一个：眉毛区域、眼睛区域、鼻子区域、嘴部区域、耳朵区域。
在一个实施例中，参考关键点集合中的多个关键点以及各关键点的标注信息可以通过专业的标注人员对各样本人脸图像进行预先标注得到。
S302，采用人脸对齐算法和样本数据集进行分级拟合训练得到目标人脸对齐模型。
终端在获取到样本数据集之后，可以采用机器学习回归算法或卷积神经网络算法等人脸对齐算法和样本数据集进行分级拟合训练，以得到目标人脸对齐模型。在具体实施过程中，步骤S302可以包括以下步骤s11-s15：
s11，对样本数据集进行预处理得到多个训练数据集，每个训练数据集包含多个预处理后的样本人脸图像。
终端可以采用不同的扩增参数对样本数据集进行预处理，该预处理可以包括扩增处理和归一化处理，从而得到多个训练数据集。该多个训练数据集可以包括第一训练数据集，该第一训练数据集可以为多个训练数据集中的任一个。相应的，对样本数据集进行预处理得到多个训练数据集的具体实施方式可以是：
首先，获取第一扩增参数，并按照第一扩增参数对样本数据集进行扩增处理得到第一扩增数据集；得到的第一扩增数据集可以包含多个扩增处理后的样本人脸图像，此处的扩增处理包括以下至少一项：位移处理、旋转处理、镜像处理和压缩处理，相应的扩增参数包括以下至少一种：位移参数、旋转角度参数和压缩比例参数。
其中，位移处理是指将样本人脸图像中人脸部分的位置进行变化的处理。具体的，可以采用式1.1所示的式子对样本人脸图像进行位移处理：
Rect(x,y,w,h)→Rect(x+dx,y+dy,w,h) 式1.1
其中Rect用来存储成对出现的参数，Rect(x,y,w,h)表示样本人脸图像的初始坐标，x为横坐标、y为纵坐标、w为样本人脸图像的宽度值、h为样本人脸图像的长度值；Rect(x+dx,y+dy,w,h)表示对样本人脸图像进行位移处理后的坐标，dx为横坐标上的变化量，dy是纵坐标上的变化量，dx和dy均可作为位移参数。需要说明的是：样本人脸图像的初始坐标可以是指样本人脸图像的左上角的坐标，也可以是指样本人脸图像的右上角的坐标，还可以是指样本人脸图像的中心点的坐标，等等，在此不作限定。以样本人脸图像的初始坐标为样本人脸图像的中心点的坐标为例，位移处理的示意图可以参见图4a。
旋转处理是指以样本人脸图像中心点为原点，将样本人脸图像以旋转角度θ进行顺时针(θ取正值)或者逆时针(θ取负值)的旋转处理，θ可作为旋转角度参数。具体的，设样本人脸图像的中心点的坐标为(x,y)，针对样本人脸图像中的任意一个像素(x0,y0)可以采用式1.2所示的旋转变换的矩阵进行旋转处理，得到旋转后的像素坐标(x',y')，其中x'＝(x-x0)cosθ+(y-y0)(-sinθ)+x0，y'＝(x-x0)sinθ+(y-y0)cosθ+y0，旋转处理的示意图可以参见图4b。
Figure BDA0001819526720000091
镜像处理可以包括水平镜像处理和垂直镜像处理，其中水平镜像处理是指：以样本人脸图像的垂直中轴线为中心交换样本人脸图像的左右两部分；垂直镜像处理是指：以样本人脸图像的水平中轴线为中心交换样本人脸图像的上下两部分。本发明实施例以对样本人脸图像进行水平镜像处理为例，具体的，针对样本人脸图像中的任意一个像素(x0,y0)，可以采用式1.3所示的式子进行水平镜像处理，该像素经水平镜像处理后的坐标为(x1,y1)，式1.3中的w为样本人脸图像的宽度值，水平镜像处理的示意图可以参见图4c。
Figure BDA0001819526720000092
需要说明的是，在其他实施例中，对样本人脸图像进行镜像处理时，可以对样本人脸图像进行垂直镜像处理，也可以对样本人脸图像既进行水平镜像处理也进行垂直镜像处理。
压缩处理是指通过图像格式保存样本人脸图像时，按照指定的图像质量参数保存样本人脸图像的处理，指定的图像质量参数可以从预设的质量参数范围中确定，预设的质量参数范围可以为[0,100％]，图像质量参数越高，则表示保存的样本人脸图像的清晰度越高，此处的图像质量参数即可作为压缩比例参数。以图像质量参数为85％为例，对样本人脸图像进行压缩处理的示意图可以参见图4d。
其次，在得到第一扩增数据集之后，可以将样本数据集与第一扩增数据集进行合并，以得到合并后的数据集。其中，第一扩增数据集中的多个扩增处理后的样本人脸图像可以是对样本数据集中的样本人脸图像依次进行上述的位移处理、旋转处理、镜像处理以及压缩处理后所得到的样本人脸图像。在其他实施例中，第一扩增数据集中的多个扩增处理后的样本人脸图像也可以是对样本数据集中的样本人脸图像进行上述扩增处理中的部分处理所得到的样本人脸图像，例如只进行位移处理后所得到的样本人脸图像，或者只进行旋转处理后所得到的样本人脸图像，又或者只进行位移处理和压缩处理后所得到的样本人脸图像，等等。
最后，可以对合并后的数据集进行归一化处理得到第一训练数据集，所述归一化处理包括：图像归一化处理和/或标注信息归一化处理。
其中，图像归一化处理是指对样本人脸图像进行转浮点去中心的归一化处理。具体的，需要先对样本人脸图像的数据类型进行变换，将数据类型变为浮点型，以便于对样本人脸图像进行归一化处理。由于图像通常由多个图像通道构成，例如JPG图像通常由RGB(Red Green Blue)三个图像通道构成。因此在对样本人脸图像进行归一化处理时，可以针对样本人脸图像的任意一个图像通道CO，求取该图像通道的所有像素值的均值m，以及方差d，然后采用式1.4所示的式子对该图像通道的像素值进行归一化处理，得到新的图像通道C。
C＝(CO-m)/d 式1.4
通过对样本人脸图像进行归一化处理，可以使得归一化处理后的样本人脸图像中的各像素值处于预设区间内，以提高样本人脸图像的稳定性，以及后续模型训练的准确性，预设区间可以根据实际业务需求确定，例如[0,1]。
标注信息归一化处理是指对样本人脸图像中的各个参考关键点的标注信息中的位置标注信息进行归一化处理。具体的，可以采用式1.5所示的式子对各参考关键点的位置标注信息(坐标)进行归一化处理。
(x,y)→(x/w,y/h) 式1.5
其中，(x,y)表示样本人脸图像中任意一个参考关键点的坐标，w为样本人脸图像的宽度值、h为样本人脸图像的长度值。对样本人脸图像进行标注信息的归一化处理，可以提高后续模型训练的准确性。
s12，采用人脸对齐算法和多个训练数据集进行迭代训练得到第一人脸对齐模型。
通过步骤s11所得到的多个训练数据集可以包括第二训练数据集和第三训练数据集，在迭代训练时该第二训练数据集先于该第三训练数据集被选用；相应的，采用人脸对齐算法和多个训练数据集进行迭代训练得到第一人脸对齐模型的具体实施方式可以是：
首先，可以采用人脸对齐算法和第一训练数据集进行训练得到初始人脸对齐模型，人脸对齐算法可以包括但不限于：机器学习回归算法或者CNN算法等。具体的，可以采用人脸对齐算法构建一个原始模型，采用第一训练数据集对原始模型进行训练优化，得到初始人脸对齐模型，以便于后续进一步地基于第二训练数据集和第三训练数据集甚至更多的训练数据集对初始人脸对齐模型进行训练优化。其中，不同的训练数据集所使用的扩增参数不相同，测试表明，基于使用了不同扩增参数得到的训练数据集依次进行模型的训练优化后，可以使得最终得到的目标人脸对齐模型更准确地进行人脸关键点检测，鲁棒性更好。
对原始模型的训练优化可以采用有监督的机器学习优化算法来实现，也就是说，基于第一训练数据集的各个样本人脸图像中已知的参考关键点与经过原始模型进行检测后得到的检测关键点之间的位置差异进行比较，若差异越大，则越需要对原始模型的模型参数进行调整，直至检测关键点与参考关键点之间的差异最小，或者说差异小于预设的阈值，此时可以得到初始人脸对齐模型。
其次，可以按照分级拟合规则设置初始人脸对齐模型的损失函数，该分级拟合规则可以为基于至少一个特征区域及各特征区域的损失权重设置的规则，该损失权重与拟合训练顺序正相关，损失权重越大的特征区域越优先被拟合训练。
实践表明，在对人脸图像进行人脸对齐检测时，通常嘴部区域的嘴部关键点的平均误差较大，也就是说嘴部区域较难检测，其准确性较低。因此在进行模型训练时，可以优先并着重对嘴部区域等较难检测的困难特征区域进行拟合训练，以使得目标人脸对齐模型可以较准确地对这些困难特征区域进行关键点检测。基于此，可以先对样本人脸图像中所标注的多个参考关键点进行区域划分，得到至少一个特征区域，以参考关键点的数量为51个为例，区域划分的示意图可以如图5所示，应理解的是，参考关键点的数量只是举例，并非限定为51个，也可以是48个、86个等。然后可以根据各特征区域的检测难度，为各特征区域设置不同的损失权重，检测难度越大的特征区域的损失权重越大。然后根据设置的损失权重确定一个分级拟合规则，分级拟合规则可以表明损失权重与拟合训练顺序正相关，损失权重越大的特征区域越优先被拟合训练。最后可以根据分级拟合规则设置如式1.6所示的损失函数。
Figure BDA0001819526720000111
其中，xj和yj分别表示各参考关键点的标注坐标，x'j和y'j分别表示各检测关键点的标注坐标；ωj表示各参考关键点的损失权重，该取值可以根据参考关键点所属的特征区域的损失权重确定。例如分级拟合规则中的嘴部区域的损失权重为0.6，那么所有嘴部区域的嘴部关键点的损失权重均为0.6。
最后，可以按照减少损失函数的值的原则，依次选用该第二训练数据集及该第三训练数据集对该初始人脸对齐模型进行训练得到第一人脸对齐模型。其中，第二训练数据集所对应的扩增参数大于第三训练数据集所对应的扩增参数。例如，第二训练数据集所对应的扩增参数可以是：位移参数：dx＝20，dy＝20；旋转角度参数：θ＝40°等；第三训练数据集所对应的扩增参数可以是：位移参数：dx＝5，dy＝5；旋转角度参数：θ＝10°等。
在具体实施过程中，可以按照减少损失函数的值的原则，先选用第二训练数据集对初始人脸对齐模型进行训练，得到中间人脸对齐模型；具体的，在基于第二训练数据集中的某个目标样本人脸图像进行训练时，在本次通过初始人脸对齐模型对目标样本人脸图像进行人脸关键点检测后，可以基于上述的式1.6得到一个损失函数的值，此时会调整初始人脸对齐模型的模型参数，使得下一次在对该目标样本人脸图像进行人脸关键点检测后，得到的新的损失函数的值会变小，这样针对第二训练数据集中的所有样本人脸图像重复进行人脸关键点的检测、损失函数的值的计算以及模型参数的调整，以此来得到中间人脸对齐模型。
然后选用第三训练数据集对中间人脸对齐模型进行训练，得到第一人脸对齐模型。对中间人脸对齐模型进行训练以得到第一人脸对齐模型的过程可参考上述的从初始人脸对齐模型到中间人脸对齐模型的训练过程的描述。由于扩增参数越大，其对应的训练数据集中的样本人脸图像的复杂度越高，因此先采用扩增参数较大的第二训练数据集进行训练，可以使得训练的人脸对齐模型先适应较为复杂的人脸图像，再采用扩增参数较小的第三训练数据集进行训练，可以使训练的人脸对齐模型再适应较为简单的人脸图像，先复杂再简单的训练过程，可以提高模型训练效率。在每一次的训练过程中，均可根据损失函数中的各关键点的损失权重，优先并着重拟合训练损失权重较大的关键点。例如，在多个特征区域中，嘴部区域的损失权重最大，那么每次训练时，可以优先并着重对嘴部区域的关键点进行拟合训练。
在其他实施例中，也可以按照减少损失函数的值的原则，先选用第三训练数据集对初始人脸对齐模型进行训练，得到中间人脸对齐模型；然后选用第二训练数据集对中间人脸对齐模型进行训练，得到第一人脸对齐模型。
需要说明的是，根据人脸对齐模型的精准度的需求，在其他实施例中，还可以采用更多的训练数据集进行迭代训练，例如多个训练数据集可以包括第二训练数据集、第三训练数据集、第四训练数据集、第五训练数据集，采用多个训练数据集进行迭代训练得到第一人脸对齐模型，其中这多个训练数据集所对应的扩增参数由大到小依次为：第二训练数据集所对应的扩增参数>第三训练数据集所对应的扩增参数>第四训练数据集所对应的扩增参数>第五训练数据集所对应的扩增参数。
s13，调用第一人脸对齐模型对样本数据集进行人脸对齐检测，得到样本数据集中的各样本人脸图像的检测关键点集合，检测关键点集合包含多个检测关键点及各检测关键点的标注信息。
s14，根据样本数据集中的各样本人脸图像的参考关键点集合与检测关键点集合之间的差异，从样本数据集中筛选出困难样本人脸图像。
具体实施过程中，可以统计每个样本人脸图像的参考关键点集合与检测关键点集合之间的差异；从样本数据集中筛选出差异大于预设阈值的样本人脸图像确定为困难样本人脸图像。预设阈值可以根据目标人脸对齐模型的业务需求来确定：若目标人脸对齐模型的精准度的要求高，则预设阈值可以取较小的值；若目标人脸对齐模型的精准度的要求低，则预设阈值可以取较大的值。在一个实施例中，可以采用如式1.7所示的欧式距离的公式来统计每个样本人脸图像的参考关键点集合与检测关键点集合之间的差异。
Figure BDA0001819526720000131
其中，pi表示样本人脸图像中的任意一个参考关键点，qi表示样本人脸图像中的任意一个检测关键点，d(p,q)表示参考关键点集合与检测关键点集合之间的差异。
再一个实施例中，可以采用余弦相似度来统计每个样本人脸图像的参考关键点集合与检测关键点集合之间的差异。具体的，可以将参考关键点集合中的各参考关键点的坐标用向量表示得到参考向量集合，以及将检测关键点集合中的各检测关键点的坐标用向量表示得到检测向量集合，然后采用余弦相似度的公式计算参考向量集合和检测向量集合之间的差值，从而确定每个样本人脸图像的参考关键点集合与检测关键点集合之间的差异。
再一个实施例中，还可以采用曼哈顿距离、汉明距离、切比雪夫距离等来统计每个样本人脸图像的参考关键点集合与检测关键点集合之间的差异。
s15，采用困难样本人脸图像对第一人脸对齐模型进行优化得到目标人脸对齐模型。
具体的，可以先对困难样本人脸图像进行扩增处理，例如位移处理、旋转处理、镜像处理、压缩处理等；然后可以对困难样本人脸图像及扩增处理后的困难样本人脸图像进行归一化处理，例如图像归一化处理、标注信息归一化处理，得到困难训练数据集；接着可以按照减少所述损失函数的值的原则，采用该困难训练数据集对第一人脸对齐模型进行优化得到目标人脸对齐模型。也就是说，在得到困难训练数据集之后即可基于该困难训练数据集对第一人脸对齐模型进行进一步的优化。对第一人脸对齐模型进行的优化主要是根据一个损失函数的值来对第一人脸对齐模型中的模型参数进行优化，而基于损失函数的值进行优化的过程可参考前述式1.6及其相关描述。基于该困难训练数据集对第一人脸对齐模型进行优化的过程中，可以不断更改第一人脸对齐模型的模型参数以减小第一人脸对齐模型的损失函数的值，使得第一人脸对齐模型的损失函数的值满足预设条件，从而达到对第一人脸对齐模型进行优化的目的。通过上述步骤S301-S302所训练得到的目标人脸对齐模型运行速度较快，且内存较小，可以降低在移动终端的部署难度，还可以提高关键点的检测精度。
S303，获取待检测的目标人脸图像。
S304，调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合。所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息。
S305，根据所述目标关键点集合确定所述目标人脸图像的特征区域。
步骤S303-S305可以参见上述发明实施例中的步骤S201-S203，本发明实施例不再赘述。
本发明实施例可以采用目标人脸对齐模型进行人脸对齐检测，由于该目标人脸对齐模型是通过分级拟合训练得到的，因此该目标人脸对齐模型可较准确地对各特征区域进行关键点检测，提高检测结果的准确性。并且，该目标人脸对齐模型的内存较小，运行速度快，可以提高人脸对齐的检测效率。
基于上述人脸检测方法的实施例，本发明实施例还提供一种业务处理方法，该业务处理方法可以由终端来实现，例如智能手机、平板电脑等移动终端，请参见图6，该方法可以包括如下步骤S601-S603：
S601，当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像。
业务请求可以是终端自动生成的，例如终端检测到用户打开了终端的人脸对齐检测功能，或者检测到用户在使用基于人脸对齐检测的应用程序时，可以自动生成一个业务请求。不同的应用程序可以对应不同的业务请求，例如智能贴图应用程序所对应的业务请求为智能贴图请求，人脸识别应用程序所对应的业务请求为身份验证请求，变脸特效应用程序所对应的业务请求为变脸特效处理请求，等等。在检测到该业务请求之后，可以调用终端的摄像装置(如摄像头)对请求者进行拍摄，以得到请求者的目标人脸图像。
在其他实施例中，在检测到业务请求之后，也可以将从本地图库或者云相册中获取的已存储的人脸图像作为目标人脸图像。或者当检测到业务请求时，将终端屏幕中所显示的人脸图像作为目标人脸图像。
S602，采用人脸检测方法对目标人脸图像进行人脸对齐检测，得到目标人脸图像的特征区域。
人脸检测方法可以对应上述图2或图3所示的实施例中所描述的人脸检测方法，在采用该人脸检测方法对目标人脸图像进行人脸对齐检测时，可以采用上述方法实施例所提及的目标人脸对齐模型进行人脸对齐检测，以得到目标人脸图像的特征区域，例如嘴部区域、眉毛区域、眼睛区域、鼻子区域、耳朵区域等等。
S603，根据目标人脸图像的特征区域对所请求业务进行处理以响应业务请求。
终端在接收到业务请求之后，可以解析该业务请求，以确定该业务请求所对应的所请求业务，此处的所请求业务可以包括但不限于：人脸识别业务、表情识别业务、年龄分析业务、变脸特效业务以及智能贴图业务中的任一种或多种。在确定了目标人脸图像的特征区域之后，可以根据该特征区域对所请求业务进行处理以响应该业务请求。
具体的，若所请求业务为变脸特效业务，则可以在确定特征区域之后，对各特征区域中的一个或多个关键点的位置、大小等信息进行变换，以改变目标人脸图像中的人脸形状。例如，变脸特效业务为眼睛增大、鼻子缩小的业务，则可以将眼睛区域的多个关键点的位置、大小等信息进行变换以增大眼睛区域，并将鼻子区域的多个关键点的位置、大小等信息进行变换以减小鼻子区域，从而完成该变脸图像业务，如图7所示。
若所请求业务为智能贴图业务，则可以在确定特征区域以及目标贴图模板之后，将模板贴图模板中的各贴图对应地添加到各特征区域中，以得到智能贴图处理后的目标人脸图像。例如，目标贴图模板为狗图像的贴图模板，则在确定特征区域之后，可以将该贴图模板中的“狗耳朵”、“狗鼻子”、“狗嘴部”等贴图对应地添加到各特征区域中，以完成该智能贴图业务，如图8所示。
本发明实施例在获取到目标人脸图像之后，可以采用人脸检测方法进行人脸对齐检测得到目标人脸图像的特征区域，并根据该特征区域对所请求业务进行处理以响应业务请求。由于该人脸检测方法所采用的目标人脸对齐模型是通过分级拟合训练得到的，因此可较准确地对各特征区域进行关键点检测，从而提高业务处理结果的准确性。
基于上述人脸检测方法实施例的描述，本发明实施例还提供了一种如图9所示的人脸检测装置的结构示意图，该人脸检测装置可以执行图2和图3所示的方法。请参见图9，本发明实施例中的人脸检测装置可以包括：
获取单元101，用于获取待检测的目标人脸图像。
检测单元102，用于调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的。
确定单元103，用于根据所述目标关键点集合确定所述目标人脸图像的特征区域。
在一个实施例中，获取单元101还可用于：获取样本数据集，所述样本数据集包括多个样本人脸图像及各样本人脸图像的参考关键点集合，每个样本人脸图像的参考关键点集合包含多个参考关键点及各参考关键点的标注信息，所述多个参考关键点及各参考关键点的标注信息用于表示各样本人脸图像的多个特征区域。
所述人脸检测装置还可包括训练单元104，用于：采用所述人脸对齐算法和所述样本数据集进行分级拟合训练得到所述目标人脸对齐模型；其中，所述特征区域包括以下任一个：眉毛区域、眼睛区域、鼻子区域、嘴部区域、耳朵区域；所述人脸对齐算法包括机器学习回归算法或卷积神经网络算法。
再一个实施例中，所述分级拟合训练为：在采用人脸对齐算法和样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，是根据训练优先级采用人脸对齐算法和样本数据集中的样本人脸图像的特征区域进行的拟合训练，所述训练优先级是根据所述样本数据集中的样本人脸图像的特征区域的损失权重确定的，损失权重越大的特征区域的训练优先级越高。
再一个实施例中，在采用人脸对齐算法和样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，是先根据人脸对齐算法和样本数据集进行迭代训练，再根据困难样本人脸图像对迭代训练的结果进行优化，所述困难样本人脸图像从所述样本数据集中筛选得到。
再一个实施例中，在采用所述人脸对齐算法和所述样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，训练单元104可具体用于：对所述样本数据集进行预处理得到多个训练数据集，每个训练数据集包含多个预处理后的样本人脸图像；采用所述人脸对齐算法和所述多个训练数据集进行迭代训练得到第一人脸对齐模型；调用所述第一人脸对齐模型对所述样本数据集进行人脸对齐检测，得到所述样本数据集中的各样本人脸图像的检测关键点集合，所述检测关键点集合包含多个检测关键点及各检测关键点的标注信息；根据所述样本数据集中的各样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异，从所述样本数据集中筛选出困难样本人脸图像；采用所述困难样本人脸图像对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型。
再一个实施例中，所述多个训练数据集包括第一训练数据集，所述第一训练数据集为所述多个训练数据集中的任一个；相应的，在对所述样本数据集进行预处理得到多个训练数据集时，训练单元104可具体用于：获取第一扩增参数，并按照所述第一扩增参数对所述样本数据集进行扩增处理得到第一扩增数据集；所述第一扩增数据集包含多个扩增处理后的样本人脸图像，所述扩增处理包括以下至少一项：位移处理、旋转处理、镜像处理和压缩处理；将所述样本数据集与所述第一扩增数据集进行合并；对合并后的数据集进行归一化处理得到第一训练数据集，所述归一化处理包括：图像归一化处理和/或标注信息归一化处理。
再一个实施例中，所述多个训练数据集包括第二训练数据集和第三训练数据集，在迭代训练时所述第二训练数据集先于所述第三训练数据集被选用；在采用所述人脸对齐算法和所述多个训练数据集进行迭代训练得到第一人脸对齐模型时，训练单元104可具体用于：采用所述人脸对齐算法和所述第一训练数据集进行训练得到初始人脸对齐模型；按照分级拟合规则设置所述初始人脸对齐模型的损失函数，所述分级拟合规则为基于至少一个特征区域及各特征区域的损失权重设置的规则，所述损失权重与拟合训练顺序正相关，损失权重越大的特征区域越优先被拟合训练；按照减少所述损失函数的值的原则，依次选用所述第二训练数据集及所述第三训练数据集对所述初始人脸对齐模型进行训练得到第一人脸对齐模型。
再一个实施例中，所述第二训练数据集所对应的扩增参数大于所述第三训练数据集所对应的扩增参数；所述扩增参数包括以下至少一种：位移参数、旋转角度参数和压缩比例参数。
再一个实施例中，在采用所述困难样本人脸图像对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型时，训练单元104具体用于：对所述困难样本人脸图像进行所述扩增处理；对所述困难样本人脸图像及扩增处理后的困难样本人脸图像进行所述归一化处理，得到困难训练数据集；按照减少所述损失函数的值的原则，采用所述困难训练数据集对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型。
再一个实施例中，在根据所述样本数据集中的各样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异，从所述样本数据集中筛选出困难样本人脸图像时，训练单元104具体用于：统计每个样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异；从所述样本数据集中筛选出差异大于预设阈值的样本人脸图像确定为困难样本人脸图像。
本发明实施例可以采用目标人脸对齐模型进行人脸对齐检测，由于该目标人脸对齐模型是通过分级拟合训练得到的，因此该目标人脸对齐模型可较准确地对各特征区域进行关键点检测，提高检测结果的准确性。并且，该目标人脸对齐模型的内存较小，运行速度快，可以提高人脸对齐检测的效率。
基于上述业务处理方法实施例的描述，本发明实施例还提供了一种如图10所示的业务处理装置的结构示意图，该业务处理装置可以执行图6所示的方法。请参见图10，本发明实施例中的业务处理装置可以包括：
获取单元201，用于当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
检测单元202，用于采用图2或图3所述的人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
处理单元203，用于根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
本发明实施例在获取到目标人脸图像之后，可以采用人脸检测方法进行人脸对齐检测得到目标人脸图像的特征区域，并根据该特征区域对所请求业务进行处理以响应业务请求。由于该人脸检测方法所采用的目标人脸对齐模型是通过分级拟合训练得到的，因此可较准确地对各特征区域进行关键点检测，从而提高业务处理结果的准确性。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端。请参见图11，所述终端内部结构至少包括处理器301、输入设备302、输出设备303以及存储器304。其中，终端内的处理器301、输入设备302、输出设备303以及存储器304可通过总线或其他方式连接，在本发明实施例所示图11中以通过总线305连接为例。其中，所述存储器304可用于存储计算机程序，所述计算机程序包括第一程序指令和/或第二程序指令，所述处理器301用于执行存储器304存储的第一程序指令，以实现图2或图3所示的人脸检测方法。在一个实施例中，所述处理器301还可用于执行存储器304存储的第二程序指令，以实现图6所示的业务处理方法。
在一个实施例中，该处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器，即微处理器或者任何常规的处理器。该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。因此，在此对于处理器301和存储器304不作限定。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器301加载并执行的计算机程序指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器301加载并执行计算机存储介质中存放的第一计算机程序指令，以实现上述有关人脸检测实施例中的方法的相应步骤；具体实现中，计算机存储介质中的第一计算机程序指令由处理器301加载并执行如下步骤：
获取待检测的目标人脸图像；
调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；
根据所述目标关键点集合确定所述目标人脸图像的特征区域。
在一种实施方式中，在获取待检测的目标人脸图像之前，该第一计算机程序指令可由处理器301加载并执行：获取样本数据集，所述样本数据集包括多个样本人脸图像及各样本人脸图像的参考关键点集合，每个样本人脸图像的参考关键点集合包含多个参考关键点及各参考关键点的标注信息，所述多个参考关键点及各参考关键点的标注信息用于表示各样本人脸图像的多个特征区域；采用所述人脸对齐算法和所述样本数据集进行分级拟合训练得到所述目标人脸对齐模型；其中，所述特征区域包括以下任一个：眉毛区域、眼睛区域、鼻子区域、嘴部区域、耳朵区域；所述人脸对齐算法包括机器学习回归算法或卷积神经网络算法。
再一种实施方式中，在采用人脸对齐算法和样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，是根据训练优先级采用人脸对齐算法和样本数据集中的样本人脸图像的特征区域进行的拟合训练，所述训练优先级是根据所述样本数据集中的样本人脸图像的特征区域的损失权重确定的，损失权重越大的特征区域的训练优先级越高。
再一种实施方式中，在采用人脸对齐算法和样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，是先根据人脸对齐算法和样本数据集进行迭代训练，再根据困难样本人脸图像对迭代训练的结果进行优化，所述困难样本人脸图像从所述样本数据集中筛选得到。
再一种实施方式中，在采用所述人脸对齐算法和所述样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，该第一计算机程序指令可由处理器301加载并执行：对所述样本数据集进行预处理得到多个训练数据集，每个训练数据集包含多个预处理后的样本人脸图像；采用所述人脸对齐算法和所述多个训练数据集进行迭代训练得到第一人脸对齐模型；调用所述第一人脸对齐模型对所述样本数据集进行人脸对齐检测，得到所述样本数据集中的各样本人脸图像的检测关键点集合，所述检测关键点集合包含多个检测关键点及各检测关键点的标注信息；根据所述样本数据集中的各样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异，从所述样本数据集中筛选出困难样本人脸图像；采用所述困难样本人脸图像对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型。
再一种实施方式中，所述多个训练数据集包括第一训练数据集，所述第一训练数据集为所述多个训练数据集中的任一个；相应的，在对所述样本数据集进行预处理得到多个训练数据集时，该第一计算机程序指令可由处理器301加载并执行：获取第一扩增参数，并按照所述第一扩增参数对所述样本数据集进行扩增处理得到第一扩增数据集；所述第一扩增数据集包含多个扩增处理后的样本人脸图像，所述扩增处理包括以下至少一项：位移处理、旋转处理、镜像处理和压缩处理；将所述样本数据集与所述第一扩增数据集进行合并；对合并后的数据集进行归一化处理得到第一训练数据集，所述归一化处理包括：图像归一化处理和/或标注信息归一化处理。
再一种实施方式中，所述多个训练数据集包括第二训练数据集和第三训练数据集，在迭代训练时所述第二训练数据集先于所述第三训练数据集被选用；相应的，在采用所述人脸对齐算法和所述多个训练数据集进行迭代训练得到第一人脸对齐模型时，该第一计算机程序指令可由处理器301加载并执行：采用所述人脸对齐算法和所述第一训练数据集进行训练得到初始人脸对齐模型；按照分级拟合规则设置所述初始人脸对齐模型的损失函数，所述分级拟合规则为基于至少一个特征区域及各特征区域的损失权重设置的规则，所述损失权重与拟合训练顺序正相关，损失权重越大的特征区域越优先被拟合训练；按照减少所述损失函数的值的原则，依次选用所述第二训练数据集及所述第三训练数据集对所述初始人脸对齐模型进行训练得到第一人脸对齐模型。
再一种实施方式中，所述第二训练数据集所对应的扩增参数大于所述第三训练数据集所对应的扩增参数；所述扩增参数包括以下至少一种：位移参数、旋转角度参数和压缩比例参数。
再一种实施方式中，在采用所述困难样本人脸图像对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型时，该第一计算机程序指令可由处理器301加载并执行：对所述困难样本人脸图像进行所述扩增处理；对所述困难样本人脸图像及扩增处理后的困难样本人脸图像进行所述归一化处理，得到困难训练数据集；按照减少所述损失函数的值的原则，采用所述困难训练数据集对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型。
再一种实施方式中，在根据所述样本数据集中的各样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异，从所述样本数据集中筛选出困难样本人脸图像时，该第一计算机程序指令可由处理器301加载并执行：统计每个样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异；从所述样本数据集中筛选出差异大于预设阈值的样本人脸图像确定为困难样本人脸图像。
本发明实施例可以采用目标人脸对齐模型进行人脸对齐检测，由于该目标人脸对齐模型是通过分级拟合训练得到的，因此该目标人脸对齐模型可较准确地对各特征区域进行关键点检测，提高检测结果的准确性。并且，该目标人脸对齐模型的内存较小，运行速度快，可以提高人脸对齐检测的效率。
再一个实施例中，可由处理器301加载并执行计算机存储介质中存放的第二计算机程序指令，以实现上述有关业务处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的第二计算机程序指令由处理器301加载并执行如下步骤：
当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
采用图2或图3中的人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
本发明实施例在获取到目标人脸图像之后，可以采用人脸检测方法进行人脸对齐检测得到目标人脸图像的特征区域，并根据该特征区域对所请求业务进行处理以响应业务请求。由于该人脸检测方法所采用的目标人脸对齐模型是通过分级拟合训练得到的，因此可较准确地对各特征区域进行关键点检测，从而提高业务处理结果的准确性。
需要说明的是，上述描述的终端和单元的具体工作过程，可以参考前述各个实施例中的相关描述，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (14)

1.一种人脸检测方法，其特征在于，包括：
获取待检测的目标人脸图像；
调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；
根据所述目标关键点集合确定所述目标人脸图像的特征区域；
其中，所述目标人脸对齐模型的训练过程包括：通过扩增样本数据集得到多个训练数据集，不同的训练数据集所使用的扩增参数不同，任一扩增参数与对应的训练数据集中的样本人脸图像的复杂度成正比；按照扩增参数从大到小的顺序，依次根据除第一训练数据集以外的各个训练数据集对初始人脸对齐模型进行迭代训练；根据困难样本人脸图像对迭代训练的结果进行优化，所述困难样本人脸图像是根据所述样本数据集中的各样本人脸图像的参考关键点集合与检测关键点集合之间的差异，从所述样本数据集中筛选出的差异大于预设阈值的样本人脸图像，所述预设阈值与所述目标人脸对齐模型的精准度成反比。
2.如权利要求1所述的方法，其特征在于，所述获取待检测的目标人脸图像之前，还包括：
获取样本数据集，所述样本数据集包括多个样本人脸图像及各样本人脸图像的参考关键点集合，每个样本人脸图像的参考关键点集合包含多个参考关键点及各参考关键点的标注信息，所述多个参考关键点及各参考关键点的标注信息用于表示各样本人脸图像的多个特征区域；
采用所述人脸对齐算法和所述样本数据集进行分级拟合训练得到所述目标人脸对齐模型；
其中，所述特征区域包括以下任一个：眉毛区域、眼睛区域、鼻子区域、嘴部区域、耳朵区域；所述人脸对齐算法包括机器学习回归算法或卷积神经网络算法。
3.如权利要求1所述的方法，其特征在于，在采用人脸对齐算法和样本数据集进行分级拟合训练得到所述目标人脸对齐模型时，是根据训练优先级采用人脸对齐算法和样本数据集中的样本人脸图像的特征区域进行的拟合训练，所述训练优先级是根据所述样本数据集中的样本人脸图像的特征区域的损失权重确定的，损失权重越大的特征区域的训练优先级越高。
4.如权利要求1-3任一项所述的方法，其特征在于，所述采用所述人脸对齐算法和所述样本数据集进行分级拟合训练得到所述目标人脸对齐模型，包括：
对所述样本数据集进行预处理得到多个训练数据集，每个训练数据集包含多个预处理后的样本人脸图像；
采用所述人脸对齐算法和所述多个训练数据集进行迭代训练得到第一人脸对齐模型；
调用所述第一人脸对齐模型对所述样本数据集进行人脸对齐检测，得到所述样本数据集中的各样本人脸图像的检测关键点集合，所述检测关键点集合包含多个检测关键点及各检测关键点的标注信息；
根据所述样本数据集中的各样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异，从所述样本数据集中筛选出困难样本人脸图像；
采用所述困难样本人脸图像对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型。
5.如权利要求4所述的方法，其特征在于，所述多个训练数据集包括第一训练数据集，所述第一训练数据集为所述多个训练数据集中的任一个；所述对所述样本数据集进行预处理得到多个训练数据集，包括：
获取第一扩增参数，并按照所述第一扩增参数对所述样本数据集进行扩增处理得到第一扩增数据集；所述第一扩增数据集包含多个扩增处理后的样本人脸图像，所述扩增处理包括以下至少一项：位移处理、旋转处理、镜像处理和压缩处理；
将所述样本数据集与所述第一扩增数据集进行合并；
对合并后的数据集进行归一化处理得到第一训练数据集，所述归一化处理包括：图像归一化处理和/或标注信息归一化处理。
6.如权利要求5所述的方法，其特征在于，所述多个训练数据集包括第二训练数据集和第三训练数据集，在迭代训练时所述第二训练数据集先于所述第三训练数据集被选用；所述采用所述人脸对齐算法和所述多个训练数据集进行迭代训练得到第一人脸对齐模型，包括：
采用所述人脸对齐算法和所述第一训练数据集进行训练得到初始人脸对齐模型；
按照分级拟合规则设置所述初始人脸对齐模型的损失函数，所述分级拟合规则为基于至少一个特征区域及各特征区域的损失权重设置的规则，所述损失权重与拟合训练顺序正相关，损失权重越大的特征区域越优先被拟合训练；
按照减少所述损失函数的值的原则，依次选用所述第二训练数据集及所述第三训练数据集对所述初始人脸对齐模型进行训练得到第一人脸对齐模型。
7.如权利要求6所述的方法，其特征在于，所述第二训练数据集所对应的扩增参数大于所述第三训练数据集所对应的扩增参数；
所述扩增参数包括以下至少一种：位移参数、旋转角度参数和压缩比例参数。
8.如权利要求6所述的方法，其特征在于，所述采用所述困难样本人脸图像对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型，包括：
对所述困难样本人脸图像进行所述扩增处理；
对所述困难样本人脸图像及扩增处理后的困难样本人脸图像进行所述归一化处理，得到困难训练数据集；
按照减少所述损失函数的值的原则，采用所述困难训练数据集对所述第一人脸对齐模型进行优化得到所述目标人脸对齐模型。
9.如权利要求4所述的方法，其特征在于，所述根据所述样本数据集中的各样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异，从所述样本数据集中筛选出困难样本人脸图像，包括：
统计每个样本人脸图像的所述参考关键点集合与所述检测关键点集合之间的差异；
从所述样本数据集中筛选出差异大于预设阈值的样本人脸图像确定为困难样本人脸图像。
10.一种业务处理方法，其特征在于，包括：
当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
采用如权利要求1-9任一项所述的人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
11.一种人脸检测装置，其特征在于，包括：
获取单元，用于获取待检测的目标人脸图像；
检测单元，用于调用目标人脸对齐模型对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的目标关键点集合，所述目标关键点集合包括多个目标关键点及各目标关键点的标注信息；所述目标人脸对齐模型是采用人脸对齐算法和样本数据集进行分级拟合训练得到的；
确定单元，用于根据所述目标关键点集合确定所述目标人脸图像的特征区域；
其中，所述目标人脸对齐模型的训练过程包括：通过扩增样本数据集得到多个训练数据集，不同的训练数据集所使用的扩增参数不同，任一扩增参数与对应的训练数据集中的样本人脸图像的复杂度成正比；按照扩增参数从大到小的顺序，依次根据除第一训练数据集以外的各个训练数据集对初始人脸对齐模型进行迭代训练；根据困难样本人脸图像对迭代训练的结果进行优化，所述困难样本人脸图像是根据所述样本数据集中的各样本人脸图像的参考关键点集合与检测关键点集合之间的差异，从所述样本数据集中筛选出的差异大于预设阈值的样本人脸图像，所述预设阈值与所述目标人脸对齐模型的精准度成反比。
12.一种业务处理装置，其特征在于，包括：
获取单元，用于当检测到业务请求时，调用终端的摄像装置获取请求者的目标人脸图像；
检测单元，用于采用如权利要求1-9任一项所述的人脸检测方法对所述目标人脸图像进行人脸对齐检测，得到所述目标人脸图像的特征区域；
处理单元，用于根据所述目标人脸图像的特征区域对所请求业务进行处理以响应所述业务请求。
13.一种智能终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括第一程序指令，所述处理器被配置用于调用所述第一程序指令，执行如权利要求1-9任一项所述的人脸检测方法；或者，所述计算机程序包括第二程序指令，所述处理器被配置用于调用所述第二程序指令，执行如权利要求10所述的业务处理方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有第一计算机程序指令，所述第一计算机程序指令适于由处理器加载并执行如权利要求1-9任一项所述的人脸检测方法；或者，所述计算机存储介质存储有第二计算机程序指令，所述第二计算机程序指令适于由处理器加载并执行如权利要求10所述的业务处理方法。
CN201811165758.5A 2018-09-30 2018-09-30 人脸检测方法、业务处理方法、装置、终端及介质 Active CN109359575B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811165758.5A CN109359575B (zh) 2018-09-30 2018-09-30 人脸检测方法、业务处理方法、装置、终端及介质
PCT/CN2019/108145 WO2020063744A1 (zh) 2018-09-30 2019-09-26 人脸检测方法及装置、业务处理方法、终端设备及存储介质
EP19864907.1A EP3754541A4 (en) 2018-09-30 2019-09-26 FACIAL RECOGNITION METHODS AND DEVICE, SERVICE PROCESSING METHODS, TERMINAL DEVICE AND STORAGE MEDIUM
US17/032,370 US11256905B2 (en) 2018-09-30 2020-09-25 Face detection method and apparatus, service processing method, terminal device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811165758.5A CN109359575B (zh) 2018-09-30 2018-09-30 人脸检测方法、业务处理方法、装置、终端及介质

Publications (2)

Publication Number Publication Date
CN109359575A CN109359575A (zh) 2019-02-19
CN109359575B true CN109359575B (zh) 2022-05-10

Family

ID=65348338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811165758.5A Active CN109359575B (zh) 2018-09-30 2018-09-30 人脸检测方法、业务处理方法、装置、终端及介质

Country Status (4)

Country Link
US (1) US11256905B2 (zh)
EP (1) EP3754541A4 (zh)
CN (1) CN109359575B (zh)
WO (1) WO2020063744A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109919093A (zh) * 2019-03-07 2019-06-21 苏州科达科技股份有限公司 一种人脸识别方法、装置、设备及可读存储介质
CN109978063B (zh) * 2019-03-28 2021-03-02 厦门美图之家科技有限公司 一种生成目标对象的对齐模型的方法
CN111797656B (zh) * 2019-04-09 2023-08-22 Oppo广东移动通信有限公司 人脸关键点检测方法、装置、存储介质及电子设备
CN110059637B (zh) * 2019-04-22 2021-03-30 上海云从企业发展有限公司 一种人脸对齐的检测方法及装置
CN110363175A (zh) * 2019-07-23 2019-10-22 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
WO2021036726A1 (en) * 2019-08-29 2021-03-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for using face alignment model based on multi-task convolutional neural network-obtained data
CN110555426A (zh) * 2019-09-11 2019-12-10 北京儒博科技有限公司 视线检测方法、装置、设备及存储介质
CN112560555A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 扩充关键点的方法、装置以及存储介质
CN110852257B (zh) * 2019-11-08 2023-02-10 深圳数联天下智能科技有限公司 一种人脸关键点的检测方法、装置及存储介质
CN111062478A (zh) * 2019-12-18 2020-04-24 天地伟业技术有限公司 基于神经网络的特征压缩算法
CN111191571A (zh) * 2019-12-26 2020-05-22 新绎健康科技有限公司 一种基于人脸特征点检测的中医面诊脸部分区方法和***
CN111127668B (zh) * 2019-12-26 2023-08-22 网易（杭州）网络有限公司 一种角色模型生成方法、装置、电子设备和存储介质
CN111275080B (zh) * 2020-01-14 2021-01-08 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111325117B (zh) * 2020-02-05 2024-01-26 北京字节跳动网络技术有限公司 目标对象识别模型的训练方法、装置和电子设备
CN111325851B (zh) * 2020-02-28 2023-05-05 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111709288B (zh) * 2020-05-15 2022-03-01 北京百度网讯科技有限公司 人脸关键点检测方法、装置以及电子设备
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN111626246B (zh) * 2020-06-01 2022-07-15 浙江中正智能科技有限公司 口罩遮挡下的人脸对齐方法
CN113971822A (zh) * 2020-07-22 2022-01-25 武汉Tcl集团工业研究院有限公司 一种人脸检测方法、智能终端及存储介质
CN112036253B (zh) * 2020-08-06 2024-05-10 海纳致远数字科技(上海)有限公司 一种基于深度学习的人脸关键点定位方法
CN112101105B (zh) * 2020-08-07 2024-04-09 深圳数联天下智能科技有限公司 人脸关键点检测模型的训练方法、装置以及存储介质
CN112633084B (zh) * 2020-12-07 2024-06-11 深圳云天励飞技术股份有限公司 人脸框确定方法、装置、终端设备及存储介质
CN112541484B (zh) * 2020-12-28 2024-03-19 平安银行股份有限公司 人脸抠图方法、***、电子装置及存储介质
CN112766049A (zh) * 2020-12-29 2021-05-07 清华大学 基于难样本挖掘的大规模人脸识别测试集构建方法及装置
CN112633203A (zh) * 2020-12-29 2021-04-09 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质
CN112613488B (zh) * 2021-01-07 2024-04-05 上海明略人工智能(集团)有限公司 人脸识别方法及装置、存储介质、电子设备
CN112884040B (zh) * 2021-02-19 2024-04-30 北京小米松果电子有限公司 训练样本数据的优化方法、***、存储介质及电子设备
CN113313660A (zh) * 2021-05-14 2021-08-27 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质
CN113610115B (zh) * 2021-07-14 2024-04-12 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN113469132A (zh) * 2021-07-26 2021-10-01 浙江大华技术股份有限公司 一种违规行为检测方法、装置、电子设备及存储介质
CN113808200B (zh) * 2021-08-03 2023-04-07 嘉洋智慧安全科技(北京)股份有限公司 一种检测目标对象移动速度的方法、装置及电子设备
CN113837017B (zh) * 2021-08-31 2022-11-04 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN114495123A (zh) * 2022-01-14 2022-05-13 北京百度网讯科技有限公司 一种光学字符识别模型的优化方法、装置、设备及介质
US20230260184A1 (en) * 2022-02-17 2023-08-17 Zoom Video Communications, Inc. Facial expression identification and retargeting to an avatar
CN116631019B (zh) * 2022-03-24 2024-02-27 清华大学 基于面部图像的口罩适合性检测方法及装置
CN115082990A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸的活体检测方法及装置
CN114881893B (zh) * 2022-07-05 2022-10-21 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN115294320B (zh) * 2022-10-08 2022-12-20 平安银行股份有限公司 图像旋转角度的确定方法、装置、电子设备及存储介质
CN116452466B (zh) * 2023-06-14 2023-10-20 荣耀终端有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN117291979B (zh) * 2023-09-26 2024-04-26 北京鹰之眼智能健康科技有限公司 一种耳洞定位方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
CN107463865A (zh) * 2016-06-02 2017-12-12 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN108073873A (zh) * 2016-11-15 2018-05-25 上海宝信软件股份有限公司 基于高清智能摄像机的人脸检测与识别***
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108550176A (zh) * 2018-04-19 2018-09-18 咪咕动漫有限公司 图像处理方法、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US8165354B1 (en) * 2008-03-18 2012-04-24 Google Inc. Face recognition with discriminative face alignment
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
WO2016206114A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Combinatorial shape regression for face alignment in images
CN105574538B (zh) * 2015-12-10 2020-03-17 小米科技有限责任公司 分类模型训练方法及装置
EP3423990A1 (en) * 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
CN106203395B (zh) * 2016-07-26 2020-01-14 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106407958B (zh) * 2016-10-28 2019-12-27 南京理工大学 基于双层级联的面部特征检测方法
CN106875422B (zh) * 2017-02-06 2022-02-25 腾讯科技（上海）有限公司 人脸跟踪方法和装置
CN107146196A (zh) * 2017-03-20 2017-09-08 深圳市金立通信设备有限公司 一种图像美颜方法及终端
CN108229278B (zh) * 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN107358209B (zh) * 2017-07-17 2020-02-28 成都通甲优博科技有限责任公司 人脸检测模型的训练方法、装置及人脸检测方法、装置
CN108446606A (zh) * 2018-03-01 2018-08-24 苏州纳智天地智能科技有限公司 一种基于加速二进制特征提取的人脸关键点检测方法
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
CN107463865A (zh) * 2016-06-02 2017-12-12 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN108073873A (zh) * 2016-11-15 2018-05-25 上海宝信软件股份有限公司 基于高清智能摄像机的人脸检测与识别***
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108550176A (zh) * 2018-04-19 2018-09-18 咪咕动漫有限公司 图像处理方法、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network;Yao Feng et al;《arXiv:1803.07835v1》;20180321;第1-18页 *
基于局部形状约束网络的人脸对齐;杜文超等;《四川大学学报》;20170930;第54卷(第5期);第953-958页 *

Also Published As

Publication number Publication date
CN109359575A (zh) 2019-02-19
EP3754541A1 (en) 2020-12-23
EP3754541A4 (en) 2021-08-18
US20210019503A1 (en) 2021-01-21
US11256905B2 (en) 2022-02-22
WO2020063744A1 (zh) 2020-04-02

Similar Documents

Publication Publication Date Title
CN109359575B (zh) 人脸检测方法、业务处理方法、装置、终端及介质
WO2021004402A1 (zh) 图像识别方法及装置、存储介质和处理器
WO2022134337A1 (zh) 人脸遮挡检测方法、***、设备及存储介质
US10198623B2 (en) Three-dimensional facial recognition method and system
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2019232862A1 (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
WO2017190646A1 (zh) 一种人脸图像处理方法和装置、存储介质
EP4198814A1 (en) Gaze correction method and apparatus for image, electronic device, computer-readable storage medium, and computer program product
WO2021027537A1 (zh) 一种拍摄证件照的方法、装置、设备及存储介质
US11120535B2 (en) Image processing method, apparatus, terminal, and storage medium
CN111008935B (zh) 一种人脸图像增强方法、装置、***及存储介质
CN113298158B (zh) 数据检测方法、装置、设备及存储介质
CN105335719A (zh) 活体检测方法及装置
WO2021169754A1 (zh) 构图提示方法、装置、存储介质及电子设备
WO2022257456A1 (zh) 头发信息识别方法、装置、设备及存储介质
WO2021197466A1 (zh) 眼球检测方法、装置、设备及存储介质
WO2022135574A1 (zh) 肤色检测方法、装置、移动终端和存储介质
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN112001285A (zh) 一种美颜图像的处理方法、装置、终端和介质
WO2022063321A1 (zh) 图像处理方法、装置、设备及存储介质
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
CN106980818B (zh) 一种用于人脸图像的个性化预处理方法、***及其终端
CN111182207B (zh) 图像拍摄方法、装置、存储介质及电子设备
WO2020244076A1 (zh) 人脸识别方法、装置、电子设备及存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant