CN110956082A - 基于深度学习的人脸关键点检测方法和检测*** - Google Patents

基于深度学习的人脸关键点检测方法和检测*** Download PDF

Info

Publication number
CN110956082A
CN110956082A CN201910986156.4A CN201910986156A CN110956082A CN 110956082 A CN110956082 A CN 110956082A CN 201910986156 A CN201910986156 A CN 201910986156A CN 110956082 A CN110956082 A CN 110956082A
Authority
CN
China
Prior art keywords
face
key point
training
point detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910986156.4A
Other languages
English (en)
Other versions
CN110956082B (zh
Inventor
马国军
马道懿
朱琎
唐跃
曾庆军
夏健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201910986156.4A priority Critical patent/CN110956082B/zh
Publication of CN110956082A publication Critical patent/CN110956082A/zh
Application granted granted Critical
Publication of CN110956082B publication Critical patent/CN110956082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的人脸关键点检测方法和检测***，其中检测方法包括如下步骤：1、构建基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；2、将Kaggle上的Facial Key‑points Detection的人脸数据集作为样本图像，对步骤1构建的人脸关键点检测网络进行训练；3、采集待检测人脸的图像；对采集到的待检测图像采用OpenCV的级联分类器获取人脸区域；4、将步骤3获取到的人脸区域输入到训练好的人脸关键点检测网络中，得到左眼和鼻尖坐标；5、计算待检测图像中人脸右眼及左右嘴角的坐标，并进行关键点标注。该方法能够在规模较小的深度学习网络上得到较高的检测精度。

Description

基于深度学习的人脸关键点检测方法和检测***
技术领域
本发明属于人脸关键点检测技术领域，具体涉及一种应用深度学习进行人脸关键点检测的方法和***。
背景技术
人脸检测技术最早是随着人脸识别技术产生的，20世纪六、七十年代人脸识别技术产生，之后到现在已经发展了半个多世纪。这段时间内许多科研人员做了大量研究，做出不同类型不同模式的人脸关键点检测***。但直到上世纪末，许多***都是通过外界辅助传感器得到人脸位置或是人脸的移动不明显很容易被捕捉到，因此技术的不成熟使得这一时期人脸检测技术发展较为缓慢。
随着社会的发展，特别是最近二十年来随着计算机技术的快速发展和生物识别的大量应用，人脸检测技术己经不仅仅用于人脸识别了。人脸检测技术应用范围从最初的纯粹科研，发展到现在的商业、军事、安防等许多方面，对该技术的重视程度也达到了新的高度。其中卷积神经网络CNN起到了不可代替的作用。
卷积神经是一种前馈网络，其人工神经元可以覆盖范围内的单元，包括了卷积层和池化层等。目前，卷积神经网络CNN已经普遍应用在计算机视觉域，并且已经取得了不错的效果。近几年来CNN在ImageNet竞赛的表现，可以看到为了追求分类准确度，模型深度越来越深，模型复杂度也越来越高，如深度残差网，其层数已经多达152层。
然而，在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型是难以被应用的。首先是模型过于庞大，面临着内存不足的问题，其次这些场景要求低延迟，或者说响应速度要快，例如，自动驾驶汽车的行人检测***对响应速度的要求较高。因此，构建一个规模小而效率高的CNN模型非常重要。
发明内容
发明目的：本发明旨在提供一种人脸关键点检测方法，该方法能够在规模较小的深度学习网络上得到较高的检测精度。
技术方案：本发明一方面公开了一种基于深度学习的人脸关键点检测方法，该方法包括训练阶段和检测阶段，所述训练阶段包括如下步骤：
(1)构建基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；所述人脸关键点为左眼和鼻尖坐标；
所述人脸关键点检测网络包括依次连接的16层网络，其中第一层为普通卷积层；第二层到第十三层为深度卷积层与逐点卷积层交替连接的6个深度可分离卷积单元；第十四层为池化层，第十五层为全连接层，第十六层为softmax层；
(2)将Kaggle上的Facial Key-points Detection的人脸数据集作为样本图像，对步骤(1)构建的人脸关键点检测网络进行训练，得到训练好的人脸关键点检测网络；
所述检测阶段包括如下步骤：
(3)采集待检测人脸的图像；对采集到的待检测图像采用OpenCV的级联分类器获取人脸区域；
(4)将步骤(3)获取到的人脸区域输入到训练好的人脸关键点检测网络中，得到左眼和鼻尖坐标；
(5)计算待检测图像中人脸右眼及左右嘴角的坐标，并进行关键点标注；
Figure BDA0002236756520000021
其中(Xleft_eye,Yleft_eye)，(Xnoise,Ynoise)，(Xright_eye,Yright_eye)，(Xleft_mouth,Yleft_mouth)，(Xright_mouth,Yright_mouth)分别为左眼、鼻尖、右眼、左嘴角、右嘴角的坐标。
进一步地，所述步骤(2)中还包括对训练样本预处理，包括：
(2.1)剔除数据缺失的训练样本；
(2.2)对训练样本进行标准化：样本图像A中像素i标准化后的灰度值
Figure BDA0002236756520000022
为：
Figure BDA0002236756520000023
其中gi为样本图像A中像素i标准化前的灰度值，gmin为所有样本图像中像素灰度的最小值，gmax为所有样本图像中像素灰度的最大值。
为了减少网络对初始化的依赖，所述人脸关键点检测网络中第一层到第十三层中，每一层的输入先通过BatchNormalization做批量标准化后再进行卷积运算。
为了防止过拟合，所述步骤(2)中采用早停法进行训练，将样本图像分为训练集和验证集，在训练集上进行训练人脸关键点检测网络，并用验证集验证人脸关键点检测网络的误差；
训练步骤如下：
(3.1)初始化最佳验证集误差为第一次训练结束后验证集的误差，并将最佳验证集误差训练次数初始化为0；
(3.2)每次训练结束后，用验证集验证人脸关键点检测网络的误差，并比较当前的验证集误差与最佳验证集误差；如果当前验证集误差小于最佳验证集误差，则将最佳验证集误差更新为当前验证集误差，并将最佳验证集误差训练次数置为0；如果当前验证集误差大于最佳验证集误差，将最佳验证集误差训练次数加一；
(3.3)如果最佳验证集误差训练次数达到预设的最佳验证集误差训练次数阈值，或总的训练次数达到预设的总训练次数阈值，则停止训练，并将最佳验证集误差所对应的人脸关键点检测网络参数作为训练结果。
另一方面，本发明公开了实现上述人脸关键点检测方法的检测***，包括图像采集模块、人脸检测模块和人脸关键点检测与标注模块；
所述图像采集模块用于采集待检测人脸的图像；
所述人脸检测模块用于获取待检测人脸的图像中的人脸区域；
所述人脸关键点检测与标注模块用于获取并标注人脸区域中的左眼、鼻尖、右眼、左嘴角和右嘴角的坐标。
所述人脸关键点检测与标注模块为基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；所述人脸关键点检测网络包括依次连接的16层网络，其中第一层为卷积层；第二层到第十三层为深度卷积层与逐点卷积层交替连接的6个深度可分离卷积单元；第十四层为池化层，第十五层为全连接层，第十六层为softmax层。
所述人脸关键点检测与标注模块为配有NVIDIAGTX 1080的GPU的计算机。
有益效果：与现有技术相比，本发明公开的基于深度学习的人脸关键点检测方法具有以下优点：1、所构建的基于MobileNetV1架构的人脸关键点检测网络与普通的卷积神经网络相比，在检测效果相同的情况下模型参数较少；同时检测的人脸关键点只有2个，进一步提供了训练与检测的速度；2、在检测出的2个关键点的基础上，可以得到其他的特征点坐标。
附图说明
图1为本发明公开的人脸关键点检测方法的流程图；
图2为本发明构建的人脸关键点检测网络的结构示意图；
图3为深度卷积和逐点卷积的运算示意图；
图4为本发明公开的人脸关键点检测***的结构示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
如图1所示，本发明公开了一种基于深度学习的人脸关键点检测方法，该方法包括训练阶段和检测阶段，所述训练阶段包括如下步骤：
步骤1、构建基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；所述人脸关键点为左眼和鼻尖坐标；
如图2所示，所述人脸关键点检测网络包括依次连接的16层网络，其中第一层为普通卷积层；第二层到第十三层为深度卷积层与逐点卷积层交替连接的6个深度可分离卷积单元；第十四层为池化层，第十五层为全连接层，第十六层为softmax层。
1-13层为特征提取子网络，用于提取图像局部特征；14-16层为特征分类子网络，根据局部特征得到人脸关键点。
深度卷积的计算为：
步骤一：把一幅大小为M*M*N图像拆分成N个M*M*1的图像；
步骤二：为每一个单通道图像定义1个F*F*1(F通常为奇数)的卷积核，一共需要定义N个；
步骤三：为了使卷积过后的输出图像与输入图像大小相等，需进行补白，上下左右补白的大小为P＝(F-1)/2。
步骤四：把每个单通道图像中的每一个像素点与相对应的单通道的卷积核进行卷积，由于卷积核尺寸通常为奇数，假设F＝2a+1，则计算公式如下：
Figure BDA0002236756520000051
式中，w(i,j)为F*F*1的卷积核中的系数，f(x,y)是图像中任意一点像素，g(x,y)是f(x,y)的卷积运算输出，其中x,y是可变的，以便w中的每个像素可访问f中每个像素。
逐点卷积的计算为：
利用1*1*N卷积，把N个卷积运算后的结果相加，得到一个M*M*1的输出。
图3中说明了使用3*3的卷积核对一幅三通道图像进行深度可分离卷积的过程。先把三通道图像变成三个单通道图像，再对每个单通道进行卷积运算。在一个单通道图像中的任意一点f(x,y)，输出g(x,y)是卷积核系数与卷积核所包围的图像像素的乘积之和：
g(x,y)＝w(-1,-1)f(x-1,y-1)+w(-1,0)f(x-1,y)+...........+w(1,1)f(x+1,y+1)
然后由一个1*1*3的卷积核把三个单通道图像输出g(x,y)加起来，得到最后输出z(x,y)。
为了减少网络对初始化的依赖，所述人脸关键点检测网络中第一层到第十三层中，每一层的输入先通过BatchNormalization做批量标准化后再进行卷积运算。同时在每一个卷积层上使用ReLU线性激活函数，输出卷积层结果。
步骤2、将Kaggle上的Facial Key-points Detection的人脸数据集作为样本图像，对步骤(1)构建的人脸关键点检测网络进行训练，得到训练好的人脸关键点检测网络；
首先对训练样本预处理，包括：
(2.1)剔除数据缺失的训练样本；
(2.2)对训练样本进行标准化：样本图像A中像素i标准化后的灰度值
Figure BDA0002236756520000052
为：
Figure BDA0002236756520000061
其中gi为样本图像A中像素i标准化前的灰度值，gmin为所有样本图像中像素灰度的最小值，gmax为所有样本图像中像素灰度的最大值。
本发明采用自适应矩阵估计的随机梯度下降算法(Adam)最小化损失函数来对人脸关键点检测网络进行训练，损失函数采用均值平方差损失函数。
为了防止过拟合，所述步骤(2)中采用早停法进行训练，将样本图像分为训练集和验证集，在训练集上进行训练人脸关键点检测网络，并用验证集验证人脸关键点检测网络的误差；
训练步骤如下：
(3.1)初始化最佳验证集误差为第一次训练结束后验证集的误差，并将最佳验证集误差训练次数初始化为0；
(3.2)每次训练结束后，用验证集验证人脸关键点检测网络的误差，并比较当前的验证集误差与最佳验证集误差；如果当前验证集误差小于最佳验证集误差，则将最佳验证集误差更新为当前验证集误差，并将最佳验证集误差训练次数置为0；如果当前验证集误差大于最佳验证集误差，将最佳验证集误差训练次数加一；
(3.3)如果最佳验证集误差训练次数达到预设的最佳验证集误差训练次数阈值，或总的训练次数达到预设的总训练次数阈值，则停止训练，并将最佳验证集误差所对应的人脸关键点检测网络参数作为训练结果。
所述检测阶段包括如下步骤：
步骤3、采集待检测人脸的图像；对采集到的待检测图像采用OpenCV的级联分类器获取人脸区域；
本发明中，将获取的人脸区域resize为96×96×1。
步骤4、将步骤(3)获取到的人脸区域输入到训练好的人脸关键点检测网络中，得到左眼和鼻尖坐标；
步骤5、计算待检测图像中人脸右眼及左右嘴角的坐标，并进行关键点标注；
通过统计发现左眼到鼻尖的纵向距离和左嘴角到鼻尖的纵向距离相等且左嘴角和左眼睛的横坐标相等；右眼到鼻尖的纵向距离和右嘴角到鼻尖的纵向距离相等且右嘴角和右眼的横坐标相等。根据此对应关系，得到人脸上其他关键点的坐标，计算式如下：
Figure BDA0002236756520000071
其中(Xleft_eye,Yleft_eye)，(Xnoise,Ynoise)，(Xright_eye,Yright_eye)，(Xleft_mouth,Yleft_mouth)，(Xright_mouth,Yright_mouth)分别为左眼、鼻尖、右眼、左嘴角、右嘴角的坐标。
如图4所示，为实现上述人脸关键点检测方法的检测***，包括图像采集模块、人脸检测模块和人脸关键点检测与标注模块；
图像采集模块用于采集待检测人脸的图像；本发明中采用单目相机来获取待检测人脸的图像，并对获取的图像进行预处理，将其转换为灰度图像；
人脸检测模块用于获取待检测人脸的图像中的人脸区域，将人脸区域用矩形框框出；
人脸关键点检测与标注模块用于获取并标注人脸区域中的左眼、鼻尖、右眼、左嘴角和右嘴角的坐标。
人脸关键点检测与标注模块为基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为左眼和鼻尖坐标；所述人脸关键点检测网络包括依次连接的16层网络，其中第一层为卷积层；第二层到第十三层为深度卷积层与逐点卷积层交替连接的6个深度可分离卷积单元；第十四层为池化层，第十五层为全连接层，第十六层为softmax层。
右眼、左嘴角和右嘴角的坐标根据式(1)计算得到。
人脸关键点检测与标注模块为配有NVIDIAGTX 1080的GPU的计算机。

Claims (7)

1.基于深度学习的人脸关键点检测方法，其特征在于，包括训练阶段和检测阶段，所述训练阶段包括如下步骤：
(1)构建基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；所述人脸关键点为左眼和鼻尖坐标；
所述人脸关键点检测网络包括依次连接的16层网络，其中第一层为普通卷积层；第二层到第十三层为深度卷积层与逐点卷积层交替连接的6个深度可分离卷积单元；第十四层为池化层，第十五层为全连接层，第十六层为softmax层；
(2)将Kaggle上的Facial Key-points Detection的人脸数据集作为样本图像，对步骤(1)构建的人脸关键点检测网络进行训练，得到训练好的人脸关键点检测网络；
所述检测阶段包括如下步骤：
(3)采集待检测人脸的图像；对采集到的待检测图像采用OpenCV的级联分类器获取人脸区域；
(4)将步骤(3)获取到的人脸区域输入到训练好的人脸关键点检测网络中，得到左眼和鼻尖坐标；
(5)计算待检测图像中人脸右眼及左右嘴角的坐标，并进行关键点标注；
Figure FDA0002236756510000011
其中(Xleft_eye,Yleft_eye)，(Xnoise,Ynoise)，(Xright_eye,Yright_eye)，(Xleft_mouth,Yleft_mouth)，(Xright_mouth,Yright_mouth)分别为左眼、鼻尖、右眼、左嘴角、右嘴角的坐标。
2.根据权利要求1所述的基于深度学习的人脸关键点检测方法，其特征在于，所述步骤(2)中还包括对训练样本预处理，包括：
(2.1)剔除数据缺失的训练样本；
(2.2)对训练样本进行标准化：样本图像A中像素i标准化后的灰度值
Figure FDA0002236756510000012
为：
Figure FDA0002236756510000021
其中gi为样本图像A中像素i标准化前的灰度值，gmin为所有样本图像中像素灰度的最小值，gmax为所有样本图像中像素灰度的最大值。
3.根据权利要求1所述的基于深度学习的人脸关键点检测方法，其特征在于，所述人脸关键点检测网络中第一层到第十三层中，每一层的输入先通过BatchNormalization做批量标准化后再进行卷积运算。
4.根据权利要求1所述的基于深度学习的人脸关键点检测方法，其特征在于，所述步骤(2)中，将样本图像分为训练集和验证集，在训练集上进行训练人脸关键点检测网络，并用验证集验证人脸关键点检测网络的误差；训练步骤如下：
(3.1)初始化最佳验证集误差为第一次训练结束后验证集的误差，并将最佳验证集误差训练次数初始化为0；
(3.2)每次训练结束后，用验证集验证人脸关键点检测网络的误差，并比较当前的验证集误差与最佳验证集误差；如果当前验证集误差小于最佳验证集误差，则将最佳验证集误差更新为当前验证集误差，并将最佳验证集误差训练次数置为0；如果当前验证集误差大于最佳验证集误差，将最佳验证集误差训练次数加一；
(3.3)如果最佳验证集误差训练次数达到预设的最佳验证集误差训练次数阈值，或总的训练次数达到预设的总训练次数阈值，则停止训练，并将最佳验证集误差所对应的人脸关键点检测网络参数作为训练结果。
当人脸关键点检测网络在验证集上的误差比上一次训练结果的误差大时，停止训练，并采用上一次训练结果的参数作为人脸关键点检测网络的最终参数。
5.基于深度学习的人脸关键点检测***，其特征在于，包括图像采集模块、人脸检测模块和人脸关键点检测与标注模块；
所述图像采集模块用于采集待检测人脸的图像；
所述人脸检测模块用于获取待检测人脸的图像中的人脸区域；
所述人脸关键点检测与标注模块用于获取并标注人脸区域中的左眼、鼻尖、右眼、左嘴角和右嘴角的坐标。
6.根据权利要求5所述的基于深度学习的人脸关键点检测***，其特征在于，所述人脸关键点检测与标注模块为基于MobileNetV1架构的人脸关键点检测网络；所述人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；所述人脸关键点检测网络包括依次连接的16层网络，其中第一层为卷积层；第二层到第十三层为深度卷积层与逐点卷积层交替连接的6个深度可分离卷积单元；第十四层为池化层，第十五层为全连接层，第十六层为softmax层。
7.根据权利要求6所述的基于深度学习的人脸关键点检测***，其特征在于，所述人脸关键点检测与标注模块为配有NVIDIAGTX 1080的GPU的计算机。
CN201910986156.4A 2019-10-17 2019-10-17 基于深度学习的人脸关键点检测方法和检测*** Active CN110956082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910986156.4A CN110956082B (zh) 2019-10-17 2019-10-17 基于深度学习的人脸关键点检测方法和检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910986156.4A CN110956082B (zh) 2019-10-17 2019-10-17 基于深度学习的人脸关键点检测方法和检测***

Publications (2)

Publication Number Publication Date
CN110956082A true CN110956082A (zh) 2020-04-03
CN110956082B CN110956082B (zh) 2023-03-24

Family

ID=69975622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910986156.4A Active CN110956082B (zh) 2019-10-17 2019-10-17 基于深度学习的人脸关键点检测方法和检测***

Country Status (1)

Country Link
CN (1) CN110956082B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200008A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下人脸属性识别方法
CN112597888A (zh) * 2020-12-22 2021-04-02 西北工业大学 一种针对cpu运算优化的在线教育场景学生注意力识别方法
CN112883854A (zh) * 2021-02-04 2021-06-01 新绎健康科技有限公司 一种基于深度学习的面部区域定位方法及***
CN113011356A (zh) * 2021-03-26 2021-06-22 杭州朗和科技有限公司 人脸特征检测方法、装置、介质及电子设备
CN113822256A (zh) * 2021-11-24 2021-12-21 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN114881893A (zh) * 2022-07-05 2022-08-09 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678248A (zh) * 2015-12-31 2016-06-15 上海科技大学 基于深度学习的人脸关键点对齐算法
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN108898112A (zh) * 2018-07-03 2018-11-27 东北大学 一种近红外人脸活体检测方法及***
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN110119702A (zh) * 2019-04-30 2019-08-13 西安理工大学 基于深度学习先验的人脸表情识别方法
CN110263691A (zh) * 2019-06-12 2019-09-20 合肥中科奔巴科技有限公司 基于安卓***的头部运动检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
EP3335096A1 (en) * 2015-08-15 2018-06-20 Google LLC Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN105678248A (zh) * 2015-12-31 2016-06-15 上海科技大学 基于深度学习的人脸关键点对齐算法
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN108898112A (zh) * 2018-07-03 2018-11-27 东北大学 一种近红外人脸活体检测方法及***
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN110119702A (zh) * 2019-04-30 2019-08-13 西安理工大学 基于深度学习先验的人脸表情识别方法
CN110263691A (zh) * 2019-06-12 2019-09-20 合肥中科奔巴科技有限公司 基于安卓***的头部运动检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YI SUN ET AL.: ""Deep Convolutional Network Cascade for Facial Point Detection"", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
姜开永等: "基于深度学习的人脸美丽预测模型及其应用", 《五邑大学学报(自然科学版)》 *
曾家建: ""基于深度学习的人脸美丽预测模型及其应用"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200008A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下人脸属性识别方法
CN112597888A (zh) * 2020-12-22 2021-04-02 西北工业大学 一种针对cpu运算优化的在线教育场景学生注意力识别方法
CN112597888B (zh) * 2020-12-22 2024-03-08 西北工业大学 一种针对cpu运算优化的在线教育场景学生注意力识别方法
CN112883854A (zh) * 2021-02-04 2021-06-01 新绎健康科技有限公司 一种基于深度学习的面部区域定位方法及***
CN113011356A (zh) * 2021-03-26 2021-06-22 杭州朗和科技有限公司 人脸特征检测方法、装置、介质及电子设备
CN113822256A (zh) * 2021-11-24 2021-12-21 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113822256B (zh) * 2021-11-24 2022-03-25 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN114881893A (zh) * 2022-07-05 2022-08-09 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110956082B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110956082B (zh) 基于深度学习的人脸关键点检测方法和检测***
CN109522818B (zh) 一种表情识别的方法、装置、终端设备及存储介质
Rao et al. Selfie video based continuous Indian sign language recognition system
CN108932500B (zh) 一种基于深度神经网络的动态手势识别方法及***
CN106599883B (zh) 一种基于cnn的多层次图像语义的人脸识别方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN108009493B (zh) 基于动作增强的人脸防欺骗识别方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN111639580B (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN110570443B (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
Tereikovskyi et al. The method of semantic image segmentation using neural networks
CN112597980B (zh) 一种面向动态视觉传感器的类脑手势序列识别方法
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN106611156B (zh) 一种自适应深度空间特征的行人识别方法和***
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
Huang et al. Human emotion recognition based on face and facial expression detection using deep belief network under complicated backgrounds
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及***
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
CN103235943A (zh) 基于pca的3d人脸识别***
CN116246338B (zh) 一种基于图卷积和Transformer复合神经网络的行为识别方法
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
CN112613430B (zh) 一种基于深度迁移学习的步态识别方法
Monica et al. Recognition of medicine using cnn for visually impaired
CN108830166B (zh) 一种公交车客流量实时统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant