CN114267066B - 人脸识别方法、电子设备及存储介质 - Google Patents
人脸识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114267066B CN114267066B CN202111602145.5A CN202111602145A CN114267066B CN 114267066 B CN114267066 B CN 114267066B CN 202111602145 A CN202111602145 A CN 202111602145A CN 114267066 B CN114267066 B CN 114267066B
- Authority
- CN
- China
- Prior art keywords
- face
- time
- space
- depth
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例涉及人脸识别领域,公开了一种人脸识别方法、电子设备及存储介质,获取待识别人脸沿水平方向摇头时的连续帧深度图像;形成多种人脸关键点的时空坐标序列;将各时空坐标序列分成多个序列段;拟合得到各序列段的时空曲线;确定时空曲线中的正脸时刻,并确定正脸时刻下各种人脸关键点的深度值;提取各时空坐标序列在任一相同的第一时刻对应的第一空间坐标,并计算正脸时刻下各种人脸关键点的第二空间坐标旋转到对应的第一空间坐标对应的第一旋转角度;基于待识别人脸在第一时刻的深度图像,以及已注册人脸从正脸旋转第一旋转角度后得到的深度图像,确定待识别人脸的身份,从而能够提高对于大角度人脸的识别精度。
Description
技术领域
本发明涉及人脸识别领域,特别涉及一种人脸识别方法、电子设备及存储介质。
背景技术
随着人工智能技术的飞速发展,人脸识别已经成为一种重要的人机交互方式,被广泛地应用于安防监控、智能支付、社交媒体、医疗等领域。然而,当现有的人脸识别***遇到大角度人脸的时候,由于正面人脸和大角度人脸的特征差别较大,且在进行人脸识别时无法保证待识别的人脸图像严格为正面人脸,从而导致现有的人脸识别***匹配效果不理想,进而降低了人脸识别精度。
因此,亟需一种对于大角度人脸识别精度高的人脸识别方法。
发明内容
本发明实施方式的目的在于提供一种人脸识别方法、电子设备及存储介质,能够提高对于大角度人脸的识别精度。
为解决上述技术问题,本发明的实施方式提供了一种人脸识别方法,包括:
获取待识别人脸沿水平方向摇头时的连续帧深度图像;
标注所述连续帧深度图像中多种人脸关键点的时空坐标,并形成每种人脸关键点的时空坐标序列;
针对各所述时空坐标序列,以水平方向的空间坐标随时间变化的转折点作为分界线,将所述时空坐标序列分为多个序列段;
对每个所述序列段中的时空坐标进行曲线拟合,得到该序列段的时空曲线;
根据各种所述人脸关键点的所述时空曲线,确定所述时空曲线中的正脸时刻,并根据各所述时空曲线中所述正脸时刻下深度方向的空间坐标,确定所述正脸时刻下各种所述人脸关键点的深度值;
提取各种所述人脸关键点的时空坐标序列在任一相同的第一时刻对应的第一空间坐标,并计算所述正脸时刻下各种所述人脸关键点的第二空间坐标旋转到对应的所述第一空间坐标处时人脸对应的第一旋转角度;基于待识别人脸在所述第一时刻的所述深度图像,以及已注册人脸从正脸旋转所述第一旋转角度后得到的深度图像,确定待识别人脸的身份。
本发明的实施方式还提供了一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的人脸识别方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的人脸识别方法。
本发明实施方式相对于现有技术而言,通过获取待识别人脸沿水平方向摇头时的连续帧深度图像;标注连续帧深度图像中多种人脸关键点的时空坐标,并形成每种人脸关键点的时空坐标序列;针对各时空坐标序列,以水平方向的空间坐标随时间变化的转折点作为分界线,将时空坐标序列分为多个序列段;对每个序列段中的时空坐标进行曲线拟合,得到该序列段的时空曲线;根据各种人脸关键点的所述时空曲线,确定时空曲线中的正脸时刻,并根据各时空曲线中正脸时刻下深度方向的空间坐标,确定正脸时刻下各种人脸关键点的深度值;提取各种人脸关键点的时空坐标序列在任一相同的第一时刻对应的第一空间坐标,并计算正脸时刻下各种人脸关键点的第二空间坐标旋转到对应的第一空间坐标处时人脸对应的第一旋转角度;基于待识别人脸在第一时刻的深度图像,以及已注册人脸从正脸旋转第一旋转角度后得到的深度图像,确定待识别人脸的身份。本方案基于人脸摇头时拍摄的连续深度图像拟合人脸关键点的时空曲线,从时空曲线中确定正脸时刻的深度方向的第二空间坐标,并计算该第二空间坐标与待识别人脸在任一第一时刻对应的第一空间坐标之间的旋转角度,利用该旋转角度对已注册的人脸的深度图进行旋转,并通过旋转后的深度图像对待识别人脸在第一时刻下的深度图像进行人脸识别,从而提高对于大角度人脸的识别精度。
附图说明
图1是根据本发明实施方式的人脸识别方法的具体流程图一;
图2是根据本发明实施方式的人脸识别方法的具体流程图二;
图3是根据本发明实施方式的人脸识别方法的具体流程图三;
图4是根据本发明实施方式的人脸识别方法的具体流程图四;
图5是根据本发明实施方式的特征提取模型的训练方法流程图;
图6是根据本发明实施方式的特征提取模型的网络结构示意图;
图7是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种人脸识别方法,如图1所示,本实施例提供的人脸识别方法,包括如下步骤。
步骤101:获取待识别人脸沿水平方向摇头时的连续帧深度图像。
具体地,可以使用深度相机连续拍摄人脸沿水平方向摇头时的多张连续帧的人脸深度图像。在实际拍摄过程中,为了保证后续的图像处理的精度,尽可能使人脸的姿态角度,仅在人脸的方位角上发生变化(人脸沿水平方向摇头对应的角度变化),而保证人脸的俯仰角和翻滚角基本不变。例如,可通过在采集深度图像之前,提醒被采集人端正人脸姿态,眼睛平视前方,正对摄像头,之后再指示被采集人尽可能缓慢且匀速进行左右摇头(可以是多次反复摇头)。在摇头过程中,深度相机连续拍照,得到连续帧的深度图像,形成按时间顺序的深度图像序列Gt,t为采集深度图像Gt对应的采集时刻。
步骤102:标注连续帧深度图像中多种人脸关键点的时空坐标,并形成每种人脸关键点的时空坐标序列。
具体地,本实施例中针对人脸的五官位置(如左眼角、右眼角、鼻尖、左嘴角、右嘴角等位置)标注大量的关键点,并通过图像检测将连续帧的深度图像中的同名的人脸关键点归属为同一种类下的人脸关键点,不同名的人脸关键点归属为不同种类下的人脸关键点。针对每一种类下的人脸关键点,标注这些人脸关键点在上述连续帧深度图像中的时空坐标。其中,每一个时空坐标包含四个维度,即一个时间维度(时间坐标(t))和三个空间维度(空间坐标(x,y,z)),x、y、z依次为水平方向、竖直方向、深度方向的空间坐标)。在每帧深度图像中,任一人脸关键点的时空坐标中的时间坐标为当前帧深度图像的采集时刻t,空间坐标x、y、z依次为该人脸关键点在当前帧深度图像中的横坐标、纵坐标和深度坐标。
在标注出连续帧深度图像中预设的多种人脸关键点的时空坐标后,可对不同种类的人脸关键点的时空坐标分别进行统计,并以时间先后顺序对每一个种类的人脸关键点的时空坐标进行排序,得到每种人脸关键点的时空坐标序列。
步骤103:针对各时空坐标序列,以水平方向的空间坐标随时间变化的转折点作为分界线,将时空坐标序列分为多个序列段。
具体地,由于各时空坐标序列是基于人脸沿水平方向摇头产生的,人脸沿水平方向往复摇头时,各关键点的空间坐标中的水平方向的坐标值就会从小到大,再从大到小反复变化。基于此,针对各时空坐标序列中的时空坐标,确定出水平方向的空间坐标随时间变化的转折点,即从小变大后再变小的转折点,以及从大变小后再变大的转折点。然后以这些转折点为边界将时空坐标序列分为多个序列段。
步骤104:对每个序列段中的时空坐标进行曲线拟合,得到该序列段的时空曲线。
具体地,可对每个序列段中的时空坐标进行曲线拟合,得到一条空间曲线作为该序列段的时空曲线。
在一个例子中,可对每个序列段中的时空坐标采用最小二乘法多项式曲线拟合,得到该序列段的时空曲线。具体拟合过程如下。
采用最小二乘法的二项式方程拟合曲线,每个时空坐标(x,y,z,t)在空间坐标X、Y、Z轴的值表达为:
以X轴为例,只需求出系数A=[a0,a1,a2,a3,…,ak],即可获得x坐标值随时间变化的曲线。这里的k可取经验值9。
本方案采用的拟合判别标准为偏差平方和最小:拟合的曲线与实际值差值的平方和最小即认为拟合曲线符合要求。即:
其中,依次为坐标轴X、Y、Z上的拟合的曲线(t的函数),δxi、δyi、δzi依次为拟合的曲线在第i个时间坐标ti上的坐标值与第i个时间坐标ti上的实际值xi、yi、zi的差值,m为拟合用的时空坐标点数量。
经推导可获得:
公式构建完毕,继续进行如下计算。
针对上述任一序列段中的时空坐标,将非首个时空坐标的时间值分别与第一个时空坐标的时间作差,并将差值更新作为该非首个时空坐标的时间坐标值t,然后将首个时空坐标的时间坐标值设置为0。之后,以更新后的序列段中的时空坐标[x,y,z,t]拟合出空间坐标值(x,y,z)关于时间的轨迹变化曲线,即拟合出一条空间拟合曲线,使序列段中的每个时空坐标[x,y,z,t]中的空间坐标(x,y,z)与拟合曲线上对应时刻的空间坐标作差,并利用各差值的平方和最小拟合得到系数A、B、C。
拟合方式仅需要带入各序列段中的实际值[x,y,z,t],求出(3)、(4)(5)式中矩阵中的相应系数的解(带入时,需将时间坐标值t按上述生成拟合曲线时一样进行相应转换),即可获得每个序列段的空间坐标的三条与时间相关的曲线X、Y、Z。
需要说明的是,在拟合形成曲线后,还需要将曲线中的时间坐标t还原为对应连续帧深度图像中,相应人脸关键点的时空坐标对应的时间值,即将曲线在时间坐标轴上整体平移,曲线中的首个时间坐标还原为对应时空坐标序列中首个时空坐标的时间坐标值,曲线中其他位置的时间坐标值则在当前值的基础上再加上该首个时空坐标的时间坐标值。时间坐标值更新后的曲线则为最终的序列段的时空曲线。
步骤105:根据各种人脸关键点的时空曲线,确定时空曲线中的正脸时刻,并根据各时空曲线中正脸时刻下深度方向的空间坐标,确定正脸时刻下各种人脸关键点的深度值。
具体地,在人脸摇头过程中,当人脸姿态处于正脸时,人脸上的一些点的深度信息会呈现出只有在正脸时才会有的特征,例如在正脸时,位于人脸竖向中心线上的点(比如额头正中间、鼻梁、鼻尖等位置上的点),较其他角度姿态,其对应的空间位置距离摄像头是最近的,即深度最大;又例如在正脸时,相对人脸竖向中心线对称分布的任意两种点(比如左眼角和右眼角、左嘴角和右嘴角),较其他角度姿态,其对应的空间位置距离摄像头是相同的,即深度相同。根据这个特性,可以从上述多种人脸关键点中,提取符合这些位置特点的人脸关键点,然后从对应的时空曲线中找到这些人脸关键点符合正脸时刻才会有的特征的点所对应的空间坐标,从而根据这些空间坐标中深度方向的空间坐标值,确定正脸时刻下各种人脸关键点的深度值。
步骤106:提取各种人脸关键点的时空坐标序列在任一相同的第一时刻对应的第一空间坐标,并计算正脸时刻下各种人脸关键点的第二空间坐标旋转到对应的第一空间坐标处时人脸对应的第一旋转角度。
具体地,针对各种人脸关键点的时空坐标序列,任意选取其中的同一时间点的时空坐标,并将该同一时间点作为第一时刻,将该时空坐标中的空间坐标作为第一空间坐标。同时,将步骤105中确定的正脸时刻下各种人脸关键点的时空坐标作中的空间坐标作为第二空间坐标。计算待识别人脸的各种人脸关键点的从第二空间坐标旋转到对应的第一空间坐标处时人脸对应的旋转角度,并将该旋转角度作为第一旋转角度。
在计算第一旋转角度时,可以采用现有技术中根据两个坐标点计算旋转角度的过程,本实施例在此不做赘述。得到的第一旋转角度可采用欧拉角度[θx,θy,θz]表示。即建立坐标系将深度图中人脸关键点的横坐标设为x轴,纵坐标设为y轴,深度值作为z轴,人脸姿态表示的欧拉角为[θx,θy,θz]。
步骤107:基于待识别人脸在第一时刻的深度图像,以及已注册人脸从正脸旋转第一旋转角度后得到的深度图像,确定待识别人脸的身份。
具体地,将已注册人脸(正脸)对应的深度图像右乘上述第一旋转角度对应的旋转矩阵,即可将已注册人脸对应的深度图像中的人脸从正脸旋转到第一旋转角下对应的深度图。即:
绕x轴旋转:
绕y轴旋转:
绕z轴旋转:
其中,公式(6)、(7)、(8)中的θ将依次对应为θx、θy和θz。
在得到已注册人脸从正脸旋转第一旋转角度后得到的深度图像后,可以将该深度图像与待识别人脸在第一时刻的深度图像进行相似比对,从而确定待识别人脸的身份。
在进行相似比对时,可以直接对深度图像进行比对,或者待提取出深度图像的特征后,对提取的特征进行相似比对。本实施例对相似比对的过程及方法不做限定。
与相关技术相比,本实施例通过获取待识别人脸沿水平方向摇头时的连续帧深度图像;标注连续帧深度图像中多种人脸关键点的时空坐标,并形成每种人脸关键点的时空坐标序列;针对各时空坐标序列,以水平方向的空间坐标随时间变化的转折点作为分界线,将时空坐标序列分为多个序列段;对每个序列段中的时空坐标进行曲线拟合,得到该序列段的时空曲线;根据各种人脸关键点的所述时空曲线,确定时空曲线中的正脸时刻,并根据各时空曲线中正脸时刻下深度方向的空间坐标,确定正脸时刻下各种人脸关键点的深度值;提取各种人脸关键点的时空坐标序列在任一相同的第一时刻对应的第一空间坐标,并计算正脸时刻下各种人脸关键点的第二空间坐标旋转到对应的第一空间坐标处时人脸对应的第一旋转角度;基于待识别人脸在第一时刻的深度图像,以及已注册人脸从正脸旋转第一旋转角度后得到的深度图像,确定待识别人脸的身份。本方案基于人脸摇头时拍摄的连续深度图像拟合人脸关键点的时空曲线,从时空曲线中确定正脸时刻的深度方向的第二空间坐标,并计算该第二空间坐标与待识别人脸在任一第一时刻对应的第一空间坐标之间的旋转角度,利用该旋转角度对已注册的人脸的深度图进行旋转,并通过旋转后的深度图像对待识别人脸在第一时刻下的深度图像进行人脸识别,从而提高对于大角度人脸的识别精度。
本发明的另一实施方式涉及一种人脸识别方法,该人脸识别方法是对图1所示的人脸识别方法的改进,改进之处在于:对序列段的划分过程、正脸时刻下各种人脸关键点的深度值的确定过程,以及待识别人脸的身份确定过程分别进行细化。
如图2所示,上述步骤103可包括如下子步骤。
子步骤1031:针对各时空坐标序列,去除以水平方向的空间坐标随时间变化的转折点所对应的时空坐标。
具体地,由于以水平方向的空间坐标随时间变化的转折点,可能属于位于该转折点前面的水平方向的空间坐标的变化趋势(如从小变大)中,也可能属于位于该转折点后面的水平方向的空间坐标的变化趋势(如从大变小)中,考虑到数据的准确性,可将各时空坐标序列,以水平方向的空间坐标随时间变化的转折点所对应的时空坐标丢弃,不作为后续生成的任一序列段中的时空坐标。
子步骤1032:以转折点作为分界线,将剩下的时空坐标序列分为多个序列段。
针对各时空坐标序列,在去除以水平方向的空间坐标随时间变化的转折点所对应的时空坐标后,对剩下的时空坐标序列,仍以被去除的转折点作为分界线,将剩下的时空坐标序列分为多个序列段,每个序列段仍包含多个时空坐标。
如图3所示,上述步骤105可包括如下子步骤。
子步骤1051:针对人脸竖向中心线上任一种人脸关键点的时空曲线,将深度方向的空间坐标的最大值对应的时间点作为正脸时刻;或者,针对相对人脸竖向中心线对称分布的任意两种人脸关键点的时空曲线,将深度方向的空间坐标为相同值时对应的相同时间点作为正脸时刻。
具体地,在人脸摇头过程中,当人脸姿态处于正脸时,位于人脸竖向中心线上的点(比如额头正中间、鼻梁、鼻尖等位置上的点),较其他角度姿态,其对应的空间位置距离摄像头是最近的,即深度最大。根据这个特性,可以从上述多种人脸关键点中,选择出位于人脸竖向中心线上任一种人脸关键点(如位于额头正中间、鼻梁、鼻尖等位置上的点),并针对该种人脸关键点的时空曲线(多条),从中提取出深度方向的空间坐标最大值所对应的时空坐标,然后将该时空坐标中的时间坐标对应的时间点作为正脸时刻。又或者,在人脸摇头过程中,当人脸姿态处于正脸时,相对人脸竖向中心线对称分布的任意两种人脸关键点(比如左眼角和右眼角、左嘴角和右嘴角),较其他角度姿态,其对应的空间位置距离摄像头是相同的,即深度相同。根据这个特性,可以从上述多种人脸关键点中,选择相对人脸竖向中心线对称分布的任意两种人脸关键点(比如左眼角和右眼角、左嘴角和右嘴角),并针对这两种人脸关键点的时空曲线(多条),从中提取出深度方向的空间坐标为相同值时所对应的时空坐标,然后将这些时空坐标中相同时间点的时间坐标所对应的时间点作为正脸时刻。
其中,采用针对人脸竖向中心线上任一种人脸关键点的时空曲线,将深度方向的空间坐标的最大值对应的时间点作为正脸时刻的处理过程可包括:针对人脸竖向中心线上任一种人脸关键点的多个时空曲线,分别将深度方向的空间坐标的最大值对应的时间点作为一个正脸时刻。
具体地,由于每种人脸关键点对应的时空坐标序列被分为多个序列段,而每个序列段都分别对应一条时空曲线,因此每种人脸关键点可对应多条时空曲线。当执行针对人脸竖向中心线上任一种人脸关键点的时空曲线,将深度方向的空间坐标的最大值对应的时间点作为正脸时刻时,则可以针对人脸关键点对应的每条时空曲线分别确定一个正脸时刻。此时确定的正脸时刻的数量等于时空曲线的条数。
其中,采用针对相对人脸竖向中心线对称分布的任意两种人脸关键点的时空曲线,将深度方向的空间坐标为相同值时对应的相同时间点作为正脸时刻的处理过程可包括:针对相对人脸竖向中心线对称分布的任意两种人脸关键点的多组时空曲线,分别将每组时空曲线中深度方向的空间坐标为相同值时对应的相同时间点作为一个正脸时刻。
具体地,由于每种人脸关键点对应的时空坐标序列被分为多个序列段,而每个序列段都分别对应一条时空曲线,因此每种人脸关键点可对应多条时空曲线。当执行针对相对人脸竖向中心线对称分布的任意两种人脸关键点的所述时空曲线,将深度方向的空间坐标为相同值时对应的相同时间点作为正脸时刻时,则可以先将这两种人脸关键点的时空曲线按对应的时间坐标范围,对应的分为多组时空曲线(每组时空曲线对应的时间坐标范围相同),然后针对这两种人脸关键点对应的每组时空曲线中的两条时空曲线中深度方向的空间坐标值进行比对,确定其中深度坐标值相同的同一时间坐标对应的时间点作为一个正脸时刻。此时确定的正脸时刻的数量等于时空曲线的组数。
子步骤1052:根据各时空曲线中正脸时刻下深度方向的空间坐标,确定正脸时刻下各种人脸关键点的深度值。
具体地,由于各种类的人脸关键点之间是同步运动的,因此,当位于人脸竖向中心线上任一种人脸关键点的某时空坐标为对应正脸时刻下的时空坐标,或者当位于相对人脸竖向中心线对称分布的任意两种人脸关键点的某时空坐标为对应正脸时刻下的时空坐标时,那么该时空坐标中的时间点对应的其他种类的人脸关键点的时空坐标也为正脸状态下的时空坐标。基于此,可从所有时空曲线中该正脸时刻下对应的时空坐标中,提取出深度方向的空间坐标,即可以从中确定正脸时刻下各种人脸关键点的深度值。
在一个例子中,可将各时空曲线中正脸时刻下深度方向的空间坐标作为一个候选深度值,并根据正脸时刻下每种人脸关键点对应的多个候选深度值,确定正脸时刻下每种人脸关键点深度值。
具体地,在得到多个正脸时刻后,可从所有种类的人脸关键点对应的所有时空曲线中,分别找到一个正脸时刻,并提取该正脸时刻下的深度方向的空间坐标作为一个候选深度值。这样,每种人脸关键点可对应确定出多个候选深度值,基于这些候选深度值可确定每种人脸关键点在正脸时刻下的最终深度值。例如,将每种人脸关键点对应的多个候选深度值求取平均值,将该平均值作为相应种类的人脸关键点在正脸时刻下的最终深度值。
如图4所示,上述步骤107可包括如下子步骤。
子步骤1071:将待识别人脸在第一时刻的深度图像输入至预先训练的特征提取模型,得到识别特征。
具体地,可以预先训练一个特征提取模型,该特征提取模型使得当输入为同一人相同姿态下的人脸深度图时,所对应得到的输出特征之间相似度高;输入为不同人相同姿态的人脸深度图时,所对应得到的输出特征之间相似度低。通过该特征提取模型提取待识别人脸在某一姿态下的深度图像所对应的特征值(也称“特征向量”)。本实施例中,将待识别人脸对应的特征值称为识别特征。
为了方便对输入的不同人脸的深度数据进行统一处理,在执行本子步骤时,可通过对待识别人脸在第一时刻的深度图像进行归一化,并将归一化的深度值输入至预先训练的特征提取模型,输出得到对应的识别特征。例如,将当前待识别人脸在第一时刻的深度图像中的深度值归一化到[0,1]之间。
子步骤1072:将识别特征与已注册人脸从正脸旋转第一旋转角度后得到的深度图像经特征提取模型得到的注册特征进行比对,并根据比对结果确定待识别人脸的身份。
其中,可预先保存已注册人脸在正脸姿态下的深度图像,在每次需要进行特征比对时,先将已注册人脸的深度图像从正脸旋转第一旋转角度得到人脸角度旋转后的深度图像,然后将人脸角度旋转后的深度图像(归一化后的图像)经上述特征提取模型得到对应的特征值,本实施例中将注册人脸对应的特征值称为注册特征。
具体地,在将待识别人脸在第一时刻的深度图像(归一化后)输入至特征提取模型得到识别特征后,可将识别特征与已注册人脸对应的注册特征进行相似性比对,并根据比对结果确定待识别人脸的身份。例如,当比对得到的相似度值大于预设阈值时,确定待识别人脸与被比对的注册人脸其身份为同一人;当比对得到的相似度值小于预设阈值时,确定待识别人脸与被比对的注册人脸其身份为不是同一人。
在一个例子中,如图5所示,上述特征提取模型的训练过程包括如下步骤:
步骤201:获取多张包含不同人脸的人脸深度图像。
具体地,可以使用深度相机采集不同人脸的人脸深度图像。
为使后续模型训练拥有更高的泛化性能,需要采集200个人以上的深度图像来构建图像样本及其标签。被采集人员可以有不同的姿态,以采集更丰富人脸姿态下的人脸深度图像。
步骤202:以同一人的两张相同姿态的人脸深度图像分别作为锚定样本、正样本,以该同一人以外其他人的一张人脸深度图像作为负样本,形成一组训练样本。
具体地,在选取训练样本时,可以任意的同一人的两张相同姿态的人脸深度图像分别作为锚定样本(a)、正样本(p),以该同一人以外其他人的一张(任意姿态)人脸深度图像作为负样本(n),形成一组训练样本。
为了方便对输入的不同人脸的深度数据进行统一处理,在执行本步骤时,可通过对待训练样本的深度值进行归一化,并将归一化的深度值作为最终的训练样本。例如,将各样本中人脸的深度值归一化到[0,1]之间。
步骤203:以训练样本为输入、训练样本中各类样本的特征值为输出,构建特征提取模型,并对特征提取模型进行训练。
其中,对特征提取模型进行训练所采用的损失函数基于锚定样本、正样本对应的特征值之间的第一损失,以及锚定样本、负样本对应的特征值之间的第二损失构建。
具体地,如图6所示,为特征提取模型的网络结构,该网络结构从输入到输出的方向依次包括:第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层。特征提取模型的输入为上述锚定样本、正样本和负样本,输出为这些样本对应的特征值,如锚定样本、正样本和负样本对应的特征值依次表示为:Pa、Pp、Pn。
上述损失函数的构建过程为根据如下公式构建损失函数:
loss=loss_same+loss_diff…………………………(8)
其中,loss为损失函数的损失值,loss_diff为第二损失,Pai、Ppi、Pni依次为第i组训练样本中锚定样本a、正样本p、负样本n对应的特征值,m为训练样本组数量。
与相关技术比较,本实施例通过针对各时空坐标序列,去除以水平方向的空间坐标随时间变化的转折点所对应的时空坐标;以转折点作为分界线,将剩下的时空坐标序列分为多个所述序列段,从而保证生成的序列段中时空坐标的准确性。
通过针对人脸竖向中心线上任一种人脸关键点的时空曲线,将深度方向的空间坐标的最大值对应的时间点作为正脸时刻;或者,针对相对人脸竖向中心线对称分布的任意两种人脸关键点的时空曲线,将深度方向的空间坐标为相同值时对应的相同时间点作为正脸时刻;根据各时空曲线中正脸时刻下深度方向的空间坐标,确定正脸时刻下各种人脸关键点的深度值,从而保证所获取的正脸时刻下每种人脸关键点深度值的准备性。
通过将待识别人脸在第一时刻的深度图像输入至预先训练的特征提取模型,得到识别特征;将识别特征与已注册人脸从正脸旋转第一旋转角度后得到的深度图像经特征提取模型得到的注册特征进行比对,并根据比对结果确定待识别人脸的身份,从而实现基于特征提取模型对待识别人脸进行身份识别的识别方法。
本发明的另一实施方式涉及一种电子设备,如图7所示,包括至少一个处理器302;以及,与至少一个处理器302通信连接的存储器301;其中,存储器301存储有可被至少一个处理器302执行的指令,指令被至少一个处理器302执行,以使至少一个处理器302能够执行上述任一方法实施例。
其中,存储器301和处理器302采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器302。
处理器302负责管理总线和通常的处理,还可以提供各种功能,包括定时,***接口,电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (11)
1.一种人脸识别方法,其特征在于,包括:
获取待识别人脸沿水平方向摇头时的连续帧深度图像;
标注所述连续帧深度图像中多种人脸关键点的时空坐标,并形成每种人脸关键点的时空坐标序列;
针对各所述时空坐标序列,以水平方向的空间坐标随时间变化的转折点作为分界线,将所述时空坐标序列分为多个序列段;
对每个所述序列段中的时空坐标进行曲线拟合,得到该序列段的时空曲线;
针对人脸竖向中心线上任一种所述人脸关键点的所述时空曲线,将深度方向的空间坐标的最大值对应的时间点作为正脸时刻;或者,针对相对人脸竖向中心线对称分布的任意两种所述人脸关键点的所述时空曲线,将深度方向的空间坐标为相同值时对应的相同时间点作为正脸时刻;
根据各所述时空曲线中所述正脸时刻下深度方向的空间坐标,确定所述正脸时刻下各种所述人脸关键点的深度值;
提取各种所述人脸关键点的时空坐标序列在任一相同的第一时刻对应的第一空间坐标,并计算所述正脸时刻下各种所述人脸关键点的第二空间坐标旋转到对应的所述第一空间坐标处时人脸对应的第一旋转角度;
基于待识别人脸在所述第一时刻的所述深度图像,以及已注册人脸从正脸旋转所述第一旋转角度后得到的深度图像,确定待识别人脸的身份。
2.根据权利要求1所述的方法,其特征在于,所述针对各所述时空坐标序列,以水平方向的空间坐标随时间变化的转折点作为分界线,将所述时空坐标序列分为多个序列段,包括:
针对各所述时空坐标序列,去除以水平方向的空间坐标随时间变化的转折点所对应的时空坐标;
以所述转折点作为分界线,将剩下的所述时空坐标序列分为多个所述序列段。
3.根据权利要求1所述的方法,其特征在于,所述对每个所述序列段中的时空坐标进行曲线拟合,得到该序列段的时空曲线,包括:
对每个所述序列段中的时空坐标采用最小二乘法多项式曲线拟合,得到该序列段的时空曲线。
4.根据权利要求1所述的方法,其特征在于,所述针对人脸竖向中心线上任一种所述人脸关键点的所述时空曲线,将深度方向的空间坐标的最大值对应的时间点作为正脸时刻,包括:
针对人脸竖向中心线上任一种所述人脸关键点的多个所述时空曲线,分别将深度方向的空间坐标的最大值对应的时间点作为一个所述正脸时刻。
5.根据权利要求1所述的方法,其特征在于,所述针对相对人脸竖向中心线对称分布的任意两种所述人脸关键点的所述时空曲线,将深度方向的空间坐标为相同值时对应的相同时间点作为正脸时刻,包括:
针对相对人脸竖向中心线对称分布的任意两种所述人脸关键点的多组所述时空曲线,分别将每组所述时空曲线中深度方向的空间坐标为相同值时对应的相同时间点作为一个所述正脸时刻。
6.根据权利要求4或5所述的方法,其特征在于,所述根据各所述时空曲线中所述正脸时刻下深度方向的空间坐标,确定所述正脸时刻下各种所述人脸关键点的深度值,包括:
将各所述时空曲线中所述正脸时刻下深度方向的空间坐标作为一个候选深度值,并根据所述正脸时刻下每种所述人脸关键点对应的多个所述候选深度值,确定所述正脸时刻下每种所述人脸关键点深度值。
7.根据权利要求1所述的方法,其特征在于,所述基于待识别人脸在所述第一时刻的所述深度图像,以及已注册人脸从正脸旋转所述第一旋转角度后得到的深度图像,确定待识别人脸的身份,包括:
将所述待识别人脸在所述第一时刻的所述深度图像输入至预先训练的特征提取模型,得到识别特征;
将所述识别特征与已注册人脸从正脸旋转所述第一旋转角度后得到的深度图像经所述特征提取模型得到的注册特征进行比对,并根据比对结果确定所述待识别人脸的身份。
8.根据权利要求7所述的方法,其特征在于,所述特征提取模型的训练过程包括:
获取多张包含不同人脸的人脸深度图像;
以同一人的两张相同姿态的所述人脸深度图像分别作为锚定样本、正样本,以该同一人以外其他人的一张所述人脸深度图像作为负样本,形成一组训练样本;
以所述训练样本为输入、所述训练样本中各类样本的特征值为输出,构建所述特征提取模型,并对所述特征提取模型进行训练;
其中,对所述特征提取模型进行训练所采用的损失函数基于所述锚定样本、所述正样本对应的所述特征值之间的第一损失,以及所述锚定样本、所述负样本对应的所述特征值之间的第二损失构建。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9中任一项所述的人脸识别方法。
11.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111602145.5A CN114267066B (zh) | 2021-12-24 | 2021-12-24 | 人脸识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111602145.5A CN114267066B (zh) | 2021-12-24 | 2021-12-24 | 人脸识别方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114267066A CN114267066A (zh) | 2022-04-01 |
CN114267066B true CN114267066B (zh) | 2022-11-01 |
Family
ID=80829986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111602145.5A Active CN114267066B (zh) | 2021-12-24 | 2021-12-24 | 人脸识别方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114267066B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
CN107066983B (zh) * | 2017-04-20 | 2022-08-09 | 腾讯科技(上海)有限公司 | 一种身份验证方法及装置 |
CN112101127B (zh) * | 2020-08-21 | 2024-04-30 | 深圳数联天下智能科技有限公司 | 人脸脸型的识别方法、装置、计算设备及计算机存储介质 |
CN113343925B (zh) * | 2021-07-02 | 2023-08-29 | 厦门美图宜肤科技有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-24 CN CN202111602145.5A patent/CN114267066B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114267066A (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102648770B1 (ko) | 홍채 식별을 위한 딥 뉴럴 네트워크 | |
CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
EP3254238B1 (en) | Method for re-identification of objects | |
CN112419170B (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
CN111598038B (zh) | 脸部特征点检测方法、装置、设备及存储介质 | |
CN103577815A (zh) | 一种人脸对齐方法和*** | |
CN112364827B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
CN112257696B (zh) | 视线估计方法及计算设备 | |
WO2020042541A1 (zh) | 眼球追踪交互方法和装置 | |
CN111046734A (zh) | 基于膨胀卷积的多模态融合视线估计方法 | |
CN111582027B (zh) | 身份认证方法、装置、计算机设备和存储介质 | |
CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
CN110222572A (zh) | 跟踪方法、装置、电子设备及存储介质 | |
CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
CN110866469A (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
KR102160128B1 (ko) | 인공지능 기반 스마트 앨범 생성 방법 및 장치 | |
CN113963237B (zh) | 模型训练、戴口罩状态检测方法、电子设备及存储介质 | |
CN114202794B (zh) | 一种基于人脸ppg信号的疲劳检测方法和装置 | |
CN111597894A (zh) | 一种基于人脸检测技术的人脸库更新方法 | |
CN113963426A (zh) | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 | |
CN113963183A (zh) | 模型训练、人脸识别方法、电子设备及存储介质 | |
WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
CN114267066B (zh) | 人脸识别方法、电子设备及存储介质 | |
KR102160955B1 (ko) | 딥 러닝 기반 3d 데이터 생성 방법 및 장치 | |
CN114267068B (zh) | 基于连续帧信息的人脸识别方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220629 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |