CN113642368B - 人脸姿态的确定方法、装置、设备及存储介质 - Google Patents

人脸姿态的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113642368B
CN113642368B CN202010393328.XA CN202010393328A CN113642368B CN 113642368 B CN113642368 B CN 113642368B CN 202010393328 A CN202010393328 A CN 202010393328A CN 113642368 B CN113642368 B CN 113642368B
Authority
CN
China
Prior art keywords
face
determining
vector
center point
vector pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010393328.XA
Other languages
English (en)
Other versions
CN113642368A (zh
Inventor
华丛一
任志浩
韩灵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010393328.XA priority Critical patent/CN113642368B/zh
Publication of CN113642368A publication Critical patent/CN113642368A/zh
Application granted granted Critical
Publication of CN113642368B publication Critical patent/CN113642368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸姿态的确定方法、装置、设备及存储介质,属于生物识别领域。所述方法包括:对于待处理人脸图像中的目标人脸,可以先确定目标人脸中的人脸关键点以及人脸关键点的位置信息,然后根据人脸关键点的位置信息,确定人脸关键向量,再根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。本申请可以根据人脸关键点和人脸关键向量直接确定人脸姿态,无需使用大量样本提前训练神经网络,算法简单,而且提高了确定人脸姿态的速率。

Description

人脸姿态的确定方法、装置、设备及存储介质
技术领域
本发明涉及生物识别领域,特别涉及一种人脸姿态的确定方法、装置、设备及存储介质。
背景技术
随着生物识别技术的发展,人脸识别技术在生活中的应用也越来越普遍。为了更好的进行人脸识别,需要对电子设备采集的人脸图像进行分析,确定目标人脸的人脸姿态信息,进而根据人脸姿态信息确定目标人脸的人脸姿态变化。其中,人脸姿态信息包括人脸的上下俯仰(pitch)信息、左右旋转(yaw)信息和在平面内的旋转(roll)信息。
相关技术中,需要先使用大量的训练数据对待训练的神经网络进行训练,来获得能够识别人脸姿态的神经网络。其中,训练数据包括样本人脸图像的人脸关键点和人脸姿态标注信息。在训练过程中,将训练数据中的人脸关键点输入待训练的神经网络中,然后根据待训练的神经网络输出的人脸姿态信息和训练数据中的人脸姿态标注信息,对待训练的神经网络进行监督学习,使得神经网络的输出更准确,通过不断的监督学习得到训练好的神经网络。在需要确定人脸姿态时,可以先确定待处理人脸图像中的人脸关键点,再将人脸关键点输入到训练好的神经网络,通过神经网络输出人脸姿态信息。
相关技术中需要先使用大量的训练数据训练神经网络,然后再根据人脸关键点和训练好的神经网络去确定人脸姿态。确定人脸姿态的过程较繁琐,算法复杂且耗时久。
发明内容
本申请实施例提供了一种人脸姿态的确定方法、装置、设备及存储介质,可以用于解决相关技术中存在的确定人脸姿态过程较繁琐,算法复杂且耗时久的问题。所述技术方案如下:
一方面,提供了一种人脸姿态的确定方法,所述方法包括:
确定目标人脸中的人脸关键点以及所述人脸关键点的位置信息,所述目标人脸为待处理人脸图像中的人脸;
根据所述人脸关键点的位置信息,确定人脸关键向量;
根据所述人脸关键点的位置信息和所述人脸关键向量,确定所述目标人脸的人脸姿态信息,所述人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。
可选地,所述确定目标人脸中的人脸关键点的位置信息,包括:
以所述待处理人脸图像的参考点为原点,建立三维直角坐标系,所述三维直角坐标系的X轴平行于所述待处理人脸图像的第一边,Y轴平行于所述待处理人脸图像的第二边,且所述第二边垂直于所述第一边,Z轴垂直于所述X轴和所述Y轴;
确定所述人脸关键点在所述三维直角坐标系中的坐标,将所述人脸关键点在所述三维直角坐标系中的坐标,作为所述人脸关键点的位置信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
可选地,所述人脸关键向量包括以下中的至少一种:
从左眼中心点指向左嘴角的第一向量;
从左嘴角指向左眼中心点的第二向量;
从右眼中心点指向右嘴角的第三向量;
从右嘴角指向右眼中心点的第四向量;
从左眼中心点指向鼻尖的第五向量;
从右眼中心点指向鼻尖的第六向量;
从左嘴角指向鼻尖的第七向量;
从右嘴角指向鼻尖的第八向量;
从左眼中心点指向右眼中心点的第九向量;
从右眼中心点指向左眼中心点的第十向量;
从左嘴角指向右嘴角的第十一向量;
从右嘴角指向左嘴角的第十二向量。
可选地,所述根据所述人脸关键点的位置信息和所述人脸关键向量,确定所述目标人脸的人脸姿态信息,包括:
根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息;
根据所述人脸关键向量,确定所述目标人脸的左右旋转信息;
根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息。
可选地,所述人脸关键点包括左眼和右眼,所述人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息,包括:
确定第一差值与第二差值之间的比值,得到第一正切值,所述第一差值是指所述左眼和所述右眼在所述三维直角坐标系中的Y轴坐标值的差值,所述第二差值是指所述左眼和所述右眼在所述三维直角坐标系中的X轴坐标值的差值;
将所述第一正切值,确定为所述目标人脸在平面内的旋转信息。
可选地,所述人脸关键点包括左嘴角和右嘴角,所述人脸关键点的位置信息包括所述左嘴角和所述右嘴角分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息,包括:
确定第三差值与第四差值之间的比值,得到第二正切值,所述第三差值是指所述左嘴角和所述右嘴角在所述三维直角坐标系中的Y轴坐标值的差值,所述第四差值是指所述左嘴角和所述右嘴角在所述三维直角坐标系中的X轴坐标值的差值;
将所述第二正切值,确定为所述目标人脸在平面内的旋转信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述根据所述人脸关键向量,确定所述目标人脸的左右旋转信息,包括:
根据从左眼中心点指向左嘴角的第一向量和从左眼中心点指向鼻尖的第五向量的外积,确定所述第一向量和所述第五向量之间夹角的第一正弦值;将所述第一正弦值,作为所述目标人脸的左旋转信息;
或者,根据从右眼中心点指向右嘴角的第三向量和从右眼中心点指向鼻尖的第六向量的外积,确定所述第三向量和所述第六向量之间夹角的第二正弦值;将所述第二正弦值,作为所述目标人脸的右旋转信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述根据所述人脸关键向量,确定所述目标人脸的左右旋转信息,包括:
根据从左嘴角指向左眼中心点的第二向量和从左嘴角指向鼻尖的第七向量的外积,确定所述第二向量和所述第七向量之间夹角的第三正弦值;将所述第三正弦值,作为所述目标人脸的左旋转信息;
或者,根据从右嘴角指向右眼中心点的第四向量和从右嘴角指向鼻尖的第八向量的外积,确定所述第四向量和所述第八向量之间夹角的第四正弦值;将所述第四正弦值,作为所述目标人脸的右旋转信息。
可选地,所述待处理人脸图像为三维图像,所述人脸关键点包括左眼和右眼,所述人脸关键点的位置信息包括所述左眼和所述右眼分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述方法还包括:
确定第五差值与第二差值之间的比值,得到第三正切值,所述第五差值是指所述左眼和所述右眼在所述三维直角坐标系中的Z轴坐标值的差值,所述第二差值是指所述左眼和所述右眼在所述三维直角坐标系中的X轴坐标值的差值;
将所述第三正切值,确定为所述目标人脸的左右旋转信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息,包括:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者,从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定所述鼻尖到第一连线之间的第一距离,所述第一连线是指所述左嘴角和所述右嘴角之间的连线;
将所述第一距离,确定为所述目标人脸的上下俯仰信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述根据所述人脸关键向量,确定所述目标人脸的上下俯仰值,包括:
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者,从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定所述鼻尖到第二连线之间的第二距离,所述第二连线是指所述左眼中心点和所述右眼中心点之间的连线;
将所述第二距离,确定为所述目标人脸的上下俯仰信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息,包括:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定所述鼻尖到第一连线之间的第一距离,所述第一连线是指所述左嘴角和所述右嘴角之间的连线;
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定所述鼻尖到第二连线之间的第二距离,所述第二连线是指所述左眼中心点和所述右眼中心点之间的连线;
将所述第一距离与所述第二距离之间的比值,确定为所述目标人脸的上下俯仰信息。
可选地,所述待处理人脸图像为三维图像,所述人脸关键点包括左眼、右眼、左嘴角和右嘴角,所述人脸关键点的位置信息包括所述左眼、右眼、左嘴角和右嘴角分别在三维直角坐标系中的坐标,所述三维直角坐标系以所述待处理人脸图像的参考点为坐标原点、以垂直于所述待处理人脸图像的方向为Z轴、以垂直于所述Z轴且相互垂直的两个方向分别为X轴和Y轴;
所述方法还包括:
根据所述左眼和所述右眼在所述三维直角坐标系中的坐标,确定双眼中心点坐标;
根据所述左嘴角和所述右嘴角在所述三维直角坐标系中的坐标,确定嘴角中心点坐标;
确定第六差值与第七差值之间的比值,得到第四正切值,所述第六差值是指所述双眼中心点坐标和所述嘴角中心点坐标中Z轴坐标值的差值,所述第七差值是指所述双眼中心点坐标和所述嘴角中心点坐标中Y轴坐标值的差值;
将所述第四正切值,确定为所述目标人脸的上下俯仰信息。
可选地,所述方法还包括:
若所述上下俯仰信息、左右旋转信息和平面内的旋转信息中的至少一种不在对应的预设信息范围内,则确定所述待处理人脸图像无效。
另一方面,提供了一种人脸姿态的确定装置,所述装置包括:
第一确定模块,用于确定目标人脸中的人脸关键点以及所述人脸关键点的位置信息,所述目标人脸为待处理人脸图像中的人脸;
第二确定模块,用于根据所述人脸关键点的位置信息,确定人脸关键向量;
第三确定模块,用于根据所述人脸关键点的位置信息和所述人脸关键向量,确定所述目标人脸的人脸姿态信息,所述人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。
可选地,所述第一确定模块,用于:
以所述待处理人脸图像的参考点为原点,建立三维直角坐标系,所述三维直角坐标系的X轴平行于所述待处理人脸图像的第一边,Y轴平行于所述待处理人脸图像的第二边,且所述第二边垂直于所述第一边,Z轴垂直于所述X轴和所述Y轴;
确定所述人脸关键点在所述三维直角坐标系中的坐标,将所述人脸关键点在所述三维直角坐标系中的坐标,作为所述人脸关键点的位置信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
可选地,所述人脸关键向量包括以下中的至少一种:
从左眼中心点指向左嘴角的第一向量;
从左嘴角指向左眼中心点的第二向量;
从右眼中心点指向右嘴角的第三向量;
从右嘴角指向右眼中心点的第四向量;
从左眼中心点指向鼻尖的第五向量;
从右眼中心点指向鼻尖的第六向量;
从左嘴角指向鼻尖的第七向量;
从右嘴角指向鼻尖的第八向量;
从左眼中心点指向右眼中心点的第九向量;
从右眼中心点指向左眼中心点的第十向量;
从左嘴角指向右嘴角的第十一向量;
从右嘴角指向左嘴角的第十二向量。
可选地,所述第三确定模块,包括:
第一确定子模块,用于根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息;
第二确定子模块,用于根据所述人脸关键向量,确定所述目标人脸的左右旋转信息;
第三确定子模块,用于根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息。
可选地,所述人脸关键点包括左眼和右眼,所述人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述第一确定子模块,用于:
确定第一差值与第二差值之间的比值,得到第一正切值,所述第一差值是指所述左眼和所述右眼在所述三维直角坐标系中的Y轴坐标值的差值,所述第二差值是指所述左眼和所述右眼在所述三维直角坐标系中的X轴坐标值的差值;
将所述第一正切值,确定为所述目标人脸在平面内的旋转信息。
可选地,所述人脸关键点包括左嘴角和右嘴角,所述人脸关键点的位置信息包括所述左嘴角和所述右嘴角分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述第一确定子模块,用于:
确定第三差值与第四差值之间的比值,得到第二正切值,所述第三差值是指所述左嘴角和所述右嘴角在所述三维直角坐标系中的Y轴坐标值的差值,所述第四差值是指所述左嘴角和所述右嘴角在所述三维直角坐标系中的X轴坐标值的差值;
将所述第二正切值,确定为所述目标人脸在平面内的旋转信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述第二确定子模块,用于:
根据从左眼中心点指向左嘴角的第一向量和从左眼中心点指向鼻尖的第五向量的外积,确定所述第一向量和所述第五向量之间夹角的第一正弦值;将所述第一正弦值,作为所述目标人脸的左旋转信息;
或者,根据从右眼中心点指向右嘴角的第三向量和从右眼中心点指向鼻尖的第六向量的外积,确定所述第三向量和所述第六向量之间夹角的第二正弦值;将所述第二正弦值,作为所述目标人脸的右旋转信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述第二确定子模块,用于:
根据从左嘴角指向左眼中心点的第二向量和从左嘴角指向鼻尖的第七向量的外积,确定所述第二向量和所述第七向量之间夹角的第三正弦值;将所述第三正弦值,作为所述目标人脸的左旋转信息;
或者,根据从右嘴角指向右眼中心点的第四向量和从右嘴角指向鼻尖的第八向量的外积,确定所述第四向量和所述第八向量之间夹角的第四正弦值;将所述第四正弦值,作为所述目标人脸的右旋转信息。
可选地,所述待处理人脸图像为三维图像,所述人脸关键点包括左眼和右眼,所述人脸关键点的位置信息包括所述左眼和所述右眼分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述第二确定子模块,还用于:
确定第五差值与第二差值之间的比值,得到第三正切值,所述第五差值是指所述左眼和所述右眼在所述三维直角坐标系中的Z轴坐标值的差值,所述第二差值是指所述左眼和所述右眼在所述三维直角坐标系中的X轴坐标值的差值;
将所述第三正切值,确定为所述目标人脸的左右旋转信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述第三确定子模块,用于:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者,从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定所述鼻尖到第一连线之间的第一距离,所述第一连线是指所述左嘴角和所述右嘴角之间的连线;
将所述第一距离,确定为所述目标人脸的上下俯仰信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述第三确定子模块,用于:
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者,从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定所述鼻尖到第二连线之间的第二距离,所述第二连线是指所述左眼中心点和所述右眼中心点之间的连线;
将所述第二距离,确定为所述目标人脸的上下俯仰信息。
可选地,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
所述第三确定子模块,用于:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定所述鼻尖到第一连线之间的第一距离,所述第一连线是指所述左嘴角和所述右嘴角之间的连线;
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定所述鼻尖到第二连线之间的第二距离,所述第二连线是指所述左眼中心点和所述右眼中心点之间的连线;
将所述第一距离与所述第二距离之间的比值,确定为所述目标人脸的上下俯仰信息。
可选地,所述待处理人脸图像为三维图像,所述人脸关键点包括左眼、右眼、左嘴角和右嘴角,所述人脸关键点的位置信息包括所述左眼、右眼、左嘴角和右嘴角分别在三维直角坐标系中的坐标,所述三维直角坐标系以所述待处理人脸图像的参考点为坐标原点、以垂直于所述待处理人脸图像的方向为Z轴、以垂直于所述Z轴且相互垂直的两个方向分别为X轴和Y轴;
所述第三确定子模块,还用于:
根据所述左眼和所述右眼在所述三维直角坐标系中的坐标,确定双眼中心点坐标;
根据所述左嘴角和所述右嘴角在所述三维直角坐标系中的坐标,确定嘴角中心点坐标;
确定第六差值与第七差值之间的比值,得到第四正切值,所述第六差值是指所述双眼中心点坐标和所述嘴角中心点坐标中Z轴坐标值的差值,所述第七差值是指所述双眼中心点坐标和所述嘴角中心点坐标中Y轴坐标值的差值;
将所述第四正切值,确定为所述目标人脸的上下俯仰信息。
可选地,所述装置,还包括:
第四确定模块,用于若所述上下俯仰信息、左右旋转信息和平面内的旋转信息中的至少一种不在对应的预设信息范围内,则确定所述待处理人脸图像无效。
另一方面,提供了一种人脸姿态的确定装置,所述装置包括:
图像采集模块,用于采集人脸图像;
处理器,用于确定人脸图像包括的目标人脸中的人脸关键点以及所述人脸关键点的位置信息;根据所述人脸关键点的位置信息,确定人脸关键向量;根据所述人脸关键点的位置信息和所述人脸关键向量,确定所述目标人脸的人脸姿态信息,所述人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。
另一方面,提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为实现上述一方面所述的人脸姿态的确定方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述一方面所述的人脸姿态的确定方法。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述一方面所述的人脸姿态的确定方法。
本申请提供的技术方案至少可以带来以下有益效果:
在本申请实施例中,对于待处理人脸图像中的目标人脸,可以先确定目标人脸中的人脸关键点以及人脸关键点的位置信息,然后根据人脸关键点的位置信息,确定人脸关键向量,再根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。本申请可以根据人脸关键点和人脸关键向量直接确定人脸姿态,无需使用大量样本提前训练神经网络,算法简单,而且提高了确定人脸姿态的速率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人脸姿态确定***的示意图;
图2是本申请实施例提供的一种人脸姿态的确定方法的流程图;
图3是本申请实施例提供的一种人脸关键点的示意图;
图4是本申请实施例提供的一种人脸关键向量的示意图;
图5是本申请实施例提供了一种人脸姿态的确定装置的结构示意图;
图6是本申请实施例提供了一种终端的结构框图;
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供人脸姿态的确定方法进行详细的解释说明之前,先对本申请实施例涉及的实施环境进行介绍。
本申请实施例提供的人脸姿态的确定方法应用于电子设备中,该电子设备可以为终端或服务器等。示例的,终端可以为PC(Personal Computer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、可穿戴设备、PPC(Pocket PC,掌上电脑)、平板电脑、智能车机、智能电视、移动摄像头、拍摄机器人等各种包含有摄像头装置的电子设备。服务器可以为一些应用的后台服务器。
作为一个示例,该电子设备可以包括图像采集模块和处理器,图像采集模块可以为摄像组件等。
其中,图像采集模块,用于采集人脸图像。
其中,处理器,用于确定人脸图像包括的目标人脸的人脸关键点以及人脸关键点的位置信息;根据人脸关键点的位置信息,确定人脸关键向量;根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。
参见图1,图1是本申请实施例提供的一种人脸姿态确定***的示意图,如图1所示,该人脸姿态的确定***100包括多个终端101和服务器102,任一终端101和服务器102之间通过有线或者无线的方式连接以进行通信。
对于多个终端101中任一终端101,终端101携带有摄像头,可以将拍摄的人脸图像上报到服务器102。服务器102接收到人脸图像之后,对人脸图像进行人脸检测,以确定人脸关键点,进而根据人脸关键点,确定人脸关键向量,并按照本申请实施例提供的方法,根据人脸关键点和人脸关键向量确定人脸姿态信息。
本申请实施例提供的人脸姿态确定方法由服务器102来执行。终端101可以为手机、台式计算机、笔记本电脑、车载终端、移动摄像头、拍摄机器人等各种包含有摄像头装置的电子设备,图1中仅仅是以2个手机作为终端进行举例说明,并不构成对本申请实施例的限定。
在另一种可能的实现方式中,本申请实施例提供的人脸姿态的确定方法也可以由终端101来执行,该终端101同时也具备数据处理能力。
在介绍完本申请实施例涉及的实施环境后,接下来结合附图先对本申请实施例提供的人脸姿态的确定方法进行详细的解释说明。
图2是本申请实施例提供的一种人脸姿态的确定方法的流程图,该方法可以应用于电子设备中,该电子设备可以为终端或服务器等。请参考图2,该方法包括如下步骤:
步骤201:确定目标人脸中的人脸关键点以及人脸关键点的位置信息,目标人脸为待处理人脸图像中的人脸。
其中,人脸关键点是用来识别人脸五官的,对于待处理人脸图像,可以通过人脸检测技术确定人脸关键点。进一步地,可以建立坐标系以准确地确定人脸关键点的位置信息,人脸关键点的位置信息可以反映人脸关键点的位置变化情况,进而体现人脸的姿态变化情况。
需要说明的是,待处理人脸图像可以是电子设备的摄像头自行拍摄得到,可以从存储空间中获取得到,也可以是由其他设备发送得到的,本申请对此不做限制。
参见图3,图3是本申请实施例提供的一种人脸关键点的示意图,通常,人脸关键点可以有106个、81个或68个等。如图3中(a)所示,在人脸的姿态发生变化时,相应的人脸关键点的位置也发生变化。作为一个示例,当人张开嘴巴大笑时,用于指示嘴巴的人脸关键点的坐标将发生相应的变化。
需要说明的是,为了快速的确定人脸姿态,本申请对人脸关键点进行筛选,选择在人脸姿态变化中必然发生变化的几个核心的人脸关键点,将其作为后续确定人脸姿态信息时的人脸关键点,如图3中(b)所示,本申请用于确定人脸姿态信息的人脸关键点包括:左眼、右眼、鼻尖、左嘴角和右嘴角。
需要说明的是,由于人脸姿态的确定是通过分析待处理人脸图像,确定的人脸姿态信息,因此,在检测到人脸关键点后,进一步地,需要确定人脸关键点的位置信息。
作为一个示例,确定目标人脸中的人脸关键点的位置信息的过程为:以待处理人脸图像的参考点为坐标原点,建立三维直角坐标系,再确定人脸关键点在该三维直角坐标系中的坐标,将人脸关键点在三维直角坐标系中的坐标,作为人脸关键点的位置信息。
其中,该三维直角坐标系可以以待处理人脸图像的参考点为坐标原点、以垂直于待处理人脸图像的方向为Z轴、以垂直于Z轴且相互垂直的两个方向分别为X轴和Y轴。比如,三维直角坐标系的X轴平行于待处理人脸图像的第一边,Y轴平行于待处理人脸图像的第二边,且第二边垂直于第一边,Z轴垂直于X轴和Y轴。
其中,参考点是用于建立三维直角坐标系时,作为坐标原点的一个点,参考点可以是待处理人脸图像中的任一点,可以根据实际需要,预先设定参考点的选取方式。例如,参考点可以为待处理人脸图像的任一角或中心点等,比如,参考点为待处理人脸图像的左上角、左下角、右上角和右下角等。
作为一个示例,如图3中(b)所示,若参考点为图片的左上角,则以左上角为坐标原点,以AB边为X轴,以AC边为Y轴,以垂直于X轴和Y轴的轴为Z轴,建立三维直角坐标系,进而在该三维直角坐标系中确定人脸关键点的位置信息。
作为一个示例,待处理人脸图像的参考点可以是图中3中(a)中的A点、B点、C点、D点或E点,当参考点选在待处理人脸图像的四角时,更有可能确定人脸完整的姿态信息。参考点可以预先设定,只要在待处理人脸图像中即可,本申请对参考点的位置不做限定。
步骤202:根据人脸关键点的位置信息,确定人脸关键向量。
其中,人脸关键向量是人脸关键点中任意两个人脸关键点构成的向量。
示例的,人脸关键向量可以包括以下中的至少一种:从左眼中心点指向左嘴角的第一向量;从左嘴角指向左眼中心点的第二向量;从右眼中心点指向右嘴角的第三向量;从右嘴角指向右眼中心点的第四向量;从左眼中心点指向鼻尖的第五向量;从右眼中心点指向鼻尖的第六向量;从左嘴角指向鼻尖的第七向量;从右嘴角指向鼻尖的第八向量;从左眼中心点指向右眼中心点的第九向量;从右眼中心点指向左眼中心点的第十向量;从左嘴角指向右嘴角的第十一向量;从右嘴角指向左嘴角的第十二向量。
参见图4,图4是本申请实施例提供的一种人脸关键向量的示意图。如图4所示,图4中的“1”用于标识从左眼中心点指向左嘴角的第一向量,“2”用于标识从左嘴角指向左眼中心点的第二向量,以此类推。
需要说明的是,由于向量具有方向性,为了便于后续说明,通过左眼坐标和右眼坐标确定的人脸关键向量包括:从左眼中心点指向左嘴角的第一向量,以及左嘴角指向左眼中心点的第二向量。其他人脸关键向量的确定方式以此类推,在此不进行不一一赘述。
此外,在确定人脸姿态之前,对于待处理人脸图像,在采集图像时,若目标人脸距离拍摄镜头的距离过近,补光太强导致反光严重,人脸的瞳孔间距也将变大,采集的人脸图像包含的人脸信息可能不完整,不利于判断人脸姿态。同理,若目标人脸距离拍摄镜头的距离过远,人脸的瞳孔间距也将变小,采集的人脸图像包含的人脸信息可能不清楚,不利于判断人脸姿态。因此,为了保证人脸姿态信息的有效性,可以预先对待处理人脸图像进行筛选。作为一个示例,可以基于待处理人脸图像中目标人脸的瞳孔间距对待处理人脸图像进行筛选。其中,瞳孔间距可以用左眼和右眼在三维直角坐标系中的X轴坐标值的差值来表示。
其中,筛选时可以预先设定瞳孔间距的适用范围。若目标人脸的瞳孔间距在该适用范围时,则确定待处理人脸图像有效,继续执行步骤203。若目标人脸的瞳孔间距不在该适用范围时,则确定待处理人脸图像无效,不再执行后续步骤203。
作为一个示例,将瞳孔间距记作IPD,左眼的X轴坐标值记为le_x,右眼的X轴坐标值记为re_x,则IPD=re_x-le_x,或者,IPD=le_x-re_x。
例如,若预先确定IPD的最小值为100,IPD的最大值为500,当目标人脸的瞳孔间距IPD满足100<IPD<500时,确定待处理人脸图像有效。
步骤203:根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。
作为一个示例,根据人脸关键点的位置信息和人脸关键向量,确定人脸姿态的实现过程可以为:根据人脸关键点的位置信息,确定目标人脸在平面内的旋转信息;根据人脸关键向量,确定目标人脸的左右旋转信息;根据人脸关键向量,确定目标人脸的上下俯仰信息。
在对上述三方面确定人脸姿态信息进行进一步的解释说明之前,先假定在待处理人脸图像中,目标人脸的人脸关键点为左眼el、右眼er、鼻尖n、左嘴角ml和右嘴角mr。这五个关键点在三维直角坐标系中的坐标分别为:左眼el(el_x,el_y,el_z)、右眼er(er_x,er_y,er_z)、鼻尖n(n_x,n_y,n_z)、左嘴角ml(ml_x,ml_y,ml_z)和右嘴角mr(mr_x,mr_y,mr_z)。
需要说明的是,人脸关键点的位置信息可以是三维数据,也可以是二维数据,作为一个示例,若人脸关键点在三维直角坐标系中Z轴的坐标值为0,则该人脸关键点的坐标可以为(x,y,0),也可以是(x,y)。
同样的,人脸关键向量可以表示为:从左眼中心点指向左嘴角的第一向量表示为el2ml,从左嘴角指向左眼中心点的第二向量表示为ml2el。以此类推。
需要说明的是,后续说明举例可使用上述表示进行解释说明。接下来将对上述三个方面的实现过程进行详细说明。
(1)根据人脸关键点的位置信息,确定目标人脸在平面内的旋转信息。
其中,目标人脸在平面内的旋转信息是基于建立的三维直角坐标系中X轴和Y轴所在的平面确定的,也即是,确定目标人脸在X轴和Y轴所在平面内的旋转信息,该旋转信息可以通过人脸关键向量之间夹角的正切值来表示。
需要说明的是,当目标人脸在平面内的人脸姿态发生变化时,目标人脸的左眼和右眼的之间的相对位置也将发生变化。也即是,可以根据左眼和右眼的位置信息确定目标人脸在平面内的旋转信息。
因此,在一种可能的实现方式中,人脸关键点包括左眼和右眼,人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,三维直角坐标系以待处理人脸图像的参考点为坐标原点、以垂直于所述待处理人脸图像的方向为Z轴、以垂直于所述Z轴且相互垂直的两个方向分别为X轴和Y轴。
根据人脸关键点的位置信息,确定目标人脸在平面内的旋转信息的实现过程为:确定第一差值与第二差值之间的比值,得到第一正切值,将第一正切值,确定为目标人脸在平面内的旋转信息。其中,第一差值是指左眼和右眼在三维直角坐标系中的Y轴坐标值的差值,第二差值是指左眼和右眼在三维直角坐标系中的X轴坐标值的差值。
进一步地,为了避免出现负值,还可以将第一正切值的绝对值,确定为目标人脸在平面内的旋转信息。
作为一个示例,在建立的三维直角坐标系中,取人脸关键点的数据为二维数据,比如,左眼el的坐标为(el_x,el_y),右眼er的坐标为(er_x,er_y),第一正切值用roll_eye表示,为了避免出现负值,对于确定第一差值与第二差值之间的比值,通过abs取其绝对值,则可以通过下述公式(1)确定目标人脸在平面内的旋转信息:
或者,通过下述公式(2)确定目标人脸在平面内的旋转信息:
此外,当目标人脸在平面内的人脸姿态发生变化时,目标人脸的左嘴角和右嘴角的之间的相对位置也将发生变化。也即是,可以根据左嘴角和右嘴角的位置信息确定目标人脸在平面内的旋转信息。
因此,在另一种可能的实现方式中,人脸关键点包括左嘴角和右嘴角,人脸关键点的位置信息包括左嘴角和右嘴角分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系。
根据人脸关键点的位置信息,确定目标人脸在平面内的旋转信息的实现过程为:确定第三差值与第四差值之间的比值,得到第二正切值,将第二正切值,确定为目标人脸在平面内的旋转信息。其中,第三差值是指左嘴角和右嘴角在三维直角坐标系中的Y轴坐标值的差值,第四差值是指左嘴角和右嘴角在三维直角坐标系中的X轴坐标值的差值。
进一步地,为了避免出现负值,还可以将第二正切值的绝对值,确定为目标人脸在平面内的旋转信息。
作为一个示例,在建立的三维直角坐标系中,取人脸关键点的数据为二维数据,比如,左嘴角ml的坐标为(ml_x,ml_y),右嘴角mr的坐标为(mr_x,mr_y),第二正切值用roll_mouth表示,为了避免出现负值,对于确定第三差值与第四差值之间的比值,通过abs取其绝对值,则可以通过下述公式(3)确定目标人脸在平面内的旋转信息:
或者,通过下述公式(4)确定目标人脸在平面内的旋转信息:
(2)根据人脸关键向量,确定目标人脸的左右旋转信息;
其中,目标人脸可以向左旋转,也可以向右旋转,因此,目标人脸的左右旋转信息包括左旋转信息或右旋转信息。
对于获取的待处理人脸图像,若待处理人脸图像为二维图像,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角,则根据人脸关键向量确定目标人脸的左右旋转信息,包括以下两种可能的实现方式。
在一种可能的实现方式中,根据从左眼中心点指向左嘴角的第一向量和从左眼中心点指向鼻尖的第五向量的外积,确定第一向量和第五向量之间夹角的第一正弦值,将第一正弦值,作为目标人脸的左旋转信息;或者,根据从右眼中心点指向右嘴角的第三向量和从右眼中心点指向鼻尖的第六向量的外积,确定第三向量和所述第六向量之间夹角的第二正弦值,将第二正弦值,作为目标人脸的右旋转信息。
作为一个示例,在建立的三维直角坐标系中,从左眼中心点指向左嘴角的第一向量表示为el2ml,从左眼中心点指向鼻尖的第五向量表示为el2n,第一正弦值用yaw_eln表示,则可以通过下述公式(5)确定目标人脸的左旋转信息:
在建立的三维直角坐标系中,从右眼中心点指向右嘴角的第三向量表示为er2mr,从右眼中心点指向鼻尖的第六向量表示为er2n,第二正弦值用yaw_ern表示,则可以通过下述公式(6)确定目标人脸的右旋转信息:
需要说明的是,当目标人脸的鼻尖位于在眼睛和嘴角的连线内侧时,第一正弦值和第二正弦值的数值为正,否则为负值。
在另一种可能的实现方式中,根据从左嘴角指向左眼中心点的第二向量和从左嘴角指向鼻尖的第七向量的外积,确定第二向量和第七向量之间夹角的第三正弦值,将第三正弦值,作为目标人脸的左旋转信息;或者,根据从右嘴角指向右眼中心点的第四向量和从右嘴角指向鼻尖的第八向量的外积,确定第四向量和第八向量之间夹角的第四正弦值,将第四正弦值,作为目标人脸的右旋转信息。
作为一个示例,在建立的三维直角坐标系中,从左嘴角指向左眼中心点的第二向量表示为ml2el,从左嘴角指向鼻尖的第七向量表示为ml2n,第三正弦值用yaw_mln表示,则可以通过下述公式(7)确定目标人脸的左旋转信息:
在建立的三维直角坐标系中,从右嘴角指向右眼中心点的第四向量表示为mr2er,从右嘴角指向鼻尖的第八向量表示为mr2n,第四正弦值用yaw_mrn表示,则可以通过下述公式(8)确定目标人脸的右旋转信息:
需要说明的是,当目标人脸的鼻尖位于在眼睛和嘴角的连线内侧时,第三正弦值和第四正弦值的数值为正,否则为负值。
对于获取的待处理人脸图像,若待处理人脸图像为三维图像,人脸关键点包括左眼和右眼,人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系,则根据人脸关键点确定目标人脸的左右旋转信息的实现过程还可以为:确定第五差值与第二差值之间的比值,得到第三正切值,将第三正切值,确定为目标人脸的左右旋转信息。其中,第五差值是指左眼和右眼在三维直角坐标系中的Z轴坐标值的差值,第二差值是指左眼和右眼在三维直角坐标系中的X轴坐标值的差值。
进一步地,为了避免出现负值,可以将第三正切值的绝对值,确定为目标人脸的左右旋转信息。
作为一个示例,在建立的三维直角坐标系中,取人脸关键点的数据为三维数据,比如,左眼el的坐标为(el_x,el_y,el_z),右眼er的坐标为(er_x,er_y,el_z),第三正切值用yaw_eye表示,为了避免出现负值,对于确定第五差值与第二差值之间的比值,通过abs取其绝对值,则可以通过下述公式(9)确定目标人脸在平面内的旋转信息:
或者,通过下述公式(10)确定目标人脸在平面内的旋转信息:
(3)根据人脸关键向量,确定目标人脸的上下俯仰信息。
其中,对于待处理人脸图像,目标人脸在抬头或低头的过程中,鼻尖到双眼连线的距离会发生变化,同样地,鼻尖到左嘴角与右嘴角之间的连线的距离也会发生变化,因此,可以根据上述两种距离确定目标人脸的上下俯仰信息。
作为一个示例,若人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角,则根据人脸关键向量确定目标人脸的上下俯仰信息,可以包括以下三种可能的实现方式。
在第一种可能的实现方式中,根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者,从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定鼻尖到第一连线之间的第一距离,将第一距离,确定为目标人脸的上下俯仰信息。其中,第一连线是指左嘴角和右嘴角之间的连线。
作为一个示例,在建立的三维直角坐标系中,从左嘴角指向鼻尖的第七向量表示为ml2n,从左嘴角指向右嘴角的第十一向量表示为ml2mr,第一距离用dnm表示,则可以通过下述公式(11)确定目标人脸的上下俯仰信息:
在建立的三维直角坐标系中,从右嘴角指向鼻尖的第八向量表示为mr2n,从右嘴角指向左嘴角的第十二向量表示为mr2ml,第一距离用dnm表示,则可以通过下述公式(12)确定目标人脸的上下俯仰信息:
在第二种可能的实现方式中,根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者,从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定鼻尖到第二连线之间的第二距离,将第二距离,确定为目标人脸的上下俯仰信息。其中,第二连线是指左眼中心点和右眼中心点之间的连线。
作为一个示例,在建立的三维直角坐标系中,从左眼中心点指向鼻尖的第五向量表示为el2n,从左眼中心点指向右眼中心点的第九向量表示为el2er,第二距离用dne表示,则可以通过下述公式(13)确定目标人脸的上下俯仰信息:
在建立的三维直角坐标系中,从右眼中心点指向鼻尖的第六向量表示为er2n,从右眼中心点指向左眼中心点的第十向量表示为er2el,第二距离用dne表示,则可以通过下述公式(14)确定目标人脸的上下俯仰信息:
在第三种可能的实现方式中,根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定鼻尖到第一连线之间的第一距离;根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定鼻尖到第二连线之间的第二距离;将第一距离与第二距离之间的比值,确定为目标人脸的上下俯仰信息。
在另一实施例中,还可以将第一距离与第二距离之间的比值,以及第一距离和第二距离中的至少一种,确定为目标人脸的上下俯仰信息。
作为一个示例,可以采用下述公式(15)确定目标人脸的上下俯仰信息:
其中,ds为目标人脸的上下俯仰信息,dnm为第一距离,dne为第二距离。
在另一种实现方式中,若待处理人脸图像为三维图像,人脸关键点包括左眼、右眼、左嘴角和右嘴角,人脸关键点的位置信息包括左眼、右眼、左嘴角和右嘴角分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系。则根据人脸关键点,确定目标人脸的上下俯仰信息的实现过程还可以为:根据左眼和右眼在三维直角坐标系中的坐标,确定双眼中心点坐标;根据左嘴角和右嘴角在三维直角坐标系中的坐标,确定嘴角中心点坐标;确定第六差值与第七差值之间的比值,得到第四正切值,将第四正切值,确定为目标人脸的上下俯仰信息。其中,第六差值是指双眼中心点坐标和嘴角中心点坐标中Z轴坐标值的差值,第七差值是指双眼中心点坐标和嘴角中心点坐标中Y轴坐标值的差值。
进一步地,为了避免出现负值,还可以将第四正切值的绝对值,确定为目标人脸的上下俯仰信息。
作为一个示例,在建立的三维直角坐标系中,取人脸关键点的数据为三维数据,比如,左眼el的坐标为(el_x,el_y,el_z),右眼er的坐标为(er_x,er_y,el_z),左嘴角的ml的坐标为(el_x,el_y,el_z),右嘴角的坐标为(er_x,er_y,el_z)。
根据左眼的位置信息和右眼的位置信息,确定的双眼中心点ec的坐标为(ec_x,ec_y,ec_z),其中,ec_y和ec_z采用类似的方法确定。
根据左嘴角的位置信息和右嘴角的位置信息,确定的嘴角中心点mc的坐标(mc_x,mc_y,mc_z),其中,mc_y和mc_z采用类似的方法确定。/>
第四正切值用pitch表示,为了避免出现负值,对于确定第六差值与第七差值之间的比值,通过abs取其绝对值,则可以通过下述公式(16)确定目标人脸的上下俯仰信息:
或者,通过下述公式(17)确定目标人脸的上下俯仰信息:
基于上述图2实施例所示人脸姿态确定方法,在确定目标人脸姿态信息后,还可以将目标人脸姿态信息与预设的阈值信息进行比较,以在后续图像处理等其他操作之前,保留有效的人脸图像,删除掉无效的人脸图像,以减少数据处理量。
在一种可能的实现方式中,待处理人脸图像的筛选过程可以为:若上下俯仰信息、左右旋转信息和平面内的旋转信息中的至少一种在对应的预设信息范围,则确定待处理人脸图像无效。
其中,上下俯仰信息对应的预设信息范围可以用最大俯仰值表示,当确定的目标人脸的上下俯仰信息大于该最大俯仰值时,则确定待处理人脸图像无效。
设置的左右旋转信息对应的预设信息范围可以用左旋最大值和右旋最大值表示,当确定目标人脸的左旋转信息大于该左旋最大值时,则确定待处理人脸图像无效;当确定目标人脸的右旋转信息大于该右旋最大值时,则确定待处理人脸图像无效;或者,当确定目标人脸的左右旋转信息不在(左旋最大值,右旋最大值)区间内时,则确定待处理人脸图像无效。
设置的平面内的旋转信息对应的预设信息范围可以用最大旋转值表示,当确定的目标人脸在平面内的旋转信息大于该最大旋转值时,则确定待处理人脸图像无效。
综上所述,在本申请实施例中,对于待处理人脸图像中的目标人脸,可以先确定目标人脸中的人脸关键点以及人脸关键点的位置信息,然后根据人脸关键点的位置信息,确定人脸关键向量,再根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。本申请可以根据人脸关键点和人脸关键向量直接确定人脸姿态,无需使用大量样本提前训练神经网络,算法简单,而且提高了确定人脸姿态的速率。
参见图5,图5是本申请实施例提供了一种人脸姿态的确定装置的结构示意图,该装置500可以由软件、硬件或者两者的结合实现。该装置500可以包括:
第一确定模块501,用于确定目标人脸中的人脸关键点以及人脸关键点的位置信息,目标人脸为待处理人脸图像中的人脸;
第二确定模块502,用于根据人脸关键点的位置信息,确定人脸关键向量;
第三确定模块503,用于根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。
可选地,第一确定模块501,用于:
以待处理人脸图像的参考点为原点,建立三维直角坐标系,三维直角坐标系的X轴平行于待处理人脸图像的第一边,Y轴平行于待处理人脸图像的第二边,且第二边垂直于第一边,Z轴垂直于X轴和Y轴;
确定人脸关键点在三维直角坐标系中的坐标,将人脸关键点在三维直角坐标系中的坐标,作为人脸关键点的位置信息。
可选地,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。
可选地,人脸关键向量包括以下中的至少一种:
从左眼中心点指向左嘴角的第一向量;
从左嘴角指向左眼中心点的第二向量;
从右眼中心点指向右嘴角的第三向量;
从右嘴角指向右眼中心点的第四向量;
从左眼中心点指向鼻尖的第五向量;
从右眼中心点指向鼻尖的第六向量;
从左嘴角指向鼻尖的第七向量;
从右嘴角指向鼻尖的第八向量;
从左眼中心点指向右眼中心点的第九向量;
从右眼中心点指向左眼中心点的第十向量;
从左嘴角指向右嘴角的第十一向量;
从右嘴角指向左嘴角的第十二向量。
可选地,第三确定模块503,包括:
第一确定子模块,用于根据人脸关键点的位置信息,确定目标人脸在平面内的旋转信息;
第二确定子模块,用于根据人脸关键向量,确定目标人脸的左右旋转信息;
第三确定子模块,用于根据人脸关键向量,确定目标人脸的上下俯仰信息。
可选地,人脸关键点包括左眼和右眼,人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系;
第一确定子模块,用于:
确定第一差值与第二差值之间的比值,得到第一正切值,第一差值是指左眼和右眼在三维直角坐标系中的Y轴坐标值的差值,第二差值是指左眼和右眼在三维直角坐标系中的X轴坐标值的差值;
将第一正切值,确定为目标人脸在平面内的旋转信息。
可选地,人脸关键点包括左嘴角和右嘴角,人脸关键点的位置信息包括左嘴角和右嘴角分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系;
第一确定子模块,用于:
确定第三差值与第四差值之间的比值,得到第二正切值,第三差值是指左嘴角和右嘴角在三维直角坐标系中的Y轴坐标值的差值,第四差值是指左嘴角和右嘴角在三维直角坐标系中的X轴坐标值的差值;
将第二正切值,确定为目标人脸在平面内的旋转信息。
可选地,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
第二确定子模块,用于:
根据从左眼中心点指向左嘴角的第一向量和从左眼中心点指向鼻尖的第五向量的外积,确定第一向量和第五向量之间夹角的第一正弦值;将第一正弦值,作为目标人脸的左旋转信息;
或者,根据从右眼中心点指向右嘴角的第三向量和从右眼中心点指向鼻尖的第六向量的外积,确定第三向量和第六向量之间夹角的第二正弦值;将第二正弦值,作为目标人脸的右旋转信息。
可选地,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
第二确定子模块,用于:
根据从左嘴角指向左眼中心点的第二向量和从左嘴角指向鼻尖的第七向量的外积,确定第二向量和第七向量之间夹角的第三正弦值;将第三正弦值,作为目标人脸的左旋转信息;
或者,根据从右嘴角指向右眼中心点的第四向量和从右嘴角指向鼻尖的第八向量的外积,确定第四向量和第八向量之间夹角的第四正弦值;将第四正弦值,作为目标人脸的右旋转信息。
可选地,待处理人脸图像为三维图像,人脸关键点包括左眼和右眼,人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系;
第二确定子模块,还用于:
确定第五差值与第二差值之间的比值,得到第三正切值,第五差值是指左眼和右眼在三维直角坐标系中的Z轴坐标值的差值,第二差值是指左眼和右眼在三维直角坐标系中的X轴坐标值的差值;
将第三正切值,确定为目标人脸的左右旋转信息。
可选地,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
第三确定子模块,用于:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者,从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定鼻尖到第一连线之间的第一距离,第一连线是指左嘴角和右嘴角之间的连线;
将第一距离,确定为目标人脸的上下俯仰信息。
可选地,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
第三确定子模块,用于:
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者,从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定鼻尖到第二连线之间的第二距离,第二连线是指左眼中心点和右眼中心点之间的连线;
将第二距离,确定为目标人脸的上下俯仰信息。
可选地,人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
第三确定子模块,用于:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定鼻尖到第一连线之间的第一距离,第一连线是指左嘴角和右嘴角之间的连线;
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定鼻尖到第二连线之间的第二距离,第二连线是指左眼中心点和右眼中心点之间的连线;
将第一距离与第二距离之间的比值,确定为目标人脸的上下俯仰信息。
可选地,待处理人脸图像为三维图像,人脸关键点包括左眼、右眼、左嘴角和右嘴角,人脸关键点的位置信息包括左眼、右眼、左嘴角和右嘴角分别在三维直角坐标系中的坐标,三维直角坐标系为以待处理人脸图像的参考点为原点建立的三维直角坐标系;
第三确定子模块,还用于:
根据左眼和右眼在三维直角坐标系中的坐标,确定双眼中心点坐标;
根据左嘴角和右嘴角在三维直角坐标系中的坐标,确定嘴角中心点坐标;
确定第六差值与第七差值之间的比值,得到第四正切值,第六差值是指双眼中心点坐标和嘴角中心点坐标中Z轴坐标值的差值,第七差值是指双眼中心点坐标和嘴角中心点坐标中Y轴坐标值的差值;
将第四正切值,确定为目标人脸的上下俯仰信息。
可选地,装置500,还包括:
第四确定模块504,用于若上下俯仰信息、左右旋转信息和平面内的旋转信息中的至少一种不在对应的预设信息范围内,则确定待处理人脸图像无效。
在本申请实施例中,对于待处理人脸图像中的目标人脸,可以先确定目标人脸中的人脸关键点以及人脸关键点的位置信息,然后根据人脸关键点的位置信息,确定人脸关键向量,再根据人脸关键点的位置信息和人脸关键向量,确定目标人脸的人脸姿态信息,人脸姿态信息包括上下俯仰信息、左右旋转信息和平面内的旋转信息。本申请可以根据人脸关键点和人脸关键向量直接确定人脸姿态,无需使用大量样本提前训练神经网络,算法简单,而且提高了确定人脸姿态的速率。
需要说明的是:上述实施例提供的人脸姿态的确定装置在确定人脸姿态时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的人脸姿态的确定装置与人脸姿态的确定方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
参见图6,图6示出了本申请一个示例性实施例提供的终端600的结构框图。该终端600可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的人脸姿态的确定方法。
在一些实施例中,终端600还可选包括有:***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地,***设备包括:射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
***设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
参见图7,图7是本申请实施例提供的一种服务器700的结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)701和一个或一个以上的存储器702,其中,所述存储器702中存储有至少一条指令,所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的人脸姿态的确定方法。当然,该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器700还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述人脸姿态的确定方法。
本申请还提供了一种计算机程序产品,当该计算机程序产品被执行时,其用于实现上述人脸姿态的确定方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种人脸姿态的确定方法,其特征在于,所述方法包括:
确定目标人脸中的人脸关键点以及所述人脸关键点的位置信息,所述目标人脸为待处理人脸图像中的人脸,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;
根据所述人脸关键点的位置信息,确定人脸关键向量;
根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息;
根据所述人脸关键向量,确定所述目标人脸的左右旋转信息;
根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息;
其中,所述根据所述人脸关键向量,确定所述目标人脸的左右旋转信息,包括:
根据从左眼中心点指向左嘴角的第一向量和从左眼中心点指向鼻尖的第五向量的外积,确定所述第一向量和所述第五向量之间夹角的第一正弦值;将所述第一正弦值,作为所述目标人脸的左旋转信息;
或者,根据从右眼中心点指向右嘴角的第三向量和从右眼中心点指向鼻尖的第六向量的外积,确定所述第三向量和所述第六向量之间夹角的第二正弦值;将所述第二正弦值,作为所述目标人脸的右旋转信息。
2.如权利要求1所述的方法,其特征在于,所述确定目标人脸中的人脸关键点的位置信息,包括:
以所述待处理人脸图像的参考点为原点,建立三维直角坐标系,所述三维直角坐标系的X轴平行于所述待处理人脸图像的第一边,Y轴平行于所述待处理人脸图像的第二边,且所述第二边垂直于所述第一边,Z轴垂直于所述X轴和所述Y轴;
确定所述人脸关键点在所述三维直角坐标系中的坐标,将所述人脸关键点在所述三维直角坐标系中的坐标,作为所述人脸关键点的位置信息。
3.如权利要求1所述的方法,其特征在于,所述人脸关键向量包括以下中的至少一种:
从左眼中心点指向左嘴角的第一向量;
从左嘴角指向左眼中心点的第二向量;
从右眼中心点指向右嘴角的第三向量;
从右嘴角指向右眼中心点的第四向量;
从左眼中心点指向鼻尖的第五向量;
从右眼中心点指向鼻尖的第六向量;
从左嘴角指向鼻尖的第七向量;
从右嘴角指向鼻尖的第八向量;
从左眼中心点指向右眼中心点的第九向量;
从右眼中心点指向左眼中心点的第十向量;
从左嘴角指向右嘴角的第十一向量;
从右嘴角指向左嘴角的第十二向量。
4.如权利要求1所述的方法,其特征在于,所述人脸关键点的位置信息包括左眼和右眼分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息,包括:
确定第一差值与第二差值之间的比值,得到第一正切值,所述第一差值是指所述左眼和所述右眼在所述三维直角坐标系中的Y轴坐标值的差值,所述第二差值是指所述左眼和所述右眼在所述三维直角坐标系中的X轴坐标值的差值;
将所述第一正切值,确定为所述目标人脸在平面内的旋转信息。
5.如权利要求1所述的方法,其特征在于,所述人脸关键点的位置信息包括所述左嘴角和所述右嘴角分别在三维直角坐标系中的坐标,所述三维直角坐标系为以所述待处理人脸图像的参考点为原点建立的三维直角坐标系;
所述根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息,包括:
确定第三差值与第四差值之间的比值,得到第二正切值,所述第三差值是指所述左嘴角和所述右嘴角在所述三维直角坐标系中的Y轴坐标值的差值,所述第四差值是指所述左嘴角和所述右嘴角在所述三维直角坐标系中的X轴坐标值的差值;
将所述第二正切值,确定为所述目标人脸在平面内的旋转信息。
6.如权利要求1所述的方法,其特征在于,所述根据所述人脸关键向量,确定所述目标人脸的左右旋转信息,还包括:
根据从左嘴角指向左眼中心点的第二向量和从左嘴角指向鼻尖的第七向量的外积,确定所述第二向量和所述第七向量之间夹角的第三正弦值;将所述第三正弦值,作为所述目标人脸的左旋转信息;
或者,根据从右嘴角指向右眼中心点的第四向量和从右嘴角指向鼻尖的第八向量的外积,确定所述第四向量和所述第八向量之间夹角的第四正弦值;将所述第四正弦值,作为所述目标人脸的右旋转信息。
7.如权利要求1所述的方法,其特征在于,所述待处理人脸图像为三维图像,所述人脸关键点的位置信息包括所述左眼和所述右眼分别在三维直角坐标系中的坐标,所述三维直角坐标系以所述待处理人脸图像的参考点为坐标原点、以垂直于所述待处理人脸图像的方向为Z轴、以垂直于所述Z轴且相互垂直的两个方向分别为X轴和Y轴;
所述方法还包括:
确定第五差值与第二差值之间的比值,得到第三正切值,所述第五差值是指所述左眼和所述右眼在所述三维直角坐标系中的Z轴坐标值的差值,所述第二差值是指所述左眼和所述右眼在所述三维直角坐标系中的X轴坐标值的差值;
将所述第三正切值,确定为所述目标人脸的左右旋转信息。
8.如权利要求1所述的方法,其特征在于,所述根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息,包括:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者,从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定所述鼻尖到第一连线之间的第一距离,所述第一连线是指所述左嘴角和所述右嘴角之间的连线;
将所述第一距离,确定为所述目标人脸的上下俯仰信息。
9.如权利要求1所述的方法,其特征在于,所述根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息,包括:
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者,从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定所述鼻尖到第二连线之间的第二距离,所述第二连线是指所述左眼中心点和所述右眼中心点之间的连线;
将所述第二距离,确定为所述目标人脸的上下俯仰信息。
10.如权利要求1所述的方法,其特征在于,所述根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息,包括:
根据从左嘴角指向鼻尖的第七向量和从左嘴角指向右嘴角的第十一向量的外积,或者从右嘴角指向鼻尖的第八向量和从右嘴角指向左嘴角的第十二向量的外积,确定所述鼻尖到第一连线之间的第一距离,所述第一连线是指所述左嘴角和所述右嘴角之间的连线;
根据从左眼中心点指向鼻尖的第五向量和从左眼中心点指向右眼中心点的第九向量的外积,或者从右眼中心点指向鼻尖的第六向量和从右眼中心点指向左眼中心点的第十向量的外积,确定所述鼻尖到第二连线之间的第二距离,所述第二连线是指所述左眼中心点和所述右眼中心点之间的连线;
将所述第一距离与所述第二距离之间的比值,确定为所述目标人脸的上下俯仰信息。
11.如权利要求1所述的方法,其特征在于,所述待处理人脸图像为三维图像,所述人脸关键点的位置信息包括所述左眼、右眼、左嘴角和右嘴角分别在三维直角坐标系中的坐标,所述三维直角坐标系以所述待处理人脸图像的参考点为坐标原点、以垂直于所述待处理人脸图像的方向为Z轴、以垂直于所述Z轴且相互垂直的两个方向分别为X轴和Y轴;
所述方法还包括:
根据所述左眼和所述右眼在所述三维直角坐标系中的坐标,确定双眼中心点坐标;
根据所述左嘴角和所述右嘴角在所述三维直角坐标系中的坐标,确定嘴角中心点坐标;
确定第六差值与第七差值之间的比值,得到第四正切值,所述第六差值是指所述双眼中心点坐标和所述嘴角中心点坐标中Z轴坐标值的差值,所述第七差值是指所述双眼中心点坐标和所述嘴角中心点坐标中Y轴坐标值的差值;
将所述第四正切值,确定为所述目标人脸的上下俯仰信息。
12.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述上下俯仰信息、左右旋转信息和平面内的旋转信息中的至少一种不在对应的预设信息范围内,则确定所述待处理人脸图像无效。
13.一种人脸姿态的确定装置,其特征在于,所述装置包括:
图像采集模块,用于采集人脸图像;
处理器,用于确定所述人脸图像中的目标人脸的人脸关键点以及所述人脸关键点的位置信息,所述人脸关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角;根据所述人脸关键点的位置信息,确定人脸关键向量;根据所述人脸关键点的位置信息,确定所述目标人脸在平面内的旋转信息;根据从左眼中心点指向左嘴角的第一向量和从左眼中心点指向鼻尖的第五向量的外积,确定所述第一向量和所述第五向量之间夹角的第一正弦值;将所述第一正弦值,作为所述目标人脸的左旋转信息;或者,根据从右眼中心点指向右嘴角的第三向量和从右眼中心点指向鼻尖的第六向量的外积,确定所述第三向量和所述第六向量之间夹角的第二正弦值;将所述第二正弦值,作为所述目标人脸的右旋转信息;根据所述人脸关键向量,确定所述目标人脸的上下俯仰信息。
14.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为实现上述权利要求1至权利要求12中的任一项权利要求所述的方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被执行时实现上述权利要求1至权利要求12中的任一项权利要求所述的方法的步骤。
CN202010393328.XA 2020-05-11 2020-05-11 人脸姿态的确定方法、装置、设备及存储介质 Active CN113642368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010393328.XA CN113642368B (zh) 2020-05-11 2020-05-11 人脸姿态的确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010393328.XA CN113642368B (zh) 2020-05-11 2020-05-11 人脸姿态的确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113642368A CN113642368A (zh) 2021-11-12
CN113642368B true CN113642368B (zh) 2023-08-18

Family

ID=78415428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010393328.XA Active CN113642368B (zh) 2020-05-11 2020-05-11 人脸姿态的确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113642368B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453222B (zh) * 2023-04-19 2024-06-11 北京百度网讯科技有限公司 目标对象姿态确定方法、训练方法、装置以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059215A (ja) * 2004-08-23 2006-03-02 Seiko Epson Corp オブジェクトの回転角度検出装置、顔の回転角度検出プログラムおよび顔の回転角度検出方法
CN107679446A (zh) * 2017-08-17 2018-02-09 平安科技(深圳)有限公司 人脸姿态检测方法、装置及存储介质
CN108629283A (zh) * 2018-04-02 2018-10-09 北京小米移动软件有限公司 人脸跟踪方法、装置、设备及存储介质
CN109086727A (zh) * 2018-08-10 2018-12-25 北京奇艺世纪科技有限公司 一种确定人体头部的运动角度的方法、装置及电子设备
CN109389018A (zh) * 2017-08-14 2019-02-26 杭州海康威视数字技术股份有限公司 一种人脸角度识别方法、装置及设备
CN110363052A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 确定图像中的人脸姿态的方法、装置及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059215A (ja) * 2004-08-23 2006-03-02 Seiko Epson Corp オブジェクトの回転角度検出装置、顔の回転角度検出プログラムおよび顔の回転角度検出方法
CN109389018A (zh) * 2017-08-14 2019-02-26 杭州海康威视数字技术股份有限公司 一种人脸角度识别方法、装置及设备
CN107679446A (zh) * 2017-08-17 2018-02-09 平安科技(深圳)有限公司 人脸姿态检测方法、装置及存储介质
WO2019033576A1 (zh) * 2017-08-17 2019-02-21 平安科技(深圳)有限公司 人脸姿态检测方法、装置及存储介质
CN108629283A (zh) * 2018-04-02 2018-10-09 北京小米移动软件有限公司 人脸跟踪方法、装置、设备及存储介质
CN110363052A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 确定图像中的人脸姿态的方法、装置及计算机设备
CN109086727A (zh) * 2018-08-10 2018-12-25 北京奇艺世纪科技有限公司 一种确定人体头部的运动角度的方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于多相机的人脸姿态识别";王磊等;《计算机应用》(第12期);第3307-3310页 *

Also Published As

Publication number Publication date
CN113642368A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
CN109712224B (zh) 虚拟场景的渲染方法、装置及智能设备
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN110400304B (zh) 基于深度学习的物体检测方法、装置、设备及存储介质
CN110210573B (zh) 对抗图像的生成方法、装置、终端及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN112230908B (zh) 一种对齐组件的方法、装置、电子设备及存储介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN114579016A (zh) 一种共享输入设备的方法、电子设备及***
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
US8971916B1 (en) Locating a data storage system
CN113642368B (zh) 人脸姿态的确定方法、装置、设备及存储介质
CN111127541B (zh) 车辆尺寸的确定方法、装置及存储介质
CN112818979B (zh) 文本识别方法、装置、设备及存储介质
CN110135329B (zh) 从视频中提取姿势的方法、装置、设备及存储介质
CN111860440A (zh) 人脸特征点的位置调整方法、装置、终端及存储介质
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN110163192B (zh) 字符识别方法、装置及可读介质
CN111639639B (zh) 检测文本区域的方法、装置、设备及存储介质
CN111179628A (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
CN113269072B (zh) 图片处理方法、装置、设备及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant