发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于脸部三维图像配准的人脸护理***,所采用的技术方案具体如下:
本发明提出了一种基于脸部三维图像配准的人脸护理***,所述***包括:
三维采集模块,用于采集不同视角的三维脸部图像;
三维关键点融合特征向量检测模块,获取三维脸部图像的左右眼睛区域、鼻子区域以及嘴巴区域;分别提取左右眼睛区域的三维轮廓点云,根据眼睛区域各三维轮廓点云的坐标及曲率信息得到每只眼睛的左眼角关键点、右眼角关键点;获取鼻子区域各点云的角点值,根据鼻子区域各点云角点值、坐标信息以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子;将鼻子区域内鼻尖定位概率因子最大的点云作为鼻尖关键点;结合鼻尖关键点的位置信息得到嘴巴的上唇峰点、下边界点,根据嘴巴的上唇峰点及下边界点得到左右嘴角关键点;
根据各关键点与局部空间邻域内各点云的灰度差异得到各关键点的特征向量;根据各关键点的特征向量得到各关键点的融合特征向量;
三维配准模块,根据各关键点的融合特征向量得到脸部配准误差率,结合脸部配准误差率完成人脸护理结果分析。
进一步的,所述左眼角关键点包括:
对于每只眼睛;
获取眼睛区域内各三维轮廓点云三维坐标的和值及内角角度,计算所述和值与内角角度之和,记为第二和值,将眼睛区域中第二和值最小对应的三维轮廓点云作为左眼角关键点。
进一步的,所述右眼角关键点包括:
对于每只眼睛;
获取眼睛区域内各三维轮廓点云三维坐标的和值及曲率,计算所述和值与曲率之和,记为第一和值,将眼睛区域中第一和值最大对应的三维轮廓点云作为右眼角关键点。
进一步的,所述根据鼻子区域各点云角点值、坐标信息以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子,具体为:
对于鼻子区域各点云;
计算点云角点值与Z坐标值的乘积结果,获取点云与各眼角关键点三维坐标的欧式距离的最小值,计算所述最小值与距离阈值差值的平方,获取以自然常数为底数,所述平方的相反数为指数的指数函数的计算结果;
将所述乘积结果与所述计算结果的乘积作为点云的鼻尖定位概率因子。
进一步的,所述结合鼻尖关键点的位置信息得到嘴巴的上唇峰点、下边界点包括:
对嘴巴区域进行三维轮廓检测,将嘴巴最外层的三维轮廓点云记为嘴巴外轮廓点云;
从鼻尖关键点横坐标对应竖直线向下遍历各点云,将所述竖直线上嘴巴区域内的第一个嘴巴外轮廓点云作为嘴巴的上唇峰点;从嘴巴的上唇峰点继续沿所述竖直线向下遍历各点云,将第二个嘴巴外轮廓点云作为嘴巴的下边界点。
进一步的,所述根据嘴巴的上唇峰点及下边界点得到左右嘴角关键点包括:
将嘴巴的上唇峰点与下边界点的连线中点作为唇部中心点,以唇部中心点为起点,分别获取水平方向上左右两侧的嘴巴外轮廓点云,作为左右嘴角关键点。
进一步的所述根据各关键点与局部空间邻域内各点云的灰度差异得到各关键点的特征向量包括:
对于各关键点;
以关键点为中心获取关键点的局部空间n×n×n邻域,其中n为预设局部空间尺寸;
将局部空间邻域内点云灰度值与关键点灰度值差值低于灰度阈值的点云记为0;将局部空间邻域内点云灰度值与关键点灰度值差值高于灰度阈值的点云记为1;
将局部空间邻域内各点云值组成的向量作为关键点的特征向量。
进一步的,所述根据各关键点的特征向量得到各关键点的融合特征向量包括:
将各关键点在不同视角的三维脸部图像中所获取的特征向量相加得到各关键点的融合特征向量。
进一步的,所述根据各关键点的融合特征向量得到脸部配准误差率包括:
计算各关键点的融合特征向量与标准三维人脸模型中对应各关键点的融合特征向量之间的余弦相似度,获取以自然常数为底数所述余弦相似度的相反数为指数的指数函数的计算结果,将所有关键点的所述计算结果的归一化和值作为脸部配准误差率,其中,所述脸部配准误差率与所述余弦相似度成负相关关系。
进一步的,所述结合脸部配准误差率完成人脸护理结果分析包括:
当脸部配准误差率高于误差率阈值时,脸部护理效果不明显;
当脸部配准误差率低于误差率阈值时,脸部护理效果明显。
本发明具有如下有益效果:
本发明基于人脸关键特征点的分析,提取脸部特征,从不同角度提取脸部关键位置特征点并获取全面表征特征点的特征向量,提高了三维脸部图像的配准精度,解决了脸部特征提取不全面导致特征匹配误差率高、效率低等问题。本发明具有较高的脸部图像配准精度且配准效率高、速度快。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于脸部三维图像配准的人脸护理***,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于脸部三维图像配准的人脸护理***的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于脸部三维图像配准的人脸护理***框图,该***包括:三维采集模块101、三维关键点融合特征向量检测模块102、三维配准模块103。
三维采集模块101,采用3D相机采集用于脸部配准的三维脸部图像,获同一脸部不同角度的三维脸部图像,并对三维脸部图像预处理。
首先,利用3D相机对同一人脸从正前方、左侧方和右侧方三个角度拍摄三维脸部图像,得到三张三维脸部图像,并分别对三张三维脸部图像转化为灰度图像,并利用高斯滤波对三维图像进行去噪处理,需要说明的是,高斯滤波去噪及三维图像采集过程均为现有公知技术,具体的三维图像采集相机型号、拍摄角度以及视角的控制实施者自行设定,图像采集过程中光源的部署实施者也可根据实际情况自行安装,三维图像采集过程实施者可根据实际情况而定,本实施例对此不做限制。
根据本实施例上述方法通过3D相机采集用于脸部图像配准的三维人脸图像,得到同一脸部信息在三个角度下的三维脸部图像,作为三维脸部图像配准的关键数据。
三维关键点融合特征向量检测模块102,提取三张三维脸部图像的各关键点,并对各张三维脸部图像的关键点提取特征进行特征融合,得到各关键点的融合特征向量。
三维图像配准是将两个或多个三维图像进行对齐,使它们在相同的坐标系下进行比较或融合的过程。本实施例将根据三维脸部图像各三维点的特征信息进行不同拍摄角度下三维图像的匹配,由于三维脸部图像具有较为明显的特征点,如鼻子、眼睛、嘴巴等,因此挑选出这些特征点不仅能够提升图像匹配的准确率,而且也可以减小图像匹配的计算量,提高匹配速度,三维脸部图像匹配关键点的提取过程具体为:
首先,对三维脸部图像进行建模,以脸部横向为x轴,纵向为y轴,前后深度为z轴,建立脸部坐标系,然后对人脸上做粗略定位处理,以避免冗余的计算和可能出现的偏差,此外,还可以比较好地提取人脸特征的大致位置,使运算量简化。本实施例中采用语义分割网络对三维脸部图像中的左右眼睛区域、鼻子区域以及嘴巴区域进行初步分割提取,需要说明的是,过程为现有公知技术,不在本实施例保护范围内,在此不做相关详细阐述。
由于人脸结构的恒常性,因此可以引入各器官的相对位置、空间关系等信息,首先对左右眼角点进行定位,首先,对于左右眼睛区域,因为眼睛本身具有不一致的颜色信息,而且边缘信息也比较丰富,因此本实施例采用三维轮廓提取算法获取左、右眼睛区域的大致轮廓,然后根据左右眼睛轮廓上各三维轮廓点云的信息对每只眼睛的左右眼角进行定位。其中三维轮廓提取算法及过程不在本实施例保护范围内,可通过现有技术实现,本实施例不做相关详细阐述。需要说明的是,正面三维脸部图像中每只眼睛区域均可看到左右两个眼角,而侧面脸部图像中仅能够分析所能看到的一只眼睛的左右眼睛,因此,本实施例将首先对每只眼睛的左右眼睛进行定位,以任意一只眼睛为例,获取左、右眼角关键点,所述左、右眼角关键点的提取具体表达式为:
式中,为右眼角关键点,分别表示三维轮廓点云k的三维坐
标,为三维轮廓点云k的曲率,为左眼角关键点,为三维轮廓点云k在眼
睛三维轮廓中对应的内角角度,眼角关键点的构建逻辑为:针对眼睛三维轮廓,选取轮廓上
曲率最大且三维坐标之和最大的点云为右眼角关键点;选取轮廓上三维坐标之和最小且在
三维轮廓中对应内角最小的点云作为左眼角关键点。其中,为
第一和值。
重复本实施例上述方法,获取每张三维脸部图像中左眼的左、右眼角关键点,获取右眼的左、右眼角关键点,需要说明的是,考虑到本实施例分析的是左侧、右侧及正面三张脸部图像,针对每只眼睛轮廓,均进行左右眼角关键点定位,正面图像可以清晰的对两只眼睛进行左右眼角关键点的定位,而左侧和右侧图像仅对识别到的眼部轮廓内的眼睛进行左右眼角关键点的定位即可。至此,完成眼睛区域的眼角关键点的定位提取。
左右眼角关键点确定之后,根据眼角关键点的位置及器官之间的相对距离确定鼻
尖的位置,对三维脸部图像中的鼻子区域进行角点检测,获取鼻子区域各点云的角点值,需
要说明的是,角点检测现有算法有很多,实施者可自行选取,本实施例采用现有harris角点
检测算法,具体的角点检测过程为现有公知技术,不在本实施例保护范围内,在此不做相关
详细阐述,将各点云的角点值记为,由此计算鼻子区域各点云的鼻尖定位概率因子,所述
鼻尖定位概率因子具体表达式为:
式中,为点云i的鼻尖定位概率因子,为眼角关键点到点云i的三
维坐标的欧式距离,为距离阈值,为点云i的Z坐标值,为点云i的角点值,
需要说明的是,本实施例对距离阈值的取值不做限制,实施者可自行设定,本实施例中将距
离阈值设定为。所述鼻尖定位概率因子的构建逻辑为由于鼻尖为脸部最凸出的点,
因此,点云深度值越大也即Z坐标值越大,对应点云鼻尖定位概率因子就越大;鼻尖不仅凸
出且位于鼻子的顶点,相比于脸部其他器官,鼻尖是角度最明显的区域,因此,点云角点值
越大,对应点云的鼻尖定位概率因子就越大,同时,本实施例考虑到由于三庭五眼器官间存
在固定的距离,故若点云与距离该点云最近的眼角关键点之间的欧式距离与距离阈值接近
时,则对应点云鼻尖定位概率因子就越大。
重复本实施例上述方法,获取鼻子区域内各点云的鼻尖定位概率因子,将鼻尖定位概率因子最大对应的点云作为鼻尖关键点,需要说明的是,针对三张三维脸部图像均可根据本实施例上述方法进行鼻尖关键点的定位。至此,完成鼻尖关键点的提取。
进一步,本实施例考虑到五官之间的空间关系,为提高关键点的提取定位精度,本实施例将根据鼻尖的位置对三维脸部图像中的嘴巴位置进行定位。对于嘴巴区域,本实施例先根据鼻尖关键点位置确定嘴巴上唇峰点,对嘴巴区域进行轮廓检测,得到嘴巴大致三维轮廓,考虑到人体嘴巴分为上嘴唇与下嘴唇,同时嘴唇上会存在唇纹,因此所述嘴巴大致三维轮廓中将包含唇纹轮廓线等很多无关轮廓线,而本实施例仅对关键点进行提取,所述无关轮廓线将会对嘴巴上唇峰点以及下边界点的准确定位产生影响,因此,对于检测到的嘴巴大致三维轮廓,本实施例将不考虑嘴巴大致三维轮廓内的各三维局部轮廓点,仅对嘴巴大致三维轮廓中最外层的三维轮廓点云进行分析,将所述最外层的三维轮廓点云记为嘴巴外轮廓点云。三维轮廓检测提取过程不在本实施例保护范围内,为现有公知技术,本实施例对此不在详细阐述。
至此,即可获取嘴巴外轮廓信息,用于对嘴巴上唇峰以及下边界点进行提取,具体过程为:以鼻尖关键点的横坐标为基准,从鼻尖关键点横坐标对应竖直线向下遍历各点云,获取嘴巴区域内的第一个嘴巴外轮廓点云且保证与鼻尖关键点横坐标相同的点云,将该点云记为上唇峰点;然后,从上唇峰点继续沿鼻尖关键点横坐标对应竖直线向下遍历各点云,获取第二个嘴巴外轮廓点云,将对应点云记为下边界点,而上唇峰点与下边界点的连线中点作为唇部中心点,以唇部中心点为起点,分别获取水平方向上左右两侧的嘴巴外轮廓点云,记为左、右嘴角关键点。至此,可根据本实施例上述方法获取左右嘴角关键点,以作为脸部的关键点对脸部特征进行分析。
重复上述方法,获取每张三维脸部图像中嘴巴区域的嘴角关键点,如图2所示。同样的,需要说明的是,嘴巴区域在每张三维脸部图像中是不同的,根据本实施例上述方法获取每张三维脸部图像中嘴巴区域所能够识别提取到的嘴角关键点即可。
至此,即可对每张三维脸部图像中的各关键点进行提取定位,可通过各关键点对脸部信息进行表征,降低***计算成本,提高检测速度,同时,根据所提取的关键点可实现对脸部信息的准确配准,可避免无关点云数据过多导致匹配误差大的问题。
然后针对上述定位的脸部各关键点进行配准,由于本实施例获取的是同一个人不
同角度的三张三维脸部图像,对每张三维脸部图像所提取的各关键点,以各关键点为中心,
获取各关键点的局部空间邻域,其中为预设局部空间尺寸,需要说明的是,n保证
为奇数,本实施例中,实施者可根据实际情况进行设置,本实施例对此不做限制。
进一步,根据各关键点的局部空间邻域对各关键点的局部特征进行提取,首先设
定灰度阈值,将局部空间邻域内点云灰度值与关键点灰度值差值低于灰度阈值的点云记为
0;将局部空间邻域内点云灰度值与关键点灰度值差值高于灰度阈值的点云记为1,然后将
局部空间邻域内各点云值组成一个位的向量,记为关键点的特征向量,所述
向量中的各元素为0或者1,本实施例中灰度阈值设定为10,实施者可根据实际情况自行设
定灰度阈值取值,本实施例对此不做限制。
考虑到不同视角下所提取的关键点的特征有所差异,为提高关键点的特征表征精度,本实施例针对所采集的三张三维脸部图像进行对应关键点配准,根据三张三维脸部图像中各关键点的特征向量对各关键点的融合特征向量进行提取。由于正面的图像拍摄到的脸部各器官均较为完整,无遮挡,而左、右侧拍摄的图像只能较为清楚的获取部分关键点的信息,因此,为保证各关键点特征信息的完整性以及准确性,将左右两侧三维脸部图像各关键点的特征向量与正面三维脸部图像对应各关键点的特征向量进行融合,具体融合方式为两向量相加,以正面三维脸部图像左眼的左眼角关键点为例,该点的融合特征向量为:
式中,为左眼的左眼角关键点的融合特征向量,为正面三维脸部图像
左眼的左眼角关键点特征向量,为左侧视觉图像左眼的左眼角关键点特征向量,
融合特征向量构建的逻辑为使关键点的特征向量融合左右两侧视觉的偏差,保证可以更准
确的获取各关键点的特征。
重复本实施例上述方法,获取脸部其他各关键点的融合特征向量,需要说明的是鼻尖位置关键点的在三个拍摄角度中均可以清楚的看到,具有三个特征向量,因此最终鼻尖位置的融合特征向量为三个特征向量相加,得到鼻尖的融合特征向量,而其他关键点的融合特征向量均为每张三维脸部图像中所能够提取到的对应关键点的特征向量的融合。
三维配准模块103,结合拍摄图像脸部关键点的融合特征向量进行三维图像配准,完成三维脸部图像配准,对人脸护理提供可靠脸部信息。
经过上述步骤,得到了脸部各关键点的融合特征向量,计算用户脸部各融合特征向量与标准三维人脸模型对应关键点融合特征向量的逐位异或结果,然后统计异或结果中1的个数,将1的总个数记为脸部配准误差率,所述脸部配准误差率具体表达式为:
式中,为脸部配准精度,为第个关键点的融合特征向量,为标准三
维人脸模型中关键点i的融合特征向量,为余弦相似度计算函数,为归一
化操作,为关键点的数量。脸部配准误差率的值越小,表示脸部护理效果越佳,拍摄三
维脸部图像更加贴合标准三维人脸模型。需要说明的是,标准三维人脸模型实施者可根据
实际情况采集获取,不在本实施例保护范围内,本实施例对此不做限制。同时,对于标准三
维人脸模型各关键点的提取以及融合特征向量的提取跟本实施例上述方法相同,在此不在
进行重复阐述。
本实施例将根据所得的配准结果对脸部护理进行分析,设定误差率阈值,当脸部配准误差率高于所述误差率阈值时,说明脸部护理效果不明显,对应脸部需要继续护理;当脸部配准误差率低于所述误差率阈值时,则说明脸部护理有效且效果较佳。根据本实施例所构建的脸部配准误差率可为相关人员进行人脸护理提供参考信息,以便相关人员对患者的脸部状况进行准确了解,以采取针对性的护理措施。需要说明的是,所述误差率阈值实施者可自行设定,本实施例中将误差率阈值设定为0.5。
综上所述,根据本发明实施例上述方法可实现对三维脸部图像的精确配准,避免二维脸部配准过程中脸部信息提取不全面、配准精度低的问题。本发明实施例基于人脸关键特征点的分析,提取脸部特征,从不同角度提取脸部关键位置特征点并获取全面表征特征点的特征向量,提高了三维脸部图像的配准精度,解决了脸部特征提取不全面导致特征匹配误差率高、效率低等问题。本发明实施例具有较高的脸部图像配准精度且配准效率高、速度快。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。