CN102103756A - 支持姿态偏转的人脸数字图像漫画夸张方法、装置及*** - Google Patents
支持姿态偏转的人脸数字图像漫画夸张方法、装置及*** Download PDFInfo
- Publication number
- CN102103756A CN102103756A CN2009102594145A CN200910259414A CN102103756A CN 102103756 A CN102103756 A CN 102103756A CN 2009102594145 A CN2009102594145 A CN 2009102594145A CN 200910259414 A CN200910259414 A CN 200910259414A CN 102103756 A CN102103756 A CN 102103756A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- exaggeration
- shape
- face
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及***,该方法包括:根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息;根据该近似深度信息生成所述输入人脸图像的三维形状;在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以获得三维夸张后的三维形状;将该三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;根据该三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。本发明能对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出更生动幽默和富于变化的漫画夸张效果。
Description
技术领域
本发明涉及计算机图形图像处理领域,具体地涉及一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及***。
背景技术
人脸卡通画使用简单的轮廓线条以及单纯的色彩突出人物形象的特征,通过艺术的手法夸张或者写实地表现人物的个性和反映画家的创作思想。非真实感绘制(NPR,Non-Photorealistic Rendering)的卡通头像可以去除不重要的细节,而突出重要特征,从而能更好地传递信息,在网络通讯和网络游戏等多个领域中有很强的应用前景。
在艺术夸张表现上,通过基于人脸的特征统计与特征发现,即对人脸部器官特征(例如额头宽度、嘴唇厚度等)进行测量以获得人脸特征点,人脸特征点主要是指能够反映个人面部特征的点,例如眼角、嘴角、鼻尖、鼻翼角点等,并与平均人脸参考模型进行比较,其差异作为人物特征,并对该差异进行放大,得到夸张的艺术效果。
目前,鲜有研究工作针对单张非正视人脸图像做漫画夸张。而事实上,通常的人脸图像并不完全是正视人脸图像,生活中还存在有大量的非正视人脸图像;某些人的正面图像体现不出太多的特点,而在半侧面或是全侧面图像中却能凸显其的特质,因此,对单张非正视人脸图像的漫画夸张的研究是非常有必要的。
现有技术的技术方案包括离线部分和在线部分。在离线部分,首先建立一个三维平均人脸参考模型。图1为现有技术的三维平均人脸模型的特征点位置的分布示意图。如图1所示,通过手工标定三维人脸数据库中样本的特征点,获取特征点坐标,旋转、平移、缩放到统一的坐标系下对三维坐标求均值而建立,通过上述步骤,离线准备工作完毕。
在线部分,进行卡通头像制作,具体包括如下步骤:
S101、利用三维平均人脸参考模型估计输入图像中人脸的位置和姿态参数;S102、把估计出的位置和姿态参数应用到三维人脸参考模型,使其朝向和位置基本与该输入图像匹配,再把此时三维人脸参考模型的各个特征点的深度信息作为输入图像的二维相应特征点的近似深度,以形成符合该输入图像的三维特征点模型;S103、将该图像的三维特征点模型旋转到正面视图,利用基于二维人脸形状的夸张规则得到正面视图的夸张特征点;S104、把正面视图的夸张后的三维特征点模型旋转回原来的姿态并投影,即得夸张后的人脸二维特征点;S105、利用数字图像扭曲warping技术,把经过配准的人脸二维特征点包围的输入人脸的纹理,映射到夸张后的人脸特征点包围的范围内,即得人脸的夸张效果;S106、采用NPR技术得到最终带有卡通风格的漫画夸张效果。
发明人在实现本发明的过程中发现,现有技术至少存在以下不足:现有技术的人脸图像漫画夸张方法只能局限于正视图像或者固定姿态的图像;现有技术把特征点的深度信息恢复出来后,将有偏转的人脸三维特征点旋转到正面视图然后应用夸张规则,但是应用的夸张规则是二维的,没有利用好深度信息;而且现有技术使用的是基于直观语义的二维夸张规则,这种夸张规则产生的夸张效果有限,缺乏生动性。
发明内容
本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及***,通过在基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对旋转至输入人脸像的三维形状进行三维夸张,以获得具有漫画风格的生动幽默的人脸图像。
一方面,本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法,所述方法包括:根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息;根据所述近似深度信息生成所述输入人脸图像的三维形状;在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
另一方面,本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张装置,所述装置包括:深度信息恢复单元,用于根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息;三维形状生成单元,用于根据所述近似深度信息生成所述输入人脸图像的三维形状;三维形状夸张单元,用于在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;二维特征点生成单元,用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;漫画夸张图像生成单元,用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
又一方面,本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张***,包括图像夸张装置,用于根据图像数据库提供的一预设数量的人脸图像三维模型,恢复输入的人脸图像二维特征点的近似深度信息;根据所述近似深度信息生成所述输入人脸图像的三维形状;在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像;以及图像数据库,用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。
本发明实施例的一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及***,可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果。本发明实施例完全基于人脸立体结构的三维夸张规则,解决了现有技术的漫画夸张方法只能对近似正面人脸图像或者固定姿态人脸图像做夸张的问题,同时对现有技术的基于直观语义规则的二维夸张方法实现了改进,能够有效地产生更加生动幽默和富于变化的漫画夸张结果。
附图说明
图1为现有技术的三维平均人脸模型的特征点位置的分布示意图;
图2为本发明实施例1的人脸数字图像漫画夸张方法的整体流程图;
图2a为本发明实施例1的图2中S210的详细流程图;
图3为本发明实施例的深度恢复误差分析示意图;
图4a为基于NMF夸张的方向性效应的鸟瞰视图;
图4b为基于NMF夸张的方向性效应的右侧视图;
图5为本发明实施例1生成的人脸夸张图像的效果实例图;
图6为本发明实施例1与现有技术的夸张效果对比实例图;
图7为本发明实施例2的人脸数字图像漫画夸张装置的功能框图;
图7a为本发明实施例2的空间建立单元706的详细功能框图;
图8为本发明实施例3的***功能框图;
图9为本发明实施例4的人脸数字图像漫画夸张方法的处理流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例能有效地生成姿态可变的人脸图像的漫画夸张风格的卡通化效果。本发明实施例在利用三维平均脸模型恢复输入人脸特征点深度信息后,在NMF(Non-negative Matrix Factorization,非负矩阵分解)建立的人脸形状特征空间下,将该三维形状与三维平均脸形状比较并归一化特征差异,对其中较显著的特征应用夸张规则。从而扩大了现有的漫画夸张方法的应用范围,能够更有效地产生幽默效果更加明显的结果,满足日常应用的需求。
实施例1:
本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法。该方法的应用范围针对摇摆偏转+/-40°、俯仰偏转+/-20°范围内的人脸图像。图2为本发明实施例1的人脸数字图像漫画夸张方法的流程图。如图2所示,该方法包括:
S202、根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息;上述过程具体包括:首先,执行姿态参数求精步骤;
由于输入的姿态参数的精度并不一定非常高,需要通过进一步求精得到更精确的结果。本发明实施例1是利用三维平均脸形状模型逼近输入人脸图像的二维特征点的所有姿态参数,包括缩放系数s,三个坐标轴的旋转参数α,β,γ,水平偏移参数tx和垂直偏移参数ty等,以输入的姿态参数作为初值,用计算机最优化方法得到精确的姿态参数结果。
待优化的目标函数如下:
其中U是弱透视相机模型, s是缩放因子或系数,Xi为三维平均脸形状模型以正视姿态呈现时在三维空间中第i个特征点的坐标向量(共有N个特征点),di为输入人脸图像通过AAM算法配准(alignment)后得到的第i个特征点的坐标向量,t是平移参数向量,R是三维旋转矩阵,其中R满足下列关系式:
上述目标函数的含义是使三维平均脸模型的N个特征点通过旋转、投影、缩放、平移之后与输入人脸图像的二维特征点的距离尽可能小,并使各个二维特征点满足sURXi+t→di,此时,获取到的平移向量t、缩放因子s、以及α、β、γ即为求精后的人脸姿态参数。
然后,执行近似深度恢复步骤;
在获得精确的姿态参数之后,将其应用到三维平均脸形状模型,获得与输入人脸图像对应或一致的视角和位置,将此时的三维平均脸形状模型的特征点的深度信息作为输入人脸图像的二维特征点的深度的近似值,从而恢复出近似的深度信息(指特征点在z方向的坐标值)。
S204、根据所述近似深度信息生成所述输入人脸图像的三维形状;
在恢复出近似的深度信息之后,即获得了输入人脸图像的三维特征点点去,根据上述三维特征点点可以获得该输入人脸图像的三维形状。
S206、在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以获得三维夸张后的三维形状;
上述过程具体包括:
将所述输入人脸图像的三维形状旋转至正面视图;即将该输入人脸图像的三维特征点点云的位置和姿态调整到与正面视图的三维平均脸形状模型一致。
将正面视图的所述三维形状的特征点点云的坐标值排成列向量,并对所述列向量进行尺度归一化处理,即将该列向量的模处理为1,获得处理后的列向量V,根据NMF的定义,V可以表达为F中人脸三维形状特征空间基向量的非负线性组合加上残差r。
非负线性组合的系数e=[e1,e2,…,eC]T可通过下式求出: 其中||A||F表示矩阵A的F范数(即矩阵A全部元素平方和的平方根)。
V满足下列关系式: 其中,fi表示所述人脸三维形状特征空间F的一个维度的基向量,r表示所述列向量V在人脸三维形状特征空间F中的噪声残量,即r表示形状V在人脸三维形状特征空间F中无法表示的残量,r中通常包含的是形状V中的噪声部分,ei表示非负线性组合系数,δi表示ei与mi的差值。V可以表示为F中人脸三维形状特征空间的各基向量的非负线性组合加上残量r,上述非负线性组合的系数为ei。
根据从均值中夸张差异EDFM(Exaggerating the Difference From theMean)的三维夸张规则对列向量V进行三维夸张,获得夸张后的列向量V′,其满足以下关系式:
需要强调的是,本发明实施例的方法对输入人脸图像与三维平均脸图像的特征差异用标准差归一化后,对其中最显著的若干个特征分量进行夸张,以更好地凸显输入人脸图像的主要特征。此处所述“归一化”的含义为:将特征差异减去特征变化的均值再除以特征变化的标准差|δi|/σi=|ei-mi|/σi。
需要说明的是,上述列向量V′满足的关系式中,0.5为衰减系数,主要用于抑制深度值中存在的噪声,本发明实施例的方法在夸张的时候,对残量r也进行了夸张,乘以了一个衰减系数0.5,这样有利于既不丢弃残量部分可能包含真实的特征,同时也减轻残量部分可能包含的深度噪声的消极影响。
进一步地,本发明实施例1还可以通过调整夸张系数k的取值和κ的取值可以改变夸张程度,其中k和κ的取值范围优选地取下列区间:k∈[a,b],κ∈[c,d ],其中a的最大值为2,b的最小值为4,c的最大值为3,d的最小值为6;优选地,a的取值为2,b的取值为4,c的取值为3,d的取值为6,从而k∈[2,4],κ∈[3,6],用户可以在上述范围中调整,以获得夸张效果可变的结果。
通常在深度恢复时,使用三维平均脸形状模型的特征点的深度作为输入人脸图像的二维特征点的近似深度值是存在明显误差的。但是,本发明实施例的方法能够在一定程度上保证基于三维夸张规则时夸张结果的准确性与合理性。以下为具体分析:
请参阅图3,图3为本发明实施例的深度恢复误差分析示意图。如图3所示,假定平面∑垂直于人脸的朝向,点A代表鼻尖,点O代表A在平面∑上的垂足,假定此人鼻尖的高度略小于平均脸的鼻尖的高度,当平均脸的姿态与该人脸此时的姿态一致时,平均脸的鼻尖为B。以平均脸鼻尖的深度作为近似深度恢复的此人鼻尖在三维空间中的位置为C,根据NMF夸张的方向性效应,在基于NMF的夸张之后,鼻尖的位置将夸张移动到D,C和D在成像平面∏上的投影分别为C和D′。如图3所示,在成像平面上夸张后的鼻子相比原来要短,反之同理可得。深度恢复的误差最显著的地方在鼻尖,如果鼻尖的夸张效果可以接受的话其它特征点的深度误差也是可以接受的。图4a为基于NMF夸张的方向性效应的鸟瞰视图。图4b为基于NMF夸张的方向性效应的右侧视图。如图4a和图4b所示,其中“十字”标识代表输入的人脸三维特征点点云,“三角形”标识代表平均脸特征点点云,“方框”标识代表夸张后的三维特征点点云,中间的三条直线代表上述三类特征点点云各自的主方向,点线40指示夸张后的主方向,点划线41指示输入点云的主方向,虚线42指示平均脸点云的主方向。由图4a和图4b可以清晰地看出,基于NMF的夸张规则能够对与平均脸的方向性差异进行夸张。
S208、将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;
即完成三维夸张之后得到新的三维形状(特征点点云),将其位置和姿态调整回原始姿态,并投影到成像平面,得到夸张移动后的二维特征点。
S210、根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
以下详细说明S210的具体过程。图2a为本发明实施例图2中步骤S210的详细流程图,如图2a所示,S210具体包括如下步骤:
S210a、将输入人脸图像的二维特征点包围区域内的图像纹理通过数字图像扭曲warping到对应的三维夸张后的二维特征点包围的区域内;
具体地,S210a的数字图像扭曲Warping处理过程具体包括:
将原来配准人脸特征点包围区域内外的纹理做Delaunay三角剖分,各个三角形特征点区域内的图像纹理warping到夸张移动后的二维特征点包围的相应区域内,即到最终的面部夸张效果。
S210b、根据非真实感绘制NPR方法,以生成具有漫画夸张效果的人脸图像。
具体地,S210b的非真实感绘制NPR的处理过程具体包括:
对夸张后的图像利用各种NPR方法可以得到各种风格化的结果。比较典型的是用双边滤波并叠加边缘的NPR方法获取卡通风格化的结果,本发明采用的是这种NPR方法,但是并不局限于该方法。其具体过程分为两部分:
第一部分,使用双边滤波器对输入图像进行平滑滤波,实现特征变化较小区域的特征变化进一步减小。
对于一幅给定的图像f(·),经过双边滤波器后输出表达式是
其中,是像素的位置向量,x是的相邻像素的位置向量,σd代表滤波器的滤波半径,权值函数w(·)为 σr表示图像滤波时图像变化被保留和平滑的程度,其值越小平滑的程度越小,与原图差别也越小,当σr趋向于无穷大时,权值函数趋向于0,此时的双边滤波器也就相当于一个高斯滤波器了。
第二部分,使用边缘增强经过滤波以后的图像,从而使特征变化较大的区域的特征变化更大。
本部分首先使用Difference of Gaussian(DoG)算子检测图像边缘,然后将得到的边缘信息叠加到经过双边滤波以后的图像上面,以此来增大边缘部分的变化。
与传统的DoG算子表达略有不同,此处DoG算子如下所示:
以上两部分完成后基本可实现图像卡通化效果。此外,本发明实施例还可以对其进行量化处理,以得到更显著的结果。
具体量化过程可根据下式进行:
其中q表示量化等级数,一般取q∈[8,10],qnearest表示离像素点最近的量化等级,Δq表示量化级宽度。这里我们采用弹性的方式来实现图像的量化,也即动态地设定值,使得最终量化结果中不同像素块的过渡区域显得自然、平滑。首先计算图像的梯度,由于图像的梯度范围变化不确定,我们将整张图的梯度限定在[a,b]范围之内,不在此范围中的梯度根据其大小赋为a或b,一般取a=0,b=2。然后我们将此梯度值线性地映射到范围为[c,d](一般取c=3,d=14)的区间上得到从而能够根据图像梯度对图像进行有弹性的量化。
可选地,图2所示的方法还包括:S200、建立并训练三维平均脸形状模型;
上述步骤S200的过程在离线阶段完成,其具体过程包括:
首先,从现有的三维数据库中获取多个人的头部模型,并对上述多个头部模型样本标定人脸特征点(如图1所示)。此处的标定是三维标定,需要人工参与,具体做法是:利用3DS MAX、Deep Exploration等软件的三维模型查看功能,观察模型并用鼠标等输入装置确定二维显示视图上的特征点,这样就能由这些软件得到对应于所选二维特征点的真实三维坐标值,依次完成图1所示的所有特征点的标定即得该三维模型的特征点点云。
然后,对标定的多个三维模型样本的每个编号的特征点分别求取均值所建立的特征点模型即为三维平均脸形状模型。
可选地,图2所示的方法还包括:S201、建立基于非负矩阵分解NMF的人脸三维形状特征空间。具体地,S201也可以位于S206之前。
上述S201的过程在离线阶段完成,其具体过程包括:
从现有的三维人脸数据库中获取一预设数量的人脸三维模型,标定每一所述人脸三维模型的一预设数量的三维特征点,以获得每一所述人脸三维模型的特征点点云;可选地,可以在每一人脸三维模型上选取68个特征点。
将每一所述人脸三维模型的特征点点云的坐标值排列成列向量,并对所述列向量进行尺度归一化处理,即将该列向量的模归一化到1,获得处理后的列向量si的表达为:
将M个人脸模型分别对应的列向量si依次排列,组成一个矩阵S=[s1,s2,..sM];根据非负矩阵分解NMF方法对所述矩阵S进行分解,获得矩阵F和矩阵E,其关系满足S=F*E;其中矩阵F表示人脸三维形状特征空间,F的每一列fi表示所述人脸三维形状特征空间F的一个维度的基向量,矩阵E的第i列表示si在F中的坐标。
较佳地,当所述矩阵S的行数表示为3N,所述矩阵S的列数表示为M,所述矩阵F的列数表示C,其关系满足(3N+M)×C<3N×M,优选地,取C=10。
进一步地,所述建立基于非负矩阵分解NMF的人脸三维形状特征空间的步骤还包括:根据矩阵E计算矩阵E中每行元素的均值mi和标准差σi,其中i=1,...,C,这样就获得了矩阵S在人脸三维形状特征空间F中的分布情况。
在离线阶段建立并训练好三维平均脸形状模型,及建立了基于非负矩阵分解NMF的人脸三维形状特征空间之后,本发明实施例1进入在线处理阶段,执行如图2中S202-S210所示的处理流程。
需要特别说明的是,本发明实施例的方法也可以应用到人脸漫画夸张的视频处理当中,在保证视频中的人脸偏转范围在摇摆偏转角度小于40°以及俯仰偏转角度小于20°时可以应用本发明实施例的方法。
进一步地,以下通过效果实例图对比本发明实施例1的方法和现有技术的方法。
请参阅图5,图5为本发明实施例1生成的人脸夸张图像的效果实例图。其中,按照从左至右的顺序,图5的第一列为原始输入人脸图像,图5的第二列为通过本发明实施例1的方法在基于NMF的人脸三维形状特征空间夸张后得到的人脸图像效果,图5的第三列为通过本发明实施列1的方法在通过NPR处理后的效果图。
请参阅图6,图6为本发明实施例1与现有技术的夸张效果对比实例图。其中,按照从左至右的顺序,图6的第一列为原始输入人脸图像,第二列为现有技术的基于直观语义的二维夸张规则夸张后的效果图,第二列的第一行为现有技术只执行了Warping之后的效果图,第二列的第二行为现有技术执行了Warping和NPR之后的效果图,第三列为本发明实施例的基于三维夸张规则夸张后的效果图,第三列的第一行为本发明实施例只执行了Warping之后的效果图,第三列的第二行为本发明实施例执行了Warping和NPR之后的效果图。如图6中的第三列第二行所示,本发明实施例的方法能够夸张该人脸的倒三角特征,但是如图6中的第二列第二行所示,现有技术的方法却把这个特征丢了。
以下论述本发明实施例的方法带来的有益技术效果:
首先,本发明实施例的方法,由于在基于三维的人脸三维形状特征空间中,进行三维夸张,有利于产生因人而异的变化,从而产生更加丰富生动的夸张效果;其次,本发明实施例的方法由于在基于三维的人脸三维形状特征空间中,进行三维夸张,因而能够较好的实现整体一致性的夸张;再次,本发明实施例的方法,通过找出输入人脸与平均人脸的差异并用标准差规范化后对其中最显著的一些特征分量进行夸张,因而能够更好地凸显人脸的主要特征;最后,由于本发明实施例的方法在夸张的时候,对输入人脸形状在三维人脸形状特征空间中无法表达的残量部分也进行了夸张,同时乘以了一个衰减系数0.5,这样既有利于保留残量部分包含的特征,也可以抑制残量部分包含的深度噪声的消极影响,得到更佳的夸张结果。
本发明实施例可以用计算机在很少人工交互的情况下对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果,同时对现有基于直观语义规则的夸张方法实现了改进,能够有效地产生更加生动和富于变化的漫画夸张结果。
实施例2:
本发明实施例2提供了一种支持姿态偏转的人脸数字图像漫画夸张装置。
图7为本发明实施例2的人脸数字图像漫画夸张装置的功能框图。如图7所示,该装置70包括:
深度信息恢复单元701,用于根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息;
三维形状生成单元702,用于根据所述近似深度信息生成所述输入人脸图像的三维形状;
三维形状夸张单元703,用于在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以获得三维夸张后的三维形状;
二维特征点生成单元704,用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;
漫画夸张图像生成单元705,用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
进一步地,该装置70还可以包括:空间建立单元706,用于建立基于非负矩阵分解NMF的人脸三维形状特征空间。
图7a为本发明实施例2的空间建立单元706的详细功能框图。具体地,如图7a所示,上述空间建立单元706包括:
第一获取单元7061,用于获取一预设数量的人脸三维模型;
第二获取单元7062,用于标定每一所述人脸三维模型的一预设数量的三维特征点,以获得每一所述人脸三维模型的特征点点云;
列向量生成单元7063,用于将每一所述人脸三维模型的特征点点云的坐标值排列成列向量;
列向量处理单元7064,用于对所述列向量进行尺度归一化处理,获得处理后的列向量;
空间生成单元7065,用于将所述预设数量的人脸模型分别对应的列向量依次排列,组成矩阵S,并根据非负矩阵分解方法对所述矩阵S进行分解,以获得分解后的矩阵F,所述矩阵F用于表示人脸三维形状特征空间。
具体地,上述矩阵S的行数表示为3N,所述矩阵S的列数表示为M,所述矩阵F的列数表示C,其关系满足(3N+M)×C<3N×M,其中N、M及C为正整数。
进一步地,该装置70还可以包括:平均脸模型建立单元707,用于建立并训练三维平均脸形状模型。
以下描述本发明实施例的装置的工作过程:
本发明实施例的装置的整体输入是水平偏转角度在-40度到40度、俯仰变化角度在-20~20度的人脸图像(未佩戴眼镜,而且眉毛清晰露出,无头发遮挡),并且已知输入人脸图像的姿态参数(即三维平均脸形状模型从坐标原点通过旋转、平移等刚体变换和投影变换能够逼近输入人脸图像的特征点的缩放、平移、旋转参数)和输入人脸图像的二维特征点坐标,输出为带漫画夸张效果的卡通化人脸图像。
当输入为上述人脸图像时,深度信息恢复单元701,将估计出的输入人脸图像的姿态参数应用到三维平均脸状态模型上,将此时的三维平均脸形状模型的特征点的深度信息(指深度方向Z的坐标值)作为输入人脸图像相应二维特征点的深度的近似值。
三维形状生成单元702,根据所述近似深度信息生成所述输入人脸图像的三维形状;上述具体过程已在前述实施例1中详细描述,在此不赘述。三维形状夸张单元703,用于在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以获得三维夸张后的三维形状;
具体地,上述三维形状夸张单元703的工作过程包括:
将所述输入人脸图像的三维形状旋转至正面视图;即将该输入人脸图像的三维特征点点云的位置和姿态调整到与正面视图的三维平均脸形状模型一致。
将正面视图的所述三维形状的特征点点云的坐标值排成列向量,并对所述列向量进行尺度归一化处理,即将该列向量的模处理为1,获得处理后的列向量V,其满足以下关系式: 其中,fi表示所述人脸三维形状特征空间F的一个维度的基向量,r表示所述列向量V在人脸三维形状特征空间F中的噪声残量,ei表示非负线性组合系数,δi表示ei与mi的差值,非负线性组合的系数e=[e1,e2,…,eC]T满足下列关系式: 其中||A||F表示矩阵A的F范数;
根据从均值中夸张差异EDFM的三维夸张规则对列向量V进行三维夸张,获得夸张后的列向量V′,其满足以下关系式:其中,k表示三维夸张系数,且|δi|/σi=|ei-mi|/σi,|δi|/σi构成集合Ω={aj|aj=|δj|/σj,j=1,...,C},当选取κ个最大的|δi|/σi对应的特征分量进行夸张时,ti=k,否则ti=1,其中κ的取值范围满足:1≤κ<C。C的取值优选为10。
对恢复了深度信息的输入人脸图像的三维形状,在NMF分解后的人脸三维形状特征空间下将该形状与三维平均脸形状模型比较并归一化特征差异,对其中较显著的特征应用三维夸张规则,此处所述“归一化”的含义为:将特征差异减去特征变化的均值再除以特征变化的标准差|δi|/σi=|ei-mi|/σi。
通过调整夸张系数k的取值和κ的取值来改变夸张程度,其中k和κ的取值范围包括下列区间:k∈[a,b],κ∈[c,d],其中a的最大值为2,b的最小值为4,c的最大值为3,d的最小值为6。优选地,a的取值为2,b的取值为4,c的取值为3,d的取值为6,从而k∈[2,4],κ∈[3,6],用户可以在上述范围中调整,以获得夸张效果可变的结果。
二维特征点生成单元704,用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并在二维成像平面投影,以生成三维夸张后的二维特征点;
漫画夸张图像生成单元705,用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。具体包括:将输入人脸在特征点范围内的纹理数字图像扭曲warping到夸张移动后的特征点范围内,然后应用双边滤波叠加边缘的NPR方法,得到最终具有卡通味的漫画夸张效果的人脸图像。上述具体过程已在前述实施例1中详细描述,在此不赘述。
本发明实施例2的支持姿态偏转的人脸数字图像漫画夸张装置,由于可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果,从而拓宽了本发明的应用范围;由于在基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对输入人脸图像的三维形状进行三维夸张,并在夸张时利用了深度信息,所以能够有效地产生更加生动幽默和富于变化的漫画夸张结果。本发明实施例的方法,由于找出输入人脸与平均人脸的差异并用标准差规范化后对其中最显著的一些特征分量进行夸张,因则能够更好地凸显人脸的主要特征。
实施例3:
本发明实施例3提供了一种支持姿态偏转的人脸数字图像漫画夸张***。图8为本发明实施例3的***功能框图。如图8所示,该***80包括:
图像夸张装置801,用于根据图像数据库802提供的一预设数量的人脸图像三维模型,恢复输入的人脸图像二维特征点的近似深度信息;根据所述近似深度信息生成所述输入人脸图像的三维形状;在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像;
图像数据库802,用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。
可选地,所述图像夸张装置801,还用于建立基于非负矩阵分解的人脸三维形状特征空间。
本发明实施例3的***,由于可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果,从而拓宽了本发明的应用范围;由于在基于非负矩阵分解NMF的人脸三维形状特征空间中,根据三维夸张规则对输入人脸图像的三维形状进行三维夸张,并在夸张时利用了深度信息,所以能够有效地产生更加生动幽默和富于变化的漫画夸张结果。本发明实施例的方法,由于找出输入人脸与平均人脸的差异并用标准差规范化后对其中最显著的一些特征分量进行夸张,因则能够更好地凸显人脸的主要特征。
实施例4:
本发明实施例4将通过一个具体的例子来详细描述上述实施例的技术方案。
图9为本发明实施例4的人脸数字图像漫画夸张方法的处理流程图。如图9所示,该方法包括如下步骤:
S901、配准得到输入头像的若干二维特征点;
以预先定义的68个特征点为例,相应的特征点数表如表1所示:
表1
182.397 | 247.650 |
182.216 | 291.426 |
188.015 | 325.396 |
199.610 | 373.569 |
212.665 | 402.670 |
230.392 | 430.559 |
266.916 | 448.369 |
315.135 | 454.381 |
357.842 | 443.191 |
393.360 | 402.605 |
382.441 | 414.415 |
406.381 | 357.565 |
409.381 | 310.168 |
406.585 | 272.723 |
399.815 | 233.759 |
391.734 | 217.491 |
366.110 | 203.843 |
341.914 | 205.269 |
326.270 | 217.813 |
349.207 | 216.123 |
366.592 | 213.529 |
201.799 | 234.828 |
220.319 | 216.103 |
245.722 | 215.014 |
264.444 | 223.713 |
248.561 | 225.396 |
225.480 | 229.844 |
232.962 | 257.674 |
247.537 | 249.820 |
263.891 | 253.182 |
246.162 | 260.999 |
247.764 | 254.626 |
363.146 | 247.513 |
346.063 | 237.989 |
323.924 | 248.774 |
345.190 | 250.759 |
344.665 | 245.457 |
281.901 | 243.891 |
279.122 | 276.452 |
268.674 | 310.454 |
275.676 | 319.895 |
304.147 | 323.223 |
331.824 | 315.619 |
334.408 | 304.527 |
318.429 | 273.180 |
310.130 | 241.397 |
284.318 | 314.192 |
318.930 | 310.992 |
249.610 | 363.691 |
274.121 | 355.809 |
293.879 | 350.839 |
305.975 | 351.217 |
318.719 | 349.370 |
335.027 | 351.368 |
351.960 | 350.525 |
332.668 | 379.193 |
324.872 | 384.343 |
306.275 | 389.187 |
288.663 | 388.102 |
273.156 | 376.344 |
286.625 | 375.361 |
307.993 | 374.422 |
322.445 | 371.730 |
323.146 | 357.049 |
306.731 | 358.087 |
287.205 | 360.213 |
307.502 | 364.086 |
301.635 | 305.169 |
S902、利用归一化的三维平均脸形状模型估计当前姿态二维特征点所需要的缩放、平移、旋转参数;
归一化三维平均脸点集的数表如表2所示:
表2
0.141534 | 0.058444 | -0.033724 |
0.139377 | 0.015403 | -0.025482 |
0.134715 | -0.026743 | -0.034266 |
0.124216 | -0.071477 | -0.042404 |
0.105863 | -0.110189 | -0.044369 |
0.078903 | -0.142835 | -0.038549 |
0.041748 | -0.164771 | -0.015733 |
-0.001040 | -0.174512 | -0.009950 |
-0.046651 | -0.163909 | -0.020238 |
-0.080774 | -0.142474 | -0.047603 |
-0.106904 | -0.110268 | -0.058477 |
-0.121828 | -0.068861 | -0.053166 |
-0.131453 | -0.023498 | -0.045547 |
-0.136529 | 0.019541 | -0.039394 |
-0.138059 | 0.065481 | -0.050756 |
-0.120439 | 0.134440 | -0.026739 |
-0.087083 | 0.152759 | -0.000980 |
-0.053903 | 0.148057 | 0.015407 |
-0.025619 | 0.131446 | 0.018363 |
-0.056705 | 0.129667 | 0.010439 |
-0.088053 | 0.133435 | 0.000775 |
0.124739 | 0.130910 | -0.013912 |
0.094187 | 0.147858 | 0.007240 |
0.058321 | 0.144426 | 0.020513 |
0.026565 | 0.127845 | 0.019809 |
0.058684 | 0.127443 | 0.015865 |
0.092514 | 0.128900 | 0.009015 |
0.112145 | 0.085538 | -0.016178 |
0.074624 | 0.097484 | 0.012960 |
0.039528 | 0.082118 | -0.000038 |
0.074986 | 0.074271 | 0.003308 |
0.074900 | 0.085826 | 0.002335 |
-0.107084 | 0.088271 | -0.026276 |
-0.073459 | 0.099823 | 0.004352 |
-0.038367 | 0.083085 | -0.004600 |
-0.075402 | 0.075731 | -0.003880 |
-0.072628 | 0.087789 | -0.004623 |
0.022598 | 0.071956 | 0.006054 |
0.029338 | 0.031410 | 0.018157 |
0.048677 | -0.011426 | 0.002143 |
0.035053 | -0.026047 | 0.007857 |
0.000633 | -0.026912 | 0.022750 |
-0.035387 | -0.024895 | 0.005963 |
-0.047811 | -0.010471 | -0.003080 |
-0.030907 | 0.033113 | 0.014214 |
-0.023267 | 0.070221 | 0.004047 |
0.021212 | -0.013762 | 0.036062 |
-0.024517 | -0.012326 | 0.036090 |
0.064051 | -0.082214 | -0.005883 |
0.034377 | -0.066951 | 0.018572 |
0.014427 | -0.059674 | 0.027697 |
-0.001304 | -0.062897 | 0.029857 |
-0.018776 | -0.059089 | 0.026276 |
-0.040523 | -0.067388 | 0.012889 |
-0.063575 | -0.080202 | -0.012781 |
-0.038638 | -0.096316 | 0.006387 |
-0.019731 | -0.101069 | 0.018599 |
-0.002413 | -0.100876 | 0.022064 |
0.017210 | -0.099923 | 0.020118 |
0.036781 | -0.096306 | 0.008644 |
0.024151 | -0.088193 | 0.016613 |
-0.001302 | -0.089817 | 0.021780 |
-0.026230 | -0.088483 | 0.015766 |
-0.027039 | -0.071496 | 0.018006 |
-0.001490 | -0.071395 | 0.027031 |
0.020678 | -0.071509 | 0.021211 |
-0.001153 | -0.079402 | 0.017268 |
-0.000688 | -0.004112 | 0.056135 |
由三维平均脸形状模型逼近二维特征点得到的缩放参数为762.73,水平平移参数为300.71,垂直平移参数为3009.18,绕x、y、z三个轴旋转的参数分别为:-10°,1°,4.2°。
S903、以三维平均脸形状模型在所估姿态下各个特征点的深度作为输入头像对应二维特征点的深度,从而得到与输入头像契合的若干三维特征点。
恢复深度后的三维特征点数表如表3所示:
表3
182.397003 | 247.649994 | -31.212709 |
182.216003 | 291.425995 | -19.350372 |
188.014999 | 325.395996 | -20.427103 |
199.610001 | 373.569000 | -20.751455 |
212.664993 | 402.670013 | -17.340731 |
230.391998 | 430.558990 | -8.998824 |
266.915985 | 448.368988 | 10.554836 |
315.135010 | 454.381012 | 15.627016 |
357.842010 | 443.191010 | 5.897961 |
393.359985 | 402.605011 | -17.940228 |
382.441010 | 414.415009 | -30.715071 |
406.381012 | 357.565002 | -32.406029 |
409.381012 | 310.167999 | -32.818504 |
406.584991 | 272.722992 | -33.964111 |
399.815002 | 233.759003 | -48.602093 |
391.734009 | 217.490997 | -39.467075 |
366.109985 | 203.843002 | -22.110413 |
341.914001 | 205.268997 | -8.744891 |
326.269989 | 217.813004 | -3.954699 |
349.207001 | 216.123001 | -10.077455 |
366.592010 | 213.529007 | -18.245354 |
201.798996 | 234.828003 | -26.152004 |
220.319000 | 216.102997 | -12.911355 |
245.722000 | 215.014008 | -2.958026 |
264.444000 | 223.712997 | -1.707024 |
248.561005 | 225.395996 | -4.195350 |
225.479996 | 229.843994 | -9.089365 |
232.962006 | 257.674011 | -22.009594 |
247.537003 | 249.820007 | -2.200033 |
263.890991 | 253.182007 | -10.386778 |
246.162003 | 260.998993 | -6.369690 |
247.764008 | 254.626007 | -8.632094 |
363.145996 | 247.513000 | -32.829220 |
346.062988 | 237.988998 | -10.915626 |
323.924011 | 248.774002 | -14.962180 |
345.190002 | 250.759003 | -13.933188 |
344.665009 | 245.457001 | -16.051268 |
281.901001 | 243.891006 | -4.687163 |
279.122009 | 276.451996 | 9.861070 |
268.674011 | 310.454010 | 3.761226 |
275.675995 | 319.894989 | 9.810117 |
304.147003 | 323.222992 | 20.658644 |
331.824005 | 315.618988 | 7.311512 |
334.407990 | 304.527008 | -1.552975 |
318.428986 | 273.179993 | 5.884040 |
310.130005 | 241.397003 | -6.565807 |
284.317993 | 314.191986 | 29.184258 |
318.929993 | 310.992004 | 28.415812 |
249.610001 | 363.691010 | 7.310203 |
274.121002 | 355.808990 | 23.266443 |
293.878998 | 350.838989 | 28.893948 |
305.975006 | 351.217010 | 30.737034 |
318.718994 | 349.369995 | 27.313889 |
335.027008 | 351.368011 | 18.073978 |
351.959991 | 350.524994 | 0.190571 |
332.667999 | 379.192993 | 17.046757 |
324.872009 | 384.342987 | 27.096140 |
306.274994 | 389.187012 | 29.899603 |
288.662994 | 388.101990 | 28.569788 |
273.156006 | 376.343994 | 19.729717 |
286.625000 | 375.360992 | 24.474823 |
307.993011 | 374.421997 | 28.236618 |
322.445007 | 371.730011 | 23.216183 |
323.145996 | 357.049011 | 22.638123 |
306.730988 | 358.087006 | 29.737535 |
287.204987 | 360.213013 | 25.672623 |
307.502014 | 364.085999 | 23.470528 |
301.635010 | 305.169006 | 42.694866 |
S904、将三维特征点中心化(使质心平移到原点),旋转至正视方向(旋转参数为之前估计的值),然后把若干个三维特征点的坐标值依次排列成一个列向量,经过模值归一化(列向量的每个分量除以列向量的模值),这样就与模值归一化的三维平均脸的参考系相同,能够比较并夸张了。
本例中模值归一化中列向量的模值为762.782715。将上一步的特征点经过上述操作后得到的数表如表4所示:
表4
0.148354 | 0.097491 | -0.026954 |
0.152876 | 0.03844 | -0.021653 |
0.148388 | -0.005602 | -0.030775 |
0.137641 | -0.068651 | -0.042138 |
0.123319 | -0.10813 | -0.044309 |
0.102888 | -0.147611 | -0.039809 |
0.057205 | -0.17844 | -0.018414 |
-0.005178 | -0.191884 | -0.012943 |
-0.062268 | -0.179289 | -0.022679 |
-0.112973 | -0.124953 | -0.04395 |
-0.097899 | -0.136222 | -0.063209 |
-0.13446 | -0.064893 | -0.052243 |
-0.142743 | -0.004053 | -0.041918 |
-0.14255 | 0.044687 | -0.034852 |
-0.137604 | 0.098828 | -0.044879 |
-0.128325 | 0.118458 | -0.029417 |
-0.095682 | 0.134497 | -0.004049 |
-0.063611 | 0.131901 | 0.012728 |
-0.041896 | 0.116134 | 0.015947 |
-0.072181 | 0.11754 | 0.008571 |
-0.095336 | 0.1211 | -0.001272 |
0.121921 | 0.111018 | -0.017369 |
0.096284 | 0.130368 | 0.00412 |
0.063192 | 0.127108 | 0.017375 |
0.039538 | 0.113857 | 0.017116 |
0.060405 | 0.113754 | 0.013421 |
0.090883 | 0.111318 | 0.005943 |
0.083364 | 0.077719 | -0.017053 |
0.064031 | 0.081948 | 0.010405 |
0.042771 | 0.07794 | -0.000831 |
0.066761 | 0.068632 | 0.002458 |
0.06403 | 0.077202 | 0.001004 |
-0.088039 | 0.080986 | -0.02789 |
-0.066082 | 0.089872 | 0.00247 |
-0.036235 | 0.078995 | -0.005357 |
-0.063836 | 0.074199 | -0.004351 |
-0.063684 | 0.081557 | -0.005876 |
0.018497 | 0.086907 | 0.008763 |
0.025448 | 0.041931 | 0.02008 |
0.042093 | 0.000523 | 0.004365 |
0.03394 | -0.013671 | 0.010058 |
-0.002738 | -0.023111 | 0.023477 |
-0.039926 | -0.012892 | 0.008158 |
-0.044523 | 0.003164 | -0.000732 |
-0.026339 | 0.043342 | 0.015937 |
-0.018686 | 0.087883 | 0.007083 |
0.022553 | -0.011553 | 0.036425 |
-0.023016 | -0.010523 | 0.036379 |
0.071988 | -0.067036 | -0.003346 |
0.039574 | -0.062831 | 0.019206 |
0.013409 | -0.059576 | 0.027729 |
-0.002331 | -0.061624 | 0.030097 |
-0.019241 | -0.059668 | 0.026179 |
-0.04059 | -0.061676 | 0.013896 |
-0.063212 | -0.058116 | -0.008892 |
-0.034974 | -0.097047 | 0.006192 |
-0.024081 | -0.105231 | 0.017939 |
0.000744 | -0.110352 | 0.020335 |
0.023643 | -0.106991 | 0.018757 |
0.042641 | -0.088376 | 0.009939 |
0.025046 | -0.089461 | 0.016372 |
-0.002896 | -0.091124 | 0.021575 |
-0.022153 | -0.087878 | 0.015799 |
-0.02443 | -0.068909 | 0.018415 |
-0.002711 | -0.070313 | 0.02724 |
0.022924 | -0.070284 | 0.021386 |
-0.00331 | -0.076684 | 0.017783 |
-0.000614 | -0.004644 | 0.056036 |
S905、根据NMF建立的特征空间的基做三维夸张。
a)建立人脸三维形状特征空间
i.对三维人脸数据库中的每个样本标定若干个人脸特征点,对每个人脸的特征点分别中心化和模值归一化,使其处在统一的参考系下;
ii.对xyz坐标增加一定的偏移量,偏移量的选定不做特别的要求,只需要使得各个人脸的特征点均为非负即可,这样便于实施NMF(非负矩阵分解);
x、y、z三个坐标上的偏移量一般分别取0.3097、0.3771、0.1498。
iii.将每一人脸的若干个三维特征点的坐标值排列成列向量,多个人脸的列向量横向依次排列即得一个矩阵,对该矩阵做NMF(NMF的计算有许多公开的方法,典型地,可以采用《Non-negative Matrix Factorization Based onAlternating Non-negativity Constrained Least Squares and Active Set Method》一文的方法),得到左右两个矩阵,左矩阵即为人脸形状特征空间,右矩阵为各个人脸的三维特征点向量在人脸形状特征空间中的投影,计算右矩阵中每行元素的均值mi和标准差σi,这些数据在夸张的步骤中会用到。
由于标定的三维人脸数据库中的三维特征点众多,在此不一一列出。NMF涉及人脸形状特征空间基的个数的选择,可以取其为10,由此得到的人脸形状特征空间如表5所示:
表5
0.1006 | 0.1358 | 0.1022 | 0.0773 | 0.1036 | 0.1082 | 0.0893 | 0.1084 | 0.1128 | 0.0787 |
0.1029 | 0.1078 | 0.1119 | 0.1294 | 0.1031 | 0.0988 | 0.0958 | 0.0914 | 0.0951 | 0.0469 |
0.0162 | 0.0499 | 0.0047 | 0 | 0.0349 | 0.0191 | 0.0287 | 0.0368 | 0.0254 | 0.1529 |
0.1015 | 0.1422 | 0.1034 | 0.0785 | 0.1030 | 0.1051 | 0.0933 | 0.1046 | 0.1123 | 0.0818 |
0.0940 | 0.0835 | 0.1018 | 0.1241 | 0.0925 | 0.0919 | 0.0790 | 0.0790 | 0.0888 | 0.0402 |
0.0146 | 0.0111 | 0.0143 | 0.0172 | 0.0335 | 0.0302 | 0.0265 | 0.0359 | 0.0316 | 0.1033 |
0.1000 | 0.1330 | 0.0990 | 0.0927 | 0.1015 | 0.1053 | 0.0961 | 0.1008 | 0.1084 | 0.0776 |
0.0846 | 0.0827 | 0.0787 | 0.1017 | 0.0821 | 0.0829 | 0.0733 | 0.0765 | 0.0791 | 0.0180 |
0.0131 | 0.0011 | 0.0165 | 0.0086 | 0.0346 | 0.0295 | 0.0235 | 0.0311 | 0.0333 | 0.0571 |
0.1015 | 0.1267 | 0.0922 | 0.0864 | 0.0992 | 0.0994 | 0.0991 | 0.1015 | 0.1032 | 0.0843 |
0.0781 | 0.0542 | 0.0721 | 0.0932 | 0.0698 | 0.0738 | 0.0535 | 0.0698 | 0.0698 | 0.0042 |
0.0083 | 0 | 0.0328 | 0.0184 | 0.0352 | 0.0354 | 0.0190 | 0.0177 | 0.0275 | 0.0017 |
0.0980 | 0.1021 | 0.0752 | 0.0968 | 0.0952 | 0.0987 | 0.1033 | 0.0926 | 0.0975 | 0.0695 |
0.0654 | 0.0274 | 0.0643 | 0.0648 | 0.0596 | 0.0657 | 0.0398 | 0.0703 | 0.0656 | 0.0175 |
0.0081 | 0.0204 | 0.0517 | 0.0027 | 0.0276 | 0.0383 | 0.0050 | 0.0200 | 0.0319 | 0 |
0.0939 | 0.0886 | 0.0716 | 0.0862 | 0.0876 | 0.0930 | 0.0848 | 0.0917 | 0.0941 | 0.0651 |
0.0585 | 0.0550 | 0.0527 | 0.0603 | 0.0516 | 0.0533 | 0.0328 | 0.0561 | 0.0612 | 0.0609 |
0.0078 | 0.0479 | 0.0454 | 0.0349 | 0.0214 | 0.0348 | 0.0353 | 0.0033 | 0.0376 | 0.0261 |
0.0852 | 0.0839 | 0.0689 | 0.0921 | 0.0789 | 0.0834 | 0.0710 | 0.0812 | 0.0844 | 0.0539 |
0.0543 | 0.0568 | 0.0484 | 0.0463 | 0.0468 | 0.0526 | 0.0243 | 0.0486 | 0.0562 | 0.0539 |
0.0209 | 0.0346 | 0.0438 | 0.0360 | 0.0222 | 0.0383 | 0.0519 | 0.0111 | 0.0412 | 0.0369 |
0.0724 | 0.0866 | 0.0710 | 0.0596 | 0.0708 | 0.0698 | 0.0714 | 0.0736 | 0.0696 | 0.0723 |
0.0531 | 0.0550 | 0.0453 | 0.0407 | 0.0453 | 0.0523 | 0.0246 | 0.0429 | 0.0543 | 0.0406 |
0.0281 | 0.0369 | 0.0325 | 0.0717 | 0.0179 | 0.0464 | 0.0462 | 0.0056 | 0.0415 | 0.0236 |
0.0614 | 0.0951 | 0.0551 | 0.0499 | 0.0616 | 0.0586 | 0.0684 | 0.0610 | 0.0543 | 0.0726 |
0.0513 | 0.0465 | 0.0521 | 0.0384 | 0.0470 | 0.0527 | 0.0242 | 0.0500 | 0.0615 | 0.0560 |
0.0277 | 0.0474 | 0.0301 | 0.0482 | 0.0174 | 0.0389 | 0.0560 | 0.0087 | 0.0358 | 0.0030 |
0.0518 | 0.0790 | 0.0411 | 0.0429 | 0.0549 | 0.0451 | 0.0717 | 0.0569 | 0.0447 | 0.0827 |
0.0519 | 0.0324 | 0.0675 | 0.0439 | 0.0534 | 0.0517 | 0.0261 | 0.0597 | 0.0694 | 0.0786 |
0.0191 | 0.0532 | 0.0306 | 0.0384 | 0.0104 | 0.0253 | 0.0511 | 0.0085 | 0.0279 | 0.0292 |
0.0418 | 0.0639 | 0.0402 | 0.0445 | 0.0479 | 0.0389 | 0.0573 | 0.0531 | 0.0406 | 0.1032 |
0.0550 | 0.0290 | 0.0799 | 0.0546 | 0.0607 | 0.0595 | 0.0432 | 0.0706 | 0.0706 | 0.0726 |
0.0132 | 0.0165 | 0.0437 | 0.0195 | 0.0142 | 0.0319 | 0.0211 | 0.0162 | 0.0185 | 0.0321 |
0.0352 | 0.0335 | 0.0536 | 0.0413 | 0.0411 | 0.0376 | 0.0538 | 0.0537 | 0.0378 | 0.0723 |
0.0693 | 0.0847 | 0.0786 | 0.0865 | 0.0679 | 0.0591 | 0.0792 | 0.0759 | 0.0671 | 0.0961 |
0.0140 | 0.0211 | 0.0581 | 0.0179 | 0.0132 | 0.0315 | 0.0273 | 0.0271 | 0.0101 | 0 |
0.0364 | 0.0176 | 0.0478 | 0.0501 | 0.0385 | 0.0376 | 0.0498 | 0.0484 | 0.0360 | 0.0514 |
0.0785 | 0.1004 | 0.0761 | 0.1103 | 0.0750 | 0.0791 | 0.0922 | 0.0799 | 0.0785 | 0.0775 |
0.0211 | 0.0190 | 0.0378 | 0.0258 | 0.0104 | 0.0349 | 0.0226 | 0.0322 | 0.0192 | 0.0039 |
0.0384 | 0.0089 | 0.0396 | 0.0738 | 0.0372 | 0.0399 | 0.0496 | 0.0380 | 0.0335 | 0.0306 |
0.0824 | 0.0620 | 0.0827 | 0.0868 | 0.0879 | 0.0989 | 0.0954 | 0.0975 | 0.0964 | 0.0724 |
0.0307 | 0.0033 | 0.0214 | 0.0369 | 0.0136 | 0.0372 | 0.0227 | 0.0278 | 0.0232 | 0.0050 |
0.0381 | 0.0004 | 0.0383 | 0.0662 | 0.0386 | 0.0392 | 0.0490 | 0.0393 | 0.0338 | 0.0334 |
0.0912 | 0.1152 | 0.0876 | 0.1190 | 0.0976 | 0.1049 | 0.1074 | 0.1043 | 0.1048 | 0.0946 |
0.0326 | 0.0306 | 0.0224 | 0.0180 | 0.0186 | 0.0301 | 0.0036 | 0.0284 | 0.0146 | 0.0358 |
0.0355 | 0.0343 | 0.0325 | 0.0595 | 0.0428 | 0.0422 | 0.0590 | 0.0420 | 0.0448 | 0.0538 |
0.1144 | 0.1178 | 0.1158 | 0.0953 | 0.1137 | 0.1180 | 0.1238 | 0.1258 | 0.1209 | 0.1263 |
0.0323 | 0.0757 | 0.0150 | 0.0616 | 0.0277 | 0.0351 | 0 | 0.0227 | 0.0279 | 0 |
0.0418 | 0.0773 | 0.0425 | 0.0550 | 0.0450 | 0.0470 | 0.0658 | 0.0539 | 0.0564 | 0.0845 |
0.1188 | 0.0726 | 0.1214 | 0.1163 | 0.1189 | 0.1272 | 0.1249 | 0.1296 | 0.1227 | 0.1091 |
0.0392 | 0.1160 | 0.0318 | 0.0626 | 0.0312 | 0.0334 | 0.0074 | 0.0316 | 0.0306 | 0.0352 |
0.0448 | 0.0619 | 0.0576 | 0.0562 | 0.0536 | 0.0632 | 0.0674 | 0.0615 | 0.0660 | 0.0602 |
0.1203 | 0.0692 | 0.1228 | 0.1242 | 0.1184 | 0.1249 | 0.1304 | 0.1213 | 0.1196 | 0.1080 |
0.0428 | 0.0756 | 0.0407 | 0.0606 | 0.0387 | 0.0422 | 0.0018 | 0.0381 | 0.0349 | 0.0206 |
0.0591 | 0.0410 | 0.0614 | 0.0710 | 0.0637 | 0.0705 | 0.0675 | 0.0648 | 0.0727 | 0.0311 |
0.1165 | 0.0755 | 0.1168 | 0.1242 | 0.1145 | 0.1224 | 0.1246 | 0.1155 | 0.1148 | 0.1103 |
0.0447 | 0.0473 | 0.0383 | 0.0647 | 0.0406 | 0.0434 | 0.0051 | 0.0399 | 0.0342 | 0.0197 |
0.0543 | 0.0467 | 0.0546 | 0.0625 | 0.0589 | 0.0588 | 0.0635 | 0.0546 | 0.0645 | 0.0361 |
0.1141 | 0.0786 | 0.1139 | 0.1120 | 0.1154 | 0.1234 | 0.1190 | 0.1184 | 0.1183 | 0.1003 |
0.0449 | 0.0519 | 0.0392 | 0.0579 | 0.0393 | 0.0409 | 0.0017 | 0.0364 | 0.0343 | 0.0064 |
0.0449 | 0.0428 | 0.0399 | 0.0518 | 0.0516 | 0.0490 | 0.0652 | 0.0506 | 0.0569 | 0.0387 |
0.1124 | 0.1024 | 0.1102 | 0.1140 | 0.1144 | 0.1217 | 0.1222 | 0.1211 | 0.1197 | 0.1197 |
0.0402 | 0.0728 | 0.0319 | 0.0535 | 0.0354 | 0.0355 | 0.0048 | 0.0359 | 0.0339 | 0.0152 |
0.0974 | 0.0951 | 0.1040 | 0.0936 | 0.1018 | 0.1069 | 0.0720 | 0.1025 | 0.1032 | 0.1257 |
0.1128 | 0.1310 | 0.1297 | 0.1016 | 0.1121 | 0.1109 | 0.1302 | 0.1217 | 0.1159 | 0.1454 |
0.0323 | 0.0740 | 0.0048 | 0.0219 | 0.0403 | 0.0257 | 0.0312 | 0.0380 | 0.0287 | 0 |
0.0890 | 0.0645 | 0.0906 | 0.0953 | 0.0958 | 0.1037 | 0.0631 | 0.0969 | 0.0985 | 0.0743 |
0.1183 | 0.1006 | 0.1297 | 0.1197 | 0.1177 | 0.1199 | 0.1250 | 0.1261 | 0.1185 | 0.1274 |
0.0403 | 0.0997 | 0.0250 | 0.0413 | 0.0425 | 0.0292 | 0.0262 | 0.0363 | 0.0297 | 0.0434 |
0.0828 | 0.0767 | 0.0784 | 0.0848 | 0.0826 | 0.0914 | 0.0637 | 0.0872 | 0.0924 | 0.1003 |
0.1185 | 0.0892 | 0.1233 | 0.1207 | 0.1193 | 0.1208 | 0.1256 | 0.1209 | 0.1192 | 0.1198 |
0.0421 | 0.0703 | 0.0380 | 0.0503 | 0.0454 | 0.0382 | 0.0107 | 0.0419 | 0.0349 | 0.0350 |
0.0765 | 0.0887 | 0.0658 | 0.0876 | 0.0755 | 0.0817 | 0.0663 | 0.0751 | 0.0815 | 0.0903 |
0.1115 | 0.0893 | 0.1186 | 0.1069 | 0.1138 | 0.1211 | 0.1236 | 0.1173 | 0.1164 | 0.1276 |
0.0420 | 0.0482 | 0.0391 | 0.0534 | 0.0430 | 0.0399 | 0.0081 | 0.0430 | 0.0368 | 0.0403 |
0.0846 | 0.0781 | 0.0838 | 0.0888 | 0.0826 | 0.0881 | 0.0658 | 0.0872 | 0.0904 | 0.0984 |
0.1121 | 0.0937 | 0.1203 | 0.1187 | 0.1158 | 0.1175 | 0.1227 | 0.1160 | 0.1135 | 0.1245 |
0.0389 | 0.0572 | 0.0362 | 0.0454 | 0.0444 | 0.0375 | 0.0124 | 0.0426 | 0.0347 | 0.0409 |
0.0901 | 0.0871 | 0.0936 | 0.1040 | 0.0906 | 0.1010 | 0.0687 | 0.0923 | 0.0960 | 0.0989 |
0.1146 | 0.1004 | 0.1207 | 0.1105 | 0.1166 | 0.1135 | 0.1258 | 0.1186 | 0.1144 | 0.1282 |
0.0364 | 0.0772 | 0.0237 | 0.0298 | 0.0449 | 0.0308 | 0.0171 | 0.0447 | 0.0356 | 0.0495 |
0.0943 | 0.1088 | 0.0995 | 0.0772 | 0.0978 | 0.1007 | 0.0881 | 0.1008 | 0.1000 | 0.0877 |
0.1068 | 0.1272 | 0.1122 | 0.1093 | 0.1098 | 0.0988 | 0.1085 | 0.1030 | 0.1036 | 0.1302 |
0.0214 | 0.0513 | 0.0183 | 0.0225 | 0.0354 | 0.0258 | 0.0235 | 0.0399 | 0.0328 | 0.0904 |
0.0911 | 0.0786 | 0.0848 | 0.0796 | 0.0894 | 0.0916 | 0.0811 | 0.0916 | 0.0892 | 0.0701 |
0.1102 | 0.1206 | 0.1122 | 0.1143 | 0.1103 | 0.1038 | 0.1104 | 0.1060 | 0.1087 | 0.1268 |
0.0299 | 0.0721 | 0.0352 | 0.0216 | 0.0422 | 0.0317 | 0.0236 | 0.0494 | 0.0359 | 0.0975 |
0.0822 | 0.0658 | 0.0769 | 0.0783 | 0.0812 | 0.0820 | 0.0765 | 0.0816 | 0.0825 | 0.0604 |
0.1062 | 0.1189 | 0.1079 | 0.1075 | 0.1075 | 0.0997 | 0.1073 | 0.1045 | 0.1050 | 0.1159 |
0.0305 | 0.0518 | 0.0255 | 0.0238 | 0.0381 | 0.0304 | 0.0273 | 0.0455 | 0.0318 | 0.0721 |
0.0901 | 0.0816 | 0.0829 | 0.0809 | 0.0898 | 0.0902 | 0.0832 | 0.0911 | 0.0907 | 0.0737 |
0.1055 | 0.1211 | 0.1091 | 0.1129 | 0.1062 | 0.0971 | 0.1070 | 0.0983 | 0.1013 | 0.1166 |
0.0290 | 0.0529 | 0.0277 | 0.0244 | 0.0416 | 0.0310 | 0.0253 | 0.0445 | 0.0336 | 0.0777 |
0.0889 | 0.0768 | 0.0839 | 0.0783 | 0.0904 | 0.0905 | 0.0831 | 0.0919 | 0.0914 | 0.0704 |
0.1071 | 0.1170 | 0.1114 | 0.1109 | 0.1089 | 0.1008 | 0.1076 | 0.1030 | 01053 | 0.1216 |
0.0313 | 0.0533 | 0.0294 | 0.0314 | 0.0409 | 0.0322 | 0.0179 | 0.0423 | 0.0333 | 0.0714 |
0.0443 | 0.0308 | 0.0478 | 0.0578 | 0.0466 | 0.0440 | 0.0570 | 0.0451 | 0.0454 | 0.0426 |
0.1036 | 0.1224 | 0.1002 | 0.1110 | 0.1074 | 0.1046 | 0.1059 | 0.1092 | 0.1083 | 0.1210 |
0.0289 | 0.0479 | 0.0314 | 0.0360 | 0.0271 | 0.0291 | 0.0151 | 0.0316 | 0.0248 | 0.0407 |
0.0508 | 0.0456 | 0.0543 | 0.0538 | 0.0547 | 0.0535 | 0.0646 | 0.0536 | 0.0544 | 0.0508 |
0.1060 | 0.1186 | 0.1058 | 0.1119 | 0.1081 | 0.1096 | 0.1066 | 0.1120 | 0.1118 | 0.1283 |
0.0409 | 0.0536 | 0.0381 | 0.0260 | 0.0393 | 0.0326 | 0.0217 | 0.0428 | 0.0281 | 0.0407 |
0.0615 | 0.0408 | 0.0622 | 0.0647 | 0.0649 | 0.0626 | 0.0648 | 0.0620 | 0.0630 | 0.0423 |
0.1041 | 0.1081 | 0.1043 | 0.1114 | 0.1065 | 0.1038 | 0.1056 | 0.1061 | 0.1066 | 0.1068 |
0.0360 | 0.0493 | 0.0282 | 0.0276 | 0.0342 | 0.0301 | 0.0248 | 0.0424 | 0.0306 | 0.0410 |
0.0505 | 0.0372 | 0.0572 | 0.0522 | 0.0568 | 0.0523 | 0.0626 | 0.0541 | 0.0525 | 0.0407 |
0.1011 | 0.1028 | 0.1019 | 0.1108 | 0.1046 | 0.1018 | 0.1080 | 0.1048 | 0.1044 | 0.1060 |
0.0360 | 0.0481 | 0.0364 | 0.0355 | 0.0350 | 0.0338 | 0.0203 | 0.0374 | 0.0275 | 0.0427 |
0.0508 | 0.0371 | 0.0542 | 0.0504 | 0.0579 | 0.0528 | 0.0662 | 0.0545 | 0.0538 | 0.0436 |
0.1038 | 0.1136 | 0.1019 | 0.1106 | 0.1064 | 0.1050 | 0.1084 | 0.1085 | 0.1085 | 0.1169 |
0.0373 | 0.0562 | 0.0327 | 0.0437 | 0.0346 | 0.0334 | 0.0169 | 0.0372 | 0.0261 | 0.0383 |
0.0771 | 0.0693 | 0.0776 | 0.0814 | 0.0761 | 0.0786 | 0.0721 | 0.0750 | 0.0768 | 0.0683 |
0.1052 | 0.1105 | 0.1086 | 0.1083 | 0.1060 | 0.0963 | 0.1040 | 0.1015 | 0.1009 | 0.1180 |
0.0323 | 0.0380 | 0.0282 | 0.0331 | 0.0374 | 0.0338 | 0.0289 | 0.0476 | 0.0347 | 0.0408 |
0.0813 | 0.0843 | 0.0839 | 0.0884 | 0.0787 | 0.0790 | 0.0724 | 0.0721 | 0.0755 | 0.0658 |
0.0939 | 0.1035 | 0.0989 | 0.0934 | 0.0951 | 0.0918 | 0.0965 | 0.0910 | 0.0909 | 0.1125 |
0.0365 | 0.0127 | 0.0355 | 0.0376 | 0.0383 | 0.0340 | 0.0349 | 0.0495 | 0.0437 | 0.0395 |
0.0865 | 0.0815 | 0.0886 | 0.0937 | 0.0841 | 0.0818 | 0.0754 | 0.0754 | 0.0811 | 0.0882 |
0.0850 | 0.0856 | 0.0829 | 0.0815 | 0.0862 | 0.0855 | 0.0855 | 0.0821 | 0.0794 | 0.0944 |
0.0323 | 0.0276 | 0.0309 | 0.0214 | 0.0365 | 0.0297 | 0.0413 | 0.0411 | 0.0377 | 0.0522 |
0.0854 | 0.0631 | 0.0831 | 0.0883 | 0.0809 | 0.0829 | 0.0679 | 0.0727 | 0.0788 | 0.0693 |
0.0832 | 0.0849 | 0.0817 | 0.0812 | 0.0830 | 0.0821 | 0.0814 | 0.0778 | 0.0758 | 0.0686 |
0.0368 | 0.0350 | 0.0410 | 0.0262 | 0.0368 | 0.0280 | 0.0452 | 0.0398 | 0.0384 | 0.0364 |
0.0737 | 0.0627 | 0.0738 | 0.0728 | 0.0724 | 0.0708 | 0.0693 | 0.0696 | 0.0719 | 0.0645 |
0.0802 | 0.0884 | 0.0795 | 0.0751 | 0.0839 | 0.0815 | 0.0827 | 0.0810 | 0.0736 | 0.0843 |
0.0421 | 0.0289 | 0.0386 | 0.0390 | 0.0396 | 0.0347 | 0.0489 | 0.0423 | 0.0403 | 0.0176 |
0.0642 | 0.0464 | 0.0594 | 0.0494 | 0.0660 | 0.0621 | 0.0673 | 0.0675 | 0.0620 | 0.0554 |
0.0833 | 0.0773 | 0.0785 | 0.0874 | 0.0841 | 0.0827 | 0.0780 | 0.0785 | 0.0777 | 0.0616 |
0.0404 | 0.0239 | 0.0369 | 0.0210 | 0.0330 | 0.0332 | 0.0469 | 0.0414 | 0.0354 | 0.0126 |
0.0603 | 0.0415 | 0.0568 | 0.0429 | 0.0630 | 0.0587 | 0.0673 | 0.0658 | 0.0610 | 0.0390 |
0.0874 | 0.0981 | 0.0797 | 0.0827 | 0.0879 | 0.0829 | 0.0841 | 0.0831 | 0.0803 | 0.0786 |
0.0389 | 0.0197 | 0.0337 | 0.0253 | 0.0311 | 0.0307 | 0.0419 | 0.0387 | 0.0328 | 0.0212 |
0.0650 | 0.0536 | 0.0620 | 0.0620 | 0.0653 | 0.0627 | 0.0681 | 0.0658 | 0.0636 | 0.0528 |
0.0941 | 0.0931 | 0.1011 | 0.1065 | 0.0963 | 0.0956 | 0.0884 | 0.0893 | 0.0923 | 0.0863 |
0.0393 | 0.0227 | 0.0348 | 0.0475 | 0.0342 | 0.0351 | 0.0350 | 0.0467 | 0.0380 | 0.0231 |
0.0665 | 0.0430 | 0.0673 | 0.0581 | 0.0685 | 0.0665 | 0.0661 | 0.0677 | 0.0661 | 0.0502 |
0.1008 | 0.1052 | 0.1096 | 0.1143 | 0.1062 | 0.1019 | 0.1019 | 0.0978 | 0.1004 | 0.0942 |
0.0364 | 0.0298 | 0.0336 | 0.0314 | 0.0350 | 0.0345 | 0.0226 | 0.0476 | 0.0338 | 0.0365 |
0.0842 | 0.0755 | 0.0779 | 0.0801 | 0.0771 | 0.0749 | 0.0721 | 0.0699 | 0.0754 | 0.0740 |
0.0865 | 0.0804 | 0.0878 | 0.0748 | 0.0864 | 0.0841 | 0.0844 | 0.0837 | 0.0771 | 0.0830 |
0.0428 | 0.0043 | 0.0548 | 0.0426 | 0.0434 | 0.0343 | 0.0443 | 0.0486 | 0.0464 | 0.0452 |
0.0679 | 0.0516 | 0.0602 | 0.0584 | 0.0688 | 0.0653 | 0.0705 | 0.0671 | 0.0634 | 0.0489 |
0.0873 | 0.0698 | 0.0846 | 0.0794 | 0.0868 | 0.0846 | 0.0824 | 0.0846 | 0.0796 | 0.0807 |
0.0476 | 0 | 0.0462 | 0.0544 | 0.0418 | 0.0343 | 0.0465 | 0.0454 | 0.0468 | 0.0406 |
0.0833 | 0.1057 | 0.0907 | 0.0977 | 0.0871 | 0.0845 | 0.0717 | 0.0845 | 0.0868 | 0.1060 |
0.0720 | 0.0752 | 0.0630 | 0.0604 | 0.0706 | 0.0674 | 0.0670 | 0.0682 | 0.0645 | 0.0629 |
0.0317 | 0.0177 | 0.0318 | 0.0064 | 0.0362 | 0.0322 | 0.0484 | 0.0328 | 0.0372 | 0.0134 |
0.0796 | 0.0788 | 0.0801 | 0.0787 | 0.0805 | 0.0797 | 0.0720 | 0.0787 | 0.0800 | 0.0819 |
0.0745 | 0.0648 | 0.0696 | 0.0516 | 0.0737 | 0.0722 | 0.0741 | 0.0725 | 0.0710 | 0.0622 |
0.0423 | 0.0065 | 0.0406 | 0.0368 | 0.0400 | 0.0368 | 0.0505 | 0.0341 | 0.0410 | 0.0173 |
0.0800 | 0.0729 | 0.0794 | 0.0761 | 0.0763 | 0.0742 | 0.0715 | 0.0692 | 0.0724 | 0.0734 |
0.0743 | 0.0622 | 0.0695 | 0.0479 | 0.0753 | 0.0759 | 0.0762 | 0.0750 | 0.0740 | 0.0640 |
0.0433 | 0.0193 | 0.0413 | 0.0406 | 0.0414 | 0.0377 | 0.0542 | 0.0374 | 0.0424 | 0.0221 |
0.0748 | 0.0617 | 0.0775 | 0.0683 | 0.0711 | 0.0702 | 0.0719 | 0.0692 | 0.0687 | 0.0690 |
0.0711 | 0.0653 | 0.0673 | 0.0432 | 0.0750 | 0.0745 | 0.0757 | 0.0763 | 0.0750 | 0.0637 |
0.0448 | 0.0151 | 0.0420 | 0.0370 | 0.0418 | 0.0395 | 0.0548 | 0.0375 | 0.0428 | 00242 |
0.0695 | 0.0599 | 0.0734 | 0.0634 | 0.0665 | 0.0647 | 0.0715 | 0.0681 | 0.0624 | 0.0727 |
0.0741 | 0.0613 | 0.0668 | 0.0465 | 0.0772 | 0.0760 | 0.0745 | 0.0755 | 0.0752 | 0.0620 |
0.0437 | 0.0147 | 0.0431 | 0.0403 | 0.0387 | 0.0392 | 0.0565 | 0.0376 | 0.0398 | 0.0216 |
0.0663 | 0.0646 | 0.0691 | 0.0617 | 0.0622 | 0.0575 | 0.0687 | 0.0616 | 0.0549 | 0.0675 |
0.0729 | 0.0629 | 0.0648 | 0.0572 | 0.0754 | 0.0733 | 0.0641 | 0.0727 | 0.0740 | 0.0612 |
0.0438 | 0.0060 | 0.0398 | 0.0385 | 0.0347 | 0.0373 | 0.0513 | 0.0351 | 0.0358 | 0.0094 |
0.0605 | 0.0501 | 0.0583 | 0.0433 | 0.0582 | 0.0539 | 0.0675 | 0.0568 | 0.0522 | 0.0575 |
0.0704 | 0.0625 | 0.0630 | 0.0758 | 0.0698 | 0.0680 | 0.0586 | 0.0692 | 0.0695 | 0.0704 |
0.0378 | 0.0028 | 0.0333 | 0.0122 | 0.0295 | 0.0330 | 0.0490 | 0.0300 | 0.0317 | 0 |
0.0603 | 0.0620 | 0.0709 | 0.0453 | 0.0632 | 0.0619 | 0.0633 | 0.0637 | 0.0626 | 0.0758 |
0.0663 | 0.0674 | 0.0571 | 0.0697 | 0.0652 | 0.0646 | 0.0638 | 0.0625 | 0.0656 | 0.0627 |
0.0422 | 0.0004 | 0.0383 | 0.0226 | 0.0357 | 0.0375 | 0.0526 | 0.0284 | 0.0368 | 0.0238 |
0.0686 | 0.0732 | 0.0748 | 0.0574 | 0.0654 | 0.0646 | 0.0691 | 0.0661 | 0.0663 | 0.0754 |
0.0649 | 0.0713 | 0.0580 | 0.0654 | 0.0635 | 0.0645 | 0.0650 | 0.0598 | 0.0653 | 0.0485 |
0.0456 | 0.0064 | 0.0366 | 0.0320 | 0.0377 | 0.0374 | 0.0642 | 0.0301 | 0.0385 | 0.0294 |
0.0766 | 0.0690 | 0.0806 | 0.0705 | 0.0709 | 0.0688 | 0.0699 | 0.0676 | 0.0674 | 0.0644 |
0.0640 | 0.0734 | 0.0596 | 0.0606 | 0.0627 | 0.0650 | 0.0675 | 0.0612 | 0.0646 | 0.0489 |
0.0443 | 0.0075 | 0.0335 | 0.0347 | 0.0396 | 0.0378 | 0.0654 | 0.0320 | 0.0394 | 0.0337 |
0.0827 | 0.0705 | 0.0809 | 0.0774 | 0.0762 | 0.0734 | 0.0740 | 0.0718 | 0.0717 | 0.0630 |
0.0656 | 0.0773 | 0.0604 | 0.0616 | 0.0625 | 0.0645 | 0.0664 | 0.0615 | 0.0640 | 0.0566 |
0.0411 | 0.0043 | 0.0335 | 0.0368 | 0.0394 | 0.0379 | 0.0604 | 0.0323 | 0.0413 | 0.0369 |
0.0852 | 0.0722 | 0.0836 | 0.0820 | 0.0821 | 0.0785 | 0.0749 | 0.0764 | 0.0785 | 0.0707 |
0.0670 | 0.0801 | 0.0601 | 0.0633 | 0.0641 | 0.0650 | 0.0653 | 0.0630 | 0.0636 | 0.0603 |
0.0355 | 0.0080 | 0.0335 | 0.0293 | 0.0368 | 0.0381 | 0.0516 | 0.0301 | 0.0408 | 0.0327 |
0.0821 | 0.0723 | 0.0827 | 0.0767 | 0.0771 | 0.0765 | 0.0725 | 0.0730 | 0.0765 | 0.0742 |
0.0696 | 0.0749 | 0.0607 | 0.0593 | 0.0671 | 0.0673 | 0.0690 | 0.0643 | 0.0668 | 0.0561 |
0.0386 | 0.0047 | 0.0343 | 0.0283 | 0.0400 | 0.0366 | 0.0568 | 0.0353 | 0.0411 | 0.0303 |
0.0740 | 0.0688 | 0.0802 | 0.0708 | 0.0709 | 0.0707 | 0.0693 | 0.0687 | 0.0684 | 0.0638 |
0.0676 | 0.0708 | 0.0618 | 0.0595 | 0.0658 | 0.0677 | 0.0681 | 0.0648 | 0.0674 | 0.0547 |
0.0432 | 0.0067 | 0.0342 | 0.0259 | 0.0408 | 0.0370 | 0.0634 | 0.0355 | 0.0402 | 0.0315 |
0.0662 | 0.0688 | 0.0752 | 0.0667 | 0.0644 | 0.0635 | 0.0695 | 0.0638 | 0.0605 | 0.0663 |
0.0676 | 0.0682 | 0.0602 | 0.0634 | 0.0678 | 0.0664 | 0.0671 | 0.0653 | 0.0673 | 0.0647 |
0.0442 | 0.0058 | 0.0394 | 0.0279 | 0.0381 | 0.0362 | 0.0602 | 0.0327 | 0.0373 | 0.0178 |
0.0679 | 0.0772 | 0.0747 | 0.0657 | 0.0648 | 0.0621 | 0.0678 | 0.0625 | 0.0595 | 0.0735 |
0.0723 | 0.0644 | 0.0666 | 0.0599 | 0.0730 | 0.0712 | 0.0703 | 0.0693 | 0.0720 | 0.0573 |
0.0436 | 0.0136 | 0.0464 | 0.0339 | 0.0368 | 0.0373 | 0.0516 | 0.0335 | 0.0400 | 0.0169 |
0.0747 | 0.0614 | 0.0776 | 0.0734 | 0.0703 | 0.0696 | 0.0662 | 0.0699 | 0.0701 | 0.0803 |
0.0717 | 0.0607 | 0.0653 | 0.0533 | 0.0719 | 0.0724 | 0.0723 | 0.0715 | 0.0727 | 0.0575 |
0.0447 | 0.0061 | 0.0420 | 0.0354 | 0.0414 | 0.0387 | 0.0553 | 0.0365 | 0.0432 | 0.0192 |
0.0790 | 0.0605 | 0.0800 | 0.0734 | 0.0754 | 0.0765 | 0.0683 | 0.0769 | 0.0779 | 0.0809 |
0.0725 | 0.0653 | 0.0681 | 0.0559 | 0.0716 | 0.0714 | 0.0724 | 0.0707 | 0.0711 | 0.0594 |
0.0427 | 0.0149 | 0.0420 | 0.0379 | 0.0405 | 0.0349 | 0.0531 | 0.0341 | 0.0422 | 0.0241 |
0.0757 | 0.0694 | 0.0773 | 0.0734 | 0.0716 | 0.0690 | 0.0686 | 0.0682 | 0.0687 | 0.0723 |
0.0701 | 0.0692 | 0.0629 | 0.0530 | 0.0696 | 0.0706 | 0.0702 | 0.0694 | 0.0701 | 0.0525 |
0.0428 | 0.0128 | 0.0377 | 0.0325 | 0.0404 | 0.0368 | 0.0502 | 0.0325 | 0.0408 | 0.0231 |
0.0756 | 0.0648 | 0.0739 | 0.0755 | 0.0719 | 0.0719 | 0.0681 | 0.0670 | 0.0687 | 0.0685 |
0.0892 | 0.0866 | 0.0850 | 0.0714 | 0.0892 | 0.0863 | 0.0900 | 0.0855 | 0.0793 | 0.0923 |
0.0546 | 0.0374 | 0.0501 | 0.0602 | 0.0475 | 0.0411 | 0.0459 | 0.0459 | 0.0493 | 0.0205 |
在所选的若干个三维人脸特征点基础上做NMF得到的右矩阵中每行元素的均值mi和标准差σi的计算结果如表6所示:
表6
mi | σi |
0.5491 | 0.1144 |
0.0976 | 0.0079 |
0.2538 | 0.0421 |
0.2225 | 0.0202 |
0.8139 | 0.2451 |
0.7783 | 0.1368 |
0.3638 | 0.0377 |
0.6274 | 0.1714 |
0.5833 | 0.1400 |
0.0618 | 0.0059 |
b)对第4步得到的列向量也增加一定的偏移量(与前面的偏移量一致),根据NMF的定义即得其在人脸形状特征空间上的投影向量;
记一个人脸的三维特征点的坐标值(添加了防止坐标非负的偏移量之后)排列成列向量V,根据NMF的定义,它可以表示为下式的形式:
其中,C=10,fi代表人脸形状特征空间数表的第i列,投影向量为e=[0.446783,0.136041,0.119618,0.325726,1.217828,0.734176,0.372528,0.522420,0.524855,-0.054033]T,残量为r,δi由ei减去mi得到,r如下面204行的表7所示;
表7
0.006776 |
0.029506 |
0.016746 |
0.013423 |
0.014328 |
0.010201 |
0.011200 |
0.011247 |
0.005058 |
0.012246 |
-0.004790 |
-0.005487 |
0.012142 |
0.001369 |
0.001248 |
0.021612 |
-0.002404 |
-0.001618 |
0.011612 |
-0.010837 |
0.000458 |
-0.002652 |
-0.016113 |
-0.004467 |
-0.015748 |
-0.010493 |
-0.004787 |
-0.031452 |
0.026100 |
0.006128 |
0.013416 |
-0.018696 |
0.001858 |
-0.006594 |
0.006883 |
0.006821 |
-0.008182 |
0.016773 |
0.009549 |
-0.008848 |
0.025556 |
0.007444 |
-0.001634 |
0.030004 |
0.010994 |
-0.010053 |
-0.010043 |
-0.012211 |
-0.005187 |
-0.014687 |
-0.007679 |
-0.007844 |
-0.014079 |
-0.007377 |
-0.019460 |
-0.013869 |
-0.007252 |
-0.018966 |
-0.011127 |
-0.007493 |
-0.010475 |
-0.010078 |
-0.007267 |
0.002037 |
-0.011703 |
-0.014259 |
0.000952 |
-0.012697 |
-0.009255 |
0.008406 |
-0.014949 |
-0.007765 |
0.012831 |
-0.009035 |
-0.004756 |
0.005263 |
-0.011475 |
-0.005539 |
0.000066 |
-0.014140 |
-0.006589 |
-0.027179 |
-0.007047 |
0.002707 |
-0.010955 |
-0.014484 |
0.002952 |
0.001836 |
-0.004033 |
0.002040 |
-0.008955 |
-0.006407 |
0.001313 |
-0.011647 |
-0.008130 |
-0.000011 |
0.017758 |
-0.007385 |
-0.000320 |
0.006931 |
-0.007707 |
-0.001110 |
-0.000383 |
-0.004736 |
0.000305 |
0.009887 |
-0.002309 |
0.000237 |
0.007081 |
-0.005748 |
-0.002550 |
-0.004516 |
0.015565 |
0.002804 |
-0.006026 |
0.012412 |
0.004083 |
-0.006814 |
0.012475 |
0.005234 |
-0.002075 |
0.010084 |
0.004025 |
-0.003615 |
0.002950 |
-0.001002 |
-0.004269 |
0.007961 |
0.003841 |
0.002648 |
0.010847 |
0.004426 |
0.003588 |
0.008122 |
0.001905 |
0.004262 |
0.014491 |
0.005312 |
0.001118 |
0.002982 |
0.004247 |
-0.000575 |
0.001966 |
0.002169 |
0.008623 |
0.013951 |
0.002303 |
0.005725 |
0.004890 |
-0.000563 |
-0.001053 |
0.001574 |
-0.001492 |
0.000646 |
0.002689 |
-0.000316 |
0.002305 |
-0.000280 |
-0.000150 |
0.001432 |
0.004884 |
0.000636 |
0.002005 |
0.021219 |
0.004964 |
0.008082 |
-0.002563 |
0.001672 |
-0.000704 |
-0.006861 |
0.000064 |
0.004122 |
-0.011160 |
-0.001905 |
0.005923 |
-0.007872 |
-0.001250 |
0.004931 |
0.006939 |
0.001856 |
0.002008 |
-0.002675 |
-0.000153 |
-0.000682 |
-0.002110 |
0.000222 |
0.005448 |
-0.000366 |
0.000161 |
0.004421 |
0.001389 |
0.001287 |
0.001727 |
0.001269 |
-0.000451 |
0.005499 |
0.001557 |
-0.000675 |
-0.001217 |
0.001939 |
-0.000439 |
-0.000015 |
0.000580 |
-0.003115 |
c)根据本发明实施例所述的夸张策略对投影向量和残量进行夸张运算,由夸张后的投影向量和残量结合人脸形状特征空间即可恢复出带偏移量的夸张三维特征点;
根据从均值中夸张差异EDFM的三维夸张规则对列向量V进行三维夸张,获得夸张后的列向量V′,其满足以下关系式:
其中,k表示三维夸张系数,且|δi|/σi=|ei-mi|/σi,|δi|/σi构成集合Ω={aj|aj=|δj|/σj,j=1,...,C},当选取κ个最大的|δi|/σi对应的特征分量进行夸张时,ti=k,否则ti=1,其中κ的取值范围满足:1≤κ<C。C的取值优选为10。
当k=2.38,κ=2时,得到的V’转换成68×3的数表为表8:
表8
0.5155 | 0.5486 | 0.1210 |
0.5206 | 0.4811 | 0.1347 |
0.5176 | 0.4310 | 0.1314 |
0.5038 | 0.3591 | 0.1286 |
0.4911 | 0.3089 | 0.1215 |
0.4674 | 0.2567 | 0.1224 |
0.4176 | 0.2207 | 0.1431 |
0.3404 | 0.2067 | 0.1524 |
0.2743 | 0.2185 | 0.1423 |
0.2142 | 0.2806 | 0.1136 |
0.2309 | 0.2673 | 0.0925 |
0.1912 | 0.3483 | 0.1088 |
0.1858 | 0.4214 | 0.1185 |
0.1918 | 0.4764 | 0.1284 |
0.1974 | 0.5379 | 0.1142 |
0.2032 | 0.5504 | 0.1423 |
0.2324 | 0.5742 | 0.1650 |
0.2729 | 0.5728 | 0.1880 |
0.3048 | 0.5545 | 0.1931 |
0.2699 | 0.5568 | 0.1861 |
0.2423 | 0.5572 | 0.1721 |
0.4820 | 0.5396 | 0.1553 |
0.4613 | 0.5674 | 0.1748 |
0.4166 | 0.5659 | 0.1926 |
0.3918 | 0.5475 | 0.1911 |
0.4141 | 0.5502 | 0.1868 |
0.4501 | 0.5460 | 0.1759 |
0.4394 | 0.5094 | 0.1417 |
0.4216 | 0.5138 | 0.1718 |
0.3996 | 0.5110 | 0.1625 |
0.4246 | 0.5012 | 0.1668 |
0.4218 | 0.5098 | 0.1667 |
0.2524 | 0.5130 | 0.1356 |
0.2750 | 0.5212 | 0.1712 |
0.3120 | 0.5134 | 0.1609 |
0.2803 | 0.5080 | 0.1632 |
0.2798 | 0.5139 | 0.1628 |
0.3704 | 0.5226 | 0.1781 |
0.3799 | 0.4697 | 0.1910 |
0.3966 | 0.4246 | 0.1702 |
0.3898 | 0.4122 | 0.1790 |
0.3467 | 0.3985 | 0.1979 |
0.3039 | 0.4152 | 0.1781 |
0.3007 | 0.4305 | 0.1675 |
0.3208 | 0.4770 | 0.1882 |
0.3303 | 0.5282 | 0.1760 |
0.3750 | 0.4117 | 0.2101 |
0.3254 | 0.4137 | 0.2112 |
0.4289 | 0.3506 | 0.1658 |
0.3934 | 0.3537 | 0.1937 |
0.3645 | 0.3564 | 0.2026 |
0.3458 | 0.3538 | 0.2045 |
0.3254 | 0.3571 | 0.1998 |
0.3021 | 0.3567 | 0.1871 |
0.2763 | 0.3615 | 0.1600 |
0.3058 | 0.3158 | 0.1756 |
0.3181 | 0.3075 | 0.1886 |
0.3505 | 0.3004 | 0.1914 |
0.3779 | 0.3032 | 0.1896 |
0.3994 | 0.3252 | 0.1796 |
0.3772 | 0.3240 | 0.1876 |
0.3461 | 0.3220 | 0.1928 |
0.3234 | 0.3256 | 0.1880 |
0.3198 | 0.3485 | 0.1911 |
0.3441 | 0.3455 | 0.2020 |
0.3732 | 0.3455 | 0.1952 |
0.3450 | 0.3387 | 0.1910 |
0.3490 | 0.4177 | 0.2370 |
d)利用中心化移除之前的偏移量,即得夸张后的三维特征点。所得的三维特征点的数表为表9:
表9
0.166801 | 0.123991 | -0.047637 |
0.171927 | 0.056464 | -0.033982 |
0.168874 | 0.006397 | -0.037308 |
0.155076 | -0.065560 | -0.040089 |
0.142352 | -0.115726 | -0.047181 |
0.118677 | -0.167962 | -0.046267 |
0.068876 | -0.203945 | -0.025601 |
-0.008305 | -0.217899 | -0.016251 |
-0.074440 | -0.206078 | -0.026381 |
-0.134475 | -0.144051 | -0.055064 |
-0.117828 | -0.157278 | -0.076173 |
-0.157497 | -0.076288 | -0.059918 |
-0.162937 | -0.003248 | -0.050134 |
-0.156894 | 0.051819 | -0.040278 |
-0.151327 | 0.113251 | -0.054459 |
-0.145522 | 0.125803 | -0.026400 |
-0.116276 | 0.149599 | -0.003704 |
-0.075862 | 0.148141 | 0.019360 |
-0.043964 | 0.129872 | 0.024389 |
-0.078841 | 0.132162 | 0.017401 |
-0.106391 | 0.132547 | 0.003393 |
0.133273 | 0.115000 | -0.013373 |
0.112544 | 0.142738 | 0.006119 |
0.067858 | 0.141300 | 0.023898 |
0.043085 | 0.122893 | 0.022468 |
0.065348 | 0.125619 | 0.018169 |
0.101383 | 0.121362 | 0.007173 |
0.090673 | 0.084830 | -0.026930 |
0.072896 | 0.089180 | 0.003102 |
0.050861 | 0.086371 | -0.006219 |
0.075839 | 0.076545 | -0.001927 |
0.073088 | 0.085208 | -0.002018 |
-0.096285 | 0.088408 | -0.033101 |
-0.073751 | 0.096585 | 0.002485 |
-0.036696 | 0.088745 | -0.007736 |
-0.068387 | 0.083393 | -0.005444 |
-0.068874 | 0.089331 | -0.005850 |
0.021716 | 0.098004 | 0.009458 |
0.031226 | 0.045109 | 0.022368 |
0.047906 | -0.000049 | 0.001531 |
0.041122 | -0.012400 | 0.010371 |
-0.002028 | -0.026073 | 0.029224 |
-0.044787 | -0.009409 | 0.009381 |
-0.048046 | 0.005927 | -0.001219 |
-0.027887 | 0.052428 | 0.019558 |
-0.018461 | 0.103547 | 0.007362 |
0.026304 | -0.012950 | 0.041389 |
-0.023292 | -0.010867 | 0.042473 |
0.080131 | -0.073994 | -0.002838 |
0.044633 | -0.070925 | 0.024994 |
0.015827 | -0.068223 | 0.033895 |
-0.002896 | -0.070847 | 0.035861 |
-0.023345 | -0.067487 | 0.031133 |
-0.046668 | -0.067865 | 0.018462 |
-0.072433 | -0.063144 | -0.008646 |
-0.042894 | -0.108796 | 0.006946 |
-0.030656 | -0.117087 | 0.019946 |
0.001776 | -0.124219 | 0.022724 |
0.029178 | -0.121433 | 0.020947 |
0.050701 | -0.099461 | 0.010873 |
0.028449 | -0.100599 | 0.018949 |
-0.002638 | -0.102627 | 0.024136 |
-0.025337 | -0.098978 | 0.019318 |
-0.028880 | -0.076092 | 0.022422 |
-0.004597 | -0.079105 | 0.033327 |
0.024502 | -0.079121 | 0.026501 |
-0.003752 | -0.085874 | 0.022278 |
0.000247 | -0.006907 | 0.068342 |
S906、进行跟S904反向的操作,先恢复之前的模值(当前列向量的每个分量乘以之前记录的列向量的模值),再旋转至原视角,最后平移三维特征点使其质心回到之前的位置;
如此完成操作的数表为表10:
表10
166.833328 | 231.534546 | -50.015957 |
166.688400 | 280.581665 | -30.747906 |
171.746964 | 318.370758 | -26.654564 |
186.183731 | 371.912689 | -19.392889 |
198.592010 | 409.760498 | -18.242083 |
219.474213 | 447.508881 | -10.946362 |
259.412018 | 469.056458 | 8.688020 |
318.930054 | 474.144135 | 16.547140 |
368.560425 | 463.102875 | 6.505794 |
410.727631 | 417.242554 | -24.040453 |
398.712036 | 430.850067 | -37.924110 |
424.505829 | 365.892151 | -36.963234 |
424.670746 | 309.578613 | -39.360352 |
417.086792 | 267.334900 | -39.172344 |
409.429138 | 223.494934 | -57.887955 |
404.424774 | 210.667786 | -38.399536 |
380.950195 | 191.382462 | -24.121962 |
350.366180 | 191.565292 | -6.075761 |
327.118927 | 206.286499 | 0.539323 |
353.502228 | 203.638000 | -5.469982 |
374.390778 | 203.741302 | -16.402946 |
192.957626 | 231.920044 | -23.529303 |
207.276215 | 207.438309 | -12.835038 |
241.415863 | 203.763474 | 0.123218 |
261.268402 | 216.420380 | 1.162281 |
244.165985 | 216.139877 | -2.135892 |
216.944275 | 222.716339 | -9.358146 |
226.974747 | 254.051514 | -30.273895 |
240.368881 | 245.846985 | -8.526754 |
257.253784 | 248.014725 | -15.444275 |
238.805359 | 256.139435 | -10.592170 |
240.422195 | 249.514130 | -11.843913 |
368.993652 | 242.205200 | -37.834164 |
351.529053 | 232.548447 | -11.893924 |
323.731415 | 241.760971 | -18.046501 |
348.143188 | 243.772552 | -16.031178 |
348.186951 | 239.351852 | -17.129076 |
278.845184 | 235.656998 | -5.592700 |
274.559662 | 274.074951 | 11.234695 |
264.272797 | 311.570648 | 1.784715 |
270.143860 | 319.284912 | 9.971073 |
303.790161 | 324.714966 | 25.376806 |
335.335205 | 312.587158 | 7.705321 |
336.934875 | 302.333862 | -2.330646 |
319.120453 | 265.807953 | 7.379879 |
309.100220 | 229.637070 | -8.428130 |
281.559235 | 314.778473 | 33.146652 |
319.181396 | 310.424133 | 33.034260 |
243.799103 | 369.271820 | 8.719672 |
270.737549 | 361.372803 | 28.752213 |
292.536285 | 356.625580 | 34.702045 |
306.932373 | 357.330017 | 36.280552 |
322.288330 | 354.349792 | 32.016041 |
340.007172 | 355.072754 | 22.244007 |
359.252350 | 353.766693 | 0.920667 |
339.341125 | 387.471802 | 19.065502 |
330.532623 | 392.607086 | 30.087868 |
306.259766 | 399.312958 | 33.544567 |
285.252563 | 398.925873 | 32.200230 |
267.635986 | 384.955139 | 22.005110 |
284.656769 | 383.544281 | 27.930313 |
308.437500 | 382.712830 | 31.686859 |
325.489624 | 379.407349 | 27.287523 |
326.940155 | 361.659698 | 26.540590 |
308.670441 | 363.762787 | 35.448746 |
286.508362 | 366.237610 | 30.705870 |
308.358978 | 370.349182 | 28.057978 |
301.148865 | 305.273376 | 52.248577 |
S907、投影至图像平面,即得夸张后的二维特征点;相应的夸张后的二维数表为表11:
表11
166.833328 | 231.534546 |
166.688400 | 280.581665 |
171.746964 | 318.370758 |
186.183731 | 371.912689 |
198.592010 | 409.760498 |
219.474213 | 447.508881 |
259.412018 | 469.056458 |
318.930054 | 474.144135 |
368.560425 | 463.102875 |
410.727631 | 417.242554 |
398.712036 | 430.850067 |
424.505829 | 365.892151 |
424.670746 | 309.578613 |
417.086792 | 267.334900 |
409.429138 | 223.494934 |
404.424774 | 210.667786 |
380.950195 | 191.382462 |
350.366180 | 191.565292 |
327.118927 | 206.286499 |
353.502228 | 203.638000 |
374.390778 | 203.741302 |
192.957626 | 231.920044 |
207.276215 | 207.438309 |
241.415863 | 203.763474 |
261.268402 | 216.420380 |
244.165985 | 216.139877 |
216.944275 | 222.716339 |
226.974747 | 254.051514 |
240.368881 | 245.846985 |
257.253784 | 248.014725 |
238.805359 | 256.139435 |
240.422195 | 249.514130 |
368.993652 | 242.205200 |
351.529053 | 232.548447 |
323.731415 | 241.760971 |
348.143188 | 243.772552 |
348.186951 | 239.351852 |
278.845184 | 235.656998 |
274.559662 | 274.074951 |
264.272797 | 311.570648 |
270.143860 | 319.284912 |
303.790161 | 324.714966 |
335.335205 | 312.587158 |
336.934875 | 302.333862 |
319.120453 | 265.807953 |
309.100220 | 229.637070 |
281.559235 | 314.778473 |
319.181396 | 310.424133 |
243.799103 | 369.271820 |
270.737549 | 361.372803 |
292.536285 | 356.625580 |
306.932373 | 357.330017 |
322.288330 | 354.349792 |
340.007172 | 355.072754 |
359.252350 | 353.766693 |
339.341125 | 387.471802 |
330.532623 | 392.607086 |
306.259766 | 399.312958 |
285.252563 | 398.925873 |
267.635986 | 384.955139 |
284.656769 | 383.544281 |
308.437500 | 382.712830 |
325.489624 | 379.407349 |
326.940155 | 361.659698 |
308.670441 | 363.762787 |
286.508362 | 366.237610 |
308.358978 | 370.349182 |
301.148865 | 305.273376 |
S908、由夸张前后二维特征点的变化,利用成熟的图像warping技术可以实现头像夸张操作,进而通过NPR技术完成卡通化效果。
本发明实施例4的方法在利用三维平均脸模型恢复输入人脸特征点深度信息后,在NMF建立的人脸形状特征空间下,将该三维形状与三维平均脸形状比较并归一化特征差异,对其中较显著的特征应用三维夸张规则,从而扩大了现有的漫画夸张方法的应用范围,并能够产生更加生动幽默和富于变化的效果,满足日常应用的需求。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。
Claims (12)
1.一种支持姿态偏转的人脸数字图像漫画夸张方法,其特征在于,所述方法包括:
步骤A、根据预先建立的三维平均脸形状模型,恢复输入的人脸图像二维特征点的近似深度信息;
步骤B、根据所述近似深度信息生成所述输入人脸图像的三维形状;
步骤C、在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;
步骤D、将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;
步骤E、根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述步骤C之前还包括:
建立基于非负矩阵分解的人脸三维形状特征空间。
3.根据权利要求2所述的方法,其特征在于,所述建立基于非负矩阵分解的人脸三维形状特征空间包括:
获取一预设数量的人脸三维模型;
标定每一所述人脸三维模型的一预设数量的三维特征点,以获得每一所述人脸三维模型的特征点点云;
将每一所述人脸三维模型的特征点点云的坐标值排列成列向量,并对所述列向量进行尺度归一化处理,获得处理后的列向量;
将所述预设数量的人脸三维模型分别对应的列向量依次排列,组成矩阵S,并根据非负矩阵分解方法对所述矩阵S进行分解,以获得分解后的矩阵F,所述矩阵F用于表示人脸三维形状特征空间。
4.根据权利要求3所述的方法,其特征在于,所述矩阵S的行数表示为3N,所述矩阵S的列数表示为M,所述矩阵F的列数表示C,其关系满足(3N+M)×C<3N×M,其中N、M及C为正整数。
5.根据权利要求4所述的方法,其特征在于,所述根据非负矩阵分解方法对所述矩阵S进行分解后还获得矩阵E,所述建立基于非负矩阵分解的人脸三维形状特征空间还包括:
根据矩阵E计算矩阵E中每行元素的均值mi和标准差σi,其中i=1,...,C。
6.根据权利要求5所述的方法,其特征在于,所述步骤C包括:
将所述输入人脸图像的三维形状旋转至正面视图;
将正面视图的所述三维形状的特征点点云的坐标值排成列向量,并对所述列向量进行尺度归一化处理,获得处理后的列向量V,其满足以下关系式: 其中,fi表示所述人脸三维形状特征空间F的一个维度的基向量,r表示所述列向量V在人脸三维形状特征空间F中的噪声残量,ei表示非负线性组合系数,δi表示ei与mi的差值,非负线性组合的系数e=[e1,e2,…,eC]T满足下列关系式: 其中‖A‖F表示矩阵A的F范数;
根据从均值中夸张差异EDFM的三维夸张规则对列向量V进行三维夸张,获得夸张后的列向量V′,其满足以下关系式: 其中,k表示三维夸张系数,且|δi|/σi=|ei-mi|/σi,|δi|/σi构成集合Ω={aj|aj=|δj|/σj,j=1,...,C},当选取κ个最大的|δi|/σi对应的特征分量进行夸张时,ti=k,否则ti=1,其中κ的取值范围满足:1≤κ<C。
7.根据权利要求6所述的方法,其特征在于,所述在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以获得三维夸张后的三维形状还包括:
通过调整夸张系数k的取值和κ的取值来改变夸张程度,其中k和κ的取值范围包括下列区间:k∈[a,b],κ∈[c,d],其中a的最大值为2,b的最小值为4,c的最大值为3,d的最小值为6。
8.根据权利要求1所述的方法,其特征在于,所述根据夸张后的二维特征点获得具有漫画夸张效果的人脸图像包括:
将二维特征点包围区域内的图像纹理通过数字图像扭曲变换到对应的夸张移动后的二维特征点包围的区域内;
根据非真实感绘制方法,以获得漫画夸张后的人脸图像。
9.一种支持姿态偏转的人脸数字图像漫画夸张装置,其特征在于,所述装置包括:
深度信息恢复单元,用于根据预先建立的三维平均脸形状模型,恢复输入的人脸图像二维特征点的近似深度信息;
三维形状生成单元,用于根据所述近似深度信息生成所述输入人脸图像的三维形状;
三维形状夸张单元,用于在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;
二维特征点生成单元,用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;
漫画夸张图像生成单元,用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
空间建立单元,用于建立基于非负矩阵分解的人脸三维形状特征空间。
11.一种支持姿态偏转的人脸数字图像漫画夸张***,其特征在于,所述***包括:
图像夸张装置,用于根据图像数据库提供的一预设数量的人脸图像三维模型,恢复输入的人脸图像二维特征点的近似深度信息;根据所述近似深度信息生成所述输入人脸图像的三维形状;在预先建立的基于非负矩阵分解的人脸三维形状特征空间中,根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张,以生成三维夸张后的三维形状;将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影,以生成三维夸张后的二维特征点;根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像;
图像数据库,用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。
12.根据权利要求11所述的***,其特征在于,所述图像夸张装置,还用于建立基于非负矩阵分解的人脸三维形状特征空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910259414A CN102103756B (zh) | 2009-12-18 | 2009-12-18 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910259414A CN102103756B (zh) | 2009-12-18 | 2009-12-18 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102103756A true CN102103756A (zh) | 2011-06-22 |
CN102103756B CN102103756B (zh) | 2012-10-03 |
Family
ID=44156497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910259414A Expired - Fee Related CN102103756B (zh) | 2009-12-18 | 2009-12-18 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102103756B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
CN104050712A (zh) * | 2013-03-15 | 2014-09-17 | 索尼公司 | 三维模型的建立方法和装置 |
CN106295530A (zh) * | 2016-07-29 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
CN107123085A (zh) * | 2017-03-22 | 2017-09-01 | 华南理工大学 | 一种基于三角剖分的点云比例标准化方法 |
CN108242074A (zh) * | 2018-01-02 | 2018-07-03 | 中国科学技术大学 | 一种基于单张讽刺肖像画的三维夸张人脸生成方法 |
CN108363995A (zh) * | 2018-03-19 | 2018-08-03 | 百度在线网络技术(北京)有限公司 | 用于生成数据的方法和装置 |
CN108492344A (zh) * | 2018-03-30 | 2018-09-04 | 中国科学院半导体研究所 | 一种肖像漫画生成方法 |
CN109102472A (zh) * | 2018-07-23 | 2018-12-28 | 上海滚滚文化传播有限公司 | 一种三维仿二维建模渲染后制作漫画特效的方法 |
CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
CN110139031A (zh) * | 2019-05-05 | 2019-08-16 | 南京大学 | 一种基于惯性感知的视频防抖***及其工作方法 |
CN111402394A (zh) * | 2020-02-13 | 2020-07-10 | 清华大学 | 三维夸张漫画人脸生成方法及装置 |
CN111982936A (zh) * | 2020-08-25 | 2020-11-24 | 绍兴市特种设备检测院 | 一种热交换器管子-管板焊缝的x射线自动检测装置 |
CN112801064A (zh) * | 2021-04-12 | 2021-05-14 | 北京的卢深视科技有限公司 | 一种模型训练方法、电子设备及存储介质 |
CN116503842A (zh) * | 2023-05-04 | 2023-07-28 | 北京中科睿途科技有限公司 | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6307576B1 (en) * | 1997-10-02 | 2001-10-23 | Maury Rosenfeld | Method for automatically animating lip synchronization and facial expression of animated characters |
CN100403331C (zh) * | 2005-09-16 | 2008-07-16 | 中国科学技术大学 | 基于虹膜和人脸的多模态生物特征身份识别*** |
CN101510317A (zh) * | 2009-03-17 | 2009-08-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸生成方法及装置 |
-
2009
- 2009-12-18 CN CN200910259414A patent/CN102103756B/zh not_active Expired - Fee Related
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093490B (zh) * | 2013-02-02 | 2015-08-26 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
US9361723B2 (en) | 2013-02-02 | 2016-06-07 | Zhejiang University | Method for real-time face animation based on single video camera |
CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
CN104050712A (zh) * | 2013-03-15 | 2014-09-17 | 索尼公司 | 三维模型的建立方法和装置 |
CN106295530A (zh) * | 2016-07-29 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
CN107123085B (zh) * | 2017-03-22 | 2019-10-18 | 华南理工大学 | 一种基于三角剖分的点云比例标准化方法 |
CN107123085A (zh) * | 2017-03-22 | 2017-09-01 | 华南理工大学 | 一种基于三角剖分的点云比例标准化方法 |
CN108242074A (zh) * | 2018-01-02 | 2018-07-03 | 中国科学技术大学 | 一种基于单张讽刺肖像画的三维夸张人脸生成方法 |
CN108242074B (zh) * | 2018-01-02 | 2020-06-26 | 中国科学技术大学 | 一种基于单张讽刺肖像画的三维夸张人脸生成方法 |
CN108363995A (zh) * | 2018-03-19 | 2018-08-03 | 百度在线网络技术(北京)有限公司 | 用于生成数据的方法和装置 |
CN108492344A (zh) * | 2018-03-30 | 2018-09-04 | 中国科学院半导体研究所 | 一种肖像漫画生成方法 |
CN109102472A (zh) * | 2018-07-23 | 2018-12-28 | 上海滚滚文化传播有限公司 | 一种三维仿二维建模渲染后制作漫画特效的方法 |
CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
CN110139031A (zh) * | 2019-05-05 | 2019-08-16 | 南京大学 | 一种基于惯性感知的视频防抖***及其工作方法 |
CN111402394A (zh) * | 2020-02-13 | 2020-07-10 | 清华大学 | 三维夸张漫画人脸生成方法及装置 |
CN111402394B (zh) * | 2020-02-13 | 2022-09-20 | 清华大学 | 三维夸张漫画人脸生成方法及装置 |
CN111982936A (zh) * | 2020-08-25 | 2020-11-24 | 绍兴市特种设备检测院 | 一种热交换器管子-管板焊缝的x射线自动检测装置 |
CN111982936B (zh) * | 2020-08-25 | 2023-10-10 | 绍兴市特种设备检测院 | 一种热交换器管子-管板焊缝的x射线自动检测装置 |
CN112801064A (zh) * | 2021-04-12 | 2021-05-14 | 北京的卢深视科技有限公司 | 一种模型训练方法、电子设备及存储介质 |
CN116503842A (zh) * | 2023-05-04 | 2023-07-28 | 北京中科睿途科技有限公司 | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 |
CN116503842B (zh) * | 2023-05-04 | 2023-10-13 | 北京中科睿途科技有限公司 | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102103756B (zh) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102103756A (zh) | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及*** | |
Alexa et al. | As-rigid-as-possible shape interpolation | |
CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
CN103208133B (zh) | 一种图像中人脸胖瘦的调整方法 | |
CN102663820B (zh) | 三维头部模型重建方法 | |
Liao et al. | Automatic caricature generation by analyzing facial features | |
CN101739719B (zh) | 二维正面人脸图像的三维网格化方法 | |
US20230044644A1 (en) | Large-scale generation of photorealistic 3d models | |
CN103116902A (zh) | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 | |
CN102402691A (zh) | 一种对人脸姿态和动作进行跟踪的方法 | |
CN111583408B (zh) | 基于手绘草图的人体三维建模*** | |
CN110889893B (zh) | 表达几何细节和复杂拓扑的三维模型表示方法和*** | |
CN102163330B (zh) | 基于张量分解与Delaunay三角划分的多视角人脸合成方法 | |
CN102231209B (zh) | 基于异构特征降维的二维角色卡通生成方法 | |
CN113762147A (zh) | 人脸表情迁移方法、装置、电子设备及存储介质 | |
Du et al. | Sketch-based 3d shape modeling from sparse point clouds | |
Li et al. | Image stylization with enhanced structure on GPU | |
CN113379890B (zh) | 一种基于单张照片的人物浅浮雕模型生成方法 | |
Rowland | Computer graphic control over human face and head appearance, genetic optimisation of perceptual characteristics. | |
CN110689618A (zh) | 基于多尺度变分图卷积的三维可变形物补全方法 | |
Pusch et al. | Local constraint-based general surface deformation | |
Aleksandrova et al. | 3D face model reconstructing from its 2D images using neural networks | |
Casati et al. | Approximate reconstruction of 3D scenes from bas-reliefs | |
Ciomaga et al. | Image visualization and restoration by curvature motions | |
Zhou et al. | Sketch2Relief: Generating Bas-relief from Sketches with Deep Generative Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121003 Termination date: 20201218 |
|
CF01 | Termination of patent right due to non-payment of annual fee |