CN104933742A - 一种卡通肖像自动生成方法 - Google Patents

Abstract

本发明的卡通肖像自动生成方法，将人脸五官描述向量与各向量对应的特征向量于卡通素材库中相应的向量进行匹配，取相似度高的卡通素材作为匹配结果，将其正确组合得到卡通肖像，人脸的卡通效果逼真，生动；该方法计算简单，便于推广应用。

Description

一种卡通肖像自动生成方法

【技术领域】

本发明涉及计算机绘图技术领域，具体涉及一种卡通肖像生成的方法。

【背景技术】

随着互联网技术的迅速发展，网络虚拟生活逐步成为现实生活的延续。网络形象作为个人真实形象的替代展现已被越来越多的人选择。卡通肖像以其夸张和变形的手法表现人物，使人物的特征更突出，性格更明朗，将人物的肖像特点表现得淋漓尽致，因此网络服务商提供越来越多的已开发好的卡通肖像提供给消费者，该类肖像一是千篇一律，二是和人物实际特征存在距离，难以满足消费者追求个性化和对艺术美感的更高需求。虽市场上有人工设计卡通肖像的服务，但其服务价格高，且卡通肖像的质量和个人美术素养水平紧密相关，在互联网领域无法大面积推广和应用。

【发明内容】

有鉴于此，本发明提供一种卡通肖像生成方法，根据人脸图片可自动生成和人脸匹配度高的卡通肖像。

本发明采用如下技术方案：卡通肖像自动生成方法，它包括步骤S4：获取人脸图片五官描述向量人脸五官描述向量包括多个人脸五官特征变量，即：

人脸五官特征变量eye_end_direction为两眼睛之间的角度；

人脸五官特征变量eye_top_angle为眼睛上眼睑角度；

人脸五官特征变量eye_bottom_angle为眼睛下眼睑角度；

人脸五官特征变量eye_size_width为眼睛的宽度；

人脸五官特征变量eye_size_height为眼睛的高度；

人脸五官特征变量eye_corner_distance为两眼之间内眼角之间的距离；

人脸五官特征变量nose_size_length为鼻子的高度；

人脸五官特征变量nose_size_width为鼻子的宽度；

人脸五官特征变量nose_tip_angle为鼻尖角度；

人脸五官特征变量nose_contour_angle为鼻子下轮廓的角度；

人脸五官特征变量mouth_smile_direction为嘴巴微笑方向；

人脸五官特征变量mouth_size_width为嘴巴宽度；

人脸五官特征变量mouth_smile_angle为嘴巴微笑角度；

人脸五官特征变量eyebrow_size_width为眉毛长度；

人脸五官特征变量eyebrow_size_height为眉毛粗细；

人脸五官特征变量eyebrow_upper_angle_a为左眉毛上轮廓弧度；

人脸五官特征变量eyebrow_upper_angle_b为右眉毛上轮廓弧度；

人脸五官特征变量eyebrow_lower_angle_a为左眉毛下轮廓弧度；

人脸五官特征变量eyebrow_lower_angle_b为右眉毛下轮廓弧度；

人脸五官特征变量face_chin_angle为脸型下巴角度；

人脸五官特征变量face_cheek_angle为脸型脸颊角度；

人脸五官特征变量face_size_angle为脸型尺寸角度。

优选的，人脸五官特征变量eye_end_direction为经过左眼睛的左右眼角特征点P3、P7的直线与右眼睛的左右眼角特征点P13、P17的直线之间的角度；

人脸五官特征变量eye_top_angle为经过左眼上眼睑顶端特征点P8及左眼左眼角特征点P3的直线和经过左眼上眼睑顶端特征点P8及左眼右眼角特征点P7眼睛上眼睑角度的直线之间的角度；

人脸五官特征变量eye_bottom_angle为经过左眼下眼睑底端特征点P1及左眼左眼角特征点P3的直线和经过左眼下眼睑底端特征点P1及左眼右眼角特征点P7眼睛上眼睑角度的直线之间的角度；

人脸五官特征变量eye_size_width为左眼左眼角P3、右眼右眼角P17间的距离减去左眼右眼角P13、右眼左眼角P7间的距离；

人脸五官特征变量eye_size_height为左右眼上眼睑顶端P8、P18连线的中间点P到左右眼下眼睑底端P1、P11连线的距离；

人脸五官特征变量eye_corner_distance为左右眼内眼角特征点P7、P13间的距离；

人脸五官特征变量nose_size_length为鼻尖控制点P5到鼻梁左右最高点连线P1P6的距离；

人脸五官特征变量nose_size_width为鼻子轮廓左右最宽控制点P4、P9间的距离；

人脸五官特征变量nose_tip_angle为经过鼻子轮廓最左P4和鼻尖控制点P5的直线与经过鼻子轮廓最右控制点P9和鼻尖控制点P5的直线之间的角度；

人脸五官特征变量nose_contour_angle为经过鼻子下轮廓最左控制点P3和鼻尖控制点P5的直线与经过鼻子下轮廓最右控制点P8和鼻尖控制点P5的直线之间的角度；

人脸五官特征变量mouth_smile_direction为嘴巴左嘴角控制点P1与嘴巴底端控制点P2的连线与经过嘴巴底端控制点P2的垂直直线间的夹角与嘴巴右嘴角控制点P10与嘴巴底端控制点P2的连线与经过嘴巴底端控制点P2的垂直直线间的夹角之间的差值；

人脸五官特征变量mouth_size_width为嘴巴左嘴角控制点P1与嘴巴右嘴角控制点P10间的距离；

人脸五官特征变量mouth_smile_angle为经过嘴巴左嘴角控制点P1和嘴巴下嘴唇顶端控制点P11的直线与经过嘴巴右嘴角控制点P10和嘴巴下嘴唇顶端控制点P11的直线之间的夹角；

人脸五官特征变量eyebrow_size_width为左右眉毛眉尾控制点P1、P13间的距离减去眉心控制点P5、P9间的距离的差值；

人脸五官特征变量eyebrow_size_height为左右眉毛顶端控制点P7、P15连线中点P到左右眉毛底端控制点P3、P11连线的距离；

人脸五官特征变量eyebrow_upper_angle_a为左眉毛上轮廓左侧控制点与左侧控制点的连线和上轮廓左侧控制点与右侧控制点的连线间的夹角；

人脸五官特征变量eyebrow_upper_angle_b为右眉毛上轮廓居中控制点与左侧控制点的连线和上轮廓居中控制点与右侧控制点的连线间的夹角；

人脸五官特征变量eyebrow_lower_angle_a为左眉毛下轮廓左侧控制点与左侧控制点的连线和下轮廓左侧控制点与右侧控制点的连线间的夹角；

人脸五官特征变量eyebrow_lower_angle_b为右眉毛下轮廓居中控制点与左侧控制点的连线和下轮廓居中控制点与右侧控制点的连线间的夹角；

人脸五官特征变量face_chin_angle为经过脸型轮廓左第六个控制点P6和脸型下巴控制点P10的直线与经过脸型轮廓左第六个控制点P16和脸型下巴控制点P10的直线之间的角度；

人脸五官特征变量face_cheek_angle为经过脸型轮廓左侧第一个控制点P1和脸型轮廓左侧第五个控制点P5的直线与经过脸型轮廓左侧第九个控制点P9及脸型轮廓左侧第五个控制点P5的直线之间的角度；

人脸五官特征变量face_size_angle为经过脸型轮廓左第一个控制点P1和脸型下巴控制点P10的直线与经过脸型轮廓右第一个控制点P11和脸型下巴控制点P10的直线之间的角度。

优选的，该方法还包括在步骤S4后的步骤S5：计算人脸五官描述向量与卡通素材描述向量的差值，取差值最小的卡通素材作为匹配结果。

优选的，人脸五官描述向量匹配规则包括步骤：

获取各五官描述向量

计算匹配五官与卡通素材五官间的相对差值：

$E_N=\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_i\frac{|q_{num\_Ni}-p_{Ni}|}{p_{Ni}};$

其中N为眼睛，鼻子，眉毛，嘴巴，脸型；

m为眼睛，鼻子，眉毛，嘴巴，脸型对应的特征向量总数；

num为第num号卡通素材； 

M_N为20*m的矩阵，

$M_{eye}=\left|\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& 0& 0& 0& 0\end{array}\right|M_{nose}=\left|\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ 0& 0& 0& 0\end{array}\right|$

$M_{mouth}=\left|\begin{array}{ccc}0& 0& 0\\ .& .& .\\ .& .& .\\ .& .& .\\ 1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right|M_{eyebrow}=\left|\begin{array}{cccccc}0& 0& 0& 0& 0& 0\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\end{array}\right|M_{face}=\left|\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ .& .& .\\ .& .& .\\ .& .& .\\ 0& 0& 0\\ 1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right|;$

W_N为各五官描述向量中各变量的权重 $W_N=\left(\begin{array}{c}{\mathrm{\ω}}_1\\ {\mathrm{\ω}}_2\\ .\\ .\\ .\\ {\mathrm{\ω}}_m\end{array}\right),$ ω₁+ω₂+…ω_m＝1。

优选的，该方法还包括在步骤S4前的步骤S2：提取图片中人脸五官特征点集，并将该特征点集预处理；预处理公式为：

$P^{\′}=(P^T-Q^T)M(s,\mathrm{\θ})=(x-x_q,y-y_q)\left(\begin{array}{cc}cos\mathrm{\θ}/s& -sin\mathrm{\θ}/s\\ sin\mathrm{\θ}/s& \cos \mathrm{\θ}/s\end{array}\right)$

其中：以左右眼瞳孔关键点p₁、p₂连线中点为坐标轴原点进行平移，以连线方向为X轴旋转特征点集，并以Δ＝|p₁-p₂|作为单位长度进行缩放，P为原始控制点，θ为p₁p₂连线到水平方向的角度，Q为p₁、p₂中心，s为缩放比例。

本发明的有益技术效果是：将人脸五官描述向量和各向量对应的特征向量于卡通素材库中相应的向量进行匹配，取差值最小的卡通素材作为匹配结果，人脸的卡通效果逼真，生动；该方法计算简单，便于推广应用。

【附图说明】

图1示出了根据本发明的第一实施例的卡通肖像生成原理流程图；

图2示出了根据本发明的第一实施例的人脸图片眼睛特征点分布情况；

图3示出了根据本发明的第一实施例的人脸图片特征点两眼睛之间的角度；

图4示出了根据本发明的第一实施例的人脸图片特征点眼睛上眼睑角度；

图5示出了根据本发明的第一实施例的人脸图片特征点眼睛下眼睑角度；

图6示出了根据本发明的第一实施例的人脸图片特征点眼睛的宽度；

图7示出了根据本发明的第一实施例的人脸图片特征点眼睛的高度；

图8示出了根据本发明的第一实施例的人脸图片特征点眼角之间的距离；

图9示出了根据本发明的第一实施例的人脸图片鼻子特征点分布情况；

图10示出了根据本发明的第一实施例的人脸图片特征点鼻子的高度；

图11示出了根据本发明的第一实施例的人脸图片特征点鼻子的宽度；

图12示出了根据本发明的第一实施例的人脸图片特征点鼻尖角度；

图13示出了根据本发明的第一实施例的人脸图片特征点鼻子下轮廓的角度；

图14示出了根据本发明的第一实施例的人脸图片特征点嘴巴特征点分布情况；

图15示出了根据本发明的第一实施例的人脸图片特征点嘴巴微笑方向；

图16示出了根据本发明的第一实施例的人脸图片特征点嘴巴宽度；

图17示出了根据本发明的第一实施例的人脸图片特征点嘴巴微笑角度；

图18示出了根据本发明的第一实施例的人脸图片特征点眉毛特征点分布情况；

图19示出了根据本发明的第一实施例的人脸图片特征点眉毛长度；

图20示出了根据本发明的第一实施例的人脸图片特征点眉毛粗细；

图21示出了根据本发明的第一实施例的人脸图片特征点眉毛上轮廓弧度；

图22示出了根据本发明的第一实施例的人脸图片特征点眉毛下轮廓弧度；

图23示出了根据本发明的第一实施例的人脸图片脸型特征点分布情况；

图24示出了根据本发明的第一实施例的人脸图片特征点脸型下巴角度；

图25示出了根据本发明的第一实施例的人脸图片特征点脸型脸颊角度；

图26示出了根据本发明的第一实施例的人脸图片特征点脸型尺寸角度；

图27示出了根据本发明的第一实施例的人脸描述向量示例；

图28示出了根据本发明的第一实施例的人脸眼睛图像-卡通匹配效果；

图29示出了根据本发明的第一实施例的人脸鼻子图像-卡通匹配效果；

图30示出了根据本发明的第一实施例的人脸鼻子图像-卡通匹配效果；

图31示出了根据本发明的第一实施例的人脸鼻子图像-卡通匹配效果；

图32示出了根据本发明的第一实施例的人脸脸型图像-卡通效果匹配效果。

【具体实施方式】

为了使本专利的技术方案和技术效果更加清楚，下面结合附图和实施例对本专利的具体实施方式进行详细描述。

实施例一： 

如图1，本实施例中的卡通肖像自动生成方法，直接使用FACE++开源库，识别人脸特征点。将该特征点集旋转并归一化后，结合各五官形状特性，本实施例为每个五官定义了多个特征变量，将其正确组织为向量，可详细描述该五官特征。利用该向量与卡通五官素材库中的各素材的描述向量进行相似度计算，选择差异最小的素材图片，将获取到的各卡通五官图片绘制在正确位置，即可自动生成卡通肖像，其包括如下步骤：

S1：导入人脸五官图片；

S2：提取图片中人脸五官特征点集，并将该特征点集预处理；

利用FACE++从人脸图片中提取卡通特征得到控制点集合，本实施例分别定义了眼睛、鼻子嘴巴、眉毛、脸型特征变量及描述向量。

为了方便计算，首先对特征点集进行预处理，统一标准。

以左右眼瞳孔关键点p₁、p₂连线中点为坐标轴原点进行平移，以连线方向为X轴旋转特征点集，并以Δ＝|p₁-p₂|作为单位长度进行缩放，定义P为原始控制点，θ为p₁p₂连线到水平方向的角度，Q为p₁、p₂中心，s为缩放比例。

计算公式如下：

$P^{\′}=(P^T-Q^T)M(s,\mathrm{\θ})=(x-x_q,y-y_q)\left(\begin{array}{cc}cos\mathrm{\θ}/s& -sin\mathrm{\θ}/s\\ sin\mathrm{\θ}/s& \cos \mathrm{\θ}/s\end{array}\right)---1-1$

然后步骤S3在变换后特征点集基础上，计算各五官特征变量。步骤S3所述的22个特征变量中，分为两类变量：距离变量和角度变量，由于特征点集中数据已经进行预处理，故距离变量取值范围为0～2，以180度为单位，对全部角度变量进行归一化处理，处理后角度变量取值范围为0～2。

S3：计算五官的各特征变量；

眼睛特征变量 

双眼共有20个控制点，分布情况如图2所示。

利用图2所示的各特征点参数，本实施例定义了六个变量：

eye_end_direction、eye_top_angle、eye_bottom_angle、eye_size_width、eye_size_height、eye_corner_distance，各变量详细意义如下。

eye_end_direction

eye_end_direction为两眼睛之间的角度，如图3所示，两条直线分别经过左右眼睛的左右眼角特征点P3、P7及P13、P17。eye_end_direction表达式如下：

$k_1=\frac{P_3.y-P_7.y}{P_3.x-P_7.x}$

$k_2=\frac{P_{13}.y-P_{17}.y}{P_{13}.x-P_{17}.x}$

$eye\_end\_direction=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-2$

eye_top_angle

eye_top_angle为眼睛上眼睑角度，以左眼为例，如图4所示，两条直线分别经过左眼上眼睑顶端特征点P8及左眼左右眼角特征点P3、P7。eye_top_angle计算公式如下：

$k_1=\frac{P_3.y-P_8.y}{P_3.x-P_8.x}$

$k_2=\frac{P_7.y-P_8.y}{P_7.x-P_8.x}$

$eye\_top\_angle=1-\frac{arctan(-k_1)}{\mathrm{\π}}-\frac{arctan\left(k_2\right)}{\mathrm{\π}}---1-3$

eye_bottom_angle

eye_bottom_angle为眼睛下眼睑角度，以左眼为例，如图5所示，两条直线分别经过左眼下眼睑底端特征点P1及左眼左右眼角特征点P3、P7。 eye_bottom_angle表达式如下：

$k_1=\frac{P_3.y-P_1.y}{P_3.x-P_1.x}$

$k_2=\frac{P_7.y-P_1.y}{P_7.x-P_1.x}$

$eye\_bottom\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-4$

eye_size_width

eye_size_width变量为眼睛的宽度，如图6所示，eye_size_width为左右眼P3、P17间的距离减去P13、P7间的距离。

$\begin{array}{c}eye\_size\_width\\ =P_3{P}_{17}-P_7{P}_{13}\\ =\sqrt{{(P_3.x-P_{17}.x)}^2+{(P_3.y-P_{17}.y)}^2}-\sqrt{{(P_{13}.x-P_7.x)}^2+{(P_{13}.y-P_7.y)}^2}\end{array}---1-5$

eye_size_height

eye_size_height变量为眼睛的高度，如图7所示，eye_size_height为左右眼上眼睑顶端P8、P18连线的中间点P到下眼睑底端P1、P11连线的距离。计算方法如下：

$eye\_size\_height=\frac{|k\×P.x-P.y+b|}{\sqrt{k^2+1}}---1-6$

其中，

$P=(x,y)=(\frac{P_8.x+P_{18}.x}{2},\frac{P_8.y+P_{18}.y}{2})$

$k=\frac{P_1.y-P_{11}.y}{P_1.x-P_{11}.x}$

b＝P₁.y-k×P₁.x

eye_corner_distance

eye_corner_distance为两眼之间内眼角之间的距离，如图8所示，eye_corner_distance为左右眼内眼角特征点P7、P13间的距离。eye_corner_distance计算公式如下：

$eye\_corner\_dis\tan ce=\sqrt{{(P_7.x-P_{13}.x)}^2+{(P_7.y-P_{13}.y)}^2}---1-7$

鼻子特征变量 

鼻子共有10个控制点，分布情况如图9所示。

利用图9所示的各特征点，本实施例定义了四个变量：

nose_size_length、nose_size_width、nose_tip_angle、nose_contour_angle，各变量详细意义如下：

nose_size_length

nose_size_length是鼻子的高度，如图10所示，nose_size_length为鼻尖控制点P5到鼻梁左右最高点连线P1P6的距离。nose_size_length计算公式如下：

$nose\_size\_length=\frac{|k\×P_5.x-P_5.y+b|}{\sqrt{k^2+1}}---1-8$

其中，

$k=\frac{P_1.y-P_6.y}{P_1.x-P_6.x}$

b＝P₁.y-k×P₁.x

nose_size_width

nose_size_width是鼻子的宽度，如图11所示，nose_size_width为鼻子轮廓左右控制点P4、P9间的距离。nose_size_width计算方法如下：

$nose\_size\_width=\sqrt{{(P_4.x-P_9.x)}^2+{(P_4.y-P_9.y)}^2}---3-9$

nose_tip_angle

nose_tip_angle是鼻尖角度，如图12所示，两条直线分别经过鼻子轮廓左右控制点P4、P9和鼻尖控制点P5。nose_tip_angle计算方法如下：

$nose\_tip\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-10$

$k_1=\frac{P_4.y-P_5.y}{P_4.x-P_5.x}$

$k_2=\frac{P_9.y-P_5.y}{P_9.x-P_5.x}$

nose_contour_angle

nose_contour_angle是鼻子下轮廓的角度，如图13所示，两条直线分别经过鼻子下轮廓左右控制点P3、P8和鼻尖控制点P5。nose_contour_angle计算方法如下：

$no\mathrm{se}\_contour\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-11$

$k_1=\frac{P_3.y-P_5.y}{P_3.x-P_5.x}$

$k_2=\frac{P_8.y-P_5.y}{P_8.x-P_5.x}$

嘴巴特征变量 

嘴巴共有18个控制点，分布情况如图14所示。

利用图14所示的各特征点，本实施例定义了三个变量：

mouth_smile_direction、mouth_size_width、mouth_smile_angle，各变量详细意义如下：

mouth_smile_direction

mouth_smile_direction为嘴巴微笑方向，如图15所示，α为嘴巴左侧控制点P1与嘴巴底端控制点P2的连线与经过嘴巴底端控制点P2的垂直直线间的夹角，β为嘴巴右侧控制点P10与嘴巴底端控制点P2的连线与经过嘴巴底端控制点P2的垂直直线间的夹角，mouth_smile_direction为二者差值，即α-β，为保证取值在0～2范围内，将mouth_smile_direction定义为α-β+1。计算方法如下：

$\mathrm{\α}=\frac{1}{2}-\frac{arctan\left(k_1\right)}{\mathrm{\π}}$

$\mathrm{\β}=\frac{1}{2}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-12$

其中，

$k_1=\frac{P_1.y-P_2.y}{P_1.x-P_2.x}$

$k_2=\frac{P_2.y-P_{10}.y}{P_2.x-P_{10}.x}$

mouth_size_width

mouth_size_width为嘴巴宽度。如图16所示，嘴巴宽度为嘴巴左嘴角控制点P1与嘴巴右嘴角控制点P10间的距离。

$mouth\_size\_width=\sqrt{{(P_1.x-P_{10}.x)}^2+{(P_1.y-P_{10}.y)}^2}---1-13$

mouth_smile_angle

mouth_smile_angle为嘴巴微笑角度，如图17所示，两条直线分别经过嘴巴左右嘴角控制点P1、P10及嘴巴下嘴唇顶端控制点P11。mouth_smile_angle计算方法如下：

$mouth\_smile\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-14$

其中，

$k_1=\frac{P_1.y-P_{11}.y}{P_1.x-P_{11}.x}$

$k_2=\frac{P_{11}.y-P_{10}.y}{P_{11}.x-P_{10}.x}$

眉毛特征变量 

眉毛共有16个控制点，分布情况如图18所示。

根据各特征点参数，本实施例定义了六个变量：

eyebrow_size_width、eyebrow_size_height、eyebrow_upper_angle_a、eyebrow_upper_angle_b、eyebrow_lower_angle_a、eyebrow_lower_angle_b，各变量详细意义如下：

eyebrow_size_width

eyebrow_size_width为眉毛长度，如图19所示，eyebrow_size_width为左右眉毛眉尾控制点P1、P13间的距离减去眉心控制点P5、P9间的距离。eyebrow_size_width计算公式如下：

$\begin{array}{c}eyebrow\_size\_width\\ =P_1{P}_{13}-P_5{P}_9\\ =\sqrt{{(P_1.x-P_{13}.x)}^2+{(P{.}_{1}y-P_{13}.y)}^2}-\sqrt{{(P_5.x-P_9.x)}^2+{(P_5.y-P_9.y)}^2}\end{array}---1-15$

eyebrow_size_height

eyebrow_size_height为眉毛粗细，如图20所示，eyebrow_size_height为左右眉毛顶端控制点P7、P15连线中点P到左右眉毛底端控制点P3、P11连线的距离。计算公式如下：

$eyebrow\_size\_height=\frac{|k\×P.x-P.y+b|}{\sqrt{1+k^2}}---1-16$

其中，

$P=(x,y)=(\frac{P_7.x+P_{15}.x}{2},\frac{P_7.y+P_{15}.y}{2})$

$k=\frac{P_3.y-P_{11}.y}{P_3.x-P_{11}.x}$

b＝P₃.y-k×P₃.x

eyebrow_upper_angle_a、eyebrow_upper_angle_b

eyebrow_upper_angle为眉毛上轮廓弧度，如图21所示，α为左眉毛上轮廓左侧控制点P6与左侧控制点P1的连线和上轮廓左侧控制点P6与右侧控制点P5的连线间的夹角，记为：eyebrow_upper_angle_a，β为右眉毛上轮廓居中控制点P15与左侧控制点P9的连线和上轮廓居中控制点P15与右侧控制点P13的连线间的夹角，记为：eyebrow_upper_angle_b。计算公式如下：

$\begin{array}{c}eyebrow\_upper\_angle\_a=\mathrm{\α}\\ =1-\frac{\arctan (-k_1)}{\mathrm{\π}}-\frac{\arctan \left(k_2\right)}{\mathrm{\π}}\end{array}---1-17$

$\begin{array}{c}eyebrow\_upper\_angle\_b=\mathrm{\β}\\ =1-\frac{\arctan (-k_3)}{\mathrm{\π}}-\frac{\arctan \left(k_4\right)}{\mathrm{\π}}\end{array}---1-18$

其中，

$k_1=\frac{P_1.y-P_6.y}{P_1.x-P_6.x}$

$k_2=\frac{P_5.y-P_6.y}{P_5.x-P_6.x}$

$k_3=\frac{P_9.y-P_{15}.y}{P_9.x-P_{15}.x}$

$k_4=\frac{P_{15}.y-P_{13}.y}{P_{15}.x-P_{13}.x}$

eyebrow_lower_angle_a、eyebrow_lower_angle_b

eyebrow_lower_angle为眉毛下轮廓弧度，如图22所示，α为左眉毛下轮廓左侧控制点P2与左侧控制点P1的连线和下轮廓左侧控制点P2与右侧控制点P5的连线间的夹角，记为：eyebrow_lower_angle_a，β为右眉毛下轮廓居中控制点P11与左侧控制点P9的连线和下轮廓居中控制点P11与右侧控制点P13的连线间的夹角，记为：eyebrow_lower_angle_b。

$\begin{array}{c}eyebrow\_lower\_angle\_a=\mathrm{\α}\\ =1-\frac{\arctan (-k_1)}{\mathrm{\π}}-\frac{\arctan \left(k_2\right)}{\mathrm{\π}}\end{array}---1-19$

$\begin{array}{c}eyebrow\_lower\_angle\_b=\mathrm{\β}\\ =1-\frac{\arctan (-k_3)}{\mathrm{\π}}-\frac{\arctan \left(k_4\right)}{\mathrm{\π}}\end{array}---1-20$

其中，

$k_1=\frac{P_1.y-P_2.y}{P_1.x-P_2.x}$

$k_2=\frac{P_5.y-P_2.y}{P_5.x-P_2.x}$

$k_3=\frac{P_9.y-P_{11}.y}{P_9.x-P_{11}.x}$

$k_4=\frac{P_{11}.y-P_{13}.y}{P_{11}.x-P_{13}.x}$

脸型特征变量 

脸型共有19个控制点，分布情况如图23所示。

利用图23所示的各特征点，本实施例定义了三个变量：face_chin_angle、face_cheek_angle、face_size_angle，各变量详细意义如下。

face_chin_angle

face_chin_angle是脸型下巴角度，如图24所示，两条直线分别经过脸型轮廓左右第六个控制点P6、P16和脸型下巴控制点P10。计算方法如下：

$face\_chin\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-21$

其中，

$k_1=\frac{P_6.y-P_0.y}{P_6.x-P_{10}.x}$

$k_2=\frac{P_{16}.y-P_{10}.y}{P_{16}.x-P_{10}.x}$

face_cheek_angle

face_cheek_angle是脸型脸颊角度，如图25所示，两条直线分别经过脸型轮廓左侧第一个控制点P1和第九个控制点P9及脸型轮廓左侧第五个控制点P5。计算方法如下：

$face\_ch\mathrm{eek}\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}+\frac{arctan\left(k_2\right)}{\mathrm{\π}}---1-22$

其中，

$k_1=\frac{P_1.y-P_5.y}{P_1.x-P_5.x}$

$k_2=\frac{P_5.y-P_9.y}{P_5.x-P_9.x}$

face_size_angle

face_size_angle是脸型尺寸角度，如图26所示，两条直线分别经过脸型轮廓左右第一个控制点P1、P11和脸型下巴控制点P10。计算公式

如下：

$face\_size\_angle=1-\frac{arctan\left(k_1\right)}{\mathrm{\π}}-\frac{arctan(-k_2)}{\mathrm{\π}}---1-23$

其中，

$k_1=\frac{P_1.y-P_{10}.y}{P_1.x-P_{10}.x}$

$k_2=\frac{P_{11}.y-P_{10}.y}{P_{11}.x-P_{10}.x}$

S4：根据步骤S3中的特征变量获取五官描述向量；

利用步骤S3中的所述的22个特征变量，组成人脸五官描述向量，该向量定义如下：

$\stackrel{\→}{F}=\left(\begin{array}{c}eye\_end\_direction\\ eye\_top\_angle\\ eye\_bottom\_angle\\ eye\_size\_width\\ eye\_size\_height\\ eye\_corner\_dis\tan ce\\ nose\_size\_length\\ nose\_size\_width\\ nose\_tip\_angle\\ nose\_contour\_angle\\ mouth\_smile\_direction\\ mouth\_size\_width\\ mouth\_smile\_angle\\ eyebrow\_size\_width\\ eyebrow\_size\_height\\ eyebrow\_upper\_angle\_\mathrm{\α}\\ eyebrow\_upper\_angle\_\mathrm{\β}\\ eyebrow\_lower\_angle\_\mathrm{\α}\\ eyebrow\_lower\_angle\_\mathrm{\β}\\ face\_chin\_angle\\ face\_cheek\_angle\\ face\_size\_angle\end{array}\right)---1-24$

利用该向量可以详细描述人脸，如图27所示，为人脸描述向量示例。

S5：根据步骤S4的五官向量计算其与卡通素材库中各卡通素材的 描述向量之间的相似度，选择相似度最高的素材作为匹配到的五官卡通素材；

S6：将匹配到的卡通素材绘制到正确的位置；

S7：完成人脸卡通画自动生成，即可存储或下载卡通画。

已知人脸描述向量，计算人脸描述向量与卡通素材库中各素材的描述向量的相似度，选择相似度最高的素材为匹配到的五官素材。本实施例将各素材类型分开匹配，将各自匹配到的最优素材按照适当方式组合在一起，即为最优的卡通肖像。以脸型图像-卡通匹配为例，讲述图像-卡通匹配规则，其余五官图像-卡通匹配规则与其一致。

首先获取脸型描述向量，计算方法如公式1-25所示，P_face为一个3维向量。

P_face＝(F^TM_face)^T      1-25 

其中获取全部脸部特征向量，排除其他五官特征的影响，定义20×3的矩阵M_face：

$M_{face}=\left|\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ .& .& .\\ .& .& .\\ .& .& .\\ 0& 0& 0\\ 1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right|$

结合F的定义，可知，P_face写作：

$p_{face}=\left(\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right)=\left(\begin{array}{c}face\_chin\_angle\\ face\_cheek\_angle\\ face\_size\_angle\end{array}\right)---1-26$

为描述方便，定义卡通素材库中一脸型素材描述向量如下，num表示该脸型素材在素材库中编号：

$Q_{face\_num}=\left(\begin{array}{c}{q}_{num\_1}\\ q_{num\_2}\\ q_{num\_3}\end{array}\right)---1-27$

结合1-26和1-27，计算待匹配脸型与第num号脸型素材间的相对差值，计算公式如1-28所示。

$E_N=\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_i\frac{|q_{num\_i}-p_i|}{p_i}---1-28$

其中，

$W_N=\left(\begin{array}{c}{\mathrm{\ω}}_1\\ {\mathrm{\ω}}_2\\ {\mathrm{\ω}}_3\end{array}\right)=\left(\begin{array}{c}0.3\\ 0.3\\ 0.4\end{array}\right)$

W_N为脸型描述向量中各变量的权重，越重要的特征，对应变量权重越大。其维度与对应五官描述向量纬度一样，依据五官描述向量中各变量的重要程度定义，例如在人脸描述向量中：下巴角度更重要一些，所以其对应权重更大。

根据各特征向量在F中的位置，对于眼睛，鼻子，眉毛和嘴巴，

$M_{eye}=\left|\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& 0& 0& 0& 0\end{array}\right|,M_{nose}=\left|\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ 0& 0& 0& 0\end{array}\right|,M_{mouth}=\left|\begin{array}{ccc}0& 0& 0\\ .& .& .\\ .& .& .\\ .& .& .\\ 1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right|,$

$M_{eyebrow}=\left|\begin{array}{cccccc}0& 0& 0& 0& 0& 0\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\end{array}\right|.$

遍历素材库中全部脸型素材，利用公式1-28，计算各素材与待识别脸型描述向量的差值，将差值最小的图片绘制在适当位置，即完成卡通肖像中脸型的自动生成。

当五官图像-卡通匹配全部完成时，即卡通肖像自动生成完成，将多图层合并为一张图片即可。

实验结果：利用基础卡通五官素材库，对上述方法进行了验证，五官图像-匹配结果如下：

眼睛图像-卡通匹配效果如图28所示。

鼻子图像-卡通匹配效果如图29所示。

鼻子图像-卡通匹配效果如图30所示。

鼻子图像-卡通匹配效果如图31所示。

脸型图像-卡通效果匹配效果如图32所示。

以上所述仅为本专利的优选实施例而已，并不用于限制本专利，对于本领域的技术人员来说，本专利可以有各种更改和变化。凡在本专利的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利的保护范围之内。

Claims (4)

1.一种卡通肖像自动生成方法，其特征在于:它包括步骤S4：获取人脸图片五官描述向量人脸五官描述向量包括多个人脸五官特征变量，即：

人脸五官特征变量eye_end_direction为两眼睛之间的角度；

人脸五官特征变量eye_top_angle为眼睛上眼睑角度；

人脸五官特征变量eye_bottom_angle为眼睛下眼睑角度；

人脸五官特征变量eye_size_width为眼睛的宽度；

人脸五官特征变量eye_size_height为眼睛的高度；

人脸五官特征变量eye_corner_distance为两眼之间内眼角之间的距离；

人脸五官特征变量nose_size_length为鼻子的高度；

人脸五官特征变量nose_size_width为鼻子的宽度；

人脸五官特征变量nose_tip_angle为鼻尖角度；

人脸五官特征变量nose_contour_angle为鼻子下轮廓的角度；

人脸五官特征变量mouth_smile_direction为嘴巴微笑方向；

人脸五官特征变量mouth_size_width为嘴巴宽度；

人脸五官特征变量mouth_smile_angle为嘴巴微笑角度；

人脸五官特征变量eyebrow_size_width为眉毛长度；

人脸五官特征变量eyebrow_size_height为眉毛粗细；

人脸五官特征变量eyebrow_upper_angle_a为左眉毛上轮廓弧度；

人脸五官特征变量eyebrow_upper_angle_b为右眉毛上轮廓弧度；

人脸五官特征变量eyebrow_lower_angle_a为左眉毛下轮廓弧度；

人脸五官特征变量eyebrow_lower_angle_b为右眉毛下轮廓弧度；

人脸五官特征变量face_chin_angle为脸型下巴角度；

人脸五官特征变量face_cheek_angle为脸型脸颊角度；

人脸五官特征变量face_size_angle为脸型尺寸角度。

2.如权利要求1所述的卡通肖像自动生成方法，其特征在于:

人脸五官特征变量eye_end_direction为经过左眼睛的左右眼角特征点P3、P7的直线与右眼睛的左右眼角特征点P13、P17的直线之间的角度；

人脸五官特征变量eye_top_angle为经过左眼上眼睑顶端特征点P8及左眼左眼角特征点P3的直线和经过左眼上眼睑顶端特征点P8及左眼右眼角特征点P7眼睛上眼睑角度的直线之间的角度；

人脸五官特征变量eye_bottom_angle为经过左眼下眼睑底端特征点P1及左眼左眼角特征点P3的直线和经过左眼下眼睑底端特征点P1及左眼右眼角特征点P7眼睛上眼睑角度的直线之间的角度；

人脸五官特征变量eye_size_width为左眼左眼角P3、右眼右眼角P17间的距离减去左眼右眼角P13、右眼左眼角P7间的距离；

人脸五官特征变量eye_size_height为左右眼上眼睑顶端P8、P18连线的中间点P到左右眼下眼睑底端P1、P11连线的距离；

人脸五官特征变量eye_corner_distance为左右眼内眼角特征点P7、P13间的距离；

人脸五官特征变量nose_size_length为鼻尖控制点P5到鼻梁左右最高点连线P1P6的距离；

人脸五官特征变量nose_size_width为鼻子轮廓左右最宽控制点P4、P9间的距离；

人脸五官特征变量nose_tip_angle为经过鼻子轮廓最左P4和鼻尖控制点P5的直线与经过鼻子轮廓最右控制点P9和鼻尖控制点P5的直线之间的角度；

人脸五官特征变量nose_contour_angle为经过鼻子下轮廓最左控制点P3和鼻尖控制点P5的直线与经过鼻子下轮廓最右控制点P8和鼻尖控制点P5的直线之间的角度；

人脸五官特征变量mouth_smile_direction为嘴巴左嘴角控制点P1与嘴巴底端控制点P2的连线与经过嘴巴底端控制点P2的垂直直线间的夹角与嘴巴右嘴角控制点P10与嘴巴底端控制点P2的连线与经过嘴巴底端控制点P2的垂直直线间的夹角之间的差值；

人脸五官特征变量mouth_size_width为嘴巴左嘴角控制点P1与嘴巴右嘴角控制点P10间的距离；

人脸五官特征变量mouth_smile_angle为经过嘴巴左嘴角控制点P1和嘴巴下嘴唇顶端控制点P11的直线与经过嘴巴右嘴角控制点P10和嘴巴下嘴唇顶端控制点P11的直线之间的夹角；

人脸五官特征变量eyebrow_size_width为左右眉毛眉尾控制点P1、P13间的距离减去眉心控制点P5、P9间的距离的差值；

人脸五官特征变量eyebrow_size_height为左右眉毛顶端控制点P7、P15连线中点P到左右眉毛底端控制点P3、P11连线的距离；

人脸五官特征变量eyebrow_upper_angle_a为左眉毛上轮廓左侧控制点与左侧控制点的连线和上轮廓左侧控制点与右侧控制点的连线间的夹角；

人脸五官特征变量eyebrow_upper_angle_b为右眉毛上轮廓居中控制点与左侧控制点的连线和上轮廓居中控制点与右侧控制点的连线间的夹角；

人脸五官特征变量eyebrow_lower_angle_a为左眉毛下轮廓左侧控制点与左侧控制点的连线和下轮廓左侧控制点与右侧控制点的连线间的夹角；

人脸五官特征变量eyebrow_lower_angle_b为右眉毛下轮廓居中控制点与左侧控制点的连线和下轮廓居中控制点与右侧控制点的连线间的夹角；

人脸五官特征变量face_chin_angle为经过脸型轮廓左第六个控制点P6和脸型下巴控制点P10的直线与经过脸型轮廓左第六个控制点P16和脸型下巴控制点P10的直线之间的角度；

人脸五官特征变量face_cheek_angle为经过脸型轮廓左侧第一个控制点P1和脸型轮廓左侧第五个控制点P5的直线与经过脸型轮廓左侧第九个控制点P9及脸型轮廓左侧第五个控制点P5的直线之间的角度；

人脸五官特征变量face_size_angle为经过脸型轮廓左第一个控制点P1和脸型下巴控制点P10的直线与经过脸型轮廓右第一个控制点P11和脸型下巴控制点P10的直线之间的角度。

3.如权利要求1所述的卡通肖像自动生成方法，其特征在于:它还包括在步骤S4后的步骤S5：计算人脸五官描述向量与卡通素材描述向量的差值，取差值最小的卡通素材作为匹配结果。

4.如权利要求3所述的卡通肖像自动生成方法，其特征在于:人脸五官描述向量匹配规则包括步骤：

获取各五官描述向量

计算匹配五官与卡通素材五官间的相对差值：

其中N为眼睛，鼻子，眉毛，嘴巴，脸型；

m为眼睛，鼻子，眉毛，嘴巴，脸型对应的特征向量总数；

num为第num号卡通素材；

M_N为20*m的矩阵，

$M_{\mathrm{eye}}=\left|\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& 0& 0& 0& 0\end{array}\right|,$ $M_{\mathrm{nose}}=\left|\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ 0& 0& 0& 0\end{array}\right|,$ $M_{\mathrm{mouth}}=\left|\begin{array}{ccc}0& 0& 0\\ .& .& .\\ .& .& .\\ .& .& .\\ 1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right|,$ $M_{\mathrm{eyebrow}}=\left|\begin{array}{cccccc}0& 0& 0& 0& 0& 0\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\end{array}\right|,$ $M_{\mathrm{face}}=\left|\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ .& .& .\\ .& .& .\\ .& .& .\\ 0& 0& 0\\ 1& 0& 0\\ 0& 1& 0\end{array}\right|;$

W_N为各五官描述向量中各变量的权重 $W_N=\left(\begin{array}{c}{\mathrm{\ω}}_1\\ {\mathrm{\ω}}_2\\ .\\ .\\ .\\ {\mathrm{\ω}}_m\end{array}\right),$ ω₁+ω₂+…ω_m＝1。