CN109410119A - 面具图像变形方法及其*** - Google Patents
面具图像变形方法及其*** Download PDFInfo
- Publication number
- CN109410119A CN109410119A CN201710710931.4A CN201710710931A CN109410119A CN 109410119 A CN109410119 A CN 109410119A CN 201710710931 A CN201710710931 A CN 201710710931A CN 109410119 A CN109410119 A CN 109410119A
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- image
- triangle gridding
- mask image
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 52
- 210000000214 mouth Anatomy 0.000 claims description 16
- 210000001508 eye Anatomy 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 15
- 210000001061 forehead Anatomy 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 15
- 210000001331 nose Anatomy 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims 2
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000282693 Cercopithecidae Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000029052 metamorphosis Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种面具图像变形方法及其***，其中该方法包括：获取面具图像，根据所述面具图像确定多个特征点；根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格；通过摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息；根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格；将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，将所述面具图像和所述人脸图像进行重叠。通过本发明能够使人脸和面具和谐自然地融合在一起。
Description
技术领域
本发明涉及人脸图像处理技术，尤其涉及一种面具图像变形方法及其***。
背景技术
人脸识别技术，是指利用分析比较的计算机技术识别人脸。一直以来，人脸识别都是一项热门的计算机技术研究领域，具有极高的学术研究价值和广泛的市场应用前景。一般地，人脸识别***包括：人脸检测、人脸对齐、人脸特征提取、人脸比对等。
目前，利用图像变形技术可以很多特效，已经被广泛应用于电影、电视和广告媒体中。目前已有很多人脸变形的方法，比如将人脸五官、脸部轮廓局部调整，使其漂亮化，或者是类似于哈哈镜将人脸扭曲放大夸张化。但是，对于将人脸变形为特定的面具模板目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种面具图像变形方法及其***，以解决现有技术存在的上述问题，其中：
根据本发明实施例提出一种面具图像变形方法，其包括：
获取面具图像，根据所述面具图像确定多个特征点；
根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格；
通过摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息；
根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格；
将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，将所述面具图像和所述人脸图像进行重叠。
根据本发明实施例还提出一种面具图像变形***，其包括：
面具图像获取模块，用于获取面具图像，根据所述面具图像确定多个特征点；
三角网格索引表生成模块，用于根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格；
特征点确定模块，用于通过摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息；
三角网格划分模块，用于根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格；
图像变形模块，用于将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，将所述面具图像和所述人脸图像进行重叠。
根据本发明的技术方案，通过预先获取的面具图像生成固定的三角网格索引表，按照所述三角网格索引表在实时捕获的人脸图像划分三角网格，并将面具图像的纹理向人脸图像中的对应三角面片进行变形，通过本发明能够将面具图像通过变形后实时准确地紧贴在被跟踪的人脸上，使其人脸和面具和谐自然地融合在一起。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的面具图像变形方法的流程图；
图2是根据本发明实施例的面具图像的特征点分布的示意图；
图3是根据本发明实施例的CR_Spline曲线的示意图；
图4A和图4B分别是根据本发明实施例的猴模板图和插值结果的示意图；
图5是根据本发明实施例的三角网格片的示意图；
图6是根据本发明实施例的三角形的映射关系的示意图；
图7是根据本发明实施例的面具图像的融合结果的示意图；
图8是根据本发明实施例的面具图像变形***的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
根据本发明实施例提供了一种面具图像变形方法，所述方法应用于具有摄像头的终端设备。其中，具有摄像头的终端设备可以是例如：手机、平板电脑、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等具有网络功能的智能终端。
图1是根据本发明实施例的面具图像变形方法的流程图，如图1所示，该方法包括以下步骤：
步骤S102，获取面具图像，根据所述面具图像确定多个特征点。
在本发明中，所述面具图像可以为卡通类型的生肖动物，例如猴子、兔子等卡通面具。要给人脸戴上卡通面具，需要先对面具图像模板的图像做人工描点，确定该面具图像的多个特征点。面具图像的特征点包括多个基本特征点以及根据所述多个基本特征点插值扩充得到的多个扩充特征点；其中，基本特征点有75个，为了使变形后的面具保持纹理的自然性，避免发生扭曲或褶皱，需要将这75个基本特征点进行扩充，插值出更多的扩充特征点以充实面具各区域。
其中，所述多个基本特征点定位所述面具图像中脸部轮廓、眉毛、鼻子、眼睛、嘴、额头的位置信息，具体地：
17个基本特征点定位脸部轮廓的位置信息；
10个基本特征点定位眉毛的位置信息；
9个基本特征点定位鼻子的位置信息；
12个基本特征点定位眼睛的位置信息；
20个基本特征点定位嘴的位置信息；
7基本特征点定位额头的位置信息。
图2示出了面具图像特征点的分布情况，其中的数字表示基本特征点和扩充特征点的标识信息。
步骤S104，根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格。
将图2所示的基本特征点和扩充特征点，按照delaunay三角剖分(点集的三角剖分)方法组成三角形网格。由于本发明中的面具图像设计的主要是要显示真实人脸的嘴，而嘴的变化不确定(例如上下嘴唇交叉等)，这都很容易引起三角形的折叠、反转，所以本发明将嘴内部的所有三角网格做了筛选，把关于内嘴的三角形都一并删除，并适当地重新组合外嘴的一些三角网格；另外，由于人脸是姿态多变的状态，将其它部分那些容易出现褶皱的三角网格也进行适当删除重组，由此可获得固定的三角网格索引表。在后面的人脸跟踪中，把面具图像定位到的基本特征点及扩充出的扩充特征点，都是按照这个网格索引表进行划分的。
上表中的235表示三角形的个数，“{”下面的数字表示基本特征点和扩充特征点的标识信息，其中每一行都表示一个三角形，如第一行的三角形是由133、93、36这三个编号的特征点组成。也就是说，本发明实施例的三角网格索引表中记录了由三角网格的特征点表示的多个三角网格的信息。
步骤S106，通过摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息。
特征点的定位，其实就是人脸对齐，这是目前一个非常热的研究方向，在人脸上能进行比如化妆、戴眼镜、美瞳、美肤，以及性别、种族判别等。人脸特征点定位的目的是在人脸检测的基础上，进一步确定脸部特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置。但由于不同的姿态、表情、光照以及遮挡等因素的影响，准确地定位出各个特征点却并不容易。定位算法的基本思路是：人脸的纹理特征和各个特征点之间的位置约束结合。经典算法有主动形状模型(ASM)、主动表观模型(AAM)、监督梯度模型(SDM)等。
如图2表示了关键点的分布情况，用编号0到16的点去描述脸部轮廓，用编号17到26的点去描述左右眉毛，用编号27到35的点描述鼻子，用编号36到47的点描述左右眼睛，嘴的描述包括外嘴和内嘴，分别包含编号48到59的点和编号60到67的点，用编号68到75的点描述额头。
为了减少误差，提高变形的准确性，对于面具模板图像来说，将面具按同比例尺寸依附在一个参照人脸上，按照人脸器官的布局，通过手工描点，找出上图的75个特征点，记录它们的坐标位置。对于被跟踪者来说，那就需要一个人脸对齐算法去实时标定出这些特征点，本发明实施例可以采用SDM方法，它的理论简单，计算量小，稳定性也不错。
SDM人脸对齐的核心内容就是特征到偏移量的映射：
其中，Δx表示偏移量，R表示映射矩阵，表示特征向量。SDM方法是通过训练样本去得到映射矩阵R，具体步骤如下：
(1)归一化样本，使样本的尺度统一；
(2)计算均值人脸；
(3)将均值人脸，作为估计人脸放在样本上，使均值中心和原始人脸形状中心对齐；
(4)计算基于每一个均值人脸的标记点的特征，如hog；
(5)将所有特征点的特征串在一起，形成样本特征矩阵
(6)计算估计人脸和真实人脸之间的偏移量，并形成矩阵Δx；
(7)解线性方程。
估计形状加上预测偏移量就是结果，在实际情况中，需要训练多层，二层以后需要使用上一层对齐的结果作为估计形状。通过训练样本得出映射矩阵R后，在测试中通过下面公式求出每一层的人脸形状：
其中，xk表示第k层的人脸形状，Rk-1表示第k-1层的映射矩阵，表示第k-1层的特征向量。这里层数与训练阶段的层数一致。
经过SDM人脸对齐后，能获取准确的68个眉毛以下的面部关键点，但是由于面具为了更好地突出了生肖的俏皮可爱和美化的效果，不少包含有额头部位区域。另外生肖龙、兔等面具模板的耳朵都在头部，为它们设计了一些序列动作，这样也要求了计算出额头特征点的必要性。本发明中额头上的7个点，是根据已有的68个点坐标求出。具体的计算过程如下：
(1)由编号36到41计算左眼中心点lefEye，由编号42到47的点计算出右眼中心点rightEye，再由它们计算双眼中心点eyeCen；
(2)由满足人脸黄金比例关系：眉心到额头的距离约等于眉心到鼻子底部的距离，即|eyeCen-P33|＝|eyeCen-P71|，可计算出编号71的点位置；
(3)分别计算P71到P0与P16间的横向、纵向距离，且分别均分成四等份，则能计算出其它6个点(即68-70、72-74)的坐标。
又由于面具图像具有丰富纹理，如果仅仅是用以上的75个控制点做网格仿射变换，那变形后的纹理很难达到细腻、平滑的程度。因此，需要以已有的75个点做插值扩充。面具图像的不同，要求插值的部位及扩充出的控制点数也要求不一样。例如，Catmull-Rom样条线，是一根比较特殊的Bezier曲线，而这条Bezier曲线能够保证它会穿过从控制点的第二个点到控制点的倒数第二点之间的所有点。所以说，Catmull-Rom样条线最少需要4个控制点来进行控制。
下面的公式给出如何计算某两个指定点间的点：
outP＝P0*(-0.5*t3+t2-0.5*t)+P1*(1.5*t3-2.5*t2+1.0)+P2*(-1.5*t3+2.0*t2+0.5*t)+P3*(0.5*t3-0.5*t2)；
这里的P0，P1，P2，P3都是曲线的点，如图3所示，能够计算出从点P1到P2间的点。
公式中的t取值范围为[0,1]，当t从0到1线性变化的时候，曲线就会从点P1(此时t＝0)，慢慢移动到P2(此时t＝1)。这个曲线另外一个特点就是计算出来的点P的切向量和这个点的周围两个起点和终点的切向量是平行的。
在图3中控制点虽然有4个，但是绘制的曲线却只能够通过中间的两个点。如果想曲线同时过这四个点，那处理的方法是创造一个新起点和新终点，以构成四个控制点即可。比如现在有P0，P1，P2，P3，如果用[P0，P1，P2，P3]构造曲线，曲线将只能够通过P1和P2，为了让曲线能够通过P0和P3，可以人为的构造出如下的控制点[2P0-P1，P0，P1，P2]，以及[P1，P2，P3,2P3-P2]。通过这样的方法，就能够绘制一条经过所有控制点的曲线了。
通过以上的方法，可扩充猴面具的控制点数到141个，其中双眼为封闭区域，每2个控制点间插值出1个点，可扩充出12个点，样条曲线能很好地穿过整个点；因为这里额头与脸轮廓分离开了，所以眉毛、脸轮廓、嘴，及鼻子等都需要人工造新起点与终点。
步骤S108，根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格。
将人脸图像中包括多个基本特征点以及多个扩充特征点，按照所述所述三角网格索引表划分三角网格。如图4B所示，“+”表示的点是前文所述的75个特征点，“*”表示的点是通过Catmull-Rom插值扩充出的点。将插值扩充出来的点，通过查找固定网格索引表，可组合成固定的三角形数目，如图5所示中包含235个三角网格。
步骤S110，按照特征点的位置信息将所述面具图像向所述人脸图像进行变形，将所述面具图像和所述人脸图像进行重叠。
网格变形算法非常简单而快速，但是变形程度稍大时，三角网格的直边会对变形效果造成不好的影响，比如前文所述的扭曲等。因此，在网格变形之前，需要加入一个薄板样条过程，对特征点使用薄板样条映射，平滑后的特征点，再按照固定三角网格索引表，组成合适的三角网格，与面具模板网格进行一一对应仿射，即可使变形后的模板更加细腻、逼真、自然，使合成后的面具更加丰富有趣。
薄板样条映射，是根据两幅相关图像中的对应控制点集来决定一个变形函数。它寻找通过所有给定点的饶度最小的光滑曲面。它具体的原理是选择两幅图像(设图像A和图像B)中对应坐标信息的两个集合，把从图像A中的像素信息映射到图像B中的相应位置。薄板样条是能准确地匹配相应的坐标信息，并且将图像变形能量限制在最小。图像映射函数设为映射变换的系数由所选择的匹配控制点个数决定。
其中P＝(x,y)是图像空间坐标，n+3×2的矩阵W定义如下：
W＝(ω1ω2…ωnα1αxαy)T＝L-1M
其中ω1,ω2,…ωn,α1,αx和αy是薄板样条变换中的关键系数。
其中hi＝(Xi,Yi),i＝1,2,…,n是图像B中的控制点坐标。矩阵L由矩阵K，Q和一个3×3的零矩阵组成。
其中U(r)＝r2logr，且rij＝(|pi-pj|)是图像A的任意两个控制点之间的距离。Q中(xi,yi),i＝1,…,n表示图像A的控制点坐标。
由上面的公式可计算出关键系数W，然后将图像A中任意一点P的坐标以及点P与其它各点的距离|P-Pj|，则可得到图像B中对应点的坐标。
面具模板要变形到当前姿态的人脸，其实就是仿射变换过程。仿射变换，是指一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间的过程。一个任意的仿射变换通常包括旋转(线性变换)、平移与缩放，通常代表的是两幅图之间的一种映射关系。在本发明中，被选择的面具与该人脸图像被划分为等数量的三角形，它们的变形就是三角形间的一个形状转化为另一个形状，将其包含的纹理做一一对应的映射，如图6所示。
假设image1三个点坐标为(x′1,y′1)、(x′2,y′2)、(x′3,y′3),image2中三个点坐标(x1,y1)、(x2,y2)与(x3,y3)，则可求出image2中任意一点(x,y)在image2中对应的位置(x′,y′)：
alpha＝-y*x3+y3*x-x*y2+x2*y-x2*y3+x3*y2；
beta＝y*x3-x1*y-x3*y1-y3*x+x1*y3+x*y1；
gamma＝x*y2-x*y1-x1*y2-x2*y+x2*y1+x1*y；
x′＝alpha*x′1+beta*x′2+gamma*x′3；
y′＝alpha*y′1+beta*y′2+gamma*y′3；
由此，可在image1插值出点(x′,y′)像素，并将其赋值给image2中点(x,y)，如此即可填充满image2中所有像素。而面具与人脸图像都是众多三角形组成，因而可在人脸中相应的部分被面具纹理覆盖，即而实现了面具图像的融合，如图7所示。
根据本发明实施例，还提供一种面具图像变形***，所述***可以为安装在终端设备中的应用程序(App)，所述终端设备包括但不限于：手机或者智能手机、智能电视、平板电脑(PAD)、台式机、笔记本电脑等终端设备。所述终端设备可以包括：至少一个处理器、射频模块、天线、存储器、输入输出模块(包括音频输入输出模块、按键输入模块以及显示器等)和用户接口。在本发明的一些实施例中，这些部件可通过总线或者其它方式连接。其中，射频模块还至少包括射频前端(RFFE)和射频集成电路(RFIC)。
参考图8，所述面具图像变形***包括：
面具图像获取模块81，用于获取面具图像，根据所述面具图像确定多个特征点；
三角网格索引表生成模块82，用于根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格；
特征点确定模块83，用于通过手机等智能终端的摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息；
三角网格划分模块84，用于根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格；
图像变形模块85，用于将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，将所述面具图像和所述人脸图像进行重叠。
其中，所述面具图像获取模块81确定的所述多个特征点包括：多个基本特征点以及根据所述多个基本特征点插值扩充得到的多个扩充特征点；其中，所述多个基本特征点定位所述面具图像中脸部轮廓、眉毛、鼻子、眼睛、嘴、额头的位置信息。
进一步，所述基本特征点有75个，采用17个基本特征点定位脸部轮廓的位置信息、10个基本特征点定位眉毛的位置信息、9个基本特征点定位鼻子的位置信息、12个基本特征点定位眼睛的位置信息、20个基本特征点定位嘴的位置信息、7基本特征点定位额头的位置信息。
在本发明中，所述三角网格划分模块84还用于，将所述人脸图像的多个特征点进行薄板样条映射，进行特征点平滑处理；平滑后的特征点根据所述三角网格索引表生成多个三角网格。
在本发明中，所述图像变形模块85还用于，将所述面具图像和所述人脸图像划分为相等数量的三角网格，将所述面具图像的三角网格向对应的所述人脸图像的三角网格进行仿射变换。
本发明的方法的操作步骤与***的结构特征对应，可以相互参照，不再一一赘述。
本领域技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种面具图像变形方法，其特征在于，包括：
获取面具图像，根据所述面具图像确定多个特征点；
根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格；
通过摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息；
根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格；
将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，将所述面具图像和所述人脸图像进行重叠。
2.根据权利要求1所述的方法，其特征在于，还包括：
所述多个特征点包括多个基本特征点以及根据所述多个基本特征点插值扩充得到的多个扩充特征点；其中，所述多个基本特征点定位所述面具图像中脸部轮廓、眉毛、鼻子、眼睛、嘴、额头的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述多个基本特征点定位所述面具图像中脸部轮廓、眉毛、鼻子、眼睛、嘴、额头的位置信息，包括：
17个基本特征点定位脸部轮廓的位置信息；
10个基本特征点定位眉毛的位置信息；
9个基本特征点定位鼻子的位置信息；
12个基本特征点定位眼睛的位置信息；
20个基本特征点定位嘴的位置信息；
7基本特征点定位额头的位置信息。
4.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像的多个特征点划分三角网格，包括：
将所述人脸图像的多个特征点进行薄板样条映射，进行特征点平滑处理；
平滑后的特征点根据所述三角网格索引表生成多个三角网格。
5.根据权利要求4所述的方法，其特征在于，所述将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，包括：
将所述面具图像和所述人脸图像划分为相等数量的三角网格，将所述面具图像的三角网格向对应的所述人脸图像的三角网格进行仿射变换。
6.一种面具图像变形***，其特征在于，包括：
面具图像获取模块，用于获取面具图像，根据所述面具图像确定多个特征点；
三角网格索引表生成模块，用于根据所述多个特征点生成三角网格索引表，其中，所述三角网格索引表中包括多个三角网格；
特征点确定模块，用于通过摄像头实时获取人脸图像，确定所述多个特征点在所述人脸图像上的位置信息；
三角网格划分模块，用于根据所述三角网格索引表，将所述人脸图像的多个特征点划分三角网格；
图像变形模块，用于将所述面具图像的三角网格向所述人脸图像的三角网格进行变形，将所述面具图像和所述人脸图像进行重叠。
7.根据权利要求6所述的***，其特征在于，所述面具图像获取模块还用于：
所述多个特征点包括多个基本特征点以及根据所述多个基本特征点插值扩充得到的多个扩充特征点；其中，所述多个基本特征点定位所述面具图像中脸部轮廓、眉毛、鼻子、眼睛、嘴、额头的位置信息。
8.根据权利要求7所述的***，其特征在于，面具图像获取模块采用：
17个基本特征点定位脸部轮廓的位置信息；
10个基本特征点定位眉毛的位置信息；
9个基本特征点定位鼻子的位置信息；
12个基本特征点定位眼睛的位置信息；
20个基本特征点定位嘴的位置信息；
7基本特征点定位额头的位置信息。
9.根据权利要求6所述的***，其特征在于，所述三角网格划分模块还用于，将所述人脸图像的多个特征点进行薄板样条映射，进行特征点平滑处理；平滑后的特征点根据所述三角网格索引表生成多个三角网格。
10.根据权利要求9所述的***，其特征在于，所述图像变形模块还用于，将所述面具图像和所述人脸图像划分为相等数量的三角网格，将所述面具图像的三角网格向对应的所述人脸图像的三角网格进行仿射变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710710931.4A CN109410119A (zh) | 2017-08-18 | 2017-08-18 | 面具图像变形方法及其*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710710931.4A CN109410119A (zh) | 2017-08-18 | 2017-08-18 | 面具图像变形方法及其*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109410119A true CN109410119A (zh) | 2019-03-01 |
Family
ID=65455256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710710931.4A Pending CN109410119A (zh) | 2017-08-18 | 2017-08-18 | 面具图像变形方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410119A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263671A (zh) * | 2019-05-30 | 2019-09-20 | 量子动力（深圳）计算机科技有限公司 | 一种可快速标定肌肉特征的面具及其加工方法 |
| CN110728271A (zh) * | 2019-12-19 | 2020-01-24 | 恒信东方文化股份有限公司 | 一种针对人脸识别生成人物表情的方法 |
| CN111031234A (zh) * | 2019-11-20 | 2020-04-17 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111047511A (zh) * | 2019-12-31 | 2020-04-21 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111652022A (zh) * | 2019-06-26 | 2020-09-11 | 广州虎牙科技有限公司 | 图像数据的显示、直播方法、装置、电子设备和存储介质 |
| CN111767876A (zh) * | 2020-07-02 | 2020-10-13 | 北京爱笔科技有限公司 | 一种有遮挡人脸图像的生成方法及装置 |
| CN112099712A (zh) * | 2020-09-17 | 2020-12-18 | 北京字节跳动网络技术有限公司 | 人脸图像显示方法、装置、电子设备及存储介质 |
| JP7214926B1 (ja) | 2019-12-18 | 2023-01-30 | 北京字節跳動網絡技術有限公司 | 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646416A (zh) * | 2013-12-18 | 2014-03-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸纹理生成方法及设备 |
| CN106709931A (zh) * | 2015-07-30 | 2017-05-24 | 中国艺术科技研究所 | 一种脸谱映射至人脸的方法、脸谱映射装置 |
-
2017
- 2017-08-18 CN CN201710710931.4A patent/CN109410119A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646416A (zh) * | 2013-12-18 | 2014-03-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸纹理生成方法及设备 |
| CN106709931A (zh) * | 2015-07-30 | 2017-05-24 | 中国艺术科技研究所 | 一种脸谱映射至人脸的方法、脸谱映射装置 |
Non-Patent Citations (1)
| Title |
|---|
| 原娜: "视频中人脸的京剧脸谱映射", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263671B (zh) * | 2019-05-30 | 2023-03-31 | 量子动力（深圳）计算机科技有限公司 | 一种可快速标定肌肉特征的面具及其加工方法 |
| CN110263671A (zh) * | 2019-05-30 | 2019-09-20 | 量子动力（深圳）计算机科技有限公司 | 一种可快速标定肌肉特征的面具及其加工方法 |
| CN111652022A (zh) * | 2019-06-26 | 2020-09-11 | 广州虎牙科技有限公司 | 图像数据的显示、直播方法、装置、电子设备和存储介质 |
| CN111652022B (zh) * | 2019-06-26 | 2023-09-05 | 广州虎牙科技有限公司 | 图像数据的显示、直播方法、装置、电子设备和存储介质 |
| CN111031234B (zh) * | 2019-11-20 | 2021-09-03 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111031234A (zh) * | 2019-11-20 | 2020-04-17 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| JP7214926B1 (ja) | 2019-12-18 | 2023-01-30 | 北京字節跳動網絡技術有限公司 | 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 |
| JP2023504926A (ja) * | 2019-12-18 | 2023-02-07 | 北京字節跳動網絡技術有限公司 | 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 |
| US11651529B2 (en) | 2019-12-18 | 2023-05-16 | Beijing Bytedance Network Technology Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
| CN110728271B (zh) * | 2019-12-19 | 2020-04-07 | 恒信东方文化股份有限公司 | 一种针对人脸识别生成人物表情的方法 |
| CN110728271A (zh) * | 2019-12-19 | 2020-01-24 | 恒信东方文化股份有限公司 | 一种针对人脸识别生成人物表情的方法 |
| CN111047511A (zh) * | 2019-12-31 | 2020-04-21 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111767876A (zh) * | 2020-07-02 | 2020-10-13 | 北京爱笔科技有限公司 | 一种有遮挡人脸图像的生成方法及装置 |
| CN112099712A (zh) * | 2020-09-17 | 2020-12-18 | 北京字节跳动网络技术有限公司 | 人脸图像显示方法、装置、电子设备及存储介质 |
| CN112099712B (zh) * | 2020-09-17 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 人脸图像显示方法、装置、电子设备及存储介质 |
| US11935176B2 (en) | 2020-09-17 | 2024-03-19 | Beijing Bytedance Network Technology Co., Ltd. | Face image displaying method and apparatus, electronic device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410119A (zh) | 面具图像变形方法及其*** | |
| CN107610209A (zh) | 人脸表情合成方法、装置、存储介质和计算机设备 | |
| CN109978930A (zh) | 一种基于单幅图像的风格化人脸三维模型自动生成方法 | |
| Jiang et al. | Efficient 3D reconstruction for face recognition | |
| CN110399809A (zh) | 多特征融合的人脸关键点检测方法及装置 | |
| CN110503703A (zh) | 用于生成图像的方法和装置 | |
| CN102567716B (zh) | 一种人脸合成***及实现方法 | |
| CN109801380A (zh) | 一种虚拟试衣的方法、装置、存储介质及计算机设备 | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| CN108388882A (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| US11587288B2 (en) | Methods and systems for constructing facial position map | |
| CN108363973A (zh) | 一种无约束的3d表情迁移方法 | |
| CN112348937A (zh) | 人脸图像处理方法及电子设备 | |
| JP2014211719A (ja) | 情報処理装置およびその方法 | |
| CN110264396A (zh) | 视频人脸替换方法、***及计算机可读存储介质 | |
| WO2022267653A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
| WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110717978A (zh) | 基于单张图像的三维头部重建方法 | |
| CN108174141A (zh) | 一种视频通信的方法和一种移动装置 | |
| CN111652795A (zh) | 脸型的调整、直播方法、装置、电子设备和存储介质 | |
| CN115546361A (zh) | 三维卡通形象处理方法、装置、计算机设备和存储介质 | |
| CN111652807B (zh) | 眼部的调整、直播方法、装置、电子设备和存储介质 | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190301 |
|
| WD01 | Invention patent application deemed withdrawn after publication |