CN101770649B - 一种人脸图像自动合成方法 - Google Patents
一种人脸图像自动合成方法 Download PDFInfo
- Publication number
- CN101770649B CN101770649B CN2008102467465A CN200810246746A CN101770649B CN 101770649 B CN101770649 B CN 101770649B CN 2008102467465 A CN2008102467465 A CN 2008102467465A CN 200810246746 A CN200810246746 A CN 200810246746A CN 101770649 B CN101770649 B CN 101770649B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- facial
- images
- synthetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 72
- 238000001308 synthesis method Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 239000004744 fabric Substances 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 4
- 238000010367 cloning Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 210000000088 lip Anatomy 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 210000004209 hair Anatomy 0.000 description 9
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000282341 Mustela putorius furo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提出人脸图像自动合成方法,用户输入两幅人脸源图像、目标图像和要编辑区域的语义信息,模型匹配模块利用主动外观模型对图像进行自动搜索,提供人脸图像人脸的形状信息和纹理信息;然后利用模型特征点对两幅人脸图像进行形状对齐,使用薄板样条形变把源图像编辑区域的形状对齐到目标图像中对应的区域中;用特征合成模块对源图像和目标图像的对齐后的形状信息和纹理信息进行特征合成,自动生成合成图像;利用遮挡处理模块对合成图像进行去遮挡处理,把源图像的被遮挡区域分割、匹配、最后无缝地融合到目标图像中。与传统的人脸合成不同在于,融合了两幅图像的特征区域,解决了由于目标图像中部分人脸被物体遮挡而导致的图像失真问题。
Description
技术领域
本发明涉及计算机图形图像技术领域,提出了一种高效便捷的人脸图像自动合成方法。
背景技术
在计算机图形图像领域,图像合成是图像编辑中一个非常重要的技术。该技术已经广泛应用在娱乐业和电影中。图像合成主要分为两类:第一类是提取源图像中的物体或者区域并合成到目标图像中;另一类就是从一幅或者多幅图像中取出不同的图像区域并把这些区域拼接成一幅新的图像。以下是相关工作的简要介绍。
图像抠图(Image Matting):抠图是最常用的图像合成技术之一。所谓抠图就是提取图像中的物体或者区域,并计算出该物体或者区域的透明度值,然后通过透明度值把提取物合成到目标图像中。目前大部分的抠图技术都需要用户提供一幅trimap图像。该图像是把源图像粗略地分割为前景、背景和不确定区域。大量实验表明,要获得真实感的合成图像,要求trimap图像中的不确定区域越小越好,这就增加了大量的用户操作。
泊松图像编辑(Poisson Image Editing):泊松图像编辑已经被证实是无缝图像合成中非常有效的一种方法。以源图像的梯度场作为引导场,用户提供编辑区域的边界信息,通过求解泊松方程获得一幅颜色连续的新图像。选取不同的梯度场,泊松方程可以实现不同的功能,比如:无缝克隆、纹理抚平和纹理拼接等。然而泊松编辑结果的好坏很大程度上取决于用户边界区域的选取。
交互式数字图像处理(Interactive Digital Photomontage):该方法实现了把许多图像的不同部分进行拼接得到一幅新的图像。它主要包括两个技术:图分割(Graph cut)和泊松编辑。图分割用来寻找不同图像区域的边界,以保证这些区域可以尽可能地无缝合成。泊松编辑主要是用来消除颜色的不连续性。同样地,该方法也需要用户在图像中勾画出感兴趣区域作为初始化。
根据以上介绍,我们可以看出大部分的图像合成方法都需要烦琐的人工操作,而且最后的结果很大程度上取决于人工交互的质量和数量。在数码娱乐高速发展的今天,已有的***和方法已经难以满足用户日益增长的图像编辑合成需求。
发明内容
为了解决现有技术的问题,本发明的目的是提供一种自动的基于模型的人脸图像合成***。
为了达成所述目的,本发明自动的基于模型的人脸图像自动合成方法,该人脸图像自动合成包括如下步骤:
步骤1:用户输入两幅人脸源图像、目标图像和要编辑区域的语义信息,模型匹配模块利用主动外观模型对图像进行自动搜索,提供人脸图像人脸的形状信息和纹理信息;
步骤2:然后利用模型特征点对两幅人脸图像进行形状对齐,使用薄板样条形变把源图像编辑区域的形状对齐到目标图像中对应的区域中;
步骤3:利用特征合成模块对源图像和目标图像的对齐后的形状信息和纹理信息进行特征合成,自动生成合成图像;
步骤4:利用遮挡处理模块对合成图像进行去遮挡处理,把源图像的被遮挡区域分割、匹配、最后无缝地融合到目标图像中。
本发明的有益效果:本发明根据用户输入两幅人脸图像(源图像和目标图像)以及要编辑区域的语义信息,比如“嘴巴”,“眼睛”或者“脸”等,***将自动地把源图像的编辑区域分割、匹配、最后无缝地融合到目标图像中。与传统的人脸手动合成技术的不同点在于,本发明利用学习出的人脸模型搜索和分析每一幅人脸图像,并自动地产生编辑区域的边界信息。然后利用泊松方程的无缝粘贴功能,成功地融合了两幅图像的特征区域。另外,本发明***还采用抠图方法,还解决了由于目标图像中部分人脸被物体遮挡而导致的图像失真问题,比如:头发,眼镜的遮挡等。
附图说明
图1人脸合成***框架包括三个部分:模型匹配,特征合成,遮挡处理;
图2标有特征点的训练人脸;
图3形状无关的训练人脸patch;
图4人脸图像嘴巴区域合成;
图5彩色人脸图像合成,最右边两幅图像分别是(c)和(d)中黄色方框图像的局部放大图;
图6头发遮挡处理;
图7灰度图像合成:第一排是输入的人脸图像,第二排是合成后的人脸图像;
图8彩色人脸图像合成:第一排是输入的人脸图像,第二排是合成后的人脸图像。
具体实施方式
下面将结合附图对本发明加以详细说明,应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
图1是本发明整个图像合成***的框图,采用一台具有2.8G赫兹中央处理器和1G字节内存的奔腾4计算机并用C++语言编制了图像合成方法算法程序,实现了本发明的图像合成***,还可以采用其他执行环境,在此不再详细赘述。
本发明***的操作过程具体如下:输入两幅人脸图像(彩色图像或者灰度图像),用户选择要编辑区域的语义信息,比如:“人脸”,眼睛或者“嘴巴”等,然后***就自动地把源图像的语义特征区域无缝粘贴到目标图像中的对应位置。***主要有三个模块组成:模型匹配模块1、特征合成模块2和遮挡处理模块3。第一步是模型匹配模块1进行模型匹配。我们从大量的人脸图像训练样本中学习得到主动形状模型。然后利用训练出的主动外观模型对人脸图像进行搜索检测,获得人脸图像的形状信息和纹理信息,包括各个五官的位置信息眼睛、鼻子、嘴巴、下巴、唇、眉毛和额头等人脸的部件。
利用获取的这些特征信息,***自动地产生编辑区域的边界位置。下一步就是特征合成模块2进行特征合成。我们通过结合边界信息和泊松方程获得一幅具有真实感、视觉效果满意的新的人脸合成图像。在特征合成之前,需要把源图像和目标图像对齐,保证两幅图像人脸特征位置一致。最后,如果存在由于头发、眼镜等物体遮挡目标图像部分的人脸而导致的合成图像失真问题,我们就采用遮挡处理模块3进行遮挡处理,用来消除这种由于物体遮挡目标图像部分的人脸而导致的合成图像失真。
1.模型匹配模块
主动外观模型是利用人脸特征的形状信息和纹理信息相结合进行统计分析建立的一种模型,并在训练过程中寻找形状参数和纹理参数之间的关系,用于提取个人外貌、三维姿态、面部表情及光照的不同脸部特征。在对新图像的匹配中,根据形状参数和纹理参数之间的关系不断的调节主动外观模型参数从而达到合成图像和新图像尽可能地接近。主动外观模型是形状模型和纹理模型的结合,所以首先要分别建立形状模型和纹理模型。我们从CAS-PEAL-R1人脸数据库中挑选出280幅人脸图像(包括多个人的不同表情和姿态)作为训练样本。训练所述主动外观模型时,首先把所有的训练样本图像都变形到均值形状上,然后获得变形后的均值人脸,并生成所需要的人脸区域掩模图像给定一幅新的人脸图像,再利用人脸主动外观模型对该图像搜索,搜索完毕后,就匹配出一幅与人脸图像相近的人脸区域图,模型匹配图提供了新图像人脸的形状信息和纹理信息。
形状模型需要对训练数据中每一幅图像标注特征点。特征点可以标记在脸的外部轮廓和器官的边缘上,如图2所示,例如图中示出的眉毛轮廓、眼睛轮廓、脸部轮廓。将标记在脸的外部轮廓和器官的边缘上的n个特征点写成向量X形式,记为x:
x=(x0,y0,…,xk,yk,…,xn-1,yn-1)T (1)
其中(x0;y0)代表图像上的一个标记点(Landmark),n为自然数,为了研究训练图像的形状变化,比较不同形状中对应点的变化,应先对这些训练图像的形状进行校准。校准是以均匀形状为基准,对其它形状进行旋转,平移和缩放使其尽可能的与基准形状接近。然后对校准后的数据进行主成分分析(Principal Component Analysis),这样任何形状向量的形状模型X都可以用如下方程近似:
x=x+Φsbs (2)
其中x是均匀形状向量,矩阵Φs表示校准后形状向量协方差矩阵的前t个最大特征值所对应的特征向量,bs是形状模型参数。这里t满足所取特征值占总特征值大小的98%以上。不同的形状模型参数bs可以重构出不同的主动外观模型实例。
纹理模型的建立需要获得每幅人脸图像的纹理信息。首先,为了减少形状变化对纹理模型的影响,要把每一幅人脸图像形状与均匀形状对齐。***采用了由布克斯坦(Bookstain)提出的基于薄板样条(TPS)的对齐方法。该方法通过最小化图像平面的弯曲能量,从而使两幅图像的特征点完全匹配。然后从变形后图像中提取平均形状区域(称为patch)的灰度值,并把每一幅图像的灰度信息记为向量gm:
gm=(g1,g2,…,gm)T (3)
图3展示从变形后图像中提取的训练人脸的平均形状区域(patch)。为了减小光照变化对纹理模型的影响,需要对灰度信息gm进行标准化处理。最后用主成分分析(PCA)处理标准化后的灰度信息,从而得到纹理模型g:
g=g+Φgbg (4)
其中g是标准化后人脸的均值灰度向量,Φg是体现灰度变化模式的特征向量矩阵,bg是纹理模型参数。为了用一个统一的模型表示形状和纹理,需要找出形状参数和纹理参数之间的关系。首先对训练样本中的每一幅图像构造新的参数向量b:
其中Ws是考虑到形状模型参数和纹理模型参数的单位不一致,而对每个形状参数施加的权重系数的对角阵。然后对新的参数向量b再次采用主成分分析,获得主动外观模型(AAM):
其中Qs是形状模型的特征向量矩阵,Qg是纹理模型的特征向量矩阵,Q是总的主动外观模型的特征向量矩阵,c是控制形状和纹理的外观参数。此时形状模型X(2)和纹理模型g(4)可以写为下面的形式:
g=g+ΦgQgc (8)
我们实施时共采用了280幅人脸图像作训练样本,每一幅图像标注87个特征点,每幅人脸的平均形状区域包含25460个灰度值。在建立纹理模型时,我们利用15个图像特征点做图像对齐。这些图像特征点来源于形状模型的87个特征点。训练得到的形状模型参数66个,纹理参数168个,外观模型(混合模型)参数121个,所有这些参数的选取均满足选取的特征模式占总特征模式的98%以上,即生成的主动外观模型可以表示98%的训练样本变化。
模型匹配的最后一步就是如何利用主动外观模型搜索一幅新的人脸图像。这其实是一个优化目标函数的问题,其中目标函数是主动外观模型合成图像与新人脸图像之间的差值。首先我们利用多变量回归方法(Multi-variation Regression)学习出主动外观模型参数变化和目标函数之间的线性关系。学习出这种线性关系后,利用迭代的方法解决目标函数最小值问题。每次主动外观模型搜索图像时,我们都是用均匀人脸作为初始模型,并且初始位置一般位于人脸真实位置的附近,搜索算法一般迭代15次左右收敛。搜索完毕后,就获得每幅图像特征区域的形状信息和纹理信息。
2.特征合成模块
特征合成包括:根据不同的人脸图像,不同人脸的大小、特征区域的大小位置,先把两幅人脸图像的几何形状对齐,实现不同人脸的合成,所述对齐是采用薄板样条来对人脸图像进行对齐,用以保证整个图像平面的弯曲能量最小,用于生成扭曲量最小的变形人脸图像;利用无缝克隆功能对人脸图像合成,是选取编辑区域中源图像的梯度场作为引导场,所述无缝克隆是把一幅图像中的区域或者物体粘贴到目标图像中,获得整体颜色的一致的合成后人脸图像。
所述生成合成图像包括对人脸图像编辑区域被物体遮挡失真的目标图像,提取被物体遮挡部分的信息并保存,然后利用提取出来的遮挡信息对合成失真的目标图像做消除失真处理,获得合成图像。
本发明***采用求解泊松方程的方法来实现人脸图像无缝合成。但是本发明的方法和Pereze等人提出泊松图像编辑方法的不同点在于,本发明***是利用人脸模型搜索自动获得编辑区域内具有不同部件的形状和大小的边界信息,提取人脸识别的不相同部件的形状特征,人脸的各部件进行定位。减少了复杂的人工操作。对于不同的编辑特征区域,边界信息的获得方法有所不同。下面我们以人脸和嘴巴作为编辑区域例子,介绍如何自动地产生边界信息:
在模型匹配模块1进行模型匹配结束后,***获得每幅人脸图像的模型合成人脸,如图1所示。该模型合成人脸提供了特征区域的形状信息和纹理信息。如果以整个人脸作为编辑区域,那么该区域的边界信息可以直接由该模型合成人脸得到。***把区域的边界信息以图像形式保存,称为mask图像。在该模型合成人脸中,把属于人脸区域的像素值设为255,其他的像素值设为0,这样就获得一幅人脸区域边界的mask图像。如果嘴巴部分作为编辑区域,我们就要利用特征的形状信息。在形状模型训练时,每一幅人脸都标注了87个特征点,而且特征点的顺序是固定不变的,也就是说哪些点表示嘴巴区域也是固定的。所以根据这些已知的位置信息就可以从特征点中得到嘴巴特征区域,并以同样的方式保存成mask图像,如图4(c)所示。另外,在特征合成前需要把源图像(如图4(a)示出)和目标图像(如图4(b)示出)对齐,保证两幅图像中人脸特征区域位置一致。对齐算法同样采用基于薄板样条的方法。算法中特征点是从各图像模型匹配的形状信息中提取得到的。由于人脸模型的使用,减少了大量的人工操作,包括编辑区域边界的勾画和对齐算法中特征点的标注,从而使整个人脸合成***更加有利于用户使用。
利用编辑区域边界条件,通过求解Poisson方程来实现人脸图像的无缝合成。以g,f*作为两幅输入图像,分别表示对齐后的源图像和目标图像,Ω表示mask图像中的编辑区域,即像素值为255的区域,f表示合成后的人脸图像,v表示引导场,即对齐后的源图像在编辑区域的梯度场。合成图像f中在Ω区域以外的像素值等于目标图像f*中对应的像素值。目标函数是最小化f在编辑区域Ω梯度场与引导场的差值:
在求解中我们是对每一个像素处理,所以要把目标函数(9)离散化。这里令Np表示图像中某一点像素p的四邻域,fp是像素p的灰度值。方程(9)的离散化形式:
考虑到当编辑区域Ω位于图像边缘时,在边界位置上像素的四邻域Np<4,此时方程(10)的解满足:
本发明采用迭代的方法求解方程(11),式中:v表示引导场,vpq代表引导场在边[p;q]方向上的投影,即 q代表像素p的邻接像素。彩色图像可以三个通道分别进行处理。为了保证合成图像颜色的一致性,对引导场vpq使用了一个缩放因子d,该缩放因子是对引导场的微调。实验中d的取值范围是(0.9,1.2)。图(4)是以嘴巴作为编辑区域的人脸图像合成。人脸模型搜索目标图像(如图4(b)示出)并自动产生嘴巴边界信息的mask图像(如图4(c)示出)。图像(如图4(d)示出)是两幅输入图像嘴巴合成的结果。整个过程不需要任何人工操作。图(5)是两幅彩色图像相互交互人脸的合成结果,其中:图5(a)表示为源图像,图5(b)为目标图像,图5(c)为Mask图像,图5(d)为合成图像。箭头所指的两幅图像分别是合成图像方框中图像的局部放大图,如图5(e)和图5(f)示出。从放大的图像中可以看出在合成人脸图像中,编辑区域边界有效避免了颜色不连续的现象。
3.遮挡处理
如果目标图像中部分人脸被物体遮挡,比如:头发、眼镜等,那么在***合成图像中就会出现明显的失真现象。如图(6)所示,图6(a)和图6(b)分别是源图像和目标图像,人脸作为编辑区域。目标图像图6(b)中部分人脸的眉毛被刘海遮挡,因此***合成后的图像图6(c)中出现了刘海不连续情况。从放大图图6(e)中可以明显地看出图像失真的问题。针对这种问题***采用抠图(Image Matting)的方法来解决。
图像中任何一个象素值都可以看成是前景F,背景B和透明度值(α)的一个线性组合Ii:
Ii=αiFi+(1-αi)Bi (12)
其中针对某个特定像素时,它的透明度值、前景值和背景值可以表示为αi、Fi、Bi。当透明度值(α)针对某个特定的像素时,例如第i个像素就称αi是第i个象素前景值对应的透明度值。抠图就是提取源图像中的物体,并利用全局最优的α值把物体粘贴到目标图像中。我们以图6中头发遮挡为例介绍如何利用抠图解决失真问题。我们的目的是要把合成图像图6(c)中的刘海补全。首先把目标图像图6(b)中的头发作为前景,把***合成的失真图像图6(c)作为背景。然后利用抠图方法从目标图像图6(b)中提取前景头发以及对应的α值,然后通过方程(12)将前景头发粘贴到背景图像图6(c),从而得到新的没有失真问题的真实人脸。为了减少人工操作,我们采用了由Anat Levin等人提出的抠图算法。这种方法只需要用户在前景和背景区域勾画几笔,就可以获得全局最优的α值。该方法是假设在图像小窗口范围内任何一个象素的前景值和背景值是近似为常量的。根据这个假设,方程(12)可以重写透明度值为:
αi≈aiIi+bi,
公式中的符号标记 符号标记 w是一个小的图像窗口。通过最小化目标函数来获得全局最优α值、a和b:
其中wj是以第j个象素为中心的小窗口,一般窗口大小为3×3,Ii代表第i个像素的灰度值,符号标记 符号标记 图6(e)和图6(f)分别是遮挡处理前后合成图像头发的局部放大图。从放大的图像中可以看到,利用抠图可以成功地消除遮挡失真。
下面结合附图详细说明整个***的操作过程。图1是***的整个框架。输入两幅人脸图像和编辑区域的语义信息后,***经过主动外观模型搜索、特征合成和遮挡处理,自动产生出具有真实感的合成人脸图像。图4是以嘴巴作为编辑区域的灰度人脸图像合成。图5是彩色图像相互替换人脸的合成结果。我们利用人脸模型进行搜索定位,从而保证了在特征区域合成时颜色值的连续性。另外,***还成功地解决了遮挡问题,如图6所示。图7和图8分别是用一组灰度图像和彩色图像来验证***的有效性。图7中的灰度图像来源于CAS-PEAL-R1人脸数据库,合成图像里不仅有以人脸、眼睛、嘴巴等单个特征作为编辑区域,我们还把不同图像的不同特征合成到一幅人脸图像中。图像图7(A)是由图7(a)和图7(b)两幅图像以嘴巴作为编辑区域的合成结果;图像图7(B)是由图7(c)和图7(d)两幅图像以人脸为编辑区域的合成结果;图像图7(C)是把图像图7(g)的眼睛和图像图7(d)的嘴巴合成到图像图7(c)后的结果;图像图7(D)是由图7(d)和图7(e)两幅图像以人脸为编辑区域的合成结果;图像图7(E)是由图7(d)和图7(f)两幅图像替换人脸后的合成结果。图8展示了以人脸作为编辑区域的彩色图像合成实验。图像图8(A)是由图图8(a)和图8(d)合成;图像图8(B)是由图图8(b)和图8(c)合成;图像图8(C)是由图8(c)和图8(a)合成;图像图8(D)是由图8(d)和图8(a)合成。可以看到,我们***自动地实现彩色人脸图像合成,并产生效果真实的人脸图像。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (7)
1.一种人脸图像自动合成方法,其特征在于,该人脸图像自动合成包括如下步骤:
步骤1:用户输入两幅图像和要编辑区域的语义信息,所述两幅图像是人脸源图像、目标图像,所述语义信息是眼睛、鼻子、嘴巴、下巴、唇、眉毛和额头,模型匹配模块利用主动外观模型对两幅图像进行自动搜索,提供人脸图像的形状信息和纹理信息;主动外观模型是利用人脸特征的形状信息和纹理信息相结合进行统计分析建立的一种模型,并在训练过程中寻找形状参数和纹理参数之间的关系,用于提取个人外貌、三维姿态、面部表情及光照的不同脸部特征;
步骤2:然后利用模型特征点对两幅人脸图像进行形状对齐,使用薄板样条形变把源图像编辑区域的形状对齐到目标图像中对应的区域中;
步骤3:利用特征合成模块对源图像和目标图像的对齐后的形状信息和纹理信息进行特征合成,所述特征合成是根据不同的人脸图像,不同人脸的大小、特征区域的大小位置,先把两幅人脸图像的几何形状对齐,实现不同人脸的合成,所述对齐是采用薄板样条来对人脸图像进行对齐,用以保证整个图像平面的弯曲能量最小,用于生成扭曲量最小的变形人脸图像;利用无缝克隆功能对人脸图像合成,是选取编辑区域中源图像的梯度场作为引导场,所述无缝克隆是把一幅图像中的区域或者物体粘贴到目标图像中,获得整体颜色的一致的合成后人脸图像;对人脸图像编辑区域被物体遮挡失真的目标图像,提取被物体遮挡部分的信息并保存,然后利用提取出来的遮挡信息对合成失真的目标图像做消除失真处理,自动生成并获得合成图像;
步骤4:利用遮挡处理模块对合成图像进行去遮挡处理,把源图像的被遮挡区域分割、匹配、最后无缝地融合到目标图像中。
2.如权利要求1所述的方法,其特征在于,所述特征匹配模块搜索输入图像,获得每个人脸的编辑区域内具有不同部件的形状和大小的边界信息,提取人脸识别的不相同部件的形状特征,人脸的各部件进行定位。
3.如权利要求2所述的方法,其特征在于,所述人脸识别的不相同部件为眼睛、鼻子、嘴巴、下巴、唇、眉毛和额头。
4.如权利要求1所述的方法,其特征在于,所述主动外观模型,利用形状信息和对所感兴趣的脸部纹理信息进行统计分析,并找出形状和纹理之间的联系,用于提取个人外貌、三维姿态、面部表情及光照的不同脸部特征。
5.如权利要求1所述的方法,其特征在于,训练所述主动外观模型时,首先把所有的训练样本图像都变形到均值形状上,然后获得变形后的均值人脸,并生成所需要的人脸区域掩模图像;给定一幅新的人脸图像,利用人脸主动外观模型对一幅新的人脸图像搜索,搜索完毕后,就匹配出一幅与人脸图像相近的人脸区域图,模型匹配图提供了新图像人脸的形状信息和纹理信息。
6.如权利要求1所述的方法,其特征在于,所述特征合成包括步骤如下:
根据不同的人脸图像,不同人脸的大小、特征区域的大小位置,先把两幅人脸图像的几何形状对齐,实现不同人脸的合成,所述对齐是采用薄板样条来对人脸图像进行对齐,用以保证整个图像平面的弯曲能量最小,用于生成扭曲量最小的变形人脸图像;
利用无缝克隆功能对人脸图像合成,是选取编辑区域中源图像的梯度场作为引导场,所述无缝克隆是把一幅图像中的区域或者物体粘贴到目标图像中,获得整体颜色的一致的合成后人脸图像。
7.如权利要求1所述的方法,其特征在于,所述生成合成图像包括步骤如下:
对人脸图像编辑区域被物体遮挡失真的目标图像,提取被物体遮挡部分的信息并保存,然后利用提取出来的遮挡信息对合成失真的目标图像做消除失真处理,获得合成图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102467465A CN101770649B (zh) | 2008-12-30 | 2008-12-30 | 一种人脸图像自动合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102467465A CN101770649B (zh) | 2008-12-30 | 2008-12-30 | 一种人脸图像自动合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101770649A CN101770649A (zh) | 2010-07-07 |
CN101770649B true CN101770649B (zh) | 2012-05-02 |
Family
ID=42503497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008102467465A Expired - Fee Related CN101770649B (zh) | 2008-12-30 | 2008-12-30 | 一种人脸图像自动合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101770649B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130271451A1 (en) * | 2011-08-09 | 2013-10-17 | Xiaofeng Tong | Parameterized 3d face generation |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120092357A1 (en) * | 2010-10-14 | 2012-04-19 | Microsoft Corporation | Region-Based Image Manipulation |
CN102486868A (zh) * | 2010-12-06 | 2012-06-06 | 华南理工大学 | 一种基于平均脸的美丽人脸合成方法 |
CN102163289B (zh) * | 2011-04-06 | 2016-08-24 | 北京中星微电子有限公司 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
CN102214362B (zh) * | 2011-04-27 | 2012-09-05 | 天津大学 | 基于块的快速图像混合方法 |
CN102346846A (zh) * | 2011-09-16 | 2012-02-08 | 由田信息技术(上海)有限公司 | 人脸抓拍及轮廓分析*** |
CN103295210B (zh) * | 2012-03-01 | 2016-08-10 | 汉王科技股份有限公司 | 婴儿图像合成方法及装置 |
CN103839223B (zh) * | 2012-11-21 | 2017-11-24 | 华为技术有限公司 | 图像处理方法及装置 |
CN104143076B (zh) * | 2013-05-09 | 2016-08-03 | 腾讯科技(深圳)有限公司 | 人脸形状的匹配方法和*** |
CN103810687B (zh) * | 2014-02-28 | 2017-02-15 | 北京京东尚科信息技术有限公司 | 一种图像处理方法及装置 |
CN105096355B (zh) * | 2014-05-08 | 2019-09-17 | 腾讯科技(深圳)有限公司 | 图像处理方法和*** |
CN104156719A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 基于形状和光照模型的人脸图像光照处理方法 |
CN104539868B (zh) * | 2014-11-24 | 2018-06-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105184249B (zh) * | 2015-08-28 | 2017-07-18 | 百度在线网络技术(北京)有限公司 | 用于人脸图像处理的方法和装置 |
CN105718885B (zh) * | 2016-01-20 | 2018-11-09 | 南京邮电大学 | 一种人脸特征点跟踪方法 |
CN106156730B (zh) * | 2016-06-30 | 2019-03-15 | 腾讯科技(深圳)有限公司 | 一种人脸图像的合成方法和装置 |
CN106454093A (zh) * | 2016-10-18 | 2017-02-22 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置和电子设备 |
CN106652044A (zh) * | 2016-11-02 | 2017-05-10 | 浙江中新电力发展集团有限公司 | 一种虚拟场景建模方法及*** |
CN106875329A (zh) * | 2016-12-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种人脸替换方法及装置 |
CN107154032B (zh) * | 2017-04-20 | 2019-01-29 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法和装置 |
CN109325988B (zh) * | 2017-07-31 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 一种面部表情合成方法、装置及电子设备 |
CN107507217B (zh) * | 2017-08-17 | 2020-10-16 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
CN107705279B (zh) * | 2017-09-22 | 2021-07-23 | 北京奇虎科技有限公司 | 实现双重曝光的图像数据实时处理方法及装置、计算设备 |
CN109952594B (zh) | 2017-10-18 | 2022-01-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
CN109937434B (zh) * | 2017-10-18 | 2021-06-11 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端和存储介质 |
CN110390657B (zh) * | 2018-04-20 | 2021-10-15 | 北京中科晶上超媒体信息技术有限公司 | 一种图像融合方法 |
CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
CN109094451A (zh) * | 2018-07-23 | 2018-12-28 | 华南师范大学 | 夜间会车远光灯控制方法及其***、计算机可读存储介质 |
CN109086721A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 用于人脸画像合成的主动表观模型 |
CN109410120B (zh) * | 2018-09-27 | 2023-03-21 | 浙江工商大学 | 一种极快速的图像无缝合成方法 |
CN109712104A (zh) * | 2018-11-26 | 2019-05-03 | 深圳艺达文化传媒有限公司 | 自拍视频卡通头像外露方法及相关产品 |
CN109584347B (zh) * | 2018-12-18 | 2023-02-21 | 重庆邮电大学 | 一种基于主动表观模型的增强现实虚实遮挡处理方法 |
CN110189248B (zh) * | 2019-05-16 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 图像融合方法及装置、存储介质、电子设备 |
CN111985281B (zh) * | 2019-05-24 | 2022-12-09 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
CN112055168B (zh) * | 2019-06-05 | 2022-09-09 | 杭州萤石软件有限公司 | 视频监控方法、***及监控服务器 |
CN110298917B (zh) * | 2019-07-05 | 2023-07-25 | 北京华捷艾米科技有限公司 | 一种人脸重建方法及*** |
CN110458752B (zh) * | 2019-07-18 | 2022-11-11 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
US10872457B1 (en) * | 2019-07-18 | 2020-12-22 | Sony Corporation | Facial texture map generation using single color image and depth information |
CN113569791B (zh) * | 2019-07-30 | 2022-06-21 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN110675356B (zh) * | 2019-09-30 | 2022-02-22 | 中国科学院软件研究所 | 一种基于用户意图推断的嵌入式图像合成方法 |
TWI775006B (zh) * | 2019-11-01 | 2022-08-21 | 財團法人工業技術研究院 | 擬真虛擬人臉產生方法與系統,及應用其之人臉辨識方法與系統 |
CN111402181A (zh) * | 2020-03-13 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 图像融合方法、装置及计算机可读存储介质 |
CN111652828B (zh) * | 2020-05-27 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸图像生成方法、装置、设备和介质 |
CN112215113A (zh) * | 2020-09-30 | 2021-01-12 | 张成林 | 人脸识别方法及装置 |
CN112258619A (zh) * | 2020-12-22 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法和装置 |
CN112613416A (zh) * | 2020-12-26 | 2021-04-06 | 中国农业银行股份有限公司 | 一种人脸表情识别方法和相关装置 |
CN113409468B (zh) * | 2021-05-10 | 2024-06-21 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113657227A (zh) * | 2021-08-06 | 2021-11-16 | 姜政毫 | 人脸识别方法及基于深度学习算法的人脸识别*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1924895A (zh) * | 2006-09-28 | 2007-03-07 | 北京中星微电子有限公司 | 基于aam的对象定位方法 |
CN101008981A (zh) * | 2007-01-26 | 2007-08-01 | 浙江大学 | 人脸图像合成中虚影的自动消除方法 |
CN101308571A (zh) * | 2007-05-15 | 2008-11-19 | 上海中科计算技术研究所 | 一种利用主动网格与人脸识别结合生成新人脸的方法 |
-
2008
- 2008-12-30 CN CN2008102467465A patent/CN101770649B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1924895A (zh) * | 2006-09-28 | 2007-03-07 | 北京中星微电子有限公司 | 基于aam的对象定位方法 |
CN101008981A (zh) * | 2007-01-26 | 2007-08-01 | 浙江大学 | 人脸图像合成中虚影的自动消除方法 |
CN101308571A (zh) * | 2007-05-15 | 2008-11-19 | 上海中科计算技术研究所 | 一种利用主动网格与人脸识别结合生成新人脸的方法 |
Non-Patent Citations (3)
Title |
---|
戴鹏等.面向网上人际交流的便捷人脸动画.《计算机辅助设计与图形学学报》.2008,第20卷(第06期), * |
杜成等.用于人脸识别的正面人脸图像眼镜摘除.《清华大学学报(自然科学版)》.2005,第45卷(第07期), * |
金城等.基于主动外观模型的人脸合成技术.《浙江大学学报(工学版)》.2008,第42卷(第07期), * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130271451A1 (en) * | 2011-08-09 | 2013-10-17 | Xiaofeng Tong | Parameterized 3d face generation |
Also Published As
Publication number | Publication date |
---|---|
CN101770649A (zh) | 2010-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101770649B (zh) | 一种人脸图像自动合成方法 | |
Deng et al. | Arbitrary video style transfer via multi-channel correlation | |
CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其*** | |
CN101777116B (zh) | 一种基于动作跟踪的脸部表情分析方法 | |
Kelly et al. | FrankenGAN: guided detail synthesis for building mass-models using style-synchonized GANs | |
CN104820990A (zh) | 一种交互式图像抠图*** | |
CN108805090B (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
CN109712145A (zh) | 一种图像抠图方法及*** | |
CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
US20240037852A1 (en) | Method and device for reconstructing three-dimensional faces and storage medium | |
CN103839223A (zh) | 图像处理方法及装置 | |
CN107123083A (zh) | 人脸编辑方法 | |
CN101098475A (zh) | 一种数字视频处理中交互式时空一致的视频抠图方法 | |
CN102034079A (zh) | 眼镜遮挡下的人脸识别方法和*** | |
CN101964064A (zh) | 一种人脸比对方法 | |
CN102930278A (zh) | 一种人眼视线估计方法及其装置 | |
CN102486868A (zh) | 一种基于平均脸的美丽人脸合成方法 | |
CN113112416B (zh) | 一种语义引导的人脸图像修复方法 | |
CN109584153A (zh) | 修饰眼部的方法、装置和*** | |
CN105787948A (zh) | 一种基于多变形分辨率的快速图像分割方法 | |
CN109410119A (zh) | 面具图像变形方法及其*** | |
CN104794693A (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
CN107393018A (zh) | 一种利用Kinect实现实时虚拟影像叠加的方法 | |
CN105719248A (zh) | 一种实时的人脸变形方法及其*** | |
US8160396B2 (en) | Method and apparatus for touching-up images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120502 |