CN1313979C - 产生三维漫画的装置和方法 - Google Patents

Abstract

本发明涉及一种产生三维漫画的装置和方法，尤其是一种装置和方法，通过精确提取面部特征的特征点信息，产生对用户面部具有高度类似性的三维漫画，而且通过采用面部专用的ASM技术，基于所述特征点信息修改三维多边形面部基本型。所述方法包括步骤：从输入面部图像检测眼睛的位置并使所述面部图像的大小标准化；从所述标准化的面部图像检测各面部特征的每个初始位置；给所述标准化的面部图像加载ASM以便与所检测到的初始位置对应，然后提取所述各面部特征的特征点；以及根据所提取的特征点的坐标值修改所述三维多边形面部基本型，从而产生三维多边形面部漫画。

Description

产生三维漫画的装置和方法

技术领域

本发明通常涉及一种产生三维漫画的装置和方法，尤其涉及一种采用面部专用的活动形状模型(ASM)技术精确提取关于面部特征的特征点信息、基于该特征点信息修改一个三维多边形面部基本型、从而产生一个与用户面部高度相似的三维漫画的装置和方法。

背景技术

漫画通常是具有诙谐、幽默、讽刺等效果的绘画，具有诸如人物或被人性化的动物和植物，包括诸如用户的好奇心、间接的满足、某个人想象的理想人物等感觉这样的素材。虽然漫画主要是作为演艺人员或运动家的广告手段，但是目前也被公众广泛采用。

另外，虽然漫画历来是由专业漫画设计者手工绘成，但是当公众也对漫画感兴趣时，就开发了能够创作漫画的先进技术而不需要专业漫画家的帮助。

有一种方法可以作为这些技术的一个示例，在该方法中用户从一个剪辑好的艺术数据库选择并组合形成眼睛、鼻子、嘴巴等面部轮廓所需的剪好的艺术样片，再添加各种配饰、服装等创作出最后的漫画。然而，选择非常类似于用户自己面部特征的剪好的艺术样片是极其困难的，因此这种方法由于缺乏相似性而不能令人满意。

韩国专利公开号2000-63391(名称为“Caricature Creation Method”)公开了一种产生漫画的方法，其中，首先从照片中的面部完成个完整面部形状，然后计算作用于该面部形状的每个面部特征的位置、比例和类型，最终从事先为不同大小的面部特征而建立的数据库中提取面部特征的模型，然后将这些模型组合起来。然而，在这种方法中，为面部特征提取精确的特征点几乎是不可能的，因为只采用了关于面部尺寸的每个面部特征的位置的信息。因此难以产生非常象用户自己面部特征的漫画。

还有，韩国专利公开号2000-49421(名称为“Caricature Creation Systemand Caricature Creation Method Using the System”)公开了一种方法，其中一幅照片中由软件编辑过的每一部分与一副面部的每一部分所用的漫画比较，然后该面部需要修改的每一部分被存储在数据库中的数据替换，从而完成一幅完整面部的漫画。然而，这种方法受到不可能产生彩色漫画的限制，因为需要照片的编辑过程，在该过程中通过色调转换由自然色组成的原始数据被分成黑色和白色。

另外，韩国专利公开号2000-64110(名称“Automatic Caricature CreationApparatus and Method Based On a Facial Image”)公开了一种方法，其中通过采用有参考图像的输入面部图像相应点的信息提取面部形状上的信息，然后根据被提取的信息再次合成该面部图像，从而获得更自然精细的漫画图像。然而，这种方法采取的方案过于简单，它是用一个准备好的参考图像与一幅面部图像合成，如同韩国专利公开号2000-63391中那样，尤其缺乏关于从面部图像提取面部特征点的明确说明。

前面公开的所有内容都是指两维漫画创作。另外，采用面部模型化技术创作三维漫画这一方面的研究目前正在加紧进行。

作为一种三维漫画创作方法，US5960099(名称“System and Method forCreating a Digitized Likeness of Persons”)公开了一种技术，在该技术中，利用前面和侧面形状通过统计数据估计面部特征即面部各部分的位置，根据该估计产生一个人物面部表情修改过的肖像。然而，该技术存在一个问题，即不能正确找到原始图像的面部特征，因为当利用这两个前面和侧面面部形状产生该修改了的人物肖像时，对面部特征的估计需要依赖统计数据。

作为另一种三维漫画产生技术，韩国专利公开号2001-69820(名称“Method and System for Obtaining a Three-Dimensional Facial Image from aTwo-dimensional Facial Image”)公开了一种方法，在该方法中，从正面和侧面照片提取眼睛、鼻子、耳朵、眉毛和面容的轮廓、鼻梁的轮廓和头发特征等，然后从三维面部形状数据库(聚集许多实际人物面部)选取与提取的面部特征类似的多三维面部形状，比如用户可以选择与自己面部照片最相像的三维面部形状。然而，由于该方法是通过与预先构造出的面部形状数据库简单比较获得最接近三维面部形状，所以它需要修改者独立手工修正最后的细节。

发明内容

因此，本发明是针对现有技术中存在的上述问题而考虑的，其一个目的是提供一种采用面部专用的活动形状模型(Active Shape Model，ASM)技术精确提取面部特征的特征点信息、基于该特征点信息修改三维多边形面部基本型、从而产生与用户面部高度相似的三维漫画的装置和方法。

为了实现上述目的，本发明提供一种基于输入的用户面部图像产生三维漫画的装置，它包括：存储部件，用来存储产生三维漫画所需的活动形状模型和三维多边形面部基本型；预处理部件，用来从输入的面部图像中检测眼睛的位置并且将该面部图像的大小标准化；面部图像初始位置检测部件，用来从标准化的面部图像中检测面部特征的每一个初始位置；活动形状模型加载部件，用来将存储在存储部件中的活动形状模型加载在标准化后的面部图像中以便与检测到的初始位置对应；活动形状模型修改部件，用来修改加载后的活动形状模型以便提取面部特征需要的特征点；以及漫画产生部件，用来通过加载来自存储部件的三维多边形面部基本型，然后根据通过活动形状模型修改部件提取的特征点的坐标值修改加载后的三维多边形面部基本型，从而产生一个三维多边形漫画。

该装置最好还包括投影部件，该部件通过将三维多边形面部漫画投影到二维平面上获得一个二维面部漫画。

该装置最好还包括漫画发送/接收部件，用来发送/接收从三维多边形面部漫画中提取的特征点的坐标值和存储参考值。

本发明的另一个方面，提供了一种基于用户的输入面部图像产生三维漫画的方法，包括步骤：进行预处理，从所述输入面部图像检测眼睛位置并且使所述面部图像大小标准化；从所标准化的面部图像检测各面部特征的每个初始位置；在所标准化的面部图像中加载活动形状模型以便与所检测到的初始位置对应，然后修改所加载的活动形状模型以便提取所述各面部特征的特征点；及通过加载三维多边形面部基本型，然后根据在所述活动形状模型修改步骤提取的所述各特征点的坐标值、修改所加载的三维多边形面部基本型，从而产生三维多边形面部漫画。

附图说明

从下面结合附图进行的详细说明中可以更清楚地理解本发明的上述和其它目的、特点和其它优点，其中：

图1是根据本发明的三维漫画产生装置的示意方框图；

图2是图1所示预处理单元的详细方框图；

图3是用来说明根据本发明的三维漫画产生方法的流程图；

图4是用来解释图3所示预处理的步骤的详细流程图；

图5是用来解释重新构造图3中发送的三维漫画的方法的流程图；

图6是说明面部图像示例的示意图(view)；

图7和8是表示根据预先设置的阈值二值化面部图像获得的结果的示意图；

图9是表示面部图像中眼睛所占大小随二值化的阈值变化而变化的图；

图10是说明根据本发明从输入面部图像提取特征点的示例的示意图；

图11是说明示例的示意图，在该示例中由面部特征的初始位置检测改进ASM修改性能；

图12是用来解释产生三维多边形面部漫画的示意图；

图13是用来解释三维多边形面部基本型的修改的示意图；

图14是说明极具夸张性的漫画的示例的示意图。

具体实施方式

下面将结合附图详细描述根据本发明的三维漫画产生装置的结构(configuration)和操作。

图1是根据本发明的三维漫画产生装置100的示意框图，该部件包括存储(memory)部件10、图像处理部件30、投影部件40、漫画存储部件50和漫画发送/接收部件70。

存储部件10将产生三维漫画所需的学习(learning)数据、二维面部纹理、三维多边形面部基本型、三维身体模型等以数据库形式(下面称做DB)存储起来。下面将简要描述学习数据DB 11、二维面部纹理DB 13、三维多边形面部基本型DB 15、三维身体模型DB 17。

学***均位置坐标的数据、ASM的形状变化特征。二维面部纹理DB 13存储用来构造三维多边形面部基本漫画的二维面部纹理。此处可以改变二维面部纹理以使可以表现三维面部漫画中的多种色彩信息。例如，配置二维面部纹理，以使可通过表现三维面部漫画中的化妆的唇部颜色、光照引起的皮肤颜色亮度变化等、从而产生更自然和精致的漫画。

另外，三维多边形面部基本型DB 15存储基于由种族/民族特性表现的人类学标准数据的、各种类型的三维多边形面部基本型。三维身体模型DB17存储用来以漫画处理如头发、身体、眼镜、装饰品、衣服和鞋子这样的身体部件的三维模型。

另一方面，除了学习数据、二维面部纹理、三维多边形面部基本型和三维身体模型之外，存储部件10可以包括其它数据。

通过检测面部每一部分的特征点信息，并根据所检测到的特征点信息，利用ASM技术修改三维面部基本型，图像处理部件30在产生表现用户面部特征的三维漫画方面起着作用。图像处理部件30包括预处理部件31、面部特征初始位置检测部件33、ASM加载部件35、ASM修改部件37和漫画产生部件39。

预处理部件31执行预处理，用来检测输入面部图像中眼睛的位置并使面部图像尺寸标准化。在下文中，将参考附图2更详细描述预处理部件31。

图2是图1所示预处理部件的详细方框图。如图2所示，预处理部件31包括降低颜色饱和度部件21、面部区域检测部件22、眼睛检测部件23和面部标准化部件28。

降低颜色饱和度部件21将输入面部图像的彩色图像转换为黑白图像。这样的转换的原因是：由于RGB(红、绿、蓝)型彩色图像中颜色分量和亮度分量混合在一起，因此在提取特征点时可降低亮度变化导致的错误发生的可能性。

面部区域检测部件22通过采用Gabor滤波器响应检索输入图像的面部区域。用Gabor滤波器响应检索面部区域的方法是，将有各种方向和频率的一组Gabor滤波器作用到输入面部图像，然后根据由此作用产生的响应值提取面部区域。由于是一种通常用在图像处理领域的预处理方法，将省略关于该方法的详细说明。

眼睛检测部件23从经面部区域检测部件22检测到的面部区域检测圆形黑色部位，即位于面部区域上部的眼白中心的眼睛中心点(瞳孔)。这里，最先检测眼睛中心点的理由是检测两边对称的眼睛中心点最容易，而一旦定位眼睛中心点，通过利用恰当的比例关系就可容易地检测其它特征的位置。

用来产生漫画而输入的面部图像的示例被示于图6中。如果输入具有如图6(a)所示的高分辨率面部图像，就可以提取眼睛边缘，再根据提取的眼睛边缘信息检测眼睛心中点。相反，如果输入如图6(b)所示的低分辨率面部图像，由于识别出的眼睛几乎是一个点，因此不能适当检测眼睛边缘。尽管可以检测眼睛边缘，但是由于难以在眉毛和眼睛之间进行辨别，所以有可能不恰当地辨别眉毛。除了这种边缘检测方法，还有一种二值化法，它利用这样事实检测圆形黑色部位作为眼睛中心点，即当以阈值为基础的、具有256级亮度值的黑白面部图像被分成黑色和白色时，眼睛瞳孔因亮度低而染有黑色。然而，这种只用阈值的常规二值化法有限制，即由于难以分辨具有低清晰度和亮度不规律分布的面部图像中的眉毛和眼睛，因此不能正确检测眼睛中心点。

因此，为了正确地检测甚至在低分辨率面部图像中的眼睛位置，应当根据面部图像的情况改变阈值。当阈值增加时本发明进行二值化操作，直到通过眼睛检测部件23使眉毛和眼睛都有明确的黑区为止，下面将对此进行详细的描述。为此，眼睛检测部件23包括二值化部件24、分组部件25、标记部件26和确定部件27。

二值化部件24设置用于二值化的阈值变化范围，当输入一幅黑白面部图像时，在阈值变化范围内设置阈值初始值，然后根据阈值的初始设置值，将白色赋给亮度高于阈值的像素，将黑色赋给亮度低于阈值的像素。

已经根据阈值初始设置值进行二值化处理的面部图像的示例示于图7和8中。如图7和8所示，当根据初始设置值将面部图像进行二进制编码时，可以看到当阈值增加时首先检测到眉毛，然后眼睛、鼻子、嘴巴等出现黑色。

当输入二值化后的面部图像时，分组部件25进行分组操作，用来将对应于眉毛和眼睛的区域中有黑色的像素结合入多组。在此，“分组”的意思是找到特定的黑色像素后，通过检查该特定黑色像素周边的八个邻近像素来找到其它黑色像素，然后将发现的其它黑色像素结合为一组。

标记部件26将经过分组部件25检测到的各组排顺序，然后为独立的区域将提取具有相同标记的区域。

利用眉毛和眼睛总是成对而且眉毛位于眼睛上方这个事实，确定部件27检查位于上部的各独立区域是否有一对在水平方向大小很少变化的独立区域，并且，如果有一对独立区域，认定其为眉毛的候选区域。而且，确定部件27检查紧接着眉毛候选区域下方是否有另一对在水平方向大小很少变化的独立区域，并且，如果有另一对独立区域，认定其为眼睛候选区域。

如果从标记部件26提取的独立区域中没有一对眉毛候选区域和一对眼睛候选区域，即，如果既没有两条眉毛又没有两只眼睛被检测到，确定部件27就以增加阈值执行二值化直到检测到两条眉毛和两只眼睛为止，这样，眉毛就不会被错认为眼睛。

如果检测到两条眉毛和两只眼睛，确定部件27就根据眼睛的大小、形状和位置信息计算眼睛候选区域的错误率，并且确定该计算出的错误率是否在允许范围内，以便核实眼睛候选区域是否与眼睛对应。如果确定眼睛候选区域的错误率是在允许范围内，即眼睛候选区域与眼睛对应，那么就能从眼睛候选区域检测到两只眼睛的中心点，关于这一点下面将结合附图4进行详细描述。

面部标准化部件28将面部区域的大小标准化，这样根据眼睛检测部件23检测到的眼睛位置，用存储在三维多边形面部基本型DB15中的三维面部基本型按一比一的比例绘制面部区域，而且，如果面部图像有稍微倾斜的角度，则该倾斜角度被修正为正常角度。

面部图像经过预处理部件31预先处理的示例示于图10(a)到(d)中。输入面部图像时，预处理部件31将在面部图像转换为如图10(a)所示的黑白图像的亮度和噪声引起的影响去除，然后通过给原始面部图像作用Gabor滤波器来检测包括与面部相似的特征的正方形面部区域，如图10(b)所示。接下来，预处理部件31从面部区域检测两只眼睛的中心点，如图10(c)所示，然后根据检测到的面部区域和两只眼睛的中心点使面部区域的大小标准化，同时修正可能的倾斜，如图10(d)所示。

同时，当用常规ASM技术提取面部的每一部分的特征点时，眉毛可能被误认为眼睛，或者可能出现每个面部特征在异常方向上移动这样的现象。

为了避免这种现象，执行ASM修改之前，本发明通过面部特征初始位置检测部件33预设眉毛、眼睛、鼻子、嘴巴或面部轮廓的大***置。下面将更详细描述面部特征初始位置的设置。

从输入的面部图像提取面部特征时，基本是在面部区域上选择一些位置，将每个面部特征的ASM放在该位置以便ASM修改。换句话说，装入ASM的初始位置对于之后要进行的ASM修改有重要的效果。例如，如果适当设置加载ASM的初始位置，那么仅通过少量ASM修改过程就能够正确提取特征点，否则的话，就可能误提取特征点。

面部特征初始位置检测部件33通过给黑白面部图像施加Canny滤波器来检测每个面部特征的初始位置。此处，Canny滤波器通过用高斯掩码检测边缘来检测要加载ASM的初始位置。

还有，除了利用Canny滤波器检测面部特征的初始位置之外，还可以根据眼睛检测部件23检测到的两只眼睛的中心点，用面部特征之间的几何位置关系检测眉毛、眼睛、鼻子和嘴巴的初始位置。

图10(e)到(g)示出示例，在该示例中，从输入的面部图像检测每个面部特征的初始位置且通过将ASM加载到检测到的初始位置中提取特征点。如图10(e)所示，通过Canny滤波器检测眉毛、眼睛、鼻子、嘴巴或面部轮廓的初始位置时，通过将ASM加载到检测到的初始位置中和如图10(g)所示修改加载的ASM，就可以正确提取面部特征的特征点，如图10(f)所示。

另一方面，保持用于面部特征的ASM之间的特定关系用于正确提取特征点。例如，不论怎样进行右眼的ASM修改，右眼ASM的中点都应该出现在与左眼ASM同水平轴上，因此如果建立右眼ASM应该总是位于右眉毛ASM下面这样的关系，就可以进一步改善ASM修改性能。

检测面部图像的初始位置并且通过限制ASM之间关系的条件改善ASM修改性能的示例示于图11。如图11(a)所示，如果仅根据眼睛的位置在输入的面部图像中加载不相关的ASM，那么在ASM修改进行时可能从输入的面部图像误提取特征点。然而，如图11(b)所示，如果通过面部特征初始位置检测部件33设置面部图像的初始位置，然后根据该设置的初始位置将与之有关系的ASM加载到面部图像中，就可以看到仅通过少量ASM修改过程就能够正确提取特征点。

换句话说，当经过面部特征初始位置检测部件33检测面部特征的初始位置时，通过在面部图像中加载来自学习数据DB 11的与之有关系的ASM，ASM加载部件35可以提高ASM修改性能，这样，ASM与检测到的初始位置对应，因此可以快而正确地提取面部特征。

尤其是，在本发明中，由于学习数据DB 11存储用不同分辨率学习的ASM使得可能应付不同分辨率变化，即使从环境输入低分辨率的面部图像，也可以正确提取眉毛眼睛、鼻子、嘴巴或面部轮廓的特征点，在所述环境，难于提供能够获得清晰面部图像的用户界面，如支持小型照相机的手提电话。

ASM修改部件37利用预先获得的ASM的形状变化特性的数据执行加载的ASM的修正从而为输入面部特征提取特征点，然后将提取的特征点的X和Y坐标值输出给漫画产生部件39。此处，“ASM修改”意味着通过重复过程来发现眉毛、眼睛、鼻子、嘴巴或面部轮廓的特征点，以便用一条直线连接加载在面部图像中的ASM的特征点，搜索在该直线中点处垂直该直线方向的像素，将该搜索区域中和基本学习值有最大相关的像素作为新的中点，并根据新的中点改变特征点的位置。

然而，至此还没有设置ASM修改中的搜索区域方法的基准。因此很可能，在太宽的搜索区域的情况下，可误提取特征点，以及在太窄的搜索范围的情况下，ASM修改需要的时间太多。

另外，虽然大多数特征点是在预期的区域内提取，然而如果错误地提取一个或两个特征点，那么特征点的整个形状可能全部分散。例如，由于被弄圆的鼻子侧面占据的部分和在上嘴唇中间凹陷部分的形状和位置都相互类似，如果寻找唇线的特征点的搜索区域太宽，就可能将前者弄错为后者。换句话说，ASM修改过程中不适当地提取一个或两个特征点，可导致不适当地提取到其它特征点的更大可能。

因此，需要限制搜索区域，以至于ASM修改过程中不会提取到不适合的特征点。为此，本发明是在预先限定搜索区域的条件下进行ASM修改，面部特征的特征点是在该搜索区域提取的，下面将对此进行详细描述。

例如，就眼睛来说，对眼睛上方的特征点的搜索区域被限制在小距离眉1/2的范围内，而低于眼睛的特征点的搜索区域被限制在垂直方向上小眼睛宽度的1/2的范围内。另外，就鼻子来说，对应于鼻孔和弄圆了的鼻子侧面的特征点的搜索区域被限制在小于距离上唇1/2的范围内，而就嘴唇来说，嘴唇上方的特征点的搜索区域被限制在垂直方向上小于嘴唇宽度1/3的范围内。

搜索区域的限定值是使通过许多实验产生的特征提取错误最小化的值，对搜索区域的这种限制使得能够高度可靠地提取特征点。

再参考图1，漫画产生部件39包括用来产生三维面部漫画的面部漫画产生部件39a，和用来产生三维身体漫画的身体漫画产生部件39b，下面将详细参考图3对此进行简要描述。

面部生成部件39a通过用ASM修改提取的面部特征点信息修改三维多边形面部基本型，产生表现用户面部特征的三维面部漫画，身体漫画产生部件39b根据存储在三维身体模型DB 15中包括诸如头发、身体、眼镜、装饰物、衣服、鞋子等身体部件的三维身体模型，产生三维身体漫画。

如果需要二维漫画，投影部件40通过将漫画产生部件39产生的三维漫画投影到二维平面中产生二维漫画，漫画存储部件50存储由漫画产生部件39产生的三维漫画。

另一方面，漫画产生部件39产生的三维漫画可以利用有线或无线方式经漫画发送/接收部件70发送给另一个三维漫画产生部件100。这时，漫画发送/接收部件70从三维漫画中提取特征点的坐标值和存储参考值，以便减小要发送数据的容量，然后将提取出的数值发送给另一个三维漫画产生部件100。被发送的特征点的坐标值和存储参考值可通过漫画发送/接收部件70在另一个三维漫画产生部件100内重新构造成三维漫画。下面将参考图5详细描述重新构造三维漫画的一种方法。

作为参考，当上面描述的本发明的各部件用硬件实现时，修改的变种和等同物对本领域的技术人员是显然的。例如，如果ASM加载部件35、ASM修改部件37、漫画产生部件39等包括单独的存储器，那么存储部件10可配置被分成多个存储器，该存储部件10除了存储学习数据、二维面部纹理、三维多边形面部基本型和三维身体模型之外，还存储其它数据。另外，诸如ASM加载部件35、ASM修改部件37、漫画产生部件39等的部件可以用微处理器驱动的软件实现。

另一方面，根据本发明的三维漫画产生方法包括步骤：从输入的面部图像检测眼睛位置，使该面部图像的大小标准化；从该标准化的面部图像为面部特征检测每个初始位置；将ASM加载在标准化后的面部图像中，以便与检测到的初始位置对应，然后修改加载的ASM，以便为面部特征提取特征点；通过加载三维多边形面部基本型产生三维多边形面部漫画，然后根据在ASM修改步骤中提取的特征点的坐标值修改加载的三维多边形面部基本型。

该方法最好还包括步骤：将三维多边形面部漫画投影到二维平面中获得二维面部漫画。

该方法最好还包括步骤：发送从三维多边形面部漫画提取的特征点的坐标值和存储参考值。

下面将参考附图详细描述根据本发明的三维漫画产生方法。

图3是用来解释根据本发明的三维漫画产生方法的流程图。

输入面部图像时，执行预处理操作(S10)，用来从输入的面部图像检测眼睛的位置，使面部图像的大小标准化，下面将参考图4对此进行详细的描述。

图4是用来解释图3所示预处理的步骤的详细流程图。

首先，如果输入的面部图像是彩色图像，就转化为黑白图像(S11)，然后利用Gabor滤波器响应从黑白图像中检测面部区域(S12)。

接下来，随阈值增加进行二值化直到两条眉毛和两只眼睛都在面部图像中出现有特定的黑色区域为止。该二值化包括为二值化设置阈值变化范围，在设置的阈值变化范围内设置阈值的初始值，然后根据阈值初始设置值，给亮度值大于阈值的像素赋予白色，给亮度值小于阈值的像素赋予黑色(S13和S14)。

这里，最好根据输入的面部图像的亮度设置阈值变化范围。这是因为当根据给定面部图像亮度设置阈值变化范围时，可以减少不必要的计算量。

完成面部图像的二值化后，开始进行分组操作，以便将区域中与眉毛和眼睛对应的有黑色的像素结合成多个组(S15)。这时，当计算黑色像素之间在水平方向上相距的间隔并且计算出的间隔小于预定距离时，还可以通过将黑色像素连接在一起减少噪声所导致的错误。在分辨率为640*480的面部图像中，黑色像素之间可连接的距离通常最好小于5。该值可以根据面部图像的分辨率改变。

接下来，对分组过程形成的各组做标记从而进行排序，然后提取标记相同的区域作为独立区域(S16)。这时，作为标记算法，可以采用4路连接轨迹(trace)算法或8路连接轨迹算法。由于如果面部图像中的组数多，标记就需要很多时间，因此，最好将具有大小小于3到4的组的区域作为噪声去除掉。

接下来，确定由标记提取的独立区域中是否有一对眉毛候选区域和一对眼睛候选区域，如果既没有检测到眉毛又没有检测到眼睛，那么随着阈值增加进行二值化直到检测到一对眉毛和一对眼睛为止(S17和S19)。这时，阈值最好在设置的变化范围内增加。

如果确定在独立区域中有一对眉毛候选区域和一对眼睛候选区域，则根据眼睛的大小、形状和位置信息计算眼睛候选区域的错误率，然后确定计算出的错误率是否在允许范围内，以便验证眼睛候选区域是否与眼睛对应。下面将更详细描述眼睛候选区域的错误率的计算方法。

通常，眼睛的形状为椭圆形，占据整个面部区域面积的0.2％到2.5％，并位于面部区域垂直方向的上部，左右眼位于相同的水平线上。可以利用面部的大小、形状和位置这种信息确定眼睛候选区域是否与眼睛对应。

也就是说，可以用眼睛的大小、形状和位置信息计算眼睛候选区域的错误率作为参考值，然后根据计算出的错误率确定眼睛候选区域是否与眼睛对应。

为了计算眼睛候选区域的错误率，先得到眼睛候选区域的大小、宽度与长度比值、垂直位置和水平位置相对于参考值的偏差值。

在此，根据标记时获得的独立区域的信息容易获得眼睛候选区域的大小、宽度与长度比值、垂直位置和水平位置。换句话说，当用标记提取独立区域时，得到每个独立区域的XY坐标，根据得到的XY坐标计算每个独立区域的大小、宽度与长度比值、垂直位置和水平位置。

同时，由于根据二值化的阈值可以改变眼睛的大小、宽度与长度比值、垂直位置和水平位置，因此当得到眼睛候选区域的偏差值时，应该得到依照二值化的阈值的参考值。

眼睛候选区域的参考值依照二值化阈值改变的示例示于图9。如图9所示，由于眼睛在面部图像中占据的大小随阈值的增加而增加，因此根据相应阈值的参考值应该得到眼睛候选区域的偏差值。类似地，对于眼睛的宽度与长度之比、垂直位置和水平位置，根据相应阈值的参考值应该获得眼睛候选区域的偏差值。

在本实施例，当眼睛大小的参考值设置为整个面部区域的0.2％到2.5％时，如果眼睛候选区域的大小是在整个面部区域的0.2％到2.5％之间，就确定眼睛候选区域是眼睛，而当眼睛的宽度和长度之比的参考值设置在1.0到3.2时，如果眼睛候选区域的宽度和长度之比小于1.0或大于3.2，即眼睛候选区域不是椭圆形状，就确定眼睛候选区域不是眼睛。

另外，在本实施例中，当眼睛垂直位置在整个面部区域的参考值设置为1/3时，如果眼睛候选区域位于垂直方向上整个面部区域的上部，则确定眼睛候选区域是眼睛，而当眼睛水平位置在整个面部区域的参考值设置为5°时，如果右/左眼候选区域处在几乎相同的水平线上，则确定眼睛候选区域是眼睛。

假定眼睛候选区域的大小、宽度和长度之比、垂直位置和水平位置的偏差值分别是D₁、D₂、D₃和D₄，偏差值的权重分别为k₁、k₂、k₃和k₄，关于眼睛候选区域错误率(Er)的方程如下面的方程(1)给出。

错误率(Er)(％)＝{k₁*|D₁|+k₂*|D₂|+k₃*|D₃|+k₄*|D₄|}*100……   (1)

在方程1中，根据学习面部图像的结果确定偏差值的权重k₁、k₂、k₃和k₄。例如，如果学习结果表明，眼睛与具有整个面部区域的0.2％到2.5％大小的区域对应的概率很高，设置眼睛候选区域大小的权重k₁的值大于剩余权重k₂、k₃和k₄，而权重k₁、k₂、k₃和k₄对于各偏差值可以改变。

如果确定眼睛候选区域的错误率Er在允许范围内(例如30％)，换句话说，眼睛候选区域的大小、形状或位置是合适的，则从眼睛候选区域检测两只眼睛的中点(S24和S25)。

如上所述，当计算出眼睛候选区域的错误率Er时，由于考虑到了眼睛候选区域的大小、形状和位置的所有偏差值，因此将眉毛误认为眼睛的可能性可最小化。因此，即便在低分辨率的面部图像中也可以正确检测到两只眼睛的中点。

另一方面，如果用户的眉毛是白色，那么可能根本检测不到眉毛。在这种情况下，确定部件27将通过二值化检测到的右眼和左眼识别为眉毛候选区域，用增加的阈值对检测到的眼睛下方区域进行二值化直到检测到眼睛候选区域为止(S11到S19)。然而，如果即使用最大阈值进行的二值化过程还不能检测到一对眼睛候选区域，那么将识别为眉毛候选区域的区域设置为眼睛候选区域(S20和S21)，如果确定计算出的眼睛候选区域错误率Er是在允许范围内，就检测眼睛候选区域中的两只眼睛中点(S24和S25)。

另外，如果用户的两条眉毛之一被头发遮挡，则可能仅检测另一条眉毛。在这种情况下，如果通过二值化仅检测到一个独立区域(眉毛)，那么确定部件27放弃检测到的独立区域并且继续二值化。如果通过二值化检测到右眼和左眼，确定部件27将该检测到的眼睛认定为眉毛候选区域并且用增加的阈值对检测到的眼睛下方区域进行二值化直到检测到眼睛候选区域为止(S11到S19)。然而，如果即使用最大阈值进行的二值化过程还不能检测到一对左右对称的眼睛候选区域，那么将认做眉毛候选区域的区域设置为眼睛候选区域(S20和S21)，而如果确定计算出的眼睛候选区域错误率Er是在允许范围内，则检测眼睛候选区域中的两只眼睛中点(S24和S25)。

另一方面，如果用户的两条眉毛之一和两只眼睛之一被头发遮挡，那么即使用最大阈值进行二值化也不能检测到一对独立区域。在这种情况下，如果一个眼睛候选区域存在于左右两侧中的任何一侧，则根据所述一个眼睛候选区域产生一对眼睛(S22和S23)，然后，如果确定对产生的一对眼睛候选区域计算出的错误率Er是在允许范围内，则检测眼睛候选区域中的两只眼睛中点(S24和S25)。

本发明已经将两只眼睛都被头发遮挡的情况排除在外。这是因为两只眼睛都被遮挡的可能性极小，尽管通常面部图像中两条眉毛会被头发遮挡。

另外，在本实施例中，虽然眼睛候选区域的验证标准受大小、宽度和长度之比、垂直和水平位置的限制，并且是用这些限制计算眼睛候选区域的错误率，但是替代地，可以采用其它不同标准。

接下来，根据两只眼睛的位置，将面部区域的大小标准化，从而按一比一的比例用存储在三维多边形面部基本型DB 15的三维面部基本型绘制面部区域。这时，如果面部图像有微小的倾斜角度，可以将该倾斜的角度修正为正常角度。

再参考图3，完成上述面部图像的预处理之后，当面部特征初始位置检测部件33通过将Canny滤波器作用到面部区域来检测每个面部特征的初始位置时(S30)，ASM加载部件31将ASM加载到预处理面部图像中以便与检测到的初始位置对应(S50)。

另一方面，在检测面部图像的初始位置时除了采用Canny滤波器，还可以根据二值化检测到的两只眼睛的中心点，采用面部图像之间的几何位置关系来检测眉毛、眼睛、鼻子和嘴巴的初始位置。

接下来，通过利用存储在学习数据DB 11的ASM形状变化特性数据对加载的ASM进行修改，ASM修改部件37从预处理的面部图像提取眉毛、眼睛、鼻子、嘴巴或面部轮廓的特征点(S70)。

当提取特征点时，ASM修改是在预先限定用来提取每个面部特征的特征点的搜索区域的情况下进行的。搜索区域的限定已经参考图1进行了详细描述，因此不再赘述。

接下来，面部漫画产生部件39a分别从三维多边形面部基本型DB 15和二维面部纹理DB 13中加载三维面部基本型和二维面部纹理(S90)，将该加载二维面部纹理绘入三维面部基本型(S110)，然后通过根据提取的特征点的坐标值修改三维面部基本型来产生三维多边形面部漫画(S130)。

这里，二维面部纹理用来将皮肤颜色、眉毛颜色、嘴唇颜色等作用到三维面部基本型，如图12(a)所示，可以看到，将二维面部纹理绘制到三维面部基本型中可以产生更自然精巧的三维面部漫画，如图12(b)所示。

下面将简要地描述根据提取的特征点的坐标值的三维面部基本型的修改。通过ASM修改部件37提取的特征点具有XY坐标值。当根据这些XY坐标值将特征点应用到三维面部基本型时，三维面部基本型上的多边形分量被替换，从而三维面部基本型修改得与用户面部相似。

图13是用来说明三维多边形面部基本型的修改的示意图。如图13所示，假设三维面部基本型的基本特征点是A、B、C，在特征点A、B和C形成的三角形内的规定的多边形是D，ΔABC的面积是Area，ΔDBC的面积是A1，ΔDAC的面积是A2，ΔDAB的面积是A3。

当由ASM修改提取的特征点A′、B′和C′加到三维面部基本型时，三维面部基本型上的基本特征点A、B和C分别移动到A′、B′和C′。因此，三维面部基本型上的多边形也移动了。这里，多边形D的位移由下列方程(2)给出。

$\stackrel{\→}{{\mathrm{OD}}^{\′}}=\stackrel{\→}{\mathrm{OD}}+w1\×\stackrel{\→}{{\mathrm{DA}}^{\′}}+w2\×\stackrel{\→}{{\mathrm{DB}}^{\′}}+w3\×\stackrel{\→}{{\mathrm{DC}}^{\′}}......\left(2\right)$

在方程2中，w1，w2，w3分别等于A1除以Area、A2除以Area及A3除以Area，如下：

$w1=\frac{A1}{\mathrm{Area}},w2=\frac{A2}{\mathrm{Area}},w3=\frac{A3}{\mathrm{Area}}$

当根据特征点的应用移动多边形D时，也按类似方式移动多边形D周围的多边形。因此，可修改三维面部基本型以变得总体上与用户面部相似。

当提取的特征点加到三维面部模型时，除了XY坐标值之外的信息——例如Z轴方向的坐标值——采用包含在三维面部基本型里的人类学标准数据。例如，如果通过ASM修改提取的特征点的XY坐标值是(170，210)，当XY坐标(170，210)加到三维面部基本型上时，该特征点的XYZ坐标是(170，210，35)。这里，Z轴方向的坐标值35是包含在三维面部基本型的人类学标准数据值。

另一方面，除了精确使用包含在三维面部基本型里的人类学标准数据之外，通过更进一步利用下面将要描述的侧面面部图像，可产生更类似用户面部的三维漫画。

首先，当输入侧面面部图像时，预处理部件31从输入的侧面面部图像检测鼻子的端点和眉毛，然后根据检测到的鼻子端点和检测到的眉毛将侧面面部图像标准化。面部特征初始位置检测部件33从标准化的侧面面部图像检测面部特征的侧面初始位置。然后，ASM加载部件35在标准化的侧面面部图像中加载存储在存储部件10中的侧面ASM，以便与检测到的侧面初始位置对应。通过对加载的侧面ASM进行二值化，ASM修改部件37从标准化后的侧面面部图像提取眉毛、眼睛、嘴唇或面部轮廓的特征点的YZ坐标值。然后，根据通过ASM修改部件37提取的特征点的XY和YZ坐标值，通过修改三维多边形面部基本型，面部漫画产生部件39a产生三维多边形面部漫画。

另外，可以利用一种蛇形算法(snake algorithm)修改面部基本型，以便产生类似于用户面部并且突出诙谐或夸张的三维漫画。下面简要描述利用蛇形算法修改三维面部基本型的方法。

蛇形算法是一种通过执行如图像力(image force)的能量的最小化而从图像中提取线、边、轮廓等的方法。在本发明中，一幅与用户面部相似并突出诙谐或夸张的漫画通过以下方式产生，即进行XY位置变换，同时保持特征点之间的相对位置和特征点构成的结构(configuration)，然后应用蛇形算法根据基本型上的坐标值为剩余相邻特征点进行XYZ位置变换。

带有夸张手法的漫画的示例示于图14中。如图14所示，通过采用双曲线三维面部基本型并且只将重要的面部特征加到三维面部基本型，可以产生与用户面部相似的多种三维特性。

再次参考图3，产生三维多边形面部漫画后，根据存储在三维身体模型DB 17的三维身体模型，身体漫画产生部件39b产生三维身体漫画(S150)，最后通过组合三维多边形面部漫画和三维身体漫画完成了三维漫画(S170)。

同时，如果必要，可以通过投影部件40将三维漫画投影到二维平面中来产生二维漫画(S190到S210)。另外，如果需要发送三维漫画，那么发送从三维漫画提取的特征点的坐标值和存储参考值(S230到S250)。下面将描述根据发送的特征点坐标值和存储参考值重新构造三维漫画的方法。

图5是说明重新构造图3中被发送的三维漫画的方法的流程图。

首先，当收到从三维漫画提取的特征点的坐标值和存储参考值时，面部漫画产生部件39a加载对应于从三维多边形面部基本型DB 15和二维面部纹理DB 13收到的存储参考值的三维面部基本型和二维面部纹理(S310)。

接下来，根据将二维面部纹理绘入三维面部基本型之后接收到的特征点的坐标值，面部漫画产生部件39a通过修改三维面部基本型重新构造三维多边形面部漫画(S330到S350)。

接下来，通过加载与从三维身体模型DB 17接收到的存储参考值对应的三维身体模型，身体漫画产生部件39b重新构造三维身体漫画，然后通过组合所重构的三维多边形面部漫画和所重构的三维身体漫画以重新构造三维漫画(S370到S390)。

如果除了三维漫画产生装置100和100之外还有可以重新构造三维漫画的数据库，那么发送和重构上述三维漫画的方法可用于包括通讯终端的各种领域，如漫画张贴品自动售货机、计算机、手提电话和PDA、形象化(avatar)的游戏机、英特网聊天服务。举例来说，从漫画张贴品自动售货机发送的三维漫画可以在英特网形象化站点重新构造，或者从计算机发送的三维漫画可以重新构造在手提电话上。

如上所述，根据本发明的三维漫画产生装置和方法，由于可以利用面部专用的ASM技术正确提取代表面部特征的各部位的特征点的信息，所以能够产生与用户面部非常相似的三维漫画。

另外，根据本发明，如果需要二维漫画，只要通过将三维漫画投影到二维平面上即可容易得到。还有，需要发送三维漫画时，由于只发送三维漫画用到的存储参考值和面部特征的信息，因此***负担可以最小化。

此外，根据本发明，三维漫画可以简单地重构并用于通讯终端，如漫画张贴品自动售货机、计算机、手提电话和PDA或者英特网。

虽然为了说明的目的已经公开了本发明的最佳实施例，但是本领域的技术人员可知，在不背离如权利要求中公开的本发明的思想和范围时，可进行各种修改、添加和替换。

Claims (34)

1.一种根据用户的输入面部图像产生三维漫画的装置，包括：

存储部件，用来存储产生三维漫画所需的活动形状模型和三维多边形面部基本型；

预处理部件，用来从所述输入面部图像检测眼睛的位置并且将所述面部图像的大小标准化；

面部特征初始位置检测部件，用来从所标准化的面部图像检测各面部特征的每个初始位置；

活动形状模型加载部件，用来将存储在存储部件中的活动形状模型加载在所标准化的面部图像中以便与所检测到的初始位置对应；

活动形状模型修改部件，用来修改所加载的活动形状模型以便为所述各面部特征提取特征点；以及

漫画产生部件，用来通过加载来自所述存储部件的所述三维多边形面部基本型，然后根据经所述活动形状模型修改部件提取的所述特征点的坐标值，修改所加载的三维多边形面部基本型，从而产生三维多边形面部漫画。

2.根据权利要求1所述的装置，其中所述预处理部件包括：

降低颜色饱和度部件，用来在所述输入面部图像是彩色图像的条件，将所述彩色图像转换为黑白图像；

面部区域检测部件，用来利用Gabor滤波器响应从所述输入面部图像检测面部区域；

眼睛检测部件，用来经所述面部区域检测部件从所检测到的面部区域检测眼睛的位置；以及

面部标准化部件，用来将面部区域大小标准化，这样，根据经所述眼睛检测部件检测到的所述眼睛位置，所述面部区域可以一比一的比例用存储在所述存储部件中的所述三维多边形面部基本型绘制。

3.根据权利要求2所述的装置，其中所述眼睛检测部件包括：

二值化部件，用来根据阈值对所述输入面部图像进行二值化；

分组部件，当从所述二值化部件输入所述二值化的面部图像时，用来将对应眉毛和眼睛的区域中的黑色象素分组；

标记部件，用来通过标记经所述分组部件检测到的多个组，给所述多个组排序，然后为独立区域提取具有相同标记的区域；以及

确定部件，用来在经所述标记部件提取出的所述独立区域中设置眉毛候选区域和眼睛候选区域，然后确定所设置的眼睛候选区域是否对应眼睛。

4.根据权利要求3所述的装置，其中当所述阈值改变时，所述确定部件进行二值化直到所述眉毛候选区域和所述眼睛候选区域都被检测到为止。

5.根据权利要求1所述的装置，其中通过将Canny滤波器加到所述标准化的面部图像，所述面部特征初始位置检测部件检测所述各面部特征的每个初始位置。

6.根据权利要求1所述的装置，其中所述存储部件还存储有关所述活动形状模型的形状变化特性的数据，通过采用存储在所述存储部件中的有关所述活动形状模型的形状变化特性的所述数据，所述活动形状模型修改部件从所述标准化的面部图像提取眉毛、眼睛、鼻子、嘴唇或面部轮廓的特征点。

7.根据权利要求1所述的装置，其中在提取所述特征点时，所述活动形状模型修改部件预先限定用于提取所述面部特征的所述特征点的搜索区域。

8.根据权利要求1所述的装置，其中所述存储部件还存储用来构造所述三维多边形面部基本型的二维面部纹理，而所述漫画产生部件将存储在所述存储部件中的所述二维面部纹理绘制在所述三维多边形面部基本型中。

9.根据权利要求1所述的装置，其中所述存储部件还存储产生三维身体漫画所需的三维身体模型，而所述漫画产生部件基于存储在所述存储部件中的所述三维身体模型产生所述三维身体漫画。

10.根据权利要求1所述的装置，其中，当输入侧面面部图像时，

所述预处理部件从所述输入侧面面部图像检测所述鼻子的端点和眉毛，然后根据所检测到的鼻子端点和所检测到的眉毛将所述侧面面部图像标准化；

所述面部特征初始位置检测部件从所标准化的侧面面部图像检测各面部特征的每个侧面初始位置；

所述活动形状模型加载部件在所标准化的侧面面部图像中加载存储在所述存储部件中的侧面活动形状模型，以便对应所检测的侧面初始位置；

所述活动形状模型修改部件修改所加载的侧面活动形状模型以便从所标准化的侧面面部图像提取所述各面部特征的特征点的坐标值；

所述漫画产生部件根据经所述活动形状模型修改部件提取的所述各特征点的所述坐标值，修改所述三维多边形面部基本型，从而产生三维多边形面部漫画。

11.根据权利要求1所述的装置，还包括投影部件，用来通过将所述漫画产生部件产生的所述三维多边形面部漫画投影到二维平面上，获得二维面部漫画。

12.根据权利要求1所述的装置，还包括漫画发送/接收部件，用来发送/接收从经所述漫画产生部件产生的所述三维多边形面部漫画提取的所述各特征点的坐标值和存储参考值。

13.根据权利要求12所述的装置，其中，当从所述漫画发送/接收部件接收从所述三维多边形面部漫画提取的所述特征点的所述坐标值和存储参考值时，

所述漫画产生部件加载对应来自所述存储部件的所接收到的存储参考值的三维多边形面部基本型和二维面部纹理，将所述二维面部纹理绘制到所述三维多边形面部基本型，然后根据所接收到的各特征点的所述坐标值修改所述三维多边形面部基本型，从而重新构造三维多边形面部漫画。

14.一种基于用户的输入面部图像产生三维漫画的方法，包括步骤：

进行预处理，从所述输入面部图像检测眼睛位置并且使所述面部图像大小标准化；

从所标准化的面部图像检测各面部特征的每个初始位置；

在所标准化的面部图像中加载活动形状模型以便与所检测到的初始位置对应，然后修改所加载的活动形状模型以便提取所述各面部特征的特征点；及

通过加载三维多边形面部基本型，然后根据在所述活动形状模型修改步骤提取的所述各特征点的坐标值，修改所加载的三维多边形面部基本型，从而产生三维多边形面部漫画。

15.根据权利要求14所述的方法，其中进行所述预处理的所述步骤包括：

如果所述输入面部图像是彩色图像，就将所述彩色图像转换为黑白图像；

利用Gabor滤波器响应从所述输入面部图像检测面部区域；

从所检测到的面部区域检测眼睛的位置；及

使所述面部区域大小标准化，这样，根据所检测到的眼睛位置，所述面部区域可以一比一的比例用所述三维多边形面部基本型绘制。

16.根据权利要求15所述的方法，其中检测所述眼睛位置的所述步骤包括：

根据阈值对所述输入面部图像进行二值化；

将所述二值化的面部图像中的黑色象素分组；

通过标记在所述分组步骤中检测到的多个组将多个组排顺序，然后为独立区域提取具有相同标记的区域；以及

在所提取的独立区域中设置眉毛候选区域和眼睛候选区域，然后从所设置的眼睛候选区域检测两只眼睛的中点。

17.根据权利要求16所述的方法，其中进行所述二值化的所述步骤包括步骤：根据所述输入面部图像的亮度设置阈值变化范围，在所设置的阈值变化范围内设置阈值的初始值，然后根据所设置的所述阈值初始值对所述输入面部图像进行所述二值化。

18.根据权利要求16所述的方法，其中所述分组步骤包括步骤：当计算出黑色象素之间在水平方向相距的间隔并且所计算出的间隔小于预定距离时，将所述黑色象素连接在一起。

19.根据权利要求16所述的方法，其中所述标记步骤包括步骤：删除在所述分组步骤中检测到的所述多组中大小小于预定大小的组，所述组被认为是噪声。

20.根据权利要求16所述的方法，还包括步骤：如果在所提取的独立区域中没有一对眉毛候选区域和一对眼睛候选区域，在增加所述阈值时进行所述二值化，直到一对眉毛候选区域和一对眼睛候选区域都被检测到为止。

21.根据权利要求16所述的方法，其中从所设置的眼睛候选区域检测两只眼睛的中点的所述步骤还包括：

将所述眼睛候选区域的信息与预先存储的参考值比较，然后计算所述眼睛候选区域的偏差值；

通过给所述每个偏差值分配权重计算所述眼睛候选区域的错误率，并将所述偏差值加在一起；及

确定所述眼睛候选区域的所述错误率是否在允许范围内。

22.根据权利要求21所述的方法，其中预先存储的所述参考值包括各值：所述眼睛的大小、宽度和长度之比、垂直位置和水平位置。

23.根据权利要求21所述的方法，其中在计算所述眼睛候选区域的偏差值时，将眼睛候选区域的所述信息与相应阈值的所述参考值进行比较。

24.根据权利要求21所述的方法，其中，如果在所提取出的独立区域中仅检测到一对眉毛候选区域，就将所检测到的一对眉毛候选区域设置为眼睛候选区域，然后计算所述眼睛候选区域的错误率。

25.根据权利要求21所述的方法，其中，如果在所提取出的独立区域中仅检测到一个眉毛候选区域，就将所检测到的眉毛候选区域设置为眼睛候选区域，根据所述眼睛候选区域产生一对眼睛，然后计算所产生出的一对眼睛的错误率。

26.根据权利要求14所述的方法，其中检测每个初始位置的所述步骤包括步骤：通过将Canny滤波器作用到所标准化的面部图像来确定每个面部特征的初始位置。

27.根据权利要求14所述的方法，其中提取所述各特征点的步骤包括步骤：利用活动形状模型的形状变化特性的数据从所标准化的面部图像提取眉毛、眼睛、鼻子、嘴唇或面部轮廓的所述各特征点。

28.根据权利要求14所述的方法，其中在提取所述各特征点时，预先限定提取各面部特征的所述各特征点的搜索区域。

29.根据权利要求14所述的方法，还包括步骤：将二维面部纹理绘制到所述三维多边形面部基本型上。

30.根据权利要求14所述的方法，还包括步骤：基于三维身体模型产生所述三维身体漫画。

31.根据权利要求14所述的方法，还包括步骤：当输入侧面面部图像时，

从所述输入侧面面部图像检测鼻子的端点和眉毛，然后根据所检测到的鼻子端点和所检测到的眉毛将所述侧面面部图像标准化；

从所标准化的侧面面部图像检测各面部特征的每个初始位置；

在所标准化的侧面面部图像中加载侧面活动形状模型，以便与所检测到的侧面初始位置对应；

修改所加载的侧面活动形状模型，以便从所标准化的侧面面部图像提取所述各面部特征的特征点的坐标值；

根据在所述修改步骤中提取的所述各特征点的所述各坐标值，修改所加载的三维多边形面部基本型，从而产生三维多边形面部漫画。

32.根据权利要求14所述的方法，还包括步骤：通过将所述三维多边形面部漫画投影到二维平面上获得二维面部漫画。

33.根据权利要求14所述的方法，还包括步骤：发送从所述三维多边形面部漫画提取的所述各特征点的坐标值和存储参考值。

34.根据权利要求33所述的方法，还包括步骤：当接收到从所述三维多边形面部漫画提取的所述各特征点的所述坐标值和存储参考值时，

加载对应于所接收到的各存储参考值的三维多边形面部基本型和二维面部纹理；

将所述二维面部纹理绘制到所述三维多边形面部基本型上；及

根据所接收到的各特征点的所述各坐标值修改所述三维多边形面部基本型，从而重新构造三维多边形面部漫画。

Images