CN1447955A - 根据面部图像的形态信息生成合成面部图像的装置和方法 - Google Patents

Abstract

本发明提供了一种根据由用户接口装置所传输的输入面部图像的形态信息而生成合成面部图像的装置和方法。该装置提取形态信息和质感信息，该形态信息表示为一关于预定的参考图像变形的画面，其质感信息是关于绘制在参考图像上的输入图像的光线和颜色的信息，并且根据用户命令利用输入面部图像的形态信息，改变各种面部图像，该面部图像存储于的图像数据库中并且与参考图像的形态相同，从而生成一个反应输入面部图像形态信息的合成面部图像。因此，通过利用具有与参考图像相同的形态信息，但与输入面部图像具有不同质感信息和已提取的形态信息的图像，可以合成能够反应输入面部图像的形态，并且在忽略输入面部图像状态情况下，具有高质量的新的自然的图像。

Description

根据面部图像的形态信息生成合成面部图像的装置和方法

技术领域

本发明与一种用于生成合成面部图像的装置和方法有关，特别地，与一种根据输入面部图像的形态信息而生成合成面部图像的装置和方法有关。

面部图像通常被用作一种可充分展示个性并允许简单自然交流的中介。这种面部图像可应用于，诸如控制/安全***的出入口、罪犯搜索/画面合成***、计算机接口、动画片及游戏。采用合成面部图像技术的典型应用是个性图像的生成和化妆设计。

面部图像的漫画，作为一种个性图像，是根据一个人的脸部特征而生成的。因此，一个面部图像的漫画不仅可以用于动画片或者娱乐节目的制造，代表一个人的符号或者按钮，PC通信或者E-mail的一种特有符号，也可用作体现虚拟现实中一个用户的化身。

背景技术

传统上，职业画家采用手工绘制漫画的方法，或者使用数字筛选程序自动处理，来进行漫画创作。其中，采用数字筛选程序来处理图像的方法对输入图像产生一种完全手工创制漫画的效果，此效果是通过组合采用筛选程序对输入图像产生适当的效果，而实现水彩描绘或者炭画的效果。

当一个职业画家手工绘制一幅漫画时，可以得到一幅自然和十分完美的漫画，但是这种方法要花费很长的时间并且难保持一致的效果。因此，这种方法只局限于特殊条件。数字筛选程序的处理技术可用于光线和背景有限的情况下的图像采集，这样对于简单的二维图像，其中物体难于从背景分离出来，输出的图像质量依赖于环境中的光线或者其他条件的改变。目前还没有提出实施这技术的合适的方法。此外，由于在传统的漫画制作方法中关于物体的形态信息不是独立生成的，要进行一种修正操作，例如扩大一幅已生成的漫画的面部特征，或者改变一种面部表情，是十分的复杂的，并且想还原一幅面部图像或者将已生成的漫画扩展为三维的形式几乎是不可能办到的。

在化妆设计中，传统上用户根据已化妆的模型间接地确定一个风格。最近，引进了一种利用计算机的化妆方法。这处方法允许用户将产品以各种方式应用于各种样本模型图像，但是不能提供直接对用户的面部图像进行化妆的自然效果。换言之，即使采用相同的化妆品，颜色也可能随各种不同的和复杂的条件，诸如受照明以及面部形态的特点影响的阴影和反射光线，而变化，因此不可能从一个样本模型图像的化妆效果中得到自然的用户面部图像的化妆效果。

发明内容

为解决上述问题，本发明旨在提供一种根据面部图像的形态信息而生成合成面部图像的装置和方法，其中信息关于面部的形态是由输入的面部图像中提取的，并且合成面部是根据所提取的形态信息而生成的，这样用户可以得到一个自然并且精致的漫画图像，利用他/她的面部图像预先观看化妆设计图像，易于向合成图像添加各种不同的附件，易于改变合成图像，并且实时观察所加附件和所改变合成图像的效果。

为达到本发明的目标，本发明提供了一种根据一个输入的面部图像而合成一个新面部图像的装置。该装置包括一个用户接口装置，用于接收面部图像信息和用户的控制命令、将这些命令传输到图像处理装置、从图像处理装置接收合成面部图像信息、并根据用户控制命令输出或者存储已合成的面部图像信息；和一个图像处理装置，用于从用户接口装置所传输的面部图像信息中提取关于输入面部图像的形态信息和质感信息，其形态信息表示为一关于预定的参考图像变形的画面，其质感信息是关于绘制在参考图像上的输入图像的光线和颜色的信息，并且根据用户命令利用输入面部图像的形态信息，变换从质感图像中选择的一幅质感图像，此图像存储于的图像数据库中并且与参考图像的形态相同，或者变换通过对所选质感图像和反应所提取质感信息的质感图像进行加权求和而生成的图像，从而生成一个合成面部图像。

本发明也提供了一种根据输入的面部图像的形态信息而合成一个新面部图像的方法。该方法包括信息如下步骤：(a)从输入的面部图像信息中的提取关于输入面部图像的形态信息以及质感信息，其形态信息表示为一关于预定的参考图像变形的画面，其质感信息是关于绘制在参考图像上的输入图像的光线和颜色的信息；和(b)根据用户命令利用输入面部图像的形态信息，变换从质感图像中选择的一幅质感图像，此图像存储于的图像数据库中并且与参考图像的形态相同，或者变换通过对所选质感图像和反应所提取质感信息的质感图像进行加权求和而生成的图像，从而生成一个合成面部图像。

附图说明：

图1A所示为本发明的合成面部图像生成装置第一实施例的功能配置框图；

图1B所示为本发明的合成面部图像生成装置第二实施例的功能配置框图；

图2所示为实施本发明第一和第二实施例的计算机***的机械配置框图；

图3所示为本发明的生成合成面部图像过程的基本流程图；

图4所示为如图3所示的面部信息提取过程的具体流程图；

图5所示为根据本发明的生成合成面部图像装置所采用的面部图像合成方法而生成一幅漫画图像过程的流程图；

图6所示为根据本发明的生成合成面部图像的装置所采用的样本图像替换方法而生成一幅漫画图像过程的流程图；

图7所示为本发明生成合成面部图像装置所采用的化妆设计过程的流程图。

具体实施方式：

以下参考附图对本发明的实施例进行了具体的说明。

图1A和图1B分别是本发明的根据面部图像的形态信息合成面部图像生成装置的第一实施例1和第二实施例40的框图。第一实施例，如图1所示，包括一个或者多个用户接口装置10a和10b，一个通信网络20，以及一个图像处理装置30，因此运行在网络环境中。第二实施例40，如图2所示，包括一个用户接口装置50和一个图像处理装置60，因此运行在一个独立的计算机***中。

第一实施例1及第二实施例40的用户接口装置10a和10b，和图像处理装置30实现为一计算机***70，该***包括一个计算机72，如图2所示，具有至少一个中央处理单元74和一个内存单元73，一个输入装置75，以及一个输出装置76。计算机***70的主要组件通过一个或多个总线结构77实现彼此的联系。

CPU74包括一个算术逻辑单元(ALU)741以执行一个算术操作和一个逻辑操作，一个寄存器组742用以临时存储数据和命令，一个控制单元743以控制计算机***70的操作。本发明所采用的CPU74并不局限于由一个特殊的公司所制造特定装置，而可以是具有以上基本结构的任何款的处理器。

内存单元73包括一个高速主存731和一个辅存732以长期存储数据。主存731可以包括一个随机访问存储(RAM)半导体芯片和一个只读存储(ROM)半导体芯片。辅存732可以包括一个软盘，一个硬盘，一个CD-ROM，一个闪存，以及一个采用电子、电磁、光或者其他记录介质来存储数据的装置。主存731可以包括一个视频显示内存用于通过一个显示装置来显示图像。这一点对于精通本发明领域的人员应理解为内存单元73可以包括各种具有不同存储特牲的可替换组件。

输入装置75可包括一个键盘，一个鼠标，以及一个物理转换器(例如，一个麦克风)。输出装置76可以包括一个显示单元，一个打印机，以及一个物理转换器(例如，一个扬声器)。或者，一个网络接口，一个调制解调器，或者可以用作输入/输出装置的类似装置。

计算机***70由一个操作***和至少一个应用程序组成。操作***是控制计算机***70的运行和资源分配的一系列软件。应用程序是一系列，通过操作***利用可访问的计算机资源而执行用户要求任务的软件。该软件存储在内存单元73中。因此，本发明利用计算机合成面部图像的装置可实现为计算机***70和一个或者多个安装并运行在计算机***70中应用程序的结合。

如图1A所示的第一实施例与图1B所示的第二例40，除第一实施例1进一步包括通过通信网络进行数据传输的通信处理器14和31外，具有相同的功能。因此，本发明将以第一实施为基础来进行说明。

参考图1A，每个用户接口装置10a和10b接收发自用户的面部图像信息和一条用户控制命令，接收一条相应于用户控制命令的合成图像，并修正、存储或者输出合成图像。每个用户接口装置10a和10b包括一个图像信息输入单元11，一个用户命令输入单元12，一个输入/输出控制器13，一个通信处理器14，一个图像修正单元15，一个图像存储单元16，以及一个输出单元17。

图像信息输入单元11接收自用户的一个面部图像信息，并且可以通过诸如扫描仪或者数字相机的方式来实现。此外，图像信息输入单元11可以包括若干相机，以接收以不同角度所采集的图像，和一个相机辅助装置，诸如一个光线调节器。由于图像信息输入单元11作为本发明的一个组件，应从功能角度考虑，所以图像信息输入单元11应被广泛的解释为不仅包括如图2所示的输入装置75，而且包括如图2所示预先存储面部图像信息的辅存732。

用户命令输入单元12接收自用户的用户控制命令，(例如，用户信息，一个面部信息合成控制信号，以及一个面部修正控制信号)。用户命令输入单元12可以实现为一具体装置，诸如键盘、鼠标或者触摸屏幕，用户可通过它来输入一个命令或者信息。

输入/输出控制器13控制面部图像信息通过图像信息输入单元11的输入，也控制用户命令通过用户命令输入单元12的输入，以及控制通过通信处理器14将用户命令传输至图像处理装置30。输入/输出控制器13也根据用户控制命令接收图像处理装置30所合成的新图像信息，并且控制新图像信息的修正，存储或者输出。

通信处理器14与输入/输出控制器13相连，并且通过通信网络20传输数据到或者接收数据自图像处理装置30。例如，通信处理器14可以实现为一个装置，该装置包括一个串/并端口，一个通用串行总线(USB)端口或者一个连接Internet的IEEE1394端口，以及一个Ethernet网卡来通过Internet传输和接收包括图像信息的数据。

图像修正单元15与输入/输出控制器13相连，并且根据通过用户命令输入单元12所输入的用户控制命令，根据图像处理装置30合成或者传输的图像信息对图像的角度、大小或者质感进行修正。

图像存储单元16对应于如图2所示的辅存732，并且存储由图像处理装置30合成并且传输的新图像信息，或者存储由图像修正单元15在输入/输出控制器13控制下所修正的图像信息。

输出单元17与如图2所示的输出装置76相对应。在输入/输出控制器的控制下，输出单元17显示当图像处理装置30合成一个新的图像时所要求的，用于接收用户控制命令的用户接口显示信息，并且显示或者打印新的由图像处理装置30所合成和或者所传输的图像信息，或者由图像修正单元15所修正的图像信息。

如图1A所示的本发明的第一实施例，通信网络20在一个或者多个是用户接口装置10a和10b以及图像处理装置30之间传输数据。通信网络20可以实现为各种类型的网络，例如有线/无线Internet，局域网络以及私人线路。

在如图1所示的本发明的第一实施例1中，图像处理装置30处理自一个或者多个用户接口装置10a和10b所传输的图像信息，相应于用户控制命令根据图像信息合成一个新图像，并且将合成的图像传输一个对应的用户接口装置。图像处理装置30包括一个通信处理器31，图像处理器32，以及一个图像数据库(DB)33。

通信处理器31传输数据至并且接收数据自一个或者多个用户接口装置10a和10b。相应于每个用户接口装置10a和10b的通信处理器14，通信处理器31可以实现为一个装置，包括一个Ethernet网卡，一个串/并行端口，一个通用串行总线(USB)端口，或者一个连接Internet的IEEE1394端口，通过Internet传输并接收包括图像信息的数据。

图像处理器32从用户接口装置10a和10b所传输的面部图像信息中，提取关于一个输入面部图像的形态信息以及质感信息，其形态信息表现为对参考图像的变形画面，其质感信息，即绘制在参考图像上的输入面部图像的颜色或者亮度信息，分析来自用户接口装置10a和10b的用户控制命令以解释用户请求，根据所解释的用户要求，利用提取到的形态信息，提取到的质感信息以及存储在图像DB32中的各种图像，合成一幅新的面部图像。图像处理器32包括一个面部信息提取器321，一个面部图像合成器322，一个部分图像替代单元323，以及一个附件图像增加单元324。

面部信息提取器321从用户接口装置10a和10b所传输的面部图像信息中，提取关于一个输入面部图像的形态信息以及质感信息，其形态信息表现为对参考图像的变形画面，其质感信息，即利用形态信息绘制在参考图像上的输入面部图像的颜色或者亮度信息。

面部图像合成器322根据用户控制命令，利用面部信息提取器321所提取的关于输入图像的形态信息，通过将存储于图像DB33中的质感图像中所选择的一幅质感图像进行变换，或者进行图像变换，该图像是通过对选择的质感图像和由信息提取器321所提取的反应质感信息质感的图像进行加权求和而生成的，而合成一个新的面部图像。

部分图像替换单元323替换部分或者整个的新面部图像，该新面部图像由面部图像合成器322合成，其样本图像具有与存储在图像DB35中的样本图像最高的相似性。

附件图像添加单元324对由面部图像合成器322所合成的面部图像添加一个附件的图像，该图像是根据用户控制命令是存储在图像DB32中的图像附加图像中选取的。

图像DB33预先在图像处理器32中，存储处理输入图像所需的图像信息。图像DB33包括一个面部模型DB331，一个附件图像DB332，一个样本图像DB333，一个化妆图像DB334，以及一个附件图像DB335。

面部模型DB331存储各种类型的信息(形态平均值、质感平均值，形态特征向量，以及质感特征向量，这些信息是参考各种面部图像模型而得到的)，此信息用于根据一个参考图像，从一个面部信息提取器321内的输入面部图像中，提取形态信息和质感信息。存储在面部模型DB331中的各种类型的信息将在说明图4时给予更加细致的说明。

附加图像DB332存储关于漫画图像的信息，该漫画图像与参考图像具有相同的形态，但不同的类型质感信息，诸如动画风格，速写风格以及水彩打印风格。

样本图像DB333存储有关各种漫画样本图像的信息，该信息包括面部图像上每个具体部位的形态及面部表情的改变。

化妆图像DB334存储有关化妆设计图像的信息，该化妆图像具有与参考图像相同的形态，并且用表示各种样本化妆的质感信息来表达。

附件图像DB335存储关于可加到合成面部图像上的信息，诸如眼镜、发型、帽子、耳朵、以及躯体图像。

在本发明如图1A所示的第一实施例中，一个或者多个用户接口装置10a及10b通过通信处理器14和31以及通信网络20，连接至一个图像处理装置30上。或者，如图1B所示的本发明的第二实施例，用户接口装置50以及图像处理装置60可以结合为一体并运行在一个单独的计算机***70中。

本发明的根据面部图像的形态信息而生成合成面部图像的装置1和40的基本操作将结合图3来加以说明。

在步骤S10中，图像处理器32或者62的面部信息提取器321或者621，接收来自用户接口装置10a，10b或者50的一个输入面部图像，并且在步骤S11中，根据预定的参考图像提取输入面部图像的形态信息和绘制在参考图像上的输入面部图像的质感信息，即颜色或者亮度信息。

在步骤S12中，图像处理器32或者62的面部图像合成器322或者622，根据所接收的发自用户接口装置10a、10b或者50的一条用户控制命令(一个面部图像合成控制信号)，利用由面部信息提取器所提取的基于参考图像的质感信息以及输入面部图像的形态信息，合成一个新的面部图像。换言之，面部图像合成器322或者622利用从输入面部图像中提取的形态信息来恢复输入的面部图像的形态，并且利用已提取的质感信息来扭曲所恢复的输入面部图像的形态，因而合成一个用户的面部图像。其中，通过适当的改变或者替换参考图像的质感信息，该质感信息用以合成一个面部图像，可以合成具有不同的输入面部图像形态的新面部图像。

合成的面部图像被传输到用户接口装置10a，10b或者50，并且通过输出单元17或者57而显示。在步骤S13中，用户接口装置10a，10b或者50的用户命令输入单元12或者52自用户接收一条用户控制命令，该命令用于表示是否改变已显示的面部图像的形态信息。

当用户控制命令指示改变形态信息时，输入面部图像的形态信息根据用户控制命令(如，一个指示部分转换的控制信号，诸如通过用鼠标来拖拽该部分而扩大或者减小一个显示的面部图像的具体部分，或者一个指示彻底转变的控制信号，诸如利用滑块来扩大整个面部)而改变，并且操作回到步骤S12以合成一个新的面部图像。

当在S13步骤中用户不想改变形态信息时，在步骤S14中，附件图像添加单元324或者624根据一个外加的用户控制命令，对在步骤S12中所合成的面部图像添加存储在图像DB33或者63中的各种附件图像，或者部分图像替换单元323或者623，利用存储在图像DB33或者63中的各种样本图像，替换在步骤S12中所合成的面部图像的特殊部分，因而对所合成的面部图像添加各种额外的效果。

因此，由图像处理装置30或者60所合成的面部图像可传输到用户接口装置10a，10b或者50并且显示给用户。在步骤S15，图像修正单元15或者55根据用户通过用户命令输入单元12或者52所接收的控制命令(一条图像修正控制信号)，最后修正合成的面部图像。由图像修正单元15或者55所修正的合成面部图像存储在图像存储单元16或者56中，或者在步骤S16由单元17或者57而显示或者打印。

如图3所示的面部信息提取步骤S11在被归纳为从已知面部模型的输入面部图像中获得形态信息S_in和质感信息T_in的一个程序。

本发明中，面部图像的形态信息表示为相对于参考图像的变形画面，且面部图像的质感信息表示为绘制在参考图像上的输入图像的颜色或者亮度信息。换言之，面部图像的形态信息S被定义为参考图像上每一点p_i(i＝1，…，n；n为参考图像上的预定点数)和面部图像上每个对应点之间的距离。面部图像的质感信息T可定义为输入图像上的每一点相对于参考图像上每一对应点p_i(i＝1，…，n)的颜色或者亮度值。当利用一个形态平均值和质感平均值而得到的一个合成图像被用于本发明的一个实施例的参考图像时，可用于本发明的参考图像并不局限于以上实施例。任何预先准备的m图像中之一都可被用作参考图像。

存储在面部模型DB331或者631中的面部模型是根据以下程序而预先得到的。首先，形态信息S_j(j＝1，…，m)以及质感信息T_j(j＝1，…，m)是从预先准备的基于参考图像的m个面部图像中提取得到的。由此，可以得由每一点p_i(i＝1，…，n)的形态信息S_j(j＝1，…，m)的平均值所构成的形态平均值 S，以及由每一点p_i(＝1，…，n)上的质感平均值所构成的质感平均值 T。这样可以得到形态差 ${\tilde{S}}_j=S_j-\stackrel{\‾}{S}(j=1,\·\·\·,m)$ 的协方差，以及质感差 ${\tilde{T}}_j=T_j-\stackrel{\‾}{T}(j=1,\·\·\·,m)$ 的协方差。

通过对这些得到的数值作主分量(主要指标)分析，而得到m个面部模型的协方差的形态特征向量S_i(i＝1，…，m-1)，以及质感特征向量t_i(i＝1，…，m-1)。因此，根据形态特征向量S_i(i＝1，…，m-1)，以及质感特征向量t_i(i＝1，…，m-1)一个面部图像可用方程(1)来表达 $S=\stackrel{\‾}{S}+\underset{i=1}{\overset{m-1}{\mathrm{\Σ}}}{\mathrm{\α}}_i{s}_i,T=\stackrel{\‾}{T}+\underset{i=1}{\overset{m-1}{\mathrm{\Σ}}}{\mathrm{\β}}_i{t}_i---\left(1\right)$

(其中， $\stackrel{\→}{\mathrm{\α}},\stackrel{\→}{\mathrm{\β}}\∈R^{m-1},$ 且m是面部模型数)

通过此程序，形态平均值 S，质感平均值 T，形态特征向量S_i(i＝1，…，m-1)，以及质感特征向量t_i(i＝1，…，m-1)被存储在面部模型DB331或者631中，并且用于输入面部的形态信息以及质感信息的提取。

如图3所示面部信息提取步骤S11可以参考图4得到更加细致的说明。在步骤S111中，如图4所示，输入面部图像是归一化的。更具体地，预定的特征点(例如，每个瞳孔的中心点和一个嘴唇的中心点)是从一个输入面部图像中提取的，然后输入面部图像被上、下、左、右移动，并且调节其大小，以便输入面部图像的已提取特征点的位置处于对应参考图像的特征点上。这种的图像归一化步骤可通过预定的软件而执行，或者可以根据由用户所输入的一个控制命令而手动执行。由于其具体分析程序超出了本发明的范围，省略其说明。

步骤S112估算了形态信息。更特别地，对在S111步所得到的输入图像进行和参考图像(或者一个具有与参考图像合成质感估算图像相同的形态的合成质感估算图像T_{in_k})应用一种分层、梯度光流算法(Lucas和Kanade)来处理，由此根据参考图像估算形态信息S_{in_pre_l}(已归一化的输入面部图像和相应参考图像上点的之间的距离位置差值)。通过采用分层，梯度光流算法，两个类似的图像间的对应可利用两图像强度的一种光流来表达。

根据分层，梯度光流算法，在步骤S112所得到的形态信息S_{in_pre_l}包括输入图像的光或阴影而引起的一个误差值。因此，在步骤S113中，对形态信息S_{in_pre_l}进行了补偿。更具体地，通过随之对形态特征向量S_i(i＝1，…，m-1)进行线性分解以及对形态信息S_{in_pre_l}进行线性叠加而实现对误差值的补偿，从而得到误差补偿形态信息S_{in_correct_l}。其中，为增加横向自由度，优先地将步骤S112得到的估算形态信息S_{in_pre_l}，和步骤S113得到的补偿形态信息S_{in_correct_l}的加权求和S_{in_l}作为形态信息的结果，如其计算方法如方程(2)所示：

S_{in_l}＝W·S_{in_pre_l}+(1-W)·S_{in_correct_l}(2)

(其中，0≤W≤1)

在步骤S114中，进行了逆变换。尤其特别地，利用在步骤S113中得到的形态信息S_{in_l}，输入面部图像被转变成参考图像。这个过程称为“逆变换”。

在步骤S115根据质感特征向量t_i(i＝1，…，m-1)，对反向变换图像的质感信息进行了线性分解，然后对线性分解的结果进行了线性叠加，从而得到输入面部图像的质感信息T_{in_l}。

由此，步骤S112所得到的归一化的输入面部图像，被步骤S114转换成参考图像的输入图像替换，而参考图像被与参考图像具有相同形态的质感信息所替换。然后，重复S112步至S116步，因而得到S_{in_k}(k＝1，…)。换言之，在第k次重复时，步骤S112和S113中的S_{in_l}、S_{in_pre_l}、以及S_{in_correct_l}分别被S_{in_k}、S_{in_pre_k}、以及S_{in_correct_k}替换，而步骤S114中的S_{in_l}被 $S_{\mathrm{in}}(=S_{\mathrm{in}\_l}+\·\·\·+S_{\mathrm{in}\_k})$ 替换。此外，S115步中的T_{in_l}被T_{in_k}替换。最后一次循环得到的T_{in_l}成为输入面部信息最终的质感信息T_in。这种循环重复执行，直到S_{in_k}的向量模‖S_{in_k}‖小于预定的下限值，或者直到重复数等于或者大于预定数目，因此在S117步中得到根据参考图像而计算的输入图像信息的形态信息S_in。

因此，可利用根据参考则计算出的输入面部图像的形态信息S_in以及质感信息T_in，而存储输入面部图像。换言之，根据参考图像而计算得到的输入面部图像的质感信息T_in，根据由参考图像而计算得到的输入面部图像的形态信息S_in而变换，从而合成输入面部图像。

这种合成图像的特点的典型实施例即面部图像的漫画生成和化妆设计。面部图像的漫画生成方法可分为面部图像合成方法以及样本图像替换方法。

相应于本发明合成面部图像生成装置1和40所采用的，利用面部图像合成方法，根据面部图像的形态信息而生成漫画图像的程序将参考图5给予于说明。

在S20步骤，面部处理器32或者62的面部信息提取器321或者621从用户接口装置10a，10b或者50处接收一个输入面部图像，并且在步S21根据预定的参考图像提取输入面部图像形态信息S_in和质感信息T_in。

因而，面部图像合成器322或者622通过用户接口装置10a，10b或者50，向用户呈现存储在图像DB332或者632中的不同风格的漫画图像(例如，一个动画风格，一种速写风格，一种水彩打印风格)，这样用户能够在S22步选择喜欢的漫画风格。其中，存储在附加图像DB332或者632中的不同风格的漫画图像具有与参考图像相同的形态。

在步骤S23中，面部图像合成器322或者622，利用输入面部图像的形态信息S_in，合成被选风格的漫画图像或者一个图像，此图像是通过对被选漫画图像和反应输入面部图像的质感信息T_in的图像进行加权求和而生成的，因而生成一个反应用户面部形态信息的漫画图像。

在步骤S24中，合成漫画图像被传输到用户接口装置10a，10b或者50并且通过输出单元17或者57而显示，且用户接口装置10a，10b或者50的用户命令输入单元12或者52接收一个用户控制命令，该命令用于指示是否改变所显示的用户漫画图像的形态信息。

当用户控制命令指示改变形态信息时，形态信息S_in根据用户控制命令(例如，一条指示部分改变的控制信号，如通过用鼠标拖拽该部分而扩大或者减少一个所显示的面部图像的特殊部分，或者一条控制信号指示整体改变，诸如利用滑块而扩大整个面部)而改变，并且操作回到S22步以合成一个新的漫画图像。

在S25步中，与一个额外的用户控制命令相对应，附件图像添加单元324或者624，检索存储在图像DB335或者635中的各种附件图像(眼镜，发型，帽子，耳朵以及躯体)，并将这些附件添加到漫画图像上。当附件图像添加单元324或者624添加一个附件图像时，利用在S21步提取的形态信息S_in，自动执行大小或者位置调节而得到更自然的结果。此外，部分图像替换单元323或者623利用在样本图像DB333或者633中检索的样本图像，替换一个漫画图像中的一个具体部分，因而使漫画图像表达出高兴，悲伤或者生气的表情。此外，通过采用动画框来表达面部的改变可以达到移动图像的效果。

因而，由图像处理装置30或者60而合成的动画图像被传输用户接口装置10a，10b或者50并显示给用户。在S15步，图像修正单元15或55，最终根据通过用户控制输入单元12或52接收的用户控制命令(一条图像校对控制信号)，来修正合成的漫画图像。在S16步中，由图像修正单元15或55而修正的合成漫画图像存储在图像存储单元16或56中，或者由输出单元17或57而显示或打印。

通过这种方法而得到的漫画图像可以即时应用于特殊的目的。或者，漫画图像可用作当一个艺术家制作一幅漫画时的一个草图，因而增加了手工处理的生产率。

本发明的基于面部信息的形态信息的合成面部图像生成装置1及40所采用利用样本替换方法生成漫画的程序，将参考图6加以说明。

图6除了如图5所示的步骤外进一步包括步骤S35和S36。因此，对于步骤S30到S34以及S37到S39的说明将被省略。换言之，如图6所示的方法是一个利用在样本图像DB333或633中所存储的样本图像，而替换根据如图5所示的方法而合成的漫画图像的部分或者整体部分的方法。

存储在样本图像DB333或633中的样本图像是通过对不同面部的形态信息进行分析的结果而计算出来的。样本图像信息形成方法可分为两种情况：一种情况是其样本信息的变形是允许的，另一种情况是其样本信息的变形是不允许的。

当采用允许其样本信息的变形情况的样本信息形成方法时，形成了一个归一化的样本图像，且此样本图像的大小和形态是根据在S31步从输入面部图像中提取的形态信息S_in而变形的。这种方法的优点是，导致反应输入面部图像的形态以及需要小量的样本图像，但其缺点是通过变形而扭曲了样本信息，并且恶化了整个图片的质量。

当采用不允许其样本信息变形情况下的样本图像形成方法时，漫画图像的部分或者整个部分只被一个预先制作的样本图像所替换，而合成一个新的漫画图像。因此，这种方法的优点是可以达到高分辩率(清晰度)，但缺点是难于引起反应输入图像的形态，并且需要预先准备尽可能多的样本图像。

如图6所示的步骤S35所采用的测量差D的方法可用方程(3)来表达。 $D=W\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(C_{\mathrm{si}}-C_{\mathrm{ri}})+(1-W)\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(C_{\mathrm{ti}}-C_{\mathrm{qi}})---\left(3\right)$

其中，0≤W≤1，C_si(i＝1，…，n)是输入图像的形态信息，C_ri(i＝1，…，n)是样本图像的形态信息，C_qi(i＝1，…，n)是输入图像的质感信息和参考图像质感信息的差T_ref，且C_ti(i＝1，…，n)是样本图像的质感信息和参考图像质感信息的差T_ref。不是立即将形态信息以及质感信息应用到C_si，C_ri，C_qi，以及C_ti，而是采用了通过对形态和质感信息进行线性分析而得到的特征向量的系数，如方程(1)所示。其中，每个***具有(m-1)维。

在S35步中部分信息替换单元323或者623测量输入图像和每个样本图像的差，并且在S36步中采用最小差的样本图像来替换部分或者全部的漫画图像。

当漫画图像是根据样本图像替换方法而生成时，不是所生成的漫画图像，而是用于替换部分或者全部漫画图像的样本图像的编码，被压缩并且在低速的通信环境中被传输，因而显著增加压缩率。

结合图7说明了本发明的合成面部图像生成装置1和40所采用的，根据面部信息的形态信息而设计化妆的程序。

除图7包括步骤S42到S45，而不是图5的S22到S24步以外，图7与图5是相同的。因此，省略对步骤S40，S41以及S46的说明。

在S42步中，面部图像合成器322或者622通过用户接口装置10a、10b或者50向用户呈现了各种存储在化妆图像DB334或者634中的样本化妆图像，这样用户可以选择一个喜欢的样本化妆图像。其中，样本化妆图像与参考图像具有相同的形态。

在步骤S43中，面部图像合成器322或者622利用S41从输入面部图像信息中提取的形态信息S_in，将所选择的样本化妆图像或者一个图像变形，此图像是通过对所选择的样本化妆图像，和在S41步中从输入面部图像所提取的反应质感信息T_in的图像进行加权求和而生成的，从而合成一个面部图像，其中对用户的面部图像使用了所选择的样本化妆图像。

在步骤S44中，反应样本化妆图像合成的面部图像被传输到用户接口装置10a、10b或者50并且通过输出单元17或者57而显示，并且用户接口装置10a、10b或者50的用户命令输入单元12或者52，接收一个用户控制命令，此命令指示对所显示的用户面部图像进行修正。面部图像合成器322或者622，根据用户控制命令修正反应样本组合图像的面部图像，并且修正的面部图像被传输到用户接口装置10a、10b或者50，并且通过输出单元17或57而显示。

因此，在步骤S45中，用户接口装置10a，10b，或者50的用户命令输入单元12或者52接收发自用户的一条用户控制命令，此命令指示用户对所显示的面部图像满意与否。其中，当用户控制命令表示“满意”时，程序进行到用于添加附件的步骤S46。反之，当用户控制命令表示“不满意”时，程序回到步骤S42。

由于本发明已结合其优选实施例而进行充分公开和说明，本领域的技术人员应明确，在不背离本发明的精神和范围的情况下，可对本发明对各种形式和细节的改变。以上说明中所采用的实施例是为了说明而不是限制。因此，本发明的范围将由所附加的权利要求而不是由以上的说明来限制，应该明白的是任何在本发明范围之内的改进都包括在本发明内。

工业实用性

与本发明相应，第一，输入面部图像的形态信息，该信息表示为对于参考图像的一个变形画面，是从输入面部图像中提取的，并且与参考图像具有相同形态但具有不同质感信息，以及采用了与输入面部图像的提取形态信息的图像，因而合成反应输入面部图像的形态，并且在忽略输入面部图像的状态的情况下，具有高质量的自然的新图像。因此，本发明可以有效地应用在各种领域，诸如个性的生成，虚拟化妆设计，罪犯搜索的图像拼接制作，以及动画和游戏制作。

第二，在生成漫画图像时，包括一个用户形态特点不同的漫画可以即时生成，并且所生成漫画的部分或者整体可以被扩大或者变换。此外，通过利用用户面部形态的信息，复杂的图像修正过程可以得到简化并且可自动进行，因而提高生成个性的生产率。

第三，在化妆设计时，用户可以轻易地并且检查一个关于用户面部图像的化妆设计，并且能够容易进行部分或者整体的修正其化妆设计。

每四，可即时地检查向一个合成的面部图像添加各种附件后的效果。此外，本发明可易于各种应用，诸如根据形态信息实现虚拟实中的化身，三维面部图像的恢复，以及需要面部图像的视频聊天。

Claims (20)

1、一种根据输入面部图像的形态信息而合成一个新面部图像的装置，此装置包括：

一个用户接口装置，用于接收面部图像信息和用户的控制命令，将这些命令传输到图像处理装置，从图像处理装置接收合成面部图像信息，并根据用户控制命令输出或者存储已合成的面部图像信息；和

一个图像处理装置，用于从用户接口装置所传输的面部图像信息中提取关于输入面部图像的形态信息和质感信息，其形态信息表示为一关于预定的参考图像变形的画面，其质感信息是关于绘制在参考图像上的输入图像的光线和颜色的信息，并且用于根据用户命令利用输入面部图像的形态信息，变换从质感图像中选择的一幅质感图像，此图像存储于的图像数据库中并且与参考图像的形态相同，或者变换通过对所选质感图像和反应所提取质感信息的质感图像进行加权求和而生成的图像，从而生成一个合成面部图像。

2、如权利要求1所述的装置，其特征在于，用户接口装置和图像处理装置可在一个单独的计算机***内实现。

3、如权利要求1所述的装置，其特征在于，用户接口装置和图像处理装置是独立的，分别实现在两个或者多个计算机***中，该装置进一步包括一个通信网络，以传输和接收用户接口装置和图像处理装置间的数据。

4、如权利要求2或3所述的装置，其特征在于，图像处理装置包括：

一个面部信息提取器，用以从用户接口装置所传输的面部图像信息中，提取关于一个输入面部图像的形态信息以及质感信息，其形态信息表现为对参考图像的变形画面，其质感信息，即利用形态信息绘制在参考图像上的输入面部图像的颜色或者亮度信息；

一个面部图像合成器，用以根据用户控制命令，利用面部信息提取器所提取的输入图像的形态信息，通过将存储于图像数据库中的质感图像中所选择的一幅质感图像进行变换，或者变换一幅图像，该图像是通过对选择的质感图像和由信息提取器所提取的反应质感信息的质感图像进行加权求和而生成的，从而合成一个新的面部图像；及

一个图像数据库，用以存储参考图像的信息和与参考图像具有相同形状的各种图像的质感信息。

5、如权利要求4所述的装置，其特征在于，图像数据库包括：

一个面部模型数据库，用以存储形态平均值、质感平均值，形态特征向量，以及质感特征向量，该特征向量值是通过对形态平均值、质感平均值、形态差协方差、以及质感差的协方差进行主分量分析而得到的，其协方差通过基于从若干面部图像中所提取的形态和质感信息的参考图像而得到的；

一个附加图像数据库，用以存储有关不同风格漫画图像的信息，该漫画图像与参考图像具有相同的形态；

一个化妆图像数据库，用以存储有关各种化妆设计图像的信息，该化妆图像具有与参考图像相同的形态。

6、如权利要求5所述的装置，其特征在于，其面部图像提取器包括：

一个归一化模块，用以根据参考图像而对输入面部图像进行归一化；

一个形态信息估算模块，用以根据形态信息，通过对归一化的输入面部图像和参考图像进行一种分层、梯度光流算法的处理而参考图像；

一个形态信息补偿模块，通过对根据存储在面部模型数据库中的形态特征向量，对所估算的形态特征向量进行线性分解以及进行线性叠加，而实现对形态信息估算模块所估算的形态信息误差值的补偿；

一个逆变换模块，利用补偿的形态信息，将输入面部图像的形态信息转变成参考图像的形态信息；

一个质感信息确定模块，通过根据存储在面部模型数据库中的质感特征向量，对反向变换图像的质感信息进行了线性分解和线性叠加，从而确定输入面部图像的质感信息；

一个循环模块，以重复循环以上模块直到预定条件被满足，因而根据参考图像生成输入面部图像的形态信息。

7、如权利要求5所述的装置，其特征在于，面部图像数据库进一步包括一个样本图像数据库，用以存储有关面部图像的每一特殊部分都具有不同面部表情的漫画样本图像的信息，并且图像处理装置进一步包括一个部分图像替换单元，利用存储在样本图像数据库中的一个与合成的面部图像具有最大相似程度的样本图像来替换由面部图像合成器所生成的合成面部图像的部分或者整体。

8、如权利要求5所述的装置，其特征在于，面部数据库进一步包括一个附件图像数据库，用以存储关于各种附件图像的信息，此附件图像可以被添加到合成的面部图像上，并且图像处理装置进一步包括一个附件单元，用以向由面部图像合成器生成的合成面部图像添加一个附件，该附件是根据用户控制命令从存储在附件数据库的附件图像中选择的一个。

9、一种根据输入的面部图像的形态信息而合成一个新面部图像的方法，该方法包括如下步骤：

(a)从输入的面部图像信息中提取关于输入面部图像的形态信息以及质感信息，其形态信息表示为一关于预定的参考图像变形的画面，其质感信息是关于绘制在参考图像上的输入图像的光线和颜色的信息；和

(b)根据用户命令利用输入面部图像的形态信息，变换从质感图像中选择的一幅质感图像，此图像存储于图像数据库中并且与参考图像的形态相同，或者变换通过对所选质感图像和反应所提取质感信息的质感图像进行加权求和而生成的图像，从而生成一个合成面部图像。

10、如权利要求9所述的方法，其特征在于步骤(a)包括如下子步骤：

(a1)根据参考图像而对输入面部图像进行归一化；

(a2)根据形态信息，通过对归一化的输入面部图像和参考图像利用分层、梯度光流算法进行处理而估算参考图像；

(a3)根据存储在面部模型数据库中的形态特征向量，对所估算的形态特征向量进行线性分解以及进行线性叠加，而实现对步骤(a2)所估算的形态信息误差值的补偿；

(a4)利用在步骤(a4)补偿的形态信息，将输入面部图像的形态信息转变成参考图像的形态信息；

(a5)根据预先存储在面部模型数据库中的质感特征向量，对在步骤(a4)中变换的图像的质感信息进行线性分解和线性叠加，从而确定输入面部图像的质感信息；

(a6)参考步骤(a4)和(a5)的结果，重复步骤(a2)至(a5)，直到预定条件被满足，因而根据参考图像生成输入面部图像的形态信息和质感信息。

11、如权利要求10所述的方法，其特征在于，步骤(a)进一步包括如下步骤：

(a0)根据从大量模型面部图像中所提取的形态信息和质感信息，对从参考图像中得到的形态平均值、质感平均值、形态差协方差、以及质感差的协方差进行主分量分析，而生成形状特征向量和质感特征向量。

12、如权利要求9所述的方法，其特征在于，步骤(b)包括如下子步骤：

(b1)根据用户控制命令从不同风格的漫画图像中选择一个漫画图像，该图像存储在图像数据库中且与参考图像具有相同的形态；且

(b2)合成在步骤(b1)中所选择的漫画图像或者一个图像，此图像是利用输入面部图像的形态通过对所选择的漫画和一反应所提取的质感信息的图像进行加权求和而生成的，从而生成一个反应输入面部图像的形态信息的漫画图像。

13、如权利要求12所述的方法，其特征在于，步骤(b)进一步包括子步骤：

(b3)当用户命令确认改变形态信息时，根据用户控制形态信息改变的控制命令，改变输入面部图像的形态信息，并重复(b1)和(b2)。

14、如权利要求12所述的方法，其特征在于，进一步包括如下步骤：

利用与存储在图像数据库中与合成的漫画图像具有最大相似性的样本图像来替换在步骤(b)所合成的漫画图像的部分或者整体。

15、如权利要求14所述的方法，其特征在于，其相似性通过对合成的漫画图像和样本图像间形态信息差之和，及合成的漫画图像和样本图像之间质感信息差的加权求和，或者表示合成漫画图像形态信息的特征向量系数和表示样本图像形态信息的特征向量系数之差的和，及表示合成漫画图像质感信息的特征向量系数和表示样本图像的质感信息的特征向量系数之差的和加权求和而确定的。

16、如权利要求12或14所述的方法，其特征在于，进一步包括步骤：

(d)对合成的漫画图像添加一个附件图像，该附件图像是根据用户控制命令从存储在图像数据库的附件图像中选择的。

17、如权利要求16所述的方法，其特征在于，在步骤(d)所添加的附件图像的大小和位置是根据在步骤(a)中所提取的输入面部图像的形状信息而确定的。

18、如权利要求9所述的方法，其特征在于，步骤(b)包括如下子步骤：

(b1)根据用户控制命令，从各种风格的化妆设计图像中选择一个化妆设计图像，该化妆设计图像存储在图像数据库中，且与参考图像具有相同的形态；

(b2)合成在步骤(b1)所选择的化妆设计图像，或者一个图像，此图像是利用输入面部图像的形态信息，通过对所选择的化妆设计图像和一个反应所提取的质感信息的图像进行加权求和而生成的，从而生成一个反应输入面部图像的形态信息的化妆设计图像；且

(b3)根据用户指示修正化妆的控制命令而改变参考图像的质感信息。

19、如权利要求18所述的方法，其特征在于，进一步包括步骤：

对合成的化妆设计图像添加一个附件图像，该附件图像是根据用户控制命令从存储在图像数据库中的附件图像中选择的。

20、如权利要求19所述的方法，其特征在于，在步骤中所添加的附件图像的位置和大小，是由步骤(a)中所提取的输入面部图像的形态信息而决定的。

Images