CN1499816A

CN1499816A - 图像处理方法及其装置

Info

Publication number: CN1499816A
Application number: CNA2003101141600A
Authority: CN
Inventors: 今川和幸; 岩佐克博; 西隆晓; 福宫英二; 松尾英明; ʷ; 片冈知典; 梶田哲史; 渕上郁雄
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Solvingpeak Venture Capital Co ltd
Priority date: 2002-11-07
Filing date: 2003-11-05
Publication date: 2004-05-26
Anticipated expiration: 2023-11-05
Also published as: CN100474876C; EP1434170A3; EP1434170A2; US20040131278A1; US7133658B2

Abstract

一种图像处理方法。检测输入图像中的身体部分区域的位置。根据检测出的身体部分区域的位置，确定装饰的坐标系的原点位置。根据确定的原点位置，输出将装饰配置在输入图像中的图像。在输入图像中，在人物被摄体移动时，根据其移动，使装饰移动。即使人物图像和装饰双方移动，装饰也不对人物图像产生干扰，可以鲜明地显示人物图像，通过使装饰的移动与人物图像的移动相协调，可以提高游戏性。

Description

图像处理方法及其装置

技术领域

本发明涉及装入在使用图像的通信装置(例如，用于电视电话、电视会议、视频邮件或视频会话的装置或门内外通话机等)中的图像处理装置，特别涉及对人物图像(例如用户的脸部图像或全身图像等)进行编辑的图像处理装置。

背景技术

有将对用户进行摄影的图像输出印刷在各种印刷媒体上的游戏机。这种游戏机可将装饰(例如，图案或花纹等)帧合成重合在摄影的人物图像上，输出印刷在印刷媒体(例如，薄板等)上。

这样的游戏机在其自身中不具有调整人物图像和装饰的位置关系的功能。因此，用户即使将人物图像以收容在装饰帧内来配置，装饰重叠在人物图像上，脸部和头部等被隐没，人物图像不鲜明。

考虑到这一点，文献1((日本)特开2000-22929号公报)提出了以下技术：不将装饰重叠在人物图像的身体部分，特别是与其脸部和头部对应设定的身体部分区域之后，来附加装饰。

另一方面，目前带有照相机的携带电话正在实用化，它具有将摄影的人物图像与装饰帧重合合成，发送合成的图像的功能。如果发送者使用这样的带有照相机的携带电话，则接收者可看到发送者编辑的图像，能够享受乐趣。

在文献1中，装饰以不移动为前提。而且，在该文献记载的技术中，以装饰不附加在人物图像的身体部分，特别是在与其脸部和头部对应设定的身体部分区域中来附加装饰。

在该文献中，是将对印刷媒体的印刷作为输出，而且一旦已印刷的图像在印刷后通常也不再进行编辑。也可以说这样的想法的妥当的。

但是，上述这样的带有照相机的携带电话正在变得十分普及，这里，合成图像在一般情况下不印刷在印刷媒体上，而显示在显示器上。而且，用户为了今后获得进一步的乐趣，会设法移动装饰。

但是，在现有技术中，只考虑了将不移动的装饰附加在不移动的人物图像上，而完全没有考虑附加移动装饰的情况。因此，如果将现有技术简单地应用在移动的人物图像上，则人物图像和装饰产生干扰，人物图像变得不鲜明，不能进行提高游戏性的使用。

发明内容

因此，本发明的目的在于提供一种图像处理方法及其关联技术，可以鲜明地显示人物图像，并且提高游戏性。

在第1发明的图像处理方法中，包括：检测输入图像中的身体部分区域位置的步骤；根据检测出的身体部分区域的位置，确定装饰的坐标系位置的步骤；以及根据确定的位置，输出将装饰配置在输入图像中的图像的步骤。

根据该结构，在输入图像中，在被摄人物体移动时，根据其移动，可以使装饰移动。

在第2发明的图像处理方法中，在输出步骤中，输出将装饰扫描在输入图像中的图像数据。

根据该结构，在输出的图像的传送目的地，不需要将输入图像和装饰进行合成。

在第3发明的图像处理方法中，在输出步骤中，输出将输入图像和装饰相关联的图像数据。

根据该结构，在输出的图像的传送目的地，容易复原输入图像，十分便利。

在第4发明的图像处理方法中，输入图像和装饰通过元文件相关联。

根据该结构，可以使输入图像和装饰简单地关联。

在第5发明的图像处理方法中，所述元文件为SMIL形式。

根据该结构，可容易地实施输入图像和装饰的相关联。

在第6发明的图像处理方法中，包括：检测输入图像中的身体部分区域尺寸的步骤；根据检测出的身体部分区域尺寸，确定装饰的坐标系刻度的步骤；以及根据确定的刻度，输出将装饰配置在输入图像中的图像的步骤。

根据该结构，在被摄人物体靠近摄像体时，装饰的尺寸和移动路径同时增大。相反，在远离时，装饰的尺寸和移动路径同时减小。由此，对于被摄人物体的前后方向的移动，可以看到装饰在跟踪。

在第7发明的图像处理方法中，包括：检测身体部分区域的输入图像的平面内的旋转量的步骤；根据检测出的旋转量，确定装饰的坐标系的旋转量的步骤；以及根据确定的旋转量，输出将装饰配置在输入图像中的图像的步骤。

根据该结构，在将脸部横向倾斜时，也可将装饰倾斜，并且装饰的移动路径也倾斜，所以对于人物的输入图像平面内的旋转方向的变化，也可以看到装饰在跟踪。

在第8发明的图像处理方法中，包括：检测身体部分区域的相对于输入图像的平面的旋转量的步骤；根据检测出的旋转量，确定装饰的坐标系的旋转量的步骤；以及根据确定的旋转量，输出将装饰配置在输入图像中的图像。

根据该结构，在人物‘右转’时，可将装饰和移动路径随着人物的旋转而变形。因此，对于人物相对于输入图像平面的方向变化，可以看到装饰在跟踪。

在第9发明的图像处理方法中，包括：检测输入图像中的身体部分区域的步骤；以使处于检测出的身体部分区域的前景侧的区域和处于背景侧的区域有所不同来确定装饰的不透明度的步骤；以及根据确定的不透明度，输出将装饰配置在输入图像中的图像的步骤。

根据该结构，由于装饰的移动路径可在身体部分区域的背面到来时将装饰消失，所以装饰正好包围身体部分区域，可以看到以装饰为中心立体式移动的情况。

在第10发明的图像处理方法中，在装饰与身体部分区域产生冲突时，将装饰的移动方向变更为偏离身体部分区域的方向。

根据该结构，在装饰碰撞身体部分区域时，可提供产生反射的移动。

在第11发明的图像处理方法中，身体部分区域是人物被摄体的脸部区域。

在该结构中，由于脸部如实地表示人物的想法和感情，所以如果在身体部分区域选择脸部区域，则提高游戏性的效果大。

附图说明

图1是本发明一实施方式的图像处理装置的功能方框图。

图2是本发明一实施方式的图像处理装置的方框图。

图3是本发明一实施方式的图像处理装置的外观图。

图4(a)是本发明一实施方式的元文件的示例图。

图4(b)是本发明一实施方式的输入图像文件的示例图。

图4(c)是本发明一实施方式的装饰文件的示例图。

图5是本发明一实施方式的图像处理装置的流程图。

图6(a)～图6(c)是本发明一实施方式的模板的示例图。

图7(a)～图7(c)是本发明一实施方式的模板的示例图。

图8(a)～图8(c)是本发明一实施方式的模板的示例图。

图9是本发明一实施方式的图案匹配的说明图。

图10(a)～图10(b)是本发明一实施方式的装饰信息的构成图。

图11(a)～图11(c)是本发明一实施方式的用户接口的显示例图。

图12(a)～图12(g)是本发明一实施方式的图像处理装置的处理过程说明图。

图13是本发明一实施方式的坐标系的说明图。

图14(a)～图14(d)是本发明一实施方式的动画片的说明图。

图15是本发明一实施方式的动画片的说明图。

图16(a)是本发明一实施方式的装饰的示例图。

图16(b)是本发明一实施方式的锚点(anchor point)的说明图。

图16(c)是本发明一实施方式的合成图像的示例图。

图17是本发明一实施方式的装饰的示例图。

图18是本发明一实施方式的合成图像的示例图。

图19是本发明一实施方式的装饰的示例图。

图20是本发明一实施方式的合成图像的示例图。

具体实施方式

以下参照附图说明本发明的实施方式。首先，在说明具体的结构之前，解释重要的用语。

‘人物图像’是包含人物的一部分或全部图像的图像。因此，可以是人物整体的图像，也可以仅是人物的脸部或背影、或仅上半身的图像。此外，也可以是拍摄多个人物的图像。不用说，也可以是背景中人物以外的风景和花纹等构成的图案。

‘身体部分’是指人物身体的一部分，即使看不到穿着在身体部分上的衣服、帽子或鞋，只要是可识别是人物身体的一部分的部分，就包含于身体部分。因此，脸部可以是身体部分，头部也可以是身体部分。而且，眼、鼻、口、耳、眉、发、脖子、穿着衣服的上半身、手、腕、足、穿鞋的脚、戴帽的头、戴眼镜的眼等也是身体部分。

‘身体部分区域’是人物图像中被确定为作为身体部分占有区域的区域，身体部分区域在其内部可包含不是身体部分的部分，也可以是位于身体部分的内部位置的区域。

即，如果身体部分是脸部，则身体部分区域既可包含位于脸部周围的区域，也可以是包围两眼、口和鼻的最小尺寸的长方形，而不包含额头和耳。

‘装饰’是追加的图像图案，该图像图案可以是预先保持的图像图案，也可以是用计算机图像技术生成的图像图案。此外，该图像图案也可以是字符或记号的图案或图形的图案。

图1是本发明一实施方式的图像处理装置的功能方框图。如图1所示，本方式的图像处理装置有以下主要构成部件。

图像输入部1获得输入图像。在本方式中，在输入图像中包含人物图像，容许该人物图像移动，输入图像通常指活动图像的1帧部分的图像。

但是，该输入图像可以是用照相机摄影之后的图像，也可以是对在摄影后根据MPEG等编码方式编码的数据(可以是装载记录于记录媒体中的数据，也可以是从发送装置接收的数据)进行解码所获得的图像。

控制部2根据图5的流程图来控制图1所示的各主要部件。

图像输出部3将在输入图像中合成了装饰的图像作为输出图像来输出。该输出图像除了显示在显示器件上以外，也可以根据上述编码方式进行编码并保存在记录媒体中，也可以用其他通信装置来发送。

输入图像存储部4存储图像输入部1输入的输入图像。

模板存储部5存储身体部分区域的模板。以下，在本方式中，将脸部区域作为身体部分区域采纳。

模板如图6(a)、图6(b)、图6(c)所示，将脸部部件(头、眼、鼻、口)的各自轮廓模型化后的模板准备各种尺寸来使用。

此外，除了图7(a)所示的基本姿态的模板以外，如图7(b)、图7(c)所示，同时使用具有输入图像平面内的旋转量的模板。由此，可以检测脸部旋转造成的倾斜。

此外，除了图8(a)所示的基本姿态的模板以外，如图8(b)、图8(c)所示，同时使用具有相对于输入图像平面的旋转量的模板。由此，在脸部的方向与基本姿态不同时(通过脸部中心的法线矢量不垂直于输入图像平面的情况)，可以检测脸部的方向。

在图1中，检测部6用模板存储部5的模板，从输入图像存储部4中存储的输入图像中，检测身体部分区域。

这里，如图9所示，检测部6在输入图像存储部4的输入图像中施加微分滤波，提取边缘分量。此外，检测部6从模板存储部5中选择模板53，使用选择的模板53和边缘分量，执行图案匹配。

该图案匹配是将模板53(Nx*Ny像素)在比其大的输入图像(Mx*My像素)内的搜索范围(Mx-Nx+1)(My-Ny+1)上移动，求出下式所示的残差R为最小的模板图像的左上位置(a，b)的处理。

【式1】

R (a, b) = Σ_{m_{y} = 0}^{Ny - 1} Σ_{m_{x} = 0}^{Nx - 1} | I_{(a, b)} (m_{x}, m_{y}) - T (m_{x}, m_{y}) |

其中，在(式1)中，I(a，b)(mx，my)是输入图像的部分图像，T(mx，my)是模板53的图像。

此外，取代(式1)，求出下式表示的相互相关系数C，也可以求出相互相关系数C最大的模板图像的左上位置(a，b)。

【式2】

C (a, b) = Σ_{m_{y} = 0}^{Ny - 1} Σ_{m_{x} = 0}^{Nx - 1} \frac{{I (a, b) (m_{x}, m_{y}) - \overset{&OverBar;}{I}} {T (m_{x}, m_{y}) - \overset{&OverBar;}{T}}}{\sqrt{I_{σab} T_{σ}}}

\overset{&OverBar;}{I} = \frac{1}{N_{x} N_{y}} Σ_{m_{y} = 0}^{Ny - 1} Σ_{m_{x} = 0}^{Nx - 1} I_{(a, b)} (m_{x}, m_{y})

\overset{&OverBar;}{T} = \frac{1}{N_{x} N_{y}} Σ_{m_{y} = 0}^{Ny - 1} Σ_{m_{x} = 0}^{Nx - 1} T (m_{x}, m_{y})

I_{σab} = \frac{1}{N_{x} N_{y}} Σ_{m_{y} = 0}^{Ny - 1} Σ_{m_{x} = 0}^{Nx - 1} {I_{(a, b)} (m_{x}, m_{y}) - \overset{&OverBar;}{I}}^{2}

T_{δ} = \frac{1}{N_{x} N_{y}} Σ_{m_{y} = 0}^{Ny - 1} Σ_{m_{x} = 0}^{Nx - 1} {T (m_{1}, n_{1}) - \overset{&OverBar;}{T}}^{2}

检测部6使用图6、图7、图8所示的各种模板，在使用(式1)时求出残差R最小的模板，在使用(式2)时求出相关系数C最大的模板。然后，检测部6将求出的模板的位置、尺寸、倾斜、方向分别作为输入图像中的脸部图像的各个值。

脸部图像的情况下，通过在每个帧(或每几帧)中实施同一处理，可以求出脸部的位置、尺寸、倾斜、方向的偏移。

再有，检测部6在图像中存在多个脸部时，在除了已经检测出的第1人的脸部分区域以外的区域内，将残差R小的位置或相关系数C大的位置作为第2人的脸部分区域来检测。

而且，对于第3人以后的脸部也是如此，检测部6在除了已经检测出的脸部分区域以外的区域内将残差R小的位置或相关系数C大的位置设定为脸部分区域，同时重复进行检测，直至残差R大于预定的阈值，或相关系数C减小。

不用说，以上的检测不必始终全部实施，除了脸部区域的位置及尺寸的检测以外，适当取舍选择也没有关系。

在图1中，装饰信息存储部7存储装饰信息。下面，用图10说明装饰信息。

图10(a)所示的例(装饰信息(其1))中，装饰信息由装饰图像数据和变换特性关联构成。

在‘装饰图像数据’的字段中，存储装饰图像数据本身，或存储指示装饰图像数据本身的ID或指针。再有，如图10(a)中图示的那样，装饰图像数据也可以仅由图像数据构成，而且，也可以是具有附加的属性(冲突时的动作等)的图像数据。

‘变换特性’的字段是相对于装饰层如何移动装饰，或将装饰层如何重合在输入图像中的信息。

具体地说，装饰根据变换特性，通过与输入图像不同的局部坐标系(以锚点为原点)来定义，而且，该坐标系具有位置、刻度(放大缩小率)、旋转、不透明度的属性。

更详细地说，锚点表示与装饰有关的局部坐标系的坐标原点的位置和方向。而且，‘位置’、‘刻度’、‘旋转’的各字段中设置的值表示相对于具有该锚点的坐标系(局部坐标系)的实际的图像位置、刻度(放大缩小率)、旋转的状况。

在图10(b)所示的例(装饰信息(其2))中，装饰信息由装饰图像数据和屏蔽数据关联构成。

此时的‘装饰图像数据’是作为底纹显示的图像的数据，‘屏蔽数据’表示底纹的数据部分(斜线部)和脸部区域图像显现的部分(非斜线部)的区域尺寸及位置关系。

在图1中，装饰配置部8确定装饰的配置信息，以与检测部6检测出的身体部分区域的变化谐调。

如果以图7所示的模板获得最大匹配，则检测部6检测身体部分区域的输入图像的平面内的旋转量，装饰配置部8确定装饰的配置信息，以与检测部6检测出的旋转量的变化谐调。

如果以图8所示的模板获得最大匹配，则检测部6检测身体部分区域的输入图像的平面内的旋转量，装饰配置部8确定装饰的配置信息，以与检测部6检测出的旋转量的变化谐调。

再有，后面将列举多种例子详细说明装饰配置部8的详细处理。

在图1中，合成部10根据装饰配置部8确定的配置信息，输出将装饰配置在输入图像中的图像。该图像临时存储在输出图像存储部11中后，从图像输出部3输出。

再有，为了在显示器件上进行显示，合成部10生成将(数据方式1)装饰直接扫描在输入图像上的图像数据，而作为用于向记录媒体或其他通信装置传送的图像数据，合成部10生成将(数据方式2)输入图像和对装饰进行扫描时的图案相关联的图像数据，并传送该数据就可以。按数据方式2，输入图像可容易地复元，因而很有利。再有，后面将补充说明数据方式2。

而且在图1中，操作部12是用户将操作信息输入到控制部2的部件。

下面，用图2来说明图1所示的图像处理装置及其周边部分的具体构成例。图2是图像处理装置的方框图。

在图2的例中，带有照相机的携带电话中装入图1的图像处理装置。如图2所示，这种带有照相机的携带电话有以下主要部件。

CPU21通过总线20来控制图2的各主要部件，根据存储于ROM23中的图3的流程图来执行控制程序。

在RAM22中，确保CPU21处理上需要的临时存储区域。闪存存储器24是相当于记录媒体的部件。

此外，经由天线25，通信处理部26与外部的通信装置进行数据的发送接收。

图像处理部27由与MPEG等编码方式有关的编码器/解码器等构成，对照相机28摄影的图像进行处理，同时根据CPU21指示的图像数据，控制LCD(显示器件的一例)29的显示状态。

声音处理部30控制来自话筒31的输入、以及通过扬声器32的声音输出。

接口33被连接在总线20上，通过接口33，用户可通过按键组输入操作信息，而且通过端口35，可连接其他的部件。

这里，可通过CPU21或图像处理部27处理记录于闪存存储器24中的数据或照相机28摄影的数据来实现图1中的图像输入部1。

此外，可通过CPU21与RAM22、闪存存储器24等进行数据的交换，同时实施运算来实现控制部2、检测部6、装饰配置部8及合成部10。

而且，输入图像存储部4、模板存储部5、装饰信息存储部7、配置信息存储部9及输出图像存储部11相当于在RAM22、ROM23或闪存存储器24的某一个中被确保的区域。此外，图2的按键组34相当于图1的操作部12。

再有，CPU21识别用户对按键组34进行的操作，取得来自照相机28的图像，压缩照相机图像和向闪存存储器24的保存，降低保存图像的读入和扩展，进行图像合成、图像重放、向LCD29的显示等，但也可以由图像处理部27进行这些处理中的几个处理。

图3表示本方式的图像处理装置的外观。如上所述，本方式的图像处理装置被装入在带有照相机的携带电话中。图3的带有照相机的携带电话的上侧壳体42和下侧壳体41通过结合部43可折叠地结合，是有两个弯曲类型的携带电话。不用说，图像处理装置的外形是任意的，本发明也可应用于PDA等携带电话以外的装置。

下面，参照图4，补充说明数据方式2。这里，有图4(b)所示的输入图像(文件名”face.rm”)，假设图4(c)所示的装饰(文件名”star.swf”)与其相关联。

此时，最好使用图4(a)所示的SMIL(Synchronized Multimedia IntegrationLanguage)形式的元文件。在图4(a)中，在<par>和</par>中***的<video src＝”face.rm””>的行、以及<animation src＝”star.swf”>的行被同时执行。即，在显示时，将图4(b)的输入图像和图4(c)的装饰合成。

再有，在进行图4所示的附带关联时，不需要形成将图4(b)的输入图像和图4(c)的装饰进行合成的图像本身。

此外，不是以上的SMIL形式的元文件，即使使用XML(ExtensibleMarkup Language)形式的文件、或MP4等也没有关系。即，在使用数据方式2时，无论接任何方式，只要使输入图像与装饰相关联就可以。

下面，用图1、图5、图12来说明本方式的图像处理装置的处理流程概要。这里，假设使用图10(a)所示的装饰信息(其1)。

首先，控制部2在步骤1中，对构成活动图像的所有帧，检查是否完成了处理。如果完成了则结束，如果没有完成，则将处理移至步骤2。

在步骤2中，图像输入部1获得图12(a)所示的输入图像，控制部2将其保存在输入图像存储部4中。

接着，在步骤3中，控制部2命令检测部6进行脸部区域的检测。由此，检测部6使用模板存储部5的模板(图12(b))，进行脸部区域的检测。

接着，在步骤4中，控制部2向装饰配置部8发出命令，以确定配置信息。由此，装饰配置部8使用装饰信息存储部7的装饰信息来确定配置信息，将其保存在配置信息存储部9中。其结果，可获得图12(c)所示的装饰层上的装饰图像。

接着，在步骤5中，控制部2命令合成部10进行输入图像和装饰的合成。由此，合成部10根据装饰信息存储部7中保存的装饰信息，如图12(d)所示，将装饰合成在输入图像中，将结果保存在输出图像存储部11中。

接着，在步骤6中，控制部2将输出图像存储部11的合成图像经由图像输出部3向外部输出。

控制部2重复进行步骤1以下的处理，直至完成对所有帧的处理。

下面，用图9说明用户接口的构成例。这里，用户选择的应用是图像编辑软件，而且假设为将用户摄影的人物图像和装饰进行合成的图像合成模式。

首先，如图11(a)所示，在LCD29上显示要编辑对象的人物图像。然后，除了人物图像以外，还显示编辑按钮40和返回按钮41。

这里，如果用户通过按键组34选择编辑按钮40，则如图11(b)所示，显示可***装饰的列表。

然后，如果用户选择称为‘泪’的项目，按确定按钮43，则检测人物图像的脸部区域，求出与相配的装饰配置信息，根据该装饰配置信息，将装饰‘泪’合成在输入图像上，结果如图11(c)所示，显示在LCD29上。再有，泪的装饰50、51被追加在输入图像中。这里，除了静止画面以外，泪作为移动的动画片被***。

而在现有技术中，泪只是在配置的位置而不移动。此外，假如即使***动画片，该动画片的移动也成为与人物图像的移动完全没有关系的移动。

例如，不是自动地在眼睛的下面***泪，不是自动地进行调整，以使泪停止在脸颊附近，从而泪原封不动从脸部向下方向流动。而在脸部倾斜移动时，不能根据脸部来修正泪的移动。

另一方面，在本方式中，在***泪之前，通过检测身体部分区域(例如，在本方式中，脸部区域内的眼睛)的位置及尺寸，与身体部分区域的移动相谐调，可自动地在眼睛下***泪。而且，装饰可跟踪脸部的移动。

以下，表示本方式的应用例，同时进一步说明装饰配置信息。图13是输入图像和装饰的坐标系的位置关系说明图。

这里，作为各应用例说明前的补充，简单说明形成普通的动画片的步骤。通过与变换特性相关联，移动装饰层，基本上可形成装饰移动的动画片。

即，动画片的形成是对每一关键的帧(与时间轴并列存在)的变换属性(位置、旋转等)进行设定，而属性的各值并随着时间变化。这里，关键帧(key frame)确定作为基准时刻的层的位置等的值。如果有值不同的两个关键帧(当然它们的时间轴上的位置是不同的)，则在时间轴上，对位于这些关键帧间的帧，通过计算中间值，可以确定属性的各值。即，如果重复进行(1)关键帧的形成、(2)通过它们的插值进行移动轨迹设定的作业，则可以形成动画片。

下面，以图14所示的动画片为例，说明基于上述要领的动画片形成的步骤。这里，如图14(a)～图14(d)所示，使层的位置、旋转、刻度的值变化，制成飞机从左前方向右上角飞行的动画片。

首先，为了定义配置装饰层的坐标系，设定该坐标系的锚点。在本例中，如图13所示，将锚点设定在元图像的中心(X0、Y0)，坐标轴的方向也与元图像坐标系相同。

然后，将该锚点固定，直至动画片的最后。其结果，位置、旋转成为完全利用该锚点具有的坐标系所获得的值。

接着，在时间轴上，设置关键帧的位置、以及连接其间的移动轨迹。例如，如图15所示，飞机在最初的帧中处于地点A，2秒后处于地点B，4秒后移动到地点C，其间用曲线连接。此外，对于旋转、放大缩小率同样也设定关键的帧。而且，在时间轴上，对于位于这些关键帧之间的帧，通过相邻的关键帧的***，设定移动轨迹。以上的结果，制成图14那样的飞机向右上角飞行的动画片。

(应用例1)

在本例中，在通过模板匹配设定脸部区域的位置和范围后，在与该位置对应的部位设定表现装饰的坐标系的原点(锚点)。

在图16(a)中，表示将装饰图像数据设定在脸部区域的头部的结果，在图16(c)中必须将局部扫描椭圆轨道的作为装饰坐标系原点的锚点设定在脸部区域的头部的结果。

接着，检测该人物的头部区域后，如图16(b)所示，根据该检测，使锚点向脸部区域的头部移动。在脸部区域的尺寸改变时，与脸部区域的尺寸成比例来改变坐标系的刻度。

而在方向改变时，坐标系的轴方向变化，以朝向与最初设定的方向相同的方向。

由此，即使人面对摄影装置相对地移动，始终有在头部扫描椭圆轨道的装饰跟踪人的移动。

在不同场面摄影的多张脸部图像中，根据各自的脸部位置、范围、倾斜、方向，可以始终在头部、与头部的大小成比例的轨道上移动装饰，所以可进一步提高游戏性。

(应用例2)

在本例中，使用装饰信息(其2)，跟随脸部区域的移动并改变合成帧装饰的不透明度。

在本例中，使用图10(b)所示的装饰信息(其2)。这里，图5中的步骤1～至步骤3前的处理与使用图10(a)的装饰信息(其1)的情况相同。

但是，在图5的步骤4～步骤6中，在图12(e)的屏蔽中，在斜线部中，配置可看到图12(f)所示的静止图像，在输入图像内，将作为脸部区域检测出的部分图像在非斜线部进行尺寸重合并粘接，输出该图像。

即，将与作为背景的静止图像的合成屏蔽用作装饰配置信息，根据脸部检测结果，将合成屏蔽的中心配置为脸部的中心，通过该屏蔽，控制静止图像和输入图像合成时不透明度的设定。

以上的结果，在与其他图像进行合成时，可以不在脸部区域中施加静止图像。

(应用例3)

在本例中，如图17所示，将面对视点的进深信息(Z轴)追加在输入图像及装饰双方上。

然后，在装饰被相当于输入图像的投射面的假设面60切断时，将装饰分成处于该假设面60的前景侧的前景区域61和处于背景侧的背景区域62。

而且，改变前景区域61和背景区域62的不透明度，并进行合成。由此，如图18所示，可以形成星围绕脸部周围的动画片。

这里，为了形成通过脸部的轨迹，也可以有意地设定锚点。然后，如果使通过脸部背面的背景区域62透明，则可在输入图像上追加三维那样移动的装饰。

(应用例4)

在本例中，如图19所示，根据过去几帧部分的位置和方向的序列、当前的位置和方向、过去几帧部分等，来估计下一帧中的装饰的属性。例如，假设装饰等速移动，则可以按简单的公式来估计装饰的属性。

而且，在与身体部分区域重叠时，进行轨道的修正就可以。在出现多个装饰时，也可以使各个装饰相互无关系地移动。

在本例中，如图20所示，在装饰与身体部分区域或输入图像的外轮廓线产生冲突时，将装饰的移动方向变更为偏离身体部分区域的方向。这样，在装饰碰撞身体部分区域时，可提供产生反射的移动，可以提高游戏性。

根据本发明，即使人物图像和装饰双方都移动，也可以使装饰不对人物图像产生干扰，可以鲜明地显示人物图像，而且，通过使装饰的移动与人物图像的移动相协调，可以提高游戏性。

Claims

1.一种图像处理方法，包括：

检测输入图像中的身体部分区域位置的步骤；

根据检测出的身体部分区域的位置，确定装饰的坐标系位置的步骤；以及

根据确定的位置，输出将装饰配置在输入图像中的图像的步骤。

2.如权利要求1所述的图像处理方法，其中，在所述输出步骤中，输出将装饰扫描在输入图像中的图像数据。

3.如权利要求1所述的图像处理方法，其中，在所述输出步骤中，输出将输入图像和装饰相关联的图像数据。

4.如权利要求3所述的图像处理方法，其中，输入图像和装饰通过元文件相关联。

5.如权利要求4所述的图像处理方法，其中，所述元文件为SMIL形式。

6.一种图像处理方法，包括：

检测输入图像中的身体部分区域尺寸的步骤；

根据检测出的身体部分区域尺寸，确定装饰的坐标系刻度的步骤；以及

根据确定的刻度，输出将装饰配置在输入图像中的图像的步骤。

7.一种图像处理方法，包括：

检测身体部分区域的输入图像的平面内的旋转量的步骤；

根据检测出的旋转量，确定装饰的坐标系的旋转量的步骤；以及

根据确定的旋转量，输出将装饰配置在输入图像中的图像的步骤。

8.一种图像处理方法，包括：

检测身体部分区域的相对于输入图像的平面的旋转量的步骤；

根据确定的旋转量，输出将装饰配置在输入图像中的图像。

9.一种图像处理方法，包括：

检测输入图像中的身体部分区域的步骤；

以使处于检测出的身体部分区域的前景侧的区域和处于背景侧的区域有所不同来确定装饰的不透明度的步骤；以及

根据确定的不透明度，输出将装饰配置在输入图像中的图像的步骤。

10.如权利要求1所述的图像处理方法，其中，在装饰与身体部分区域产生冲突时，将装饰的移动方向变更为偏离身体部分区域的方向。

11.如权利要求1所述的图像处理方法，其中，身体部分区域是人物被摄体的脸部区域。

12.一种图像处理装置，包括：

输入图像存储部，存储输入图像；

模板存储部，存储身体部分区域的模板；

检测部，使用所述模板存储部的模板，从所述输入图像存储部中存储的输入图像中检测身体部分区域；

装饰信息存储部，存储装饰信息；以及

装饰配置部，确定装饰的配置信息，以与所述检测部检测出的身体部分区域的变化谐调。

13.如权利要求12所述的图像处理装置，其中，包括根据所述装饰配置部确定的配置信息，输出将装饰配置在输入图像中的图像的合成部。

14.如权利要求12所述的图像处理装置，其中，所述检测部检测身体部分区域的输入图像平面内的旋转量，所述装饰配置部确定装饰的配置信息，以与所述检测部检测出的旋转量变化谐调。

15.如权利要求12所述的图像处理装置，其中，所述检测部检测身体部分区域的相对于输入图像的平面的旋转量，所述装饰配置部确定装饰的配置信息，以与所述检测部检测出的旋转量变化谐调。

16.如权利要求12所述的图像处理装置，其中，所述装饰信息由装饰图像数据和变换特性相关联构成。

17.如权利要求12所述的图像处理装置，其中，所述装饰信息由装饰图像数据和屏蔽数据相关联构成。

18.一种携带电话，包括：

输入图像存储部，存储输入图像；

模板存储部，存储身体部分区域的模板；

装饰信息存储部，存储装饰信息；以及