JP4351023B2

JP4351023B2 - Image processing method and apparatus

Info

Publication number: JP4351023B2
Application number: JP2003370559A
Authority: JP
Inventors: 和幸今川; 克博岩佐; 隆暁西; 英二福宮; 英明松尾; 知典片岡; 哲史梶田; 郁雄渕上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-11-07
Filing date: 2003-10-30
Publication date: 2009-10-28
Anticipated expiration: 2023-10-30
Also published as: JP2004171543A

Description

本発明は、画像を用いる通信装置（例えば、テレビ電話、テレビ会議、ビデオメールあるいはビデオチャットのための装置やドアフォン等）に組み込まれる画像処理装置に関し、さらに詳しくは、人物画像（例えば、利用者の顔画像や全身画像など）を編集する画像処理装置に関するものである。 The present invention relates to an image processing apparatus incorporated in a communication apparatus using an image (for example, an apparatus for videophone, videoconference, video mail or video chat, a door phone, etc.), and more particularly, a person image (for example, a user) Is related to an image processing apparatus.

利用者を撮影した画像を、各種の印刷媒体に印刷して出力する遊戯機器がある。このものは、撮影した人物画像に、装飾（例えば、絵柄や模様など）のフレームを重ね合わせて合成し、印刷媒体（例えば、シールなど）に印刷して出力するようになっている。 There is an amusement machine that prints an image of a user on various print media and outputs the image. This is designed to superimpose a frame of a decoration (for example, a pattern or a pattern) on a photographed person image and print it on a print medium (for example, a sticker) for output.

このような遊戯機器は、それ自体において、人物画像と装飾との位置関係を調整する機能を持たない。したがって、利用者が、人物画像を、装飾フレーム内に収まるように配置しても、装飾が人物画像に重なり、顔部分や頭部分などが隠れてしまって、人物画像が不鮮明になることがあった。 Such a game machine itself does not have a function of adjusting the positional relationship between the person image and the decoration. Therefore, even if the user arranges the person image so that it fits within the decoration frame, the decoration overlaps with the person image and the face part, head part, etc. may be hidden and the person image may become unclear. It was.

特許文献１（特開２０００−２２９２９号公報）は、この点を考慮したものであり、装飾が、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、重ならないようにした上で、装飾を付加する技術を、提案している。 Patent Document 1 (Japanese Patent Laid-Open No. 2000-22929) considers this point, and decoration is applied to a body part of a human image, particularly a body part region set corresponding to the face and head. We have proposed a technique to add decorations while avoiding overlapping.

一方、最近、撮影した人物画像に、装飾フレームと重ね合わせて合成し、合成した画像を送信する機能を備えた、カメラ付き携帯電話が、実用化されている。送信者が、このようなカメラ付き携帯電話を使用すると、受信者は、送信者が編集した画像を見るという、楽しみを享受できる。
特開２０００−２２９２９号公報（第３−７頁） On the other hand, a camera-equipped mobile phone having a function of superimposing a photographed person image on a decorative frame and combining the image and transmitting the combined image has been put into practical use. When the sender uses such a camera-equipped mobile phone, the receiver can enjoy the pleasure of seeing the image edited by the sender.
JP 2000-22929 A (page 3-7)

特許文献１では、装飾が、動かないことを前提とする。そして、この文献記載の技術では、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、装飾が重ならないように、装飾を付加している。 In Patent Document 1, it is assumed that the decoration does not move. In the technique described in this document, the decoration is added so that the decoration does not overlap the body part of the human image, particularly the body part region set corresponding to the face and head.

この文献では、印刷媒体への印刷を、出力としており、また、一旦印刷された画像を、印刷後に編集することは、通常あり得ないから、このような考え方は、妥当であるといえよう。 In this document, printing on a print medium is used as an output, and it is not normally possible to edit a once printed image after printing. Therefore, this idea can be said to be appropriate.

ところが、上述のようなカメラ付き携帯電話が普及してきており、ここでは、合成画像は、普通の場合、印刷媒体へ印刷されずに、ディスプレイに表示されることになる。そして、今後、利用者は、さらなる楽しさを得るために、装飾を動かしたいと思うようになるであろう。 However, the above-described camera-equipped mobile phones have become widespread, and here, in a normal case, the composite image is displayed on a display without being printed on a print medium. And in the future, users will want to move the decoration to get more fun.

しかしながら、従来技術では、動かない装飾を、動かない人物画像に付加することしか考慮されておらず、動く装飾の付加ということは、全く考慮されていない。このため、単純に、従来技術を、動く人物画像に適用すると、人物画像と装飾とが干渉して、人物画像が不鮮明になったり、遊戯性を高めるような利用ができない。 However, the prior art only considers adding a decoration that does not move to a person image that does not move, and does not consider adding a decoration that moves. For this reason, when the conventional technology is simply applied to a moving person image, the person image and the decoration interfere with each other, and the person image becomes unclear or cannot be used to enhance playability.

そこで本発明は、人物画像を鮮明に表示でき、かつ、遊戯性を高め得る、画像処理方法及びその間連技術を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing method and an inter-related technology capable of clearly displaying a person image and improving playability.

請求項１記載の画像処理方法では、入力画像を得る画像入力部と、入力画像の画像処理を制御する制御部と、画像処理が施された入力画像を出力する画像出力部と、を備える装置による画像処理方法であって、人物像を含む入力画像から身体部分領域の位置を検出し、身体部分領域の、入力画像の平面内での回転量および／または平面に対する回転量を検出するステップと、検出した身体部分領域の位置に合わせて移動軌跡を持つ装飾の座標系の原点の位置を定め、検出した回転量に合わせて装飾の座標系の回転量を定めるステップと、定めた原点の位置と定めた回転量と移動軌跡から装飾の配置情報を定めるステップと、配置情報に基づいて、装飾を配置して出力画像を生成するステップと、出力画像を出力するステップと、を含む。 The image processing method according to claim 1, comprising: an image input unit that obtains an input image; a control unit that controls image processing of the input image; and an image output unit that outputs the input image subjected to image processing. A method of detecting a position of a body part region from an input image including a human image, and detecting a rotation amount of the body part region within a plane of the input image and / or a rotation amount with respect to the plane ; , decoration with moving trajectory in accordance with the detected position of the body part area coordinate system determines the position of the origin of the steps of determining the amount of rotation of the coordinate system of the decoration in accordance with the rotation amount detected, set the origin comprising the steps of position and defined amount of rotation from the movement locus determining the location information of the decoration, based on the arrangement information, and generating an output image by placing the decoration, and outputting an output image.

この構成によれば、入力画像において、人物被写体が移動したときに、その移動に応じて、装飾を移動させることができる。この構成によれば、顔を横に傾けたようなときに、装飾を傾け、かつ装飾の移動パスも傾けることができるので、人物の入力画像の平面内における、回転方向の変化に対しても、装飾が追従しているように見せることができる。この構成によれば、人物が「回れ右」をしているような場合、装飾と移動パスを、人物の回転に応じて変形させることができる。したがって、人物が、入力画像の平面に対する向きの変化に対して、装飾が追従しているように見せることができる。 According to this configuration, when the person subject moves in the input image, the decoration can be moved according to the movement. According to this configuration, when the face is tilted to the side, the decoration can be tilted and the movement path of the decoration can be tilted. Therefore, even when the rotation direction changes in the plane of the human input image, , The decoration can appear to follow. According to this configuration, when the person is “turning right”, the decoration and the movement path can be deformed according to the rotation of the person. Accordingly, it is possible to make it appear that the decoration follows the change in the orientation of the input image with respect to the plane.

請求項２記載の画像処理方法では、出力するステップでは、装飾を入力画像に描画した画像データを出力する。 In the image processing method according to the second aspect, in the outputting step, image data in which decoration is drawn on the input image is output.

この構成により、出力される画像の転送先では、入力画像と装飾とを合成する必要はない。 With this configuration, it is not necessary to combine the input image and the decoration at the transfer destination of the output image.

請求項３記載の画像処理方法では、出力するステップでは、入力画像と装飾とを関連付けた画像データを出力する。 In the image processing method according to the third aspect, in the outputting step, image data in which the input image is associated with the decoration is output.

この構成により、出力される画像の転送先は、入力画像を復元しやすく便利である。 With this configuration, the destination of the output image is convenient to restore the input image.

請求項４記載の画像処理方法では、入力画像と装飾とは、メタファイルにより関連付けられる。 In the image processing method according to the fourth aspect, the input image and the decoration are associated by the metafile.

この構成により、入力画像と装飾とを簡潔に関連付けることができる。 With this configuration, the input image and the decoration can be simply associated with each other.

この構成により、入力画像と装飾との関連付けを、容易に実施できる。 With this configuration, the input image can be easily associated with the decoration.

請求項５記載の画像処理方法では、装飾の不透明度を、身体部分領域の入力画像の投射面に相当する仮想面の前にある領域と、入力画像の投射面に相当する仮想面の後ろにある領域と、で、異なるように定めるステップと、生成するステップでは、配置情報および定めた不透明度に基づいて、装飾を配置して出力画像を生成する。 In the image processing method according to claim 5 , the opacity of the decoration is set in a region in front of the virtual surface corresponding to the projection surface of the input image of the body part region and behind the virtual surface corresponding to the projection surface of the input image. In the step of determining differently in a certain area and the step of generating, an output image is generated by arranging decorations based on the arrangement information and the determined opacity.

この構成によれば、装飾の移動パスが、身体部分領域の背面に来たときに装飾を消すことができるので、あたかも、装飾が、身体部分領域を取り巻き、それを中心に立体的に動いているように見せることができる。 According to this configuration, the decoration can be erased when the decoration movement path comes to the back of the body part area, so that the decoration surrounds the body part area and moves in three dimensions around it. You can make it look like you are.

請求項６記載の画像処理方法では、装飾が、身体部分領域に衝突する際、装飾の移動方向を、身体部分領域から離れる向きに、変更する。 In the image processing method according to the sixth aspect, when the decoration collides with the body part region, the moving direction of the decoration is changed to a direction away from the body part region.

この構成によれば、装飾に、身体部分領域にぶつかったときに反射するような動きを、与えることができる。 According to this configuration, it is possible to give the decoration a motion that reflects when it hits the body part region.

本発明によれば、人物画像及び装飾の双方が動いていても、装飾が人物画像に干渉しないようにすることができ、人物画像を鮮明に表示でき、しかも、装飾の動きを人物画像の動きに協調させることにより、遊戯性を高めることができる。 According to the present invention, even when both the person image and the decoration are moving, the decoration can be prevented from interfering with the person image, the person image can be clearly displayed, and the movement of the decoration can be changed to the movement of the person image. By making them cooperate, playability can be improved.

以下図面を参照しながら、本発明の実施の形態を説明する。まず、具体的な構成の説明に先立って、重要な用語を解説する。 Embodiments of the present invention will be described below with reference to the drawings. First, important terms are explained prior to the description of the specific configuration.

「人物画像」とは、人物の一部または全部の画像が含まれる画像である。従って、人物全体の画像でもよいし、人物の顔だけや後姿だけ、あるいは、上半身だけの画像であってもよい。また、複数の人物が写っている画像でもよい。勿論、背景に人物以外の風景や模様などのいかなるパターンがあっても良い。 A “person image” is an image that includes a part or all of an image of a person. Therefore, it may be an image of the entire person, only the face or back of the person, or only the upper body. Moreover, the image in which several persons are reflected may be sufficient. Of course, the background may have any pattern other than a person such as a landscape or a pattern.

「身体部分」とは、人物の身体の一部という意味であり、身体部分に服や帽子や靴を装着している皮膚が見えなくても、人物の身体の一部であることが認識可能な部分であれば、身体部分に含まれる。従って、顔も身体部分であるし、頭も身体部分である。さらに、目、鼻、口、耳、眉、髪、首、服を着た上半身、手、腕、足、靴を履いた脚、帽子を被った頭、めがねを掛けた目なども身体部分である。 "Body part" means a part of a person's body, and it can be recognized as a part of a person's body even if the skin wearing clothes, hats or shoes is not visible on the body part It is included in the body part. Therefore, the face is a body part, and the head is a body part. In addition, eyes, nose, mouth, ears, eyebrows, hair, neck, dressed upper body, hands, arms, legs, shoes legs, head with hat, eyes with glasses, etc. are also body parts. is there.

「身体部分領域」とは、人物画像において、身体部分が占める領域として定められる領域のことであり、身体部分領域は、その内部に身体部分でない部分を含んでいてもよいし、身体部分の内部に位置する領域であってもよい。 The “body part area” is an area defined as an area occupied by a body part in a human image, and the body part area may include a part that is not a body part inside the body part area. It may be a region located in the area.

すなわち、身体部分が顔であるとすると、身体部分領域は、顔に対応する身体部分領域が顔の周囲にある領域を含んでいてもよいし、両眼と口と鼻とを囲む最小サイズの長方形であって額や耳を含まないものであってもよい。 That is, if the body part is a face, the body part region may include a region in which the body part region corresponding to the face is around the face, or the smallest size surrounding both eyes, mouth, and nose. It may be a rectangle that does not include a forehead or ears.

「装飾」とは、追加される画像パターンのことであり、この画像パターンは予め保持されている画像パターンであってもよいし、コンピュータグラフイックス技術で生成される画像パターンであってもよい。また、この画像パターンは、文字や記号のパターンや図形のパターンであってもよい。 “Decoration” refers to an image pattern to be added. This image pattern may be an image pattern stored in advance, or may be an image pattern generated by a computer graphics technique. The image pattern may be a character or symbol pattern or a graphic pattern.

図１は、本発明の一実施の形態における画像処理装置の機能ブロック図である。図１に示すように、本形態の画像処理装置は、次の構成要素を有する。 FIG. 1 is a functional block diagram of an image processing apparatus according to an embodiment of the present invention. As shown in FIG. 1, the image processing apparatus according to the present embodiment includes the following components.

画像入力部１は、入力画像を得る。本形態では、入力画像に人物画像が含まれ、この人物画像が動くことを許容しており、入力画像は、通常、動画像の１フレーム分の画像を意味することになる。 The image input unit 1 obtains an input image. In this embodiment, a person image is included in the input image, and the person image is allowed to move, and the input image usually means an image for one frame of the moving image.

但し、この入力画像は、カメラで撮影された直後のものでも良いし、撮影後、ＭＰＥＧ等の符号化方式に従って符号化されたデータ（記録媒体に記録されたものをロードしても良いし、送信装置から受信したものでも良い。）を、復号して得られるものでも良い。 However, this input image may be the one immediately after being shot by the camera, or after the shooting, the data encoded according to the encoding method such as MPEG (the one recorded on the recording medium may be loaded, It may also be obtained by decoding (received from the transmitter).

制御部２は、図１に示す各要素を、図１１のフローチャートに沿って、制御する。 The control part 2 controls each element shown in FIG. 1 according to the flowchart of FIG.

画像出力部３は、入力画像に装飾が合成された画像を、出力画像として出力する。この出力画像は、表示デバイスに表示される他、上記符号化方式に従って符号化して記録媒体に保存することもできるし、他の通信装置で送信することもできる。 The image output unit 3 outputs an image in which decoration is combined with the input image as an output image. In addition to being displayed on the display device, the output image can be encoded according to the encoding method and stored in a recording medium, or can be transmitted by another communication apparatus.

入力画像記憶部４は、画像入力部１が入力した、入力画像を記憶する。 The input image storage unit 4 stores the input image input by the image input unit 1.

テンプレート記憶部５は、身体部分領域のテンプレートを記憶する。以下、本形態では、顔領域を身体部分領域として取り上げる。 The template memory | storage part 5 memorize | stores the template of a body part area | region. Hereinafter, in this embodiment, the face area is taken as a body part area.

テンプレートは、図６（ａ）、（ｂ）、（ｃ）に示すように、顔部品（頭、目、鼻、口）のそれぞれの輪郭をモデル化したものを、各種サイズ分だけ用意して使用する。 As shown in FIGS. 6 (a), 6 (b), and 6 (c), templates are prepared for various sizes that model the contours of facial parts (head, eyes, nose, mouth). use.

また、図７（ｂ）、（ｃ）に示すように、図７（ａ）に示す、基本姿勢によるテンプレートの他、入力画像の平面内での回転量を持つテンプレートを併用する。これにより、顔の回転による傾きを、検出できる。 Further, as shown in FIGS. 7B and 7C, in addition to the template based on the basic posture shown in FIG. 7A, a template having a rotation amount in the plane of the input image is used in combination. Thereby, the inclination by the rotation of the face can be detected.

また、図８（ｂ）、（ｃ）に示すように、図８（ａ）に示す、基本姿勢によるテンプレートの他、入力画像の平面に対する回転量を持つテンプレートを併用する。これにより、顔の向きが基本姿勢と異なる場合（顔の中心を通る法線ベクトルが入力画像の平面に対して直交しない場合）に、顔の向きを検出できる。 Further, as shown in FIGS. 8B and 8C, in addition to the template based on the basic posture shown in FIG. 8A, a template having a rotation amount with respect to the plane of the input image is used in combination. Thereby, when the face orientation is different from the basic posture (when the normal vector passing through the center of the face is not orthogonal to the plane of the input image), the face orientation can be detected.

図１において、検出部６は、テンプレート記憶部５のテンプレートを用いて、入力画像記憶部４に記憶された入力画像から、身体部分領域を検出する。 In FIG. 1, the detection unit 6 detects a body part region from the input image stored in the input image storage unit 4 using the template in the template storage unit 5.

ここで、図９に示しているように、検出部６は、入力画像記憶部４の入力画像に微分フィルタをかけて、エッジ成分を抽出する。また、検出部６は、テンプレート記憶部５からテンプレート５３を選び、選んだテンプレート５３と、エッジ成分とを用いて、パターンマッチマッチングを実行する。 Here, as illustrated in FIG. 9, the detection unit 6 applies a differential filter to the input image of the input image storage unit 4 to extract an edge component. In addition, the detection unit 6 selects the template 53 from the template storage unit 5, and executes pattern match matching using the selected template 53 and the edge component.

このパターンマッチングは、テンプレート５３（Ｎｘ＊Ｎｙ画素）を、それより大きい入力画像（Ｍｘ＊Ｍｙ画素）内の探索範囲（Ｍｘ−Ｎｘ＋１）（Ｍｙ−Ｎｙ＋１）上で動かし、次式に示す残差Ｒが、最小となるようなテンプレート画像の左上位置（ａ，ｂ）を求める処理である。 In this pattern matching, the template 53 (Nx * Ny pixels) is moved on the search range (Mx−Nx + 1) (My−Ny + 1) in the larger input image (Mx * My pixels), and the residual shown in the following equation is used. This is a process for obtaining the upper left position (a, b) of the template image in which R is minimized.

但し、（数１）において、Ｉ（ａ，ｂ）（ｍｘ，ｍｙ）は入力画像の部分画像、Ｔ（ｍｘ，ｍｙ）はテンプレート５３の画像である。 However, in (Equation 1), I (a, b) (mx, my) is a partial image of the input image, and T (mx, my) is an image of the template 53.

また、（数１）に替えて、次式で示す相互相関係数Ｃを求め、相互相関係数Ｃが最大になる、テンプレート画像の左上位置（ａ，ｂ）を求めてもよい。 Further, instead of (Equation 1), a cross-correlation coefficient C represented by the following equation may be obtained, and the upper left position (a, b) of the template image where the cross-correlation coefficient C is maximized may be obtained.

検出部６は、図６、図７、図８に示す、各種のテンプレートを使用し、（数１）を用いるときは残差Ｒが最小となるテンプレート、（数２）を用いるときは、相関係数Ｃが最大となるテンプレートを求める。そして、検出部６は、求めたテンプレートの、位置、サイズ、傾き、向きを、入力画像における顔画像の、それぞれの値とする。 The detection unit 6 uses various templates shown in FIGS. 6, 7, and 8. When using (Equation 1), the template that minimizes the residual R is used, and when using (Equation 2), A template that maximizes the relationship number C is obtained. Then, the detection unit 6 sets the obtained position, size, inclination, and orientation of the template as the respective values of the face image in the input image.

顔画像の場合は、毎フレーム毎（あるいは数フレーム毎）に同一処理を施すことにより、顔の位置とサイズ、傾き、向きの遷移を求めることができる。 In the case of a face image, the same processing is performed every frame (or every several frames), whereby the transition of the position, size, inclination, and orientation of the face can be obtained.

なお、検出部６は、画像に複数の顔が存在している場合、既に検出された１人目の顔部分領域を除いた領域内で、残差Ｒが低い位置もしくは相関係数Ｃが高い位置を、２人目の顔部分領域として検出する。 In addition, when a plurality of faces are present in the image, the detection unit 6 has a position where the residual R is low or a position where the correlation coefficient C is high in the area excluding the already detected first face area. Is detected as the face partial region of the second person.

さらに、３人目以降の顔についても同じく、検出部６は、既に検出された顔部分領域を除いた領域内で残差Ｒが低い位置、相関係数Ｒが高い位置を顔部分領域として設定しながら、以下、予め定められたしきい値よりも残差Ｒが大きくなるまで、もしくは相関係数Ｃが小さくなるまで繰り返し検出する。これにより、複数の人物の顔部分領域を検出できる。 Similarly, for the third and subsequent faces, the detection unit 6 sets a position where the residual R is low and a position where the correlation coefficient R is high in the area excluding the already detected face partial area as the face partial area. However, the detection is repeated until the residual R becomes larger than a predetermined threshold or until the correlation coefficient C becomes smaller. Thereby, the face partial areas of a plurality of persons can be detected.

勿論、以上の検出は、常に全て実施する必要はなく、顔領域の位置及びサイズの検出を除けば、適宜取捨選択して差し支えない。 Of course, it is not always necessary to carry out all of the above detections, and they may be appropriately selected except for detection of the position and size of the face area.

図１において、装飾情報記憶部７は、装飾情報を記憶する。次に、図１０を用いて、装飾情報について説明する。 In FIG. 1, a decoration information storage unit 7 stores decoration information. Next, the decoration information will be described with reference to FIG.

図１０（ａ）に示す例（装飾情報（その２））では、装飾情報は、装飾画像データと、トランスフォームプロパティとが、関連付けて構成される。 In the example (decoration information (part 2)) illustrated in FIG. 10A, the decoration information is configured by associating decoration image data and transform properties.

「装飾画像データ」のフィールドには、装飾画像データそのものか、または、装飾画像データそのものを指す、ＩＤまたはポインタが格納される。なお、図１０（ａ）に図示しているように、装飾画像データは、画像データだけで構成されていても良いし、さらに、付加的な属性（衝突時の振る舞いなど）を持つものでも良い。 In the “decoration image data” field, the decoration image data itself or an ID or pointer indicating the decoration image data itself is stored. As shown in FIG. 10A, the decoration image data may be composed only of image data or may have additional attributes (such as behavior at the time of collision). .

「トランスフォームプロパティ」のフィールドは、装飾レイヤーに対して装飾をどう動かすか、また装飾レイヤーをどう重ね合わせるかという情報である。 The field of “transform property” is information on how to move the decoration with respect to the decoration layer and how to overlay the decoration layer.

具体的には、装飾は、トランスフォームプロパティによって、入力画像とは別のローカルな座標系（アンカーポイントを原点とする）によって定義され、さらに、この座標系は、位置、スケール（拡大縮小率）、回転、不透明度という属性を持つ。 Specifically, the decoration is defined by a transform property and a local coordinate system different from the input image (an anchor point is the origin). Furthermore, this coordinate system is defined by position, scale (scale rate). , Rotation and opacity attributes.

さらに詳しくは、アンカーポイントは、装飾に係るローカルな座標系の座標原点の位置と向きを示す。そして、「位置」、「スケール」、「回転」の各フィールドにセットされる値は、そのアンカーポイントが持つ座標系（ローカル座標系）に対する実際の画像の位置、スケール（拡大縮小率）、回転の度合いを示す。 More specifically, the anchor point indicates the position and orientation of the coordinate origin of the local coordinate system related to the decoration. The values set in the “Position”, “Scale”, and “Rotation” fields are the actual image position, scale (enlargement / reduction ratio), and rotation with respect to the coordinate system (local coordinate system) of the anchor point. Indicates the degree.

また、図１０（ｂ）に示す例（装飾情報（その１））では、装飾情報は、装飾画像データと、マスクデータとが、関連付けて構成される。 In the example shown in FIG. 10B (decoration information (part 1)), the decoration information is configured by associating the decoration image data with the mask data.

このときの、「装飾画像データ」は、地模様として表示される画像のデータであり、「マスクデータ」は、地模様のデータ部分（斜線部）と、顔領域の画像があらわれる部分（非斜線部）の、領域のサイズ及び位置関係を示す。 At this time, the “decorative image data” is data of an image displayed as a background pattern, and the “mask data” is a data portion of the background pattern (hatched portion) and a portion where an image of the face area appears (non-hatched line). Part) shows the size and positional relationship of the area.

図１において、装飾配置部８は、検出部６が検出した身体部分領域の変化に同調するように、装飾の配置情報を定める。 In FIG. 1, the decoration arrangement unit 8 determines decoration arrangement information so as to synchronize with the change in the body part region detected by the detection unit 6.

検出部６は、図７に示すテンプレートで最大のマッチングが得られたなら、身体部分領域の、入力画像の平面内での回転量を検出し、装飾配置部８は、検出部６が検出した回転量の変化に同調するように、装飾の配置情報を定める。 If the maximum matching is obtained with the template shown in FIG. 7, the detection unit 6 detects the amount of rotation of the body part region in the plane of the input image, and the decoration placement unit 8 is detected by the detection unit 6. The arrangement information of the decoration is determined so as to synchronize with the change of the rotation amount.

検出部６は、図８に示すテンプレートで最大のマッチングが得られたなら、身体部分領域の、入力画像の平面に対する回転量を検出し、装飾配置部８は、検出部６が検出した回転量の変化に同調するように、装飾の配置情報を定める。 If the maximum matching is obtained with the template shown in FIG. 8, the detection unit 6 detects the rotation amount of the body part region with respect to the plane of the input image, and the decoration arrangement unit 8 detects the rotation amount detected by the detection unit 6. The arrangement information of the decoration is determined so as to synchronize with the change of.

なお、装飾配置部８の詳細な処理は、後に、数種の例を挙げながら、詳述する。 The detailed processing of the decoration placement unit 8 will be described in detail later with several examples.

図１において、合成部１０は、装飾配置部８が定めた配置情報に基づいて、装飾を入力画像に配置した画像を出力する。この画像は、一旦、出力画像記憶部１１に蓄積されてから、画像出力部３から出力される。 In FIG. 1, the combining unit 10 outputs an image in which decorations are arranged in the input image based on the arrangement information determined by the decoration arranging unit 8. This image is temporarily stored in the output image storage unit 11 and then output from the image output unit 3.

なお、合成部１０は、表示デバイスに表示を行うために、
（データ形態１）装飾を入力画像に直接描画した画像データ
を生成するが、合成部１０は、記録媒体や他の通信装置へ転送するための画像データとして、
（データ形態２）入力画像と、装飾を描画する際のパラメータとを関連付けた画像データ
を生成し、これを転送するようにしてもよい。データ形態２によると、容易に、入力画像を復元できるため有利である。なお、データ形態２については、後に説明を補足する。 Note that the combining unit 10 performs display on the display device.
(Data Form 1) Image data in which decorations are directly drawn on an input image is generated, but the combining unit 10 is used as image data to be transferred to a recording medium or another communication device.
(Data format 2) Image data in which an input image is associated with parameters for drawing decoration may be generated and transferred. The data format 2 is advantageous because the input image can be easily restored. The data form 2 will be described later.

さらに図１において、操作部１２は、利用者が、制御部２に操作情報を入力するためのものである。 Further, in FIG. 1, the operation unit 12 is for a user to input operation information to the control unit 2.

次に、図２を用いて、図１に示す画像処理装置及びその周辺部分の具体的構成例を説明する。図２は、同画像処理装置のブロック図である。 Next, a specific configuration example of the image processing apparatus shown in FIG. 1 and its peripheral part will be described with reference to FIG. FIG. 2 is a block diagram of the image processing apparatus.

図２の例では、カメラ付き携帯電話に、図１の画像処理装置を組み込んである。図２に示すように、このカメラ付き携帯電話は、次の要素を有する。 In the example of FIG. 2, the image processing apparatus of FIG. 1 is incorporated in a camera-equipped mobile phone. As shown in FIG. 2, the camera-equipped mobile phone has the following elements.

ＣＰＵ２１は、バス２０を介して、図２の各要素を制御し、ＲＯＭ２３に記録され、図３のフローチャートに従う制御プログラムを実行する。 The CPU 21 controls each element in FIG. 2 via the bus 20, and executes a control program recorded in the ROM 23 and according to the flowchart in FIG.

ＲＡＭ２２には、ＣＰＵ２１が処理上必要とする一時記憶領域が確保されている。フラッシュメモリ２４は、記録媒体に相当するデバイスである。 In the RAM 22, a temporary storage area required for processing by the CPU 21 is secured. The flash memory 24 is a device corresponding to a recording medium.

また、アンテナ２５を経由して、通信処理部２６は、外部の通信装置と、データの送受信を行う。 In addition, the communication processing unit 26 transmits / receives data to / from an external communication device via the antenna 25.

画像処理部２７は、ＭＰＥＧ等の符号化方式に関するエンコーダ／デコーダ等からなり、カメラ２８が撮影した画像を処理したり、ＣＰＵ２１から指示された画像データに基づいて、ＬＣＤ（表示デバイスの一例）２９の表示状態を制御する。 The image processing unit 27 includes an encoder / decoder or the like related to an encoding method such as MPEG, and processes an image captured by the camera 28 or based on image data instructed by the CPU 21, an LCD (an example of a display device) 29. Control the display state of.

音声処理部３０は、マイク３１からの入力と、スピーカ３２を介しての音声出力とを、制御する。 The audio processing unit 30 controls input from the microphone 31 and audio output via the speaker 32.

また、バス２０には、インターフェイス３３が接続され、インターフェイス３３を介して、利用者は、キーセット３４による操作情報の入力を行えるようになっており、さらにポート３５を介して、別のデバイスを接続できるように構成されている。 An interface 33 is connected to the bus 20, and the user can input operation information through the key set 34 via the interface 33, and another device is connected via the port 35. It is configured so that it can be connected.

ここで、図１における、画像入力部１は、フラッシュメモリ２４に記録されたデータ、あるいは、カメラ２８が撮影したデータを、ＣＰＵ２１または画像処理部２７が処理することにより実現される。 Here, the image input unit 1 in FIG. 1 is realized by the CPU 21 or the image processing unit 27 processing data recorded in the flash memory 24 or data taken by the camera 28.

また、制御部２、検出部６、装飾配置部８及び合成部１０は、ＣＰＵ２１が、ＲＡＭ２２、フラッシュメモリ２４などと、データのやりとりを行いながら、演算を実施することにより実現される。 The control unit 2, the detection unit 6, the decoration arrangement unit 8, and the synthesis unit 10 are realized by the CPU 21 performing calculations while exchanging data with the RAM 22, the flash memory 24, and the like.

さらに、入力画像記憶部４、テンプレート記憶部５、装飾情報記憶部７、配置情報記憶部９及び出力画像記憶部１１は、ＲＡＭ２２、ＲＯＭ２３あるいはフラッシュメモリ２４のいずれかに確保された領域に相当する。また、図２のキーセット３４は、図１の操作部１２に相当する。 Further, the input image storage unit 4, the template storage unit 5, the decoration information storage unit 7, the arrangement information storage unit 9, and the output image storage unit 11 correspond to areas secured in any of the RAM 22, the ROM 23, and the flash memory 24. . The key set 34 in FIG. 2 corresponds to the operation unit 12 in FIG.

なお、ＣＰＵ２１は、利用者がキーセット３４に対して行う操作の認識、カメラ２８からの画像の取得、カメラ画像の圧縮とフラッシュメモリ２４への保存、保存画像の読み込みと伸張、画像合成、画像再生、ＬＣＤ２９ヘの表示などを行うが、これらの処理のうちいくつかを、画像処理部２７で行うようにしても良い。 The CPU 21 recognizes an operation performed by the user on the key set 34, acquires an image from the camera 28, compresses the camera image and stores it in the flash memory 24, reads and decompresses the stored image, combines the image, Playback and display on the LCD 29 are performed, but some of these processes may be performed by the image processing unit 27.

図３は、本形態の画像処理装置の外観を示す。上述したように、本形態の画像処理装置は、カメラ付き携帯電話に組み込まれている。図３のカメラ付き携帯電話は、上側筐体４２と下側筐体４１とが、結合部４３により、折畳可能に結合される、二つ折りタイプのものである。勿論、画像処理装置の外形は、任意であり、本発明は、ＰＤＡ等、携帯電話以外の装置にも適用できる。 FIG. 3 shows the appearance of the image processing apparatus of this embodiment. As described above, the image processing apparatus of this embodiment is incorporated in a camera-equipped mobile phone. The camera-equipped mobile phone of FIG. 3 is of the double fold type in which an upper housing 42 and a lower housing 41 are foldably coupled by a coupling portion 43. Of course, the external shape of the image processing apparatus is arbitrary, and the present invention can be applied to apparatuses other than mobile phones such as PDAs.

次に、図４を参照しながら、データ形態２について、説明を補足する。ここでは、図４（ｂ）に示す入力画像（ファイル名”ｆａｃｅ．ｒｍ”）があり、これに図４（ｃ）に示す装飾（ファイル名”ｓｔａｒ．ｓｗｆ”）とを関連付けるものとする。 Next, a supplementary explanation will be given for the data format 2 with reference to FIG. Here, there is an input image (file name “face.rm”) shown in FIG. 4B, and this is associated with the decoration (file name “star.swf”) shown in FIG. 4C.

このとき、図４（ａ）に示すＳＭＩＬ（ＳｙｎｃｈｒｏｎｉｚｅｄＭｕｌｔｉｍｅｄｉａＩｎｔｅｇｒａｔｉｏｎＬａｎｇｕａｇｅ）形式のメタファイルを用いるのが、好ましい。図４（ａ）では、＜ｐａｒ＞と＜／ｐａｒ＞とに挟まれた、＜ｖｉｄｅｏｓｒｃ＝”ｆａｃｅ．ｒｍ”＞なる行と、＜ａｎｉｍａｔｉｏｎｓｒｃ＝”ｓｔａｒ．ｓｗｆ”＞なる行とが、同時に実行される。つまり、表示時に、図４（ｂ）の入力画像と図４（ｃ）の装飾とが、合成される。 At this time, it is preferable to use a metafile in the SMIL (Synchronized Multimedia Integration Language) format shown in FIG. In FIG. 4A, a line <video src = “face.rm”> and a line <animation src = “star.swf”> sandwiched between <par> and </ par> It is executed at the same time. That is, at the time of display, the input image in FIG. 4B and the decoration in FIG. 4C are combined.

なお、図４に示すような関連づけを行う場合には、図４（ｂ）の入力画像と図４（ｃ）の装飾とを合成した画像そのものを作成する必要はない。 When the association as shown in FIG. 4 is performed, it is not necessary to create an image itself that combines the input image of FIG. 4B and the decoration of FIG. 4C.

また、以上のＳＭＩＬ形式のメタファイルではなく、ＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）形式のファイルや、ＭＰ４等を使用しても差し支えない。つまり、データ形態２を使用する際には、何らかの形式で、入力画像と、装飾とが、関連付けられていればよい。 Also, instead of the above SMIL metafile, an XML (Extensible Markup Language) format file, MP4, or the like may be used. That is, when the data form 2 is used, the input image and the decoration need only be associated with each other in some form.

次に、図１、図５、図１２を用いて、本形態の画像処理装置による処理の流れの概要を説明する。ここでは、図１０（ａ）に示す装飾情報（その１）が使用されるものとする。 Next, the outline of the flow of processing by the image processing apparatus of this embodiment will be described with reference to FIGS. 1, 5, and 12. Here, it is assumed that the decoration information (part 1) shown in FIG.

まず、制御部２は、ステップ１にて、動画像を構成する全てのフレームについて、処理を完了したかどうかチェックする。完了していれば終了し、完了していなければ、ステップ２へ処理が移る。 First, in step 1, the control unit 2 checks whether or not the processing has been completed for all the frames constituting the moving image. If completed, the process ends. If not completed, the process proceeds to step 2.

ステップ２では、画像入力部１が、図１２（ａ）に示すような入力画像を得て、制御部２は、これを入力画像記憶部４に保存する。 In step 2, the image input unit 1 obtains an input image as shown in FIG. 12A, and the control unit 2 stores this in the input image storage unit 4.

次に、ステップ３にて、制御部２は、検出部６に顔領域の検出を命ずる。これにより、検出部６は、テンプレート記憶部５のテンプレート（図１２（ｂ））を用いて、顔領域の検出を行う。 Next, in step 3, the control unit 2 instructs the detection unit 6 to detect a face area. Thereby, the detection unit 6 detects a face area using the template (FIG. 12B) in the template storage unit 5.

次に、ステップ４にて、制御部２は、装飾配置部８に配置情報を定めるように命ずる。これにより、装飾配置部８は、装飾情報記憶部７の装飾情報を使用して、配置情報を定め、これを配置情報記憶部９に保存する。その結果、図１２（ｃ）に示すような、装飾レイヤー上の装飾画像が得られる。 Next, in step 4, the control unit 2 commands the decorative arrangement unit 8 to determine the arrangement information. Thus, the decoration placement unit 8 uses the decoration information in the decoration information storage unit 7 to determine the placement information and stores it in the placement information storage unit 9. As a result, a decoration image on the decoration layer as shown in FIG.

次に、ステップ５にて、制御部２は、合成部１０に入力画像と装飾との合成を命ずる。これにより、合成部１０は、装飾情報記憶部７に保存された装飾情報に従って、図１２（ｄ）に示すように、装飾を入力画像に合成し、結果を出力画像記憶部１１に保存する。 Next, in step 5, the control unit 2 instructs the combining unit 10 to combine the input image and the decoration. Thus, the combining unit 10 combines the decoration with the input image according to the decoration information stored in the decoration information storage unit 7 and stores the result in the output image storage unit 11 as shown in FIG.

次に、ステップ６にて、制御部２は、出力画像記憶部１１の合成画像を、画像出力部３を経由して、外部へ出力する。 Next, in step 6, the control unit 2 outputs the composite image in the output image storage unit 11 to the outside via the image output unit 3.

制御部２は、ステップ１以下の処理を、全フレームに対する処理が完了するまで繰り返す。 The control unit 2 repeats the processing from step 1 onward until the processing for all frames is completed.

次に、図９を用いて、ユーザインターフェイスの構成例を説明する。ここでは、利用者によって選択されたアプリケーションが、画像編集ソフトであり、しかも、利用者によって撮影された人物画像と装飾とを、合成する画像合成モードであるものとする。 Next, a configuration example of the user interface will be described with reference to FIG. Here, it is assumed that the application selected by the user is image editing software and is an image composition mode in which the person image photographed by the user and the decoration are combined.

まず、図１１（ａ）に示すように、ＬＣＤ２９には、編集する対象の人物画像が表示される。そして、この人物画像に添えて、編集ボタン４０と戻るボタン４１が表示される。 First, as shown in FIG. 11A, a person image to be edited is displayed on the LCD 29. An edit button 40 and a return button 41 are displayed along with the person image.

ここで、利用者が、キーセット３４により、編集ボタン４０を選択すると、図１１（ｂ）に示すように、挿入可能な装飾のリストが表示される。 Here, when the user selects the edit button 40 using the key set 34, a list of insertable decorations is displayed as shown in FIG.

そして、利用者が、「涙」というアイテムを選択し、決定ボタン４３を押すと、人物画像の顔領域が検出され、それに合う装飾配置情報が求められ、装飾「涙」がこの装飾配置情報に従って、入力画像に合成されて、結果が、図１１（ｃ）に示すように、ＬＣＤ２９に表示される。なお、涙の装飾５０、５１は、入力画像に追加されたものである。ここで、涙は、静止画の他に、移動するアニメーションとして挿入される。 Then, when the user selects the item “tears” and presses the enter button 43, the face area of the person image is detected, and decoration arrangement information corresponding to the face area is obtained, and the decoration “tears” are determined according to the decoration arrangement information. The result is synthesized with the input image, and the result is displayed on the LCD 29 as shown in FIG. The tear decorations 50 and 51 are added to the input image. Here, tears are inserted as moving animations in addition to still images.

さて、従来技術では、涙は、配置されたまま移動することはない。また、仮にアニメーションが挿入されたとしても、このアニメーションの動きは、人物画像の動きと全く無関係に動くことになる。 Now, in the prior art, tears do not move while placed. Further, even if an animation is inserted, the movement of this animation moves independently of the movement of the person image.

例えば、自動的に目の下に涙が挿入されることはなく、また、涙が額の頬あたりで止まるように自動的に調整されることはなく、涙がそのまま顔より下の方向へ流れていってしまう。また、顔が傾いたり動いたりするときに、涙の動きを顔に合わせて修正することはできない。 For example, tears are not automatically inserted under the eyes and are not automatically adjusted so that the tears stop around the cheeks of the forehead. End up. Also, when the face tilts or moves, the movement of tears cannot be corrected to match the face.

一方、本形態では、涙を挿入する前に、身体部分領域（例えば、本形態では、顔領域内の目）の位置及びサイズを検出することにより、身体部分領域の動きに同調して、自動的に目の下に涙が挿入されるようにしてある。しかも、顔の動きに、装飾を追従させることができる。 On the other hand, in this embodiment, before the tear is inserted, the position and size of the body part region (for example, eyes in the face region in this embodiment) are detected to automatically synchronize with the movement of the body part region. Tears are inserted under the eyes. Moreover, the decoration can follow the movement of the face.

以下、本形態の応用例を示しながら、装飾配置情報について、さらに説明する。図１３は、入力画像と装飾の座標系の位置関係説明図である。 Hereinafter, the decoration arrangement information will be further described with reference to application examples of the present embodiment. FIG. 13 is an explanatory diagram of the positional relationship between the input image and the coordinate system of decoration.

ここで、各応用例の説明に先立つ補足として、一般のアニメーションを作成する手順について簡単に説明する。基本的に、装飾が動くアニメーションは、トランスフォームプロパティと関連付けられた、装飾レイヤーを動かすことにより、作成される。 Here, as a supplement prior to the description of each application example, a procedure for creating a general animation will be briefly described. Basically, the animation that moves the decoration is created by moving the decoration layer associated with the transform property.

すなわち、アニメーションを作成するには、トランスフォームの属性（位置、回転など）をキーとなるフレーム（時間軸上に並ぶ存在）毎に設定し、時間の経過に合わせて、属性の各値を変化させる。 In other words, to create an animation, set the transform attributes (position, rotation, etc.) for each key frame (present on the time axis), and change each attribute value as time passes. Let

ここで、キーフレームとは、基準となる時点のレイヤーの位置などの値を定めたものである。値の違う２つのキーフレーム（当然これらの時間軸上の位置は異なる）があれば、時間軸において、これらのキーフレーム間に位置するフレームについては、中間値を計算することにより、属性の各値を決定できる。つまり、（１）キーフレームの作成、（２）それらの補間による移動軌跡設定、という作業を繰り返せば、アニメーションを作成できる。 Here, the key frame defines values such as the position of the layer at the reference time point. If there are two key frames with different values (of course, their positions on the time axis are different), for each frame located between these key frames on the time axis, each value of the attribute is calculated by calculating an intermediate value. The value can be determined. In other words, an animation can be created by repeating the operations of (1) creation of key frames and (2) movement trajectory setting by their interpolation.

次に、図１４に示すアニメーションを例に、上述の要領による、アニメーション作成の手順を説明する。ここでは、図１４（ａ）〜（ｄ）に示すように、レイヤーの位置と回転、スケールの値を変化させて、左手前から右上奥に飛行機が飛んでいくアニメーションを作成するものとする。 Next, taking the animation shown in FIG. 14 as an example, a procedure for creating an animation according to the above-described procedure will be described. Here, as shown in FIGS. 14A to 14D, it is assumed that an animation in which an airplane flies from the front left side to the back upper right side is generated by changing the position, rotation, and scale values of the layers.

まず、装飾レイヤーを配置する座標系を定義するため、この座標系のアンカーポイントを設定する。本例では、図１３に示すように、アンカーポイントを元画像の中心である（Ｘ０、Ｙ０）に設定し、座標軸の方向も、元画像座標系と同一であるとする。 First, in order to define a coordinate system for arranging the decoration layer, an anchor point of this coordinate system is set. In this example, as shown in FIG. 13, the anchor point is set to (X0, Y0) which is the center of the original image, and the direction of the coordinate axis is also the same as that of the original image coordinate system.

そして、このアンカーポイントは、アニメーションの最後まで固定とする。この結果、位置、回転については、全てこのアンカーポイントが持つ座標系によった値となる。 This anchor point is fixed until the end of the animation. As a result, the position and rotation are all values according to the coordinate system of the anchor point.

次に、時間軸において、キーフレームの位置と、その間を結ぶ移動軌跡を設定する。例えば、図１５に示すように、飛行機は最初のフレームでＡ地点に、２秒後にＢ地点に、４秒後にＣ地点に移動したとし、その間は曲線で結ばれているとする。また、回転、拡大縮小率についても、同様にポイントとなるフレームに対して設定する。そして、時間軸において、これらのキーフレームの間に位置するフレームについて、隣り合うキーフレームの補間により、移動軌跡を設定する。以上の結果、図１４に示すような、右上奥にロケットが飛んでいくアニメーションを作成できる。 Next, on the time axis, the positions of the key frames and the movement trajectory connecting them are set. For example, as shown in FIG. 15, it is assumed that the plane moves to point A in the first frame, to point B after 2 seconds, to point C after 4 seconds, and is connected by a curve between them. Similarly, the rotation and the enlargement / reduction ratio are set for the point frame. Then, on the time axis, for a frame located between these key frames, a movement locus is set by interpolation of adjacent key frames. As a result of the above, it is possible to create an animation in which the rocket flies in the upper right corner as shown in FIG.

（応用例１）
本例では、テンプレートマッチングによって顔部分領域の位置及び範囲が設定された後、その位置に応じた場所に装飾を表現する座標系の原点（アンカーポイント）を設定する。 (Application 1)
In this example, after the position and range of the face partial area are set by template matching, the origin (anchor point) of the coordinate system that expresses decoration is set at a location corresponding to the position.

図１６（ａ）には、装飾画像データを、図１６（ｃ）には、局所的には楕円軌道を描く装飾の座標系の原点であるアンカーポイントを、顔領域の頭部に設定した結果を示している。 FIG. 16A shows the decoration image data, and FIG. 16C shows the result of setting the anchor point, which is the origin of the decoration coordinate system that locally draws an elliptical orbit, at the head of the face area. Is shown.

次に、この人物の顔部分領域が検出されると、図１６（ｂ）に示すように、これに応じて、顔領域の頭部にアンカーポイントを移動させる。また、顔領域のサイズが変化したときは、顔領域のサイズに比例して、座標系のスケールを変化させる。 Next, when the face partial area of the person is detected, as shown in FIG. 16B, the anchor point is moved to the head of the face area accordingly. Further, when the size of the face area changes, the scale of the coordinate system is changed in proportion to the size of the face area.

また、向きが変わったときは、座標系の軸の方向が最初に設定した方向と同一方向を向くように変化させる。 Further, when the orientation changes, the direction of the axis of the coordinate system is changed so as to face the same direction as the initially set direction.

これによって、人間が撮影装置に対して相対的に動いたとしても、常に頭部に楕円軌道を描く装飾が、人間の動きに追従するようになる。 As a result, even when a human moves relative to the photographing apparatus, the decoration that always draws an elliptical orbit on the head follows the human movement.

また、違う場面で撮影した複数枚の顔画像において、それぞれの顔位置、範囲、傾き、向きに応じて常に頭部、頭部の大きさに比例した軌道で装飾を移動させることができるため、遊戯性がより高まることになる。 In addition, in multiple face images taken in different scenes, the decoration can always be moved in a trajectory proportional to the head and head size according to each face position, range, tilt, orientation, Playability will be further enhanced.

（応用例２）
本例では、装飾情報（その２）を使用し、合成フレーム装飾の不透明度を、顔領域の移動に追随して、変化させる。 (Application example 2)
In this example, decoration information (part 2) is used to change the opacity of the composite frame decoration following the movement of the face area.

本例では、図１０（ｂ）に示す装飾情報（その２）を使用する。ここで、図５におけるステップ１〜ステップ３までの処理は、図１０（ａ）に示す装飾情報（その１）を使用する場合と、同様である。 In this example, the decoration information (part 2) shown in FIG. 10B is used. Here, the processing from step 1 to step 3 in FIG. 5 is the same as the case of using the decoration information (part 1) shown in FIG.

但し、図５のステップ４〜ステップ６において、図１２（ｅ）のマスクのうち、斜線部に、図１２（ｆ）に示す静止画が、見えるように配置し、入力画像の内、顔領域として検出された部分の画像を、非斜線部にサイズあわせをして貼り付け、これを出力する。 However, in Step 4 to Step 6 of FIG. 5, the still image shown in FIG. 12F is arranged so as to be visible in the hatched portion of the mask of FIG. The image of the portion detected as is pasted with the size adjusted to the non-hatched portion and output.

即ち、背景となる静止画との合成マスクを、装飾配置情報として使用し、顔検出した結果に応じて合成マスクの中心が、顔の中心となるように配置し、そのマスクによって、静止画と入力画像とを合成するときに不透明度の設定を制御する。 That is, a composite mask with a still image as a background is used as decoration arrangement information, and the center of the composite mask is arranged so as to be the center of the face according to the result of face detection. Controls the opacity setting when compositing with the input image.

以上の結果、別の画像と合成するときに、顔領域に静止画がかからないようにすることができる。 As a result, it is possible to prevent a still image from being applied to the face area when combining with another image.

（応用例３）
本例では、図１７に示すように、視点に対する奥行き情報（Ｚ軸）を、入力画像及び装飾の双方に、追加する。 (Application 3)
In this example, as shown in FIG. 17, depth information (Z axis) for the viewpoint is added to both the input image and the decoration.

そして、装飾が、入力画像の投射面に相当する仮想面６０で切断されるとき、装飾を、この仮想面６０の前景側にある前景領域６１と、背景側にある背景領域６２とに、分ける。 When the decoration is cut at the virtual plane 60 corresponding to the projection plane of the input image, the decoration is divided into a foreground area 61 on the foreground side of the virtual plane 60 and a background area 62 on the background side. .

さらに、前景領域６１と、背景領域６２の不透明度を変えて、合成する。これにより、図１８に示すように、顔の周囲を星が回っているようなアニメを作成することができる。 Further, the opacity of the foreground area 61 and the background area 62 is changed to be synthesized. Thereby, as shown in FIG. 18, it is possible to create an animation in which stars are turning around the face.

これには、顔を通過するような軌跡になるように、意図的にアンカーポイントを設定すればよい。そして、顔の背面を通過する、背景領域６２を、透明にすれば、入力画像に、三次元ライクで動きのある装飾を、追加できる。 For this purpose, an anchor point may be intentionally set so that the trajectory passes through the face. Then, if the background region 62 passing through the back of the face is made transparent, it is possible to add a decoration that moves in a three-dimensional manner to the input image.

（応用例４）
本例では、図１９に示すように、過去数フレーム分の位置と向きの系列、現在の位置と向き、過去数フレーム分等から、次のフレームにおける装飾の属性を、推定する。例えば、装飾が、等速運動するものと仮定すれば、簡単な式で、装飾の属性を推定できる。 (Application 4)
In this example, as shown in FIG. 19, the attribute of the decoration in the next frame is estimated from the position and orientation series for the past several frames, the current position and orientation, the past several frames, and the like. For example, if it is assumed that the decoration moves at a constant velocity, the decoration attribute can be estimated by a simple expression.

さらに、身体部分領域と重なった場合、軌道の修正するようにすればよい。複数の装飾を登場させる際には、それぞれの装飾は、互いに無関係に移動するようにするとよい。 Furthermore, when it overlaps with the body part region, the trajectory may be corrected. When a plurality of decorations are made to appear, each decoration may be moved independently of each other.

本例では、図２０に示すように、装飾が、身体部分領域あるいは入力画像の外郭線に衝突する際、装飾の移動方向を、身体部分領域から離れる向きに、変更する。このようにすると、装飾に、身体部分領域にぶつかったときに反射するような動きを、与えることができ、遊戯性を向上できる。 In this example, as shown in FIG. 20, when the decoration collides with the body part region or the outline of the input image, the moving direction of the decoration is changed to a direction away from the body part region. If it does in this way, a motion which reflects when it hits a body part field can be given to decoration, and play nature can be improved.

本発明に係る画像処理装置は、例えば、カメラ付き携帯電話等に搭載して好適に利用できる。 The image processing apparatus according to the present invention can be suitably used by being mounted on, for example, a camera-equipped mobile phone.

本発明の一実施の形態における画像処理装置の機能ブロック図1 is a functional block diagram of an image processing apparatus according to an embodiment of the present invention. 本発明の一実施の形態における画像処理装置のブロック図1 is a block diagram of an image processing apparatus according to an embodiment of the present invention. 本発明の一実施の形態における画像処理装置の外観図1 is an external view of an image processing apparatus according to an embodiment of the present invention. （ａ）本発明の一実施の形態におけるメタファイルの例示図（ｂ）本発明の一実施の形態における入力画像ファイルの例示図（ｃ）本発明の一実施の形態における装飾ファイルの例示図(A) Illustrated diagram of metafile in one embodiment of the present invention (b) Illustrated diagram of input image file in one embodiment of the present invention (c) Illustrated diagram of decoration file in one embodiment of the present invention 本発明の一実施の形態における画像処理装置のフローチャート1 is a flowchart of an image processing apparatus according to an embodiment of the present invention. （ａ）本発明の一実施の形態におけるテンプレートの例示図（ｂ）本発明の一実施の形態におけるテンプレートの例示図（ｃ）本発明の一実施の形態におけるテンプレートの例示図(A) Template illustration in one embodiment of the present invention (b) Template illustration in one embodiment of the present invention (c) Template illustration in one embodiment of the present invention （ａ）本発明の一実施の形態におけるテンプレートの例示図（ｂ）本発明の一実施の形態におけるテンプレートの例示図（ｃ）本発明の一実施の形態におけるテンプレートの例示図(A) Template illustration in one embodiment of the present invention (b) Template illustration in one embodiment of the present invention (c) Template illustration in one embodiment of the present invention （ａ）本発明の一実施の形態におけるテンプレートの例示図（ｂ）本発明の一実施の形態におけるテンプレートの例示図（ｃ）本発明の一実施の形態におけるテンプレートの例示図(A) Template illustration in one embodiment of the present invention (b) Template illustration in one embodiment of the present invention (c) Template illustration in one embodiment of the present invention 本発明の一実施の形態におけるパターンマッチングの説明図Explanatory drawing of the pattern matching in one embodiment of this invention （ａ）本発明の一実施の形態における装飾情報の構成図（ｂ）本発明の一実施の形態における装飾情報の構成図(A) Configuration diagram of decoration information in one embodiment of the present invention (b) Configuration diagram of decoration information in one embodiment of the present invention （ａ）本発明の一実施の形態におけるユーザインターフェイスの表示例図（ｂ）本発明の一実施の形態におけるユーザインターフェイスの表示例図（ｃ）本発明の一実施の形態におけるユーザインターフェイスの表示例図(A) User interface display example in one embodiment of the present invention (b) User interface display example in one embodiment of the present invention (c) User interface display example in one embodiment of the present invention Figure （ａ）本発明の一実施の形態における画像処理装置の処理過程説明図（ｂ）本発明の一実施の形態における画像処理装置の処理過程説明図（ｃ）本発明の一実施の形態における画像処理装置の処理過程説明図（ｄ）本発明の一実施の形態における画像処理装置の処理過程説明図（ｅ）本発明の一実施の形態における画像処理装置の処理過程説明図（ｆ）本発明の一実施の形態における画像処理装置の処理過程説明図（ｇ）本発明の一実施の形態における画像処理装置の処理過程説明図(A) Processing process explanatory diagram of the image processing apparatus in one embodiment of the present invention (b) Processing process explanatory diagram of the image processing apparatus in one embodiment of the present invention (c) Image in one embodiment of the present invention (D) Processing process explanatory diagram of the image processing apparatus according to the embodiment of the present invention (e) Processing process explanatory diagram of the image processing apparatus according to the embodiment of the present invention (f) (G) Processing process explanatory diagram of the image processing apparatus in one embodiment of the present invention 本発明の一実施の形態における座標系の説明図Explanatory drawing of the coordinate system in one embodiment of the present invention （ａ）本発明の一実施の形態におけるアニメーションの説明図（ｂ）本発明の一実施の形態におけるアニメーションの説明図（ｃ）本発明の一実施の形態におけるアニメーションの説明図（ｄ）本発明の一実施の形態におけるアニメーションの説明図(A) An explanatory diagram of an animation in one embodiment of the present invention (b) An explanatory diagram of an animation in an embodiment of the present invention (c) An explanatory diagram of an animation in an embodiment of the present invention (d) The present invention Explanatory drawing of animation in one embodiment 本発明の一実施の形態におけるアニメーションの説明図Explanatory drawing of animation in one embodiment of the present invention （ａ）本発明の一実施の形態における装飾の例示図（ｂ）本発明の一実施の形態におけるアンカーポイントの説明図（ｃ）本発明の一実施の形態における合成画像の例示図(A) Illustration of decoration in one embodiment of the present invention (b) Illustration of anchor point in one embodiment of the present invention (c) Illustration of composite image in one embodiment of the present invention 本発明の一実施の形態における装飾の例示図The illustration of the decoration in one embodiment of the present invention 本発明の一実施の形態における合成画像の例示図Illustration of composite image in one embodiment of the present invention 本発明の一実施の形態における装飾の例示図The illustration of the decoration in one embodiment of the present invention 本発明の一実施の形態における合成画像の例示図Illustration of composite image in one embodiment of the present invention

符号の説明Explanation of symbols

１画像入力部
２制御部
３画像出力部
４入力画像記憶部
５テンプレート記憶部
６検出部
７装飾情報記憶部
８装飾配置部
９配置情報記憶部
１０合成部
１１出力画像記憶部
１２操作部 DESCRIPTION OF SYMBOLS 1 Image input part 2 Control part 3 Image output part 4 Input image memory | storage part 5 Template memory | storage part 6 Detection part 7 Decoration information storage part 8 Decoration arrangement | positioning part 9 Arrangement information storage part 10 Synthesis | combination part 11 Output image storage part 12 Operation part

Claims

入力画像を得る画像入力部と、
前記入力画像の画像処理を制御する制御部と、
画像処理が施された前記入力画像を出力する画像出力部と、を備える装置による画像処理方法であって、
人物像を含む前記入力画像から身体部分領域の位置を検出し、前記身体部分領域の、前記入力画像の平面内での回転量および／または平面に対する回転量を検出するステップと、
検出した身体部分領域の位置に合わせて移動軌跡を持つ装飾の座標系の原点の位置を定め、検出した回転量に合わせて装飾の座標系の回転量を定めるステップと、
定めた原点の位置と定めた回転量と移動軌跡から前記装飾の配置情報を定めるステップと、
前記配置情報に基づいて、前記装飾を配置して出力画像を生成するステップと、
前記出力画像を出力するステップと、を含む、画像処理方法。 An image input unit for obtaining an input image;
A control unit that controls image processing of the input image;
An image processing method by an apparatus comprising: an image output unit that outputs the input image subjected to image processing,
Detecting a position of a body part region from the input image including a person image, and detecting a rotation amount of the body part region in a plane of the input image and / or a rotation amount with respect to the plane ;
A step in accordance with the detected position of the body part area defining a position of the origin of the coordinate system of the decoration with moving trajectory, determining the amount of rotation of the coordinate system of the combined decoration detected rotation amount,
Determining the decoration arrangement information from the determined origin position , the determined rotation amount and the movement trajectory;
A step of based on said location information, and generates an output image by placing the decoration,
Outputting the output image. An image processing method comprising:

前記出力するステップでは、装飾を入力画像に描画した画像データを出力する請求項１記載の画像処理方法。 The image processing method according to claim 1, wherein in the outputting step, image data in which a decoration is drawn on an input image is output.

前記出力するステップでは、入力画像と装飾とを関連付けた画像データを出力する請求項１記載の画像処理方法。 The image processing method according to claim 1, wherein in the outputting step, image data in which an input image is associated with a decoration is output.

入力画像と装飾とは、メタファイルにより関連付けられる請求項３記載の画像処理方法。 The image processing method according to claim 3, wherein the input image and the decoration are associated by a metafile.

前記装飾の不透明度を、前記身体部分領域の前記入力画像の投射面に相当する仮想面の前にある領域と、前記入力画像の投射面に相当する仮想面の後ろにある領域と、で、異なるように定めるステップと、
前記生成するステップでは、前記配置情報および定めた不透明度に基づいて、前記装飾を配置して出力画像を生成する請求項１記載の画像処理方法。 The opacity of the decorative, a region in front of the virtual surface corresponding to the projection surface of the input image of the body part area, and the area behind the virtual surface corresponding to the projection surface of the input image in, Differently defined steps,
The image processing method according to claim 1, wherein, in the generating step, an output image is generated by arranging the decoration based on the arrangement information and the determined opacity.

前記装飾が、前記身体部分領域に衝突する際、前記装飾の移動方向を、前記身体部分領域から離れる向きに、変更する、請求項１記載の画像処理方法。 The decoration, when impinging on the body part area, the moving direction of the decoration, in a direction away from said body part area, to change, the image processing method according to claim 1, wherein.

人物像を含む入力画像を記憶する入力画像記憶部と、
人物の身体部分領域のテンプレートを記憶するテンプレート記憶部と、
前記テンプレート記憶部のテンプレートを用いて、前記入力画像記憶部に記憶された入力画像から、人物の身体部分領域を検出し、前記身体部分領域の、前記入力画像の平面内での回転量および／または平面に対する回転量を検出する検出部と、
装飾画像情報を記憶する装飾情報記憶部と、
前記検出した身体部分領域の位置に合わせて移動軌跡を持つ装飾の座標系の原点を定め、検出した回転量に合わせて装飾の座標系の回転量を定め、定めた原点の位置と定めた回転量と移動軌跡から前記装飾の配置情報を定める装飾配置部と、
前記配置情報に基づいて前記装飾を配置して出力画像を生成する合成部とを備える、画像処理装置。 An input image storage unit for storing an input image including a person image;
A template storage unit for storing a template of a human body part region;
A body part region of a person is detected from an input image stored in the input image storage unit using a template of the template storage unit , and the amount of rotation of the body part region in the plane of the input image and / or Or a detection unit for detecting the amount of rotation with respect to the plane ;
A decoration information storage unit for storing decoration image information;
The origin of the decoration coordinate system having a movement locus is determined according to the detected position of the body part region, the amount of rotation of the decoration coordinate system is determined according to the detected amount of rotation, and the rotation determined as the position of the determined origin A decoration placement unit that determines the placement information of the decoration from the amount and the movement trajectory ;
And a synthesis unit which generates an output image by arranging the decoration on the basis of the arrangement information, the image processing apparatus.

前記装飾配置部は、前記検出部が検出した回転量の変化に同調するように、装飾の配置情報を定める、請求項７記載の画像処理装置。 The image processing apparatus according to claim 7 , wherein the decoration arrangement unit determines decoration arrangement information so as to synchronize with a change in the rotation amount detected by the detection unit.

前記装飾情報は、装飾画像データと、トランスフォームプロパティとが、関連付けて構成される、請求項７または８記載の画像処理装置。 The image processing apparatus according to claim 7 , wherein the decoration information is configured by associating decoration image data and a transform property.

前記装飾情報は、装飾画像データと、マスクデータとが、関連付けて構成される、請求項７から９のいずれか記載の画像処理装置。 The decorative information includes decoration image data, and the mask data, association with configured, the image processing apparatus according to any of claims 7 9.