JP3951061B2 - Face image processing method and face image processing apparatus - Google Patents
Face image processing method and face image processing apparatus Download PDFInfo
- Publication number
- JP3951061B2 JP3951061B2 JP2006242510A JP2006242510A JP3951061B2 JP 3951061 B2 JP3951061 B2 JP 3951061B2 JP 2006242510 A JP2006242510 A JP 2006242510A JP 2006242510 A JP2006242510 A JP 2006242510A JP 3951061 B2 JP3951061 B2 JP 3951061B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- color
- face
- image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 159
- 238000003672 processing method Methods 0.000 title claims description 14
- 239000013598 vector Substances 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 42
- 238000013500 data storage Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 62
- 210000005252 bulbus oculi Anatomy 0.000 description 45
- 210000001508 eye Anatomy 0.000 description 44
- 230000037308 hair color Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 34
- 239000002131 composite material Substances 0.000 description 33
- 230000008921 facial expression Effects 0.000 description 33
- 210000004209 hair Anatomy 0.000 description 33
- 230000014509 gene expression Effects 0.000 description 18
- 230000032683 aging Effects 0.000 description 13
- 210000004709 eyebrow Anatomy 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000002068 genetic effect Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 210000001061 forehead Anatomy 0.000 description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical group [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 6
- 239000010931 gold Substances 0.000 description 6
- 229910052737 gold Inorganic materials 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 210000001331 nose Anatomy 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003716 rejuvenation Effects 0.000 description 2
- 238000007665 sagging Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、たとえば2枚の顔画像と背景となる1枚の顔画像を用いて、この背景となる1枚の顔画像をベースとして前記2枚の顔画像を合成する顔画像処理方法及び顔画像処理装置に関する。 The present invention, for example, uses a face image processing method and a face image processing method for synthesizing the two face images based on the one face image serving as the background using two face images and one face image serving as the background. The present invention relates to an image processing apparatus.
この種の画像合成の例として、たとえば、或る男性の顔画像と或る女性の顔画像を用いて、適当な子どもの顔画像をベースにして、男性の顔画像の特徴と女性の顔画像の特徴を加味して合成し、子どもの顔画像を作成するというようなことが従来より行われている。 As an example of this type of image composition, for example, using a face image of a certain man and a face image of a certain woman, based on the face image of an appropriate child, the characteristics of the face image of the man and the face image of the woman Conventionally, a child's face image is created by combining the above features.
このような画像合成を行う場合は、2枚の顔画像G1,G2と背景となる1枚の顔画像G3があって、これらの顔画像G1,G2,G3に整合させたそれぞれの形状モデルを用意し、顔画像G1,G2,G3とそれぞれに対応する形状モデルをもとに、背景となる顔画像G3をベースにして顔画像G1,G2の特徴を加味した画像を合成するのが一般的である。 When performing such image synthesis, there are two face images G1, G2 and one face image G3 as a background, and the shape models matched to these face images G1, G2, G3 are selected. In general, based on the shape models corresponding to each of the face images G1, G2, and G3, an image that incorporates the features of the face images G1 and G2 is synthesized based on the face image G3 that is the background. It is.
図12は従来の画像合成装置の処理を説明するブロック図であり、以下、図12を参照して説明する。 FIG. 12 is a block diagram for explaining the processing of the conventional image composition apparatus, which will be described below with reference to FIG.
図12において、1は形状補間処理部、2は色補間処理部である。形状補間処理部1には、顔画像G1、顔画像G2、背景となる顔画像G3のそれぞれの形状データ(後に説明する)が入力され、色補間処理部2には、顔画像G1、顔画像G2、顔画像G3のそれぞれの画像データ(色データ)が入力されるとともに、顔画像G1、顔画像G2、顔画像G3のそれぞれの形状データ、さらに前記形状補間処理部1からの形状補間データが入力されるよになっている。そして、この色補間処理部2から合成画像データが出力される。
In FIG. 12, 1 is a shape interpolation processing unit, and 2 is a color interpolation processing unit. The shape
ところで、前記形状データというのは、図13に示すような形状モデルにおける顔画像内のそれぞれの点qの番号(q0,q1,・・・)、2つの点間を結ぶラインLの番号(L0,L1,・・・)、近傍の3つの点を結んで形成されるパッチpの番号(p0,p1,・・・)を基に得られた前記それぞれの点qの座標データ、前記それぞれのラインLに関するデータ(たとえば、ラインL0は点q0とq1で形成されるというようなデータ)、前記それぞれのパッチpに関するデータ(たとえば、パッチp0は点q0,q1,q2で形成されるというようなデータ)である。 Incidentally, the shape data refers to the number of each point q (q0, q1,...) In the face image in the shape model as shown in FIG. 13 and the number of the line L (L0) connecting the two points. , L1,..., Coordinate data of the respective points q obtained based on the number (p0, p1,...) Of the patch p formed by connecting three neighboring points, Data relating to the line L (for example, data such that the line L0 is formed by the points q0 and q1), data relating to the respective patches p (for example, the patch p0 is formed by the points q0, q1, and q2) Data).
そして、前記形状補間処理部1では、顔画像G1、顔画像G2のそれぞれの形状データを用いて形状補間する処理を行う。つまり、顔画像G1と顔画像G2の対応する点の座標を所定の比率で補間する(たとえば、両者の座標値をたして2で割る)というような処理を行って形状補間を行う。そして、このように形状補間されたのち、色補間処理部2では、形状補間された後のそれぞれのパッチにおいて、それぞれのパッチ内の所定の位置に対応する顔画像G1と顔画像G2のそれぞれの画素の色データを所定の比率で補間して、それを前記形状補間された所定のパッチの所定位置に書き込むというような処理を行って、合成画像データを作成する。
The shape
さらに、たとえば、顔画像G1を父親の顔画像、顔画像G2を母親の顔画像として、背景となる顔画像G3(或るこどもの顔画像)に顔画像G1と顔画像G2を合成した顔画像を作成する場合は、顔画像G1、顔画像G2、顔画像G3の補間比率が合計で1となるように形状補間補間処理および色補間処理して画像合成を行う。 Further, for example, the face image G1 is the father's face image, the face image G2 is the mother's face image, and the face image G3 (face image of a certain child) is combined with the face image G1 and the face image G2. Is created by performing shape interpolation interpolation processing and color interpolation processing so that the interpolation ratios of the face image G1, the face image G2, and the face image G3 are 1 in total.
しかしながら、従来のこの種の顔画像合成装置は、合成しようとする顔画像G1と顔画像G2の2つの形状モデルの座標値をそのまま補間して、合成画像の形状モデルを求めている。このため、たとえば、図14に示すように、補間比率を連続的に変化させて顔画像の合成を行う場合、目や口などの顔の特徴的な構成部品の位置が細かく移動してしまうという問題があった。なお、図14において、同図(a)は顔画像G1と顔画像G2の形状補間比率を、G1:G2=0.7:0.3とした場合、同図(b)は顔画像G1と顔画像G2の形状補間比率を、G1:G2=0.5:0.5とした場合、同図(c)は顔画像G1と顔画像G2の形状補間比率を、G1:G2=0.3:0.7とした場合を示している。 However, this type of conventional face image synthesizing apparatus interpolates the coordinate values of the two shape models of the face image G1 and the face image G2 to be synthesized as they are to obtain the shape model of the synthesized image. For this reason, as shown in FIG. 14, for example, when face images are synthesized by continuously changing the interpolation ratio, the positions of characteristic components of the face such as the eyes and mouth move finely. There was a problem. In FIG. 14, FIG. 14A shows a case where the shape interpolation ratio between the face image G1 and the face image G2 is G1: G2 = 0.7: 0.3. FIG. 14B shows the face image G1 and the face image G2. When the shape interpolation ratio is G1: G2 = 0.5: 0.5, FIG. 5C shows the case where the shape interpolation ratio between the face image G1 and the face image G2 is G1: G2 = 0.3: 0.7.
また、従来の顔画像合成装置においては、目、口、鼻などの部品単位に形状補間比率および色補間比率を変化させる手段はなく、一定の形状補間比率および色補間比率で補間処理を行っていた。そのため、たとえば、目は顔画像G1(男性の顔画像)、鼻は顔画像G2(女性の顔画像)に似せるというように、部品単位にどちらかの顔画像に似せるというような処理は行えないのが普通であった。また、色補間を一定の比率で補間処理することから、顔画像G1,G2や背景となる顔画像G3において、輝度の極端に低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題もあった。 In addition, in the conventional face image synthesizer, there is no means for changing the shape interpolation ratio and the color interpolation ratio for each part such as the eyes, mouth, and nose, and the interpolation processing is performed at a constant shape interpolation ratio and color interpolation ratio. It was. For this reason, for example, the process of resembling one of the face images in units of parts, such as resembling the face image G1 (male face image) and the nose resembling the face image G2 (female face image), cannot be performed. It was normal. In addition, since the color interpolation is performed at a constant ratio, in the face images G1 and G2 and the face image G3 that is the background, the colors of shadows and hair or highlight portions with extremely low luminance are halfway. In addition, there is a problem that the synthesized image is unnatural due to the effect on the synthesized image.
さらに、従来の顔合成処理は、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色については何等考慮されない合成処理であった。したがって、日本人同志の合成の場合は、特に問題はないが、髪の色、目の色、肌の色の異なる人同志の顔画像を合成する場合、従来の合成処理方法では不自然な合成顔画像が作成される場合もある。たとえば、金髪で肌の色が白色、眼球が青色の大人の男女の顔画像G1,G2を、或る子どもの顔画像をベースにして合成する場合、ベースとなる子どもの顔画像が日本人では、合成後の子どもの顔画像が不自然なものとなってしまうのは明らかである。 Furthermore, the conventional face synthesis process is a synthesis process that does not take into account any characteristic colors indicating the race such as hair color, eye color, and skin color of the face image. Therefore, in the case of compositing with Japanese people, there is no particular problem, but when composing face images of people with different hair color, eye color, and skin color, compositing that is unnatural with the conventional compositing method. A face image may be created. For example, when combining face images G1 and G2 of an adult male and female with blonde skin and white skin color and blue eyeballs based on the face image of a certain child, It is clear that the child's face image after synthesis becomes unnatural.
しかしながら、従来では、顔画像G1,G2の髪の色、目の色、肌の色など人種を示す特徴的な色に対応して、背景となる顔画像G3を選択するという処理を行っていないのが一般的である。 However, conventionally, a process of selecting a face image G3 as a background corresponding to characteristic colors indicating the race, such as hair color, eye color, and skin color of the face images G1 and G2, has been performed. In general it is not.
また、或る1枚の顔画像を用いて、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させることも従来より行われている。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させる場合は、顔のどの点をどの程度どの方向に移動させるかというデータ(これを表情データという)を予め設定しておくことで、表情を変化させることができる。たとえば、微笑んだ表情を作る場合には、目の下瞼の或る点を10画素だけ上方に移動させるというような表情データを予め作成しておき、この表情データに基づいて表情を変化させるのが一般的であった。 In addition, it has been conventionally performed to change the facial expression by slightly moving the coordinate values of certain points of parts such as eyes, nose, eyebrows and mouth using a certain face image. For example, if you change the facial expression, such as creating a smiling expression by moving the lower eyelid part up slightly, data about which point on the face is moved to which direction (this ) Is set in advance, the facial expression can be changed. For example, when creating a smiling facial expression, it is common to create facial expression data that moves a certain point on the lower eyelid up by 10 pixels in advance and change the facial expression based on the facial expression data. It was the target.
しかし、このような定数による表情データでは、顔画像の大きさに関係なく、同じ量だけ点の移動が行われるので、小さい顔画像の場合には、移動量が大きすぎて不自然な表情となってしまう問題があった。 However, in facial expression data based on such constants, the point is moved by the same amount regardless of the size of the face image, so in the case of a small face image, the amount of movement is too large and the expression is unnatural. There was a problem that would become.
これに対処する従来技術として、移動ベクトルの正規化をする方法があるが、従来の移動ベクトルの正規化方法は、四角の曲面パッチ(ベッツイ・パッチ)を対象としたものであり、演算も微分演算を必要とするなどその計算量はきわめて多いという問題があった。 As a conventional technique for dealing with this, there is a method of normalizing a movement vector, but the conventional method of normalizing a movement vector is for a square curved surface patch (Betsui patch), and the operation is also differentiated. There was a problem that the amount of calculation was very large, such as requiring computation.
また、或る1枚の顔画像を用いて、その顔画像に年齢変化を加える処理、たとえば、或る顔画像が年をとったときどのような顔画像となるかの処理(これをここでは加齢処理という)を施すことが従来より行われている。この技術の1つとして、たとえば、肌のたるみ処理を施す技術がある。これは、皮膚を弾性を持った布地物体として、下方向の重力の作用を加えることで皮膚の垂みを表そうとするものである。 Also, a process for adding a change in age to a face image using a certain face image, for example, a process for determining a face image when a face image is old (Aging treatment) has been conventionally performed. As one of the techniques, for example, there is a technique for performing a sagging process on the skin. This is intended to express the sagging of the skin by applying the action of gravity in the downward direction with the skin as an elastic fabric object.
しかし、この方法は、多少の加齢効果は期待できるものの、リアリティのある加齢処理を行うことはできなかった。 However, although this method can be expected to have some aging effect, it has not been possible to perform a realistic aging treatment.
そこで、本発明は、形状補間比率を連続的に変えて複数の顔画像を合成する場合、顔の特徴的な部分の位置が動くのを防止するとともに、合成後の顔画像を顔の部品単位で補間比率を変化させることにより、部品単位でいずれかの顔画像に似せたりすることを可能とし、また、顔画像の輝度に応じて補間比率を変化させることにより、自然な合成画像を得ることを可能とし、また、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色を考慮した合成処理をも可能とし、さらに、簡単な計算量で顔の表情を変化させることができ、さらに、適切な年齢変化処理を施すことができる顔画像処理方法および顔画像処理装置を実現することを目的とする。 Therefore, the present invention prevents the position of the characteristic part of the face from moving when combining a plurality of face images by continuously changing the shape interpolation ratio, and the combined face image is converted into face component units. By changing the interpolation ratio in, it is possible to resemble one of the face images on a component basis, and to obtain a natural composite image by changing the interpolation ratio according to the brightness of the face image In addition, it is possible to perform composition processing that takes into account characteristic colors indicating the race, such as the hair color, eye color, and skin color of the face image. It is an object of the present invention to realize a face image processing method and a face image processing apparatus that can be changed and that can be subjected to appropriate age change processing.
本発明の画像処理方法は、2枚の顔画像G1,G2および背景となる顔画像G3と、これら顔画像G1,G2,G3に整合させたそれぞれの形状モデルとから、前記顔画像G3をベースとして前記顔画像G1,G2の特徴を加えた顔画像を合成する画像処理方法であって、第1の形状整合処理手段が、前記顔画像G1の特徴的部分に注目し、前記顔画像G1の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像G3の形状モデルの対応する点の座標に座標変換することで、前記顔画像G1を前記顔画像G3に大まかに整合するステップと、第2の形状整合処理手段が、前記顔画像G2の特徴的部分に注目し、前記顔画像G2の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像G3の形状モデルの対応する点の座標に座標変換することで、前記顔画像G2を前記顔画像G3に大まかに整合するステップと、形状補間処理手段が、前記第1の形状整合処理手段により整合された前記顔画像G1の整合後の形状モデルと、前記第2の形状整合処理手段により整合された前記顔画像G2の整合後の形状モデルのそれぞれと、前記顔画像G3の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間するステップと、色補間処理手段が、前記形状補間処理手段により形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間するステップとを有することを特徴としている。これにより、形状補間比率を連続的に変化させて2つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
The image processing method of the present invention is based on the face image G3 from the two face images G1, G2 and the background face image G3, and the shape models matched to the face images G1, G2, G3. As the image processing method for synthesizing the face image to which the features of the face images G1 and G2 are added, the first shape matching processing unit pays attention to the characteristic part of the face image G1, and The face image G1 is roughly matched to the face image G3 by converting the coordinates of the predetermined point corresponding to the characteristic part of the shape model into the coordinates of the corresponding point of the shape model of the face image G3. The step and the second shape matching processing unit pay attention to the characteristic part of the face image G2, and the coordinates of a predetermined point corresponding to the characteristic part of the shape model of the face image G2 are Corresponding shape model By roughly transforming the face image G2 to the face image G3 by performing coordinate conversion to the coordinates of the image, and the shape interpolation processing means matches the face image G1 matched by the first shape matching processing means. The coordinate values of points corresponding to the shape model after matching, the shape model after matching of the face image G2 matched by the second shape matching processing unit, and the shape model of the face image G3 are set as predetermined values. A step of performing shape interpolation at a ratio and a step of color interpolation processing means performing color interpolation at a predetermined ratio for each corresponding pixel with respect to the shape model subjected to shape interpolation by the shape interpolation processing means. . As a result, even when two face images are synthesized by continuously changing the shape interpolation ratio, the position of the characteristic part of the face such as the eyes and mouth moves slightly each time the shape interpolation ratio is changed. It becomes possible to obtain a high-quality composite image.
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像G1に似せたり、顔画像G2に似せたりすることができる。
In addition, the shape interpolation processing means performs shape interpolation by changing the ratio of shape interpolation for each feature part forming the face. As a result, the composite image can be made to resemble the face image G1 or the face image G2 for each part such as eyes and mouth.
また、前記色補間処理手段は、背景となる前記顔画像G3の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
Further, the color interpolation processing means sets the color interpolation ratio according to the luminance value of each part of the face image G3 as the background. As a result, when there is a part having a characteristic luminance value in the face image as a background, a color interpolation ratio can be set so that the hue of the characteristic part is left in the composite image, and the natural state is synthesized. An image can be obtained.
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像G3の肌色の中心輝度を有する部分に対しては前記顔画像G3の色補間比率を前記顔画像G1,G2の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像G3の色補間比率を前記顔画像G1,G2の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像G3の色補間比率を大きくするようにしている。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
The color interpolation ratio according to the luminance value is set such that the color interpolation ratio of the face image G3 is set to the color interpolation ratio of the face images G1 and G2 with respect to the portion having the center luminance of the skin color of the face image G3. For a portion having a luminance value greater than or less than a predetermined range around the center luminance of the skin color, the color interpolation ratio of the face image G3 is set to the face image G1. , G2 is larger than the color interpolation ratio, and within a predetermined range before and after the central luminance, the color interpolation ratio of the face image G3 is increased as the luminance value moves away from the central luminance. As a result, the composition can be performed while leaving the portion with extremely large or small luminance value such as the hair or highlight portion of the face image as the background, as it is, so that natural composition is possible.
また、前記色補間処理手段は、前記顔画像G1,G2の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、顔画像G1,G2において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像G1,G2の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
Further, the color interpolation processing means sets a color interpolation ratio according to the luminance value of each part of the face images G1, G2. As a result, when there are portions having characteristic luminance values in the face images G1 and G2, by setting a color interpolation ratio corresponding thereto, for example, hair is applied to the forehead portions of the face images G1 and G2. In such a case, it can be prevented from appearing in the composite image.
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像G1,G2の肌色の中心輝度を有する部分に対しては前記顔画像G1,G2の色補間比率を前記顔画像G3の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像G1,G2の色補間比率を前記顔画像G3の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像G1,G2の色補間比率を小さくするようにする。これにより、顔画像G1,G2の髪の毛など輝度値が極端に大きい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像G1,G2の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
The color interpolation ratio according to the luminance value is set so that the color interpolation ratio of the face images G1 and G2 is set to the color of the face image G3 for the portion having the center luminance of the skin color of the face images G1 and G2. For a portion having a luminance value greater than or less than a predetermined range around the center luminance of the skin color, the color interpolation ratio of the face images G1 and G2 being the largest compared to the interpolation ratio. The color interpolation ratio of the face images G3 and G2 is made smaller as the luminance value becomes farther from the central luminance within a predetermined range before and after the central luminance. As a result, for portions with extremely large luminance values such as the hair of the face images G1 and G2, by setting the color interpolation ratio to be small, for example, the forehead portion of the face images G1 and G2 seems to be covered with hair. In this case, it can be prevented from appearing in the composite image.
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像G1またはG2のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像G1に似せたり、顔画像G2に似せたりした合成画像を得ることができる。
In addition, the color interpolation processing means performs color interpolation by changing the color interpolation ratio for each feature portion forming the face. As a result, with respect to the hue, a composite image resembling either the face image G1 or G2 can be created for each characteristic part such as the eyes and mouth. By combining this with the technology for changing the shape interpolation ratio for each part such as the eyes and mouth, a composite image that more closely resembles the face image G1 or the face image G2 can be obtained. Can do.
また、本発明の顔画像処理方法は、2枚の顔画像G1,G2および背景となる顔画像G3と、これら顔画像G1,G2,G3に整合させたそれぞれの形状モデルとから、前記顔画像G3をベースとして前記顔画像G1,G2の特徴を加えた顔画像を合成する顔画像処理方法であって、色検出手段が、前記顔画像G1,G2の特徴的な領域に注目し、前記顔画像G1,G2のそれぞれの特徴的な領域の色を検出するステップと、背景顔画像選択処理手段が、前記色検出手段が検出した前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像G3を選択するステップとを有することを特徴としている。これによれば、合成しようとする顔画像G1,G2にふさわしい顔画像G3を選択できるので、自然な合成画像を作成することができる。
Further, the face image processing method of the present invention is based on two face images G1, G2 and a background face image G3, and each shape model matched to these face images G1, G2, G3. A face image processing method for synthesizing a face image to which the features of the face images G1 and G2 are added based on G3, wherein a color detection unit pays attention to a characteristic region of the face images G1 and G2, and A step of detecting the color of each characteristic area of the images G1, G2, and a background face image selection processing means based on the color data of the characteristic area detected by the color detection means; And selecting the face image G3. According to this, since the face image G3 suitable for the face images G1 and G2 to be synthesized can be selected, a natural synthesized image can be created.
前記背景顔画像選択処理手段は、前記色検出手段が検出した前記顔画像G1,G2の前記特徴的な領域の画像データを基に遺伝的な情報に基づいて、前記顔画像G3を選択する。これによれば、顔画像G1,G2の人種的な特徴に対応した顔画像G3を選択できるので、自然な合成画像を作成することができる。
The background face image selection processing means selects the face image G3 based on genetic information based on image data of the characteristic areas of the face images G1 and G2 detected by the color detection means. According to this, since the face image G3 corresponding to the racial characteristics of the face images G1 and G2 can be selected, a natural composite image can be created.
また、前記顔画像G1,G1の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの1つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して顔画像G3が選択されるので、自然な合成画像を作成することができる。
In addition, the characteristic areas of the face images G1 and G1 include at least one of a hair area, a skin area, and an eye area. According to this, since the face image G3 is selected in consideration of a particularly characteristic region in the face image, a natural composite image can be created.
また、本発明の顔画像処理方法は、1つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理方法であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、表情変化処理手段が、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう2つのベクトル、これらの2つのベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出するステップとを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
Further, the face image processing method of the present invention uses one face image as a processing target face image, uses the processing target face image and a shape model matched to the processing target face image, and uses a predetermined model of the processing target face image. A facial image processing method for changing a facial expression by moving a point by a predetermined amount, wherein facial expression data storage means for storing preset constants for changing the facial expression, and facial expression change processing means, Two vectors extending in a horizontal direction and a vertical direction from a certain point in the face image of the target toward the contour of the face image, and a vector orthogonal to these two vectors and having a geometric mean size of these vectors. Based on each of these vectors and a preset constant for changing the expression, a moving vector representing a moving direction and a moving amount of a predetermined point of the face image is calculated. It is characterized in that it has a and-up. Thereby, the process which changes the facial expression can be performed by simple calculation.
また、本発明の顔画像処理方法は、1つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、年齢変化処理部が、予め用意された或る年齢相応の顔画像G5とこの顔画像G5に整合させた形状モデルから、この顔画像G5の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
Further, the face image processing method of the present invention uses one face image as a processing target face image, uses a shape model matched with the processing target face image and the processing target face image, and uses the shape change model as the processing target face image. A face image processing method for performing a process for adding a face image G5 from a face model G5 suitable for a certain age and a shape model matched to the face image G5. An image of the region is extracted, and the extracted skin region image is mapped to the skin region of the processing target face image to perform age change processing. Thereby, a realistic age change process becomes possible.
また、本発明の画像処理装置は、2枚の顔画像G1,G2および背景となる顔画像G3と、これら顔画像G1,G2,G3に整合させたそれぞれの形状モデルとから、前記顔画像G3をベースとして前記顔画像G1,G2の特徴を加えた顔画像を合成する画像処理装置であって、前記顔画像G1の特徴的部分に注目し、前記顔画像G1の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像G3の形状モデルの対応する点の座標に座標変換することで、前記顔画像G1を前記顔画像G3に大まかに整合する第1の形状整合処理手段と、前記顔画像G2の特徴的部分に注目し、前記顔画像G2の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像G3の形状モデルの対応する点の座標に座標変換することで、前記顔画像G2を前記顔画像G3に大まかに整合させる第2の形状整合処理手段と、前記第1の形状整合処理手段により整合された前記顔画像G1の整合後の形状モデルと、前記第2の形状整合処理手段により整合された前記顔画像(G2)の整合後の形状モデルのそれぞれと、前記顔画像G3の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、前記形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段とを有したことを特徴としている。これにより、形状補間比率を連続的に変化させて2つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
Further, the image processing apparatus of the present invention uses the face image G3 from the two face images G1, G2 and the face image G3 as the background, and the respective shape models matched to the face images G1, G2, G3. An image processing apparatus for synthesizing a face image to which the features of the face images G1 and G2 are added based on the feature image, paying attention to the feature portion of the face image G1, and the feature portion of the shape model of the face image G1 The first shape matching processing means for roughly matching the face image G1 with the face image G3 by converting the coordinates of the predetermined point corresponding to the point to the coordinates of the corresponding point of the shape model of the face image G3 And the coordinates of a predetermined point corresponding to the characteristic part of the shape model of the face image G2 are coordinated to the coordinates of the corresponding point of the shape model of the face image G3. By converting, before A second shape matching processing means for roughly matching the face image G2 with the face image G3; a shape model after the matching of the face image G1 matched by the first shape matching processing means; Shape interpolation processing for shape interpolation at a predetermined ratio between coordinate values of the corresponding shape models of the face image (G2) matched by the shape matching processing means and the shape models of the face image G3. And a color interpolation processing means for performing color interpolation at a predetermined ratio for the corresponding pixels with respect to the shape model subjected to shape interpolation by the shape interpolation processing means. As a result, even when two face images are synthesized by continuously changing the shape interpolation ratio, the position of the characteristic part of the face such as the eyes and mouth moves slightly each time the shape interpolation ratio is changed. It becomes possible to obtain a high-quality composite image.
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像G1に似せたり、顔画像G2に似せたりすることができる。
In addition, the shape interpolation processing means performs shape interpolation by changing the ratio of shape interpolation for each feature part forming the face. As a result, the composite image can be made to resemble the face image G1 or the face image G2 for each part such as eyes and mouth.
また、前記色補間処理手段は、前記顔画像G3の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
Further, the color interpolation processing means determines the magnitude of the luminance value of each part of the face image G3, and sets the color interpolation ratio according to the magnitude of the luminance value. As a result, when there is a part having a characteristic luminance value in the face image as a background, a color interpolation ratio can be set so that the hue of the characteristic part is left in the composite image, and the natural state is synthesized. An image can be obtained.
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像G3の肌色の中心輝度を有する部分に対しては前記顔画像G3の色補間比率を前記顔画像G1,G2の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像G3の色補間比率を前記顔画像G1,G2の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像G3の色補間比率大きくするようにする。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
The color interpolation ratio according to the luminance value is set such that the color interpolation ratio of the face image G3 is set to the color interpolation ratio of the face images G1 and G2 with respect to the portion having the center luminance of the skin color of the face image G3. For a portion having a luminance value greater than or less than a predetermined range around the center luminance of the skin color, the color interpolation ratio of the face image G3 is set to the face image G1. , G2 is larger than the color interpolation ratio, and within a predetermined range before and after the central luminance, the color interpolation ratio of the face image G3 is increased as the luminance value becomes farther from the central luminance. As a result, the composition can be performed while leaving the portion with extremely large or small luminance value such as the hair or highlight portion of the face image as the background, as it is, so that natural composition is possible.
また、前記色補間処理手段は、前記顔画像G1,G2の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、顔画像G1,G2において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像G1,G2の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
Further, the color interpolation processing means determines the magnitude of the luminance value of each part of the face images G1, G2, and sets the color interpolation ratio according to the magnitude of the luminance value. As a result, when there are portions having characteristic luminance values in the face images G1 and G2, by setting a color interpolation ratio corresponding thereto, for example, hair is applied to the forehead portions of the face images G1 and G2. In such a case, it can be prevented from appearing in the composite image.
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像G1,G2の肌色の中心輝度を有する部分に対しては前記顔画像G1,G2の色補間比率を前記顔画像G3の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像G1,G2の色補間比率を前記顔画像G3の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像G1,G2の色補間比率を小さくするようにする。これにより、顔画像G1,G2の髪の毛など輝度値が極端に小さい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像G1,G2の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
The color interpolation ratio according to the luminance value is set so that the color interpolation ratio of the face images G1 and G2 is set to the color of the face image G3 for the portion having the center luminance of the skin color of the face images G1 and G2. For a portion having a luminance value greater than or less than a predetermined range around the center luminance of the skin color, the color interpolation ratio of the face images G1 and G2 being the largest compared to the interpolation ratio. The color interpolation ratio of the face images G3 and G2 is made smaller as the luminance value becomes farther from the central luminance within a predetermined range before and after the central luminance. As a result, for a portion with extremely small luminance value such as the hair of the face images G1 and G2, by setting the color interpolation ratio to be small, for example, the forehead portion of the face images G1 and G2 seems to be covered with hair. In this case, it can be prevented from appearing in the composite image.
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像G1またはG2のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像G1に似せたり、顔画像G2に似せたりした合成画像を得ることができる。
In addition, the color interpolation processing means performs color interpolation by changing the color interpolation ratio for each feature portion forming the face. As a result, with respect to the hue, a composite image resembling either the face image G1 or G2 can be created for each characteristic part such as the eyes and mouth. By combining this with the technology for changing the shape interpolation ratio for each part such as the eyes and mouth, a composite image that more closely resembles the face image G1 or the face image G2 can be obtained. Can do.
本発明の顔画像処理装置は、2枚の顔画像G1,G2および背景となる顔画像G3と、これら顔画像G1,G2,G3に整合させたそれぞれの形状モデルとから、前記顔画像G3をベースとして前記顔画像G1,G2の特徴を加えた顔画像を合成する顔画像処理装置であって、前記顔画像G1,G2の特徴的な領域の色を検出するそれぞれの色検出手段と、それぞれの前記色検出手段により検出されたそれぞれの前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像G3を選択する背景顔画像選択処理手段とを有することを特徴としている。これによれば、合成しようとする顔画像G1,G2にふさわしい背景となる顔画像G3を選択できるので、自然な合成画像を作成することができる。
The face image processing apparatus according to the present invention uses the face image G3 from two face images G1, G2 and a background face image G3, and respective shape models matched to the face images G1, G2, G3. A face image processing device for synthesizing a face image to which the features of the face images G1 and G2 are added as a base, each color detecting means for detecting the color of a characteristic region of the face images G1 and G2, and And a background face image selection processing means for selecting the base face image G3 based on the color data of each of the characteristic areas detected by the color detection means. According to this, since the face image G3 as a background suitable for the face images G1 and G2 to be synthesized can be selected, a natural synthesized image can be created.
前記背景顔画像選択処理手段は、遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像G1,G2の前記特徴的な領域の画像データを基に、前記遺伝情報テーブルを参照して、前記顔画像G1,G2の画像データに対応する前記背景顔画像G3を選択する。これによれば、顔画像G1,G2の人種的な特徴に対応した背景となる顔画像G3を選択できるので、自然な合成画像を作成することができる。
The background face image selection processing means provides a genetic information table storing genetic information in advance, and refers to the genetic information table based on image data of the characteristic regions of the face images G1 and G2. The background face image G3 corresponding to the image data of the face images G1 and G2 is selected. According to this, since the face image G3 as the background corresponding to the racial characteristics of the face images G1 and G2 can be selected, a natural composite image can be created.
前記顔画像G1,G2の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの1つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して背景となる顔画像G3が選択されるので、自然な合成画像を作成することができる。
The characteristic area of the face images G1 and G2 includes at least one of a hair area, a skin area, and an eye area. According to this, since the face image G3 as the background is selected in consideration of a particularly characteristic area in the face image, a natural composite image can be created.
また、本発明の顔画像処理装置は、1つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理装置であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう2つのベクトル、これらの各ベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら2つのベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出する表情変化処理手段とを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
Further, the face image processing apparatus of the present invention uses one face image as a processing target face image, uses the processing target face image and a shape model matched with the processing target face image, and uses a predetermined model of the processing target face image. A facial image processing apparatus for changing facial expressions by moving a point by a predetermined amount, facial expression data storage means for storing preset constants for changing facial expressions, and facial images in the facial image to be processed Find two vectors from one point toward the contour of the face image in the horizontal and vertical directions, a vector orthogonal to each vector and having the geometric mean magnitude of each vector, and the two vectors And facial expression change processing means for calculating a movement vector representing a movement direction and a movement amount of a predetermined point of the face image based on a preset constant for changing the expression. It is characterized in Rukoto. Thereby, the process which changes the facial expression can be performed by simple calculation.
また、本発明の顔画像処理装置は、1つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、予め用意された或る年齢相応の顔画像G5とこの顔画像G5に整合させた形状モデルから、この顔画像G5の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
The face image processing apparatus of the present invention uses one face image as a processing target face image, uses the processing target face image and a shape model matched to the processing target face image, and uses the shape change model as the processing target face image. A face image processing apparatus for performing a process of adding a skin region image of the face image G5 from a face image G5 suitable for an age prepared in advance and a shape model matched to the face image G5. The extracted skin region image is mapped to the skin region of the processing target face image to have an age change processing unit that performs an age change process. Thereby, a realistic age change process becomes possible.
本発明は、まず、顔画像の特徴的な部分、たとえば、両目、口などのそれぞれの中心点に注目し、これらの中心点を座標変換して背景画像の対応する部分に整合させることで、画像全体を背景画像に大まかに整合した後、形状補間と色補間を行うようにしている。したがって、形状補間比率を連続的に変化させるような処理を行う場合でも、目や口など顔の特徴的な部分が動いてしまうようなことが無くなる。 The present invention first focuses on characteristic parts of the face image, for example, center points of both eyes, mouths, etc., and coordinates the center points of these center points to match the corresponding parts of the background image. After the entire image is roughly aligned with the background image, shape interpolation and color interpolation are performed. Therefore, even when processing is performed in which the shape interpolation ratio is continuously changed, characteristic portions of the face such as eyes and mouth are not moved.
本発明は、髪の色、肌の色、眼球の色などの異なる人種同士の顔画像G1,G2を、ベースとなる顔画像G3を用いて合成する場合、ベースとなる顔画像G3を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。これにより、たとえば、金色の髪を持つ顔画像G1とG2とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。
In the present invention, when face images G1 and G2 of different races such as hair color, skin color, and eyeball color are combined using the base face image G3, the base face image G3 is You can select from a group that has a genetically appropriate hair color, skin color, and eyeball color. Thereby, for example, it is possible to prevent the creation of a clearly unnatural composite image in which a black hair face image is synthesized from the face images G1 and G2 having golden hair.
さらに、本発明は、処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう2つのベクトル、これらの2つのベクトルにほぼ直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を算出することにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。 Furthermore, the present invention provides two vectors extending in a horizontal direction and a vertical direction from a certain point in the face image to be processed toward the outline of the face image, and is substantially orthogonal to these two vectors and synergistic of these vectors. By calculating a vector having an average size, and calculating a moving direction and a moving amount of a predetermined point of the face image based on each vector and a preset constant for changing the expression, The process of changing the facial expression can be performed with a simple calculation.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
(第1の実施の形態)
図1は本発明の処理を説明するブロック図であり、図12と同一部分には同一符号が付されている。本発明では、図12で示す構成に対して、顔画像G1および顔画像G2のそれぞれの形状データを用いて、顔画像G3に大まかに整合させる処理を行うそれぞれの形状整合処理部11,12(その処理については後に説明する)が新たに設けられ、それぞれの形状整合処理部11,12(第1の形状整合処理部11、第2の形状整合処理部12)からのそれぞれの整合後の形状データが出力され、形状補間処理部1に与えられるようになっている。
(First embodiment)
FIG. 1 is a block diagram for explaining the processing of the present invention, and the same parts as those in FIG. In the present invention, in the configuration shown in FIG. 12, the shape matching processing units 11 and 12 (for roughly matching the face image G3 using the shape data of the face image G1 and the face image G2) are performed. The processing will be described later), and the shapes after matching from the shape matching processing units 11 and 12 (first shape matching processing unit 11 and second shape matching processing unit 12) are provided. Data is output and provided to the shape
すなわち、図1においては、形状補間処理部1には、前記したように、第1の形状整合処理部11および第2の形状整合処理部12からのそれぞれの整合後形状データと、顔画像G3の形状データが入力され、色補間処理部2には、顔画像G1の画像データと形状データ、顔画像G2の画像データと形状データ、顔画像G3の画像データと形状データ、さらに、前記形状補間処理部1からの形状補間データが入力される構成となっている。
That is, in FIG. 1, as described above, the shape
このような構成において、以下にその処理について説明する。 In such a configuration, the process will be described below.
前記第1、第2の形状整合処理部11,12は、顔画像G1、顔画像G2のそれぞれの形状データを用いて、顔画像G1、顔画像G2の形状モデルを、背景となる顔画像G3に大まかに整合させるための処理を行う。たとえば、顔画像G1を顔画像G3に大まかに整合させる例についてを図2を参照して説明する。 The first and second shape matching processing units 11 and 12 use the shape data of the face image G1 and the face image G2, and use the shape models of the face image G1 and the face image G2 as the background face image G3. Perform processing to roughly match. For example, an example of roughly matching the face image G1 with the face image G3 will be described with reference to FIG.
まず、顔画像G1の特徴的な部品として、両目と口を選び、両目部分のそれぞれの中心点をα,β、口の部分の中心点をγとすると、点α,β,γのそれぞれの座標を、顔画像G3の両目と口の中心点α',β',γ'の座標へ座標変換を、下記に示す式を用いてアフィン変換により行う。 First, as the characteristic parts of the face image G1, both eyes and mouth are selected, and the center points of both eyes are α and β, and the center of the mouth is γ. The coordinates are converted into coordinates of the center points α ′, β ′, γ ′ of both eyes and mouth of the face image G3 by affine transformation using the following formula.
この(1)式に示す式を連立させてアフィン係数c0〜c5を求める。なお、アフィン係数c0からc3は回転、拡大、縮小を表し、c4,c5は平行移動を表している。また、(1)式において、Xα,Yαは点αの座標、Xβ,Yβは点βの座標、Xγ,Yγは点γの座標、Xα',Yα'は点α'の座標、Xβ',Yβ'は点β'の座標、Xγ',Yγ'は点γ'の座標である。なお、実際には各点の座標は、X,Y,Zの3次元空間の座標であ
る。
The affine coefficients c0 to c5 are obtained by simultaneous expression of the expression (1). The affine coefficients c0 to c3 represent rotation, enlargement, and reduction, and c4 and c5 represent translation. In the equation (1), Xα and Yα are the coordinates of the point α, Xβ and Yβ are the coordinates of the point β, Xγ and Yγ are the coordinates of the point γ, Xα ′ and Yα ′ are the coordinates of the point α ′, Xβ ′, Yβ ′ is the coordinates of the point β ′, and Xγ ′ and Yγ ′ are the coordinates of the point γ ′. Actually, the coordinates of each point are coordinates in a three-dimensional space of X, Y, and Z.
この(1)式により求められたアフィン係数c0〜c5を用いることにより、両目のそれぞれの中心点α,βと口の中心点γ以外の全ての点も顔画像G3に座標変換することができる。つまり、顔画像G1内のそれぞれの点の座標値を前記(1)式に代入することにより、変換後の各点の座標値を求めることができる。
By using the affine coefficients c0 to c5 obtained by the equation (1), all the points other than the center points α and β of the eyes and the center point γ of the mouth can be coordinate-converted into the face image G3. . That is, the coordinate value of each point after conversion can be obtained by substituting the coordinate value of each point in the face image G1 into the equation (1).
このように、まず、顔画像G1の両目と口のそれぞれの座標位置を、顔画像G3の両目と口の座標位置にアフィン変換することにより、顔画像G1の両目と口の部分を大まかに整合させ、なおかつ、顔画像G1の他の点(顔画像全体)も顔画像G3に大まかに整合させることができる。このような大まかな整合処理は、第1の形状整合処理部11により行われ、この第1の形状整合処理部11にて得られた大まかな整合後の形状データは、形状補間処理部1と色補間処理部2に送られる。
Thus, first, the coordinates of the eyes and mouth of the face image G1 are affine transformed into the coordinates of the eyes and mouth of the face image G3, so that the eyes and mouth of the face image G1 are roughly aligned. In addition, other points (entire face image) of the face image G1 can be roughly matched to the face image G3. Such rough alignment processing is performed by the first shape matching processing unit 11, and the rough shape data obtained by the first shape matching processing unit 11 is the shape
これと同様に、顔画像G2も顔画像G3に大まかに整合させる処理を行い、第2の形状整合処理部12で得られた大まかな整合後の形状データは形状補間処理部1と色補間処理部2に送られる。
Similarly, the face image G2 is also roughly matched with the face image G3, and the roughly matched shape data obtained by the second shape matching processing unit 12 is processed by the shape
形状補間処理部2では、顔画像G1の整合後の形状データと顔画像G2の整合後の形状データおよび顔画像G3の形状データを用い、それぞれの補間比率が合計で1になるような比率で形状補間処理を行う。
The shape
ここまでの動作を図3(a),(b),(c)に示す。図3(a)は顔画像G1および顔画像G2を示すもので、これらの顔画像G1,G2を、同図(b)の点線で示す背景となる顔画像G3に大まかに整合させる。この大まかな整合処理は、前記したように、顔画像G1(顔画像G2)の両目の中心点α,βの座標(Xα,Yα)、(Xβ,Yβ)と口の中心点γの座標(Xγ,Yγ)を、顔画像G3の両目と口のそれぞれの中心点α',β',γ'の座標に前記(1)式によりアフィン変換することで行う。そして、前記(1)式によりそれぞれの係数c0〜c5を求め、この係数c0〜c5を用いて(1)式により顔画像G1(顔画像G2)の各点の座標をアフィン変換して、顔画像G3の対応する位置に合わせ込む。図3(b)は顔画像G1および顔画像G2を顔画像G3に大まかに整合させた状態を示すものであり、点線が背景となる顔画像G3、実線が顔画像G1および顔画像G2を示している。 The operation so far is shown in FIGS. 3 (a), (b), and (c). FIG. 3A shows a face image G1 and a face image G2. These face images G1 and G2 are roughly matched with the face image G3 as a background indicated by a dotted line in FIG. As described above, this rough matching process is performed by the coordinates (Xα, Yα) and (Xβ, Yβ) of the center points α and β of both eyes of the face image G1 (face image G2) and the coordinates of the center point γ of the mouth ( Xγ, Yγ) is performed by affine transforming the coordinates of the center points α ′, β ′, γ ′ of both eyes and mouth of the face image G3 according to the equation (1). Then, the coefficients c0 to c5 are obtained by the equation (1), the coordinates of each point of the face image G1 (face image G2) are affine transformed by the equation (1) using the coefficients c0 to c5, and the face Align to the corresponding position in the image G3. FIG. 3B shows a state where the face image G1 and the face image G2 are roughly aligned with the face image G3. The dotted line indicates the face image G3 as the background, and the solid line indicates the face image G1 and the face image G2. ing.
これにより、形状補間処理部1では形状補間を行う際、大まかに整合された形状データ(座標データ)および顔画像G3の形状データ(座標データ)を用いて形状補間を行うため、同図(c)に示すように顔画像G1、顔画像G2の両目と口が一致した状態で、形状補間処理を行うことができる。したがって、それぞれの補間比率を連続的に変化させた場合でも、目や口の位置が細かく移動してしまうことが無くなる。
As a result, when the shape
このようにして、形状補間が行われ、続いて、色補間処理部2により色補間処理が行われる。この色補間処理は、顔画像G1、顔画像G2および顔画像G3のそれぞれの形状データと、形状補間処理部1の形状補間データ、さらには、顔画像G1、顔画像G2、顔画像G3のそれぞれの画像データ(色データ)を入力して、所定の比率で色補間しながらマッピングを行ったのち、合成された顔画像の合成画像データとして出力する。
In this way, shape interpolation is performed, and then color interpolation processing is performed by the color
ところで、前記形状補間処理部1は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する点の座標値の形状補間比率を部品位置に応じて変えることを可能とする。これにより、顔画像G1に似た合成画像または顔画像G2に似た合成画像を得ることができる。たとえば、鼻の位置に存在する点の座標値の形状補間比率を顔画像G1の補間比率を顔画像G2よりも高くすれば、顔画像G1(父親)似となる合成画像とすることができる。
By the way, the shape
また、前記色補間処理部2は、顔画像G3の輝度値に応じて色補間比率を変化させることを可能とする。
In addition, the color
これは背景となる顔画像G3において、輝度の低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題、あるいは、顔画像G3の髪の部分が薄れたものとなってしまう問題に対処するためである。
すなわち、背景となる顔画像G3の持つ特徴的な色相(たとえば、髪の毛の色具合、ハイライト部分など)はそのまま残した上で、顔画像G1と顔画像G2を、顔画像G3をベースにして合成するのが望ましいからである。
This is because, in the face image G3 as the background, the color of the shade, the hair part, or the highlight part with low brightness affects the composite image halfway, and the composite color becomes unnatural, or This is to cope with the problem that the hair portion of the face image G3 becomes faint.
That is, while leaving the characteristic hue of the face image G3 as the background (for example, the color of the hair, highlight portion, etc.) as it is, the face image G1 and the face image G2 are based on the face image G3. This is because it is desirable to synthesize.
これを実現するには、背景となる顔画像G3の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値(基準輝度値という)からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像G3の表現したい特徴的な色相とみなして、その顔画像G3の持つ輝度値を最大限生かせるように、顔画像G3の色補間率を顔画像G1と顔画像G2の色補間比率に比べて大きくするような処理(たとえば、顔画像G3の色補間比率を取り得る最大の色補間比率とする)を行う。これを図4に示す具体例を用いて説明する。図4において、太線で示す横軸には顔画像G3の輝度値Ycをとり、太線で示す縦軸には顔画像G3の色補間比率をとっている。いま、ここでは、顔画像G3の基準輝度値に顔の肌色の中心輝度値Yctを選ぶとともに、この基準輝度値Yctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値aを選び、顔画像G3の輝度値Ycが、(Yct−a)≦Yc≦(Yct+a)の場合は、 In order to realize this, the luminance value of the reference portion is selected from the luminance values of the face image G3 as the background, and the luminance value of the reference portion (referred to as the reference luminance value) is added in the plus direction and minus. The portion of the brightness value that deviates by a predetermined value or more in the direction is regarded as a characteristic hue desired to be expressed in the face image G3, and the color interpolation rate of the face image G3 is set so that the brightness value of the face image G3 can be utilized to the maximum extent. Processing that increases the color interpolation ratio of the face image G1 and the face image G2 (for example, the maximum color interpolation ratio that can take the color interpolation ratio of the face image G3) is performed. This will be described using a specific example shown in FIG. In FIG. 4, the horizontal axis indicated by the bold line represents the luminance value Yc of the face image G3, and the vertical axis indicated by the bold line represents the color interpolation ratio of the face image G3. Here, the center luminance value Yct of the skin color of the face is selected as the reference luminance value of the face image G3, and a predetermined range of luminance values a are selected in the positive and negative directions around the reference luminance value Yct, When the luminance value Yc of the face image G3 is (Yct−a) ≦ Yc ≦ (Yct + a),
で表される曲線(図4の細線で示される曲線部分)によって顔画像G3の色補間比率Rcを求める。なお、この場合、顔画像G3の色補間比率Rcの値は、顔画像G3の取り得る色補間比率の最小の色補間比率Rminから最大の色補間比率Rmaxの間の値である。 The color interpolation ratio Rc of the face image G3 is obtained by the curve expressed by (curve portion indicated by the thin line in FIG. 4). In this case, the value of the color interpolation ratio Rc of the face image G3 is a value between the minimum color interpolation ratio Rmin and the maximum color interpolation ratio Rmax of the color interpolation ratio that the face image G3 can take.
また、顔画像G3の輝度値Ycが、(Yct−a)>Ycの場合、または、Yc>(Yct+a)の場合は、 Further, when the luminance value Yc of the face image G3 is (Yct−a)> Yc, or when Yc> (Yct + a),
で表される直線(図4の細線で示される直線部分)によって顔画像G3の色補間比率を求める。なお、この場合、顔画像G3の色補間比率Rcの値は、顔画像G3の取り得る色補間比率の最大の色補間比率Rmaxとする。 The color interpolation ratio of the face image G3 is obtained by a straight line represented by In this case, the value of the color interpolation ratio Rc of the face image G3 is the maximum color interpolation ratio Rmax that can be taken by the face image G3.
つまり、顔画像G3の輝度値がきわめて低い場合、たとえば、髪の毛の部分や陰の部分、または、顔画像G3の輝度値がきわめて高い部分、たとえばハイライトの部分などは顔画像G3の持つ特徴部分をそのまま残した方が自然な画像となるため、顔画像G3の色補間比率を最大とする。これに対して、肌色の部分は顔画像G1及び顔画像G2の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像G3の色補間率を適応的に変化させる。ここでは、肌色の中で中心的な基準輝度値のときには、顔画像G3の色補間比率を最も小さくし、その±aの輝度値の範囲では図4に示す曲線に従って色補間比率を決めるようにする。 That is, when the brightness value of the face image G3 is very low, for example, a hair portion or a shadow portion, or a portion with a very high brightness value of the face image G3, such as a highlight portion, is a characteristic portion of the face image G3. Therefore, the color interpolation ratio of the face image G3 is maximized. On the other hand, since the skin color portion is desired to have a hue that takes into account the colors of the face image G1 and the face image G2, the color interpolation rate of the face image G3 is adaptively changed according to the brightness value of the skin color. Here, the color interpolation ratio of the face image G3 is minimized when the central reference luminance value is within the skin color, and the color interpolation ratio is determined according to the curve shown in FIG. 4 within the range of the luminance value of ± a. To do.
ところで、このような色補間比率の決定処理は、髪の毛や陰の部分などのように、顔画像G3の残しておきたい特徴部分に対してのみ適応されれば良い結果が得られるが、たとえば、顔画像G3の目やまゆに対しても図4に示す処理がなされると、背景となる顔画像G3の目やまゆが高い比率で色補間された顔画像となり、顔画像G1と顔画像G2の特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像G3の目やまゆは図4で示した処理によらず、最適な補間比率で処理を行うようにする。 By the way, such a determination process of the color interpolation ratio can be obtained only if it is applied only to the characteristic part that the face image G3 wants to remain, such as the hair or the shadow part. When the processing shown in FIG. 4 is also performed on the eyes and eyebrows of the face image G3, the face image G3 as a background is a face image that is color-interpolated at a high ratio, and the face image G1 and the face image G2 Will result in a face image in which almost no features appear. Therefore, the eye and eyebrows of the face image G3 are processed at an optimal interpolation ratio regardless of the processing shown in FIG.
なお、ここでは、基準輝度値から±aの輝度値の範囲では図4に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。 Here, the color interpolation rate is determined according to the curve shown in FIG. 4 in the range of the luminance value from the reference luminance value to ± a, but the present invention is not limited to this. Instead, the luminance value may be changed step by step, or may be a linear change.
また、色補間処理部2は、顔画像G1、顔画像G2の輝度値に応じて色補間比率を変化させることを可能とする。これは、顔画像G1、顔画像G2、顔画像G3を一定の比率で色補間すると、たとえば、顔画像G1または顔画像G2の額部分に髪がかかっているような場合、合成後の顔画像にその髪がうっすらと残ってしまうという問題に対処するためである。これを解決するために、顔画像G1と顔画像G2の輝度に応じて、顔画像G1の輝度値が極端に小さい(暗い)部分、あるいは、顔画像G2の輝度値が極端に小さい(暗い)部分は、合成後の顔画像G4にその極端に暗い部分(髪の毛の部分)を残すと不自然な合成画像となるので、その部分は顔画像G1または顔画像G2の色補間率を小さくし、背景となる顔画像G3の色補間比率を大きくする処理を行う。
The color
これを実現するには、顔画像G1および顔画像G2の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値(基準輝度値という)からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像G1または顔画像G2の表現したくない特徴的な部分(この場合は髪の毛など)とみなして、顔画像G1または顔画像G2の色補間比率を最大限小さくし、顔画像G3の色補間比率を最大限大きくするようにする。これを図5に示す具体例を用いて説明する。図5において、太線で示す横軸には顔画像G1および顔画像G2の輝度値Ycをとり、太線で示す縦軸には顔画像G1または顔画像G2の色補間比率をとっている。ここでは、顔画像G1および顔画像G2の基準輝度値Yctに顔の肌色の中心輝度値を選ぶとともに、この基準輝度値Yctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値aを選び、顔画像G1または顔画像G2の輝度値Ycが、(Yct−a)≦Yc≦(Yct+a)の場合は、
In order to realize this, the luminance value of the reference part is selected from the luminance values of the face image G1 and the face image G2, and the positive value and the luminance value of the reference part (referred to as the reference luminance value) are selected. The part of the luminance value that deviates by a predetermined value or more in the minus direction is regarded as a characteristic part (in this case, hair) that the face image G1 or the face image G2 does not want to express, and the color of the face image G1 or the face image G2 The interpolation ratio is reduced to the maximum and the color interpolation ratio of the face image G3 is increased to the maximum. This will be described using a specific example shown in FIG. In FIG. 5, the horizontal axis indicated by the bold line represents the luminance value Yc of the face image G1 and the face image G2, and the vertical axis indicated by the bold line represents the color interpolation ratio of the face image G1 or the face image G2. Here, the center luminance value of the skin color of the face is selected as the reference luminance value Yct of the face image G1 and the face image G2, and the luminance value a in a predetermined range is respectively set in the plus direction and the minus direction around the reference luminance value Yct. When the luminance value Yc of the face image G1 or the face image G2 is (Yct−a) ≦ Yc ≦ (Yct + a)
で表される曲線(図5の細線で示される曲線部分)によって顔画像G1または顔画像G2の色補間比率Rcを求める。なお、この場合、顔画像G1または顔画像G2の色補間比率Rcの値は、顔画像G1または顔画像G2の取り得る色補間比率の最小の色補間比率Rminから最大の色補間比率Rmaxの間の値である。 The color interpolation ratio Rc of the face image G1 or the face image G2 is obtained by the curve expressed by (curve portion indicated by the thin line in FIG. 5). In this case, the value of the color interpolation ratio Rc of the face image G1 or the face image G2 is between the minimum color interpolation ratio Rmin and the maximum color interpolation ratio Rmax that can be taken by the face image G1 or the face image G2. Is the value of
また、顔画像G1または顔画像G2の輝度値Ycが、(Yct−a)>Ycの場合、または、Yc>(Yct+a)の場合は、 When the brightness value Yc of the face image G1 or the face image G2 is (Yct−a)> Yc, or when Yc> (Yct + a),
で表される直線(図5の細線で示される直線部分)によって顔画像G1または顔画像G2の色補間比率を求める。なお、この場合、顔画像G1または顔画像G2の色補間比率Rcの値は、顔画像G1または顔画像G2の取り得る色補間比率の最小の色補間比率Rminとする。 The color interpolation ratio of the face image G1 or the face image G2 is obtained by a straight line represented by (a straight line portion indicated by a thin line in FIG. 5). In this case, the value of the color interpolation ratio Rc of the face image G1 or the face image G2 is the minimum color interpolation ratio Rmin that can be taken by the face image G1 or the face image G2.
つまり、顔画像G1または顔画像G2の輝度値が極端に低い場合、たとえば、髪の毛の部分などは合成画像に現したくないため、顔画像G1または顔画像G2の色補間比率を最小とする。これに対して、肌色の部分は顔画像G1及び顔画像G2の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像G1または顔画像G2の色補間比率を適応的に変化させる。ここでは、肌色の中で中心的な輝度値のときには、顔画像G1または顔画像G2の色補間比率を最も大きくし、その±aの輝度値の範囲では図5に示す曲線に従って色補間比率を決めるようにする。 That is, when the luminance value of the face image G1 or the face image G2 is extremely low, for example, since the hair portion or the like does not want to appear in the composite image, the color interpolation ratio of the face image G1 or the face image G2 is minimized. On the other hand, since the skin color portion is desired to have a hue that takes into account the colors of the face image G1 and the face image G2, the color interpolation ratio of the face image G1 or the face image G2 is adaptively set according to the luminance value of the skin color. Change. Here, the color interpolation ratio of the face image G1 or the face image G2 is maximized when the luminance value is central among the skin colors, and the color interpolation ratio is set according to the curve shown in FIG. Make a decision.
ところで、このような色補間比率の決定処理は、合成画像に現したくない顔画像G1,G2の髪の毛などの部分に対してのみ適応されれば良い結果が得られるが、顔画像G1,G2の目やまゆに対しても図5に示す処理がなされると、顔画像G1,G2の目やまゆが低い比率で色補間された画像となり、顔画像G1,G2の目やまゆの特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像G1,G2の目やまゆは図5で示した処理によらず、最適な補間比率で処理を行うようにする。
By the way, such a color interpolation ratio determination process can be obtained only if it is applied only to portions such as the hair of the face images G1 and G2 that are not desired to appear in the composite image. When the processing shown in FIG. 5 is also performed on the eyes and eyebrows, the images of the face images G1 and G2 are color-interpolated at a low ratio, and the characteristics of the eyes and eyebrows of the face images G1 and G2 are almost the same. The face image will not appear. Therefore, the eyes and eyebrows of the face images G1 and G2 are processed at an optimal interpolation ratio regardless of the processing shown in FIG.
なお、ここでは、基準輝度値から±aの輝度値の範囲では図5に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。 Here, the color interpolation rate is determined according to the curve shown in FIG. 5 in the range of the luminance value from the reference luminance value to ± a. However, the present invention is not limited to this, and there is no change due to the curve between the ranges. Instead, the luminance value may be changed step by step, or may be a linear change.
また、この色補間処理部2は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する領域(パッチ)ごとに、そのパッチ内の画素の色補間比率を変えることで、それぞれの部品の色相を顔画像G1(父親)似または顔画像G2(母親)似とすることを可能とする。たとえば、鼻の色相を父親似としようとする場合、鼻を構成するそれぞれのパッチについては、各パッチ毎にたとえば、父親の顔画像G1の色補間比率を大きくするような処理を行う。これにより、顔の各部品毎にその色相を顔画像G1似または顔画像G2似とすることが可能となる。なお、実際には、前記した形状補間手段1による部品単位毎に形状補間比率を変える処理と連動させて行う。このように、顔を形作る部品ごとに、形状補間比率および色補間比率を適当に設定することにより、それらの部品毎の形状および色相を顔画像G1または顔画像G2に似せた、いわゆる父親似あるいは母親似といった合成顔画像を得ることができる。
In addition, the color
また、この第1の実施の形態において、顔画像G1、G2のうちのいずれかと、背景となる顔画像G3の2枚の顔画像を用いて、両者を合成することにより、顔画像G1あるいはG2を年齢変化処理することが可能となる。たとえば、顔画像G1を比較的若い或る大人の男性の顔画像、顔画像G3を或る男性の老人の顔画像として、前記顔画像G1と、背景となる顔画像G3をベースにして合成すれば、顔画像G1を大まかに老齢化処理することも可能となる。これとは逆に、顔画像G3を男の子どもの顔画像とすれば、大まかな若返り処理も可能となる。 Further, in the first embodiment, the face image G1 or G2 is obtained by synthesizing both of the face images G1 and G2 and the two face images of the background face image G3. Can be processed for age change. For example, the face image G1 is a face image of a relatively young adult male and the face image G3 is a face image of an old man of a male, and the face image G1 is synthesized based on the face image G3 as a background. For example, the face image G1 can be roughly aged. On the other hand, if the face image G3 is a face image of a male child, rough rejuvenation processing can be performed.
(第2の実施の形態)
この第2の実施の形態は、或る子どもの顔画像をベースにして、顔画像G1と顔画像G2を合成する場合、顔画像G1とG2の人種によって異なる特徴的な色を考慮した合成処理を行うものである。ここでは、人種によって異なる特徴的な色として、髪の色、眼球の色、肌の色を用いる。以下、この第2の実施の形態について説明する。
(Second Embodiment)
In the second embodiment, when a face image G1 and a face image G2 are combined based on a face image of a certain child, the combination of the face images G1 and G2 in consideration of characteristic colors that differ depending on the race. The processing is performed. Here, hair color, eyeball color, and skin color are used as characteristic colors that differ depending on the race. Hereinafter, the second embodiment will be described.
図6は第2の実施の形態を説明するための構成図であり、男性側の顔画像G1の画像データ(色データ)と形状データを基に、髪色の検出を行う髪色検出部13、肌の色を検出する肌色検出部14、眼球の色を検出する眼球色検出部15が設けられ、女性側の顔画像G2の画像データと形状データを基に、髪色の検出を行う髪色検出部16、肌の色を検出する肌色検出部17、眼球の色を検出する眼球色検出部18が設けられる。
FIG. 6 is a block diagram for explaining the second embodiment, and a hair color detection unit 13 for detecting a hair color based on the image data (color data) and shape data of the male face image G1. , A skin color detection unit 14 for detecting the color of the skin, and an eyeball color detection unit 15 for detecting the color of the eyeball are provided, and the hair that detects the hair color based on the image data and shape data of the female face image G2 is provided. A color detection unit 16, a skin
前記髪色検出部13、肌色検出部14、眼球色検出部15は顔画像G1の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。たとえば、眼球色検出部15を例に取れば、形状データにより眼球領域を抽出し、その眼球領域に含まれる総ての画素毎の画像データ(色データ)を取り出し、その総ての画素の色データの平均値を求めて、求められた平均値をもとに眼球の代表色を決定し、それに対応した眼球色検出データを出力する。髪色検出部13、肌色検出部14も同様にしてそれぞれの代表色を求め、それに対応した肌色検出データ、髪色検出データを出力する。 The hair color detection unit 13, the skin color detection unit 14, and the eyeball color detection unit 15 are color data of each pixel corresponding to the hair area, skin area, and eyeball area obtained from the shape data and image data of the face image G1. The average value of hair color, skin color, and eyeball color are calculated based on the average value, and the hair color detection data, skin color detection data, and eyeball color detection data representing each representative color are output. To do. For example, taking the eyeball color detection unit 15 as an example, an eyeball region is extracted from shape data, image data (color data) for every pixel included in the eyeball region is taken out, and the color of all the pixels is extracted. An average value of data is obtained, a representative color of the eyeball is determined based on the obtained average value, and eyeball color detection data corresponding to the eyeball color detection data is output. Similarly, the hair color detection unit 13 and the skin color detection unit 14 obtain respective representative colors and output corresponding skin color detection data and hair color detection data.
ただし髪の領域は、前記形状モデル(図13参照)に示されていないので、顔の額の辺より上の予め定めた位置における画像データを取り出すようにする。前記額の辺より上の予め定めた位置は、たとえば、形状モデルに示される顔の大きさを基にして設定する。 However, since the hair region is not shown in the shape model (see FIG. 13), image data at a predetermined position above the side of the face of the face is taken out. The predetermined position above the side of the forehead is set based on the size of the face shown in the shape model, for example.
一方、前記髪色検出部16、肌色検出部17、眼球色検出部18も前記同等に、顔画像G2の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。
On the other hand, the hair color detection unit 16, the skin
なお、前記髪色検出部13,16、肌色検出部14,17、眼球色検出部15,18によるそれぞれの領域の色検出は、髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求める以外に、たとえば、それぞれの部分における各画素の色データを基に、色の分散を求め、その分散値をもとにして代表色を求めるようにしてもよく、また、それぞれの部分における各画素の色データの頻度を計数して最多色を代表色とするようにしてもよい。
The color detection of each region by the hair color detection units 13 and 16, the skin
このようにして髪色検出部13,16、肌色検出部14,17、眼球色検出部15,18からはそれぞれの色検出データが出力される。これらの各色検出データは遺伝情報テーブル19に送られる。この遺伝情報テーブル19の内容は、図7に示すように、顔画像G1の髪色、肌色、眼球色のそれぞれの色と顔画像G2の髪色、肌色、眼球色のそれぞれの色の組み合わせに対して、髪、肌、眼球がどのような色を持つ子どもが生まれる可能性があるかを示すもので、それぞれの色の組み合わせに対する子どもの顔画像のグループ名(グループz1,z2,・・・,zn)およびそのグループの髪色、肌色、眼球色が格納されている。
In this manner, the color detection data is output from the hair color detection units 13 and 16, the skin
たとえば、顔画像G1の髪色が黒色、肌色が黄色、眼球色が茶色であって、顔画像G2の髪色が黒色、肌色が白色、眼球色が青色である場合は、選択される子どもの顔画像(背景となる顔画像G3)はグループz1(髪色は黒色、肌色は白色、眼球色は青色のグループ)であり、顔画像G1の髪色が金色、肌色が白色、眼球色が青色であって、顔画像G2の髪色が金色、肌色が白色、眼球色が茶色である場合は、選択される子どもの顔画像(背景となる顔画像G3)はグループz2(髪色は金色、肌色は白色、眼球色は青色のグループ)であるというように、父親と母親の髪色、肌色、眼球色の種々の組み合わせに対して、生まれてくる可能性のある子どもの顔画像のグループz1,z2,・・・,znが予め設定されている。 For example, if the hair color of the face image G1 is black, the skin color is yellow, and the eyeball color is brown, and the hair color of the face image G2 is black, the skin color is white, and the eyeball color is blue, the selected child The face image (face image G3 as a background) is group z1 (group of black hair color, white skin color, blue eyeball color), and the facial image G1 hair color is gold, skin color is white, and eyeball color is blue. When the hair color of the face image G2 is gold, the skin color is white, and the eyeball color is brown, the selected child's face image (background face image G3) is the group z2 (the hair color is gold, A group z1 of face images of children that may be born for various combinations of father's and mother's hair color, skin color, and eyeball color, such as white skin color and blue eyeball color). , Z2,..., Zn are preset.
そして、髪色検出部13,16、肌色検出部14,17、眼球色検出部15,18から出力される顔画像G1,G2のそれぞれの色検出データをもとに、子どもの顔画像のグループz1,z2,・・・,znのうち、どれか1つが選択されると、その選択されたグループを示す情報が出力される。
Then, based on the color detection data of the face images G1 and G2 output from the hair color detection units 13 and 16, the skin
たとえば、髪色検出部13、肌色検出部14、眼球色検出部15から出力される顔画像G1の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが青色を示す色検出データであって、髪色検出部16、肌色検出部17、眼球色検出部18から出力される顔画像G2の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが茶色を示す色検出データである場合、それらの色検出データによって、遺伝情報テーブル19が参照されると、この場合、グループz2が選択され、これによって、グループz2が選択されたことを示す信号が出力される。
For example, the hair color detection data of the face image G1 output from the hair color detection unit 13, the skin color detection unit 14, and the eyeball color detection unit 15 indicates color detection data indicating gold, and the skin color detection data is white. Color detection data indicating the color of the face image G2 output from the hair color detection unit 16, the skin
このグループz2は、髪色は金色、肌色は白色、眼球色は青色である子ども顔画像のグループである。したがって、父親である顔画像G1と母親である顔画像G2のそれぞれの髪の色、肌の色、眼球の色に対して遺伝的に適切な髪の色、肌の色、眼球の色を持った子供の顔画像のグループが選択されることになる。 This group z2 is a group of child face images in which the hair color is gold, the skin color is white, and the eyeball color is blue. Therefore, the hair image, skin color, and eyeball color that are genetically appropriate to the hair color, skin color, and eyeball color of the father face image G1 and mother face image G2 are included. A group of children's face images will be selected.
そして、選択された子どもの顔画像のグループ(前記した例では、グループz2)の中から、1枚の顔画像G3が選択されるが、この選択手段はここでは特に限定されるものではなく種々の方法が考えられる。 Then, one face image G3 is selected from the selected group of face images of the child (in the above example, the group z2), but this selection means is not particularly limited here and is various. Can be considered.
たとえば、顔画像G3の男女、年齢などの選択は、顔画像G1,G2の入力前にユーザが予め設定するようにしてもよく、あるいは、グループが選択された以降にユーザが選択するようにしてもよい。また、選択されたグループに属する子どもの個別の顔画像の選択については、たとえば、ユーザによって、既に、男の子という指定がなされていたとすると、選択されたグループ内の男の子の中から、ユーザが或1つの顔画像を任意に選択できるようにしてもよく、あるいは、システム側が乱数などを用いて指定された範囲の中から或る1つの顔画像を選択するようにしてもよい。 For example, the face image G3 may be selected by the user in advance of inputting the face images G1 and G2, or the user may select the face image G3 after the group is selected. Also good. In addition, regarding the selection of individual face images of children belonging to the selected group, for example, if the user has already designated a boy, the user selects one of the boys in the selected group. One face image may be arbitrarily selected, or one face image may be selected from a range designated by the system side using a random number or the like.
以上説明したように、この第2の実施の形態によれば、髪の色、肌の色、眼球の色などが異なる人種同志の顔画像G1,G2を、背景となる顔画像G3を用いて合成する場合、背景となる顔画像G3を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。これにより、たとえば、金色の髪を持つ顔画像G1とG2とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。 As described above, according to the second embodiment, the face images G1 and G2 of different races having different hair color, skin color, eyeball color, etc. are used as the background face image G3. In this case, the face image G3 serving as the background can be selected from a group having an appropriate hair color, skin color, and eyeball color from a genetic viewpoint. Thereby, for example, it is possible to prevent the creation of a clearly unnatural composite image in which a black hair face image is synthesized from the face images G1 and G2 having golden hair.
(第3の実施の形態)
前記した第1、第2の実施の形態では、2枚の顔画像G1,G2と背景となる顔画像G3を用いて、背景となる顔画像G3をベースにして顔画像G1,G2の特徴を加味した合成画像を作成する例について説明したが、この第3の実施の形態は、或る1枚の顔画像、たとえば、顔画像G1または顔画像G2、さらには、これらを顔画像G3をベースに合成された顔画像について、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させるものである。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させるものである。
(Third embodiment)
In the first and second embodiments described above, using the two face images G1 and G2 and the background face image G3, the features of the face images G1 and G2 are based on the background face image G3. Although an example of creating a combined image with consideration has been described, the third embodiment is based on a certain face image, for example, the face image G1 or the face image G2, and further based on the face image G3. The facial expression is changed by slightly moving the coordinate values of certain points of parts such as eyes, nose, eyebrows and mouth. For example, the expression of the face is changed by creating a smiling expression by moving the point of the lower eyelid slightly upward.
このように、顔の点を動かすことによって表情を変化させることができる。つまり、顔のどの点をどの程度どの方向に移動させるかというデータ(これを表情データという)を予め設定しておくことで、表情を変化させることができる。 In this way, the facial expression can be changed by moving the point of the face. That is, the facial expression can be changed by setting in advance data (this is referred to as facial expression data) as to which point of the face is moved in which direction.
この第3の実施の形態は、顔画像の中の或る一点から横方向および縦方向に向かう2つのベクトルを基準として正規化された表情データを用いて表情を変化させるようにする。
この場合、処理対象となる顔画像は、前記第1、第2の実施の形態により得られた合成後の顔画像、あるいは、顔画像G1、顔画像G2など、どのような顔画像にも適用可能であるが、ここでは、図1の構成(第1の実施の形態)により得られた合成後の顔画像(これを顔画像G4という)の合成画像データ、つまり、顔画像G4の画像データおよび形状データを用いて、合成された顔画像G4の表情を変化させる例について示す。
In the third embodiment, facial expressions are changed using facial expression data normalized with reference to two vectors from a certain point in the face image in the horizontal and vertical directions.
In this case, the face image to be processed is applied to any face image such as the face image after synthesis obtained by the first and second embodiments, or the face image G1 and the face image G2. Although it is possible, here, composite image data of the face image after synthesis (referred to as face image G4) obtained by the configuration of FIG. 1 (first embodiment), that is, image data of the face image G4 An example in which the expression of the synthesized face image G4 is changed using the shape data will be described.
図8は第3の実施の形態を説明するための構成図であり、図1の構成により得られた合成後の顔画像G4の形状データをもとに、表情を変化させる処理を行う表情変化処理部20と前記表情データを記憶する表情データ記憶部21などを新たに設けた構成となっている。なお、図8におけるその他の部分は図1と同じであるので、同一部分には同一番号が付されている。
FIG. 8 is a block diagram for explaining the third embodiment, and changes in facial expression are performed for processing to change the facial expression based on the shape data of the combined face image G4 obtained by the configuration of FIG. A
次に表情変化処理部20の具体的な処理について説明する。図9に示すように、顔画像の両目α,βの中心部(眉間部)から横方向に向かって顔の輪郭までの長さによって決められるベクトルA、両目α,βの中心部(眉間部)から下方向に向かって顔の輪郭までの長さによって決められるベクトルB、これらベクトルA,Bに直交して、かつ、ベクトルA,Bの相乗平均の大きさを持つベクトルをそれぞれ求める。そして、表情を変化させるための予め設定された定数をv1,v2,v3(v1はA方向の移動量を決める定数、v2はB方向の移動量を決める定数、v3はA,Bに直交する方向の移動量を決定する定数)とすれば、ある点の移動方向と移動量を示す移動ベクトルVは次式のように表すことができる。
Next, specific processing of the facial expression
なお、(6)式において、A×BはベクトルAとベクトルBの外積を表し、A×B/|A×B|は単位ベクトルである。このように、3つのベクトルを考えて、移動ベクトルVを前記(6)式により求める。ここで、定数v1,v2,v3は前記したように、表情を変化させるために予め定められた移動量を表している。たとえば、微笑んだ表情を得るには、或る点をどの程度どの方向に移動させるかで決められるが、その移動量を示す定数がv1,v2,v3であり、v1はA方向の移動量を決める定数、v2はB方向の移動量を決める定数、v3はA,Bに直交する方向の移動量を決める定数である。これらの定数は表情データとして顔画像に関係なくどの顔画像にも共通の予め決められた定数であり、それぞれの表情に対応して前記表情データ記憶部21内記憶されている。一方、ベクトルA、ベクトルBとこれらのベクトルに直交するベクトルは、それぞれの顔画像の大きさによって異なる。したがって、以上のような3個のベクトルを用いることにより、移動量は主に顔の横幅と縦の長さで正規化され、顔画像の大小などの個人差を吸収することができる。 In Equation (6), A × B represents the outer product of the vector A and the vector B, and A × B / | A × B | is a unit vector. Thus, considering the three vectors, the movement vector V is obtained by the above equation (6). Here, as described above, the constants v1, v2, and v3 represent amounts of movement determined in advance to change the facial expression. For example, in order to obtain a smiling expression, it is determined by how much a certain point is moved in which direction. The constants indicating the amount of movement are v1, v2, v3, and v1 is the amount of movement in the A direction. V2 is a constant that determines the amount of movement in the B direction, and v3 is a constant that determines the amount of movement in the direction orthogonal to A and B. These constants are predetermined constants common to all face images regardless of the face image as expression data, and are stored in the expression data storage unit 21 corresponding to each expression. On the other hand, vector A and vector B and vectors orthogonal to these vectors differ depending on the size of each face image. Therefore, by using the above three vectors, the movement amount is normalized mainly by the width and length of the face, and individual differences such as the size of the face image can be absorbed.
これにより、表情を変化させるに必要な或る点の移動量は、前記(6)式から移動ベクトルVを求めることにより、その顔画像の大きさに応じた移動量が得られる。そして、この移動量に応じて点を移動させることにより所望とする表情を得ることができる。 As a result, the amount of movement of a certain point required to change the facial expression can be obtained according to the size of the face image by obtaining the movement vector V from the equation (6). A desired facial expression can be obtained by moving the point in accordance with the amount of movement.
なお、以上の説明は、形状モデルを3次元と考えた場合についてであったが、たとえば正面を向いた顔画像などのように形状モデルが2次元的な場合においても同様に適用できる。この場合には、前記(6)式における移動ベクトルVは、A方向の移動量を決める定数をv1、B方向の移動量を決める定数をv2とすれば、V=v1・A+v2・Bで表すことができる。 The above explanation is about the case where the shape model is considered to be three-dimensional. However, the present invention can be similarly applied to a case where the shape model is two-dimensional, for example, a face image facing the front. In this case, the movement vector V in the equation (6) is expressed as V = v1 · A + v2 · B, where v1 is a constant that determines the amount of movement in the A direction and v2 is a constant that determines the amount of movement in the B direction. be able to.
(第4の実施の形態)
この第4の実施の形態は、或る1枚の顔画像、たとえば、顔画像G1または顔画像G2、さらには、これらを顔画像G3をベースに合成した顔画像G4を用いて、これらの或る顔画像に年齢変化処理を施すものである。以下、この第4の実施の形態について図10を参照しながら説明する。
(Fourth embodiment)
In the fourth embodiment, a certain face image, for example, a face image G1 or a face image G2, and a face image G4 synthesized based on the face image G3 are used. The face image is subjected to age change processing. Hereinafter, the fourth embodiment will be described with reference to FIG.
この第4の実施の形態において、処理対象となる顔画像は、前記第1、第2のの実施の形態により得られた合成後の顔画像G4、あるいは、画像G1、画像G2など、どのような顔画像にも適用可能であるが、ここでは、前記図1の構成(第1の実施の形態)により得られた合成後の顔画像G4の合成画像データ(画像データおよび形状データ)を用いて、その合成された顔画像G4に年齢変化処理(ここでは加齢処理)を施す例について示す。図10は第4の実施の形態を説明するための構成図であり、前記図1により得られた合成後の顔画像G4の合成画像データ(画像データおよび形状データ)と、予め用意された或る老人の顔画像の画像データおよび形状データをもとに、加齢合成処理を行う年齢変化処理部31を新たに設けた構成となっている。なお、図10におけるその他の部分は図1と同じであるので、同一部分には同一番号が付されている。 In the fourth embodiment, the face image to be processed is the combined face image G4 obtained by the first and second embodiments, the image G1, the image G2, or the like. However, here, the synthesized image data (image data and shape data) of the synthesized face image G4 obtained by the configuration shown in FIG. 1 (the first embodiment) is used. An example in which an age change process (in this case, an aging process) is performed on the synthesized face image G4 will be described. FIG. 10 is a block diagram for explaining the fourth embodiment. The composite image data (image data and shape data) of the face image G4 after synthesis obtained in FIG. Based on the image data and shape data of the face image of the elderly person, an age change processing unit 31 that performs an aging synthesis process is newly provided. Since the other parts in FIG. 10 are the same as those in FIG. 1, the same numbers are assigned to the same parts.
前記年齢変化処理部31は、図1の構成により得られた合成後の顔画像G4の肌に、或る老人の顔画像G5の肌を合成することで加齢処理する。これを行うには、老人の顔画像G5の形状データにより顔の肌領域を取り出し、その肌領域の部分の画像データを、合成後の顔画像G4の肌領域にテクスチャマッピングすることにより加齢処理を行う。図11はこの加齢処理を説明するフローチャートである。以下、図11を参照しながら簡単に説明する。 The age change processing unit 31 performs aging processing by synthesizing the skin of a face image G5 of a certain elderly person with the skin of the synthesized face image G4 obtained by the configuration of FIG. In order to do this, an aging process is performed by extracting the skin area of the face from the shape data of the face image G5 of the elderly person and texture-mapping the image data of the skin area portion on the skin area of the synthesized face image G4. I do. FIG. 11 is a flowchart for explaining this aging process. Hereinafter, a brief description will be given with reference to FIG.
まず、顔画像G4の肌領域に或る老人の顔画像G5の肌画像データをマッピングする(ステップs1)。そして、顔画像G4のまゆ領域に顔画像G4のまゆ画像データをマッピングし(ステップs2)、そのあと、顔画像G4の目領域に顔画像G4の目画像データをマッピングし(ステップs3)、続いて、顔画像G4の鼻領域に顔画像G4の鼻画像データをマッピングし(ステップs4)、その後、顔画像G4の口領域に顔画像G4の口画像データをマッピングする(ステップs5)。 First, the skin image data of a certain elderly person's face image G5 is mapped to the skin area of the face image G4 (step s1). Then, the eyebrow image data of the face image G4 is mapped to the eyebrow region of the face image G4 (step s2), and then the eye image data of the face image G4 is mapped to the eye region of the face image G4 (step s3). Then, the nose image data of the face image G4 is mapped to the nose region of the face image G4 (step s4), and then the mouth image data of the face image G4 is mapped to the mouth region of the face image G4 (step s5).
このように、実際の老人の顔画像の肌領域を用いて、その老人の肌領域と加齢処理を施そうとする顔画像の肌領域とを交換するようにして加齢処理を行うので、リアリティのある表情を持った加齢処理が可能となる。また、老齢化の度合いに応じて老人の顔画像を選ぶことにより、老齢化の度合いを自由に変化させることが可能となる。なお、老齢化処理だけでなく、処理対象の顔画像G1,G2より若い顔画像を使用すれば、若返りの処理も可能となる。 In this way, using the skin area of the face image of the actual elderly person, the aging process is performed by exchanging the skin area of the elderly person and the skin area of the face image to be subjected to the aging process. Aging process with a realistic expression is possible. Moreover, it becomes possible to freely change the degree of aging by selecting the face image of the elderly according to the degree of aging. In addition to the aging process, if a face image younger than the face images G1 and G2 to be processed is used, a rejuvenation process can be performed.
なお、以上説明した各実施の形態において、それぞれの処理を行う処理プログラムはフロッピィディスクなどの記憶媒体に記憶させておくことも可能である。 In each of the embodiments described above, a processing program for performing each processing can be stored in a storage medium such as a floppy disk.
1・・・形状補間処理部
2・・・色補間処理部
11・・・第1の形状整合処理部
12・・・第2の形状整合処理部
13,16・・髪色検出部
14,17・・・肌色検出部
15,18・・・眼球色検出部
19・・・遺伝情報テーブル
20・・・表情変化処理部
21・・・表情データ記憶部
31・・・年齢変化処理部
G1,G2・・・合成される顔画像
G3・・・背景となる顔画像
G4・・・合成後の顔画像
α,β・・・目の中心点
γ・・・口の中心点
Yc・・・顔画像G1,G2,G3の輝度値
Rc・・・顔画像G1,G2,G3の色補間比率
q・・・形状モデルにおける点
q0,q1,・・・点の番号
L・・・形状モデルにおける点と点との間を結ぶライン
L0,L1・・・点と点との間を結ぶラインの番号
p・・・形状モデルにおけるパッチ
p0,p1・・・パッチの番号
DESCRIPTION OF
Claims (2)
前記処理対象顔画像を変化させるのに用いる定数が格納される顔画像変化データ記憶手段と、
を備える顔画像処理装置を用いた顔画像処理方法であって、
前記顔画像変化処理手段が、前記処理対象顔画像内の或る一点から前記処理対象顔画像の輪郭に向かって横方向に向かうベクトルをA、前記処理対象顔画像内の或る一点から前記処理対象顔画像の輪郭に向かって縦方向に向かうベクトルをB、前記処理対象顔画像を変化させるのに用いる定数として、前記ベクトルAの方向の移動量を決定する定数をv1、前記ベクトルBの方向の移動量を決定する定数をv2、前記ベクトルA及び前記ベクトルBに直交する方向の移動量を決定する定数をv3とした場合に、前記処理対象顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを
を用いて算出するステップ
を有することを特徴とする顔画像処理方法。 The processing target face image is set as a processing target face image, and the processing target face image and a shape model matched with the processing target face image are used. By moving a predetermined point of the processing target face image by a predetermined amount, the processing is performed. Face image change processing means for changing the target face image;
Face image change data storage means for storing constants used to change the processing target face image;
A face image processing method using a face image processing apparatus comprising:
The face image change processing means sets A to a vector that goes laterally from a certain point in the processing target face image toward the contour of the processing target face image, and from the certain point in the processing target face image. A vector that is vertically directed toward the contour of the target face image is B, a constant that is used to change the processing target face image is v1, a constant that determines the amount of movement in the direction of the vector A, and the direction of the vector B The moving direction and the moving amount of a predetermined point of the processing target face image are set as v2 and the constant determining the moving amount in the direction orthogonal to the vector A and the vector B is v3. A movement vector representing
A face image processing method characterized by comprising the step of calculating using:
前記処理対象顔画像を変化させるのに用いる定数が格納される顔画像変化データ記憶手段と、
前記処理対象顔画像内の或る一点から前記処理対象顔画像の輪郭に向かって横方向に向かうベクトルをA、前記処理対象顔画像内の或る一点から前記処理対象顔画像の輪郭に向かって縦方向に向かうベクトルをB、前記処理対象顔画像を変化させるのに用いる定数として、前記ベクトルAの方向の移動量を決定する定数をv1、前記ベクトルBの方向の移動量を決定する定数をv2、前記ベクトルA及び前記ベクトルBに直交する方向の移動量を決定する定数をv3とした場合に、前記処理対象顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを
を用いて算出する顔画像変化処理手段と、
を有することを特徴とする顔画像処理装置。 The processing target face image is set as a processing target face image, and the processing target face image and a shape model matched with the processing target face image are used. By moving a predetermined point of the processing target face image by a predetermined amount, the processing is performed. A face image processing device for changing a target face image,
Face image change data storage means for storing constants used to change the processing target face image;
A vector from a certain point in the processing target face image toward the contour of the processing target face image is denoted by A, and a certain point in the processing target face image is directed to the contour of the processing target face image. A vertical vector is B, a constant used to change the processing target face image is v1, a constant that determines the amount of movement in the direction of the vector A, and a constant that determines the amount of movement in the direction of the vector B. v2, when a constant for determining the amount of movement in the direction orthogonal to the vector A and the vector B is v3, a movement vector representing the movement direction and amount of movement of a predetermined point of the processing target face image
A face image change processing means for calculating using
A face image processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006242510A JP3951061B2 (en) | 1995-06-16 | 2006-09-07 | Face image processing method and face image processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15062595 | 1995-06-16 | ||
JP2006242510A JP3951061B2 (en) | 1995-06-16 | 2006-09-07 | Face image processing method and face image processing apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006062263A Division JP3876922B2 (en) | 1995-06-16 | 2006-03-08 | Face image processing method and face image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007018529A JP2007018529A (en) | 2007-01-25 |
JP3951061B2 true JP3951061B2 (en) | 2007-08-01 |
Family
ID=37755593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006242510A Expired - Fee Related JP3951061B2 (en) | 1995-06-16 | 2006-09-07 | Face image processing method and face image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3951061B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211513A (en) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | Image processing apparatus and method therefor |
JP2010224802A (en) * | 2009-03-23 | 2010-10-07 | Hironobu Otoi | Virtual face image creation device and virtual face image creation method |
-
2006
- 2006-09-07 JP JP2006242510A patent/JP3951061B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
US11688105B2 (en) | 2016-12-29 | 2023-06-27 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2007018529A (en) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3799633B2 (en) | Face image processing method and face image processing apparatus | |
CN109376582B (en) | Interactive face cartoon method based on generation of confrontation network | |
EP0725364B1 (en) | Image processing apparatus | |
JP3639476B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
CN105139438A (en) | Video face cartoon animation generation method | |
US20070127844A1 (en) | Image processing apparatus, image processing method, program, and data configuration | |
WO2012056744A1 (en) | Image-processing device, image-processing method, and control program | |
WO2020177434A1 (en) | Image processing method and apparatus, image device, and storage medium | |
JP2010507854A (en) | Method and apparatus for virtual simulation of video image sequence | |
JP2020177620A (en) | Method of generating 3d facial model for avatar and related device | |
CN115689869A (en) | Video makeup migration method and system | |
JP3951061B2 (en) | Face image processing method and face image processing apparatus | |
CN109615690A (en) | The modeling method and device, electronic equipment, storage medium of fitting manikin | |
CN109242760A (en) | Processing method, device and the electronic equipment of facial image | |
Ueda et al. | AR food changer using deep learning and cross-modal effects | |
KR100459892B1 (en) | Method and apparatus for generating texture for 3D facial model | |
JP3915844B2 (en) | Face image processing method and face image processing apparatus | |
Sheu et al. | Automatic generation of facial expression using triangular geometric deformation | |
JP3876922B2 (en) | Face image processing method and face image processing apparatus | |
KR20010084996A (en) | Method for generating 3 dimension avatar using one face image and vending machine with the same | |
JP3577154B2 (en) | Image processing device | |
JP2000155836A (en) | Portrait picture formation system and its method | |
WO2009036554A1 (en) | Emulating cosmetic facial treatments with digital images | |
JP2004054759A (en) | Facial expression deforming device, method and program | |
Yao et al. | LC-VTON: Length controllable virtual try-on network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |