JP2012185545A - Face image processing device - Google Patents
Face image processing device Download PDFInfo
- Publication number
- JP2012185545A JP2012185545A JP2011046501A JP2011046501A JP2012185545A JP 2012185545 A JP2012185545 A JP 2012185545A JP 2011046501 A JP2011046501 A JP 2011046501A JP 2011046501 A JP2011046501 A JP 2011046501A JP 2012185545 A JP2012185545 A JP 2012185545A
- Authority
- JP
- Japan
- Prior art keywords
- face
- dimensional
- face feature
- feature point
- derived
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims abstract description 58
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000009795 derivation Methods 0.000 abstract description 13
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、顔画像処理装置に関し、特に、個人を撮影した2次元の顔画像を3次元の顔形状データにマッピングした3次元顔画像を作成する顔画像処理装置に関する。 The present invention relates to a face image processing apparatus, and more particularly to a face image processing apparatus that creates a 3D face image by mapping a 2D face image obtained by photographing an individual to 3D face shape data.
従来より、対象者の顔を撮影して取得した2次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなるという問題があった。 Conventionally, there has been proposed a face authentication device that authenticates a target person by collating a two-dimensional face image acquired by photographing the face of the target person with a registered face image. Such a face authentication apparatus registers the face image of the subject person in advance, and determines whether or not to authenticate based on the result of comparison with the face image acquired at the time of use. For this reason, if there are differences in the face orientation, lighting conditions, facial expressions, and the like between the face image at the time of registration and the face image at the time of use, there is a problem that the error rate at the time of matching increases.
そこで、特許文献1には、顔画像の照合に使用するための、対象者の顔の複数の2次元画像を作成するサンプル画像収集方法が提案されている。この画像収集方法は、表面計測装置を用いて、取得した顔の3次元の表面形状データ及びカラー情報から対象者の顔の3次元コンピュータグラフィックスモデルを作成する。そして、その画像収集方法は、そのモデルに基づいて顔の向き又は照明条件を変動させてレンダリングすることにより、複数の2次元顔画像を作成する。
Therefore,
また、特許文献2には、標準的な顔の3次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている。この顔画像照合装置は、照合の際に取得した対象者の2次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した3次元顔モデル(3次元顔画像)を作成する。そして顔画像照合装置は、3次元顔モデルに対して顔の向き、照明条件又は表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。 Further, Patent Document 2 proposes a face image matching device that creates a plurality of reference face images to be used for matching using a standard frame model representing a standard three-dimensional shape of a face. This face image matching device generates a three-dimensional face model (three-dimensional face image) corresponding to the face of the subject by combining the two-dimensional face image of the subject acquired at the time of matching with the standard frame model. . Then, the face image matching device creates a reference face image by rendering the three-dimensional face model in consideration of the variation factors such as the face direction, the illumination condition, or the expression.
また、特許文献3には、事前に準備された顔の3次元形状を表す3次元形状モデルを変形させた派生形状モデルを用いて、対象者の顔形状をあらわす3次元顔画像を作成する顔画像処理装置が提案されている。この顔画像処理装置は、3次元形状モデルを、鼻尖点などの基準点に対して高さ方向又は上下の長さの比率を変えるように変形した派生形状モデルを作成する。そして顔画像処理装置は、派生形状モデル又は3次元形状モデルのうち、画像入力手段から取得した対象者の2次元顔画像に最も類似するモデルと2次元顔画像を合成して3次元顔画像を作成する。 Patent Document 3 discloses a face for generating a three-dimensional face image representing a face shape of a subject using a derived shape model obtained by deforming a three-dimensional shape model representing a three-dimensional shape of a face prepared in advance. An image processing apparatus has been proposed. This face image processing apparatus creates a derived shape model obtained by transforming a three-dimensional shape model so as to change the ratio of the height direction or the vertical length with respect to a reference point such as a nose tip. Then, the face image processing device combines the 2D face image with the model most similar to the 2D face image of the subject acquired from the image input means from the derived shape model or the 3D shape model, and generates the 3D face image. create.
特許文献1に記載された画像収集方法では、対象者ごとに顔の3次元コンピュータグラフィックスモデルを作成する必要がある。しかし、そのモデルの作成には、特殊な表面計測装置を用いて対象者本人の顔を計測する必要があるため、各対象者の顔の3次元コンピュータグラフィックスモデルを作成することは容易でない。そのため、係る画像収集方法を、一般に利用される顔認証装置に適用することは困難であった。
In the image collection method described in
一方、特許文献2に記載された顔画像照合装置では、3次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが1ないし複数準備される。この標準フレームモデルは一度作成すればよく、係る顔画像照合装置の何れについても使用することができるので、上記のような問題は生じない。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、眉骨又は頬骨の張り出し具合、顎の形状などの個々人が持つ顔形状の特徴を反映するものではない。また、特許文献2には、3次元顔モデルを作成するために用いる標準フレームモデルとして、対象者の性別、年齢等の属性情報に応じた標準フレームモデルを選択する方法も開示されている。しかし、対象者の属性情報が同じであっても顔形状の特徴が異なる場合がある。そのため、対象者の顔に適した3次元顔モデルを作成できる顔画像処理装置がさらに望まれていた。 On the other hand, in the face image matching apparatus described in Patent Document 2, one or more standard frame models corresponding to a standard face are prepared as models representing a three-dimensional shape. This standard frame model only needs to be created once and can be used for any of such face image collation apparatuses, so the above-mentioned problems do not occur. However, since the standard frame model corresponds to a standard face shape, it does not reflect the characteristics of the face shape of each person such as the extent of the eyebrows or cheekbones and the shape of the jaw. Patent Document 2 also discloses a method of selecting a standard frame model according to attribute information such as the sex and age of the subject as a standard frame model used for creating a three-dimensional face model. However, even if the attribute information of the subject is the same, the facial shape characteristics may be different. Therefore, a face image processing apparatus that can create a three-dimensional face model suitable for the face of the subject is further desired.
また、特許文献3に記載された顔画像処理装置は、対象者の顔の特徴的な部位の位置にあわせて3次元形状モデルを変形して派生形状モデルを作成するので、対象者の顔により適した3次元顔画像を作成することができる。しかし、この派生形状モデルは、事前に準備された3次元形状モデルに対して、基準点に対する高さ方向又は上下の長さの比率のみを変えたものであり、それぞれの特徴的な部位の位置をより良好に一致させた3次元顔画像を作成できる顔画像処理装置がさらに望まれている。 Further, the face image processing apparatus described in Patent Document 3 creates a derived shape model by deforming a three-dimensional shape model in accordance with the position of a characteristic part of the subject's face. A suitable three-dimensional face image can be created. However, this derived shape model is obtained by changing only the ratio of the height direction or the vertical length to the reference point with respect to the three-dimensional shape model prepared in advance, and the position of each characteristic part. There is a further demand for a face image processing apparatus that can create a three-dimensional face image with better matching.
そこで、本発明の目的は、特殊な表面計測装置を用いることなく、顔の3次元形状を表す3次元形状モデルを用いて、対象者の2次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた3次元顔画像を作成する顔画像処理装置を提供することにある。 Therefore, an object of the present invention is to use a three-dimensional shape model representing the three-dimensional shape of the face without using a special surface measuring device, and to determine the position of a characteristic part from the two-dimensional face image of the subject. An object of the present invention is to provide a face image processing apparatus that creates a three-dimensional face image that is more closely matched to the face of the subject.
かかる課題を解決するための本発明は、人物の顔が含まれる2次元顔画像と顔の3次元形状を表す3次元形状モデルを合成してその人物の顔に対応した3次元顔画像を作成する顔画像処理装置を提供する。係る顔画像処理装置は、2次元顔画像を入力する画像入力手段と、予め3次元形状モデルと該3次元形状モデルにおける顔の特徴点を表す複数の3次元顔特徴点とを記憶する記憶手段と、2次元顔画像から顔の特徴点を表す複数の2次元顔特徴点を抽出する顔特徴点抽出手段と、3次元顔特徴点と当該3次元顔特徴点に対応する2次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、位置ずれ量が所定の閾値以上の3次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該3次元顔特徴点については当該3次元顔特徴点または当該派生顔特徴点から選択した特徴点、位置ずれ量が所定の閾値未満の3次元顔特徴点については当該3次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、3次元形状モデルの3次元顔特徴点が派生顔特徴点セットに一致するよう3次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、派生形状モデル及び3次元形状モデルを2次元顔画像と比較して2次元顔画像に最も類似する派生形状モデルまたは3次元形状モデルを選択する類似形状選択手段と、選択された派生形状モデルまたは3次元形状モデルと2次元顔画像を合成して、人物の顔に対応した3次元顔画像を作成する個人モデル作成手段と、を有する。 To solve this problem, the present invention creates a three-dimensional face image corresponding to the face of a person by synthesizing a two-dimensional face image including the face of the person and a three-dimensional shape model representing the three-dimensional shape of the face. A face image processing apparatus is provided. The face image processing apparatus includes an image input unit that inputs a two-dimensional face image, and a storage unit that stores in advance a three-dimensional shape model and a plurality of three-dimensional face feature points representing facial feature points in the three-dimensional shape model. A face feature point extracting means for extracting a plurality of 2D face feature points representing face feature points from the 2D face image, a 3D face feature point and a 2D face feature point corresponding to the 3D face feature point A positioning unit that calculates a positional deviation amount with respect to the position and performs positioning, and generates one or a plurality of derived face feature points whose positions are changed with respect to a three-dimensional face feature point having a positional deviation amount equal to or greater than a predetermined threshold, For the 3D face feature point, select the feature point selected from the 3D face feature point or the derived face feature point, for the 3D face feature point whose positional deviation amount is less than a predetermined threshold, Derived face combined to form the shape of Derived face feature point calculating means for generating a scoring point set and a derived model for generating a derived shape model by modifying the 3D shape model so that the 3D face feature point of the 3D shape model matches the derived face feature point set Creating means; comparing derived shape model and 3D shape model with 2D face image; selecting derived shape model or 3D shape model most similar to 2D face image; and selected derivation And a personal model creation means for creating a 3D face image corresponding to a human face by synthesizing a shape model or a 3D shape model and a 2D face image.
さらに、本発明に係る顔画像処理装置において、派生顔特徴点算出手段は、対応する2次元顔特徴点に対する3次元顔特徴点の位置ずれ量が大きいほど、該3次元顔特徴点に対応する派生顔特徴点を広く分布させて生成することが好ましい。 Furthermore, in the face image processing apparatus according to the present invention, the derived face feature point calculation means corresponds to the three-dimensional face feature point as the positional deviation amount of the three-dimensional face feature point with respect to the corresponding two-dimensional face feature point increases. It is preferable that the derived face feature points are generated by being widely distributed.
さらに、本発明に係る顔画像処理装置において、派生顔特徴点算出手段は、対応する2次元顔特徴点に対する3次元顔特徴点の位置ずれ量が大きいほど、該3次元顔特徴点に対応する派生顔特徴点を数を増やして生成することが好ましい。 Furthermore, in the face image processing apparatus according to the present invention, the derived face feature point calculation means corresponds to the three-dimensional face feature point as the positional deviation amount of the three-dimensional face feature point with respect to the corresponding two-dimensional face feature point increases. It is preferable to generate the derived face feature points by increasing the number.
本発明に係る顔画像処理装置は、特殊な表面計測装置を用いることなく、顔の3次元形状を表す3次元形状モデルを用いて、対象者の2次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた3次元顔画像を作成できるという効果を奏する。 The face image processing apparatus according to the present invention uses a three-dimensional shape model representing the three-dimensional shape of the face without using a special surface measurement device, and positions of characteristic parts from the two-dimensional face image of the subject. It is possible to create a three-dimensional face image that more closely matches the face of the subject.
以下、本発明の一実施形態である顔画像処理装置について図を参照しつつ説明する。
本発明を適用した顔画像処理装置は、対象者の2次元の顔画像を取得すると、その2次元の顔画像から、事前に準備された顔の3次元形状を表す3次元形状モデルにおける顔の特徴点を表す特徴点を抽出する。そして顔画像処理装置は、3次元形状モデルの特徴点の配置が2次元の顔画像の特徴点の配置に最も一致するように位置合わせを行い、その結果、3次元形状モデルにおいて、2次元の顔画像の特徴点との位置ずれ量が所定以上の特徴点について位置を変えた複数の派生顔特徴点を生成し、その派生顔特徴点を用いて派生形状モデルを作成する。そして顔画像処理装置は、作成した派生形状モデル及び元の3次元形状モデルのうち2次元の顔画像に最も類似するものに基づいて3次元顔画像を作成することにより、対象者の顔とそれぞれの特徴的な部位の位置が良好に一致する3次元顔画像を作成する。
Hereinafter, a face image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
When the face image processing apparatus to which the present invention is applied acquires the two-dimensional face image of the subject, the face image in the three-dimensional shape model representing the three-dimensional shape of the face prepared in advance from the two-dimensional face image. A feature point representing the feature point is extracted. Then, the face image processing apparatus performs alignment so that the arrangement of the feature points of the three-dimensional shape model most closely matches the arrangement of the feature points of the two-dimensional face image. A plurality of derived face feature points are generated by changing the positions of feature points whose positional deviation from the feature points of the face image is greater than or equal to a predetermined value, and a derived shape model is created using the derived face feature points. Then, the face image processing device creates a three-dimensional face image based on the derived shape model and the original three-dimensional shape model that are most similar to the two-dimensional face image. A three-dimensional face image is created in which the positions of the characteristic parts are well matched.
図1は、本発明を適用した顔画像処理装置100の概略構成を示す図である。図1に示すように、顔画像処理装置100は、記憶手段101、画像入力手段102、顔特徴点抽出手段103、位置合わせ情報算出手段104、派生モデル作成手段105、光源方向推定手段106、陰影画像作成手段107、類似度算出手段108、類似形状選択手段109及び個人モデル作成手段110を有する。
このうち、顔特徴点抽出手段103、位置合わせ情報算出手段104、派生モデル作成手段105、光源方向推定手段106、陰影画像作成手段107、類似度算出手段108、類似形状選択手段109及び個人モデル作成手段110は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置100の各部について詳細に説明する。
FIG. 1 is a diagram showing a schematic configuration of a face
Among these, the facial feature point extraction means 103, the alignment information calculation means 104, the derived model creation means 105, the light source direction estimation means 106, the shadow image creation means 107, the similarity calculation means 108, the similar shape selection means 109, and the personal model creation. Each
記憶手段101は、ROM(Read Only Memory)、RAM(Random Access Memory)などの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段101は、顔画像処理装置100を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶手段101は、顔の3次元形状モデルと、該3次元形状モデルにおける顔の特徴点を表す複数の3次元顔特徴点とを記憶する。3次元形状モデルは複数存在してもよく、また一つであってもよい。3次元形状モデルは、人物の顔の3次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお3次元形状モデルは、例えば、複数の人物の顔形状からそれぞれ作成してもよいし、多数の人物の顔形状を模した顔形状モデルを平均化して作成してもよい。あるいは形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成してもよい。
The
ここで、3次元顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、3次元顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点(口中心)、口角点などが含まれる。なお、記憶する3次元顔特徴点の種類及び数に制限はないが、記憶する3次元顔特徴点は、顔特徴点抽出手段103において抽出可能な2次元顔画像の顔特徴点と同じ部位の特徴点であること、又は少なくともこれらの特徴点を全て含むことが好ましい。本実施形態では、3次元顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、並びに左右の口角点の10箇所を記憶するものとした。
Here, the three-dimensional face feature point represents any point of a characteristic part different from others in terms of shape or color component such as eyes, nose and mouth, for example, a center point or an end point of those parts. For example, the three-dimensional face feature points include an eyebrow head, an eyebrow butt, a black eye center, an eye region center, an eye head, an eye corner, a nose tip, a nostril center, a mouth point (mouth center), a mouth corner point, and the like. The type and number of the 3D face feature points to be stored are not limited, but the 3D face feature points to be stored are the same parts as the face feature points of the 2D face image that can be extracted by the face feature
画像入力手段102は、例えば、監視カメラ等の画像取得手段と接続されるインターフェース回路であり、画像取得手段により2次元顔画像として取得された対象者の顔画像を顔画像処理装置100に入力する。また、予め撮影された1ないし複数の顔画像を含む履歴情報を記録した記録媒体が存在する場合、画像入力手段102は、そのような記録媒体にアクセスするための読み取り装置と、キーボード、マウスなどの入力デバイスとディスプレイを含むユーザインターフェースとを有していてもよい。この場合、ユーザは、画像入力手段102のユーザインターフェースを介して、履歴情報から何れか一つの顔画像を選択する。なお、顔画像は、顔全体を含み、かつ顔の各特徴部分(目、鼻、口など)を他の特徴部分と区別できるものであれば、顔の向きは正面向きでも斜め向きでもよい。さらに顔画像は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像を、128×128画素を有し、RGB各色について8ビットの輝度分解能を持つカラー画像とした。ただし、顔画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
画像入力手段102は、取得した顔画像を、顔特徴点抽出手段103、光源方向推定手段106、類似度算出手段108及び個人モデル作成手段110へ出力する。
The
The image input means 102 outputs the acquired face image to the face feature point extraction means 103, the light source direction estimation means 106, the similarity calculation means 108, and the personal model creation means 110.
顔特徴点抽出手段103は、画像入力手段102から出力された顔画像から顔の特徴点を表す顔特徴点(以下、2次元顔特徴点と称する)を抽出する。そして顔特徴点抽出手段103は、抽出した2次元顔特徴点の種別と顔画像上の位置情報(例えば、顔画像の左上端部を原点とする2次元座標値)を、位置合わせ情報算出手段104へ出力する。本実施形態において、顔特徴点抽出手段103は、記憶手段101に記憶されている各3次元顔特徴点(目領域中心、鼻尖点、口角点などの10箇所)に対応する2次元顔特徴点を抽出する。顔特徴点抽出手段103は、顔画像から2次元顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段103は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段103は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各2次元顔特徴点を抽出することができる。また顔特徴点抽出手段103は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔特徴点抽出手段103は、顔の各部位に相当するテンプレートと顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、2次元顔特徴点を抽出してもよい。さらにまた、顔特徴点抽出手段103は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース(図示せず)を介してユーザに各2次元顔特徴点の位置を指定させることにより、各2次元顔特徴点を取得してもよい。
The face feature
位置合わせ情報算出手段104は、記憶手段101に記憶された3次元形状モデルと画像入力手段102から入力された2次元顔画像との位置合わせ、後述する派生モデル作成手段105にて用いる派生顔特徴点セットの生成などを行う。位置合わせ情報算出手段104は、記憶手段101に記憶された3次元形状モデルの各3次元顔特徴点の配置が、顔特徴点抽出手段103によって顔画像から抽出された各2次元顔特徴点の配置に最も一致するように位置合わせを行う。また位置合わせ情報算出手段104は、派生モデル作成手段105が派生顔特徴点セットに基づいて作成する派生形状モデルについて、派生顔特徴点セットを用いて2次元顔画像との位置合わせを行う。派生顔特徴点セットの詳細については後述する。そして位置合わせ情報算出手段104は、その位置合わせの結果として得られる位置合わせ情報を派生モデル作成手段105へ出力する。そのために、位置合わせ情報算出手段104は、位置合わせ手段111と、派生顔特徴点算出手段112とを有する。
The alignment
位置合わせ手段111は、3次元形状モデルの各3次元顔特徴点を、回転、並進、拡大/縮小して、各3次元顔特徴点の配置が、各2次元顔特徴点の配置と最も一致するように位置合わせを行い、その位置合わせ情報を算出する。このとき位置合わせ手段111は、位置合わせの前後において各3次元顔特徴点間の相対的な位置関係を保持するように、すなわち位置合わせ前の各3次元顔特徴点の配置と位置合わせ後の各3次元顔特徴点の配置が互いに相似になるように各3次元顔特徴点を移動させる。
位置合わせ情報は、例えば、3次元形状モデルに対して設定された3次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大/縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、3次元形状モデル上の複数の3次元顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
The alignment means 111 rotates, translates, enlarges / reduces each 3D face feature point of the 3D shape model, and the arrangement of each 3D face feature point most closely matches the arrangement of each 2D face feature point. Alignment is performed so that the alignment information is calculated. At this time, the
The alignment information includes, for example, a rotation angle along each axis of a three-dimensional orthonormal coordinate system (X, Y, Z) set for the three-dimensional shape model, a translation amount, and an enlargement / reduction ratio. . In this orthonormal coordinate system (X, Y, Z), for example, the center of gravity of a plurality of three-dimensional face feature points on the three-dimensional shape model is set as the origin, and the X axis in the direction from left to right with respect to the face The Y axis is set in a direction horizontal to the face and from the rear to the front, and the Z axis is set in the direction from the bottom to the top perpendicular to the face.
そして位置合わせ手段111は、算出した各位置合わせ情報を評価するために、各位置合わせ情報を用いて各3次元顔特徴点と対応する2次元顔特徴点の位置合わせをしたときの位置合わせ誤差を算出する。
位置合わせ手段111は、例えば、以下のように位置合わせ誤差を算出する。まず位置合わせ手段111は、各2次元顔特徴点を3次元形状モデルの3次元空間に投影する。
図2に、顔画像と3次元形状モデルの関係を模式的に示す。図2に示すように、位置合わせ手段111は、カメラ位置30を原点として顔画像10の各2次元顔特徴点11、12を3次元形状モデル20の3次元空間に投影する。位置合わせ手段111は、カメラ位置30を原点として各2次元顔特徴点11、12を3次元空間に投影した投影直線31、32と、各3次元顔特徴点21、22の位置関係から、3次元形状モデル20の特徴点の配置と顔画像10の特徴点の配置とを比較することができる。
Then, the
The
FIG. 2 schematically shows the relationship between the face image and the three-dimensional shape model. As shown in FIG. 2, the
本実施形態においては、記憶手段101に記憶された3次元形状モデルは、標準的な顔の3次元形状を表すモデルを想定しており、対象者の顔形状を模したモデルではない。そのため各3次元顔特徴点21、22の配置と各2次元顔特徴点11、12の配置とは一般に異なる。従って、左目尻における3次元顔特徴点21のように投影直線31との最短距離が小さい特徴点と、左口角における3次元顔特徴点22のように投影直線32との最短距離が大きい特徴点とが存在する。そのため、全ての3次元顔特徴点の配置が2次元顔特徴点の配置と完全に一致するように位置合わせをすることは一般にできない。
一方で、全ての3次元顔特徴点を、対応する2次元顔特徴点に、まんべんなく位置合わせをすると、求めたい3次元顔画像は、顔の形状に対してまんべんなくテクスチャ情報がずれた、質の悪いものとなる。そこで、投影直線との最短距離の評価に軽重をつけることとする。
In the present embodiment, the three-dimensional shape model stored in the
On the other hand, when all the 3D face feature points are evenly aligned with the corresponding 2D face feature points, the desired 3D face image has a texture quality that is evenly shifted from the face shape. It will be bad. Therefore, the evaluation of the shortest distance from the projected straight line will be emphasized.
位置合わせ手段111は、注目する3次元顔特徴点について、その注目する3次元顔特徴点に対応する2次元顔特徴点に対する位置ずれ量Eiを算出し、その位置ずれ量Eiの総和として全体の位置ずれ量Eを求める。全体の位置ずれ量Eは、例えば以下の式で表される。
また(1)式において、位置ずれ量Eiは、例えば以下の式で表される。
図3に、距離diと位置ずれ量Eiの関係を示す。図3において、横軸は距離diを、縦軸は位置ずれ量Eiを表し、グラフ301はσ=0.0017の場合の、グラフ302はσ=0.017の場合の、グラフ303はσ=0.17の場合の距離diと位置ずれ量Eiの関係をそれぞれ表す。
図3に示されるように、diの変化に対する位置ずれ量Eiの変化量は、diが大きい領域よりdiが小さい領域の方が大きい。つまり距離diが大きい特徴点をより近づけるよりも、距離diが小さい特徴点をより近づけるように調整する方が、位置ずれ量Eiの減少幅が大きくなり、全体の位置ずれ量Eをより小さくすることができる。
また図3では、例えば距離di>0.2の領域において、グラフ301の位置ずれ量Eiは1に漸近しているが、グラフ303の位置ずれ量Eiは漸近していない。つまり位置ずれ量Eiは、σが小さい場合、距離diがより小さい領域で所定値に漸近するが、σが大きい場合、距離diがより大きい領域でなければ所定値に漸近しない。このようにσの値により、距離diと位置ずれ量Eiの関係を調整することができ、σの値は、顔画像処理装置100が設置される環境、その目的などに応じて適宜定められる。本実施形態ではσ=0.017としている。
FIG. 3 shows the relationship between the distance d i and the positional deviation amount E i . In FIG. 3, the horizontal axis represents the distance d i , the vertical axis represents the positional deviation amount E i , the
As shown in FIG. 3, the variation of the displacement amount E i to changes in d i will be larger in the region d i is smaller than the area d i is large. That distance d i than closer more the large feature points, better to adjust the distance d i is smaller feature points to be more closer is decline of the displacement amount E i is increased, the whole positional deviation amount E It can be made smaller.
In FIG. 3, for example, in the region of distance d i > 0.2, the positional deviation amount E i of the
このように位置合わせ手段111は、(2)式により算出した位置ずれ量Eiを用いて全体の位置ずれ量Eを最小にするように位置合わせすることにより、距離diがより小さい3次元顔特徴点を優先的に、対応する3次元投影点に近づけるように位置合わせする。これにより位置合わせ手段111は、(2)式により算出した位置ずれ量Eiが小さい3次元顔特徴点ほど、より対応する2次元顔特徴点に一致させるように位置合わせすることができる。
As described above, the
なお位置ずれ量Eiは、距離diが小さいほど距離diの変化に対する位置ずれ量Eiの変化量が小さくなるように算出されるものであれば、どのようなものであってもよく、例えば、(3)式で表されるシグモイド関数、又は(4)式で表される関数を用いてもよい。
また距離diは、注目する3次元顔特徴点と、その注目する3次元顔特徴点に対応する2次元顔特徴点の投影直線との最短距離に限られない。例えば距離diは、注目する3次元顔特徴点と、その注目する3次元顔特徴点に対応する2次元顔特徴点の投影直線と3次元形状モデルの表面の交点との距離としてもよい。この場合、2次元顔特徴点の投影直線と3次元形状モデルの表面の交点が3次元投影点となる。
なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落しており、2次元特徴点の一部が抽出できないときは、対応すべき3次元特徴点については位置ずれ量Eiを算出しないこととする。
The positional deviation amount E i may be any as long as it is calculated such that the smaller the distance d i is, the smaller the amount of change in the positional deviation amount E i with respect to the change in the distance d i is. For example, you may use the sigmoid function represented by (3) Formula, or the function represented by (4) Formula.
The distance d i is not limited to the shortest distance between the focused 3D face feature point and the projection line of the 2D face feature point corresponding to the focused 3D face feature point. For example, the distance d i may be the distance between the 3D face feature point of interest and the intersection of the projection line of the 2D face feature point corresponding to the 3D face feature point of interest and the surface of the 3D shape model. In this case, the intersection of the projection line of the two-dimensional face feature point and the surface of the three-dimensional shape model becomes the three-dimensional projection point.
In addition, there is an occlusion that is hidden behind a protruding part on the face such as the nose or that part of the face cannot be seen due to an obstruction, etc., and information on the part of the face is missing in the face image. when a portion of the can not be extracted, the three-dimensional feature points should correspond to not calculate the positional shift amount E i.
位置合わせ手段111は、全体の位置ずれ量Eが最小となったときの各3次元顔特徴点の、正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大/縮小率を位置合わせ情報とする。また位置合わせ手段111は、各3次元顔特徴点について、位置ずれ量Ei及び位置合わせ情報を派生顔特徴点算出手段112へ出力する。
The alignment means 111 includes a rotation angle, a translation amount, and a translation amount of each three-dimensional face feature point along each axis of the orthonormal coordinate system (X, Y, Z) when the total positional deviation amount E is minimized. And the enlargement / reduction ratio is used as alignment information. In addition, the
派生顔特徴点算出手段112は、3次元形状モデル上の3次元顔特徴点と、当該3次元顔特徴点に対応する2次元顔特徴点との位置ずれ量Eiが所定値以上の3次元顔特徴点を特定する。そして、特定した3次元顔特徴点における3次元位置情報のみを周辺位置に派生させた1または複数の派生顔特徴点を生成する。
つまり、2次元顔特徴点との位置ずれ量が所定値以上の3次元顔特徴点に対して、一つの顔の特徴点について、この派生元となった3次元顔特徴点とかかる派生顔特徴点が存在することとなる。
そして、派生顔特徴点算出手段112は、一つの3次元形状モデルを形成する複数の3次元顔特徴点の組み合わせである顔特徴点セットを作成する。派生顔特徴点が生成されている3次元顔特徴点については、派生元となった3次元顔特徴点と当該派生顔特徴点から一つを順次顔の特徴点ごとに選択し、顔特徴点セットを生成する。派生顔特徴点が生成されていない3次元顔特徴点については、その3次元顔特徴点をそのまま用いて顔特徴点セットを生成する。ここでは、これらの顔特徴点セットのことを派生顔特徴点セットと呼ぶ。
この所定値は、例えば、3次元形状モデルを2次元の顔画像に投影したときに2次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
The derived face feature point calculation means 112 is a three-dimensional image in which the positional deviation amount E i between the three-dimensional face feature point on the three-dimensional shape model and the two-dimensional face feature point corresponding to the three-dimensional face feature point is a predetermined value or more. Identify facial feature points. Then, one or a plurality of derived face feature points are generated by deriving only the three-dimensional position information of the specified three-dimensional face feature points to the peripheral positions.
That is, with respect to a 3D face feature point whose positional deviation amount with respect to the 2D face feature point is a predetermined value or more, with respect to one face feature point, the 3D face feature point that is the derivation source and the derived face feature There will be points.
Then, the derived face feature
For example, the predetermined value can be set to a size of a range that is considered to be the same pixel on the two-dimensional face image when the three-dimensional shape model is projected onto the two-dimensional face image.
位置ずれ量が大きい3次元顔特徴点は、対応する2次元顔特徴点の3次元投影点と位置が大きく異なるため、その3次元顔特徴点の周辺において対象者の顔と3次元形状モデルの形状が大きく異なる可能性が高い。従って例えば、各3次元顔特徴点をその位置ずれ量に応じて変動させることにより、位置ずれ量の大きい特徴点、すなわち形状が大きく異なる可能性が高い部分において3次元形状モデルを重点的に変形することができ、対象者の顔に類似する3次元形状モデルを効率的に作成することができる。例えば図2に示した例では、顔画像処理装置100は、まず左目尻における3次元顔特徴点21を基準として位置合わせを行い、その後左口角における3次元顔特徴点22を大きく変動させることにより、対象者の顔に類似する3次元形状モデルを効率的に作成することができる。そこで本実施形態では、派生顔特徴点算出手段112は、3次元顔特徴点と、当該3次元顔特徴点に対応する2次元顔特徴点の位置ずれ量Eiが所定値以上の3次元顔特徴点について位置を変えた複数の派生顔特徴点を生成する。
Since the position of a 3D face feature point with a large amount of displacement is significantly different from the 3D projection point of the corresponding 2D face feature point, the face of the subject and the 3D shape model around the 3D face feature point. The shape is likely to vary greatly. Therefore, for example, by changing each three-dimensional face feature point according to the amount of positional deviation, the three-dimensional shape model is mainly deformed at a feature point having a large amount of positional deviation, that is, a portion where the shape is highly likely to differ greatly. And a three-dimensional shape model similar to the face of the subject can be efficiently created. For example, in the example shown in FIG. 2, the face
例えば、派生顔特徴点算出手段112は、各3次元顔特徴点について位置ずれ量Eiから求められる確率分布に従ってその3次元顔特徴点の位置を変えた派生顔特徴点を生成する。例えば、ある3次元顔特徴点をPi=(Xi,Yi,Zi)T、派生顔特徴点をPi'=(Xi',Yi',Zi')Tとすると、確率分布p(Pi')は、次式のように3次元顔特徴点Piと位置ずれ量Eiから求められる正規分布で表すことができる。
図4は、(5)式により作成した派生顔特徴点Pi'を示す模式図である。図4において派生顔特徴点は記号「+」であらわされる。図4に示されるように、派生顔特徴点41、42は、3次元顔特徴点21、22を中心に3次元正規分布に従って分布する。そして位置ずれ量Eiが小さい左目尻における3次元顔特徴点21の周辺では、派生顔特徴点41は狭い範囲で分布するが、位置ずれ量Eiが大きい左口角における3次元顔特徴点22の周辺では、派生顔特徴点42は広い範囲で分布する。
FIG. 4 is a schematic diagram showing the derived face feature point P i ′ created by the equation (5). In FIG. 4, the derived face feature point is represented by a symbol “+”. As shown in FIG. 4, the derived face feature points 41 and 42 are distributed according to a three-dimensional normal distribution around the three-dimensional face feature points 21 and 22. In the vicinity of the three-dimensional
なお、(5)式では、確率分布p(Pi')は、共分散行列が対角行列に制限された正規分布を用いる例を示したが、派生顔特徴点算出手段112は、共分散行列に制限のない正規分布を用いてもよい。 In Equation (5), the probability distribution p (P i ′) is an example using a normal distribution in which the covariance matrix is limited to a diagonal matrix. A normal distribution with no restrictions on the matrix may be used.
また、派生顔特徴点算出手段112は、各2次元顔特徴点の3次元投影点を正規分布の中心としてもよい。つまりこの場合、各2次元顔特徴点の投影直線上の、その2次元顔特徴点に対応する3次元顔特徴点との距離が最短となる点、又は各2次元顔特徴点を3次元空間に投影する直線と3次元形状モデルの表面との交点が正規分布の中心となる。2次元顔特徴点の3次元投影点をQi=(Xi,Yi,Zi)Tとすると、確率分布p(Pi')は、例えば次式のように表すことができる。
また派生顔特徴点算出手段112は、非正規分布を用いて派生顔特徴点Pi'を生成してもよい。例えば、3次元顔特徴点Piからみて対応する3次元投影点が存在する側の反対側に、正しい特徴点が存在する可能性は低い。そこで派生顔特徴点算出手段112は、3次元顔特徴点Piからみて対応する3次元投影点が存在しない側には派生顔特徴点Pi'が分布しないようにしてもよい。これにより顔画像処理装置100は、より効率的に3次元形状モデルを作成することができる。
The derived face feature
また派生顔特徴点算出手段112は、全ての3次元投影点に対して派生顔特徴点を生成してもよいが、必ずしもその必要はない。対応する2次元特徴点との位置ずれ量が十分に小さい3次元特徴点については、その3次元特徴点をそのまま用いて3次元形状モデルを作成しても、対象者の顔画像に類似した3次元形状モデルを作成することができる。そのため派生顔特徴点算出手段112は、位置ずれ量が所定値未満となる3次元特徴点に対しては派生顔特徴点を生成しなくてもよい。なお、この所定値は、前述のように例えば3次元形状モデルを2次元の顔画像に投影したときに2次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
またこの場合、例えば派生顔特徴点算出手段112は、位置ずれ量が所定値以上となる3次元特徴点に対して、予め定められた数の派生顔特徴点を予め定められたグリッド状に生成してもよい。また派生顔特徴点算出手段112は、3次元特徴点の位置ずれ量が大きいほど派生顔特徴点を生成するグリッドの幅を大きくしてもよい。これにより顔画像処理装置100は、3次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する3次元形状モデルを作成することができる。
The derived face feature
Also, in this case, for example, the derived face feature
また派生顔特徴点算出手段112は、3次元特徴点の位置ずれ量が大きいほど生成する派生顔特徴点を増やし、位置ずれ量が小さいほど生成する派生顔特徴点を少なくしてもよい。これにより顔画像処理装置100は、形状が異なる可能性の高い部分において3次元顔特徴点を変形させた派生形状モデルを増やしつつ、形状が類似する可能性の高い部分において3次元顔特徴点を変形させた派生形状モデルの作成を抑制することになる。そのため顔画像処理装置100は、3次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する3次元形状モデルを効率的に作成することができる。
The derived face feature
そして派生顔特徴点算出手段112は、派生顔特徴点セットを作成する。
例えば図4に示すように、派生顔特徴点算出手段112は、3次元形状モデル20の各3次元顔特徴点21、22又は各3次元顔特徴点21、22を派生させた派生顔特徴点41、42をそれぞれ組み合わせた派生顔特徴点セット50を作成する。例えば各3次元顔特徴点について同数の派生顔特徴点を生成する場合、作成する派生顔特徴点セット50の数は、各3次元顔特徴点に対する派生顔特徴点の数に(3次元顔特徴点の分として)1を加えた数を、派生顔特徴点を生成した3次元顔特徴点の数で累乗した値となる。作成する派生顔特徴点セット50の数が多いほど、3次元顔画像作成処理に要する時間が長くなるが、作成される3次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は高くなる。一方、作成する派生顔特徴点セット50の数が少ないほど、作成される3次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は低くなるが、3次元顔画像作成処理に要する時間は短くなる。あるいは各3次元顔特徴点又は3次元投影点から近い位置の派生顔特徴点に限定し、作成する派生顔特徴点セット50の数に一定の上限を設けてもよい。
Then, the derived face feature
For example, as shown in FIG. 4, the derived face feature point calculation means 112 is a derived face feature point derived from the 3D face feature points 21 and 22 of the
ここで、位置合わせ手段111の説明に戻り、位置合わせ手段111は、派生顔特徴点算出手段112から取得したそれぞれの派生顔特徴点セットについて、派生顔特徴点セットに含まれる、3次元顔特徴点又は派生顔特徴点を回転、並進、拡大/縮小して、派生顔特徴点セットの配置が、対応する2次元顔特徴点の配置に最も一致するように位置合わせを行い、その位置合わせ情報を算出する。そして位置合わせ手段111は、位置合わせ情報を用いて派生顔特徴点セットと2次元顔特徴点の位置合わせをしたときの位置合わせ誤差を算出する。また位置合わせ手段111は、それぞれの派生顔特徴点セットについて、位置ずれ量Ei、位置合わせ情報及び位置情報を派生モデル作成手段105へ出力する。なお、この場合の位置合わせ方法及び位置合わせ誤差の算出方法は、各2次元顔特徴点に対して3次元形状モデルの各3次元顔特徴点を位置合わせする場合と同様であるため、説明を省略する。
Here, returning to the description of the
派生モデル作成手段105は、派生顔特徴点セットごとに、位置合わせ手段111から出力された派生顔特徴点セットについての位置ずれ量Ei、位置合わせ情報及び位置情報を用いて、記憶手段250に記憶されている3次元形状モデルを派生顔特徴点セットに対応して変形させた派生形状モデルを作成する。
派生形状モデルを作成するために、まず派生モデル作成手段105は、各3次元顔特徴点について派生顔特徴点セットの対応する特徴点に一致するよう位置を変えることで3次元形状モデルを変形する。例えば、派生モデル作成手段105は、3次元形状モデルを3次元顔特徴点から構成される3次元メッシュで表現し、その3次元メッシュをThin−Plate Spline、piecewise affine等により派生顔特徴点セットから構成される3次元メッシュに変形することにより、3次元形状モデルを変形する。
次に派生モデル作成手段105は、変形した3次元形状モデルを、派生顔特徴点セットの位置合わせ情報を用いて、3次元空間の正規直交座標系(X,Y,Z)の各軸に沿って回転、並進、及び拡大/縮小して顔画像と同じ方向を向くように変換し、これを派生形状モデルとする。
For each derived face feature point set, the derived
In order to create a derived shape model, first, the derived model creating means 105 deforms the 3D shape model by changing the position of each 3D face feature point so as to match the corresponding feature point of the derived face feature point set. . For example, the derivation model creation means 105 expresses a three-dimensional shape model with a three-dimensional mesh composed of three-dimensional face feature points, and the three-dimensional mesh is derived from the derivative face feature point set by Thin-Plate Spline, piecewise affine, or the like. A three-dimensional shape model is deformed by deforming into a configured three-dimensional mesh.
Next, the derived model creating means 105 uses the alignment information of the derived face feature point set for the deformed three-dimensional shape model along each axis of the orthonormal coordinate system (X, Y, Z) in the three-dimensional space. Then, it is rotated, translated, and enlarged / reduced so as to face the same direction as the face image, and this is used as a derived shape model.
派生モデル作成手段105は、位置合わせ手段111から出力された派生顔特徴点セットの数だけ派生形状モデルを作成する。そして派生モデル作成手段105は、記憶手段101に記憶されている元の3次元形状モデル及び作成した派生形状モデルを光源方向推定手段106、陰影画像作成手段107及び類似形状選択手段109へ出力する。
Derived model creating means 105 creates as many derived shape models as the number of derived face feature point sets output from the alignment means 111. The derived
光源方向推定手段106は、画像入力手段102から出力された顔画像と派生モデル作成手段105から出力された元の3次元形状モデル及び派生形状モデルから、顔画像に写った顔に照射された光の光源方向を推定する。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば、光源方向推定手段106は、以下の方法により顔画像における輝度分布から光源方向を推定する。
The light source direction estimating means 106 is a light applied to the face reflected in the face image from the face image output from the image input means 102 and the original three-dimensional shape model and derived shape model output from the derived
まず、顔表面は、その表面により拡散される光の強度がその表面の法線とのなす角の余弦に比例する完全拡散面(ランバート面)であると仮定する。例えば、顔画像の左上端部を原点とし、顔に対して水平に左から右へ向かう方向にx軸、顔に対して垂直に上から下へ向かう方向にy軸が設定された2次元の座標系において、顔画像上の位置(x,y)における輝度E(x,y)は、次式により、顔の3次元形状、光源の方向及び顔表面の反射率で決定されると考えられる。
ここで、顔の皮膚は場所によらず同一の成分で構成されると仮定し、(8)式においてρ(x,y)は一定値γを有するものとする。この場合、(8)式は光源係数l0及び光源方向lを未知数とした方程式となる。そこで、光源方向推定手段106は、顔画像における顔の皮膚に相当する領域内の各画素において、(8)式を立てて連立方程式とし、この連立方程式を解くことによって派生形状モデルごとの光源係数l0及び光源方向lを求めることができる。なお、一定値γは、顔画像における顔の皮膚に相当する領域の輝度値の平均値、最頻値または中央値若しくはその近傍値に設定することができる。 Here, it is assumed that the skin of the face is composed of the same component regardless of the location, and ρ (x, y) has a constant value γ in the equation (8). In this case, equation (8) is an equation with the light source coefficient l 0 and the light source direction l as unknowns. Therefore, the light source direction estimating means 106 sets the equation (8) as a simultaneous equation at each pixel in the region corresponding to the facial skin in the face image, and solves the simultaneous equation to solve the light source coefficient for each derived shape model. l 0 and the light source direction l can be obtained. Note that the constant value γ can be set to an average value, a mode value, a median value, or a vicinity value thereof in a region corresponding to the skin of the face in the face image.
また、顔表面の反射率ρ(x,y)を一定と仮定する際、皮膚でない部位に相当する領域、例えば、目、口、鼻孔、眉毛、髪の毛などの領域を除外することが好ましい。そこで、光源方向推定手段106は、これらの皮膚でない部位に相当する領域を光源推定マスク領域とし、上記の連立方程式を立てる際に光源推定マスク領域内の画素を用いないことで、高精度に光源方向を推定することができる。 Further, when it is assumed that the reflectance ρ (x, y) of the face surface is constant, it is preferable to exclude regions corresponding to parts that are not skin, for example, regions such as eyes, mouth, nostrils, eyebrows, and hair. Therefore, the light source direction estimating means 106 uses the region corresponding to the non-skin portion as the light source estimation mask region, and does not use the pixels in the light source estimation mask region when the above simultaneous equations are established, so that the light source direction is accurately determined. The direction can be estimated.
あるいは、光源方向推定手段106は、予め様々な光源方向でモデルとなる人物の顔を撮影した標準的な顔画像若しくはシミュレーションにより求めた同等の顔画像を用意しておき、それらと顔画像とのパターンマッチングをおこなって、最も一致する顔画像を決定することにより、光源方向を推定してもよい。さらにまた、光源方向推定手段106は、照明光源と顔画像を取得したカメラの位置関係、または照明光源から放射される照明光の方向及びカメラの撮影方向の関係が予め分かっている場合、それらの関係に基づいて光源方向を決定してもよい。 Alternatively, the light source direction estimating means 106 prepares a standard face image obtained by photographing a person's face as a model in various light source directions in advance or an equivalent face image obtained by simulation, The light source direction may be estimated by performing pattern matching and determining the most matching face image. Furthermore, the light source direction estimation means 106, when the positional relationship between the illumination light source and the camera that acquired the face image, or the relationship between the direction of the illumination light emitted from the illumination light source and the shooting direction of the camera is known in advance, The light source direction may be determined based on the relationship.
そして光源方向推定手段106は、光源方向を示す光源方向情報を、対応する3次元形状モデル及び派生形状モデルに関連付けて陰影画像作成手段107へ出力する。
Then, the light source
陰影画像作成手段107は、光源方向推定手段106から出力された光源方向情報と派生モデル作成手段105から出力された3次元形状モデル及び派生形状モデルを取得する。そして陰影画像作成手段107は、派生形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の2次元投影画像である陰影画像を作成する。例えば、陰影画像作成手段107は以下の手順で陰影画像を作成する。
派生形状モデルに、光源方向情報に示された光源方向から光を照射した場合、その顔形状モデルの任意の点(X,Y,Z)における光の反射強度、すなわち輝度E(X,Y,Z)は、次式によって表現できる。
When the derived shape model is irradiated with light from the light source direction indicated in the light source direction information, the reflection intensity of light at an arbitrary point (X, Y, Z) of the face shape model, that is, luminance E (X, Y, Z) can be expressed by the following equation.
陰影画像作成手段107は、(9)式に基づいて、派生形状モデル上の各点(X,Y,Z)における輝度を求める。そして陰影画像作成手段107は、派生形状モデル上の各点(X,Y,Z)を、2次元平面上の対応する点(x,y)に投影する。その後、陰影画像作成手段107は、輝度値を適切に調整して、投影された各点(x,y)の輝度がオーバーフローまたはアンダーフローしないようにグレースケール化し、陰影画像を得る。
The shadow image creating means 107 obtains the luminance at each point (X, Y, Z) on the derived shape model based on the equation (9). Then, the shadow image creating means 107 projects each point (X, Y, Z) on the derived shape model to a corresponding point (x, y) on the two-dimensional plane. After that, the shadow
同様に陰影画像作成手段107は、3次元形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の陰影画像を作成する。
そして陰影画像作成手段107は、3次元形状モデル及び各派生形状モデルに対してそれぞれ求めた陰影画像を類似度算出手段108へ出力する。
Similarly, the shadow
Then, the shadow
類似度算出手段108は、画像入力手段102から出力された顔画像の輝度分布と陰影画像作成手段107から出力された陰影画像の輝度分布との類似度を、各陰影画像について算出する。そのために、類似度算出手段108は、顔画像の各点について、RGBで表される輝度値をグレースケールの輝度値に変換して、単色顔画像を作成する。そして類似度算出手段108は、単色顔画像と陰影画像の対応する画素の輝度値の平均二乗誤差の逆数を算出し、類似度とする。
The
なお、類似度算出手段108は、類似度として、輝度値の平均二乗誤差の代わりに、単色顔画像と陰影画像の正規化相関値など、これら2枚の画像の輝度値系列の類似度を評価できる他の指標を用いてもよい。
また、類似度算出手段108は、上記の光源推定マスク領域に対応する領域を、類似度の算出領域から除外してもよい。この場合、類似度算出手段108は、目、鼻、口などの輝度が顔の皮膚と大きく異なる部位に依存せず、顔の輪郭形状の類似性などをより正確に反映した類似度を求めることができる。
また、類似度算出手段108は、顔画像及び陰影画像の顔を表す領域全体で一つの類似度を算出してもよいし、複数の領域に分割してその領域ごとに類似度を算出してもよい。
類似度算出手段108は、各陰影画像について算出した類似度を類似形状選択手段109へ出力する。
Note that the
Further, the
Further, the
The
類似形状選択手段109は、派生モデル作成手段105から出力された3次元形状モデル及び派生形状モデルと、類似度算出手段108から出力された類似度を取得する。そして類似形状選択手段109は、各陰影画像について算出された類似度を参照して、最も類似度の高い陰影画像に対応する3次元形状モデル又は派生形状モデルを選択し、最類似顔形状モデルとする。
The similar
なお、類似形状選択手段109は、対応する類似度が高い方から順にM個の派生形状モデルを選択し、それらを平均化して最類似顔形状モデルとしてもよい。なお所定数Mは、例えば、2、3などの固定値としてもよく、あるいは、記憶手段101に記憶された3次元形状モデルの総数に占める所定の割合(例えば、5%または10%)に相当する値としてもよい。
また、類似度算出手段108が顔画像及び陰影画像を複数の領域に分割してその領域ごとに類似度を算出している場合、類似形状選択手段109は、その領域に対応するように3次元形状モデル及び派生形状モデルを分割する。そして類似形状選択手段109は、分割した領域ごとに最も類似度の高い陰影画像に対応する3次元形状モデル又は派生形状モデルを選択し、それらを合成したものを最類似顔形状モデルとしてもよい。さらに、類似形状選択手段109は、分割した領域ごとに、対応する類似度が高い方から順にM個の3次元形状モデル又は派生形状モデルを選択して平均化し、それらを合成したものを最類似顔形状モデルとしてもよい。このように複数に分割した領域ごとに類似顔形状モデルを作成することにより、顔画像処理装置100は、より高精度に類似顔形状モデルを作成することができる。
類似形状選択手段109は、求めた最類似顔形状モデルを個人モデル作成手段110へ出力する。
Note that the similar
Further, when the
The similar
個人モデル作成手段110は、類似形状選択手段109から出力された最類似顔形状モデルに、顔画像をテクスチャ画像としてマッピングすることにより、対象者の3次元顔画像を作成する。つまり個人モデル作成手段110は、顔画像の各2次元顔特徴点と、各2次元顔特徴点に対応する、最類似顔形状モデルの3次元顔特徴点又は派生顔特徴点セットとの位置が合うように、位置合わせ情報を用いて顔画像をテクスチャ画像として最類似顔形状モデルにマッピングする。
The personal
なお、前述のように顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落していることもある。そこで、顔画像をマッピングした3次元顔画像に顔の情報やテクスチャの欠落部分が生じる場合、個人モデル作成手段110は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理(例えば、スプライン補間、線形補間)を行って、欠落部分の画素の輝度値を算出する。
あるいは、個人モデル作成手段110は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。例えば、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。
あるいは、個人モデル作成手段110は、欠落部分については3次元形状モデルの対応する部分のテクスチャ画像を用いて補間処理を行ってもよい。
このような補間処理を行うことにより、顔画像が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した3次元顔画像を作成することができる。
個人モデル作成手段110は、作成した3次元顔画像を、記憶手段101に記憶するか、あるいは、顔画像処理装置100を利用して、照合処理を行う顔認証装置などへ出力する。
Note that, as described above, occlusion that makes part of the face invisible occurs, and information on part of the face may be missing in the face image. Accordingly, when a face information or texture missing portion is generated in the 3D face image to which the face image is mapped, the personal model creating means 110 can detect the luminance of pixels around the missing portion before mapping or after mapping. Interpolation processing (for example, spline interpolation, linear interpolation) is performed using the information, and the luminance value of the missing portion pixel is calculated.
Alternatively, the personal model creation means 110 may use the luminance value of the pixel corresponding to the symmetrical position of the missing portion as the luminance value of the pixel of the missing portion by utilizing the symmetry of the human face. For example, the luminance value of the pixel at a line-symmetric position with respect to the midline of the face with respect to the missing portion can be set as the luminance value of the pixel of the missing portion.
Alternatively, the personal
By performing such an interpolation process, when the face image is acquired, the target person is facing the direction in which part of the face is hidden, or a part of the target person's face is hidden behind the shield Even so, it is possible to create a three-dimensional face image representing the entire face of the subject.
The personal
以下、図5に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置100による3次元顔画像作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置100を構成するマイクロプロセッサ上で動作し、顔画像処理装置100全体を制御する制御手段(図示せず)により制御される。
最初に、顔画像処理装置100は、画像入力手段102を介して、2次元画像である対象者の顔画像を取得する(ステップS501)。次に、顔特徴点抽出手段103は、取得された顔画像から2次元顔特徴点を抽出する(ステップS502)。
Hereinafter, the operation of the three-dimensional face image creation process by the face
First, the face
以下のステップS503〜S513の処理は、記憶手段101に3次元形状モデルが複数記憶されている場合には、そのそれぞれについて行われる。記憶手段101に記憶されている3次元形状モデルが標準的な顔の3次元形状モデルを表すモデル1つのみの場合は、後述するステップS514は必要ない。位置合わせ情報算出手段104の位置合わせ手段111は、ステップS50にて抽出された各2次元顔特徴点に対する、各3次元顔特徴点の位置ずれ量Eiから求められる全体の位置ずれ量Eが最小となるように、各3次元顔特徴点を、正規直交座標系(X,Y,Z)の各軸に沿って回転または併進させたり、拡大/縮小させたりする。そして位置合わせ手段111は、全体の位置ずれ量Eが最小となるときの、各2次元顔特徴点に対応する、各3次元顔特徴点の位置ずれ量Eiを派生顔特徴点算出手段112に出力する(ステップS503)。
When the
以下のステップS504〜S510の処理は、派生形状モデルごとに行われる。派生顔特徴点算出手段112は、3次元形状モデルの各3次元顔特徴点の位置を位置ずれ量Eiに基づいて変えた派生顔特徴点を生成する(ステップS504)。そして派生顔特徴点算出手段112は、顔の特徴点ごとに、対応する3次元顔特徴点又は派生顔特徴点から選択した特徴点を組み合わせた派生顔特徴点セットを作成する。次に、位置合わせ手段111は、ステップS503の処理と同様にして、2次元顔特徴点に対して派生顔特徴点セットの位置合わせを行い、派生顔特徴点セットの位置合わせ情報を求める(ステップS505)。次に、派生モデル作成手段105は、3次元形状モデルについて、3次元顔特徴点を派生顔特徴点セットの対応する特徴点に移すように変形し、さらに派生顔特徴点セットの位置合わせ情報を用いて顔画像と同じ方向を向くように変換して派生形状モデルを作成する(ステップS506)。
The following steps S504 to S510 are performed for each derived shape model. The derived face feature
次に、光源方向推定手段106は、顔画像に基づいて、派生形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する(ステップS507)。そして、陰影画像作成手段107は、派生形状モデルを、光源方向情報にしたがってレンダリングして2次元平面に投影し、陰影画像を作成する(ステップS508)。その後、類似度算出手段108は、作成された陰影画像と、画像入力手段210により取得された顔画像との類似度を算出する(ステップS509)。
Next, the light source direction estimation means 106 estimates the light source direction using the derived shape model based on the face image, and outputs light source direction information representing the estimated light source direction (step S507). Then, the shadow
そして、所定数Nの派生形状モデルが作成され、それぞれの類似度が算出されたか否かが判定される(ステップS510)。所定数Nは、顔画像との類似度が算出される派生形状モデルの数、すなわち派生モデル作成手段105が作成すべき派生形状モデルの数であり、その数に上限を設ける場合には例えば500とすることができる。まだ所定数Nの派生形状モデルが作成されておらず、類似度が算出されていない場合、ステップS504〜S509の処理が繰り返され、新たな派生形状モデルが作成され、その類似度が算出される。
一方、ステップS510において、所定数Nの派生形状モデルが作成され、類似度が算出されたと判定されると、光源方向推定手段106は、3次元形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する(ステップS511)。そして、陰影画像作成手段107は、3次元形状モデルを、光源方向情報にしたがってレンダリングして2次元平面に投影し、陰影画像を作成する(ステップS512)。その後、類似度算出手段108は、作成された陰影画像と顔画像との類似度を算出する(ステップS513)。
そして、全ての3次元形状モデルについて派生形状モデルが作成され、各3次元形状モデル及び各派生形状モデルに対して顔画像との類似度が算出されたか否かが判定される(ステップS514)。まだ派生形状モデルが作成されておらず、その3次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されていない3次元形状モデルが存在する場合、制御はステップS503に戻り、ステップS503〜S513の処理が繰り返される。
Then, it is determined whether or not a predetermined number N of derived shape models have been created and the respective similarities have been calculated (step S510). The predetermined number N is the number of derived shape models for which the similarity with the face image is calculated, that is, the number of derived shape models to be created by the derived model creation means 105. It can be. If a predetermined number N of derived shape models have not yet been created and the similarity has not been calculated, the processes in steps S504 to S509 are repeated to create a new derived shape model, and the similarity is calculated. .
On the other hand, when it is determined in step S510 that a predetermined number N of derived shape models are created and the similarity is calculated, the light source
Derived shape models are created for all the three-dimensional shape models, and it is determined whether or not the similarity with the face image is calculated for each three-dimensional shape model and each derived shape model (step S514). If a derived shape model has not yet been created, and there is a 3D shape model for which the similarity between the 3D shape model and each derived shape model and the face image has not been calculated, control returns to step S503. The processing from S503 to S513 is repeated.
一方、ステップS514において、全ての3次元形状モデルについて派生形状モデルが作成され、各3次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されたと判定されると、類似形状選択手段109は、その類似度にしたがって、顔画像に最も近い3次元形状モデル又は派生形状モデルから、最類似顔形状モデルを決定する(ステップS512)。最後に、個人モデル作成手段290は、最類似顔形状モデルに、顔画像をテクスチャ画像としてマッピングすることにより、対象者の3次元顔画像を作成する(ステップS290)。 On the other hand, if it is determined in step S514 that the derived shape models have been created for all the three-dimensional shape models and the similarity between each three-dimensional shape model and each derived shape model and the face image has been calculated, similar shape selection means 109 determines the most similar face shape model from the three-dimensional shape model or derived shape model closest to the face image according to the similarity (step S512). Finally, the personal model creation means 290 creates a three-dimensional face image of the subject by mapping the face image as a texture image on the most similar face shape model (step S290).
以上説明してきたように、本発明を適用した顔画像処理装置100は、記憶手段101に予め記憶された3次元形状モデルにおける3次元顔特徴点と、画像入力手段102から入力された2次元顔画像から抽出した2次元顔特徴点との位置ずれ量を算出する。そして顔画像処理装置100は、位置ずれ量が所定の閾値以上の3次元顔特徴点について位置を変えた派生顔特徴点を生成する。さらに顔画像処理装置100は、位置ずれ量が所定の閾値以上の3次元顔特徴点については元の3次元顔特徴点または派生顔特徴点から選択した特徴点を組み合わせ、位置ずれ量が所定の閾値未満の3次元顔特徴点については元の3次元顔特徴点を組み合わせて、派生顔特徴点セットを生成する。そして顔画像処理装置100は、3次元顔特徴点が派生顔特徴点セットに一致するように3次元形状モデルを変形して派生形状モデルを作成し、作成した派生形状モデル又は元の3次元形状モデルのうち2次元顔画像に最も類似するものに基づいて3次元顔画像を作成する。これにより、顔画像処理装置100は、特殊な表面計測装置を用いることなく、また予め多人数の顔の形状データを収集していなくても、対象者の2次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた3次元顔画像を作成できる。これにより、眉骨又は頬骨の張り出し具合、顎の形状などの個々人が持つ顔形状の特徴を有する3次元顔画像を作成することも可能となる。また、複数の3次元形状モデルを準備することにより、多様な派生形状モデルを作成できるので、対象者の2次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
As described above, the face
さらに顔画像処理装置100は、位置合わせの結果、3次元顔特徴点の、対応する2次元顔特徴点に対する位置ずれ量が大きいほど、その3次元顔特徴点に対応する派生顔特徴点を大きい範囲に分布させる。これにより、対象者の2次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
さらに顔画像処理装置100は、位置合わせの結果、3次元顔特徴点の、対応する2次元顔特徴点に対する位置ずれ量が大きいほど、その3次元顔特徴点に対応する派生顔特徴点の数を増やす。これにより、対象者の顔と形状が類似する可能性の高い部分について3次元顔特徴点を変動させた派生形状モデルを作成する数を抑制でき、3次元顔画像作成処理の負荷を軽減できる。
Further, the face
Further, the face
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、ステップS507及びS511に示した光源方向推定手段による光源方向推定処理を省略してもよい。その場合、ステップS508及びS512において陰影画像作成手段は光源方向情報に示された光源方向に従わずに派生形状モデル及び3次元形状モデルをレンダリングした2次元画像を作成する。そしてステップS509及びS513において類似度算出手段は、その2次元画像と顔画像の輝度分布の類似度を算出する。これにより顔画像処理装置は、3次元顔画像作成処理の負荷を軽減できる。 The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. For example, you may abbreviate | omit the light source direction estimation process by the light source direction estimation means shown to step S507 and S511. In that case, in steps S508 and S512, the shadow image creating means creates a two-dimensional image in which the derived shape model and the three-dimensional shape model are rendered without following the light source direction indicated in the light source direction information. In steps S509 and S513, the similarity calculation unit calculates the similarity of the luminance distribution between the two-dimensional image and the face image. Thereby, the face image processing apparatus can reduce the load of the three-dimensional face image creation process.
また、ステップS504に示した派生顔特徴点の生成処理において、派生顔特徴点算出手段は、その3次元形状モデルに対する全ての派生顔特徴点を一括して算出してもよい。その場合、ステップS510において、所定数Nの派生形状モデルに対して、類似度が算出されていない場合、顔画像処理装置は、制御をステップS505に戻し、ステップS505〜S509の処理を繰り返す。これにより顔画像処理装置は、3次元顔画像作成処理の負荷を軽減できる。 In the derived face feature point generation process shown in step S504, the derived face feature point calculation unit may calculate all the derived face feature points for the three-dimensional shape model at once. In that case, if the similarity is not calculated for the predetermined number N of derived shape models in step S510, the face image processing device returns control to step S505, and repeats the processing of steps S505 to S509. Thereby, the face image processing apparatus can reduce the load of the three-dimensional face image creation process.
また、派生顔特徴点算出手段は、作成した全ての派生顔特徴点セットについての情報を位置合わせ手段に出力するのではなく、2次元顔特徴点との位置ずれ量が最も小さい派生顔特徴点セットについての情報のみ、位置合わせ手段に出力してもよい。その場合、派生モデル作成手段は、3次元形状モデルごとに一つの派生形状モデルを作成する。そして光源方向推定手段、陰影画像作成手段、類似度算出手段及び類似形状選択手段は、それぞれその派生形状モデル及び元の3次元形状モデルに対してのみ光源方向推定処理、陰影画像作成処理、類似度算出処理及び類似形状選択処理を行う。これにより顔画像処理装置は、3次元顔画像作成処理の負荷を軽減できる。 Further, the derived face feature point calculation means does not output information on all the created derived face feature point sets to the alignment means, but the derived face feature point having the smallest positional deviation amount from the two-dimensional face feature point. Only information about the set may be output to the alignment means. In that case, the derived model creating means creates one derived shape model for each three-dimensional shape model. Then, the light source direction estimating means, the shadow image creating means, the similarity calculating means, and the similar shape selecting means are the light source direction estimating process, the shadow image creating process, the similarity degree only for the derived shape model and the original three-dimensional shape model, respectively. Calculation processing and similar shape selection processing are performed. Thereby, the face image processing apparatus can reduce the load of the three-dimensional face image creation process.
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
100 顔画像処理装置
101 記憶手段
102 画像入力手段
103 顔特徴点抽出手段
104 位置合わせ情報算出手段
105 派生モデル作成手段
106 光源方向推定手段
107 陰影画像作成手段
108 類似度算出手段
109 類似形状選択手段
110 個人モデル作成手段
111 位置合わせ手段
112 派生顔特徴点算出手段
DESCRIPTION OF
Claims (3)
前記2次元顔画像を入力する画像入力手段と、
予め前記3次元形状モデルと該3次元形状モデルにおける顔の特徴点を表す複数の3次元顔特徴点とを記憶する記憶手段と、
前記2次元顔画像から前記顔の特徴点を表す複数の2次元顔特徴点を抽出する顔特徴点抽出手段と、
前記3次元顔特徴点と当該3次元顔特徴点に対応する前記2次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、
前記位置ずれ量が所定の閾値以上の前記3次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該3次元顔特徴点については当該3次元顔特徴点または当該派生顔特徴点から選択した特徴点、前記位置ずれ量が所定の閾値未満の前記3次元顔特徴点については当該3次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、
前記3次元形状モデルの前記3次元顔特徴点が前記派生顔特徴点セットに一致するよう前記3次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、
前記派生形状モデル及び前記3次元形状モデルを前記2次元顔画像と比較して前記2次元顔画像に最も類似する派生形状モデルまたは前記3次元形状モデルを選択する類似形状選択手段と、
前記選択された派生形状モデルまたは前記3次元形状モデルと前記2次元顔画像を合成して、前記人物の顔に対応した前記3次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。 A face image processing device that generates a 3D face image corresponding to a face of a person by synthesizing a 2D face image including the face of the person and a 3D shape model representing the 3D shape of the face,
Image input means for inputting the two-dimensional face image;
Storage means for storing in advance the three-dimensional shape model and a plurality of three-dimensional face feature points representing facial feature points in the three-dimensional shape model;
Facial feature point extraction means for extracting a plurality of two-dimensional facial feature points representing the facial feature points from the two-dimensional facial image;
Alignment means for performing alignment by calculating a displacement amount between the three-dimensional face feature point and the two-dimensional face feature point corresponding to the three-dimensional face feature point;
One or a plurality of derived face feature points whose positions are changed with respect to the three-dimensional face feature points having a positional deviation amount equal to or greater than a predetermined threshold value are generated, and the three-dimensional face feature points or the derivative are generated for the three-dimensional face feature points. For a feature point selected from face feature points, and for the three-dimensional face feature point whose positional deviation amount is less than a predetermined threshold, a derived face feature point set is formed by combining the three-dimensional face feature points to form a face shape. A derived face feature point calculating means for generating;
Derived model creation means for creating a derived shape model by deforming the 3D shape model so that the 3D face feature point of the 3D shape model matches the derived face feature point set;
Similar shape selection means for comparing the derived shape model and the 3D shape model with the 2D face image and selecting the derived shape model most similar to the 2D face image or the 3D shape model;
A personal model creating means for creating the 3D face image corresponding to the face of the person by combining the 2D face image with the selected derived shape model or the 3D shape model;
A face image processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046501A JP5751865B2 (en) | 2011-03-03 | 2011-03-03 | Face image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046501A JP5751865B2 (en) | 2011-03-03 | 2011-03-03 | Face image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012185545A true JP2012185545A (en) | 2012-09-27 |
JP5751865B2 JP5751865B2 (en) | 2015-07-22 |
Family
ID=47015605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011046501A Active JP5751865B2 (en) | 2011-03-03 | 2011-03-03 | Face image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5751865B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016075637A (en) * | 2014-10-08 | 2016-05-12 | キヤノン株式会社 | Information processing apparatus and method for the same |
JP2017059235A (en) * | 2015-09-17 | 2017-03-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for adjusting brightness of image |
JP2019012535A (en) * | 2014-04-05 | 2019-01-24 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Gradient adjustment for texture mapping to non-orthonormal grid |
CN110858411A (en) * | 2018-08-22 | 2020-03-03 | 金运数字技术(武汉)有限公司 | Method for generating 3D head model based on single face picture |
JP2020144546A (en) * | 2019-03-05 | 2020-09-10 | アルパイン株式会社 | Facial feature detection apparatus and facial feature detection method |
KR102393702B1 (en) * | 2021-10-18 | 2022-05-04 | 주식회사 스튜디오레논 | Method for generating a facial image of a virtual character through deep learning-based optimized operation, and computer readable recording medium and system therefor |
JP7086362B1 (en) | 2021-03-29 | 2022-06-20 | 株式会社セルシス | Information processing system, information processing method and information processing program |
JP7430146B2 (en) | 2021-02-16 | 2024-02-09 | 株式会社日立製作所 | Model update device and model update method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211148A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
JP2009211151A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
-
2011
- 2011-03-03 JP JP2011046501A patent/JP5751865B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211148A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
JP2009211151A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019012535A (en) * | 2014-04-05 | 2019-01-24 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Gradient adjustment for texture mapping to non-orthonormal grid |
JP2016075637A (en) * | 2014-10-08 | 2016-05-12 | キヤノン株式会社 | Information processing apparatus and method for the same |
JP2017059235A (en) * | 2015-09-17 | 2017-03-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for adjusting brightness of image |
CN110858411A (en) * | 2018-08-22 | 2020-03-03 | 金运数字技术(武汉)有限公司 | Method for generating 3D head model based on single face picture |
JP2020144546A (en) * | 2019-03-05 | 2020-09-10 | アルパイン株式会社 | Facial feature detection apparatus and facial feature detection method |
JP7055762B2 (en) | 2019-03-05 | 2022-04-18 | アルパイン株式会社 | Face feature detection device, face feature detection method |
JP7430146B2 (en) | 2021-02-16 | 2024-02-09 | 株式会社日立製作所 | Model update device and model update method |
JP7086362B1 (en) | 2021-03-29 | 2022-06-20 | 株式会社セルシス | Information processing system, information processing method and information processing program |
JP2022152058A (en) * | 2021-03-29 | 2022-10-12 | 株式会社セルシス | Information processing system, information processing method, and information processing program |
KR102393702B1 (en) * | 2021-10-18 | 2022-05-04 | 주식회사 스튜디오레논 | Method for generating a facial image of a virtual character through deep learning-based optimized operation, and computer readable recording medium and system therefor |
Also Published As
Publication number | Publication date |
---|---|
JP5751865B2 (en) | 2015-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5751865B2 (en) | Face image processing device | |
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
JP6864449B2 (en) | Methods and devices for adjusting the brightness of the image | |
US9262671B2 (en) | Systems, methods, and software for detecting an object in an image | |
JP4999731B2 (en) | Face image processing device | |
US11494915B2 (en) | Image processing system, image processing method, and program | |
US9552668B2 (en) | Generation of a three-dimensional representation of a user | |
US20190035149A1 (en) | Methods of generating personalized 3d head models or 3d body models | |
JP6685827B2 (en) | Image processing apparatus, image processing method and program | |
JP2009020761A (en) | Image processing apparatus and method thereof | |
US10467793B2 (en) | Computer implemented method and device | |
US20120176379A1 (en) | Mesh animation | |
JP5419757B2 (en) | Face image synthesizer | |
JP2009211148A (en) | Face image processor | |
JP4814666B2 (en) | Face analysis system | |
JP5639499B2 (en) | Face image processing device | |
JP5419773B2 (en) | Face image synthesizer | |
KR20170033758A (en) | Device and method to adjust brightness of image | |
JP2011210118A (en) | Face image synthesizing apparatus | |
US12020363B2 (en) | Surface texturing from multiple cameras | |
JP2017122993A (en) | Image processor, image processing method and program | |
KR102097396B1 (en) | Method for facial image registration | |
Weon et al. | Individualized 3D Face Model Reconstruction using Two Orthogonal Face Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5751865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |