JP3811474B2 - 顔部品位置検出方法及び顔部品位置検出装置 - Google Patents

Description

本発明は、顔部品位置検出方法及び顔部品位置検出装置に関するものである。

得られた画像から顔領域を検出して顔部品（目、鼻、口等）を検出する手法としては、例えば、４方向面特徴と色情報とを組み合わせる手法（非特許文献１参照）がある。
又、顔部品検出には特許文献１に開示されるようなパターンマッチングを利用した手法を用いることも考えられる。パターンマッチングでは、予め登録された顔部品パターンと、取得した画像とを照合することによって顔部品検出が行われる。
本郷仁志、山本和彦，「動領域内の肌色推定による顔領域および顔部品抽出」，映像情報メディア学会誌，社団法人映像情報メディア学会，１９９８年１２月，第５２巻，第１２号，Ｐ.８６−９３ 特開平７−１４１５０６号

しかし、これらの手法では、一部の顔部品が隠蔽されているような場合には、隠蔽されていない顔部品位置を精度良く検出することができない。
本発明は、一部の顔部品が部分的あるいは完全に隠蔽されているような場合にも、隠蔽されていない顔部品の位置を精度良く検出することを目的とする。

請求項１の発明は、撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行い、この４方向面特徴のテンプレートマッチングにおける初期類似度と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって前記特定の顔部品の位置を検出する顔部品位置検出方法において、前記周辺適合確率を導くため、特定の顔部品毎に顔領域の各位置での対応確率にガウス分布を掛けた値の最大値である近傍対応確率を求め、当該近傍対応確率を掛け合わせる演算によって各顔部品の周辺適合確率を求める際に、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求めることを特徴とする。

請求項２の発明は、顔を撮像するための撮像手段と、前記撮像手段によって撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行うと共に、この４方向面特徴のテンプレートマッチングにおける初期類似度を算出するテンプレートマッチング手段と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって顔部品の位置を検出する弛緩整合手段とを備えた顔部品位置検出装置を構成し、前記弛緩整合手段は、前記周辺適合確率を導くため、特定の顔部品毎に顔領域の各位置での対応確率にガウス分布を掛けた値の最大値である近傍対応確率を求め、当該近傍対応確率を掛け合わせる演算によって各顔部品の周辺適合確率を求める際に、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求めるものとしたことを特徴とする。

本発明では、一部の顔部品が隠蔽されているような場合にも、隠蔽されていない顔部品の位置を精度良く検出することができるという優れた効果を奏する。

以下、本発明を具体化した一実施形態を図１〜図３に基づいて説明する。
図１（ａ）に示すように、顔部品位置検出装置１０は、撮像手段としてのビデオカメラ１１と、表示装置１２１を備えたコンピュータ１２とからなる。ビデオカメラ１１は、ＣＣＤカメラである。ビデオカメラ１１で撮影された個々のフレーム（画像データ）は、カラー画像としてコンピュータ１２に入力されるようになっている。Ｍは、ビデオカメラ１１の撮影範囲にいる人である。Ｆは人Ｍの顔である。コンピュータ１２は、ビデオカメラ１１で撮影された画像を表示装置１２１に表示させる。

図１（ｂ）は、コンピュータ１２の機能ブロック図である。
画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う。図１（ａ）における画像Ｇは、画像取得手段１３によって取得された画像の例を示している。画像Ｇにおけるｆ（１）は、顔部品である右目を表し、ｆ（２）は、顔部品である左目を表す。ｆ（３）は、顔部品である口を表し、ｆ（４）は、顔部品である鼻を表す。

顔領域検出手段１４は、画像取得手段１３によって取得された画像Ｇ〔図１（ａ）を参照〕から顔領域を検出する。この顔領域の検出は、例えば非特許文献１に開示される手法（色情報と動き情報とを組み合わせて顔領域を検出する手法）を用いて行われる。この手法に必要なデータ（例えば、パターンマッチング用の顔パターンデータ、基準となる肌色データ等）は、記憶手段１６に記憶されている。

テンプレートマッチング手段１５は、４方向面特徴のテンプレートマッチングを行う。４方向面特徴とは、画像におけるエッジの向きにより横方向、右上がり方向、縦方向、右下がり方向の４つに分けて作成された特徴量である。換言すると、４方向面特徴とは、画像における濃淡値の勾配により各画素での４方向（横方向、右上がり方向、縦方向、右下がり方向）のベクトル場を求め、濃淡値をそれぞれの方向別の面に分割してガウシャンフィルタをかけた特徴量である。

記憶手段１６には４方向面特徴のテンプレートＴ１，Ｔ２，Ｔ３，Ｔ４が記憶されている。Ｔ１は、右目に関するテンプレート、Ｔ２は、左目に関するテンプレート、Ｔ３は、口に関するテンプレート、Ｔ４は、鼻に関するテンプレートである。以下、テンプレートＴ１，Ｔ２，Ｔ３，Ｔ４をＴｉ（ｉ＝１，２，３，４）と表す。ｉは、顔部品を表す。テンプレートマッチング手段１５は、この記憶された４方向面特徴のテンプレートＴｉを用いて、検出された顔領域に対してテンプレートマッチングを行う。そして、テンプレートマッチング手段１５は、このテンプレートマッチングに基づいて、４方向面特徴の初期類似度を算出する。

弛緩整合手段１７は、弛緩整合法を用いて顔部品の位置検出を行う。
図３は、コンピュータ１２によって遂行される顔部品位置検出プログラムを表すフローチャートである。以下、このフローチャートを参照して顔部品位置検出装置１０による顔検出を説明する。

ステップＳ１において、まず、画像取得手段１３は、ビデオカメラ１１からの画像の取得を行うか否かの判定を行う。即ち、本実施形態では、ビデオカメラ１１からの画像の取得は、所定の時間間隔ｔ（例えばｔ＝０．１秒）毎に行われるようになっており、画像取得手段１３は、画像取得の時刻か否かを判定する。そして、画像を取得する時刻であると判断した場合（ステップＳ１においてＹＥＳ）、画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う（ステップＳ２）。一方、画像取得手段１３が画像を取得する時刻ではないと判断した場合（ステップＳ１においてＮＯ）、ステップＳ１が繰り返される。

ビデオカメラ１１からの画像を取得した後、顔領域検出手段１４は、取得した画像内で顔領域の探索を行い（ステップＳ３）、画像内に顔領域があるか否かを判定する（ステップＳ４）。顔領域がないとの判定が行われた場合（ステップＳ４においてＮＯ）、コンピュータ１２は、ステップＳ１へ戻る。顔領域が有るとの判定が行われた場合（ステップＳ４においてＹＥＳ）、テンプレートマッチング手段１５は、テンプレートＴｉで顔領域を走査して顔領域に対して４方向面特徴のテンプレートマッチングを行うと共に、初期類似度Γｉｋ^０を算出する（ステップＳ５）。図２（ａ），（ｂ）における画像は、顔領域検出手段１４によって画像Ｇから検出された顔領域ｆを表す。

本実施形態では、４方向面特徴を入力解像度の１／８と低解像度化し、各顔部品ｉの４方向面特徴の解像度を８×４としている。初期類似度Γｉｋ^０は、式（１）のように表される。

式（１）におけるｎは、顔領域におけるテンプレートＴｉによって切り取られた数（本実施形態では１２８通りの数）を表し、Ｉｋ（ｎ）は、テンプレートＴｉによって顔領域における位置（Ｘｋ，Ｙｋ）（Ｘ，Ｙは、２次元座標を表す）で切り出した４方向面特徴を表す。位置（Ｘｋ，Ｙｋ）は、テンプレートＴｉの中心の座標である。

テンプレートマッチング手段１５は、テンプレートＴｉ毎に得られた複数の初期類似度Γｉｋ^０をそれらの最大値で割って正規化する。正規化された初期類似度Ｐｉｋ^０（以下、初期対応確率という）は、次式（２）で表される。

ステップＳ５の処理後、弛緩整合手段１７は、弛緩整合法を用いて顔部品の位置を決定する（ステップＳ６）。ステップＳ６では以下のような処理が行われる。まず、弛緩整合手段１７は、式（３）に基づいて近傍対応確率Ｑｊｅ^０を算出する。

ｊ（＝１，２，３，４であってｊ≠ｉ）は、顔部品ｉに対する周辺の顔部品を表す。σは、ガウス分布の標準偏差である。ｅは、顔部品ｊに対する顔領域内での相対位置（Ｘｅ，Ｙｅ）を表す。Ｘｅは、式（４）で表され、Ｙｅは式（５）で表される。

式（３）におけるｅ′は、顔領域の全体を表し、ｅ′の位置を（Ｘｅ′，Ｙｅ′）とすると、ｅ，ｅ′間の距離Ｄｅｅ′は、式（６）で表される。

式（３）は、顔領域での位置ｅにおける対応確率Ｐｊｅ^０にガウス分布を掛けて最大値を算出する計算式である。式（３）において、相対位置（Ｘｅ，Ｙｅ）が顔領域外にある場合には、Ｑｊｅ^０＝０としている。

次に、弛緩整合手段１７は、式（７）に基づいて周辺適合確率ｑｉｋ^０を算出する。

周辺適合確率ｑｉｋ^０は、顔部品ｉに対する全ての周辺の顔部品ｊのうちの選ばれた顔部品ｊに関して、近傍対応確率Ｑｊｅ^０を掛け合わせて得られるものである。本実施形態では、弛緩整合手段１７は、（７）式に用いる近傍対応確率Ｑｊｅ^０として、値が最大の近傍対応確率と、次に大きな値の近傍対応確率とを選択する。例えば、顔部品ｉ＝１（右目）に関してＱ２ｅ^０が最大値であってＱ３ｅ^０が次に大きな値であった場合、式（７）は、次式（８）となる。

次に、弛緩整合手段１７は、式（９）に基づいて、対応度Γｉｋ^ｔを算出する。ｔは、１，２，３・・・を表す。

周辺適合確率ｑｉｋ^ｔは、式（１０）で表される。

弛緩整合手段１７は、式（１０）を用いた演算においても、式（１０）に用いる近傍対応確率Ｑｊｅ^ｔとして、値が最大の近傍対応確率と、次に大きな値の近傍対応確率とを選択する。例えば、顔部品ｉ＝１（右目）に関してＱ２ｅ^ｔが最大値であってＱ３ｅ^ｔが次に大きな値であった場合、式（１０）は、次式（１１）となる。

そして、弛緩整合手段１７は、顔部品ｉにおける対応度Γｉｋ^ｔをそれらのうちの最大値で割って正規化された対応確率Ｐｉｋ^ｔを算出する。対応確率Ｐｉｋ^ｔは、式（１２）で表される。

弛緩整合手段１７は、式（９），（１０），（１２）を用いた演算を所定回数ｔ（本実施形態では４回）繰り返す。

ステップＳ６の処理後、弛緩整合手段１７は、最後に得られた対応確率Ｐｉｋ^４においてＰｉｋ^４＝１となるｋを顔部品ｉの位置として記憶手段１６に記憶させる（ステップＳ７）。

本実施の形態では以下の効果が得られる。
（１−１）図２（ｃ）における画像ｇ（０１），ｇ（０２），ｇ（０３），ｇ（０４）は、算出された初期対応確率Ｐｉｋ０に基づいて得られる顔部品画像を表す。画像ｇ（１１），ｇ（１２），ｇ（１３），ｇ（１４）は、算出された対応確率Ｐｉｋ^１に基づいて得られる顔部品画像を表し、画像ｇ（２１），ｇ（２２），ｇ（２３），ｇ（２４）は、算出された対応確率Ｐｉｋ^２に基づいて得られる顔部品画像を表す。画像ｇ（３１），ｇ（３２），ｇ（３３），ｇ（３４）は、算出された対応確率Ｐｉｋ^３に基づいて得られる顔部品画像を表し、画像ｇ（４１），ｇ（４２），ｇ（４３），ｇ（４４）は、算出された対応確率Ｐｉｋ^４に基づいて得られる顔部品画像を表す。画像ｇ（４１），ｇ（４２），ｇ（４３），ｇ（４４）は、Ｐｉｋ^４＝１となるｋを顔部品ｉの位置として決定された顔部品ｉの位置を表している。図２（ｃ）は、対応確率Ｐｉｋ^ｔの変化過程を示すものであり、顔部品ｉの正しい位置での対応度が強調されてゆき、顔部品ｉの異なる位置での対応度が抑制されてゆく様子がわかる。

図１（ａ）における画像Ｇでは、顔部品である左目が隠蔽されている。図２（ａ）における枠Ｗ１，Ｗ３，Ｗ４は、顔部品位置検出装置１０によって検出された顔部品位置を概略的に表したものである。つまり、図２（ａ）における枠Ｗ１，Ｗ３，Ｗ４は、式（１０）に用いる近傍対応確率Ｑｊｅ^ｔとして、値が最大の近傍対応確率と次に大きい近傍対応確率とを選択して演算した場合に検出される顔部品位置を概略的に表したものである。図２（ｂ）における枠Ｈ１，Ｈ３，Ｈ４は、式（１０）に用いる近傍対応確率Ｑｊｅ^ｔとして全ての近傍対応確率Ｑｊｅ^ｔを選択して演算した場合に検出される顔部品位置を概略的に表したものである。図２（ｂ）に示すように隠蔽されていない顔部品の位置が不正確になるのは、他の顔部品の隠蔽によって周辺適合確率ｑｉｋ^ｔが下がってしまうためである。

本実施形態では、式（１０）に用いる近傍対応確率Ｑｊｅ^ｔとして、例えば値が最大の近傍対応確率と次に大きい近傍対応確率とを選択する。換言すると、式（１０）に用いる近傍対応確率Ｑｊｅ^ｔとして値が最小の近傍対応確率を排除するので、図２（ａ）に示すように一部の顔部品が隠蔽されている場合にも、隠蔽されていない顔部品の位置を精度良く検出することができる。

（１−２）一部の顔部品が部分的に隠蔽されていたり、顔が斜めや横を向いて顔部品の形状が変化したりした場合にも、顔部品の位置を精度良く検出することができる。
本発明では以下のような実施形態も可能である。

（１）式（１０）に用いる近傍対応確率Ｑｊｅ^ｔとして、値が最大の近傍対応確率のみを選択してもよい。排除される近傍対応確率は、値が大きくなってゆく順に連続して並ぶ複数の近傍対応確率である。

（２）耳を顔部品としてもよい。
（３）眉を顔部品としてもよい。
（４）目の縁や口の端を顔部品としてもよい。つまり、目のうちの一部や口のうちの一部を顔部品と見なすこともできる。

前記した実施の形態から把握できる技術的思想について以下に記載する。
〔１〕前記排除される近傍対応確率は、少なくとも最小値の近傍対応確率を含む請求項１に記載の顔部品位置検出方法。

〔２〕前記排除される近傍対応確率は、値が大きくなってゆく順に連続して並ぶ複数の近傍対応確率である請求項１及び前記〔１〕項のいずれか１項に記載の顔部品位置検出方法。

〔３〕前記排除される近傍対応確率は、値が最大の近傍対応確率以外の全てである請求項１、前記〔１〕項及び〔２〕項のいずれか１項に記載の顔部品の位置検出方法。
〔４〕撮像された画像から顔領域を検出した後、検出された顔領域に対して４方向面特徴のテンプレートマッチングを行う請求項１、前記〔１〕項及び〔２〕項のいずれか１項に記載の顔部品の位置検出方法。

〔５〕撮像された画像から顔領域を検出する顔領域検出手段を備え、前記テンプレートマッチング手段は、前記顔領域検出手段によって検出された顔領域に対して４方向面特徴のテンプレートマッチングを行う請求項２に記載の顔部品位置検出装置。

（ａ）は、一実施形態の顔検出装置を示すブロック図。（ｂ）は、コンピュータの機能ブロック図。 （ａ），（ｂ）は、顔領域を表す画像図。（ｃ）は、対応確率Ｐｉｋ^ｔの変化を示す説明図。 顔部品位置検出プログラムを表すフローチャート。

符号の説明

１０…顔部品位置検出装置。１１…ビデオカメラ（撮像手段）。１２…コンピュータ（顔領域検出手段、テンプレートマッチング手段、弛緩整合手段）。１４…顔領域検出手段。１５…テンプレートマッチング手段。１７…弛緩整合手段。Ｇ…画像。ｆ…顔領域。ｆ（１）…顔部品（右目）。ｆ（２）…顔部品（左目）。ｆ（３）…顔部品（口）。ｆ（４）…顔部品（鼻）。Γｉｋ^０…初期類似度。ｑｉｋ^ｔ…周辺適合確率。Ｑｊｅ^ｔ…近傍対応確率。

Claims (2)

1. 撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行い、この４方向面特徴のテンプレートマッチングにおける初期類似度と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって前記特定の顔部品の位置を検出する顔部品位置検出方法において、
   前記周辺適合確率を導くため、特定の顔部品毎に顔領域の各位置での対応確率にガウス分布を掛けた値の最大値である近傍対応確率を求め、当該近傍対応確率を掛け合わせる演算によって各顔部品の周辺適合確率を求める際に、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求める顔部品位置検出方法。
2. 顔を撮像するための撮像手段と、
   前記撮像手段によって撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行うと共に、この４方向面特徴のテンプレートマッチングにおける初期類似度を算出するテンプレートマッチング手段と、
   特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって顔部品の位置を検出する弛緩整合手段とを備え、
   前記弛緩整合手段は、前記周辺適合確率を導くため、特定の顔部品毎に顔領域の各位置での対応確率にガウス分布を掛けた値の最大値である近傍対応確率を求め、当該近傍対応確率を掛け合わせる演算によって各顔部品の周辺適合確率を求める際に、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求めるものとした顔部品位置検出装置。

Images