JP2009104427A - 顔検出方法及び装置、並びに顔検出プログラム - Google Patents

Abstract

【課題】顔を検出する処理精度を向上させる。
【解決手段】画像入力部１６に入力された画像は、パーツ検索部１７に転送される。パーツ検索部１７では、テンプレートＤＢ１８から読み出された顔を構成するパーツのテンプレート３１〜４０を用いて、転送された画像から顔を構成する各種パーツが検索される。パーツが検索される際には、テンプレートとのマッチングの度合を示す指標値が算出される。同一のテンプレートからパーツが重複して検索されるが、指標値が最も高いものが検索結果として選定される。顔検出部１９では、各パーツの位置関係が算出され、算出された値に基づいて顔が検出される。なお、顔の向きに関係なく検出される。また、画像に占める顔の大きさが特定される。
【選択図】図１

Description

本発明は、画像から顔を検出する顔検出方法及び装置、並びに顔検出プログラムに関する。

デジタルカメラの中には、リアルタイムでモニタ表示されるスルー画像から人物の顔を自動検出し、検出した顔を基準に焦点調整、露出調整などを行うものがある（例えば、特許文献１参照）。顔を検出する方法としては、パターン認識技術を利用したものが周知であり、具体的には、予め準備されたテンプレートを用いて目を顔の特徴部分として検索し、検索した目に基づいて顔を検出することとなる。
特開２００６−１４５６２９号公報

しかしながら、目のパターンは視線の向きによって変化するので、特許文献１に記載の発明では、目の検索に失敗して顔を検出することができない可能性もあった。

本発明は、上記課題を鑑みてなされたものであり、顔を検出する処理精度を向上させた顔検出方法及び装置、並びに顔検出プログラムを提供することを目的とする。

上記目的を達成するために、本発明の顔検出装置は、画像から、顔を構成するパーツを検索して顔を検出する顔検出装置であって、少なくとも左右両目の目頭及び目尻のテンプレートを記憶したテンプレート記憶部と、テンプレートを用いて画像からパーツを検索するパーツ検索部と、検索された各パーツの位置情報に基づいて顔を検出する顔検出部とを備えている。

請求項２記載の発明では、テンプレート記憶部に、左側及び右側の鼻翼、左側及び右側の口角、並びに上唇の上端及び下唇の下端の少なくともいずれかのテンプレートが記憶されている。

本発明の顔検出方法は、画像から、顔を構成するパーツを検索して顔を検出する顔検出方法であって、左右両目の目頭及び目尻のテンプレートを用いて画像からパーツを検索し、検索された各パーツの位置情報に基づいて顔を検出する。

本発明の顔検出プログラムは、画像から、顔を構成するパーツを検索して顔を検出する処理をコンピュータに実行させる顔検出プログラムであって、左右両目の目頭及び目尻のテンプレートを用いて画像からパーツを検索し、検索された各パーツの位置情報に基づいて顔を検出する処理をコンピュータに実行させる。

本発明の顔検出方法及び装置、並びに顔検出プログラムによれば、左右両目の目頭及び目尻のテンプレートを用いて画像から顔を構成するパーツを検索し、検索された各パーツの位置情報に基づいて顔を検出するので、検索するパーツのパターンが変化する度合は小さい。このため、パーツの検索に失敗する可能性は低く、精度良く顔を検出することができる。

図１に示すように、顔検出装置１１は、入力された画像から人物の顔を検出する装置であり、インストールされた顔検出プログラム１２によって処理が実行される。この顔検出装置１１は、ＣＰＵ１３、ＲＡＭ１４、ＲＯＭ１５、画像入力部１６、パーツ検索部１７、テンプレートデータベース（テンプレートＤＢ）１８、顔検出部１９、及び出力部２０から構成されている。

ＣＰＵ１３は、顔検出プログラム１２に従って顔検出装置１１全体を統括的に制御する。ＲＡＭ１４は、ＣＰＵ１３が処理を実行するための作業用メモリである。ＲＯＭ１５には、各種データが記憶され、さらに、顔検出プログラム１２がインストールされている。ＣＰＵ１３は、ＲＯＭ１５から顔検出プログラム１２を読み出してＲＡＭ１４に展開し、逐次処理を実行する。

画像入力部１６は、顔検出装置１１に画像を取り込む役割を果たしており、入力された画像をパーツ検索部１７へ転送する。

パーツ検索部１７は、画像入力部１６から転送された画像から、人物の顔を構成する各種パーツを検索する。本実施形態において、各種パーツの検索は、テンプレートを用いたパターンマッチング法により行われる。パターンマッチング法として、例えば、Boostingと呼ばれるアルゴリズムを採用した方法がある。以下では、このアルゴリズムのパターンマッチング法で検索する場合を例に説明する。

パーツの検索は、所定のサイズの矩形状のテンプレートを画像上でスライドさせ、テンプレートと同一の範囲と認定される領域を識別して検索するパーツであると認定する。そして、サイズの固定されたテンプレートを利用して異なるサイズの被写体からパーツを検索するために、画像を拡縮してから顔の検索を繰り返す。なお、Boostingなどのアルゴリズムを採用したパターンマッチング法は、周知であるので、ここでの詳しい説明は省略する。

テンプレートＤＢ１８には、パーツ検索部１７による検索処理で用いられる複数のテンプレートが記憶されている。テンプレートとしては、図２に示すように、左目の目頭に係るテンプレート（左目目頭テンプレート）３１、左目の目尻に係るテンプレート（左目目尻テンプレート）３２、右目の目頭に係るテンプレート（右目目頭テンプレート）３３、及び右目の目尻に係るテンプレート（右目目尻テンプレート）３４がある。また、図３に示すように、左側の鼻翼に係るテンプレート（左側鼻翼テンプレート）３５、及び右側の鼻翼に係るテンプレート（右側鼻翼テンプレート）３６がある。さらに、図４に示すように、左側の口角に係るテンプレート（左側口角テンプレート）３７、右側の口角に係るテンプレート（右側口角テンプレート）３８、上唇の上端に係るテンプレート（上唇上端テンプレート）３９、及び下唇の下端に係るテンプレート（下唇下端テンプレート）４０がある。

パターンマッチング法による検索では、検索対象となるパーツの近傍で複数箇所が重複して検索される性質がある。そこで、パーツ検索部１７は、パーツを検索する際に、そのパーツとテンプレートとのマッチングの度合（類似度）を示す指標値を算出する。指標値としては、例えば、相互の差の絶対値和（ＳＤＡ，Sum of Absolute Difference）が用いられる。具体例としては、検索されたパーツとテンプレートとのそれぞれを、縦方向をＮ個に分割し、さらに、横方向をＭ個に分割し、分割された各領域内のグレースケールの平均値の差について絶対値和をとり、指標値とする。

そして、パーツ毎に指標値が最も高いパーツを検索結果として選定する。例えば、右目目尻テンプレート３４で右目目尻を検索する場合には、図５に示すように、右目目尻の近傍の複数箇所（例えば、４箇所）が検索される。パーツ検索部１７は、右目目尻を検索する際に指標値を算出し、検索された複数の右目目尻の中から指標値の最も高いものを検索結果として選定する。

顔検出部１９は、パーツ検索部１７で選定された各パーツの位置関係を算出して顔を検出する。なお、顔の向きに関係なく検出することができる。また、画像に占める顔の大きさを特定する。

具体的には、各パーツの位置関係を示す数値として、例えば図６及び図７に示すように、左目目頭と左目目尻との左右方向の距離をＡ、右目目頭と右目目尻との左右方向の距離をＢ、両目目尻間の左右方向の距離をＣ、両目目頭間の左右方向の中間点の左右方向の位置ＭＰ、ＭＰと左側鼻翼との左右方向の距離Ｄ、ＭＰと右側鼻翼との左右方向の距離Ｅ、左側口角と上唇上端との左右方向の距離Ｆ、右側口角と上唇上端との左右方向の距離Ｇ、左側口角と下唇下端との左右方向の距離Ｈ、右側口角と下唇下端との左右方向の距離Ｉ、左目目尻と下唇下端との上下方向の距離Ｊ、及び右目目尻と下唇下端との上下方向の距離Ｋを算出する。そして、数値Ａ〜Ｋの相互間のそれぞれの比率が予め設定された範囲内（例えば、比率Ｂ／Ａについては０．５≦Ｂ／Ａ≦２）である場合に、各パーツを含む所定の領域を顔として認定する。そして、顔として認定された場合には、例えば、左目目頭と右目目頭との中間点の位置を顔の位置として検出する。

このように、数値Ａ〜Ｋの相互間のそれぞれの比率に範囲をもたせて顔を検出するので、正面を向いた顔に限らず、左又は右を向いた顔についても検出することができる。図６に示すように、正面を向いた顔については、例えば比率Ｂ／Ａについては１であり、顔として認定され、そして検出される。また、図７に示すように、右を向いた顔についても、例えば比率Ｂ／Ａについては０．８であり、顔として認定され、そして検出される。

また、数値Ｃ，Ｊ，Ｋに基づいて画像に占める顔の大きさを特定する。具体例としては、顔の横方向の長さをＣ×１．８とし、顔の縦方向の長さをＪ，Ｋの平均値の２．８倍として顔の大きさを特定する。

なお、パーツの一部が検索されない場合であっても、顔検出部１９は、顔を検出することができる。例えば、図８に示すように、右目目尻、鼻翼右側、及び口角右側が検索されない場合、顔検出部１９は、検索されたその他のパーツに基づいて顔を検出する。なお、予め記憶されたデータに基づいて右目目尻、鼻翼右側、及び口角右側を補完（推測）して顔を検出するようにしてもよい。また、指標値が所定の値以下のパーツを除外して、指標値が所定の値を超えるパーツのみに基づいて顔を検出するようにしてもよい。

出力部２０は、顔検出部１９で検出された処理結果や、特定された処理結果などを顔検出装置１１から出力する。

次に、上記構成の顔検出装置１１（図１参照）の処理手順について説明する。画像入力部１６に入力された画像は、パーツ検索部１７に転送される。パーツ検索部１７では、テンプレートＤＢ１８から読み出されたテンプレート３１〜４０を用いて、転送された画像から顔を構成する各種パーツが検索される。また、パーツが検索される際には、テンプレートとのマッチングの度合を示す指標値が算出される。同一のテンプレートからパーツが重複して検索されるが、指標値が最も高いものが検索結果として選定される。パーツ検索部１７で選定された各パーツは、その位置情報や指標値とともにＲＡＭ１４に出力される。

パーツ検索部１７で選定された各パーツは、その位置情報や指標値とともにＲＡＭ１４から顔検出部１９に読み出される。顔検出部１９では、読み出された各パーツの位置関係が算出され、顔が検出される。なお、顔の向きに関係なく検出される。また、画像に占める顔の大きさが特定される。

なお、上記構成の顔検出装置１１をデジタルカメラに適用した場合、顔を構成するパーツ毎に検索して検索されたパーツに基づいて顔を検出するので、フレーム間における目の動き（瞬き）や口の動きを検知することができる。すなわち、検出された顔が、実際の人物の顔であるか、ポスターなどに写る人物の顔であるかを判別できる。これにより、実際の人物の顔とともにポスターなどに写る人物の顔が検出される場合であっても、実際の人物の顔を対象としてＡＥ、ＡＷＢ、ＡＦなどの処理を実行することができる。

また、本発明の顔検出装置１１をデジタルカメラに適用する場合、ハードウェアの形でデジタルカメラに搭載する必要はなく、顔検出プログラム１２（図１参照）をデジタルカメラにインストールしておき、顔検出プログラム１２が起動されることで顔検出装置１１が構築されるようにしてもよい。

また、本発明の顔検出装置１１をパーソナルコンピュータに適用することもできる。この場合、インストールされた顔検出プログラム１２（図１参照）が起動されたときに顔検出装置１１が構築される。これを利用して顔を検出し、赤目補正などの画像修正処理をすることができる。

また、上記実施形態において、顔検出部１９は、顔の左右の向きに関係なく顔を検出する場合を例に説明したが、顔の上下の向きに関係なく顔を検出するようにしてもよい。

顔検出装置の概略を説明するブロック図である。 左右両目の目頭及び目尻に係るテンプレートを説明する図である。 左側及び右側の鼻翼に係るテンプレートを説明する図である。 左側及び右側の口角並びに上唇の上端及び下唇下端に係るテンプレートを説明する図である。 パーツ検索部の検索処理を説明する右目の目尻の正面図である。 パーツ検索部の検索処理を説明する顔の正面図である。 パーツ検索部の検索処理を説明する顔の斜め前方からの図である。 パーツ検索部の検索処理を説明する顔の一部分が手で覆われた図である。

符号の説明

１１ 顔検出装置
１２ 顔検出プログラム
１７ パーツ検索部
１８ テンプレートデータベース（テンプレートＤＢ）
１９ 顔検出部
３１ 左目目頭テンプレート
３２ 左目目尻テンプレート
３３ 右目目頭テンプレート
３４ 右目目尻テンプレート
３５ 左側鼻翼テンプレート
３６ 右側鼻翼テンプレート
３７ 左側口角テンプレート
３８ 右側口角テンプレート
３９ 上唇上端テンプレート
４０ 下唇下端テンプレート

Claims (4)

1. 画像から、顔を構成するパーツを検索して顔を検出する顔検出装置であって、
   少なくとも左右両目の目頭及び目尻のテンプレートを記憶したテンプレート記憶部と、
   前記テンプレートを用いて画像から前記パーツを検索するパーツ検索部と、
   検索された各パーツの位置情報に基づいて顔を検出する顔検出部とを備えたことを特徴とする顔検出装置。
2. 前記テンプレート記憶部には、左側及び右側の鼻翼、左側及び右側の口角、並びに上唇の上端及び下唇の下端の少なくともいずれかのテンプレートが記憶されていることを特徴とする請求項１記載の顔検出装置。
3. 画像から、顔を構成するパーツを検索して顔を検出する顔検出方法であって、
   左右両目の目頭及び目尻のテンプレートを用いて画像から前記パーツを検索し、検索された各パーツの位置情報に基づいて顔を検出することを特徴とする顔検出方法。
4. 画像から、顔を構成するパーツを検索して顔を検出する処理をコンピュータに実行させる顔検出プログラムであって、
   左右両目の目頭及び目尻のテンプレートを用いて画像から前記パーツを検索し、検索された各パーツの位置情報に基づいて顔を検出する処理をコンピュータに実行させることを特徴とする顔検出プログラム。

Images