JP2006301811A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 顔の有無及び位置を検出するための撮像領域において照明環境が変動した場合であっても、正確に顔の有無及び顔の位置を検出することができる画像処理装置及び画像処理方法を提供する。
【解決手段】 予め所定の撮像領域に対する一又は複数の照明モデルの濃度勾配方向画像であるテンプレート画像を顔検出用テンプレート記憶部１２に記憶させておき、撮像部１で所定の撮像領域を撮像して得た、当該所定の撮像領域に含まれる顔位置を検出するための画像データを画像入力部１１で入力すると、濃度勾配方向抽出部１３によって濃度勾配方向画像を作成して濃度勾配方向画像記憶部１４に記憶させておく。そして、顔検出部１５では、濃度勾配方向画像記憶部１４の濃度勾配方向画像と照明モデルごとのテンプレート画像とを比較して類似度を演算して、当該類似度に基づいて所定の撮像領域における顔の有無及び顔の位置を検出する。
【選択図】 図１

Description

本発明は、画像データから人物の顔の有無及び顔の位置を検出する画像処理装置及び画像処理方法に関し、特に、撮像する環境のうち照明環境が変動した場合であっても精度良く顔の有無及び顔の位置を検出できる画像処理装置及び画像処理方法に関する。

従来より、ＣＣＤカメラ等で撮像した濃淡画像を入力とし、当該濃淡画像に含まれる顔画像を検出する技術としては、下記の特許文献１に記載された顔抽出装置などが知られている。

このような顔抽出装置は、予め顔画像のテンプレートを用意しておき、撮像した画像の各位置でテンプレートとの比較をしながら、画像上でテンプレートを走査して、画像における各位置での類似度を計算する。そして、この顔抽出装置では、画像とテンプレートとの類似度が所定のしきい値よりも大きいような局所的なピークが検出された画像内位置に顔が位置していることを判定している。

このように、画像中から顔位置を特定するに際して使用する類似度の計算手法としては、テンプレートの任意画素値と入力画像の対応画素値との差分を累積して、当該差分が小さいほど類似度を高くする手法や、画像全体の均一的な明るさ変動を抑制するために、テンプレートの任意画素値と入力画像の対応画素値との差分を正規化する正規化相関法が挙げられる。

更に、特許文献１のように、予め顔形状を円、楕円、多角形に設定して、相似形で異なる大きさのテンプレートを複数用意しておいて、ハフ変換によって画像中の円形領域を検索することによって顔位置を検索する技術も知られている。
特開２００１−２２２７１９号公報

しかしながら、従来において類似度を算出するに際し、画像データとテンプレートとの差分を累積する手法や正規化相関法では、画像データの撮像領域での照明方向が変化すると、顔内の明暗分布がテンプレートとは大きく異なってしまい、正確な類似度を演算することができない問題がある。したがって、この手法では、画像内で正確な顔位置が検出できない問題があった。

また、特許文献１に記載されているように、円などの予め設定した顔外郭形状を利用する技術では、顔部分の背景画像にも円に類似した物体が存在する場合に、正確な顔位置が検出できないという問題があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、顔の有無及び位置を検出するための撮像領域において照明環境が変動した場合であっても、正確に顔の有無及び顔の位置を検出することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、予め、所定の撮像領域に対する一又は複数の照明モデルに基づいて作成された顔検出用テンプレート画像を記憶させておき、所定の撮像領域を撮像して得た、当該所定の撮像領域に含まれる顔位置を検出するための画像データを入力すると、入力した画像データと、記憶しておいた顔画像テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出する。これにより、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致している時には、高い類似度を得ることができ、一方で、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致していない時には、高い類似度を得ることができず、当該類似度の相違によって顔の有無及び顔の位置の検出を行うことによって、上述の課題を解決する。

本発明によれば、予め一又は複数の照明モデルに基づいて作成された顔検出用テンプレート画像を記憶させておき、画像データと、顔検出用テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出するので、顔の有無及び位置を検出するための撮像領域において照明環境が変動した場合であっても、実際の照明環境に基づいた顔検出用テンプレート画像を用意しておくことにより、正確に顔の有無及び顔の位置を検出することができる。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
本発明を適用した第１実施形態に係る画像処理装置は、図１に示すように、撮像部１で画像データを生成して、当該画像データに対して顔検出装置２で画像処理を施して、当該画像処理結果として顔検出結果情報を出力する。この顔検出結果情報は、後述するが、撮像部１の所定の撮像領域に人物の顔が含まれるか否かを示す顔有無情報と、所定の撮像領域に人物の顔が存在する場合の顔位置を示す顔位置情報とを含む。そして、画像処理装置は、当該顔検出結果情報に基づいて人物の顔の表情認識を行って自動対話を行う対話システムや、顔検出結果情報に基づいて個人認証を行うセキュリティシステム等に出力し、当該システムに顔位置に基づいた処理を可能とさせる。

この第１実施形態に係る画像処理装置は、撮像部１と、画像入力部１１、顔検出用テンプレート記憶部１２、濃度勾配方向抽出部１３、濃度勾配方向画像記憶部１４、顔検出部１５を有する顔検出装置２とを備えて構成されている。この画像処理装置において、撮像部１は、平均的な身長の人物の顔を含むような撮像方向及び画角となるように設置されたＣＣＤ（Charge Coupled Device）カメラから構成され、顔検出装置２は、撮像部１と接続された入出力インターフェース回路、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等からなるマイクロコンピュータで構成される。

画像入力部１１は、撮像部１と接続され、画像データを入力とする入力インターフェース回路からなり、撮像部１から取り込んだ画像データを濃度勾配方向抽出部１３に出力する。この画像入力部１１で入力する画像データは、図２に示すように、撮像部１の視点（撮像位置）から人物の顔を前方から撮像したデータである。この顔検出装置２は、画像入力部１１によって所定期間ごとに画像データを取り込ませて、当該所定期間ごとの画像データを使用して、所定期間ごとに顔検出結果情報を出力する。

顔検出用テンプレート記憶部１２は、一又は複数の顔検出用テンプレート画像を記憶するＲＯＭからなる。この顔検出用テンプレート記憶部１２は、照明モデルごとの一又は複数の顔検出用テンプレート画像を記憶している。この顔検出用テンプレート画像は、撮像部１の撮像領域における照明モデルごとに作成されて、予め顔検出用テンプレート記憶部１２に記憶されている。

具体的には、顔検出用テンプレート記憶部１２には、図２に上面図を示すように、人物の前方方向から照明が当てられた照明モデル（以下、前方向照明モデルと呼ぶ。）の顔検出用テンプレート画像、人物の後方方向から照明が当てられた照明モデル（以下、後方向照明モデルと呼ぶ。）の顔検出用テンプレート画像、人物の左方向から照明が当てられた照明モデル（以下、左方向照明モデルと呼ぶ。）の顔検出用テンプレート画像、人物の右方向から照明が当てられた照明モデル（以下、右方向照明モデルと呼ぶ。）の顔検出用テンプレート画像が記憶されている。

濃度勾配方向抽出部１３は、画像入力部１１で入力した画像データの濃度勾配方向を計算して、画素単位又は画素ブロック単位で濃度勾配方向を示す情報を付加した濃度勾配方向画像を作成する。このとき、濃度勾配方向抽出部１３は、複数個の画素ブロックからなる領域内において、輝度値が低い画素（暗）から輝度値が高い画素（明）への方向を検出するために、例えば一次元方向の濃淡の段差を検出する１次微分フィルタであるソーベルフィルタを使用し、水平方向の微分強度ｄｘと垂直方向の微分強度ｄｙの逆正接（Arc tan）を算出して各画素ブロックにおける濃度勾配方向を求めて、当該濃度勾配方向を画素ブロックの方向値（画素値）とした濃度勾配方向画像を作成し、濃度勾配方向画像記憶部１４に記憶させる。

図３（ａ）、（ｂ）は、濃度勾配方向画像１００を、画像内上方向の画素ほど明るくなる上方向領域１００ａ、画像内下方向の画素ほど明るくなる下方向領域１００ｂ、画像内左方向の画素ほど明るくなる左方向領域１００ｃ、画像内右方向の画素ほど明るくなる右方向領域１００ｄに分類して表示したものである。なお、濃度勾配方向画像１００を４種に分類して表示したのは、説明の便宜を図るためであり、実際の濃度勾配方向値が４種に限られることを意味するものではない。

このように、濃度勾配方向抽出部１３は、例えば、図４（ａ）に左方向から所定の撮像領域に照明を当てた左方向照明モデルでの顔部分における濃度勾配方向画像と、図４（ｂ）に右方向から所定の撮像領域に照明を当てた右方向照明モデルでの顔部分における濃度勾配方向画像とのように、照明モデルによって異なる濃度勾配方向画像を作成することができる。すなわち、図４（ａ）と図４（ｂ）とを比較すると、人物の頬、鼻、額の部分を中心として、反対方向の方向値となっている部分（例えば鼻周辺部分）が存在し、且つ、図４（ａ）によれば、左方向から照明が当てられているので左方向領域１００ｃに分類される方向値が多く抽出された濃度勾配方向画像を作成することができ、図４（ｂ）によれば、右方向から照明が当てられているので右方向領域１００ｄに分類される方向値が多く抽出された濃度勾配方向画像を作成することができる。

濃度勾配方向画像記憶部１４は、濃度勾配方向抽出部１３により抽出された濃度勾配方向画像１００を一時的に記憶するＲＡＭからなり、当該濃度勾配方向画像１００が顔検出部１５に読み込まれる。

顔検出用テンプレート記憶部１２には、撮像部１における所定の撮像領域に対する一又は複数の照明モデルの顔検出用テンプレート画像が記憶されている。この顔検出用テンプレート画像は、後述の顔検出部１５で読み込まれて、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と比較される濃度勾配方向画像である。

この顔検出用テンプレート記憶部１２に記憶される顔検出用テンプレート画像は、図５（ａ）に示すように、濃度勾配方向抽出部１３で生成して濃度勾配方向画像記憶部１４に記憶した濃度勾配方向画像１００と同様の濃度勾配方向画像である。また、この顔検出用テンプレート画像は、図５（ｂ）〜（ｅ）に示すように、顔部分のみを示す濃度勾配方向画像であって、異なる４種の照明モデルごとの濃度勾配方向画像となっている。

このような顔検出用テンプレート記憶部１２に記憶される４種類の照明モデルにおける各顔検出用テンプレート画像を概念的に説明したものが図６で、ハッチングの相違で示すように顔の部位の方向値の特徴を４種類の方向に分類して表現したものである。ここでは、方向値を、上方向領域１００ａに分類されるもの、下方向領域１００ｂに分類されるもの、左方向領域１００ｃに分類されるもの、右方向領域１００ｄに分類されるものごとに図７に示すように表現している。

このような照明モデルごとの顔検出用テンプレート画像を見ると、左方向から照明を当てた左方照明モデルと右方向から照明を当てた右方照明モデルとは、濃度勾配方向抽出部１３で算出した図４（ａ）と図４（ｂ）との比較した結果と同様に、人物の頬、鼻、額の部分を中心として、略々左右対称となっている部分が存在し、且つ、左方照明モデルでは左方向領域１００ｃが多く抽出された濃度勾配方向画像を作成することができ、右方照明モデルでは右方向領域１００ｄが多く抽出された濃度勾配方向画像を作成することができる。

なお、この照明モデルごとの顔検出用テンプレート画像は、予め作成されて記憶されたものとしているが、画像処理装置の製造時において、標準となる照明モデル環境下で撮像された顔画像のみの画像データから濃度勾配方向抽出部１３で作成されて顔検出用テンプレート記憶部１２に記憶され、書き換え不能とされていても良い。

顔検出部１５は、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と顔検出用テンプレート記憶部１２に記憶された照明モデルごとの顔検出用テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて所定の撮像領域における顔の有無及び顔の位置を検出する。

具体的には、先ず顔検出部１５は、差分絶対値の総和を計算する処理、又は、一般化ハフ変換を行い、４種の顔検出用テンプレート画像のそれぞれが濃度勾配方向画像１００上で最も類似度が高い濃度勾配方向画像１００内の位置を求めると共に、４種の照明モデルごとの類似度を求める。詳しくは、前方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求め、後方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求め、左方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求め、右方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求める。

このようなテンプレートマッチングによれば、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致している時であって、人物の顔付近では著しく高い類似度を得ることができ、一方で、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致しておらず、更には人物の顔付近に該当しない場合には、著しく低い類似度を算出することができる。

そして、顔検出部１５は、各照明モデルごとに得られた類似度のうち、所定の類似度しきい値を超えている類似度が少なくとも１種類存在するか否かを判定し、所定の類似度しきい値を超えている類似度が得られた画像内位置に人物の顔が存在すると判定する。一方、所定の類似度しきい値を超える類似度が存在しないものと判定した場合には現在撮像部１の撮像領域には人物が存在しないものと判定する。

このように、顔検出部１５は、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００上で、顔検出用テンプレート記憶部１２に記憶された４種の照明モデルごとの顔検出用テンプレート画像のそれぞれを走査させてテンプレートマッチングを行い、濃度勾配方向画像１００と顔検出用テンプレート画像との類似度に基づく顔の有無検出処理及び顔の位置検出処理を行う。

なお、所定の類似度しきい値を超えた類似度が複数存在する場合には、所定の類似度を超えたもののうち最も類似度が高い類似度を求めて、当該類似度が得られた画像内位置に人物の顔が存在するものと判定しても良く、又は、複数の人物の顔が存在するものと判定しても良い。

このように、顔検出部１５は、顔有無情報と、顔位置情報とを含む顔検出結果情報を出力することができる。

［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した画像処理装置は、一又は複数の照明モデルごとの顔検出用テンプレート画像を顔検出用テンプレート記憶部１２に記憶させておき、撮像部１によって所定の撮像領域を撮像して得た画像データと、照明モデルごとの顔検出用テンプレート画像との比較によって類似度を演算して、当該照明モデルごとの類似度のうち、所定の類似度しきい値を超えた類似度が検出された場合に、当該類似度が得られた画像内位置の撮像部１の撮像領域に人物の顔が存在することができる。したがって、この画像処理装置によれば、撮像領域における照明環境の変動に合致した照明モデルの顔検出用テンプレート画像を用意しておくだけで、実際の照明環境の変動に合致した照明モデルの顔検出用テンプレート画像によってのみ高い類似度を得ることができ、正確に顔の有無及び顔の位置を検出することができる。

また、この画像処理装置によれば、例えば人物の背景に、人物の顔外郭と類似した外郭の物体が存在する場合であっても、照明モデルによって顔形状による方向値分布の相違を表した顔検出用テンプレート画像を用意してテンプレートマッチングを行うことにより、人物以外の物体を人物の顔であると判定する誤認識を確実に回避できる効果もある。

［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る画像処理装置について説明する。なお、上述した第１実施形態に係る画像処理装置と同様の部分については、同一符号を付することによりその詳細な説明を省略する。

この第２実施形態に係る画像処理装置は、図１と同様の構成を有し、顔検出用テンプレート記憶部１２に、図８に示すような顔全体を示す顔検出用テンプレート画像１０１を、顔の特徴部位を示す特徴部位テンプレート画像１０２と、顔の非特徴部位を示す非特徴部位テンプレート画像１０３とに分割して予め記憶させておき、当該特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３を用いて顔検出処理を行う点で、第１実施形態に係る画像処理装置とは異なる。

顔検出用テンプレート画像１０１から特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とを作成して、顔検出用テンプレート記憶部１２に記憶させておく処理は、画像処理装置の製造時や設計時等に行われる。この特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３を作成する手法は、複数の照明モデルに共通して画像変動が少なく照明変動の影響を受けにくい顔部位を特徴的な部位として特徴部位テンプレート画像１０２を作成し、当該特徴部位テンプレート画像１０２以外の画像変動が多い顔部位を非特徴部位テンプレート画像１０３として作成する。

具体的には、図９に示すように、前方向照明モデルの顔検出用テンプレート画像１０１Ａ、後方向照明モデルの顔検出用テンプレート画像１０１Ｂ、左方向照明モデルの顔検出用テンプレート画像１０１Ｃ、右方向照明モデルの顔検出用テンプレート画像１０１Ｄを用意し、当該顔検出用テンプレート画像１０１Ａ〜１０１ＤにＡＮＤ処理を掛ける。このＡＮＤ処理は、４種の顔検出用テンプレート画像１０１Ａ〜１０１Ｄの同一座標の画素の方向値同士を比較して、略同じ方向値である場合に、当該画素を抽出して特徴部位テンプレート画像１０２とする。このように、異なる照明モデルの顔検出用テンプレート画像間で同じ方向値を有する箇所は、照明変動によって影響が少ない部位（特徴部位）と言える。

また、このＡＮＤ処理は、４種の顔検出用テンプレート画像１０１Ａ〜１０１Ｄの同一座標の画素ブロックの平均方向値同士を比較して、差が小さい場合に、当該画素ブロックを抽出して特徴部位テンプレート画像１０２としても良い。このように、１画素ブロックの画素数を多くしたり、特徴部位テンプレート画像１０２に含めるための平均方向値同士の差をある程度大きくすることにより、顔全体に対する特徴部位テンプレート画像１０２の面積を大きくできる。

特徴部位テンプレート画像１０２を作成した後、照明モデルごとの顔検出用テンプレート画像１０１Ａ〜１０１Ｄのそれぞれから、特徴部位テンプレート画像１０２を差し引いて、図１０に示すように、前方向照明モデルの非特徴部位テンプレート画像１０３、後方向照明モデルの非特徴部位テンプレート画像１０３、左方向照明モデルの非特徴部位テンプレート画像１０３、右方向照明モデルの非特徴部位テンプレート画像１０３として作成する。

また、顔検出用テンプレート画像１０１から特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とを作成する他の手法としては、エッジ成分が多く検出される顔の眼、鼻、口部位を含む領域を特徴部位テンプレート画像１０２として作成し、顔検出用テンプレート画像１０１Ａ〜１０１Ｄのそれぞれから特徴部位テンプレート画像１０２を差し引いて他の額、頬、顎部位を含む領域を含む非特徴部位テンプレート画像１０３を作成しても良い。

このように単一の特徴部位テンプレート画像１０２と照明モデルごとの４種の非特徴部位テンプレート画像１０３とを予め作成して顔検出用テンプレート記憶部１２に記憶させておき、画像処理装置は、撮像部１からの画像データを画像入力部１１で入力すると、顔の有無及び顔位置の検出を行う。

この顔の有無及び顔位置の検出処理は、先ず濃度勾配方向抽出部１３により、第１実施形態と同様に、図３（ｂ）に示すような濃度勾配方向画像１００を作成して、濃度勾配方向画像記憶部１４に記憶させる。

次に、顔検出部１５は、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３を用いて、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と特徴部位テンプレート画像１０２との比較を行って類似度を演算し、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と非特徴部位テンプレート画像１０３との比較を行って類似度を演算する。そして双方の類似度に基づいて、撮像部１の所定の撮像領域における顔の有無及び顔位置の検出を行う。

この顔検出部１５は、その内部構成の一例を図１１に示すように、特徴部位テンプレート画像１０２を用いて類似度を求める特徴部位テンプレートマッチング処理部２１と、非特徴部位テンプレート画像１０３を用いて類似度を求める非特徴部位テンプレートマッチング処理部２２と、特徴部位テンプレートマッチング処理部２１で求められた類似度を一時記憶する第１の類似度保存用バッファ２３と、非特徴部位テンプレートマッチング処理部２２で求められた類似度を一時記憶する第２の類似度保存用バッファ２４と、加算部２５と、第３の類似度保存用バッファ２６と、顔有無・位置特定部２７とを有する。

このような顔検出部１５は、特徴部位テンプレートマッチング処理部２１により顔検出用テンプレート記憶部１２の特徴部位テンプレート画像１０２を読み出し、当該特徴部位テンプレート画像１０２を濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００上で走査させてテンプレートマッチングを行い、最も高い類似度及び当該類似度が得られた画像内位置を第１の類似度保存用バッファ２３に記憶させる。同時に、顔検出部１５は、非特徴部位テンプレートマッチング処理部２２により、顔検出用テンプレート記憶部１２の何れかの照明モデルの非特徴部位テンプレート画像１０３を読み出し、当該非特徴部位テンプレート画像１０３を濃度勾配方向画像１００上で走査させてテンプレートマッチングを行い、最も高い類似度及び当該類似度が得られた画像内位置を第２の類似度保存用バッファ２４に記憶させる。

次に、顔検出部１５は、加算部２５により、第１の類似度保存用バッファ２３に記憶された類似度と、第２の類似度保存用バッファ２４に記憶された照明モデルごとの類似度とを加算して、第３の類似度保存用バッファ２６に記憶させる。顔検出部１５は、照明モデルごとに、非特徴部位テンプレートマッチング処理部２２で最も高い類似度及び当該類似度が得られた画像内位置を求めて第２の類似度保存用バッファ２４に記憶させ、加算部２５で加算させて加算後の類似度を第３の類似度保存用バッファ２６に記憶させる。

これにより、図１２に示すように、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ａから求めた前方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させ、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ｂから求めた後方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させ、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ｃから求めた左方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させ、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ｄから求めた右方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させる。

次に顔検出部１５は、顔有無・位置特定部２７により、４種の類似度のうち、所定の類似度しきい値を超えている類似度がある場合には、当該類似度が得られた画像内位置に人物の顔が位置していると判定できる。一方、４種の類似度のうち、所定の類似度しきい値を超えた類似度が存在しない場合には、撮像部１の所定の撮像領域に人物の顔が存在しないと判定できる。なお、特徴部位テンプレート画像１０２を使用して求めた画像内位置と非特徴部位テンプレート画像１０３を使用して得た画像内位置とのうち何れかを使用して顔の位置を特定しても良い。

［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る画像処理装置によれば、顔検出用テンプレート記憶部１２に特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とを分割して記憶させておき、特徴部位テンプレート画像１０２を用いた類似度演算を１回行い、非特徴部位テンプレート画像１０３を用いた類似度演算を４回行うのみで、顔の有無及び顔位置の検出を行うことができるので、処理量を少なくでき、処理速度を高めることができる。

すなわち、特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とが同じ画素数で構成されているとすると、照明モデルを考慮せずに単一の顔検出用テンプレート画像を使用して類似度を計算する場合と比較して、２．５倍という処理量に抑制して照明モデルごとの類似度を求めることができる。

また、この画像処理装置によれば、特徴部位テンプレート画像１０２として複数の照明モデルに共通して画像変動が少ない顔の部位を抽出した濃度勾配方向画像を使用し、非特徴部位テンプレート画像１０３として照明モデルごとに画像変動が多い顔の部位を抽出した濃度勾配方向画像を使用しているので、照明モデルごとに特徴部位テンプレート画像１０２を用いたテンプレートマッチングを行わなくても、精度の高い顔の有無及び顔位置の検出を行うことができる。

更に、上述の画像処理装置の説明では、特徴部位テンプレート画像１０２と照明モデルごとの非特徴部位テンプレート画像１０３とを記憶しておき、それぞれのテンプレート画像１０２，１０３を用いて類似度を演算したが、非特徴部位テンプレート画像１０３を記憶させずに、特徴部位テンプレート画像１０２のみを記憶させておいても良い。この特徴部位テンプレート画像１０２は、図９を参照して説明したように、先ず複数の照明モデルごとのテンプレート画像をアンド処理して画像内で変動の少ない顔特徴部位の領域情報を取得し、当該アンド処理の対象となったテンプレート画像１０１Ａ〜１０１Ｄのそれぞれ又は何れかから特徴部位の領域を取得して、特徴部位テンプレート画像を作成しておく。

これによって、特徴部位テンプレート画像１０２を用いて演算した類似度のみによって、顔の有無及び顔位置の検出を行うことができ、更に処理量を抑制することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した実施形態では、濃度勾配方向画像を顔検出用テンプレート画像として顔検出用テンプレート記憶部１２に記憶させておき、撮像部１で撮像した画像データから濃度勾配方向画像１００を作成して比較する場合について説明したが、これに限らず、エッジ画像である２値画像又は濃淡画像を照明モデルごとに顔検出用テンプレート記憶部１２に記憶させておき、当該顔検出用テンプレート画像の種類に応じて撮像部１で撮像された画像データを処理しても良い。そして、照明モデルごとの顔検出用テンプレート画像との比較を行って、撮像部１の撮像領域における照明モデルが変動した場合であっても、正確な顔の有無検出及び顔の位置検出を行える。

また、上述した実施形態では、照明モデルとして前方照明モデル、後方照明モデル、左方照明モデル、右方照明モデルの４種について説明したが、画像処理装置の設置場所によっては、４種よりも少なくても良く、更に他の方角から人物に光を当てられる環境である場合には、４種以上であっても、上述と同様の効果を得ることができるのは勿論である。

本発明を適用した第１実施形態に係る画像処理装置の構成を示すブロック図である。 本発明を適用した第２実施形態に係る画像処理装置の照明モデルについて説明するための図である。 本発明を適用した第１実施形態に係る画像処理装置で作成される濃度勾配方向画像について説明するための図であり、（ａ）は濃度勾配方向、（ｂ）は実際に作成される濃度勾配方向画像のイメージである。 本発明を適用した第１実施形態に係る画像処理装置で作成される濃度勾配方向画像について説明するための図であり、（ａ）は左方向照明モデルでの濃度勾配方向画像、（ｂ）は右方向照明モデルでの濃度勾配方向画像である。 本発明を適用した第１実施形態に係る画像処理装置において顔検出用テンプレート記憶部に予め記憶しておく顔検出用テンプレート画像について説明する為の図であり、（ａ）は濃度勾配方向、（ｂ）は前方照明モデルの顔検出用テンプレート画像、（ｃ）は後方向照明モデルの顔検出用テンプレート画像、（ｄ）は左方向照明モデルの顔検出用テンプレート画像、（ｄ）は右方向照明モデルの顔検出用テンプレート画像である。 本発明を適用した第１実施形態に係る画像処理装置において顔検出用テンプレート記憶部に予め記憶しておく顔検出用テンプレート画像について説明する為の図であり、方向値での表現を上段に示し、濃淡値での表現を下段に示した図である。 方向値について説明するための図である。 本発明を適用した第２実施形態に係る画像処理装置において、顔検出用テンプレート画像から特徴部位テンプレート画像と非特徴部位テンプレート画像を分割して顔検出用テンプレート記憶部に記憶させておくことを説明するための図である。 照明モデルごとの顔検出用テンプレート画像から、特徴部位テンプレート画像を作成する処理を説明するための図である。 本発明を適用した第２実施形態に係る画像処理装置において顔検出用テンプレート記憶部に予め記憶しておく特徴部位テンプレート画像と非特徴部位テンプレート画像について説明する為の図であり、方向値での表現を上段に示し、濃淡値での表現を下段に示した図である。 本発明を適用した第２実施形態に係る画像処理装置において、顔検出部の機能的な構成を示すブロック図である。 本発明を適用した第２実施形態に係る画像処理装置における顔検出部による類似度演算処理を説明するための図である。

符号の説明

１ 撮像部
２ 顔検出装置
１１ 画像入力部
１２ 顔検出用テンプレート記憶部
１３ 濃度勾配方向抽出部
１４ 濃度勾配方向画像記憶部
１５ 顔検出部
２１ 特徴部位テンプレートマッチング処理部
２２ 非特徴部位テンプレートマッチング処理部
２３ 第１の類似度保存用バッファ
２４ 第２の類似度保存用バッファ
２５ 加算部
２６ 第３の類似度保存用バッファ
２７ 顔有無・位置特定部
１００ 濃度勾配方向画像
１０１ 顔検出用テンプレート画像
１０２ 特徴部位テンプレート画像
１０３ 非特徴部位テンプレート画像

Claims (6)

1. 所定の撮像領域を撮像して得た、当該所定の撮像領域に含まれる顔位置を検出するための画像データを入力する画像入力手段と、
   前記所定の撮像領域に対する一又は複数の照明モデルに基づいて作成された顔検出用テンプレート画像が記憶された顔検出用テンプレート記憶手段と、
   前記画像入力手段で入力した画像データと、前記顔検出用テンプレート記憶手段に記憶された顔検出用テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出する顔検出手段と
   を備えることを特徴とする画像処理装置。
2. 前記顔検出用テンプレート記憶手段には、前記顔検出用テンプレート画像として、顔の特徴部位を示す特徴部位テンプレート画像が記憶され、
   前記顔検出手段は、前記画像入力手段で入力された画像データと前記特徴部位テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記顔検出用テンプレート記憶手段には、前記顔検出用テンプレート画像として、顔の特徴部位を示す特徴部位テンプレート画像と、顔の非特徴部位を示す非特徴部位テンプレート画像とが記憶され、
   前記顔検出手段は、前記画像入力手段で入力された画像データと前記特徴部位テンプレート画像とを比較して類似度を演算すると共に、前記画像入力手段で入力された画像データと前記非特徴部位テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記顔検出用テンプレート記憶手段には、
   複数の照明モデルに共通して画像変動が少ない顔の部位を前記特徴部位を示す前記特徴部位テンプレート画像として記憶され、
   複数の照明モデルごとに作成された複数の顔の画像間で画像変動が多い顔の部位を前記非特徴部位を示す前記非特徴部位テンプレート画像として記憶されていること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記顔検出手段は、前記画像データと前記特徴部位テンプレート画像とを比較して得た特徴部位での類似度と、前記画像データと前記非特徴部位テンプレート画像とを比較して得たそれぞれの照明モデルの非特徴部位での類似度とを用い、前記特徴部位での類似度と各非特徴部位での類似度とを加算した値に基づいて、顔の有無を判定することを特徴とする請求項３又は請求項４に記載の画像処理装置。
6. 所定の撮像領域を撮像して、当該所定の撮像領域に含まれる顔位置を検出するための画像データを生成し、
   当該生成した画像データと、予め記憶しておいた所定の撮像領域に対する所定の照明状態の一又は複数の照明モデルの顔検出用テンプレート画像との類似度を演算し、
   当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出すること
   を特徴とする画像処理方法。