JP4903192B2 - 顔検出装置 - Google Patents

Description

本発明は、監視カメラ装置などの画像撮影装置によって取得された画像データ中の顔画像領域を検出する顔検出装置に関する。

顔検出装置は、監視カメラ装置などの画像撮影装置によって取得された１フレーム毎の画像データにおいて、顔画像領域を検出する。このような顔検出装置の性能を示す指標として、顔画像領域の検出率（以下、検出率という。）、非顔画像領域の誤検出率（以下、誤検出率という。）及び顔画像領域の見逃し率（以下、見逃し率という。）が知られている。

一般に、顔検出装置は、矩形形状を有する顔画像領域の真の位置及び真の大きさと、顔画像領域として検出された矩形の検出領域の位置及び大きさとを比較し、上記検出領域の位置及び大きさが顔画像領域の真の位置及び真の大きさとそれぞれ一致するときには、上記検出領域を「検出」と分類し、一致しないときには上記検出領域を「誤検出」と分類する。ここで、顔画像領域として検出された検出領域の数をNdetectedと定義し、Ndetected個の検出領域のうち「検出」と分類されたものの数をNtrueと定義し、「誤検出」と分類されたものの数をNfalseと定義する。このとき、Ndetected=Ntrue+Nfalseが成り立つ。さらに、検出されるべき顔画像領域の数をｎ、検出されるべき顔画像領域のうち実際に検出された顔画像領域の数をｎ０、検出されるべき顔画像領域のうち検出されなかった顔画像領域の数をｎ１（＝ｎ−ｎ０）と定義する。このとき、本明細書において、上記検出率、誤検出率及び見逃し率を、１フレーム毎に以下のように定義する。

検出率（％）＝（ｎ１／ｎ）×１００；
誤検出率（個）＝Ｎｆａｌｓｅ；
見逃し率（％）＝（ｎ１／ｎ）×１００．

また、真の顔画像領域と検出領域とが一致するか否かは、例えば、以下の式を満たすか否かによって判断される。
０．８＜（ａ／ａ０）＜１．２かつＤ＜ａ０×０．２

ここで、ａは真の顔画像領域の大きさ（例えば、幅である。）を表すパラメータであり、ａ０は検出領域の大きさを表すパラメータであり、Ｄは、真の顔画像領域の重心位置と検出領域の重心位置との間の距離である。

非特許文献１には、比較的高い検出率（例えば、９９パーセント）と数十パーセント程度の誤検出率とを有する、検出性能は比較的低いが高速な演算が可能な識別器（classifier）を多段に直列接続する技術が開示されている。これにより、顔画像領域の検出率の低下を抑えながら、画像中に含まれる多くの非顔画像領域を排除し、高速性と高い性能とをかね合わせた顔検出器を実現できる。

Paul Viola et al., "Rapid Object Detection Using a Boosted Cascade of Simple Features", Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December 2001. Paul Viola et al., "Robust Real-time Object Detection", Proceedings of IEEE workshop on Statistical and Computational Theories of Vision, July 2001. Thierry Chateauet al., "Realtime tracking with classifiers", Proceedings of International Workshop on Dynamical Vision in conjunction with ECCV, May 2006.

顔検出装置は、変化する照明環境下で顔の向きが様々に変化することによって顔画像領域の画像パターンが変化しても、高い検出率で当該顔画像領域を検出する必要がある。しかしながら、一般に、このような多様な画像パターンを有する顔画像領域の検出率をあげようとした場合、誤検出率も同時にあがってしまうという問題点があった。

このような問題点に対処するために、非特許文献１では、９９パーセント程度の高い検出率と４０パーセント程度の誤検出率とを有する識別器であって、検出性能は低いが高速に計算できる単体の識別器を多段に直列接続する。これにより、例えば、上記多段接続の段数が複数ｍであるときには、最終的に、０．９９^ｍ×１００パーセントの検出率と０．４^ｍ×１００パーセントの低い誤検出率とを有する、高速性と高い性能とを兼ね備えた顔検出器を実現できる。

しかしながら、実際には、監視カメラ装置によって撮影された画像データのように、顔画像領域において照明環境及び顔の向きの変動によって顔画像のパターンが大きく変動するときには、１００パーセントに近い高い検出率と数１０パーセント程度の誤検出率とを有する各識別器を実現することは難しかった。

本発明の目的は以上の問題点を解決し、照明環境及び顔の向きの変動によって顔画像のパターンが大きく変動するときにも、従来技術に比較して誤検出率を上げることなく高い検出率で顔画像領域を検出できる顔検出装置を提供することにある。

本発明に係る顔検出装置は、入力される画像データの検出領域において所定の第１の画像特徴量を算出し、上記第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて上記検出領域の顔画像領域らしさを示す顔尤度を算出する顔尤度算出手段と、上記算出された顔尤度を所定の第１のしきい値と比較し、上記第１のしきい値未満の顔尤度を有する検出領域を非顔画像領域であると判定する顔尤度判定手段と、上記第１のしきい値以上の顔尤度を有する検出領域を含む周辺検出領域を設定し、上記周辺検出領域において所定の第２の画像特徴量を算出し、上記第２の画像特徴量に基づいて、上記第１の顔検出アルゴリズムに比較して低速な顔検出アルゴリズムであって、上記第１の顔検出アルゴリズムの顔画像領域の検出率に比較して高い検出率及び上記第１の顔検出アルゴリズムの非顔画像領域の誤検出率に比較して低い誤検出率を有する第２の顔検出アルゴリズムを用いて、上記周辺検出領域の顔画像領域らしさを示す顔周辺尤度を算出する顔周辺尤度算出手段と、上記算出された顔周辺尤度を所定の第２のしきい値と比較し、上記第２のしきい値未満の顔周辺尤度を有する周辺検出領域に含まれる検出領域を非顔画像領域であると判定する顔周辺尤度判定手段とを備える。

本発明に係る顔検出装置によれば、入力される画像データの検出領域において所定の第１の画像特徴量を算出し、上記第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて上記検出領域の顔画像領域らしさを示す顔尤度を算出する顔尤度算出手段と、上記第１のしきい値以上の顔尤度を有する検出領域を含む周辺検出領域を設定し、上記周辺検出領域において所定の第２の画像特徴量を算出し、上記第２の画像特徴量に基づいて、上記第１の顔検出アルゴリズムに比較して低速な顔検出アルゴリズムであって、上記第１の顔検出アルゴリズムの顔画像領域の検出率に比較して高い検出率及び上記第１の顔検出アルゴリズムの非顔画像領域の誤検出率に比較して低い誤検出率を有する第２の顔検出アルゴリズムを用いて、上記周辺検出領域の顔画像領域らしさを示す顔周辺尤度を算出する顔周辺尤度算出手段とを備えたので、照明環境及び顔の向きの変動によって顔画像のパターンが大きく変動するときにも、従来技術に比較して誤検出率を上げることなく高い検出率で高速に顔画像領域を検出できる。

以下、本発明に係る実施の形態について図面を参照して説明する。なお、以下の各実施の形態において、同様の構成要素については同一の符号を付している。

図１は、本発明の実施の形態１に係る顔検出装置の構成を示すブロック図であり、図２は、図１のＣＰＵ２０によって実行される顔検出処理を示すフローチャートである。また、図３は、図２の顔検出処理によって処理される画像データの一例並びに当該顔検出処理に用いられる検出領域Ａ１及び周辺検出領域Ａ２を示す図である。

図１において、本実施の形態に係る顔検出装置は、画像入力部１と、ＣＰＵ２０と、判定結果出力部８とを備えて構成される。画像入力部１はインターフェース回路であって、監視カメラ装置（図示せず。）などの画像撮影装置からの画像データを入力して当該画像データに対して顔検出装置とのインターフェース処理を実行してＣＰＵ２０に出力する。また、ＣＰＵ２０は、画像走査部２と、顔尤度算出部３と、顔尤度判定部４と、顔周辺尤度算出部５と、顔周辺尤度判定部６と、統合尤度判定部７とを備えて構成され、詳細後述する顔検出処理によって、入力される画像データ中の顔画像領域の位置と大きさとを検出して判定結果出力部８に出力する。判定結果出力部８はディスプレイ装置であって、入力される画像データの画像上に上記検出された顔画像領域を出力して表示する。

なお、本実施の形態及び以下の各実施の形態に係る顔検出処理によって検出される顔画像領域のパラメータは、矩形形状を有する当該顔画像領域の左上の角の画像データ中の位置（ｘ，ｙ）及び当該顔画像領域の大きさ（幅ｗ及び高さｈ）である。ここで、画像データ中のＸ軸及びＹ軸を、図３に示すように定義する。

本実施の形態に係る顔検出装置は、
（ａ）入力される画像データの検出領域Ａ１において第１の画像特徴量を算出し、第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて検出領域Ａ１の顔画像領域らしさを示す顔尤度Pfaceを算出する顔尤度算出部３と、
（ｂ）算出された顔尤度Pfaceをしきい値αと比較し、しきい値α未満の顔尤度Pfaceを有する検出領域Ａ１を非顔画像領域であると判定する顔尤度判定部４と、
（ｃ）しきい値α以上の顔尤度Pfaceを有する検出領域Ａ１を含む周辺検出領域Ａ２を設定し、周辺検出領域Ａ２において第２の画像特徴量を算出し、第２の画像特徴量に基づいて、第１の顔検出アルゴリズムに比較して低速な顔検出アルゴリズムであって、第１の顔検出アルゴリズムの顔画像領域の検出率に比較して高い検出率及び第１の顔検出アルゴリズムの非顔画像領域の誤検出率に比較して低い誤検出率を有する第２の顔検出アルゴリズムを用いて、周辺検出領域Ａ２の顔画像領域らしさを示す顔周辺尤度Pneighborを算出する顔周辺尤度算出部５と、
（ｄ）算出された顔周辺尤度Pneighborをしきい値βと比較し、しきい値β未満の顔周辺尤度Pneighborを有する周辺検出領域Ａ２に含まれる検出領域Ａ１を非顔画像領域であると判定する顔周辺尤度判定部６とを備えたことを特徴としている。

次に、図２を参照して、本実施の形態に係る顔検出処理を説明する。ステップＳ１において、画像走査部２は画像入力部１を介して入力される画像データを走査する。具体的には、画像走査部２は、検出領域Ａ１のＸ座標ｘ，Ｙ座標ｙ，幅ｗ及び高さｈを以下の式（１）〜式（４）及び図３に示すようにそれぞれ変化させることにより、検出領域Ａ１で画像領域全体を走査する。

ここで、ｘ０，ｙ０，ｗ０，ｈ０，Ｔ，Ｌ，Ｎは正の整数値を有する定数であり、ｓは１以上の実数の定数であり、検出領域Ａ１で画像領域全体を走査するようにそれぞれ設定される。また、幅ｗ０及び高さｈ０は検出領域Ａ１の最小の大きさを示す。

次に、ＣＰＵ２０は、検出領域Ａ１毎に以下のステップＳ２〜ステップＳ８の処理を行うことにより、当該検出領域Ａ１が顔画像領域であるか非顔画像領域であるかを判定する。まず、ステップＳ２において、顔尤度算出部３は、走査された画像データの各検出領域Ａ１において、当該検出領域Ａ１の第１の画像特徴量を算出し、算出された第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて、検出領域Ａ１の顔画像領域らしさを示す尤度である顔尤度Pfaceを算出して顔尤度判定部４に出力する。次に、ステップＳ３において、顔尤度判定部４は、算出された顔尤度Pfaceが所定のしきい値α以上であるか否かを判断し、ＹＥＳのときには検出領域Ａ１及び算出された顔尤度Pfaceを抽出して顔周辺尤度算出部５に出力してステップＳ４に進む一方、ＮＯのときには検出領域Ａ１は非顔画像領域であると判定してステップＳ８に進む。

さらに、ステップＳ４において、顔周辺尤度算出部５は、しきい値α以上の顔尤度Pfaceを有する検出領域Ａ１を含む周辺検出領域Ａ２を設定し、当該周辺検出領域Ａ２において第２の画像特徴量を算出し、算出された第２の画像特徴量に基づいて第２の顔検出アルゴリズムを用いて、周辺検出領域Ａ２の顔画像領域らしさを示す尤度である顔周辺尤度Pneighborを算出して顔周辺尤度判定部５に出力する。ここで、周辺検出領域Ａ２は、検出領域Ａ１を当該検出領域Ａ１の中心に対して所定の割合で拡大した領域であり、上記割合は、例えば、周辺検出領域Ａ２が顔輪郭及び頭部だけを含むように、又は顔輪郭、頭部及び肩を含むように予め設定される定数である。次に、ステップＳ５において、顔周辺尤度判定部６は、顔周辺尤度Pneighborが所定のしきい値β以上であるか否かを判断し、ＹＥＳのときには検出領域Ａ１及び算出された顔周辺尤度Pneighborを抽出して統合尤度判定部７に出力してステップＳ６に進み、ＮＯのときには検出領域Ａ１は非顔画像領域であると判定してステップＳ８に進む。

そして、ステップＳ６において、統合尤度判定部７は、しきい値α以上の顔尤度Pfaceを有しかつしきい値β以上の顔周辺尤度Pneighborを有する検出領域Ａ１において算出された顔尤度Pfaceと顔周辺尤度Pneighborとを乗算することにより、顔尤度Pfaceと顔周辺尤度Pneighborとを統合的に含む統合尤度Pcombined(=Pneighbor×Pface)を算出する。そして、統合尤度Pcombinedがしきい値γ以上であるか否かを判断し、ＹＥＳのときにはステップＳ７において、検出領域Ａ１は顔画像領域であると判定して、検出領域Ａ１の位置（ｘ，ｙ）及び大きさ（ｗ，ｈ）を、画像データ中の顔画像領域の位置及び大きさとして判定結果出力部８を介して出力する。一方、ステップＳ７においてＮＯのときには、ステップＳ８に進む。ステップＳ８において、検出領域Ａ１は非顔画像領域であると判定され、当該判定結果が判定結果出力部８を介して出力される。以上詳述したように、図２の顔検出処理によって、入力される画像データ中の検出領域Ａ１のうち、しきい値α以上の顔尤度Pfaceを有し、しきい値β以上の顔周辺尤度Pneighborを有し、かつしきい値γ以上の統合尤度Pcombinedを有する検出領域Ａ１が顔画像領域として抽出され、抽出された検出領域Ａ１の位置及び大きさが出力される。

次に、図２のステップＳ２及びＳ４においてそれぞれ用いられる第１及び第２の顔検出アルゴリズムについて説明する。第１の顔検出アルゴリズムは、画像領域の大部分を占める顔画像を含まない非顔画像領域と、当該顔画像領域に比較して非常に狭い領域である顔画像領域の中から、第２の顔検出アルゴリズムに比較して高速に顔画像領域を抽出するためのアルゴリズムである。このため、第１の顔検出アルゴリズムとしては、数十パーセント程度の誤検出率があったとしても、比較的小さい見逃し率で（すなわち、比較的大きい検出率で）高速に顔画像領域を検出できるアルゴリズムを用いることが望ましい。例えば、第１の顔検出アルゴリズムとして、非特許文献１〜非特許文献３に係る方法を用いてもよい。非特許文献１では、例えば、検出領域の輝度値の分布に基づいて画像特徴量であるハール（Haar）特徴量を算出し、算出されたハール特徴量に基づいて、学習アルゴリズムとしてアダブースト（AdaBoost）を用いて顔尤度Pfaceを算出する。

監視カメラ映像などの画像撮影装置によって取得された画像データに含まれる顔画像領域内の画像パターンは、上下左右方向の様々な顔の向きの変化並びに照明の明るさ、暗さ及び均一性などの照明環境の変動に依存して大きく変動する。このため、第１の顔検出アルゴリズムを用いて算出された顔尤度Pfaceがしきい値α以上である検出領域Ａ１は、顔画像領域の他に非顔画像領域も含む。

本実施の形態では、顔検出アルゴリズムによって誤検出率の大きさが異なることに着目し、しきい値α以上の顔尤度Pfaceを有する検出領域Ａ１（図２のステップＳ３参照。）において、第２の顔検出アルゴリズムを用いて顔周辺尤度Pneighborを算出する。ここで、事前確率として第１の顔検出アルゴリズムと組み合わせた場合に、効率的に誤検出率を下げることができかつ比較的高い事後確率が得られる顔検出アルゴリズムを、第２の顔検出アルゴリズムとして用いる。具体的には、第２の顔検出アルゴリズムは、第１の顔検出アルゴリズムとの同時確率を考えた場合に、第１の検出アルゴリズムの検出率より高い検出率及び第１の検出アルゴリズムの誤検出率より低い誤検出率を有する。これにより、従来技術に比較して検出率を下げることなく、誤検出率だけを下げることができる。また、第１の顔検出アルゴリズムは第２の顔検出アルゴリズムに比較して高速であり、これにより、従来技術に比較して高速に顔画像領域を検出できる。

さらに、顔尤度算出部３は、検出領域Ａ１の第１の画像特徴量に基づいて顔尤度Pfaceを算出し、顔周辺尤度算出部６は、周辺検出領域Ａ２の所定の第２の画像特徴量に基づいて顔周辺尤度Pneighborを算出して出力する。第２の画像特徴量は第１の画像特徴量に比較して検出領域内Ａ１の顔画像のパターンの変化の影響を受けにくい画像特徴量である。本実施の形態において、第１の画像特徴量は検出領域Ａ１内の輝度値の分布を表す画像特徴量であって、第２の画像特徴量に比較して照明環境の変動の影響を受けやすい。一方、周辺検出領域Ａ２内の輝度の勾配の方向のヒストグラムである。従って、第２の画像特徴量は、顔の輪郭を含む顔の形状を表し、照明環境の変動や顔の向きの影響を受けにくく、かつ顔の内部の画像パターンの変化によらず一定な値を有する画像特徴量であり、本実施の形態では、輝度値に基づいて算出されるエッジのデータを用いて計算される。第２の顔検出アルゴリズムにおいて第２の画像特徴量と組み合わせて用いられる学習アルゴリズムについては特に制約はないが、例えばサポートベクターマシン（Support Vector Machine（ＳＶＭ））を用いて顔検出器を生成することができる。また、非特許文献３の方法によって、サポートベクターマシンからのスコアを用いて、識別器から出力される値を顔周辺尤度Pneighborに変換できる。

本実施の形態によれば、顔尤度算出部３は、走査された画像データの各検出領域Ａ１において第１の画像特徴量を算出し、算出された第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて検出領域Ａ１の顔尤度Pfaceを算出し、顔周辺尤度算出部５は、しきい値α以上の顔尤度Pfaceを有する各検出領域Ａ１において、当該検出領域Ａ１を含む周辺検出領域Ａ２を設定し、周辺検出領域Ａ２において第２の画像特徴量を算出し、算出された第２の画像特徴量に基づいて周辺検出領域Ａ２の顔周辺尤度Pneighborを算出して出力する。ここで、第２の顔検出アルゴリズムは第１の顔検出アルゴリズムに比較して低速な顔検出アルゴリズムであり、第２の顔検出アルゴリズムは第１の顔検出アルゴリズムの検出率より高い検出率及び第１の顔検出アルゴリズムの誤検出率より低い誤検出率を有するので、照明環境及び顔の向きの変動によって顔画像のパターンが大きく変動するときにも、従来技術に比較して誤検出率を上げることなく高い検出率で高速に顔画像領域を検出できる。

また、顔周辺尤度算出部５は、周辺検出領域Ａ２を上検出領域Ａ１よりも広くなるように設定し、かつ第２の画像特徴量は、所定の第１の画像特徴量に比較して検出領域Ａ１内の顔画像のパターンの変化の影響を受けにくい画像特徴量である。従って、従来技術に比較して高い検出率で顔画像領域を検出できる。

さらに、しきい値α以上の顔尤度Pfaceを有しかつしきい値β以上の顔周辺尤度Pneighborを有する検出領域Ａ１において算出された顔尤度Pface及び算出された顔周辺尤度Pneighborに基づいて、顔尤度Pfaceと顔周辺尤度Pneighborとを統合的に含む尤度である統合尤度Pcombinedを算出し、算出された統合尤度Pcombinedをしきい値γと比較し、しきい値γ以上の統合尤度Pcombinedを有する検出領域Ａ１を顔画像領域であると判定する統合尤度判定部７を備えたので、従来技術に比較して高い検出率で顔画像領域を検出できる。

なお、図２のステップＳ２において、検出領域Ａ１の位置及び大きさを変化させることによって画像領域全体を走査したが、本発明はこれに限られず、画像ピラミッドとよばれる方法を用いてもよい。画像ピラミッドでは、画像領域自体の大きさを段階的に縮小し、大きさの異なる各画像領域に対して固定の大きさを有する矩形形状を有する検出領域を移動させる。これにより、画像領域中の異なる大きさの顔画像領域を検出できる。

実施の形態２．
図４は、本発明の実施の形態２に係る顔検出装置の構成を示すブロック図であり、図５は、図４のＣＰＵ２０Ａによって実行される顔検出処理を示すフローチャートである。また、図６は、図５の顔検出処理によって処理される画像データの一例及び存在しうる顔画像領域Ｆ１，Ｆ２及び存在し得ない顔画像領域Ｆ３，Ｆ４を示す図である。図４において、実施の形態２の顔検出装置は、画像入力部１と、ＣＰＵ２０Ａと、顔分布データベースメモリ２１とを備えて構成され、実施の形態１の顔検出装置と比較して、以下の点が異なる。

（ａ）検出領域Ａ１の画像データ内での位置（ｘ，ｙ）及び検出領域Ａ１の大きさを示すパラメータｓｐと、画像データ内での位置（ｘ，ｙ）及び大きさを示すパラメータｓｐを有する顔画像領域が存在する確率である画像空間内顔尤度Pcamera1との関係を示す顔分布データベースを予め格納した顔分布データベースメモリ２１をさらに備えたこと。
（ｂ）顔分布データベースを参照して、入力される画像データの検出領域Ａ１の画像空間内顔尤度Pcamera1を算出する画像空間内顔尤度算出部１１をさらに備えたこと。
（ｃ）画像空間内顔尤度Pcamera1をしきい値ηと比較し、しきい値η未満の画像空間内顔尤度Pcamera1を有する検出領域Ａ１を非顔画像領域であると判定する画像空間内顔尤度判定部１２をさらに備えたこと。
（ｄ）しきい値α以上の顔尤度Pfaceを有し、しきい値β以上の顔周辺尤度Pneighborを有しかつしきい値η以上の画像空間内顔尤度Pcamera1を有する検出領域Ａ１において算出された顔尤度Pface、算出された顔周辺尤度Pneighbor及び算出された画像空間内顔尤度Pcamera1に基づいて、顔尤度Pfaceと顔周辺尤度Pneighborと画像空間内顔尤度Pcamera1とを統合的に含む尤度である統合尤度Pcombined1を算出し、算出された統合尤度Pcombined1を所定のしきい値γと比較し、しきい値γ以上の統合尤度Pcombined1を有する検出領域Ａ１を顔画像領域であると判定する統合尤度判定部７Ａをさらに備えたこと。
（ｅ）顔尤度算出部３は、入力される画像データの検出領域Ａ１に代えて、しきい値η以上の画像空間内顔尤度Pcamera1を有する検出領域Ａ１において顔尤度Pfaceを算出すること。

検出領域Ａ１は、当該検出領域Ａ１の位置（ｘ，ｙ）及び当該検出領域Ａ１の大きさ（ｗ，ｈ）を示すパラメータｓｐで表される。ここで、ｓｐは、以下の式で表される。

例えば、図６に示すように、監視カメラ装置で撮影された廊下の画像データの場合には、通常は、その廊下を歩く人物の顔はカメラに近づくにつれて、画像領域の上から下へと移動しかつ大きくなる。このとき、顔画像領域は、顔画像領域Ｆ１（ｘ１，ｘ１，ｓｐ１）から顔画像領域Ｆ２（ｘ２，ｘ２，ｓｐ２）のように変化する。このため、画像領域の上部に顔画像領域Ｆ３（ｘ３，ｘ３，ｓｐ３）のような比較的大きい顔画像領域が存在する確率及び画像領域の下部に顔画像領域Ｆ４（ｘ４，ｘ４，ｓｐ４）のような比較的大きい顔画像領域が存在する確率は極めて小さい。

このとき、位置（ｘ，ｙ）に存在しうる顔画像領域の大きさを示すパラメータｓｐは、平均値spmean及び標準偏差spsigmaを有する正規分布に従う。本実施の形態では、位置（ｘ，ｙ）にパラメータｓｐで表される大きさを有する顔画像領域が存在する確率（尤もらしさ）である画像空間内顔尤度Pcamera1(x,y,sp)を、以下の式（５）で表す。

図４において、顔分布データベースメモリ２１は、検出領域Ａ１の位置（ｘ，ｙ）及び検出領域Ａ１の大きさ（ｗ，ｈ）を示すパラメータｓｐと、位置（ｘ，ｙ）にパラメータｓｐで表される大きさを有する顔画像領域が存在する確率である画像空間内顔尤度Pcamera1(x,y,sp)との関係を示す顔分布データベースを予め格納している。例えば、図６に示した例では、画像領域Ｆ１の画像空間内顔尤度Pcamera1(x1,y1,sp1)及び画像領域Ｆ２の画像空間内顔尤度Pcamera1(x2,y2,sp2)は、画像領域Ｆ３の画像空間内顔尤度Pcamera1(x3,y3,sp3)及び画像領域Ｆ４の画像空間内顔尤度Pcamera1(x4,y4,sp4)よりも大きい。

図５の顔検出処理は、図２の顔検出処理と比較して、ステップＳ１とステップＳ２との間にステップＳ１１及びステップＳ１２を追加し、ステップＳ６，Ｓ７をステップＳ６Ａ，Ｓ７Ａにそれぞれ置き換えた点のみが異なる。ＣＰＵ２０Ａは、ステップＳ１に引き続いて、検出領域Ａ１毎に以下のステップＳ１１，Ｓ１２，Ｓ２〜Ｓ８の処理を行うことにより、当該検出領域Ａ１が顔画像領域であるか非顔画像領域であるかを判定する。

ステップＳ１１において、画像空間内顔尤度算出部１１は、顔分布データベースメモリ２１内の顔分布データベースを参照して、検出領域Ａ１(x,y,sp)において画像空間顔尤度Pcamera1(x,y,sp)を算出して画像空間内顔尤度判定部１２に出力する。次に、ステップＳ１２において、画像空間内顔尤度判定部１２は、画像空間顔尤度Pcamera1(x,y,sp)が所定のしきい値η以上であるか否かを判断し、ＹＥＳのときには検出領域Ａ１及び算出された画像空間顔尤度Pcamera1(x,y,sp)を抽出して顔尤度算出部３に出力してステップＳ２に進み、ＮＯのときには検出領域Ａ１は非顔画像領域であると判定してステップＳ８に進む。

また、ステップＳ６Ａにおいて、統合尤度判定部７Ａは、しきい値α以上の顔尤度Pfaceを有し、しきい値β以上の顔周辺尤度Pneighborを有しかつしきい値η以上の画像空間内顔尤度Pcamera1を有する検出領域Ａ１において算出された顔尤度Pface、算出された顔周辺尤度Pneighbor及び算出された画像空間内顔尤度Pcamera1とを乗算することにより統合尤度Pcombined1(=Pneighbor×Pface×Pcamera1)を算出し、算出された統合尤度Pcombined1を所定のしきい値γと比較し、ＹＥＳのときにはステップＳ７Ａにおいて、しきい値γ以上の統合尤度Pcombined1を有する検出領域Ａ１を顔画像領域であると判定して検出領域Ａ１の位置（ｘ，ｙ）及び大きさ（ｗ，ｈ）を、画像データ中の顔画像領域の位置及び大きさとして判定結果出力部８を介して出力する。一方、ステップＳ７ＡにおいてＮＯのときには、ステップＳ８に進む。

本実施の形態によれば、顔分布データベースメモリ２１の顔分布データベースを参照して、走査された画像データの各検出領域Ａ１において画像空間内顔尤度Pcamera1aを算出する画像空間内顔尤度算出部１１と、画像空間内顔尤度Pcamera1がしきい値η以上であるか否かを判断する画像空間内顔尤度判定部１２とを備えたので、実施の形態１に比較してさらに低い誤検出率で顔画像領域を検出できる。

また、画像空間内顔尤度算出部11及び画像空間内顔尤度判定部１２を顔尤度算出部３の前段に備えたので、画像空間内顔尤度Pcamera1がしきい値γより小さい検出領域Ａ１において顔尤度Pfaceの算出を行う必要が無く、実施の形態１に比較してさらに高速に顔画像領域を検出できる。

さらに、顔尤度Pfaceと顔周辺尤度Pneighborと画像空間顔尤度Pcamera1とに基づいて統合尤度Pcombined1を算出し、しきい値γ以上の統合尤度Pcombined1を有する検出領域Ａ１を、顔画像領域として出力するので、実施の形態１に比較してさらに高い検出率で顔画像領域を検出できる。

なお、顔分布データベースメモリ２１内の顔分布データベース３１を、実際に検出された顔画像領域のデータに基づいて作成してもよい。

実施の形態３．
図７は、本発明の実施の形態３に係る顔検出装置の構成を示すブロック図であり、図８は、図７のＣＰＵ２０Ｂによって実行される顔検出処理を示すフローチャートである。図７において、実施の形態３の顔検出装置は、画像入力部１と、ＣＰＵ２０Ｂと、顔分布データベースメモリ２１Ａと、空間位置情報入力部２２とを備えて構成され、実施の形態２の顔検出装置と比較して、以下の点が異なる。

（ａ）検出領域Ａ１内に存在する物体の空間位置データを入力する空間位置情報入力部２２をさらに備えたこと。
（ｂ）顔分布データベースメモリ２１に代えて、検出領域Ａ１の画像データ内での位置（ｘ，ｙ）及び検出領域Ａ１の大きさを示すパラメータｓｐと、空間位置データと、空間位置データに対応する検出領域Ａ１に画像データ内での位置（ｘ，ｙ）及び大きさを示すパラメータｓｐを有する顔画像領域が存在する確率である画像空間内顔尤度Pcamera2との関係を示す顔分布データベースを予め格納した顔分布データベースメモリ２１Ａを備えたこと。
（ｃ）画像空間内顔尤度判定部１２に代えて、画像空間内顔尤度Pcamera2をしきい値ηと比較し、しきい値η未満の画像空間内顔尤度Pcamera2を有する検出領域Ａ１を非顔画像領域であると判定する画像空間内顔尤度判定部１２Ａを備えたこと。
（ｄ）統合尤度判定部７Ａに代えて、しきい値α以上の顔尤度Pfaceを有し、しきい値β以上の顔周辺尤度Pneighborを有しかつしきい値η以上の画像空間内顔尤度Pcamera2を有する検出領域Ａ１において算出された顔尤度Pface、算出された顔周辺尤度Pneighbor及び算出された画像空間内顔尤度Pcamera2に基づいて、顔尤度Pfaceと顔周辺尤度Pneighborと画像空間内顔尤度Pcamera2とを統合的に含む尤度である統合尤度Pcombined2を算出し、算出された統合尤度Pcombined2を所定のしきい値γと比較し、しきい値γ以上の統合尤度Pcombined2を有する検出領域Ａ１を顔画像領域であると判定する統合尤度判定部７Ｂを備えたこと。
（ｅ）顔尤度算出部３は、画像空間内顔尤度Pcamera1に代えて、しきい値η以上の画像空間内顔尤度Pcamera2を有する検出領域Ａ１において顔尤度Pfaceを算出すること。

図７において、空間位置情報入力部２２は、検出領域Ａ１に存在する物体の監視カメラ装置からの距離ｄを検出するステレオカメラ装置又は超音波センサなどの距離センサを有する空間位置検出装置（図示せず。）から、当該距離ｄのデータを入力する。また、顔分布データベースメモリ２１Ａは、検出領域Ａ１の位置（ｘ，ｙ）及び大きさ（ｗ，ｈ）と、当該検出領域Ａ１に存在する物体の監視カメラ装置ｄからの距離と、画像空間内顔尤度Pcamera2(x,y,sp,d)との関係を示す顔分布データベースを予め格納する。

図８の顔検出処理は、図５の顔検出処理と比較して、ステップＳ１１，Ｓ１２，Ｓ６Ａ，Ｓ７Ａに代えてステップＳ１１Ａ，Ｓ１２Ａ，Ｓ６Ｂ，Ｓ７Ｂを有することを特徴としている。ステップＳ１１Ａにおいて、画像空間内顔尤度算出部１１Ａは、空間位置情報入力部２２からの距離データに基づいて、顔分布データベースメモリ２１Ａ内の顔分布データベースを参照して、検出領域Ａ１(x,y,sp)において画像空間顔尤度Pcamera2(x,y,sp,d)を算出して画像空間内顔尤度判定部１２Ａに出力する。次に、ステップＳ１２Ａにおいて、画像空間内顔尤度判定部１２Ａは、画像空間顔尤度Pcamera2(x,y,sp,d)が所定のしきい値η以上であるか否かを判断し、ＹＥＳのときには検出領域Ａ１及び算出された画像空間顔尤度Pcamera2(x,y,sp,d)を抽出して顔尤度算出部３に出力してステップＳ２に進み、ＮＯのときには検出領域Ａ１は非顔画像領域であると判定してステップＳ８に進む。

また、ステップＳ６Ｂにおいて、統合尤度判定部７Ｂは、しきい値α以上の顔尤度Pfaceを有し、しきい値β以上の顔周辺尤度Pneighborを有しかつしきい値η以上の画像空間内顔尤度Pcamera2を有する検出領域Ａ１において算出された顔尤度Pface、算出された顔周辺尤度Pneighbor及び算出された画像空間内顔尤度Pcamera2とを乗算することにより統合尤度Pcombined2(=Pneighbor×Pface×Pcamera2)を算出し、算出された統合尤度Pcombined2を所定のしきい値γと比較し、ＹＥＳのときにはステップＳ７Ｂにおいて、しきい値γ以上の統合尤度Pcombined2を有する検出領域Ａ１を顔画像領域であると判定して検出領域Ａ１の位置（ｘ，ｙ）及び大きさ（ｗ，ｈ）を、画像データ中の顔画像領域の位置及び大きさとして判定結果出力部８を介して出力する。一方、ステップＳ７ＡにおいてＮＯのときには、ステップＳ８に進む。

本実施の形態によれば、距離ｄに基づいて、顔分布データベースメモリ２１Ａの顔分布データベースを参照して、検出領域Ａ１の画像空間内顔尤度Pcamera2を算出する画像空間内顔尤度算出部１１Ａを備えたので、実施の形態２に比較してさらに低い誤検出率で顔画像領域を検出できる。

変形例．
なお、実施の形態２の顔検出処理（図５）において、ステップＳ１１及びステップＳ１２をステップＳ３の次に実行してもよい。また、実施の形態３の顔検出処理（図８）において、ステップＳ１１Ａ及びステップＳ１２ＡをステップＳ３の次に実行してもよい。

さらに、上記各実施の形態に係る顔検出装置は人間の顔を含む顔画像領域の位置及び大きさを検出したが、本発明はこれに限られず、歩行者、車両、標識又は看板などを含む画像領域を検出するように構成してもよい。

以上詳述したように、本発明に係る顔検出装置によれば、入力される画像データの検出領域において所定の第１の画像特徴量を算出し、上記第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて上記検出領域の顔画像領域らしさを示す顔尤度を算出する顔尤度算出手段と、上記第１のしきい値以上の顔尤度を有する検出領域を含む周辺検出領域を設定し、上記周辺検出領域において所定の第２の画像特徴量を算出し、上記第２の画像特徴量に基づいて、上記第１の顔検出アルゴリズムに比較して低速な顔検出アルゴリズムであって、上記第１の顔検出アルゴリズムの顔画像領域の検出率に比較して高い検出率及び上記第１の顔検出アルゴリズムの非顔画像領域の誤検出率に比較して低い誤検出率を有する第２の顔検出アルゴリズムを用いて、上記周辺検出領域の顔画像領域らしさを示す顔周辺尤度を算出する顔周辺尤度算出手段とを備えたので、照明環境及び顔の向きの変動によって顔画像のパターンが大きく変動するときにも、従来技術に比較して誤検出率を上げることなく高い検出率で高速に顔画像領域を検出できる。

本発明の実施の形態１に係る顔検出装置の構成を示すブロック図である。 図１のＣＰＵ２０によって実行される顔検出処理を示すフローチャートである。 図２の顔検出処理によって処理される画像データの一例並びに当該顔検出処理に用いられる検出領域Ａ１及び周辺検出領域Ａ２を示す図である。 本発明の実施の形態２に係る顔検出装置の構成を示すブロック図である。 図４のＣＰＵ２０Ａによって実行される顔検出処理を示すフローチャートである。 図５の顔検出処理によって処理される画像データの一例及び存在しうる顔画像領域Ｆ１，Ｆ２及び存在し得ない顔画像領域Ｆ３，Ｆ４を示す図である。 本発明の実施の形態３に係る顔検出装置の構成を示すブロック図である。 図７のＣＰＵ２０Ｂによって実行される顔検出処理を示すフローチャートである。

符号の説明

１ 画像入力部、２ 画像走査部、３ 顔尤度算出部、４ 顔尤度判定部、５ 顔周辺尤度算出部、６ 顔周辺尤度判定部、７，７Ａ，７Ｂ 統合尤度判定部、８ 判定結果出力部、１１ 画像空間内顔尤度算出部、１２，１２Ａ 画像空間内顔尤度判定部、２０，２０Ａ，２０Ｂ ＣＰＵ、２１，２１Ａ 顔分布データベースメモリ、２２ 空間位置情報入力部、Ａ１ 検出領域、Ａ２ 周辺検出領域。

Claims (8)

1. 入力される画像データの検出領域において所定の第１の画像特徴量を算出し、上記第１の画像特徴量に基づいて、第１の顔検出アルゴリズムを用いて上記検出領域の顔画像領域らしさを示す顔尤度を算出する顔尤度算出手段と、
   上記算出された顔尤度を所定の第１のしきい値と比較し、上記第１のしきい値未満の顔尤度を有する検出領域を非顔画像領域であると判定する顔尤度判定手段と、
   上記第１のしきい値以上の顔尤度を有する検出領域を含む周辺検出領域を設定し、上記周辺検出領域から上記検出領域を除いた領域において所定の第２の画像特徴量を算出し、上記第２の画像特徴量に基づいて、上記第１の顔検出アルゴリズムに比較して低速な顔検出アルゴリズムであって、上記第１の顔検出アルゴリズムの顔画像領域の検出率に比較して高い検出率及び上記第１の顔検出アルゴリズムの非顔画像領域の誤検出率に比較して低い誤検出率を有する第２の顔検出アルゴリズムを用いて、上記周辺検出領域の顔画像領域らしさを示す顔周辺尤度を算出する顔周辺尤度算出手段と、
   上記算出された顔周辺尤度を所定の第２のしきい値と比較し、上記第２のしきい値未満の顔周辺尤度を有する周辺検出領域に含まれる検出領域を非顔画像領域であると判定する顔周辺尤度判定手段とを備えたことを特徴とする顔検出装置。
2. 上記第２の画像特徴量は顔の輪郭を表すことを特徴とする請求項１記載の顔検出装置。
3. 上記顔周辺尤度算出手段は、上記周辺検出領域を上記検出領域よりも広くなるように設定し、
   上記第２の画像特徴量は、上記第１の画像特徴量に比較して上記検出領域内の顔画像のパターンの変化の影響を受けにくい画像特徴量であることを特徴とする請求項２記載の顔検出装置。
4. 上記第１の画像特徴量は上記検出領域内の輝度値の分布を表す画像特徴量であり、
   上記第２の画像特徴量は上記周辺検出領域内の輝度値の勾配の方向の分布を表す画像特徴量であることを特徴とする請求項３記載の顔検出装置。
5. 上記検出領域の画像データ内での位置及び大きさを示すパラメータと、上記画像データ内での位置及び大きさを有する顔画像領域が存在する確率である画像空間内顔尤度との関係を示す顔分布データベースを予め格納した顔分布データベースメモリと、
   上記顔分布データベースを参照して、上記入力される画像データの検出領域の画像空間内顔尤度を算出する画像空間内顔尤度算出手段と、
   上記画像空間内顔尤度を所定の第３のしきい値と比較し、上記第３のしきい値未満の画像空間内顔尤度を有する検出領域を非顔画像領域であると判定する画像空間内顔尤度判定手段とをさらに備え、
   上記顔尤度算出手段は、上記第３のしきい値以上の画像空間内顔尤度を有する検出領域において上記顔尤度を算出することを特徴とする請求項１乃至４のうちのいずれか１つに記載の顔検出装置。
6. 上記検出領域内に存在する物体の空間位置データを入力する空間位置情報入力手段と、
   上記検出領域の画像データ内での位置及び大きさを示すパラメータと、上記空間位置データと、上記空間位置データに対応する検出領域に上記画像データ内での位置及び大きさを有する顔画像領域が存在する確率である画像空間内顔尤度との関係を示す顔分布データベースを予め格納した顔分布データベースメモリと、
   上記入力された空間位置データに基づいて、上記顔分布データベースを参照して、上記入力される画像データの検出領域の画像空間内顔尤度を算出する画像空間内顔尤度算出手段と、
   上記算出された画像空間内顔尤度を所定の第３のしきい値と比較し、上記第３のしきい値未満の画像空間内顔尤度を有する検出領域を非顔画像領域であると判定する画像空間内顔尤度判定手段とをさらに備え、
   上記顔尤度算出手段は、上記第３のしきい値以上の画像空間内顔尤度を有する検出領域において上記顔尤度を算出することを特徴とする請求項１乃至４のうちのいずれか１つに記載の顔検出装置。
7. 上記第１のしきい値以上の顔尤度を有しかつ上記第２のしきい値以上の顔周辺尤度を有する検出領域において上記算出された顔尤度及び上記算出された顔周辺尤度に基づいて、上記顔尤度と上記顔周辺尤度とを統合的に含む尤度である第１の統合尤度を算出し、上記算出された第１の統合尤度を所定の第４のしきい値と比較し、上記第４のしきい値以上の第１の統合尤度を有する検出領域を顔画像領域であると判定する第１の統合尤度判定手段をさらに備えたことを特徴とする請求項１乃至４のうちのいずれか１つに記載の顔検出装置。
8. 上記第１のしきい値以上の顔尤度を有し、上記第２のしきい値以上の顔周辺尤度を有しかつ上記第３のしきい値以上の画像空間内顔尤度を有する検出領域において上記算出された顔尤度、上記算出された顔周辺尤度及び上記算出された画像空間内顔尤度に基づいて、上記顔尤度と上記顔周辺尤度と上記画像空間内顔尤度とを統合的に含む尤度である第２の統合尤度を算出し、上記算出された第２の統合尤度を所定の第４のしきい値と比較し、上記第４のしきい値以上の第２の統合尤度を有する検出領域を顔画像領域であると判定する第２の統合尤度判定手段をさらに備えたことを特徴とする請求項５又は６記載の顔検出装置。