JP4472781B2 - デジタル画像取得装置におけるリアルタイムの顔探知 - Google Patents

Description

本発明は、取得装置の画像処理において、改良された方法および装置を提供するものである。具体的には、本発明は、デジタル画像取得装置において、リアルタイムでの顔探知を改良したものである。

デジタル画像取得装置における顔探知は、ビデオストリームやカメラのプレビューといった一連の画像において、人間の顔をマーキングするものである。顔探知によって、撮影者に対して、画像内における顔の位置を示すことができ、顔位置の認識に基づいて、取得パラメータを変更したり、画像の主な処理を行わせたりすることができる。

一般的に、画像探知システムでは、２つの主なモジュールが用いられる。（i）取得画像又は連続した複数の画像において、新しい候補である顔領域の位置のための検出モジュールと、（ii）顔領域を確定するための探知モジュールとがある。

公知である高速顔検出アルゴリズム（Fast-Face Detection Algorithm）が米国特許出願公開第２００２／０１０２０２４号明細書において、Violla Jonesによって開示されている。簡単には、まず、取得画像、通常は、ビデオストリームにおける画像フレームからインテグラルイメージを抽出する。インテグラルイメージの各要素は、すべての点および画像内の点の左の明度の合計として算出される。そして、サブウィンドウの底部右側の点におけるインテグラルイメージの値から、サブウィンドウの上部左側の点におけるインテグラルイメージの値を減じることにより、画像内におけるサブウィンドウの合計の明度を得ることができる。また、隣接するサブウィンドウの明度は、サブウィンドウの点から、インテグラルイメージの値の特定の組み合わせを用いて、比較することができる。

矩形のHaar特徴に基づく３２分類器のチェーン（カスケード）は、インテグラルイメージ内のサブウィンドウに対して分類器を用いることにより、インテグラルイメージとともに用いることができる。取得画像を完全に分析するためには、全体の画像をカバーするまで、インテグラルイメージにおいてサブウィンドウを徐々にシフトさせる。

全体のインテグラルイメージにおいてサブウィンドウを移動させることに加えて、顔のサイズの可能な領域をカバーするために、サブウィンドウの基準（解像度）を大きくしたり、小さくしたりしなければならない。Violla-Jonesでは、１．２５の基準（解像度）の因子が用いられ、一般的には、ＸＶＧＡサイズの画像において可能な顔サイズをカバーするためには、互いに異なる約１０−１２の基準（解像度）の範囲が必要となる。

このため、大きなサイズのサブウィンドウが、演算のために、インテグラルイメージ内の中間点を用いることができるとき、インテグラルイメージの解像度は、最も小さいサイズの分類器のサブウィンドウ、例えば、検出対象となる最も小さなサイズの顔によって、決定される。

近年、Violla-Jonesの元の原理を変更したものが多く知られている。これらは、矩形のHaar特徴の分類器を適用し、Violla-Jonesにおけるインテグラルイメージの技術を用いている。

Violla-Jonesの顔検出は他の顔検出よりも大幅に速く行うことができるが、依然として多くの演算が要求され、Pentiumクラスのコンピュータにおいてリアルタイムの性能が達成できるだけである。携帯型画像取得装置（例えば、デジタルカメラ、携帯型コンピュータ、カメラを備えた携帯電話）といった資源制限の埋め込みシステムでは、ビデオに対して、リアルタイムのフレームレートでこのような顔検知を実行することはできない。一般的なデジタルカメラでのテストから、３−４分類器のカスケードで、１０−１２サブウィンドウの基準（解像度）の範囲を完了させることができるだけである。これは、初期の顔検出における幾つかのレベルを達成することはできるが、容認できない高い失敗割合がある。

米国特許出願公開第２００５／０１４７２７８において、Ruiは、複数のキュー（cues）を用いて複数の個人を自動的に検出して探知するシステムを開示している。Ruiは、高速顔検出として、Violla-Jonesの技術を用いている。Violla-Jonesの処理オーバーヘッドを避けるためには、ビデオシーケンスのフレームにおいて新規の顔を検出するために、動作、オーディオ、高速顔検出の組み合わせを利用する自動初期化モジュールを用いることを開示している。残りのシステムでは、フレーム間において、次に存在し、新しく発見された顔候補領域に対して公知の顔探知が適用される。また、Ruiは、完全な顔検出を実行するためには、幾つかのビデオフレームを省略する必要があることを開示している。

本発明の第１の観点である方法を提供する。

本発明の第１の観点は、画像ストリームにおけるすべての取得画像に対して、高解像度の完全なインテグラルイメージを計算する必要性を省略して、顔探知システムで要求されるインテグラルイメージの計算を最小限にすることにある。これは、顔検出および顔探知のための処理を最小限にしたり、フレーム間の処理間隔の間で長い分類器チェーン（classifier chain）を実行したりすることにより、高品質の結果を得ることができる。これにより、リアルタイムの顔検出や顔探知の性能および／又は精度を大幅に向上させることができる。

好ましい実施例において、顔検出時に画像取得装置で本発明が実行されるときに、カメラハードウエアの画像取得サブシステムから取得画像のサブサンプリングされたコピーが抽出され、サブサンプリング画像に対してインテグラルイメージが計算される。顔探知時において、各候補領域を囲む画像パッチに対しては、インテグラルイメージが計算される。

このような動作において、顔検出の処理は、複数のフレームにおいて行われる。このことは、効果的な動作のためには有益である。一例として、デジタル画像取得ハードウエアにおいて、１つのサイズに対してサブサンプリングさせるようにする。本発明では、写真を撮るときに、ビデオシーケンスの複数のフレームには、一般的に顔が存在しているといった事実に基づいている。本発明では、効率を大幅に向上させながら、演算の軽減が最初の顔検出に大きな影響を与えることがない。

好ましい実施例において、３−４の最も小さなサイズ（最も低い解像度）のサブサンプリング画像は、周期的に用いられる。カメラのフォーカスが無限遠に設定されているといった場合には、取得画像内に小さな（遠い）顔があるときに、大きな画像のサブサンプルが周期的に含まれる。他の実施例において、複数のサブサンプリング画像は、予測された有力の顔サイズに基づいて、予測された被写体までの距離に基づいて、変更することができる。この距離は、焦点距離やフォーカス距離に基づいて予測することができ、これらの取得パラメータは、画像装置のファームウェアにおいて、他のサブシステムから利用可能である。インテグラルイメージを生成するために順に用いられるサブサンプリング画像の解像度／基準を変更することにより、互いに異なるサイズのインテグラルイメージに対して、１つの固定されたサイズの分類器を適用することができる。このような手法は、ハードウエアの実施例に対して特に受け入れられる。この実施例において、サブサンプリング画像の記憶領域は、固定サイズのダイレクトメモリアクセス（ＤＭＡ）ウィンドウによってスキャンされることができ、Haar特徴の分類器チェーンを実行するためのデジタルロジックを、ＤＭＡウィンドウに適用することができる。ただし、幾つかのサイズの分類（ソフトウエアの実施例において）又は、複数の固定サイズの分類（ハードウエアの実施例において）を用いることができることは明らかである。

本発明の観点における重要な効果は、フレーム間において、最も低い解像度のインテグラルイメージを計算するだけである。

好ましくは、各顔候補領域を囲むフル解像度の画像パッチは、次の画像フレームを取得する前に取得される。そして、このような各画像パッチに対してインテグラルイメージが計算され、各画像パッチに対して複数の基準（解像度）の顔検出が行われる。複数の基準（解像度）の顔検出によって、顔領域であると発見された領域は、確定された顔領域となる。

本発明の第１の観点は、Ruiに記載された動作やオーディオキュー（audio queues）を行う必要がなく、しっかりした顔検出および顔探知をデジタルカメラで達成させることができる。

本発明の第２の観点である方法を提供することにある。

この観点によれば、顔探知によって画像ストリームから顔領域が検出されたときに、取得装置のファームウェアは、好ましくは取得装置に格納され、個別の識別子や関連する顔のパラメータを有するデータベースを用いて、顔の位置において顔認識アルゴリズムを動作させる。

この本発明の観点では、顔検出および顔認識のために、１つの画像を用いた、正確な動作の可能性が低いアルゴリズムの課題を低減させる。

本発明の第３の観点は、請求項３４に記載の方法を提供することにある。

肌の色調を含む領域は、実際には、顔を含むことが多いため、大部分で肌の色調を含む領域に対して顔検知器を動作させるだけで、より緩和された顔検出を行うことができる。このため、高速の顔検出を行うことができ、全体の画像に対して顔を確実に検出する必要がある厳密な顔検出を行う場合と同様の品質結果を効率的に得ることができる。

本発明の一例である実施例について、図面を参照しながら説明する。

図１は、本発明の好ましい実施例である画像処理装置における主な要素を説明するブロック図である。 図２は、図１の画像処理装置の動作を説明するフローチャートである。 図３（ａ）−（ｄ）は、本実施例の装置によって処理された画像の一例を示す。

図１は、本発明の好ましい実施例である顔探知システムの主なサブシステムを示す。実線は、画像データの流れを示し、点線は、モジュールにおける制御入力又は情報出力（例えば、検出された顔の位置）を示す。本実施例において、画像処理装置としては、デジタルスチルカメラ（ＤＳＣ）、ビデオカメラ、画像取得メカニズムを備えた携帯電話又は、カメラが内蔵又は外付けされる携帯型コンピュータがある。

デジタル画像は、画像センサ（ＣＣＤ又はＣＭＯＳ）［１０５］においてローフォーマット（Raw Format）の形式で取得され、画像サブサンプラ［１１２］は、メイン画像の小さなコピーを生成する。多くのデジタルカメラでは、画像のサブサンプリングを行うため、例えば、カメラのディスプレイにプレビュー画像を表示させるために、ハードウエアのサブシステムを既に備えている。一般的に、サブサンプリングされた画像は、ビットマップ形式（ＲＧＢ又はＹＣＣ）となっている。一方、一般的な画像取得チェーン（chain）は、ＲＡＷ画像［１１０］において、輝度や色の調節を一般的に含むポスト処理を行う。デジタル画像システムにおいて、サブサンプリングは、ポスト処理の後に行われたり、全体のポスト処理におけるフィルタチェーンが完了する前であって、特定のポスト処理のフィルタが適用された後に行われたりする。

次に、サブサンプリングされた画像は、サブサンプリング画像からインテグラルイメージを生成するインテグラルイメージ生成器［１１５］を通過する。インテグラルイメージは、次に、固定サイズ顔検出器［１２０］を通過する。顔検出は、インテグラルイメージの全体に対して行われる。ただし、インテグラルイメージが、メイン画像のサブサンプリングされたコピーのインテグラルイメージであるときには、顔検出器によって要求される処理は、比例して減らされる。サブサンプルがメイン画像の１／４である場合には、要求される処理時間は、全画像に対して要求されるものの２５％だけとなることを意味している。

この方法は、ハードウエアの実施例において特に適している。この実施例では、ハール特徴の分類器チェーンをＤＭＡウィンドウに適用することができるように、固定サイズのＤＭＡウィンドウおよびデジタルロジックによって、サブサンプリング画像のメモリ空き領域がスキャンされる。しかしながら、幾つかのサイズの分類器の使用（ソフトウエアの実施例）や、複数の固定サイズの分類の使用（ハードウエアの実施例）を妨げられない。重要な利益は、小さなインテグラルイメージを演算することにある。

高速顔検出器［２８０］を適用した後において、新しく検出された候補の顔領域［１４１］は、顔探知モジュール［１１１］を通過し、ここで、顔探知［２９０］を行う［１４２］前に、前回の分析［１４５］から確定された顔領域と、新しい候補の顔領域とが合成される。

後述する顔探知［２９０］は、確定した候補領域［１４３］のセットを探知モジュール［１１１］に戻す。更なる画像処理フィルタは、探知モジュール［１１１］によって行われ、これらの確定した領域［１４３］が顔領域であるか否かを確認したり、顔探知［２９０］によって確定されない場合には、候補としてメイン領域を確定したりする。最終的な顔領域のセット［１４５］は、モジュール［１１１］によって出力することができ、画像探知の次回の反復で使用されるだけでなく、カメラの他の部分で使用されたり、カメラ又はオフラインにおいて格納されたり、後処理のためにカメラ又はオフラインに取得画像と共に格納されたりすることができる。

主な画像取得チェーンが完了した後において、メイン画像［１３０］のフルサイズのコピーは、画像取得システムにおけるシステムメモリ［１４０］に格納しておくことができる。これは、候補領域抽出器［１２５］によってアクセスされることができる。候補領域抽出器は、顔探知［２９０］の要素であり、顔探知モジュール［１１１］から取得された顔候補領域データ［１４２］に基づいて、画像パッチを選択する。各候補領域に対する画像のパッチは、インテグラルイメージ生成器［１１５］に送られ、得られたインテグラルイメージは、ＶＪ検出器を一例として挙げられる可変サイズ検出器［１２１］に送られた後に、異なる基準（解像度）の範囲内における各候補領域のインテグラルイメージに対して、分類器チェーン（classifier chain）、好ましくは少なくとも３２分類器チェーンが適用される。

顔検出器［１２１］で採用された基準（解像度）の範囲［１４４］は、顔探知モジュール［１１１］によって決定されるとともに供給される。そして、現在の顔候補領域［１４２］の履歴に関する統計的な情報や、画像取得システム内における他のサブシステムで決定された外部メタデータに部分的に基づいている。

前者の例としては、取得された画像フレームの特定番号に対する特定サイズにおいて顔候補領域が常に保持されている場合には、顔検出器［１２１］は、この特定の基準（解像度）で適用され、高い基準（解像度）（例えば、１．２５倍大きい）および低い基準（解像度）（例えば、１．２５倍小さい）で適用されることもある。

後者の例としては、画像取得システムのフォーカスが無限遠に移動した場合には、顔検出器［１２１］において最も小さな基準（解像度）を適用する必要がある。通常、これらの基準（解像度）は、顔候補領域に対して数倍も大きいものに適用しなければならないときには、完全にカバーするために、採用されない。顔候補領域がこれ以上小さくならない最小のサイズを有していることは無駄にならない。これは、フレーム間においてユーザによるカメラの移動を特定するために用いられる。動きセンサを有する画像取得システムにおいては、特定される動作を探知することができるとともに、この情報は、基準（解像度）の選択や候補領域のサイズを更に変更するために用いることができる。

候補領域探知器［２９０］は、画像パッチの可変サイズ顔検出のすべてに基づいて確定された顔領域のセット［１４３］を顔探知モジュール［１１１］に供給する。具体的には、幾つかの候補領域が確定されるとともに、他の領域が拒否される。これらは探知器［２９０］によって明確に戻すことができたり、確定領域［１４３］および候補領域［１４２］の間における相違を分析することにより、探知モジュール［１１１］によって演算されたりすることができる。いずれの場合においても、顔探知モジュール［１１１］は、（上述したように）探知器［２９０］によって拒否された候補領域に対して代替的なテストを行うことにより、これらが次回の探知サイクルにおける候補領域［１４２］として維持できるか否かを判別したり、これらが実際に探知から除外すべきか否かを判別したりすることができる。

確定した候補領域のセット［１４５］が顔探知モジュール［１１１］によって決定された場合には、モジュール［１１１］は、サブサンプラ［１１２］と通信して、次に取得された画像がサブサンプルされたものか、検出器［２８０］に供給されたか、次回取得した画像がサブサンプルされたときの解像度を提供したか否かを判別する。

次の画像を取得したときに検出器［２８０］が動作していない場合には、次回の取得画像のために抽出器［１２５］に送られた候補領域［１４２］が、最終的に取得された画像から探知モジュール［１１１］によって確定された領域［１４５］であることが分かる。一方、顔検出器［２８０］が候補領域の新しいセット［１４１］を顔探知モジュール［１１１］に供給したときには、これらの候補領域は、確定された領域の前回のセット［１４５］と合成され、次回の画像取得のために、候補領域［１４２］のセットを抽出器［１２５］に供給する。

図２は、メインのワークフローを詳細に示している。処理は、以下に分岐される。（ｉ）検出／初期化段階では、フル画像のサブサンプリング版で動作する高速顔検出器［２８０］を用いて、新しい顔候補領域［１４１］を探索する。（ｉｉ）第２の顔検出処理［２９０］は、前回取得された１つ以上の画像フレームにおける顔の位置に基づいて決定された候補領域［１４２］に対して抽出された画像パッチで行われる。（ｉｉｉ）主な探知処理では、確定して顔領域［１４３］の統計的な履歴を演算して記憶する。ここでは、候補領域探知器［２９０］を適用する前に、高速顔検出器［２８０］を適用しているが、この順序は重要ではない。また、高速検出は、各フレームに対して実行する必要はなく、特定の環境では、複数のフレームに対して適用することができる。

このため、ステップ２０５では、メイン画像が取得され、ステップ２１０では、図１で説明したように、メイン画像に対する一次画像処理が実行される。上述したように、ステップ２１１では、サブサンプラ［１１２］がサブサンプリングされた画像を生成し、これらの画像から生成器［１１５］はインテグラルイメージを生成する。ステップ２２０において、インテグラルイメージは固定サイズ顔検出器［１２０］に供給され、固定サイズのウィンドウは、インテグラルイメージ内における顔候補領域［１４１］のセットを顔探知モジュールに送る。これらの領域のサイズは、顔探知モジュールによってサブサンプラとして特定されたサブサンプリングの基準（解像度）［１４６］によって決定され、この基準（解像度）は、前回のサブサンプリング画像の分析、又は検出器２８０による前の処理のインテグラルイメージの分析や、前回取得された画像からの探知［２９０］によるパッチだけでなく、カメラのフォーカスや移動といった他の入力に基づくものである。

ステップ２４２において、候補領域［１４１］のセットは、存在する確定した領域［１４５］のセットと合成され、確定のために用いられる、合成された候補領域［１４２］のセットを生成する。

ステップ２２５において、顔探知モジュール１１１によって特定された候補領域［１４２］に対して、候補領域抽出器［１２５］は、取得画像から、対応するフル解像度のパッチを抽出する。インテグラルイメージは、ステップ２３０において、抽出された各領域で生成される。そして、顔検出器１２１によって、インテグラルイメージ領域に対して、例えば、Violla-Jones分析といった可変サイズ顔検出が行われる。これらの結果［１４３］は、ステップ２４０において、順に、顔探知モジュール［１１１］に送られる。

探知モジュール［１１１］は、確定した一組の領域［１４５］を出力する前に、これらの領域［１４３］に対して処理を行う。これに関して、ステップ２４５において、探知［２９０］によって確定された領域［１４３］や、探知２９０によって確定されていないか、検出器［２８０］によって検出されていない維持された候補領域［１４２］のいずれかに対して、モジュール１１１による追加のフィルタを適用することができる。

例えば、一連の取得された複数の画像において、顔領域の探知を行っても、無い場合には、モジュール［１１１］の領域に対してスキンプロトタイプを適用して、カメラを向いている被写体がちょうど向きを変えているか否かを判別することができる。そうである場合には、この候補領域は、次に取得される画像におけるチェックのために保持させておき、被写体がカメラに振り向いているかを判断することができる。

任意のタイミングで保持された確定領域のサイズや、これらのサイズの履歴、例えば、これらが大きくなったり、小さくなったりすることに応じて、モジュール１１１は、ステップ２５０において、検出器［２８０］によって分析される次に取得された画像をサブサンプリングするための基準（解像度）［１４６］を決定し、これをサブサンプラ［１１２］に供給する。

一般的には、高速顔検出器［２８０］は、すべての取得された画像に対して動作する必要はない。例えば、サブサンプリングされた複数の画像の１つの元画像だけが利用できる場合において、カメラが１秒間に６０フレームを取得するときには、ユーザのプレビューのためにカメラディスプレイに供給されるサブサンプリングされた画像を、１秒間に１５−２５フレーム（frames per second; fps）だけ取得することができる。明確には、これらの画像は、同一の基準（解像度）で、表示のための十分な高解像度でサブサンプリングされる必要がある。残りの３５−４５ｆｐｓの一部又はすべては、顔検出および顔探知の目的のために探知モジュール［１１１］で要求される基準（解像度）において、サンプリングすることができる。

複数の画像をストリームから選択する際の周期の決定は、固定の数に基づいて行ったり、実行時間を変更したりすることができる。このような場合において、次回サンプリングされた画像の決定は、取得された現時刻のストリームと顔探知処理の間における一致性を維持するために、前回の画像に要した処理時間に基づいて決めることができる。これにより、複雑な画像環境において、サンプリング割合を減らすことができる。

また、次回のサンプルの決定は、複数の選択画像における内容の処理に基づいて、行うこともできる。画像ストリームにおいて大きな変化が無い場合には、全体の顔探知処理を行う必要がない。このような場合には、サンプリング割合が一定であるにも拘わらず、単純な画像比較が行われ、妥当な違いがあると決定したときにのみ、顔探知アルゴリズムを開始させることができる。

顔検出器［２８０］は、規則的な間隔で動作する必要はない。例えば、カメラのフォーカスが大幅に変化したときには、顔検出器は、より頻繁に動作する必要があり、具体的には、サブサンプリングされた画像の異なる基準（解像度）を用いて、サイズを変更すべき顔を検出する必要がある。また、フォーカスが素早く変化した場合には、検出器［２８０］は、フォーカスが安定するまで、この間に存在するフレームをスキップすることができる。ただし、一般的には、無限遠にフォーカスしているときにのみ、生成器［１１５］によって高解像度のインテグラルイメージを生成すべきである。

後者の場合において、検出器は、１つのフレームにおいて、取得され、サブサンプリングされた画像の全領域をカバーすることができなくてもよい。すなわち、第１のフレームにおいて、取得され、サブサンプリングされた画像の一部だけと、連続的に取得された画像フレームにおける画像の他の部分に対して、検出器を適用することができる。好ましい実施例としては、周辺から画像に含まれる小さな顔を検出するために、最初に取得した画像フレームでは、取得画像の外側領域に対して検出器を適用し、後に続くフレームでは、画像の中央側の領域に対して検出器を適用することができる。

画像のうち、顔検出器１２０を適用する領域を制限する方法として、肌の色調を含む画像の領域を識別する方法がある。米国特許第６，６６１，９０７号明細書では、肌の色調を検出したり、これに続いて、主な肌の色を有する領域において、顔検出を適用したりするための技術が開示されている。

本発明の一実施例において、取得画像のサブサンプリングされたものに対して、好ましくは、スキンセグメンテーション１９０を適用することができる。サブサンプリングされたものの解像度が不十分である場合には、画像記憶部１５０に記憶された前回の画像又は、次回サブサンプリングされる画像を、２つの画像が現在の取得画像に対して内容が大きく異ならない限り、用いることができる。また、フルサイズのビデオ画像１３０に対して、スキンセグメンテーション１９０を適用することができる。

いずれの場合においても、肌の色調を含む領域は、複数の外接矩形によって区別され、これらの外接矩形は、インテグラルイメージ生成器１１５に供給され、探知インテグラルイメージ生成器１１５と同様に、矩形に対応したインテグラルイメージ領域が生成される。

この方法は、インテグラルイメージの生成や顔検出の動作に関連した処理オーバーヘッドを軽減させるだけでなく、本実施例において、肌の色合いの領域は実際には顔を含むことが多いため、顔検出器１２０は、外接矩形に対して緩和された顔検出を適用することができる。このため、ＶＪ検出器１２０に対しては、短い分類器のチェーンを適用することができ、顔を正確に検出する必要がある長いＶＪ分類器（VJ classifier）を用いて顔全体に対して顔検出を行った場合と同様の品質結果を効率的に得ることができる。

顔検出の更なる改良も可能である。例えば、顔検出は、照明状態に特に依存することが分かっており、照明の僅かな変化によって、顔検出が失敗することがあり、不安定な検出が生じてしまう。

本実施例において、確定した複数の顔領域１４５は、後に取得され、サブサンプリングされた画像のうち、輝度補正を行って、所望のパラメータに分析する画像の領域を提供する領域を区別するために用いられる。このような補正の一例としては、確定顔領域１４５によって定義されたサブサンプリング画像の領域内において、輝度のコントラストを改善させるものがある。

コントラストの強調は、よく知られており、一般的には、画像のローカルコントラストを上げるために、具体的には、画像の利用可能なデータを近いコントラスト値によって表示するときに用いられる。この調節を介して、ヒストグラムで表示するときに、近くに分布されるような領域の画素に対する明度を、より分散させることができる。これにより、低いローカルコントラストの領域において、幅広いコントラストに影響を与えることなく、高いコントラスを得ることができる。これは、ヒストグラム平坦化によって、頻度の高い明度の値を効率的に分散させることによって達成することができる。

この方法は、背景および前景がともに明るかったり、暗かったりした画像において、有効である。特に、この方法では、露出オーバー又は露出アンダーの写真において、より良い詳細が得られる。

また、輝度補正は、生成器１１５における調節されたインテグラルイメージの演算に含めることができる。

他の改良において、顔検出を用いるときに、顔検出によって顔にロックされるまで、カメラのアプリケーションが、演算されたデフォルトから高い値（フレーム間で、景色の露出を僅かにオーバーにする）に露出を同時に変更するように設定する。

他の実施例において、顔検出器１２０は、画像間において実質的に異なる領域に対してのみ動作することができる。内容の変化のために２つのサンプル画像を比較する前に、ズーミング、パンニングおよびチルティングといったカメラの動作によって生じるカメラの変化のバラツキを取り除くために、画像間における登録の段階が必要となる。

カメラのファームウェアからズーム情報を取得することができるとともに、カメラのメモリ１４０又は画像記憶１５０において画像を分析するソフトウエア技術を用いて、１つの画像から他の画像にかけて、カメラのパンニング又はチルティングの度合いを決定することができる。

本発明の実施例において、取得装置に動きセンサ１８０（図１）を設けて、１つの画像から他の画像にかけて、パンニングの度合いや方向を決定することができる。このため、ソフトウエアにおいて、カメラの動作を判別する処理要求を回避することができる。

多くのデジタルカメラでは、主にメイン画像（静止画像）の取得時に手振れのための補正や警告のために、カメラ内に動きセンサ（一般的には、加速度センサに基づくもの、選択的に、ジャイロ原理に基づくもの）が搭載されはじめている。米国特許第4,448,510号明細書において、Murakoshiは、従来のカメラとして上述したシステムを開示している。また、米国特許第6,747,690号明細書において、Molgaardは、現代のデジタルカメラで用いられる加速度センサを開示している。

動きセンサをカメラに搭載した場合には、一般的には、光軸周りにおける小さな動作に対して適している。一般的な加速度センサは、発生した加速度に基づいて信号を生成するセンサモジュールと、効果的に測定することができる加速度の範囲を決定する増幅モジュールとを有している。現代の加速度センサでは、感度を調節する増幅段階をソフトウエアで制御することができる。

動きセンサ１８０として、次世代の民生カメラやカメラ電話に搭載されるＭＥＭＳセンサを用いることができる。

カメラが顔探知モードで動作する場合において、例えば、メイン画像（静止画像）を取得することとは異なる一定のビデオ撮影では、画質が低いため、一般的に振れ補正は行われない。これにより、動きセンサの増幅モジュールを低いゲインに設定することにより、動きセンサ１８０において、大きな動きを検知できるように構成することができる。センサ１８０によって検出された動きの大きさや方向は、顔探知器１１１に送られる。探知された顔の大まかなサイズは、既に知られており、これにより、カメラから各顔までの距離を推定することができる。したがって、センサ１８０によって大きな移動の大まかな大きさを知ることにより、顔候補領域がカメラから異なる距離にあっても、各顔候補領域の大まかなズレを判別することができる。

このため、大きな動作を検出したときには、顔探知器１１１は、動作の方向および大きさに応じて、候補領域の位置をシフトさせる。また、探知アルゴリズムが動作する領域の大きさは、動作の方向および大きさに応じて、拡大させることができる。また、必要であれば、大きな画像領域のスキャニングを補償するために、探知の精度を低下させることができる。

カメラを動作させてメイン画像を取得するとき、または、他の理由によってカメラで顔探知モードが解除されたときには、動きセンサ１８０の増幅ゲインは、通常の状態に戻るようになっている。これにより、フルサイズ画像のためのメイン画像取得チェーン１０５，１１０を、動きセンサ１８０からの情報に基づいて、通常の振れ補正アルゴリズムに適用することができる。

他の実施例において、カメラの表示のためのサブサンプリングされたプレビュー画像は、画像のサブサンプラ［１１２］から供給される画像よりも、分岐パイプを介して供給することができる。そして、すべての取得画像および、このサブサンプリングのコピーは、カメラディスプレイとしてだけでなく、検出器［２８０］においても利用することができる。

ビデオストリームから周期的にサンプルを取得することに加えて、デジタルカメラで取得された１つの静止画像に対して処理を行うことができる。この場合において、顔探知のためのストリームは、プレビュー画像のストリームであり、一連の最終画像は、フル解像度で取得された画像である。このような場合において、顔探知の情報は、図２で説明した場合と同様に、最終画像に対して確認することができる。また、座標や顔のマスクといった情報は、最終画像とともに記憶することができる。例えば、このようなデータは、取得装置又は外部装置による最終段階において、将来のポスト処理のために、保存画像のヘッダに入力しておくことができる。

図３において、好ましい実施例における動作例を説明する。図３（ａ）は、ビデオのフレームにおいて、検出および探知の循環における最後の結果を説明するものであり、互いに異なる基準（解像度）の２つの確定した顔領域［３０１，３０２］を示している。本実施例において、実用上の理由により、各顔領域は、矩形の境界ボックスを有しており、矩形領域における演算が容易になる。この情報は、図１の探知モジュール［１１１］によって、［１４５］として記憶されるとともに、出力される。

顔領域［３０１，３０２］の履歴に基づいて、探知モジュール［１１１］は、提供されて分析されたインテグラルイメージを用いて、顔領域［３０１］のサイズの分類ウィンドウの固定の顔探知を実行することを決定する。

図３（ｂ）は、動画像列において、次のフレームが取得され、高速の顔検出が新しい画像に対して行われた後の状態を示している。２つの顔は、移動しており［３１１，３１２］、前回の顔領域［３０１，３０２］と相対的に示している。第３の顔領域［３０３］が現れており、高速顔探知器［２８０］によって検出される。また、高速顔探知器は、前回確定した２つの顔［３０４］が小さくなっていることを検知する。これは、高速顔探知器のために、補正された基準（解像度）となっているからである。領域［３０３］および領域［３０４］は、候補領域［１４１］として探知モジュール［１１１］に送られる。探知モジュールは、この新しい候補領域の情報［１４１］を、領域［３０１］および領域［３０１］を有する前回確定した領域の情報［１４５］と合成し、領域［３０３］、［３０４］、［３０２］を有する候補領域のグループを候補領域抽出器［２９０］に送る。探知モジュール［１１１］は、領域［３０２］が検出器［２８０］によって検知されていないことを認識する。これは、顔が、検出器［２８０］によって検出することができなかったサイズにおいて、見えなくなった残りの部分を有していたり、検出器によって検出することができなくなったサイズに変更されていたりするためである。したがって、この領域に対して、モジュール［１１１］は、探知器［２９０］によってチェックされる領域［３０２］の周りにおいて、大きなパッチ［３０５］を特定する。新しく検出された顔候補を区画する領域［３０３］だけは、探知器［２９０］によってチェックされる必要がある。ここで、顔［３０１］は動いているため、この領域を囲む比較的大きなパッチ［３０６］が、探知器［２９０］で特定される。

図３（ｃ）は、候補領域抽出器が画像に対して動作した後の状態を示しており、新しい領域［３０３］だけでなく、前回のビデオフレームから確定された顔領域［３０１，３０２］の両方を囲む候補領域［３０６，３０５］がフル解像度の画像［１３０］から抽出される。候補領域のサイズは、一部は現在の顔候補の履歴に関する統計データに基づいて、一部は画像取得システム内の他のサブシステムで決定された外部メタデータに基づいて、顔探知モジュール［１１１］によって演算される。抽出された候補領域は、可変サイズ顔検知器［１２１］に送られ、ＶＪ顔検知器が基準（解像度）の範囲の全体において候補領域に適用される。そして、確定した顔領域の位置は、顔探知モジュール［１１１］に戻される。

図３（ｄ）は、顔探知モジュール［１１１］が高速顔検出器［２８０］および顔探知器［２９０］の両方からの結果を合成し、確定した顔領域に対して様々な確認フィルタを適用した後の状態を示している。確定した顔領域は、パッチ［３０５，３０６，３０３］内において、検出される［３０７，３０８，３０９］。最も大きな領域［３０７］は、認識されているが、前回のビデオフレームから動いており、この顔領域の履歴に対して関連データが追加される。前回認識され、移動した他の領域［３０８］も、二重確定としての高速顔検出器によって検出され、これらのデータは、この履歴に追加される。最後に、新しい顔領域［３０３］は、検出されて確定される。そして、新しい顔領域の履歴が、この新しく検出された顔に対して開始される。３つの顔領域は、次回のサイクルにおいて、確定した顔領域のグループを得るために用いられる。

領域１４５に対して、顔探知モジュールによって供給される多くの可能なアプリケーションがある。例えば、各領域［１４５］の境界ボックスは、カメラのディスプレイ上に重畳させることにより、被写体内において、検出された顔をカメラが自動的に探知していることを示すことができる。これは、様々なプレキャプチャのパラメータを改善するために用いることができる。一例は露出であり、顔の十分な露出を確保することができる。他の例はオートフォーカスであり、検出された顔へのフォーカスを確保したり、画像における顔の最適表現のために、他の取得設定を調節したりすることができる。

プレ処理の調節における一部として、補正を行うことができる。顔探知の位置は、ポスト処理、具体的には、顔を有する領域を強調させることができる選択的なポスト処理を行うために用いることができる。この例は、鮮鋭化、彩度の強調、明るさ、ローカルコントラストの増加を含む。顔の位置を用いたプレ処理は、顔以外の領域において用いることができ、例えば、選択的なぼけ、彩度の低下、暗くするといった視覚的な重要性を低減させることができる。

幾つかの顔領域を探知するとき、最も長く存在する顔又は最も大きい顔をフォーカシングのために用いることができたり、強調させたりすることができる。また、領域［１４５］は、例えば、必要な場合に赤目処理を行う領域を制限するために用いることができる。上述した軽量の顔検出とともに用いることができる他のポスト処理としては、顔認識がある。具体的には、多くのリソース消費アルゴリズムを実行するための十分なリソースを有する同一又はオフライン装置において実行される強固な顔検出および顔認識と組み合わせたときに、このような方法は有効である。

この場合において、顔探知モジュール［１１１］は、確定した顔領域［１４５］の位置を、カメラ内のファームウェアに対して、好ましくは信頼因子とともに報告する。

領域に対して、信頼因子が十分に高く、少なくとも１つの顔が像のフレーム内に実際に存在していることを示す場合には、カメラのファームウェアは、顔の位置において、例えば、ＤＣＴに基づくアルゴリズムといった軽量の顔認識アルゴリズム［１６０］を動作させる。顔認識アルゴリズム［１６０］は、好ましくはカメラに記憶され、個別の識別情報および関連する顔のパラメータを有するデータベースを用いる。

動作において、モジュール［１６０］は、一連のフレームにおいて、識別情報を収集する。複数のプレビューフレームにおいて探知された顔の識別情報が大部分で特定の人物である場合には、この人物は画像内に存在すると認識モジュールによって見なされる。人物の識別情報や最近取得した顔の位置は、カメラの記憶部［１５０］で記憶された別々のファイル内又は画像内（ヘッダ内）において記憶することができる。モジュール［１１１］によって顔領域が未だ検出および探知されないが、前回の複数のフレームに対して、認識モジュール［１６０］が失敗したときでも、個人ＩＤの記憶が行われる。

画像がカメラの記憶装置から、ディスプレイ又は、ＰＣ（不図示）といった永久記憶装置にコピーされた場合には、人物のＩＤは画像にしたがってコピーされる。このような装置は、一般的には、よりしっかりした顔検出や顔認識のアルゴリズムを実行することができ、結果をカメラからの認識結果と合成することにより、強固な顔認識からの認識結果に重みを置くことができる。合成された識別結果は、ユーザに表示され、識別が不可能であれば、ユーザは、探している人物の名前を入力するように要求される。ユーザが識別を拒否したり、新しい名前を入力したりした場合には、ＰＣは、顔プリントのデータベースを再構築し、軽量のデータベース［１６１］に記憶するために取得装置に対する適切な変更をダウンロードする。

複数の確定した顔領域［１４５］が検出されたときには、認識モジュール［１６０］は、画像内において、複数の人物を検出して認識することができる。

カメラ内において、人物が認識されるまで、又は、顔プリントデータベース内に人物が存在しないことが明らかになるまで、撮影を行わなかったり、人物が認識されたときに適切な指標を表示させたりするモードを設けることができる。これにより、画像内において、信頼性のある人物の識別を行うことができる。

本システムの観点は、顔検出および顔認識のための１つの画像を用いたアルゴリズムが、正確な動作の低い可能性の問題を解決する。一例として、認識のために、厳しい規制内で顔が整合されないときには、人物を正確に認識することができない。この方法は、この目的のために一連のプレビューフレームを用い、僅かに異なる様々なサンプルが利用可能であるときに、信頼性のある顔認識を行うことができると予測することができる。

さらに、上述したシステムの効率を改良することができる。例えば、従来の顔検出アルゴリズムは、一般的には、複数の方法を用い、写真内における異なる向き、０，９０，１８０，２７０度の顔を検知するために、複数の分類器を用いている。

本発明の更なる観点によれば、カメラには、図１の姿勢センサ１７０が設けられている。これは、カメラが上側に保持されているか、反対に保持されているか、時計方向又は反時計方向にチルトされているかを判別するためのハードウエアのセンサを用いることができる。また、姿勢センサは、画像が人物又は景観において取得されたものかを迅速に判別したり、カメラが時計方向又は反時計方向にチルトしているかを迅速に判別したりするために、画像取得ハードウエア１０５，１１０、カメラのメモリ１４０又は画像記憶装置１５０のいずれかに接続された画像分析モジュールを備えることができる。

この判別が行われれば、カメラの向きを、顔検出器１２０，１２１の一方又は両方に送ることができる。そして、検出器は、判別されたカメラの方向で取得された画像において、顔の向きに応じて、顔検出だけを適用する必要がある。この本発明の観点は、例えば、顔を検出する分類器の適用を避けることにより、顔検出処理を大幅に軽減できたり、より頻繁な向きにおいて顔検出を行うために分類器を実行することにより、精度を向上させたりすることができる。

Claims (41)

1. デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
   ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
   ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
   ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
   ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
   ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節し、
   ｆ．異なるサイズの可能性のある前記顔候補領域のセットを得るために、前記顔候補領域のセットを前回検出された顔領域と合成して、第２の取得画像を生成し、
   ｇ．前記第２の取得画像のうち、合成された顔候補領域のセットにおける領域に対応した領域に関して、
   ｈ. インテグラルイメージを演算し、
   確定された顔領域のセットと、不採用の顔領域のセットとを得るために、前記インテグラルイメージの各合成領域に対して、可変サイズの顔検出を行う、
   ことを特徴とする方法。
2. 前記画像ストリームにおける複数の画像から、異なるサイズの前記顔候補領域を探知することを特徴とする請求項１に記載の方法。
3. 代替基準に基づいて、前記固定サイズの顔検出および前記可変サイズの顔検出から、不採用の顔領域をチェックし、
   前記不採用の顔領域のいずれかが顔領域であることを示すことをチェックすることに応じて、前回不採用の前記顔領域を前記確定された顔領域のセットに追加する、
   ことを特徴とする請求項１に記載の方法。
4. 前記チェックでは、前記不採用の顔領域に対して、スキンプロトタイプを適用することを特徴とする請求項３に記載の方法。
5. 前記検出された顔領域とは、確定した顔領域のセットであることを特徴とする請求項１に記載の方法。
6. 前記第２の取得画像のうち、前記合成された顔候補領域のセットにおける領域に対応した領域は、前記合成された顔候補領域のセットにおける各領域を囲む領域であることを特徴とする請求項１に記載の方法。
7. 前記可変サイズの顔検出を行うことは、可変サイズのハール分類器における複数のカスケードを、インテグラルイメージの各合成領域に適用することであることを特徴とする請求項１に記載の方法。
8. 前記ハール分類器における１２以下のサイズの前記カスケードを適用することを特徴とする請求項７に記載の方法。
9. 前記ハール分類器における３又は４のサイズを適用することを特徴とする請求項７に記載の方法。
10. 各前記カスケードは、３２分類器を有することを特徴とする請求項９に記載の方法。
11. 前記固定サイズの顔検出を行うことは、固定サイズのハール分類器のカスケードを前記インテグラルイメージに適用することであることを特徴とする請求項１に記載の方法。
12. 前記第２の取得画像を表示し、
    前記表示された第２の取得画像に対して、探知された顔候補領域を重畳させる、
    ことを特徴とする請求項１に記載の方法。
13. デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
    ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節することを特徴とする方法。
14. 異なるサイズの可能性のある前記顔候補領域のセットを得るために、前記取得した顔候補領域のセットを前回検出された顔領域と合成することを特徴とする請求項１３に記載の方法。
15. メイン取得画像とともに、前記顔候補領域のグループのうち、少なくとも一部におけるサイズおよび位置の少なくとも一方を記憶することを特徴とする請求項１３に記載の方法。
16. 前記記憶された顔候補領域のサイズ又は位置に基づいて、前記メインの取得画像の空間選択的なポスト処理を行うことを特徴とする請求項１５に記載の方法。
17. 選択的な画像処理として、色補正、鮮鋭化、ぼけ、彩度、サブサンプリング、圧縮又は、これらの組み合わせを行うことを特徴とする請求項１６に記載の方法。
18. デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
    ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節し、
    ｆ.前記デジタル画像取得システムにおけるフォーカスの状態を検出することを含むものであって、
    前記調節において、前記フォーカスの状態が無限遠に移動して取得された前記第１の取得画像の場合は、サブサンプリングの解像度を最大の解像度に調節することを特徴とする方法。
19. デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
    ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節することを含み、
    ａ〜ｅの処理を、画像ストリームのうち周期的に選択した複数の画像に対して行い、
    前記複数の画像は、前記選択された複数の画像のうち、複数の画像に続く静止画像を含むことを特徴とする方法。
20. 前記複数の選択画像の間における時間間隔が固定されていることを特徴とする請求項１９に記載の方法。
21. 前記複数の選択画像の間における時間間隔が変更可能であって、動作時に決定されることを特徴とする請求項２０に記載の方法。
22. 前記時間間隔は、前回の静止画像を処理する際の時間であることを特徴とする請求項２１に記載の方法。
23. 前記時間間隔は、前記複数の選択画像のうち、１つ又は複数の画像における内容が変化することに依存することを特徴とする請求項２２に記載の方法。
24. 前記固定サイズの顔検出は、少なくとも略３２分類器を適用して行うことを特徴とする請求項２２に記載の方法。
25. デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
    ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節し、
    ｆ．照明光を用いて前記第１の取得画像を取得した場合には、前記第１の取得画像のうち、探知された前記顔候補領域に対応した領域を、赤目現象のために分析することを特徴とする方法。
26. 前記第１の取得画像において、赤目現象を補正することを特徴とする請求項２５に記載の方法。
27. 前記第１の取得画像とともに、前記赤目現象を示す情報を記憶させることを特徴とする請求項２５に記載の方法。
28. １つ又は複数のプロセッサと、認識される複数の顔のそれぞれに対する識別子および関連するパラメータを有するデータベースと、画像ストリームにおいて顔を探知する反復方法を前記プロセッサに実行させるプログラムが組み込まれ、デジタルコード化された命令を含む１つ又は複数のデジタル記録媒体と、を備え、画像ストリームにおいて顔を探知するための画像処理装置であって、
    前記方法は、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｄ．１つ又は複数の顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部分に対して、固定サイズの顔検出を行い、
    ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節し、
    ｆ．異なるサイズの可能性のある前記顔候補領域のセットを得るために、前記顔候補領域のセットを前回検出された顔領域と合成して、第２の取得画像を生成し、
    ｇ．前記第２の取得画像のうち、前記合成された顔候補領域のセットにおける領域に対応した領域に関して、
    ｈ．インテグラルイメージを演算し、
    ｉ．確定された顔領域のセットと、不採用の顔領域のセットとを得るために、インテグラルイメージの各合成領域に対して、可変サイズの顔検出を行う、
    ことを特徴とする画像処理装置。
29. 前記画像処理装置は、デジタルスチルカメラ、ビデオカメラ、画像取得メカニズムを備えた携帯電話若しくは、内蔵カメラ若しくは外付けカメラを備えた携帯コンピュータ又は、これらの組み合わせであることを特徴とする請求項２８に記載の画像処理装置。
30. デジタル画像取得装置を用いて、画像ストリームにおける顔を認識する方法であって、
    ａ．認識される複数の顔のそれぞれに対して、識別子および関連するパラメータを有するデータベースを提供し、
    ｂ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｃ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｄ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｅ．任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部分に対して顔検出を行い、
    ｆ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記取得画像をサブサンプリングするための解像度を調節し、
    ｇ．複数の前記顔候補領域の少なくとも一部に対して、前記データベースを用いた顔認識を選択的に行い、
    ｈ．少なくとも１つの前記顔候補領域で認識された顔に対して識別子を与え、
    i．前記画像ストリームにおける少なくとも１つの画像とともに、前記認識された顔の前記識別子を記憶し、
    ｊ．前記認識された顔の前記識別子に基づいて、各顔候補領域に対して信頼性レベルを与えるとともに、所定の閾値よりも高い前記信頼性レベルを有する前記顔候補領域に対してのみ顔認識を行うことを特徴とする方法。
31. ｂ〜iの処理を繰り返し行うことを特徴とする請求項３０に記載の方法。
32. 前記画像ストリームにおけるフル解像度の画像とともに、前記識別子を記憶することを特徴とする請求項３０に記載の方法。
33. １つ又は複数のプロセッサと、認識される複数の顔のそれぞれに対する識別子および関連するパラメータを有するデータベースと、画像ストリームにおいて顔を認識する反復方法を前記プロセッサに実行させるプログラムが組み込まれ、デジタルコード化された命令を含む１つ又は複数のデジタル記録媒体と、を備えた画像処理装置において、
    前記方法は、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｄ．前記インテグラルイメージの少なくとも一部に対して、任意のサイズおよび位置を有する１又は複数の顔候補領域のセットを得るために、顔検出を行い、
    ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節するものであって、
    ｆ．前記顔候補領域で認識された顔に対して識別子を与えるために、複数の前記顔候補領域の少なくとも一部に対して、前記データベースを用いた顔認識を選択的に行い、
    ｇ．前記画像ストリームにおける少なくとも１つの画像とともに、前記認識された顔の前記識別子を記憶し、
    ｈ．前記認識された顔の前記識別子に基づいて、各顔候補領域に対して信頼性レベルを与えるとともに、所定の閾値よりも高い前記信頼性レベルを有する前記顔候補領域に対してのみ前記顔認識を行うことを特徴とする画像処理装置。
34. デジタル画像取得装置を用いて画像ストリームにおける顔を検出する方法であって、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記第１の取得画像のうち、大部分で肌の色合いを含む1つ又は複数の前記顔領域を識別し、
    ｄ．前記サブサンプリングされた第１の取得画像のうち、肌の色合いを含む複数の領域の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｅ．任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部に対して顔検出を行い、
    ｆ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節するものであって、
    前記デジタル画像取得装置の顔検出モードにおいて、少なくとも１つの前記顔候補領域が検出されるまで、露出パラメータを徐々に増加させながら新規の前記第１の画像を取得する、
    ことを特徴とする方法。
35. ａからｆの処理を繰り返し行うことを特徴とする請求項３４に記載の方法。
36. 前記サブサンプリング画像に対して、前記識別が行われることを特徴とする請求項３４に記載の方法。
37. 前記顔検出は、緩和された顔検出パラメータを用いて行われることを特徴とする請求項３４に記載の方法。
38. 前回の画像に関連した前記顔候補領域に対して、前記第１の取得画像における対応領域の輝度特性のコントラストを強調することを特徴とする請求項３４に記載の方法。
39. 前記強調は、前記サブサンプリング画像に対して行われることを特徴とする請求項３８に記載の方法。
40. 前記強調は、前記インテグラルイメージの演算時に行われることを特徴とする請求項３８に記載の方法。
41. １つ又は複数のプロセッサと、画像ストリームにおいて顔を検出する反復方法を前記プロセッサに実行させるプログラムが組み込まれ、デジタルコード化された命令を含む１つ又は複数のデジタル記録媒体と、を備えた画像処理装置において、
    前記方法は、
    ａ．前記画像ストリームから、１つ又は複数の顔領域を含む第１の取得画像を取り込み、
    ｂ．前記第１の取得画像に対して、特定の解像度でサブサンプリングを行うことで、サブサンプリング画像を生成し、
    ｃ．前記第１の取得画像のうち、大部分で肌の色合いを含む１つ又は複数の領域を識別し、
    ｄ．前記サブサンプリング画像のうち、肌の色合いを含む複数の領域の少なくとも一部に対して、対応するインテグラルイメージを演算し、
    ｅ．任意のサイズおよび位置を有する顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部に対して顔検出を行い、
    ｆ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の前記第１の取得画像をサブサンプリングするための解像度を調節するものであって、
    前記デジタル画像取得装置の顔検出モードにおいて、少なくとも１つの前記顔候補領域が検出されるまで、露出パラメータを徐々に増加させながら新規の前記第１の画像を取得する、
    ことを特徴とする画像処理装置。

Images