JP6073858B2 - 顔の位置検出 - Google Patents

Description

本発明は、顔を含む場面の３次元の表面モデルを生成する測定値から、顔の位置を決めるためのシステム及び方法に関する。

米国特許番号US 7,436,988号は、２次元画像を使用して３次元モデルを形成する顔認証及び認識方法、並びにこの３次元モデルと基準データとの比較による個人の身元の確認を説明している。顔の輪郭線は、顔の対称面と前記３Ｄモデルとの交差から抽出され、この輪郭線の特性が個人の身元の確認に用いられる。前記対称面は、３Ｄモデルのミラーバージョンを形成し、元々の３Ｄモデルと前記ミラーバージョンとが最もぴったり合うように互いに関連して位置決めることにより見つけられる。この対称面をそれとなく見つけるための手順は、モデル化した空間において顔が唯一の略対称的な物体であると仮定し、顔の位置に関する情報を決める。しかしながら、米国特許番号US 7,736,988号は、位置決定の問題を論じていない。

顔認識及び顔の位置決定は、異なる考慮事項を含む別々のタスクである。顔認識は本質的に個人の特定、つまり顔認識の本質は、他の人間は区別されるべきであることである。他方、顔の位置決定は好ましくは個人に依存しない、つまり顔の位置は、顔の固有の個人的特徴とは無関係に決められるべきである。

とりわけ、本目的は、顔を含む場面の３次元モデルから顔の位置を決めるためのシステム及び方法を提供することである。

請求項１による方法が提供される。ここで、顔を含んでいる場面の３Ｄの表面モデルが顔の位置特定、すわなち、場面における顔の位置の決定のための出発点として使用される。この３Ｄの表面モデルは、例えば２Ｄの光学撮像から得られてもよい。モデル化した３Ｄ表面の法線と仮想の光源の方向に従う入射方向との間の角度からなる２Ｄの角度データ画像は、３Ｄの表面モデルから生成され、このデータ画像は角度データを表す。この角度データ画像は、２Ｄの顔の位置アルゴリズムの実行時に用いられる。

このように、利用可能な及び試験済みの２Ｄの顔の位置アルゴリズムは、３Ｄモデルにおいて顔の位置を決めるのに使用されることができる。顔の光学的な表面特性の信頼できる測定値は必要ない。３Ｄの表面モデルが２Ｄの光学画像から得られたとしても、この３Ｄの表面モデルの使用は、顔の位置の検出を、表面の反射特性及び色の影響に対しさらにロバスト(robust)にさせる。好ましくは、生成される２Ｄ画像のピクセル値は、非幾何学的な光学特性を使用せずに、前記生成される２Ｄ画像の夫々のピクセル位置で見えている３Ｄの点における、前記モデル化した３Ｄ表面に関する幾何学情報からのみで決められる。

ある実施例において、夫々の異なる仮想の照明方向の角度データを持つ複数の夫々の２Ｄ画像が生成され、前記顔の位置検出アルゴリズムが前記夫々の２Ｄ画像の各々に適用される。結果生じる位置検出が結合され、検出した顔の位置を提供する。これら結果生じる位置検出は、例えば任意で異常値を取り除いた後、異なる方向に対する検出した位置の平均をとること、又は異なる方向に対する前記検出した位置の中央値若しくは他の代表値を選択することにより融合されてもよい。結合は、位置の検出を選択したクラスタに割り当て、位置の検出をクラスタ内に融合させることを含むクラスタリングステップを含んでもよい。

ある実施例において、前記夫々の方向に対する同じ視方向(viewing direction)の複数の２Ｄ画像が生成される。このように、前記方法はさらにロバストとなる。その上、２Ｄ画像において顔の位置の平均を決めることも可能となる。代わりに、前記夫々の方向に対する視方向の任意の結合が使用されてもよい。ある実施例において、複数の異なる視方向の画像が生成される。これは、前記方法を顔の回転の変動に対しロバストにさせる。

ある実施例において、前記２Ｄの顔の位置特定アルゴリズムは、画像の夫々の範囲にわたり複数の角度データの合計を決め、これら合計をしきい値と比較し、及び前記比較の結果を結合することを有する。

２次元画像から顔の位置を決めるための良好なアルゴリズムは、Viola他著、タイトル"Robust Real-Time Face Detection"International Journal of Computer Vision 57(2), 2004発行、137-154頁による文献から知られている。Viola他は、顔の位置を決めるために、様々な矩形の画像領域におけるピクセル値の合計の結合を使用する。矩形の画像領域の結合は、コンピュータ学習を用いて設定される。学習段階において、システムは、顔の膨大な具体例及び反例、並びに使用される異なるサイズ及び位置の膨大な矩形を提示される。アダブースト(AdaBoost)コンピュータ学習技術は、ロバストな結果を与える矩形の結合を選択するのに使用される。Viola他により説明されるアルゴリズムは、例えば新しい訓練手続きを経る必要が無く、２Ｄ画像の訓練結果を用いて、使用されてもよい。

３Ｄの表面モデルは、この表面モデルが生成した後に保存される記憶装置から得られてもよい。ある実施例において、場面から入力した光の１つ以上の２Ｄ画像からの情報は、３Ｄの表面モデルを得るのに用いられる。構造化光(structured light)は、場面を照明するのに使用される。最初にこの情報を３Ｄの表面モデルに変換し、次いで直接ではない表面方位の光学画像特性が使用される２Ｄ画像に戻す変換をすることにより、前記方法は、顔の光学的な表面特性に関する信頼できる情報を得ることを不要にさせる。代わりに、他の測定技術、例えば３Ｄ断層撮影法は、例えば３Ｄの体積モデルから間接的に３Ｄ表面を得るのに使用されてもよい。

図１は、顔のデータ処理システムを示す。 図２は、顔の位置決定のフローチャートを示す。 図３は、処理構造を示す。

これら及び他の目的並びに有利な態様は、以下の図面を用いて、例示的な実施例の記載から明らかとなるだろう。

図１は、構造化光源１０、カメラ１２及び処理器１４を有する顔のデータ処理システムを示す。構造化光源１０及びカメラ１２は、処理器１４に結合されている。構造化光源１０及びカメラ１２が例として示されていたとしても、当然のことながら、３Ｄの幾何学的情報を収集するために他の装置が用いられてもよい。この構造化光源１０は、物体上にドット又はストライプのアレイを投影する、すなわち相互に離間した光線方向のアレイ、又は相互に離間した光線面においてのみ光を伝達するように構成される。構造化光源１０は、方向のパターンに沿った動的走査により又は例えば静的マスク(static mask)を介した投影を用いて、前記投影を実現するように構成される。

動作構成が示され、ここで構造化光源１０及びカメラ１２は、顔１６を含む場面に向けられている。作動中、構造化光源１０は、場面を構造化光のパターンで照らし、カメラ１２は、構造化光源１０により照らされている間、この場面の画像を取り込む。構造化光源１０は、１つ以上の結果生じる画像を表す情報を処理器１４に供給する。

処理器１４は前記画像を処理し、前記場面の３Ｄの表面モデルを形成する。そうするための方法自体は知られている。処理器１４は、処理器１４に行わせるためのコンピュータプログラムを有するプログラム可能な処理器でもよい。処理器１４は実際には、処理器１４が行うように構成されるタスクの別々の部分を行う複数のコンピュータを有する処理システムでもよい。本明細書では、処理器１４がこの処理器１４に動作を行わせるプログラムを持つとき、処理器１４はこれら動作を行うように構成されると考えられる。しかしながら、処理器１４が前記動作を行うように設計された専用の回路を含む場合、処理器１４は前記動作を行うように構成されるとも考えられる。

処理器１４は、構造化光源１０からの光により照らされる、場面における表面の点が見ることができるピクセル位置を検出するように構成されてもよい。さらに処理器１４は、上記ピクセルの各々に対し、構造化光源１０からの構造化光のパターン内における照明光の位置を特定するように構成される。カメラの姿勢及び構造化光源１０の形状を与えると、前記パターンにおける位置及びピクセル位置は各々、３Ｄ空間における光線の方向を定め、これらの方向は照らされる物点で交差している。処理器１４は、前記ピクセル位置及びパターンにおける位置から前記物点の３Ｄ座標を計算する。

処理器１４は、計算した位置の間を補間する、例えば隣接する検出した点の間にある表面を平坦な三角形として近似することにより物体の表面を近似する。このような補間から、如何なる表面の点の補間した３Ｄ座標が、これらの表面の点の面法線と同様に、決定されることができる。このような決定は、カメラ１２により取り込まれた画像のピクセルに適用されるが、他のカメラの姿勢から得ることができる仮想画像にも適用される。処理器１４は、この情報を用いて、３Ｄ空間における顔の位置を決定するように構成される。

図２は、顔の位置を決めるための処理のフローチャートを示す。このフローチャートは、処理器１４により行われる行動に関して説明される。処理器１４は、これらの行動を行うように"構成される"と理解すべきである。第１のステップ２１において、処理器１４は、第１の方向を３Ｄモデルに対して選択する。この選択した第１の方向は、仮想のカメラ方向と呼ばれる。ある実施例において、この第１の方向は、カメラ１２の方向に一致している。

第２のステップ２２において、処理器１４は、ピクセルのアレイを有する画像を定める。このピクセルのアレイは、前記選択した第１の方向に対し定められる方向を持つ光線路のアレイと関連付けられる。処理器１４は、構造化光から得られる３Ｄの表面モデルを使用して、各ピクセルに対し、そのピクセルの光線路と３Ｄ表面とが交差する３Ｄの点、及びその３Ｄの点における表面の法線を決定する。

第３のステップ２３において、処理器１４は、第２の方向を前記３Ｄモデルに対して選択する。この選択した第２の方向は、仮想の光源方向と呼ばれる（仮想の光源方向という言葉は、単にこの方向の表示として使用されることが強調されるべきであり、仮想の光源が画像を生成するのに使用されなければならないこと、すなわち生成した画像が特定の光源を用いて得られた画像を示していることを意味しているのではない）。

第４のステップ２４において、処理器１４は、第２の方向と夫々のピクセルの法線との間の角度を決める、若しくは少なくとも処理器１４は、前記角度の関数、例えば角度の余弦である分量を決める。角度又はその角度の関数である分量は、角度データと呼ばれる。画像における夫々の位置と関連付けられる角度データが角度データ画像を形成する。ある実施例において、第２の方向と全て同じである前記得られる方向との角度が前記画像の位置の各々に用いられ、無限遠にある仮想の照明源からの光線との角度をシミュレーションする。代わりに、第２の方向から間接的に得られる方向との角度が決められてもよい。これらの得られる方向は、例えば第２の方向に沿った前記場面からの線分上に源点を仮定する、その原点から２Ｄの画像面における夫々の位置で見ることができる夫々の３Ｄの点までの線分を決める、及びこれらの線分の方向を前記得られた方向として使用することにより決められる。一般的に、前記角度データは角度を示しているので、これら角度は、光学的な表面特性の知識を必要とせず、前記角度データから決められることができる。

第５のステップ２５において、処理器１４は、２Ｄの顔の位置検出アルゴリズムを前記角度データに適用する。（光強度を示す）通常の２Ｄのカメラ画像において、訓練により選択された検出器の矩形の結合を使用して、従来のアルゴリズム、例えばViola他により開示されるアルゴリズムが使用される。２Ｄのカメラ画像を用いて検出アルゴリズムを訓練することにより利用可能である、検出器の矩形の標準的な結合が利用可能である。つまり、２Ｄの顔の位置検出アルゴリズムは、画像おける既定の検出器の矩形の組において、各検出器の矩形の角度データの夫々の合計を決定するステップを有する。これら夫々の合計は、夫々のピクセル位置に対する連続する標準合計を増加的に決めることにより計算され、各ピクセル位置に対する標準合計は、そのピクセル位置が持つ矩形及びはす向かいの角として画像の角におけるピクセル値の合計である。前記標準合計の決定は、検出器の矩形の角（ＬＬ＝下左からＵＲ＝右上まで）に対する標準合計値Ｖ（ＬＬ）、Ｖ（ＬＲ）、Ｖ（ＵＬ）、Ｖ（ＵＲ）を選択し、これら検出器の矩形のはす向かいの角の対に対する標準合計値の合計を引くことが続く。ある具体例が矩形に与えられているが、当然のことながら、異なる形状を用いて、ピクセル位置から画像の角までの他の形状に対する基準合計を用いることにより、他の形状、例えば平行四辺形の範囲に同様の技術が適用されることができる。処理器１４は次いで、検出器の三角形に対する合計を（訓練により得た）夫々の既定のしきい値と比較し、この比較の結果を結合して検出結果を形成する。この検出結果は、もしあれば少なくとも画像において検出した顔の２Ｄの中央ピクセル位置を示す。

第３から第５のステップ２３−２５は、第２の方向の他の選択のために繰り返される。第６のステップ２６において、処理器１４は、既定数の第２の方向が選択されたかを判断する。選択されていない場合、処理器１４は新しい第２の方向のために第３のステップ２３から繰り返す。これらステップが既定数の第２の方向に対し行われたとき、処理器１４は第７のステップ２７に進む。

第７のステップ２７において、処理器１４は、異なる第２の方向に対し得られた結果を結合する。この結合は、これら結果の融合により達成される。ある実施例において、融合は、異なる第２の方向に対し決定した２Ｄの中央ピクセル位置の中央値を決定し、この中央値を融合した検出結果として使用することを含む。代わりに、任意に異常値を取り除いた後、平均が計算されてもよい。同じ測定パラメタに対する複数の結果を融合するためのこれら及び他の技術自体は知られている。この場合、検出結果の結合は、中央若しくは平均ピクセル位置である公称ピクセル位置、又は複数の２Ｄの位置及び矩形サイズを結合する同様の結果を生み出す。結果として、処理器１４は、公称ピクセル位置と関連付けられた３Ｄの位置を決定する。他の実施例において、夫々の３Ｄの位置は、第２の画像に対し異なる個々の第２の方向を用いて決められ、これら夫々の３Ｄの位置は、公称の３Ｄの位置を決めるのに使用されてもよい。第７のステップ２７の結合は、クラスタリング(clustering)を含んでもよい。クラスタリング技術、例えばｋ平均(k-means)アルゴリズムは、それ自身は既知であり、夫々のクラスタに対し複数の公称の顔の位置を決定するステップ、各々検出した顔の位置を最も近くにある公称の顔の位置を持つクラスタに割り当てるステップ、及び同じクラスタに割り当てた前記検出した顔の位置を融合して結合結果を生み出すステップを含んでもよい。

図２のフローチャートを用いて説明される方法において、３Ｄの顔の位置は好ましくは、２Ｄの位置決定に関する（光強度及び物体の反射率に依存する）従来の画像情報を用いることなく決められる。３Ｄの表面モデルは、純然たる幾何学モデルでもよく、このモデルは空間位置及び方向ベクトルのみを定める。この３Ｄモデルにおける方向ベクトルは測定値の結果でもよいし、又はこれらベクトルは補間により定められてもよい。この３Ｄモデルが（例えば、反射係数、場合によっては散乱或いは鏡面的な光の反射の波長の関数として）光反射率の情報を含んでいる場合、この情報は２Ｄの顔の位置検出のために２Ｄ画像の生成において無視される。

もちろん、光強度及び物体の反射率は、構造化光を用いた照射中、カメラ画像の形成において役割を果たすが、この情報は、第２から第４のステップ２２−２４において使用される３Ｄの表面モデルでは失われ、ここでは幾何学情報のみが使用される。このような従来の画像情報の使用を避けることは、顔の位置検出を例えば顔色のような個々の顔の間における違いとより無関係にさせる。顔認識とは異なり、個性の抑制は、顔の位置検出には有利である。同時に、角度データの画像の使用は、従来の２Ｄの顔の位置検出アルゴリズムを博識にすることなく使用することができ、複数の第２の方向の使用は、前記方法を顔の回転の影響に対しロバストにさせる。

処理器１４は、例えばコンピュータプログラムの制御下で、説明したステップを行うように設計した電子回路を使用することにより、若しくはコンピュータプログラム及び回路の混合体を使用して、これらステップの夫々の部分を行うことにより、前記ステップを行うように構成される。

複数の第１及び／又は第２の方向に対する複数の２Ｄ画像が生成され、顔の位置検出に使用されている実施例が説明されたとしても、当然のことながら、特定の第１及び第２の方向に対する単一の２Ｄ画像から顔の位置の検出は十分である。この場合、検出した２Ｄの顔の位置は、この検出した２Ｄの顔の位置の画像であった３Ｄの表面モデルの点に関する情報を用いて３Ｄの位置に変換されることができる。複数の仮想の照明方向の使用は、前記方法を仮想の照明方向への依存に対しロバストにさせる。

図３は、３Ｄの表面モデル生成器３０、２Ｄ画像生成器３２、２Ｄの顔の位置検出器３４、データ結合器３６、２Ｄ−３Ｄ変換器３８及び制御モジュール３９を有する処理器１４の構造の実施例を示す。３Ｄの表面モデル生成器３０は、カメラ（図示せず）から２Ｄの画像データを受信するための入力部及び３Ｄの表面モデルデータを供給するための出力部を持つ。２Ｄ画像生成器３２は、前記３Ｄの表面モデル生成器３０の出力部に結合される入力部、並びに２Ｄの角度データ画像及び３Ｄ座標の２Ｄ画像（又は深度データ）を出力するための出力部を持つ。２Ｄの顔の位置検出器３４は、前記２Ｄの角度データ画像のための出力部に結合される入力部を持つ。２Ｄの顔の位置検出器３４は、直列に接続される合計器３４０、比較器３４２及び結合モジュール３４４を有する実施例が示される。

２Ｄの顔の位置検出器２３は、検出結果を表す情報を出力するための出力部を持ち、この検出結果は、入力画像における検出した顔の位置及び／又は顔の範囲を示す情報を含んでいる。データ結合器３６は、前記検出した顔の位置及び／又は顔の範囲を示す情報を受信するための入力部、並びに公称の位置及び／又は範囲を示す情報を出力するための出力部を持つ。データ結合器３６はデータの融合でもよい。融合は、本明細書では、パラメタの値を決めるために、同じパラメタに関する異なるデータを結合する如何なる動作でもあり、例えば検出した顔の位置及び／又は顔の範囲の位置を平均化するステップを含む（平均は、本明細書では広義に用いられ、平均値、中央値又は異常値を削除した後に得られる平均値を含む）。データ結合器はモジュールであり、例えばこのようにデータを結合するプログラムモジュールである。単一の第１及び第２の方向が使用される実施例において、データ結合器３６は省略される。

２Ｄ−３Ｄ変換器は、平均的な検出した顔の位置及び／又は顔の範囲を示す情報を出力するための出力部、並びに３Ｄ座標の２Ｄ画像（又は深度データ）を出力するための２Ｄ画像生成器３２の出力部に結合される入力部を持つ。制御モジュール３９は、３Ｄの表面モデル生成器３０、２Ｄ画像生成器３２、２Ｄの顔の位置検出器３４、平均化モジュール３６及び２Ｄ−３Ｄ変換器に結合されている。制御モジュール３９は、２Ｄ画像生成器３２に、同じ３Ｄの表面モデルから複数の角度に対する画像を生成させる、及び平均化モジュール３６に、前記複数の角度に対する２Ｄの顔の検出結果から平均（すなわち平均値又は中央値）を決めさせるように構成される。説明したように、前記構造の様々な要素は、プログラム可能な処理器より実施されるソフトウェアモジュール又は電子回路若しくはそれらの組み合わせでもよい。前記要素は、図２のフローチャートのステップを行う、つまり制御モジュール３９が第１、第３及び第６のステップ２１、２３、２６を行い、２Ｄ画像生成器３２が第２及び第４のステップ２２、２４を行い、２Ｄの顔の位置検出器３４が第５のステップ２５を行い、データ結合器３６が第７のステップ２７を行う。全てのステップが同じ装置で行われる必要はない。例えば３Ｄの表面モデル生成器３０は、２Ｄ画像の取り込み中、ある装置においてオンラインで行われ、次いでその装置から図３の他の要素を含む、オフラインで処理するためのもう１つの装置に供給されてもよい。

ある実施例において、第５から第７のステップ２１−２７は、複数の異なる選択した第１の方向に対し繰り返される。このように、異なる第２の方向に対する公称のピクセル位置と関連付けられる複数の３Ｄの位置が決められる。これら３Ｄの位置から、公称の３Ｄの位置（例えば、異なる第１の方向に対する３Ｄの位置の中央又は平均）が決められてもよい。ある実施例において、同じ第１の方向は、前記画像の位置の各々に用いられ、無限遠にある仮想のカメラをシミュレーションする。代わりに、前記第１の方向から得られる派生した第１の方向が使用されてもよい。この得られる方向は、例えば第１の方向に沿った前記場面からの線分上に視点を仮定して、撮像面におけるその視点から２Ｄの位置までの線分を決め、及びこれらの線分とモデル化した３Ｄ表面との交差を表面点として使用することにより決められる。

同じ第２の方向を用いて得られた複数の２Ｄ画像に対して、公称の検出した顔の位置から３Ｄの位置が決められるとき、この公称の検出した顔の位置は、この公称の２Ｄの表面位置と関連付けられる３Ｄの表面位置を決める前に２Ｄで決められてもよい。３Ｄの位置が個々の３Ｄ画像に対する顔の位置の検出から決められ、前記公称の位置が結果として３Ｄで決められるとき、同じ第２の方向を用いて得られた２Ｄ画像の組を持つ必要はない、つまり第１及び第３のステップ２１、２３は、何らかの第１及び第２の方向の対を選択するために結合されてもよい。

ある実施例において、顔が検出された２Ｄの画像範囲の表示の形式で、検出した顔の位置を出力する２Ｄの顔の位置検出アルゴリズムが第５のステップ２５に用いられる。２Ｄの画像範囲の表示は、例えば検出した顔の上側、下側、左側及び右側に縁を持つ矩形を示す。本実施例において、処理器１４は、前記矩形の中心点を検出した顔の位置として使用するように構成される。これら矩形は各々、単一の検出した顔の位置として使用されてもよい。

その上、処理器１４は、例えば示される２Ｄ画像範囲内にあるピクセル位置と関連付けられる３Ｄ座標から、又は示される２Ｄの画像範囲の境界に沿ったピクセル位置と関連付けられる３Ｄ座標から、顔が検出された３Ｄの表面範囲を決めるために、２Ｄ画像範囲の表示を使用するように構成される。ある実施例において、処理器１４は、例えば矩形範囲の縁の位置の中央若しくは平均値を決めること、又は公称の中心位置から、境界までの距離の中央又は平均をとることにより、夫々の第２の方向を用いて得られた前記示される２Ｄの画像範囲から、検出した顔に対する公称の２Ｄ画像を決めるように構成される。

説明されるステップは、顔の向き、境界及び／又はサイズを決めるための他のステップが続いてもよい。処理器１４は、例えば鼻、口及び目のような顔の造作の位置の検索を行うための検索範囲を決めるために、他のステップにおいて前記３Ｄの顔の位置を使用するように構成されてもよい。このような造作の位置は、顔の向き及び／又はサイズを決めるのに使用される。

例示的な実施例は、図面及び上述した説明において詳細に説明及び開示されているのに対し、このような説明及び開示は、説明的及び例示的であると考え、制限的であるとは考えるべきではない、つまり本発明は開示した実施例に限定されない。

構造化光が３Ｄの表面モデルを得るのに使用される実施例が示されていたとしても、当然のことながら、このようなモデルを得るのに他の技術が使用されてもよい。例えば、異なる位置にある複数のカメラからの画像が使用される立体技術が使用されもよいし、又は移動する同じカメラからの複数の画像が３Ｄの表面モデルを得るのに使用されるＳＬＡＭ技術が使用されてもよい。複数の方向が夫々のピクセルに一致している場合、ＴＯＦ(time of flight)測定に基づいて画像を形成するように構成される深度撮像カメラ（距離カメラ）が使用される。非光学技術、例えば核磁気撮像、超音波検査、Ｘ線断層撮影が代わりに使用されてもよい。体積測定法(volumetric technique)が使用されるとき、結果生じる体積モデルは３Ｄの表面モデルを得るのに使用されてもよい。３Ｄの表面モデルが２Ｄのカメラ画像から得られる実施例において、１つ以上の２Ｄのカメラ画像の視方向に等しい第１の方向が選択される。この場合、３Ｄの表面モデルにより定められる法線との角度は、同じ視方向から観測される光強度の本来の２Ｄのカメラ画像の代わりに又はそれに加えて、顔の位置検出のための画像を生成するのに使用される。

３Ｄの表面モデルは、記憶装置（例えば磁気ディスク又は半導体メモリ）に記憶され、説明した顔の位置検出のために表面モデルを得るために、この表面モデルがこの記憶装置から読み取られる。代わりに、顔の位置検出が行われるとき、３Ｄの表面モデルが測定値から直接得られてもよいし、又は顔の位置検出が行われるとき、２Ｄ画像若しくは体積モデルから前記３Ｄの表面モデルを得ることにより取得されてもよい。

所望するアプリケーションに依存して、結果生じる検出される３Ｄの顔の位置は色々な方法で用いられる。例えば、３Ｄの表面モデルから個人の身元を確認又は見つけるための顔認識アルゴリズムを行うのに用いられてもよい。もう１つの例として、顔の上にフィットするマスクの形状の決定及び既定のマスクの組から適切なマスクの選択又はこのようなマスクの製造の制御のような、３Ｄの表面モデルをさらに処理するための入力としても役立つ。もう１つの例として、例えばＮＭＩ画像のような体積データの処理を制御する、例えば測定値が得られる体積モデルにおける３Ｄ範囲の位置を制御するのに使用されてもよい。

説明される実施例以外の変更例は、図面、明細書及び特許請求の範囲の研究により、請求する本発明を行う当業者により理解及びもたらされることができる。請求項において、"有する"という言葉は、それ以外の要素又はステップを排除するものではなく、複数で示されていないことが、それらが複数あることを排除するものでもない。１つの処理器又は他のユニットが請求項に挙げられる幾つかのアイテムの機能を果たしてもよい。ある方法が相互に異なる従属請求項に列挙されているという事実は、これらの方法の組み合わせが有利に使用されることができないことを示しているのではない。コンピュータプログラムは、適切な媒体、例えば光学記憶媒体又は他のハードウェアと一緒に又はその一部として供給されるソリッドステート媒体に記憶／分配されてもよいが、他の形式、例えばインターネット又は他の有線若しくはワイヤレス電話通信システムを介して分配されてもよい。請求項における如何なる参照符号も本発明の範囲を限定するとは考えるべきではない。

Claims (16)

1. 顔の位置が検出される画像処理方法において、
   場面の測定値から３Ｄの表面モデルを得るステップ、
   前記３Ｄの表面モデルから角度データの２Ｄ画像を生成するステップであり、前記２Ｄ画像は角度データを表し、前記２Ｄ画像における夫々の像点に対する前記角度データは、仮想の照明方向から得られる入射方向と、前記像点において前記２Ｄ画像で見られる、３Ｄ表面上の点における当該３Ｄ表面の法線との間の角度に依存して選択されている、前記生成するステップ、及び
   前記２Ｄ画像に２Ｄの顔の位置検出アルゴリズムを適用するステップ、
   を有する方法。
2. 夫々の仮想の照明方向に対する前記角度データを夫々表す複数の夫々の２Ｄ画像を前記３Ｄの表面モデルから生成するステップ、
   前記夫々の２Ｄ画像に前記２Ｄの顔の位置検出アルゴリズムを適用するステップ、及び
   前記夫々の２Ｄ画像から検出される顔の位置を結合するステップ、
   を有する請求項１に記載の方法。
3. 前記夫々の仮想の照明方向に対し、同じ視方向に対する複数の前記夫々の２Ｄ画像を生成するステップを有する、請求項２に記載の方法。
4. 異なる視方向から、夫々複数の前記夫々の２Ｄ画像を生成するステップであり、前記夫々複数とは複数の互いに異なる夫々の仮想の照明方向に対する夫々の２Ｄ画像を有する、請求項３に記載の方法。
5. 前記複数の夫々の２Ｄ画像に対する平均的な検出される２Ｄの位置を決めるステップ、及び前記３Ｄの表面モデルに従って、前記平均的な検出される２Ｄの位置と関連付けられる３Ｄ表面の位置を決めるステップ、を有する請求項３に記載の方法。
6. 前記２Ｄの顔の位置検出アルゴリズムを適用するステップは、
   前記画像の夫々の範囲にわたり複数の前記角度の合計を決めるステップ、
   前記合計をしきい値と比較するステップ、及び
   前記比較の結果を結合するステップ
   を有する請求項１に記載の方法。
7. 夫々の検出される２Ｄの顔の位置と関連付けられる夫々の３Ｄ表面の位置を、前記３Ｄの表面モデルに従って決めるステップ、及び前記夫々の３Ｄ表面の位置の平均を決めるステップ、を有する請求項２に記載の方法。
8. 前記３Ｄの表面モデルは、前記場面から入力される光からなる１つ以上の他の２Ｄ画像からの情報を用いて得られる、請求項１に記載の方法。
9. 構造化光を用いて前記場面を照明するステップを有する請求項８に記載の方法。
10. 前記夫々の２Ｄ画像は、前記場面から入力される光からなる前記１つ以上の他の２Ｄ画像の視方向に一致する視方向に対し生成される、請求項８に記載の方法。
11. 前記夫々の２Ｄ画像は、もしあれば前記３Ｄ表面上の点と関連付けられる光反射特性とは関係なく生成される、請求項８に記載の方法。
12. 前記検出した顔の位置に見ることができる３Ｄ表面上の点の３Ｄ位置を決めるために、前記２Ｄの顔の位置検出アルゴリズム及び前記３Ｄの表面モデルにより検出される顔の位置を使用するステップ、を有する請求項１に記載の方法。
13. プログラム可能な処理器により実施されるとき、請求項１乃至１２の何れか一項に記載の方法を前記プログラム可能な処理器に行わせる、前記プログラム可能な処理器への命令からなるプログラムを有する、コンピュータプログラム。
14. ある場面に対し得られる３Ｄの表面モデルから２Ｄ画像を生成するように構成される２Ｄ画像生成器であり、前記２Ｄ画像は角度データを表し、前記２Ｄ画像における夫々の像点に対する角度データは、仮想の照明方向から得られる入射方向と、前記像点において前記画像で見られる、３Ｄ表面上の点における当該３Ｄ表面の法線との間の角度に依存して選択されている、２Ｄ画像生成器、及び
    前記夫々の２Ｄ画像に２Ｄの顔の位置検出アルゴリズムを適用するように構成される２Ｄの顔の位置検出器、
    を有する画像処理システム。
15. 請求項１４に記載の画像処理システムにおいて、
    前記２Ｄ画像生成器は、前記３Ｄの表面モデルから複数の夫々の２Ｄ画像を生成するように構成され、前記夫々の２Ｄ画像は夫々の仮想の照明方向に対する前記角度データを夫々表し、前記画像処理システムは、前記複数の夫々の２Ｄ画像から２Ｄの顔の位置検出器により検出された顔の位置の検出結果を結合するように構成されるデータ結合器を有する、画像処理システム。
16. カメラと、当該カメラからの画像データを用いて前記３Ｄの表面モデルを生成するように構成される３Ｄモデル生成器とを有する、請求項１４に記載の画像処理システム。

Images