JP6242888B2 - 顔検証のためのシステムおよび方法 - Google Patents

Description

本開示は、顔検証のためのシステムおよび方法に関する。特に、本開示は、人物の顔を検出し、検出された人物の顔が生身の人物の顔であるか否かを決定するためのシステムおよび方法に関する。

[0002] 顔検出および／または検証システムは、例えば、ペアレンタルコントロールアプリケーション（parental control applications）、法の執行（law enforcement）、モバイルバンキング、およびセキュリティーアプリケーション等を含む、様々なコンテキストにおいて有用でありうる。従来の自動顔検出システムは、画像内の人物の顔を検出することができる。しかしながら、これらのシステムは、一般に、画像内の検出された顔が生身の人物の顔からキャプチャされたのか、あるいは単に人物の顔の写真または他の人物の顔の複製からキャプチャされたにすぎないのかを決定することができない。

[0003] 例えば、ある場合には、検出された顔は、写真の中の顔、ディスプレイスクリーン上の顔の画像、顔のマスク、顔の複製の模型、マネキン、またはいずれかの他の生身でない顔といった、人工のソースに由来しうる。例えば、偽の身分証明書を作成しようとする者は、顔検出システムをだまそうとするため、誰か他の人物の顔写真、またはマスクを使用しうる。さらに、まばたきや他のタイプの顔の動きをとらえる高性能なシステムでさえ、生身の顔を検出することは、生身の顔に代わる誰か他の人物の顔のビデオストリームを使用することによって妨げられうる。

[0004] ある実装において、画像内の生身の人物の顔を検出するための方法が開示される。方法は、人物の顔を含むマルチスペクトル画像データを受信することを含むことができ、ここで、マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える。方法は、人物の顔を検出するために、マルチスペクトル画像データを処理することを備えることができ、検出された人物の顔が生身の人物の顔であるかどうかを決定するために、可視光画像データ内の検出された人物の顔とＮＩＲ画像データ内の検出された人物の顔とを関連付けることをさらに含みうる。

[0005] 別の実装では、画像内の生身の人物の顔を検出するためのイメージングシステムが開示される。イメージングシステムは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備えるマルチスペクトル画像データをキャプチャするように構成された少なくとも１つの画像センサを含むことができ、ここで、マルチスペクトル画像データは、人物の顔を含む。加えて、イメージングシステムは、人物の顔を検出するためにマルチスペクトル画像データを分析するように構成された顔検出モジュールを含みうる。イメージングシステムはまた、検出された顔のマルチスペクトル画像データを分析し、検出された人物の顔が、生身の人物の顔かどうかを決定するように構成された肌検証モジュールを含みうる。

[0006] さらに別の実装において、イメージングシステムが開示される。イメージングシステムは、人物の顔を含むマルチスペクトル画像データを受信するための手段を含むことができ、ここで、マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える。システムはさらに、人物の顔を検出するために、マルチスペクトル画像データを処理するための手段を含みうる。加えて、システムは、検出された人物の顔が生身の人物の顔であるかどうかを決定するために、可視光画像データ内の検出された人物の顔とＮＩＲ画像データ内の検出された人物の顔とを関連付けるための手段を含みうる。

[0007] 別の態様において、非一時的コンピュータ読み取り可能な媒体が開示される。非一時的コンピュータ読み取り可能な媒体は、実行されると方法を実施するコードが記憶されている。方法は、人物の顔を含むマルチスペクトル画像データを受信することを備えることができ、ここで、マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える。方法はさらに、人物の顔を検出するために、マルチスペクトル画像データを処理することを含みうる。加えて、方法は、検出された人物の顔が生身の人物の顔であるかどうかを決定するために、可視光画像データ内の検出された人物の顔とＮＩＲ画像データ内の検出された人物の顔とを関連付けることを含みうる。

図１は、ある実装に従った、顔検証システムの概念図である。 図２は、マルチスペクトルイメージングデータを使用して生身の人物の顔を検証するための方法の一実装を図示するフローチャートである。 図３は、生身の人物の顔を検証するための方法の別の実装を図示するフローチャートである。 図４は、図３で提示された方法からの実験結果を図示する。 図５は、キャプチャされた人物の顔が生身の人物の顔かどうかを決定するための１つの方法を図示するフローチャートである。 図６Ａは、画素が生身の人物の肌を表すか、または生身でない人物の肌を表すかどうかを決定するための方法を図示するフローチャートである。 図６Ｂは、一実装に従った決定論的方法を図示するフローチャートである。 図６Ｃは、別の実装に従った確率論的方法を図示するフローチャートである。 図６Ｄは、導出された確率密度関数についての実験結果のグラフである。 図６Ｅは、導出された確率密度関数についての実験結果のグラフである。 図６Ｆは、顔が生身の人物の顔かどうかを決定するための、１つの方法を図示するフローチャートである。 図７Ａは、様々な実装に従った、ユーザインターフェースの画像である。 図７Ｂは、様々な実装に従った、ユーザインターフェースの画像である。 図８Ａは、生身の人物の顔を検証するための様々な他の実装を図示するフローチャートである。 図８Ｂは、生身の人物の顔を検証するための様々な他の実装を図示するフローチャートである。

詳細な説明

[システムの概要］
[0020] 本明細書で開示される実装は、１つまたは複数のイメージングセンサを有する電子デバイスを用いて生身の人物の顔を検証するための、システム、方法および装置を提供する。例えば、ある実施形態において、システムは、可視光イメージングセンサおよび赤外光イメージングセンサを含みうる。画像をキャプチャする間、システムは、写真またはビデオとは対照的に、両方のセンサからの情報を組み合わせることによって、キャプチャされた顔が生身の人物からのものであるかどうかを検出しうる。例えば、いくつかの波長において、赤外光イメージングセンサからのデータは、キャプチャされた顔から生じる熱があるかどうかを決定するのに使用され得、他の波長において、赤外光イメージングセンサからのデータは、顔から詳細なテクスチャ情報をキャプチャするのに使用されうる。別の実施形態において、システムは、キャプチャされた顔に対応する画素が、下記に説明されるような、生身の肌からの画素であるかどうかを決定しうる。当業者であれば、開示された実施形態がハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実装されうることを理解するだろう。

[0021] 下記の説明において、例についての十分な理解を提供するために、特定の詳細が与えられる。しかしながら、当業者であれば、これらの例がこれらの特定の詳細なしで実施されうることを理解するだろう。例えば、これらの例を不必要な詳細で不明瞭にしないように、電子コンポーネント／デバイスは、ブロック図で示されうる。他の事例において、このようなコンポーネント、他の構造、および技法が、これらの例をさらに説明するために詳細に示されうる。

[0022] これらの例はまた、処理として説明され、それらは、フローチャート、フロー図、有限状態図、構造図、またはブロック図として図示されうることに留意されたい。フローチャートは、動作を連続的な処理として説明しうるが、動作の多くは、並列または同時並行に行われることができ、また、処理は繰り返されることができる。加えて、動作の順序は並べ換えることができる。処理は、その動作が完了した場合に終了する。処理は、方法、関数、手順、サブルーチン、サブプログラム等に対応しうる。処理がソフトウェア関数に対応する場合、その終了は、呼び出し関数または主関数、あるいは同様のサブルーチンの完了または同様の機能性に関数を戻すことに対応する。

[0023] 当業者であれば、情報および信号は、様々な異なる技術および技法のうちの任意のものを用いて表されうることを理解するだろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表されうる。

[0024] 図１は、イメージングされた人物の顔が生身の人物の顔であることを検証するための顔検証システム１の一実装を図示する。顔検証システム１は、マルチスペクトルイメージングシステム２を含む。マルチスペクトルイメージングシステム２は、ブロードバンドの波長を感知することができるマルチスペクトルイメージングセンサを含むように構成され、それは、少なくとも可視光波長および近赤外線（ＮＩＲ）光波長を含む。マルチスペクトルイメージングセンサは、約３９０ナノメートルと約１４００ナノメートルとの間の波長における光を検出するように構成されうる。もちろん、イメージングセンサはまた、より広い範囲の波長も同様に検出するように構成されうる。いくつかの実装において、電荷結合素子（ＣＣＤ）は、マルチスペクトルイメージングセンサとして使用されうる。いくつかの実装において、ＣＭＯＳイメージングセンサは、マルチスペクトルイメージングセンサとして使用されうる。

[0025] 他の実装において、マルチスペクトルイメージングセンサシステム２は、マルチスペクトルイメージングセンサの代わりに、２つの別個のセンサを含みうる。この実施形態において、マルチスペクトルイメージングセンサシステム２は、可視光センサおよび別個のＮＩＲセンサを含みうる。例えば、マルチスペクトルイメージングセンサシステム２は、少なくとも約３９０ナノメートルと約８００ナノメートルとの間の範囲における可視光を検出することができる、ＣＣＤ／ＣＭＯＳのような第１のセンサを含みうる。マルチスペクトルイメージングセンサシステム２は、約８００ナノメートルと約１４００ナノメートルとの間の範囲におけるＮＩＲ光を検出することができる、ＣＣＤ／ＣＭＯＳのような第２のセンサをさらに含みうる。いくつかの実装において、可視およびＮＩＲセンサについての波長の範囲は、重複するか、または実質的に同じでさえありうる。例えば、様々な実装において、アプティナ・イメージング社（カリフォルニア州、サンノゼ）によって製造されたＭＴ９Ｍ１１２センサが、可視光センサとして使用され、またアプティナ・イメージング社（カリフォルニア州、サンノゼ）によって製造されたＭＴ９Ｍ００１センサが、ＮＩＲセンサとして使用されうる。当業者は、他のタイプのセンサが可能でありうることを理解するだろう。いくつかの実装において、ＮＩＲパスフィルタのようなイメージングフィルタは、ＮＩＲデータのみを検出するために、適切なＣＣＤ／ＣＭＯＳにおいて使用されうる。当業者は、様々な他のセンサまたはそれらの組み合わせが、可視およびＮＩＲイメージングデータをキャプチャするのに使用されうることを理解するだろう。

[0026] 顔検証システム１は、メモリ３およびプロセッサ４をさらに含みうる。メモリ３およびプロセッサ４は、互いにおよびマルチスペクトルイメージングセンサ２と電気的に通信するように構成される。顔検証システム１はまた、プロセッサ３によって実行されうる様々なソフトウェアモジュールを記憶することができる記憶デバイス５を有する。いくつかの実装において、プロセッサ４は、マルチスペクトルイメージングセンサシステム２へデータを送信し、またマルチスペクトルイメージングセンサシステム２からデータを受信し、記憶デバイス５内のソフトウェアモジュールに記憶されたコンピュータに実装された命令を実行することによって、そのデータを操作することができる。

[0027] 記憶デバイス５は、非一時的記憶媒体のようないずれかの適切なコンピュータ読み取り可能な記憶媒体でありうる。記憶デバイス５は、任意の数のソフトウェアモジュールを備えうる。例えば、通信モジュール１０および前処理モジュール１１は、記憶デバイス５で記憶されうる。通信モジュール１０は、顔検証システム１のコンポーネント間のデータのフローを管理するコンピュータに実装された命令を備えうる。前処理モジュール１１は、他の動作がデータ上で行われる前に、マルチスペクトルイメージングシステム２から受信された画像データのようなデータを前処理するように構成されうる。記憶デバイス５はまた、ユーザインターフェースモジュール１２を含みうる。ユーザインターフェースモジュール１２は、ユーザインターフェース６を実装するための命令を備えうる。図７Ａ−７Ｂに関して下記でより詳細に説明されるように、システムによって検出された顔の周りに、ユーザが見るための仮想ボックスが描かれ、また、いくつかの実装において、生身でない肌よりも生身の肌である確率が高い画素の割合が、ユーザインターフェース６で表示されうる。他のユーザインターフェース特徴は、グラフィカルユーザインターフェース（ＧＵＩ）を含んでおり、ユーザインターフェースモジュール１２に記憶された命令によって制御または実装されうる。

[0028] 記憶デバイス５は、顔検出モジュール１３をさらに含む。顔検出モジュール１３は、画像内の人物の顔を検出することができるソフトウェアを含みうる。いくつかの実装において、顔検出モジュール１３は、画像内のキャプチャされた顔の形状を検出および検証するために、既知の技法を使用しうる。いくつかの実装において、顔検出モジュール１３は、顔の輪郭を検出するように構成されうるが、他の実装において、顔検出モジュール１３は、顔が位置付けられる一般的な領域（例えば、特定の正方形または長方形の領域内に位置づけられた顔）を検出しうる。ある実装において、例えば、日本の京都にあるオムロン株式会社によって製造されたＯＫＡＯ Ｖｉｓｉｏｎセンシング技術（OKAO Vision Sensing Technology）が、顔検出モジュール１３で使用されうる。顔検出モジュール１３の他の実装が可能であり、よって、実施形態は、画像内の顔を検出するための任意の特定の方法に制限されない。

[0029] 肌検証モジュール１４はまた、記憶デバイス５で記憶されうる。本明細書でより詳細に説明されるように、肌検証モジュール１４は、写真または他の人工の人物の顔からキャプチャされた画像によって生成される生身でない肌とは反対に、人物の顔の画像内の肌が生身の人物の肌であることを検証するために、コンピュータに実装された命令を含みうる。ある実装において、肌検証モジュール１４もまた、人物の体の他の部分の肌が、生身の人物の肌であることを検証しうる。記録デバイス５はまた、ユーザ通知モジュール１５を含む。ユーザ通知モジュール１５は、検出された顔が生身または生身でない人物の顔であることをユーザに通知するように構成されうる。ある実装において、ユーザ通知モジュール１５は、どの画素が生身のまたは生身でない肌画素（skin pixels）であると決定されたかを、ユーザに通知することができる。また、図１で示されるように、他の処理モジュール１６は、システム１に関する様々な他の機能性を実装することが望まれる場合、記憶デバイス５に記憶されうる。

[0030] 顔検証システム１は、ユーザインターフェース６を含む。ユーザインターフェース６は、イメージングされた顔が画像内の生身の人物の顔であることを検証するために、システム１のユーザが、システムと相互作用することおよび様々なモジュールを効果的に使用することを可能にしうる。例えば、ユーザインターフェース６は、キャプチャされた画像および／または顔検証処理に関連付けられた他のデータを表示するために、１つまたは複数のディスプレイを含みうる。ディスプレイはまた、システム１の有用性をさらに高めるために、グラフィカルユーザーインターフェース（ＧＵＩ）を表示するように構成されうる。ユーザインターフェース６は、マイクロフォン、スピーカ、あるいは音声を受信または送信するように構成された他のデバイスのような、様々な音声デバイスを含みうる。いくつかの実装において、ユーザインターフェース６は、例えば、キーボード、マウス、プリンタ、および他の入力／出力デバイス等を含む、様々な周辺デバイスを含みうる。

[0031] 顔検証システム１は、モバイルフォンまたはスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デジタルカメラ等を含む、モバイルデバイス上で実装されうる。モバイルデバイス上のマルチスペクトルイメージングシステム２、メモリ３、プロセッサ４、記憶装置５、およびユーザインターフェース６を統合することによって、顔検証システム１は、システムに固定されたロケーションに留まることを要求することなく、有利に使用されることができる。しかしながら、他の実装において、顔検証システム１は、デスクトップコンピュータ、サーバ、コンピュータワークステーション、または他のタイプのコンピューティングデバイスを備えうる。マルチスペクトルイメージングシステム２は、他のキャプチャハードウェアと統合されうるか、あるいは、例えば１つの別個のカメラまたは複数のカメラとして、コンピューティングデバイスと別個でありうる。

[マルチスペクトルイメージングの概要］
[0032] 図２は、マルチスペクトル画像データを使用して生身の人物の顔を検証するための方法２０の一実装を図示するフローチャートである。ブロック２１において、マルチスペクトル画像データがキャプチャされる。マルチスペクトル画像データは、少なくとも可視光およびＮＩＲスペクトルにわたる画像データを備えうる。例えば、画像データは、約３９０ナノメートルと１４００ナノメートルとの間の波長の範囲にわたって、マルチスペクトルイメージングシステム２によってキャプチャされうる。可視およびＮＩＲ波長の両方にわたる画像データを利用することによって、画像データがより狭い光のスペクトルに制限される場合よりも、景色または物体のより多くの詳細が感知されうる。例えば、ＮＩＲ画像データは、いくつかの状況において、対応する可視光画像データよりもより滑らかな表面をもたらしうる。

[0033] 画像がブロック２１でキャプチャされた後、方法２０は、ブロック２２へと移動し、ここで、人物の顔は、キャプチャされた画像内で検出される。顔検出のいずれかの適切な方法が画像内の顔を検出するのに使用されうる。例えば、上述されたように、顔検出モジュール１３は、キャプチャされた顔の形状について詳細を検出しうる。代替的に、顔検出モジュール１３は、画像内の特定のボックスの中などといった、顔が位置する一般的な領域を検出しうる。

[0034] しかしながら、上述されるように、顔検出は、検出された顔が、生身の人物の顔であるか、あるいは写真からキャプチャされた画像、マスク、顔モジュールまたは顔型、あるいは任意の他の人工の人物の顔のような、人工の顔の複製であるか否かを決定することができないであろう。ブロック２２において顔を検出した後、方法２０は、ブロック２３へと移動し、ここで、顔検証システム１は、検出された顔の肌が生身の人物の肌であることを検証しうる。下記でより詳細に論じられるように、様々な方法が、肌が生身の肌であることを検証するように用いられうる。

[0035] 方法２０は次に、検出された顔が生身の人物の顔であるかどうかを決定するための決定ブロック２４へと移動する。検出された顔が生身の人物の顔であるかどうかを決定するための様々な方法がある。例えば、図６Ｆに関して下記で説明されるように、生身および生身でない肌の画素数が計算される。検出された顔内で、生身の肌の画素数が、画素数の特定の閾値を超える場合、検出された顔が生身の人物の顔であると決定されうる。他の実施形態において、各画素について、当該画素が生身の肌画素である確率が計算されうる。生身の肌の画素の数を決定するために、生身でない肌よりも生身の肌である可能性がより高い画素の数が計算されうる。生身でない肌画素（または別の閾値）よりも生身の肌画素がより多くある場合、その顔が生身の人物の顔であると決定されうる。

[0036] 顔が生身の顔であるという決定がなされると、方法２０は次にブロック２６へと移動し、顔が生身であることをユーザに通知する。顔が生身の顔でないという決定がなされると、方法２０は次に、ブロック２５へと移動し、ここで、ユーザは、顔が生身の人物の顔でないことを通知される。例えば、ユーザ通知モジュール１５は、例えば、ユーザインターフェース６の方法によって、顔が生身でない顔であることをユーザに通知するために実装されうる。下記で説明されるように、画像内の画素のセットに関する画像データが与えられると、顔全体が生身であるか、または生身でないかを決定することができる。例えば、検出された顔は、別の写真の画像等のような、人物の顔の複製の画像でありうる。顔が生身であるか否かを、どのようにシステムが検出するかに関するさらなる詳細が、下記で説明される。

[0037] 図３を参照すると、生身の人物の顔を検証するための方法３０の別の実装が開示される。しかしながら、図２とは異なり、方法３０においてＮＩＲ画像データおよび可視光画像データは、単一のマルチスペクトルセンサを用いた場合とは対照的に、別個でキャプチャされる。方法３０が開始しブロック３１へと移動し、ここで、分析されるべき顔の可視光画像およびＮＩＲ画像が、キャプチャされる。図１に関して上記で説明されるように、別個の可視光およびＮＩＲセンサ（例えば、ＣＣＤまたはＣＭＯＳ）が、人物の顔を含む２つの別個の画像をキャプチャしうる。

[0038] 方法３０は次に、ブロック３２へと移動し、ここで、人物の顔は、可視光およびＮＩＲ画像の両方において検出される。上記のように、任意の適切な顔検出方法が、可視およびＮＩＲ画像の両方に関して実装されうる。例えば、オムロン株式会社によって製造されたＯＫＡＯ Ｖｉｓｉｏｎセンシング技術は、顔を検出するために、いくつかの実装において使用されうる。方法３０は次に、ブロック３３へと移動し、ここで、システムは、可視光およびＮＩＲ画像の両方において検出された顔の肌が生身の人物の肌であることを検証する。図６Ａ−６Ｃに関して説明されるように、生身の肌を検証するための様々なシステムおよび方法が、本明細書で提示される。

[0039] 一旦、肌がブロック３３で検証されると、方法３０は、キャプチャされた顔が生身の顔であるかどうかを決定するための決定ブロック３４へと移動する。図２に関して上述されたように、検出された顔が生身の人物の顔であるかどうかを決定するための様々な方法がある。例えば、上記のように、検出された顔内で、生身の肌の画素の数が、、画素数の特定の閾値を超える場合、検出された顔が生身の人物の顔であると決定されうる。図２のように、検出された顔が、ブロック３４において決定されたような生身の人物の顔ではない場合、方法３０は次に、ブロック３５へと移動し、ここで、ユーザは顔が生身でないことを通知される。しかしながら、決定ブロック３４において、検出された顔が生身の人物の顔であるという決定がなされた場合、方法３０は次に、ブロック３６へと移動し、ユーザは、キャプチャされた顔が生身の顔からのものであることを通知されうる。

[0040] 図４は、図３で提示された方法からの実験結果を図示する。ブロック３１に関して説明されたように、別個のＮＩＲおよび可視光センサによって、それぞれ、ＮＩＲ画像４１がキャプチャされ、可視（例えば、ＲＧＢ）画像４２がキャプチャされる。代替として、マルチスペクトルセンサが使用されて、画像データは、可視光画像データからＮＩＲ画像データを分離するために後処理されうる。別の実装において、フィルタは、所望の波長をフィルタリングするためにセンサによって適用されうる。

[0041] ＮＩＲおよび可視画像４１、４２の両方において、１つの生身の顔４６が提示され、また２つの人工の人物の顔４５が提示される。人工の人物の顔４５は、人物の顔の写真で表されている。例えば、人工の顔は、人物の顔の、カラーまたは白黒の写真プリントによって表わされうる。実際、顔検証システム１は、カラー画像と白黒画像の両方、または表現（representations）において生身の人物の顔を検証することについて効果的でありうる。人物の顔に関する他の人工の表現がありうることが理解されるだろう。従来の顔検出システムは、画像４１、４２内の３つの人物の顔全てを検出することが可能でありうるが、従来のシステムは、画像４１、４２内の３つの顔のうちの２つが、生身の人物の顔４６ではなく、実際は人工の顔４５であることを検出することができないだろう。

[0042] 図４の肌検証画像４３は、図３のブロック３３の肌検証方法を実行した後の結果を図示しており、それは、図６Ａ−６Ｃの下記の説明において、さらに詳細に説明されるだろう。肌検証画像４３で見られるように、生身の人物の顔４６は、生身の顔４６と黒の背景との間の高いコントラストで示されるように、肌検証モジュール１４によって正確に検証されている。画像４３内の生身の顔４６の高いコントラストは、画像４３内で検出された、比較的多い生身の肌の画素の数を反映する。人工の人物の顔４５は、生身の肌画素であると決定される画素がより少ないため、黒の背景と対比してより低いコントラストを有するように図示される。

[0043] 図４の、最後の生身の顔検証画像４４において、生身の顔４６は、生身の顔４６の境界を示しているボックス４７の実線で示されるように、正確に検出されている。一方、生身でない顔４５の境界となる破線で示される２つのボックス４８によって図示されるように、２つの生身でない顔４５もまた識別されている。最後の画像４４が与えられると、ユーザは、検出された人物の顔が、本当に生身の人物の顔であるかどうか（および、検出された人物の顔のどれが実際の人物の顔であるか）を正確に通知されうる。

[概要−検出された顔が生身の人物の顔であると検証すること］
[0044] 図５は、キャプチャされた人物の顔が生身の人物の顔であるかどうかを決定するための１つの方法５０を図示するフローチャートである。方法５０は、ブロック５１で始まり、ここで、可視画像データおよびＮＩＲ画像データは、顔検証システム１によって受信される。いくつかの実装において、通信モジュール１０および／またはプロセッサ４は、マルチスペクトルイメージングシステム２からの画像を受信しうる。画像データは、マルチスペクトルイメージングシステム２によってキャプチャされるか、またはデータが外部のイメージングシステムによってキャプチャされ、プロセッサ４および／または通信モジュール１０に通信されうる。上述されたように、ＮＩＲおよび可視画像データは、単一のセンサによって、または別個の複数のセンサによってキャプチャされうる。

[0045] 可視およびＮＩＲ画像データがブロック５１において受信された後、方法５０は、人物の顔を検出するために、可視およびＮＩＲ画像データを処理するために、ブロック５２へと移動する。例えば、顔検出モジュール１３は、図１−３に関して上記で説明されたように、いずれかの適切な顔検出方法を使用して、画像内の人物の顔を検出しうる。方法５０は次に、ブロック５３へと移動し、ここで、可視画像データおよびＮＩＲ画像データは、検出された人物の顔が生身の人物の顔であるかどうかを決定するために関連付けられる。可視画像データとＮＩＲ画像データとの関連付けは、単バッチのマルチスペクトル画像データ（single batch of multispectral image data）、または別個の可視およびＮＩＲ画像に対して適用されうる。方法５０は次に、検出された顔が人工の顔を表すかどうかを決定するために、決定ブロック５４へと移動する。検出された顔が生身の人物の顔ではないという決定がなされると、方法５０は次にブロック５５へと移動し、その顔が生身でない顔であることをユーザに通知する。しかしながら、検出された顔が生身の顔であるという決定がなされる場合、方法５０は次にブロック５６へと移動し、検出された顔が生身の人物からのものであることをユーザに通知する。

[生身および生身でない肌画素を識別すること］
[0046] 図６Ａ−６Ｃは、マルチスペクトル画像データにおいて、検出された人物の顔の、生身および生身でない肌画素を識別するための様々な実装を図示するフローチャートである。いくつかの実装において、検出された顔が生身の人物の顔であるかどうかの決定に関してユーザが通知される前に、肌検証モジュール１４は、１画素単位に、どの画素が生身の人物の肌を表し、どの画素が生身でない人物の肌を表すか、を決定できる。

[0047] 図６Ａは、画像内の特定の画素ｉが、生身の人物の肌を表すか、または生身でない人物の肌を表すかを決定するための方法６０のフローチャートである。図示された方法６０は、ブロック６１で始まり、ここで、第１の反射率差ν_１、および第２の反射率差ν_２は、ＮＩＲおよび可視画像データの両方に関連付けられた特定の画素ｉについて計算される。第１の反射率差ν_１、および第２の反射率差ν_２は、可視およびＮＩＲスペクトルの両方において、人物の肌の反射率値に部分的に基づきうる。ある実装に従って、第１および第２の反射率差は、

によって決定されることができ、ここで、ρ_ｉは、キャプチャされた肌（生身であるか、または生身でないか）の画素ｉについて、ＮＩＲ波長（λ_ＮＩＲ）、緑色波長（λ_ｇ）、および赤色波長（λ_ｒ）それぞれにおける反射率値を表す。いくつかの実装において、反射率値ρ_ｉは、特定のマテリアルの表面および反射率Ｒに影響を与える照明（illumination）Ｌに基づいてモデル化されうる。この場合、肌についての反射率Ｒは、可視スペクトル内よりも、ＮＩＲスペクトル内でより強く（また、緑色波長帯よりも特に強く）なりうる。ＮＩＲと緑色波長との間の反射率における相違のために、緑色画像データは、いくつかの実装において、反射率差を計算するのに使用されうる。しかしながら、ν_１およびν_２の計算は、示された複数の波長における検出された強度間の差に比例するため、実際のところ、各波長に対する生の画素値は、反射率差ν_１およびν_２を計算する際に、各画素ｉに対して使用されうることに留意されたい。よって、反射率差ν_１およびν_２は、一般に、ＮＩＲと緑色波長とについて、および緑色と赤色波長とについて、イメージングされた肌の検出された強度間の差にそれぞれ比例しうる。

[0048] ν_１とν_２についての上記関係で示されるように、第１の反射率差ν_１は、ＮＩＲ画像データの一部分における反射率値（または生の画素データ）ρ_ｉ（λ_ＮＩＲ）と、可視光画像データの対応する一部分における緑色データの反射率値（または生の画素データ）ρ_ｉ（λ_ｇ）との間の差に基づいて決定されうる。いくつかの実装において、ＮＩＲ画像データの一部分は、特定の画素または画素のグループであり、また可視光画像データの対応する一部分は、可視光画像データの対応する画素または画素のグループである。第２の反射率差は、可視光画像データの、緑色データの反射率値（または生の画素データ）と、対応する一部分（例えば、画素または画素のグループ）における赤色データの反射率値（または生の画素データ）との間の差でありうる。推測に制限されることなく、上記で説明されたように、ＮＩＲデータと緑色データとの間のコントラストが、ＮＩＲデータと他の色（例えば、青または赤）との間よりも大きくなり得るため、緑色画像データが反射率値および／または反射率差を計算するように使用されうる。もちろん、他の色についての反射率値も比較されうる。例えば、赤色および青色の反射率値、または、緑色および青色の反射率値は、いくつかの実装において、ν_２およびν_１を計算するために比較されうる。

[0049] 特定の画素についての第１および第２の反射率差を計算した後、方法６０は、図６Ａのブロック６２へと移動し、ここで、第１および第２の反射率差ν_１およびν_２は、第１および第２の正規化された反射率差ｒ_１およびｒ_２を取得するために正規化され、ｒ_１およびｒ_２は、それぞれ、

によって与えられる。反射率差を正規化する他の方法が可能である。いくつかの実装において、正規化が行われる必要はなく、代わりに、生の画素値が正規化することなく使用されうる。

[0050] 正規化の後、方法６０は、決定論的方法が使用されるべきかどうかを決定するための決定ブロック６３へと進む。いくつかの実装において、肌検証モジュール１４は、検出される肌を分析するための方法を選択しうる。例えば、決定論的方法を選択する決定がなされる場合、方法６０は次に、決定論的方法を行うためのブロック６４へと移動する。決定論的方法を選択しない決定がなされる場合、方法６０は次に、確率論的方法を行うために、ブロック７０へと移動する。確率論的方法は、図６Ａに図示されるが、他の方法が、検出された肌を分析するのに使用されうることが理解されるだろう。

[決定論的方法］
[0051] 図６Ｂは、決定論的方法６４の一実装を図示するフローチャートである。方法６４は、ブロック６５で始まり、ここで、第１の閾値ｔ_ｎ１、第２の閾値ｔ_ｎ２、第３の閾値ｔ_ｒ１、および第４の閾値ｔ_ｒ２が設定されるか、そうでなければ決定される。いくつかの実装において、閾値は、最良の結果を取得するために、経験的方法を実験的に使用して決定されうる。他の実装において、閾値は、生身のおよび生身でない人物の肌についての理論上の反射率値に基づいて推定されうる。さらに別の実装において、閾値は、画像および／またはイメージングデバイスあるいはシステムの性質に基づいて、リアルタイムで決定されうる。

[0052] ブロック６５において、閾値を設定した後、方法６４は決定ブロック６６へと進み、第１および第２の閾値と、第１の正規化された反射率差とを比較する。第１の反射率差が、第１の閾値以下であり、第２の閾値より小さいという決定がなされる場合、処理は次にブロック６８へと進み、生身でない肌画素をユーザに返す。第１の正規化された反射率差ｒ_１が、第１の閾値ｔ_ｎ１より大きいが、第２の閾値ｔ_ｎ２より小さいという決定がなされる場合、処理は次に別の決定ブロック６７へと進み、第３および第４の閾値を、第２の正規化された反射率差と比較する。

[0053] ブロック６７へ戻り、第２の正規化された反射率差ｒ_２が第３の閾値ｔｒ_１より大きいが、第４の閾値ｔ_ｒ２より小さいという決定がなされる場合、方法６４は次にブロック６９へと進み、生身の肌画素を返す。第２の正規化された反射率差が、第３の閾値以下であり、第４の閾値より小さいという決定がなされる場合、方法６４は次にブロック６８へと移動し、生身でない肌画素を返す。

[0054] よって、図６Ｂで開示されたように、生身の肌画素を識別するために、正規化された反射率差は、

の両方を満たす。

[0055] 他の実装において、閾値の１つのセットは、他のものよりもより大きく重みづけされうる。例えば、ある実装において、閾値の不等式のうちの１つのみ（例えば、決定ブロック６６および６７のうちの１つのみ）が満たされる場合であっても、方法は次に、ブロック６９において生身の肌画素を戻すことができる。決定論的方法において実装される閾値は、様々な閾値が様々な照明条件下で適用される、あらかじめ校正された（pre-calibrated）実験的データに基づきうる。そのため、顔検証システム１は、特定の画素が、生身の人物の肌を表すか、生身でない人物の肌を表すかを決定する際、ＮＩＲおよび可視画像データによって提供される豊富な情報を利用しうる。実際、上記の図４で提示される実験的結果は、図６Ａ-６Ｂで開示された決定論的方法の例示的な実装を図示する。

[確率論的方法］
[0056] 図６Ｃを参照すると、確率論的方法７０の例示的な実装が図示される。一般に、確率論的方法は、多数のサンプルにわたって既知の生身の肌をキャプチャした画像データに少なくとも部分的に基づいて、所与の画素が、生身の人物の肌を表示する可能性を推定しうる。例えば、１つまたは複数の既知の生身の人物の顔は、様々な照明条件においてイメージングされ、既知の生身の肌領域についての反射率値および／または生の画素データが記憶されうる。同様に、写真などの既知の人工の肌は、多数のサンプルにわたって同様の照明条件でイメージングされ、反射率値および／または生の画素データが記憶されうる。顔検証システム１は、この記憶されたライブラリの既知の生身および生身でない肌画像データを使用して、画像内のいずれかの所与の画素が、生身または生身でない肌を表示する確率を推定する。

[0057] 図６Ｃに図示された方法７０は、ブロック７１で始まり、ここで、第１および第２の正規化された反射率差ｒ_１およびｒ_２のそれぞれについての確率密度関数（ＰＤＦ）は、生身の人の肌について取得される。ＰＤＦは、様々なあらかじめ定められた照明（lighting）条件下で実験的データに基づいて計算されうる。例えば、多くのサンプルのデータが、異なるタイプの生身の肌に基づいて収集されることができ、各サンプルは、暗い場所から明るい場所にわたる異なる照明条件下でイメージングされる。十分に多くの数の画像および／または画素がマルチスペクトルイメージングシステム２によってキャプチャされ、それは、システムがオフラインである間、例えば生身の顔を検証するのに用いられない間、に行われうる。

[0058] 仮に、（ｒ_1,1、ｒ_1,2、．．．ｒ_1,M）が、Ｍ個の生身の肌画素から導出または計算される、ｒ_１（例えば、第１の正規化された反射率差）のセットを示すとする。多くの異なる画像が、Ｍ個の画素のセットを取得するためにキャプチャされうる。ｒ_１についてのＰＤＦを計算するために生身の被写体（subject）が意図的にイメージングされるから、Ｍ個の生身の肌画素は、生身の肌を表すということが既知である。この既知の生身の肌画像データのセットは次に、任意の所与の画素が生身の肌を表す確率を推定するのに使用されうる。Ｍ個の生身の画素のセットが与えられると、生身の肌画素（上付き文字のＴで表される）についてのＰＤＦ、ｆ^Ｔ（ｒ_１）は、

によって導出されることができ、ここで、Ｋ（．）は、１に統合する対称関数（symmetric function that integrates to one）であるカーネルであり、ｈは、正のスムージングパラメータ（positive smoothing parameter）である。任意の適切なカーネルＫ（．）が使用されうる。いくつかの実装において、例えば、通常の分布が想定されると、ガウスカーネル（Gaussian kernel）が実装されうる。ガウスカーネルの場合、ｈに対する最適な選択は、

によって求められることができ、ここで、σは、標準偏差である。

[0059] 同様に、生身の肌についてのｒ_２のＰＤＦは、

によって求められうる。

[0060] 生身の肌についての第１および第２の正規化された反射率差のＰＤＦを取得した後、方法７０は、ブロック７２へと移動し、ここで、生身でない肌（上付き文字のＦで表される）について、正規化された反射率差ｒ_１およびｒ_２のＰＤＦ、ｆ^Ｆ（ｒ_１）およびｆ^Ｆ（ｒ_２）は、生身でない肌の実験的画像データを使用して、同様に取得される。例えば、偽の肌を表す画素のサンプルは、人物の顔の写真または模型（modsel）の１つまたは複数の画像を使用して取得されて、ＰＤＦを取得する。

[0061] 図６Ｄは、生身の肌画素および生身でない肌画素に関する様々な照明（lighting）条件下のｒ_１についてのＰＤＦのグラフである。図６Ｅは、生身の肌画素および生身でない肌画素のための様々な照明条件下のｒ_２についてのＰＤＦのグラフである。生身および生身でない両方の肌画素に関する正規化された反射率値の取得されたＰＤＦは、いくつかの実装において、肌検証モジュール１４で簡単にアクセスするために、ルックアップテーブル（ＬＵＴ）として保存されうる。他の実装において、ＰＤＦは、パラメータ化関数として推定されうる。

[0062] 上記の関係を考慮すると、画素ｊは、生身の肌画素であることが既知である場合、次に、ｒ_１およびｒ_２の確率は、それぞれ、

である。その代りに、画素ｊが生身でない肌画素であることが既知である場合、ｒ_１およびｒ_２の確率を決定するために、同様の計算が行われうる。

[0063] 方法７０は次に、ブロック７３へと移動し、ここで、特定の画素が生身の肌画素である確率が計算される。正規化された反射率差についてのＰＤＦが、特定のデバイスまたはデバイスのタイプについて（また潜在的に特定の照明条件下において）一旦取得されると、この情報は、任意の特定の画素が任意の後続の画像内の生身の肌を含む確率を推定するために、（１つまたは複数の）デバイス上で将来キャプチャされる画像で使用され得る。よって、上記取得されたＰＤＦは、いくつかの実装においてオフラインで取得されることができ、特定の画素が生身の肌画素であるか、または生身でない肌画素であるかを、リアルタイムで決定するために、オンラインモードで使用されうる。

[0064] 例えば、任意の画素ｉが生身の肌画素である確率は、

によって計算されうる。ベイジアンルール（Bayesian rule）によると、

である。ｒ_１およびｒ_２が独立変数であると仮定すると、その場合は、

である。さらに、画素ｉが生身かまたは生身でないかという事前知識がない場合には、任意の特定の画素ｉが生身の肌画素である確率は、

によって推定されうる。

[0065] 方法７０は、特定の画素が生身でない肌画素である確率を同様に計算するために、ブロック７４へと移動しうる。画素ｉが生身でない肌画素である確率は、

によって決定されうる。ｐ_ｉ ^Ｔおよびｐ_ｉ ^Ｆについての２つの式は比例の観点から表されているが、それらの確率についての相対的な値は、画素ｉが生身の肌画素または生身でない肌画素であるか否かを決定するのに使用されうる。

[0066] 画素が生身または生身でない肌画素である確率を計算した後、方法７０は決定ブロック７５へと進み、画素が生身の肌を表示する確率と、画素が生身でない肌を表示する確率とを比較する。画素が生身の肌である確率が、画素が生身でない肌である確率よりも大きいという決定がなされる場合、方法７０は次にブロック７７へと移動し、画素が生身の肌画素であることを表示する。一方、画素が生身でない肌である確率が、画素が生身の肌である確率よりも大きいという決定がなされる場合、方法７０は次にブロック７６へと移動し、画素が生身でない肌画素であることを表示する。よって、

である場合、特定の画素ｉは、生身の肌画素として識別されうる。

[0067] 画素が生身または生身でない肌である確率を推定するための他の方法が可能である。例えば、様々な実装において、確率閾値は、画素が生身または生身でない肌画素であるか否かを決定するために用いられうる。さらに、上記の決定論的および確率論的方法が画素ベースで実装されうる一方、顔の肌が、スムーズな色応答（smooth color response）を有しうるため、可視およびＮＩＲ画像、および／または画像データの正確な位置合わせ（alignment）は、要求されない。従って、可視およびＮＩＲの顔の画像が、顔検出に基づいて大まかな位置合わせだけが行われる場合、上記方法が効果的でありうる。

[生身の人物の顔を識別すること］
[0068] 図６Ａ−６Ｃの実装は、生身または生身でない肌画素を識別するのに使用されうる。いくつかの実装において、この情報は、ディスプレイ上でユーザに提示されることができ（例えば、図４参照）、また検出された顔が生身の人物の顔であるか否かを、ユーザが可視的に決定するのに十分でありうる。しかしながら、他の実装において、検出された顔が生身の顔であるかどうかを決定するために識別された画素を分析するため、さらなる処理が行われうる。

[0069] 図６Ｆにおいて、生身の人物の顔を識別するための１つの方法８０が開示される。方法８０は、ブロック８１で始まり、ここで、検出された顔内の生身の画素の数Ｎ_Ｔが計算される。生身の肌の画素の数を計算すると、方法８０は、決定ブロック８３へと進む。生身の画素数Ｎ_Ｔが画素数の閾値Ｔ_ｘを超えるという決定がなされる場合、方法８０はブロック８５へと移動し、検出された顔が生身の顔であることをユーザに通知する。Ｎ_ＴがＴ_ｘよりも小さいという決定がなされる場合、方法８０は次にブロック８４へと移動し、検出された顔が生身でない人物の顔であることをユーザに通知する。様々な閾値Ｔ_ｘが使用されうる。いくつかの実装において、Ｔ_ｘは、検出された顔内の画素について、例えば約５０％以上といったような特定の割合でありうる。様々な実装において、閾値Ｔ_ｘは、約５０％、６０％、７０％、８０％、９０％、または任意の他の適切な画素の割合の閾値でありうる。他の実装において、様々な他の閾値が使用されうる。例えば、検出された顔の範囲内の生身でない肌の画素数Ｎ_Ｆが計算されうる。Ｎ_Ｔ＞Ｎ_Ｆである場合、ユーザは次に、検出された顔が生身の顔であることを通知されうる。そうでなければ、ユーザは、検出された顔が生身でない顔であることを通知されうる。

[0070] 図７Ａは、生身でない顔が検出される場合の、ユーザインターフェース６の例示的な実装を示す。図７Ａにおいて、例えば、人物の顔の人工の模型（例えばマネキン）は、別個のＮＩＲ（左図）および可視光（右図）センサを使用してイメージングされる。左図および右図上のボックスは、顔検出モジュール１３によって検出された顔を示すのに使用されうる。生身の肌画素を識別した後、図７のユーザインターフェース６は、生身でない肌画素であるよりも高い生身の肌画素である確率を有する画素が３６％のみしかなく、生身の肌画素であるよりも高い生身でない肌画素である確率を有する画素が６４％あることを示している。示された実装について、生身でない肌画素よりも、生身の肌画素がより少ない（例えば、生身の肌の画素の数が、検出された顔内の全体の画素の５０％より少ない）ため、ユーザ通知モジュール１５は、検出された顔が生身の人物の顔ではないことを、ユーザインターフェース６を介してユーザに通知しうる（ディスプレイの中心にある「×」によって示される）。

[0071] 一方、図７Ｂは、生身の顔が検出される場合の、ユーザインターフェース６の例示的な実装を示す。しかしながら、図７Ｂにおいて、８１％の画素が、生身でない肌画素であるよりも高い生身の肌画素である確率を有している。従って、ユーザ通知モジュール１５は、検出された顔が生身の人物の顔であることをユーザに通知しうる（図７Ｂ内のディスプレイの中心に、チェックマークによって示される）。

[その他の実装］
[0072] 顔検出モジュールシステム１の他の実装が可能である。１つの方法９０が、図８Ａに示される。図８Ａに示されるように、方法９０は、ＮＩＲ画像および可視画像をキャプチャするためのブロック９１で始まる。上記のように、一旦ＮＩＲおよび可視画像がキャプチャされると、方法９０は、ブロック９２へと移動し、ここで、人物の顔は、ＮＩＲ画像および可視画像内で検出される。方法９０は次にブロック９３へと移動し、任意の適切な方法を使用して、顔についての検出された形状（geometry）を検証する。顔の形状を検証した後、方法９０は、ブロック９４へと進み、ここで、検出された顔は次に、バイオメトリック検証される(biometrically verified)。生身および生身でない肌の画像データが、本明細書において開示される様々な実装において使用されているが、顔が生身の顔であることを確認するために、様々な他の方法が行われうることが理解されるだろう。例えば、虹彩認証または網膜スキャンが、いくつかの実装において使用されうる。他の実装において、肌の下にある、人（subject）の血管および動脈は、検出された顔が生身の顔であるどうかを決定するためにイメージングされうる。追加として、既知の顔の動きまたはチック（tics）は、いくつかの実装においてイメージングされうる。さらに別の実装において、熱シグネチャ（heat signature）は、バイオメトリック検証方法として使用されうる。上記のように、方法９０は決定ブロック９５へと進み、検出された顔が生身の人物の顔であるかどうかを決定する。決定された顔が生身の顔であるという決定がなされると、方法９０は次にブロック９６へと移動し、ユーザに検出された生身の顔を通知する。そうでなく、検出された顔が生身の顔ではないという決定がなされると、方法９０は次にブロック９７へと移動し、顔が生身でない顔であることをユーザに通知する。

[0073] 図８Ｂを参照すると、生身の顔を検証するための別の方法１００が開示される。方法１００は、ＮＩＲおよび可視画像をキャプチャするためのブロック１０１で始まる。画像をキャプチャした後、方法１００は、ブロック１０２へと進み、ここで、ＮＩＲおよび可視画像データは、任意の既知の融合アルゴリズム（fusing algorithm）を使用して、互いに融合される。上記のように、方法１００はブロック１０３へと移動して、融合された画像内の人物の顔を検出する。図８Ａに関して説明されたように、示された方法１００はブロック１０４へと進み、融合された画像中の検出された人物の顔に対し、１つまたは複数のバイオメトリック検証処理を行う。方法１００は次に、決定ブロック１０５へと移動する。検出された顔が生身の顔であるという決定がなされると、方法１００は次にブロック１０７へと移動し、顔が生身であることをユーザに通知する。そうではなく、検出された顔が生身でない顔であるという決定がなされると、方法１００は次にブロック１０６へと進み、顔が生身ではないことをユーザに通知する。

[用語に関する説明］
[0074] 当業者であれば、本明細書で開示された実装に関連して説明された様々な例示的な論理ブロック、モジュール、回路、および処理ステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合せとして実装されうることをさらに理解するだろう。ハードウェアおよびソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、一般に、それらの機能性に関して上述されている。このような機能性がハードウェアまたはソフトウェアとして実装されるかどうかは、全体システムに課せられた設計の制約と特定のアプリケーションに依存する。当業者は、特定のアプリケーションごとに、様々な方法で開示された機能性を実装しうるが、このような実装の決定は、本発明の範囲からの逸脱を引き起こすものとして解釈されるべきではない。当業者であれば、ある部分、または一部分が、全体よりも少ないもの、または全体に等しいものを備えうることを理解するだろう。例えば、画素のコレクションの一部分は、それら画素のサブコレクション（sub-collection）を指しうる。

[0075] 本明細書で開示された実装に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは本明細書に説明された機能を実行するように設計されるこれらの任意の組み合わせで、実装または実行されうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替において、このプロセッサは、任意の従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン（state machine）でありうる。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと結合された１つまたは複数のマイクロプロセッサ、あるいは任意の他のこのような構成のような、コンピューティングデバイスの組み合わせとして実装されうる。

[0076] 本明細書に開示された実装に関連して説明された方法または処理のステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組み合わせにおいて、具現化されうる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、または当該技術分野において周知の任意の他の形状の非一時的な記憶媒体内に存在しうる。例示的なコンピュータ読み取り可能な記憶媒体は、プロセッサがコンピュータ読み取り可能な記憶媒体から情報を読み取り、またそれに情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと一体化されうる。プロセッサおよび記憶媒体は、ＡＳＩＣに存在しうる。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス内に存在しうる。代替において、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス内のディスクリートコンポーネントとして存在しうる。

[0077] 見出しは、参照のためおよび様々なセクションの位置付けを支援するために、本明細書に含まれる。これらの見出しは、これらに関して説明された概念の範囲を制限するようには意図されない。このような概念は、明細書全体にわたって適用性を有しうる。

[0078] 開示された実装の上記説明は、いかなる当業者であっても、本発明を製造または使用できるように提供される。これらの実装への様々な修正は、当業者に対して容易に明らかになり、本明細書に定義された一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実装にも適用されうる。よって、本発明は、本明細書に示された実装に制限されることを意図しないが、本明細書に開示された原理および新規の特徴と一致する最も広い範囲が与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
画像中の生身の人物の顔を検出するための方法であって、
人物の顔を含むマルチスペクトル画像データを受信することと、ここで、前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備え、
前記人物の顔を検出するために、前記マルチスペクトル画像データを処理することと、
前記検出された人物の顔が生身の人物の顔であるかどうかを決定するために、前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けることと、
を備える、方法。
［Ｃ２］
前記可視光画像データ内の検出された前記顔と、前記ＮＩＲ画像データ内の検出された前記顔との間の前記関連付けは、第１の反射率差と第２の反射率差とに少なくとも部分的に基づき、前記第１の反射率差は、前記ＮＩＲ画像データの一部分における反射率値と前記可視光画像データの対応する一部分における第１の色の反射率値との間の差であり、前記第２の反射率差は、前記第１の色の前記反射率値と前記可視光画像データの前記対応する一部分における第２の色の反射率値との間の差である、Ｃ１に記載の方法。
［Ｃ３］
前記可視光画像データ内のキャプチャされた前記検出された人物の顔と、前記ＮＩＲ画像データ内のキャプチャされた前記検出された人物の顔とを関連付けることは、
第１の正規化された反射率差を取得するために前記第１の反射率差を正規化することと、
第２の正規化された反射率差を取得するために前記第２の反射率差を正規化することと、
を備える、Ｃ２に記載の方法。
［Ｃ４］
前記可視光画像データ内のキャプチャされた前記検出された人物の顔と、前記ＮＩＲ画像データ内のキャプチャされた前記検出された人物の顔とを関連付けることは、
前記第１の正規化された反射率差を第１の閾値および第２の閾値と比較することと、
前記第２の正規化された反射率差を第３の閾値および第４の閾値と比較することと、
をさらに備える、Ｃ３に記載の方法。
［Ｃ５］
前記第１の正規化された反射率差が、前記第１の閾値より大きく前記第２の閾値より小さいかどうかに少なくとも部分的に基づいて、および前記第２の正規化された反射率差が、前記第３の閾値より大きく前記第４の閾値より小さいかどうかに少なくとも部分的に基づいて、前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表す画像データを含むかどうかを決定することをさらに備える、Ｃ４に記載の方法。
［Ｃ６］
生身の人物の肌を表す画像データを含む、前記検出された顔内の画素数に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定することをさらに備える、Ｃ５に記載の方法。
［Ｃ７］
前記第１の色は、実質的に緑色であり、前記第２の色は、実質的に赤色である、Ｃ３に記載の方法。
［Ｃ８］
前記第１の正規化された反射率差の第１の確率密度関数、および前記第２の正規化された反射率差の第２の確率密度関数を取得することをさらに備え、ここで、前記第１および第２の確率密度関数は、生身の人物の肌の画像データに少なくとも部分的に基づく、Ｃ３に記載の方法。
［Ｃ９］
前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表す画像データを含む第１の確率を計算することをさらに備え、
ここで、前記第１の確率は、前記第１の確率密度関数および前記第２の確率密度関数に少なくとも部分的に基づく、Ｃ８に記載の方法。
［Ｃ１０］
前記第１の正規化された反射率差の第３の確率密度関数、および前記第２の正規化された反射率差の第４の確率密度関数を取得することと、ここで、前記第３および第４の確率密度関数は、生身の人物の肌を表さない画像データに少なくとも部分的に基づき、
前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表さない画像データを含む第２の確率を計算することと、
をさらに備え、
前記第２の確率は、前記第３の確率密度関数および前記第４の確率密度関数に少なくとも部分的に基づく、Ｃ９に記載の方法。
［Ｃ１１］
前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表す画像データを含むかどうかを決定するために、前記第１の確率および前記第２の確率を比較することをさらに備える、Ｃ１０に記載の方法。
［Ｃ１２］
生身の人物の肌を表す画像データを含む前記検出された顔内の画素数に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
イメージング装置を用いてマルチスペクトル画像データをキャプチャすることをさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
マルチスペクトル画像データをキャプチャすることは、可視光画像およびＮＩＲ画像をキャプチャすることを備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記マルチスペクトル画像データを処理することは、
前記人物の顔を検出するために、前記可視光画像を処理することと、
前記人物の顔を検出するために前記ＮＩＲ画像を処理することと、
を備える、Ｃ１４に記載の方法。
［Ｃ１６］
画像中の生身の人物の顔を検出するためのイメージングシステムであって、前記システムは、
可視光画像データおよび近赤外線（ＮＩＲ）画像データを備えるマルチスペクトル画像データをキャプチャするように構成された少なくとも１つの画像センサと、ここで、前記マルチスペクトル画像データは、人物の顔を含み、
前記人物の顔を検出するために前記マルチスペクトル画像データを分析するように構成された顔検出モジュールと、
前記検出された顔の前記マルチスペクトル画像データを分析し、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するように構成された肌検証モジュールと
を備える、イメージングシステム。
［Ｃ１７］
前記少なくとも１つの画像センサは、ＮＩＲイメージングセンサおよび可視光センサを備える、Ｃ１６に記載のイメージングシステム。
［Ｃ１８］
前記肌検証モジュールは、前記検出された人物の顔が前記キャプチャされたマルチスペクトル画像データの第１の反射率差および第２の反射率差に少なくとも部分的に基づいて、生身の人物の顔であるかどうかを決定するように構成される、Ｃ１６に記載のイメージングシステム。
［Ｃ１９］
前記肌検証モジュールは、
第１の正規化された反射率差を取得するために前記第１の反射率差を正規化し、
第２の正規化された反射率差を取得するために前記第２の反射率差を正規化する
ようにさらに構成される、Ｃ１８に記載のイメージングシステム。
［Ｃ２０］
前記肌検証モジュールは、
前記第１の正規化された反射率差を第１の閾値および第２の閾値と比較し、
前記第２の正規化された反射率差を第３の閾値および第４の閾値と比較する
ようにさらに構成される、Ｃ１９に記載のイメージングシステム。
［Ｃ２１］
前記肌検証モジュールは、前記第１の正規化された反射率差が、前記第１の閾値より大きく前記第２の閾値より小さいかどうかに少なくとも部分的に基づいて、および前記第２の正規化された反射率差が、前記第３の閾値より大きく前記第４の閾値より小さいかどうかに少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するようにさらに構成される、Ｃ２０に記載のイメージングシステム。
［Ｃ２２］
前記肌検証モジュールは、生身の人物の肌を表す画像データを含む、前記検出された顔内の画素数に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するようにさらに構成される、Ｃ２１に記載のイメージングシステム。
［Ｃ２３］
前記肌検証モジュールは、前記第１の正規化された反射率差の第１の確率密度関数、および前記第２の正規化された反射率差の第２の確率密度関数を取得するようにさらに構成され、前記第１および第２の確率密度関数は、生身の人物の肌の画像データに少なくとも部分的に基づく、Ｃ１９に記載のイメージングシステム。
［Ｃ２４］
前記肌検証モジュールは、
前記ＮＩＲ画像データの一部分および前記可視光画像データの対応する一部分が、生身の人物の肌を表す画像データを含む第１の確率を計算する
ようにさらに構成され、
前記第１の確率は、前記第１の確率密度関数および前記第２の確率密度関数に少なくとも部分的に基づく、
Ｃ２３に記載のイメージングシステム。
［Ｃ２５］
前記肌検証モジュールは、
前記第１の正規化された反射率差の第３の確率密度関数、および前記第２の正規化された反射率差の第４の確率密度関数を取得し、ここで、前記第３および第４の確率密度関数は、生身の人物の肌を表さない画像データに少なくとも部分的に基づき、
前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表さない画像データを含む第２の確率を計算する
ようにさらに構成され、
前記第２の確率は、前記第３の確率密度関数および前記第４の確率密度関数に少なくとも部分的に基づく、
Ｃ２４に記載のイメージングシステム。
［Ｃ２６］
マルチスペクトル画像データを受信するように構成された通信モジュールをさらに備える、Ｃ１６に記載のイメージングシステム。
［Ｃ２７］
前記検出された顔が、生身の人物の顔であるか否かをユーザに通知するように構成されたユーザ通知モジュールをさらに備える、Ｃ１６に記載のイメージングシステム。
［Ｃ２８］
コンピュータ読み取り可能な命令および画像データのうちの少なくとも１つを記憶するように構成されたメモリをさらに備える、Ｃ１６に記載のイメージングシステム。
［Ｃ２９］
イメージングシステムであって、
人物の顔を含むマルチスペクトル画像データを受信するための手段と、ここで、前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備え、
前記人物の顔を検出するために、前記マルチスペクトル画像データを処理するための手段と、
前記検出された人物の顔が生身の人物の顔であるかどうかを決定するために、前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けるための手段と、
を備える、イメージングシステム。
［Ｃ３０］
マルチスペクトル画像データを受信するための前記手段は、通信モジュールを備える、Ｃ２９に記載のイメージングシステム。
［Ｃ３１］
前記マルチスペクトル画像データを処理するための前記手段は、顔検出モジュールを備える、Ｃ２９に記載のイメージングシステム。
［Ｃ３２］
前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けるための前記手段は、肌検証モジュールを備える、Ｃ２９に記載のイメージングシステム。
［Ｃ３３］
マルチスペクトル画像データをキャプチャするための手段をさらに備える、Ｃ２９に記載のイメージングシステム。
［Ｃ３４］
マルチスペクトル画像データをキャプチャするための前記手段は、ＮＩＲイメージングセンサおよび可視光センサを備える、Ｃ３３に記載のイメージングシステム。
［Ｃ３５］
コードを記憶した非一時的コンピュータ読み取り可能な媒体であって、前記コードは、実行されると、
人物の顔を含むマルチスペクトル画像データを受信することと、ここで、前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備え、
前記人物の顔を検出するために、前記マルチスペクトル画像データを処理することと、
前記検出された人物の顔が生身の人物の顔であるかどうかを決定するために、前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けることと、
を備える方法を実行する、非一時的コンピュータ読み取り可能な媒体。

Claims (34)

1. 画像中の生身の人物の顔を検出するための方法であって、
   人物の顔を含むマルチスペクトル画像データを受信することと、ここで、前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備え、
   前記人物の顔を検出するために、前記マルチスペクトル画像データを処理することと、
   前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けることと、
   前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の反射率の差に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定することと、
   を備え、
   前記検出された人物の顔が生身の人物の顔であるかどうかの前記決定は、前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の第１の反射率差と第２の反射率差とに少なくとも部分的に基づく、
   方法。
2. 前記第１の反射率差は、前記ＮＩＲ画像データの一部分における反射率値と前記可視光画像データの対応する一部分における第１の色の反射率値との間の差であり、前記第２の反射率差は、前記第１の色の前記反射率値と前記可視光画像データの前記対応する一部分における第２の色の反射率値との間の差である、請求項１に記載の方法。
3. 前記検出された人物の顔が生身の人物の顔であるかどうかを決定することは、
   第１の正規化された反射率差を取得するために前記第１の反射率差を正規化することと、
   第２の正規化された反射率差を取得するために前記第２の反射率差を正規化することと、
   を備える、請求項２に記載の方法。
4. 前記検出された人物の顔が生身の人物の顔であるかどうかを決定することは、
   前記第１の正規化された反射率差を第１の閾値および第２の閾値と比較することと、
   前記第２の正規化された反射率差を第３の閾値および第４の閾値と比較することと、
   をさらに備える、請求項３に記載の方法。
5. 前記検出された人物の顔が生身の人物の顔であるかどうかを決定することは、前記第１の正規化された反射率差が、前記第１の閾値より大きく前記第２の閾値より小さいかどうかに少なくとも部分的に基づいて、および前記第２の正規化された反射率差が、前記第３の閾値より大きく前記第４の閾値より小さいかどうかに少なくとも部分的に基づいて、前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表す画像データを含むかどうかを決定することを備える、請求項４に記載の方法。
6. 前記検出された人物の顔が生身の人物の顔であるかどうかを決定することは、生身の人物の肌を表す画像データを含む、前記検出された顔内の画素数に少なくとも部分的に基づく、請求項５に記載の方法。
7. 前記第１の色は、実質的に緑色であり、前記第２の色は、実質的に赤色である、請求項３に記載の方法。
8. 前記第１の正規化された反射率差の第１の確率密度関数、および前記第２の正規化された反射率差の第２の確率密度関数を取得することをさらに備え、ここで、前記第１および第２の確率密度関数は、生身の人物の肌の画像データに少なくとも部分的に基づく、請求項３に記載の方法。
9. 前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表す画像データを含む第１の確率を計算することをさらに備え、
   ここで、前記第１の確率は、前記第１の確率密度関数および前記第２の確率密度関数に少なくとも部分的に基づく、請求項８に記載の方法。
10. 前記第１の正規化された反射率差の第３の確率密度関数、および前記第２の正規化された反射率差の第４の確率密度関数を取得することと、ここで、前記第３および第４の確率密度関数は、生身の人物の肌を表さない画像データに少なくとも部分的に基づき、
    前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表さない画像データを含む第２の確率を計算することと、
    をさらに備え、
    ここで、前記第２の確率は、前記第３の確率密度関数および前記第４の確率密度関数に少なくとも部分的に基づく、請求項９に記載の方法。
11. 前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表す画像データを含むかどうかを決定するために、前記第１の確率および前記第２の確率を比較することをさらに備える、請求項１０に記載の方法。
12. 前記検出された人物の顔が生身の人物の顔であるかどうかを決定することは、生身の人物の肌を表す画像データを含む前記検出された顔内の画素数に少なくとも部分的に基づく、請求項１１に記載の方法。
13. イメージング装置を用いてマルチスペクトル画像データをキャプチャすることをさらに備える、請求項１に記載の方法。
14. マルチスペクトル画像データをキャプチャすることは、可視光画像およびＮＩＲ画像をキャプチャすることを備える、請求項１３に記載の方法。
15. 前記マルチスペクトル画像データを処理することは、
    前記人物の顔を検出するために、前記可視光画像を処理することと、
    前記人物の顔を検出するために前記ＮＩＲ画像を処理することと、
    を備える、請求項１４に記載の方法。
16. 画像中の生身の人物の顔を検出するためのイメージングシステムであって、前記システムは、
    可視光画像データおよび近赤外線（ＮＩＲ）画像データを備えるマルチスペクトル画像データをキャプチャするように構成された少なくとも１つの画像センサと、ここで、前記マルチスペクトル画像データは、人物の顔を含み、
    前記人物の顔を検出するために前記マルチスペクトル画像データを分析するように構成された顔検出モジュールと、
    前記検出された顔の前記マルチスペクトル画像データを分析し、前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の反射率の差に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するように構成された肌検証モジュールと
    を備え、
    前記肌検証モジュールは、前記検出された人物の顔が、前記キャプチャされたマルチスペクトル画像データの第１の反射率差および第２の反射率差に少なくとも部分的に基づいて、生身の人物の顔であるかどうかを決定するように構成される、イメージングシステム。
17. 前記少なくとも１つの画像センサは、ＮＩＲイメージングセンサおよび可視光センサを備える、請求項１６に記載のイメージングシステム。
18. 前記肌検証モジュールは、
    第１の正規化された反射率差を取得するために前記第１の反射率差を正規化し、
    第２の正規化された反射率差を取得するために前記第２の反射率差を正規化する
    ようにさらに構成される、請求項１６に記載のイメージングシステム。
19. 前記肌検証モジュールは、
    前記第１の正規化された反射率差を第１の閾値および第２の閾値と比較し、
    前記第２の正規化された反射率差を第３の閾値および第４の閾値と比較する
    ようにさらに構成される、請求項１８に記載のイメージングシステム。
20. 前記肌検証モジュールは、前記第１の正規化された反射率差が、前記第１の閾値より大きく前記第２の閾値より小さいかどうかに少なくとも部分的に基づいて、および前記第２の正規化された反射率差が、前記第３の閾値より大きく前記第４の閾値より小さいかどうかに少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するようにさらに構成される、請求項１９に記載のイメージングシステム。
21. 前記肌検証モジュールは、生身の人物の肌を表す画像データを含む、前記検出された顔内の画素数に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するようにさらに構成される、請求項２０に記載のイメージングシステム。
22. 前記肌検証モジュールは、前記第１の正規化された反射率差の第１の確率密度関数、および前記第２の正規化された反射率差の第２の確率密度関数を取得するようにさらに構成され、前記第１および第２の確率密度関数は、生身の人物の肌の画像データに少なくとも部分的に基づく、請求項１８に記載のイメージングシステム。
23. 前記肌検証モジュールは、
    前記ＮＩＲ画像データの一部分および前記可視光画像データの対応する一部分が、生身の人物の肌を表す画像データを含む第１の確率を計算する
    ようにさらに構成され、
    ここで、前記第１の確率は、前記第１の確率密度関数および前記第２の確率密度関数に少なくとも部分的に基づく、
    請求項２２に記載のイメージングシステム。
24. 前記肌検証モジュールは、
    前記第１の正規化された反射率差の第３の確率密度関数、および前記第２の正規化された反射率差の第４の確率密度関数を取得し、ここで、前記第３および第４の確率密度関数は、生身の人物の肌を表さない画像データに少なくとも部分的に基づき、
    前記ＮＩＲ画像データの前記一部分および前記可視光画像データの前記対応する一部分が、生身の人物の肌を表さない画像データを含む第２の確率を計算する
    ようにさらに構成され、
    ここで、前記第２の確率は、前記第３の確率密度関数および前記第４の確率密度関数に少なくとも部分的に基づく、
    請求項２３に記載のイメージングシステム。
25. マルチスペクトル画像データを受信するように構成された通信モジュールをさらに備える、請求項１６に記載のイメージングシステム。
26. 前記検出された顔が、生身の人物の顔であるか否かをユーザに通知するように構成されたユーザ通知モジュールをさらに備える、請求項１６に記載のイメージングシステム。
27. コンピュータ読み取り可能な命令および画像データのうちの少なくとも１つを記憶するように構成されたメモリをさらに備える、請求項１６に記載のイメージングシステム。
28. イメージングシステムであって、
    人物の顔を含むマルチスペクトル画像データを受信するための手段と、ここで、前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備え、
    前記人物の顔を検出するために、前記マルチスペクトル画像データを処理するための手段と、
    前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けるための手段と、
    前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の反射率の差に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定するための手段と、
    を備え、
    前記検出された人物の顔が生身の人物の顔であるかどうかの前記決定は、前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の第１の反射率差と第２の反射率差とに少なくとも部分的に基づく、イメージングシステム。
29. マルチスペクトル画像データを受信するための前記手段は、通信モジュールを備える、請求項２８に記載のイメージングシステム。
30. 前記マルチスペクトル画像データを処理するための前記手段は、顔検出モジュールを備える、請求項２８に記載のイメージングシステム。
31. 前記検出された人物の顔が生身の人物の顔であるかどうかを決定するための前記手段は、肌検証モジュールを備える、請求項２８に記載のイメージングシステム。
32. マルチスペクトル画像データをキャプチャするための手段をさらに備える、請求項２８に記載のイメージングシステム。
33. マルチスペクトル画像データをキャプチャするための前記手段は、ＮＩＲイメージングセンサおよび可視光センサを備える、請求項３２に記載のイメージングシステム。
34. コードを記憶した非一時的コンピュータ読み取り可能な媒体であって、前記コードは、実行されると、
    人物の顔を含むマルチスペクトル画像データを受信することと、ここで、前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備え、
    前記人物の顔を検出するために、前記マルチスペクトル画像データを処理することと、
    前記可視光画像データ内の前記検出された人物の顔と前記ＮＩＲ画像データ内の前記検出された人物の顔とを関連付けることと、
    前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の反射率の差に少なくとも部分的に基づいて、前記検出された人物の顔が生身の人物の顔であるかどうかを決定することと、前記検出された人物の顔が生身の人物の顔であるかどうかの前記決定は、前記可視光画像データおよび前記ＮＩＲ画像データ内の人物の肌の第１の反射率差と第２の反射率差とに少なくとも部分的に基づく、
    を備える方法を実行する、非一時的コンピュータ読み取り可能な媒体。