JP6844038B2

JP6844038B2 - 生体検出方法及び装置、電子機器並びに記憶媒体

Info

Publication number: JP6844038B2
Application number: JP2019565559A
Authority: JP
Inventors: ルイチャン; カイヤン; ティエンポンパオ; リーウェイウー
Original assignee: ベイジンセンスタイムテクノロジーデベロップメントカンパニー，リミテッド
Priority date: 2018-05-18
Filing date: 2018-11-14
Publication date: 2021-03-17
Anticipated expiration: 2038-11-14
Also published as: CN108764091B; CN108764091A; WO2019218621A1; JP2020523665A

Description

（関連出願の相互参照）
本願は、出願番号が２０１８１０４８１８６３．３であり、出願日が２０１８年５月１８日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本願の実施例は、生体検出技術に関し、特に生体検出方法及び装置、電子機器並びに記憶媒体に関する。

生体検出は情報セキュリティ分野の重要な課題となっている。被検出対象が真実の生体からのものであるか偽造対象の画像であるかをどのように確定するかということは、生体検出技術における重要な研究課題となっている。従来の生体検出技術は対話型の考案と、外部情報を取り込む考案とを含む。ここで、対話型の考案は、システムへの要求が高く、実現形態が複雑で、ユーザの体験が悪い。外部情報を取り込む考案は精度が低く、偽造しやすい。

本願の実施例は生体検出の技術的手段を提供する。

本願の実施例の一態様によれば、
双眼撮像装置中の第１の画像センサにより収集された第１の画像に対して目標対象の検出を行い、第１の目標領域を得、前記双眼撮像装置中の第２の画像センサにより収集された第２の画像に対して前記目標対象の検出を行い、第２の目標領域を得ることと、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることと、前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定することと、を含む生体検出方法を提供する。

いくつかの実施例では、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることには、前記第１の目標領域に対してキーポイントの検出を行い、前記第１の目標領域のキーポイント情報を得、前記第２の目標領域に対してキーポイントの検出を行い、前記第２の目標領域のキーポイント情報を得ることと、前記第１の目標領域のキーポイント情報と前記第２の目標領域のキーポイント情報により、前記目標対象のキーポイント深度情報を確定することと、を含む。

いくつかの実施例では、前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定することには、前記目標対象のキーポイント深度情報に基づいて、深度離散度を確定することと、前記深度離散度により、前記目標対象が生体であるか否かを確定することとを、含む。

いくつかの実施例では、前記方法は、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することを更に含み、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることには、前記第１の目標領域と前記第２の目標領域とが一致すると確定した場合に、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることを含む。

いくつかの実施例では、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することには、基礎データベースから前記第１の目標領域に対応する第１の検索結果を検索することと、前記基礎データベースから前記第２の目標領域に対応する第２の検索結果を検索することと、前記第１の検索結果と前記第２の検索結果に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することとを、含む。

いくつかの実施例では、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することには、前記第１の目標領域と前記第２の目標領域との類似度を確定することと、前記類似度に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することとを、含む。

いくつかの実施例では、前記方法は、前記第１の目標領域と前記第２の目標領域とが一致しないと確定した場合に、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得ることを更に含み、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることには、前記第１の目標領域と補正処理後の前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることを含む。

いくつかの実施例では、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得ることには、前記第２の画像の中で前記第１の目標領域の対応領域を確定することと、前記対応領域を前記補正処理後の前記第２の目標領域として確定することとを、含む。

いくつかの実施例では、前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、前記第１の目標領域のキーポイント情報により、前記第１の目標領域中のキー領域を確定することと、前記キー領域に基づいて、前記第１の目標領域の第２の画像における対応領域を確定することとを、含む。

いくつかの実施例では、前記第１の目標領域のキーポイント情報により、前記第１の目標領域中のキー領域を確定することには、前記第１の目標領域のキーポイント情報に基づいて、前記第１の目標領域中の少なくとも１つのキーポイントにより囲まれた最小領域を確定することと、前記最小領域を所定の倍数拡大し、前記キー領域を得ることとを、含む。

いくつかの実施例では、前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、前記第１の目標領域中の少なくとも１つのキーポイントを前記第２の画像にマッピングし、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報を得ることと、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報により、前記第１の目標領域の前記第２の画像における対応領域を確定することとを、含む。

いくつかの実施例では、前記方法は、前記目標対象のキーポイント深度情報に基づいて前記目標対象が生体であると確定した場合に、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することと、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かに応じて、前記目標対象が生体であるか否かを確定することと、を更に含む。

いくつかの実施例では、前記偽造情報は結像媒体の縁部情報、光反射情報、材質情報、ディスプレイスクリーンの縁部情報、光反射情報、モアレ情報、マスク情報、彫塑情報、マネキン情報のうちの１種又はそれらの任意の組合せを含む。

いくつかの実施例では、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することには、前記第１の画像と前記第２の画像に対してそれぞれ特徴抽出処理を行い、第１の特徴データと第２の特徴データを得ることと、前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することとを、含む。

いくつかの実施例では、前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することには、前記第１の特徴データと前記第２の特徴データに対して融合処理を行い、融合特徴を得ることと、前記融合特徴に基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することとを、含む。

いくつかの実施例では、前記第１の特徴データ又は第２の特徴データは、ローカルバイナリパターン特徴、スパースコーディングヒストグラム特徴、色特徴、全画像特徴、領域特徴、細部特徴のうちの１種又はそれらの任意の組合せを含む。

いくつかの実施例では、前記方法は、前記第１の画像と前記第２の画像がフレーム選択条件を満たすか否かを確定することを更に含み、前記第１の目標領域と前記第２の目標領域により、目標対象のキーポイント深度情報を得ることには、前記第１の画像と前記第２の画像がフレーム選択条件を満たしたと確定した場合に、前記第１の目標領域と前記第２の目標領域により、目標対象のキーポイント深度情報を得ることを含む。

いくつかの実施例では、前記フレーム選択条件は、第１の画像と第２の画像のいずれからも前記目標対象が検出されたこと、第１の画像の中で検出された目標対象が前記第１の画像の設定領域に位置し且つ前記第２の画像の中で検出された目標対象が前記第２の画像の設定領域に位置すること、前記第１の画像と前記第２の画像の中で検出された目標対象の完全性が所定の条件を満たしたこと、前記第１の画像の中で検出された目標対象の前記第１の画像に占める割合が割合閾値より大きく且つ前記第２の画像の中で検出された目標対象の前記第２の画像に占める割合が前記割合閾値より大きいこと、第１の画像と第２の画像の鮮鋭度が鮮鋭度閾値より大きいこと、第１の画像と第２の画像の露光度が露光度閾値より大きいことのうちの一つ又はそれらの任意の組合せを含む。

いくつかの実施例では、前記方法は、前記第１の画像と前記第２の画像のうちの少なくとも１つの画像がフレーム選択条件を満たしていない場合に、ビデオストリーム中の次の画像ペアがフレーム選択条件を満たすか否かを確定することと、
所定の期間又は所定の数量の画像ペアに達し且つ前記ビデオストリームからフレーム選択条件を満たした画像ペアが発見されなかった場合に、前記ビデオストリームを偽造ビデオストリームとして確定することと、を更に含む。

いくつかの実施例では、前記第１の画像センサ又は前記第２の画像センサは、可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラのうちの１種を含む。

いくつかの実施例では、前記方法は、前記第１の画像と前記第２の画像のうちの少なくとも１つの画像に対して、画像タイプ調整、サイズ調整、ｚスコア正規化処理、輝度調整のうちの１種又はそれらの任意の組合せを含む前処理を行うことを更に含み、
前記第１の画像センサに撮影された第１の画像に対して目標対象検出を行い、第１の目標領域を得、前記第２の画像センサに撮影された第２の画像に対して目標対象検出を行い、第２の目標領域を得ることには、前記前処理後の第１の画像に対して目標対象検出を行い、第１の目標領域を得、前記前処理後の第２の画像に対して目標対象検出を行い、第２の目標領域を得ることを含む。

いくつかの実施例では、前記目標対象は人物の顔である。

本願の実施例の一態様によれば、双眼撮像装置中の第１の画像センサにより収集された第１の画像に対して目標対象の検出を行い、第１の目標領域を得、前記双眼撮像装置中の第２の画像センサにより収集された第２の画像に対して前記目標対象の検出を行い、第２の目標領域を得るように構成される目標領域確定モジュールと、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るように構成されるキーポイント深度情報取得モジュールと、前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定するように構成される第１の生体検出モジュールと、を含む生体検出装置を提供する。

本願の実施例の一態様によれば、上記生体検出方法を実行するように構成されるプロセッサと、プロセッサ実行可能コマンドを記憶するように構成されるメモリと、を含む電子機器を提供する。

本願の実施例の一態様によれば、コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記生体検出方法を実現するコンピュータ可読記憶媒体を提供する。

本願の実施例では、双眼撮像装置の第１の画像センサと第２の画像センサに撮影された第１の画像と第２の画像から検出された第１の目標領域と第２の目標領域により、目標対象の各キーポイントの深度情報を得、各キーポイントの深度情報により目標対象が生体であるか否かを確定する。本願の実施例は双眼撮像装置により撮影された画像を用いて、対話及び外部情報を必要とせずに目標対象の生体検出を完成でき、実施形態が簡単で、応用環境が多く、検出結果が精確である。

以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本願の他の特徴及び態様は明瞭になる。

明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本願の例示的な実施例、特徴及び態様を示し、更に本願の実施例の原理を解釈するために用いられる。
本願の実施例に係る生体検出方法の例示的なフローチャートを示す。本願の実施例に係る生体検出方法におけるステップＳ２０の例示的なフローチャートを示す。本願の実施例に係る生体検出方法におけるステップＳ３０の例示的なフローチャートを示す。本願の実施例に係る生体検出方法の別の例示的なフローチャートを示す。本願の実施例に係る生体検出方法の別の例示的なフローチャートを示す。本願の実施例に係る生体検出方法の別の例示的なフローチャートを示す。本願の実施例に係る生体検出方法におけるステップＳ６０の例示的なフローチャートを示す。本願の実施例に係る人物の顔の生体検出方法の例示的なフローチャートを示す。本願の実施例の図７Ｂ中で顔画像に対して人物の顔の偽造防止事前検出を行う例示的なフローチャートを示す。本願の実施例に係る生体検出装置の例示的なブロック図を示す。本願の実施例に係る生体検出装置の例示的なブロック図を示す。例示的な実施例により示された電子機器のブロック図である。例示的な実施例により示された生体検出装置のブロック図である。

以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。また、本開示の実施例をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示の実施例は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の実施例の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。

図１は本願の実施例に係る生体検出方法の例示的なフローチャートを示す。

ステップＳ１０において、双眼撮像装置中の第１の画像センサにより収集された第１の画像に対して目標対象の検出を行い、第１の目標領域を得、前記双眼撮像装置中の第２の画像センサにより収集された第２の画像に対して前記目標対象の検出を行い、第２の目標領域を得る。

いくつかの実施例では、双眼撮像装置は２つの定義されたカメラを含む。双眼撮像装置中の２つのカメラを第１の画像センサと第２の画像センサと呼んでよい。第１の画像センサと第２の画像センサは同様なタイプのカメラであってもよく、異なったタイプのカメラであってもよい。ここで、カメラのタイプは可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラなどを含み、いくつかの実施例では、第１の画像センサ又は第２の画像センサは、可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラのうちの１種を含む。又は、本願の実施例におけるカメラは他のタイプのカメラであってもよく、具体的なタイプはここで限定されない。

ここで、可視光カメラは可視光を物体に照射して画像を形成するカメラである。近赤外線カメラは近赤外線を物体に照射して画像を形成するカメラである。デュアルチャンネルカメラはデュアルチャネル（赤（Ｒｅｄ、Ｒ）チャネルを含み、赤緑青（ＲＧＢ）カラーモデルを例として説明したが、勿論、他のカラーモデルを用いてもよい）結像原理を用いて画像を形成するカメラを含む。双眼撮像装置中の２つのカメラは同様なタイプのカメラであってもよく、異なったタイプのカメラであってもよい。例えば、双眼撮像装置Ａの２つのカメラはいずれも可視光カメラであり、双眼撮像装置Ｂの２つのカメラはそれぞれ可視光カメラと近赤外線カメラであり、双眼撮像装置Ｃの２つのカメラはそれぞれ可視光カメラとデュアルチャンネルカメラであり、双眼撮像装置Ｄの２つのカメラはいずれもデュアルチャンネルカメラである。生体検出の要求に応じて、異なった型式のカメラを配置した双眼撮像装置を用いてもよい。必要に応じて双眼撮像装置中２つのカメラのタイプを選択でき、適応範囲がより広く、拡張可能性がより高い。

いくつかの実施例では、第１の画像センサと第２の画像センサにより一対の静止画像を撮影してよい。第１の画像センサと第２の画像センサにより撮影して連続したビデオストリームを得てから、撮影により得られたビデオストリームから一対のフレーム画像を切り出してよも、それに対して、第１の画像と第２の画像は静止画像又はビデオフレーム画像であってよく、本願の実施例では限定されない。

本願の実施例では、第１の画像センサにより撮影された第１の画像と第２の画像センサにより撮影された第２の画像に対してそれぞれ目標対象検出を行ってよい。画像識別などの技術を用いて、第１の画像と第２の画像から目標対象を検出してもよい。第１の画像と第２の画像をニューラルネットワークに入力して目標対象を検出してもよい。

前記目標対象は各種の生体対象又は生体対象の特定部位を含んでよい。例えば、目標対象は人物又は動物であってもよく、人物の顔、人物の手又は動物の顔部であってもよい。目標領域は第１の画像と第２の画像中の目標対象の所在する領域を含んでよい。いくつかの実施例では、前記目標対象は人物の顔であり、前記第１の目標領域と前記第２の目標領域は顔部領域又は顔枠である。

ステップＳ２０において、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得る。

いくつかの実施例では、第１の目標領域と第２の目標領域において、キーポイントの検出を行い、目標対象の各キーポイントの第１の画像と第２の画像での位置情報を得てよい。キーポイントは目標対象における特定位置の点を含んでよい。例えば、目標対象が人物の顔である時に、必要に応じて、人物の顔中の目の目じりと目頭、瞳、鼻の先、眉間、眉の頭部、眉の尾部などの位置の点を、人物の顔のキーポイントとしてよい。キーポイントの数量は必要に応じて設定してよい。例えば、人物の顔からＮ個のキーポイントを確定してよく、Ｎ＞２。各キーポイントの第１の目標領域での第１の座標と第２の目標領域での第２の座標により、即ち第１の目標領域のキーポイント情報、第２の目標領域のキーポイント情報及び双眼撮像装置のパラメータにより、目標対象のキーポイント深度情報を得てよい。ここで、いくつかの実施例では、双眼撮像装置のパラメータは、双眼撮像装置の焦点距離及び／又は２つのカメラの中心の間の距離を含んでもよく、又は他のパラメータを含んでもよく、本願の実施例では限定されない。

ステップＳ３０において、前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定する。

いくつかの実施例では、双眼撮像装置により撮影された目標対象が生体である時に、生体上の各キーポイントから双眼撮像装置までの距離が異なる。例えば、生体の人物の顔が双眼撮像装置に正対している時に、鼻の先から双眼撮像装置までの距離が耳から双眼撮像装置までの距離より小さい。目標対象が人物の顔の写真であり、生体ではない時に、各キーポイントの深度情報が等しい。

本願の実施例では、双眼撮像装置の第１の画像センサと第２の画像センサに撮影された第１の画像と第２の画像から検出された第１の目標領域と第２の目標領域により、目標対象の各キーポイントの深度情報を得、各キーポイントの深度情報により目標対象が生体であるか否かを確定する。本願の実施例は双眼撮像装置により撮影された画像を利用するようになっており、対話及び外部情報を必要とせずに目標対象の生体検出を完成でき、実施形態が簡単で、応用環境が多く、検出結果が精確である。

図２は本願の実施例に係る生体検出方法におけるステップＳ２０の例示的なフローチャートを示す。

ステップＳ２１において、前記第１の目標領域に対してキーポイントの検出を行い、前記第１の目標領域のキーポイント情報を得、前記第２の目標領域に対してキーポイントの検出を行い、前記第２の目標領域のキーポイント情報を得る。

いくつかの実施例では、第１の目標領域の画像と第２の目標領域の画像をそれぞれニューラルネットワークに入力してキーポイント検出を行い、第１の目標領域のキーポイント情報と第２の目標領域のキーポイント情報を得てよい。キーポイント情報はキーポイントの第１の画像と第２の画像での平面座標情報を含んでよい。

ステップＳ２２において、前記第１の目標領域のキーポイント情報と前記第２の目標領域のキーポイント情報により、前記目標対象のキーポイント深度情報を確定する。

いくつかの実施例では、キーポイントの第１の画像での平面座標情報と第２の画像での平面座標情報を用いて、キーポイントの深度情報を得てよい。

例えば、キーポイントの深度情報を得るために、まずカメラを定義してよい。双眼撮像装置中の左カメラを第１のカメラとし、右カメラを第２のカメラとし、左カメラの内部パラメータＭ１、右カメラの内部パラメータＭ２、左右カメラの外部パラメータ［Ｒ，Ｔ］を取得してよい。

、

はそれぞれ左カメラと右カメラの外部パラメータ回転行列を表し、

、

はそれぞれ左カメラと右カメラの水平移動行列を表し、［Ｒ，Ｔ］が右カメラの左カメラに対する位置関係であるので、左カメラの自分に対する位置関係が変わらなく、以下の式（１−１）及び（１−２）に示す。

（１−１）

（１−２）

目標対象が人物の顔である時に、定義された左右カメラにより同時に撮影された人物の顔の画像から、人物の顔のキーポイントの座標を確定する。左右カメラにより撮影された人物の顔のキーポイントの画像画素座標系座標値として

及び

が得られ、上記の既知の情報により人物の顔のキーポイントの左カメラ座標系での座標値

が求められ、人物の顔のキーポイントの右カメラ座標系での座標値を

とし、ただし、

、

及び

の計算式はそれぞれ式（１−３）、（１−４）及び（１−５）に示される。

（１−３）

（１−４）

（１−５）

式（１−５）を展開して式（１−６）が得られ、

（１−６）
ただし、

、

はすべて知られており、そのように上記の式から推算してｄ、ｓを求めることができる。ｄは世界座標系の左側カメラに対する変換係数であり、ｓは世界座標系の右側カメラに対する変換係数であり、最後に以下の式（１−７）により人物の顔のキーポイントの左カメラ座標系での座標値

を求めることができる。

（１−７）
ただし、

は人物の顔中の各キーポイントの深度情報である。

各キーポイントの深度情報の分散を設定閾値と比較することにより、真実の顔であるか又は偽造された２次元（Ｄ、Ｄｉｍｅｎｓｉｏｎｓ）、２．５Ｄ顔であるかという該顔キーポイントの分布状況を判断することを説明する必要がある。該分散が閾値より大きければ、生体である検出結果が出力され、該分散が閾値より小さければ、偽造である検出結果が出力される。また、他の実施例では、分散の他に、ユークリッド距離などの統計量を所定の閾値と比較して検出結果を得てもよい。

本願の実施例では、第１の目標領域と第２の目標領域からキーポイントを検出することにより、キーポイントの第１の画像と第２の画像での座標を得、キーポイントの第１の画像と第２の画像での座標によりキーポイントの深度情報を算出する。双眼撮像装置により撮影された画像を用いることで、目標対象の各キーポイントの深度情報を容易かつ精確に算出でき、対話及び外部情報を必要とせずに目標対象の生体検出を完成でき、検出効率が高く、応用環境が多く、検出結果が精確である。

図３は本願の実施例に係る生体検出方法におけるステップＳ３０の例示的なフローチャートを示す。

ステップＳ３１において、前記目標対象のキーポイント深度情報に基づいて、深度離散度を確定する。

いくつかの実施例では、キーポイントの深度情報の深度離散度を算出することには、各キーポイントの深度情報の分散、標準偏差などを算出することを含んでよい。本願の実施例では限定されない。

ステップＳ３２において、前記深度離散度により、前記目標対象が生体であるか否かを確定する。

いくつかの実施例では、算出された深度離散度を離散閾値と比較し、比較結果により第１の目標領域と第２の目標領域が生体であるか否かを判断してよい。例えば、算出された各キーポイントの深度離散度が設定された離散閾値より小さい時に、第１の目標領域と第２の目標領域中の各キーポイントから双眼撮像装置までの距離が類似的であり、生体の各キーポイントから双眼撮像装置までの距離の分布特徴に合致しないと考えられる。本願の実施例では、各キーポイントの深度情報の深度離散度により、第１の目標領域と第２の目標領域が生体であるか否かを判断する。各キーポイントの深度情報を用いて深度離散度を算出することで、対話及び外部情報を必要とせずに生体検出を完成でき、検出効率が高く、応用環境が多く、検出結果が精確である。

図４は本願の実施例に係る生体検出方法の別の例示的なフローチャートを示す。

ステップＳ４０において、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定する。

ステップＳ２０は、前記第１の目標領域と前記第２の目標領域とが一致すると確定した場合に、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るステップＳ２３を含む。

いくつかの実施例では、双眼撮像装置の撮影範囲内に複数の被撮影対象を含む時に、第１の画像と第２の画像に複数の被撮影対象の画像を同時に含むことが可能である。第１の画像と第２の画像に対して目標対象検出を行う時に、第１の画像から被撮影対象Ａが検出され、即ち第１の目標領域が被撮影対象Ａの所在する画像領域であることが可能であり、第２の画像から被撮影対象Ｂが検出出され、即ち第２の目標領域が被撮影対象Ｂの所在する画像領域であることが可能であり、上記の第１の目標領域と第２の目標領域に基づいて後続の生体検出ステップを行えば、精確な生体検出結果を得ることができない。第１の目標領域と第２の目標領域との一致性を検出することにより、第１の目標領域と第２の目標領域が同一な被撮影対象ではない状況を排除することができる。画像識別技術により第１の目標領域と第２の目標領域中の特徴をそれぞれ抽出し、抽出された２つの特徴を比較して、第１の目標領域と第２の目標領域との一致性を検出してよい。また、第１の目標領域と第２の目標領域を設定された第３の目標領域と比較することで、第１の目標領域と第２の目標領域との一致性を検出してもよい。本願の実施例では限定されない。

本願の実施例では、第１の目標領域と第２の目標領域との一致性を確定することにより、目標対象の生体検出結果の正確性を保証できる。

いくつかの実施例では、前記生体検出方法において、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することには以下を含む。

基礎データベースから前記第１の目標領域に対応する第１の検索結果を検索する。

前記基礎データベースから前記第２の目標領域に対応する第２の検索結果を検索する。

前記第１の検索結果と前記第２の検索結果に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定する。

いくつかの実施例では、上記の第１の検索結果と第２の検索結果を得る２つのステップは同時に実行してもよく、任意の先後順序で実行してもよい。本願の実施例では限定されない。

いくつかの実施例では、基礎データベースは複数の検索待ちの目標対象の画像を含む。収集された所定の数量を満たした目標対象の画像により基礎データベースを構築してよい。基礎データベースから第１の目標領域に対応する第１の検索結果を検索してよい。第１の検索結果は検索された目標対象の画像であってもよく、検索された目標対象の画像による分析結果であってもよい。

第１の検索結果が検索された目標対象の画像である時に、第１の検索結果は第１の目標領域に完全に対応する検索待ちの目標対象の画像であってもよく、設定された照合基準に基づいて第１の目標領域と最も類似的な検索待ちの目標対象画像であってもよい。第１の検索結果が検索された目標対象の画像による分析結果である時に、第１の検索結果は第１の目標領域と検索された目標対象の画像の所定の特徴の差であってよい。基礎データベースから第２の目標領域に対応する第２の検索結果を検索することは、上記の基礎データベースから第１の目標領域に対応する第１の検索結果を検索することと同様であるため、重複説明を省略する。第１の検索結果と第２の検索結果とが一致した時に、第１の目標領域と第２の目標領域とが一致すると確定できる。第１の検索結果と第２の検索結果とが一致しない時に、第１の目標領域と第２の目標領域とも一致しないと確定できる。

本実施例では、基礎データベースから第１の目標領域と第２の目標領域を検索することで、検索結果同士の一致性の判断により、第１の目標領域と第２の目標領域との一致性を判断できる。基礎データベースから検索することにより、簡単な検索及び照合により、第１の目標領域と第２の目標領域とが一致するか否かを確定でき、判断プロセスが簡単で、動作効率が高い。

いくつかの実施例では、前記生体検出方法において、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することには、前記第１の目標領域と前記第２の目標領域との類似度を確定することと、前記類似度に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することとを、含む。

いくつかの実施例では、第１の目標領域と第２の目標領域の全体又は特定の部分の領域により、第１の目標領域と第２の目標領域との類似度を確定してよい。例えば、目標対象が人物の顔である場合に、第１の目標領域と第２の目標領域中の鼻部領域により第１の目標領域と第２の目標領域との類似度を確定できる。

第１の目標領域と第２の目標領域の特徴をそれぞれ抽出して照合し、抽出された特徴により第１の目標領域と第２の目標領域との類似度を確定してもよい。例えば、目標対象が人物の顔である場合に、第１の目標領域と第２の目標領域中の鼻の先から瞳までの第１の距離、及び鼻の先から目じりまでの第２の距離をそれぞれ算出し、算出された２つの距離により、第１の目標領域と第２の目標領域との類似度を確定してよい。第１の目標領域と第２の目標領域との類似度を類似度閾値と比較してよく、第１の目標領域と第２の目標領域との類似度が類似度閾値より小さい時に、第１の目標領域と第２の目標領域とが一致すると確定する。必要に応じて類似度閾値を調整してよい。

本願の実施例では、第１の目標領域と第２の目標領域との類似度により、第１の顔部と第２の顔部とが一致するか否かを確認するようになっており、外部情報の導入を必要とせず、算出プロセスが簡単で容易である。

図５は本願の実施例に係る生体検出方法の別の例示的なフローチャートを示す。

ステップＳ５０において、前記第１の目標領域と前記第２の目標領域とが一致しないと確定した場合に、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得る。

いくつかの実施例では、第１の目標領域と第２の目標領域とが一致しなくて後続の目標対象の生体検出結果が不精確になるという問題を回避するために、前記第１の目標領域と前記第２の目標領域とが一致しない時に、第１の目標領域に基づいて補正処理後の第２の目標領域を得てよく、補正処理後の第２の目標領域が第１の目標領域と一致する。例えば、第１の目標領域中の目標対象により、第２の画像に対して再度目標対象の検出を行い、第２の目標領域を得てよい。

ステップＳ２０は、前記第１の目標領域と補正処理後の前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るステップＳ２４を含む。

いくつかの実施例では、補正処理後の前記第２の目標領域が第１の目標領域と一致する。前記第１の目標領域と補正処理後の前記第２の目標領域により、同一な目標対象のキーポイント深度情報を得ることができる。

本願の実施例では、第１の目標領域と第２の目標領域とが一致しない時に、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得てよい。第１の目標領域と補正処理後の前記第２の目標領域により得られたキーポイント深度情報は、精確な目標対象の生体検出結果を得ることに用いられる。

いくつかの実施例では、前記生体検出方法において、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得ることには、前記第２の画像の中で前記第１の目標領域の対応領域を確定することと、前記対応領域を前記補正処理後の前記第２の目標領域として確定することとを含む。

いくつかの実施例では、第１の目標領域の第１の画像での位置により、第２の画像から第１の目標領域の対応領域を確定してよい。例えば、第１の目標領域の第１の画像での位置はＡ１〜Ａ６の合計６つの座標点の接続線により囲まれた領域であり、そのように、第２の画像において、Ａ１〜Ａ６の合計６つの座標点の接続線により囲まれた領域を第１の目標領域の対応領域として確定する。いくつかの実施例では、対応領域の第２の画像での位置と第１の目標領域の第１の画像での位置とが同様であり、そのように対応領域中の目標対象と第１の目標領域中の目標対象とが同様であると考えられ、対応領域が補正後の第２の目標領域である。本実施例では、第１の目標領域の第１の画像での位置により、第２の画像から対応領域を確定し、補正処理後の第２の目標領域を得る。補正方法は簡単で信頼的である。

いくつかの実施例では、前記生体検出方法において、前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、以下を含む。

前記第１の目標領域のキーポイント情報により、前記第１の目標領域中のキー領域を確定する。

前記キー領域に基づいて、前記第１の目標領域の第２の画像における対応領域を確定する。

いくつかの実施例では、第１の目標領域中の全て又は一部のキーポイントのキーポイント情報により、第１の目標領域中のキー領域を確定してよい。例えば、第１の目標領域の全てのキーポイントの座標により、第１の目標領域からキー領域を確定してよく、全てのキーポイントがキー領域内に位置する。キー領域は任意形状の領域であってよい。

いくつかの実施例では、キー領域の第１の画像での位置情報により、第２の画像から第１の目標領域の対応領域を確定してよい。例えば、キー領域の境界線の座標情報により、第１の画像から対応領域を確定してよい。本実施例では、第１の目標領域中のキーポイント情報によりキー領域を確定した後、キー領域により第２の画像から対応領域を確定する。キーポイントにより得られた対応領域によって補正処理後の第２の目標領域を得て、正確度がより高くなる。

いくつかの実施例では、前記生体検出方法において、前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、前記第１の目標領域のキーポイント情報に基づいて、前記第１の目標領域中の少なくとも１つのキーポイントにより囲まれた最小領域を確定することと、前記最小領域を所定の倍数拡大し、前記キー領域を得ることと、を含む。

いくつかの実施例では、第１の目標領域中の少なくとも１つのキーポイントにより最小領域を画定してよく、各キーポイントは最小領域の中に位置し又は最小領域の境界線に位置する。必要に応じて最小領域を画定するのに必要とされるキーポイントを確定してよい。いくつかの実施例では、最小領域を所定の倍数を拡大してからキー領域を得てよく、キー領域のカバー範囲がより大きくなる。キー領域の第１の画像での位置により、第２の画像中の対応位置において目標対象検出を行って、補正処理後の第２の目標領域を得てよい。本実施例では、第１の目標領域中の少なくとも１つのキーポイントにより最小領域を画定し、最小領域を所定の倍数拡大した後、キー領域を得る。キー領域のカバー範囲がより大きくなり、キー領域により第２の画像に対して目標対象検出を行い、得られた補正処理後の第２の目標領域の正確度もより高くなる。

いくつかの実施例では、前記生体検出方法において、前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、前記第１の目標領域中の少なくとも１つのキーポイントを前記第２の画像にマッピングし、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報を得ることと、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報により、前記第１の目標領域の前記第２の画像における対応領域を確定することと、を含む。

いくつかの実施例では、必要に応じて、第１の目標領域から少なくとも１つのキーポイントを確定し、確定された各キーポイントの第１の画像での位置情報により、第２の画像から各キーポイントのマッピング位置情報を得てよい。例えば、キーポイント１の第１の画像での座標１、キーポイント２の第１の画像での座標２により、キーポイント１の第２の画像でのマッピング座標１’及びキーポイント２の第２の画像でのマッピング座標２’を得ることができる。

いくつかの実施例では、各キーポイントと第１の目標領域との位置関係、及び各キーポイントの第２の画像でのマッピング座標により、第２の画像から第１の目標領域の対応領域を確定してよい。例えば、第１の目標領域中のキーポイントの座標を得るために、まずカメラを定義する。双眼撮像装置中の左カメラを第１のカメラとし、右カメラを第２のカメラとしてよい。左カメラの内部パラメータ

、右カメラの内部パラメータ

、左右カメラの外部パラメータ［Ｒ，Ｔ］を取得する。

、

はそれぞれ左カメラと右カメラの水平移動行列を表し、［Ｒ，Ｔ］が右カメラの左カメラに対する位置関係であるので、左カメラの自分に対する位置関係が変わらなく、以下の式（２−１）及び（２−２）に示す。

（２−１）

（２−２）

目標対象が顔部である場合に、左右カメラにより同時に撮影された顔部の画像を取得し、それぞれキーポイント抽出を行い、左右カメラにより撮影された顔部の画像画素座標系座標値として

と

（式（２−３）及び（２−４）を参照）がそれぞれ得られ、上記の既知の情報により顔部の左カメラ座標系での座標値

が求められ、顔部の右カメラ座標系での座標値を

（式（２−５）を参照）とする。

（２−３）

（２−４）

（２−５）

式（２−４）を展開して式（２−６）が得られ、

（２−６）
ただし、

、

はすべて知られており、そのように上記の式から推算してｄ、ｓを求めることができ、最後に以下の式により顔部の左カメラ座標系での座標値

（式（２−７）を参照）を求めることができる。

（２−７）

上記で求められた顔部の世界座標系での座標値

を固定し、それを既知量とし、そのように後続の生体検出中で左図の顔部キーポイント座標のみを抽出すればよく、左図の検出された顔部キーポイント座標

を右図中の

（式（２−８）を参照）にマッピングし、

（２−８）
ただし、

は以下の式（２−９）から得られ、

（２−９）
右図にマッピングした顔部キーポイントにより右図の顔部領域を得る。

本願の実施例では、キーポイントの位置情報により、第２の画像からキーポイントのマッピング位置情報を確定し、キーポイントのマッピング位置情報により、第２の画像から第１の目標領域の対応領域を確定する。キーポイントのマッピング座標により得られた対応領域は、対応性がより高く、得られた対応領域もより精確になる。

図６は本願の実施例に係る生体検出方法の別の例示的なフローチャートを示す。

ステップＳ６０において、前記目標対象のキーポイント深度情報に基づいて前記目標対象が生体であると確定した場合に、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定する。

いくつかの実施例では、目標対象の偽造は、目標対象の画像を含む紙写真を用いて偽造する方式を含んでよく、スマート端末により撮影された目標対象の画像を利用して偽造する方式を含んでよく、更に彫塑、金型などの立体モデルを利用して目標対象を偽造する方式を含んでよい。紙写真を利用して偽造する方式を第１次元の目標対象偽造方式とし、スクリーン中の目標対象画像を利用して偽造する方式を第２次元の目標対象偽造方式とし、立体モデルを利用して偽造する方式を第３次元の目標対象偽造方式としてよい。第１次元の目標対象偽造方式中で、紙画像中の紙写真の縁部、紙表面の光反射、紙の材質などにより抽出された情報を第１次元の偽造情報としてよい。第２次元の目標対象偽造方式中で、スクリーン縁部、スクリーン光反射、スクリーンモアレなどにより抽出された情報を第２次元の偽造情報としてよい。第３次元の目標対象偽造方式中で、モデルの表面（滑らか過ぎる皮膚）、金型自身の継目、金型と目標対象との継目などにより抽出された情報を第３次元の偽造情報としてよい。

ステップＳ７０において、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かに応じて、前記目標対象が生体であるか否かを確定する。

いくつかの実施例では、第１の画像及び／又は第２の画像から第１次元の偽造情報、第２次元の偽造情報及び第３次元の偽造情報のうちの１種又はそれらの任意の組合せが発見された時に、目標対象が生体ではないと確認できる。第１の画像及び／又は第２の画像から単一次元による単一偽造情報、又は単一次元による複数の偽造情報の総合、及び複数の次元による複数の偽造情報の総合が発見された時に、目標対象が生体ではないと確認できる。本願の実施例では、第１の画像及び／又は第２の画像に偽造情報が存在するか否かを確定し、偽造情報が存在する時に、目標対象を非生体として確定する。第１の画像と第２の画像に様々な偽造情報が存在可能であり、生体検出の適用範囲が広く、生体検出の精度が高い。

いくつかの実施例では、前記偽造情報は、結像媒体の縁部情報、光反射情報、材質情報、ディスプレイスクリーンの縁部情報、光反射情報、モアレ情報、マスク情報、彫塑情報、マネキン情報のうちの１種又はそれらの任意の組合せを含む。

いくつかの実施例では、異なった材質の紙の表面の粒度が異なり、異なった紙の表面の光反射特徴が異なり、紙写真を利用して目標対象を偽造する時に、写真の縁部形状も規則的なものである。双眼撮像装置により紙写真を撮影して得られた画像に関しては、抽出された写真の縁部形状、紙の表面の光反射特徴の情報、及び粒度などにより表現される異なった材質の情報により、紙写真を利用した目標対象の偽造を識別できる。

スクリーンの縁部形状が規則的なものであり、スクリーンの材質は紙の材質と異なった光反射特徴を有し、スクリーンモアレはデバイス中の感光素子の高周波干渉による不規則な縞を含む。スクリーン中の画像を利用して目標対象を偽造する時に、双眼撮像装置によりスクリーンを撮影して得られた画像に関しては、抽出されたスクリーンの縁部形状、スクリーンの光反射の情報、スクリーンモアレなどの情報により、スクリーン中の画像を利用した目標対象の偽造を識別できる。立体モデルはマネキン、彫塑及びマスクなどを含む。立体モデルの表面は一般的に滑らかであり、真実な皮膚のような肌理と粒子特徴を持っていない。マスクを使用する時に、マスクと真実の顔部の間に継目も存在する。立体モデルを利用して目標対象を偽造する時に、双眼撮像装置により立体モデル又はマスクを撮影して得られた画像に関しては、立体モデルの表面又は継目の情報を識別することにより、立体モデルを利用した目標対象の偽造を識別できる。

本願の実施例では、紙写真、スクリーン又は立体モデルから抽出された情報により偽造情報を得て、様々の可能な目標対象偽造方式を識別でき、使用範囲が広い。

図７Ａは本願の実施例に係る生体検出方法におけるステップＳ６０の例示的なフローチャートを示す。

ステップＳ６１において、前記第１の画像と前記第２の画像に対してそれぞれ特徴抽出処理を行い、第１の特徴データと第２の特徴データを得る。

いくつかの実施例では、第１の画像に対して第１の畳み込み処理を行って第１の特徴データを得てよい。第２の画像に対して第２の畳み込み処理を行って第２の特徴データを得る。第１の畳み込み処理と第２の畳み込み処理は同一な畳み込み処理であってよく、異なる畳み込み処理であってもよい。必要に応じて第１の畳み込み処理のパラメータと第２の畳み込み処理のパラメータを設置して、第１の画像の第１の畳み込み処理結果と第２の画像の第２の畳み込み処理結果を得てよい。

いくつかの実施例では、深層ニューラルネットワークを用いて、前記第１の画像と前記第２の画像に対してそれぞれ特徴抽出処理を行い、第１の特徴データと第２の特徴データを得てよい。前記深層ニューラルネットワークは少なくとも第１の畳み込み層と第２の畳み込み層を含み、前記第１の畳み込み層は第１の画像に対して第１の畳み込み処理を行って第１の畳み込み処理結果を得、前記第２の畳み込み層は第２の画像に対して第２の畳み込み処理を行って第２の畳み込み処理結果を得る。

いくつかの実施例では、前記深層ニューラルネットワークは２つのブランチを含んでよく、例えば、第１のブランチは複数の第１の畳み込み層を含んでよく、第２のブランチは複数の第２の畳み込み層を含んでよい。前記深層ニューラルネットワークは入力層、全結合層などを更に含んでよい。必要に応じて、複数の第１の畳み込み層と複数の第２の畳み込み層のパラメータは同一であってもよく、異なってもよい。トレーニング写真セットを用いて深層ニューラルネットワークをトレーニングしてよく、トレーニングプロセス中で、設置された損失関数により、深層ニューラルネットワークに対して逆伝播を行い、そのようにして、次回にトレーニングされる入力はパラメータを逆伝播により調整された深層ニューラルネットワークによって更に予想に合致するようになる。設定されたトレーニング条件を満たした場合に、例えば出力による損失が所定の閾値に達し、又は所定の回数トレーニングされた後、深層ニューラルネットワークが収束条件を満たすと考えられ、トレーニングを停止し、トレーニングされた深層ニューラルネットワークを得る。

ローカルバイナリパターン（ＬＢＰ、ＬｏｃａｌＢｉｎａｒｙＰａｔｔｅｒｎｓ）特徴は画像の局所の模様情報の計測と抽出を主な作用とし、光照射に対して不変性を有する。ローカルバイナリモデル特徴を利用することで、第１の画像又は第２の画像中の縁部の情報を強調することができる。例えば、紙写真の縁部とスクリーンの縁部を強調することができる。スパースコーディングヒストグラム（ＨＳＣ、ＨｉｓｔｏｇｒａｍｏｆＳｐａｒｓｅＣｏｄｅ）特徴はスパースコーディング原理を利用して画像特徴を抽出する方法を含み、スパースコーディングヒストグラム特徴を利用することで、第１の画像又は第２の画像中の光反射情報とボケ情報をより明らかに示すことができる。色（ＲＧＢ、ＲｅｄＧｒｅｅｎＢｌｕｅ）特徴は画像中の様々な色の特徴を含み、色特徴を利用することで、第１の画像又は第２の画像中の様々な目標物体の形状、輪郭などの情報を抽出できる。画像の全画像特徴は画像中の全領域の特徴を含み、全画像特徴に基づいて、第１の画像又は第２の画像中の各領域に存在可能な偽造情報を抽出できる。画像の領域特徴は画像から検出された顔部の所在する領域中の特徴を含み、領域特徴に基づいて、第１の画像又は第２の画像中の光反射、スクリーンモアレの縁部などの偽造情報を抽出できる。画像の細部特徴は画像における設定された細部領域又は形状を含み、細部特徴に基づいて、第１の画像又は第２の画像中の異なった細部部分の偽造情報を抽出できる。例を挙げると、第１の画像と第２の画像中に第１次元の偽造情報を含む時に、ローカルバイナリパターン、スパースコーディングヒストグラムなどの画像特徴により第１の画像と第２の画像中の縁部、光反射又は材質などの情報を抽出し、更に抽出された画像情報により第１の画像と第２の画像中の紙写真の縁部、紙の光反射及び紙写真の材質などの第１次元の偽造情報を識別することができる。異なった画像特徴方法を利用することで、第１の画像と第２の画像中の異なった偽造方式による偽造情報をより全面的に抽出できる。

ステップＳ６２において、前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定する。

いくつかの実施例では、第１の畳み込み処理結果と第２の畳み込み処理結果は同様な偽造情報の識別に用いてもよく、異なった偽造情報の識別に用いてもよい。いくつかの実施例では、トレーニングされた深層ニューラルネットワークを利用して第１の画像と第２の画像に対して畳み込み処理を行い、畳み込み処理結果により第１の画像と第２の画像に存在可能な複数の次元の偽造情報を得、第１の画像と第２の画像に偽造情報が存在するか否かを判断することができる。

深層ニューラルネットワークの処理能力を利用することで、必要に応じて第１の画像と第２の画像中の複数種の偽造特徴を同時に抽出できる。深層ニューラルネットワークの強い記述能力を利用してモデル化して、大規模のデータトレーニング学習により、複数の次元の偽造特徴を学習でき、被撮影者との対話が必要とされない。

本願の実施例では、前記第１の画像と前記第２の画像からそれぞれ抽出された第１の特徴データと第２の特徴データにより、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定する。深層ニューラルネットワークの反復更新により、異なった場合の生体検出に速やかに対処でき、応用範囲が広く、判断結果が精確である。

いくつかの実施例では、前記の前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することには、以下を含む。

前記第１の特徴データと前記第２の特徴データに対して融合処理を行い、融合特徴を得る。

前記融合特徴に基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定する。

いくつかの実施例では、第１の畳み込み処理結果と第２の畳み込み処理結果はベクトルの形式であってよい。第１の畳み込み処理結果と第２の畳み込み処理結果に対して融合処理を行ってから融合特徴を得てよい。融合特徴は第１の画像と第２の画像中の偽造情報を含んでよい。第１の特徴データを得るための第１の畳み込み処理と第２の特徴データを得るための第２の畳み込み処理とが相違する時に、例えば、第１の畳み込み処理は第１の画像中の第１次元の偽造情報に対する畳み込み処理に利用可能であり、第２の畳み込み処理は第２の画像中の第２次元の偽造情報に対する畳み込み処理に利用可能である。第１の畳み込み処理結果と第２の畳み込み処理結果を融合して得られた融合特徴は、第１の画像と第２の画像の中に第１次元及び／又は第２次元の偽造情報が存在するか否かを判断するために利用可能である。第１の特徴データを得るための第１の畳み込み処理と第２の特徴データを得るための第２の畳み込み処理とが同様である時に、例えば、第１の畳み込み処理は第１の画像中の第１次元の偽造情報に対する畳み込み処理に利用可能であり、第２の畳み込み処理は第２の画像中の第１次元の偽造情報に対する畳み込み処理にも利用可能である。第１の畳み込み処理結果と第２の畳み込み処理結果を融合して得られた融合特徴は、第１の画像と第２の画像の中に第１次元の偽造情報が存在するか否かを判断するために利用可能である。第１の特徴データと第２の特徴データは相互に実証して、第１の画像と第２の画像中の第１次元の偽造情報をより精確に識別できる。

本願の実施例では、第１の特徴データと前記第２の特徴データを融合することにより、融合特徴を得る。融合特徴により第１の画像及び／又は第２の画像の中に偽造情報が存在するか否かをより全面的且つ精確に判断できる。

いくつかの実施例では、前記生体検出方法は前記第１の画像と前記第２の画像がフレーム選択条件を満たすか否かを確定することを更に含む。前記の前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることには、前記第１の画像と前記第２の画像がフレーム選択条件を満たしたと確定した場合に、前記第１の目標領域と前記第２の目標領域により、目標対象のキーポイント深度情報を得ることを含む。

いくつかの実施例では、前記フレーム選択条件は、
第１の画像と第２の画像のいずれからも前記目標対象が検出されたこと、
第１の画像の中で検出された目標対象が前記第１の画像の設定領域に位置し且つ前記第２の画像の中で検出された目標対象が前記第２の画像の設定領域に位置すること、
前記第１の画像と前記第２の画像の中で検出された目標対象の完全性が所定の条件を満たしたこと、
前記第１の画像の中で検出された目標対象の前記第１の画像に占める割合が割合閾値より大きく且つ前記第２の画像の中で検出された目標対象の前記第２の画像に占める割合が前記割合閾値より大きいこと、
第１の画像と第２の画像の鮮鋭度が鮮鋭度閾値より大きいこと、
第１の画像と第２の画像の露光度が露光度閾値より大きいことのうちの一つ又はそれらの任意の組合せを含む。

いくつかの実施例では、第１の画像と第２の画像の一方のみから目標対象が検出された時に、第１の画像と第２の画像がフレーム選択条件を満たしておらず、第１の目標領域と第２の目標領域を得るために第１の画像と第２の画像から目標対象を検出しない。

いくつかの実施例では、第１の画像と第２の画像の中で検出された目標対象の位置が設定された中心領域内に存在しない時に、又は検出された目標対象の完全性が設定された完全性閾値より小さい時に、例えば検出された目標対象には縁部の画像を含まなく、又は目標対象が画像で占める割合が２分の１より小さい時に、又は第１の画像と第２の画像の鮮鋭度が低過ぎる時に、又は第１の画像と第２の画像の露光度が低過ぎる時に、第１の画像と第２の画像がいずれもフレーム選択条件を満たさなく、第１の目標領域と第２の目標領域を得るために第１の画像と第２の画像から目標対象を検出しない。いくつかの実施例では、第１の画像と第２の画像がフレーム選択条件を満たした時に、第１の画像と第２の画像が要求に合致し、第１の画像と第２の画像の中で検出された目標対象も要求に合致したと考えられ、目標対象のキーポイント深度情報を得るために利用可能である。本願の実施例では、フレーム選択条件を満たした第１の画像と第２の画像を利用することで、より精確な目標対象のキーポイント深度情報を得て、より精確な生体検出の結果を得ることができる。

いくつかの実施例では、近赤外線カメラによりスクリーン中の画像情報を取得できない。従って、一方のカメラが近赤外線カメラであり、他方のカメラが可視光カメラである双眼撮像装置を利用してスクリーン中の画像を撮影する時に、可視光カメラにより撮影された画像から目標対象が検出されるが、近赤外線カメラにより撮影された画像から目標対象が検出されないことがある。暗光条件下のデュアルチャンネルカメラは近赤外線カメラと同様に、いずれもスクリーン中の画像情報を取得できない。双眼撮像装置中の一方のカメラが近赤外線カメラ又は暗光条件下のデュアルチャンネルカメラであり、他方のカメラが可視光カメラ又は光線が暗くない条件下のデュアルチャンネルカメラである時に、双眼撮像装置により得られた画像を直接生体検出に利用可能である。

いくつかの実施例では、双眼撮像装置は一方のカメラが近赤外線カメラ又は暗光条件下のデュアルチャンネルカメラであり、他方のカメラが可視光カメラ又は光線が暗くない条件下のデュアルチャンネルカメラであるものとならない時に、双眼撮像装置により同時に撮影されたビデオから一対のフレーム画像を切り出し、前記の一対のフレーム画像に対してそれぞれ目標対象検出を行い、その時に少なくとも１つのフレーム画像から目標対象が検出されなかった時に、この一対のフレーム画像を排除し、次の一対のフレーム画像に対する目標対象検出を継続する。設定数量を超えた複数対のフレーム画像からも目標対象が同時に検出されなかった場合に、目標対象が非生体であると判定するか又は生体検出を終了してよい。

いくつかの実施例では、前記生体検出方法は、前記第１の画像と前記第２の画像のうちの少なくとも１つの画像がフレーム選択条件を満たしていない場合に、ビデオストリーム中の次の画像ペアがフレーム選択条件を満たすか否かを確定することと、所定の期間又は所定の数量の画像ペアに達し且つ前記ビデオストリームからフレーム選択条件を満たした画像ペアが発見されなかった場合に、前記ビデオストリームを偽造ビデオストリームとして確定することと、を更に含む。

いくつかの実施例では、１つのビデオストリーム中の１つの画像ペアがフレーム選択条件を満たしていない時に、ビデオストリームから次の画像ペアを選択し、フレーム選択条件を満たすか否かを判断することを継続する。いくつかの実施例では、所定の期間に達したが１つのビデオストリームからフレーム選択条件を満たす画像が発見されなかった時に、ビデオストリームが偽造ビデオストリームであると考えられる。例えば、所定の期間をＮ秒とし、開始時刻からＮ秒目まで、ビデオストリームからフレーム選択条件を満たす画像ペアが発見されなかった時に、ビデオストリームを偽造ビデオストリームとして確定してよい。又はビデオストリーム中の所定のＭ対の画像からフレーム選択条件を満たす画像ペアが発見されなかった時に、ビデオストリームを偽造ビデオストリームとして確定してよい。

本願の実施例では、所定の期間又は所定の数量に達した画像ペアからフレーム選択条件を満たす画像ペアが発見されなかった時に、ビデオストリームを偽造ビデオストリームとして確定する。ビデオストリームの検出効率を高めることができる。

いくつかの実施例では、前記第１の画像センサ又は前記第２の画像センサは、可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラのうちの１種を含む。可視光カメラは可視光を物体に照射してビデオ画像を形成するカメラである。近赤外線カメラは近赤外線を物体に照射してビデオ画像を形成するカメラである。デュアルチャンネルカメラはデュアルチャネル（Ｒチャネルを含む）結像原理を利用してビデオ画像を形成するカメラを含む。双眼撮像装置中の２つのカメラは同様なタイプのカメラであってもよく、異なったタイプのカメラであってもよい。例えば、双眼撮像装置Ａの２つのカメラはいずれも可視光カメラであり、双眼撮像装置Ｂの２つのカメラはそれぞれ可視光カメラと近赤外線カメラであり、双眼撮像装置Ｃの２つのカメラはそれぞれ可視光カメラとデュアルチャンネルカメラであり、双眼撮像装置Ｄの２つのカメラはいずれもデュアルチャンネルカメラである。顔部偽造防止検出の要求に応じて、異なった型式のカメラを配置した双眼撮像装置を用いてもよい。

本願の実施例では、必要に応じて双眼撮像装置中の２つのカメラのタイプを選択してよく、２つのカメラのタイプは同様であってもよく、異なってもよく、適応範囲がより広く、拡張可能性がより高くなる。

いくつかの実施例では、前記生体検出方法は、前記第１の画像と前記第２の画像のうちの少なくとも１つの画像に対して、画像タイプ調整、サイズ調整、ｚスコア正規化処理、輝度調整のうちの１種又はそれらの任意の組合せを含む前処理を行うことを更に含む。

前記の前記第１の画像センサに撮影された第１の画像に対して目標対象検出を行い、第１の目標領域を得、前記第２の画像センサに撮影された第２の画像に対して目標対象検出を行い、第２の目標領域を得ることには、前記前処理後の第１の画像に対して目標対象検出を行い、第１の目標領域を得、前記前処理後の第２の画像に対して目標対象検出を行い、第２の目標領域を得ることを含む。

いくつかの実施例では、双眼撮像装置中の２つのカメラのタイプは異なってもよく、第１の画像と第２の画像のフォーマットは異なってもよい。例えば、カメラのタイプが可視光カメラである時に、撮影された画像のタイプが可視光画像となり、カメラのタイプが近赤外線カメラである時に、撮影された画像のタイプが近赤外画像となり、カメラのタイプがデュアルチャンネルカメラである時に、撮影された画像のタイプがデュアルチャンネル画像となる。カメラの型式によっては、可視光画像、近赤外画像及びデュアルチャンネル画像は様々な画像フォーマットを有してよい。第１の画像と第２の画像の画像フォーマットが異なった時に、第１の画像と第２の画像を同一な画像フォーマットに処理してよい。例えば、第１の画像と第２の画像をｂｍｐ形式、ｊｐｇ形式などに処理する。第１の画像と第２の画像のサイズが同一になるように、第１の画像と第２の画像のサイズを調整してよく、本願の実施例の後続の処理ステップで、同一なサイズの第１の画像と第２の画像により、顔部検出をより精確に行うことができる。処理された第１の画像と第２の画像のデータが標準正規分布に合致し、後続の処理ステップでより精確な検出結果を得るように、第１の画像と第２の画像に対してＺスコア（ｚ−ｓｃｏｒｅ）正規化処理を行ってよい。第１の画像と第２の画像に対して輝度調整を行ってよい。例えば、第１の画像及び／又は第２の画像の画像タイプが可視光画像である時に、輝度調整を行ってよい。第１の画像と第２の画像に対してヒストグラム平坦化に基づく暗光線改善処理を行ってよい。双眼撮像装置を用いる時に、被撮影者の被検出顔部が暗光条件にある可能性があり、暗光条件下の被検出顔部を撮影して得られた第１の画像と第２の画像の輝度値が低くて、顔部偽造防止検出結果の正確性に影響しやすい。輝度調整を行った画像は画像中の輝度分布を再度調整可能であり、そのように本来暗光条件下で撮影された第１の画像と第２の画像は、本願の実施例の顔部偽造防止検出方法の画像品質への要求を満たせるようになり、そのようにしてより精確な偽造防止検出結果を得る。輝度調整は強光条件下で撮影された第１の画像と第２の画像の輝度調整を更に含む。

本願で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本願では詳細な説明を省略する。

以下、顔偽造防止に用いる場合を例として上記実施例で言及された生体検出を説明する。顔偽造防止は情報セキュリティ、偽造防止の技術分野の重要な課題となっている。現在、顔偽造防止技術を用いてＩＤ情報検証識別を行っており、一般的に顔偽造防止と対話型生体検出を組み合わせ、又は直接単眼カメラを用いて独立した偽造防止検出を行う。本願の実施例で提供される双眼カメラに基づく人顔偽造防止検出アルゴリズムにおいて、双眼カメラで撮った対応顔画像が取得され、２枚の顔画像中の視差情報により偽造顔であるか否かが判断され、ここで、双眼カメラは、可視光カメラと可視光カメラ、可視光カメラと近赤外線カメラ、可視光カメラとデュアルチャンネルカメラ、デュアルチャンネルカメラとデュアルチャンネルカメラなどを含むが、それらに限定されなく、該技術手段の拡張性が高く、様々なカメラタイプに適応可能である。

本願の実施例で提供される技術手段は以下の少なくとも１つの有用な効果を有する。（１）双眼カメラにより収集された２枚の画像の視差情報を用いて顔偽造判断を行って、双眼カメラにより得られた顔深度情報を効果的に利用して、顔偽造防止検出を支援することができ、例えば双眼カメラにより収集された左右画像から検出された人物の顔が一致しないという問題、単眼カメラによる２Ｄ及び２．５Ｄ偽造顔の判断精度が高くないという問題などの実際応用での様々な技術的難題を解決できる。（２）システムコマンドにより様々の複雑な動作を行う必要がある偽造防止検出方式と比べると、双眼に基づく顔偽造防止検出プロセスで対話が基本的に必要とされず、生体検出のフローが大幅に簡単化され、被検出者が双眼カメラに正対して光線と位置を好適に調整すればよい。（３）深層学習機構を用いた顔偽造特徴のモデル化により、偽造情報の識別がより精確になり、真実な人物の顔と偽造した人物の顔をより好適に区別でき、様々な偽造顔の攻撃を防御できる。深層学習機構を用いて顔の偽造防止の問題を解決するため、深層ニューラルネットワークの強い記述能力によりモデル化を行うことができ、大規模のデータトレーニングにより、人の目に観測可能な複数の次元の真実顔と偽造顔の間の差異を学習することができる。なお、深層学習により共通の顔偽造防止解決策を実現することで、反復更新をライムリに行うことができ、新しく現れる偽造状況に速やかに対処して偽造防止検出を行うことができる。（４）他の解決策と比べると、拡張性が高く、反復方式が容易であり、人物の顔の偽造情報の検出正確率を効果的に高めることができる。（５）本願の実施例では様々な偽造手がかりに対して複数の特徴を融合する方式が採用され、人の目に観測可能な異なる次元の偽造情報が検出され、１）紙の顔の縁部、紙表面の光反射、紙の材質などの２Ｄ次元の偽造情報、２）顔画像又はビデオ複製装置のスクリーン縁部、スクリーンの光反射、スクリーンモアレなどの２．５Ｄ次元の偽造情報、３）マスク、マネキン、彫塑類の顔偽造マスクと顔の継目又は滑らか過ぎる皮膚などの３Ｄ次元の偽造情報のような顔偽造情報（又は偽造特徴という）が検出され、それにより複数種の偽造攻撃を防御する。

本願の実施例で提供される方法、装置などは、実施される時にアプリケーション（Ａｐｐと略称する）により実現可能である。実際の応用中で、ユーザが顔偽造防止検出により本人認証を行う時に、本願の実施例で提供される方法を実現可能なアプリケーションを動作させ、人物の顔が画面に存在するように双眼カメラに正対し、数秒間保持すれば、顔偽造防止検出を完成し合格することができる。ユーザが事前に用意した顔偽造ビデオ又は写真などを用いて本人認証を行い、双眼カメラに正対するようにビデオ又は写真をディスプレイスクリーンに放送する場合に、特定の時間内に顔偽造防止検出に合格できなく、偽造防止検出に失敗することになる。

図７Ｂは本願の実施例に係る人物の顔の生体検出方法の例示的なフローチャートを示す。

ステップＳ７０１において、被検出顔画像を取得し、取得された被検出顔画像に基づいて、被検出顔画像中の顔画像を得る。

該被検出顔画像は単独した顔画像又は顔の書類付き画像であり、本願の実施例では顔画像の具体的な実現は限定されない。また、被検出顔画像は静止画像又はビデオフレーム画像であってよく、ここで、被検出顔画像がビデオフレーム画像である場合に、ビデオフレームシーケンスに対してフレーム選択を行うことにより、被検出顔画像を得ることができ、本願の実施例では限定されない。

いくつかの実現形態では、ステップＳ７０１は、
双眼カメラにより撮影された被検出画像ペア又はビデオペアを取得し、前処理を行うステップＳ７１１と、
被検出画像に対して順に顔検出、顔キーポイント検出及び顔領域分割処理を行い、被検出画像中の顔領域画像を得るステップＳ７１２と、を含む。

実現する時に、双眼カメラにより現場にて撮影された複数枚の顔画像を取得してよい。ここで、入力ファイルのタイプが異なる場合に、入力インタフェースファイルのタイプを画像類ファイルに統一する必要がある。画像類ファイルに対して必須な画像前処理操作のみを行い、その後ネットワークに入力されることを待ち、ビデオ類ファイルに対して、フレーム選択操作を行う必要があり、フレーム選択操作により取得された画像に対して画像前処理操作を行い、その後ネットワークに入力されることを待つ。ここで、フレーム選択操作は一部のビデオから少なくとも一対の画像を選択して被検出画像とするために用いられ、該被検出画像として双眼カメラにより同時に撮影された一対の画像を選択することが要求され、選択された画像の品質が高く要求され、最後にこの少なくとも一対の被検出画像の中に偽造情報が存在するか否かを検出する。ここで、画像品質は、目標が画像中心に位置するか否か、例えば顔が完全に画像中に含まれるか否か、顔表面が画像面積で占めた割合、画像鮮鋭度、露光度などの標準の１つ又は複数により評価することができる。いくつかの実現形態では、選択された高品質の画像は、顔が画像中心に位置し、顔縁部が完全に画像中に含まれ、顔が画像で占めた割合が約１／２−３／４であり、画像鮮鋭度が高く、露光度が高い条件を満たすことができる。上記の選択に関しては、設定されたアルゴリズムにより、顔画像が向く方向、鮮鋭度、光線輝度などの指標を自動的に検出でき、特定された基準により、被検出ビデオ全体から指標が最も望ましい一対又は複数対の画像を選択し、又は別々の対話モジュールからそれぞれ一対又は複数対の画像を選択する。ここで、画像前処理操作はサイズ調整、ｚ−ｓｃｏｒｅ正規化、ヒストグラム平坦化に基づく暗光改善などの１種又は複数種を含む。前処理操作は主にネットワークに入力する画像のサイズを統一し、処理されたデータを標準正規分布に合致させる作用を果たす。また、ヒストグラム平坦化に基づく暗光改善前処理操作の主な作用に関しては、実際の顔偽造防止検出中で顔部が暗光条件にあることが可能であり、このような場合に顔偽造防止の正確性に影響しやすく、暗光改善をなされた画像は画像輝度分布を再度調整可能であり、そのように本来暗光条件下で撮影された画像は偽造防止検出の画像品質への要求を満たせるようになり、そのようにしてより精確な偽造防止検出結果が得られ、また、暗光改善操作は一般的に可視光カメラにより撮影された画像のみに用いられる。

いくつかの実施例では、画像前処理とフレーム選択操作などを行ってから取得された画像に対して更に以下の操作を行う必要がある。１）顔検出：双眼カメラから取得された左右の２枚の画像からそれぞれ顔領域位置を検出し、且つ顔領域矩形枠座標をフィードバックし、ここで、該顔検出は相対的に粗くて、検出された顔領域に更なる調整と微細化が必要とされる。２）顔キーポイント検出：上記顔検出で取得された顔画像から顔の所定の数量のキーポイントの座標を抽出し、例えば１０６又は２４０個のキーポイント座標を抽出する。３）顔領域分割：顔キーポイント座標を用いて具体的な顔位置領域を確定し、例えばキーポイントにより最小矩形を確定し、且つこの最小矩形を更に特定の倍数、例えば１／５〜２／３倍外へ拡張し、この拡張された矩形枠を最終的な顔領域とする。

２枚の画像中の顔領域を取得してから後続の顔偽造防止検出を行うことができる。

ステップＳ７０２において、顔画像に対して顔偽造防止事前検出を行う。

上記の処理で得られた２枚の顔画像を深層ニューラルネットワークに入力して顔偽造防止検出を行う前に、更に顔偽造防止事前検出を行う必要がある。いくつかの可能の実現形態で、該事前検出は、１）タイプが異なったカメラの特徴により事前検出を行うこと、２）双眼カメラにより同時に検出された顔画像に対して顔の一致性を判断すること、３）双眼カメラにより同時に取得された顔画像に対して顔深度情報抽出を行い、該深度情報を用いて偽造防止事前検出を行うことの少なくとも一項を含む。

この態様に適用されるカメラは、可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラなどを含むが、それらに限定されない。異なったタイプのカメラに異なった特徴を有する。例えば、可視光カメラは、例えば、紙の顔の縁部、紙表面の光反射、紙の材質などの２Ｄ次元の偽造手がかり、顔画像又はビデオ複製装置のスクリーン縁部、スクリーンの光反射、スクリーンモアレなどの２．５Ｄ次元の偽造手がかり、マスク、マネキン、彫塑類の顔偽造マスクと顔の継目又は滑らか過ぎる皮膚などの３Ｄ次元の偽造手がかりのような人の目に観測可能な様々なタイプの偽造手がかり情報を撮ることができる。近赤外線カメラは暗光条件下で可視光カメラにより精確に取得できない顔部画像情報を撮ることができ、また近赤外線カメラはスクリーンから複製した顔画像情報を取得できなく、後続の検出フローで２．５Ｄの偽造手がかりの干渉を直接防止でき、それに基づいて顔偽造防止検出を行う。デュアルチャンネルカメラは強光条件下の可視光カメラ類の特徴と暗光条件下の近赤外線カメラ類の特徴を兼備し、暗光条件下で同様にスクリーンから複製した顔画像情報を取得できなく、後続の検出フローで２．５Ｄの偽造手がかりの干渉を直接防止でき、それに基づいて顔偽造防止検出を行う。

いくつかの実施例では、各種のカメラ特徴に基づいて顔画像に対して顔偽造防止事前検出を行うプロセスは図７Ｃに示すように、
双眼カメラにより撮影された画像を取得するステップＳ７３１と、
左右の２枚の画像に対してそれぞれ顔検出を行うステップＳ７３２と、を含む。少なくとも１枚の画像から人物の顔が検出されなかった場合に、ステップＳ７３３に移行し、左右の２枚の画像から全て人物の顔が検出された場合に、ステップＳ７３４に移行する。

ステップＳ７３３において、限定期間を超えても左右の２枚の画像から顔領域が同時に検出されなかった場合に、例えば「顔偽造防止事前検出に合格しなかった」又は「検出タイムアウト」などのような提示情報が出力される。

双眼カメラにより撮影された画像シーケンス又はビデオシークエンスを取得した後、画像シーケンス又はビデオシークエンスに含まれる同時に収集された左右の２枚の画像に対してそれぞれ顔検出を行い、その一方の画像から人物の顔が検出されなく又は２枚の画像のいずれからも人物の顔が検出されなかった場合に、フレーム選択を継続して顔検出を行い、限定期間を超えたが、依然として左右の２枚の画像から顔領域が同時に検出されなかった場合に、直接偽造顔であると判定したり、例えば「検出タイムアウト」のような提示情報を出力してよい。

ステップＳ７３４において、左右の顔画像の一致性判断を行う。左右顔画像が一致しなかった場合に、ステップＳ７３５に移行し、左右の顔画像が一致した場合に、ステップＳ７３６に移行する。選択可能に、更に顔偽造防止事前検出に合格したか否かの判定結果が出力されてもよい。

実際に応用する場合に、同一の画面に複数の真実の顔が現れ又は同一の画面に真実の顔と偽造した顔が同時に現れることがある。この時に、左右の画像から検出された顔領域が同一の顔に対応することを確保するために、顔偽造防止検出を行う前に、左右画像から検出された、偽造判断を待つ顔領域に対して一致性検証を行う必要がある。いくつかの実施例では、左右画像から検出された顔領域を取得した後、２つの顔領域に対して顔類似性判断を行って、２つの顔領域が同一の人物に対応するか否かを比較する。別の可能な実現形態では、左右画像から検出された顔領域に対してそれぞれ顔識別を行い、具体的に、２つの顔領域をそれぞれ基礎データベースに格納された顔見本と照合して、２枚の画像から検出された顔領域が同一の目標顔に対応するか否かを確定する。別の可能な実現形態では、他の方式を用いて顔一致性検証を行い、本願の実施例では限定されない。

ステップＳ７３５において、顔画像の一致性補正を行う。

いくつかの実施例では、顔領域をマッピングする方式により一致性補正を行う。具体的には、左右画像を取得した後、まず左図（又は右図）に対して顔検出と顔キーポイント検出を行って、顔キーポイントの位置情報を得、また、顔キーポイントの位置情報を用いて左図中の顔位置領域を確定し、一例において、キーポイントの位置情報により最小矩形を確定し、且つ該最小矩形を更に特定の倍数、例えば２／５〜２／３倍外へ拡張し、拡大された領域を得、そしてこの拡大された領域を右図中の領域範囲にマッピングして顔検出の目標領域とし、最後に、該マッピング領域から右図における左図から検出された顔領域に対応する顔画像を検出する。

別のいくつかの実施例では、キーポイントマッピングの方式により一致性補正を行う。具体的には、双眼カメラを定義し、特定のカメラ又は特定のバッチのカメラの内部パラメータと外部パラメータを取得し、そして特定のアルゴリズムにより左図（又は右図）から抽出された顔キーポイントの位置を右図（又は左図）にマッピングし、そのように右図（又は左図）にマッピングした顔キーポイントの位置が右図（又は左図）中の顔対応位置に合致するようになり、それにより一致性を有する左右顔領域が得られる。一例において、該特定のアルゴリズムについて式（２−１）〜式（２−９）の説明を参照する。

ステップＳ７３６において、顔キーポイントの深度情報抽出を行い、抽出された顔キーポイントの深度情報に基づいて偽造防止事前検出結果を確定する。このステップにおいて、顔キーポイントの深度情報の抽出アルゴリズムの説明についてステップＳ２２の式（１−１）〜式（１−７）を参照してよい。

上記偽造防止事前検出において、深度情報を用いて、例えば紙の顔などの２Ｄ次元の偽造手がかり、携帯電話又はスクリーン複製などの２．５Ｄ次元の偽造手がかりのような偽造情報を直接検出して、このような顔偽造防止検出を効果的に行うことができる。顔キーポイントの深度情報の抽出アルゴリズムの説明についてステップＳ２２の式（１−１）〜式（１−７）を参照してよい。

上記事前検出による偽造防止検出の効果は、主に、双眼カメラ中の少なくとも１つのカメラに近赤外線カメラを採用し又は暗光条件下で少なくとも１つのカメラにデュアルチャンネルカメラを採用した場合に、携帯電話又はコンピュータスクリーンから複製した偽造顔のような２．５Ｄ次元の偽造手がかりに対して効果的な顔偽造防止検出を行えることで高められる。

ステップＳ７０３において、顔偽造防止検出深層学習ネットワークにより偽造防止検出を行う。

具体的には、深層学習ネットワークを利用して左右の顔領域に偽造情報が存在するか否かを検出し、上記の被検出画像ペアに対して偽造防止検出を行う。顔偽造防止検出の実現において、深層学習ネットワークを用いて偽造情報特徴のモデル化と偽造情報特徴の判定を行う。判定プロセスで、まず上述した内容に従って取得された被検出画像に対して顔偽造防止事前検出を行い、顔偽造防止事前検出に合格しなかった場合に、例えば「顔偽造防止検出に合格しなかった」又は「検出タイムアウト」などの提示情報が出力され、顔偽造防止事前検出に合格した場合に、左右の顔の分割領域画像を得た後、深層学習ネットワークを用いて上記の顔領域画像に偽造情報が存在するか否かを検出して、上記の被検出画像に対して偽造防止検出を行う。三つの検出（２Ｄ、２．５Ｄ、３Ｄ）のいずれか１つで偽造手がかりが検出された場合に、被検出画像に偽造手がかりを含むと判定し、顔偽造防止検出に合格しなかたと出力する。逆には、顔偽造防止検出に合格した提示情報を出力し又はユーザに要求される操作を実行する。

いくつかの実現形態では、深度ネットワークを用いて被検出画像に対して特徴抽出を行い、且つ抽出された特徴に偽造情報を含むか否かを判断する。抽出された特徴は、ローカルバイナリパターン（ＬＢＰ）特徴、スパースコーディングヒストグラム（ＨＳＣ）特徴、色（ＲＧＢ）特徴、パノラマグラム（ＬＡＲＧＥ）特徴、領域（ＳＭＡＬＬ）特徴、細部（ＴＩＮＹ）特徴の任意の複数項を含むが、それらに限定されない。応用において、更に深層ニューラルネットワークモデルを予めトレーニングすることにより、抽出された特徴に上記偽造情報特徴が含まれるか否かの判断を学習することができ、その後、これらの偽造情報特徴を含む画像が深層ニューラルネットワークに入力された後いずれも検出される。抽出された特徴に上記の偽造情報特徴の１つ又は複数を含む場合に、被検出画像を偽造顔画像と判断してよく、逆には真実の顔画像とする。該特徴抽出及び判断操作は全て上記のトレーニングされた深層ニューラルネットワークにより完成される。上記の偽造特徴トレーニングを行った深層ニューラルネットワークにより少なくとも一対の被検出画像から分割した顔領域画像に対してそれぞれ総合特徴抽出と特徴融合を行う。該深層ニューラルネットワークは、より複雑なモデルを採用し、２つのブランチに分けて左右の顔領域情報に対してそれぞれ特徴のモデル化を行い、各部分の特徴をそれぞれ抽出した後、２つの特徴ベクトルを結合し、統一した偽造防止検出判別機構を構築し、上記結合後の特徴ベクトルを該判別機構に入力し、２つの画像から抽出された特徴に偽造情報を含むか否かの結果を同時を得る点で、単独して顔検出に用いる一般のネットワーク構成と異なっている。２つの画像のいずれか１つから偽造情報が検出された場合に、被検出画像に偽造情報を含むと判定し、顔偽造防止検出に合格しなかったと出力する。逆には、顔偽造防止検出に合格したと出力する。深層ニューラルネットワークは、抽出された総合特徴に複数種の偽造情報中のいずれか１種を含むか否かに応じて、被検出画像に偽造手がかりを含むか否かを検出し、被検出画像が偽造画像の顔の書類付き画像であるか否かの偽造防止検出結果を得る。例えば、入力された偽造顔画像がビデオ複製デバイによる顔画像であれば、深層ニューラルネットワークに基づいて抽出された特徴には顔画像又はビデオ複製デバイスのスクリーン縁部、スクリーンの光反射、スクリーンモアレなどの２．５Ｄ次元の偽造手がかりを含むＳＭＡＬＬ特徴が含まれ、深層ニューラルネットワークに基づいて抽出された特徴は分類器により上記のいずれか１種の偽造特徴がないと判断された場合に、この場合に抽出された総合特徴に偽造情報を含まないと判断する。全ての被検出画像に何の偽造情報も存在しない場合に、被検出ビデオ又は画像が顔偽造防止検出に合格したとする。逆には、任意の一対の被検出画像に複数種の偽造情報中のいずれか１種又は複数種が存在する場合に、被検出ビデオ又は画像が顔偽造防止検出に合格しなかったとする。

本願の実施例で提供された技術手段において、双眼カメラにより収集された２枚の画像の視差情報を用いて顔偽造判断を行って、例えば双眼カメラにより収集された左右画像から検出された人物の顔が一致しないという問題、単眼カメラによる２Ｄ及び２．５Ｄ偽造顔の判断精度が高くないという問題などの実際応用での様々な技術的難題を解決できる。また、深層学習機構を用いて顔の偽造防止の問題を解決するため、深層ニューラルネットワークの強い記述能力によりモデル化を行うことができ、大規模のデータトレーニングにより、人の目に観測可能な複数の次元の真実顔と偽造顔の間の差異を学習することができ、それにより複数種の偽造顔の攻撃を防御し、少ない対話が必要とされる偽造顔検出のための解決策となる。

また、本願の実施例は画像処理装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供し、それらはいずれも本願の実施例で提供されるいずれか１種の画像処理方法を実現するために利用可能であり、それに対応する技術手段、説明及び参照方法部分に対応する記載をここで省略する。

図８は本願の実施例に係る生体検出装置の例示的なブロック図を示す。

目標領域確定モジュール１０は、双眼撮像装置中の第１の画像センサにより収集された第１の画像に対して目標対象の検出を行い、第１の目標領域を得、前記双眼撮像装置中の第２の画像センサにより収集された第２の画像に対して前記目標対象の検出を行い、第２の目標領域を得るように構成され、キーポイント深度情報取得モジュール２０は、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るように構成され、第１の生体検出モジュール３０は、前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定するように構成される。

図９は本願の実施例に係る生体検出装置の例示的なブロック図を示す。

前記キーポイント深度情報取得モジュール２０は、前記第１の目標領域に対してキーポイントの検出を行い、前記第１の目標領域のキーポイント情報を得、前記第２の目標領域に対してキーポイントの検出を行い、前記第２の目標領域のキーポイント情報を得るように構成されるキーポイント検出サブモジュール２１と、前記第１の目標領域のキーポイント情報と前記第２の目標領域のキーポイント情報により、前記目標対象のキーポイント深度情報を確定するように構成される第１のキーポイント深度情報取得サブモジュール２２と、を含む。

いくつかの実施例では、前記生体検出モジュール３０は、前記目標対象のキーポイント深度情報に基づいて、深度離散度を確定するように構成される離散度確定サブモジュール３１と、前記深度離散度により、前記目標対象が生体であるか否かを確定するように構成される生体検出サブモジュール３２と、を含む。いくつかの実施例では、前記装置は、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定するように構成される一致性確定モジュール４０を更に含み、前記キーポイント深度情報取得モジュール２０は、前記第１の目標領域と前記第２の目標領域とが一致すると確定した場合に、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るように構成される第２のキーポイント深度情報取得サブモジュール２３を更に含む。

いくつかの実施例では、前記一致性確定モジュール４０は、基礎データベースから前記第１の目標領域に対応する第１の検索結果を検索し、前記基礎データベースから前記第２の目標領域に対応する第２の検索結果を検索するように構成される検索結果確定サブモジュールと、前記第１の検索結果と前記第２の検索結果に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定するように構成される第１の一致性確定サブモジュールと、を含む。

いくつかの実施例では、前記一致性確定モジュール４０は、前記第１の目標領域と前記第２の目標領域との類似度を確定するように構成される類似度確定サブモジュールと、前記類似度に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定するように構成される第２の一致性確定サブモジュールと、を含む。

いくつかの実施例では、前記装置は、前記第１の目標領域と前記第２の目標領域とが一致しないと確定した場合に、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得るように構成される補正処理モジュール５０を更に含み、前記キーポイント深度情報取得モジュール２０は、前記第１の目標領域と補正処理後の前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るように構成される第３のキーポイント深度情報取得サブモジュール２４を含む。

いくつかの実施例では、前記補正処理モジュール５０は、前記第２の画像の中で前記第１の目標領域の対応領域を確定するように構成される対応領域確定サブモジュールと、前記対応領域を前記補正処理後の前記第２の目標領域として確定するように構成される第１の補正処理サブモジュールと、を含む。

いくつかの実施例では、前記対応領域確定サブモジュールは、前記第１の目標領域のキーポイント情報により、前記第１の目標領域中のキー領域を確定するように構成されるキー領域確定サブモジュールと、前記キー領域に基づいて、前記第１の目標領域の第２の画像における対応領域を確定するように構成される第１の対応領域確定サブモジュールと、を含む。

いくつかの実施例では、前記キー領域確定サブモジュールは、前記第１の目標領域のキーポイント情報に基づいて、前記第１の目標領域中の少なくとも１つのキーポイントにより囲まれた最小領域を確定するように構成される最小領域確定サブモジュールと、前記最小領域を所定の倍数拡大し、前記キー領域を得るように構成される第１のキー領域確定サブモジュールと、を含む。

いくつかの実施例では、前記対応領域確定サブモジュールは、前記第１の目標領域中の少なくとも１つのキーポイントを前記第２の画像にマッピングし、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報を得るように構成されるマッピング位置情報確定サブモジュールと、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報により、前記第１の目標領域の前記第２の画像における対応領域を確定するように構成される第２の対応領域確定サブモジュールと、を含む。

いくつかの実施例では、前記装置は、前記目標対象のキーポイント深度情報に基づいて前記目標対象が生体であると確定した場合に、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定するように構成される偽造情報確定モジュール６０と、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かに応じて、前記目標対象が生体であるか否かを確定するように構成される第２の生体検出モジュール７０とを更に含む。

いくつかの実施例では、前記偽造情報確定モジュール６０は、前記第１の画像と前記第２の画像に対してそれぞれ特徴抽出処理を行い、第１の特徴データと第２の特徴データを得るように構成される特徴データ取得サブモジュール６１と、前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定するように構成される偽造情報確定サブモジュール６２と、を含む。

いくつかの実施例では、前記偽造情報確定サブモジュール６２は、前記第１の特徴データと前記第２の特徴データに対して融合処理を行い、融合特徴を得るように構成される融合特徴取得サブモジュールと、前記融合特徴に基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定するように構成される第１の偽造情報確定サブモジュールと、を含む。いくつかの実施例では、前記第１の特徴データ又は第２の特徴データは、ローカルバイナリパターン特徴、スパースコーディングヒストグラム特徴、色特徴、全画像特徴、領域特徴、細部特徴のうちの１種又はそれらの任意の組合せを含む。いくつかの実施例では、前記装置は、前記第１の画像と前記第２の画像がフレーム選択条件を満たすか否かを確定するように構成されるフレーム選択モジュールを更に含み、前記キーポイント深度情報取得モジュールは、前記第１の画像と前記第２の画像がフレーム選択条件を満たしたと確定した場合に、前記第１の目標領域と前記第２の目標領域により、目標対象のキーポイント深度情報を得るように構成される第４のキーポイント深度情報取得サブモジュールを含む。

いくつかの実施例では、前記装置は、前記第１の画像と前記第２の画像のうちの少なくとも１つの画像がフレーム選択条件を満たしていない場合に、ビデオストリーム中の次の画像ペアがフレーム選択条件を満たすか否かを確定するように構成される画像ペア確定モジュールと、所定の期間又は所定の数量の画像ペアに達し且つ前記ビデオストリームからフレーム選択条件を満たした画像ペアが発見されなかった場合に、前記ビデオストリームを偽造ビデオストリームとして確定するように構成される偽造ビデオストリーム確定モジュールと、を更に含む。いくつかの実施例では、前記第１の画像センサ又は前記第２の画像センサは、可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラのうちの１種を含む。

いくつかの実施例では、前記装置は、前記第１の画像と前記第２の画像のうちの少なくとも１つの画像に対して、画像タイプ調整、サイズ調整、ｚスコア正規化処理、輝度調整のうちの１種又はそれらの任意の組合せを含む前処理を行うように構成される前処理モジュールを更に含み、前記目標領域確定モジュールは、前記前処理後の第１の画像に対して目標対象検出を行い、第１の目標領域を得、前記前処理後の第２の画像に対して目標対象検出を行い、第２の目標領域を得るように構成される目標領域確定サブモジュールを含む。

いくつかの実施例では、前記目標対象は人物の顔である。

図１０は例示的な実施例により示された電子機器のブロック図である。電子装置は端末、サーバ又は他の形態のデバイスとして提供されてよい。例えば、電子機器は生体検出装置８００であってよい。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどであってよい。

図１０を参照すると、装置８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。

処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。

メモリ８０４は装置８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は装置８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。

マルチメディアコンポーネント８０８は前記装置８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。センサコンポーネント８１４は装置８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが装置８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳ又はＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。

通信コンポーネント８１６は装置８００と他の機器との間の有線または無線通信を実現するように配置される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、装置８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行して上記方法を完了することができる。

図１１は例示的実施例により示された生体検出装置のブロック図である。例えば装置１９００はサーバとして提供できる。図１１を参照すると、装置１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。装置１９００はさらに、装置１９００の電源管理を実行するように構成された電源コンポーネント１９２６、装置１９００をネットワークにアクセスするように構成された有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含むことができる。装置１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓＳｅｒｖｅｒＴＭ、ＭａｃＯＳＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は装置１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。

本開示の実施例はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の実施例の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。

本開示の実施例の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の実施例の各態様を実現できるようになる。

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。

コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

上記、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims

双眼撮像装置中の第１の画像センサにより収集された第１の画像に対して目標対象の検出を行い、第１の目標領域を得、前記双眼撮像装置中の第２の画像センサにより収集された第２の画像に対して前記目標対象の検出を行い、第２の目標領域を得ることと、
前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することと、
前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることと、
前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定することと、を含み、
前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることは、
前記第１の目標領域と前記第２の目標領域とが一致すると確定した場合に、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることを含む、
生体検出方法。
前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることには、
前記第１の目標領域に対してキーポイントの検出を行い、前記第１の目標領域のキーポイント情報を得、前記第２の目標領域に対してキーポイントの検出を行い、前記第２の目標領域のキーポイント情報を得ることと、
前記第１の目標領域のキーポイント情報と前記第２の目標領域のキーポイント情報により、前記目標対象のキーポイント深度情報を確定することと、を含む請求項１に記載の方法。
前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定することには、
前記目標対象のキーポイント深度情報に基づいて、深度離散度を確定することと、
前記深度離散度により、前記目標対象が生体であるか否かを確定することと、を含む請求項１又は２に記載の方法。
前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することには、
基礎データベースから前記第１の目標領域に対応する第１の検索結果を検索することと、
前記基礎データベースから前記第２の目標領域に対応する第２の検索結果を検索することと、
前記第１の検索結果と前記第２の検索結果に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することと、を含む請求項１に記載の方法。
前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することには、
前記第１の目標領域と前記第２の目標領域との類似度を確定することと、
前記類似度に基づいて、前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定することと、を含む請求項１に記載の方法。
前記第１の目標領域と前記第２の目標領域とが一致しないと確定した場合に、前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得ることを更に含み、
前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることには、
前記第１の目標領域と補正処理後の前記第２の目標領域により、前記目標対象のキーポイント深度情報を得ることを含む請求項１〜５のいずれか一項に記載の方法。
前記第１の目標領域に基づいて、補正処理後の前記第２の目標領域を得ることには、
前記第２の画像の中で前記第１の目標領域の対応領域を確定することと、
前記対応領域を前記補正処理後の前記第２の目標領域として確定することと、を含む請求項６に記載の方法。
前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、
前記第１の目標領域のキーポイント情報により、前記第１の目標領域中のキー領域を確定することと、
前記キー領域に基づいて、前記第１の目標領域の第２の画像における対応領域を確定することと、を含む請求項７に記載の方法。
前記第１の目標領域のキーポイント情報により、前記第１の目標領域中のキー領域を確定することには、
前記第１の目標領域のキーポイント情報に基づいて、前記第１の目標領域中の少なくとも１つのキーポイントにより囲まれた最小領域を確定することと、
前記最小領域を所定の倍数拡大し、前記キー領域を得ることと、を含む請求項８に記載の方法。
前記第２の画像の中で前記第１の目標領域の対応領域を確定することには、
前記第１の目標領域中の少なくとも１つのキーポイントを前記第２の画像にマッピングし、前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報を得ることと、
前記少なくとも１つのキーポイントの前記第２の画像におけるマッピング位置情報により、前記第１の目標領域の前記第２の画像における対応領域を確定することと、を含む請求項７に記載の方法。
前記目標対象のキーポイント深度情報に基づいて前記目標対象が生体であると確定した場合に、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することと、
前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かに応じて、前記目標対象が生体であるか否かを確定することと、を更に含む請求項１〜１０のいずれか一項に記載の方法。
前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することには、
前記第１の画像と前記第２の画像に対してそれぞれ特徴抽出処理を行い、第１の特徴データと第２の特徴データを得ることと、
前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することと、を含む請求項１１に記載の方法。
前記第１の特徴データと前記第２の特徴データに基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することには、
前記第１の特徴データと前記第２の特徴データに対して融合処理を行い、融合特徴を得ることと、
前記融合特徴に基づいて、前記第１の画像と前記第２の画像の中に偽造情報が存在するか否かを確定することと、を含む請求項１２に記載の方法。
前記第１の画像と前記第２の画像がフレーム選択条件を満たすか否かを確定することを更に含み、
前記第１の目標領域と前記第２の目標領域により、目標対象のキーポイント深度情報を得ることには、
前記第１の画像と前記第２の画像がフレーム選択条件を満たしたと確定した場合に、前記第１の目標領域と前記第２の目標領域により、目標対象のキーポイント深度情報を得ることを含む請求項１〜１３のいずれか一項に記載の方法。
前記フレーム選択条件は、
第１の画像と第２の画像のいずれからも前記目標対象が検出されたこと、
第１の画像の中で検出された目標対象が前記第１の画像の設定領域に位置し且つ前記第２の画像の中で検出された目標対象が前記第２の画像の設定領域に位置すること、
前記第１の画像と前記第２の画像の中で検出された目標対象の完全性が所定の条件を満たしたこと、
前記第１の画像の中で検出された目標対象の前記第１の画像に占める割合が割合閾値より大きく且つ前記第２の画像の中で検出された目標対象の前記第２の画像に占める割合が前記割合閾値より大きいこと、
第１の画像と第２の画像の鮮鋭度が鮮鋭度閾値より大きいこと、
第１の画像と第２の画像の露光度が露光度閾値より大きいことのうちの一つ又はそれらの任意の組合せを含む請求項１４に記載の方法。
前記第１の画像と前記第２の画像のうちの少なくとも１つの画像がフレーム選択条件を満たしていない場合に、ビデオストリーム中の次の画像ペアがフレーム選択条件を満たすか否かを確定することと、
所定の期間又は所定の数量の画像ペアに達し且つ前記ビデオストリームからフレーム選択条件を満たした画像ペアが発見されなかった場合に、前記ビデオストリームを偽造ビデオストリームとして確定することと、を更に含む請求項１〜１５のいずれか一項に記載の方法。
前記第１の画像センサ又は前記第２の画像センサは、可視光カメラ、近赤外線カメラ、デュアルチャンネルカメラのうちの１種を含む請求項１〜１６のいずれか一項に記載の方法。
双眼撮像装置中の第１の画像センサにより収集された第１の画像に対して目標対象の検出を行い、第１の目標領域を得、前記双眼撮像装置中の第２の画像センサにより収集された第２の画像に対して前記目標対象の検出を行い、第２の目標領域を得るように構成される目標領域確定モジュールと、
前記第１の目標領域と前記第２の目標領域とが一致するか否かを確定するように構成される一致性確定モジュールと、
前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るように構成されるキーポイント深度情報取得モジュールと、
前記目標対象のキーポイント深度情報に基づいて、前記目標対象が生体であるか否かを確定するように構成される第１の生体検出モジュールと、を含み、
前記キーポイント深度情報取得モジュールは、前記第１の目標領域と前記第２の目標領域とが一致すると確定した場合に、前記第１の目標領域と前記第２の目標領域により、前記目標対象のキーポイント深度情報を得るように構成される第２のキーポイント深度情報取得サブモジュールを更に含む、
生体検出装置。
請求項１〜１７のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
プロセッサ実行可能コマンドを記憶するように構成されるメモリと、を含む電子機器。
コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜１７のいずれか一項に記載の方法を実現するコンピュータ可読記憶媒体。
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行される時に、前記電子機器中のプロセッサにより請求項１〜１７のいずれか一項に記載の方法を実行することを特徴とするコンピュータプログラム。