JP2020501264A - モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法 - Google Patents

Abstract

指紋認識を実施するためのシステムおよび方法の裏付けとして、本明細書に技術を提示する。本発明の実施形態は、スマートフォンなどのモバイルデバイスを使用して、ユーザのバイオメトリック特徴をキャプチャし、ユーザのバイオメトリック特徴を特性化する識別子を生成するためのシステムおよび方法に関係する。バイオメトリック識別子は、キャプチャされたバイオメトリクスに従ってユーザを認証／識別し、ユーザの実在性を判定する目的で、ユーザの複数の指をキャプチャした画像を使用して生成される。本開示はまた、なりすましによる誤認証を防止する、追加の技法についても説明する。いくつかの例では、なりすまし対策法は、ユーザの指の１つまたは複数の画像をキャプチャすることと、実在性の兆候についてキャプチャした画像を分析することとを含み得る。【選択図】図４Ｃ

Description

本発明は、バイオメトリック特徴をキャプチャして特性化するためのシステムおよび方法に関し、特に、スマートフォンなどのモバイルデバイスの埋め込め型カメラでキャプチャした指の画像を使用して、バイオメトリック特徴をキャプチャし特性化するためのシステムおよび方法に関する。

バイオメトリクスは個人の生物学的特性（指紋、手の幾何学的形状、網膜パターン、虹彩テクスチャなど）であることから、通常、非バイオメトリック認証情報よりもバイオメトリクスを取得するのはより難しいため、追加の検証要素としてバイオメトリック技術が使用できる。バイオメトリクスは、識別および／または認証（本人確認および／または検証とも呼ばれる）に使用することができる。

バイオメトリック識別アサーションには、アプリケーションの指示どおりに一定のセキュリティレベルが必要になる場合がある。例えば、金融取引に関連する認証や安全な場所へのアクセスの取得には、より高いセキュリティレベルが必要となる。結果として、ユーザのバイオメトリック表現は、ユーザが正確に認証され、セキュリティが維持されることを保証するほど十分に正確であることが好ましい。

また、新生児の行方不明、取り違え、混同および非合法の養子縁組が世界的な課題であり、自動化されたバイオメトリックシステムを使用して、新生児の顔、虹彩、指紋、足跡、および／または掌紋に基づいて新生児を識別することが提案されている。

しかしながら、虹彩、顔、指、および音声の識別アサーションシステムが存在し、必要なレベルの正確さを提供する限りにおいて、そのようなシステムは、専用のデバイスおよびアプリケーションを必要とし、制限されたカメラ解像度および発光能力を有する従来のスマートフォンには容易に実装されない。

電子指紋センサは、既にスマートフォンデバイスに追加されており、カリフォルニア州クパチーノのアップル社によるｉＰｈｏｎｅ（登録商標） ６スマートフォンおよびＳａｍｓｕｎｇ Ｋｏｒｅａのサムソン社によるサムソンＳ５スマートフォンがこの例である。これらのデバイスでは、ユーザはセンサ上に自分の指を置くことによって指紋データを登録しなければならず、後日ユーザは自分の指をセンサ上に再度位置付けることによって本人確認を行うことができ、指紋データは登録データと比較され、一致するとユーザの同一性が確認される。指紋が一致しない場合、ユーザは偽者として識別され得る。これらのシステムの不利な点は、指紋センサの分、デバイスにサイズの重さおよびコストが追加されることである。さらに、これらの理由から、指紋センサのサイズを最小限に抑えることが有利であり、そのため、指紋センサは通常、指紋の一部分のみをキャプチャするが、識別の有効性は低下する。指紋センサのキャプチャ領域が小さければ小さいほど、別の指が偶然一致する可能性が高くなり、指紋データにエラーがあると、本物のユーザが誤って拒否される可能性が高くなる。

また、従来の指紋センサを使用して新生児の指紋をキャプチャすることは、指のサイズ、および新生児の手を握りそれをセンサ上に置く難しさから困難である。

実際的には、これは、ユーザ（すなわち、成人および新生児）が誤って拒絶されることで、より高いレベルの不便を被ることを意味し、センサの用途は、低価値の支払いなどの重要でない用途に限定される。指紋センサもまたなりすまし攻撃の対象となることがあり、例えば、本物のユーザの指紋の型を指紋センサ内に置き、偽者が認証に合格することが可能になる。これは、使用を重要でない用途に制限するさらなる理由となる。

さらなる課題は、指紋センサを装備するモバイルデバイスがほんのわずかであることで、そのため、指紋認証システムへのアクセス権を持つ人の数が制限され、デバイス間の認証方法に不一致が生じる。

モバイルデバイスのカメラを使用して、１本の指の画像を分析するシステムが提案されており、これらのシステムは潜在的により便利ではあるが、１本の指を撮像および分析するそのようなシステムの最低誤認率および棄却率は、中〜高額購入および企業システム（すなわち、大規模システム）など、より高いセキュリティを必要とする用途に対しては、依然として十分に信頼できるものではない。

そのため、より信頼性の高い、よりユビキタスな指認識システムが必要とされている。

指紋認識を実施するためのシステムおよび方法の裏付けとして、本明細書に技術を提示する。

第一の態様により、指紋認識を実施する方法を提供する。この方法は、カメラ、記憶媒体、記憶媒体に記憶された命令、および命令を実行することにより構成されたプロセッサを有するモバイルデバイスによって、対象者の複数の指を描く画像をキャプチャするステップを含む。この方法はまた、指検出アルゴリズムを使用して、１つまたは複数の画像に描かれている複数の指を検出することを含む。この方法はまた、セグメンテーションアルゴリズムを使用して少なくとも１つの画像を処理し、少なくとも１つの画像に描かれている、１本または複数の指のそれぞれの指先セグメントを識別することを含む。加えて、この方法は、１本または複数の指について識別されたそれぞれの指先セグメントから、１本または複数の指の特徴を抽出することと、抽出された特徴に基づいてバイオメトリック識別子を生成することと、バイオメトリック識別子をメモリに記憶することとを含む。

別の態様により、指紋認識を実施する方法を提供する。この方法は、カメラ、記憶媒体、記憶媒体に記憶された命令、および命令を実行することにより構成されたプロセッサを有するモバイルデバイスによって、対象者の複数の指を描く画像をキャプチャするステップを含む。この方法はまた、指検出アルゴリズムを使用して、画像の少なくとも１つに描かれている１本または複数の指を検出することを含む。この方法はまた、セグメンテーションアルゴリズムを使用して少なくとも１つの画像を処理して、そこに描かれている少なくとも１本の指のそれぞれの指先セグメントを識別することを含む。加えて、この方法は、識別されたそれぞれの指先セグメントから、少なくとも１本の指の１つまたは複数の特徴を測定することと、測定された特徴に基づいて、少なくとも１つの画像を拡大縮小することとを含む。加えて、この方法は、それぞれの指先セグメントを描く、拡大縮小された画像の少なくとも一部分を含む、バイオメトリック識別子を生成し、バイオメトリック識別子をメモリに記憶するステップを含む。

これらおよび他の態様、特徴、および利点は、本発明の特定の実施形態の添付の説明、ならびに添付の図面および特許請求の範囲から理解することができる。

図１は、本明細書に開示する少なくとも１つの実施形態による、ユーザのバイオメトリック特徴に応じてユーザを認証するための、コンピュータシステムの高レベル図である。 図２Ａは、本明細書に開示する少なくとも１つの実施形態による、ユーザのバイオメトリック特徴に応じてユーザを認証するための、コンピュータシステムのブロック図である。 図２Ｂは、本明細書に開示する少なくとも１つの実施形態による、ユーザのバイオメトリック特徴に応じてユーザを認証するための、ソフトウェアモジュールのブロック図である。 図２Ｃは、本明細書に開示する少なくとも１つの実施形態による、ユーザのバイオメトリック特徴に応じてユーザを認証するための、コンピュータシステムのブロック図である。 図３は、本明細書に開示する少なくとも１つの実施形態により、ユーザのバイオメトリック特徴に応じてバイオメトリック識別子を生成し、ユーザを登録または認証するためのルーチンを示すフロー図である。 図４Ａは、本明細書に開示する少なくとも１つの実施形態により、視覚画像およびそれに対応する画像から指を検出するためのルーチンを示すフロー図である。 図４Ｂは、本明細書に開示する少なくとも１つの実施形態により、視覚画像内から検出された指先領域をフィルタリングするためのルーチンを示すフロー図である。 図４Ｃは、図４Ｂの指先領域をフィルタリングするルーチンに従って、キャプチャおよび生成された画像を示す。 図５Ａは、本明細書に開示する少なくとも１つの実施形態にり、指の視覚画像から実在性（ｌｉｖｅｎｅｓｓ）を検出するためのルーチンを示すフロー図である。 図５Ｂは、指の視覚画像から実在性を検出するためのルーチンに従って、キャプチャされた一連の画像である。 図５Ｃは、指の視覚画像から実在性を検出するためのルーチンに従って、キャプチャされた一連の画像である。 図６Ａは、本明細書に開示する少なくとも１つの実施形態に従って生成された、指のキャプチャ画像および対応する隆線反射画像を示す。 図６Ｂは、本明細書に開示する少なくとも１つの実施形態に従って生成された、指のキャプチャ画像および対応する隆線反射画像を示す。 図６Ｃは、本明細書に開示する少なくとも１つの実施形態に従って生成された、指のキャプチャ画像および対応する隆線反射画像を示す。 図６Ｄは、本明細書に開示する少なくとも１つの実施形態に従って生成された、指のキャプチャ画像および対応する隆線反射画像を示す。 図６Ｅは、本明細書に開示する少なくとも１つの実施形態に従って生成された、指のキャプチャ画像および対応する隆線反射画像を示す。 図６Ｆは、本明細書に開示する少なくとも１つの実施形態に従って生成された、指のキャプチャ画像および対応する隆線反射画像を示す。 図７Ａは、本明細書に開示する少なくとも１つの実施形態による、指のキャプチャ画像、および指の間で誤って検出され得る対応する特徴点を示す。 図７Ｂは、本明細書に開示する少なくとも１つの実施形態による、指のキャプチャ画像、および特徴点を選択するための例示的なパイプライン全体にわたって処理された画像データを示す。 図８Ａは、本明細書に開示する少なくとも１つの実施形態による、（ａ）異なる場所（指に沿って移動）でユーザから収集された２つの指の画像、（ｂ）対応する指を整列させるように生成される垂直エッジマップ、（ｃ）対応する指を整列させるように生成される水平エッジマップ、（ｄ）２つの画像からトリミングされ強調された中指を示す。 図８Ｂは、本明細書に開示する少なくとも１つの実施形態による、現実の指および二次元のなりすまし写真の視差マップを示す。 図８Ｃは、本明細書に開示する少なくとも１つの実施形態による、視差マップおよび現実の指の画像に合わせた面を示す。 図８Ｄは、本明細書に開示する少なくとも１つの実施形態による、視差マップおよび二次元のなりすまし写真に合わせた面を示す。 図９は、本明細書に開示する少なくとも１つの実施形態による、回転を用いたデータセットの修正を示す。 図１０は、本明細書に開示する少なくとも１つの実施形態により、登録段階でキャプチャされた「中央」、「左」および「右」の画像を示す。

ほんの一例として、概要および紹介の目的で、スマートフォンなどのモバイルデバイスを使用して、ユーザのバイオメトリック特徴をキャプチャし、ユーザのバイオメトリック特徴を特性化する識別子を生成するための、システムおよび方法に関係する本発明の実施形態について以下に記載する。バイオメトリック識別子は、好ましくは、キャプチャされたバイオメトリクスに従ってユーザを認証／識別し、ユーザの実在性を判定する目的で、ユーザの複数の指をキャプチャした画像を使用して生成される。本開示はまた、なりすましによる誤認証を防止する、追加の技法について説明する。いくつかの例では、なりすまし対策法は、ユーザのバイオメトリクスの１つまたは複数の画像をキャプチャすることと、実在性の兆候についてキャプチャした画像を分析することとを含み得る。

いくつかの実装形態では、システムは、固定ＰＣ、サーバ、ならびにユーザによって操作されるノートパソコン、タブレットおよびスマートフォンなどのデバイスと通信するクラウドベースのシステムサーバプラットフォームを含む。アクセス制御されているネットワーク環境、例えば、安全なログインを必要とするウェブサイトにユーザがアクセスしようとすると、ユーザは、事前に登録したユーザのモバイルデバイスを使用して認証するように促される。認証は、モバイルデバイスを使用して、少なくともユーザの指の画像という形でバイオメトリック情報をキャプチャし、一意の特徴を抽出し、その特徴をユーザのバイオメトリック特徴および／または実在性を示すバイオメトリック識別子として符号化することによる、ユーザの同一性検証および／またはユーザが生きていることの検証（例えば、実在性の判定）を含み得る。したがって、ユーザの同一性および／または実在性は、画像、生成されたバイオメトリック識別子を分析すること、ならびに／または画像および／もしくはバイオメトリック識別子を、ユーザがシステムに最初に登録したときに生成されたバイオメトリック識別子と比較することによって、モバイルデバイスおよび／もしくはシステムサーバ、または前述の組み合わせによって検証され得る。

本願出願の態様により、開示する実施形態は、ユビキタスであり使用に便利なモバイルデバイス上で、指に基づく生体認識を使用して、ユーザ識別／認証の信頼性の高い手段を提供する。開示する実施形態は、通常モバイルデバイス上に存在しているカメラを使用して、４本の指を基に認識するため、設計上、追加の容積、コストまたは重量を負わせることなく、ユビキタスに使用できる。このシステムのさらなる目的は、なりすまし攻撃に対する防御を提供することである。

本発明は、複数の指から同時にバイオメトリック情報を捕捉し、各指から大きな模様面積をキャプチャする。さらに、本発明はまた、システムの信頼性をさらに向上させるように、掌紋および手形を含む手の他の領域から模様情報を捕捉するために使用できる。また、新生児識別の場合には、本発明を使用して足の指をキャプチャできる。さらに、提案された技術革新は、既存のモバイル顔認識システムと組み合わせることができる。非限定的な例として、顔の特徴の画像からバイオメトリクスに基づくユーザ認証のための例示的なシステムおよび方法は、本明細書、ならびに同時係属で譲受人に譲渡された、２０１５年５月１３日出願の米国特許出願番号第１４／６６８，３５２号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＴＨＯＲＩＺＩＮＧ ＡＣＣＥＳＳ ＴＯ ＡＣＣＥＳＳ ＣＯＮＴＲＯＬＬＥＤ ＥＮＶＩＲＯＮＭＥＮＴＳ」、および２０１４年３月７日出願の米国特許第９，２０８，４９２号、発明の名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＢＩＯＭＥＴＲＩＣ ＡＵＴＨＥＮＴＩＣＡＴＩＯＮ ＯＦ ＴＲＡＮＳＡＣＴＩＯＮＳ」に記載されている。さらに、本発明は、取得した指の写真に対応し、Ｉｎｔｅｇｒａｔｅｄ Ａｕｔｏｍａｔｅｄ Ｆｉｎｇｅｒｐｒｉｎｔ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ（ＩＡＦＩＳ：統合自動指紋識別システム）で使用される回転および平面指紋画像と照合し得る、指紋画像を生成するために、モバイルデバイス上に提示されるカメラを用いて、取得された指の写真を処理するために使用されてもよい。ＩＡＦＩＳは、連邦捜査局（ＦＢＩ）によって管理される全国的な自動指紋識別および犯罪歴システムである。ＩＡＦＩＳは、自動指紋検索機能、潜在的検索機能、電子画像保管、ならびに指紋および応答の電子交換を提供する。

開示する実施形態は、マルチモーダルバイオメトリック認証システムと呼ばれ得る。したがって、独立した複数個のバイオメトリクス（すなわち、４〜１０本の指）の存在により、スマートフォンの内蔵センサでキャプチャされた指の画像または指紋のどちらかを使用して、１本指用のモバイル認識システムを上回る、次のような利点が提供される。

１．性能：無相関モダリティの組み合わせ（例えば、一人の指４本および新生児の指１０本）によって、１本指用の認識システムよりも性能を向上することができる。この正確さの向上は２つの理由で起こる。まず、異なる指からの生体証拠を融合することにより、効果的に識別特徴を増大させ、異なるユーザとの特徴の重なりが減少する。言い換えれば、複数の指の組み合わせは、１本の指よりも個人に対する識別力がある。第２に、指の部分集合取得中のノイズ（汚れまたはインクの染みのような要因によって引き起こされる）および不正確さは、残りの指によって提供される情報で対処できる。
２．普遍性：非普遍的な問題を解決し、誤り登録の失敗を減らす。例えば、切断された指、指の切り傷、怪我、または擦り切れた隆線（すなわち、対象者の１本または複数の指に、隆線の擦り切れが物理的に生じることがある）のために、人が特定の指を登録できない場合でも、まだ他の指を使って識別され得る。
３．なりすまし攻撃：ユーザの複数の指を登録する、開示する実施形態を使用して、なりすまし攻撃に対する認証システムの耐性を向上させる。これは、同時に複数の指をすり抜ける、またはそれらになりすますのは、ますます困難となるためである。

ユーザのバイオメトリック特徴１００の画像に応じて、ユーザを認証および／またはユーザの実在性を判定する例示的なシステムを、図１にブロック図として示す。一構成では、システムは、システムサーバ１０５と、モバイルデバイス１０１ａおよびユーザコンピューティングデバイス１０１ｂを含むユーザデバイスとからなる。システム１００はまた、１つまたは複数のリモートコンピューティングデバイス１０２を含み得る。

システムサーバ１０５は、本明細書でさらに説明するように、ユーザデバイスおよびリモートコンピューティングデバイスと通信し、電子情報および処理要求を受信、送信および記憶することができる、実質的に任意のコンピューティングデバイスおよび／またはデータ処理装置であり得る。同様に、リモートコンピューティングデバイス１０２は、本明細書でさらに説明するように、システムサーバおよび／またはユーザデバイスと通信し、電子情報および処理要求を受信、送信および記憶することができる、実質的に任意のコンピューティングデバイスおよび／またはデータ処理装置であり得る。システムサーバおよび／またはリモートコンピューティングデバイスは、いくつかのネットワーク化またはクラウドベースのコンピューティングデバイスであり得ることも理解されたい。

いくつかの実装形態では、コンピューティングデバイス１０２は、企業組織、例えば、銀行またはウェブサイトに関連付けることができ、ユーザアカウント（「企業アカウント」）を保持し、企業アカウント保有者へサービスを提供し、そのようなシステムおよびサービスへのアクセスをユーザに提供する前に、ユーザの認証を必要とする。

ユーザデバイス、モバイルデバイス１０１ａ、およびユーザコンピューティングデバイス１０１ｂは、本明細書でさらに説明するように、互いと通信するように構成することができ、システムサーバ１０５および／またはリモートコンピューティングデバイス１０２は、それらに電子情報を送信し、それらから電子情報を受信する。ユーザデバイスはまた、ユーザ入力を受信すると共に、バイオメトリック情報、例えば、ユーザ１２４のデジタル画像および音声記録を捕捉して処理するように構成することもできる。

モバイルデバイス１０１ａは、パーソナルコンピュータ、タブレットコンピュータ、携帯情報端末、携帯電子機器、携帯電話、またはスマートフォンデバイスなどを含むがこれらに限定されない、本明細書に記載のシステムおよび／または方法を具現化することができる、任意のモバイルコンピューティングデバイスおよび／またはデータ処理装置であり得る。コンピューティングデバイス１０１ｂは、ユーザがワークステーション、パーソナルコンピュータ、ノートパソコン、専用ＰＯＳシステム、ＡＴＭ端末、アクセス制御デバイス、または他の適切なデジタルコンピュータなどと対話できる、様々な形態のコンピューティングデバイスを表すことを意図している。

本明細書でさらに説明するように、システム１００は、モバイルデバイス１０１ａを使用して、ユーザのバイオメトリック特徴に応じて、ユーザ１２４の認証を容易にする。いくつかの実装形態では、ユーザのバイオメトリック特徴による識別および／または認証には、２段階処理でユーザのバイオメトリック情報を利用する。最初の段階は登録と呼ぶ。登録段階では、適切なバイオメトリクスのサンプル（例えば、画像）が個人から収集される。これらのバイオメトリクスのサンプルが分析および処理されて、各サンプルに存在する特徴（または特性）が抽出される。個人の画像化されたバイオメトリックに存在する特徴の集合は、その人の識別子を構成し、ユーザを認証するために使用可能であり、いくつかの実装形態では、ユーザが生きている対象者であるかどうかを判定する。その後、これらの識別子が記憶され、登録段階を完了する。第二段階では、個人の同じバイオメトリックが測定される。このバイオメトリックから登録段階と同様に特徴を抽出し、現在のバイオメトリック識別子を取得する。目的が実在性の判定である場合、特徴または特性を分析して、生きている対象者を表しているかどうかを判定できる。本明細書でさらに説明するように、バイオメトリクスのキャプチャ画像の他の特徴および特性を分析して、実在性を判定できる。目標が識別である場合、この識別子は第１フェーズで生成された識別子のデータベース内で検索される。一致した場合、その個人の同一性が明らかとなり、そうでなければ、識別は失敗となる。目的が認証である場合、第２段階で生成された識別子は、特定の個人について第１段階で生成された識別子と比較される。一致した場合、認証は成功し、そうでなければ認証は失敗となる。

図１が、モバイルデバイス１０１ａ、ユーザコンピューティングデバイス１０１ｂ、およびリモートコンピューティングデバイス１０２に対して、ユーザ１００を認証するためのシステムを描いている一方、任意の数のそのようなデバイスが、本明細書に記載の方法でシステムと対話できることを理解すべきであることに留意されたい。図１が、ユーザ１２４に対して、ユーザ１００を認証するためのシステムを描いている一方、任意の数のユーザが、本明細書に記載の方法でシステムと対話できることを理解すべきであることに留意されたい。

限定するものではないが、モバイルデバイス１０１ａ、システムサーバ１０５およびリモートコンピューティングデバイス１０２を含む、本明細書で参照する様々なコンピューティングデバイスおよび機械が、本明細書で個々の／単一のデバイスおよび／または機械と呼ばれている一方、特定の実装形態では、参照するデバイスおよび機械、ならびにそれらの関連および／または付随する動作、特徴および／もしくは機能性を、当業者に知られているように、ネットワーク接続または有線接続を介してなど、いくつかのそのようなデバイスおよび／または機械にわたって組み合わせるか、もしくは配置するか、またはそうでなければ使用することができることを、さらに理解すべきである。

モバイルデバイス１０１ａ（スマートフォンとも呼ばれる）に関して本明細書で説明する例示的なシステムおよび方法は、モバイルデバイスに特に限定されず、他の有効なコンピューティングデバイス（例えば、ユーザコンピューティングデバイス１０２ｂ）を使用して実装できることも理解されるべきである。

図２Ａを参照すると、システム１００のモバイルデバイス１０１ａは、１つまたは複数のプロセッサ１１０、メモリ１２０、マイク１２５、ディスプレイ１４０、カメラ１４５、音声出力部１５５、記憶装置１９０、および通信インターフェース１５０を含む、システムの動作を可能にするように働く、様々なハードウェアおよびソフトウェアコンポーネントを含む。プロセッサ１１０は、メモリ１２０にロードできるソフトウェア命令の形で、クライアントアプリケーションを実行するように働く。プロセッサ１１０は、特定の実装形態に応じて、いくつかのプロセッサ、中央処理装置ＣＰＵ、グラフィック処理装置ＧＰＵ、マルチプロセッサコア、または任意の他のタイプのプロセッサとすることができる。

好ましくは、メモリ１２０および／または記憶装置１９０は、プロセッサ１１０によりアクセス可能であり、それによって、以下により詳細に説明するように、モバイルデバイスおよびその様々なハードウェアコンポーネントに、システムおよび方法の態様のための動作を実行させるために、プロセッサがメモリおよび／または記憶装置上で符号化された命令を受信し実行することが可能になる。メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）、または任意の他の好適な揮発性もしくは不揮発性のコンピュータ可読記憶媒体であり得る。加えて、メモリは固定式でも取り外し式でもよい。記憶装置１９０は、特定の実装態様に応じて様々な形態をとることができる。例えば、記憶装置は、ハードドライブ、フラッシュメモリ、書き換え可能な光ディスク、書き換え可能な磁気テープ、またはこれらの何らかの組み合わせなど、１つまたは複数のコンポーネントまたはデバイスを包含し得る。記憶装置はまた、固定式でも取り外し式でもよい。

１つまたは複数のソフトウェアモジュール１３０は、記憶装置１９０および／またはメモリ１２０内に符号化されている。ソフトウェアモジュール１３０は、プロセッサ１１０で実行されるコンピュータプログラムコードまたは命令の集合（「モバイル認証クライアントアプリケーション」とも呼ばれる）を有する、１つまたは複数のソフトウェアプログラムまたはアプリケーションを含むことができる。図２Ｂに描くように、好ましくは、ソフトウェアモジュール１３０間には、プロセッサ１１０により実行されるユーザインターフェースモジュール１７０、バイオメトリックキャプチャモジュール１７２、分析モジュール１７４、登録モジュール１７６、データベースモジュール１７８、認証モジュール１８０、および通信モジュール１８２が含まれる。そのようなコンピュータプログラムコードまたは命令は、本明細書に開示するシステムおよび方法の動作を実行するようにプロセッサ１１０を構成し、１つまたは複数のプログラミング言語の任意の組み合わせで書くことができる。

プログラムコードは、モバイルデバイス１０１上で完全に、独立型ソフトウェアパッケージとして、モバイルデバイス上で部分的に、システムサーバ１０５上で部分的に、またはシステムサーバもしくは別のリモートコンピュータ／デバイス上で部分的に実行できる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）、移動体通信ネットワーク、セルラーネットワークを含む、任意のタイプのネットワークを介してモバイルデバイス１０１に接続することができ、または外部コンピュータへ接続できる（例えば、インターネットサービスプロバイダを使用してインターネット経由で）。

当業者には知られているように、ソフトウェアモジュール１３０のプログラムコードおよび１つまたは複数のコンピュータ可読記憶デバイス（メモリ１２０および／または記憶装置１９０など）は、本発明に従って製造および／または配布することができるコンピュータプログラム製品を形成するとも言える。

いくつかの例示的な実施形態では、１つまたは複数のソフトウェアモジュール１３０は、システム１００内で使用するために、通信インターフェース１５０によってネットワークを介して、別のデバイスまたはシステムから記憶装置１９０にダウンロードできることを理解されたい。加えて、本システムおよび方法の動作に関連する他の情報および／またはデータ（データベース１８５など）も、記憶装置に記憶できることに留意されたい。好ましくは、そのような情報は、安全な認証アプリケーションを実行するプロセッサによって収集または生成された情報を、安全に記憶するために特に割り当てられた暗号化データ記憶部に記憶される。好ましくは、暗号化手段を使用して、情報をローカルでモバイルデバイス記憶装置に記憶し、システムサーバ１０５へ情報を送信する。例えば、そのようなデータは、１０２４ビットの多型暗号、またはエクスポート制御によってはＡＥＳ２５６ビットの暗号化方法を使用して暗号化できる。さらに、暗号化はリモートキー（シード）またはローカルキー（シード）を使用して実施できる。当業者に理解されるであろうように、代替の暗号化方法、例えば、ＳＨＡ２５６を使用できる。

加えて、モバイルデバイス１０１ａおよび／またはシステムサーバ１０５に記憶されるデータは、暗号化キーとしてユーザのバイオメトリック情報、実在性情報、またはモバイルデバイス情報を使用して暗号化できる。いくつかの実装形態では、前述の組合せを使用して、好ましくは、少なくとも３８４ビット長の楕円曲線暗号を使用して、モバイルデバイス上で暗号化できる複雑な一意のキーをユーザ用に作成できる。加えて、そのキーを使用して、モバイルデバイスおよび／またはシステムサーバに記憶されるユーザデータを保護できる。

好ましくは、データベース１８５も記憶装置１９０に記憶される。以下でより詳細に説明するように、データベースは、ユーザ１００を認証するシステムおよび方法の様々な動作を通して利用される、様々なデータ品目および要素を包含および／または維持する。本明細書でさらに詳細に説明するように、データベースに記憶される情報は、ユーザバイオメトリックテンプレートおよびプロファイル情報を含むことができるが、それらに限定されない。データベースはモバイル機器１０１ａに対してローカルに構成されているように描かれているが、特定の実装形態では、データベースおよび／またはそこに記憶されている様々なデータ要素は、加えてまたは代替的に、遠隔に（図示していないリモートデバイス１０２またはシステムサーバ１０５上など）配置され、当業者に知られている方法で、ネットワークを介してモバイルデバイスに接続できることには留意すべきである。

ユーザインターフェース１１５も、プロセッサに動作可能に接続される。インターフェースは、電子計算デバイスの分野で理解されるであろうように、スイッチ、ボタン、キー、タッチスクリーン、マイクなど、１つまたは複数の入力または出力デバイスであり得る。ユーザインターフェースは、オンオフコマンドなどのユーザからのコマンド、またはユーザ情報およびユーザ１００を認証するためのシステムの動作に関連する設定の捕捉を容易にするように働く。例えば、インターフェースは、ユーザプロファイルを作成するよう、システムに登録するための個人的なユーザ情報など、モバイルデバイス１０１から特定の情報を捕捉するのを容易にするように働く。

コンピューティングデバイス１０１ａはまた、プロセッサ１１０に動作可能に接続されてもいる、ディスプレイ１４０を含むことができる。ディスプレイは、画面、またはシステムが、ユーザ１００を認証するためにシステムの動作についてユーザにフィードバックを指示する、もしくはそうでなければ提供することが可能になる、任意の他のそのような表示デバイスを含む。例として、ディスプレイは、ドットマトリクスディスプレイまたは他の二次元ディスプレイなどのデジタルディスプレイであり得る。

さらなる例として、インターフェースおよびディスプレイは、タッチスクリーンディスプレイに統合できる。したがって、ディスプレイはまた、様々なデータを表示し、ユーザによる情報の入力を可能にするフィールドを含む「フォーム」を提供できる、グラフィカルユーザインターフェースを示すためにも使用される。グラフィカルユーザインターフェースの表示に対応する場所でタッチスクリーンに触れることにより、人がデバイスと対話してデータを入力し、設定を変更し、機能を制御することなどを可能にする。タッチスクリーンに触れると、ユーザインターフェースは、この変化をプロセッサへ伝達し、設定を変えることができるか、またはユーザが入力した情報を捕捉してメモリに記憶できる。

モバイルデバイス１０１ａはまた、デジタル画像をキャプチャできるカメラ１４５も含む。カメラは、モバイルデバイス１０１ａを利用しながら、ユーザの目および／または顔を含む、ユーザの体の少なくとも一部分の画像をキャプチャするように構成された、１つまたは複数の画像化デバイスとすることができる。カメラは、画像からユーザを（バイオメトリックで）認証するためにバイオメトリック特徴を識別し、ユーザの実在性を判定することを含む、安全な認証クライアントアプリケーションを実行するモバイルデバイスプロセッサ１１０による画像分析の目的のため、ユーザ画像のキャプチャを容易にするように働く。モバイルデバイス１０１ａおよび／またはカメラ１４５はまた、例えば、可視光エミッタおよび／または赤外線発光体など、１つまたは複数の光または信号エミッタ（例えば、ＬＥＤ、図示せず）を含むことができる。カメラは、センサ、例えば、限定はしないが、ＣＣＤまたはＣＭＯＳセンサを組み込んだ正面カメラまたは背面カメラなど、モバイルデバイスに統合できる。当業者には理解されるであろうように、カメラ１４５はまた、レンズ、光度計（例えば、ルクスメーター）などの追加ハードウェア、ならびにズーム、焦点、絞り、露出、シャッタースピードなどの画像キャプチャ設定を調整するのに使用できる、従来の他のハードウェアおよびソフトウェア特徴を含むことができる。あるいは、カメラは、モバイルデバイス１０１ａの外部にあってもよい。カメラおよび発光体の可能な変形は、当業者には理解されよう。加えて、モバイルデバイスは、当業者には理解されるであろうように、音声記録を捕捉するための１つまたは複数のマイク１０４も含むことができる。

音声出力部１５５も、プロセッサ１１０に動作可能に接続される。音声出力部は、当業者には理解されるであろうように、電子音声ファイルを再生するように構成される、任意のタイプのスピーカーシステムとすることができる。音声出力部は、モバイルデバイス１０１に統合することも、モバイルデバイス１０１に外付けすることもできる。

様々なハードウェアデバイス／センサ１６０も、プロセッサに動作可能に接続されている。センサ１６０は、一日の時間を追跡するなどのためのオンボードクロック、モバイルデバイスの場所を判定するＧＰＳ対応デバイス、モバイルデバイスの配向および加速度を追跡するための加速度計、モバイルデバイスの三次元配向を判定するように、地球の磁場を検出する重力磁力計、モバイルデバイスと他の物体との間の距離を検出するための近接センサ、高周波レベルを検出するための高周波センサ、ならびに当業者には理解されるであろう他のデバイスを含むことができる。

通信インターフェース１５０もまた、プロセッサ１１０に動作可能に接続され、モバイルデバイス１０１ａと、外部デバイス、機械および／またはシステムサーバ１０５を含む要素との間の通信を可能にする任意のインターフェースとすることができる。好ましくは、通信インターフェースは、モデム、ネットワークインターフェースカード（ＮＩＣ）、統合ネットワークインターフェース、無線周波数送受信機（例えば、ブルートゥース（登録商標）、セルラー、ＮＦＣ）、衛星通信送受信機、赤外線ポート、ＵＳＢ接続、ならびに／または他のコンピューティングデバイスおよび／もしくはプライベートネットワークおよびインターネットなどの通信ネットワークへ、モバイルデバイスを接続する任意の他のそのようなインターフェースを含むが、これらに限定されない。そのような接続は、有線接続または無線接続（例えば、８０２．１１規格を使用）を含むことができるが、通信インターフェースは事実上、モバイルデバイスへ／からの通信を可能にする任意のインターフェースであり得ることを理解されたい。

ユーザ１００を認証するためのシステムの動作中の様々な時点で、モバイルデバイス１０１ａは、システムサーバ１０５、ユーザコンピューティングデバイス１０１ｂ、および／またはリモートコンピューティングデバイス１０２など、１つまたは複数のコンピューティングデバイスと通信できる。そのようなコンピューティングデバイスは、モバイルデバイス１０１ａへ／からデータを送信および／または受信し、それによって、好ましくは、以下により詳細に説明するように、システム１００の動作の維持および／または向上を開始する。

図２Ｃは、システムサーバ１０５の構成例を示すブロック図である。システムサーバ１０５は、ユーザ１００の認証のためにシステムの動作を可能にするように働く、様々なハードウェアおよびソフトウェアコンポーネントに動作可能に接続される、プロセッサ２１０を含むことができる。プロセッサ２１０は、以下により詳細に説明するように、ユーザ認証およびトランザクション処理に関連する様々な操作を実施する命令を実行するように働く。プロセッサ２１０は、特定の実装に応じて、いくつかのプロセッサ、１つのマルチプロセッサコア、またはある他のタイプのプロセッサとすることができる。

特定の実装形態では、メモリ２２０および／または記憶媒体２９０は、プロセッサ２１０によってアクセス可能であり、それによって、プロセッサ２１０が、メモリ２２０および／または記憶装置２９０上に記憶された命令を受信し実行することを可能にする。メモリ２２０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、または任意の他の好適な揮発性もしくは不揮発性のコンピュータ可読記憶媒体であり得る。加えて、メモリ２２０は固定式でも取り外し式でもよい。記憶装置２９０は、特定の実装態様に応じて様々な形態をとることができる。例えば、記憶装置２９０は、ハードドライブ、フラッシュメモリ、書き換え可能な光ディスク、書き換え可能な磁気テープ、またはこれらの何らかの組み合わせなど、１つまたは複数のコンポーネントまたはデバイスを包含し得る。記憶装置２９０はまた、固定式でも取り外し式でもよい。

１つまたは複数のソフトウェアモジュール１３０は、記憶装置２９０および／またはメモリ２２０内に符号化されている。１つまたは複数のソフトウェアモジュール１３０は、コンピュータプログラムコードまたはプロセッサ２１０内で実行される命令の集合を有する、１つまたは複数のソフトウェアプログラムまたはアプリケーション（まとめて「セキュア認証サーバアプリケーション」と呼ばれる）を含むことができる。当業者には理解されるであろうように、本明細書に開示するシステムおよび方法の態様のための動作を実行する、そのようなコンピュータプログラムコードまたは命令は、１つまたは複数のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、独立型ソフトウェアパッケージとしてシステムサーバ１０５上で完全に、システムサーバ１０５上で部分的に、ならびにリモートコンピューティングデバイス１０２、モバイルデバイス１０１ａおよび／もしくはユーザコンピューティングデバイス１０１ｂなど、リモートコンピューティングデバイス上で部分的に、またはそのようなリモートコンピューティングデバイス上で完全に実行できる。図２Ｂに示すように、好ましくは、ソフトウェアモジュール１３０の中に含まれるのは、システムサーバのプロセッサ２１０によって実行される、分析モジュール２７４、登録モジュール２７６、認証モジュール２８０、データベースモジュール２７８、および通信モジュール２８２である。

好ましくは、データベース２８０も記憶装置２９０に記憶される。以下により詳細に説明するように、データベース２８０は、本明細書でより詳細に説明するように、ユーザプロファイルを含むがそれに限定されない、システム１００の様々な動作を通して利用される、様々なデータ品目および要素を包含および／または維持する。データベース２８０はコンピューティングデバイス２０５に対してローカルに構成されているように描かれているが、特定の実装形態では、データベース２８０および／またはそこに記憶される様々なデータ要素は、当業者に知られている方法で、遠隔に配置されネットワーク（図示せず）を介してシステムサーバ１０５に接続される、コンピュータ可読メモリまたは記憶媒体上に記憶できることに留意すべきである。

通信インターフェース２５５も、プロセッサ２１０に動作可能に接続される。通信インターフェース２５５は、システムサーバ１０５と、外部デバイス、機械、および／または要素との間の通信を可能にする、任意のインターフェースとすることができる。特定の実装形態では、通信インターフェース２５５は、モデム、ネットワークインターフェースカード（ＮＩＣ）、統合ネットワークインターフェース、無線周波数送受信機（例えば、ブルートゥース（登録商標）、セルラー、ＮＦＣ）、衛星通信送受信機、赤外線ポート、ＵＳＢ接続、ならびに／または他のコンピューティングデバイスおよび／もしくはプライベートネットワークおよびインターネットなどの通信ネットワークへ、コンピューティングデバイス２０５を接続する、任意の他のそのようなインターフェースを含むが、これらに限定されない。そのような接続は、有線接続または無線接続（例えば、８０２．１１規格を使用）を含むことができるが、通信インターフェース２５５は事実上、プロセッサ２１０へ／からの通信を可能にする、任意のインターフェースであり得ることを理解されたい。

上に記載した、ユーザ１００を認証するためのシステム、ならびに様々な要素およびコンポーネントの動作は、以下にさらに記載するように、バイオメトリック情報の捕捉および認証を容易にする方法を参照してさらに理解されるであろう。本明細書に描くプロセスは、モバイルデバイス１０１ａおよび／またはシステムサーバ１０５の観点から示されているが、しかしながら、プロセスは、全体または一部が、モバイルデバイス１０１ａ、システムサーバ１０５および／もしくは他のコンピューティングデバイス（例えば、リモートコンピューティングデバイス１０２および／またはユーザコンピューティングデバイス１０１ｂ）、または前述の任意の組み合わせによって実施され得ることを理解されたい。図面に示し本明細書に記載するよりも、多いまたは少ない動作を実施し得ることを理解されたい。これらの動作は、本明細書に記載するものとは異なる順序でも実施できる。また、モバイルデバイス１０１ａによって、および／または他のコンピューティングデバイス（例えば、コンピューティングデバイス１０１ｂ、システムサーバ１０５、およびリモートコンピューティングデバイス１０２）上で、１つまたは複数のステップを実施できることも理解されたい。

次に図３に移ると、フロー図は、本明細書に開示する少なくとも１つの実施形態による、１つまたは複数の画像からユーザのバイオメトリック特徴を検出するためのルーチン３００を示している。概して、ルーチンは、ユーザの少なくとも複数の指の１つまたは複数の画像をキャプチャおよび分析することを含む。４本の指がキャプチャされるのが好ましいが、本明細書に記載するように、より多くのまたはより少ない指をキャプチャおよび分析できる。上述したように、キャプチャプロセスは、ユーザの登録中にも、図３に関連して説明する、後続の認証セッション中にも実施できる。

開示する実施形態によれば、画像をキャプチャでき、ユーザ固有のバイオメトリック特徴および／または実在性を示すバイオメトリック識別子を、少なくとも可視スペクトル帯においてユーザの指の画像をキャプチャできるデジタルカメラ１４５を有する、広範に利用可能なモバイルデバイス（例えば、モバイルデバイス１０１ａ）を使用して、生成できることを理解されたい。

プロセスはステップ３０５から始まり、好ましくは、キャプチャモジュール１７２を含む、１つまたは複数のソフトウェアモジュール１３０を実行することにより構成されるモバイルデバイスのプロセッサ１１０によって、ユーザ（１２４）がキャプチャする片手の４本の指すべてのうちの少なくとも一部分の１つまたは複数の画像を、カメラ１４５にキャプチャさせる。好ましくは、カメラは、例えば、従来のスマートフォンデバイスの背面カメラを使用して、高解像度画像をキャプチャする。利用可能であれば、より詳細にするために、画像をフラッシュ照明でキャプチャできる。

いくつかの実装形態では、キャプチャプロセス中に、ユーザは自分の指をカメラの前に位置付けるように促される。この手順の間、ユーザは自分の指を適切に位置付けられるように、デバイスディスプレイ上のカメラから視覚的なフィードバックを、ユーザに与えることができる。いくつかの実装形態では、ディスプレイ上に表示されるマーキングを使用して、カメラの視野内の特定の場所に、特定の距離だけ離して指を置くようにユーザを案内することができる。例えば、ユーザは、カメラ画像のプレビュー画面に重ねられた４本指の輪郭に、自分の指を合わせるように要求される場合があり、したがって、ユーザは、カメラのプレビュー上で指の輪郭を埋めたとき、自分の指がカメラから適切な距離にあると分かるあろう。いくつかの実装形態では、ユーザは、自分の人差し指、中指、薬指、および小指を離間させるのではなく、くっつけて保持し得る。その後、いくつかの実装形態では、ユーザは両手各々の親指を別々にキャプチャするように依頼され得る。いくつかの実装形態では、ユーザは新生児で、大人が指の画像をキャプチャするのを手助けする。カメラの焦点は、指に焦点が合うように構成されたプロセッサにより設定することができ、その焦点は、スクリーン上の指位置ガイドの場所であると仮定し得る。いくつかの実装形態では、分類器は、画像内の指を検出するように訓練され、指が検出されて焦点が合うと、この分類器によってカメラに画像をキャプチャさせることができる。いくつかの実装形態では、画像内の指を検出するために使用され得る分類器は、通常のハール特徴を用いて訓練されたハールカスケード分類器、または手の画像（加えて、例えば、新生児識別システムの場合、足の画像）内の指の検出に好適である、事前に定義され事前に設計されたフィルタであり得る。いくつかの実装形態では、画像強調手順は、分類器を使用する前に画像に適用して、キャプチャ画像内の指を検出できる。いくつかの実装形態では、指の分類器を適用する前に適用され得る画像強調手順は、指紋の隆線数を合格とするが、焦点外の背景の隆線数を最小限に抑えるバンドパスフィルタとなるように設計され得る。

次いで、キャプチャ画像を調べることができ、キャプチャしたバイオメトリックサンプルの品質は、指の隆線を分析することによって判定されるであろう。この品質尺度は、以下の隆線特性、数、配向、鮮明度、および接続性を融合した尺度であり得る。品質尺度が所定の閾値を下回る場合、ユーザは、再度キャプチャプロセスを繰り返すように助言され誘導され得る。

指のキャプチャ後、次にステップ３１０で、各指の領域が識別される。次いでステップ３１５において領域を強調し、その後、ステップ３２０において、各指の識別特徴空間を独立して抽出し、別々に記憶できる。より具体的には、ステップ３１０で、構成されたプロセッサ１１０は、画像内の指を検出するために自動指検出アルゴリズムを実行できる。例えば、例示的指検出アルゴリズムは、背景と指とを区別するために、セグメンテーションアルゴリズムの適用を含むことができる。これは、例えば、画像を均質領域に分割し、その後、各領域を調べることによって実施され、画像を指領域または非指領域として分類し得る。またこれは、例えば、指および指先を検出し分類する分類器を使用することによって実施され得る。いくつかの実装形態では、異なる指を検出し、それらを分類し、指先を検出するために使用され得る分類器は、訓練されたハールカスケード分類器、ＨＯＧカスケード分類器、ＬＢＰカスケード分類器、またはこれらの分類器の組み合わせであり得る。分類器の訓練は、当技術分野で知られるように、既知の画像例で実施され得る。手を見つけるように訓練された分類器を最初に使用して、速さおよび正確さを改善するために、他の指を見つける分類器の探索領域を狭められることに留意されたい。また、そのような分類器は、他の指先の場所発見技術と一緒に使用して、正確さを向上させられることにも留意されたい。いくつかの実装形態では、分類器を使用して識別された領域は、境界によって強調表示され、モバイルデバイスのディスプレイ上でユーザに表示され得る。例えば、指先セグメントとして識別された領域は、識別された領域を強調表示する画像の中で、境界によって示され得る。境界は、長方形または楕円形の境界を含む様々な形状とすることができ、指先、手、指の一群、他の指の領域などを含む、様々なセグメントを強調表示できる。ユーザ登録データは、指先位置がユーザによって確認されると、分類器を訓練するのを助けるために使用され得る。例えば、いくつかの実装形態では、指および指先をキャプチャし検出するプロセスは、以下のステップに要約され得る。（１）手の画像をキャプチャし、次に（２）第１の指先領域を見つけるように訓練されたカスケード分類器を呼び出し、その後、第２の指先領域などを見つけるように訓練された別の分類器を呼び出す。

限定ではなく例として、分類器（ＬＢＰ分類器など）の使用は、画像内の指先を見つけるために実装することができ、これに加えて、第１に、分類器を使用して、手全体または手の４本の指など、手の主要領域を見つけること、その後、主要領域内に小領域（指先または中節骨など）を配置する二次的方法も有利であり得る。二次的方法は、各小領域を見つけるように訓練された、別の分類器であり得る。小分類器の結果はさらに、予想される関係（例えば、各小領域間の所定の関係（例えば、指を閉じて手を平らに保持したときの４本指は、既知の位置関係にあり、誤った一致を除外するために使用できる）の知識を用いてフィルタリングすることができる。他の目立つ手の特徴の位置（指の間の接合部など）を見つけ、この情報を使用して分類器からの結果をフィルタリングすることによって、さらなるフィルタリングを適用し得る。また、主要分類器は、ユーザがカメラに指を向けると指を追跡し、自動的に画像キャプチャおよび／またはバイオメトリック照合をトリガする前に、焦点および露出が手に最適化されることを保証するようにリアルタイムで使用され得る。

本明細書に前述し、さらに記載するように、プロセッサは、ユーザがカメラに指を提示して、カメラを使用して画像が取り込まれているときに、リアルタイムに指を検出および追跡するように構成できる。画像の追跡位置は、指が十分に安定した位置にあり、検証画像の品質および指認識の信頼性を向上させるときを検出するように使用され得る。

いくつかの実装形態では、プロセッサは、テンプレート照合またはオプティカルフローなど、物体検出方法とより速い追跡方法との間を動的に切り替えることによって、リアルタイムの指検出を加速するように構成され得る。例えば、４本の指先の集合を検出し、それらが手を表すと判定されると、構成されたプロセッサは、オプティカルフローアルゴリズムを使用して指を追跡できる。結果として、例えば、カスケード分類器が後続の画像フレームにも適用された場合よりも、著しく低い遅延および高いフレームレートで指の位置を追跡できる。プロセッサによって探索される画像内の探索空間を、局所の画像領域に制限することによって高速を達成することができ、プロセッサは、指の中心などの明確な特徴を表す画素のみと一致するように構成できる。

指が離れすぎるか、または視野から離れるかすると、物体の追跡が失敗する可能性がある。プロセッサによる障害を検出すると、プロセッサは最初の物体検出方法、例えば、カスケード分類器に戻ることができる。４本の指を追跡する場合、プロセッサは、指の相対位置（例えば、指の中心間の距離）を測定することができ、距離が著しく変化したと判定された場合（例えば、所定の閾値を超える）、システムは物体検出に戻ることができる。

好ましくは、キャプチャシステムは、検証画像におけるモーションブラーを防止するために、ユーザの指が静止している（ある許容範囲内で）ときを検出できる。これは、例えば、フレーム間で物体を追跡（例えば、移動ベクトルを算出）し、物体の速さが閾値速度を下回るときに、高解像度の検証画像をキャプチャすることによって達成できる。

物体の位置を特定する際の小さな誤差が、速度ベクトルの計算に伝播することがあり得る。カスケード分類器などの方法では、フレームごとに物体の位置に人工的な変動（物体の中心の「揺れ」）が生じることがよくある。この位置ノイズは、物体が静止しているときを判定するのを妨げる。しかしながら、上述のようにオプティカルフローを使用した追跡は、ノイズをより低減し、物***置をより速く更新し、静止物体検出の信頼性を著しく高めることができる。

さらに、いくつかの実装形態では、指の長さ情報を指先識別アルゴリズムの一部として記憶および使用することができ、指紋が画像内の特定の相対的な場所に予想されるという事実に、いくらかの重点を置くことができ、これによって、指紋発見アルゴリズムの信頼性を高め、例えば、誤って成された模様の一致を拒絶する一助となり得る。各指の高さおよび幅の情報についても同様である。加えて、ユーザの皮膚の色は登録時に記憶され、さらなるバイオメトリック識別および／または実在性検証尺度として使用され得る。これには、正しい模様を有するが、正しい皮膚の色調を持たないなりすましの模様を、なりすましとして拒絶できる（例えば、ピンク色のシリコーン型、または回収された潜在指紋からの白黒レーザー印刷）という利点がある。

図４は、指のキャプチャ画像および対応する画像からの、指先検出のための例示的なルーチン４００を示す。示すように、ステップ４０５において、複数の指を含むキャプチャ画像が得られる。例示的な高解像度画像を画像４０５ａとして示す。ステップ４１０で、画像をグレースケール画像に縮小／変換し、主要なカスケードを適用して画像内の手を検出する。例示的なグレースケール画像、および検出された手の領域の周りに描かれた複数の境界が画像４１０ａに描かれている。ステップ４１５において、検出された最大の手領域を選択し、さらに指先を検出するために、その領域を周囲の領域を含む（例えば、拡張領域）ように拡大する。例示的なグレースケール画像、および選択され拡張された指領域の周囲に描かれた境界が、画像４１５ａに描かれている。次にステップ４２０で、１つまたは複数のより高感度なカスケード分類器を適用して、小領域、すなわち、各指の指先領域を検出する。例示的なグレースケール画像、および複数の検出された指先領域の周囲に描かれた境界が、画像４２０ａに描かれている。示すように、検出された指先領域は、画像内で実際の指先の数を超える可能性がある。次いでステップ４２５で、指先領域をフィルタリングする。フィルタリングについては、図４Ｂに関してさらに本明細書で説明する。例示的なグレースケール画像、およびフィルタリングされた検出済み指先領域の周囲に描かれた境界が、画像４２５ａに描かれている。その後ステップ４３０で、指先関心領域（ＲＯＩ）を正しいアスペクト比に調整（例えば、サイズ変更または下方に拡張）する。例示的なグレースケール画像、および検出されサイズ変更されたＲＯＩの周囲に描かれた境界が、画像４３０ａに描かれている。

指の検出は、照明と共に撮影された画像が実質的に異なる可能性がある、屋内および屋外の照明に対して頑強であることが好ましい。例えば、低照度の環境では、背景が露出不足になり暗くなることがよくある一方、強い日光が拡散していると、背景の明るさが指の明るさを超えることがあり、濃淡が大きく異なり得る。したがって、いくつかの実装形態では、指の検出方法は、モバイルデバイスのプロセッサが周囲光の量を判定し、検出された光のレベルに基づいて、リアルタイムに特定の光のレベルに対する、より最適な経路に切り替えることによって改善できる。例えば、光のレベルは、画面の明るさを調整するために携帯電話に見られるような、ハードウェアベースのルクスメーターから読み取ることも、カメラの露出設定から推定することもできる。

そのような一実装形態では、それぞれの光のレベルに固有である１つまたは複数の分類器を記憶し、プロセッサに対して利用可能にして、指の分割を実施できる。例えば、指の１つまたは複数の領域を検出するように使用される第１カスケード分類器は、高い周囲光で撮影された画像について訓練できる一方、第２カスケード分類器は、低い周囲光で撮影された画像について訓練される。測定した光レベルに基づいて、構成されたモバイルデバイスのプロセッサは適切な分類器を適用できる。より具体的には、光のレベルが閾値を超えない限り、プロセッサが検出のために、第１分類器をデフォルトとして使用でき、光のレベルが閾値を超える場合、第２分類器を使用できる。例えば、異なる周囲照明レベルを有する一連の画像フレームが、キャプチャおよび分析されている場合に、分類器間の切り替えがリアルタイムで起こり得る。周囲光に固有の分類器を適用する前述の方法は、プロセス中に最初にキャプチャされる画像（例えば、ユーザがカメラ正面の適切な場所に自分の指を位置付けている間にキャプチャされた、低解像度画像）、または後続の高解像度画像キャプチャ（例えば、最初の画像キャプチャで指が検出された後にキャプチャされ、焦点が合っていると判定された高解像度画像）に適用できることも理解できる。

また、いくつかの実装形態では、測定された光のレベルに基づいて、構成されたモバイルデバイスのプロセッサによって、以下でさらに説明するように、人工的なフラッシュ画像の前処理ステップを選択的に実装できる。例えば、光レベルが十分に高い場合、対象者を照らすようフラッシュ電球を利用するのを回避するために、人工的なフラッシュのプロセスを適用できる。

指の検出に対する単一の手法が１００％成功することを保証するものではないが、プロセッサは、検出品質の測定基準を計算し、その測定基準に基づいて、十分に高品質の結果が達成されるまで、一連の検出方法を適用するように構成できる。例えば、４本すべての指を検出する場合、構成されたプロセッサは、本明細書でさらに説明するように、４組の検出のうちどれが手を表す可能性が最も高いかを判定するようにスコアを算出できる。このスコアが低い（例えば、所定の閾値を満たさない）、または指が抜けている場合、構成されたプロセッサは、さらなる検出技法を適用することができる。さらなる検出技法は、異なる訓練を受けた分類器、または他の何らかの関連性のない手法の形態であり得る。また、いくつかの実装形態では、構成されたプロセッサは、例えば、以前の登録または認証キャプチャから判定されるように、既知であるユーザの手の測定基準に従って、抜けている指の場所を推定できる。これらの手法が適用される特定の順序は不変である必要はなく、実装される特定の検出技法および適用の順序は、測定された環境条件、すなわち、特定のモバイルデバイスのハードウェア能力の関数として、プロセッサによって選択的に適用され得るか、または特定のユーザに合わせて時間の経過とともに調整され得る（例えば、訓練および／または機械学習アルゴリズムに基づき）ことは理解されよう。上記を考慮すると、検出速度を向上させるために、プロセッサは、より速い（それほど正確ではない可能性もある）セグメンテーションアルゴリズムを最初に適用する段階的分割手法を適用し、結果の品質が十分ではない場合、指先セグメントをより正確に検出するように、より頑強な（場合によってはより処理集約的な）セグメンテーションアルゴリズムに移行するように構成できることが理解されよう。

上記および本明細書でさらに説明するように、モバイルデバイスのプロセッサが実装する、例示的な指ベースの認識アルゴリズムは、指の検出および特徴抽出を向上させる、１つまたは複数の画像強調ステップを含み得る。カスケード分類器などの検出方法は、グレースケール画像で機能することが多いため、例えば、入力として輝度のみを使用すると、色情報が失われる。したがって、人間の手のような既知である色の特性を有する物体を検出する方法は、グレースケールへの変換前に予想される色を表す領域を強調することによって、有益に改善することができる。

例示的な一実装形態では、プロセッサが実装する、指の検出に適用可能な画像の前処理法は、適応皮膚モデルを含む。より具体的には、プロセッサは、キャプチャ画像のうちの１つまたは複数を分析し、例えば、画像内の手を検出することによって、既知である皮膚の色調の領域を見つけるように構成でき、その後、色モデルを算出する。次いで、画像をＨＳＶ色空間に変換し、確率密度関数（ＰＤＦ）を、既定の皮膚領域内の画素の色相値および彩度値の分布両方に適合させる。画像中の残りの画素がＰＤＦ内に配置され、画素が皮膚を表す可能性を表す確率（ｐ値）が抽出される。好ましくは、閾値であるｐ値を超える全画素が前のモデルを改良するために使用され、次いで更新されたモデルがプロセッサを使用して全画素に適用されるという点で、プロセスは反復的である。いくつかの実装形態では、皮膚領域が連続的であると仮定することによって、低いｐ値を有するが、高いｐ値を有する画素に囲まれている画素も、モデルに含めることができる。プロセスは、一定回数の反復後、または皮膚の画素数がそれほど有意に増加しなくなったとき（すなわち、もはや所定量の増加がないとき、収束）に停止できる。その後、収束したｐ値は、さらなる検出アルゴリズム用の入力として直接使用できる（グレースケール画像に変換）か、または、加えてもしくは代替的に、背景の非皮膚領域に対して画像内の皮膚領域を明るくするように使用できる（例えば、「人工的なフラッシュ」として機能）。

指が比較的規定の場所でモバイルデバイスのカメラに提示される（例えば、スクリーン上のガイドを使用して誘導されるように）場合、プロセッサは、特定の領域が皮膚の色調を表す可能性が高いと想定する（例えば、ガイド内の手の中央領域）ように構成できる。したがって、この想定領域は、皮膚モデルを構築するための初期領域として機能することができる。加えてまたは代替的に、皮膚の色調は、ユーザがシステムに登録したときに記録できる（例えば、皮膚モデルを使用せずに完了）。

図４Ｂは、検出した指先領域／セグメントをフィルタリングする、例示的なルーチン４５０（すなわち、図４Ａのステップ４２５）を示す。フィルタリングは概して、最良の指先セグメントの集合の選択を指す（すなわち、実際の指先セグメントに対応する可能性が最も高い各指に対して、指先セグメントを選択する）。

プロセスはステップ４５５から始まり、指先の検出物は水平（「Ｘ」）方向にソートされる（例えば、指の順序に従って指の配向に対して垂直方向に配置）。次に、ステップ４６０において、４つの指先領域の組み合わせが、検出された複数の指先領域を用いて生成される。例示的なグレースケール画像、および検出された４つの指先領域の組み合わせの周囲に描かれた境界が、画像４６０ａに描かれている。

次に、ステップ４６５〜４８０で、４つの指先領域を組み合わせた集合の各々をスコア化する。スコア化は、個々の指先領域および／または複数の指先領域の物理的特性を判定するように、指先領域を分析し、測定された特性を予想される特性と比較することを含む。本明細書でさらに説明するように、スコア化は、１つまたは複数の指先セグメントの物理的特性の、他の指先セグメントと、加えてまたは代替的に、以前に検出された手の領域の全幅（例えば、ステップ４１５で検出された「手の幅」）など、複数の指の物理的特性とに対する比較分析に基づくことができる。

より具体的には、いくつかの実装形態では、集合内で検出物を組み合わせた幅を手の幅と比較し、その比較に基づいてスコア化できる。加えてまたは代替的に、検出物の幅の分布（例えば、隣接する指のセグメント間の中心間距離）も、手の幅を考慮して、指のセグメントの予想される幅の分布に対してスコア化できる。予想される幅の分布は、以前に識別された指の訓練セットから平均として判定できる。訓練セットおよびそのセットは、正確な比較のために、手の幅に従って正規化できる。例えば、画像４７０ａ、４本の指の例示的なグレースケール画像、検出された４つの指先領域／セグメントの組み合わせの周囲に描かれた境界、ならびに隣接するセグメントｄ１、ｄ２およびｄ３間の測定された中央間距離。

いくつかの実装形態では、計算されたスコアが重みの関数になるように、各特定の比較に重みを付与できる。例えば、スコア化の全体的な結果を歪めないように、より決定的ではない／重要でない尺度（例えば、より低い精度もしくは正確さ、またはより低い信頼性を有する測定値）は、より低い重みを割り当てることによって割り引かれ得る。限定ではなく例として、小指の相対的な長さは、個体間でより大きく相違するので、それに応じて小指に対して判定されるＹの測定距離の影響には、「重みを低く付ける」ことができる。図４Ｂの表４７０ｂは、相対距離の特性をスコア化するのに使用される、例示的な幅、重み、および予想される幅を示す。表４７０ｂに示すように、隣接する指の間の予想される例示的な相対距離は、４本の指の全幅の１／４であり、各々に１の重みが付与される。

ステップ４７５で、指先セグメントの幅も他の指先セグメントに対してスコア化できる。指幅の比較は、特定の指の予想される相対的な幅に基づくことができる。例えば、人差し指は端の指よりも大きいと予想され、したがって、指先領域／セグメントの相対的な幅は、そのような個々の指セグメントの比較に従ってスコア化できる。指の例示的なグレースケール画像、および中央の２本の指（人差し指および中指）に対応する４つの検出される可能性のある指先領域が、画像４７５ａに描かれている。

同様に、ステップ４８０において、指先領域のＹ方向における相対位置は、それぞれの指先セグメントの予想される長さに従ってスコア化され得る。例えば、中央の２本の指は、概して、端の指に対してＹ方向でより高くなると予想され、指先セグメントは、そのような予想される相対位置特性に従ってスコア化され得る。したがって、指先セグメントの高さのＹ方向（すなわち、指の配向と平行な方向）における分布を分析することができる。より具体的には、Ｙにおける分布を分析することは、４８０ａに示すように、指の「長さパターン」を分析することを含む。すなわち、人差し指は中指よりも短く、中指は薬指よりも長く、薬指は小指よりも長いと予想される。したがって、対象者の関心領域は、人差し指から小指まで、Ｙの「上、下、下」のパターンに従う位置を有する必要がある。正確な予想パターンは、以前に識別された指の訓練セットから平均として判定できる。訓練セットおよび指先セグメントのセットは、Ｙにおける相対的な長さおよび／または位置を正確に比較するために、それぞれの指および／または手の寸法に従って正規化できることは理解されよう。したがって、プロセッサは、様々な関心領域／セグメントの上部境界間のＹにおける距離を算出するように構成でき、それによって、人差し指から中指、中指から薬指、薬指から小指の３つの距離が与えられる。次いで、プロセッサは手の幅を使用して距離を正規化し、異なる縮尺の手の間の距離を比較できるようにする。その後、距離を予想パターンと比較でき、比較の関数として指の組み合わせをスコア化できる。指の例示的なグレースケール画像、およびＹ方向で比較されている４つの検出される可能性のある指先領域が、画像４８０ａに描かれている。指先領域の相対的な高さ、幅、Ｙ位置およびＸ位置もまた重要性および／または信頼性に従って重み付けできることも理解され得る。

前述の尺度に加えて、構成されたプロセッサはまた、描かれた指先セグメントの照度特性に従って、指先セグメントの組み合わせもスコア化できる。より具体的には、指は画像にほぼ等しい照度で現れると予想され得る。したがって、構成されたプロセッサは、指先セグメントの組み合わせごとに、指先セグメントの組み合わせにわたって照度を測定し、照度の分散をスコア化できる。速度と正確さのために、各指先セグメントの中心の画素値（例えば、１０×１６の長方形内）のみを合計し、４つの合計の分散を判定できる。分散が大きいと、指先セグメントのうちの１つまたは複数が誤って位置付けられ、より悪いスコアが付与されている可能性があることを意味する。

次にステップ４８５で、指先領域の組み合わせの累積スコアに重みを付けて合計し、計算されたスコアに従って、セグメントの最良の組み合わせが識別される。指の例示的なグレースケール画像、および検出された４つの指先領域の最良スコアの組み合わせの周囲に描かれた境界が、画像４８５ａに描かれている。

さらに、いくつかの実装形態では、各領域内のエッジの数および配向を分析することによって、検査を実施できる。加えてまたは代替的に、指を包含する画像のセグメントは、主にスクリーン上の指位置決めガイドの場所を埋めるセグメントとして識別できる。

いくつかの実装形態では、識別のために、例えば、４本の指のみを使用する場合、４本の指紋を登録して検証するための頑強な手順が、以下のように実行され得る。ａ）カメラの正面に４本の指を位置付け、フラッシュ画像をキャプチャするように、ユーザを誘導する。ｂ）画像処理アルゴリズムを任意で使用して（前に説明したように）、４つの模様（および他の関心領域）の場所を識別する。ｃ）例えば、模様の領域の上に楕円を重ね合わせることによって、これらの領域をユーザに強調表示し、ユーザに、指紋認識が正確であると認めるか、または楕円を正しい位置にドラッグすることによって、誤って配置された指紋の楕円を調整するかのいずれかを要求する。このようにして正確な登録模様が保証される。ｄ）以降の検証手順には、正確な登録模様を使用する。これは、登録された模様を使用して、検証画像内に検証模様を見つけるプロセスを含み得る。

また、いくつかの実装形態では、４本の指をキャプチャする場合、検出された４本の指の画像は、次いで、隣接する指の各々の間にある継ぎ目を画定することによって、例えば、隆線の配向に摂動が存在する点を特定することによって、４本の個々の指に分割できる。これらの点は特異点と呼ばれる。その後、Ｋ平均クラスタリングアルゴリズムを利用して、判定した点を、４本の指を表す４つのクラスタに分けることができる。いくつかの実装形態では、Ｋ平均は、クラスタリングアルゴリズムで使用される距離行列を算出するために、特別な距離関数を使用できる。この特別な関数によって、従来のユークリッド距離に関して点が遠くにあっても、同じ指上にある点への距離尺度がより少なくなるであろう。次に、領域成長セグメンテーションアルゴリズムを利用して、各指を個別に分割できる。

その後、各指について、少なくとも各指の遠位指節骨の領域を画像内で識別できる。好ましくは、指セグメントの先端と、中間指節骨および遠位指節骨間のより太い線との間に配置される指領域が、特徴点である最も識別力のある特性を包含することから、識別される。

指と手の両方は、可能な形状を作成する空間が比較的制限されおり、したがって、いくつかの実装形態では、アクティブシェイプモデルおよびアクティブアピアランスモデルは、非接触型指紋認識を実装するのに有用な手法となり得る。例えば、ターゲット画像から手を見つけて分割するには、例示の画像内で指先境界などの手の特徴の上に、点の集合を置くことにより、点分布モデルを最初に算出する。次に、ユーザの手の配置に対するガイド、または他の画像処理法を使用して、手の位置に関する初期推定を形成することによって、モデルをターゲット画像内で初期化する。例えば、カスケード分類器を使用して、手の場所に初期推定値を提供できる。その後、モデルと画像データとの比較を反復して、点の位置を更新することにより、モデルに対する最良適合が見つかる。

適合モデルの点を使用して、認識のために関心領域を抽出する。例えば、指先の境界を記述する点を使用して、指紋を抽出する。

同様に、指の形状を記述するアクティブシェイプモデルを使用して、個々の指先を分割できる。例えば、指先を包含する画像領域は、最初にカスケード分類器を使用して見つけられ、次にモデルを使用して分割されて、背景および近接する指の両方が除去される。さらに、アクティブシェイプモデルは個々のユーザに合わせて調整できる。例えば、システム登録中にユーザによって確認された正しいモデル適合が与えられると、モデルは、その個人の手および指の形状をより良く記述するように調整される。これにより、認識の速度および信頼性が高まり、モデルからの逸脱をなりすましの識別に使用できる。

最高の指紋抽出品質のために、例えば、デバイスのディスプレイ上に、視覚ガイドまたは最適な指配置の輪郭を提供して、照明光源およびカメラ両方の位置に対して、手および指を最適の場所に置くよう、ユーザを促すことができる。これは、指紋をカメラの視野の中心付近に位置付けることであり、模様はカメラに対して約＋／−２０度の最大角度の範囲内である。例えば、指を光源から十分遠くに置いて、照明光線の入射角を最小にし、十分に強い照明に必要なだけ接近しながら、角度のある表面上の細部の損失を防止できる。同時に、カメラに対して照明を最大に反射するように、指を配向させ、カメラに必要なだけ近くに位置付けて、認識に十分な画素密度を保証する。

キャプチャされた模様の品質は、照明源の空間的広がりが増すように、スマートフォンのカメラシステムに追加の照明源または拡張された光源を追加することによって、さらに強化できる。例えば、スマートフォンまたはタブレットの隅に４つのＬＥＤを追加することで、指紋のより多くの領域で光がうまく反射され、より高い模様キャプチャ品質が得られる。

指の関連領域が識別されると、ステップ３１５で、関連領域を強調できる。より具体的には、好ましくは、分析モジュール１７２を含む、ソフトウェアモジュール１３０を実行することによって構成される、モバイルデバイスのプロセッサ１１０が、例えば、１セットのガボールフィルタを使用して、平滑化した隆線配向マップに合わせて調整された、画像の細部を強調するように、画像の部分を処理できる。いくつかの実装形態では、この画像強調の主な目的は、ライブスキャンセンサを用いてキャプチャされ、通常ＩＡＦＩＳとしてレガシーデータベースに記憶される、指紋の押印画像に類似する指紋画像を生成することである。この類似性は、モバイルデバイスを使用してキャプチャされる画像が、ライブスキャンセンサからキャプチャされた画像と同じ品質および属性を模倣していることを意味する。この類似性は、モバイルデバイスによってキャプチャされる画像を、ＩＡＦＩＳなどのレガシーデータベースに記憶された指紋の押印画像と照合する可能性を保証する上で望ましい。

指先からの識別特徴の抽出を向上させるには、隆線と溝との間のコントラストを高めるように、強調フィルタを使用するのが有利であり得る。いくつかの実装形態では、モバイルデバイスのプロセッサは、可能な範囲の値（通常、グレースケール画像では［０，２５５］）にわたって強度を均等に分布させることによって、局所の画像コントラストを高めるためにヒストグラム平坦化を適用できる。これは、画素強度の累積ヒストグラムを算出し、許容範囲内の最大値に正規化し、この分布における場所に従ってソース画素を再マッピングすることによって達成できる。

コントラストの強調には、無差別であるために、対象となる信号だけでなく背景ノイズも強調されるという欠点がある。そのため、コントラストの強調前にフィルタリングすることによって、対象となるそれらの信号のみを分離することが有益であり得る。例えば、プロセッサは、バンドパスフィルタを適用して、指紋の隆線の予想される数に対応しない周波数の信号を除去できる。そのような一実装形態は、未加工のソース画像からガウシアンぼかしフィルタをかけたソース画像を差し引くことによって、高周波を除去する。次に、的確により小さい半径を持つ別のガウシアンぼかしフィルタを適用することによって、結果を再度フィルタリングして低周波数を除去できる。その後、ヒストグラム平坦化をバンドパスの結果に適用して、特徴抽出に最適な画像を実現できる。

ステップ３２０で、指各々の特徴点が抽出され、バイオメトリック識別子が生成される。当業者によって理解されるであろうように、特徴点は指紋の隆線が終了する点を指し、テクスチャは隆線により画定されるパターンを指す。より具体的には、好ましくは、分析モジュール１７２を含む、ソフトウェアモジュール１３０を実行することによって構成される、モバイルデバイスのプロセッサ１１０が、強調された画像を分析して、特徴点抽出アルゴリズムなどのアルゴリズムを使用して、各指の少なくとも遠位領域から特徴を抽出する。

指紋比較用の自動システムのほとんどが特徴点の照合に基づいており、したがって、信頼性の高い特徴点抽出は重要な作業である。多くのそのような方法は、骨格画像に変換される指紋のグレースケール画像を必要とする。次に、単純な画像スキャンで、指紋の隆線が終わって分岐する特徴点に対応する、画素を検出できる。抽出された特徴点は、二次元平面における点の集合として記憶されてもよい。

最後に、指紋間の類似性スコアを生成するために、特徴点ベースの照合アルゴリズムを構成されたプロセッサによって実施できる。これらの照合アルゴリズムは、テンプレートと、最大数の特徴点対形成をもたらす入力特徴点との間のアライメントを見つけることによって、指紋間の類似性スコアを計算する。

遠位領域から抽出された特徴は、指および／または手の残りの識別領域から同様に抽出される、他の特徴と共に記憶できる。そのような特徴は、１つまたは複数の特徴ベクトルを含む、１つまたは複数のバイオメトリック識別子で特性化できる。

登録中、ステップ３２５で、そのような特徴ベクトルは、ユーザ検証ステップを保証するのに使用するためのバイオメトリック識別子（例えば、テンプレート）として、メモリに記憶される。あるいは、ユーザ検証中（ステップ３３０）、バイオメトリック識別子は登録中に記憶されたバージョンと比較される。

より具体的には、検証プロセス中、ユーザの指がキャプチャされ、ステップ３０５〜３２０に関して説明したように、バイオメトリック識別子が生成される。しかしながら、ステップ３３０において、次いでクエリ特徴ベクトルが、登録され記憶された特徴ベクトルと比較される。比較に基づき、照合の類似性に関して、構成されたプロセッサ１１０によって一致スコアが生成される。一致スコアが十分一致に近いと表す場合、ユーザは検証手順に合格したと判定できる。

１つまたは複数の実装形態では、一致スコアは、組み合わせた一致スコアである場合があり、照会指紋（例えば、クエリ特徴ベクトル）を登録された指紋と個々に照合し、組み合わせた一致スコアを判定することに基づく。より具体的には、手の画像のデータベースから、２つのはっきりと異なるクラスの対、すなわち、同じ手の画像の対と、異なる手の画像の対とを用いて、画像を対にすることができる。これらの手の指の各対（例えば、人差し指と人差し指）について、これらの手の画像の近さを測定する一致スコアを計算することができ、より高いスコアはより近い一致を表す。

これらのスコアをプロットして、スコア分布を形成できる。各タイプの指（例えば、薬指）については、２つの分布、すなわち同じ手からの同じ指と、異なる手からの同じ指（すなわち、偽者）との画像照合からのスコアがある。

これらのスコア分布は、所与の一致スコアが分布のうちの一つに属する確率を示す、確率分布とみなすことができる。これらの経験的に導かれた分布は、ノイズを平滑化し、既知の分布、例えば、ガンマ分布に当てはめることによってコンパクトに特性化できる。

特性化されていない一対の指の画像の場合には、例示的な識別システムを、一致スコアを判定するように構成できる。次いで、これらの適合確率分布を使用して、一対の指の画像が同じ指または異なる指に属する確率比（尤度比）を判定することができる。

全４本の指を照合すると、構成されたシステムは、１つの未知の画像（「プローブ」画像）を、既知の対象者の以前に登録した画像（「ギャラリー」画像）に対してテストできる。ギャラリー指に対するプローブ指の各対について、システムは尤度比を判定できる。その後、これらの比率を互いに掛け合わせることができ、最終結果によって、プローブ画像がギャラリー画像を提供した対象者に属する可能性の全体尺度が提供される。

この方法は、予測能力が低い特定の指でも劣化しない利点を有し、特に小指は、他の指よりも明確な予測の一致が提供される可能性が低い。また、悪い画像に対してある程度の許容度もあり、１本の指があまり一致しない場合でも、別の指が特に上手く一致すれば、それを補うことができる。

複数の指にまたがってスコアを組み合わせて、不良画像に対する許容度を得ながら、単一のプローブ／ギャラリーの一致スコアが、全体を合格させるほど十分に高くなることが、理論的に可能である。これにより、例えば、攻撃者が認可されたユーザの指のうち１本の非常に高い品質の模写を生み出せる場合、なりすましの作成がより容易になる可能性がある。この問題を軽減するための例示的な方法は、照合およびスコア化プロセス中にプロセッサによって、２次閾値を超える一致スコアを個々に生み出すように、最小数のプローブ指を要求することと、一致スコアの組み合わせが、肯定的な一致を判定するために、１次照合閾値に合格することを要求することとを含み得る。したがって、この対策によって、いかなるなりすましを成功させるためにも、その最小数の指を首尾よく複製することを必要とし、これは１本の指を首尾よく複製するよりも困難な作業である。認証プロセスに必要な２次閾値を超えるスコアを有する指の最小数、および２次閾値の数値は、実装形態のセキュリティの必要性に適するように、劣化した画質に対する復元力に対して、なりすましのリスクを交換するように調整できることが理解されよう。

通常、照合する指のデータと登録された指のデータとを比較するとき、それぞれの画像の縮尺が類似していることを保証することが重要である。したがって、ステップ３２０における指紋画像の分析中に、構成されたプロセッサ１１０は、指紋の隆線の基本数を判定できる。登録中（例えば、ステップ３２５）、構成されたプロセッサは基本数を記憶できる。検証中（例えば、ステップ３３０）、構成されたプロセッサは、比較前に登録された模様の基本数を照合するように、検証模様の基本数を拡大縮小できる。加えてまたは代替的に、プロセッサは、実際の数を記憶する必要がないような所定の基準数、例えば１に、模様の数を正規化できる。したがって、認識中に、照合模様を所定の基準値に正規化できる。

特徴ベクトルを生成する前、または認証中に特徴ベクトルを比較する前に、１つまたは複数の前処理操作を画像フレーム上で実施できることを理解されたい。限定ではなく例として、分析前の画像データの前処理は、当業者には理解されるであろうように、画像フレームを座標空間などの中で正しい方向に置くことを含み得る。

既存の拡大縮小アルゴリズムを実装する画像ベースの指紋識別に関する既存の技術は、概して、指紋の約２％を誤って拡大縮小し、認証中に誤った拒否をもたらす。これは、一つには、画像の中の不十分な数の参照点を使用（すなわち、指紋の先端／始点および模様の基点／終点の２点のみを使用）して、それにしたがってサイズおよび縮尺を推定する、それらのアルゴリズムが原因である。拡大縮小動作を改善するために、開示する実施形態のうちの１つまたは複数に従って、プロセッサは、指紋の平均数（例えば、１インチ当たりの典型的なライン数）を分析し、それに応じて模様の縮尺を正規化するアルゴリズムを実装できる。この技法は、模様の面積にわたって多くの点で取られた、模様の画素のより大きな集合に基づいて拡大縮小を判断するため、拡大縮小プロセス中に非常に高い信頼性を達成できる。

登録および検証ステップの前ならびに／または後に、方法はまた、実在性を検出するステップを含み得る。実在性の検出を、図３のステップ３３５として示す。実在性検出方法は、キャプチャした４本の指の画像が、例えば、印刷した指のなりすまし、または指の型ではなく、現実の指からのものであることを検証するように実装できる。より具体的には、いくつかの実装形態では、好ましくは、分析モジュール１７２を含む、ソフトウェアモジュール１３０を実行することによって構成される、モバイルデバイスのプロセッサ１１０が、指の画質を分析し、画質がライブの指および／または偽物の指からの画像と一致するかどうかを判定でき、偽物の指には通常、解像度および鮮明度の低下などの顕著なアーチファクトがある。

例えば、本明細書でさらに説明するように、１つの実在性検出技法は、画像化中、ユーザに手を回転させるよう促すことである場合があり、構成されたプロセッサは、画像化された手が、例えば、運動技法からの深さおよび焦点技法からの深さを使用して、適切に三次元であると判定できる。あるいは、システムは、例えば、画質を分析して、それが十分に鮮明で低解像度（例えば、手のなりすまし模様からの）ではないことを確認する、受動的実在性検出用の技法を実装できる。構成されたプロセッサはまた、彩色が、ライブの手の画像および／または既知であるユーザの手の色と一致しているかどうかを判定するように、指の色を分析できる。したがって、いくつかの実装形態では、色の一貫性、言い換えれば、手の色の均一性は、指先および手を同時に検出することによって実施できる。次に、掌および下指節骨（すなわち、近位および中間）から成る指先を包含しない手のエリアを分離し、それから、このエリアの色ヒストグラムおよび検出された４つの指先エリアの色ヒストグラムを判定する。最後に、いくつかの実装形態では、これら２つのヒストグラムの比較は、特に攻撃者が、システムをだますために型（すなわち、偽の指）を使用している場合、実在性尺度を判定するように、手および指の色の均一性に対するテストとして利用できる。加えて、構成されたプロセッサはまた、ユーザに自分の指で１つまたは複数のジェスチャをする、例えば、指を広げて閉じる、または特定の指をある方法で動かすことを要求もできる。

また、いくつかの実装形態では、分類器は本物となりすましとを区別するように訓練され得る。分類器は、現実の指の画像と様々ななりすまし画像との間の違いを学習するように訓練され得る。次いで、分類器を実装するプロセッサは、その訓練に基づいて合否の結果を提供するように構成されるであろう。

さらに、いくつかの実装形態では、バイオメトリクス実在性のさらなる因子として、画像内の指紋の位置を考慮に入れることができ、すなわち、本物のユーザは特定の長さの第１、第２、第３および第４の指を有する。そのため、ユーザが、自分の手を指を伸ばして互いにくっつけた状態に保持したときに、４本の指紋の位置は、その特定のユーザと一致する相対位置付けとなるはずである。この情報は、なりすまし攻撃の防止に役立つ、追加のセキュリティチェックとして使用される可能性がある。例えば、電話の画面上に潜在する模様を見つけたハッカーは、ユーザの指の長さを推定できない可能性が高く、そのため指を正しく表示し得ないであろう。

さらに、図３に関連して説明した例示的なシステムおよび方法に対して、様々な代替物および変形が考えられる。いくつかの実装形態では、ユーザの指の登録画像は、必ずしもモバイルデバイスのカメラによってキャプチャされるわけではない。代わりに、指の特徴ベクトルが、指の画像の事前に記録されたデータベースなどの代替の供給源から取得され得る。

いくつかの実装形態では、登録プロセス中、指（例えば、限定するものではないが、解像度を向上させた４本または１０本の指をキャプチャするために、各指の画像を個々の画像に順次キャプチャできる。この場合、登録手順の間、画面上の指ガイドを表示する構成されたプロセッサは、一度に１本の指を画面上に位置付けるようにユーザを促し、セグメンテーションアルゴリズムを使用して、指の遠位指節骨および指紋領域を個々に識別できる。

いくつかの実装形態では、照合プロセス（例えば、ステップ３３０）を指先（例えば、遠位指節骨）領域の比較に限定する代わりに、比較が、指紋に加えてまたは指紋の代わりに、手の他の部分を含むことができる。例えば、関心領域は、検出可能なパターン形成を有する手の任意の部分、もしくは遠位指節骨および中節骨、または中手骨を含むことができる。これらの領域には、なりすまし攻撃に対する耐性が高いという利点が追加されることがあるため、より高いレベルのセキュリティが提供される。例えば、ユーザの指先の模様は、スマートフォンケースまたはユーザが触れた他の表面にしばしば見られ得る。これらの潜在指紋は、偽者によってコピーされ、検証に合格する可能性のある型が作成され得る。しかしながら、中手骨が表面に接触して、潜在的な模様を残すことはまれであるため、手のこれらの領域の模様を見つけるのははるかに難しい。

いくつかの実装形態では、４本の指のクラスタを別々の指に分離するために特異点を使用する代わりに、キャプチャ中、ユーザに自分の指を広げるように促すことができる。次いで、セグメンテーションアルゴリズムを使用して、指を分離することができ、輪郭変形方法を使用して、各指先の位置を識別できる。

いくつかの実装形態では、関連する指領域の分割は、皮膚の色、数、および配向を使用して実施され得る。例えば、分割プロセスを補助するために、焦点が合っている領域（すなわち、背景ではなく指）を強調するように、構成されたプロセッサによってソーベル演算子を実装できる。加えてまたは代替的に、分割はまた、ユーザがキャプチャプロセス中に自分の指を置くように誘導された領域に関連するキャプチャ画像から、単に固定領域を抽出することによっても行うことができる。

いくつかの実装形態では、認証プロセス中に、登録された模様情報を使用して分割を実施できる。登録中に生成された模様テンプレートに基づいて、指紋の特徴を分割して識別、および／または照合することによって、既存の技法を上回る改善を提供できる。例えば、既存の画像をベースとする指紋識別法は、登録および認証中に同じ方法で指紋を分離し、結果として、画像から単一の指紋を分離して、信頼できる使用のために不満足な成功に終わる。場合によっては、既存の方法を使用した分離の成功は、９６％の確率でしか発生せず、認証中に４％が誤って拒絶される。その技法を複数の指で別々に使用すると、この問題は複雑になる。

しかしながら、開示する実施形態のうちの１つまたは複数に従って、指紋を分離するための異なるアルゴリズム、すなわち、登録された模様を使用して指を見つけ、認証中に模様を分離／照合するアルゴリズムが、構成されたプロセッサによって実施される。これにより、はるかにより頑強な性能が得られる。いくつかの実装形態では、構成されたプロセッサは、例えば、指の特徴（特徴点など）を、４本の指全体の画像から抽出し、画像内のすべての場所を、登録された模様からの指の特徴と徹底的に比較することで、指領域を見つけ出すことによって、分割プロセスを実装できる。指領域は、登録された指が画像内の指の特徴と一致することが判明した場所に置かれていると理解される。さらに、画像内のランダム特徴による誤った一致の可能性を最小限に抑えるために、例えば、４本指を捕捉する手順の場合に、第１、第２、第３および第４の指がおおよそユーザガイダンスのオーバーレイ画像から予想されるように見つけられること、皮膚の色が予想されるようであることなど（例えば、比較を誘導するために登録テンプレートを使用するテンプレート照合）を確実にすることによって、照合される領域の妥当性が確認され得る。また、指の場所について画像全体を検索するように、このプロセスを使用するのではなく、検索範囲は、指がユーザガイダンスのオーバーレイ画像から予想されるエリアに制限され得る。

基本の隆線数に基づいて指の拡大縮小を行うことに加えて、またはその代わりに、プロセッサ１１０は、分割された４本指クラスタの幅、各指の関心領域の幅もしくは長さのうちの１つまたは複数、または特異点などの指上の特定の点および指節骨関節のより太い線に基づいて、模様を拡大縮小するように構成できる。

特徴点に基づいて指を照合するだけでなく（またはその代わりに）、プロセッサ１１０はまた、テクスチャに基づいて模様を照合するように構成もできる。

また、いくつかの実装形態では、指に対して１つの画像を使用する代わりに、いくつかの画像を使用して、ユーザを登録または認証できる。複数の画像は、様々な露出および／または焦点距離でカメラ１４５を使用して、構成されたプロセッサ１１０によってキャプチャされ、被写界深度および／またはダイナミックレンジが向上した画像を作成できる。そのような異なる露出および／または焦点距離で画像をキャプチャすることは、手を横切る様々な場所における模様の焦点が最適であることを確実にするのに役立ち得る。したがって、構成されたプロセッサは、対象となる指の部分に最適焦点を合わせる、画像または画像の部分を選択し分析できる。

加えてまたは代替的に、実在性検出は、他の測定基準が、模様もしくはビデオ、または成形された指のなりすましではなく、現実の指の測定基準と一致することを確認することによって実装できる。これらの測定基準は、画像内にキャプチャされたフラッシュからの鏡面反射の分析、フラッシュなしで撮影された画像と比較した、フラッシュからの鏡面反射の分析、色、彩度測定基準（黒白および単色のなりすましを拒絶するため）を含み得る。

いくつかの実装形態では、実在性は、指の画像から得られた焦点情報からの、鏡面反射または深さの分析によって検出され得る。非限定的な例として、鏡面反射およびＤＦＦ（ｄｅｐｔｈ−ｆｒｏｍ−ｆｏｃｕｓ）情報に基づく実在性判定のための例示的なシステムおよび方法は、本明細書および同時係属で譲受人に譲渡された、２０１４年１０月１５日出願の米国特許出願番号第６２／０６６，９５７号、発明の名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＩＲＩＳ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＶＥＲＩＦＩＣＡＴＩＯＮ ＵＳＩＮＧ ＭＯＢＩＬＥ ＤＥＶＩＣＥＳ ＵＴＩＬＩＺＩＮＧ ＶＩＳＩＢＬＥ ＳＰＥＣＴＲＵＭ ＬＩＧＨＴＩＮＧ」に記載されている。実在性はまた、カメラによってキャプチャされた一連の画像を通して描かれるように、指を傾ける、または指を広げる／狭めるなどの指の動的な動き（例えば、指のジェスチャ）の分析によっても検出され得る。非限定的な例として、バイオメトリック特徴およびジェスチャの動的な動きに基づく実在性判定のための例示的なシステムおよび方法は、本明細書および同時係属で譲受人に譲渡された、２０１４年８月２６日出願の米国特許出願番号第６２／０４１，８０３号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ ＬＩＶＥＮＥＳＳ」に記載されている。

いくつかの実装形態では、実在性は、指の画像のキャプチャ中に、指の隆線上に放射される光の反射率分析を実施することによって検出できる。本物の指の隆線はフラッシュを不均一に反射するのに対して、印刷された指はフラッシュを均一に反射する。したがって、指の画像にキャプチャされた隆線の反射率特性を分析して、実在性を判定できる。反射率に基づいて実在性を判定するための例示的なプロセスについて、図５のフロー図、および図５Ｂ〜５Ｃの対応する画像に関連して本明細書でさらに説明する。ステップ５０５で、実在性検出アルゴリズムへの入力を取得する。入力は、フラッシュをオンにしてキャプチャされた指のうちの１つまたは複数の高解像度画像、およびフラッシュをオフにしてキャプチャされた指の高解像度画像を含む。指の例示的なフラッシュありの画像５０５Ａ、およびフラッシュなしの画像５０５Ｂを、図５Ｂに示す。ステップ５１０で、画像内の指紋が分離されるように、フラッシュありの画像をサイズ変更する。ステップ５１５において、対応する指を含むフラッシュなしの画像内の領域を分割する（例えば、上述の例示的な指紋セグメンテーションアルゴリズムに従って）。それに応じて、フラッシュありの画像内に描かれた指紋、およびフラッシュなしの画像内の対応する指紋を、さらなる処理のために分離する。指先の分離された例示的フラッシュありの画像およびフラッシュなしの画像を、図５Ｂにそれぞれ画像５１０Ａおよび５１５Ｂとして示す。次にステップ５２０で、ハイパスフィルタを適用して、隆線を描写する画像の部分を保持する。指先のフィルタリングされた例示的なフラッシュありの画像およびフラッシュなしの画像を、図５Ｂに画像５２０Ａおよび５２０Ｂとして示す。次いでステップ５２５で、実在性スコアを計算する。１つの例示的な構成では、実在性スコアは、（ａ）フィルタリングされたフラッシュなしの画像から生成されたヒストグラムの標準偏差、および（ｂ）フィルタリングされたフラッシュありの画像から生成されたヒストグラムの対応する標準偏差の関数として計算される（すなわち、実在性スコア＝ａ／ｂ）。例として、指紋のなりすまし画像にプロセス５００を適用している間に得られた類似画像を、図５Ｃに示す。他の実装形態では、実在性スコアを計算するために、フィルタリングされたフラッシュありの画像およびフラッシュなしの画像のヒストグラムから、他の尺度を算出できる。以下は、使用可能な尺度のいくつかの例である。（１）ヒストグラムの平均値間の差、（２）ヒストグラムの頻度の平均値間の差、（３）ヒストグラムの頻度の標準偏差の比率、（４）ヒストグラムの尖度間の差、および／または（５）フィルタリングされたフラッシュありの画像およびフラッシュなしの画像内の対応するキーポイントの数。いくつかの実装形態では、フラッシュありの画像およびフラッシュなしの画像の背景の画素強度の差を、実在性の尺度として使用できる。

図６Ａ〜６Ｆは、カメラの視野に関して様々な位置でキャプチャされた、例示的な指の隆線画像を示す。特に、図６Ａは、カメラから離れすぎて模様の解像度が低い指に対する、キャプチャ画像および対応する隆線画像を示す。図６Ｂは、カメラから離れすぎて模様の解像度が低い指に対する、キャプチャ画像および対応する隆線画像を示す。図６Ｃは、視野の中心にありカメラに十分近い指の配置によって良好な解像度を示す、キャプチャ画像および対応する隆線画像を示す。図６Ｄは、高角度のＬＥＤ反射による、人差し指および小指の縁での反射の喪失を示す、キャプチャ画像および対応する隆線画像を示す。図６Ｅは、指がカメラの視野の端近くに置かれたときの、高角度のＬＥＤ反射による指の先端での反射の喪失を示す、キャプチャ画像および対応する隆線画像を示す。図６Ｆは、指がカメラの視野の端近くに置かれたときの、高角度のＬＥＤ反射による指の先端での反射の喪失を示す、キャプチャ画像および対応する隆線画像を示す。

いくつかの実装形態では、指紋ベースの認証はさらに、マルチモーダルのバイオメトリクスのセキュリティ／信頼性を強化するように、顔の識別と組み合わせることができる。例えば、スマートフォンの場合、顔および／または虹彩のキャプチャが正面カメラを使用して行われるとき、ユーザの４本の指を、スマートフォンの背面カメラを使用して、同時にまたは順次キャプチャできる。非限定的な例として、ハイブリッドバイオメトリック識別子を生成し、ハイブリッドバイオメトリック識別子を使用して識別／認証を実施するための例示的なシステムおよび方法は、同時係属で譲受人に譲渡された、２０１５年５月４日出願の米国特許出願番号第６２／１５６，６４５号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＨＹＢＲＩＤ ＢＩＯＭＥＴＲＩＣ ＩＤＥＮＴＩＦＩＥＲＳ」に記載されている。

さらなる例として、上述のように、ルーチン３００に従って指の特徴ベクトルを生成することによってユーザを特性化することに加えて、追加のバイオメトリック特徴を、ステップ３０５でキャプチャされた画像、または別に捕捉されたバイオメトリック情報から抽出できる。そのような追加のバイオメトリック特徴は、限定ではなく例として、ソフトバイオメトリック形質およびハードバイオメトリック形質を含み得る。「ソフトバイオメトリック」形質は、身体、行動または忠実に守られる人間の特性であり、一方、指紋、虹彩、眼周囲の特性および類似のものなどのハードバイオメトリクスは、概して不変である。さらなる例として、ソフトバイオメトリック形質は、皮膚のテクスチャまたは皮膚の色など、身体的形質を含み得る。ソフトバイオメトリクスはまた、スマートフォンのジャイロスコープ／加速度計によって検出されるような運動、眼球追跡アルゴリズムによって検出されるような眼球運動特性、ならびに顔および／または頭の動きを追跡することによって検出されるような頭部運動特性を含み得る。そのようなバイオメトリック特徴は、既存のバイオメトリック分析アルゴリズムだけでなく前述の方法にも従って、抽出および特性化できる。加えて、ユーザのバイオメトリック特徴の追加の特性化は、ステップ３２０で生成されるバイオメトリック識別子の一部として符号化することができ、あるいはそうでなければ、指紋バイオメトリック識別子を含む複合バイオメトリック識別子に、例えば、複数のバイオメトリック識別子を融合することによって含めることができる。

１つまたは複数の例示的な実施形態では、指の画像キャプチャは、スマートフォンなどの携帯用デバイスを使用して、ユーザによって通常実施されるよりもかなり遠方で実施できる。例示的な実施形態は同様に、短距離から長距離の可能な画像取得様式を用いて、画像をキャプチャするように構成されたシステムを使用して実装できる。遠方での画像取得は、レーザー集束ベースのシステムおよびソナーベースのシステムだけでなく、例えば、望遠レンズを使用する様々な種類の光学ベースのシステムなどの光学様式を用いて実施できる。これらのタイプのより長距離の画像キャプチャ様式の適用は、法執行機関、軍隊、諜報機関にとって重要である場合があり、最終的には商業環境に展開され得る。

また、対象者が静止していない間に画像キャプチャを実施でき、そのような実装は、本明細書では指紋移動（ＦＯＭ：Ｆｉｎｇｅｒｐｒｉｎｔ ｏｎ ｔｈｅ ｍｏｖｅ）システムと呼ぶ。このタイプの日和見主義のキャプチャは、内密の操作および／または監視モードでこの仕事を任された特別なオペレータに、人の指紋が見えるようになったとき、時間をかけて同時に行われ得る。

遠方でキャプチャするために、超解像法を実装して、複数のフレームからのデータを使用することによって、模様の品質を向上させ、異なるフレームからの部分模様領域を、より大きな模様画像につなぎ合わせることができる。非限定的な例として、複数の画像キャプチャに基づいて識別子を生成するために超解像法を実施し、それを使用して識別／認証を実施するための例示的なシステムおよび方法は、本明細書および同時係属で譲受人に譲渡された、２０１４年１０月１５日出願の米国特許出願番号第６２／０６６，９５７号、発明の名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＩＲＩＳ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＶＥＲＩＦＩＣＡＴＩＯＮ ＵＳＩＮＧ ＭＯＢＩＬＥ ＤＥＶＩＣＥＳ ＵＴＩＬＩＺＩＮＧ ＶＩＳＩＢＬＥ ＳＰＥＣＴＲＵＭ ＬＩＧＨＴＩＮＧ」に記載されている。

加えて、指紋の採取および識別を実施するための前述の手順は、ＮＩＲ光およびＩＲ光スペクトルでキャプチャした画像を使用して、ならびにＮＩＲおよび／またはＩＲ発光体を備えたデバイスを使用して、同様に実施できることが理解されよう。この実装は、追加のバイオメトリック要素として、静脈パターン識別を組み込むのに特に有用であり得る。非限定的な例として、ＮＩＲおよびＩＲ発光体を使用してＮＩＲおよびＩＲスペクトル帯のバイオメトリック画像をキャプチャし、識別／認証を実施するための例示的なシステムおよび方法は、本明細書および同時係属で譲受人に譲渡された、２０１５年３月６日出願の米国特許出願番号第６２／１２９，２７７号、発明の名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＩＲＩＳ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＶＥＲＩＦＩＣＡＴＩＯＮ ＵＳＩＮＧ ＭＯＢＩＬＥ ＤＥＶＩＣＥＳ」に記載されている。

以下の議論は、本明細書でカメラ付きのモバイルデバイスに関して説明した、本発明の１つまたは複数の開示する実施形態による、光学指紋キャプチャシステムの性能を向上させるための例示的な手法、および例えば、接触スキャナを使用してキャプチャされる、他のタイプのセンサを使用してキャプチャされる模様と、非接触光学システムの出力とを照合するための方法について説明する。非接触光学システム（例えば、カメラ）を使用してキャプチャされた画像は、本明細書では「４Ｆ」または「４Ｆ画像」と呼ばれる。そのような画像は、光学システムを使用して、指とセンサ／検出器との間で接触せずにキャプチャされるため、三次元物体の画像である。従来の接触スキャナを使用してキャプチャされた画像は、本明細書では「フラット」または「フラット画像」と呼ばれる。そのような「フラット画像」は、通常、指がスキャナ／センサに接触してキャプチャされるため、画像は物体の二次元表面を表す。

性能を向上させるために、個々の指の照合性能においてばらつきを考慮し（スコア融合と呼ぶ）、未知の縮尺をすり抜け／指紋の縮尺を推定しながら、最高品質の特徴点の選択を最適化し、複数の指およびテンプレートにわたって一致スコアを組み合わせる方法、ならびにユーザ登録のために詳細を改善する方式を、本明細書で提供する。

異なるデバイスでキャプチャされた模様を照合するために、例示的なシステムおよび方法により、模様の歪みの問題を解決する。各キャプチャ技法で、それ自体の歪みのタイプがもたらされ、それゆえ照合性能が劣化する。また本明細書には、訓練プロセスを通じて歪みに対して頑強になり、したがって従来の指紋照合機をしのぐことができる、畳み込みニューラルネットワークを指紋照合分野に適用するための方法も記載する。

加えて、さらに本明細書には、複数の画像から指の３Ｄ形状をデジタル再構成することによって、単一のカメラで光学模様キャプチャのためのなりすまし表示を検出する方法を記載する。利用可能なハードウェアが限られているため、これは特にモバイルデバイスでのキャプチャに適用できる。

例示的な特徴点選択パイプライン

制御されていない環境で、異なるハードウェア、すなわち、照明、背景およびレンズを用いて、光学的にキャプチャされた模様から特徴点を抽出する。したがって、画像は、実際には光学模様キャプチャのアーチファクトである特徴点として検出される、特徴を包含し得る。フラットベッドスキャナもまた、類似の問題（汚れ、染みなど）を被るが、追加のアーチファクトは、背景の物体、焦点不良の領域、レンズ上の跡、および通常はキャプチャされないスキャンされたキャプチャ内の他の手の特徴によって引き起こされることがある。例えば、はっきりと写真の中に見ることができる指の端は、フラットベッドスキャンされた模様には存在せず、隆線が指の境界で終わる場所に、誤った特徴点が表示されることがある。

例示的なシステムおよび方法は、予期しない環境での障害を防止しながら、人工的なおよび／または低品質の特徴点に対して最適に選択し、大部分が誤って人工的／低品質と見なされる可能性がある場合には、依然として最良の特徴点を選択するように、一連の操作を用いる。

検出される特徴点には、いくつかのフィルタリングアルゴリズムの影響を受ける、品質スコアが割り当てられる。特徴点は削除されず、それらの品質に従って選択リストに順序付けされるだけであり、ある閾値が与えられて、一番上の特徴点が選択される。これにより、多くの特徴点が間違って破棄された可能性がある場合に、頑強さを提供しながら、典型例では特徴点の信頼性の高い選択を維持する。

初期品質スコア
Ｂｏｚｏｒｔｈ ＮＩＳＴ照合機に含まれるような特徴点抽出アルゴリズムは、通常、接触模様の品質を評価するように設計されているアルゴリズムによって判定される、品質スコアを提供する。例えば、模様に染みがある領域を判定する。ぼやけた領域またはレンズの汚れが、隆線のコントラストに類似の影響を与える可能性があるため、同じアルゴリズムが光学的にキャプチャされた模様にも同様にうまく適用される。したがって、例示的なシステムおよび方法は、特徴点に対する初期品質スコアとして、既製の特徴点抽出器によって生成される品質スコアを使用する。

特徴点連鎖のフィルタリング
図７Ａは、本明細書に開示する少なくとも１つの実施形態による、指のキャプチャ画像７００、ならびに指の上および指の間で検出される対応する特徴点を示す。図７Ａに示すように、多数の特徴点が指先の上および周囲に検出され得る。特徴点は、特徴点の場所を示す点（例えば、７０２）と、特徴点の特徴の方向に配向する尾部（例えば、７０４）とによって示される。示すように、例えば、特徴点は、対応する品質スコアを意味する様々な点（すなわち、丸い点７０２はより高品質の特徴点を表し、四角い点（図示せず）は平凡な品質を表し、三角形７０６の点は最低品質の特徴点を表す）を使用して描写できる。図７Ａは、指７１０間で誤って検出された特徴点（三角形の点として示される、誤って検出された／不良な特徴点）を示す。以下に詳述するアルゴリズムを使用することによって、システムは、制約に基づいて連結された特徴点の連鎖（例えば、７１２、７１４）を見つけ、そのように誤って検出された特徴点を実質的に抑制し、照合プロセスの性能および速度を大幅に向上できる。この方法の高い信頼性によって、問題を起こすすべての特徴点を、それらの品質スコアにゼロを掛けることによって、品質で順序付けられた選択リストの末尾に移動させることができる。

誤った特徴点の連鎖を見つけるためのアルゴリズムは、一定の制約を与えられた、より長い連鎖を作成することによって機能する。具体的には、システムは、レベルごとのマイニング技法を使用することができ、最初にレベル１で、システムは、特徴点のすべての対を得ることによって、連鎖する特徴点の部分集合を構築し、次に、（ｉ）対が閾値ｄより大きい距離を有する場合、および（ｉｉ）特徴点の配向間の角度差が、閾値θよりも大きい場合、この部分集合から対を除去する。第２のレベルでは、以降のレベルでも同様に、システムは、より小さい連鎖をマージすることによって、より長い連鎖を構築する。つまり、２つの連鎖が各々、Ｎ個の特徴点の長さを有し、それらの連鎖の中でＮ−１個の特徴点を共有している場合、２つの連鎖を組み合わせ、Ｎ＋１個からなる単一の連鎖にマージする。以降のレベルでは、Ｎ＋１個の長さの連鎖がマージされて、Ｎ＋２個の長さの連鎖などが作成される。いくつかの実装形態では、５個の連鎖の長さが得られるまでアルゴリズムを実行することで十分である可能性があり、より長い連鎖を得るためのアルゴリズムを実行するのは冗長となり得るとテストは示した。しかしながら、実装形態によっては、より長い連鎖を得るためにアルゴリズムを実行すると効果的な場合がある。

背景特徴点の増強

背景画像の画素は、よく指紋の特徴点として解釈され得るが、通常、背景には焦点が合っておらず、特徴点は低品質のように見える。しかしながら、そのような特徴点は、前景の指から背景を分割し、特徴点の品質スコアを下げることによって識別できる。例えば、指が光源によって強く照らされていると仮定して、画像の輝度チャンネル上で閾値の分割を実施できる。

例えば、より信頼性の高い手法は、皮膚検出モデル（前述）を使用することである。特に、皮膚検出モデルの実装は、手の皮膚の色調を人工的に明るくするために採用できる。前景の指を分割するために、同じモデルを適用できる。

そのような用途の１つでは、指の検出システム（例えば、カスケード分類器）の結果によって、各指にＲＯＩ（関心領域／境界ボックス）が提供される。指先の画像は、元の画像を適切なＲＯＩでトリミングすることによって作成される。次に、画像の２０％を占める中央の正方形の領域を選択し、モデルを算出できる。これにより、検出アルゴリズムの最初の反復で適用される、初期の皮膚モデルが生成される。これは、指の検出システムが指の場所を正しく識別し、画像の中心がほぼ確実に皮膚を表す画素のみを包含するという仮定に基づいて機能する。次いで、皮膚検出アルゴリズムは前述のように進行し、モデルを適用し、各反復でモデルを更新する。

いくつかの実装形態では、結果は確率マップ（ｐマップ）であり、皮膚を表す画素は１に近い値であり、背景の画素はゼロに近い値である。ｐマップはさらに、バイナリマップを作成するために、例えば、０．５での閾値処理を必要とする可能性がある。

背景領域にある特徴点は、それらの品質値に小さな値（例えば、０．０１）を乗じたものである。この手法では、品質の点での特徴点の順序、および連鎖の一部であると判定される（ゼロの値を持つ）より上の特異点の位置も維持される。エラーが発生した場合（例えば、画像全体が誤って背景と判定される）、特徴点選択は影響を受けない。

最後に、固定閾値処理は信頼できない可能性があるため、システムは、例えば、大津の閾値処理方法（当業者には理解されるであろうように）を適用して、背景および皮膚によって生成される二峰性のヒストグラム内の閾値を動的に判定できる。このアルゴリズムは、例えば、画像内に皮膚のみが存在する場合には頑強である。

特徴点選択パイプライン

図７Ｂは、本明細書に開示する少なくとも１つの実施形態による、指のキャプチャ画像、および特徴点を選択するための例示的なパイプラインの段階全体にわたって処理された画像データを示す。特徴点選択のための例示的なパイプラインは、以下の通りとすることができ、図７Ｂに示す。

１．トリミングされた指は隆線の強調を受け、すべての可能な特徴点が抽出される（結果を画像７２２で図示）。
２．皮膚検出モデルを用いたバイナリ分割（結果を画像７２４で図示）。
３．背景領域にある特徴点の品質値は減少する（０．０１倍）（結果を画像７２６で図示）。
４．連鎖フィルタリングはすべての特徴点に適用され、品質スコアはゼロに設定される（結果を画像７２８で図示）。
５．品質スコアの観点から上位４０％の特徴点がテンプレート用に選択される（結果を画像７２４で図示）。

例示的な拡大縮小方法
４Ｆ指紋認識システムまたはスキャンデバイスからのキャプチャ画像は、異なる縮尺であってもよいため、照合性能を向上させるために、画像を類似の縮尺にするのが好ましい。さらに本明細書において提示するのは、この問題を克服するための異なる手法である。

最小コストでの拡大縮小
この手法は、異なる縮尺を適用することによって、対応する正しい特徴点間の距離を最小化し、それによって縮尺を誤った模様の影響を最小化することを目的としている。最高の一致スコアでの最善の縮尺を見つけることによって、システムは、模様の縮尺による照合プロセスへの影響を減らすことができる。

例えば、テスト用の模様は、システムを使用して、１０％刻みで８０％から１２０％の縮尺範囲にわたってテストされ、最良の一致スコアを取ることができる。これらのパラメータは、照合機の縮尺許容範囲などの要因に応じて調整できる。主に一方向に伸びている可能性がある、接触スキャナで撮影された模様と照合する場合は特に、Ｘ軸およびＹ軸を個別に拡大縮小することもまた効果的であり得る。

隆線の拡大縮小
あるいは、強調された指のトリミング画像の拡大縮小は、照合／比較されているプローブ画像およびギャラリー画像の局所の隆線数を利用することによって行うことができる（シナリオに適用可能：４Ｆに対して４Ｆ、またはフラットに対して４Ｆ）。

局所の隆線数は、局所の配向と垂直な方向における、局所エリア内の隆線間の平均距離の逆数である。当業者によって理解されるであろうように、隆線数を判定するための様々な方法が存在する。例えば、いくつかの構成では、Ｈｏｎｇら（Ｌ． Ｈｏｎｇ、Ｙ． Ｗａｎ、およびＡ． ＪａｉｎのＦｉｎｇｅｒｐｒｉｎｔ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ： ａｌｇｏｒｉｔｈｍ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０（８）：７７７〜７８９、１９９８年８月）により説明された手法を使用して、指紋画像の局所の隆線数を見つけることができる。しかしながら、局所の隆線数は、異なる指によって変化する可能性があり、また同じ指紋の異なる領域によって著しく変化する可能性もある。したがって、指の画像の局所の隆線数の中央値を、画像を拡大縮小するための測定基準として使用することが好ましい可能性がある。

プローブ指の画像の隆線数の中央値がｆ１であり、ギャラリー指の画像の隆線数の中央値がｆ２であると仮定する。例えば、隆線数の情報に基づいてプローブを拡大縮小するには、倍率Ｓ＝ｆ２／ｆ１である。この倍率を使用してプローブ画像の幅と高さを拡大縮小すると、指紋の隆線の解像度はギャラリー画像の解像度に非常に近くなる。

この手法によって、ギャラリー画像を必要とせずに、またはギャラリー画像の隆線数の中央値を計算することなく、プローブ指の画像を正規化するように拡張できる。文献では、バイオメトリック用途における処理および照合を成功させるためには、１ポイントを１画素または１ドットとして、画像解像度５００ポイントｐｐｉ（ｐｏｉｎｔｓ ｐｅｒ ｉｎｃｈ）が必要であると推奨されている。この解像度では、例えば、隣接する隆線間の距離はおおよそ９画素である。９画素を、５００ｐｐｉの解像度を有する指紋画像を取得するための波長とみなすことによって、システムは、その隆線数の中央値に基づいてプローブ指紋画像を拡大縮小できる。したがって、正規化倍率ＮＳ＝ｆ２＊９で、プローブ画像を拡大縮小することによって正規化できる。経験的な結果に基づいて、正規化に使用される波長が、９画素ではなく８画素である場合、ある種の指紋（中指、薬指、小指）がより良い一致結果を得ることが分かった。

例示的なスコア融合プロセス
各指紋について様々な一致スコアを得た後、手全体としてより良い総合スコアを得るために、これらのスコアを組み合わせることが重要となる可能性がある。以下の議論では、片手の指の間、または同じ手の複数の例の間のいずれかで、スコアを組み合わせるための様々な手法を提示する。

複数の指紋によるスコア融合
１本の指が他の指と一致するかどうかを判定する１つの手法は、テストされたデータからのスコアの算出に基づいて、カットオフ閾値を判定することであり、それによって特定の他人受入率が提供される。しかしながら、調査では、本物および偽者の照合分布は、指によって異なり、それゆえ、４本の指すべての結果を単一の閾値を使用して組み合わせると、結果が低下する可能性があると示されている（例えば、カメラアングル、照度に対する角度、ｃｃｄにわたる焦点などの結果）。その結果、スコアを足し合わせることによって、指紋全体でスコアを組み合わせると、場合によっては悪い結果が生じる可能性がある。

この問題を解決する１つの例示的な方法は、各指の確率モデルを独立して推定し、次いで、これらのスコアを確率的に組み合わせて、手全体が一致する１つの確率にすることである。したがって、確率を使用して、システムは理論的に、異なる分布を説明する個々の指からの照合結果を、正確に組み合わせることができる。

例えば、これは、各指の確率分布（例えば、ガンマ分布）を、偽者および本物両方のスコア分布に当てはめることによって行われ得る。この手法は、尤度比検定に基づいており、本物および偽者の一致スコアの密度を明示的に推定する必要がある。密度ベースの手法には、スコア密度が正確に推定されている場合、任意の望ましい動作点（ＦＡＲ）で、最適な性能が直接達成されるという利点がある。

ユーザが本物である（Ｐ（Ｓ｜Ｇ））と仮定した場合のスコアの尤度は、ユーザが偽者である（Ｐ（Ｓ｜Ｉ））と仮定した場合のスコアの尤度と同様に、近似曲線を確率密度関数として使用して判定できる。単純な場合では、一致スコアを（Ｐ（Ｇ｜Ｓ））と仮定した場合に、１本の指が本物である確率は、ベイズの定理を使用して次のように算出できる。

式中、Ｐ（Ｇ）は、ユーザが本物である確率であり、０．５と推定され（これは、利用可能であればデータから判定可能）、Ｐ（Ｓ）は、本物であるか偽者であるかに関係なく、スコアの確率である。

Ｐ（Ｓ）＝Ｐ（Ｓ｜Ｇ＝０）・Ｐ（Ｇ＝０）＋Ｐ（Ｓ｜Ｇ＝１）Ｐ（Ｇ＝１）

手全体が本物である確率を算出するために、システムは４本の指に積を適用できる。

プロセッサ上で算出するとき、確率が非常に小さい場合には、数値の不安定性から保護が必要であることに留意されたい。これは、例えば、対数空間で算出することによってなされ得る。

複数のテンプレートによるスコア融合
この手法では、登録および／または検証用の複数のテンプレートを使用する。登録および検証テンプレートのすべて（または一部）の組み合わせを照合することで、本物と偽者とを区別するシステムの能力が向上する。両方の複数のテンプレートを使用すると、単一のテンプレート内に存在する可能性がある、低品質領域の影響が最小限に抑えられ、指の中の領域のキャプチャを改善したり悪化させたりする可能性がある、変形の原因（例えば、キャプチャの角度）がより覆い隠される。

一例として、システムは、３つの登録テンプレート、つまり、ユーザの手の画像を３つキャプチャでき、１つの手あたり４つの指テンプレートを抽出し、指テンプレートは合計１２個となる。認証するためには、単一の検証テンプレートが使用できる（４つの指テンプレート）。各指に対して、システムは３回の照合を実施し、それらのスコアを組み合わせることができる。スコアの組み合わせは、例えば、合計、中央値、または確率的手法（複数の指紋によるスコア融合）など、任意の形式を取り得る。

複数テンプレートスキーマ―登録時にキャプチャ
登録時に複数のテンプレートをキャプチャすると、ユーザが登録を完了するのに必要な時間が増えるが、２つの重要な利点が得られる。第１に、検証するユーザに必要とされるのは、単一のテンプレートのみをキャプチャすることであり、手早く済む。第２に、システムは、登録テンプレートを処理して、テンプレートを相互照合することによって、ユーザの適合性を評価できる。これにより、質が低下した模様を持つ人々を、早期に拒絶したり、任意の物体を登録する試みが可能になる。これは、品質の低い登録による、検証中のセキュリティホールを軽減するのに役立つ。

例示的な指に基づく実在性検出方法
現実の手となりすましとの間の差異を判定する方法は、手もしくは指の三次元（３Ｄ）形状が予想通りであること、および／またはなりすましについて予想されることとは異なることを確認することである。

例示的な一実施形態では、ユーザの指の２つの画像を異なる角度から撮影することができ、指の形状が推定され、現実の指に対する適合の近さに関して測定基準が作られる。形状が、現実の指から予想される形状に十分近い場合、実在性試験に合格する。

１つの場所で画面上に手のガイドを最初に表示することによって、２つの画像がユーザから収集され得る。ユーザが自分の手をガイド内に位置付けた後、画像が撮影され、次いで、ガイドが別の場所に移動し、ユーザに自分の手を新しい場所に移動させるように促す。ユーザが自分の手を新しい場所に移動させると、第２画像がキャプチャされる。より頑強な手の３Ｄモデルを構築するために、２つよりも多い画像を使用できる。手の３Ｄモデルを生成する算出効率のよい方法は、水平方向に変位した場所から、２つの指の画像を収集することであり、その後、従来の技術でよく知られているように、対応の照合を実施して、深さマップを作成する。

図８Ａは、（ａ）異なる場所（指に沿って移動）でユーザから収集された２つの指の画像、（ｂ）および（ｃ）対応する指を整列させるように生成される、垂直および水平エッジマップ、（ｄ）２つの画像からトリミングされて強調された中指を示す。

これら２つの指の画像が、回転方向および垂直方向に整列され、同じように拡大縮小される場合に、対応の照合はより効率的になり得る。このアライメントは、指の間に影線を置き、指が水平になるまで回転させることによって実行することができる。垂直方向のアライメントは、指の先端を見つけて整列させることによって実行され得る。拡大縮小は、各指の間の影線間の距離を正規化することによって実行され得る。適切なアライメントの後、ヒストグラム平坦化アルゴリズムを使用して、指の画像をトリミングして強調する。

２つの指の画像間の視差マップは、ブロックマッピング法を使用して、画素ごとに算出できる。実在性検出には、指の方向に沿った視差のみを使用する。次いで、二次多項式表面モデルを使用してマップを適合させ、ノイズを低減する。図８Ｂは、現実の指（８００ａ）および２Ｄ写真（８００ｂ）からの視差マップを示す。指の３Ｄ特性により、視差マップ８００ａにおいて、指に垂直な方向に曲面が見られる。対照的に、なりすまし画像からの視差マップ８００ｂは、すべての点が２Ｄ表面からであるため、はるかに平坦である。次に、垂直線の各々の曲率が計算され、実在性を判定するために使用され、各指の実在性をチェックすることによって、実在性が最終的に決定される。図８Ｃは、現実の指（８００ｃ）に対する視差マップデータ（点８１０）および数学的に適合された表面８１５を示し、図８Ｄは、２Ｄなりすまし写真（８００ｄ）に対する視差マップデータ（点８２０）および数学的に適合された表面８３５を示す。

例示的な歪み補正方法
歪んだ画像における指紋照合の課題を解決するために、様々な手法が適用されてきた。この歪みによって、指紋の特徴点間の空間的関係が変化し、指紋照合機が正しい一致を見つけるのが妨げられる。以前の手法はいくらか成功していたが、大部分が同じセンサから得られた指紋の照合に重点を置いていた。また、それらの手法が扱っている歪みは、大部分が画像内のアーチファクトから生じる。

本明細書に開示する例示的なシステムおよび方法は、この問題をより困難なレベルで解決することを目的としている。第１に、単一のキャプチャデバイスに加えて、システムは、２つの異なる画像キャプチャ技法から得られた指紋を照合するために、さらなる試みを行うように構成される。具体的には、例えば、第１の技法で、検証のために携帯電話デバイス上のカメラを使用して、指の画像をキャプチャし、第２の技法ではまた、登録のためにカメラではなく、指紋スキャンデバイスを使用することもできる。第２に、これらのデバイスによって導入される歪みのタイプは著しく異なり、照合に新たな問題を引き起こす。

前述の両方の画像キャプチャ技法は、画像の歪みを含むが、各技法によってもまた、それ自体の歪みのタイプが導入され、それによって新しい課題を引き起こす。

本明細書に開示する例示的な非接触指認識技術を使用して、携帯電話でキャプチャされる画像では、画像の中心が最も歪んでいない可能性がある一方で、指の最も外側の領域がより大きく歪み得る。これは指の曲率が原因で現れ、最も大きい歪みは、最も高い曲率を有する領域、すなわち、指の境界によってもたらされる。

以後フラットと呼ぶ、フラットベッドスキャナから得られる画像では、曲率の歪みはほとんどまたは全くない一方、しかしながら、指紋の異なる部分に局所の歪みがある。これは、スキャナの表面に指で、異なる圧力点が加えられているためである。また、これら局所の歪みは、指紋中でかなり異なる可能性がある。

単一のセンサタイプを使用して照合する場合、登録および検証の両方の指紋は、同じ歪みタイプからなる。しかしながら、異なるキャプチャデバイスの場合、登録画像は、例えば、スキャナからである可能性があり、検証画像はモバイルカメラからであり得る（例えば、「４Ｆ」または「４Ｆ画像」）。したがって、照合プロセスは、異なるタイプの歪み間で正しい一致を見つけるよう試みるように構成される。

上述の技法は、フラット照合問題に対して、指の画像に取り組むのを助けるために使用できるが、以下の議論は、とりわけ、この問題を解決することを目的とし、指認識システムの性能を大幅に改善できる。

薄板スプラインを用いた歪みモデリング
当業者によって理解されるであろうように、歪みモデリングのために様々な方法が存在する。例えば、いくつかの構成では、ＲｏｓｓおよびＮａｄｇｉｒが説明した手法（Ｒｏｓｓ Ａ．およびＮａｄｇｉｒ Ｒ．、「Ａ ｔｈｉｎ−ｐｌａｔｅ ｓｐｌｉｎｅ ｃａｌｉｂｒａｔｉｏｎ ｍｏｄｅｌ Ｆｏｒ ｆｉｎｇｅｒｐｒｉｎｔ ｓｅｎｓｏｒ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ Ｄａｔａ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｅｎｇｉｎｅｅｒｉｎｇ、第２０巻、Ｎｏ．８、Ｐ１０９７〜１１１０、２００８年）、すなわち、薄板スプラインを用いた２つの歪みタイプ間のマッピングをモデル化できる。このモデルを携帯電話の画像から得られた特徴点に適用することにより、システムは、それらの特徴点を、表面画像上の対応する正しい特徴点にマッピングし、検証に使用するように構成できる。これにより、照合機は２つの画像タイプ間に、より多くの対応する一致を見つけることが可能になる。

歪みに頑強な照合機
以前の手法は、通常、照合プロセスの前後に適用される。しかしながら、この歪みに頑強な照合機の手法を適用する際には、照合機内のパラメータを調整して、より高いレベルの歪みを許容することができる。これにより、より高度の歪みを受ける正しい照合を、一致させることが可能になり、その結果、より正確な一致が得られる。

スキャンデバイスを用いた歪み補正：
この手法では、例示的なシステムおよび方法は、歪みの問題が画像キャプチャ段階で解決されるように構成される。指紋をキャプチャしながら同時にスキャナを使用して、システムは、人の指によって加えられた圧力を、その方向および大きさに関して記憶する。これが指を横切るベクトルとなり、そのベクトルを画像およびその特徴点に適用することによって、システムは、圧力の結果として生じた歪みを拡散して再マッピングできる。

ＣＮＮを用いた例示的な指紋照合方法
特徴点ベースの抽出器および照合機を使用する代わりとして、システムを使用して畳み込みニューラルネットワーク（ＣＮＮ）を適用して、検証指紋を登録画像と照合もできる。既存の「ＧｏｏｇｌｅＮｅｔ」または「ＡｌｅｘＮｅｔ」など、様々なネットワークを訓練プロセスに使用できる。システムが訓練で用いる各データセットは、次のタイプの画像から成ることができる。

１）ＲＧＢ画像：これらのタイプの画像は、４つの指または平手（Ｓｌａｐ）画像のトリミングされた指紋である。
２）グレースケール：ＲＧＢ画像をグレースケールに変換する。
３）隆線強調画像：グレースケール画像を使用し、以前の特許で概説した指紋強調技術を使用して強調を実施する。
４）隆線画像：指紋画像から隆線を検索して作成する強化画像に対して、隆線部作成を実施する。これにより、指紋の隆線の二値画像が生成される。
５）強調隆線画像の組み合わせ：強調画像からの有用な情報を最大化するために、強調画像および隆線画像を組み合わせる。

以下の実施形態では、ＣＮＮを使用して、指の画像（４Ｆ）から４Ｆへ、または４Ｆからフラットへの適用において、指紋の照合を実施する異なる手法を説明する。

実施形態Ａ
ＣＮＮは、指紋照合プロセスの一部として使用できる。この手法は、各人の指がクラスであるＣＮＮの訓練を伴う。訓練は人の指紋の様々なインスタンス を含むことができ、試験／照合は、以前に見た人の、まだ見たことがないインスタンスに対して実施される。したがって、この手法を使用することによって、試験される指紋は以前に見た人に分類される。

実施形態Ｂ
システムはまた、以前のモデルを使用して、以前に見たことのない人を識別し検証もできる。この手法では、新しい人が確率のベクトルを取得し、このベクトルの各値は、その人が特定の人にどれだけ類似しているかを表す。このベクトルは、識別および検証において、その人を表すために使用されることがある。

実施形態Ｃ
以前の場合、モデルは一定数の人々に対して訓練された。これにより、以前に見た人達に対して高い分類性能を提供するが、新しい人を認証する必要がある場合、ＣＮＮは以前に見た人達を完全に表すことができない場合がある。ＣＮＮの特徴を、個人に固有の特徴から一般的な指紋の特徴に変更するには、２段階の訓練プロセスが使用できる。１つ目は、１対多の場合の分類と同様に、ＣＮＮの訓練を伴う。しかしながら、第２の訓練フェーズは、分類モデルの訓練を継続する、類似性学習に基づいて実施される。この新しいモデルは、分類段階に存在していなかった、以前に見たことのない人達に使用できる。

例えば、訓練された類似性学習モデルを用いてＣＮＮを適用することによって、以前に見たことのない検証指紋、および登録指紋の両方に対する特徴ベクトルを得ることができる。２つの指紋を比較することで、検証を実施することができ、それらの指紋が類似していればいるほど、正しい一致である可能性が高い。したがって、この手法は、登録および認証したい、あらゆる新しい人達に使用することができる。

実施形態Ｄ
ＣＮＮはまた、大規模な識別のためにも使用できる。例えば、以前の手法は、１対多の場合に識別を実施するように適用できる。ここでは、識別したいすべての人達に対するベクトルが得られる。指紋の新しいセットが与えられると、新しい人の指紋を表すためのベクトルを得られる。このベクトルを他のすべての人達のベクトルと比較し、各比較について類似度尺度（ユークリッド距離など）を取得することによって、最も高い類似度を持つ対を識別できる。この場合、その人は、最も高い類似性を得た人物として識別される。

実施形態Ｅ
４ＦからフラットへのシナリオにＣＮＮを適用するには、以前の手法に加えて、４Ｆおよびフラット両方の実例画像が、同じタイプの画像、例えば、組み合わせた強調隆線画像であれば、訓練データ内にまとめて置くことができる。これによって、ＣＮＮが、両タイプの指紋の間で、共通の特徴を学習することを可能にする。

実施形態Ｆ
４Ｆからフラットへのシナリオに対する別の手法は、４Ｆおよびフラット画像の個々のモデルを訓練し、類似性学習を使用して各モデルを再訓練し、次に、４Ｆおよびフラットベクトル間のマッピングを見つけることである。その後、このマッピングは、照合で本物または偽物のベクトルを予測するために使用できる。
４Ｆ指紋からフラットへの変換器
検証４Ｆ画像を登録フラット画像と照合する性能を向上させるために、ＣＮＮを使用して、４Ｆ検証画像をフラット検証画像に変換できる。これによって、システムが、変換された検証フラット画像を、登録フラット画像と照合することを可能にする。例えば、Ｇａｔｙｓらが提案した方法（Ｌｅｏｎ Ａ． Ｇａｔｙｓ、Ａｌｅｘａｎｄｅｒ Ｓ． Ｅｃｋｅｒ、Ｍａｔｔｈｉａｓ Ｂｅｔｈｇｅ；Ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０１６年、Ｐ２４１４〜２４２３）を使用して、画像を別のスタイルに変換できる。この場合、システムは、４Ｆ画像を変換して、フラット画像のように見せることができる。

ＣＮＮ特徴点抽出およびフィルタリング
ＣＮＮはまた、指紋内の特定のパターンを検出するようにも使用できる。ＣＮＮを訓練することによって、システムは特徴点を検出し抽出することができる。これには、様々な特徴点のタイプ、それらの異なる回転、縮尺、および変換された中心の場所を包含する、指紋画像のパッチに関する訓練を伴い得る。加えて、訓練されたモデルを適用した結果として低いスコアを得る、特徴点パッチをフィルタリングする類似の手法を使用できる。

ＣＮＮ指紋タイプ分類器
この手法を使用することで、システムは指紋のタイプ（渦巻き、アーチなど）を分類し、この情報を使用して、互換性のない指紋の照合を回避できる。システムは、各フォルダが指紋タイプのクラスを表すデータセットを作成することによって、これを実施し得る。ＣＮＮを訓練することによって、システムは、各指紋がどのように見えるかを学習でき、モデルを試験用の指紋に適用することによって、システムは、その指紋タイプのクラスを予測できる。

ＣＮＮベースのぼやけ分類
ＣＮＮはまた、画像がシステムによって要求される品質基準内であるかを判定するように、訓練され利用され得る。一例は、４Ｆシステムを使用してキャプチャできる、ぼやけて使用できない画像を自動的に検出することである。ＣＮＮは、鮮明（Ｓｈａｒｐ）およびぼやけ（Ｂｌｕｒ）の２つのクラスに基づいて分類する。画像がぼやけていると分類され、使用不可能と見なされた場合、４Ｆシステムはユーザに別の画像キャプチャを要求する。これには、各々ぼやけているクラスおよび鮮明なクラスを表す、２つのフォルダから成るデータセットで、ＣＮＮを訓練する必要があり、各フォルダには、各クラスを表す画像が存在する。

ＣＮＮ実在性検出
ＣＮＮネットワークは、本物の画像となりすまし画像を検出して区別するように訓練することができる。この手法では、ネットワークは、（ｉ）任意の技法を使用してキャプチャできる本物、および（ｉｉ）様々なプレゼンテーション攻撃より取られた画像から成る場合がある、なりすましの２つのタイプの画像で構成されるデータセットに関して訓練される。これには、各々本物のクラスおよびなりすましのクラスを表す、２つのフォルダから成るデータセットで、ＣＮＮを訓練する必要がある可能性があり、各フォルダには、各クラスを表す画像が存在する。

最適閾値の発見
ＣＮＮを使用して、システムは、固定閾値ではなく超平面を使用して、本物のスコアと偽者のスコアとを分離できる。ユークリッド距離の合計を取るのではない、ＣＮＮの場合、システムは、要素ごとの減算を実施し、次いで、固定の一次元閾値の代わりに超平面を当てはめるために、本物のベクトルおよび偽者のベクトルを機械学習アルゴリズム（例えば、ＳＶＭ）に供給し得る。このように、特徴ベクトル内の各特徴は、それらをすべて単一のスコアに組み合わせていた以前とは異なり、保存される。加えて、いくつかの特徴は、より識別力が低い可能性があるので、機械学習アルゴリズムによって、より識別力の高い特徴により多くの注意を向けることができる。

ＣＮＮデータセット拡張
ＣＮＮは通常、信頼できるモデルを取得するように、大規模なデータセットに依存する。データセットは、データセット内の既存のインスタンスを修正して、新しいインスタンスを生成することで拡張できる。これらの修正には、画像のアスペクト比または色空間の回転、変換、拡大縮小、トリミング、変更を含むことができる。例示的な手法では、図９に示すように、アスペクト比を回転、拡大縮小、および変更することによって、単一の指紋のみの多数のインスタンスを得ることができる。図９は、指紋の修正に基づくそのような拡張データセットを示す。

ＣＮＮベースの個人の顔分類器
顔認識の目的のために、従来ＣＮＮは顔面全体画像について訓練されるが、システムは、顔の特定の領域について個々のＣＮＮを訓練し、次いで、各モデルからの全スコアを組み合わせることもできる。例えば、異なるＣＮＮを眉、目、口、鼻などについて訓練することができる。認識を実施するとき、システムは、テスト画像上で各モデルを別々に実行することができ、各モデルからスコアおよび／またはベクトルを取得する。次にシステムは、スコアとベクトルとを組み合わせて、最終認識スコアを得ることができる。

例示的な最適登録プロセス
良好な登録段階を持つことは、認証性能にとって非常に重要である。以下の議論では、登録中に収集されたデータが最適であることを保証するための手法について説明する。

テンプレート変形の最大化
登録品質を向上させる１つの方法は、複数のテンプレートをキャプチャすることである。複数のテンプレートを使用することによる改善は、変形を包含するテンプレートから生じる。すべてのテンプレートが同一であれば、たとえ高品質であっても性能は向上しない。したがって、登録表現および検証表現の両方が、同じ特徴を包含する尤度がより高いため、変形を最大化すると性能が向上する。

モバイルデバイスのカメラを使用して、画像をキャプチャする場合、３つの目立つ変形の原因、照明／環境、キャプチャ中の手の角度／位置、ユーザがどのように自分の指をくっつけて保持しているか（そうしている場合、指によってある模様領域が見えなくなる）がある。一例として、キャプチャとキャプチャとの間に、カメラの視野外に手を動かすようユーザを促す登録方式によって、単に迅速に連続して画像を撮るよりも、前述の変形の多くがキャプチャされる。

上記と組み合わせてシステムが実装できる、より洗練された手法は、ユーザが多くの異なる環境で認証しているという仮定の下で、認証試行が成功したテンプレートを使用することである。例えば、基本的な手法は、登録時に２つのテンプレートをキャプチャし、ユーザが最初に認証するときに、第３のテンプレートを追加することであろう（好ましくは、１つ、２つ、または３つのテンプレートを照合するために、システムを正しくパラメータ化するよう注意する）。しかしながら、この手法は、より長期間にわたってユーザの変化する模様に適応するという追加の利点と共に、より大きな変形を伴って登録テンプレートを継続的に更新ように、さらに拡張できる。

前述のように、照明源（通常、点光源ＬＥＤフラッシュ）および模様の隆線の入射角は、隆線のコントラストに大きな影響を与える。注目すべきことに、例えば、小指は通常、中指または人差し指ほど明るく照らされないが、手をより高く位置付けるとこれを改善できる。したがって、ユーザが、照明に対して様々な位置に自分の手を置くことは有益である。

システムを使用して実装される、そのような登録方式の１つは以下の通りであろう。ユーザに、自分の手の画像２つをキャプチャするよう要求する。第１画像に対しては、画面上の手ガイドが、中心を画面の上部に向かってずらして位置付けられ、指の追跡からのリアルタイムのフィードバックにより、ユーザは、自分の手をこのわずかに高い位置に置くように指示される。ユーザが手を離すと、次いで、第１登録画像を検証するよう求められる。２回目のキャプチャでは、手ガイドは、中心を画面の下部に向かってずらして位置付けられる。これにより、必要な位置の変形が登録に追加される。さらなる性能のために、確率モデルは、これらの異なる位置に対して独立して算出することができ、ユーザの手が特定の場所にあるとき、異なる指からの一致スコアを組み合わせるように、各々最適な方法を符号化する。これはもちろん、２つの位置に限定されず、手の位置の完全な２Ｄ配列へと拡張できる。

マルチビューのデータキャプチャ
画像の中心に置かれた手の４Ｆ画像をキャプチャするとき、焦点のぼやけおよび特定の領域に当たる光の欠如のために、特定の指の面積は、それほど多くの特徴点情報を提供しない場合がある。これは特に小指の場合である。これらの問題を回避するために、システムは「マルチビュー」技法を実装でき、手の３つの登録画像すべてを中央位置でキャプチャする代わりに、システムは、異なる場所、すなわち、図１０に示すように中央、左および右で手をキャプチャするように構成され、図１０は、各指紋からの特徴点データを最大化するように、登録段階でキャプチャされた「中央」、「左」および「右」の画像を示す。

この手法は、各指が少なくとも１つの画像できれいに見え、特徴点抽出のために最高品質でキャプチャされていることを保証するのに役立つ。検証画像を３つのマルチビュー画像の各々と照合することによって、３セットの指紋スコアを得ることができ、各指の最大値（または任意の他のスコア融合技法）を使用すると、システムはマルチビュー画像からの各指のはるかに優れた表示を有するため、各指に対してより信頼性の高いスコアを得ることができる。

システムが、標準登録またはマルチビューのどちらを使用するように構成されているかにかかわらず、この手法によって、最適なテンプレートを見つけるように、３つの登録画像にわたって各指の特徴点情報を組み合わせる。これは、次のステップで行うことができる。

１．異なるテンプレートを、それらの品質に基づいて、またはそれらを互いに照合し、他のテンプレートとの最も高い一致スコアを与えるものを判定することによって順序付ける。
２．反復最接近点を利用して対応の特徴点を見つけ、次に薄く遅いスプラインを使用してそれらを登録することにより、２番目に良いテンプレート（レジスタテンプレート）を最善のテンプレート（基準テンプレート）と整列させる。
３．境界ボックスを使用して２つのテンプレートをマージして、互いに非常に近い特徴点を見つけ、保持すべき１つを最善のテンプレート（基準テンプレート）から選び、保持された特徴点の品質尺度を、その一貫性を反映するように更新できる。
４．すべてのテンプレートがマージされるまで、ステップ２および３を繰り返すことができる。

この時点で、前述の説明の多くは、従来のスマートフォンデバイスを使用してキャプチャされる、ユーザのバイオメトリック特徴に従ってユーザを認証するためのシステムおよび方法に向けられてきたが、本明細書で開示するシステムおよび方法は、参照シナリオを越えて、シナリオ、状況、および設定において同様に展開および／または実装できることに留意されたい。

本明細書は、多くの特定の実装形態の詳細を包含するが、これらは、任意の実装または請求できるものの範囲に関する限定としてではなく、むしろ特定の実装の特定の実施形態に特有であり得る特徴の説明として、解釈されるべきである。本明細書において、別々の実施形態の文脈で説明する特定の特徴はまた、単一の実施形態において組み合わせて実装もできる。逆に、単一の実施形態の文脈で説明する様々な特徴はまた、別々にまたは任意の好適な部分的組み合わせで、複数の実施形態において実装もできる。また、特徴は、特定の組み合わせで作用するものとして上記で説明し、最初にそのように請求することもできるが、請求する組み合わせからの１つまたは複数の特徴を、場合によっては、その組み合わせから切除でき、請求する組み合わせは、部分的組み合わせまたは部分的組み合わせの変形を対象としてもよい。

同様に、操作は特定の順序で図面に描いているが、これは、望ましい結果を達成するために、そのような動作を示す特定の順序もしくは起こった順番に実施し、または図示するすべての動作を実施することを要求するものとして理解されるべきではない。特定の状況では、マルチタスキングおよび並列処理が有利な場合がある。また、上述の実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とすると理解されるべきではなく、説明するプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品に統合、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

本明細書で使用する用語は、特定の実施形態のみを説明する目的のためであり、本発明を限定することを意図するものではない。本明細書で使用するとき、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈で別に明示していない限り、複数形も含むことを意図している。さらに、本明細書で使用するとき、用語「備える」および／または「備えている」は、記載する特徴、整数、ステップ、動作、要素、および／またはコンポーネントの存在を特定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、および／またはそれらのグループの存在または追加を排除しないことが理解される。請求要素を修正する請求項で使用する、「第１」、「第２」、「第３」などの序数は、それ自体で、別の要素を上回る１つの請求要素の任意の優先度、優先順位、または順序、もしくは方法の動作を実施する時間的順序を暗示しないが、ある名前を持つ１つの請求要素と、同じ名前（序数の使用を別にして）を持つ別の要素とを区別するための単なるラベルとして使用され、請求要素を区別することに留意されたい。 また、本明細書で使用する表現および用語は、説明の目的のためであり、限定とみなされるべきではない。本明細書における「含む」、「備える」、「有する」、「包含する」、「伴う」、およびそれらの変形の使用は、その後に列挙される項目およびその等価物、ならびに追加の項目を網羅することを意味する。図面中の類似した数字は、いくつかの図面を通して類似の要素を表し、図面に関連して説明し図示する、すべてのコンポーネントおよび／またはステップが、すべての実施形態または構成に必要とされるわけではないことは理解されるべきである。

したがって、本システムおよび方法の例示的な実施形態および構成は、ユーザのバイオメトリクスに従ってユーザを認証するためのコンピュータ実装方法、コンピュータシステム、およびコンピュータプログラム製品を提供する。図中のフローチャートおよびブロック図は、様々な実施形態および構成によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表すことができる。また、いくつかの代替実装形態では、ブロックに示す機能は、図に示す順序とは異なる順序で行われてもよいことに留意されたい。例えば、連続して示す２つのブロックは、実際には、実質的に同時に実行されてもよく、または伴う機能性に応じて、時には逆の順序で実行されてもよい。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図内のブロックの組み合わせは、特定の機能もしくは動作を実施する専用ハードウェアベースのシステム、または特殊目的のハードウェアとコンピュータ命令との組み合わせによって実装することができることにも留意されたい。

上記の主題は例示としてのみ提供しており、限定として解釈されるべきではない。本明細書に記載する主題に対して、図示し記載する例示的な実施形態および用途に従うことなく、かつ続く特許請求の範囲に記載する本発明の真の精神および範囲から逸脱することなく、様々な修正および変更を加えることができる。

Claims (20)

1. 指紋認識を実施するための方法であって、
   カメラ、記憶媒体、前記記憶媒体に記憶された命令、および前記命令を実行することにより構成されたプロセッサを有するモバイルデバイスによって、対象者の複数の指を描く画像をキャプチャすることと、
   前記プロセッサが指検出アルゴリズムを使用して、１つまたは複数の前記画像に描かれている前記複数の指を検出することと、
   前記プロセッサで、セグメンテーションアルゴリズムを使用して少なくとも１つの画像を処理し、前記少なくとも１つの画像に描かれている、１本または複数の指のそれぞれの指先セグメントを識別することと、
   前記プロセッサを用いて、前記１本または複数の指について前記識別されたそれぞれの指先セグメントから、前記１本または複数の指の特徴を抽出することと、
   前記プロセッサを用いて、前記抽出された特徴を含むバイオメトリック識別子を生成することと、
   前記生成されたバイオメトリック識別子を前記メモリに記憶することと、を含む、方法。
2. 前記それぞれの指先セグメントから特徴を抽出する前記ステップはさらに、
   特徴点抽出アルゴリズムを使用して、特徴点の集合を検出することと、
   前記集合内の前記特徴点について、それぞれの品質スコアを計算することと、
   それぞれの特徴点の測定された特性および誤って検出された特徴点に対応する予想される特性に基づいて、前記特徴点の中から特徴点の連鎖を識別することと、
   前記集合から前記識別された特徴点の連鎖をフィルタリングすることと、
   前記それぞれの品質スコアに従って、前記バイオメトリック識別子に含めるために、前記集合内の前記特徴点の少なくとも部分集合を選択することと、を含む、請求項１に記載の方法。
3. セグメンテーションアルゴリズムおよび皮膚検出モデルのうちの１つまたは複数を使用して、前記少なくとも１つの画像の背景および前記それぞれの指先セグメントを描く前景を検出することと、
   前記背景に対応する検出された特徴点を、前記集合からフィルタリングすることと、をさらに含む、請求項２に記載の方法。
4. 所与の特徴点をフィルタリングする前記ステップが、前記所与の特徴点の前記それぞれの品質スコアを割り引くことと、前記所与の特徴点を前記集合から除外することとのうちの１つまたは複数を含む、請求項３に記載の方法。
5. 前記それぞれの指先セグメントを強調することであって、強調することは、皮膚検出モデルに従って皮膚を表さない画素を有する領域に対して、皮膚を表すと判定された画素を有する前記少なくとも１つの画像の領域を明るくすることと、指紋の溝と隆線とのコントラストを高めることとのうちの１つまたは複数を含む、こと、をさらに含む、請求項１に記載の方法。
6. 前記カメラを使用して、前記カメラに対して第１位置にある前記複数の指を描く第１画像をキャプチャすることと、
   前記カメラに対して第２位置にある前記複数の指を描いた第２画像をキャプチャすることであって、前記第１および第２位置は異なる、ことと、
   前記プロセッサで、前記第１および第２画像を整列させることと、
   前記プロセッサが前記整列した第１および第２画像を使用して、前記整列した第１および第２の指の画像に描かれた、少なくとも１本の指の三次元表現を生成することと、
   前記プロセッサで、前記少なくとも１本の指の前記三次元表現に基づいて、前記対象者の実在性（ｌｉｖｅｎｅｓｓ）を判定することと、をさらに含む、請求項１に記載の方法。
7. 前記第１および第２画像が、回転方向および垂直方向に整列し、前記垂直方向は、前記指が伸びている方向である、請求項６に記載の方法。
8. 前記整列させるステップは、
   前記第１および第２画像の各々について、そこに描かれている前記少なくとも１本の指の垂直および水平エッジを表すそれぞれのエッジマップを生成することと、
   前記それぞれのエッジマップに基づいて、前記第１および第２画像を整列させることと、
   前記それぞれのエッジマップに従って、前記第１および第２画像のうちの１つまたは複数を拡大縮小することと、を含む、請求項６に記載の方法。
9. 所与の画像から前記エッジマップを生成することは、
   前記所与の画像に描かれた前記指の間に、影線を検出することと、
   前記所与の画像に描かれた前記指のそれぞれの先端を検出することと、を含む、請求項８に記載の方法。
10. 前記三次元表現を生成する前記ステップの前に、指検出アルゴリズムを使用して、前記整列した第１および第２画像にそれぞれ描かれた前記少なくとも１本の指を検出することと、
    前記少なくとも１本の指を描く、前記整列した第１および第２画像を強調することと、をさらに含む、請求項６に記載の方法。
11. 前記三次元表現を生成する前記ステップは、
    前記プロセッサが前記整列した第１および第２画像を使用して、前記整列した第１画像に描かれた前記少なくとも１本の指と、前記整列した第２画像に描かれた前記少なくとも１本の指との視差を測定することを含み、
    １つまたは複数の所与の方向に沿って生じる前記視差に基づいて、実在性が判定される、請求項６に記載の方法。
12. 前記視差を計算する前記ステップは、
    前記整列した第１および第２画像の少なくともそれぞれの部分から、前記プロセッサがブロックマッピング法を使用して、前記第１画像および前記第２画像に前記少なくとも１本の指を描く画像の画素間の差を表す視差マップをそれぞれ生成することを含む、請求項１１に記載の方法。
13. 実在性を判定する前記ステップは、
    前記少なくとも１本の指に対する前記視差マップから前記プロセッサにより、前記マップ上の線の曲率を計算することであって、前記曲率は、１つまたは複数の方向で計算される、ことと、
    前記計算された曲率に基づいて、前記少なくとも１本の指が、実在性を表す三次元特性を有すると判定することと、をさらに含む、請求項１２に記載の方法。
14. 前記カメラで画像のフィードをキャプチャすることと、
    ディスプレイ上に前記プロセッサを用いて、ほぼリアルタイムで前記画像のフィードを表示し、前記フィード上に指配置ガイドを重ねることと、
    前記プロセッサが指発見アルゴリズムを使用して、前記フィードの１つまたは複数の画像に描かれたいずれの指をも検出することと、
    前記複数の指と前記ガイドとの整列が検出されると、前記カメラを用いて前記第１画像をキャプチャすることであって、前記ガイドは、第１位置にある、ことと、
    前記複数の指が前記ガイドと並んでいることを検出すると、前記カメラを用いて前記第２画像をキャプチャすることであって、前記ガイドは、第２位置にある、ことと、をさらに含む、請求項６に記載の方法。
15. 前記プロセッサを用いて、前記対象者の実在性を判定することをさらに含み、実在性を判定する前記ステップは、
    畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記識別されたそれぞれの指先セグメントの画像を処理することを含み、前記ＣＮＮは、実在する対象者からキャプチャされた指の画像、およびなりすました指の画像を含む、画像の２つのクラスに基づいて訓練される、請求項１に記載の方法。
16. 指紋認識を実施するための方法であって、
    カメラ、記憶媒体、前記記憶媒体に記憶された命令、および前記命令を実行することにより構成されたプロセッサを有するモバイルデバイスによって、対象者の複数の指を描く画像をキャプチャすることと、
    前記プロセッサが指検出アルゴリズムを使用して、前記画像の少なくとも１つに描かれている１本または複数の指を検出することと、
    前記プロセッサがセグメンテーションアルゴリズムを使用して、少なくとも１つの画像を処理して、そこに描かれている少なくとも１本の指のそれぞれの指先セグメントを識別することと、
    前記プロセッサを用いて、前記識別されたそれぞれの指先セグメントから、前記少なくとも１本の指の１つまたは複数の特徴を測定することと、
    前記測定された特徴に基づいて、前記少なくとも１つの画像を拡大縮小することと、
    バイオメトリック識別子を記憶することであって、前記バイオメトリック識別子は、前記それぞれの指先セグメントを描く、前記拡大縮小された画像の少なくとも一部分を含む、ことと、を含む、方法。
17. 前記測定された特徴は、指紋の隆線数であり、前記少なくとも１つの画像は、前記指紋の隆線数、ならびに所定の基準隆線数および目標解像度のうちの１つまたは複数に基づいて拡大縮小される、請求項１６に記載の方法。
18. 前記隆線数を測定することは、前記それぞれの指先セグメントの局所エリアにおける隆線間の距離中央値の逆数を計算することを含み、前記距離は、前記少なくとも１本の指の隆線の配向に対して垂直方向に測定される、請求項１７に記載の方法。
19. 前記目標解像度は、レガシーデータベースに記憶され、前記バイオメトリック識別子と照合するために使用される画像の解像度である、請求項１７に記載の方法。
20. 前記画像は、前記指から離れてキャプチャされ、それによって、三次元の指を描き、前記バイオメトリック識別子を生成する前記ステップは、
    畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記それぞれの指先セグメントの画像を、前記指先セグメントの二次元表面の画像へ変換することをさらに含み、前記ＣＮＮは、カメラを使用して離れてキャプチャされたそれぞれの指の第１画像、および接触スキャナを使用してキャプチャされた前記それぞれの指の二次元表面を描く第２画像を各々含む、画像の対に基づき訓練される、請求項１６に記載の方法。

Images