JP7021871B2 - 複数の生体認証器を用いたユーザ認証方法及びその装置 - Google Patents

Description

以下の実施形態は、複数の生体認証器を用いたユーザ認証方法及び装置に関する。

生体認識による認証技術は指紋、顔、紅彩及び血管などを用いてユーザを認証する。認証に用いられる生体情報はユーザごとに異なり、所持の不便がないだけではなく、盗用や模造の危険性が少なく、一生の間に変わることのない長所がある。一方、生体認識において、気温、照度、湿度などの認識環境に応じて誤認識などの限界が懸念されている。このような限界を克服するために様々な生体情報を同時に考慮する認証技術が活用されている。

本発明の目的は、生体認証器を用いたユーザ認証方法及び装置を提供することにある。

一側面に係るユーザ認証方法は、複数の生体認証器の終了ステージが一定の組合せに対応するように前記複数の生体認証器のそれぞれの終了ステージを設定するステップと、前記一定の組合せに基づいて前記複数の生体認証器を実行することによって複数の出力を生成するステップと、前記一定の組合せに基づいて前記出力を融合するステップと、前記出力を融合した結果を用いてユーザを認証するステップとを含む。

前記複数の生体認証器のそれぞれは、多重ステージによって個別認証結果を出力し得る。前記複数の生体認証器のそれぞれは、前記多重ステージのうち前記少なくとも１つの終了ステージに対応する個別認証結果を出力し得る。前記設定するステップは、予め決定した基準に基づいて前記複数の生体認証器のそれぞれの終了ステージを設定するステップを含み得る。前記予め決定した基準は、アプリケーションのタイプ、セキュリティーレベル、センシング環境、主認証あるいは補助認証の有無、及びユーザ選択のうち少なくとも１つを含み得る。

前記設定するステップは、前記複数の生体認証器のそれぞれの多重ステージのうち前記予め決定した基準による認証率（ｖｅｒｉｆｉｃａｔｉｏｎ ｒａｔｅ：ＶＲ）及び誤認証率（ｆａｌｓｅ ａｃｃｅｐｔａｎｃｅ ｒａｔｅ：ＦＡＲ）を満足するステージを終了ステージとして設定するステップを含み得る。前記複数の生体認証器は、互いに異なるモダリティの生体認証を行う。前記複数の生体認証器のそれぞれは、顔、指紋、紅彩、静脈、手相、耳の形状、及び心電図のうちいずれか１つを用いて生体認証を行う。

前記融合するステップは、前記複数の生体認証器の終了ステージの組合せに対応して予め準備された融合モデルのうち、前記一定の組合せに対応する融合モデルを用いて前記複数の生体認証器の出力を融合するステップを含み得る。前記ユーザを認証するステップは、前記複数の生体認証器の出力を融合した結果を前記設定された終了ステージに対応する閾値と比較することによって、前記ユーザを認証するステップを含み得る。

前記複数の生体認証器は指紋認証器を含み、前記指紋認証器は、登録指紋映像と入力指紋映像との間に重なる面積及びマッチングスコアを出力する第１ステージと、前記登録指紋映像と前記入力指紋映像を分割したブロックの間のマッチングスコアを出力する第２ステージと、を用いてステージごとの個別認証結果を出力し得る。

前記複数の生体認証器は顔認証器を含み、前記の顔認証器は、入力映像に反応してニューラルネットワーク内の複数のレイヤによって出力される特徴と、前記レイヤに対応して予め格納された登録映像の特徴とを比較することでレイヤごとの個別認証結果を出力し得る。

前記設定するステップは、前記複数の生体認証器のうちメイン認証器とサブ認証器を選択するステップと、前記メイン認証器の終了ステージと前記サブ認証器の終了ステージの組合せのうち、前記メイン認証器の終了ステージのレベルが増加するようにする組合せを選択するステップとを含み得る。

前記融合するステップは、前記設定された終了ステージの出力に対応する次元の入力ベクトルに基づいて、前記ユーザの認証のための最終認証結果を出力する融合モデルを用いて前記複数の生体認証器の出力を融合するステップを含み得る。

一実施形態に係るユーザ認証装置は、プロセッサと、コンピュータで読込むことのできる命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、複数の生体認証器の終了ステージが一定の組合せに対応するように前記複数の生体認証器のそれぞれの終了ステージを設定し、前記一定の組合せに基づいて前記複数の生体認証器を実行することによって複数の出力を生成し、前記一定の組合せに基づいて前記出力を融合し、前記出力を融合した結果を用いてユーザを認証する。

一実施形態に係るユーザ認証装置は、プロセッサと、コンピュータで読込むことのできる命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは予め決定した基準を含むユーザ認証要求を受信し、前記予め決定した基準に基づいて生体認証器の終了ステージを設定し、個別認証結果を生成するために前記設定された終了ステージに基づいて前記生体認証器を実行し、前記個別認証結果に基づいてユーザを認証する。

本発明によると、複数の生体認証器を用いたユーザ認証方法及び装置を提供することができる。

一実施形態に係るユーザ認証システムを示すブロック図である。 一実施形態に係るユーザ認証装置を示すブロック図である。 一実施形態に係る融合モデルを示すブロック図である。 一実施形態に係る融合モデルの認証率と誤認証率を説明する図である。 一実施形態に係る指紋認証器を示すブロック図である。 一実施形態に係る入力指紋映像の変形を通したマッチング過程を示す図である。 一実施形態に係る入力指紋映像の分割及びマッチング過程を示す図である。 一実施形態に係る顔認証器を示すブロック図である。 一実施形態に係る顔認証器に含まれたレイヤを示すブロック図である。 一実施形態に係るメイン認証器とサブ認証器を示すブロック図である。 一実施形態に係るユーザ認証方法を示した動作フローチャートである。 一実施形態に係る電子システムを示すブロック図である。

本明細書で開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明するための目的として例示したものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同じ参照符号は同じ部材を示す。下記で説明される実施形態は、ユーザ認証のために活用される。例えば、スマートフォンのようなモバイル機器、スマート自動車、及びスマート家電機器を用いるためのユーザ認証や電子商取引のためのユーザ認証に活用される。下記で説明される実施形態によると、ユーザ認証が必要なアプリケーションで要求するスペックに応じて柔軟にユーザ認証の正確度を向上させたりユーザ認証の速度を向上させることができる。

図１は、一実施形態に係るユーザ認証システムを示すブロック図である。図１を参照すると、ユーザ認証装置１１０は、ソフトウェアモジュール、ハードウェアモジュール、あるいはその組合せで実現され、各種のアプリケーションから認証要求を受信し、各種のアプリケーションで応答を送信する。ユーザ認証装置１１０は、各種のセンサを用いて測定された生体情報と予め登録された生体情報とを比較することで認証の有無に関する結果を生成し、生成された結果を認証要求に対する応答に送信する。以下で詳細に説明するが、ユーザ認証装置１１０は、複数の生体認証器を用いてユーザ認証を行う。複数の生体認証器は、それぞれ互いに異なるモダリティ（ｍｏｄａｌｉｔｙ）の生体認証を行い、少なくとも１つの生体認証器は多重ステージを介して認証結果を出力可能な認証器である。

図１に示すように、ユーザ認証装置１１０は通信のためにデバイス１９０に接続される。一実施形態によると、ユーザ認証装置１１０は、デバイス１９０に搭載されてもよい。後述するように、デバイス１９０は、タッチスクリーンディスプレイのようなユーザインタフェースを含む電子装置を有する。一実施形態によると、デバイス１９０は自動車のような車両であってもよく、当該の車両は一定の乗客を移動させる手段である。

ユーザ認証装置１１０は、複数の生体認証器を含む。このような複数の生体認証器は、メモリに格納されたプログラムの命令語を実行させるプロセッサで実現する。ユーザ認証装置１１０は、アプリケーションにより多重ステージの生体認証をサポートする生体認証器の終了ステージを設定し、設定された終了ステージに対応して複数の生体認証器の出力を融合することで、認証の有無に関する結果を生成し得る。以下、説明の便宜のために、複数の生体認証器のそれぞれの出力は「個別認証結果（ｉｎｄｉｖｉｄｕａｌ ｖｅｒｉｆｉｃａｔｉｏｎ ｒｅｓｕｌｔ）」と称し、複数の生体認証器の出力を融合した結果は「最終認証結果（ｆｉｎａｌ ｖｅｒｉｆｉｃａｔｉｏｎ ｒｅｓｕｌｔ）」と称する。例えば、マルチステージの生体認証をサポートする生体認証器の個別ステージから出力される結果、及びマルチステージの生体認証をサポートしない生体認証器から出力される結果は個別認証結果であり、認証要求に対する応答に送信される結果は最終認証結果である。最終認証結果は、アプリケーション１２０、１３０、１４０と関連し、ユーザの生体情報に基づいた身元を示す情報を含み得る。

最終認証結果は、アプリケーションでユーザ認証のために用いられる。このようなユーザ認証に基づいてユーザ認証装置１１０は、ロック解除命令信号（ｕｎｌｏｃｋｉｎｇ ｃｏｍｍａｎｄ ｓｉｇｎａｌ）を生成する。図１に示すように、ロック解除命令信号は、デバイス１９０に送信される。ロック解除命令信号は、生体情報を提供したユーザが登録されたユーザとマッチングされるかを示す情報を含む。

例えば、ロックアプリケーション１２０は、最終認証結果によって端末のロックを解除し、小額決済アプリケーション１３０や高額決済アプリケーション１４０は最終認証結果を用いてオンライン決済を行う。以下では、理解の便宜のために小額決済アプリケーション１３０と高額決済アプリケーション１４０とに分離して説明するが、小額決済アプリケーション１３０と高額決済アプリケーション１４０は１つのオンライン商取引アプリケーションに含まれたり、オンライン商取引アプリケーションで決済金額により実行される機能に含まれてもよい。ロックアプリケーション１２０、小額決済アプリケーション１３０、及び高額決済アプリケーション１４０を含む一定のアプリケーションは、ユーザ認証装置１１０を実現するデバイスの外部で実現されてもよい。このようなアプリケーションは遠隔サーバで実行され、通信インタフェースを介してユーザ認証装置１１０を実現するデバイスと通信する。このような通信インタフェースは、ユーザ認証装置１１０を実現するデバイスに含まれ得る。

アプリケーションのタイプに応じて、アプリケーションは、互いに異なる認証特性を有する。例えば、ロックアプリケーション１２０は、低いレベルのセキュリティーレベルでは速い認証速度を要求し、小額決済アプリケーション１３０は、中間レベルのセキュリティーレベルで中間レベルの認証速度を要求する。高額決済アプリケーション１４０は、認証速度が遅くても高いレベルのセキュリティーレベルを要求する。以上で、セキュリティーレベルが低いであったり、中間レベルであったり、高いという表現は、相対的に互いに異なる３個のセキュリティーレベルを表現するためのものであり、セキュリティーレベルの絶対的な数値を制限することはない。セキュリティーレベルが高いほど最終認証結果の正確性（あるいは信頼性）は向上するが、最終認証結果を算出するために所要する時間は増加する。前述したように、セキュリティーレベルはアプリケーションのタイプに応じて決定されるが、ユーザの設定や周辺環境などの様々な条件変数によって同じタイプのアプリケーションでもセキュリティーレベルが相違に決定されることもある。

実施形態において、認証結果のセキュリティーレベルは、最終認証結果に提供されたユーザの識別に関する信頼度を示す。また、実施形態に記載の認証速度は、特定のアプリケーションが認証を要求した時点から当該のアプリケーションが認証結果を受信するまでの経過した時間を示す。一実施形態によると、ユーザ認証装置１１０が受信する認証要求は、閾値ＦＡＲ、閾値認証の速度及び／又は閾値セキュリティーレベルのうち少なくとも１つを示すパラメータ情報を含む。このようなパラメータ情報は認証要求に対する応答として、ユーザ認証装置１１０が提供する最終認証結果に関連する。一実施形態によると、ユーザ認証装置１１０は、与えられたアプリケーションを最終認証に関する閾値ＦＡＲ、閾値認証の速度及び／又は閾値セキュリティーレベルのうち少なくとも１つに関する情報を格納する。一実施形態によると、セキュリティーレベルは、アプリケーションのタイプ、ユーザによって指定されたセッティング、周辺環境に関する情報などに基づいて決定され得る。

ユーザ認証装置１１０は、アプリケーションの認証特性を考慮して認証速度や正確性を調整し得る。一例として、マルチステージをサポートする生体認証器が単数である場合、当該の生体認証器の終了ステージと異なる生体認証器の組合せによって認証性能及び認証速度が決定される。他の例として、マルチステージをサポートする生体認証器が複数である場合、複数の終了ステージの組合せによって認証性能及び認証速度が決定される。ここで、認証性能及び認証正確度は、ユーザ認証装置１１０の認証器に対する制御を示すパラメータとして、前述されたセキュリティーレベルや認証速度を充足する認証結果を提供する。ここで、セキュリティーレベル及び認証速度は、アプリケーションからの認証要求に関するＦＡＲに対応する。

より具体的に、ロックアプリケーション１２０が要求する誤認証率（ｆａｌｓｅ ａｃｃｅｐｔａｎｃｅ ｒａｔｅ；ＦＡＲ）が１／５０Ｋである場合、ユーザ認証装置１１０は、当該の誤認証率に合わせて認証動作を行うことで比較的に短い１４５ｍｓの所要時間を介して応答を提供する。ユーザ認証装置１１０は、ＦＡＲが１／５０Ｋを満足する終了ステージあるいは終了ステージの組合せを決定する。例えば、複数の生体認証器のうち、第１生体認証器の最低レベルのステージと第２生体認証器の最低レベルステージの組合がＦＡＲ１／５０Ｋを満足しながら、最も速い認証速度を有する組合せである場合、ユーザ認証装置１１０は、第１生体認証器の第１ステージを第１生体認証器の終了ステージとして設定し、第２生体認証器の第１ステージを第２生体認証器の終了ステージとして設定する。セキュリティーレベルは、認証要求に関するＦＡＲ及び／又はＶＲパラメータによって指示される。

小額決済アプリケーション１３０は、ロックアプリケーション１２０に比べて高いレベルのセキュリティーのために１／３００Ｋの誤認証率を要求する。ここで、ユーザ認証装置１１０は、第１生体認証器、第２生体認証器、あるいは２つの生体認証器のそれぞれの終了ステージを最低レベルよりも高いレベルのステージに設定することで、１／３００Ｋの誤認証率を満足する最終認証結果を応答する。この場合、ユーザ認証装置１１０は、２２５ｍｓの所要時間を介して応答を提供する。同様に、高額決済アプリケーション１４０は、小額決済アプリケーション１３０に比べて高い誤認証率を要求し、そのため、ユーザ認証装置１１０は、第１生体認証器、第２生体認証器、あるいは２つの生体認証器のそれぞれの終了ステージを最高レベルステージとして設定することで、１／１Ｍの誤認証率を満足する最終認証結果を応答する。この場合、ユーザ認証装置１１０は、３１５ｍｓの所要時間を介して応答を提供する。一実施形態によると、認証性能及び認証速度は互いに反比例する。

このように、ユーザ認証装置１１０は、複数の生体認証器を用いてセキュリティーレベルを動的に調整し得る。複数の生体認証器は、それぞれ互いに異なるモダリティの生体認証を行うことにより多角的な認証が可能であり、セキュリティーレベルが向上される。

一実施形態によると、ユーザ認証装置１１０は、命令語のプログラムを格納するメモリ及びユーザ認証装置１１０の１つ以上の機能を実現するために格納された命令語のプログラムを実行するよう構成されたプロセッサを含む。

一実施形態によると、ロックアプリケーション１２０、小額決済アプリケーション１３０、及び高額決済アプリケーション１４０のうち少なくとも１つは、メモリに格納された命令語のプログラムを実行するプロセッサに基づいて実現される。このようなプロセッサ及びメモリは、少なくとも一部としてユーザ認証装置１１０を含む。

一実施形態によると、生体情報は、ユーザ認証装置１１０外部の生体センサ装置から受信される。生体センサ装置は、ユーザ認証システムの外部にある。ユーザ認証装置１１０及び生体センサ装置は、共通装置（例えば、電子装置、車両、これらの組合せなど）又は個別装置内に位置する。一実施形態では、異なるタイプの生体情報（例えば、指紋生体情報、顔生体情報など）が個別生体センサ装置からユーザ認証装置１１０に提供され得る。

一実施形態では、ユーザ認証装置１１０を含むユーザ認証システムの少なくとも一部は、例えば、プロセッサ基盤のデバイス１９０で実現され得る。デバイス１９０のプロセッサは、メモリに格納された命令語のプログラムを実行する。デバイス１９０は、携帯電話、タブレットコンピュータ、ウェアラブルデバイスなどの電子装置を含んでもよい。一実施形態では、ユーザ認証装置１１０を含んでいる図１に示すユーザ認証システムの少なくとも一部は、携帯電話、タブレットコンピュータ、ウェアラブルデバイスなどの内部で実現されたチップを含み得る。

一実施形態では、ユーザ認証装置１１０を含んでいる、図１に示すユーザ認証システムの少なくとも一部は、１つ以上の携帯電話、タブレットコンピュータ、及びウェアラブルデバイスを含む電子装置としてデバイス１９０に含まれ得る。ここで、電子装置は、生体認識基盤の検証又は認証を行うように構成する。したがって、ユーザ認証システムは、電子装置の機能へのアクセス及び／又は制御に関して、向上したユーザセキュリティーを提供するように電子装置を構成することができる。

一実施形態では、認証結果に基づいてユーザ認証の決定に応答して、ユーザ認証装置１１０は、少なくとも部分的にロックを解除する命令を含むロック解除命令信号を生成し、デバイス１９０の１つ以上のユーザインタフェースとのユーザ相互作用によって、デバイス１９０の少なくとも一部に対するユーザアクセスを許容する。一実施形態では、ユーザ認証の決定に応答して、ユーザ認証装置１１０は、デバイス１９０でアクセス許容された機能にアクセスするための権限を割り当てる命令を含むロック解除命令信号を生成し、これをデバイス１９０に送信する。

一実施形態では、図１に示されたユーザ認証システムの少なくとも一部は、自動車、船舶、及び航空機などを含む車両内のデバイス１９０に含まれ、当該の車両が生体基盤の認証又は車両の認証を行うように構成される。例えば、ユーザ認証装置１１０を含む車両は、車両から所定の閾値距離内に車両へアクセスする車両の運転者に基づいて顔認証動作を行うよう構成できる。車両は、また、運転者が車両のドア取っ手を捉えるとき、指紋認証動作を行うようにさらに構成され得る。さらに、ロック解除命令信号は、加速制御、ステアリング制御、ナビゲーション制御、エンジン始動／シャットダウン制御などのための、走行制御装置を動作するために提供される。

図２は、一実施形態に係るユーザ認証装置を示すブロック図である。図２を参照すると、一実施形態に係るユーザ認証装置は、コントローラ２１０、複数の生体認証器２２０、２３０及び融合モデル２４０を含む。複数の生体認証器２２０、２３０はそれぞれユーザの生体情報を用いて生体認証を行い、融合モデル２４０は、複数の生体認証器２２０、２３０の出力を融合してユーザ認証のための情報を生成する。複数の生体認証器２２０、２３０は、それぞれ多重ステージを含む。例えば、第１生体認証器２２０はｎ個のステージを含み、第２生体認証器２３０はｍ個のステージを含む。一実施形態によると、図２に示された各構成は、メモリに格納された命令語のプログラムを実行するプロセッサによって実現され得る。

一実施形態によると、複数の生体認証器２２０、２３０のそれぞれは、様々なステージのうちの１つで終了できる認証プロセスを行うことができ、ここで、各ステージは、特定の生体認証器によって出力された認証結果の認証正確度及び／又はセキュリティーレベルに対応するように設定される。各ステージは、生体認識に関する入力情報について実行された一連の認証動作で中間ステージ又は最終ステージであってもよく、ここで、各中間ステージの出力は次のステージに入力され、選択された終了ステージの出力は生体認証器の認証結果に当該する。

一実施形態における複数の生体認証器２２０、２３０のそれぞれはニューラルネットワークで実現されてもよく、各ステージは、ニューラルネットワークのレイヤに対応する。一実施形態における認証速度は、生体認証器が認証結果を出力するレイヤのレベルに反比例し、認証性能は当該レイヤのレベルに比例する。例えば、認証結果が出力されるレイヤのレベルが高いほど、認証性能が向上して認証速度は減少する。

ステージが増加するほど認証の正確性は向上するが、認証に所要する時間は増加する。コントローラ２１０は、個別認証結果を出力する終了ステージを設定する。例えば、コントローラ２１０は、図２に示す例示のように、生体認証器２２０の第１ステージ及び生体認証器２３０の第２ステージを終了ステージとして設定する。図２の実施形態では、２つの生体認証器２２０、２３０を用いて２つの生体認証器２２０、２３０が全てマルチステージをサポートする場合を仮定する。ただし、実施形態は、３以上の生体認証器を用いる場合にも適用可能であり、複数の生体認証器のうち一部の生体認証器のみがマルチステージをサポートする場合にも適用可能である。一実施形態では、生体認証器の終了ステージを設定することは、終了ステージの出力情報を生体認証器の認証結果として提供するよう生体認証器を構成することを含む。

コントローラ２１０は、アプリケーションのタイプ、セキュリティーレベル、センシング環境、主認証あるいは補助認証の有無、及びユーザ選択のうち少なくとも１つを含む予め決定した基準（ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｃｒｉｔｅｒｉｏｎ）に基づいて、複数の生体認証器２２０、２３０の終了ステージを設定する。例えば、アプリケーションのセキュリティーレベルが高い場合、コントローラ２１０は終了ステージを高く設定する。終了ステージが高いほど、個別認証結果を出力するために所要する時間は増加するが、個別認証結果の正確度は向上する。したがって、基本的に認証の正確性が相対的に重要な場合、終了ステージは高く設定し、認証の速度が相対的に重要な場合、終了ステージは低く設定する。最終認証のための正確性及び速度は、第１生体認証器２２０の第１終了ステージと第２生体認証器２３０の第２終了ステージの全てによって決定されるため、コントローラ２１０は、アプリケーションによって要求される正確性及び速度を満足する第１終了ステージと第２終了ステージの組合せを選択する。

コントローラ２１０は、複数の生体認証器２２０、２３０の多重ステージのうち予め決定した基準による認証率（ｖｅｒｉｆｉｃａｔｉｏｎ ｒａｔｅ；ＶＲ）及び誤認証率（ｆａｌｓｅ ａｃｃｅｐｔａｎｃｅ ｒａｔｅ；ＦＡＲ）を満足するステージ（ｓｔａｇｅ）を終了ステージとして設定する。例えば、アプリケーションは、セキュリティーレベルに応じる認証率及び誤認証率が予め決定されることができる。アプリケーションは、このような認証率及び誤認証率をコントローラ２１０に提供し、コントローラ２１０は、アプリケーションの認証率及び誤認証率を満足するステージを終了ステージとして設定する。一実施形態では、与えられた生体認識装置の各ステージは特定のＦＡＲ及びＶＲに関する。

一実施形態によると、コントローラ２１０は、終了ステージの組合せによる認証率及び誤認証率を格納するルックアップテーブルを用いて、アプリケーションにより要求される認証率及び誤認証率を満足する終了ステージの組合せを決定し、複数の生体認証器の終了ステージを設定する。この場合、第１生体認証器２２０のステージと第２生体認証器２３０のステージの組合せのそれぞれに対する認証率及び誤認証率が予め算出される。一実施形態では、終了ステージの組合せとＶＲ／ＦＡＲの関りは、コントローラ２１０によってルックアップテーブルに格納され、認証要求に関するＶＲ／ＦＡＲデータをユーザ認証装置で受信することに基づいて、コントローラ２１０によってアクセスされる。これにより、コントローラ２１０は、認証要求の受信に基づいて生体認証器に対して設定する終了ステージを決定する。

例えば、アプリケーションが９５％の認証率と１／５０Ｋの誤認証率を要求し、生体認証器２２０の第１ステージと生体認証器２３０の第１ステージが終了ステージとして設定される場合の認証率及び誤認証率はそれぞれ９０％と１／５０Ｋであり、生体認証器２２０の第１ステージと生体認証器２３０の第２ステージが終了ステージとして設定される場合の認証率及び誤認証率がそれぞれ９８％と１／５０Ｋである場合、コントローラ２１０は、生体認証器２２０の第１ステージ及び生体認証器２３０の第２ステージを終了ステージとして設定する。

複数の生体認証器２２０、２３０は並列的に動作したり、直列的に動作する。言い換えれば、生体認証器２２０と生体認証器２３０が時間区間Ｔ１の間に同時に動作したり、生体認証器２２０と生体認証器２３０のそれぞれが時間区間Ｔ１と時間区間Ｔ２の間に順次動作する。

複数の生体認証器２２０、２３０は、それぞれ互いに異なるモダリティの生体認証を行う。第１生体認証器２２０は、ユーザの第１モダリティの生体情報を用いて生体認証を行い、第２生体認証器２３０は、ユーザの第２モダリティの生体情報を用いて生体認証を行う。例えば、複数の生体認証器２２０、２３０のそれぞれは、顔、指紋、紅彩、静脈、手相、耳の形状、及び心電図のいずれか１つを用いて生体認証を行う。実施形態では、複数の生体情報が活用されるため、終了ステージが低く設定されても、単一の生体情報の活用に比べて認証の正確度が向上する。

融合モデル２４０は、複数の生体認証器２２０、２３０のそれぞれの終了ステージで出力された個別認証結果を融合してユーザ認証のための最終認証結果を生成し、コントローラ２１０は、融合モデル２４０の出力を用いてユーザを認証する。例えば、コントローラ２１０は、最終認証結果を用いてセンサを用いて測定された生体情報が、予め登録されたユーザの生体情報と一致するか否かを判断する。

融合モデル２４０は、複数の生体認証器２２０、２３０の終了ステージの様々な組合せのそれぞれに対応する個別モデルを含む。例えば、複数の生体認証器２２０、２３０がそれぞれ３個のステージを含む場合、ステージの組合せは９個が存在し、融合モデル２４０は９個の組合せそれぞれに対応する予め準備された個別モデルを含む。コントローラ２１０は、複数の生体認証器２２０、２３０それぞれの終了ステージを設定し、融合モデル２４０に含まれた個別モデルのうち、設定された終了ステージに対応する個別モデルを選択する。例えば、図２において、コントローラ２１０は、融合モデル２４０に含まれた個別モデルのうち、生体認証器２２０の第１ステージ及び生体認証器２３０の第２ステージに対応する個別モデルを選択する。選択されたモデルは、複数の生体認証器２２０、２３０の個別認証結果を融合してユーザ認証のための情報を生成する。融合モデルについては、図３及び図４を参照してより詳細に説明する。

図２において、複数の生体認証器２２０、２３０及び融合モデル２４０をコントローラ２１０と区別して示したが、実施形態によって、複数の生体認証器２２０、２３０及び融合モデル２４０はコントローラ２１０上で動作する。

図３は、一実施形態に係る融合モデルを示すブロック図である。図３を参照すると、融合モデル３３０は、複数の生体認証器３１０、３２０の終了ステージの組合せに対応する複数のモデルを含み、複数の生体認証器３１０、３２０から受信した個別認証結果に基づいて最終認証結果を出力する。融合モデル３３０に含まれたそれぞれのモデルは、最終認証結果を出力するために複数の生体認証器３１０、３２０の個別認証結果を含む入力ベクトルを分類するため、最終認証結果は分類結果のように称される。

例えば、第１生体認証器３１０がｎ個のステージを含み、第２生体認証器３２０がｍ個のステージを含む場合、融合モデル３３０はｎ×ｍ個の個別モデルを含む。以下ではｎ＝ｍ＝３である実施形態について説明するが、ｎ及びｍはこれに限定されることはない。ｎ＝ｍ＝３である実施形態において、融合モデル３３０の第１モデルは、第１生体認証器３１０の第１ステージ及び第２生体認証器３２０の第１ステージに対応し、融合モデル３３０の第２モデルは、第１生体認証器３１０の第１ステージ及び第２生体認証器３２０の第２ステージに対応する。このような方式で、融合モデル３３０の第９モデルは、第１生体認証器３１０の第３ステージ及び第２生体認証器３２０の第３ステージに対応する。一実施形態では、それぞれの融合モデルは、ｍ個の終了ステージを有するｎ個の生体認証器の特定の組合せの出力により認証結果を生成するようトレーニングされ、トレーニングデータは、共通ユーザのための様々なユーザ及び生体信号セットに対する生体信号を含み得る。

それぞれの個別モデルは、対応するステージに基づいて予め学習される。複数の生体認証器３１０、３２０の出力それぞれはベクトルに表現されてもよく、融合モデル３３０はこのようなベクトルの組合せに基づいて学習され得る。融合モデル３３０に含まれた各モデルは、サポートベクトルマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；ＳＶＭ）である。例えば、第１モデルは、第１生体認証器３１０の第１ステージの出力ベクトル及び第２生体認証器３２０の第１ステージの出力ベクトルの組合せに基づいて学習され、第２モデルは、第１生体認証器３１０の第１ステージの出力ベクトル及び第２生体認証器３２０の第２ステージの出力ベクトルの組合せに基づいて学習される。

融合モデル３３０は、同じラベルを有する生体信号の対及び異なるラベルを有する生体信号の対を含むトレーニングデータを用いて学習される。同じラベルは同じユーザを意味し、異なるラベルは異なるユーザを意味する。

以下、融合モデル３３０の第１モデルの学習過程を説明する。第１モデルの学習過程において、第１生体認証器３１０は第１ラベルを有する第１生体信号を受信し、第１ステージを介して第１ベクトルを出力する。第１生体認証器３１０は、同じラベル（例えば、第１ラベル）を有する第２生体信号を受信し、第１ステージを介して第２ベクトルを出力する。第１ベクトルと第２ベクトルの差に基づいて、第１生体認証器３１０の第１ステージの第１個別認証結果が導き出される。個別認証の結果は、認証点数の形態に表現される。同じ方式で、第２生体認証器３２０に第１ラベルを有する第３生体信号及び第４生体信号を印加することによって、第２生体認証器３２０の第１ステージの第２個別認証結果が導き出される。同じラベルを有する生体信号の対を用いるため、融合モデル３３０は、第１生体認証器３１０の第１ステージの第１個別認証結果と第２生体認証器３２０の第１ステージの第２個別認証結果を含む第１入力ベクトルが真実（Ｔｒｕｅ）又は偽り（Ｆａｌｓｅ）のうち真実として分類されるように学習される。

また、第１モデルの学習過程で、第１生体認証器３１０に第１ラベルを有する第５生体信号と異なるラベル（例えば、第２ラベル）を有する第６生体信号を印加することによって、第１生体認証器３１０の第１ステージの第３個別認証結果が導き出される。同じ方式で、第２生体認証器３２０に第１ラベルを有する第７生体信号及び第２ラベルを有する第８生体信号を印加することによって、第２生体認証器３２０の第１ステージの第４個別認証結果が導き出される。この場合、異なるラベルを有する生体信号の対を用いるため、融合モデル３３０は、第１生体認証器３１０の第１ステージの第３個別認証結果と、第２生体認証器３２０の第１ステージの第４個別認証結果とを含む第２入力ベクトルが偽りとして分類されるよう学習される。

融合モデル３３０の残りの第２モデルないし第９モデルについても第１モデルと同じ方式で学習される。これで、第１モデルないし第９モデルのそれぞれは、複数の生体認証器３１０、３２０に含まれたステージの組合せに対応する特性を有するようになって、複数の生体認証器３１０、３２０から出力された個別認証結果に応じて最終認証結果を出力できる。第１モデルないし第９モデルのそれぞれは、互いに異なる終了ステージから出力される互いに異なる学習サンプルで学習されるため、互いに異なる特徴を有する。例えば、第１モデルないし第９モデルのそれぞれは互いに異なる認証率を有する。具体的に、第１モデルは、生体認証器の第１ステージの個別認証結果に基づいて学習されるため、生体認証器の第３ステージの個別認証結果に基づいて学習された第９モデルに比べて低い認証率を有する。

図４は、一実施形態に係る融合モデルの認証率と誤認証率を説明する図である。以下は、上記の図３を参照して説明した融合モデルの第１モデルないし第９モデルを引き続き参照して説明する。図４において、グラフ４１０は第１モデルを検証した結果を示し、グラフ４２０は第９モデルを検証した結果を示す。グラフ４１０、４２０で学習が完了した第１モデルと第９モデルに同じオブジェクトに対する検証データ（ｖａｌｉｄａｔｉｏｎ ｄａｔａ）の対を印加して同じオブジェクトに関するグラフを取得し、同じではないオブジェクトに対する検証データの対を印加して、同じではないオブジェクトに関するグラフを取得する。グラフ４１０、４２０において、ｘ軸は検証データの対内の検証データから導き出された特徴値の間の距離を示し、ｙ軸は距離に該当するサンプル（例えば、検証データの対）数を示す。同じオブジェクトに関するグラフ及び同じではないオブジェクトに関するグラフは全て正規分布の形態を有する。同じオブジェクトは同じユーザを意味し、同じではないオブジェクトは他のユーザを意味する。

グラフ４１０とグラフ４２０を参照すると、第１モデルないし第９モデルは同じオブジェクトのグラフと同じではないオブジェクトのグラフとを分離する性能でその差を有することが分かる。例えば、グラフ４１０で５％の誤認証率を満足する閾値を設定する場合、認証率は６５％程度に終わる。一方、グラフ４２０で同じく５％の誤認証率を満足する閾値を設定する場合、認証率は１００％に近い。ここで、５％の誤認証率とは、同じではないオブジェクトのグラフの全体面積のうち、下位５％に該当する面積に属する結果（例えば、距離）だけ同じオブジェクトに間違って認識されることを許容するようにする比率を意味する。この場合、認証率は、同じオブジェクトのグラフの全体面積のうち５％の誤認証率により設定された閾値以下の距離に該当する面積の比率を意味する。

このような方式で、コントローラは、特定の誤認証率に対する第１モデルないし第９モデルの認証率を算出することができ、融合モデルでアプリケーションが要求するＶＲ及びＦＡＲを満たす個別モデルを選択し得る。例えば、特定アプリケーションが５％の誤認証率と９０％の認証率を要求する場合、コントローラは、第１生体認証器の第３ステージ及び第２生体認証器の第３ステージを選択し、融合モデルとして第９モデルを選択し得る。

図５は、一実施形態に係る指紋認証器を示すブロック図である。一側面によると、前述した生体認証器は指紋認証器５１０である。指紋認証器５１０は第１ステージないし第３ステージを含み、それぞれのステージは、生体情報に対応する入力指紋映像に基づいて個別認証結果を出力する。第１ステージは、登録指紋映像と入力指紋映像との間に重なる面積及びマッチングスコアを出力する。一実施形態に係る指紋認証器はプロセッサ及びメモリによって実現され、指紋認証器は、外部の生体センサ装置によってキャプチャーされた指紋イメージを受信するように構成する。一実施形態では、指紋認証器５１０の連続したステージは、登録映像と入力映像との間の連続的に分割された重複領域のブロックに対するマッチングスコアを提供する認証結果を出力するように構成する。第１ステージの動作過程については図６を参照して説明する。

図６は、一実施形態に係る入力指紋映像の変形を通したマッチング過程を示す図である。変形はスケール（ｓｃａｌｅ）、回転（ｒｏｔａｔｉｏｎ）、並進（ｔｒａｎｓｌａｔｉｏｎ）、又は、これらの様々な組合せを含む。入力指紋映像と登録指紋映像を同じセンサを用いて取得する場合にスケールは省略される。

図６を参照すると、入力指紋映像６１０及び登録指紋映像６２０が図示されている。入力指紋映像６１０及び登録指紋映像６２０は、指紋センサのような指紋認識装置を介して取得される。登録指紋映像６２０は、データベースに予め格納されてもよい。指紋センサのセンシング領域は、ユーザの指紋の大きさよりも小さいこともあり、入力指紋映像６１０及び登録指紋映像６２０は、指紋の一部に関する情報のみを含む部分映像であり得る。入力指紋映像６１０と登録指紋映像６２０の重なる面積及びマッチングスコアを把握するためには、入力指紋映像６１０の回転及び並進が必要である。

第１ステージは、入力指紋映像６１０と登録指紋映像６２０に共通して含まれた領域が重なるよう、入力指紋映像６１０を回転及び並進する。第１ステージは、様々な方式により入力指紋映像６１０と登録指紋映像６２０をマッチングする。一例として、第１ステージは、周波数基盤マッチング方式に基づいて、入力指紋映像６１０と登録指紋映像６２０との間の並進情報及び回転情報を決定する。周波数基盤マッチング方式は、周波数領域でマッチングを行う方式であってもよい。

入力指紋映像６１０と登録指紋映像６２０との間の並進情報は、ｘ軸並進パラメータであるＴｘとｙ軸並進パラメータであるＴｙを含む。また、入力指紋映像６１０と登録指紋映像６２０との間の回転情報は回転パラメータであるＲを含む。以下、Ｔｘ及びＴｙは並進量と称し、Ｒは回転角度と称する。

第１ステージは、マッチングの結果、導き出された並進情報及び回転情報に基づいて入力指紋映像６１０を並進及び回転する。並進情報及び回転情報は、入力指紋映像６１０と登録指紋映像６２０との間の相対的な情報であるため、第１ステージは、入力指紋映像６１０を並進及び回転させる代わりに、登録指紋映像６２０を並進及び回転し得る。

第１ステージは、入力指紋映像６１０や登録指紋映像６２０の並進及び回転以後に入力指紋映像６１０と登録指紋映像６２０の重なる面積及びマッチングスコアを取得する。一例として、マッチングスコアは、入力指紋映像６１０と登録指紋映像６２０の映像の明るさ値基盤の正規化関係方式（ｎｏｒｍａｌｉｚｅｄ ｃｏｒｒｅｌａｔｉｏｎ）に基づいて取得される。第１ステージは、取得された面積及びマッチングスコアを出力する。説明の便宜のために、登録指紋映像６２０を１つのみにして示すが、データベースには複数の登録指紋映像が含まれてもよい。この場合、第１ステージは、入力指紋映像６１０と複数の登録指紋映像をそれぞれマッチングし、複数の登録指紋映像それぞれに対応して面積及びマッチングスコアを出力する。第１ステージは、次のステージに比べて比較的に短い時間に処理されるが、第１ステージの個別認証結果による認証率は次のステージに比べて低いこともある。

前述した第１ステージの動作は、第２ステージ及び３ステージの動作にも適用され得る。ただし、第２ステージ及び第３ステージは、入力指紋映像を複数のブロックに分割した後、個別ブロックと登録指紋映像との間でマッチング動作を行う。図５を参照すると、第２ステージは、入力指紋映像を予め決定した数（例えば、３個）のブロックに分割する。第２ステージは、登録指紋映像とブロックとの間のマッチングスコアを出力する。また、第３ステージは、入力指紋映像を第２ステージに比べて複数（例えば、５個）のブロックに分割して登録指紋映像とブロックとの間のマッチングスコアを出力し得る。第２ステージ及び第３ステージの動作過程については図７を参照して説明する。

図７は、一実施形態に係る入力指紋映像７２０の分割及びマッチング過程を示す図である。以下で説明される第２ステージの動作は、第３ステージの動作にも適用され得る。図７を参照すると、第２ステージは、入力指紋映像７２０を複数のブロック７２１～７２３に分割する。第２ステージは、入力指紋映像７２０と登録指紋映像７１１、７１２とを比較する代わりに、複数のブロック７２１～７２３と登録指紋映像７１１、７１２とを比較する。

第２ステージは、様々な方式により入力指紋映像７２０を分割する。一例として、第２ステージは、予め決定したパターンに応じて入力指紋映像７２０を分割する。予め決定したパターンは、指紋センサのセンシング領域の形、大きさ、登録の部分イメージの形、大きさなどに応じて予め決定され得る。場合によって、予め決定したパターンは動的に変更されてもよい。また、ブロックは、互いに重ならないように分割されたり、隣接するブロック間に互いに一定領域だけ重なるように分割されてもよい。

第２ステージは、複数のブロック７２１～７２３を用いることによって、マッチングの効率性を向上させることができる。入力指紋映像７２０が入力される場合、入力指紋映像７２０と登録指紋映像７１１、７１２のそれぞれが重なる領域が大きくないため、複数のブロックに割ってマッチングすることが効果的である。ブロック７２３の領域対比ブロック７２３と登録指紋映像７１１が重なる領域の比率は、入力指紋映像７２０の領域対比入力指紋映像７２０と登録指紋映像７１１が重なる領域が重なる領域の比率に比べて大きいため、ブロックを用いたマッチングがより正確かつ効率よく実行され得る。

第２ステージは、ブロックを並進及び回転させてブロックと登録指紋映像をマッチングし、重なった領域でマッチングスコアを算出する。例えば、第２ステージは、３個のブロック７２１～７２３と登録指紋映像７１１、７１２の様々な組合せに対するマッチングスコアを算出する。ここで、第２ステージは、第１ステージのマッチング結果に基づいて、データベースに格納された複数の登録指紋映像を全て利用する代わりに、第１ステージのマッチング結果に応じて上位ランクされた一部の登録指紋映像だけを用いることができる。

第３ステージについても第２ステージと類似の方式で入力指紋映像７２０を５個のブロックに分割し、５個のブロックに対するマッチングスコアを算出する。第３ステージは、各ブロックのマッチングスコアを整列して上位Ｋ個のスコアを出力する。また、第３ステージは、複数のマッチングスコアの特徴値を出力する。ここで、特徴値は、平均などの統計値のように複数のマッチングスコアに関する特徴を示す値である。例えば、第３ステージは、５個のブロックのマッチングスコアのうち上位３個のマッチングスコアと共に、上位３個のマッチングスコアの平均値を出力する。第３ステージは、特徴値を用いてユーザ認証の正確性を向上させることができる。第３ステージは、第２ステージのマッチング結果に基づいて、データベースに格納された複数の登録指紋映像を全て利用する代わりに、第２ステージのマッチング結果に応じて上位ランクされた一部の登録指紋映像のだけ用いることができる。

図８は、一実施形態に係る顔認証器を示すブロック図である。一側面によると、前述された生体認証器は顔認証器８１０である。図８を参照すると、顔認証器８１０は、第１ステージないし第３ステージを含み、それぞれのステージは、生体情報に対応する入力映像（例えば、顔映像）に基づいて個別認証結果を出力する。顔認証器８１０は、入力映像に反応してニューラルネットワーク内の複数のレイヤによって出力される特徴と、前記レイヤに対応して予め格納された登録映像の特徴とを比較することで、レイヤごとの個別認証結果を出力する。顔認証器８１０に含まれたそれぞれのステージは複数のレイヤに対応する。個別認証結果の出力過程について図９を参照して説明する。

図９は、一実施形態に係る顔認証器に含まれたレイヤを示すブロック図である。以下では、上記の図８を参照して説明された顔認証器の第１ステージないし第３ステージをともに参照して説明する。図９を参照すると、顔認証器は、第１レイヤ９１０ないし第３－３レイヤ９３３を含む。第１レイヤ９１０ないし第３－３レイヤ９３３は、入力映像の特徴値を出力するように予め学習され、顔認証器は、第１レイヤ９１０ないし第３－３レイヤ９３３で出力された入力映像の特徴値と予め登録された登録映像の特徴値との間の距離に基づいて、個別認証結果を出力するように予め学習される。図９では、第３レイヤが第２レイヤ９２０と並列的に接続された複数のレイヤ９３１、９３２、９３３を含む場合を説明するものの、実施形態は図９に示された構造以外の様々な構造のニューラルネットワークにもそのまま適用され得る。

第１レイヤ９１０は、入力映像に基づいて入力映像の第１特徴値を出力する。顔認証器の第１ステージは、入力映像の第１特徴値と登録映像の第１特徴値とを比較して、入力映像の第１特徴値と登録映像の第１特徴値との間の距離に基づいて第１個別認証結果を出力する。第１個別認証結果は認証スコアであり得る。登録映像の第１特徴値は、第１レイヤ９１０によって予め出力され、データベースに予め格納され得る。同じ方式で、第２ステージは、第２レイヤ９２０を用いて第２個別認証結果を出力する。第２レイヤ９２０は、第１レイヤ９１０の上位レイヤであるため、入力映像の第２特徴値に基づいた第２個別認証結果は入力映像の第１特徴値に基づいた第１個別認証結果に比べて高い認証率を有する。

第３ステージは、第３－１レイヤ９３１ないし第３－３レイヤ９３３を用いて第３個別認証結果を出力する。第３－１レイヤ９３１、第３－２レイヤ９３２、及び第３－３レイヤ９３３は、それぞれ入力映像の第３－１特徴値、入力映像の第３－２特徴値、及び入力映像の第３－３特徴値を出力する。顔認証器の第３ステージは、入力映像の第３－１特徴値ないし入力映像の第３－３特徴値のそれぞれを登録映像の第３－１特徴値ないし登録映像の第３－３特徴値と比較し、特徴値の間の距離に基づいて第３個別認証結果を出力する。

第１ステージ及び第２ステージで、登録映像の第１特徴値及び登録映像の第２特徴値はユーザの顔全体に関する特徴値である。この場合、第１ステージ及び第２ステージはユーザの顔全体に基づいた個別認証結果を出力する。

第３ステージで登録映像の第３－１特徴値は、ユーザの顔全体に関する特徴値であってもよく、登録映像の第３－２特徴値及び登録映像の第３－３特徴値は、ユーザの目、鼻、口又はの耳のようにユーザの顔のうちの特定部分に関する特徴値であり得る。第３ステージは、ユーザの顔全体と特定の部分を全て考慮して個別認証結果を出力することになる。したがって、第３ステージの第３個別認証結果は、第１個別認証結果及び第２個別認証結果に比べて高い認証率を有する。

第１個別認証結果ないし第３個別認証結果は、入力映像の特徴値と登録映像の特徴値との間のマッチングスコアを含む。第３個別認証結果は、顔全体と特定部分に関する複数のマッチングスコアを含み得る。また、第３個別認証結果は、マッチングスコアの平均など統計値を含む。例えば、第３ステージは、顔、第１部分、及び第２部分のマッチングスコアと共にマッチングスコアの平均値を出力する。第３ステージは、複数のマッチングスコア及び統計値を用いてユーザ認証の正確性を向上させることができる。

先に説明したように、複数の生体認証器の個別認証結果はベクトルのように表現される。個別認証結果は、力値の数に対応する次元を有する。例えば、指紋認証器の第３ステージは、５個のブロックのマッチングスコアのうち上位３個のマッチングスコアと共にこれらの平均値を出力する。この場合、指紋認証器の第３ステージの個別認証結果は、４次元ベクトルに示し得る。また、顔認証器の第３ステージは、顔、第１部分、及び第２部分に対する３個のマッチングスコアと共にこれらの平均値を出力する。この場合、顔認証器の第３ステージの個別認証結果は、４次元ベクトルに示し得る。融合モデルは、指紋認証器と顔認証器からそれぞれ４次元ベクトルを受信し、両４次元ベクトルの組合せによる８次元ベクトルを入力として受信する。

融合モデルは、８次元ベクトルから最終の認証結果を導き出すことができる。前述したように、融合モデルは、８次元ベクトルが入力され、最終認証結果を出力するように学習されたもの（例えば、ＳＶＭ）であってもよい。ここでは、指紋認証器の第３ステージと顔認証器の第３ステージの組合せによる融合モデルの動作について説明したが、上記で説明したように、融合モデルは全てのステージの組合せに対する個別モデルを含み、個別モデルは個別認証結果が入力されたとき、最終認証結果を出力するように予め学習され得る。

図１０は、一実施形態に係るメイン認証器とサブ認証器を示すブロック図である。コントローラ１０１０は、複数の生体認証器のうちメイン認証器１０２０とサブ認証器１０３０を決定する。メイン認証器１０２０はユーザ認証に主に用いられる認証器であって、サブ認証器１０３０は、ユーザ認証に補助的に用いられる認証器である。一例として、コントローラは、メイン認証器の終了ステージとサブ認証器の終了ステージの様々な組合せのうち、メイン認証器の終了ステージのレベルが増加されるようにする組合せを選択する。例えば、メイン認証器１０２０は第ｎステージで個別認証結果を出力し、サブ認証器１０３０は第１ステージで個別認証結果を出力する組合せが選択される。融合モデル１０４０は、メイン認証器１０２０とサブ認証器１０３０の個別認証結果に基づいて最終認証結果を出力する。

異なる例として、コントローラは、選択情報に基づいてメイン認証器１０２０とサブ認証器１０３０のステージを決定する。選択情報は、メイン認証器１０２０の最小要求ステージ及びサブ認証器１０３０の最大要求ステージを含む。コントローラは、メイン認証器１０２０の最小要求ステージ以上のステージ及びサブ認証器１０３０の最大要求ステージ以下のステージを終了ステージとして決定する。

コントローラ１０１０は、アプリケーションのタイプ、セキュリティーレベル、センシング環境、主認証あるいは補助認証の有無、及びユーザ選択のうち少なくとも１つを含む、予め決定した基準によりメイン認証器１０２０とサブ認証器１０３０を決定する。一例として、コントローラ１０１０は、照度が低ければ顔認識装置の性能が低下することから、指紋認識装置をメイン認証器１０２０として設定して顔認識装置をサブ認証器１０３０として決定する。又は、コントローラ１０１０は、照度が低ければ、顔認識装置の正確度を向上させることから、顔認識装置をメイン認証器１０２０として設定して顔認識装置の終了ステージを増加させ得る。異なる例として、コントローラ１０１０は、湿度が高ければ指紋認識装置の性能が低下することから、顔認識装置をメイン認証器１０２０として設定して指紋認識装置をサブ認証器１０３０として決定する。又は、コントローラ１０１０は、湿度が高ければ、指紋認識装置の正確度を向上させるために指紋認識装置をメイン認証器１０２０として設定して指紋認識装置の終了ステージを増加させ得る。

図１１は、一実施形態に係るユーザ認証方法を示した動作フローチャートである。図１１を参照すると、ステップＳ１１１０において、ユーザ認証装置は、複数の生体認証器のうち少なくとも１つの終了ステージを設定する。ステップＳ１１２０において、ユーザ認証装置は設定された少なくとも１つの終了ステージに基づいて、複数の生体認証器の出力を融合する融合モデルを選択する。ステップＳ１１３０において、ユーザ認証装置は、複数の生体認証器の出力及び融合モデルを用いてユーザを認証する。図１１に示された各ステップには図１ないし図１０を参照して前述した事項がそのまま適用できるため、より詳細な説明は省略する。

図１２は、一実施形態に係る電子システムを示すブロック図である。図１２を参照すると、電子システムは、センサ１２２０、プロセッサ１２１０、及びメモリ１２３０を含む。センサ１２２０、プロセッサ１２１０、及びメモリ１２３０は、バス１２４０を介して通信する。センサ１２２０は、顔、指紋、紅彩、静脈、手相、耳の形状、及び心電図などを含むユーザの生体情報を検出するための指紋センサ、イメージセンサ、及び心電図センサなどを含む。センサ１２２０は、周知の方式（例えば、光学イメージを電気信号に変換する方式など）でユーザの生体情報を検出する。生体情報はプロセッサ１２１０から出力される。

プロセッサ１２１０は、図１ないし図１１を参照して前述した少なくとも１つの装置を含んだり、図１ないし図１１によって前述した少なくとも１つの方法を行ってもよい。例えば、プロセッサ１２１０は、図２に示すコントローラ２１０、生体認証器２２０、及び融合モデル２４０のうち少なくとも１つを含み得る。メモリ１２３０は、センサ１２２０によってキャプチャーされて登録された登録指紋映像や登録映像、センサ１２２０によってキャプチャーされた入力指紋映像や入力映像、プロセッサ１２１０によって処理されたマッチング結果、及び／又はプロセッサ１２１０によって算出されたマッチングスコアなどを格納する。メモリ１２３０は、揮発性メモリ又は不揮発性メモリであってもよい。

プロセッサ１２１０は、プログラムを実行して電子システムを制御する。プロセッサ１２１０によって実行されるプログラムコードは、メモリ１２３０に格納される。電子システムは入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換する。電子システムは、移動電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどのモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどのコンピューティング装置、又は、テレビ、スマートテレビ、ゲート制御のためのセキュリティー装置などの電子製品などの様々な電子システムを含み得る。

以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

Claims (27)

1. 複数の生体認証器の終了ステージが一定の組合せに対応するように前記複数の生体認証器のそれぞれの終了ステージを設定するステップと、
   前記一定の組合せに基づいて前記複数の生体認証器を実行することによって複数の出力を生成するステップと、
   前記一定の組合せに基づいて前記出力を融合するステップと、
   前記出力を融合した結果を用いてユーザを認証するステップと、
   を含み、前記複数の生体認証器のそれぞれは、一連のステージを含む多重ステージにより構成され、各ステージは、生体認証器の個別認証結果を出力する終了ステージとして選択されることが可能であり、
   前記融合するステップは、前記複数の生体認証器の終了ステージの組合せに対応して認証結果を出力するように準備された学習済みの融合モデルのうち、前記一定の組合せに対応する融合モデルを用いて前記複数の生体認証器の出力を融合するステップを含む、ユーザ認証方法。
2. 前記設定するステップは、予め決定した基準に基づいて前記複数の生体認証器のそれぞれの終了ステージを設定するステップを含む、請求項１に記載のユーザ認証方法。
3. 前記予め決定した基準は、アプリケーションのタイプ、セキュリティーレベル、センシング環境、主認証あるいは補助認証の有無、及びユーザ選択のうち少なくとも１つを含む、請求項２に記載のユーザ認証方法。
4. 前記設定するステップは、前記複数の生体認証器のそれぞれの多重ステージのうち前記予め決定した基準による認証率（ＶＲ）及び誤認証率（ＦＡＲ）を満足するステージを終了ステージとして設定するステップを含む、請求項２に記載のユーザ認証方法。
5. 前記複数の生体認証器は、互いに異なるモダリティの生体認証を行う、請求項１ないし４のうちの何れか一項に記載のユーザ認証方法。
6. 前記複数の生体認証器のそれぞれは、顔、指紋、紅彩、静脈、手相、耳の形状、及び心電図のうちいずれか１つを用いて生体認証を行う、請求項１ないし５のうちの何れか一項に記載のユーザ認証方法。
7. 前記ユーザを認証するステップは、前記複数の生体認証器の出力を融合した結果を前記設定された終了ステージに対応する閾値と比較することによって、前記ユーザを認証するステップを含む、請求項１ないし６のうちの何れか一項に記載のユーザ認証方法。
8. 前記複数の生体認証器は指紋認証器を含み、
   前記指紋認証器は、
   登録指紋映像と入力指紋映像との間に重なる面積及びマッチングスコアを出力する第１ステージと、
   前記登録指紋映像と前記入力指紋映像を分割したブロックの間のマッチングスコアを出力する第２ステージと、
   を用いてステージごとの個別認証結果を出力する、請求項１ないし７のうちの何れか一項に記載のユーザ認証方法。
9. 前記複数の生体認証器は顔認証器を含み、
   前記の顔認証器は、入力映像に反応してニューラルネットワーク内の複数のレイヤによって出力される特徴と、前記レイヤに対応して予め格納された登録映像の特徴とを比較することでレイヤごとの個別認証結果を出力する、請求項１ないし８のうちの何れか一項に記載のユーザ認証方法。
10. 前記設定するステップは、
    前記複数の生体認証器のうちメイン認証器とサブ認証器を選択するステップと、
    前記メイン認証器の終了ステージと前記サブ認証器の終了ステージの組合せのうち、前記メイン認証器の終了ステージのレベルが増加するようにする組合せを選択するステップと、
    を含む、請求項１ないし９のうちの何れか一項に記載のユーザ認証方法。
11. 前記融合するステップは、前記設定された終了ステージの出力に対応する次元の入力ベクトルに基づいて、前記ユーザの認証のための最終認証結果を出力する融合モデルを用いて前記複数の生体認証器の出力を融合するステップを含む、請求項１ないし１０のうちの何れか一項に記載のユーザ認証方法。
12. 請求項１ないし１１のうちいずれか一項に記載のユーザ認証方法を、ユーザ認証装置のプロセッサに実行させるコンピュータプログラム。
13. ユーザ認証装置であって、
    プロセッサと、
    コンピュータで読込むことのできる命令語を含むメモリと、
    を含み、
    前記命令語は、複数の生体認証器の終了ステージが一定の組合せに対応するように前記複数の生体認証器のそれぞれの終了ステージを設定し、前記一定の組合せに基づいて前記複数の生体認証器を実行することによって複数の出力を生成し、前記一定の組合せに基づいて前記出力を融合し、前記出力を融合した結果を用いてユーザを認証することを、前記プロセッサに実行させ、
    前記複数の生体認証器のそれぞれは、一連のステージを含む多重ステージにより構成され、各ステージは、生体認証器の個別認証結果を出力する終了ステージとして選択されることが可能であり、
    前記出力を融合することは、前記複数の生体認証器の終了ステージの組合せに対応して認証結果を出力するように準備された学習済みの融合モデルのうち、前記一定の組合せに対応する融合モデルを用いて前記複数の生体認証器の出力を融合することを含む、ユーザ認証装置。
14. 前記プロセッサは、予め決定した基準に基づいて、少なくとも１つの生体認証器の終了ステージを設定する、請求項１３に記載のユーザ認証装置。
15. 前記予め決定した基準は、アプリケーションのタイプ、セキュリティーレベル、センシング環境、主認証あるいは補助認証の有無、及びユーザ選択のうち少なくとも１つを含む、請求項１４に記載のユーザ認証装置。
16. 前記プロセッサは、前記複数の生体認証器のそれぞれの多重ステージのうち前記予め決定した基準による認証率及び誤認証率を満足するステージを当該の生体認証器の終了ステージとして設定する、請求項１４に記載のユーザ認証装置。
17. 前記複数の生体認証器は、互いに異なるモダリティの生体認証を行う、請求項１３ないし１６のうちの何れか一項に記載のユーザ認証装置。
18. 前記複数の生体認証器のそれぞれは、顔、指紋、紅彩、静脈、手相、耳の形状、及び心電図のうちいずれか１つを用いて生体認証を行う、請求項１３ないし１７のうちの何れか一項に記載のユーザ認証装置。
19. 前記複数の生体認証器は、指紋認証器を含み、
    前記指紋認証器は、
    登録指紋映像と入力指紋映像との間に重なる面積及びマッチングスコアを出力する第１ステージと、
    前記登録指紋映像と前記入力指紋映像を分割したブロックとの間のマッチングスコアを出力する第２ステージと、
    によってステージごとの個別認証結果を出力する、請求項１３ないし１８のうちの何れか一項に記載のユーザ認証装置。
20. 前記複数の生体認証器は顔認証器を含み、
    前記の顔認証器は、入力映像に反応してニューラルネットワーク内の複数のレイヤによって出力される特徴と前記レイヤに対応して予め格納された登録映像の特徴とを比較することでレイヤごとの個別認証結果を出力する、請求項１３ないし１９のうちの何れか一項に記載のユーザ認証装置。
21. 前記融合モデルは、前記設定された終了ステージの出力に対応する次元の入力ベクトルに基づいて前記ユーザの認証のための最終認証結果を出力する、請求項１３ないし２０のうちの何れか一項に記載のユーザ認証装置。
22. 前記プロセッサは、前記複数の生体認証器のうちメイン認証器とサブ認証器を選択し、前記メイン認証器の終了ステージを前記メイン認証器の多重ステージのうち最大ステージとして設定し、前記サブ認証器の終了ステージを前記サブ認証器の多重ステージのうち最小ステージとして設定する、請求項１３ないし２１のうちの何れか一項に記載のユーザ認証装置。
23. 前記命令語は、予め決定した基準を含むユーザ認証要求を受信し、前記予め決定した基準に基づいて生体認証器の終了ステージを設定し、個別認証結果を生成するために前記設定された終了ステージに基づいて前記生体認証器を実行し、前記個別認証結果に基づいてユーザを認証することを、前記プロセッサに実行させる、請求項１３に記載のユーザ認証装置。
24. 前記予め決定した基準は、アプリケーションのタイプ、セキュリティーレベル、センシング環境、主認証あるいは補助認証の有無、及びユーザ選択のうち少なくとも１つを含む、請求項２３に記載のユーザ認証装置。
25. 前記プロセッサは、前記複数の生体認証器のそれぞれの多重ステージのうち前記予め決定した基準による認証率及び誤認証率を満足するステージを当該の生体認証器の終了ステージとして設定する、請求項２３又は２４に記載のユーザ認証装置。
26. 前記プロセッサは、ユーザ認証に基づいてユーザがデバイスにアクセスするためのロック解除命令を生成する、請求項２３ないし２５のうちの何れか一項に記載のユーザ認証装置。
27. 前記ユーザ認証装置は車両に搭載され、
    前記プロセッサは、ユーザ認証に基づいてユーザに前記車両の内部に進入する権限を付与する、あるいは、ユーザ認証に基づいてユーザに前記車両のための要素を制御する権限を付与する、請求項２３ないし２６のうちの何れか一項に記載のユーザ認証装置。

Images