JP6771361B2

JP6771361B2 - 認証方法、認証装置及び学習方法

Info

Publication number: JP6771361B2
Application number: JP2016214920A
Authority: JP
Inventors: 承周韓; 炳仁兪; 在濬韓
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2015-11-04
Filing date: 2016-11-02
Publication date: 2020-10-21
Anticipated expiration: 2036-11-02
Also published as: KR102261833B1; CN107025425A; JP2017091522A; CN107025425B; KR20170052448A

Description

本発明は認証方法、認証装置及び学習方法に関する。

最近は、顔認識、指紋認識などの様々な方式によりユーザ認証が行われている。ユーザ認証のために用いられる認識装置は、人の神経網に類似の構造を有する。認識装置の内部構造が複雑になるほど認識性能は向上するが、認識装置の出力は遅延される。例えば、認識装置に含まれるレイヤの数が増加するにつれて認識装置の出力は遅延されることになる。

本発明の目的は、認証方法、認証装置及び学習方法を提供することである。

一側面に係る認証方法は、入力画像を、複数のレイヤを含む認識装置に提供するステップと、前記認識装置内の少なくとも１つの中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する登録画像の少なくとも１つの特徴値とに基づいて前記入力画像の認証を行うステップとを含む。

前記入力画像の認証を行うステップは、前記入力画像に対する受諾又は拒絶を決定するステップを含み得る。前記複数のレイヤは、ディープラーニングネットワークのレイヤであり得る。前記少なくとも１つの中間レイヤは複数の中間レイヤであり、前記入力画像の認証を行うステップは、それぞれの中間レイヤによって出力される前記入力画像の特徴値とそれぞれの中間レイヤに対応する登録画像の特徴値とに基づいて前記入力画像の認証の成否を決定するステップを含み得る。

前記入力画像の認証を行うステップは、前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて類似度を決定するステップと、前記類似度と閾値とに基づいて前記入力画像の認証を行うステップとを含み得る。前記入力画像の認証を行うステップは、前記類似度が前記中間レイヤに対する他人受入率に対応する類似度を超える場合、前記入力画像に対する受諾を決定するステップを含み得る。

前記入力画像の認証を行うステップは、前記類似度が前記中間レイヤに対する認証率に対応する類似度未満である場合、前記入力画像に対する拒絶を決定するステップを含み得る。前記入力画像の認証を行うステップは、前記類似度が前記中間レイヤに対する認証率に対応する類似度を超え前記中間レイヤに対する他人受入率に対応する類似度未満である場合、前記認識装置の次のレイヤに進行するステップをさらに含み得る。

前記閾値は他人受入率によって決定された第１閾値と認証率によって決定された第２閾値とを含み得る。前記第１閾値は前記第２閾値よりも大きい。

前記入力画像の認証を行うステップは、前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて距離を決定するステップと、前記距離及び閾値に基づいて前記入力画像の認証を行うステップとを含み得る。前記入力画像の認証を行うステップは、前記距離が前記中間レイヤに対する他人受入率に対応する距離未満である場合、前記入力画像に対する受諾を決定するステップを含み得る。

前記入力画像の認証を行うステップは、前記距離が前記中間レイヤに対する認証率に対応する距離を超える場合、前記入力画像に対する拒絶を決定するステップを含み得る。前記入力画像の認証を行うステップは、前記距離が前記中間レイヤに対する他人受入率に対応する距離を超え前記中間レイヤに対する認証率に対応する距離未満である場合、前記認識装置の次のレイヤに進行するステップをさらに含み得る。前記閾値は、他人受入率によって決定された第１閾値と認証率によって決定された第２閾値とを含み得る。前記第１閾値は前記第２閾値よりも大きい。

前記入力画像の認証を行うステップは、前記認識装置内の最終レイヤによって出力される前記入力画像の特徴値と前記最終レイヤに対応する前記登録画像の特徴値とに基づいて前記入力画像の認証の成否を決定するステップをさらに含み得る。前記認証方法は、前記登録画像を前記認識装置に提供するステップと、前記中間レイヤによって出力される少なくとも１つの特徴値と最終レイヤによって出力される少なくとも１つの特徴値とを前記登録画像の特徴値として格納するステップとをさらに含み得る。前記認証方法は、カメラから前記登録画像を受信するステップをさらに含み得る。前記少なくとも１つの中間レイヤは、前記複数のレイヤのうち複数の中間レイヤを含み得る。前記複数のレイヤは、少なくとも１つの畳み込みレイヤ及びプーリングレイヤを含み得る。

一側面に係る学習方法は、複数のレイヤを含む認識装置を学習させるステップと、予め決定した性能指標に基づいて前記認識装置内の中間レイヤのための第１閾値を決定するステップと、前記性能指標に基づいて前記認識装置内の最終レイヤのための第２閾値を決定するステップとを含む。

前記学習方法は、検証データを前記認識装置に提供するステップと、前記中間レイヤによって出力される中間特徴値の間の第１類似度を決定するステップと、前記最終レイヤによって出力される最終特徴値の間の第２類似度を決定するステップと、前記第１類似度に基づいて前記第１閾値を決定するステップと、前記第２類似度に基づいて前記第２閾値を決定するステップとをさらに含み得る。

前記学習方法は、検証データを前記認識装置に提供するステップと、前記中間レイヤによって出力される中間特徴値の間の第１距離を決定するステップと、前記最終レイヤによって出力される最終特徴値の間の第２距離を決定するステップと、前記第１距離に基づいて前記第１閾値を決定するステップと、前記第２距離に基づいて前記第２閾値を決定するステップとをさらに含み得る。

前記第１閾値及び前記第２閾値は、入力画像に対する受諾又は拒絶のためのものであり得る。

前記第１閾値を決定するステップは、前記中間レイヤによって出力される第１中間特徴値と前記中間レイヤによって出力される第２中間特徴値との間の類似度に基づいて前記第１閾値を決定するステップを含み得る。

前記第１閾値を決定するステップは、前記中間レイヤによって出力される第１中間特徴値と前記中間レイヤによって出力される第２中間特徴値との間の距離に基づいて前記第１閾値を決定するステップを含み得る。

前記認識装置を学習させるステップは、学習サンプルに対する前記中間レイヤの出力、前記学習サンプルに対する前記最終レイヤの出力、及び前記学習サンプルのラベル値に基づいて前記認識装置を学習させるステップを含み得る。

前記認識装置を学習させるステップは、前記中間レイヤの出力が入力された第１ネットワークによって出力された中間特徴値、前記最終レイヤの出力が入力された第２ネットワークによって出力された最終特徴値、及び学習サンプルのラベルに基づいて前記認識装置を学習させるステップを含み得る。

一側面に係る認証装置は、複数のレイヤのうち少なくとも１つの中間レイヤによって入力画像の少なくとも１つの特徴値を出力する認識装置と、前記少なくとも１つの中間レイヤによって出力された前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する登録画像の少なくとも１つの特徴値とに基づいて前記入力画像の認証を行う認証処理部とを含む。

前記認証処理部は、前記入力画像に対する受諾又は拒絶を決定し得る。前記複数のレイヤは、ディープラーニングネットワークのレイヤであり得る。前記少なくとも１つの中間レイヤは複数の中間レイヤであり得る。

前記認証処理部は、それぞれの中間レイヤによって出力される前記入力画像の特徴値とそれぞれの中間レイヤに対応する登録画像の特徴値とに基づいて前記入力画像の認証の成否を決定し得る。前記認証処理部は、前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて類似度を決定し、前記類似度と閾値とに基づいて前記入力画像の認証を行い得る。

前記認証処理部は、前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて距離を決定し、前記距離及び閾値に基づいて前記入力画像の認証を行い得る。前記認証処理部は、前記登録画像を前記認識装置に提供し、前記中間レイヤによって出力される少なくとも１つの特徴値と最終レイヤによって出力される少なくとも１つの特徴値とを前記登録画像の特徴値として格納し得る。

本発明によると、認証方法、認証装置及び学習方法を提供することができる。

一実施形態に係る認証装置を示すブロック図である。一実施形態に係る認証処理部を示すブロック図である。一実施形態に係る複数のレイヤを含む認識装置を示すブロック図である。一実施形態に係る登録画像の特徴値の生成過程を示すブロック図である。一実施形態に係る複数の中間レイヤを説明する図である。一実施形態に係る性能指標による閾値を説明する図である。一実施形態に係る性能指標による閾値を説明する図である。一実施形態に係るグラフの形態と認識装置性能との間の関係を説明する図である。一実施形態に係る認証処理部の動作を示すフローチャートである。一実施形態に係る学習装置及び認識装置を示すブロック図である。一実施形態に係る閾値の決定過程を示すブロック図である。一実施形態に係る認識装置の学習過程を示すブロック図である。他の実施形態に係る認識装置の学習過程を示すブロック図である。一実施形態に係る複数の認識装置の学習過程を示すブロック図である。更なる実施形態に係る認識装置の学習過程を示すブロック図である。一実施形態に係る閾値の決定過程を示すフローチャートである。一実施形態に係る認証過程を示すフローチャートである。一実施形態に係る認識装置の内部構造及び認証過程を示すブロック図である。実施形態に係る認識装置の内部構造及び認識装置の学習過程を示すブロック図である。一実施形態に係る電子装置を示すブロック図である。

以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の要素を示す。下記で説明される実施形態は、ユーザインタフェースに、例えば、カメラを通した本人認証に用いてもよい。

図１は、一実施形態に係る認証装置を示すブロック図である。図１を参照すると、認証装置１００は、認識装置１１０及び認証処理部１２０を含む。認識装置１１０及び認証処理部１２０はそれぞれ１つ以上のハードウェアモジュール、１つ以上のソフトウェアモジュール又はその様々な組合せで具現化できる。

認識装置１１０は、入力画像（例えば、ユーザの顔画像又は指紋画像など）を受信し、入力画像に対応する特徴値を出力する。認識装置１１０は、入力画像から特徴値を抽出する複数のレイヤを含む。複数のレイヤは、ディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ（ＤＬ））ネットワーク構造のレイヤであってよく、入力画像は、カメラ、通信モジュール、及びメモリなどから受信され得る。

認証処理部１２０は、認識装置１１０によって出力された特徴値に基づいて認証結果を出力する。例えば、認証処理部１２０は、認識装置１１０によって出力された特徴値に基づいて、入力画像の顔が、登録されたユーザの顔であるか否かを判定し、判定結果に基づいて認証結果を出力し得る。認証結果は、入力画像が、登録された画像と一致するか否かを示す情報として、例えば、認証成功を示す受諾及び認証失敗を示す拒絶を含む。認証結果は暗号化アプリケーションなどに伝えられ、例えば、オンライン決済及び端末のロック解除などのために用いられる。

後で詳細に説明するが、認証装置１００は入力画像に対する早い認証（ｅａｒｌｙａｕｔｈｅｎｔｉｃａｔｉｏｎ）を行う。早い認証は、認識装置１１０に含まれる複数のレイヤのうち、最初のレイヤ又は中間レイヤによって出力される特徴値に基づいて実行され、早い受諾（ｅａｒｌｙａｃｃｅｐｔａｎｃｅ）又は早い拒絶（ｅａｒｌｙｒｅｊｅｃｔｉｏｎ）を含む。ここで、最初のレイヤ及び中間レイヤは、複数のレイヤのうち最終レイヤを除いた残りのレイヤを含む。以下では、中間レイヤは、複数のレイヤのうち最終レイヤを除いた残りのレイヤを意味する。したがって、最後の中間レイヤによる早い認証が失敗したとき、最終レイヤが認証のために利用され得る。

早い認証によって認証速度が向上し得る。例えば、複数のレイヤを含む認識装置１１０の場合、中間レイヤの出力値が先に生成されて最終レイヤの出力値を生成するために利用され得る。したがって、中間レイヤの出力値を適切に利用することで、最終レイヤの出力値のみを用いる場合に比べて認証速度が向上される。実施形態により、指定された数の中間レイヤが早い認証に利用され得る。例えば、奇数レイヤ、あるいは偶数レイヤが早い認証に利用され得る。指定された数のレイヤは、学習過程、あるいはネットワーク構造に基づくものである。

認識装置１１０は、学習サンプルによって予め学習され、学習の後に早い認証のための閾値が決定される。具体的な学習過程及び早い認証のための閾値決定の過程については後述することにする。

図２は、一実施形態に係る認証処理部を示すブロック図である。図２を参照すると、認証処理部１２０は、入力画像と登録画像との距離に基づいて入力画像に対する認証の成否を決定する。登録画像は、認証の基準となる画像を意味する。例えば、認証処理部１２０は、複数の入力画像の特徴値及び登録画像の特徴値を受信し、入力画像の特徴値と登録画像の特徴値との間の距離を算出する。入力画像と登録画像とが類似するほど、入力画像の特徴値と登録画像の特徴値との間の距離は小さく算出され、入力画像と登録画像とが互いに異なるほど、入力画像の特徴値と登録画像の特徴値との間の距離は大きく算出される。

認証処理部１２０は、算出された距離と閾値とを比較することによって入力画像に対する認証の成否を決定し、認証結果を出力し得る。例えば、算出された距離が閾値よりも小さい場合、認証処理部１２０は、入力画像が登録画像とユーザを認証するために十分に類似するものと判定して認証成功を示す受諾を出力する。一方、算出された距離が閾値よりも大きい場合、認証処理部１２０は認証失敗を示す拒絶を出力する。

早い認証動作を説明する前に、入力画像の特徴値及び登録画像の特徴値を説明することにする。入力画像の特徴値は、図１に示す認識装置１１０から送信され、登録画像の特徴値は格納部（図示せず）から送信される。登録画像の特徴値は、登録ステップで格納部に予め格納される。実施形態によって、登録画像の特徴値も認識装置から送信され得る。この場合、登録画像の特徴値は、認識装置を用いて登録画像からリアルタイムに抽出される。

入力画像の特徴値及び登録画像の特徴値は認識装置のレイヤにより区分できる。例えば、入力画像を認識装置に入力したとき、認識装置の中間レイヤによって出力される特徴値は入力画像の中間特徴値と称され、認識装置の最終レイヤによって出力される特徴値は入力画像の最終特徴値と称される。同様に、登録画像を認識装置に入力したとき、中間レイヤによって出力される特徴値は登録画像の中間特徴値と称され、最終レイヤによって出力される特徴値は登録画像の最終特徴値と称される。また、中間レイヤに対応する距離は中間距離と称され、最終レイヤに対応する距離は最終距離と称される。中間距離は、入力画像の中間特徴値及び登録画像の中間特徴値に基づいて決定され、最終距離は、入力画像の最終特徴値及び登録画像の最終特徴値に基づいて決定される。中間距離は早い認証に利用され得る。

入力画像の認証のために用いられる閾値は、予め決定した性能指標に基づいて決定される。性能指標は、他人受入率（ＦａｌｓｅＡｃｃｅｐｔａｎｃｅＲａｔｅ：ＦＡＲ）に関する指標及び認証率（ＶｅｒｉｆｉｃａｔｉｏｎＲａｔｅ：ＶＲ）に関する指標を含む。ＦＡＲは、登録画像のオブジェクトと入力画像のオブジェクトとが互いに異なっても、登録画像のオブジェクトと入力画像のオブジェクトとを同一であると間違って認識する比率を示す。ＶＲは、登録画像のオブジェクトと入力画像のオブジェクトとが同一である場合、登録画像のオブジェクトと入力画像のオブジェクトとを同一であると正しく認識する比率を示す。例えば、閾値がＦＡＲに基づいて決定された場合、認証処理部１２０は、入力画像と登録画像との間の距離が閾値未満であるかを判定して入力画像を受諾する。また、閾値がＶＲに基づいて決定された場合、認証処理部１２０は、入力画像と登録画像との間の距離が閾値を超えるかを判定して入力画像を拒絶する。

閾値は、認識装置の複数のレイヤそれぞれに対して決定される。言い換えれば、複数のレイヤそれぞれは、入力画像の認証の成否を決定するための閾値を有する。例えば、中間レイヤに対しては中間閾値（中間閾値の距離）が決定され、最終レイヤに対しては最終閾値（最終閾値の距離）が決定される。認証処理部１２０は、中間距離と中間閾値（中間閾値の距離）とに基づいて入力画像の認証の成否を決定する。例えば、認証処理部１２０は、中間距離と中間閾値（中間閾値の距離）とを比較することで入力画像の認証の成否を決定する。前述したように、中間距離は、入力画像に対する早い受諾又は早い拒絶を決定する早い認証に利用され得る。以下、中間レイヤに対する性能指標はＦＡＲ１及びＶＲ１と称され、最終レイヤに対する性能指標はＦＡＲ２及びＶＲ２と称される。ＦＡＲ１とＦＡＲ２及びＶＲ１とＶＲ２は互いに独立的に決定され得る。

一態様によると、ＦＡＲ１に基づいて決定された閾値はＦＡＲ１に対応する距離として決定され、早い受諾に利用され得る。例えば、認証処理部１２０は、中間距離がＦＡＲ１に対応する距離未満である場合、入力画像に対する早い受諾を決定する。また、ＶＲ１に基づいて決定された閾値はＶＲ１に対応する距離として決定され、早い拒絶に利用され得る。例えば、認証処理部１２０は、中間距離がＶＲ１に対応する距離を超える場合、入力画像に対する早い拒絶を決定する。入力画像がこのような早い認証の条件を満たせば、入力画像に対するさらに多くの追加的な処理なしで認証手続を終了することができるため、認証速度の向上を図ることができる。

認証処理部１２０は早い認証に失敗した場合、続いて認証を向上させることができる。例えば、中間距離がＦＡＲ１に対応する距離を超え、ＶＲ１に対応する距離未満である場合、認証処理部１２０は早い認証に失敗する可能性がある。この場合、認証処理部１２０は、最終距離に基づいて入力画像に対する認証を向上させ得る。認証処理部１２０は、最終距離と最終閾値（最終閾値の距離）とを比較することによって、入力画像の認証の成否を決定する。例えば、認証処理部１２０は、最終距離がＦＡＲ２に対応する距離未満である場合、入力画像に対する受諾を決定する。また、認証処理部１２０は、最終距離がＶＲ２に対応する距離を超える場合、入力画像に対する拒絶を決定する。

最終距離に基づいた認証が失敗した場合、ポリシーに基づく決定によって認証が進行される。例えば、認証失敗で認証が終了したり、新しい入力画像に基づいて認証を向上させたり、従来入力画像に基づいて認証を再び試みることができる。

図３は、一実施形態に係る複数のレイヤを含む認識装置を示すブロック図である。図３を参照すると、一実施形態に係る認識装置１１０は、入力レイヤ１１１、中間レイヤ１１２、及び最終レイヤ１１３を含む。入力レイヤ１１１、中間レイヤ１１２及び最終レイヤ１１３は、１つ以上のハードウェアモジュール、１つ以上のソフトウェアモジュール、又はその組合せで具現化される。入力レイヤ１１１、中間レイヤ１１２、及び最終レイヤ１１３は、学習サンプルを用いて予め学習される。具体的な学習過程は後述することにする。

入力レイヤ１１１は、入力画像を受信して入力画像から特徴値を抽出し、抽出された特徴値を中間レイヤ１１２に送信する。中間レイヤ１１２は、入力レイヤ１１１から受信した特徴値に基づいて入力画像の中間特徴値を抽出及び出力する。図３には中間レイヤ１１２が１つのブロックで図示されているが、中間レイヤ１１２は複数のレイヤを含み得る。中間レイヤ１１２は入力画像の中間特徴値を最終レイヤ１１３に送信する。最終レイヤ１１３は、中間レイヤ１１２から受信した特徴値に基づいて入力画像の最終特徴値を抽出及び出力する。最終レイヤ１１３及び他の中間レイヤは、入力レイヤ１１１又は中間レイヤ１１２のうちいずれか１つによって早い認証が成功した場合、追加的な認証動作を実行しないように具現化できる。

図３では、説明の便宜のために入力レイヤ１１１と中間レイヤ１１２とを区分して図示しているが、中間レイヤ１１２は入力レイヤ１１１を含み得る。この場合、入力レイヤ１１１によって出力される特徴値も早い認証のために使用され得る。

図４は、一実施形態に係る登録画像の特徴値の生成過程を示すブロック図である。図４を参照すると、一実施形態に係る認識装置１１０は、登録画像に基づいて登録画像の特徴値を出力する。登録画像（例えば、認証のためのユーザの顔画像）は、カメラ、通信モジュール、及びメモリなどから受信される。例えば、登録画像の特徴値は、認証手続が実行される前にメモリ１３０に予め格納される。

前述したように、登録画像の特徴値は、入力画像の特徴値のように複数のレイヤに対応して生成される。例えば、中間レイヤによって登録画像の中間特徴値が生成され、最終レイヤによって登録画像の最終特徴値が生成される。メモリ１３０は、中間レイヤに対応して登録画像の中間特徴値を格納し、最終レイヤに対応して登録画像の最終特徴値を格納する。また、メモリ１３０は、中間レイヤに対応して中間閾値を格納し、最終レイヤに対応して最終閾値を格納する。一態様によると、メモリ１３０は、登録画像の特徴値を格納し、認証が実行されることに応答して登録画像の特徴値を認証処理部に送信する。他の側面によると、登録画像の特徴値は、メモリ１３０に予め格納されることなく、認識装置１１０によってリアルタイムに抽出され、認証処理部に送信され得る。この場合、メモリ１３０は、登録画像の特徴値の代わりに登録画像そのものを格納することもできる。

図５は、一実施形態に係る複数の中間レイヤを説明する図である。図５を参照すると、一実施形態に係る認識装置１１５は、入力レイヤ１１６、中間レイヤ１１７及び最終レイヤ１１８を含み、中間レイヤ１１７は、第１中間レイヤ及び第２中間レイヤないし第ｎ中間レイヤを含む。図５には図示していないが、実施形態によって入力レイヤ１１６は特徴値を出力し、該当の特徴値はメモリ１３０に格納された登録画像の特徴値と比較され得る。

入力レイヤ１１６は、入力画像から特徴値を抽出し、抽出された特徴値を中間レイヤ１１７に送信する。中間レイヤ１１７は複数のレイヤを含み、複数のレイヤそれぞれは中間特徴値を抽出及び出力する。具体的に、第１中間レイヤは、入力レイヤ１１６から受信した特徴値に基づいて入力画像の第１中間特徴値を抽出及び出力する。第２中間レイヤは、入力画像の第１中間特徴値に基づいて入力画像の第２中間特徴値を抽出及び出力する。第ｎ中間レイヤは、第（ｎ−１）特徴値に基づいて入力画像の第ｎ中間特徴値を抽出及び出力する。第２中間レイヤと第ｎ中間レイヤとの間には複数のレイヤが含まれ得る。最終レイヤ１１８は、入力画像の第ｎ中間特徴値に基づいて入力画像の最終特徴値を抽出及び出力する。

メモリ１３０には、認識装置１１５の複数のレイヤに対応する登録画像の特徴値が予め格納される。登録画像の特徴値は、認識装置１１５によって予め生成され、メモリ１３０に格納され得る。例えば、メモリ１３０には、第１中間レイヤに対応する登録画像の第１中間特徴値、第２中間レイヤに対応する登録画像の第２中間特徴値、第ｎ中間レイヤに対応する登録画像の第ｎ中間特徴値、及び最終レイヤ１１８に対応する登録画像の最終特徴値が予め格納され得る。

中間レイヤ１１７及び最終レイヤ１１８から出力される入力画像の特徴値は、登録画像の特徴値と順次比較され、入力画像の特徴値と登録画像の特徴値との間の距離に応じて入力画像の早い認証又は最終認証の成否が決定され得る。

図５は、説明の便宜のために入力レイヤ１１６と中間レイヤ１１７とを区分して示されているが、中間レイヤ１１７は入力レイヤ１１６を含み得る。この場合、入力レイヤ１１６は最初の中間レイヤとして動作する。

図６Ａ及び図６Ｂは、一実施形態に係る性能指標による閾値を説明する図である。図６Ａを参照すると、同一オブジェクトに対するグラフ及び非同一オブジェクトに対するグラフが図示されている。予め学習された認識装置に同一オブジェクトに対する検証データを提供して同一オブジェクトに関するグラフが取得され、認識装置に非同一オブジェクトに対する検証データを提供して非同一オブジェクトに関するグラフが取得される。ここで、ｘ軸は特徴値間の距離を示し、ｙ軸はサンプルペアの数を示す。

例えば、オブジェクトＡに対する第１サンプルから抽出された特徴値とオブジェクトＡに対する第２サンプルから抽出された特徴値との間の距離が算出されれば、同一オブジェクトに対するグラフで該当距離のサンプルペアの数が増加する。また、オブジェクトＡに対する第１サンプルから抽出された特徴値とオブジェクトＢに対する第１サンプルから抽出された特徴値との間の距離が算出されれば、非同一オブジェクトに対するグラフで該当距離のサンプルペアの数が増加する。

同一オブジェクトに関するグラフ及び非同一オブジェクトに関するグラフは全て正規分布の形態を有する。入力画像と登録画像との間の距離が同一オブジェクトに関する分布に含まれる場合に入力画像の認証は受諾され、入力画像と登録画像との間の距離が非同一オブジェクトに関する分布に含まれる場合に入力画像の認証は拒絶される。ただし、入力画像と登録画像との間の距離が同一オブジェクトに関する分布及び非同一オブジェクトに関する分布に全て含まれている場合は適切な判断が要求される。

閾値は、図６Ａに示すグラフ及び予め決定した性能指標に基づいて決定され得る。性能指標は、他人受入率（ＦＡＲ）に関する指標及び認証率（ＶＲ）に関する指標を含む。例えば、ＦＡＲは１％に設定され、ＶＲは１００％に設定される。この場合、１％のＦＡＲに対応する距離α及び１００％のＶＲに対応する距離βが閾値となる。したがって、入力画像の特徴値と登録画像の特徴値との間の距離が距離α未満である場合に入力画像は受諾され、入力画像の特徴値と登録画像の特徴値との間の距離が距離βを超える場合に入力画像は拒絶される。

図６Ｂを参照すると、距離の代わりに類似度を用いてもよい。特徴値間の距離と特徴値間の類似度とは反比例関係にある。距離の代わりに類似度が用いられる場合にも、ＦＡＲに関する指標及びＶＲに関する指標に基づいて閾値が決定され得る。この場合、入力画像の特徴値と登録画像の特徴値との間の類似度がＦＡＲに関する閾類似度を超える場合に入力画像は受諾され、入力画像の特徴値と登録画像の特徴値との間の類似度がＶＲに関する閾類似度未満である場合に入力画像は拒絶される。一実施形態によると、ＦＡＲは１％に設定され、ＶＲは１００％に設定される。

以下、説明の一貫性のために距離を用いる実施形態を説明するが、以下で説明する実施形態は、距離の代わりに類似度を利用するよう変更又は拡張され得る。

図７は、一実施形態に係るグラフの形態と認識装置性能との間の関係を説明する図である。図７を参照すると、低いレイヤに対応するグラフ１０と、高いレイヤに対応するグラフ２０とが図示されている。レイヤが高いほど同一オブジェクトに関するグラフの中心と非同一オブジェクトに関するグラフの中心とは遠ざかる。言い換えれば、グラフ間の重複領域が減少することになる。重複領域の減少は、認証正確度が増加することを意味する。

上記で説明したように、早い認証によって認証速度が増加する。低いレイヤに対応するグラフ１０は、高いレイヤに対応するグラフ２０に比べて認証正確度が低いが、低いレイヤの閾値を基準として早い受諾と早い拒絶とが決定される。例えば、入力画像の特徴値と登録画像の特徴値との間の距離がＦＡＲによる閾値α１未満である場合に早い受諾が決定され、入力画像の特徴値と登録画像の特徴値との間の距離がＶＲによる閾値β１を超える場合に早い拒絶が決定され得る。この場合、高いレイヤの演算を実行しなくてもよいため認証速度が増加する。もし、入力画像の特徴値と登録画像の特徴値との間の距離がＦＡＲによる閾値α１とＶＲによる閾値β１との間にある場合、高いレイヤの演算を行って認証を実行することができる。

図８は、一実施形態に係る認証処理部の動作を示すフローチャートである。図８を参照すると、ステップＳ５１０において、認証処理部は中間特徴値を受信する。中間特徴値は、入力画像の中間特徴値及び登録画像の中間特徴値を含む。ステップＳ５２０において、認証処理部は、中間特徴値の距離Ｘ_１を決定する。中間特徴値の距離Ｘ_１は、入力画像の中間特徴値と登録画像の中間特徴値との間の距離として算出される。

ステップＳ５３０において、認証処理部は閾値α１及びβ１と距離Ｘ_１とを比較する。閾値α１はＦＡＲ１によって決定され、閾値β１はＶＲ１によって決定され得る。距離Ｘ_１が閾値α１、β１の範囲外にある場合、認証処理部はステップＳ５４０を行う。ステップＳ５４０において、認証処理部は認証の成否、言い換えれば、入力画像が認証受諾されたか、認証拒絶されたかを決定する。ステップＳ５４０の認証は、上記で説明した早い認証のことを意味する。ステップＳ５４０で認証の成否が決定され、認証手続が終了することにより認証速度は増加する。

距離Ｘ_１が閾値α１、β１の範囲内にある場合、認証処理部はステップＳ５５０を行う。ステップＳ５５０において、認証処理部は最終特徴値を受信する。最終特徴値は、入力画像の最終特徴値及び登録画像の最終特徴値を含む。ステップＳ５６０において、認証処理部は最終特徴値の距離Ｘ_２を決定する。最終特徴値の距離Ｘ_２は、入力画像の最終特徴値と登録画像の最終特徴値との間の距離として算出される。

ステップＳ５７０において、認証処理部は閾値α２及びβ２と距離Ｘ_２とを比較する。閾値α２はＦＡＲ２によって決定され、閾値β２はＶＲ２によって決定され得る。最終レイヤの閾値α２及びβ２を決定するＦＡＲ２及びＶＲ２は、中間レイヤの閾値α１及びβ１を決定するＦＡＲ１及びＶＲ１と異なるが、レイヤに関係なく同一のＦＡＲ及びＶＲが用いられてもよい。また、レイヤが増加するほどＦＡＲ値及びＶＲ値が増加されたり減少されたりし得る。距離Ｘ_２が閾値α２、β２の範囲外にある場合、ステップＳ５８０において、認証処理部は認証の成否を決定する。認証処理部は、入力画像に対する受諾又は拒絶を決定する。距離Ｘ_２が閾値α２、β２の範囲内にある場合、認証処理部はステップＳ５９０で認証失敗を決定する。図面に図示されていないが、認証失敗が決定された後にはポリシーに基づく判断に応じて従来の入力画像に対してステップＳ５１０が再び実行されたり、新しい入力画像に対してステップＳ５１０が実行されたり、認証手続がそのまま終了する。

図９は、一実施形態に係る学習装置及び認識装置を示すブロック図である。図９を参照すると、一実施形態に係る学習装置３００は、学習器３１０及び閾値決定部３２０を含む。学習器３１０、閾値決定部３２０、及び認識装置４００は１つ以上のハードウェアモジュール、１つ以上のソフトウェアモジュール、又はその組合せで実現される。

学習器３１０は、学習サンプルに基づいて認識装置４００を学習させる。学習器３１０は、学習サンプルに対する認識装置４００の出力値に基づいて認識装置４００のパラメータを調整する。閾値決定部３２０は、学習された認識装置４００を用いて閾値を決定する。閾値決定部３２０は、検証データに対する認識装置４００の出力値に基づいて図７に示すようなグラフを取得できる。閾値決定部３２０は、各レイヤに対する閾値を決定する。

図１０は、一実施形態に係る閾値の決定過程を示すブロック図である。図１０を参照すると、一実施形態に係る閾値決定部３２５は、学習された認識装置４２０、４３０から受信した特徴値に基づいて閾値を決定する。説明の便宜のために認識装置４２０と認識装置４３０とを互いに独立的に示したが、認識装置４２０と認識装置４３０とは同じ認識装置であってもよい。

認識装置４２０は、入力レイヤ４２１、中間レイヤ４２２、及び最終レイヤ４２３を含み、認識装置４３０は、入力レイヤ４３１、中間レイヤ４３２、及び最終レイヤ４３３を含む。検証データに基づいて中間レイヤ４２２は中間特徴値を出力し、最終レイヤ４２３は最終特徴値を出力する。また、検証データに基づいて、中間レイヤ４３２は中間特徴値を出力し、最終レイヤ４３３は最終特徴値を出力する。検証データは、同一オブジェクトに関するデータと非同一オブジェクトに関するデータとを含む。

閾値決定部３２５は、中間特徴値を比較することによって第１分布のグラフ３２６を取得する。また、閾値決定部３２５は、最終特徴値を比較することによって第２分布のグラフ３２７を取得する。グラフ３２６、３２７に関しては図６及び図７を参照して説明した内容を適用できる。

閾値決定部３２５は、予め決定した性能指標に基づいて閾値を決定する。閾値決定部３２５は、第１分布のグラフ３２６に基づいて中間レイヤ４２２、４３２のための中間閾値を決定し、第２分布のグラフ３２７に基づいて最終レイヤ４２３、４３３のための最終閾値を決定する。例えば、中間閾値は、ＦＡＲ１によって決定された閾値α１とＶＲ１によって決定された閾値β１とを含む。最終閾値は、ＦＡＲ２によって決定された閾値α２とＶＲ２によって決定された閾値β２とを含む。

図１１は、一実施形態に係る認識装置の学習過程を示すブロック図である。図１１を参照すると、一実施形態に係る認識装置４１０は、入力レイヤ４１１、中間レイヤ４１２、及び最終レイヤ４１３を含む。認識装置４１０は、学習サンプルに対する特徴値を出力する。学習器は学習サンプルを認識装置４１０に提供し、認識装置４１０から出力された特徴値に基づいて認識装置４１０を学習させ得る。学習サンプルは認証のための画像から構成され得る。例えば、学習サンプルは顔画像で構成されてよく、顔を識別するラベルを含み得る。学習器は、認識装置４１０の最終レイヤ４１３で出力された特徴値が学習サンプルのラベルに対応するように認識装置４１０を繰り返し学習させることができる。

図１２は、他の実施形態に係る認識装置の学習過程を示すブロック図である。図１２を参照すると、他の実施形態に係る認識装置４４０は、入力レイヤ４４１、中間レイヤ４４２、及び最終レイヤ４４３を含む。中間レイヤ４４２は中間特徴値を出力し、最終レイヤ４４３は最終特徴値を出力する。認識装置４４０は中間特徴値及び最終特徴値に基づいて学習される。例えば、学習器は、最終特徴値のみならず、中間特徴値も学習サンプルのラベルに対応するように認識装置４４０を学習させ得る。認識装置４４０が中間特徴値を考慮して学習されることにより、早い認証の確率又は頻度数が増加する。

図１３は、一実施形態に係る複数の認識装置の学習過程を示すブロック図である。一態様によると、学習器は、複数の認識装置を学習させ得る。複数の認識装置は、第１認識装置４２０及び第２認識装置４３０を含む。第１認識装置４２０は、入力レイヤ４２１、中間レイヤ４２２、及び最終レイヤ４２３を含み、第２認識装置４３０は、入力レイヤ４３１、中間レイヤ４３２、及び最終レイヤ４３３を含む。学習器は、同一オブジェクトに対する学習サンプルと非同一オブジェクトに対する学習サンプルとに基づいて第１認識装置４２０及び第２認識装置４３０を学習させ得る。学習器は、同一オブジェクトに対する学習サンプルに対しては第１認識装置４２０から出力された第１特徴値と第２認識装置４３０から出力された第２特徴値との距離が小さくなるよう、第１認識装置４２０及び第２認識装置４３０を学習させ得る。また、学習器は、非同一オブジェクトに対する学習サンプルに対しては第１認識装置４２０から出力された第１特徴値と第２認識装置４３０から出力された第２特徴値との距離が大きくなるよう、第１認識装置４２０及び第２認識装置４３０を学習させ得る。

図１４は、更なる実施形態に係る認識装置の学習過程を示すブロック図である。図１４を参照すると、更なる実施形態に係る認識装置４５０は、入力レイヤ４５１、中間レイヤ４５２、最終レイヤ４５４、第１ネットワーク４５３、及び第２ネットワーク４５５を含む。入力レイヤ４５１、中間レイヤ４５２、最終レイヤ４５４、第１ネットワーク４５３、及び第２ネットワーク４５５は、１つ以上のハードウェアモジュール、１つ以上のソフトウェアモジュール、又はその組合せで実現される。

認識装置４５０は、学習サンプルに基づいて中間特徴値及び最終特徴値を出力する。中間レイヤ４５２の出力は第１ネットワーク４５３に入力され、第１ネットワーク４５３は中間特徴値を出力する。また、最終レイヤ４５３の出力は第２ネットワーク４５５に入力され、第２ネットワーク４５５は最終特徴値を出力する。第１ネットワーク４５３及び第２ネットワーク４５５は、早い認証の可能性を増加させる構造を有し得る。例えば、第１ネットワーク４５３及び第２ネットワーク４５５は、それぞれ畳み込みレイヤ（ｃｏｎｖｏｌｕｔｉｏｎｌａｙｅｒ）、完全接続ネットワーク（ｆｕｌｌｙｃｏｎｎｅｃｔｅｄｎｅｔｗｏｒｋ）などを含む。

学習器は、中間特徴値が学習サンプルのラベルに対応するように中間レイヤ４５２を学習させ得る。また、学習器は、最終特徴値が学習サンプルのラベルに対応するように中間レイヤ４５２と最終レイヤ４５３とを学習させ得る。また、学習器は、第１ネットワーク４５３と第２ネットワーク４５５とを共に学習させ得る。第１ネットワーク４５３及び第２ネットワーク４５５を含み、中間特徴値及び最終特徴値に基づいて学習された認識装置４５０は早い認証の可能性を増加させ得る。

図１５は、一実施形態に係る閾値の決定過程を示すフローチャートである。図１５を参照すると、ステップＳ７１０において、複数のレイヤを含む認識装置が学習される。ステップＳ７１０は、上記で説明した学習器によって実行され得る。ステップＳ７２０において、検証データが認識装置に提供される。ステップＳ７３０において、中間レイヤによって出力される中間特徴値との間の距離が決定される。ステップＳ７４０において、最終レイヤによって出力される最終特徴値との間の距離が決定される。ステップＳ７５０において、予め決定した性能指標に基づいて認識装置内の中間レイヤのための中間閾値が決定される。ステップＳ７６０において、性能指標に基づいて認識装置内の最終レイヤのための最終閾値が決定される。性能指標は、中間レイヤ及び最終レイヤによって異なって設定されてもよいし、レイヤに関係なく同一に設定されてもよい。ステップＳ７２０〜ステップＳ７６０は、上記で説明した閾値決定部によって実行され得る。

図１６は、一実施形態に係る認証過程を示すフローチャートである。図１６を参照すると、ステップＳ９１０において、入力画像が複数のレイヤを含む認識装置に提供される。ステップＳ９１０は、上記で説明した認識装置によって実行され得る。ステップＳ９２０において、認識装置内の中間レイヤによって出力される入力画像の特徴値と中間レイヤに対応する登録画像の特徴値とに基づいて距離が決定される。ステップＳ９３０において、距離と中間レイヤの閾値とを比較することによって入力画像の認証の成否が決定される。ステップＳ９２０及びステップＳ９３０は、上記で説明した認証処理部によって実行され得る。

図１７は、一実施形態に係る認識装置の内部構造及び認証過程を示すブロック図である。図１７を参照すると、認識装置１４０は、複数のレイヤ１４１〜１４５を含む。複数のレイヤ１４１〜１４５のそれぞれは畳み込みレイヤとプーリングレイヤとを含む。それぞれのレイヤは目的に応じて繰り返し構成され得る。例えば、畳み込みレイヤ１１の出力は畳み込みレイヤ１２に伝えられ、畳み込みレイヤ１２の出力はプーリングレイヤ１に伝えられてもよい。前述したレイヤの構成は単に例示的な事項に過ぎず、実施形態に係るレイヤの構成は多様に変更され得る。登録画像は、登録プーリング１特徴〜登録プーリング５特徴にプーリングされる。登録プーリング１特徴〜登録プーリング５特徴は、認証処理部１５０に提供される。認証処理部１５０は、複数のレイヤ１４１〜１４５から受信した特徴及び登録プーリング１特徴〜登録プーリング５特徴を順次比較することによって認証の成否を決定し得る。例えば、認証処理部１５０は、レイヤ１４１の出力と登録プーリング１特徴との距離を第１閾値と比較することで早い認証の成否を決定し得る。

図１８は、実施形態に係る認識装置の内部構造及び認識装置の学習過程を示すブロック図である。図１８を参照すると、認識装置４７０は、複数のレイヤ４７１、４７３、４７５、４７７及び４７９を含む。複数のレイヤ４７１、４７３、４７５、４７７及び４７９のそれぞれは、畳み込みレイヤとプーリングレイヤとを含む。また、複数のレイヤ４７１、４７３、４７５、４７７及び４７９のうち少なくとも一部は、追加ネットワーク４７２、４７４、４７６及び４７８に接続される。追加ネットワーク４７２、４７４、４７６及び４７８は、それぞれ畳み込みレイヤ（図１８中のＣｏｎｖ．ｋ）及び完全接続ネットワーク（図１８中のＦＣｋ）を含む。追加ネットワーク４７２、４７４、４７６及び４７８は、複数のレイヤ４７１、４７３、４７５及び４７７の出力に基づいて特徴値を出力する。認識装置４７０は、特徴値と学習データのラベルとに基づいて学習される。それぞれのレイヤは目的に応じて繰り返し構成され得る。例えば、プーリングレイヤ１の出力は畳み込みレイヤ１に伝えられ、畳み込みレイヤ１の出力は完全接続ネットワーク１に伝えられ得る。前述したレイヤの構成は単に例示的な事項に過ぎず、実施形態に係るレイヤの構成は多様に変更され得る。

図１９は、一実施形態に係る電子装置を示すブロック図である。図１９を参照すると、一実施形態に係る電子装置１１００は、カメラ１１１０、通信モジュール１１２０、メモリ１１３０、及び認証部１１４０を含む。電子装置１１００は、スマートフォン、スマートＴＶ、デスクトップコンピュータ、ノートブックコンピュータ、タブレットＰＣなどに搭載される。

上記で説明したように、認証部１１４０は画像に基づいて認証結果を出力する。認証部１１４０は、学習サンプルに基づいて予め学習された認識装置と閾値とに基づいて認証結果を出力する認証処理部を含む。認証部１１４０は、カメラ１１１０、通信モジュール１１２０、及びメモリ１１３０から受信された画像から認証結果を出力する。画像は、上記で説明した入力画像及び登録画像を含み得る。例えば、入力画像はカメラ１１１０から受信されてもよく、登録画像はメモリ１１３０から受信されてもよい。登録画像はユーザの顔画像を含む。

カメラ１１１０は、イメージセンサに基づいて入力画像を取得する。カメラ１１１０は、入力画像を認証部１１４０に提供する。通信モジュール１１２０は、様々な通信技術によって外部装置と通信を行う。通信モジュール１１２０は、外部装置から受信した画像を認証部１１４０に提供する。メモリ１１３０は、様々なデータを格納する。例えば、メモリ１１３０は、複数のレイヤに対応する閾値及び複数のレイヤに対応する登録画像の特徴値を格納し得る。メモリ１１３０は、格納されたデータを認証部１１４０に提供する。

以上、前述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサ、又は命令を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータにアクセスし、データを格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者であれば、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔ）及び／又は複数種類の処理要素を含むことが分かるであろう。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は集合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる種類の機械、構成要素、物理装置、仮想装置、コンピュータ格納媒体又は装置、或いは伝送される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散されてもよく、分散された形で格納されてもよいし又は実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例は、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例は、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲で多様に変更実施することが可能である。

１００認証装置
１１０、１１５、１４０認識装置
４００、４１０、４２０、４３０、４４０、４５０、４７０認識装置
１２０、１５０認証処理部
１１１、１１６、４１１、４２１、４３１、４４１、４５１入力レイヤ
１１２、１１７、４１２、４２２、４３２、４４２、４５２中間レイヤ
１１３、１１８、４１３、４２３、４３３、４４３、４５４最終レイヤ
１３０メモリ
３００学習装置
３１０学習器
３２０、３２５閾値決定部
４５３第１ネットワーク
４５５第２ネットワーク
１４１、１４２、１４３、１４４、１４５レイヤ
４７１、４７３、４７５、４７７、４７９レイヤ
４７２、４７４、４７６、４７８追加ネットワーク

Claims

入力画像を、複数のレイヤを含む認識装置に提供するステップと、
前記認識装置内の少なくとも１つの中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する登録画像の少なくとも１つの特徴値とに基づいて前記入力画像の認証を行うステップと、を含み、
前記入力画像の認証を行うステップは、
前記少なくとも１つの中間レイヤの第１中間レイヤによって出力される前記入力画像の第１中間特徴値と、前記第１中間レイヤに対応する前記登録画像の第１中間特徴値に基づいて前記入力画像の１次認証を行うステップと、
前記少なくとも１つの中間レイヤの第２中間レイヤによって出力される前記入力画像の第２中間特徴値と、前記第２中間レイヤに対応する前記登録画像の第２中間特徴値に基づいて前記入力画像の２次認証を行うステップと、を含む、
認証方法。
前記入力画像の認証を行うステップは、前記入力画像に対する受諾又は拒絶を決定するステップを含む、請求項１に記載の認証方法。
前記複数のレイヤは、ディープラーニングネットワークのレイヤである、請求項１又は２に記載の認証方法。
前記少なくとも１つの中間レイヤは複数の中間レイヤであり、
前記入力画像の認証を行うステップは、それぞれの中間レイヤによって出力される前記入力画像の特徴値とそれぞれの中間レイヤに対応する登録画像の特徴値とに基づいて前記入力画像の認証の成否を決定するステップを含む、請求項１ないし３のうちのいずれか１項に記載の認証方法。
前記入力画像の認証を行うステップは、
前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて類似度を決定するステップと、
前記類似度と閾値とに基づいて前記入力画像の認証を行うステップと、
を含む、請求項１ないし４のうちのいずれか１項に記載の認証方法。
前記入力画像の認証を行うステップは、前記類似度が前記中間レイヤに対する他人受入率に対応する類似度を超える場合、前記入力画像に対する受諾を決定するステップを含む、請求項５に記載の認証方法。
前記入力画像の認証を行うステップは、前記類似度が前記中間レイヤに対する認証率に対応する類似度未満である場合、前記入力画像に対する拒絶を決定するステップを含む、請求項６に記載の認証方法。
前記入力画像の認証を行うステップは、前記類似度が前記中間レイヤに対する認証率に対応する類似度を超え前記中間レイヤに対する他人受入率に対応する類似度未満である場合、前記認識装置の次のレイヤに進行するステップをさらに含む、請求項７に記載の認証方法。
前記閾値は他人受入率によって決定された第１閾値と認証率によって決定された第２閾値とを含む、請求項５に記載の認証方法。
前記第１閾値は前記第２閾値よりも大きい、請求項９に記載の認証方法。
前記入力画像の認証を行うステップは、
前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて距離を決定するステップと、
前記距離及び閾値に基づいて前記入力画像の認証を行うステップと、
を含む、請求項１ないし４のうちのいずれか１項に記載の認証方法。
前記入力画像の認証を行うステップは、前記距離が前記中間レイヤに対する他人受入率に対応する距離未満である場合、前記入力画像に対する受諾を決定するステップを含む、請求項１１に記載の認証方法。
前記入力画像の認証を行うステップは、前記距離が前記中間レイヤに対する認証率に対応する距離を超える場合、前記入力画像に対する拒絶を決定するステップを含む、請求項１２に記載の認証方法。
前記入力画像の認証を行うステップは、前記距離が前記中間レイヤに対する他人受入率に対応する距離を超え前記中間レイヤに対する認証率に対応する距離未満である場合、前記認識装置の次のレイヤに進行するステップをさらに含む、請求項１３に記載の認証方法。
前記閾値は、他人受入率によって決定された第１閾値と認証率によって決定された第２閾値とを含む、請求項１１に記載の認証方法。
前記第１閾値は前記第２閾値よりも大きい、請求項１５に記載の認証方法。
前記入力画像の認証を行うステップは、前記認識装置内の最終レイヤによって出力される前記入力画像の特徴値と前記最終レイヤに対応する前記登録画像の特徴値とに基づいて前記入力画像の認証の成否を決定するステップをさらに含む、請求項１ないし１６のうちのいずれか１項に記載の認証方法。
前記登録画像を前記認識装置に提供するステップと、
前記中間レイヤによって出力される少なくとも１つの特徴値と最終レイヤによって出力される少なくとも１つの特徴値とを前記登録画像の特徴値として格納するステップと、
をさらに含む、請求項１ないし１７のうちのいずれか１項に記載の認証方法。
カメラから前記登録画像を受信するステップをさらに含む、請求項１ないし１８のうちのいずれか１項に記載の認証方法。
前記少なくとも１つの中間レイヤは、前記複数のレイヤのうち複数の中間レイヤを含む、請求項１ないし１９のうちのいずれか１項に記載の認証方法。
前記複数のレイヤは、少なくとも１つの畳み込みレイヤ及びプーリングレイヤを含む、請求項１ないし２０のうちのいずれか１項に記載の認証方法。
複数のレイヤのうち少なくとも１つの中間レイヤによって入力画像の少なくとも１つの特徴値を出力する認識装置と、
前記少なくとも１つの中間レイヤによって出力された前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する登録画像の少なくとも１つの特徴値とに基づいて前記入力画像の認証を行う認証処理部と、を含み、
前記認証処理部は、
前記少なくとも１つの中間レイヤの第１中間レイヤによって出力される前記入力画像の第１中間特徴値と、前記第１中間レイヤに対応する前記登録画像の第１中間特徴値に基づいて前記入力画像の１次認証を行い、
前記少なくとも１つの中間レイヤの第２中間レイヤによって出力される前記入力画像の第２中間特徴値と、前記第２中間レイヤに対応する前記登録画像の第２中間特徴値に基づいて前記入力画像の２次認証を行う、
認証装置。
前記認証処理部は、前記入力画像に対する受諾又は拒絶を決定する、請求項２２に記載の認証装置。
前記複数のレイヤは、ディープラーニングネットワークのレイヤである、請求項２２又は２３に記載の認証装置。
前記少なくとも１つの中間レイヤは複数の中間レイヤである、請求項２２ないし２４のうちのいずれか１項に記載の認証装置。
前記認証処理部は、それぞれの中間レイヤによって出力される前記入力画像の特徴値とそれぞれの中間レイヤに対応する登録画像の特徴値とに基づいて前記入力画像の認証の成否を決定する、請求項２２ないし２５のうちのいずれか１項に記載の認証装置。
前記認証処理部は、前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて類似度を決定し、前記類似度と閾値に基づいて前記入力画像の認証を行う、請求項２２ないし２６のうちのいずれか１項に記載の認証装置。
前記認証処理部は、前記中間レイヤによって出力される前記入力画像の少なくとも１つの特徴値と前記中間レイヤに対応する前記登録画像の少なくとも１つの特徴値とに基づいて距離を決定し、前記距離及び閾値に基づいて前記入力画像の認証を行う、請求項２２ないし２６のうちのいずれか１項に記載の認証装置。
前記認証処理部は、前記登録画像を前記認識装置に提供し、前記中間レイヤによって出力される少なくとも１つの特徴値と最終レイヤによって出力される少なくとも１つの特徴値とを前記登録画像の特徴値として格納する、請求項２２ないし２８のうちのいずれか１項に記載の認証装置。