JP6403233B2 - ユーザー認証方法、これを実行する装置及びこれを保存した記録媒体 - Google Patents

Description

本発明は、ユーザー認証方法、これを実行する装置及びこれを保存した記録媒体に関する。

顔認識技術は、他の生体認証とは異なり、ユーザーの特別な動作や行為なく、非接触で抵抗感なく自然に認識を行うことができるという利点を持っており、ユーザーにとって最も優れた生体認証技術であるといえる。

このような顔認識技術の応用が様々な分野に拡大しつつあり、一例としてセキュリティ認証分野で注目を集めている。

顔認識をセキュリティ認証に適用すると、パスワード入力やその他の付加的な認証媒体を使用せずに、カメラだけ凝視することで自動認証が可能であり、パスワードや認証媒体の偽造、盗難、紛失によるユーザーの個人情報違法流出を防止することができる。

たとえば、Ｗｅｂログイン時にユーザーがＩＤとパスワードを無限共有することを防ぎ、Ｗｅｂ管理者の立場で発生する損失を最小限に抑えることができるなど、有用な点が多い。この他にも、ＰＣログインやスマートフォンのロック解除、Ｅ−Ｌｅａｒｎｉｎｇなどの様々な認証分野に適用することができる。

しかし、顔の回転、表情、照明、老化に伴う認識率の変化は、顔認識技術で普遍的に現れる弱点であって、これによる誤り率を最小化することが問題となっている。

特に、顔認識における他人受入率（ＦＡＲ：Ｆａｌｓｅ Ａｃｃｅｐｔ Ｒａｔｅ）を減らすことは、顔認識を認証分野に適用する上で最も重要な問題の一つである。

これに対する解決策として、顔認識性能を持続的に向上させる一方、顔認識と他の認証方式とを組み合わせることが一つの方案になれる。こうすると、認識誤りにより他人が受け入れられて顔認識認証を通過されたとしても、２重のセキュリティ過程を経るので、ほぼ完璧に近いセキュリティ認証を実現することができるのである。

ところが、顔認識と従来の認証方式（パスワード、ＵＳＢ認証）とを組み合わせると、セキュリティ強度は高めることができるが、ユーザーの立場では、依然として、既存の認証方式の制限性が存在して顔認識の長所をうまく生かすことができないという不具合がある。

よって、顔認識の長所をそのまま生かしながらも、顔認識と組み合わせて認証誤り率を最小化することができる技術の開発が求められている。

本発明は、入力された画像に含まれているユーザーの顔に基づく認証と、顔領域に含まれている瞬き状態に応じて認識されるパスワード認証とを組み合わせて、ユーザー認証の利便性及び正確性を同時に提供するように構成されたユーザー認証方法、並びにこれを実行する装置及びこれを保存した記録媒体を提供することを目的とする。

また、本発明は、フレーム画像間の差を用いてフレーム画像間の変化領域を抽出し、変化領域でのみ顔検出を行うことにより、各フレーム画像ごとに対して領域全体で顔検出演算を行わなくてもよいため、各フレーム画像ごとに対する顔検出速度を改善することができるようにするユーザー認証方法、並びにこれを実行する装置及びこれを保存した記録媒体を提供することを目的とする。

また、本発明は、変化領域に対するイメージピラミッドを構成した後、イメージピラミッド上のそれぞれのイメージを分散処理して顔領域をそれぞれ検出し、その結果を総合して最終的に顔領域を検出することにより、顔領域の検出に対する正確性を高めることができるようにするユーザー認証方法、これを実行する装置及びこれを保存した記録媒体を提供することを目的とする。

本発明が解決しようとする課題は上述した課題に制限されず、上述していない別の課題は以降の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

本発明のある観点によれば、画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する段階と；前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する段階と；前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとの一致か否かを確認するパスワード認証段階と；前記顔認証の結果及び前記パスワード認証の結果に基づいて前記ユーザーの認証が成功したと判断する段階とを含んでなる、ユーザー認証装置で実行されるユーザー認証方法を提供する。

本発明の他の観点によれば、画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する顔領域検出部と；前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する第１認証部と；前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する第２認証部と、前記第１認証部の認証結果及び前記第２認証部の認証結果に基づいて前記ユーザーの認証が成功したと判断する判断部とを含んでなる、ユーザー認証装置を提供する。

本発明の別の観点によれば、画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する機能と；前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する機能と；前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認するパスワード認証機能と；前記顔認証の結果及び前記パスワード認証の結果に基づいて前記ユーザーの認証が成功したと判断する機能と；を含む、ユーザー認証装置で実行されるユーザー認証方法を実行するためのコンピュータプログラムを保存する記録媒体を提供する。

その他の実施形態の具体的な事項は、詳細な説明および添付図面に含まれている。

本発明の利点および／または特徴、そしてそれらを達成する方法は、添付図面と一緒に詳細に後述されている実施形態を参照すると明確になるであろう。ところが、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現される。但し、本実施形態は、本発明の開示を完全たるものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるだけである。明細書全体にわたって、同一参照符号は同一の構成要素を指す。

本発明によれば、入力された画像に含まれているユーザーの顔に基づく認証と、顔領域に含まれている瞬き状態に応じて認識されるパスワード認証とを組み合わせることにより、ユーザー認証の利便性及び正確性を同時に提供するという利点がある。

また、本発明によれば、フレーム画像間の差を用いてフレーム画像間の変化領域を抽出し、変化領域でのみ顔検出を行うことにより、各フレーム画像ごとに対して全領域で顔検出演算を行わなくてもよいため、各フレーム画像ごとに対する顔検出速度を改善することができるという効果がある。このような検出速度の改善は、特に、モバイル機器のように、限られたコンピューティングリソースを持っている端末に適用するときに特に有利である。

また、本発明によれば、変化領域に対するイメージピラミッドを構成した後、イメージピラミッド上のそれぞれのイメージを分散処理して顔領域をそれぞれ検出し、その結果を総合して最終的に顔領域を検出することにより、顔領域の検出に対する正確性を高めることができるという効果がある。

本発明の一実施形態に係るユーザー認証装置を説明するためのブロック図である。 本発明に係るユーザー認証方法の一実施形態を説明するためのフローチャートである。 本発明に係るユーザー認証方法の他の一実施形態を説明するためのフローチャートである。 本発明に係るユーザー認証方法の別の一実施形態を説明するためのフローチャートである。 本発明に係るユーザー認証方法の別の一実施形態を説明するためのフローチャートである。 キーフレーム画像を用いて一般フレーム画像から顔領域を検出する過程を説明するための参照図である。 フレーム画像に対するイメージピラミッドを構成して顔領域を検出する過程を説明するための参照図である。 顔領域を検出するための長方形フィーチャー（ｆｅａｔｕｒｅ）（対称型、非対称型）を示す図である。 図８の長方形フィーチャーを用いて顔領域を検出する過程を説明するための参照図である。 顔領域から瞬きを検出する過程を説明するための参照図である。

以下、添付図面を参照して本発明の実施形態を詳細に説明する。

図１は本発明の一実施形態に係るユーザー認証装置を説明するためのブロック図である。

図１を参照すると、ユーザー認証装置１００は、顔領域検出部１１０、第１認証部１２０、第２認証部１３０、及び判断部１４０を含む。

顔領域検出部１１０は、画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する。顔領域検出部１１０は、顔領域及び顔特徴点に関する情報を、第１認証部１２０および／または第２認証部１３０それぞれに提供する。

顔領域検出部１１０は、画像撮影機器からフレーム画像を受信すると、フレーム画像から顔領域を検出し、特定のフレーム画像をキーフレーム画像として定義する。

まず、顔領域検出部１１０は、フレーム画像のピクセルそれぞれに対して、周辺ピクセルのコントラスト値をフィルター係数と線形結合して得た値を、当該ピクセルのコントラスト値として設定して、フレーム画像に含まれているノイズを除去する。

その後、顔領域検出部１１０は、フレーム画像をダウンスケーリングして、互いに異なるサイズの複数のイメージを生成し、複数のイメージそれぞれから候補顔領域を検出し、候補顔領域中の共通領域を用いて当該フレーム画像から顔領域を検出する。

例えば、顔領域検出部１１０は、元のフレーム画像から顔領域を検出し、それより小さなスケールに変換されたフレーム画像から顔領域を検出し、また、それより小さいスケールに変換されたフレーム画像から顔領域を検出した後、各スケールごとのフレーム画像から検出された顔領域中の共通領域を当該フレームにおける顔領域として検出することができる。このような方式はイメージピラミッド技法として理解できる。

この際、顔領域検出部１１０は、長方形フィーチャー（または四角特徴点モデル）を用いて、フレーム画像の複数のイメージそれぞれから顔領域と顔特徴点（例えば、目）を検出することができる。長方形フィーチャー（または四角特徴点モデル）を用いた顔領域と顔特徴点（例えば、目）の詳細は図８及び図９を参照してより具体的に後述する。

顔領域検出部１１０は、フレーム画像のフレーム番号を特定の数値で割ったときに余りがなければ、フレーム画像をキーフレーム画像として定義することができる。例えば、顔領域検出部１１０は、１５番ごとにキーフレームが更新されるようにするために、フレーム番号を１５で割ったときに余りがなければ、フレーム画像をキーフレーム画像として定義するようにすることができる。

顔領域検出部１１０は、キーフレームを定義した後、一般フレーム画像を受信し、キーフレーム画像を基準に一般フレーム画像から変化領域を抽出し、変化領域を用いて一般フレーム画像から顔領域を検出する。

まず、顔領域検出部１１０は、キーフレーム画像と一般フレーム画像とを比較して、フレーム間の差異情報を含む差異フレーム画像を生成し、差異フレーム画像に対する閾値化及びフィルタリングを行って差異フレーム画像に対する２進フレーム画像を生成する。

より具体的には、顔領域検出部１１０は、差異フレーム画像のピクセルそれぞれに対して、ピクセルのコントラスト値と閾値とを比較し、ピクセルのコントラスト値が閾値以上であれば、当該ピクセルを２５５、すなわち白色に変換し、ピクセルのコントラスト値が閾値以下であれば、当該ピクセルを０、すなわち黒色に変換して２進フレーム画像を生成する。前記閾値はユーザー認証装置１００に予め保存されているものでありうる。

顔領域検出部１１０は、２進フレーム画像にフィルターを適用してノイズを除去する。例えば、顔領域検出部１１０は、２進フレーム画像のノイズに該当するピクセルのコントラスト値を周辺ピクセルの中央値で置換してノイズを除去することができる。このようなフィルターは一種のメジアン（Ｍｅｄｉａｎ）フィルターとして理解できる。

次に、顔領域検出部１１０は、２進フレーム画像を用いて一般フレーム画像から顔検出領域を決定する。より具体的には、顔領域検出部１１０は、前記２進フレーム画像から、白色ピクセルを含む長方形領域を抽出し、前記それぞれの長方形領域を含む最終の長方形領域を顔検出領域として決定することができる。「顔検出領域」は、別の観点から顔検出のためのフレーム間の「変化領域」の概念として理解されることもある。

最後に、顔領域検出部１１０は顔検出領域から顔領域を検出する。より具体的に、顔領域検出部１１０は、顔検出領域をダウンスケーリングして、互いに異なるサイズの複数のイメージを生成し、複数のイメージそれぞれから候補顔領域を検出した後、候補顔領域中の共通領域を用いて当該フレーム画像から顔領域を検出することができる。

このとき、顔領域検出部１１０は、長方形フィーチャーを用いてフレーム画像の複数のイメージそれぞれから顔領域と顔特徴点（例えば、目、鼻、口など）を検出することができる。長方形フィーチャーを用いた顔領域と顔特徴点検出の詳細については、図８及び図９に基づいてより具体的に後述する。

第１認証部１２０は、顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する。一実施形態において、第１認証部１２０は、顔領域のバイナリー特徴量と既に保存された特定の顔テンプレートのバイナリー特徴量とを比較して類似度を算出し、算出された類似度に応じて前記顔認証の結果を判断部１４０に提供する。既に保存された特定の顔テンプレートは、認証が必要なユーザーの顔テンプレートであって、ユーザー認証装置１００に予め保存されたものでありうる。顔領域と特定の顔テンプレートとの「マッチング」は、上述した顔領域のバイナリー特徴量と既に保存された特定の顔テンプレートのバイナリー特徴量とを比較して類似度を算出するのと同じ意味で理解できる。

第２認証部１３０は、顔領域における目領域を用いて瞬きか否かを検出し、瞬き状態に応じて認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する。第２認証部１３０は、瞬き状態に応じて認識されたパスワードと既に設定されたパスワードとが一致するか否かを判断部１４０に提供する。

第２認証部１３０は、顔特徴点を用いて前記顔領域から目領域を抽出し、前記目領域のピクセル値を用いて特定次元のピクセルベクトルを生成し、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記ピクセルベクトルの次元数を縮小し、前記縮小された次元数のピクセルベクトルにＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を適用して瞬きか否かを検出することができる。

第２認証部１３０は、瞬き状態に応じて認識されたパスワードを抽出する。例えば、第２認証部１３０は、左眼のみ瞬いた場合には０、右眼のみ瞬いた場合には１、両眼を同時に瞬いた場合には２としてそれぞれ認識されるように予め認識基準が設定され、これに基づいて画像を通じて入力されたパスワードを抽出した後、ユーザー認証装置１００に予め設定及び保存されたパスワードと一致するか否かを判断することができる。

判断部１４０は、第１認証部１２０の認証結果及び第２認証部１３０の認証結果に基づいてユーザーの認証が成功したと判断することができる。たとえば、前記顔認証の結果及び前記パスワード認証の結果がすべて認証成功と判断された場合には、ユーザー認証が成功したと判断することができる。

以下、図２〜図５を参照してユーザー認証方法について説明する。後述するユーザー認証方法は、前述したユーザー認証装置１００で行われるため、互いに相応する内容については重複して説明しないが、当業者は前述した記載から本発明に係るユーザー認証方法の一実施形態を理解することができる。

図２は本発明に係るユーザー認証方法の一実施形態を説明するためのフローチャートである。図２に示されている一実施形態は、ユーザーの画像データを受信して顔認証及びパスワード認証を介してユーザー認証を実行することができる実施形態に関するものである。

図２を参照すると、ユーザー認証装置１００は、画像撮影機器からユーザーの画像データを受信する（段階Ｓ２１０）。ユーザー認証装置１００は、フレーム画像中のキーフレーム画像と一般フレーム画像を用いて顔領域を検出する（段階Ｓ２２０）。

ユーザー認証装置１００は、顔領域中の目領域を用いて瞬きか否かを検出し、瞬き状態に応じて認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する（段階Ｓ２３０）。

段階Ｓ２３０に対する一実施形態において、ユーザー認証装置１００は、顔特徴点を用いて前記顔領域から目領域を検出し、目領域のピクセル値を用いて特定次元のピクセルベクトルを生成し、前記ピクセルベクターを用いて瞬きか否かを検出する。その後、予め設定した基準に基づいて、瞬き状態に応じて認識されたパスワードを抽出する。一例として、前記予め設定した基準は、左眼の瞬き状態、右眼の瞬き状態、及び両眼の同時瞬き状態のうち少なくとも一つの状態に基づく。前記瞬き状態は、瞬き順序、瞬き回数、目の開または閉状態の維持時間、並びに左眼及び右眼の瞬きの組み合わせのうち少なくとも一つを含む。

例えば、第２認証部１３０は、左眼のみ瞬いた場合には０、右眼のみ瞬いた場合には１、両眼を同時に瞬いた場合には２と予め設定した基準に基づいてパスワードを認識した後、既に設定されたパスワードと一致するか否かを判断することができる。

パスワードは瞬き状態に応じて設定または認識できる。例えば、左眼のみ瞬いたときは０、右眼のみ瞬いたときは１、両眼を同時に瞬いたときは２とする場合、ユーザー認証装置１００は、左眼、右眼、左眼、両眼の順に瞬いてパスワードを「０１０２」と決定することができる。パスワードの桁数は設定によって変更でき、特定のユーザーに対するパスワードは予め設定及び保存できる。

ユーザー認証装置１００は、顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する（段階Ｓ２４０）。

ユーザー認証装置１００は、段階Ｓ２４０で実行された顔認証に成功し（段階Ｓ２４１）、段階Ｓ２３０で実行されたパスワード認証に成功すると（段階Ｓ２３１）、ユーザーの認証が成功したと判断する。

図３は本発明に係るユーザー認証方法の他の一実施形態を説明するためのフローチャートである。図３に示されている他の一実施形態は、ユーザーの画像データのそれぞれのフレーム画像のうち、特定のフレーム画像を処理してキーフレーム画像として決定し、キーフレーム画像を用いて、次に入力される一般フレーム画像の顔領域を検出することができる実施形態に関するものである。

図３を参照すると、ユーザー認証装置１００は、第０フレーム画像（１番目のフレーム画像）を受信する（段階Ｓ３１０）。ユーザー認証装置１００は、第０フレーム画像から顔領域を検出する（段階Ｓ３２０）。また、第０フレーム画像を最初のキーフレーム画像として保存する。

その後、ユーザー認証装置１００は、入力されるフレーム画像のフレーム番号を特定の数値（例えば、１５）で割ったときに余りがないと判断されると（段階Ｓ３３０）、当該フレーム画像をキーフレーム画像に更新保存する（段階Ｓ３４０）。たとえば、ユーザー認証装置１００は、１５番ごとにキーフレームが更新されるようにするために、フレーム番号を１５で割ったときに余りがなければ、フレーム画像をキーフレーム画像として定義するようにすることができる。例えば、第０、１５、３０、４５、・・・フレーム画像がキーフレーム画像として定義できる。例えば、第０フレーム画像の場合、０／１５の余りが０であるので、キーフレームとして保存でき、その次の順序である第１フレーム画像の場合、１／１５の余りが０ではないので、一般フレーム画像として処理される。このような処理過程を経て、第１５フレーム画像の場合、１５／１５の余りが０であるので、新しいキーフレームとして保存できる。上記の説明において、第０、第１などの順序は、キーフレームを更新するための過程で付与される便宜上の順序であり、同じ結果を導出することができれば他の方式の順序または順番が付与されてもよい。

ユーザー認証装置１００は第１フレーム画像を受信する（段階Ｓ３５０）。ユーザー認証装置１００は、キーフレーム画像を用いて第１フレーム画像から顔領域を検出する（段階Ｓ３６０）。ユーザー認証装置１００は、すべてのフレーム画像が受信された場合（段階Ｓ３７０）には終了する。

図４は本発明に係るユーザー認証方法の別の一実施形態を説明するためのフローチャートである。図４に示されている別の一実施形態は、ユーザーの画像データのそれぞれのフレーム画像のうち、例えば、一番目に入力される一般フレーム画像を処理して当該フレーム画像をキーフレーム画像として保存することができる実施形態に関するものである。

図４を参照すると、ユーザー認証装置１００は、画像データのそれぞれのフレーム画像のうち、一番目の一般フレーム画像を受信する（段階Ｓ４１０）。

ユーザー認証装置１００は、一般フレーム画像にフィルターを適用してノイズを除去する（段階Ｓ４２０）。段階Ｓ４２０に対する一実施形態において、ユーザー認証装置１００は、一般フレーム画像のピクセルそれぞれに対して周辺ピクセルのコントラスト値をフィルター係数と線形結合して得た値を、当該ピクセルのコントラスト値として設定することで、ノイズを除去することができる。このような過程は下記［数式１］のとおりである。

（但し、ｘ：フレーム番号、ｉ：ピクセル番号、ｃ：フィルター係数）

ユーザー認証装置１００は、一般フレーム画像に対するイメージピラミッドを構成する（段階Ｓ４３０）。より具体的に、ユーザーの認証装置１００は、一般フレーム画像をダウンスケーリングして、互いに異なるサイズの複数のイメージを生成する。

ユーザー認証装置１００は、一般フレーム画像に対するイメージピラミッドを用いて当該フレーム画像から顔領域を検出する（段階Ｓ４４０）。段階Ｓ４４０に対する一実施形態において、ユーザー認証装置１００は、一般フレーム画像をダウンスケーリングして生成した互いに異なるサイズの複数のイメージそれぞれから候補顔領域を検出し、候補顔領域中の共通領域を用いて一般フレーム画像から顔領域として検出することができる。

このとき、ユーザー認証装置１００は、長方形フィーチャーを用いて複数のイメージそれぞれから顔領域と顔特徴点（例えば、目、鼻、口など）を検出することができる。

ユーザー認証装置１００は、一般フレーム画像をキーフレーム画像として保存する（段階Ｓ４５０）。たとえば、キーフレーム画像のデータは顔検出データとイメージデータを含む。顔検出データは顔領域属性及び顔特徴点位置属性を含み、イメージデータはカラーモデル属性およびピクセルデータ属性を含む。キーフレーム画像データをＸＭＬ形式で例示すると、次の例示コードのとおりである。

［例示コード］
<key_frame_datanumber =“フレーム番号”>
- <detection_data>
<face_rect first = “左上座標” last = “右下座標” />
<landmarks left_eye = “左眼座標” right_eye = “右眼座標” ... ... />
</ detection_data>
- <image_data>
<color_model = “gray” />
<pixel_data = “” />
</ image_data>
</ key_frame_data>

［例示コード］の<image_data>には、キーフレーム画像のイメージピクセルデータであるカラーモデル属性<color_model = “gray” />及びピクセルデータ属性＜pixel_data = “” />を含む。イメージピクセルデータは一般フレーム画像から顔検出領域を抽出することに使用される。

図５は本発明に係るユーザー認証方法の別の一実施形態を説明するためのフローチャートである。図５に示されている別の一実施形態は、ユーザーの画像データのそれぞれのフレーム画像のうちのキーフレーム画像を用いて、一般フレーム画像から顔領域を検出することができる実施形態に関するものである。

図５を参照すると、ユーザー認証装置１００は、キーフレーム画像と一般フレーム画像とを比較して、フレーム間の差異情報を含む差異フレーム画像を生成する（段階Ｓ５１０）。

ユーザー認証装置１００は、差異フレーム画像に対する閾値化を実行して２進フレーム画像を生成する（段階Ｓ５２０）。段階Ｓ５２０に対する一実施形態において、ユーザー認証装置１００は、差異フレーム画像のピクセルそれぞれに対して、ピクセルのコントラスト値と閾値とを比較し、ピクセルのコントラスト値が閾値以上であれば、当該ピクセルを２５５、すなわち白色に変換し、ピクセルのコントラスト値が閾値以下であれば、当該ピクセルを０、すなわち黒色に変換して２進フレーム画像を生成する。

ユーザー認証装置１００は、２進フレーム画像にフィルターを適用してノイズを除去する段階（Ｓ５３０）。段階Ｓ５３０に対する一実施形態において、ユーザー認証装置１００は、２進フレーム画像のノイズに該当するピクセルのコントラスト値を周辺ピクセルの中央値で置換してノイズを除去することができる。

ユーザー認証装置１００は、２進フレーム画像を用いて一般フレーム画像から顔検出領域を決定する（段階Ｓ５４０）。段階Ｓ５４０に対する一実施形態において、ユーザー認証装置１００は、２進フレーム画像から、白色ピクセルを含む長方形領域を抽出し、前記それぞれの長方形領域を含む最終の長方形領域を顔検出領域として決定することができる。

ユーザー認証装置１００は、顔検出領域に対するイメージピラミッドを構成する（段階Ｓ５５０）。段階Ｓ５５０に対する一実施形態において、ユーザー認証装置１００は、顔検出領域をダウンスケーリングして、互いに異なるサイズの複数のイメージを生成してイメージピラミッドを構成する。

ユーザー認証装置１００は、顔検出領域に対するイメージピラミッドを用いて当該フレーム画像から顔領域を検出する（段階Ｓ５６０）。

段階Ｓ５６０に対する一実施形態において、複数のイメージそれぞれから候補顔領域を検出し、検出された候補の顔領域中の共通領域を用いて顔領域を検出することができる。このとき、ユーザー認証装置１００は、長方形フィーチャーを用いて複数のイメージそれぞれから顔領域と顔特徴点（例えば、目、鼻、口など）を検出することができる。

図６はキーフレーム画像を用いて一般フレーム画像から顔領域を検出する過程を説明するための参照図である。

図６を参照すると、ユーザー認証装置１００は、図６（ａ）のキーフレーム画像及び図６（ｂ）の一般フレーム画像とを比較して、図６（ｃ）に示すようにフレーム間の差異情報のみを含む差異フレーム画像を生成する。

ユーザー認証装置１００は、図６（ｃ）の差異フレーム画像に対する閾値化及びメジアンフィルタリングを実行して、図６（ｄ）のような２進フレーム画像を生成する。

一実施形態において、ユーザー認証装置１００は、図６（ｃ）の差異フレーム画像のピクセルそれぞれに対してピクセルのコントラスト値と閾値とを比較し、ピクセルのコントラスト値が閾値以上であれば、当該ピクセルを２５５、すなわち白色に変換し、ピクセルのコントラスト値が閾値以下であれば、当該ピクセルを０、すなわち黒色に変換して閾値化を実行することができる。

ユーザー認証装置１００は、図６（ｄ）の２進フレーム画像を用いて一般フレーム画像から顔検出領域を決定する（段階Ｓ５４０）。

一実施形態において、ユーザー認証装置１００は、図６（ｄ）の２進フレーム画像から白色ピクセルを含む長方形領域を抽出し、前記それぞれの長方形領域を含む最終の長方形領域を顔検出領域として決定する。すなわち、ユーザー認証装置１００は、図６（ｅ）に示すように、一般フレーム画像から顔検出領域（変化領域）を決定することができる。

ユーザー認証装置１００は、図６（ｅ）の顔検出領域から図６（ｆ）の如く顔領域を検出する。

図７はフレーム画像に対するイメージピラミッドを構成して顔領域を検出する過程を説明するための参照図である。

図７を参照すると、ユーザー認証装置１００は、一般フレーム画像に対してダウンスケーリングを実行して、図７（ａ）のような互いに異なるサイズの複数のイメージを生成する。ユーザー認証装置１００は、図７（ａ）のような互いに異なるサイズの複数のイメージそれぞれから候補顔領域を検出する。ユーザー認証装置１００は、複数のイメージそれぞれから検出された候補顔領域中の共通領域を用いて、図７（ｂ）の如く顔領域を検出することができる。

一方、キーフレーム画像と一般フレーム画像とのフレーム差異画像を用いて一般フレーム画像から顔領域を検出するとき、ユーザー認証装置１００は、一般フレーム画像から顔検出領域を検出し、顔検出領域に対してダウンスケーリングを実行して、図７（ａ）のような互いに異なるサイズの複数のイメージを生成する。

ユーザー認証装置１００は、図７（ａ）のような互いに異なるサイズの複数のイメージそれぞれから候補顔領域を検出する。ユーザー認証装置１００は、複数のイメージそれぞれから検出された候補顔領域中の共通領域を用いて、図７（ｂ）の如く顔領域を検出することができる。

図８は顔領域を検出するための長方形フィーチャー（対称型、非対称型）を示す図である。図９は図８の長方形フィーチャーを用いて顔領域を検出する過程を説明するための参照図である。図８または図９に例示されている長方形は、顔領域検出のためのフィーチャーとして理解でき、正面顔領域の特徴をよく反映している対称的な性質を持つｈａａｒ−ｌｉｋｅフィーチャー（ｈａａｒ−ｌｉｋｅ ｆｅａｔｕｒｅ）（ａ）と、非正面顔領域の特徴を反映して提案された非対称性の長方形フィーチャー（ｂ）としてさらに理解できる。

図８及び図９を参照すると、ユーザー認証装置（図１）１００は、画像撮影機器（図１）２００から画像データのそれぞれのフレームのうち特定のフレームを受信すると、特定のフレームから顔領域及び顔特徴点（例えば、目、鼻、口など）を検出する。

一実施形態において、ユーザー認証装置（図１）１００の顔領域検出部１１０は、画像データのそれぞれのフレームから顔候補領域を検出し、前記検出された顔候補領域に対する長方形フィーチャー（または四角特徴点モデル）を定義し、前記長方形フィーチャーをＡｄａＢｏｏｓｔ学習アルゴリズムによって学習させた学習資料に基づいて顔領域を検出するが、長方形の形で顔領域を検出することができる。また、顔領域検出部１１０は、検出された顔領域に含まれている顔特徴点を検出することができる。

一般に、正面顔領域を含むフレームには、目、鼻、口のように顔の固有の構造的特性が画像全体に等しく分布しており、対称的である。しかし、非正面顔領域を含むフレームには、目、鼻、口のように顔の固有の構造的特性が画像に等しく分布していないため、対称的ではなく、狭い範囲に密集しており、顔の輪郭が直線ではないので背景領域が多く混ぜられている。

したがって、図８（ａ）の如く対称的なフィーチャーを用いれば、非正面顔領域に対する高い検出性能を得ることが難しいおそれがあることをさらに考慮し、本実施形態では、さらに好ましくは図８（ａ）の如く対称的なフィーチャーだけでなく、図８（ｂ）の如く非対称的なフィーチャーを使用する。図８（ｂ）の如く非対称的なフィーチャーは、図８（ａ）の如く対称的なフィーチャーとは異なり、非対称的な形態、構造、模様で構成され、非正面顔の構造的特性をよく反映しており、非正面顔領域に対する検出効果に優れている。すなわち、図８（ａ）の如く対称的なフィーチャーを用いて図９の（ａ）の如くフレームから顔領域を検出することができ、図８（ｂ）の如く非対称的なフィーチャーを用いて図９（ｂ）の如くフレームから顔領域を検出することができる。

このような顔領域検出及び顔特徴点検出は、多数の公知の技法を用いて実現することができる。一例として、顔領域検出及び顔特徴点検出は、ＡｄａＢｏｏｓｔ学習アルゴリズムとＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）を用いて実現することができる。別の例として、顔領域検出及び顔特徴点検出は、本発明者が提案したことのある韓国登録特許第１０−１２１６１２３号（２０１２年１２月２０日登録）、韓国登録特許第１０−１２１６１１５号（２０１２年１２月２０日登録）を含む多数の論文及び特許資料に詳細に記載されているので、その詳細については省略する。

図１０は顔領域から瞬きを検出する過程を説明するための参照図である。

図１０を参照すると、ユーザー認証装置１００は、顔領域１０から顔特徴点のうち、例えば目領域周囲の４つの特徴点を用いて目領域を検出する。このとき、目領域のイメージは、例えば、ビットマップにクロップ（ｃｒｏｐ）して回転補正を行った後、２０＊２０ピクセルサイズの白黒イメージ２０に変換する。ユーザー認証装置１００は、目領域の白黒イメージ２０に対するヒストグラム正規化を行う。ユーザー認証装置１００は、目領域の白黒イメージ２０のピクセル値（２０＊２０）を用いて例えば４００次元のピクセルベクトルを生成する。

ユーザー認証装置１００は、４００次元のピクセルベクトルにＰＣＡ（主成分分析、Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）３０を適用して２００次元の縮小された次元数のピクセルベクトルを取得し、縮小されたピクセルベクトルをＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）４０に入力する。このように主成分分析を用いてＳＶＭ４０の入力データの次元数を縮小すると、ＳＶＭ４０による識別速度を高め、サポートベクトルと結合係数を始めとするデータベースの大きさを大幅減らすことができる。ユーザー認証装置１００は、例えば２００次元の縮小された入力ベクトルを構成し、ＳＶＭ４０の判別関数によって瞬きか否かを検出することができる。

本発明の実施形態は、様々なコンピュータで実現される動作を行うためのコンピュータプログラム命令を含むコンピュータ可読媒体を含む。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの当業者に公知になって使用可能なものであってもよい。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープなどの磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢドライブなどの光記録媒体、フロプティカルディスクなどの磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存および実行するように特別に構成されたハードウェアデバイスが含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードを含む。

以上のように、本発明は、たとえ限定された実施形態と図面によって説明されたが、本発明は、上述した実施形態に限定されるものではなく、これは、本発明の属する分野における通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。よって、本発明の思想は添付された特許請求の範囲のみによって把握されるべきであり、それらの均等または等価的変形も本発明の思想の範疇に属するといえる。
［発明の項目］
［項目１］
ユーザー認証装置で実行されるユーザー認証方法において、
画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する段階と、
前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する段階と、
前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認するパスワード認証段階と、
前記顔認証の結果及び前記パスワード認証の結果に基づいて前記ユーザーの認証が成功したと判断する段階と
を含んでなる、ユーザー認証方法。
［項目２］
前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する段階は、
前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義する段階と、
前記キーフレーム画像を基準に一般フレーム画像から変化領域を抽出し、前記変化領域を用いて前記一般フレーム画像から顔領域を検出する段階と
を含む、項目１に記載のユーザー認証方法。
［項目３］
前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義する段階は、前記特定のフレーム画像のピクセルそれぞれに対して周辺ピクセルのコントラスト値をフィルター係数と線形結合して得た値を当該ピクセルのコントラスト値として設定して、前記特定のフレーム画像に含まれているノイズを除去する段階を含むことを特徴とする、項目２に記載のユーザー認証方法。
［項目４］
前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義する段階は、前記特定のフレーム画像のフレーム番号を特定の数値で割ったときに余りがなければ、前記特定のフレーム画像をキーフレーム画像として決定する段階を含むことを特徴とする、項目２に記載のユーザー認証方法。
［項目５］
前記キーフレーム画像を基準に前記一般フレーム画像から変化領域を抽出し、前記変化領域を用いて前記一般フレーム画像から顔領域を検出する段階は、
前記キーフレーム画像と前記一般フレーム画像とを比較して、フレーム間の差異情報を含む差異フレーム画像を生成する段階と、
前記差異フレーム画像に対する閾値化を実行して前記差異フレーム画像に対する２進フレーム画像を生成する段階と、
前記２進フレーム画像にフィルターを適用してノイズを除去する段階と、
前記２進フレーム画像を用いて前記一般フレーム画像の中から顔検出領域を決定する段階と、
前記顔検出領域から顔領域を検出する段階と
を含むことを特徴とする、項目２に記載のユーザー認証方法。
［項目６］
前記差異フレーム画像に対する閾値化を実行して前記差異フレーム画像に対する２進フレーム画像を生成する段階は、
前記差異フレーム画像のピクセルそれぞれに対してピクセルのコントラスト値と閾値とを比較する段階と、
前記ピクセルのコントラスト値が閾値以上であれば、当該ピクセルを白色に変換する段階と、
前記ピクセルのコントラスト値が閾値以下であれば、当該ピクセルを黒色に変換する段階と
を含むことを特徴とする、項目５に記載のユーザー認証方法。
［項目７］
前記２進フレーム画像にフィルターを適用してノイズを除去する段階は、
前記２進フレーム画像のノイズに該当するピクセルのコントラスト値を周辺ピクセルのコントラスト値の中央値で置換する段階を含むことを特徴とする、項目６に記載のユーザー認証方法。
［項目８］
前記２進フレーム画像を用いて前記一般フレーム画像の中から顔検出領域を決定する段階は、
前記２進フレーム画像から、白色ピクセルを含む長方形領域を抽出する段階と、
前記それぞれの長方形領域を含む最終の長方形領域を顔検出領域として決定する段階と
を含むことを特徴とする、項目６に記載のユーザー認証方法。
［項目９］
前記顔検出領域から顔領域を検出する段階は、
前記顔検出領域をダウンスケーリングして、互いに異なるサイズの複数のイメージを生成する段階と、
前記複数のイメージそれぞれから候補顔領域を検出する段階と、
前記複数のイメージそれぞれから検出された候補顔領域中の共通領域を用いて当該フレーム画像の顔領域を検出する段階と
を含むことを特徴とする、項目５に記載のユーザー認証方法。
［項目１０］
前記顔検出領域から顔領域を検出する段階は、
前記複数のイメージそれぞれから顔候補領域を検出し、前記検出された顔候補領域に対する長方形フィーチャーを定義し、前記長方形フィーチャーをＡｄａＢｏｏｓｔ学習アルゴリズムによって学習させた学習資料に基づいて顔領域を検出する段階と、
前記検出された顔領域からＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）技法に基づいて顔特徴点を検出する段階と
を含むことを特徴とする、項目９に記載のユーザー認証方法。
［項目１１］
前記顔認証を実行する段階は、
前記顔領域のバイナリー特徴量と既に保存された特定の顔テンプレートのバイナリー特徴量とを比較して類似度を算出し、前記算出された類似度に基づいて前記顔認証の結果を出力する段階を含むことを特徴とする、項目１に記載のユーザー認証方法。
［項目１２］
前記顔特徴点を用いて抽出した目領域のイメージを用いて瞬きか否かを検出し、前記瞬き状態に応じて認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する段階は、
顔特徴点を用いて前記顔領域から目領域を抽出する段階と、
前記目領域のピクセル値を用いて特定次元のピクセルベクトルを生成する段階と、
ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記ピクセルベクトルの次元数を縮小する段階と、
前記縮小された次元数のピクセルベクトルにＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を適用して瞬きか否かを検出する段階と
を含むことを特徴とする、項目１に記載のユーザー認証方法。
［項目１３］
前記予め設定した基準は、左眼の瞬き状態、右眼の瞬き状態、および両眼の同時瞬き状態のうち少なくとも一つの状態に基づいており、
前記瞬き状態は、瞬きの順序、瞬き回数、目の開または閉状態の維持時間、並びに左眼および右眼の瞬きの組み合わせのうち少なくとも一つを含むことを特徴とする、項目１に記載のユーザー認証方法。
［項目１４］
画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する顔領域検出部と、
前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する第１認証部と、
前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する第２認証部と、
前記第１認証部の認証結果及び前記第２認証部の認証結果に基づいて前記ユーザーの認証が成功したと判断する判断部と
を含んでなる、ユーザー認証装置。
［項目１５］
ユーザー認証装置で実行されるユーザー認証方法を実行するためのコンピュータプログラムを保存する記録媒体において、
画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する機能と、
前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する機能と、
前記顔特徴点に基づいて抽出した目領域の画像を用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認するパスワード認証機能と、
前記顔認証の結果及び前記パスワード認証の結果に基づいて前記ユーザーの認証が成功したと判断する機能と
を含むことを特徴とする、記録媒体。

Claims (14)

1. ユーザー認証装置で実行されるユーザー認証方法において、
   画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する段階と、
   前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する段階と、
   前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認するパスワード認証段階と、
   前記顔認証の結果及び前記パスワード認証の結果に基づいて前記ユーザーの認証が成功したと判断する段階と
   を含んで、
   前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する段階は、
   前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義する段階であり、前記キーフレーム画像は、最初のキーフレーム画像を決定しその後入力されるフレーム画像から新しいキーフレーム画像を定義することにより更新される、段階と、
   前記キーフレーム画像を基準に次に入力される一般フレーム画像から変化領域を抽出し、前記変化領域を用いて前記一般フレーム画像から顔領域を検出する段階と
   を含む、ユーザー認証方法。
2. 前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義する段階は、前記特定のフレーム画像のピクセルそれぞれに対して周辺ピクセルのコントラスト値をフィルター係数と線形結合して得た値を当該ピクセルのコントラスト値として設定して、前記特定のフレーム画像に含まれているノイズを除去する段階を含むことを特徴とする、請求項１に記載のユーザー認証方法。
3. 前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義する段階は、前記特定のフレーム画像のフレーム番号を特定の数値で割ったときに余りがなければ、前記特定のフレーム画像をキーフレーム画像として決定する段階を含むことを特徴とする、請求項１に記載のユーザー認証方法。
4. 前記キーフレーム画像を基準に前記一般フレーム画像から変化領域を抽出し、前記変化領域を用いて前記一般フレーム画像から顔領域を検出する段階は、
   前記キーフレーム画像と前記一般フレーム画像とを比較して、フレーム間の差異情報を含む差異フレーム画像を生成する段階と、
   前記差異フレーム画像に対する閾値化を実行して前記差異フレーム画像に対する２進フレーム画像を生成する段階と、
   前記２進フレーム画像にフィルターを適用してノイズを除去する段階と、
   前記２進フレーム画像を用いて前記一般フレーム画像の中から顔検出領域を決定する段階と、
   前記顔検出領域から顔領域を検出する段階と
   を含むことを特徴とする、請求項１に記載のユーザー認証方法。
5. 前記差異フレーム画像に対する閾値化を実行して前記差異フレーム画像に対する２進フレーム画像を生成する段階は、
   前記差異フレーム画像のピクセルそれぞれに対してピクセルのコントラスト値と閾値とを比較する段階と、
   前記ピクセルのコントラスト値が閾値以上であれば、当該ピクセルを白色に変換する段階と、
   前記ピクセルのコントラスト値が閾値以下であれば、当該ピクセルを黒色に変換する段階と
   を含むことを特徴とする、請求項４に記載のユーザー認証方法。
6. 前記２進フレーム画像にフィルターを適用してノイズを除去する段階は、
   前記２進フレーム画像のノイズに該当するピクセルのコントラスト値を周辺ピクセルのコントラスト値の中央値で置換する段階を含むことを特徴とする、請求項５に記載のユーザー認証方法。
7. 前記２進フレーム画像を用いて前記一般フレーム画像の中から顔検出領域を決定する段階は、
   前記２進フレーム画像から、白色ピクセルを含む長方形領域を抽出する段階と、
   前記それぞれの長方形領域を含む最終の長方形領域を顔検出領域として決定する段階と
   を含むことを特徴とする、請求項５に記載のユーザー認証方法。
8. 前記顔検出領域から顔領域を検出する段階は、
   前記顔検出領域をダウンスケーリングして、互いに異なるサイズの複数のイメージを生成する段階と、
   前記複数のイメージそれぞれから候補顔領域を検出する段階と、
   前記複数のイメージそれぞれから検出された候補顔領域中の共通領域を用いて当該フレーム画像の顔領域を検出する段階と
   を含むことを特徴とする、請求項４に記載のユーザー認証方法。
9. 前記顔検出領域から顔領域を検出する段階は、
   前記複数のイメージそれぞれから顔候補領域を検出し、前記検出された顔候補領域に対する長方形フィーチャーを定義し、前記長方形フィーチャーをＡｄａＢｏｏｓｔ学習アルゴリズムによって学習させた学習資料に基づいて顔領域を検出する段階と、
   前記検出された顔領域からＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）技法に基づいて顔特徴点を検出する段階と
   を含むことを特徴とする、請求項８に記載のユーザー認証方法。
10. 前記顔認証を実行する段階は、
    前記顔領域のバイナリー特徴量と既に保存された特定の顔テンプレートのバイナリー特徴量とを比較して類似度を算出し、前記算出された類似度に基づいて前記顔認証の結果を出力する段階を含むことを特徴とする、請求項１に記載のユーザー認証方法。
11. 前記顔特徴点を用いて抽出した目領域のイメージを用いて瞬きか否かを検出し、前記瞬き状態に応じて認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する段階は、
    顔特徴点を用いて前記顔領域から目領域を抽出する段階と、
    前記目領域のピクセル値を用いて特定次元のピクセルベクトルを生成する段階と、
    ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記ピクセルベクトルの次元数を縮小する段階と、
    前記縮小された次元数のピクセルベクトルにＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を適用して瞬きか否かを検出する段階と
    を含むことを特徴とする、請求項１に記載のユーザー認証方法。
12. 前記予め設定した基準は、左眼の瞬き状態、右眼の瞬き状態、および両眼の同時瞬き状態のうち少なくとも一つの状態に基づいており、
    前記瞬き状態は、瞬きの順序、瞬き回数、目の開または閉状態の維持時間、並びに左眼および右眼の瞬きの組み合わせのうち少なくとも一つを含むことを特徴とする、請求項１に記載のユーザー認証方法。
13. 画像撮影機器からユーザーの画像データを受信すると、前記画像データのそれぞれのフレーム画像を用いて顔領域と顔特徴点を検出する顔領域検出部と、
    前記顔領域と特定の顔テンプレートとをマッチングして顔認証を実行する第１認証部と、
    前記顔特徴点に基づいて抽出した目領域のイメージを用いて瞬きか否かを検出し、予め設定した基準に基づいて前記瞬き状態に応じてパスワードを認識し、前記認識されたパスワードと既に設定されたパスワードとが一致するか否かを確認する第２認証部と、
    前記第１認証部の認証結果及び前記第２認証部の認証結果に基づいて前記ユーザーの認証が成功したと判断する判断部と
    を含んで、
    前記顔領域検出部は、
    前記フレーム画像のうち特定のフレーム画像から顔領域を検出し、前記特定のフレーム画像をキーフレーム画像として定義し、前記キーフレーム画像は、最初のキーフレーム画像を決定しその後入力されるフレーム画像から新しいキーフレーム画像を定義することにより更新され、
    前記キーフレーム画像を基準に次に入力される一般フレーム画像から変化領域を抽出し、前記変化領域を用いて前記一般フレーム画像から顔領域を検出する
    ように構成されたことを特徴とする、ユーザー認証装置。
14. 請求項１に記載のユーザー認証方法をコンピュータで実行するためのコンピュータプログラムが記録された、コンピュータ可読記録媒体。