JP6754834B2 - ユーザ認証装置、ユーザ認証装置の制御方法、制御プログラム、及び記録媒体 - Google Patents

Description

本発明は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置などに関する。

被写体に赤外領域の光を照射して被写体を撮像した画像（赤外線画像）を用いたユーザ認証の技術が従来技術として知られている。例えば下記の特許文献１には、赤外線画像を用いた顔認識を行う赤外線顔認証装置が開示されている。該赤外線顔認証装置は、ユーザの顔と装置との位置関係の調整を補助するために、撮像した赤外線画像を表示部に表示させる。

日本国公開特許公報「特開２００８−１８１４６８号公報（２００８年８月７日公開）」

しかしながら、上述のような従来技術では、撮像された赤外線画像がすべて表示部に表示されることとなる。つまり、ユーザがユーザ認証を行うことを意図せず撮像された赤外線画像も表示部に表示される。そのため従来技術には、不適切な赤外線画像が表示部に表示されてしまうという問題があった。例えば従来技術では、被写体の衣服が透けた赤外線画像などが表示部に表示されてしまう。

特に、従来技術を携帯端末に適用した場合、該携帯端末のユーザが悪意を持って他人を撮像し、被写体の衣服が透けた赤外線画像を閲覧する可能性も考えられるため、上記の問題点はより顕著となる。

本発明は、前記の問題点に鑑みてなされたものであり、その目的は、赤外線画像を用いてユーザ認証を行う場合に、不適切な画像が表示部に表示されることを防ぐユーザ認証装置を実現することにある。

上記の課題を解決するために、本発明の一態様に係るユーザ認証装置は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定部と、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御部と、を備える。

また、上記の課題を解決するために、本発明の一態様に係るユーザ認証装置の制御方法は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置の制御方法であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定ステップと、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御ステップと、を含む。

本発明の一態様によれば、赤外線画像を用いてユーザ認証を行う場合に、不適切な画像が表示部に表示されることを防ぐことができるという効果を奏する。

実施形態１に係る携帯端末の要部構成の一例を示すブロック図である。 図１に示す携帯端末を用いて撮像した画像の遷移図、および、該携帯端末に表示される画像の遷移図である。 図１に示す携帯端末が実行する処理の流れの一例を示すフローチャートである。 実施形態２に係る携帯端末の要部構成の一例を示すブロック図である。 図４に示す携帯端末を用いて撮像した画像の遷移図、および、該携帯端末に表示される画像の遷移図である。

〔実施形態１〕
以下、本発明の実施形態１について、図１から図３に基づいて詳細に説明する。

（本発明の概要）
まず、本発明の概要について図２に基づいて説明する。なお、本実施形態では、本発明に係るユーザ認証装置を携帯端末１に適用した例を説明する。ただし、本発明の適用例は携帯端末に限定されず、被写体に赤外領域の光を照射して被写体を撮像した画像を用いて、該被写体が予め登録されたユーザであるか否かを判定する機能を有する装置に適用することができる。

図２は、携帯端末１を用いて撮像した画像の遷移図、および、携帯端末１に表示される画像の遷移図である。なお、携帯端末１は図示のようなスマートフォンに限定されず、フィーチャーフォンやタブレット端末などであってもよい。

本実施形態に係る携帯端末１（ユーザ認証装置）は、被写体に赤外領域の光を照射して該被写体を撮像する機能を備えている。なお以降、この機能によって撮像した画像を赤外線画像と称する。携帯端末１は、この機能を実現するために、赤外線を被写体に照射する赤外線照射部１１および赤外線画像を撮像する赤外線撮像部１２を備えている（図２の（ｂ）など参照）。なお、本実施形態に係る赤外線照射部１１は、赤外領域の光（赤外線）として、７００ｎｍから２５００ｎｍ程度の近赤外領域の光を照射する構成である。

そして携帯端末１は、該赤外線画像に写る虹彩の特徴点と、予め登録された、携帯端末１のユーザの虹彩の特徴点とを比較して（虹彩認証を行って）、一致する場合に携帯端末１のロックを解除する。なお、携帯端末１は、虹彩認証を行う際に、ユーザの目と携帯端末１との位置関係、具体的には、ユーザの目と携帯端末１との距離や携帯端末１の傾きを適切なものに調整させるため、撮像した赤外線画像を表示部１３に表示させる。そのため、赤外線照射部１１および赤外線撮像部１２は、図２の（ｂ）に示すように、携帯端末１の表示部１３と同じ面に設けられている。なお、赤外線照射部１１および赤外線撮像部１２は、表示部１３と同じ面に設けられていればよく、該面における位置は特に限定されない。

ただし携帯端末１は、撮像した赤外線画像に人の両目（比較対象となる顔の部分、すなわち、ユーザ認証に必要な顔の部分）が写っている場合のみ、赤外線画像を表示部１３に表示させる。これについて、図２を参照しながらより詳細に説明する。図２の（ａ）、（ｃ）、（ｅ）はそれぞれ、携帯端末１が撮像した赤外線画像２１ａ、２１ｂ、２１ｃを示している。また、図２の（ｂ）、（ｄ）、（ｆ）、（ｇ）は、携帯端末１の表示部１３に表示される画面を示している。なお以降、赤外線画像２１ａ、２１ｂ、２１ｃを区別する必要が無い場合、これらを総称して「赤外線画像２１」と記載する。なお、図２の例において、赤外線画像２１に写っている人間は、携帯端末１のユーザ（換言すれば、携帯端末１に虹彩の特徴点を予め登録している人）であるとする。

図２の（ａ）に示すように、携帯端末１が撮像した赤外線画像２１ａには人の両目は写っていない。この場合、携帯端末１は図２の（ｂ）に示すように、赤外線画像２１の代わりの画像である代替画像１４１を表示部１３に表示させる。さらに携帯端末１は、赤外線画像２１を撮像する撮像デバイス（カメラ）に対して顔を向けるように促すテキスト３１を表示部１３に表示させる。該テキスト３１は、換言すれば、赤外線画像２１に両目が写るように、ユーザの目と携帯端末１との距離や携帯端末１の傾きを適切なものに調整するように促すテキストである。これにより、ユーザに赤外線画像２１に自身の両目（より具体的には、両目の虹彩）が写っていないことを認識させ、ユーザの目と携帯端末１との位置関係を調整させることができる。また、認証以外の不適切な用途での使用（例えば、他人の服が透けた画像を撮像し、表示部１３に表示させるなど）を防ぐことができる。なお、図２に示す代替画像１４１およびテキスト３１は一例であり、図示の例に限定されるものではない。また、テキストを表示部１３に表示させることに代えて、あるいは、テキストを表示部１３に表示させるとともに、ユーザに撮像デバイスに対して顔を向けるよう促す音声ガイダンスを、図示しないスピーカから出力する構成であってもよい。

また、携帯端末１は、ユーザ認証を行うためのアプリケーションを実行した場合、赤外線画像２１に人の両目が写っているか否かに関わらず、図２の（ｂ）に示すように、表示部１３に位置合わせ用画像１４２（位置決め画像）を表示させる。なお、位置合わせ用画像１４２の詳細については後述する。

一方、図２の（ｃ）に示すように、携帯端末１が撮像した赤外線画像２１ｂには人の両目が写っている場合、携帯端末１は図２の（ｄ）に示すように、赤外線画像２１ｂに対して画像処理を行った画像である赤外線画像２２ｂを表示部１３に表示させる。そして、携帯端末１はユーザ認証を開始する。このとき、図２の（ｄ）に示すように、ユーザ認証を行っていることを示すテキスト３２を表示部１３に表示させてもよい。赤外線画像２２ｂは、図２の（ｄ）に示すように、位置合わせ用画像１４２の奥に表示される。なお以降、表示部１３に表示される赤外線画像を総称して、「赤外線画像２２」と記載する場合がある。また、図２に示すテキスト３２は一例であり、図示の例に限定されるものではない。

ここで、位置合わせ用画像１４２について説明する。位置合わせ用画像１４２は、赤外線画像２２とともに表示部１３に表示することで、ユーザ認証を行うために適した目の位置をユーザに認識させるための画像である。

位置合わせ用画像１４２は、ユーザが赤外線画像２２を認識できるように表示させる円部分４２１ａおよび４２１ｂを有している。なお以降、円部分４２１ａおよび４２１ｂを区別する必要が無い場合、これらを総称して「円部分４２１」と記載する。円部分４２１は、ユーザの両目（虹彩）と携帯端末１との位置関係が、ユーザ認証を行うために適した位置関係である場合、赤外線画像２２に写るユーザの目が片目ずつ円部分４２１内に位置するように、位置合わせ用画像１４２に配置されている。ここで、図２の（ｄ）に示すように、赤外線画像２２のユーザの目が片目ずつ円部分４２１内に位置しない場合、赤外線画像２２に写る人が携帯端末１のユーザであっても、ロックが解除されない可能性がある。ロックが解除されない場合、ユーザは赤外線画像２２が表示部１３に表示された後、携帯端末１のロックを解除するために、以下の調整を行う。すなわち、ユーザは、赤外線画像２２ｂと位置合わせ用画像１４２を確認しながら、自身の目が片目ずつ円部分４２１内に位置するように、自身の目と携帯端末１との位置関係を調整する。調整の結果、図２の（ｅ）に示す赤外線画像２１ｃが撮像されると、図２の（ｆ）に示すように、ユーザの目が片目ずつ円部分４２１内に位置している画面が表示される。

このように、位置合わせ用画像１４２を赤外線画像２２とともに表示部１３に表示させることで、携帯端末１は、ユーザ認証に適した目の位置（換言すれば、ユーザの両目（虹彩）と携帯端末１との位置関係）をユーザに認識させることができる。

ユーザ認証によって、赤外線画像２１（例えば赤外線画像２１ｃ）に写るユーザの虹彩の特徴点と、携帯端末１に予め登録された虹彩の特徴点が一致すると、携帯端末１のロックが解除される。そして、携帯端末１はロックを解除したことを示す画面（例えば、図２の（ｇ）に示すメニュー画面）を表示部１３に表示させる。なお、携帯端末１のロックは、図２の（ｄ）に示すように、赤外線画像２２のユーザの目が片目ずつ円部分４２１内に位置しない場合であっても、虹彩の特徴点が一致すれば解除される。

また、図２に示す位置合わせ用画像１４２は一例であり、この例に限定されるものではない。具体的には、位置合わせ用画像１４２は、赤外線画像に写る人の虹彩の特徴点と、予め登録された虹彩の特徴点との照合を正確に行うことができるように、ユーザに自身の目と携帯端末１との位置関係を調整させることができる画像であればよい。例えば、赤外線画像における目の周辺以外の領域を表示しない画像であってもよいし、赤外線画像における目の周辺以外の顔の領域を薄く透過して表示させる画像であってもよい。

（携帯端末１の要部構成）
次に、携帯端末１の要部構成について、図１に基づいて説明する。図１は、携帯端末１の要部構成の一例を示すブロック図である。なお、図１は、携帯端末１が備えている部材のうち、本発明との関連性が高い部材のみを示す図である。そのため、携帯端末１が備えている部材のうち、本発明との関連性が低い部材（例えば、ユーザの操作を受け付ける部材など）については、図示および詳細な説明を省略する。

図示のように、携帯端末１は、制御部１０、赤外線照射部１１、赤外線撮像部１２、表示部１３、および、記憶部１４を備えている。制御部１０は、携帯端末１の各部を統括して制御する。赤外線照射部１１は、赤外線画像を撮像するために、赤外線を被写体に照射する。赤外線撮像部１２は、赤外線画像を撮像する。表示部１３は、制御部１０が実行した処理の結果に応じた画面を表示する。記憶部１４は、携帯端末１にて使用する各種データを記憶する。なお、赤外線撮像部１２はいわゆるカメラであるが、赤外線画像のみを撮像するカメラ（赤外線カメラ）であってもよい。また、赤外線撮像部１２は、制御部１０からの指示に応じて通常の画像（被写体に可視光が照射されることにより撮像された画像）を撮像するモードと、赤外線画像を撮像するモードとを切り替え可能なカメラであってもよい。

そして、制御部１０には、撮像処理部１０１、画像処理部１０２、目検出部１０３（画像判定部）、認証部１０４、および表示画面生成部１０５（表示制御部）が含まれている。また、記憶部１４には、代替画像１４１、位置合わせ用画像１４２、および認証用データ１４３が少なくとも記憶されている。なお、代替画像１４１および位置合わせ用画像１４２については既に説明しているため、ここでの説明を省略する。

撮像処理部１０１は、赤外線照射部１１および赤外線撮像部１２を駆動および制御する。具体的には、撮像処理部１０１は、図示しない操作部に対するユーザの操作によってユーザ認証を行うためのアプリケーションが実行されたとき、赤外線照射部１１を駆動して（図１のｄ１）、赤外線を照射させる。また、撮像処理部１０１は、上記アプリケーションが実行されたとき、赤外線撮像部１２を駆動して（図１のｄ２）、赤外線画像を撮像させる。赤外線撮像部１２は、撮像処理部１０１によって制御されて、所定時間ごと（例えば３３ミリ秒（３０ｆｐｓ）ごと）に赤外線画像を撮像し、画像処理部１０２に出力する。

また、撮像処理部１０１は、赤外線を検知するセンサ（不図示）から検知結果を取得し、自装置の外部（例えば太陽）から自装置に対して赤外線が十分に照射されているか否かを判定してもよい。そして、赤外線が十分に照射されていると判定した場合、被写体にも赤外線が十分に照射されているとみなして、赤外線照射部１１から被写体への赤外線の照射を行わない構成であってもよい。換言すれば、撮像処理部１０１は、自装置の外部から自装置に対する赤外線の照射量が所定の閾値未満であった場合のみ、赤外線照射部１１を駆動し、被写体に赤外線を照射させる構成であってもよい。

画像処理部１０２は、取得した赤外線画像に対して、虹彩認証で使用するための画像処理を行う。具体的には、画像処理部１０２は、ノイズ低減、エッジ強調などの処理を行う。そして、画像処理部１０２は、画像処理を行った赤外線画像を目検出部１０３に出力する。なお、上述した画像処理は一例であり、画像処理部１０２が行う画像処理はこの例に限定されるものではない。

目検出部１０３は、赤外線画像に人の両目が含まれているか否かを判定する。具体的には、目検出部１０３はまず、取得した赤外線画像から顔を検出する。そして、顔を検出できた場合、顔の領域を切り出し、切り出した顔領域から目の領域を検出する。そして、目の領域が検出できた場合、赤外線画像に人の両目が含まれていると判定し、取得した赤外線画像を認証部１０４に出力する（図１のｄ３）。また、取得した赤外線画像と判定結果とを表示画面生成部１０５に出力する（図１のｄ４）。一方、目の領域が検出できなかった場合、赤外線画像に人の両目が含まれていないと判定し、判定結果のみを表示画面生成部１０５に出力する。なお、顔の領域や目の領域の検出には、既存の技術を用いることができる。

認証部１０４は、赤外線画像に含まれる虹彩の特徴点と、予め登録された虹彩の特徴点とを比較（照合）し、２つの特徴点が一致しているか否かを判定する。認証部１０４が実行する虹彩認証には既存の技術を用いることができる。具体的には、認証部１０４は、赤外線画像を取得すると、記憶部１４から認証用データ１４３を読み出す。本実施形態に係る認証用データ１４３は、上述した、予め登録された虹彩の特徴点を示す情報である。該情報は虹彩の特徴点を示す情報であればよく、例えば、予め撮像した赤外線画像であってもよいし、該赤外線画像から切り出した目の領域のみの画像であってもよい。また、虹彩の特徴点を数値化した情報であってもよい。認証部１０４は、取得した赤外線画像に含まれる虹彩の特徴点と、読み出した認証用データ１４３が示す虹彩の特徴点とを比較し、一致しているか否かを判定する。そして、一致していると判定したとき、その旨を表示画面生成部１０５に通知する。

表示画面生成部１０５は、表示部１３に表示させる画面を生成し、表示部１３に表示させる。具体的には、表示画面生成部１０５は、ユーザ認証を行うためのアプリケーションが起動されると、記憶部１４から代替画像１４１、位置合わせ用画像１４２、およびテキスト３１（図１では不図示）を読み出し、表示部１３に表示させる。

また、表示画面生成部１０５は、赤外線画像に人の両目が含まれているとの判定結果を取得した場合、該判定結果とともに取得した赤外線画像、およびテキスト３２（図１では不図示）を、表示部１３に表示させる。これにより、表示部１３には図２の（ｄ）や図２の（ｆ）に示す画面が表示される。なお、表示画面生成部１０５は、赤外線画像に人の両目が含まれているとの判定結果とともに目検出部１０３から赤外線画像を取得する度に、表示部１３に表示されている赤外線画像を更新する。

一方、表示画面生成部１０５は、赤外線画像に人の両目が含まれていないとの判定結果を取得した場合、表示部１３に表示されている赤外線画像２２およびテキスト３２を、代替画像１４１およびテキスト３１に変更する。これにより、表示部１３には図２の（ｂ）に示す画面が表示される。

なお、表示画面生成部１０５は、赤外線画像を表示部１３に表示させるときに、該赤外線画像に対する画像処理を行ってもよい。例えば、取得した赤外線画像のうち、円部分４２１に対応する領域を特定し、該領域のみを表示部１３に表示させる構成であってもよい。

また、表示画面生成部１０５は、認証部１０４から、比較した虹彩の特徴点が一致した旨を通知された場合、メニュー画面（図２の（ｇ）に示す画面）を表示部１３に表示させる。

（携帯端末１が実行する処理の流れ）
次に、携帯端末１が実行する処理の流れについて、図３に基づいて説明する。図３は、携帯端末１が実行する処理の流れの一例を示すフローチャートである。

ユーザ操作によってユーザ認証を行うためのアプリケーションが起動すると、撮像処理部１０１によって赤外線照射部１１および赤外線撮像部１２が駆動される。そして、表示画面生成部１０５は、記憶部１４から代替画像１４１および位置合わせ用画像１４２を読み出し、表示部１３に表示させる（ステップＳ１、以下、「ステップ」の記載を省略）。

続いて、画像処理部１０２は、赤外線撮像部１２が撮像した赤外線画像を取得し（ステップＳ２）、該赤外線画像の画像処理を行い（Ｓ３）、目検出部１０３に出力する。

目検出部１０３は、取得した赤外線画像について、人の両目の検出を行う（Ｓ４、画像判定ステップ）。両目が検出できなかった場合（Ｓ４でＮＯ）、赤外線画像に人の両目が含まれていないと判定し、判定結果を表示画面生成部１０５に出力する。

表示画面生成部１０５は、赤外線画像に人の両目が含まれていないとの判定結果を取得すると、記憶部１４から代替画像１４１を読み出し、表示部１３に表示させる（Ｓ９、表示制御ステップ）。そして、図３に示す処理はＳ２に戻る。つまり、Ｓ４において人の両目が検出されるまで、表示部１３には赤外線画像は表示されず、代替画像１４１が表示される。

一方、目検出部１０３が両目を検出した場合（Ｓ４でＹＥＳ）、目検出部１０３は赤外線画像に人の両目が含まれていると判定し、赤外線画像を認証部１０４に出力する。また、判定結果および赤外線画像を表示画面生成部１０５に出力する。表示画面生成部１０５は、該判定結果および赤外線画像を取得すると、取得した赤外線画像を表示部１３に表示させる（Ｓ５、表示制御ステップ）。また、認証部１０４はユーザ認証を開始する（Ｓ６）。具体的には、取得した赤外線画像に含まれる虹彩の特徴点と、記憶部１４に記憶されている虹彩の特徴点（認証用データ１４３が示す特徴点）とを比較する。なお、Ｓ５およびＳ６の処理は、図示の順番で行われなくてもよい。例えば、Ｓ５の前にＳ６の処理が行われてもよいし、Ｓ５およびＳ６の処理が同時に行われてもよい。

認証部１０４は、上記の比較を行うことにより、２つの特徴点が一致するか否か、すなわち、赤外線画像に写る人が携帯端末のユーザであるか否かを判定する（Ｓ７）。赤外線画像に写る人が携帯端末のユーザであると特定した場合（Ｓ７でＹＥＳ）、認証部１０４はその旨を表示画面生成部１０５に通知する。該通知を受けた表示画面生成部１０５は、メニュー画面を表示部１３に表示させる（Ｓ８）。以上で図３に示す処理は終了する。

一方、赤外線画像に写る人が携帯端末のユーザであると特定できなかった場合（Ｓ７でＮＯ）、図３に示す処理はＳ２に戻る。

〔実施形態１の変形例〕
上述した実施形態１では、赤外線画像２１に人の両目を検出した場合のみ、ユーザ認証を開始する構成であった。しかしながら、ユーザ認証を開始する条件はこの例に限定されない。例えば、片目のみを検出した場合にユーザ認証を開始する構成であってもよい。例えば、目検出部１０３は、取得した赤外線画像から切り出した顔領域の左半分に目の領域を検出した場合、赤外線画像に目（左目）が含まれていると判定してもよい。同様に、目検出部１０３は、取得した赤外線画像から切り出した顔領域の右半分に目の領域を検出した場合、赤外線画像に目（右目）が含まれていると判定してもよい。すなわち、目検出部１０３は、取得した赤外線画像から切り出した顔領域の左半分、または右半分の少なくとも一方から目の領域を検出した場合、赤外線画像に目が含まれていると判定する構成であってもよい。この場合、目検出部１０３は、取得した赤外線画像を認証部１０４に出力するとともに、取得した赤外線画像と判定結果とを表示画面生成部１０５に出力する構成であってもよい。

なお、この変形例に係る認証部１０４は、赤外線画像に片目のみが含まれている場合、該片目の虹彩の特徴点と、予め登録された右目または左目の虹彩の特徴点とを比較し、２つの特徴点が一致しているか否かを判定する。

このように、少なくとも左右一方の目の領域の検出によって、虹彩認証を実行する構成とすれば、ユーザが片方の目に眼帯をしている場合など、片目の虹彩の特徴点のみを取得および照合可能な場合でも、ユーザ認証を実行することができる。

〔実施形態２〕
本発明の他の実施形態について、図４および図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

上述した実施形態１では、赤外線画像を用いた虹彩認証によってユーザ認証を行っていた。しかしながら、赤外線画像を用いたユーザ認証は虹彩認証に限定されない。本実施形態では、顔認識によってユーザ認証を行う携帯端末であって、顔認識に用いられる顔の部分（例えば、目、鼻、口、耳、輪郭など）が赤外線画像に含まれている場合のみ、表示部１３に赤外線画像を表示させる携帯端末１ａについて説明する。なお本実施形態における顔認識は、赤外線画像に写る人の顔の輪郭、両目の位置、鼻の穴の位置、および口の位置と、予め登録された、輪郭、両目の位置、鼻の穴の位置、および口の位置とを比較するものとして説明するが、顔認識はこの例に限定されるものではない。

（携帯端末１ａの要部構成）
まず、携帯端末１ａの要部構成について説明する。図４は、携帯端末１ａの要部構成の一例を示すブロック図である。

図示のように、本実施形態に係る携帯端末１ａは、実施形態１にて説明した携帯端末１と異なり、制御部１０および記憶部１４に代えて、制御部１０ａおよび記憶部１４ａを備えている。そして、制御部１０ａは、制御部１０と異なり、目検出部１０３に代えて照合対象検出部１０６、認証部１０４に代えて認証部１０４ａを含んでいる。また、記憶部１４ａは、記憶部１４と異なり、位置合わせ用画像１４２に代えて位置合わせ用画像１４２ａ、認証用データ１４３に代えて認証用データ１４３ａを記憶している。

照合対象検出部１０６は、赤外線画像に人の顔において顔認識に使われる部分が含まれているか否かを判定する。本実施形態に係る照合対象検出部１０６は、赤外線画像に顔の輪郭、両目、鼻、口が含まれているか否かを判定する。具体的には、照合対象検出部１０６はまず、取得した赤外線画像から顔を検出する。そして、顔を検出できた場合、そして、顔を検出できた場合、顔の領域を切り出し、切り出した顔領域から目の領域、鼻の領域、口の領域を検出する。そして、これら４つの領域がすべて検出できた場合、赤外線画像に顔認識に使われる部分が含まれていると判定し、取得した赤外線画像を認証部１０４ａに出力する（図４のｄ３）。また、取得した赤外線画像と判定結果とを表示画面生成部１０５に出力する（図４のｄ４）。一方、上述した４つの領域がすべて検出できなかった場合、赤外線画像に顔認識に使われる部分が含まれていないと判定し、判定結果のみを表示画面生成部１０５に出力する。なお、各領域の検出には、既存の技術を用いることができる。

認証部１０４ａは、実施形態１で説明した認証部１０４と異なり、赤外線画像に写る人の顔の輪郭、両目の位置、鼻の穴の位置、および口の位置と、予め登録された、輪郭、両目の位置、鼻の穴の位置、および口の位置とを照合する。そして、認証部１０４ａは、これらがすべて一致しているか否かを判定する。具体的には、認証部１０４は、赤外線画像を取得すると、記憶部１４から認証用データ１４３ａを読み出す。本実施形態に係る認証用データ１４３ａは、上述した、顔の輪郭、両目の位置、鼻の穴の位置、および口の位置を示す情報である。該情報は顔の輪郭、両目の位置、鼻の穴の位置、および口の位置を示す情報であればよく、例えば、予め撮像した赤外線画像であってもよいし、顔の輪郭、両目の位置、鼻の穴の位置、および口の位置を数値化した情報であってもよい。また、顔認識において使用する顔の部分が変われば、認証用データ１４３ａに含まれる情報も変わることとなる。例えば、本実施形態における顔認識において、口の位置に代えて両耳の位置を比較する場合、認証用データ１４３ａは、顔の輪郭、両目の位置、鼻の穴の位置、および両耳の位置を示す情報となる。

位置合わせ用画像１４２ａは、実施形態１にて説明した位置合わせ用画像１４２と異なり、顔認識を正確に行うために、ユーザの顔と携帯端末１ａとの適切な位置関係をユーザに認識させるための画像である。なお、該画像の具体例については後述する。

（本実施形態における画面例）
次に、本実施形態における、表示部１３に表示される画面例について、図５に基づいて説明する。携帯端末１ａを用いて撮像した画像の遷移図と、携帯端末１ａに表示される画像の遷移図である。

上述したように、本実施形態に係る照合対象検出部１０６は、赤外線画像に顔の輪郭、両目、鼻、口が含まれているか否かを判定する。そして、本実施形態に係る表示画面生成部１０５は、照合対象検出部１０６が上述した顔の部分が含まれていないと判定した場合、代替画像１４１を表示部１３に表示させる。具体的には、照合対象検出部１０６が、図５の（ａ）に示すような赤外線画像２１ｄを取得した場合、表示画面生成部１０５は、図５の（ｃ）に示すように、代替画像１４１、およびテキスト３１を表示部１３に表示させる。これは、該赤外線画像２１ｄには上述した顔の部分が含まれていないためである。この表示により、照合対象検出部１０６は、赤外線画像２１に、顔認識に使用される顔の部分が写っていないことをユーザに認識させる。

一方、照合対象検出部１０６が、図５の（ｂ）に示すような赤外線画像２１ｅを取得した場合、表示画面生成部１０５は、図５の（ｄ）に示すように、赤外線画像２２ｅ、およびテキスト３２を表示部１３に表示させる。これは、該赤外線画像２１ｅに上述した顔の部分がすべて含まれているためである。なお、本実施形態における赤外線画像２２ｅは、実施形態１で説明した赤外線画像２２と異なり、少なくとも顔の輪郭、両目、鼻、口が写る画像である。

なお、実施形態１と同様に、赤外線画像２１に顔認識に使用される顔の部分が写っているか否かに関わらず、表示画面生成部１０５は、表示部１３に位置合わせ用画像１４２ａを表示させる。位置合わせ用画像１４２ａは、図５の（ｃ）および（ｄ）に示すように、破線で形成された四角形であり、赤外線画像２２に写るユーザの顔が、該四角形内に位置するように、ユーザに自身の顔と携帯端末１ａとの位置関係を調整させるための画像である。なお、位置合わせ用画像１４２ａは、ユーザが自身の顔と携帯端末１ａとの位置関係を調整することができる画像であればよく、図５の例に限定されない。

〔各実施形態に共通の変形例〕
上述した実施形態１および２では、位置合わせ用画像１４２および位置合わせ用画像１４２ａを、目検出部１０３および照合対象検出部１０６の判定結果に関わらず表示部１３に表示させる構成であった。しかしながら、位置合わせ用画像を表示させる条件はこの例に限定されない。例えば実施形態１において、目検出部１０３が赤外線画像に人の両目が含まれていると判定した場合のみ、表示画面生成部１０５は位置合わせ用画像１４２を表示部１３に表示させる構成であってもよい。

また、上述した実施形態１および２では、虹彩認証および顔認識に時間制限はないものとして説明した。しかしながら、虹彩認証および顔認識に時間制限があってもよい。例えば実施形態１において、認証部１０４は、赤外線画像を取得したとき、図示しないタイマを駆動させて赤外線画像を取得してからの時間を計測する。そして、所定時間以内に取得した赤外線画像に含まれる虹彩の特徴点と、読み出した認証用データ１４３が示す虹彩の特徴点とが一致していると判定しなかった場合、その旨を撮像処理部１０１および表示画面生成部１０５に通知する。撮像処理部１０１は、該通知を受けて赤外線照射部１１および赤外線撮像部１２を停止させる。

また、表示画面生成部１０５は、認証部１０４から、比較した虹彩の特徴点が一致しないまま所定時間が経過した旨を通知された場合、その旨をユーザに報知するための画面（不図示）を表示部１３に表示させてもよい。該画面は例えば、ユーザ認証が失敗した旨を示すテキストと、再度ユーザ認証を行うか否かをユーザに選択させるＵＩとを含む画面であってもよい。ユーザは上記ＵＩに対する操作によって、再度ユーザ認証を行うことを選択すれば、赤外線照射部１１および赤外線撮像部１２が再度駆動し、赤外線画像が取得される。

また、上述した携帯端末１および携帯端末１ａは、いずれも赤外線照射部１１を備えている構成であったが、本発明に係る携帯端末において、赤外線照射部１１は必須ではない。なお、本発明に係る携帯端末が赤外線照射部１１を備えない構成である場合、該携帯端末は、太陽から被写体に照射される赤外線を使用して赤外線画像を撮像してもよいし、別光源から被写体に照射される赤外線を使用して赤外線画像を撮像してもよい。

〔実施形態３〕
携帯端末１および携帯端末１ａの制御ブロック（特に制御部１０および制御部１０ａに含まれる各部材）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよい。また、上記制御ブロックは、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、携帯端末１および携帯端末１ａは、ＣＰＵ、ＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、ＲＡＭ（Random Access Memory）などを備えている。ＣＰＵは、各機能を実現するソフトウェアであるプログラムの命令を実行する。記録媒体は、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されている。ＲＡＭは、上記プログラムを展開する。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係るユーザ認証装置（携帯端末１、携帯端末１ａ）は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定部（目検出部１０３、照合対象検出部１０６）と、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部（表示部１３）に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御部（表示画面生成部１０５）と、を備える。

上記の構成によれば、赤外線画像にユーザ認証に用いる顔の部分が含まれている場合のみ、該赤外線画像を表示し、含まれていない場合は該赤外線画像を表示しない。これにより、ユーザ認証を行おうとしている場合に撮像された赤外線画像（すなわち、人の顔が写る赤外線画像）のみが表示されることとなり、換言すれば、ユーザ認証を意図せず撮像された赤外線画像は表示されない。よって、不適切な赤外線画像が表示部に表示されることを防ぐことができる。なお、不適切な赤外線画像とは、例えば、被写体の服が透けた画像などである。また、ユーザ認証に用いる顔の部分が含まれていない場合は赤外線画像が表示部に表示されないので、ユーザに対して、ユーザ認証を行うために必要な赤外線画像（すなわち、上記顔の部分が写る赤外線画像）が撮像できていないことを認識させることができ、ユーザがスムーズにユーザ認証を行うことができるよう補助することができる。

本発明の態様２に係るユーザ認証装置は、上記態様１において、上記表示制御部は、上記赤外線画像に上記顔の部分が含まれていないと判定された場合、該赤外線画像とは異なる所定の画像を上記表示部に表示させてもよい。

上記の構成によれば、ユーザ認証において比較対象となる顔の部分が赤外線画像に含まれていない場合、赤外線画像に代えて、該赤外線画像とは異なる所定の画像を表示部に表示させる。これにより、ユーザは、上記顔の部分が赤外線画像に含まれていないと判定されたときに表示部に何も表示しない場合と比べて、ユーザ認証を行うために必要な赤外線画像が撮像できていないことをより明確に認識することができ、ユーザはよりスムーズにユーザ認証を行うことができる。

本発明の態様３に係るユーザ認証装置は、上記態様１または２において、上記表示制御部は、ユーザ認証を行うために適した、上記顔の部分の位置を示す位置決め画像を上記表示部に表示させてもよい。

上記の構成によれば、ユーザ認証を行うために適した上記顔の部分の位置を示す位置決め画像を表示するので、ユーザは、該位置決め画像と赤外線画像とを確認することで、ユーザ認証を行うために適した目の位置を認識することができ、顔の部分とユーザ認証装置との位置関係を、ユーザ認証を行うために適した位置に調整することができる。

本発明の態様４に係るユーザ認証装置は、上記態様１から３のいずれかにおいて、上記表示制御部は、上記顔の部分が含まれていると判定された場合、該顔の部分のみを上記表示部に表示させてもよい。

上記の構成によれば、ユーザ認証において比較対象となる顔の部分が赤外線画像に含まれている場合、該顔の部分のみを表示部に表示させる。これにより、赤外線画像に人の顔と首から下の部分が同時に写っていたとしても、首から下の部分は表示されないので、被写体の服が透けた画像が表示部に表示されることを防ぐことができる。

本発明の態様５に係るユーザ認証装置は、上記態様１から４のいずれかにおいて、上記顔の部分は、上記ユーザの虹彩であり、上記画像判定部は、上記赤外線画像に上記ユーザの目が含まれているか否かを判定してもよい。

上記の構成によれば、赤外線画像にユーザの目が含まれているか否かを判定し、含まれている場合のみ該赤外線画像を表示部に表示させる。これにより、ユーザは自身の目が写るように赤外線画像を撮像するという簡易な方法で、ユーザ認証を行うことができる。また、上記の構成によれば、生体において同じものが存在しない虹彩について比較を行うことでユーザ認証を行うので、セキュリティ性の高いユーザ認証装置を実現することができる。

本発明の態様６に係るユーザ認証装置は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置の制御方法であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定ステップ（ステップＳ４）と、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御ステップ（ステップＳ５、Ｓ９）と、を含む。上記の構成によれば、上記態様１に係るユーザ認証装置と同様の作用効果を奏する。

本発明の各態様に係るユーザ認証装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ユーザ認証装置が備える各部（ソフトウェア要素）として動作させることにより上記ユーザ認証装置をコンピュータにて実現させるユーザ認証装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 携帯端末（ユーザ認証装置）
１ａ 携帯端末（ユーザ認証装置）
１０３ 目検出部（画像判定部）
１０５ 表示画面生成部（表示制御部）
１０６ 照合対象検出部（画像判定部）
Ｓ４ 画像判定ステップ
Ｓ５ 表示制御ステップ
Ｓ９ 表示制御ステップ

Claims (8)

1. ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置であって、
   上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定部と、
   上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御部と、を備え、
   上記表示制御部は、上記ユーザ認証を行う上記顔の部分が、撮影した赤外線画像の適正位置にある場合に上記赤外線画像を上記表示部に表示させ、前記ユーザ周囲に不適切な赤外線画像が含み得る撮影した赤外線画像の適正位置にない場合に上記赤外線画像を上記表示部に表示させないことを特徴とするユーザ認証装置。
2. 上記表示制御部は、上記赤外線画像に上記顔の部分が含まれていないと判定された場合、該赤外線画像とは異なる所定の画像を上記表示部に表示させることを特徴とする請求項１に記載のユーザ認証装置。
3. 上記表示制御部は、ユーザ認証を行うために適した、上記顔の部分の位置を示す位置決め画像を上記表示部に表示させることを特徴とする請求項１または２に記載のユーザ認証装置。
4. 上記表示制御部は、上記顔の部分が含まれていると判定された場合、該顔の部分のみを上記表示部に表示させることを特徴とする請求項１から３のいずれか１項に記載のユーザ認証装置。
5. 上記顔の部分は、上記ユーザの虹彩であり、
   上記画像判定部は、上記赤外線画像に上記ユーザの目が含まれているか否かを判定することを特徴とする請求項１から４のいずれか１項に記載のユーザ認証装置。
6. ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置の制御方法であって、
   上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定ステップと、
   上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御ステップと、を含み、
   上記表示制御ステップでは、上記ユーザ認証を行う上記顔の部分が、撮影した赤外線画像の適正位置にある場合に上記赤外線画像を上記表示部に表示させ、前記ユーザ周囲に不適切な赤外線画像を含み得る撮影した赤外線画像の適正位置にない場合に上記赤外線画像を上記表示部に表示させないことを特徴とするユーザ認証装置の制御方法。
7. 請求項１に記載のユーザ認証装置としてコンピュータを機能させるための制御プログラムであって、上記画像判定部および上記表示制御部としてコンピュータを機能させるための制御プログラム。
8. 請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images