JP6754834B2 - User authentication device, control method of user authentication device, control program, and recording medium - Google Patents
User authentication device, control method of user authentication device, control program, and recording medium Download PDFInfo
- Publication number
- JP6754834B2 JP6754834B2 JP2018524952A JP2018524952A JP6754834B2 JP 6754834 B2 JP6754834 B2 JP 6754834B2 JP 2018524952 A JP2018524952 A JP 2018524952A JP 2018524952 A JP2018524952 A JP 2018524952A JP 6754834 B2 JP6754834 B2 JP 6754834B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared image
- image
- unit
- user
- user authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置などに関する。 The present invention relates to a user authentication device that authenticates a user by using an infrared image obtained by capturing at least a part of a user's face.
被写体に赤外領域の光を照射して被写体を撮像した画像（赤外線画像）を用いたユーザ認証の技術が従来技術として知られている。例えば下記の特許文献１には、赤外線画像を用いた顔認識を行う赤外線顔認証装置が開示されている。該赤外線顔認証装置は、ユーザの顔と装置との位置関係の調整を補助するために、撮像した赤外線画像を表示部に表示させる。
A user authentication technique using an image (infrared image) obtained by irradiating a subject with light in the infrared region and capturing the subject is known as a conventional technique. For example,
しかしながら、上述のような従来技術では、撮像された赤外線画像がすべて表示部に表示されることとなる。つまり、ユーザがユーザ認証を行うことを意図せず撮像された赤外線画像も表示部に表示される。そのため従来技術には、不適切な赤外線画像が表示部に表示されてしまうという問題があった。例えば従来技術では、被写体の衣服が透けた赤外線画像などが表示部に表示されてしまう。 However, in the conventional technique as described above, all the captured infrared images are displayed on the display unit. That is, an infrared image captured without the intention of the user performing user authentication is also displayed on the display unit. Therefore, the prior art has a problem that an inappropriate infrared image is displayed on the display unit. For example, in the prior art, an infrared image or the like through which the clothes of the subject are transparent is displayed on the display unit.
特に、従来技術を携帯端末に適用した場合、該携帯端末のユーザが悪意を持って他人を撮像し、被写体の衣服が透けた赤外線画像を閲覧する可能性も考えられるため、上記の問題点はより顕著となる。 In particular, when the conventional technology is applied to a mobile terminal, the user of the mobile terminal may maliciously take an image of another person and view an infrared image through which the subject's clothes are transparent. It becomes more prominent.
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、赤外線画像を用いてユーザ認証を行う場合に、不適切な画像が表示部に表示されることを防ぐユーザ認証装置を実現することにある。 The present invention has been made in view of the above problems, and an object of the present invention is a user authentication device for preventing an inappropriate image from being displayed on a display unit when user authentication is performed using an infrared image. Is to realize.
上記の課題を解決するために、本発明の一態様に係るユーザ認証装置は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定部と、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御部と、を備える。 In order to solve the above problem, the user authentication device according to one aspect of the present invention is a user authentication device that performs user authentication using an infrared image obtained by capturing at least a part of the user's face, and is the infrared image. An image determination unit that determines whether or not the face portion used for user authentication is included, and a display unit that displays the infrared image if it is determined that the face portion is included. A display control unit that does not display the infrared image on the display unit when it is determined that the face portion is not included is provided.
また、上記の課題を解決するために、本発明の一態様に係るユーザ認証装置の制御方法は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置の制御方法であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定ステップと、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御ステップと、を含む。 Further, in order to solve the above problems, the control method of the user authentication device according to one aspect of the present invention is to control a user authentication device that performs user authentication using an infrared image obtained by capturing at least a part of the user's face. In the method, an image determination step for determining whether or not the infrared image includes a face portion used for user authentication, and when it is determined that the infrared image includes the face portion, the infrared ray is used. It includes a display control step of displaying the image on the display unit, but not displaying the infrared image on the display unit when it is determined that the face portion is not included.
本発明の一態様によれば、赤外線画像を用いてユーザ認証を行う場合に、不適切な画像が表示部に表示されることを防ぐことができるという効果を奏する。 According to one aspect of the present invention, when user authentication is performed using an infrared image, it is possible to prevent an inappropriate image from being displayed on the display unit.
〔実施形態１〕
以下、本発明の実施形態１について、図１から図３に基づいて詳細に説明する。[Embodiment 1]
Hereinafter,
（本発明の概要）
まず、本発明の概要について図２に基づいて説明する。なお、本実施形態では、本発明に係るユーザ認証装置を携帯端末１に適用した例を説明する。ただし、本発明の適用例は携帯端末に限定されず、被写体に赤外領域の光を照射して被写体を撮像した画像を用いて、該被写体が予め登録されたユーザであるか否かを判定する機能を有する装置に適用することができる。(Outline of the present invention)
First, the outline of the present invention will be described with reference to FIG. In this embodiment, an example in which the user authentication device according to the present invention is applied to the
図２は、携帯端末１を用いて撮像した画像の遷移図、および、携帯端末１に表示される画像の遷移図である。なお、携帯端末１は図示のようなスマートフォンに限定されず、フィーチャーフォンやタブレット端末などであってもよい。
FIG. 2 is a transition diagram of an image captured by the
本実施形態に係る携帯端末１（ユーザ認証装置）は、被写体に赤外領域の光を照射して該被写体を撮像する機能を備えている。なお以降、この機能によって撮像した画像を赤外線画像と称する。携帯端末１は、この機能を実現するために、赤外線を被写体に照射する赤外線照射部１１および赤外線画像を撮像する赤外線撮像部１２を備えている（図２の（ｂ）など参照）。なお、本実施形態に係る赤外線照射部１１は、赤外領域の光（赤外線）として、７００ｎｍから２５００ｎｍ程度の近赤外領域の光を照射する構成である。
The mobile terminal 1 (user authentication device) according to the present embodiment has a function of irradiating a subject with light in an infrared region to image the subject. Hereinafter, the image captured by this function will be referred to as an infrared image. In order to realize this function, the
そして携帯端末１は、該赤外線画像に写る虹彩の特徴点と、予め登録された、携帯端末１のユーザの虹彩の特徴点とを比較して（虹彩認証を行って）、一致する場合に携帯端末１のロックを解除する。なお、携帯端末１は、虹彩認証を行う際に、ユーザの目と携帯端末１との位置関係、具体的には、ユーザの目と携帯端末１との距離や携帯端末１の傾きを適切なものに調整させるため、撮像した赤外線画像を表示部１３に表示させる。そのため、赤外線照射部１１および赤外線撮像部１２は、図２の（ｂ）に示すように、携帯端末１の表示部１３と同じ面に設けられている。なお、赤外線照射部１１および赤外線撮像部１２は、表示部１３と同じ面に設けられていればよく、該面における位置は特に限定されない。
Then, the
ただし携帯端末１は、撮像した赤外線画像に人の両目（比較対象となる顔の部分、すなわち、ユーザ認証に必要な顔の部分）が写っている場合のみ、赤外線画像を表示部１３に表示させる。これについて、図２を参照しながらより詳細に説明する。図２の（ａ）、（ｃ）、（ｅ）はそれぞれ、携帯端末１が撮像した赤外線画像２１ａ、２１ｂ、２１ｃを示している。また、図２の（ｂ）、（ｄ）、（ｆ）、（ｇ）は、携帯端末１の表示部１３に表示される画面を示している。なお以降、赤外線画像２１ａ、２１ｂ、２１ｃを区別する必要が無い場合、これらを総称して「赤外線画像２１」と記載する。なお、図２の例において、赤外線画像２１に写っている人間は、携帯端末１のユーザ（換言すれば、携帯端末１に虹彩の特徴点を予め登録している人）であるとする。
However, the
図２の（ａ）に示すように、携帯端末１が撮像した赤外線画像２１ａには人の両目は写っていない。この場合、携帯端末１は図２の（ｂ）に示すように、赤外線画像２１の代わりの画像である代替画像１４１を表示部１３に表示させる。さらに携帯端末１は、赤外線画像２１を撮像する撮像デバイス（カメラ）に対して顔を向けるように促すテキスト３１を表示部１３に表示させる。該テキスト３１は、換言すれば、赤外線画像２１に両目が写るように、ユーザの目と携帯端末１との距離や携帯端末１の傾きを適切なものに調整するように促すテキストである。これにより、ユーザに赤外線画像２１に自身の両目（より具体的には、両目の虹彩）が写っていないことを認識させ、ユーザの目と携帯端末１との位置関係を調整させることができる。また、認証以外の不適切な用途での使用（例えば、他人の服が透けた画像を撮像し、表示部１３に表示させるなど）を防ぐことができる。なお、図２に示す代替画像１４１およびテキスト３１は一例であり、図示の例に限定されるものではない。また、テキストを表示部１３に表示させることに代えて、あるいは、テキストを表示部１３に表示させるとともに、ユーザに撮像デバイスに対して顔を向けるよう促す音声ガイダンスを、図示しないスピーカから出力する構成であってもよい。
As shown in FIG. 2A, the
また、携帯端末１は、ユーザ認証を行うためのアプリケーションを実行した場合、赤外線画像２１に人の両目が写っているか否かに関わらず、図２の（ｂ）に示すように、表示部１３に位置合わせ用画像１４２（位置決め画像）を表示させる。なお、位置合わせ用画像１４２の詳細については後述する。
Further, when the
一方、図２の（ｃ）に示すように、携帯端末１が撮像した赤外線画像２１ｂには人の両目が写っている場合、携帯端末１は図２の（ｄ）に示すように、赤外線画像２１ｂに対して画像処理を行った画像である赤外線画像２２ｂを表示部１３に表示させる。そして、携帯端末１はユーザ認証を開始する。このとき、図２の（ｄ）に示すように、ユーザ認証を行っていることを示すテキスト３２を表示部１３に表示させてもよい。赤外線画像２２ｂは、図２の（ｄ）に示すように、位置合わせ用画像１４２の奥に表示される。なお以降、表示部１３に表示される赤外線画像を総称して、「赤外線画像２２」と記載する場合がある。また、図２に示すテキスト３２は一例であり、図示の例に限定されるものではない。
On the other hand, as shown in FIG. 2 (c), when the
ここで、位置合わせ用画像１４２について説明する。位置合わせ用画像１４２は、赤外線画像２２とともに表示部１３に表示することで、ユーザ認証を行うために適した目の位置をユーザに認識させるための画像である。
Here, the
位置合わせ用画像１４２は、ユーザが赤外線画像２２を認識できるように表示させる円部分４２１ａおよび４２１ｂを有している。なお以降、円部分４２１ａおよび４２１ｂを区別する必要が無い場合、これらを総称して「円部分４２１」と記載する。円部分４２１は、ユーザの両目（虹彩）と携帯端末１との位置関係が、ユーザ認証を行うために適した位置関係である場合、赤外線画像２２に写るユーザの目が片目ずつ円部分４２１内に位置するように、位置合わせ用画像１４２に配置されている。ここで、図２の（ｄ）に示すように、赤外線画像２２のユーザの目が片目ずつ円部分４２１内に位置しない場合、赤外線画像２２に写る人が携帯端末１のユーザであっても、ロックが解除されない可能性がある。ロックが解除されない場合、ユーザは赤外線画像２２が表示部１３に表示された後、携帯端末１のロックを解除するために、以下の調整を行う。すなわち、ユーザは、赤外線画像２２ｂと位置合わせ用画像１４２を確認しながら、自身の目が片目ずつ円部分４２１内に位置するように、自身の目と携帯端末１との位置関係を調整する。調整の結果、図２の（ｅ）に示す赤外線画像２１ｃが撮像されると、図２の（ｆ）に示すように、ユーザの目が片目ずつ円部分４２１内に位置している画面が表示される。
The
このように、位置合わせ用画像１４２を赤外線画像２２とともに表示部１３に表示させることで、携帯端末１は、ユーザ認証に適した目の位置（換言すれば、ユーザの両目（虹彩）と携帯端末１との位置関係）をユーザに認識させることができる。
In this way, by displaying the
ユーザ認証によって、赤外線画像２１（例えば赤外線画像２１ｃ）に写るユーザの虹彩の特徴点と、携帯端末１に予め登録された虹彩の特徴点が一致すると、携帯端末１のロックが解除される。そして、携帯端末１はロックを解除したことを示す画面（例えば、図２の（ｇ）に示すメニュー画面）を表示部１３に表示させる。なお、携帯端末１のロックは、図２の（ｄ）に示すように、赤外線画像２２のユーザの目が片目ずつ円部分４２１内に位置しない場合であっても、虹彩の特徴点が一致すれば解除される。
When the feature points of the user's iris captured in the infrared image 21 (for example, the
また、図２に示す位置合わせ用画像１４２は一例であり、この例に限定されるものではない。具体的には、位置合わせ用画像１４２は、赤外線画像に写る人の虹彩の特徴点と、予め登録された虹彩の特徴点との照合を正確に行うことができるように、ユーザに自身の目と携帯端末１との位置関係を調整させることができる画像であればよい。例えば、赤外線画像における目の周辺以外の領域を表示しない画像であってもよいし、赤外線画像における目の周辺以外の顔の領域を薄く透過して表示させる画像であってもよい。
Further, the
（携帯端末１の要部構成）
次に、携帯端末１の要部構成について、図１に基づいて説明する。図１は、携帯端末１の要部構成の一例を示すブロック図である。なお、図１は、携帯端末１が備えている部材のうち、本発明との関連性が高い部材のみを示す図である。そのため、携帯端末１が備えている部材のうち、本発明との関連性が低い部材（例えば、ユーザの操作を受け付ける部材など）については、図示および詳細な説明を省略する。(Main part configuration of mobile terminal 1)
Next, the configuration of the main part of the
図示のように、携帯端末１は、制御部１０、赤外線照射部１１、赤外線撮像部１２、表示部１３、および、記憶部１４を備えている。制御部１０は、携帯端末１の各部を統括して制御する。赤外線照射部１１は、赤外線画像を撮像するために、赤外線を被写体に照射する。赤外線撮像部１２は、赤外線画像を撮像する。表示部１３は、制御部１０が実行した処理の結果に応じた画面を表示する。記憶部１４は、携帯端末１にて使用する各種データを記憶する。なお、赤外線撮像部１２はいわゆるカメラであるが、赤外線画像のみを撮像するカメラ（赤外線カメラ）であってもよい。また、赤外線撮像部１２は、制御部１０からの指示に応じて通常の画像（被写体に可視光が照射されることにより撮像された画像）を撮像するモードと、赤外線画像を撮像するモードとを切り替え可能なカメラであってもよい。
As shown in the figure, the
そして、制御部１０には、撮像処理部１０１、画像処理部１０２、目検出部１０３（画像判定部）、認証部１０４、および表示画面生成部１０５（表示制御部）が含まれている。また、記憶部１４には、代替画像１４１、位置合わせ用画像１４２、および認証用データ１４３が少なくとも記憶されている。なお、代替画像１４１および位置合わせ用画像１４２については既に説明しているため、ここでの説明を省略する。
The
撮像処理部１０１は、赤外線照射部１１および赤外線撮像部１２を駆動および制御する。具体的には、撮像処理部１０１は、図示しない操作部に対するユーザの操作によってユーザ認証を行うためのアプリケーションが実行されたとき、赤外線照射部１１を駆動して（図１のｄ１）、赤外線を照射させる。また、撮像処理部１０１は、上記アプリケーションが実行されたとき、赤外線撮像部１２を駆動して（図１のｄ２）、赤外線画像を撮像させる。赤外線撮像部１２は、撮像処理部１０１によって制御されて、所定時間ごと（例えば３３ミリ秒（３０ｆｐｓ）ごと）に赤外線画像を撮像し、画像処理部１０２に出力する。
The image
また、撮像処理部１０１は、赤外線を検知するセンサ（不図示）から検知結果を取得し、自装置の外部（例えば太陽）から自装置に対して赤外線が十分に照射されているか否かを判定してもよい。そして、赤外線が十分に照射されていると判定した場合、被写体にも赤外線が十分に照射されているとみなして、赤外線照射部１１から被写体への赤外線の照射を行わない構成であってもよい。換言すれば、撮像処理部１０１は、自装置の外部から自装置に対する赤外線の照射量が所定の閾値未満であった場合のみ、赤外線照射部１１を駆動し、被写体に赤外線を照射させる構成であってもよい。
Further, the image
画像処理部１０２は、取得した赤外線画像に対して、虹彩認証で使用するための画像処理を行う。具体的には、画像処理部１０２は、ノイズ低減、エッジ強調などの処理を行う。そして、画像処理部１０２は、画像処理を行った赤外線画像を目検出部１０３に出力する。なお、上述した画像処理は一例であり、画像処理部１０２が行う画像処理はこの例に限定されるものではない。
The
目検出部１０３は、赤外線画像に人の両目が含まれているか否かを判定する。具体的には、目検出部１０３はまず、取得した赤外線画像から顔を検出する。そして、顔を検出できた場合、顔の領域を切り出し、切り出した顔領域から目の領域を検出する。そして、目の領域が検出できた場合、赤外線画像に人の両目が含まれていると判定し、取得した赤外線画像を認証部１０４に出力する（図１のｄ３）。また、取得した赤外線画像と判定結果とを表示画面生成部１０５に出力する（図１のｄ４）。一方、目の領域が検出できなかった場合、赤外線画像に人の両目が含まれていないと判定し、判定結果のみを表示画面生成部１０５に出力する。なお、顔の領域や目の領域の検出には、既存の技術を用いることができる。
The
認証部１０４は、赤外線画像に含まれる虹彩の特徴点と、予め登録された虹彩の特徴点とを比較（照合）し、２つの特徴点が一致しているか否かを判定する。認証部１０４が実行する虹彩認証には既存の技術を用いることができる。具体的には、認証部１０４は、赤外線画像を取得すると、記憶部１４から認証用データ１４３を読み出す。本実施形態に係る認証用データ１４３は、上述した、予め登録された虹彩の特徴点を示す情報である。該情報は虹彩の特徴点を示す情報であればよく、例えば、予め撮像した赤外線画像であってもよいし、該赤外線画像から切り出した目の領域のみの画像であってもよい。また、虹彩の特徴点を数値化した情報であってもよい。認証部１０４は、取得した赤外線画像に含まれる虹彩の特徴点と、読み出した認証用データ１４３が示す虹彩の特徴点とを比較し、一致しているか否かを判定する。そして、一致していると判定したとき、その旨を表示画面生成部１０５に通知する。
The
表示画面生成部１０５は、表示部１３に表示させる画面を生成し、表示部１３に表示させる。具体的には、表示画面生成部１０５は、ユーザ認証を行うためのアプリケーションが起動されると、記憶部１４から代替画像１４１、位置合わせ用画像１４２、およびテキスト３１（図１では不図示）を読み出し、表示部１３に表示させる。
The display
また、表示画面生成部１０５は、赤外線画像に人の両目が含まれているとの判定結果を取得した場合、該判定結果とともに取得した赤外線画像、およびテキスト３２（図１では不図示）を、表示部１３に表示させる。これにより、表示部１３には図２の（ｄ）や図２の（ｆ）に示す画面が表示される。なお、表示画面生成部１０５は、赤外線画像に人の両目が含まれているとの判定結果とともに目検出部１０３から赤外線画像を取得する度に、表示部１３に表示されている赤外線画像を更新する。
Further, when the display
一方、表示画面生成部１０５は、赤外線画像に人の両目が含まれていないとの判定結果を取得した場合、表示部１３に表示されている赤外線画像２２およびテキスト３２を、代替画像１４１およびテキスト３１に変更する。これにより、表示部１３には図２の（ｂ）に示す画面が表示される。
On the other hand, when the display
なお、表示画面生成部１０５は、赤外線画像を表示部１３に表示させるときに、該赤外線画像に対する画像処理を行ってもよい。例えば、取得した赤外線画像のうち、円部分４２１に対応する領域を特定し、該領域のみを表示部１３に表示させる構成であってもよい。
The display
また、表示画面生成部１０５は、認証部１０４から、比較した虹彩の特徴点が一致した旨を通知された場合、メニュー画面（図２の（ｇ）に示す画面）を表示部１３に表示させる。
Further, when the
（携帯端末１が実行する処理の流れ）
次に、携帯端末１が実行する処理の流れについて、図３に基づいて説明する。図３は、携帯端末１が実行する処理の流れの一例を示すフローチャートである。(Flow of processing executed by mobile terminal 1)
Next, the flow of processing executed by the
ユーザ操作によってユーザ認証を行うためのアプリケーションが起動すると、撮像処理部１０１によって赤外線照射部１１および赤外線撮像部１２が駆動される。そして、表示画面生成部１０５は、記憶部１４から代替画像１４１および位置合わせ用画像１４２を読み出し、表示部１３に表示させる（ステップＳ１、以下、「ステップ」の記載を省略）。
When the application for performing user authentication is started by the user operation, the
続いて、画像処理部１０２は、赤外線撮像部１２が撮像した赤外線画像を取得し（ステップＳ２）、該赤外線画像の画像処理を行い（Ｓ３）、目検出部１０３に出力する。
Subsequently, the
目検出部１０３は、取得した赤外線画像について、人の両目の検出を行う（Ｓ４、画像判定ステップ）。両目が検出できなかった場合（Ｓ４でＮＯ）、赤外線画像に人の両目が含まれていないと判定し、判定結果を表示画面生成部１０５に出力する。
The
表示画面生成部１０５は、赤外線画像に人の両目が含まれていないとの判定結果を取得すると、記憶部１４から代替画像１４１を読み出し、表示部１３に表示させる（Ｓ９、表示制御ステップ）。そして、図３に示す処理はＳ２に戻る。つまり、Ｓ４において人の両目が検出されるまで、表示部１３には赤外線画像は表示されず、代替画像１４１が表示される。
When the display
一方、目検出部１０３が両目を検出した場合（Ｓ４でＹＥＳ）、目検出部１０３は赤外線画像に人の両目が含まれていると判定し、赤外線画像を認証部１０４に出力する。また、判定結果および赤外線画像を表示画面生成部１０５に出力する。表示画面生成部１０５は、該判定結果および赤外線画像を取得すると、取得した赤外線画像を表示部１３に表示させる（Ｓ５、表示制御ステップ）。また、認証部１０４はユーザ認証を開始する（Ｓ６）。具体的には、取得した赤外線画像に含まれる虹彩の特徴点と、記憶部１４に記憶されている虹彩の特徴点（認証用データ１４３が示す特徴点）とを比較する。なお、Ｓ５およびＳ６の処理は、図示の順番で行われなくてもよい。例えば、Ｓ５の前にＳ６の処理が行われてもよいし、Ｓ５およびＳ６の処理が同時に行われてもよい。
On the other hand, when the
認証部１０４は、上記の比較を行うことにより、２つの特徴点が一致するか否か、すなわち、赤外線画像に写る人が携帯端末のユーザであるか否かを判定する（Ｓ７）。赤外線画像に写る人が携帯端末のユーザであると特定した場合（Ｓ７でＹＥＳ）、認証部１０４はその旨を表示画面生成部１０５に通知する。該通知を受けた表示画面生成部１０５は、メニュー画面を表示部１３に表示させる（Ｓ８）。以上で図３に示す処理は終了する。
By performing the above comparison, the
一方、赤外線画像に写る人が携帯端末のユーザであると特定できなかった場合（Ｓ７でＮＯ）、図３に示す処理はＳ２に戻る。 On the other hand, when the person shown in the infrared image cannot be identified as the user of the mobile terminal (NO in S7), the process shown in FIG. 3 returns to S2.
〔実施形態１の変形例〕
上述した実施形態１では、赤外線画像２１に人の両目を検出した場合のみ、ユーザ認証を開始する構成であった。しかしながら、ユーザ認証を開始する条件はこの例に限定されない。例えば、片目のみを検出した場合にユーザ認証を開始する構成であってもよい。例えば、目検出部１０３は、取得した赤外線画像から切り出した顔領域の左半分に目の領域を検出した場合、赤外線画像に目（左目）が含まれていると判定してもよい。同様に、目検出部１０３は、取得した赤外線画像から切り出した顔領域の右半分に目の領域を検出した場合、赤外線画像に目（右目）が含まれていると判定してもよい。すなわち、目検出部１０３は、取得した赤外線画像から切り出した顔領域の左半分、または右半分の少なくとも一方から目の領域を検出した場合、赤外線画像に目が含まれていると判定する構成であってもよい。この場合、目検出部１０３は、取得した赤外線画像を認証部１０４に出力するとともに、取得した赤外線画像と判定結果とを表示画面生成部１０５に出力する構成であってもよい。[Modification of Embodiment 1]
In the first embodiment described above, the user authentication is started only when both eyes of a person are detected in the infrared image 21. However, the conditions for initiating user authentication are not limited to this example. For example, the user authentication may be started when only one eye is detected. For example, when the
なお、この変形例に係る認証部１０４は、赤外線画像に片目のみが含まれている場合、該片目の虹彩の特徴点と、予め登録された右目または左目の虹彩の特徴点とを比較し、２つの特徴点が一致しているか否かを判定する。
When the infrared image contains only one eye, the
このように、少なくとも左右一方の目の領域の検出によって、虹彩認証を実行する構成とすれば、ユーザが片方の目に眼帯をしている場合など、片目の虹彩の特徴点のみを取得および照合可能な場合でも、ユーザ認証を実行することができる。 In this way, if the iris authentication is executed by detecting the area of at least one of the left and right eyes, only the feature points of the iris of one eye are acquired and collated, such as when the user wears an eye patch in one eye. User authentication can be performed even if possible.
〔実施形態２〕
本発明の他の実施形態について、図４および図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。[Embodiment 2]
Other embodiments of the present invention will be described below with reference to FIGS. 4 and 5. For convenience of explanation, the same reference numerals will be added to the members having the same functions as those described in the above embodiment, and the description thereof will be omitted.
上述した実施形態１では、赤外線画像を用いた虹彩認証によってユーザ認証を行っていた。しかしながら、赤外線画像を用いたユーザ認証は虹彩認証に限定されない。本実施形態では、顔認識によってユーザ認証を行う携帯端末であって、顔認識に用いられる顔の部分（例えば、目、鼻、口、耳、輪郭など）が赤外線画像に含まれている場合のみ、表示部１３に赤外線画像を表示させる携帯端末１ａについて説明する。なお本実施形態における顔認識は、赤外線画像に写る人の顔の輪郭、両目の位置、鼻の穴の位置、および口の位置と、予め登録された、輪郭、両目の位置、鼻の穴の位置、および口の位置とを比較するものとして説明するが、顔認識はこの例に限定されるものではない。
In the first embodiment described above, user authentication is performed by iris authentication using an infrared image. However, user authentication using infrared images is not limited to iris authentication. In the present embodiment, it is a mobile terminal that performs user authentication by face recognition, and only when the face part (for example, eyes, nose, mouth, ears, contour, etc.) used for face recognition is included in the infrared image. , The
（携帯端末１ａの要部構成）
まず、携帯端末１ａの要部構成について説明する。図４は、携帯端末１ａの要部構成の一例を示すブロック図である。(Main part configuration of mobile terminal 1a)
First, the configuration of a main part of the
図示のように、本実施形態に係る携帯端末１ａは、実施形態１にて説明した携帯端末１と異なり、制御部１０および記憶部１４に代えて、制御部１０ａおよび記憶部１４ａを備えている。そして、制御部１０ａは、制御部１０と異なり、目検出部１０３に代えて照合対象検出部１０６、認証部１０４に代えて認証部１０４ａを含んでいる。また、記憶部１４ａは、記憶部１４と異なり、位置合わせ用画像１４２に代えて位置合わせ用画像１４２ａ、認証用データ１４３に代えて認証用データ１４３ａを記憶している。
As shown in the figure, unlike the
照合対象検出部１０６は、赤外線画像に人の顔において顔認識に使われる部分が含まれているか否かを判定する。本実施形態に係る照合対象検出部１０６は、赤外線画像に顔の輪郭、両目、鼻、口が含まれているか否かを判定する。具体的には、照合対象検出部１０６はまず、取得した赤外線画像から顔を検出する。そして、顔を検出できた場合、そして、顔を検出できた場合、顔の領域を切り出し、切り出した顔領域から目の領域、鼻の領域、口の領域を検出する。そして、これら４つの領域がすべて検出できた場合、赤外線画像に顔認識に使われる部分が含まれていると判定し、取得した赤外線画像を認証部１０４ａに出力する（図４のｄ３）。また、取得した赤外線画像と判定結果とを表示画面生成部１０５に出力する（図４のｄ４）。一方、上述した４つの領域がすべて検出できなかった場合、赤外線画像に顔認識に使われる部分が含まれていないと判定し、判定結果のみを表示画面生成部１０５に出力する。なお、各領域の検出には、既存の技術を用いることができる。
The collation
認証部１０４ａは、実施形態１で説明した認証部１０４と異なり、赤外線画像に写る人の顔の輪郭、両目の位置、鼻の穴の位置、および口の位置と、予め登録された、輪郭、両目の位置、鼻の穴の位置、および口の位置とを照合する。そして、認証部１０４ａは、これらがすべて一致しているか否かを判定する。具体的には、認証部１０４は、赤外線画像を取得すると、記憶部１４から認証用データ１４３ａを読み出す。本実施形態に係る認証用データ１４３ａは、上述した、顔の輪郭、両目の位置、鼻の穴の位置、および口の位置を示す情報である。該情報は顔の輪郭、両目の位置、鼻の穴の位置、および口の位置を示す情報であればよく、例えば、予め撮像した赤外線画像であってもよいし、顔の輪郭、両目の位置、鼻の穴の位置、および口の位置を数値化した情報であってもよい。また、顔認識において使用する顔の部分が変われば、認証用データ１４３ａに含まれる情報も変わることとなる。例えば、本実施形態における顔認識において、口の位置に代えて両耳の位置を比較する場合、認証用データ１４３ａは、顔の輪郭、両目の位置、鼻の穴の位置、および両耳の位置を示す情報となる。
Unlike the
位置合わせ用画像１４２ａは、実施形態１にて説明した位置合わせ用画像１４２と異なり、顔認識を正確に行うために、ユーザの顔と携帯端末１ａとの適切な位置関係をユーザに認識させるための画像である。なお、該画像の具体例については後述する。
The
（本実施形態における画面例）
次に、本実施形態における、表示部１３に表示される画面例について、図５に基づいて説明する。携帯端末１ａを用いて撮像した画像の遷移図と、携帯端末１ａに表示される画像の遷移図である。(Screen example in this embodiment)
Next, a screen example displayed on the
上述したように、本実施形態に係る照合対象検出部１０６は、赤外線画像に顔の輪郭、両目、鼻、口が含まれているか否かを判定する。そして、本実施形態に係る表示画面生成部１０５は、照合対象検出部１０６が上述した顔の部分が含まれていないと判定した場合、代替画像１４１を表示部１３に表示させる。具体的には、照合対象検出部１０６が、図５の（ａ）に示すような赤外線画像２１ｄを取得した場合、表示画面生成部１０５は、図５の（ｃ）に示すように、代替画像１４１、およびテキスト３１を表示部１３に表示させる。これは、該赤外線画像２１ｄには上述した顔の部分が含まれていないためである。この表示により、照合対象検出部１０６は、赤外線画像２１に、顔認識に使用される顔の部分が写っていないことをユーザに認識させる。
As described above, the collation
一方、照合対象検出部１０６が、図５の（ｂ）に示すような赤外線画像２１ｅを取得した場合、表示画面生成部１０５は、図５の（ｄ）に示すように、赤外線画像２２ｅ、およびテキスト３２を表示部１３に表示させる。これは、該赤外線画像２１ｅに上述した顔の部分がすべて含まれているためである。なお、本実施形態における赤外線画像２２ｅは、実施形態１で説明した赤外線画像２２と異なり、少なくとも顔の輪郭、両目、鼻、口が写る画像である。
On the other hand, when the collation
なお、実施形態１と同様に、赤外線画像２１に顔認識に使用される顔の部分が写っているか否かに関わらず、表示画面生成部１０５は、表示部１３に位置合わせ用画像１４２ａを表示させる。位置合わせ用画像１４２ａは、図５の（ｃ）および（ｄ）に示すように、破線で形成された四角形であり、赤外線画像２２に写るユーザの顔が、該四角形内に位置するように、ユーザに自身の顔と携帯端末１ａとの位置関係を調整させるための画像である。なお、位置合わせ用画像１４２ａは、ユーザが自身の顔と携帯端末１ａとの位置関係を調整することができる画像であればよく、図５の例に限定されない。
As in the first embodiment, the display
〔各実施形態に共通の変形例〕
上述した実施形態１および２では、位置合わせ用画像１４２および位置合わせ用画像１４２ａを、目検出部１０３および照合対象検出部１０６の判定結果に関わらず表示部１３に表示させる構成であった。しかしながら、位置合わせ用画像を表示させる条件はこの例に限定されない。例えば実施形態１において、目検出部１０３が赤外線画像に人の両目が含まれていると判定した場合のみ、表示画面生成部１０５は位置合わせ用画像１４２を表示部１３に表示させる構成であってもよい。[Modification example common to each embodiment]
In the above-described first and second embodiments, the
また、上述した実施形態１および２では、虹彩認証および顔認識に時間制限はないものとして説明した。しかしながら、虹彩認証および顔認識に時間制限があってもよい。例えば実施形態１において、認証部１０４は、赤外線画像を取得したとき、図示しないタイマを駆動させて赤外線画像を取得してからの時間を計測する。そして、所定時間以内に取得した赤外線画像に含まれる虹彩の特徴点と、読み出した認証用データ１４３が示す虹彩の特徴点とが一致していると判定しなかった場合、その旨を撮像処理部１０１および表示画面生成部１０５に通知する。撮像処理部１０１は、該通知を受けて赤外線照射部１１および赤外線撮像部１２を停止させる。
Further, in the above-described first and second embodiments, it has been described that there is no time limit for iris recognition and face recognition. However, there may be a time limit for iris recognition and face recognition. For example, in the first embodiment, when the
また、表示画面生成部１０５は、認証部１０４から、比較した虹彩の特徴点が一致しないまま所定時間が経過した旨を通知された場合、その旨をユーザに報知するための画面（不図示）を表示部１３に表示させてもよい。該画面は例えば、ユーザ認証が失敗した旨を示すテキストと、再度ユーザ認証を行うか否かをユーザに選択させるＵＩとを含む画面であってもよい。ユーザは上記ＵＩに対する操作によって、再度ユーザ認証を行うことを選択すれば、赤外線照射部１１および赤外線撮像部１２が再度駆動し、赤外線画像が取得される。
Further, when the
また、上述した携帯端末１および携帯端末１ａは、いずれも赤外線照射部１１を備えている構成であったが、本発明に係る携帯端末において、赤外線照射部１１は必須ではない。なお、本発明に係る携帯端末が赤外線照射部１１を備えない構成である場合、該携帯端末は、太陽から被写体に照射される赤外線を使用して赤外線画像を撮像してもよいし、別光源から被写体に照射される赤外線を使用して赤外線画像を撮像してもよい。
Further, although the
〔実施形態３〕
携帯端末１および携帯端末１ａの制御ブロック（特に制御部１０および制御部１０ａに含まれる各部材）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよい。また、上記制御ブロックは、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。[Embodiment 3]
The
後者の場合、携帯端末１および携帯端末１ａは、ＣＰＵ、ＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、ＲＡＭ（Random Access Memory）などを備えている。ＣＰＵは、各機能を実現するソフトウェアであるプログラムの命令を実行する。記録媒体は、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されている。ＲＡＭは、上記プログラムを展開する。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様１に係るユーザ認証装置（携帯端末１、携帯端末１ａ）は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定部（目検出部１０３、照合対象検出部１０６）と、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部（表示部１３）に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御部（表示画面生成部１０５）と、を備える。[Summary]
The user authentication device (
上記の構成によれば、赤外線画像にユーザ認証に用いる顔の部分が含まれている場合のみ、該赤外線画像を表示し、含まれていない場合は該赤外線画像を表示しない。これにより、ユーザ認証を行おうとしている場合に撮像された赤外線画像（すなわち、人の顔が写る赤外線画像）のみが表示されることとなり、換言すれば、ユーザ認証を意図せず撮像された赤外線画像は表示されない。よって、不適切な赤外線画像が表示部に表示されることを防ぐことができる。なお、不適切な赤外線画像とは、例えば、被写体の服が透けた画像などである。また、ユーザ認証に用いる顔の部分が含まれていない場合は赤外線画像が表示部に表示されないので、ユーザに対して、ユーザ認証を行うために必要な赤外線画像（すなわち、上記顔の部分が写る赤外線画像）が撮像できていないことを認識させることができ、ユーザがスムーズにユーザ認証を行うことができるよう補助することができる。 According to the above configuration, the infrared image is displayed only when the infrared image includes the face portion used for user authentication, and the infrared image is not displayed when the infrared image does not include the face portion. As a result, only the infrared image (that is, the infrared image showing the human face) captured when trying to authenticate the user is displayed, in other words, the infrared image captured without the intention of user authentication. The image is not displayed. Therefore, it is possible to prevent an inappropriate infrared image from being displayed on the display unit. The inappropriate infrared image is, for example, an image in which the clothes of the subject are transparent. Further, if the face part used for user authentication is not included, the infrared image is not displayed on the display unit, so that the infrared image (that is, the above face part) necessary for user authentication is shown to the user. It is possible to recognize that the infrared image) has not been captured, and it is possible to assist the user in smoothly performing user authentication.
本発明の態様２に係るユーザ認証装置は、上記態様１において、上記表示制御部は、上記赤外線画像に上記顔の部分が含まれていないと判定された場合、該赤外線画像とは異なる所定の画像を上記表示部に表示させてもよい。 In the user authentication device according to the second aspect of the present invention, when it is determined in the first aspect that the display control unit does not include the face portion in the infrared image, a predetermined device different from the infrared image is determined. The image may be displayed on the display unit.
上記の構成によれば、ユーザ認証において比較対象となる顔の部分が赤外線画像に含まれていない場合、赤外線画像に代えて、該赤外線画像とは異なる所定の画像を表示部に表示させる。これにより、ユーザは、上記顔の部分が赤外線画像に含まれていないと判定されたときに表示部に何も表示しない場合と比べて、ユーザ認証を行うために必要な赤外線画像が撮像できていないことをより明確に認識することができ、ユーザはよりスムーズにユーザ認証を行うことができる。 According to the above configuration, when the face portion to be compared in the user authentication is not included in the infrared image, a predetermined image different from the infrared image is displayed on the display unit instead of the infrared image. As a result, the user can capture the infrared image necessary for user authentication as compared with the case where nothing is displayed on the display unit when it is determined that the face portion is not included in the infrared image. It is possible to more clearly recognize that there is no such thing, and the user can authenticate the user more smoothly.
本発明の態様３に係るユーザ認証装置は、上記態様１または２において、上記表示制御部は、ユーザ認証を行うために適した、上記顔の部分の位置を示す位置決め画像を上記表示部に表示させてもよい。 In the user authentication device according to the third aspect of the present invention, in the first or second aspect, the display control unit displays a positioning image showing the position of the face portion suitable for performing user authentication on the display unit. You may let me.
上記の構成によれば、ユーザ認証を行うために適した上記顔の部分の位置を示す位置決め画像を表示するので、ユーザは、該位置決め画像と赤外線画像とを確認することで、ユーザ認証を行うために適した目の位置を認識することができ、顔の部分とユーザ認証装置との位置関係を、ユーザ認証を行うために適した位置に調整することができる。 According to the above configuration, a positioning image indicating the position of the face portion suitable for user authentication is displayed, so that the user authenticates the user by confirming the positioning image and the infrared image. The position of the eyes suitable for this can be recognized, and the positional relationship between the face portion and the user authentication device can be adjusted to a position suitable for performing user authentication.
本発明の態様４に係るユーザ認証装置は、上記態様１から３のいずれかにおいて、上記表示制御部は、上記顔の部分が含まれていると判定された場合、該顔の部分のみを上記表示部に表示させてもよい。
In any one of the
上記の構成によれば、ユーザ認証において比較対象となる顔の部分が赤外線画像に含まれている場合、該顔の部分のみを表示部に表示させる。これにより、赤外線画像に人の顔と首から下の部分が同時に写っていたとしても、首から下の部分は表示されないので、被写体の服が透けた画像が表示部に表示されることを防ぐことができる。 According to the above configuration, when the face portion to be compared in the user authentication is included in the infrared image, only the face portion is displayed on the display unit. As a result, even if the human face and the part below the neck are shown at the same time in the infrared image, the part below the neck is not displayed, so that the image of the subject's clothes is not displayed on the display. be able to.
本発明の態様５に係るユーザ認証装置は、上記態様１から４のいずれかにおいて、上記顔の部分は、上記ユーザの虹彩であり、上記画像判定部は、上記赤外線画像に上記ユーザの目が含まれているか否かを判定してもよい。 In the user authentication device according to the fifth aspect of the present invention, in any one of the first to fourth aspects, the face portion is the iris of the user, and the image determination unit has the user's eyes on the infrared image. It may be determined whether or not it is included.
上記の構成によれば、赤外線画像にユーザの目が含まれているか否かを判定し、含まれている場合のみ該赤外線画像を表示部に表示させる。これにより、ユーザは自身の目が写るように赤外線画像を撮像するという簡易な方法で、ユーザ認証を行うことができる。また、上記の構成によれば、生体において同じものが存在しない虹彩について比較を行うことでユーザ認証を行うので、セキュリティ性の高いユーザ認証装置を実現することができる。 According to the above configuration, it is determined whether or not the infrared image includes the user's eyes, and the infrared image is displayed on the display unit only when it is included. As a result, the user can authenticate the user by a simple method of capturing an infrared image so that his / her eyes can be seen. Further, according to the above configuration, since the user authentication is performed by comparing the irises in which the same thing does not exist in the living body, it is possible to realize a highly secure user authentication device.
本発明の態様６に係るユーザ認証装置は、ユーザの顔の少なくとも一部を撮像した赤外線画像を用いてユーザ認証を行うユーザ認証装置の制御方法であって、上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定ステップ（ステップＳ４）と、上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御ステップ（ステップＳ５、Ｓ９）と、を含む。上記の構成によれば、上記態様１に係るユーザ認証装置と同様の作用効果を奏する。
The user authentication device according to the sixth aspect of the present invention is a control method of a user authentication device that performs user authentication using an infrared image obtained by capturing at least a part of the user's face, and the infrared image is used for the user authentication. The image determination step (step S4) for determining whether or not the face portion to be used is included, and when it is determined that the face portion is included, the infrared image is displayed on the display unit, while the above. When it is determined that the face portion is not included, the display control step (steps S5 and S9) of not displaying the infrared image on the display unit is included. According to the above configuration, the same operation and effect as the user authentication device according to the
本発明の各態様に係るユーザ認証装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ユーザ認証装置が備える各部（ソフトウェア要素）として動作させることにより上記ユーザ認証装置をコンピュータにて実現させるユーザ認証装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The user authentication device according to each aspect of the present invention may be realized by a computer. In this case, the user authentication device is made into a computer by operating the computer as each part (software element) included in the user authentication device. The control program of the user authentication device to be realized and the computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
１ 携帯端末（ユーザ認証装置）
１ａ 携帯端末（ユーザ認証装置）
１０３ 目検出部（画像判定部）
１０５ 表示画面生成部（表示制御部）
１０６ 照合対象検出部（画像判定部）
Ｓ４ 画像判定ステップ
Ｓ５ 表示制御ステップ
Ｓ９ 表示制御ステップ1 Mobile terminal (user authentication device)
1a Mobile terminal (user authentication device)
103rd eye detection unit (image judgment unit)
105 Display screen generation unit (display control unit)
106 Collation target detection unit (image judgment unit)
S4 image determination step S5 display control step S9 display control step
Claims (8)
上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定部と、
上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御部と、を備え、
上記表示制御部は、上記ユーザ認証を行う上記顔の部分が、撮影した赤外線画像の適正位置にある場合に上記赤外線画像を上記表示部に表示させ、前記ユーザ周囲に不適切な赤外線画像が含み得る撮影した赤外線画像の適正位置にない場合に上記赤外線画像を上記表示部に表示させないことを特徴とするユーザ認証装置。 A user authentication device that authenticates a user by using an infrared image that captures at least a part of the user's face.
An image determination unit that determines whether or not the infrared image includes a face portion used for user authentication.
When it is determined that the face portion is included, the infrared image is displayed on the display unit, while when it is determined that the face portion is not included, the infrared image is displayed on the display unit. Equipped with a display control unit that does not allow
The display control unit displays the infrared image on the display unit when the face portion for performing user authentication is at an appropriate position of the captured infrared image, and includes an inappropriate infrared image around the user. A user authentication device, characterized in that the infrared image is not displayed on the display unit when the captured infrared image is not at an appropriate position .
上記画像判定部は、上記赤外線画像に上記ユーザの目が含まれているか否かを判定することを特徴とする請求項１から４のいずれか１項に記載のユーザ認証装置。 The face part is the iris of the user,
The user authentication device according to any one of claims 1 to 4, wherein the image determination unit determines whether or not the infrared image includes the eyes of the user.
上記赤外線画像に、上記ユーザ認証に用いる顔の部分が含まれているか否かを判定する画像判定ステップと、
上記顔の部分が含まれていると判定された場合、上記赤外線画像を表示部に表示させる一方、上記顔の部分が含まれていないと判定された場合、上記赤外線画像を上記表示部に表示させない表示制御ステップと、を含み、
上記表示制御ステップでは、上記ユーザ認証を行う上記顔の部分が、撮影した赤外線画像の適正位置にある場合に上記赤外線画像を上記表示部に表示させ、前記ユーザ周囲に不適切な赤外線画像を含み得る撮影した赤外線画像の適正位置にない場合に上記赤外線画像を上記表示部に表示させないことを特徴とするユーザ認証装置の制御方法。 It is a control method of a user authentication device that authenticates a user by using an infrared image obtained by capturing at least a part of the user's face.
An image determination step for determining whether or not the infrared image includes a face portion used for user authentication, and an image determination step.
When it is determined that the face portion is included, the infrared image is displayed on the display unit, while when it is determined that the face portion is not included, the infrared image is displayed on the display unit. and a display control step that does not give, only including,
In the display control step, when the portion of the face to be authenticated by the user is at an appropriate position of the captured infrared image, the infrared image is displayed on the display unit, and an inappropriate infrared image is included around the user. A control method of a user authentication device, characterized in that the infrared image is not displayed on the display unit when the captured infrared image is not at an appropriate position .
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016129268 | 2016-06-29 | ||
| JP2016129268 | 2016-06-29 | ||
| PCT/JP2017/018443 WO2018003336A1 (en) | 2016-06-29 | 2017-05-17 | User authentication device, user authentication device control method, control program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018003336A1 JPWO2018003336A1 (en) | 2019-03-07 |
| JP6754834B2 true JP6754834B2 (en) | 2020-09-16 |
Family
ID=60786863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018524952A Active JP6754834B2 (en) | 2016-06-29 | 2017-05-17 | User authentication device, control method of user authentication device, control program, and recording medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6754834B2 (en) |
| WO (1) | WO2018003336A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI722872B (en) | 2020-04-17 | 2021-03-21 | 技嘉科技股份有限公司 | Face recognition device and face recognition method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000293663A (en) * | 1999-04-01 | 2000-10-20 | Oki Electric Ind Co Ltd | Individual identifying device |
| JP2005334402A (en) * | 2004-05-28 | 2005-12-08 | Sanyo Electric Co Ltd | Method and device for authentication |
| JP2006181012A (en) * | 2004-12-27 | 2006-07-13 | Matsushita Electric Ind Co Ltd | Eye image photographing device, authentication device and guiding method |
| JP2008181468A (en) * | 2006-02-13 | 2008-08-07 | Smart Wireless Kk | Infrared face authentication apparatus, and portable terminal and security apparatus including the same |
| JP2008244753A (en) * | 2007-03-27 | 2008-10-09 | Oki Electric Ind Co Ltd | Peeping prevention method and peeping prevention device |
| JP2009199392A (en) * | 2008-02-22 | 2009-09-03 | Oki Electric Ind Co Ltd | Iris authentication method and iris authentication apparatus |
-
2017
- 2017-05-17 WO PCT/JP2017/018443 patent/WO2018003336A1/en active Application Filing
- 2017-05-17 JP JP2018524952A patent/JP6754834B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2018003336A1 (en) | 2019-03-07 |
| WO2018003336A1 (en) | 2018-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889320B (en) | Periocular face recognition switching | |
| US11693937B2 (en) | Automatic retries for facial recognition | |
| US10205883B2 (en) | Display control method, terminal device, and storage medium | |
| CN109325327B (en) | Process for updating templates used in face recognition | |
| US10719692B2 (en) | Vein matching for difficult biometric authentication cases | |
| US20190213394A1 (en) | Multiple enrollments in facial recognition | |
| KR102387184B1 (en) | Systems and methods for spoof detection in iris based biometric systems | |
| EP2680192B1 (en) | Facial recognition | |
| JP5609970B2 (en) | Control access to wireless terminal functions | |
| KR101326221B1 (en) | Facial feature detection | |
| EP2680191B1 (en) | Facial recognition | |
| US20170109513A1 (en) | Identification, authentication, and/or guiding of a user using gaze information | |
| US8886953B1 (en) | Image processing | |
| EP2680190A2 (en) | Facial recognition | |
| US20140056491A1 (en) | Method and device for authenticating a user | |
| US10708467B2 (en) | Information processing apparatus that performs authentication processing for approaching person, and control method thereof | |
| JP2007011667A (en) | Iris authentication device and iris authentication method | |
| JP2009015518A (en) | Eye image photographing device and authentication device | |
| JP6754834B2 (en) | User authentication device, control method of user authentication device, control program, and recording medium | |
| JP7226477B2 (en) | Information processing system, information processing method and storage medium | |
| JP2008139973A (en) | Face image authentication system and imaging device | |
| JPWO2019044944A1 (en) | Image processing system, image processing method, and storage medium | |
| AU2020100218B4 (en) | Process for updating templates used in facial recognition | |
| WO2020009126A1 (en) | Authentication device and authentication method | |
| JP2006141589A (en) | Personal authentication device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6754834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |