JP2012083997A - Authentication system and determination method for authentication reliability - Google Patents

Abstract

PROBLEM TO BE SOLVED: To raise an alarm to a supervisor according to a result of searching face image database when a user enters or exits a room with a card.SOLUTION: An authentication system comprises: a reading device for acquiring identification information given to identification means possessed by a subject; an authentication device authenticating the identification information acquired by the reading device; and an administrative device having a camera for taking a face image of the subject and an image database which is connected with a terminal for raising an alarm and stores images taken by the camera. The administrative device searches the image database by using the information acquired by the reading device or the camera at authentication, determines reliability of the authentication based on a result of analyzing the searched image, and when the reliability of the authentication is low, transmits data for raising an alarm to the terminal.

Description

本発明は、認証システムに関し、特に入退室時のなりすましを検出するシステムに関する。   The present invention relates to an authentication system, and more particularly to a system for detecting impersonation when entering or leaving a room.

近年、犯罪率の増加などのセキュリティ問題への関心の高まりによって、セキュリティ区域への入退室時のセキュリティ管理の必要性が高まっている。このため、セキュリティ製品の高信頼化が望まれている。入退室管理システムでは、主に、被験者が所持する非接触型又は接触型のカードをカードリーダで読み取る方法が用いられている。また、被験者の顔画像によって認証する入退室管理システムもある。   In recent years, the need for security management at the time of entering and leaving a security area has increased due to an increase in interest in security problems such as an increase in crime rate. For this reason, high reliability of security products is desired. In the entrance / exit management system, a method of reading a non-contact type or contact type card possessed by a subject with a card reader is mainly used. There is also an entrance / exit management system that authenticates with the face image of the subject.

一方、画像を高信頼で検索するために、画像の撮影時間を用いて検索する顔画像検索システムが提案されている。例えば、特許文献１には、顔が登録されてから顔が撮影されるまでの時間に対応する予測係数を記憶し、顔が登録された時点から顔が撮影された時点までの時間を予測する特徴量を演算し、顔を認識する方式が開示されている。   On the other hand, in order to search for an image with high reliability, a face image search system for searching using an image shooting time has been proposed. For example, Patent Document 1 stores a prediction coefficient corresponding to the time from when a face is registered until the face is photographed, and predicts the time from when the face is registered to when the face is photographed. A method for calculating a feature amount and recognizing a face is disclosed.

特開２００７−１０２５１７号公報JP 2007-102517 A

しかし、前述した特許文献１に開示されている方式では、予め登録された顔画像データと照合するため、最近の顔画像データと照合されておらず、照合の精度が高めることができないという問題がある。   However, since the method disclosed in Patent Document 1 described above is collated with face image data registered in advance, it is not collated with recent face image data, and the accuracy of collation cannot be increased. is there.

本発明の目的は、ユーザがカードを用いて入退室する場合、顔画像データベースを検索した結果によって、管理者に警報を発報することにある。   An object of the present invention is to issue an alarm to an administrator based on a result of searching a face image database when a user enters or leaves a room using a card.

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、被験者が所持する識別手段に付与された識別情報を取得する読取装置と、前記読取装置によって取得された識別情報を認証する認証装置と、を備える認証システムであって、被験者の顔画像を撮影するカメラと、警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を備え、前記管理装置は、前記読取装置又は前記カメラが前記認証時に取得した情報を用いて、前記画像データベースを検索し、検索された画像を解析した結果に基づいて、前記認証の信頼度を判定し、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信することを特徴とする。   A typical example of the invention disclosed in the present application is as follows. That is, an authentication system comprising: a reading device that acquires identification information given to an identification means possessed by a subject; and an authentication device that authenticates the identification information acquired by the reading device, wherein a face image of the subject is obtained. And a management device connected to a terminal that issues an alarm and having an image database for storing images taken by the camera, wherein the management device includes the reader or the camera The information obtained at times is used to search the image database, and based on the result of analyzing the searched image, the reliability of the authentication is determined, and if it is determined that the authentication reliability is low, an alarm is issued. Is transmitted to the terminal.

本発明の代表的な実施の形態によれば、被験者の成りすましを精度よく発報することができる。   According to a typical embodiment of the present invention, impersonation of a subject can be reported with high accuracy.

本発明の第１の実施の形態の認証システムの構成を示すブロック図である。It is a block diagram which shows the structure of the authentication system of the 1st Embodiment of this invention. 本発明の第１の実施の形態の判定結果表示画面の一例を説明する図である。It is a figure explaining an example of the determination result display screen of the 1st Embodiment of this invention. 本発明の第１の実施の形態の判定結果表示画面の一例を説明する図である。It is a figure explaining an example of the determination result display screen of the 1st Embodiment of this invention. 本発明の第１の実施の形態の成りすまし判定結果の警報の発報の一例を説明する図である。It is a figure explaining an example of alerting | reporting of the impersonation determination result alarm of the 1st Embodiment of this invention. 本発明の第１の実施の形態の管理サーバに格納される認証結果データベースを説明する図である。It is a figure explaining the authentication result database stored in the management server of the 1st Embodiment of this invention. 本発明の第１の実施の形態の顔画像検索システムに格納される顔画像データベースを説明する図である。It is a figure explaining the face image database stored in the face image search system of the 1st Embodiment of this invention. 本発明の第１の実施の形態の成りすまし検出処理の全体を示すフローチャートである。It is a flowchart which shows the whole impersonation detection process of the 1st Embodiment of this invention. 本発明の第１の実施の形態の信頼度判定処理の第２の例のフローチャートである。It is a flowchart of the 2nd example of the reliability determination process of the 1st Embodiment of this invention. 本発明の第１の実施の形態の第２の例において警報を表示する画面の一例を説明する図である。It is a figure explaining an example of the screen which displays a warning in the 2nd example of a 1st embodiment of the present invention. 本発明の第１の実施の形態の信頼度判定処理の第３の例のフローチャートである。It is a flowchart of the 3rd example of the reliability determination process of the 1st Embodiment of this invention. 本発明の第３の実施の形態の成りすまし検出処理の全体を示すフローチャートである。It is a flowchart which shows the whole impersonation detection process of the 3rd Embodiment of this invention. 本発明の第４の実施の形態の成りすまし検出処理の全体を示すフローチャートである。It is a flowchart which shows the whole spoofing detection process of the 4th Embodiment of this invention. 本発明の第４の実施の形態の信頼度判定処理のフローチャートである。It is a flowchart of the reliability determination process of the 4th Embodiment of this invention.

＜実施形態１＞
図１は、本発明の第１の実施の形態の認証システムの構成を示すブロック図である。 <Embodiment 1>
FIG. 1 is a block diagram showing the configuration of the authentication system according to the first embodiment of this invention.

第１の実施の形態の認証システムは、カメラ１０２、読取装置１０３、コントローラ１０４、管理サーバ１０５及び顔画像検索システム１０６を備える。図１には、複数の読取装置１０３、複数のコントローラ１０４及び複数の管理サーバ１０５が備わるが、各々一つずつ備わってもよい。   The authentication system according to the first embodiment includes a camera 102, a reading device 103, a controller 104, a management server 105, and a face image search system 106. Although FIG. 1 includes a plurality of reading devices 103, a plurality of controllers 104, and a plurality of management servers 105, one each may be provided.

カメラ１０２は、被験者の顔画像を撮影する撮像装置であり、読取装置１０３を操作する人をの顔位置を、その撮影範囲に含む。読取装置１０３は、被験者が所持する記憶媒体（例えば、磁気カード、ＩＣカード、無線タグ等）に付与され、記憶されている識別情報（カードＩＤ）を読み出す装置であり、例えばカードリーダである。   The camera 102 is an imaging device that captures the face image of the subject, and includes the face position of the person who operates the reading device 103 in the imaging range. The reading device 103 is a device that reads identification information (card ID) stored in a storage medium (for example, a magnetic card, an IC card, a wireless tag, etc.) possessed by the subject, and is, for example, a card reader.

コントローラ１０４は、読取装置１０３を制御し、読取装置１０３が取得した情報の認証が成功した場合、認証に基づく処理（例えば、ドアの解錠、コンピュータのロックの解錠など）を行う。図１には、１台のコントローラ１０４に複数の読取装置１０３が接続される例を示したが、コントローラ１０４と読取装置１０３が１対１で接続されてもよい。   The controller 104 controls the reading device 103, and when authentication of the information acquired by the reading device 103 is successful, performs processing based on the authentication (for example, unlocking the door, unlocking the computer lock, etc.). Although FIG. 1 shows an example in which a plurality of reading devices 103 are connected to one controller 104, the controller 104 and the reading devices 103 may be connected on a one-to-one basis.

管理サーバ１０５は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及び認証結果データベース３００を格納する不揮発性記憶装置を有するコンピュータである。認証結果データベース３００は、図５に示す、被験者の過去の認証結果が蓄積されるデータベースである。   The management server 105 is a computer having a processor for executing a program, a memory for storing a program executed by the processor, a communication interface for controlling communication with other devices, and a nonvolatile storage device for storing the authentication result database 300. is there. The authentication result database 300 is a database in which past authentication results of the subject shown in FIG. 5 are accumulated.

管理サーバ１０５は、コントローラ１０４を制御し、読取装置１０３が取得した情報を認証し、認証の成否をコントローラ１０４に送る。図１には、１台の管理サーバ１０５に複数のコントローラ１０４が接続される例を示したが、管理サーバ１０５とコントローラ１０４が１対１で接続されてもよい。   The management server 105 controls the controller 104, authenticates the information acquired by the reading device 103, and sends success or failure of the authentication to the controller 104. Although FIG. 1 shows an example in which a plurality of controllers 104 are connected to one management server 105, the management server 105 and the controllers 104 may be connected on a one-to-one basis.

顔画像検索システム１０６は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及び顔画像データベース３１０を格納する不揮発性記憶装置を有するコンピュータである。顔画像データベース３１０は、図６に示す、被験者の顔画像が蓄積されるデータベースである。また、顔画像検索システム１０６は、カメラ１０２が撮影した顔画像と蓄積された顔画像との類否を判定し、被験者の成りすましの有無を端末１０７に通知する。図１には、１台の顔画像検索システム１０６に複数の管理サーバ１０５が接続される例を示したが、管理サーバ１０５は１台でもよい。   The face image search system 106 includes a processor that executes a program, a memory that stores a program executed by the processor, a communication interface that controls communication with other devices, and a nonvolatile storage device that stores a face image database 310. It is a computer. The face image database 310 is a database in which the test subject's face images shown in FIG. 6 are accumulated. Further, the face image search system 106 determines the similarity between the face image captured by the camera 102 and the accumulated face image, and notifies the terminal 107 of the presence / absence of impersonation of the subject. Although FIG. 1 shows an example in which a plurality of management servers 105 are connected to one face image search system 106, the number of management servers 105 may be one.

端末１０７は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及びキーボード、表示装置などの入出力インターフェースを有するコンピュータである。   The terminal 107 is a computer having a processor for executing a program, a memory for storing a program executed by the processor, a communication interface for controlling communication with other devices, and an input / output interface such as a keyboard and a display device.

図１には、各装置及びコンピュータが１対１で接続されるように図示したが、これらの装置及びコンピュータはネットワークを介して接続されてもよい。   Although FIG. 1 illustrates that each device and computer are connected one-to-one, these devices and computers may be connected via a network.

なお、各コンピュータのプロセッサによって実行されるプログラムは、不揮発性の記憶媒体又はネットワークを介して、各コンピュータに提供される。このため、各コンピュータは、記憶媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）を読み込むインターフェースを備えるとよい。   The program executed by the processor of each computer is provided to each computer via a nonvolatile storage medium or a network. Therefore, each computer may be provided with an interface for reading a storage medium (CD-ROM, flash memory, etc.).

読取装置１０３は、被験者が所持するカードに格納されたカードＩＤを取得し、取得したカードＩＤをコントローラ１０４に送る。コントローラ１０４は、読取装置１０３が取得したカードＩＤを管理サーバ１０５に送り、管理サーバ１０５は、読取装置１０３が取得したカードＩＤを顔画像検索システム１０６に送る。   The reading device 103 acquires a card ID stored in a card possessed by the subject, and sends the acquired card ID to the controller 104. The controller 104 sends the card ID acquired by the reading device 103 to the management server 105, and the management server 105 sends the card ID acquired by the reading device 103 to the face image search system 106.

なお、読取装置１０３とカメラ１０２とを一つの装置に構成してもよい。この場合、カメラ１０２と顔画像検索システム１０６とは直接接続されずに、コントローラ１０４及び管理サーバ１０５を介して接続されてもよい。   Note that the reading device 103 and the camera 102 may be configured as one device. In this case, the camera 102 and the face image search system 106 may not be directly connected but may be connected via the controller 104 and the management server 105.

また、管理サーバ１０５は、読取装置１０３が取得したカードＩＤとを認証データベースに格納された情報とを比較して、カードＩＤを認証する。管理サーバ１０５は、認証が成功した場合、コントローラ１０４に認証成功を通知する。コントローラ１０４は、認証成功の通知を受けると、読取装置１０３が設置されているドアを解錠し、被験者の入退室を許可する。なお、この認証時に暗証番号の入力を求め、被験者が読取装置１０３に入力した暗証番号とカードＩＤとを併用して認証してもよい。   Further, the management server 105 compares the card ID acquired by the reading device 103 with information stored in the authentication database to authenticate the card ID. When the authentication is successful, the management server 105 notifies the controller 104 of the authentication success. When the controller 104 receives a notification of successful authentication, the controller 104 unlocks the door where the reading device 103 is installed, and allows the subject to enter and leave the room. Note that an input of a personal identification number may be required at the time of authentication, and the personal identification number input to the reading device 103 by the subject and the card ID may be used for authentication.

カメラ１０２は、顔画像検索システム１０６に接続されており、撮影した被験者の顔画像を顔画像検索システム１０６に送る。   The camera 102 is connected to the face image search system 106 and sends the photographed face image of the subject to the face image search system 106.

顔画像検索システム１０６は、カメラ１０２が撮影した顔画像及び管理サーバ１０５から出力されたカードＩＤを取得し、顔画像の撮影時刻及びカードＩＤの取得時刻に基づいて、顔画像とカードＩＤとを対応付ける。さらに、顔画像検索システム１０６は、撮影された顔画像と蓄積された顔画像との類似度を計算し、両画像の類否を判定する。画像の類似度は、公知の画像マッチング技術を用いて計算することができる。なお、本発明の実施の形態では、画像が似ていれる程、大きな値となる類似度を用いる。   The face image search system 106 acquires the face image captured by the camera 102 and the card ID output from the management server 105, and based on the face image shooting time and the card ID acquisition time, the face image and card ID are obtained. Associate. Furthermore, the face image search system 106 calculates the similarity between the photographed face image and the accumulated face image, and determines the similarity of both images. Image similarity can be calculated using known image matching techniques. Note that, in the embodiment of the present invention, the degree of similarity is used as the images are more similar.

この判定は、後述するように、読取装置１０３が取得したカードＩＤによる絞り込みを併用してもよいし、カードＩＤによる絞り込みを併用しなくてもよい。さらに、顔画像検索システム１０６は、該判定結果に基づいて被験者の成りすましの有無を判定し、なりすましの判定結果を端末１０７に通知する。   As will be described later, this determination may be performed together with narrowing by the card ID acquired by the reading device 103, or may not be performed together with narrowing by the card ID. Further, the face image search system 106 determines whether the subject is impersonating based on the determination result, and notifies the terminal 107 of the impersonation determination result.

端末１０７では、表示プログラム（例えば、ウェブブラウザ）が実行されており、顔画像検索システム１０６から出力される成りすましの判定結果を、表示画面に表示する。なお、顔画像検索システム１０６が顔画像の類否判定の結果を出力し、端末１０７が、この類否判定結果に基づいて、成りすましの有無を判定してもよい。   In the terminal 107, a display program (for example, a web browser) is executed, and the impersonation determination result output from the face image search system 106 is displayed on the display screen. Note that the face image search system 106 may output the result of the similarity determination of the face image, and the terminal 107 may determine the presence / absence of impersonation based on the similarity determination result.

図２及び図３は、第１の実施の形態の成りすまし判定結果を通知するために端末１０７に表示される判定結果表示画面の一例を説明する図であり、図２は成りすましが検出されていない場合に表示される画面２００を、図３は成りすましが検出された場合に表示される画面２３０を示す。   2 and 3 are diagrams for explaining an example of a determination result display screen displayed on the terminal 107 to notify the impersonation determination result of the first embodiment, and FIG. 2 shows that impersonation is not detected. FIG. 3 shows a screen 200 displayed when impersonation is detected. FIG.

判定結果表示画面２００、２３０には、図２、図３に示すように、入室者欄２０１、氏名欄２０２及び顔検索結果欄２０３が含まれ、これらの情報が被験者毎に表示される。入室者欄２０１には、読取装置１０３が被験者のカードからカードＩＤを取得した時刻に対応する顔画像、及び当該顔画像を撮影した時刻が表示される。氏名欄２０２には、被験者が所持するカードから読み取ったカードＩＤに対応する氏名が表示される。なお、カードＩＤをキーとして、顔画像検索システム１０６に格納された被験者データベース（図示省略）を検索することによって、氏名は取得することができる。顔検索結果欄２０３には、顔画像データベース３１０に登録された顔画像のうち、読取装置１０３が取得したカードＩＤに対応する顔画像及び当該顔画像を撮影した時刻が表示される。   As shown in FIGS. 2 and 3, the determination result display screens 200 and 230 include a room entry column 201, a name column 202, and a face search result column 203, and these pieces of information are displayed for each subject. In the room entry field 201, a face image corresponding to the time when the reading device 103 acquires the card ID from the subject's card and the time when the face image is captured are displayed. In the name column 202, the name corresponding to the card ID read from the card possessed by the subject is displayed. The name can be acquired by searching a subject database (not shown) stored in the face image search system 106 using the card ID as a key. The face search result field 203 displays a face image corresponding to the card ID acquired by the reading device 103 among the face images registered in the face image database 310 and the time when the face image was captured.

顔画像検索システム１０６が成りすましを検出していない場合、図２に示すように、判定結果表示画面２００の各入室者毎に設けられた表示領域２１０、２２０に、入室者の顔画像、氏名及び検索された顔画像検索結果が表示される。   When the face image search system 106 has not detected impersonation, as shown in FIG. 2, in the display areas 210 and 220 provided for each person entering the determination result display screen 200, the face image, name and The searched face image search result is displayed.

一方、顔画像検索システム１０６が成りすましを検出した場合、図３に示すように、判定結果表示画面２３０の成りすましが検出された入室者の表示領域２５０は、成りすましが検出されていない入室者の表示領域２４０と異なる態様で表示される。例えば、この成りすましが検出された場合の表示態様は、図３に示すように、通常と異なる色で表示領域の背景を表示したり、通常と異なる枠で表示領域を表示したり、さらに、音による警報を発してもよい。   On the other hand, when the face image search system 106 detects impersonation, as shown in FIG. 3, the display area 250 of the resident who has detected impersonation on the determination result display screen 230 displays the resident who has not been impersonated. The area 240 is displayed in a different manner. For example, when this impersonation is detected, as shown in FIG. 3, the background of the display area is displayed in a color different from the normal, the display area is displayed in a frame different from the normal, and a sound is displayed. An alarm may be issued.

この成りすましを検出した警報は、管理者が確認するまで継続され、連続的に発報しても、図４に示すように断続的に発報してもよい。断続的に発報する場合、前記の背景、枠が点滅するように表示される。また、警報音も断続的に発せられる。   The alarm that detects this impersonation is continued until the administrator confirms it, and may be issued continuously or intermittently as shown in FIG. In the case of intermittent notification, the background and frame are displayed so as to blink. Also, an alarm sound is emitted intermittently.

図５は、第１の実施の形態の管理サーバ１０５に格納される認証結果データベース３００を説明する図である。   FIG. 5 is a diagram illustrating the authentication result database 300 stored in the management server 105 according to the first embodiment.

認証結果データベース３００は、過去に試みられた認証に関する情報を格納し、時刻３０１、カードリーダＩＤ３０２、カードＩＤ３０３、判定結果３０４及び類似度３０５を含む。   The authentication result database 300 stores information related to authentications attempted in the past, and includes a time 301, a card reader ID 302, a card ID 303, a determination result 304, and a similarity 305.

時刻３０１は、この認証の元となるカードＩＤが取得された時刻である。なお、管理サーバ１０５がこの認証を判定した時刻でもよい。カードリーダＩＤ３０２は、この認証の元となるカードＩＤを取得した読取装置１０３を一意に識別するための識別情報である。カードＩＤ３０３は、この認証の元となるカードＩＤが記憶された記憶媒体の識別情報であり、当該記憶媒体を所持する被験者を一意に特定するために用いられる。   Time 301 is the time when the card ID that is the basis of this authentication is acquired. The time when the management server 105 determines this authentication may be used. The card reader ID 302 is identification information for uniquely identifying the reading device 103 that has acquired the card ID that is the basis of this authentication. The card ID 303 is identification information of the storage medium in which the card ID that is the basis of this authentication is stored, and is used to uniquely identify the subject who owns the storage medium.

判定結果３０４には、この認証が成功したか、失敗したかを示すフラグが格納される。類似度３０５は、この認証時に撮影された顔画像と、この認証に伴い検索された顔画像との類似度である。   The determination result 304 stores a flag indicating whether the authentication has succeeded or failed. The similarity 305 is a similarity between the face image taken at the time of authentication and the face image searched for with the authentication.

管理サーバ１０５は、被験者の認証を試みる毎に、認証結果データベース３００にデータを追加する。さらに、管理サーバ１０５は、認証結果データベース３００に追加されたデータを顔画像検索システム１０６に送る。顔画像検索システム１０６は、受信したデータを顔画像データベース３１０に追加する。   The management server 105 adds data to the authentication result database 300 every time it tries to authenticate the subject. Further, the management server 105 sends the data added to the authentication result database 300 to the face image search system 106. The face image search system 106 adds the received data to the face image database 310.

図６は、第１の実施の形態の顔画像検索システム１０６に格納される顔画像データベース３１０を説明する図である。   FIG. 6 is a diagram illustrating the face image database 310 stored in the face image search system 106 according to the first embodiment.

顔画像データベース３１０は、被験者の顔画像及び当該画像に関する情報（例えば、入退室履歴）を格納し、時刻３１１、カードリーダＩＤ３１２、カードＩＤ３１３、サーバＩＤ３１４、判定結果３１５、類似度３１６及び顔画像３１７を含む。   The face image database 310 stores the face image of the subject and information related to the image (for example, entry / exit history), time 311, card reader ID 312, card ID 313, server ID 314, determination result 315, similarity 316, and face image 317. including.

時刻３１１、カードリーダＩＤ３１２、カードＩＤ３１３、判定結果３１５及び類似度３１６には、それぞれ、認証結果データベース３００に含まれる時刻３０１、カードリーダＩＤ３０２、カードＩＤ３０３、判定結果３０４及び類似度３０５と同じ情報が格納される。すなわち、顔画像検索システム１０６は、各管理サーバ１０５から送られた上記データを、認証の際に撮影された画像とリンクさせて、顔画像データベース３１０に登録する。   The time 311, card reader ID 312, card ID 313, determination result 315, and similarity 316 include the same information as the time 301, card reader ID 302, card ID 303, determination result 304, and similarity 305 included in the authentication result database 300, respectively. Stored. That is, the face image search system 106 registers the data sent from each management server 105 in the face image database 310 by linking with the image taken at the time of authentication.

サーバＩＤ３１４は、上記データを顔画像検索システム１０６に送信した（すなわち、この認証を処理した）管理サーバ１０５を一意に識別するための識別情報である。顔画像３１７は、この認証時に撮影された被験者の顔画像のデータである。なお、顔画像３１７に、顔画像のバイナリデータではなく、画像ファイルへのリンクを格納してもよい。   The server ID 314 is identification information for uniquely identifying the management server 105 that has transmitted the data to the face image search system 106 (that is, processed this authentication). The face image 317 is data of the face image of the subject photographed at the time of authentication. The face image 317 may store a link to an image file instead of binary data of the face image.

なお、顔画像データベース３１０には、カメラ１０２が撮影した顔画像の他に、予め登録された被験者の顔画像を登録してもよい。また、撮影（カードＩＤの取得時刻）から所定期間を経過したデータを顔画像データベース３１０から削除してもよい。   In addition to the face image taken by the camera 102, a face image of the subject registered in advance may be registered in the face image database 310. In addition, data that has passed a predetermined period from shooting (card ID acquisition time) may be deleted from the face image database 310.

図７は、第１の実施の形態の成りすまし検出処理の全体を示すフローチャートである。図７に示す成りすまし検出処理は、顔画像検索システム１０６のプロセッサが、メモリに格納されたプログラムを実行することによって実行される。   FIG. 7 is a flowchart illustrating the entire spoofing detection process according to the first embodiment. The impersonation detection process shown in FIG. 7 is executed by the processor of the face image search system 106 executing a program stored in the memory.

被験者が、保持するカードを読取装置１０３に読み取らせると、読取装置１０３は、当該カードに格納されたカードＩＤを読み取り、読み取ったカードＩＤを管理サーバ１０５を経由して顔画像検索システム１０６に送る。   When the subject causes the reading device 103 to read the held card, the reading device 103 reads the card ID stored in the card, and sends the read card ID to the face image search system 106 via the management server 105. .

第１の実施の形態では、顔画像検索システム１０６は、読取装置１０３が読み取ったカードＩＤを受信することによって、成りすまし検出処理を開始する（Ｓ１０１）。   In the first embodiment, the face image search system 106 starts impersonation detection processing by receiving the card ID read by the reading device 103 (S101).

顔画像検索システム１０６は、カードＩＤを読み取った読取装置１０３を受信したデータから特定し、当該読取装置１０３に対応するカメラ１０２を特定し、特定されたカメラ１０２に撮影指示を送る。   The face image search system 106 specifies the reading device 103 that has read the card ID from the received data, specifies the camera 102 corresponding to the reading device 103, and sends a shooting instruction to the specified camera 102.

読取装置１０３に対応するカメラ１０２は、当該読取装置を操作する被験者の顔の位置を撮影範囲に含むカメラである。顔画像検索システム１０６は、両者の対応が定義されたデータベースを格納しており、読取装置１０３の識別情報（又は、ネットワークアドレス）をキーとして、このデータベースを検索することによって、カメラ１０２の識別情報（又は、ネットワークアドレス）を取得することができる。   The camera 102 corresponding to the reading device 103 is a camera that includes the position of the face of the subject who operates the reading device in the imaging range. The face image search system 106 stores a database in which the correspondence between the two is defined, and by searching the database using the identification information (or network address) of the reading device 103 as a key, the identification information of the camera 102 is stored. (Or network address) can be acquired.

カメラ１０２は、顔画像検索システム１０６から撮影指示を受信すると、読取装置１０３にカードを読み取らせている被験者の顔を撮影し、撮影された顔画像を顔画像検索システム１０６に送る。この場合、読取装置１０３は、カメラ１０２による撮影に必要な時間を考慮して、被験者への読取完了の通知を遅らせることによって、被験者を読取装置１０３の前で立ち止まらせるとよい。   When the camera 102 receives the shooting instruction from the face image search system 106, the camera 102 takes the face of the subject whose card is being read by the reading device 103, and sends the shot face image to the face image search system 106. In this case, the reader 103 may stop the subject in front of the reader 103 by delaying the notification of the reading completion to the subject in consideration of the time required for photographing by the camera 102.

なお、カメラ１０２は、読取装置１０３によるカードの読み取りを契機とせず、他のセンサからの情報を契機として、被験者の顔画像を撮影してもよい。例えば、カメラ１０２又は読取装置１０３に人感センサ（例えば、赤外線センサ、超音波センサ）を設け、この人感センサが、読取装置１０３の前に被験者が立った（又は、カメラ１０２の撮影範囲に被験者が入った）ことを検出した場合、カメラ１０２が被験者の顔画像を撮影してもよい。   Note that the camera 102 may take a face image of the subject using information from another sensor as a trigger, without triggering the card reading by the reading device 103. For example, a human sensor (for example, an infrared sensor or an ultrasonic sensor) is provided in the camera 102 or the reading device 103, and the human sensor stands in front of the reading device 103 (or in the imaging range of the camera 102). When it is detected that the subject has entered, the camera 102 may take a face image of the subject.

また、カメラ１０２は、常時、画像を撮影し、画像に変化があった場合に、動画像をキャプチャして静止画像を取得してもよい。このようにモーション検出技術を用いて、被験者の顔画像を取得することによって、他からのトリガを必要とすることなく、カメラ１０２が自律的に被験者の顔画像を撮影することができる。   Further, the camera 102 may always capture an image and capture a moving image to acquire a still image when the image changes. As described above, by acquiring the face image of the subject using the motion detection technique, the camera 102 can autonomously capture the face image of the subject without requiring a trigger from another.

この一連の処理によって、顔画像検索システム１０６は、カメラ１０２によって撮影された顔画像を取得する（Ｓ１０２）。   Through this series of processing, the face image search system 106 acquires a face image taken by the camera 102 (S102).

一方、顔画像検索システム１０６は、顔画像データベース３１０を検索して抽出された顔画像を用いて、この認証の信頼度を判定する（Ｓ１０３）。この信頼度判定処理の具体的な内容は後述する。   On the other hand, the face image search system 106 determines the reliability of the authentication using the face image extracted by searching the face image database 310 (S103). Specific contents of the reliability determination process will be described later.

判定の結果、認証の信頼度が高いと判定された場合、この被験者は他人に成りすましている可能性が低いので、成りすまし検出「無」の表示画面（図２）を端末１０７に出力する（Ｓ１０４）。一方、認証の信頼度が低いと判定された場合、この被験者は他人に成りすましている可能性が高いので、成りすまし検出「有」の表示画面（図３）を端末１０７に出力する（Ｓ１０５）。   As a result of the determination, if it is determined that the authentication reliability is high, the subject is unlikely to impersonate another person, and therefore, a display screen (FIG. 2) for impersonation detection “none” is output to the terminal 107 (S104). ). On the other hand, if it is determined that the reliability of authentication is low, the subject is likely to impersonate another person, and therefore, a display screen (FIG. 3) for impersonation detection “present” is output to the terminal 107 (S105).

その後、終了命令を待って処理を終了するが、終了命令が無ければステップＳ１０１に戻って、次のカードＩＤの受信を待つ。   Thereafter, the process is terminated after waiting for an end command. If there is no end command, the process returns to step S101 to wait for reception of the next card ID.

次に、信頼度判定処理（Ｓ１０３）の詳細について三つの例を説明する。   Next, three examples of details of the reliability determination process (S103) will be described.

第１の例では、顔画像の類似度によって認証の信頼性を判定する。すなわち、顔画像検索システム１０６は、ステップＳ１０１において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を抽出する。そして、顔画像データベース３１０から抽出された顔画像と、ステップＳ１０２で取得した（すなわち、この認証において撮影された）顔画像との類似度を計算する。そして、計算された類似度の平均値を計算し、計算された類似度の平均値と所定の閾値とを比較することによって、信頼度を判定する。具体的には、類似度の平均値が高い場合、認証の信頼度が高いと判定する。一方、類似度の平均値が低い場合、認証の信頼度が低いと判定する。この判定に用いられる閾値の数は、一つでも複数でもよい。複数の閾値を用いた場合、信頼度を高・中・低の多段階に区分けでき、「平常」「注意」「警戒」などの複数段階の警告を発報することができる。   In the first example, authentication reliability is determined based on the similarity of face images. That is, the face image search system 106 searches the face image database 310 using the card ID acquired in step S101 as a key, and extracts a face image associated with the card ID. Then, the degree of similarity between the face image extracted from the face image database 310 and the face image acquired in step S102 (that is, taken in this authentication) is calculated. Then, the average value of the calculated similarity is calculated, and the reliability is determined by comparing the calculated average value of the similarity with a predetermined threshold value. Specifically, when the average value of similarity is high, it is determined that the reliability of authentication is high. On the other hand, when the average value of the similarity is low, it is determined that the authentication reliability is low. One or more thresholds may be used for this determination. When a plurality of thresholds are used, the reliability can be classified into multiple levels of high, medium, and low, and warnings of multiple levels such as “normal”, “caution”, and “warning” can be issued.

また、顔画像から顔を検出できない場合は、「注意」「警戒」などの複数段階の警告を発報することができる。   Further, when a face cannot be detected from the face image, a plurality of warnings such as “caution” and “warning” can be issued.

なお、計算された類似度の合計値を用いて信頼度を判定してもよい。この合計値は、抽出された全ての顔画像の類似度の合計値でも、類似度の高い順に所定数の顔画像の類似度の合計値でもよい。また、計算された類似度の最小値や最大値を用いて信頼度を判定してもよい。全ての顔画像の類似度の合計値を用いて信頼度を判定することによって、過去の認証実績を考慮して、認証の信頼度を判定することができる。   The reliability may be determined using the calculated total value of the similarities. This total value may be a total value of similarities of all the extracted face images, or a total value of similarities of a predetermined number of face images in descending order of similarity. Alternatively, the reliability may be determined using the calculated minimum or maximum similarity. By determining the reliability using the total value of the similarities of all the face images, the authentication reliability can be determined in consideration of past authentication results.

第２の例では、過去の認証実績によって認証の信頼度を判定する。すなわち、顔画像データベース３１０から抽出された顔画像の数が多い場合、認証の信頼度が高いと判定し、抽出された顔画像の数が少ない場合、認証の信頼度が低いと判定する。   In the second example, authentication reliability is determined based on past authentication results. That is, when the number of face images extracted from the face image database 310 is large, it is determined that the authentication reliability is high, and when the number of extracted face images is small, it is determined that the authentication reliability is low.

図８は、信頼度判定処理（Ｓ１０３）の第２の例のフローチャートである。   FIG. 8 is a flowchart of a second example of the reliability determination process (S103).

まず、顔画像検索システム１０６は、ステップＳ１０１において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を抽出する（Ｓ１１１）。  First, the face image search system 106 searches the face image database 310 using the card ID acquired in step S101 as a key, and extracts a face image associated with the card ID (S111).

そして、顔画像データベース３１０から抽出された顔画像の数を計数し（Ｓ１１２）、計数された顔画像数と所定の閾値とを比較する（Ｓ１１３）。その結果、顔画像数が大ければ、認証の信頼度が高いと判定する（Ｓ１１４）。一方、顔画像数が小さければ、認証の信頼度が低いと判定する（Ｓ１１５）。この判定に用いられる閾値の数は、一つでも複数でもよい。複数の閾値を用いた場合、信頼度を高・中・低の多段階に区分けでき、「平常」「注意」「警戒」などの複数段階の警告を発報することができる。   Then, the number of face images extracted from the face image database 310 is counted (S112), and the counted number of face images is compared with a predetermined threshold value (S113). As a result, if the number of face images is large, it is determined that the reliability of authentication is high (S114). On the other hand, if the number of face images is small, it is determined that the authentication reliability is low (S115). One or more thresholds may be used for this determination. When a plurality of thresholds are used, the reliability can be classified into multiple levels of high, medium, and low, and warnings of multiple levels such as “normal”, “caution”, and “warning” can be issued.

これは、抽出された顔画像の数が多い場合、当該被験者は頻繁に認証を試みているので、この認証が適切である可能性が高く、信頼度が高いと判定することができる。一方、抽出された顔画像の数が少ない場合、当該被験者はたまにしか認証を試みていないので、この認証が適切でない可能性があり、認証の信頼度が低いと判定することができる。   This is because when the number of extracted face images is large, the subject frequently attempts authentication, and thus it is highly possible that this authentication is appropriate, and it can be determined that the reliability is high. On the other hand, when the number of extracted face images is small, since the subject only attempts to authenticate occasionally, this authentication may not be appropriate, and it can be determined that the reliability of authentication is low.

この第２の例の警報の発報の例を図９に示す。判定結果表示画面２６０には、入室者欄２０１、氏名欄２０２及び顔検索結果欄２０３が含まれ、これらの情報が被験者毎に表示される。判定結果表示画面２６０には、抽出された顔画像の数が少ない入室者の表示領域２７０は、抽出された顔画像の数が多い入室者の表示領域２８０と異なる態様で表示される。この抽出された顔画像の数が少ない場合の表示態様は、通常と異なる色で表示領域の背景を表示したり、通常と異なる枠で表示領域を表示したりする。さらに、音による警報を発してもよい、連続的又は断続的に警報を発報してもよい。   FIG. 9 shows an example of the alarm in the second example. The determination result display screen 260 includes a room entry field 201, a name field 202, and a face search result field 203, and these pieces of information are displayed for each subject. On the determination result display screen 260, the display area 270 for the occupants with a small number of extracted face images is displayed in a different manner from the display area 280 for the occupants with a large number of extracted face images. In the display mode when the number of extracted face images is small, the background of the display area is displayed with a color different from the normal color, or the display area is displayed with a frame different from the normal color. Furthermore, a warning by sound may be issued, or a warning may be issued continuously or intermittently.

なお、抽出された全ての画像の数ではなく、抽出された画像のうち認証に成功した場合の画像数を用いてもよい。認証に成功した際に撮影された顔画像のみを用いる（認証に失敗した際に撮影された顔画像を除外する）ことによって、信頼度の判定精度を向上させることができる。   In addition, you may use the number of images at the time of authentication succeeding among the extracted images instead of the number of all the extracted images. By using only the face image taken when the authentication is successful (excluding the face image taken when the authentication is unsuccessful), the reliability determination accuracy can be improved.

また、特定の管理サーバ１０５又は特定の読取装置１０３を用いた認証の結果（認証試行回数、認証成功回数）に基づいて信頼度を判定してもよい。特定の場所における認証回数を用いることによって、通常と異なる行動を検出することができ、信頼度の判定精度を向上させることができる。   Further, the reliability may be determined based on the result of authentication using the specific management server 105 or the specific reading device 103 (number of authentication attempts, number of successful authentications). By using the number of times of authentication at a specific place, an action different from normal can be detected, and the determination accuracy of the reliability can be improved.

さらに、過去の認証結果のうち、認証失敗回数を所定の閾値と比較し、認証失敗回数が多い場合に警報を発報してもよい。   Further, among the past authentication results, the number of authentication failures may be compared with a predetermined threshold, and an alarm may be issued when the number of authentication failures is large.

また、前述した第１の例と第２の例とを併用してもよい。すなわち、類似度を用いた判定と、抽出された画像数を用いた判定とのいずれかで信頼度が低いと判定された場合、成りすまし「有」と判定することができる。また、類似度を用いた判定と、抽出された画像数を用いた判定との両方で信頼度が低いと判定された場合のみ、成りすまし「有」と判定することもできる。   Further, the first example and the second example described above may be used in combination. In other words, if it is determined that the reliability is low in either the determination using the similarity or the determination using the number of extracted images, it can be determined as “spoofed”. Further, only when it is determined that the reliability is low in both the determination using the degree of similarity and the determination using the number of extracted images, it is possible to determine impersonation “present”.

以上説明したように、第２の例では、顔画像データベース３１０から取得した顔画像の数によって認証の信頼度を判定することによって、過去の認証実績を考慮した警報を発報することができる。また、顔画像の類似度を計算しないので、少ない計算量で認証の信頼度を判定することができる。   As described above, in the second example, by determining the authentication reliability based on the number of face images acquired from the face image database 310, it is possible to issue an alarm in consideration of past authentication results. Further, since the similarity of face images is not calculated, the reliability of authentication can be determined with a small amount of calculation.

第３の例は、前述した第１及び第２の例に付加される変形例で、顔画像データベース３１０から取得した顔画像を撮影した日時に従って画像毎に重み付けをする。   The third example is a modification added to the first and second examples described above, and weights each image according to the date and time when the face image acquired from the face image database 310 is captured.

図１０は、信頼度判定処理（Ｓ１０３）の第３の例のフローチャートである。   FIG. 10 is a flowchart of a third example of the reliability determination process (S103).

まず、顔画像検索システム１０６は、ステップＳ１０１において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を取得する（Ｓ１２１）。   First, the face image search system 106 searches the face image database 310 using the card ID acquired in step S101 as a key, and acquires a face image associated with the card ID (S121).

そして、顔画像データベース３１０から抽出された顔画像と、ステップＳ１０２で取得した（すなわち、この認証において撮影された）顔画像との類似度を計算する（Ｓ１２２）。   Then, the degree of similarity between the face image extracted from the face image database 310 and the face image acquired in step S102 (that is, taken in this authentication) is calculated (S122).

その後、顔画像データベース３１０から抽出された顔画像の撮影日時によって、計算された類似度に重み付けをする（Ｓ１２３）。具体的には、顔画像データベース３１０から取得した顔画像の撮影日時と現在日時とを比較し、現在日時から撮影日時を減じた値（経過時間）を所定の基準で区分けして、各顔画像の重みを決定し、決定された係数を計算された類似度に乗じる。例えば、下記のように係数を決定することができる。
現在日時から３０月以内 １．５
３０日から６０日 １．０
６０日以上 ０．５
また、前述のように表を用いずに、所定の計算式によって重み（係数）を決定してもよい。例えば、最近の画像の重みと古い画像の重みとの差が大きくなるように、経過時間の対数値を用いた式によって重みを計算することができる。 Thereafter, the calculated similarity is weighted according to the photographing date and time of the face image extracted from the face image database 310 (S123). Specifically, the shooting date and time of the face image acquired from the face image database 310 are compared with the current date and time, and a value (elapsed time) obtained by subtracting the shooting date and time from the current date and time is divided according to a predetermined criterion, and each face image is obtained. , And multiply the calculated similarity by the determined coefficient. For example, the coefficient can be determined as follows.
Within 30 months from the current date and time 1.5
30 to 60 days 1.0
60 days or more 0.5
Further, as described above, the weight (coefficient) may be determined by a predetermined calculation formula without using a table. For example, the weight can be calculated by an expression using the logarithm of elapsed time so that the difference between the weight of the recent image and the weight of the old image becomes large.

その後、重み付けされた類似度の平均値と所定の閾値とを比較する（Ｓ１２４）。その結果、類似度の平均値が所定の閾値より小さければ、認証の信頼度が高いと判定する（Ｓ１２５）。一方、類似度の平均値が所定の閾値より大きければ、認証の信頼度が低いと判定する（Ｓ１２６）。   Thereafter, the average value of the weighted similarity is compared with a predetermined threshold (S124). As a result, if the average value of the similarities is smaller than a predetermined threshold, it is determined that the authentication reliability is high (S125). On the other hand, if the average value of the similarities is larger than a predetermined threshold, it is determined that the authentication reliability is low (S126).

第３の例においても、前述した第１の例と同様に、類似度の平均値ではなく、様々な統計値を用いて信頼度を判定することができる。   Also in the third example, as in the first example described above, the reliability can be determined using various statistical values instead of the average value of the similarities.

ここまで、前述した第１の例に重み付けを適用した処理について説明したが、前述した第２の例に第３の例の重み付けを適用することもできる。この場合、重み付けの係数の合計値が画像数となり、重み付けの係数の合計値を認証の信頼度の判定に用いることができる。   Up to this point, the processing in which weighting is applied to the above-described first example has been described. However, the weighting of the third example can also be applied to the above-described second example. In this case, the total value of the weighting coefficients becomes the number of images, and the total value of the weighting coefficients can be used for determination of the reliability of authentication.

以上説明したように、第３の例では、新しい画像は信頼度への貢献が高く、古い画像は信頼度への貢献が低くなることから、信頼度の判定精度を向上させることができる。   As described above, in the third example, the new image has a high contribution to the reliability, and the old image has a low contribution to the reliability. Therefore, it is possible to improve the determination accuracy of the reliability.

以上説明したように、第１の実施の形態によると、ユーザの顔画像およびカード情報に基づいて、成りすましを検出することによって、被験者の成りすましを精度よく発報することができる。また、予め登録された顔画像だけでなく、認証時に撮影された顔画像も用いてなりすましを判定することができる。   As described above, according to the first embodiment, impersonation of a subject can be accurately reported by detecting impersonation based on a user's face image and card information. In addition, not only pre-registered face images but also face images taken at the time of authentication can be used to determine impersonation.

＜実施形態２＞
前述した第１の実施の形態では、認証が試みられる毎に被験者の顔画像を撮影し、撮影された顔画像を顔画像データベース３１０に蓄積している。しかし、顔画像データベース３１０に蓄積されている顔画像には類似度が高いものと低いものとが混在している。このように類似度が高い顔画像と、類似度が低い顔画像とが混在することによって、信頼度の判定精度が低下する。そこで、本発明の第２の実施の形態では、認証の試行時に類似度が低い顔画像を顔画像データベース３１０から削除することによって、信頼度の判定精度を向上させる。 <Embodiment 2>
In the first embodiment described above, the face image of the subject is photographed every time authentication is attempted, and the photographed face image is stored in the face image database 310. However, the face images stored in the face image database 310 have both high similarity and low similarity. As described above, the face image having a high similarity and the face image having a low similarity are mixed, so that the reliability determination accuracy is lowered. Therefore, in the second embodiment of the present invention, the reliability determination accuracy is improved by deleting, from the face image database 310, the face image having a low similarity when the authentication is attempted.

具体的には、図７のステップＳ１０３で計算された類似度を所定の閾値（例えば、２０％）と比較し、類似度が低い顔画像のデータを顔画像データベース３１０から削除する。   Specifically, the similarity calculated in step S103 of FIG. 7 is compared with a predetermined threshold (for example, 20%), and face image data with a low similarity is deleted from the face image database 310.

なお、計算された類似度を所定の閾値と比較するのではなく、計算された類似度に統計的処理をし、統計的な検定によって削除する顔画像を選択してもよい。例えば、計算された類似度のヒストグラムを用いて、類似度が平均値−２σ以下の顔画像を削除してもよい。なお、σは標準偏差である。   Instead of comparing the calculated similarity with a predetermined threshold value, the calculated similarity may be statistically processed, and a face image to be deleted may be selected by a statistical test. For example, a face image with a similarity of less than or equal to the average value −2σ may be deleted using a histogram of calculated similarity. Note that σ is a standard deviation.

また、類似度は、通常、同一人の顔画像の比較的狭範囲の集合と、別人の顔画像の集合とに分けられることから、同一人の顔画像の集合における平均値と標準偏差とを用いて、削除する顔画像を選択してもよい。   Also, the similarity is usually divided into a relatively narrow set of face images of the same person and a set of face images of another person, so the average value and standard deviation in the set of face images of the same person are calculated. The face image to be deleted may be selected.

また、類似度ではなく、顔画像データベース３１０から抽出された顔画像の数を所定の閾値とを比較し、当該閾値を超える数の抽出された顔画像データを顔画像データベース３１０から削除してもよい。この場合、類似度が低い順に顔画像データを削除しても、撮影日時が古い順に顔画像データを削除してもよい。   Further, the number of face images extracted from the face image database 310, not the similarity, may be compared with a predetermined threshold, and the number of extracted face image data exceeding the threshold may be deleted from the face image database 310. Good. In this case, face image data may be deleted in ascending order of similarity, or face image data may be deleted in ascending order of shooting date.

なお、第２の実施の形態は、前述した第１の実施の形態だけでなく、後述する第３及び第４の実施の形態にも適用することができる。   Note that the second embodiment can be applied not only to the first embodiment described above but also to third and fourth embodiments described later.

以上説明したように、第２の実施の形態では、認証の試行のタイミングで顔画像データを顔画像データベース３１０から削除するので、このシステムを長期間運用しても、顔画像データベース３１０の容量の増加を抑制することができる。よって、ストレージ装置（磁気ディスク等）の記憶容量が小さい場合でも、顔画像データベース３１０をストレージ装置に格納することができる。また、顔画像データを削除するためのバッチ処理を実行する必要がない。   As described above, in the second embodiment, the face image data is deleted from the face image database 310 at the timing of the authentication attempt. Therefore, even if this system is operated for a long time, the capacity of the face image database 310 is reduced. Increase can be suppressed. Therefore, even when the storage capacity of the storage device (such as a magnetic disk) is small, the face image database 310 can be stored in the storage device. Further, there is no need to execute batch processing for deleting face image data.

＜実施形態３＞
前述した第１の実施の形態では、読取装置１０３が取得したカードＩＤをキーとして顔画像データベース３１０を検索したが、被験者が保持する記憶媒体から読み取ったカードＩＤを用いて顔画像を抽出せずに、認証試行時にカメラ１０２が撮影した顔画像と、顔画像データベース３１０に格納された全ての顔画像とを比較し、両画像の類似度を計算し、認証の信頼性を判定する。 <Embodiment 3>
In the first embodiment described above, the face image database 310 is searched using the card ID acquired by the reading device 103 as a key, but the face image is not extracted using the card ID read from the storage medium held by the subject. In addition, the face image captured by the camera 102 at the time of the authentication trial is compared with all the face images stored in the face image database 310, the similarity between both images is calculated, and the authentication reliability is determined.

本発明の第３の実施の形態のシステムのハードウェアの構成は、前述した第１の実施の形態と同じであり、成りすまし検出処理（図７、図１１）のみが異なる。よって、第１の実施の形態と同じ構成には同じ符号を付し、それらの説明は省略する。   The hardware configuration of the system according to the third embodiment of the present invention is the same as that of the first embodiment described above, and only the impersonation detection process (FIGS. 7 and 11) is different. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

図１１は、第３の実施の形態の成りすまし検出処理の全体を示すフローチャートである。顔画像検索システム１０６のプロセッサが、メモリに格納されたプログラムを実行することによって、図１１に示す成りすまし検出処理が行われる。   FIG. 11 is a flowchart illustrating the entire spoofing detection process according to the third embodiment. The impersonation detection process shown in FIG. 11 is performed by the processor of the face image search system 106 executing the program stored in the memory.

第３の実施の形態では、被験者が保持するカードを読取装置１０３に読み取らせたタイミングで、カメラ１０２が被験者の顔画像を撮影する。すなわち、カメラ１０２は、常時、動画像を撮影し、モーション検出技術を用いてフレーム間の画像の変化を検出し、画像の変化が検出された場合、動画像をキャプチャして静止画像を取得する。なお、カメラ１０２又は読取装置１０３に人感センサ（例えば、赤外線センサ、超音波センサ）を設け、この人感センサが、読取装置１０３の前に被験者が立った（又は、カメラ１０２の撮影範囲に被験者が入った）ことを検出した場合、カメラ１０２が被験者の顔画像を撮影してもよい。   In the third embodiment, the camera 102 captures a face image of the subject at the timing when the reading device 103 reads the card held by the subject. That is, the camera 102 always captures a moving image, detects a change in an image between frames using a motion detection technique, and captures a moving image and acquires a still image when a change in the image is detected. . Note that a human sensor (for example, an infrared sensor or an ultrasonic sensor) is provided in the camera 102 or the reading device 103, and the human sensor is placed in front of the reading device 103 (or in the imaging range of the camera 102). When it is detected that the subject has entered, the camera 102 may take a face image of the subject.

カメラ１０２は、読取装置１０３にカードを読み取らせている被験者の顔を撮影すると、撮影された顔画像を顔画像検索システム１０６に送る。顔画像検索システム１０６は、カメラ１０２が撮影した顔画像を受信することによって、成りすまし検出処理を開始する（Ｓ２０１）。   When the camera 102 captures the face of the subject whose reading device 103 reads the card, the camera 102 sends the captured face image to the face image search system 106. The face image search system 106 receives the face image taken by the camera 102 and starts impersonation detection processing (S201).

読取装置１０３は、当該カードに格納されたカードＩＤを読み取り、読み取ったカードＩＤを管理サーバ１０５を経由して顔画像検索システム１０６に送る。顔画像検索システム１０６は、読取装置１０３が読み取ったカードＩＤを受信する（Ｓ２０２）。   The reading device 103 reads the card ID stored in the card, and sends the read card ID to the face image search system 106 via the management server 105. The face image search system 106 receives the card ID read by the reading device 103 (S202).

次に、顔画像検索システム１０６は、認証の信頼度を判定する（Ｓ２０３）。   Next, the face image search system 106 determines the reliability of authentication (S203).

具体的には、ステップＳ２０１において取得した被験者の顔画像と、顔画像データベース３１０に格納された全ての顔画像とを比較し、顔画像データベース３１０に格納された全ての顔画像の類似度を計算する。画像の類似度は、公知の画像マッチング技術を用いて計算することができる。そして、類似度が高い顔画像を所定数選択する。なお、類似度が高い順に所定数の顔画像を選択してもよく、類似度が所定の閾値より高い顔画像を撮影日時が新しい順に所定数選択してもよい。   Specifically, the face image of the subject acquired in step S201 is compared with all the face images stored in the face image database 310, and the similarity of all the face images stored in the face image database 310 is calculated. To do. Image similarity can be calculated using known image matching techniques. Then, a predetermined number of face images with high similarity are selected. Note that a predetermined number of face images may be selected in descending order of similarity, or a predetermined number of face images having a similarity higher than a predetermined threshold may be selected in ascending order of shooting date.

その後、ステップＳ２０１で取得した顔画像と、ステップＳ２０２において取得したカードＩＤとを、それらの取得時刻と、カメラ１０２及び読取装置１０３の場所に基づいて関連付け、選択された所定数の顔画像に関連付けられるカードＩＤを求める。   Thereafter, the face image acquired in step S201 and the card ID acquired in step S202 are associated based on the acquisition time and the location of the camera 102 and the reading device 103, and associated with the selected predetermined number of face images. To obtain the card ID.

そして、選択された所定数の顔画像に関連付けられたカードＩＤと、この認証時に撮影された顔画像に関連付けられた（すなわち、ステップＳ２０２において取得した）カードＩＤとを比較し、カードＩＤの一致率を求め、この一致率を所定の閾値（例えば、９５％）を比較する。その結果、一致率が高い場合、認証の信頼度は高いと判定し、一致率が低い場合、認証の信頼度は低いと判定する。   Then, the card ID associated with the selected predetermined number of face images is compared with the card ID associated with the face image photographed at the time of authentication (that is, acquired in step S202), and the card ID matches. A rate is obtained, and this matching rate is compared with a predetermined threshold (for example, 95%). As a result, when the matching rate is high, it is determined that the authentication reliability is high. When the matching rate is low, it is determined that the authentication reliability is low.

判定の結果、認証の信頼度が高いと判定された場合、この被験者は他人に成りすましている可能性が低いので、成りすまし検出「無」の場合の表示画面（図２）を端末１０７に出力する（Ｓ２０４）。一方、認証の信頼度が低いと判定された場合、この被験者は他人に成りすましている可能性が高いので、成りすまし検出「有」の場合の表示画面（図３）を端末１０７に出力する（Ｓ２０５）。   As a result of the determination, if it is determined that the authentication reliability is high, the test subject is unlikely to impersonate another person, so the display screen (FIG. 2) for impersonation detection “none” is output to the terminal 107. (S204). On the other hand, if it is determined that the authentication reliability is low, the subject is likely to impersonate another person, and therefore, a display screen (FIG. 3) when impersonation detection is “present” is output to the terminal 107 (S205). ).

その後、終了命令を待って処理を終了するが、終了命令が無ければステップＳ２０１に戻って、顔画像の受信を待つ。   Thereafter, the process ends after waiting for an end command. If there is no end command, the process returns to step S201 to wait for reception of a face image.

なお、第３の実施の形態において、入室者欄２０１には、直近にカメラ１０２が撮影した被験者の顔画像が表示される。また、顔検索結果欄２０３には、顔画像データベース３１０に登録された顔画像のうち、選択された所定数の顔画像が表示される。   Note that in the third embodiment, a face image of the subject most recently captured by the camera 102 is displayed in the room entry column 201. The face search result field 203 displays a predetermined number of face images selected from the face images registered in the face image database 310.

なお、顔画像データベース３１０に格納された全ての顔画像ではなく、認証に成功した場合の顔画像のみを用いてもよい。認証に成功した際に撮影された顔画像のみを用いる（認証に失敗した際に撮影された顔画像を除外する）ことによって、認証に失敗した場合の顔画像が類似度が高い上位になることを避けることができ、信頼度の判定精度を向上させることができる。   Note that not all the face images stored in the face image database 310 but only the face images when the authentication is successful may be used. By using only face images that were taken when authentication was successful (excluding face images that were taken when authentication failed), the face image in the case of authentication failure will be higher in similarity. Can be avoided, and the determination accuracy of the reliability can be improved.

第３の実施の形態に、前述した第１の実施の形態の第３の例で説明した重み付けをしてもよい。この場合、ステップＳ２０３において、計算された画像の類似度に、顔画像の撮影日時が古ければ大きな値となるように重み付けをし、重み付けされた類似度が高い順に所定数の顔画像を選択するとよい。   The weighting described in the third example of the first embodiment described above may be applied to the third embodiment. In this case, in step S203, the calculated image similarity is weighted so that it becomes a large value if the photographing date of the face image is old, and a predetermined number of face images are selected in descending order of the weighted similarity. Good.

第３の実施の形態の成りすまし検出処理（図１１）は、第１の実施の形態のシステムに実装され、前述した成りすまし検出処理（図７）と併存して、又は、前述した成りすまし検出処理（図７）と切り替えて用いることができる。また、第１の実施の形態のシステムに、第３の実施の形態の成りすまし検出処理（図１１）のみを実装したシステムを構築してもよい。   The impersonation detection process (FIG. 11) of the third embodiment is implemented in the system of the first embodiment and coexists with the aforementioned impersonation detection process (FIG. 7) or the aforementioned impersonation detection process (FIG. 11). 7) and can be used. Further, a system in which only the impersonation detection process (FIG. 11) of the third embodiment is mounted on the system of the first embodiment may be constructed.

以上説明したように、第３の実施の形態によると、ユーザの顔画像およびカード情報に基づいて、成りすましを検出することによって、被験者の成りすましを精度よく発報することができる。また、予め登録された顔画像だけでなく、認証時に撮影された顔画像も用いてなりすましを判定することができる。   As described above, according to the third embodiment, impersonation of a subject can be accurately reported by detecting impersonation based on a user's face image and card information. In addition, not only pre-registered face images but also face images taken at the time of authentication can be used to determine impersonation.

＜実施形態４＞
前述した第１及び第３の実施の形態では、読取装置１０３が取得したカードＩＤ及び顔画像の類似度を用いて認証の信頼度を計算した。しかし、ある被験者が特定の読取装置１０３で認証を繰り返している場合、この被験者であることが特定できれば、この被験者についての高い信頼度で認証することができ、カードＩＤによる認証が必要ない場合がある。そこで、本発明の第４の実施の形態では、所定の条件を満たした場合、カードＩＤを用いず、顔画像のみで認証を成功させる。 <Embodiment 4>
In the first and third embodiments described above, the authentication reliability is calculated using the card ID acquired by the reading device 103 and the similarity of the face image. However, when a subject repeats authentication with a specific reading device 103, if the subject can be identified, the subject can be authenticated with a high degree of reliability, and authentication with a card ID may not be required. is there. Therefore, in the fourth embodiment of the present invention, when a predetermined condition is satisfied, authentication is successful only with a face image without using a card ID.

第４の実施の形態のシステムのハードウェアの構成は、前述した第１の実施の形態と同じであり、成りすまし検出の結果によって認証の成否を判定する点と、成りすまし検出処理（図７、図１２）が異なる。よって、第１の実施の形態と同じ構成には同じ符号を付し、それらの説明は省略する。   The hardware configuration of the system of the fourth embodiment is the same as that of the first embodiment described above, and it is determined whether or not the authentication is successful based on the result of impersonation detection, and impersonation detection processing (FIG. 7, FIG. 12) is different. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

第４の実施の形態では、成りすまし検出の結果によって認証の成否を判定するので、顔画像検索システム１０６が認証の成否を判定する。画像検索システム１０６は、認証の成否の判定結果を、管理サーバ１０５に通知する。管理サーバ１０５は、カードＩＤによる認証が試行されていない場合でも、画像検索システム１０６からの認証成功の通知によって、コントローラ１０４に認証成功を通知する。コントローラ１０４は、顔画像検索システム１０６から認証成功の通知を受けると、読取装置が設置されているドアを解錠し、被験者の入退室を許可する。   In the fourth embodiment, since the success or failure of authentication is determined based on the result of impersonation detection, the face image search system 106 determines the success or failure of authentication. The image search system 106 notifies the management server 105 of the determination result of success or failure of authentication. The management server 105 notifies the controller 104 of the authentication success by the notification of the authentication success from the image search system 106 even when the authentication by the card ID is not attempted. When the controller 104 receives a notification of successful authentication from the face image search system 106, the controller 104 unlocks the door where the reading device is installed, and allows the subject to enter and leave the room.

また、後述するように、第４の実施の形態では、カードによる認証を併用してもよいが、カードによる認証を併用しない場合、読取装置１０３を設けなくてもよい。   As will be described later, in the fourth embodiment, authentication using a card may be used together. However, if authentication using a card is not used together, the reading device 103 may not be provided.

図１２は、第４の実施の形態の成りすまし検出処理の全体を示すフローチャートである。顔画像検索システム１０６のプロセッサが、メモリに格納されたプログラムを実行することによって、図１２に示す成りすまし検出処理が行われる。   FIG. 12 is a flowchart illustrating the entire spoofing detection process according to the fourth embodiment. The impersonation detection process shown in FIG. 12 is performed by the processor of the face image search system 106 executing the program stored in the memory.

第４の実施の形態では、被験者がカメラ１０２の撮影範囲に入ったタイミングで、カメラ１０２が被験者の顔画像を撮影する。すなわち、カメラ１０２は、常時、動画像を撮影し、モーション検出技術を用いてフレーム間の画像の変化を検出し、画像の変化が検出された場合、動画像をキャプチャして静止画像を取得する。なお、カメラ１０２又は読取装置１０３に人感センサ（例えば、赤外線センサ、超音波センサ）を設け、この人感センサが、カメラ１０２の撮影範囲に被験者が入った（又は、読取装置１０３の前に被験者が立った）ことを検出した場合、カメラ１０２が被験者の顔画像を撮影してもよい。   In the fourth embodiment, the camera 102 captures the face image of the subject when the subject enters the capturing range of the camera 102. That is, the camera 102 always captures a moving image, detects a change in an image between frames using a motion detection technique, and captures a moving image and acquires a still image when a change in the image is detected. . Note that a human sensor (for example, an infrared sensor or an ultrasonic sensor) is provided in the camera 102 or the reading device 103, and the human sensor has entered the imaging range of the camera 102 (or in front of the reading device 103). When it is detected that the subject has stood), the camera 102 may capture a face image of the subject.

カメラ１０２は、撮影範囲に入った被験者の顔を撮影すると、撮影された顔画像を顔画像検索システム１０６に送る。顔画像検索システム１０６は、カメラ１０２が撮影した顔画像を受信することによって、成りすまし検出処理を開始する（Ｓ３０１）。   When the camera 102 captures the face of the subject within the capturing range, the camera 102 sends the captured face image to the face image search system 106. The face image search system 106 starts impersonation detection processing by receiving a face image taken by the camera 102 (S301).

次に、顔画像検索システム１０６は、図１３に示す処理によって、認証の信頼度を判定する（Ｓ３０２）。   Next, the face image search system 106 determines the reliability of authentication by the process shown in FIG. 13 (S302).

認証の信頼度が高いと判定された場合、この被験者は他人に成りすましている可能性が低いので、認証成功を管理サーバ１０５に通知する（Ｓ３０３）。また、成りすまし検出「無」の場合の表示画面（図２）を端末１０７に出力してもよい。一方、認証の信頼度が低いと判定された場合、この被験者は他人に成りすましている可能性が高いので、認証失敗を管理サーバ１０５に通知する（Ｓ３０４）。また、成りすまし検出「有」の場合の表示画面（図３）を端末１０７に出力してもよい（Ｓ３０４）。   If it is determined that the authentication reliability is high, the subject is unlikely to impersonate another person, so the authentication server 105 is notified of the authentication success (S303). Further, the display screen (FIG. 2) when impersonation detection is “none” may be output to the terminal 107. On the other hand, if it is determined that the authentication reliability is low, the subject is likely to pretend to be another person, and the authentication failure is notified to the management server 105 (S304). Further, the display screen (FIG. 3) in the case of impersonation detection “present” may be output to the terminal 107 (S304).

図１３は、第４の実施の形態の信頼度判定処理（Ｓ３０２）のフローチャートである。   FIG. 13 is a flowchart of reliability determination processing (S302) according to the fourth embodiment.

まず、ステップＳ３０１において取得した被験者の顔画像と、顔画像データベース３１０に格納された全ての顔画像とを比較し、顔画像データベース３１０に格納された全ての顔画像の類似度を計算する（Ｓ３１１）。   First, the face image of the subject acquired in step S301 is compared with all the face images stored in the face image database 310, and the similarity of all the face images stored in the face image database 310 is calculated (S311). ).

そして、計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を選択する（Ｓ３１２）。   Then, a face image having a high similarity is selected by comparing the calculated similarity with a predetermined threshold (S312).

その後、当該顔画像を撮影したカメラ毎に、選択された顔画像を分類する（Ｓ３１３）。なお、カメラ毎に顔画像を分類することなく、ステップＳ３０１で取得した顔画像を撮影したカメラと同一のカメラによって撮影された画像を選択することによって、当該カメラによって撮影された顔画像と、他のカメラによって撮影された顔画像とを分類してもよい。   Thereafter, the selected face image is classified for each camera that has captured the face image (S313). It should be noted that the face image captured by the camera is selected by selecting an image captured by the same camera as the camera that captured the face image acquired in step S301 without classifying the face image for each camera. You may classify | categorize with the face image image | photographed with this camera.

その後、分類された画像の信頼度を計算し（Ｓ３１４）、計算された信頼度を所定の閾値と比較することによって、認証の信頼度を判定する（Ｓ３１５）。この信頼度の判定は、例えば、分類された画像の認証成功時の類似度の和を計算し、計算された類似度を所定の閾値と比較することによって、認証の信頼度を判定する。   Thereafter, the reliability of the classified image is calculated (S314), and the reliability of authentication is determined by comparing the calculated reliability with a predetermined threshold (S315). In this determination of the reliability, for example, the authentication reliability is determined by calculating the sum of the similarities of the classified images when the authentication is successful and comparing the calculated similarity with a predetermined threshold.

また、分類された画像の数を計数し、計数された画像数を所定の閾値と比較し、画像数が大きい場合に認証の信頼度が高いと判定してもよい。分類された画像のうち認証に成功した画像の数を計数し、計数された画像数を所定の閾値と比較し、画像数が大きい場合に認証の信頼度が高いと判定してもよい。   Alternatively, the number of classified images may be counted, and the counted number of images may be compared with a predetermined threshold, and it may be determined that the authentication reliability is high when the number of images is large. The number of images that have been successfully authenticated out of the classified images may be counted, and the counted number of images may be compared with a predetermined threshold value. If the number of images is large, it may be determined that the authentication reliability is high.

また、分類された画像が撮影された際の認証時に計算された類似度と、今回の認証時に計算された類似度とを乗じた値の合計を求め、この合計値を所定の閾値と比較し、合計値が大きい場合に認証の信頼度が高いと判定してもよい。   In addition, a sum of values obtained by multiplying the similarity calculated at the time of authentication when the classified images are taken and the similarity calculated at the time of this authentication is obtained, and this total value is compared with a predetermined threshold value. When the total value is large, it may be determined that the authentication reliability is high.

さらに、類似度や画像数を所定の閾値と比較するのではなく、画像を撮影したカメラ毎にこれらの値（類似度、画像数）を比較し、全部の中で当該カメラの占める割合が大きい場合に認証の信頼度が高いと判定してもよい。また、画像を撮影したカメラ毎にこれらの値（類似度、画像数）を比較し、１位となる当該カメラの占める割合と、２位となるカメラの占める割合との比が大きい場合に認証の信頼度が高いと判定してもよい。   Furthermore, instead of comparing the degree of similarity and the number of images with a predetermined threshold, these values (similarity and the number of images) are compared for each camera that has taken an image, and the ratio of the camera in the whole is large. In this case, it may be determined that the authentication reliability is high. In addition, these values (similarity and number of images) are compared for each camera that has taken an image, and authentication is performed when the ratio of the first camera to the second camera is large. It may be determined that the reliability of is high.

そして、信頼度が所定の閾値より大きければ、信頼度が高いと判断し（Ｓ３１６）、信頼度が所定の閾値より小さければ、信頼度が低いと判断する（Ｓ３１７）。   If the reliability is greater than a predetermined threshold, it is determined that the reliability is high (S316), and if the reliability is lower than the predetermined threshold, it is determined that the reliability is low (S317).

第４の実施の形態において、被験者によるカードの提示を受け付け、カードＩＤ、暗証番号及び顔画像の３要素のうち二つが一致した場合、認証を成功させてもよい。   In the fourth embodiment, the presentation of the card by the subject may be accepted, and if two of the three elements of the card ID, the personal identification number, and the face image match, the authentication may be successful.

第４の実施の形態の成りすまし検出処理（図１２）は、第１又は第３の実施の形態のシステムに実装され、前述した成りすまし検出処理（図７又は図１１）と併存して、又は、前述した成りすまし検出処理（図７又は図１１）と切り替えて用いることができる。また、第１の実施の形態のシステムに、第４の実施の形態の成りすまし検出処理（図１２）のみを実装したシステムを構築してもよい。   The impersonation detection process (FIG. 12) of the fourth embodiment is implemented in the system of the first or third embodiment and coexists with the aforementioned impersonation detection process (FIG. 7 or FIG. 11), or It can be used by switching to the above-described impersonation detection process (FIG. 7 or FIG. 11). In addition, a system in which only the impersonation detection process (FIG. 12) of the fourth embodiment is mounted on the system of the first embodiment may be constructed.

以上説明したように、第４の実施の形態によると、被験者が頻繁に認証を試みる場所に設置されたカメラが撮影した顔画像によって、カードを使用せずに認証が可能になる。   As described above, according to the fourth embodiment, authentication can be performed without using a card by a face image taken by a camera installed at a place where a subject frequently attempts authentication.

１０２ カメラ
１０３ 読取装置
１０４ コントローラ
１０５ 管理サーバ
１０６ 顔画像検索システム
１０７ 端末 102 Camera 103 Reading Device 104 Controller 105 Management Server 106 Face Image Search System 107 Terminal

Claims (19)

被験者が所持する識別手段に付与された識別情報を取得する読取装置と、
前記読取装置によって取得された識別情報を認証する認証装置と、を備える認証システムであって、
被験者の顔画像を撮影するカメラと、
警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を備え、
前記管理装置は、
前記読取装置又は前記カメラが前記認証時に取得した情報を用いて、前記画像データベースを検索し、
検索された画像を解析した結果に基づいて、前記認証の信頼度を判定し、
前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信することを特徴とする認証システム。 A reader for acquiring identification information given to the identification means possessed by the subject;
An authentication system that authenticates the identification information acquired by the reading device,
A camera that captures the subject's face image;
A management device connected to a terminal that issues an alarm and having an image database for storing images taken by the camera;
The management device
Search the image database using the information acquired by the reading device or the camera at the time of authentication,
Based on the result of analyzing the searched image, the reliability of the authentication is determined,
When it is determined that the authentication reliability is low, data for issuing an alarm is transmitted to the terminal. 前記カメラは、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影し、
前記管理装置は、
前記読取装置が取得した識別情報をキーとして、前記画像データベースを検索し、
当該識別情報と前記画像に関連付けられた識別情報とが一致する少なくとも一つの画像を抽出し、
前記第１の顔画像と前記抽出された画像との類似度を計算し、
前記計算された類似度の平均と所定の閾値とを比較し、
前記比較の結果、前記計算された類似度が低いと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項１に記載の認証システム。 The camera captures a first face image of a subject at a timing when the reader acquires the identification information,
The management device
Using the identification information acquired by the reader as a key, search the image database,
Extracting at least one image in which the identification information and the identification information associated with the image match,
Calculating a similarity between the first face image and the extracted image;
Comparing the calculated average similarity with a predetermined threshold;
The authentication system according to claim 1, wherein if the calculated similarity is determined to be low as a result of the comparison, it is determined that the reliability of the authentication is low. 前記管理装置は、
前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをし、
前記重み付けされた類似度の平均と所定の閾値とを比較し、
前記比較の結果、前記類似度が低いと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項２に記載の認証システム。 The management device
The calculated image similarity is weighted to a large value if the image capturing date / time of the image is new,
Comparing the weighted similarity average with a predetermined threshold;
The authentication system according to claim 2, wherein if the similarity is determined to be low as a result of the comparison, the authentication reliability is determined to be low. 前記カメラは、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影し、
前記管理装置は、
前記読取装置又は前記カメラが前記認証時に取得した情報を用いて、前記画像データベースを検索して、少なくとも一つの画像を抽出し、
前記第１の顔画像と前記抽出された画像との類似度を計算し、
前記計算された類似度と所定の閾値とを比較し、
前記比較の結果、類似度が低いと判定された画像を前記画像データベースから削除することを特徴とする請求項１に記載の認証システム。 The camera captures a first face image of a subject at a timing when the reader acquires the identification information,
The management device
Using the information acquired at the time of authentication by the reading device or the camera, search the image database to extract at least one image,
Calculating a similarity between the first face image and the extracted image;
Comparing the calculated similarity with a predetermined threshold;
The authentication system according to claim 1, wherein an image determined to have a low similarity as a result of the comparison is deleted from the image database. 前記管理装置は、
前記読取装置が取得した識別情報をキーとして、前記画像データベースを検索し、
当該識別情報と前記画像に関連付けられた識別情報とが同一である画像を計数し、
前記計数された画像数と所定の閾値とを比較し、
前記比較の結果、前記画像数が少ないと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項１に記載の認証システム。 The management device
Using the identification information acquired by the reader as a key, search the image database,
Count the images where the identification information and the identification information associated with the image are the same,
Comparing the counted number of images with a predetermined threshold;
The authentication system according to claim 1, wherein if it is determined that the number of images is small as a result of the comparison, the authentication reliability is determined to be low. 前記管理装置は、
前記関連付けられた識別情報が一致する画像の数に、その撮影日時が新しければ大きな値となる重み付けをし、
前記重み付けされた値の和を求めることによって、当該識別情報が一致する画像を計数することを特徴とする請求項５に記載の認証システム。 The management device
The number of images with which the associated identification information matches is weighted to a large value if the shooting date is new,
6. The authentication system according to claim 5, wherein an image having the same identification information is counted by obtaining a sum of the weighted values. 前記カメラは、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影し、
前記管理装置は、
前記第１の顔画像を用いて前記画像データベースを検索し、
前記画像データベースに蓄積された画像と前記第１の顔画像との類似度を計算し、
前記類似度が高い順に所定数の画像を前記画像データベースから抽出し、
前記抽出された各画像と関連付けられた識別情報と、前記第１の画像の撮影時に取得した第１の識別情報とが同一である前記抽出された画像の数を所定の条件に従って判定し、
前記計数された画像の数が小さいと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項１に記載の認証システム。 The camera captures a first face image of a subject at a timing when the reader acquires the identification information,
The management device
Searching the image database using the first face image;
Calculating the similarity between the image stored in the image database and the first face image;
Extracting a predetermined number of images from the image database in descending order of similarity;
Determining the number of extracted images in which the identification information associated with each extracted image is the same as the first identification information acquired at the time of shooting the first image according to a predetermined condition;
The authentication system according to claim 1, wherein when it is determined that the counted number of images is small, the authentication reliability is determined to be low. 前記管理装置は、
前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをし、
前記重み付けされた類似度が高い順に所定数の画像を抽出することを特徴とする請求項７に記載の認証システム。 The management device
The calculated image similarity is weighted to a large value if the image capturing date / time of the image is new,
The authentication system according to claim 7, wherein a predetermined number of images are extracted in descending order of the weighted similarity. 前記カメラは、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影し、
前記管理装置は、
前記第１の顔画像を用いて前記画像データベースを検索し、
前記画像データベースに蓄積された画像と前記第１の顔画像との類似度を計算し、
前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
前記抽出された画像を解析した結果、当該抽出された画像が前記被験者の画像であると判定された場合、当該被験者を認証することを特徴とする請求項１に記載の認証システム。 The camera captures a first face image of a subject at a timing when the reader acquires the identification information,
The management device
Searching the image database using the first face image;
Calculating the similarity between the image stored in the image database and the first face image;
Extracting a face image having a high similarity from the image database by comparing the calculated similarity with a predetermined threshold;
2. The authentication system according to claim 1, wherein, as a result of analyzing the extracted image, if the extracted image is determined to be the image of the subject, the subject is authenticated. 前記カメラは、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影し、
前記管理装置は、
前記第１の顔画像を用いて前記画像データベースを検索し、
前記画像データベースに蓄積された画像と前記第１の顔画像との類似度を計算し、
前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
前記抽出された画像を、該画像を撮影したカメラ毎に分類し、
前記分類された画像を解析した結果、当該カメラの位置で当該被験者が多数回の認証をしていると判定された場合、当該被験者を認証することを特徴とする請求項１に記載の認証システム。 The camera captures a first face image of a subject at a timing when the reader acquires the identification information,
The management device
Searching the image database using the first face image;
Calculating the similarity between the image stored in the image database and the first face image;
Extracting a face image having a high similarity from the image database by comparing the calculated similarity with a predetermined threshold;
The extracted images are classified for each camera that captured the images,
2. The authentication system according to claim 1, wherein, as a result of analyzing the classified image, the subject is authenticated when it is determined that the subject has made multiple authentications at the position of the camera. . 被験者が所持する識別手段に付与された識別情報を取得する読取装置と、
前記読取装置によって取得された識別情報を認証する認証装置と、を備える認証システムにおける認証の信頼度を判定する方法であって、
前記認証システムは、被験者の顔画像を撮影するカメラと、警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を含み、
前記方法は、
前記管理装置が、前記読取装置又は前記カメラが前記認証時に取得した情報を用いて、前記画像データベースを検索するステップと、
前記管理装置が、検索された画像を解析した結果に基づいて、前記認証の信頼度を判定するステップと、
前記管理装置が、前記認証の信頼度が低いと判定した場合、警報を発するためのデータを前記端末に送信するステップとを含む認証の信頼度の判定方法。 A reader for acquiring identification information given to the identification means possessed by the subject;
A method for determining the reliability of authentication in an authentication system comprising: an authentication device that authenticates identification information acquired by the reading device;
The authentication system includes a camera that captures a face image of a subject, and a management device that has an image database that is connected to a terminal that issues an alarm and stores images captured by the camera.
The method
The management device searches the image database using information acquired by the reading device or the camera during the authentication;
The management device determines the reliability of the authentication based on a result of analyzing the searched image;
And a step of transmitting authentication data to the terminal when the management device determines that the reliability of the authentication is low. 前記方法は、前記カメラが、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影するステップを含み、
前記画像データベースを検索するステップでは、前記管理装置が、前記読取装置が取得した識別情報をキーとして前記画像データベースを検索し、当該識別情報と前記画像に関連付けられた識別情報とが一致する少なくとも一つの画像を選択し、
前記信頼度を判定するステップでは、前記管理装置が、前記第１の顔画像と前記選択された画像との類似度を計算し、前記計算された類似度の平均と所定の閾値とを比較し、前記計算された類似度が低いと判定した場合、前記認証の信頼度が低いと判定することを特徴とする請求項１１に記載の認証の信頼度の判定方法。 The method includes a step in which the camera captures a first face image of a subject at a timing when the reader acquires the identification information;
In the step of searching the image database, the management device searches the image database using the identification information acquired by the reading device as a key, and at least one of the identification information and the identification information associated with the image matches. Select one image,
In the step of determining the reliability, the management device calculates a similarity between the first face image and the selected image, and compares the calculated average of the similarity with a predetermined threshold value. 12. The authentication reliability determination method according to claim 11, wherein if it is determined that the calculated similarity is low, the authentication reliability is determined to be low. 前記方法は、前記管理装置が、前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをするステップを含み、
前記信頼度を判定するステップでは、前記管理装置が、前記重み付けされた類似度の平均と所定の閾値とを比較し、前記類似度が低いと判定した場合、前記認証の信頼度が低いと判定することを特徴とする請求項１２に記載の認証の信頼度の判定方法。 The method includes a step in which the management device weights the calculated image similarity to a large value if the shooting date of the image is new,
In the step of determining the reliability, the management device compares the weighted similarity average with a predetermined threshold, and determines that the authentication reliability is low when the similarity is determined to be low. The authentication reliability determination method according to claim 12, wherein: 前記方法は、
前記カメラが、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影するステップと、
前記管理装置が、前記読取装置又は前記カメラが前記認証時に取得した情報を用いて、前記画像データベースを検索して、少なくとも一つの画像を抽出するステップと、
前記管理装置が、前記第１の顔画像と前記抽出された画像との類似度を計算するステップと、
前記管理装置が、前記計算された類似度と所定の閾値とを比較するステップと、
前記管理装置が、類似度が低いと判定した画像を前記画像データベースから削除するステップとを含む請求項１１に記載の認証の信頼度の判定方法。 The method
The camera captures a first face image of a subject at a timing when the reader acquires the identification information;
The management device searches the image database using the information acquired by the reading device or the camera during the authentication, and extracts at least one image;
The management device calculating a similarity between the first face image and the extracted image;
The management device comparing the calculated similarity with a predetermined threshold;
The authentication management degree determination method according to claim 11, further comprising: deleting, from the image database, an image that the management device has determined to have low similarity. 前記方法は、
前記画像データベースを検索するステップでは、前記管理装置が、前記読取装置が取得した識別情報をキーとして前記画像データベースを検索し、当該識別情報と前記画像に関連付けられた識別情報とが同一である画像を計数し、
前記信頼度を判定するステップでは、前記管理装置が、前記計数された画像数と所定の閾値とを比較し、前記画像数が少ないと判定した場合、前記認証の信頼度が低いと判定することを特徴とする請求項１１に記載の認証の信頼度の判定方法。 The method
In the step of searching the image database, the management device searches the image database using the identification information acquired by the reading device as a key, and the identification information and the identification information associated with the image are the same Count
In the step of determining the reliability, when the management device compares the counted number of images with a predetermined threshold and determines that the number of images is small, it determines that the authentication reliability is low. The method for determining the reliability of authentication according to claim 11. 前記方法は、前記管理装置が、前記関連付けられた識別情報が一致する画像の数に、その撮影日時が新しければ大きな値となる重み付けをするステップを含み、
前記信頼度を判定するステップでは、前記管理装置が、前記重み付けされた値の和を求めることによって、当該識別情報が一致する画像を計数することを特徴とする請求項１５に記載の認証の信頼度の判定方法。 The method includes a step in which the management device weights the number of images for which the associated identification information matches with a larger value if the shooting date / time is newer.
The authentication trust according to claim 15, wherein in the step of determining the reliability, the management device counts images having the same identification information by obtaining a sum of the weighted values. Degree determination method. 前記方法は、前記カメラが、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影するステップを含み、
前記画像データベースを検索するステップでは、前記管理装置が、前記第１の顔画像を用いて前記画像データベースを検索し、前記画像データベースに蓄積された画像と前記第１の顔画像との類似度を計算し、前記類似度が高い順に所定数の画像を前記画像データベースから抽出し、
前記信頼度を判定するステップでは、前記管理装置が、前記抽出された各画像と関連付けられた識別情報と、前記第１の画像の撮影時に取得した第１の識別情報とが同一である前記抽出された画像の数を所定の条件に従って判定し、前記計数された画像の数が小さいと判定した場合、前記認証の信頼度が低いと判定することを特徴とする請求項１１に記載の認証の信頼度の判定方法。 The method includes a step in which the camera captures a first face image of a subject at a timing when the reader acquires the identification information;
In the step of searching the image database, the management device searches the image database using the first face image, and determines the similarity between the image stored in the image database and the first face image. Calculating and extracting a predetermined number of images from the image database in descending order of similarity,
In the step of determining the degree of reliability, the extraction information in which the management device is associated with each of the extracted images and the first identification information acquired at the time of shooting the first image are the same. 12. The authentication according to claim 11, wherein the number of images determined is determined according to a predetermined condition, and when the number of counted images is determined to be small, it is determined that the authentication reliability is low. A method for determining reliability. 前記方法は、前記管理装置が、前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをするステップを含み、
前記信頼度を判定するステップでは、前記管理装置が、前記重み付けされた類似度が高い順に所定数の画像を抽出することを特徴とする請求項１７に記載の認証の信頼度の判定方法。 The method includes a step in which the management device weights the calculated image similarity to a large value if the shooting date of the image is new,
18. The authentication reliability determination method according to claim 17, wherein in the step of determining the reliability, the management device extracts a predetermined number of images in descending order of the weighted similarity. 前記方法は、前記カメラが、前記読取装置が前記識別情報を取得したタイミングで被験者の第１の顔画像を撮影するステップを含み、
前記画像データベースを検索するステップでは、前記管理装置が、前記第１の顔画像を用いて前記画像データベースを検索し、前記画像データベースに蓄積された画像と前記第１の顔画像との類似度を計算し、前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
さらに、前記方法は、
前記管理装置が、前記抽出された画像を、該画像を撮影したカメラ毎に分類するステップと、
前記管理装置が、前記分類された画像を解析した結果、当該カメラの位置で当該被験者が多数回の認証をしていると判定した場合、当該被験者を認証するステップとを含む請求項１１に記載の認証の信頼度の判定方法。 The method includes a step in which the camera captures a first face image of a subject at a timing when the reader acquires the identification information;
In the step of searching the image database, the management device searches the image database using the first face image, and determines the similarity between the image stored in the image database and the first face image. Calculating and extracting a face image having a high similarity from the image database by comparing the calculated similarity with a predetermined threshold;
Furthermore, the method comprises:
The management device classifying the extracted image for each camera that has captured the image;
The management device includes a step of authenticating the subject when it is determined that the subject has been authenticated many times at the position of the camera as a result of analyzing the classified images. To determine the reliability of authentication.