JP7429885B2 - Facial recognition system and method - Google Patents
Facial recognition system and method Download PDFInfo
- Publication number
- JP7429885B2 JP7429885B2 JP2022173515A JP2022173515A JP7429885B2 JP 7429885 B2 JP7429885 B2 JP 7429885B2 JP 2022173515 A JP2022173515 A JP 2022173515A JP 2022173515 A JP2022173515 A JP 2022173515A JP 7429885 B2 JP7429885 B2 JP 7429885B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- matching
- authentication
- server
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims description 304
- 238000000034 method Methods 0.000 title claims description 202
- 238000012795 verification Methods 0.000 claims description 221
- 238000012545 processing Methods 0.000 claims description 191
- 230000008569 process Effects 0.000 claims description 159
- 230000004044 response Effects 0.000 claims description 87
- 238000012217 deletion Methods 0.000 description 125
- 230000037430 deletion Effects 0.000 description 125
- 238000010586 diagram Methods 0.000 description 114
- 238000000605 extraction Methods 0.000 description 72
- 230000006870 function Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 19
- 238000012544 monitoring process Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000004913 activation Effects 0.000 description 12
- 230000001629 suppression Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000009849 deactivation Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
本発明は、対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムおよび顔認証方法に関するものである。 The present invention relates to a face authentication system and a face authentication method that perform face authentication processing based on image data obtained by photographing a subject.
従来より、顔照合に関する技術として、少なくとも特徴量抽出手段、登録者特徴量記憶手段、および照合手段を第１の装置で構成し、登録者顔画像記憶手段を、第１の装置よりもセキュリティレベルの高い場所に保管される第２の装置で構成し、第１の装置が、登録者の顔画像を利用する必要が生じた場合に、第２の装置との間にデータ通信路を構築し、該データ通信路を通じて第２の装置から登録者の顔画像を取得し、登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用し、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することを可能にしたものが知られている（特許文献１参照）。 Conventionally, as a technology related to face matching, at least a feature extracting means, a registrant feature storing means, and a matching means are configured in a first device, and the registrant face image storing means has a security level higher than that of the first device. The system consists of a second device that is stored in a high place, and when the first device needs to use the facial image of the registrant, it establishes a data communication path with the second device. , the facial image of the registrant is acquired from the second device through the data communication path, and the facial image data of the registrant is used on the work memory without being stored in a non-volatile recording medium, and the face verification system A device is known that makes it possible to protect a registrant's facial image as much as possible even if it is stolen or attacked (see Patent Document 1).
さて、従来の技術は、撮像手段と全ての登録者の顔特徴量データを有し、顔照合処理を実行する顔認証機がフィジカル空間に設置され、登録者の顔画像データが画像サーバなどのサイバー空間で管理されるものである。そのため、認証サーバを設ける構成、すなわち、特徴量データと顔画像データの両方のデータをクラウドサーバなどに置いて、サービス提供者が顔認証機能を安定かつ効率的に運用する仕組みについては、何ら配慮されていない。 Now, in the conventional technology, a face authentication machine that has an imaging means and facial feature data of all registrants and executes face matching processing is installed in a physical space, and the facial image data of the registrants is sent to an image server, etc. It is managed in cyberspace. Therefore, no consideration should be given to a configuration in which an authentication server is provided, that is, a system in which both feature data and facial image data are placed on a cloud server, etc., so that the service provider can stably and efficiently operate the facial recognition function. It has not been.
そこで、本発明は、顔認証サービスの提供者ごとに顔認証機能を安定かつ効率的に運用することができる顔認証システムおよび顔認証方法を提供することを主な目的とする。 Therefore, the main object of the present invention is to provide a face authentication system and a face authentication method that can stably and efficiently operate a face authentication function for each face authentication service provider.
本発明の顔認証システムは、顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムであって、複数の顔認証機と、この顔認証機とネットワークを介して接続されるサーバ装置と、を有し、前記顔認証機は、次々に現れる前記対象者を撮影するカメラと、このカメラの撮影により取得した前記対象者の顔画像データ、当該顔認証機の照合グループ、照合条件を含む顔照合要求を前記サーバ装置へ送信する顔照合要求部と、前記サーバ装置から前記対象者の認証結果を受信する認証結果受信部と、を備え、前記サーバ装置は、前記顔認証機から送信された前記対象者の前記顔照合要求を受信する要求受信部と、前記対象者の顔画像データから前記対象者の顔特徴量データの生成処理を実行する顔特徴量生成部と、前記対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を前記照合グループ単位に実行する顔特徴量照合部と、この顔特徴量照合部の前記照合処理による前記対象者の認証結果を含む顔照合応答を前記顔認証機に送信する認証結果送信部と、を備え、前記顔認証機は、前記顔照合要求に含まれる前記照合条件として、照合スコアに関する閾値を指示し、前記サーバ装置は、前記対象者の認証結果が成功の場合、前記閾値以上となる前記照合スコアを含めて前記顔照合応答を前記顔認証機に送信する構成とする。 The face recognition system of the present invention is a face recognition system that executes face recognition processing based on image data of a person to be face recognized. and a server device connected thereto, and the face authentication device has a camera that photographs the target person who appears one after another , and collates the face image data of the target person acquired by the camera and the face recognition device. a face matching request unit that transmits a face matching request including a group and matching conditions to the server device , and an authentication result receiving unit that receives an authentication result of the subject from the server device, the server device a request receiving unit that receives the face matching request of the target person transmitted from a face authentication device; and a facial feature generation unit that executes a process of generating facial feature data of the target person from facial image data of the target person. a facial feature matching unit that performs matching processing between the target person's facial feature data and the registrant's facial feature data for each matching group ; an authentication result transmitting unit that transmits a face matching response including an authentication result of a person to the face authentication device , the face authentication device instructing a threshold value regarding a matching score as the matching condition included in the face matching request. The server device is configured to transmit the face matching response including the matching score that is equal to or higher than the threshold value to the face authentication device when the authentication result of the target person is successful.
また、本発明の顔認証方法は、顔認証の対象者を撮影した画像データに基づいて顔認証処理を顔認証機およびサーバ装置により実行する顔認証方法であって、前記サーバ装置にネットワークを介して接続される複数の前記顔認証機のプロセッサは、カメラにより次々に現れる前記対象者を撮影し、そのカメラの撮影により取得した前記対象者の顔画像データ、当該顔認証機の照合グループ、照合条件を含む顔照合要求を前記サーバ装置へ送信し、前記サーバ装置から前記対象者の認証結果を受信し、前記サーバ装置のプロセッサは、前記顔認証機から前記対象者の前記顔照合要求を受信し、前記対象者の顔画像データから前記対象者の顔特徴量データの生成処理を実行し、前記対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を前記照合グループ単位に実行し、ここで取得した前記対象者の認証結果を含む顔照合応答を前記顔認証機に送信し、さらに、前記顔認証機のプロセッサは、前記顔照合要求に含まれる前記照合条件として、照合スコアに関する閾値を指示し、前記サーバ装置のプロセッサは、前記対象者の認証結果が成功の場合、前記閾値以上となる前記照合スコアを含めて前記顔照合応答を前記顔認証機に送信する構成とする。 Further, the face authentication method of the present invention is a face authentication method in which a face authentication process is executed by a face authentication machine and a server device based on image data obtained by photographing a person to be subjected to face authentication, and the face authentication method is a face authentication method in which a face authentication process is executed by a face authentication machine and a server device, and the face authentication process is performed by a face authentication machine and a server device. The processors of the plurality of face recognition machines connected to each other are configured to take pictures of the target person who appears one after another with a camera, and to process the face image data of the target person obtained by taking pictures with the camera, the matching group of the face recognition machine, and the matching. transmitting a face matching request including conditions to the server device , receiving an authentication result of the target person from the server device, and a processor of the server device receiving the face matching request of the target person from the face authentication device; Then, a process of generating facial feature data of the target person from the facial image data of the target person is performed, and a process of matching the facial feature data of the target person and facial feature data of the registrant is performed for each matching group. and transmits a face matching response including the obtained authentication result of the subject to the face authentication device, and further, the processor of the face authentication device executes the following steps as the matching conditions included in the face matching request: A configuration in which the processor of the server device instructs a threshold value regarding the matching score, and when the authentication result of the subject person is successful, transmits the face matching response including the matching score that is equal to or higher than the threshold value to the face authentication machine. shall be.
本発明によれば、顔認証時に、サーバ装置に対し、カメラの撮影により取得した対象者の顔画像データ、顔認証機の照合グループ、照合条件を含む顔照合要求を送信して、照合グループ単位に顔照合処理を実行させるともに、照合条件として、照合スコアに関する閾値を指示し、認証結果が成功の場合、閾値以上となる照合スコアを含めて顔照合応答を顔認証機に送信することができる。これにより、顔認証サービスの提供者ごとに顔認証機能を安定かつ効率的に運用することができる。 According to the present invention, at the time of face authentication , a face matching request including facial image data of a target person obtained by photographing with a camera, a matching group of a face authentication device, and matching conditions is sent to the server device, and In addition to executing the face matching process, it is possible to specify a threshold value regarding the matching score as a matching condition, and if the authentication result is successful, a face matching response including the matching score that is equal to or higher than the threshold value can be sent to the face recognition machine. . This allows each facial recognition service provider to stably and efficiently operate the facial recognition function.
前記課題を解決するためになされた第１の発明は、顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムであって、複数の顔認証機と、この顔認証機とネットワークを介して接続されるサーバ装置と、を有し、前記顔認証機は、次々に現れる前記対象者を撮影するカメラと、このカメラの撮影により取得した前記対象者の顔画像データ、当該顔認証機の照合グループ、照合条件を含む顔照合要求を前記サーバ装置へ送信する顔照合要求部と、前記サーバ装置から前記対象者の認証結果を受信する認証結果受信部と、を備え、前記サーバ装置は、前記顔認証機から送信された前記対象者の前記顔照合要求を受信する要求受信部と、前記対象者の顔画像データから前記対象者の顔特徴量データの生成処理を実行する顔特徴量生成部と、前記対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を前記照合グループ単位に実行する顔特徴量照合部と、この顔特徴量照合部の前記照合処理による前記対象者の認証結果を含む顔照合応答を前記顔認証機に送信する認証結果送信部と、を備え、前記顔認証機は、前記顔照合要求に含まれる前記照合条件として、照合スコアに関する閾値を指示し、前記サーバ装置は、前記対象者の認証結果が成功の場合、前記閾値以上となる前記照合スコアを含めて前記顔照合応答を前記顔認証機に送信する構成とする。 A first invention made in order to solve the above problem is a face recognition system that executes face recognition processing based on image data of a person to be face recognized. It has an authentication device and a server device connected via a network, and the face authentication device includes a camera that photographs the target person who appears one after another , and facial image data of the target person acquired through photography by this camera. , comprising a face matching request unit that transmits a face matching request including a matching group and matching conditions of the face authentication device to the server device, and an authentication result receiving unit that receives the authentication result of the subject from the server device. , the server device includes a request receiving unit that receives the face verification request of the target person transmitted from the face authentication device, and a process of generating facial feature amount data of the target person from facial image data of the target person. a facial feature quantity generation unit that executes a process, a facial feature quantity matching unit that executes a matching process between the target person's facial feature quantity data and the registrant's facial feature quantity data for each of the matching groups , and this facial feature quantity matching unit. an authentication result transmitting unit that transmits a face matching response including an authentication result of the subject person by the matching process to the face authentication machine, and the face authentication machine is configured to perform the matching condition as the matching condition included in the face matching request. , a threshold value regarding the matching score is specified, and the server device transmits the face matching response including the matching score that is equal to or higher than the threshold value to the face authentication device when the authentication result of the subject person is successful. do.
これによると、顔認証時に、サーバ装置に対し、カメラの撮影により取得した対象者の顔画像データ、顔認証機の照合グループ、照合条件を含む顔照合要求を送信して、照合グループ単位に顔照合処理を実行させるともに、照合条件として、照合スコアに関する閾値を指示し、認証結果が成功の場合、閾値以上となる照合スコアを含めて顔照合応答を顔認証機に送信することができる。これにより、顔認証サービスの提供者ごとに顔認証機能を安定かつ効率的に運用することができる。 According to this, when performing face recognition, a face matching request including facial image data of the subject obtained through camera photography, matching groups of the face recognition device, and matching conditions is sent to the server device, and the face is identified in matching groups. While executing the matching process, it is possible to specify a threshold regarding the matching score as a matching condition, and if the authentication result is successful, a face matching response including the matching score equal to or higher than the threshold can be sent to the face authentication machine . This allows each facial recognition service provider to stably and efficiently operate the facial recognition function.
また、第２の発明は、前記サーバ装置は、前記照合処理で取得した認証結果および照合スコアを含む顔認証の履歴情報を管理する認証履歴管理部を備える構成とする。 In a second aspect of the present invention, the server device includes an authentication history management section that manages history information of face authentication including the authentication results and matching scores obtained in the matching process .
これによると、顔認証機から取得した対象者の顔画像に対する認証結果に関する認証ログを管理することができる。 According to this, it is possible to manage the authentication log regarding the authentication results for the target person's face image acquired from the face authentication device.
また、第３の発明は、前記サーバ装置は、前記顔認証機に対応した前記照合グループごとに複数の前記顔特徴量照合部を有する構成とする。 Further, in a third aspect of the present invention, the server device has a plurality of facial feature value matching units for each of the matching groups corresponding to the face authentication devices.
これによると、照合グループが一致する顔特徴量照合部に対して、照合処理の条件を指定することができる。 According to this, it is possible to specify the conditions for the matching process to the facial feature amount matching unit with matching matching groups.
また、第４の発明は、顔認証の対象者を撮影した画像データに基づいて顔認証処理を顔認証機およびサーバ装置により実行する顔認証方法であって、前記サーバ装置にネットワークを介して接続される複数の前記顔認証機のプロセッサは、カメラにより次々に現れる前記対象者を撮影し、そのカメラの撮影により取得した前記対象者の顔画像データ、当該顔認証機の照合グループ、照合条件を含む顔照合要求を前記サーバ装置へ送信し、前記サーバ装置から前記対象者の認証結果を受信し、前記サーバ装置のプロセッサは、前記顔認証機から前記対象者の前記顔照合要求を受信し、前記対象者の顔画像データから前記対象者の顔特徴量データの生成処理を実行し、前記対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を前記照合グループ単位に実行し、ここで取得した前記対象者の認証結果を含む顔照合応答を前記顔認証機に送信し、さらに、前記顔認証機のプロセッサは、前記顔照合要求に含まれる前記照合条件として、照合スコアに関する閾値を指示し、前記サーバ装置のプロセッサは、前記対象者の認証結果が成功の場合、前記閾値以上となる前記照合スコアを含めて前記顔照合応答を前記顔認証機に送信する構成とする
Further, a fourth invention is a face authentication method in which a face authentication machine and a server device perform face authentication processing based on image data of a photographed person of a person to be facial authenticated, the method being connected to the server device via a network. The processors of the plurality of face recognition devices photograph the target person who appears one after another with a camera, and process the face image data of the target person obtained by the camera photography, the matching group of the face recognition device, and the matching conditions. transmitting a face matching request including a face matching request to the server device , receiving an authentication result of the subject from the server device, a processor of the server device receiving the face matching request of the subject from the face authentication machine, Performing a process of generating facial feature data of the target person from facial image data of the target person, and performing a process of matching the facial feature data of the target person and facial feature data of the registrant for each of the matching groups. Then, a face matching response including the acquired authentication result of the target person is transmitted to the face authentication machine, and further, the processor of the face authentication machine includes a matching score as the matching condition included in the face matching request. and the processor of the server device is configured to transmit the face matching response including the matching score that is equal to or higher than the threshold value to the face authentication machine if the authentication result of the subject is successful.
これによると、第１の発明と同様に、顔認証サービスの提供者ごとに顔認証機能を安定かつ効率的に運用することができる。 According to this, similarly to the first invention, the face authentication function can be operated stably and efficiently for each provider of face authentication service.
以下、本発明の実施の形態を、図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１は、本実施形態に係る顔認証システムの全体構成図である。 FIG. 1 is an overall configuration diagram of a face authentication system according to this embodiment.
この顔認証システムは、顔認証機１と、管理端末２（端末装置、顔認証管理装置）と、顔認証サーバ３（クラウドサーバ）と、を備えている。顔認証サーバ３は、顔管理サーバ５（顔画像管理部）と、顔照合サーバ６（顔画像照合部）と、を備えている。
This face authentication system includes a
顔認証機１と管理端末２と顔管理サーバ５と顔照合サーバ６とは、インターネットなどのネットワークを介して接続されている。顔認証システムは、顔認証サービスの提供者（事業者）ごとに構築される。顔認証機１は、建物の出入口や部屋の出入口など、顔認証が必要とされる場所ごとに複数設置される。顔照合サーバ６は、顔認証機１の台数などに応じて所要の数が設けられる。
The
顔認証機１は、カメラ１１を備えており、このカメラ１１により、利用者が写る撮影画像を取得する。また、顔認証機１は、ディスプレイ１２を有しており、このディスプレイ１２により、顔照合サーバ６から取得した顔認証結果を表示して、顔認証結果を利用者に通知する。
The
管理端末２は、管理者が操作するものであり、ＰＣで構成され、顔認証機１、顔管理サーバ５および顔照合サーバ６の動作を管理する管理アプリケーションがインストールされている。この管理アプリケーションにより、管理者が種々の管理業務を行うことができる。なお、管理アプリケーションはＷｅｂアプリケーションとして実装される。
The
顔管理サーバ５は、利用者の情報を一元管理する。具体的には、登録された利用者の姓名や顔画像データなどの情報を蓄積して管理する。
The
顔照合サーバ６は、顔認証時に、顔認証の対象者の顔画像データを顔認証機１から取得して、その顔画像データから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。
At the time of face authentication, the face matching
また、顔照合サーバ６は、顔認証に先だって、利用者の登録時に、利用者の顔画像データを管理端末２から取得して、その顔画像データから利用者の顔特徴量データを生成して、自装置に保管する。なお、利用者の撮影画像を管理端末２から取得して、顔照合サーバ６で撮影画像から顔画像データを取得することもできる。
Furthermore, prior to face authentication, the face matching
なお、本実施形態では、顔管理サーバ５（顔画像管理部）と顔照合サーバ６（顔画像照合部）とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、単一の情報処理装置内に存在するものとしてもよい。 Note that in this embodiment, the face management server 5 (face image management unit) and the face matching server 6 (face image matching unit) are assumed to exist in physically different information processing devices, but they are The information processing device may exist within the information processing device.
また、本実施形態では、管理端末２と顔管理サーバ５とを設けるようにしたが、管理端末２と顔管理サーバ５とを単一の情報処理装置で構成することができる。例えば顔管理サーバ５に管理アプリケーションをインストールすることで、顔管理サーバ５が管理端末２を兼用することができる。
Further, in this embodiment, the
また、本実施形態では、顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。 Further, in this embodiment, facial feature amount matching is performed, but face matching is not limited to facial feature amount matching, and a matching method applying machine learning or the like may be adopted. Furthermore, this embodiment can be applied to biometric authentication other than face authentication.
次に、照合グループについて説明する。図２は、照合グループの概要を示す説明図である。 Next, the verification group will be explained. FIG. 2 is an explanatory diagram showing an outline of a matching group.
本実施形態では、利用者が顔認証を受ける顔認証機１の設置場所などに応じて、利用者をグループ分けして各利用者に照合グループを設定する。また、利用者と同様に、顔認証機１の設置場所などに応じて、顔認証機１をグループ分けして、各顔認証機１に照合グループを設定する。さらに、顔認証機１に対応する顔照合サーバ６、すなわち、顔認証機１から顔照合の問合せ（リクエスト）を受け付ける顔照合サーバ６を、顔認証機１と同様にグループ分けして、各顔照合サーバ６に照合グループを設定する。
In this embodiment, users are divided into groups according to the installation location of the
例えば、複数の会社が入居しているマルチテナントの建物の玄関に設置された顔認証機１では、複数の会社に所属する利用者が顔認証を受ける。一方、所属する組織が異なる利用者の情報を、同一のデータベースで管理することができない。そこで、このような場合には、複数の会社ごとの照合グループを形成して、照合グループ単位で利用者の登録情報を保管し、顔認証機１では、会社ごとの照合グループの顔照合サーバ６に対して顔照合の問合せを行う。
For example, in a
利用者が属する照合グループに対応する顔認証機１でのみ、認証を受けることができる。したがって、登録済みの利用者でも、自分の照合グループに属さない顔認証機１、例えば自分の入館が許可されていない建物の顔認証機１では、認証を受けることができない。
例えば、ある事業所に勤務している利用者が、別の事業所に出向いた場合、その事業所の顔認証機１では認証を受けることができない。
The user can be authenticated only with the
For example, if a user who works at one office goes to another office, he or she cannot be authenticated using the
次に、顔認証機１から顔照合サーバ６に対する顔照合の問合せについて説明する。図３は、顔認証機１で行われる顔照合の問合せの概要を示す説明図である。
Next, a face verification inquiry from the
顔認証機１では、自装置と同じ照合グループに属する顔照合サーバ６に対して顔照合の問合せを行い、問合せ先（要求先）となる顔照合サーバ６に顔照合のリクエストを送る。また、顔認証機１には、照合グループ情報として、顔照合サーバ６のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ６に顔照合の問合せを行う。
The
この顔認証の問合せ方法には、図３（Ａ）に示す一斉問合せと、図３（Ｂ）に示すランダム問合せと、図３（Ｃ）に示す順次問合せ（問合せ先切り替え）とがある。 This face authentication inquiry method includes a simultaneous inquiry shown in FIG. 3(A), a random inquiry shown in FIG. 3(B), and a sequential inquiry (inquiry destination switching) shown in FIG. 3(C).
図３（Ａ）に示すように、一斉問合せの場合、複数の照合グループの各々に対応した顔照合サーバ６に対して一斉に顔照合の問合せを行う。例えば、顔認証機１が、マルチテナントの建物の玄関に設置され、複数の照合グループの利用者が顔認証を受ける場合、各グループの顔照合サーバ６に対して一斉に顔照合のリクエストを送る。
As shown in FIG. 3(A), in the case of a simultaneous inquiry, a face matching inquiry is made to the
なお、１つの顔照合サーバ６の負荷を軽減するため、１つの照合グループに属する利用者の顔特徴量データを複数の顔照合サーバ６に分割して保管することも可能であり、この場合にも、顔認証機１と同じ照合グループ内で互いに登録内容が異なる全ての顔照合サーバ６に対して一斉に顔照合の問合せを行う。
In addition, in order to reduce the load on one
図３（Ｂ）に示すように、ランダム問合せの場合、顔認証機１と同じ照合グループ内の複数の顔照合サーバ６の中から、顔照合の問合せ先となる顔照合サーバ６をランダムに選択する。複数の顔照合サーバ６は登録内容が同一である。すなわち、同一の利用者を照合対象とし、同一の利用者の顔特徴量データを保管している。このような問合せ方法では、顔認証機１からの問合せが各顔照合サーバ６に振り分けられるため、各顔照合サーバ６の負荷を軽減することができ、負荷分散を図ることができる。
As shown in FIG. 3(B), in the case of a random inquiry, a
図３（Ｃ）に示すように、順次問合せの場合、顔認証機１と同じ照合グループ内の複数の顔照合サーバ６の中から、顔照合の問合せ先を順次選択する。具体的には、顔照合サーバ６に順番（優先順位）を付与して、その順番にしたがって顔照合サーバ６を選択し、順位の高い顔照合サーバ６から応答がない場合には、送信先を顔照合サーバ６に切り替える。すなわち、照合グループ内の第１順位の顔照合サーバ６を選択して、その顔照合サーバ６に対して顔認証を要求する。そして、顔照合サーバ６から応答がない場合には、同じ照合グループ内の次順位の別の顔照合サーバ６を選択して、その顔照合サーバ６に対して顔認証を要求する。このような制御により冗長化（バックアップ）を図ることができる。
As shown in FIG. 3C, in the case of a sequential inquiry, a face verification inquiry destination is sequentially selected from among a plurality of
次に、顔照合ユニットについて説明する。図４は、顔照合ユニットの概要を示す説明図である。 Next, the face matching unit will be explained. FIG. 4 is an explanatory diagram showing an overview of the face matching unit.
顔照合サーバ６には、顔照合を行う顔照合ユニットを複数設けることができる。この顔照合ユニットは、顔照合プログラムを実行する顔照合プロセスと、顔照合の比較対象となる利用者の情報（顔特徴量データ）が登録された顔照合データベースとを有している。
The
この顔照合ユニットは、照合グループごとに設けられており、照合グループに属する顔認証機１からの顔照合のリクエストに応じて顔照合を行う。したがって、１つの顔照合サーバ６で、複数の照合グループに対応することができる。
This face verification unit is provided for each verification group, and performs face verification in response to a face verification request from the
ここで、顔認証機１には、照合グループ情報として、顔照合サーバ６のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ６に顔照合の問合せを行うことができるが、本実施形態では、さらに、顔照合ユニット単位のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合ユニットに顔照合の問合せを行うことができる。
Here, the
また、顔照合データベースは、照合グループごとに設けられるため、利用者の顔特徴量データを照合グループ単位で保管することができる。顔照合プロセスは、グループ単位で保管されている顔特徴量データと、同一のグループの顔認証機１から取得した顔画像データから生成した顔特徴量データとの照合処理を実行する。
Furthermore, since the face matching database is provided for each matching group, the user's facial feature amount data can be stored for each matching group. The face matching process executes matching processing between facial feature data stored in groups and facial feature data generated from face image data acquired from the
ここで、顔認証機１と顔照合ユニットとの対応関係には種々の態様がある。
Here, there are various aspects of the correspondence between the
図４（Ａ）に示す例は、顔照合サーバ６に、顔認証機１が属する照合グループの顔照合ユニットが１つ設けられており、顔認証機１と顔照合サーバ６とが１対１で対応している。
In the example shown in FIG. 4A, the
図４（Ｂ）に示す例は、顔認証機１と顔照合サーバ６とが１対１で対応するが、顔照合サーバ６に、顔認証機１が属する照合グループの顔照合ユニットが２つ設けられている。
この場合、マルチテナントの建物の玄関に設置された顔認証機１の場合に、所属する組織が異なる利用者の情報（例えば、利用者Ａ、利用者Ｂ）を、異なる照合データベースで管理することができる。
In the example shown in FIG. 4(B), the
In this case, in the case of the
図４（Ｃ）に示す例は、顔認証機１と顔照合サーバ６とが１対２で対応し、顔認証機１が、２つの顔照合サーバ６に対して顔照合の問合せ（利用者Ｘの照合リクエスト）を行う。この場合、異なる顔照合サーバ６に、同一の顔照合ユニット、すなわち、同一の利用者の顔特徴量データで顔照合を行う顔照合ユニットを２つ以上設けることで、顔照合サーバ６の負荷分散や死活対応を図ることができる。
In the example shown in FIG. 4(C), the
次に、顔認証機１の概略構成について説明する。図５は、顔認証機１の概略構成を示すブロック図である。
Next, a schematic configuration of the
顔認証機１は、カメラ１１（撮像部）と、ディスプレイ１２（出力部）と、通信部１３と、記憶部１４と、制御部１５と、を備えている。
The
カメラ１１は、所定の撮影エリアを常時撮影し、撮影エリアに人物が入るとその人物が撮影され、顔認証の対象者の撮影画像を取得することができる。なお、省電力化のため、人感センサ（図示せず）を設けて、人の到来を検知してカメラ１１が起動するようにしてもよい。
The
ディスプレイ１２は、顔認証結果を表示し、顔認証を受ける人物が顔認証結果を確認することができる。なお、対象者の認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。
The
通信部１３（顔画像送信部、認証結果受信部）は、ネットワークを介して顔照合サーバ６と通信を行う。本実施形態では、顔画像データを顔照合サーバ６に送信する。また、顔照合サーバ６から利用者の認証結果を受信する。また、通信部１３は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、顔管理サーバ５から照合グループ情報などを受信する。
The communication unit 13 (face image transmitting unit, authentication result receiving unit) communicates with the
記憶部１４は、照合グループ情報、制御部１５を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
制御部１５は、起動処理部２１と、顔画像抽出部２２と、顔照合要求部２３と、認証結果通知部２４と、認証結果調整部２５と、稼働状況監視部２６と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１４に記憶されたプログラムをプロセッサで実行することで実現される。
The
起動処理部２１は、顔認証機１の起動時に、顔管理サーバ５から照合グループ情報を取得して、記憶部１４に記憶する。なお、照合グループ情報の取得は、これに限らず、照合グループ情報の更新などに伴って、顔管理サーバ５から照合グループ情報を対象の顔認証機１へ配信するようにしても良い。
The
顔画像抽出部２２は、カメラ１１から顔認証の対象者の撮影画像を取得して（カメラ画像キャプチャ）、その撮影画像から人物の顔を検知して（顔検知）、検知した顔のサイズが適正であるかを判定し（顔サイズチェック）、撮影画像から顔領域を切り出して（顔切出し）、対象者の顔画像データを取得する。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像データと、その撮影画像データ上の顔領域の位置情報（顔枠情報）との組み合わせとしてもよい。
The face
顔照合要求部２３は、自装置と照合グループが一致する顔照合サーバ６に顔照合のリクエストを送信する。
The face
認証結果通知部２４は、顔照合サーバ６から取得した顔認証結果をディスプレイ１２に表示して、顔認証結果を利用者に通知する。
The authentication
認証結果調整部２５は、顔照合サーバ６から取得した利用者の顔照合結果を外部システムの後述の図５７に記載の管理サーバ８（外部装置）と連携するための制御を行う。この認証結果調整部２５は、接続アプリケーションで構成され、利用者の顔照合結果を外部システムの管理サーバ８に通知する。
The authentication
稼働状況監視部２６は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ５に通知する。
The operating
次に、管理端末２について説明する。図６は、管理端末２の概略構成を示すブロック図である。
Next, the
管理端末２は、通信部３１と、ディスプレイ３２（表示部）と、入力デバイス３３（操作部）と、記憶部３４と、制御部３５と、を備えている。
The
通信部３１は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、顔管理サーバ５から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ５に送信する。
The
ディスプレイ３２は、各種の画面を表示する。入力デバイス３３は、マウスやキーボードなどであり、ディスプレイ３２に表示された画面の操作を行う。
The
記憶部３４は、制御部３５を構成するプロセッサで実行されるプログラム（管理アプリケーション）などを記憶する。
The
制御部３５は、ＧＵＩ制御部４１を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３４に記憶されたプログラム（管理アプリケーション）をプロセッサで実行することで実現される。
The
ＧＵＩ制御部４１は、顔管理サーバ５から配信される各種の操作画面をディスプレイ３２に表示する。また、入力デバイス３３を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、ログインに関連する画面、具体的にはログイン画面に関する表示入力制御を行う。また、利用者管理に関連する画面、具体的には、利用者に関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、照合グループ管理に関連する画面、具体的には、照合グループに関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証機管理に関連する画面、具体的には、認証機と照合グループとの間の関連付けに関する登録、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証ログの参照画面に関する表示入力制御を行う。
The
次に、顔管理サーバ５の概略構成について説明する。図７は、顔管理サーバ５の概略構成を示すブロック図である。
Next, a schematic configuration of the
顔管理サーバ５は、通信部５１と、記憶部５２と、制御部５３と、を備えている。
The
通信部５１は、ネットワークを介して管理端末２と通信を行う。また、通信部５１は、ネットワークを介して顔認証機１と通信を行う。また、通信部５１は、顔照合サーバ６と通信を行う。
The
記憶部５２は、顔情報データベース、顔認証機１と照合グループとの間の関連付け情報に関するデータベース、顔照合サーバ６と照合グループとの間の関連付け情報に関するデータベース、管理者アクセスログ、制御部５３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔情報データベースは、登録された利用者に関する情報として、利用者の姓名、顔画像、照合グループなどが登録される。なお、利用者の顔画像はプライバシー保護のために暗号化された状態で記憶してもよい。 In the face information database, the user's name, face image, matching group, etc. are registered as information regarding the registered user. Note that the user's face image may be stored in an encrypted state to protect privacy.
制御部５３は、管理者アクセス管理部６１と、利用者管理部６２と、照合グループ管理部６３と、顔認証機管理部６４と、顔照合サーバ管理部６５と、顔情報管理部６６と、データベース管理部６７と、稼働状況監視部６８と、認証ログ提示部６９と、を備えている。この制御部５３は、プロセッサで構成され、制御部５３の各部は、記憶部５２に記憶されたプログラムをプロセッサで実行することで実現される。制御部５３の各部は、ＷｅｂＡＰＩ（Web Application Programming Interface）として構成される。
The
管理者アクセス管理部６１は、管理端末２から自装置にアクセスする管理者のアクセス許可グループに応じて、管理者のアクセス（ログイン）を許可または拒否する。
The administrator
また、管理者アクセス管理部６１は、自装置に対する管理端末２からのアクセスを管理し、管理者が管理端末２を操作して自装置にアクセスすると、そのときの情報を管理者アクセスログ（履歴情報）として記憶部５２に蓄積する。また、管理端末２からの参照要求に応じて、管理者アクセスログを管理端末２に提示する。
The administrator
利用者管理部６２は、利用者に関する情報を管理し、管理端末２からの要求に応じて、利用者に関する必要な処理を行う。本実施形態では、管理端末２から、利用者に関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
The
照合グループ管理部６３は、照合グループに関する情報を管理し、管理端末２からの要求に応じて、照合グループに関する必要な処理を行う。本実施形態では、管理端末２から、照合グループに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。また、照合グループ情報、すなわち、顔認証機１が自分の照合グループと一致した顔照合サーバ６に顔認証を要求するために必要となる情報を顔認証機１ごとに生成して、その照合グループ情報を顔認証機１に提供する。
The verification
顔認証機管理部６４は、顔認証機１に関する情報を管理し、管理端末２からの要求に応じて、顔認証機１に関する必要な処理を行う。本実施形態では、管理端末２から、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
The face recognition
顔照合サーバ管理部６５は、顔照合サーバ６に関する情報を管理し、管理端末２からの要求に応じて、顔照合サーバ６に関する必要な処理を行う。本実施形態では、管理端末２から、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除の要求が行われ、その要求に応じて必要な処理を行う。
The face matching
顔情報管理部６６は、自装置および顔照合サーバ６にそれぞれ保管された利用者の顔情報を管理する。本実施形態では、自装置に保管された利用者の顔情報（利用者の姓名、顔画像など）と、顔照合サーバ６に保管された利用者の顔情報（利用者の顔特徴量データ）とが整合した状態に維持されるように、顔情報の同期を行う。また、顔情報管理部６６は、顔情報（利用者の顔特徴量データ）のコピーを行う。
The face
データベース管理部６７は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
稼働状況監視部６８は、自装置の稼働状況を監視し、また、顔認証機１および顔照合サーバ６からの稼働状況の通知を受け取り、管理端末２での管理者の操作に応じて、顔認証機１、自装置（顔管理サーバ５）、および顔照合サーバ６の稼働状況を管理端末２に画面表示する。
The operating
認証ログ提示部６９は、管理端末２からの参照要求に応じて、顔照合サーバ６から認証ログを取得して、認証ログを管理端末２に提示する。
The authentication
次に、顔照合サーバ６の概略構成について説明する。図８は、顔照合サーバ６の概略構成を示すブロック図である。
Next, a schematic configuration of the
顔照合サーバ６は、通信部７１と、記憶部７２と、制御部７３と、を備えている。
The
通信部７１（顔画像受信部、認証結果送信部）は、ネットワークを介して顔認証機１と通信を行う。本実施形態では、顔認証機１から顔画像データなどを受信する。また、利用者の認証結果などを顔認証機１に送信する。また、通信部７１は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ５から受信し、それに応じたレスポンスなどを顔管理サーバ５に送信する。
The communication unit 71 (face image receiving unit, authentication result transmitting unit) communicates with the
記憶部７２は、顔照合データベース、利用者と特徴量との間の関連付け情報、自装置の照合グループに関する情報、認証ログ、制御部７３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔照合データベースには、登録された利用者に関する情報として、利用者の顔特徴量データなどが登録される。また、顔照合データベースは、照合グループごとに設けられ、利用者の顔特徴量データをグループ単位で保管する。ここで、登録された利用者の顔特徴量データは、予期しない顔照合データベースからの消失に備えて、顔照合サーバ６内に設けられたＨＤＤやＳＳＤ等の不揮発性メモリへバックアップ保存してもよい。
In the face matching database, user's facial feature data and the like are registered as information regarding registered users. Further, a face matching database is provided for each matching group, and stores facial feature amount data of users on a group-by-group basis. Here, the registered user's facial feature data may be backed up and saved in a non-volatile memory such as an HDD or SSD provided in the
制御部７３は、照合グループ管理部８１と、画像品質チェック部８２と、顔画像抽出部８３と、顔特徴量生成部８４と、顔特徴量管理部８５と、顔特徴量照合部８６と、認証ログ管理部８７と、データベース管理部８８と、稼働状況監視部８９と、を備えている。この制御部７３は、プロセッサで構成され、制御部７３の各部は、記憶部７２に記憶されたプログラムをプロセッサで実行することで実現される。制御部７３の各部は、ＷｅｂＡＰＩとして構成される。
The
照合グループ管理部８１は、自装置が属する照合グループを管理し、顔管理サーバ５からの要求に応じて、照合グループに関する登録や削除の処理を行う。
The verification
画像品質チェック部８２は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度（顔の向きや表情による評価値）を算出する。
The image
顔画像抽出部８３は、利用者登録時に、管理端末２から取得した利用者の撮影画像から顔画像を抽出する。このとき、撮影画像から人物の顔を検知し（顔検知）、検知した顔のサイズが適正であるかを判定し（顔サイズチェック）、撮影画像から顔領域を切り出して（顔切出し）、人物の顔画像を取得する。なお、顔認証時に、顔認証機１から取得した対象者の撮影画像から顔画像を抽出するようにしてもよい。
The face
顔特徴量生成部８４は、利用者登録時および顔認証時に、顔画像データから顔特徴点を検出して顔特徴量データを生成する。
The facial
顔特徴量管理部８５は、利用者登録時に、顔特徴量生成部８４で生成した利用者の顔特徴量データを、利用者の照合グループに対応した顔照合データベースに登録する。また、更新や削除の際に、顔管理サーバ５からの要求に応じて、顔照合データベースに登録された顔特徴量データを削除する。また、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われた場合に、顔管理サーバ５からの要求に応じて、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。
At the time of user registration, the facial feature
顔特徴量照合部８６は、顔認証時に、顔認証機１から取得した顔画像データから生成した対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較して、対象者が登録者か否かを判定する。この顔特徴量照合部８６は、自装置に関連付けされた照合グループに対応したものであり、自装置に複数の照合グループが関連付けられている場合には、照合グループごとの複数の顔特徴量照合部８６を有する。この顔特徴量照合部８６（顔照合プロセス）は、顔照合データベースと組み合わせて顔照合ユニットを構成する。
At the time of face authentication, the facial
なお、顔特徴量照合部８６では、対象者と登録者との類似度（照合スコア）を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機１に通知する他に、類似度の高い登録者に関する人物ＩＤや類似度を照合結果として顔認証機１に通知するようにしてもよい。
Note that the facial
認証ログ管理部８７は、顔認証機１から自装置に顔認証の要求が行われると、そのときの情報、すなわち、顔認証の要求元の顔認証機１の機器ＩＤ、顔照合結果などの情報を、認証ログとして記憶部７２に蓄積する。また、顔管理サーバ５からの要求に応じて、認証ログを顔管理サーバ５に提供する。
When the
データベース管理部８８は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
稼働状況監視部８９は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ５に通知する。
The operating
なお、本実施形態では、顔照合サーバ６の主たる機能として、顔画像抽出、顔特徴量生成、および顔特徴量照合の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。
In this embodiment, the main functions of the
次に、顔認証時に顔認証機１の顔画像抽出部２２で行われる処理について説明する。図９は、顔認証機１の顔画像抽出部２２で行われる処理の概要を示す説明図である。
Next, a description will be given of the processing performed by the face
顔認証機１では、複数のカメラ１１を設けることができる。この場合、カメラ１１から撮影画像を取得するカメラ画像キャプチャプロセスが、カメラ１１ごとに設けられる。このカメラ画像キャプチャプロセスは、顔認証機１を起動した際に開始され、カメラ１１から取得した撮影画像を制御プロセスに渡す。制御プロセスは、各カメラ１１の撮影画像に対して、顔検知、顔サイズチェック、顔切出しの各処理を行う。
The
なお、顔認証機１では、制御プロセスが、設定ファイルを読み込んで、設定ファイルに記載されたカメラ１１ごとの設定情報に基づいて、カメラ画像キャプチャプロセスを実行する。このとき、カメラ画像キャプチャプロセスは、実行時に、パラメータとして、カメラ種別、カメラ接続情報、画像取得レート、取得画像サイズの各情報を、制御プロセスから受け取る。
In the
顔検知では、カメラ１１の撮影画像に含まれる顔領域を検知する。検知結果に基づいて、顔枠（顔領域を取り囲む矩形の枠）を設定する。
In face detection, a face area included in an image captured by the
ここで、カメラ１１の撮影画像に複数の顔領域が含まれる場合がある。この場合、検知した複数の顔領域の中から、顔認証の対象となる顔領域を選択する（検知顔選別処理）。このとき、顔認証の対象となる顔領域を１つだけ選択するようにしてもよいが、顔認証の対象となる顔領域を複数選択するようにしてもよい。この場合、選択する顔領域の数を管理者が指定できるようにしてもよい。
Here, the image taken by the
この検知顔選別処理では、顔枠の面積に基づいて顔認証の対象となる顔領域を選択すればよい。すなわち、顔枠の幅および高さから顔枠の面積を算出して、各顔枠の面積を比較して、面積が大きい順に所定数の顔領域を選択する。なお、顔領域を１つだけ選択する場合には、面積が最大の顔領域を選択すればよい。また、顔枠の面積が同じ場合には、検知された順に顔領域を選択すればよい。 In this detected face selection process, a face area to be subjected to face authentication may be selected based on the area of the face frame. That is, the area of the face frame is calculated from the width and height of the face frame, the areas of each face frame are compared, and a predetermined number of face areas are selected in descending order of area. Note that when selecting only one face area, the face area with the largest area may be selected. Furthermore, if the areas of the face frames are the same, the face areas may be selected in the order in which they are detected.
また、顔枠の幅に基づいて顔認証の対象となる顔領域を選択するようにしてもよい。すなわち、各顔枠の幅を比較して、幅が大きい順に所定数の顔領域を選択する。なお、顔領域を１つだけ選択する場合には、幅が最大の顔領域を選択すればよい。また、顔枠の幅が同じ場合には、検知された順に顔領域を選択すればよい。 Further, the face area to be subjected to face authentication may be selected based on the width of the face frame. That is, the widths of each face frame are compared and a predetermined number of face areas are selected in descending order of width. Note that when selecting only one face area, the face area with the largest width may be selected. Furthermore, if the widths of the face frames are the same, the face areas may be selected in the order in which they are detected.
なお、顔検知の前処理として、例えばグレースケール変換が行われる。 Note that, for example, grayscale conversion is performed as preprocessing for face detection.
顔サイズチェックの処理では、撮影画像から検知した顔領域（顔枠）のサイズが所定の基準（適正範囲）を満たしているか否かを判定する。具体的には、顔検知で取得した顔枠の幅および高さが所定の範囲内にある場合に、顔領域のサイズが適正であると判定する。具体的には、顔枠の幅および高さの各々に関して閾値（最小値および最大値）を設定して、顔枠の幅および高さを各々の最小値および最大値と比較して、顔枠の幅がその最小値以上でかつ最大値以下となり、同時に、顔枠の高さがその最小値以上でかつ最大値以下となる場合に、顔領域のサイズが適正であると判定する。 In the face size check process, it is determined whether the size of the face area (face frame) detected from the photographed image satisfies a predetermined standard (appropriate range). Specifically, when the width and height of the face frame obtained through face detection are within a predetermined range, it is determined that the size of the face area is appropriate. Specifically, thresholds (minimum and maximum values) are set for each of the width and height of the face frame, and the width and height of the face frame are compared with the respective minimum and maximum values to determine the width and height of the face frame. If the width of the face frame is greater than or equal to the minimum value and less than the maximum value, and at the same time, the height of the face frame is greater than or equal to the minimum value and less than the maximum value, it is determined that the size of the face area is appropriate.
図１０、図１１は、顔認証機１で行われる顔切出し処理の概要を示す説明図である。
10 and 11 are explanatory diagrams showing an overview of the face extraction process performed by the
顔切出しの処理では、カメラの撮影画像に対して、顔検知で取得した顔領域（顔枠）を基準にして切り出し領域を設定して、その切出し領域（顔切出し枠）の画像を顔画像として切り出す処理を行う。切出し領域は、顔領域を中心にして、その顔領域を縦方向および横方向に拡張した状態で設定される In the face cropping process, a cropping area is set for the image captured by the camera based on the face area (face frame) obtained by face detection, and the image of that cropping area (face cropping frame) is used as a face image. Perform the cutting process. The cutout area is set with the face area as the center and expanded vertically and horizontally.
図１０（Ａ）に示す例では、拡張係数ｋを３として、顔検知で検知した顔領域の３倍の領域を切り出し領域に設定している。図１０（Ｂ）に示す例では、拡張係数ｋを４として、顔領域の４倍の領域を切り出し領域に設定している。 In the example shown in FIG. 10A, the expansion coefficient k is set to 3, and an area three times larger than the face area detected by face detection is set as the cutout area. In the example shown in FIG. 10(B), the expansion coefficient k is set to 4, and an area four times as large as the face area is set as the cutout area.
ここで、図１０（Ｂ）に示すように、顔枠の左上の頂点Ａの座標（ｘ，ｙ）と顔枠の幅ｗおよび高さｈとから、顔枠の中心Ｂの座標（ｘ'，ｙ'）が次式のように求められる。
（ｘ'，ｙ'）＝（（ｘ＋ｗ）／２，（ｙ＋ｈ）／２）
また、顔枠の幅ｗおよび高さｈと拡張係数ｋとから、切出し領域の幅Ｗおよび高さＨが次式のように求められる。
Ｗ＝ｗ×ｋ
Ｈ＝ｈ×ｋ
そして、顔枠の中心Ｂの座標（ｘ'，ｙ'）と切出し領域の幅Ｗとおよび高さＨとから、切出し領域の左上の頂点Ｃの座標（Ｘ，Ｙ）が次式のように求められる。
（Ｘ，Ｙ）＝（ｘ'－（Ｗ／２），ｙ'－（Ｈ／２））
この切出し領域の左上の頂点Ｃの座標（Ｘ，Ｙ）と切出し領域の幅Ｗとおよび高さＨとにより切出し領域が規定される。
Here, as shown in FIG. 10(B), from the coordinates (x, y) of the top left vertex A of the face frame and the width w and height h of the face frame, the coordinates (x' , y') can be obtained as shown below.
(x', y') = ((x+w)/2, (y+h)/2)
Further, from the width w and height h of the face frame and the expansion coefficient k, the width W and height H of the cutout area are determined as shown in the following equation.
W=w×k
H=h×k
Then, from the coordinates (x', y') of the center B of the face frame and the width W and height H of the cropping area, the coordinates (X, Y) of the top left vertex C of the cropping area are calculated as follows: Desired.
(X, Y) = (x'-(W/2), y'-(H/2))
The cutout area is defined by the coordinates (X, Y) of the top left vertex C of the cutout area, the width W, and the height H of the cutout area.
また、撮影画像に切り出し領域の全体が含まれる場合は問題ないが、図１１（Ａ）に示すように、撮影画像に切り出し領域の全体が含まれない場合、すなわち、切り出し領域の一部が撮影画像からはみ出している場合がある。 Furthermore, there is no problem if the entire cropped area is included in the captured image, but as shown in FIG. It may protrude from the image.
この場合、図１１（Ｂ）に示すように、切り出し領域と同じのサイズの背景画像を生成する。この背景画像は、撮影画像からはみ出した余白部を埋めるものであり、所定色（例えば黒色）で塗り潰されている。また、図１１（Ｃ）に示すように、撮影画像から切り出し領域の画像を切り出して、切出し画像を取得する。そして、図１１（Ｄ）に示すように、背景画像上に切出し画像を重ね合わせて、顔画像を生成する。 In this case, as shown in FIG. 11(B), a background image having the same size as the cutout area is generated. This background image fills in the blank space that protrudes from the photographed image, and is filled in with a predetermined color (for example, black). Further, as shown in FIG. 11C, an image of a cutout area is cut out from the photographed image to obtain a cutout image. Then, as shown in FIG. 11(D), the cutout image is superimposed on the background image to generate a face image.
次に、顔画像抽出処理について説明する。図１２は、顔画像抽出処理の概要を示す説明図である。 Next, facial image extraction processing will be explained. FIG. 12 is an explanatory diagram showing an overview of face image extraction processing.
前記のように、顔認証機１の顔画像抽出部２２において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われるが、この顔画像抽出処理は、顔照合サーバ６の顔画像抽出部８３でも同様に行われる。
As described above, the face
利用者登録時には、管理端末２から顔管理サーバ５を介して顔照合サーバ６に利用者の撮影画像データを送ることで、顔照合サーバ６の顔画像抽出部８３で顔画像抽出処理を行う。
At the time of user registration, by sending captured image data of the user from the
一方、顔認証時には、顔認証機１でのみ顔画像抽出処理を行い、顔照合サーバ６では顔画像抽出処理を行わない。この場合、顔認証機１に高精度な顔検知の機能を与える。また、顔認証機１ではカメラ１１で撮影エリアを常時撮影し、顔が検知されたタイミングで顔画像情報（撮影画像データと顔枠情報）を顔照合サーバ６に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機１に分散され、顔照合サーバ６の負荷を軽減することができる。また、通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。
On the other hand, during face authentication, only the
すなわち、利用者の顔認証処理を顔認証機１と顔照合サーバ６とで分担する構成としたので、従来のように利用者の顔認証処理の全てを顔認証機１へ集中させた高価な認証機を多数設ける必要がない。また、顔特徴量データの更新などが発生しても、大規模な認証機のメンテナンス作業を必要とせず、顔照合サーバ６での作業で済む。したがって、本実施形態によれば、安価な構成、かつ、作業性に優れた顔認証システムを構築することができる。
In other words, since the configuration is such that the user's face recognition processing is shared between the
なお、管理端末２が顔画像抽出の機能を備えない構成、すなわち、管理端末２に顔画像抽出部２２を設けないようにしてもよい。
Note that the
図１３は、照合グループ情報による顔認証の問合せの概要を示す説明図である。 FIG. 13 is an explanatory diagram showing an outline of a face authentication inquiry based on matching group information.
顔管理サーバ５は、利用者が属する照合グループに関する情報と、顔認証機１と照合グループとの間の関連付け情報と、顔照合サーバ６と照合グループとの間の関連付け情報と、を保持する。また、顔管理サーバ５の照合グループ管理部６３では、顔認証機１と照合グループとの間の関連付け情報と、顔照合サーバ６と照合グループとの間の関連付け情報とに基づいて、顔認証機１ごとの照合グループ情報を生成する。
The
この照合グループ情報は、顔認証機１が自分の照合グループと一致した顔照合サーバ６に顔認証を要求するために必要となる情報である。この照合グループ情報には、顔認証機１が属する照合グループの識別情報（グループ番号）と、その顔認証機１から顔認証を要求する顔照合サーバ６、すなわち、顔認証機１との照合グループに対応する顔照合サーバ６の宛先情報とが含まれる。ここで、宛先情報は、具体的には、顔照合サーバ６のネットワークアドレス（例えばＩＰアドレス）であり、この宛先情報により、顔認証の要求先となる顔照合サーバ６が特定され、顔認証機１と、その顔認証の要求先となる顔照合サーバ６とが関連付けられる。なお、顔認証機１が複数の照合グループに所属する場合には、対応する複数の顔照合サーバ６ごとのアドレス（ＩＰアドレス）が照合グループ情報に含まれる。
This verification group information is information necessary for the
顔認証機１では、起動時などに、起動処理部２１が動作設定情報として顔管理サーバ５から照合グループ情報を取得して自装置に記憶する。顔認証機１では、人物の顔を検知すると、自装置が属する照合グループと一致する顔照合サーバ６に対して顔照合のリクエストを送る。この顔照合のリクエストには、自装置が属する照合グループの情報などを含む。
In the
なお、顔認証機１において、照合グループ情報などに関する設定情報を顔管理サーバ５から取得するタイミングは、起動時の他、所定のタイミングでまたは所定間隔で定期的に行うようにしてもよく、または、顔管理サーバ５から照合グループ情報を配信する構成を採用することもできる。
In addition, in the
顔照合サーバ６では、自装置の顔照合プロセスと照合グループとの間の関連付け情報を保持する。顔照合サーバ６では、顔認証機１からの顔認証のリクエストを受け取ると、照合グループと顔認証プロセスとの間の関連付け情報と、顔認証機１から取得した照合グループとに基づいて、顔認証機１に対応する顔認証プロセスを特定して、その顔認証プロセスに顔照合を行わせる。これにより、指定された照合グループに対応した顔認証プロセスで顔照合処理が行われる。
The
ところで、本実施形態では、顔照合サーバ６において、照合グループごとに顔照合データベースを設けて、照合グループ単位で顔特徴量データを保管する。このため、顔照合時には、顔認証機１の照合グループに対応する顔照合データベースに登録された顔特徴量データを対象にして顔照合を行えばよい。一方、顔照合サーバ６において、顔認証機１の照合グループに関係なく照合を行った上で、照合結果に対してフィルタをかけるようにしてもよい。すなわち、顔照合サーバ６に保管された全ての利用者の顔特徴量データを対象にして顔照合を行った上で、顔認証機１の照合グループに属する利用者との照合結果のみを抽出するようにしてもよい。この場合、照合グループごとに顔照合データベースを分けて設けないようにしてもよい。
By the way, in this embodiment, a face matching database is provided for each matching group in the
次に、管理者アクセス管理について説明する。 Next, administrator access management will be explained.
本システムでは、管理端末２から顔管理サーバ５および顔照合サーバ６へのアクセスを管理する。顔管理サーバ５は、管理者アクセス管理部６１を備えている。このアクセス管理部は、顔管理サーバ５および顔照合サーバ６に対する管理端末２からのアクセス（ログイン）の状況を監視し、管理端末２からのアクセスを検知すると、そのアクセスに関する情報（アクセスした管理者や日時など）を管理者アクセスログ（履歴情報）として記録する。また、顔管理サーバ５は、管理端末２からの管理者アクセスログの参照の要求に応じて、管理端末２に管理者アクセスログを提供し、管理者が管理者アクセスログを閲覧することができる。
This system manages access from the
本実施形態では、利用者の情報に対するアクセス権を管理者に設定して、利用者の情報に対するアクセス（利用者情報の登録、参照、更新および削除など）を制限する。管理者に与えられるアクセス権の違いに応じて、管理者を複数の管理者グループにグループ分けする。ここでは、管理者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。 In this embodiment, access rights to user information are set to the administrator, and access to user information (registration, reference, update, deletion, etc. of user information) is restricted. Group administrators into multiple administrator groups depending on the access rights granted to them. Here, administrators are grouped into system operation managers, service operation managers, and general administrators.
また、本実施形態では、利用者の情報にアクセスできる管理者グループに応じて、利用者を複数のアクセス許可グループにグループ分けする。アクセス許可グループは、当該利用者のデータにアクセスすることができる管理者グループである。ここでは、利用者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。 Furthermore, in this embodiment, users are divided into a plurality of access permission groups depending on the administrator group that can access the user's information. The access permission group is an administrator group that can access the data of the user. Here, users are grouped into system operation managers, service operation managers, and general managers.
顔管理サーバ５では、管理者のログインを受け付けた際に、ログインした管理者の管理者グループ（管理者種別）を取得して、その管理者グループと、対象となる利用者が属するアクセス許可グループとに基づいて、利用者の情報に対するアクセス（参照、更新および削除）の可否を判定して、利用者の情報に対するアクセスを許可する。すなわち、管理者が属する管理者グループで許可されている利用者の情報に対してのみ、参照、更新および削除の処理を行わせることができる。
When the
システム運用管理者は、本システムの運用（保守など）を管理する人物であり、すべての利用者、すなわち、アクセス許可グループがシステムユーザ、管理ユーザ、一般ユーザのいずれかとなる利用者の情報にアクセスすることができる。また、サービス運用管理者は、本システムによる顔認証サービスの運用（利用者の登録・削除など）を管理する人物であり、アクセス許可グループが管理ユーザまたは一般ユーザとなる利用者の情報にアクセスすることができる。また、一般管理者は、サービス運用管理者から権限を付与された人物であり、アクセス許可グループが一般ユーザとなる利用者の情報にのみアクセスすることができる。 The system operations administrator is the person who manages the operation (maintenance, etc.) of this system, and has access to the information of all users, that is, users whose access permission group is system user, administrative user, or general user. can do. In addition, the service operation administrator is a person who manages the operation of the facial recognition service by this system (registration/deletion of users, etc.), and who accesses the information of users whose access permission group is administrative users or general users. be able to. Further, the general administrator is a person who has been given authority by the service operations manager, and can only access information of users whose access permission group is general users.
図１４は、管理端末２に表示されるログイン画面を示す説明図である。
FIG. 14 is an explanatory diagram showing a login screen displayed on the
管理端末２では、管理アプリケーションを起動して顔管理サーバ５にアクセスすると、ログイン画面が表示される。このログイン画面では、管理者が自分のユーザＩＤとパスワードとを入力することができる。このログイン画面で管理者がユーザＩＤおよびパスワードを入力してログインボタンを操作すると、顔管理サーバ５において、ユーザ認証が行われる。ログインに成功した場合、トップ画面を表示する。ログインに失敗した場合、エラーを表示する。
On the
次に、照合グループに関する登録、参照、更新および削除について説明する。図１５、図１６は、照合グループに関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update, and deletion regarding verification groups will be explained. FIGS. 15 and 16 are explanatory diagrams showing screens displayed on the
管理端末２では、照合グループに関する登録、参照、更新および削除の際に、図１５（Ａ）に示す参照画面、図１５（Ｂ）に示す登録画面、図１５（Ｃ）に示す更新画面、および図１６に示す削除画面が表示される。
In the
図１５（Ａ）に示す参照画面は、登録済みの照合グループを一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。 The reference screen shown in FIG. 15(A) displays a list of registered matching groups. By viewing this reference screen, the administrator can confirm the registered contents of the verification group.
この参照画面には、一覧表示部１０１と更新ボタン１０２とが設けられている。一覧表示部１０１では、登録済みの照合グループごとに、照合グループＩＤ（番号）と、照合グループに関する説明（設置場所）とが並べて表示される。これにより、登録済みの照合グループを管理者が確認することができる。この参照画面では、更新ボタン１０２を操作すると、一覧表示部１０１が最新の登録内容に更新される。また、照合グループを選択する、具体的には、照合グループＩＤを操作することで、更新画面（図１５（Ｃ）参照）に遷移する。
This reference screen is provided with a
また、この参照画面では、項目（照合グループ、説明）を指定してソートを実行することができる。なお、一覧表示部１０１の表示件数（顔照合サーバ６の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔照合サーバ６、説明）に関する検索条件を指定して検索できるようにしてもよい。
Further, on this reference screen, it is possible to specify an item (matching group, description) and execute sorting. Note that the number of items to be displayed on the list display section 101 (the number of face matching servers 6) and the display range of the
図１５（Ｂ）に示す登録画面（第１の画面）は、管理者に照合グループの登録を行わせるものである。 The registration screen (first screen) shown in FIG. 15(B) allows the administrator to register a verification group.
この登録画面には、説明入力部１０３と登録ボタン１０４とが設けられている。説明入力部１０３では、照合グループに関する説明を入力することができる。説明を入力した上で登録ボタン１０４を操作すると、入力内容で照合グループ情報をデータベースに登録する処理が顔管理サーバ５で行われる。
This registration screen is provided with an
図１５（Ｃ）に示す更新画面は、管理者に照合グループの登録内容の更新を行わせるものである。 The update screen shown in FIG. 15(C) allows the administrator to update the registered contents of the verification group.
この更新画面には、説明入力部１０５と更新ボタン１０６とが設けられている。説明入力部１０５では、照合グループに関する説明を入力することができる。説明を入力した上で更新ボタン１０６を操作すると、データベースに登録された照合グループ情報を入力内容で更新する処理が顔管理サーバ５で行われる。
This update screen is provided with an
図１６に示す削除画面は、管理者に照合グループの削除を行わせるものである。 The deletion screen shown in FIG. 16 allows the administrator to delete a verification group.
この削除画面には、一覧表示部１０７と削除ボタン１０８とが設けられている。一覧表示部１０７では、登録済みの照合グループ（番号）と、照合グループに関する説明とが一覧表示される。また、この一覧表示部１０７には、照合グループごとにチェックボックスが設けられている。チェックボックスにより照合グループを選択することができる。チェックボックスにより削除する照合グループを選択して削除ボタン１０８を操作すると、選択した照合グループを削除する処理が顔管理サーバ５で行われる。
This deletion screen is provided with a
ここで、メニュー画面（図示せず）において参照を選択することで、図１５（Ａ）に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図１５（Ｂ）に示す登録画面に遷移する。また、メニュー画面において更新を選択することで、図１５（Ｃ）に示す更新画面に遷移する。また、メニュー画面において削除を選択することで、図１６に示す削除画面に遷移する。 Here, by selecting reference on the menu screen (not shown), a transition is made to the reference screen shown in FIG. 15(A). Furthermore, by selecting registration on the menu screen, the screen changes to the registration screen shown in FIG. 15(B). Furthermore, by selecting update on the menu screen, the screen changes to the update screen shown in FIG. 15(C). Furthermore, by selecting delete on the menu screen, the screen transitions to the deletion screen shown in FIG. 16.
次に、照合グループに関する登録、参照、更新および削除の処理について説明する。図１７は、照合グループに関する登録、参照、および更新の処理の手順を示すシーケンス図である。図１８は、照合グループに関する登録、参照、更新の処理の概要を示す説明図である。 Next, processing for registering, referencing, updating, and deleting matching groups will be explained. FIG. 17 is a sequence diagram showing the procedure of registration, reference, and update processing regarding verification groups. FIG. 18 is an explanatory diagram showing an overview of registration, reference, and update processing regarding verification groups.
まず、本システムにおける照合グループに関する登録処理について説明する。 First, registration processing regarding verification groups in this system will be explained.
図１７（Ａ）に示すように、管理端末２では、管理者が、照合グループに関する登録を指示する操作を行う。本実施形態では、照合グループに関する登録画面（図１５（Ｂ）参照）において、管理者が、照合グループを登録する操作を行う。
As shown in FIG. 17(A), on the
図１８に示すように、顔管理サーバ５では、管理端末２において照合グループの登録を指示する操作が行われると、照合グループ管理部６３において照合グループに関する登録処理を行う。この登録処理では、管理者が入力した照合グループの情報を、照合グループのデータベースに登録する。
As shown in FIG. 18, in the
そして、顔管理サーバ５では、照合グループに関する登録処理が終了すると、登録処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセス管理部６１において管理者アクセスログを記録する。
When the registration process regarding the matching group is completed, the
次に、照合グループに関する参照処理について説明する。 Next, reference processing regarding matching groups will be explained.
図１７（Ｂ）に示すように、管理端末２では、管理者が、照合グループに関する参照を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する参照画面（図１５（Ａ）参照）を開く操作を行う。
As shown in FIG. 17(B), on the
顔管理サーバ５では、管理端末２において照合グループの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、照合グループに関するデータベースを参照して、全ての照合グループを対象にした照合グループのリスト情報を生成して、そのリスト情報に基づいて、全ての照合グループを対象にした参照画面を管理端末２に表示させる。また、管理者が、管理端末２に表示された参照画面（図１５（Ａ）参照）において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
次に、照合グループに関する更新処理について説明する。 Next, update processing regarding verification groups will be explained.
図１７（Ｃ）に示すように、管理端末２では、管理者が照合グループの更新を指示する操作を行う。本実施形態では、照合グループに関する更新画面（図１５（Ｃ）参照）において、更新内容を入力して更新ボタン１０６を操作する。
As shown in FIG. 17(C), on the
顔管理サーバ５では、管理端末２において照合グループの更新を指示する操作が行われると、照合グループに関する更新処理を行う。この更新処理では、照合グループに関するデータベースを、管理者が指定した内容で更新する。そして、顔管理サーバ５では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。
In the
次に、照合グループに関する削除処理について説明する。図１９は、照合グループに関する削除処理の手順を示すシーケンス図である。図２０は、照合グループに関する削除処理の概要を示す説明図である。 Next, deletion processing regarding matching groups will be explained. FIG. 19 is a sequence diagram showing the procedure of deletion processing regarding a verification group. FIG. 20 is an explanatory diagram illustrating an overview of deletion processing regarding a verification group.
図１９に示すように、管理端末２では、管理者が照合グループの削除を指示する操作を行う。本実施形態では、照合グループに関する削除画面（図１６参照）において、削除対象となる照合グループを選択して削除ボタン１０８を操作する。
As shown in FIG. 19, on the
図２０に示すように、顔管理サーバ５では、管理端末２において照合グループの削除を指示する操作が行われると、照合グループに関する削除処理を行う。この削除処理では、管理者が指定した照合グループの登録情報を、照合グループに関するデータベースから削除する。また、対象となる照合グループと顔照合サーバ６との間の関連付け情報を削除する。このとき、対象となる照合グループと顔照合サーバ６との間の関連付け情報を削除してから、照合グループの登録情報を削除する。また、照合グループと利用者との間の関連付けのデータベースから、対象となる照合グループに関する情報を削除する。また、対象となる照合グループに属する利用者の顔情報（顔特徴量データ）を顔情報データベースから削除する。また、対象となる照合グループと顔認証機１との間の関連付け情報を削除する。また、顔管理サーバ５では、管理者アクセス管理部６１において管理者アクセスログを記録する。
As shown in FIG. 20, when an operation instructing deletion of a matching group is performed on the
また、顔管理サーバ５では、照合グループ削除のリクエストを顔照合サーバ６に送る。この照合グループ削除のリクエストには、削除の対象となる照合グループの情報が含まれる。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、指定された照合グループと顔照合部（顔照合プロセス）との間の関連付け情報を削除する。このとき、削除対象となる照合グループに関する顔照合部を停止するとともに、照合グループに対応した顔照合データベースを削除する。
When the
そして、顔照合サーバ６では、削除処理が終了すると、照合グループ削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
Then, when the deletion process is completed, the
顔管理サーバ５では、顔照合サーバ６からの照合グループ削除のレスポンスを受け取り、自装置の削除処理も終了すると、削除処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。
When the
なお、顔認証機１では、再起動することで、この処理が反映され、照合グループの情報が削除される。
Note that by restarting the
次に、照合グループに関する一括登録処理について説明する。図２１は、照合グループに関する一括登録処理の手順を示すシーケンス図である。 Next, a description will be given of the batch registration process regarding verification groups. FIG. 21 is a sequence diagram showing the procedure of batch registration processing regarding verification groups.
本システムでは、対象となる照合グループに関する情報を格納したリスト情報のファイルを用いて、顔管理サーバ５に照合グループを一括登録することができる。
In this system, matching groups can be collectively registered in the
具体的には、まず、管理端末２では、照合グループに関する一括登録を指示する操作を行う。本実施形態では、登録画面（図示せず）において、管理者が、対象となる照合グループに関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
Specifically, first, the
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末２の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で照合グループの一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
At this time, the selected list information file is read and the list information is displayed on the confirmation screen of the
顔管理サーバ５では、管理端末２において照合グループの一括登録を指示する操作が行われると、照合グループに関する一括登録処理を行う。この一括登録処理では、管理端末２から取得した照合グループのリスト情報に基づいて、対象となる各照合グループに関する登録処理を繰り返す。
In the
そして、顔管理サーバ５では、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。このとき、登録に失敗した照合グループを管理者に報告し、その照合グループに関する再登録を催促する。登録結果をログファイルで出力する。
When the batch registration process is completed, the
なお、ここでは、照合グループに関する一括登録処理について説明したが、照合グループに関する一括更新や一括削除の処理も可能である。 Note that although the bulk registration process regarding verification groups has been described here, bulk updating and bulk deletion processing regarding verification groups is also possible.
次に、本システムにおける顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除について説明する。図２２、図２３は、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update, and deletion regarding the association between the
管理端末２では、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図２２（Ａ）に示す参照画面、図２２（Ｂ）に示す登録画面、および図２３に示す削除画面が表示される。
The
図２２（Ａ）に示す参照画面は、登録済みの顔認証機１と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
The reference screen shown in FIG. 22(A) displays a list of association settings between registered
この参照画面には、一覧表示部１１１と顔認証機指定部１１２とが設けられている。一覧表示部１１１では、各認証機の機器ＩＤと、各認証機に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。顔認証機指定部１１２では、プルダウンメニューにより、対象となる顔認証機１（機器ＩＤ）を選択することができる。これにより、一覧表示部１１１の表示内容を特定の顔認証機１に絞り込むことができ、一覧表示部１１１に、特定の顔認証機１に関連付けられた照合グループのみが表示される。なお、顔認証機指定部１１２で顔認証機１を指定しない場合には、一覧表示部１１１に、全ての顔認証機１に関する情報が表示される。
This reference screen is provided with a
また、この参照画面では、項目（機器ＩＤ、顔認証機１、説明）を指定してソートを実行することができる。なお、一覧表示部１１１の表示件数（顔認証機１の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔認証機１、説明）に関する検索条件を指定して検索できるようにしてもよい。
Further, on this reference screen, it is possible to specify items (device ID, face
なお、図２２（Ａ）に示した例では、顔認証機１が設置された場所（例えば事業所の所在地）で顔認証機１がグループ分けされている。
Note that in the example shown in FIG. 22(A), the
図２２（Ｂ）に示す登録画面（第２の画面）は、顔認証機１と照合グループとの関連付け設定を行わせるものである。認証機に照合グループを関連付ける情報を登録することができる。
The registration screen (second screen) shown in FIG. 22(B) is for setting an association between the
この登録画面には、認証機指定部１１３と照合グループ指定部１１４と登録ボタン１１５とが設けられている。認証機指定部１１３では、プルダウンメニューにより、対象となる顔認証機１（機器ＩＤ）を選択することができる。照合グループ指定部１１４では、プルダウンメニューにより、対象となる顔認証機１の照合グループを選択することができる。このプルダウンメニューには、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。この登録画面で顔認証機１および照合グループを入力した上で登録ボタン１１５を操作すると、入力内容で照合グループ情報を登録する処理が顔管理サーバ５で行われる。
This registration screen is provided with an authentication
なお、１つの顔認証機１に複数の照合グループを関連付ける場合があるが、この場合には、登録画面で１つの顔認証機１に１つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部１１４を複数設けるようにしてもよい。
Note that a plurality of matching groups may be associated with one
図２３に示す削除画面は、顔認証機１と照合グループとの関連付け設定を削除するものである。
The deletion screen shown in FIG. 23 is for deleting the association settings between the
この削除画面には、一覧表示部１１６と顔認証機指定部１１７と削除ボタン１１８とが設けられている。一覧表示部１１６では、各認証機の機器ＩＤと、各顔認証機１に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。また、この一覧表示部１１６には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン１１８を操作すると、選択した登録事項を削除する処理が顔管理サーバ５で行われる。顔認証機指定部１１７では、プルダウンメニューにより顔認証機１を選択することができる。これにより、特定の顔認証機１に絞り込んだ状態で一覧表示部１１６の表示内容が更新される。
This deletion screen is provided with a
ここで、メニュー画面（図示せず）において参照を選択することで、図２２（Ａ）に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図２２（Ｂ）に示す登録画面に遷移する。また、メニュー画面において削除を選択することで、図２３に示す削除画面に遷移する。また、メニュー画面において更新を選択することで、更新画面（図示せず）に遷移する。また、参照画面において、管理者が、顔認証機１と照合グループとの関連付けを選択すると、更新画面（図示せず）に遷移する。
Here, by selecting reference on the menu screen (not shown), a transition is made to the reference screen shown in FIG. 22(A). Moreover, by selecting registration on the menu screen, the screen changes to the registration screen shown in FIG. 22(B). Furthermore, by selecting delete on the menu screen, the screen transitions to the deletion screen shown in FIG. 23. Furthermore, by selecting update on the menu screen, a transition is made to an update screen (not shown). Further, in the reference screen, when the administrator selects an association between the
なお、図２３に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面で削除ができるようにしてもよい。また、更新画面（図示せず）は、登録画面（図２２（Ｂ））と同様である。 Note that in the example shown in FIG. 23, a list of registered associations is displayed on the deletion screen, but it may be possible to delete them on an individual editing screen. Further, the update screen (not shown) is similar to the registration screen (FIG. 22(B)).
次に、顔認証機１と照合グループとの間の関連付けに関する登録処理について説明する。図２４は、顔認証機１と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。図２５は、顔認証機１と照合グループとの間の関連付けに関する登録処理の概要を示す説明図である。
Next, a registration process regarding association between the
管理端末２では、管理者が、登録画面（図参照）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において登録を選択する操作を行う。
On the
図２５に示すように、顔管理サーバ５では、管理端末２において登録画面を開く操作が行われると、登録機器（顔認証機１および顔照合サーバ６）に関するデータベースを参照して、顔認証機１のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機１のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末２に表示する。
As shown in FIG. 25, when the
次に、管理端末２では、管理者が、登録画面において、顔認証機１と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面（図２２（Ｂ）参照）において、顔認証機１と照合グループとの組み合わせを入力して登録ボタンを操作する。
Next, on the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの登録を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔認証機１と照合グループとの組み合わせで関連付け情報をデータベースに登録する。なお、顔認証機１と照合グループとの間の関連付けは、顔認証機１を再起動させることで反映される。
When an operation instructing registration of an association between the
そして、顔管理サーバ５では、登録処理が終了すると、登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。
When the registration process is completed, the
次に、顔認証機１と照合グループとの間の関連付けに関する参照処理について説明する。図２６は、顔認証機１と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
Next, a reference process regarding the association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面（図２２（Ａ）参照）を開く操作を行う。
At the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、顔認証機１と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ６を対象にした関連付け情報のリストを生成して、参照画面を管理端末２に表示させる。また、管理者が、参照画面において、対象となる顔認証機１を絞り込む操作を行うと、選択した顔認証機１を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末２に表示させる。また、管理者が、参照画面において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
また、顔管理サーバ５では、管理者アクセスログを記録する。
The
次に、顔認証機１と照合グループとの間の関連付けに関する更新処理について説明する。図２７は、顔認証機１と照合グループとの間の関連付けに関する更新処理の手順を示すシーケンス図である。
Next, an update process regarding the association between the
管理端末２では、管理者が、更新画面（図示せず）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において更新を選択する操作を行う。
At the
顔管理サーバ５では、管理端末２において更新画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔認証機１のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機１のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、更新画面を管理端末２に表示する。この更新画面では、顔認証機１と照合グループとの間の関連付けに関する登録情報に基づいて、初期状態で、現在登録されている組み合わせが表示される。
In the
次に、管理端末２では、管理者が、更新画面において、顔認証機１と照合グループとの間の関連付けの更新を指示する操作を行う。本実施形態では、更新画面（図示せず）において、更新内容を入力して更新ボタンを操作する。なお、更新内容とは、認証機と照合グループとの組み合わせを変更するものである。
Next, on the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの更新を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する更新処理を行う。この更新処理では、顔認証機１と照合グループとの間の関連付けに関するデータベースを、管理者が指定した内容で更新する。管理者が入力した認証機と照合グループとの組み合わせでデータベースの関連付け情報を更新する処理を行う。そして、顔管理サーバ５では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。
In the
次に、顔認証機１と照合グループとの間の関連付けに関する削除処理について説明する。図２８は、顔認証機１と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。
Next, a deletion process regarding the association between the
管理端末２では、管理者が、認証機と照合グループとの関連付けの削除を指示する操作を行う。本実施形態では、削除画面（図２３参照）において、登録事項（関連付け）を選択して削除ボタンを操作する。
At the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの削除を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、管理者が指定した顔認証機１と照合グループとの間の関連付け情報を削除する。
When an operation instructing deletion of the association between the
そして、顔管理サーバ５では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the deletion process is completed, the
次に、本システムにおける顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除について説明する。図２９、図３０は、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, and deletion regarding the association between the
管理端末２では、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図２９（Ａ）に示す参照画面、図２９（Ｂ）に示す登録画面、および図３０に示す削除画面が表示される。
The
図２９（Ａ）に示す参照画面は、登録済みの顔照合サーバ６と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
The reference screen shown in FIG. 29(A) displays a list of association settings between registered
この参照画面には、一覧表示部１２１と顔照合サーバ指定部１２２とが設けられている。一覧表示部１２１では、各顔照合サーバ６の機器ＩＤと、各認証機に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。顔照合サーバ指定部１２２では、プルダウンメニューにより、対象となる顔照合サーバ６（機器ＩＤ）を選択することができる。これにより、一覧表示部１２１の表示内容を特定の顔照合サーバ６に絞り込むことができ、一覧表示部１２１に、特定の顔照合サーバ６に関連付けられた照合グループのみが表示される。なお、顔照合サーバ指定部１２２で顔照合サーバ６を指定しない場合には、一覧表示部１２１に、全ての顔照合サーバ６に関する情報が表示される。
This reference screen is provided with a
また、この参照画面では、項目（機器ＩＤ、顔照合サーバ６、説明）を指定してソートを実行することができる。なお、一覧表示部１２１の表示件数（顔照合サーバ６の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔照合サーバ６、説明）に関する検索条件を指定して検索できるようにしてもよい。
Further, on this reference screen, it is possible to specify items (device ID, face matching
図２９（Ｂ）に示す登録画面（第２の画面）は、照合グループと顔照合サーバ６との間の関連付けを指定するものである。
The registration screen (second screen) shown in FIG. 29(B) is for specifying the association between the matching group and the
この登録画面には、顔照合サーバ指定部１２３と照合グループ指定部１２４と登録ボタン１２５とが設けられている。顔照合サーバ指定部１２２では、プルダウンメニューにより顔照合サーバ６の機器ＩＤを選択することができる。照合グループ指定部１２４では、プルダウンメニューにより照合グループを選択することができる。プルダウンメニューには、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。
This registration screen is provided with a face verification
顔照合サーバ６および照合グループを指定して登録ボタン１２５を操作すると、指定した顔照合サーバ６と照合グループとの組み合わせで照合グループと顔照合サーバ６との間の関連付け情報が登録される。
When the
なお、１つの顔照合サーバ６に複数の照合グループを割り当てる場合があり、この場合には、登録画面で１つの顔照合サーバ６に１つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部１２４を複数設けるようにしてもよい。
Note that a plurality of matching groups may be assigned to one
図３０に示す削除画面は、顔照合サーバ６と照合グループとの関連付け設定を削除するものである。
The deletion screen shown in FIG. 30 is for deleting the association settings between the
この削除画面には、一覧表示部１２６と顔照合サーバ指定部１２７と削除ボタン１２８とが設けられている。一覧表示部１２６では、各顔照合サーバ６の機器ＩＤと、各顔照合サーバ６に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。また、この一覧表示部１２６には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン１２８を操作すると、選択した登録事項を削除する処理が顔管理サーバ５で行われる。顔照合サーバ指定部１２７では、プルダウンメニューにより顔照合サーバ６を選択することができる。これにより、特定の顔照合サーバ６に絞り込んだ状態で一覧表示部１２６の表示内容が更新される。
This deletion screen is provided with a
ここで、図２９（Ａ）に示す参照画面は、メニュー画面（図示せず）で参照を選択することで表示される。図２９（Ｂ）に示す登録画面は、メニュー画面（図示せず）で登録を選択することで表示される。図３０に示す削除画面は、メニュー画面（図示せず）で削除を選択することで表示される。また、図２９（Ａ）に示す参照画面の一覧表示部１２１で顔照合サーバ６を選択すると、図２９（Ｂ）に示す登録画面に遷移し、ここで、顔照合サーバ６と照合グループとの関連付けを変更することができる。
Here, the reference screen shown in FIG. 29(A) is displayed by selecting reference on the menu screen (not shown). The registration screen shown in FIG. 29(B) is displayed by selecting registration on the menu screen (not shown). The deletion screen shown in FIG. 30 is displayed by selecting delete on the menu screen (not shown). Furthermore, when the
なお、図３０に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面（図示せず）で削除ができるようにしてもよい。 In the example shown in FIG. 30, a list of registered associations is displayed on the deletion screen, but deletion may be performed on an individual editing screen (not shown).
次に、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理について説明する。図３１は、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。
Next, registration processing regarding association between the
管理端末２では、管理者が、登録画面（図２９（Ｂ）参照）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において登録を選択する操作を行う。
On the
顔管理サーバ５では、管理端末２において登録画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔照合サーバ６のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔照合サーバ６のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末２に表示する。
In the
次に、管理端末２では、管理者が、登録画面において、顔照合サーバ６と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面（図２９（Ｂ）参照）において、顔照合サーバ６と照合グループとの組み合わせを入力して登録ボタン１２５を操作する。
Next, on the
顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの登録を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔照合サーバ６と照合グループとの組み合わせで関連付け情報をデータベースに登録する。
When an operation instructing registration of an association between the
また、顔管理サーバ５では、照合グループ登録のリクエストを、対象となる顔照合サーバ６に送る。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ登録のリクエストを受け取ると、照合グループに関する登録処理を行う。この登録処理では、照合グループを自装置の設定情報として登録する。そして、顔照合サーバ６では、登録処理が終了すると、登録のレスポンスを顔管理サーバ５に送る。
When the
顔管理サーバ５では、登録処理が終了すると、その登録処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the registration process is completed, the
次に、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理について説明する。図３２は、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
Next, reference processing regarding association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面（図２９（Ａ）参照）を開く操作を行う。
At the
顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理を行う。この参照処理では、顔照合サーバ６と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ６を対象にした関連付け情報のリストを生成して、参照画面を管理端末２に表示させる。また、管理者が、参照画面において、対象となる顔照合サーバ６を絞り込む操作を行うと、選択した顔照合サーバ６を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末２に表示させる。また、管理者が、参照画面において、項目を選択してソートを実行する操作を行うと、ソートした状態のリストを生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
また、顔管理サーバ５では、管理者アクセスログを記録する。
The
次に、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理について説明する。図３３は、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。図３４は、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理の概要を示す説明図である。
Next, deletion processing regarding the association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの削除を指示する操作を行う。本実施形態では、削除画面（図３０参照）において、対象となる関連付けを選択して削除ボタンを操作する。
At the
図３４に示すように、顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの削除を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、対象となる顔照合サーバ６と照合グループとの間の関連付け情報を削除する。また、対象となる顔照合サーバ６に関連する顔登録ＩＤを顔情報データベースから削除する。
As shown in FIG. 34, in the
また、顔管理サーバ５では、照合グループ削除のリクエストを、対象となる顔照合サーバ６に送る。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、自装置の照合グループに関する設定情報を削除する。そして、顔照合サーバ６では、削除処理が終了すると、レスポンスを顔管理サーバ５に送る。
When the
顔管理サーバ５では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the deletion process is completed, the
次に、利用者に関する登録、参照、更新および削除について説明する。図３５、図３６は、利用者に関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update, and deletion regarding users will be explained. 35 and 36 are explanatory diagrams showing screens displayed on the
管理端末２では、利用者に関する登録、参照、更新および削除の際に、図３５（Ａ）に示す個別編集画面、図３５（Ｂ）に示す検索画面、図３６に示す一覧表示画面が表示される。
On the
図３５（Ａ）に示す個別編集画面（第２の画面、第３の画面）は、利用者に関する登録、参照、更新および削除の操作を行うものである。 The individual editing screens (second screen, third screen) shown in FIG. 35(A) are used to perform user-related registration, reference, update, and deletion operations.
この登録画面には、姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６、および付加情報入力部１３７と、顔画像入力部１３８と、実行ボタン１３９とが設けられている。
This registration screen includes a
姓名入力部１３１では、利用者の姓名を入力することができる。利用者コード入力部１３２では、利用者コード、コード番号（例えば社員番号など）を入力することができる。照合グループ入力部１３３では、照合グループを入力することができる。照合グループ入力部１３３には、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。チェックボックスにより照合グループを選択することができる。アクセス許可グループ入力部１３４では、アクセス許可グループを入力することができる。プルダウンメニューによりアクセス許可グループを選択することができる。有効化日入力部１３５では、有効化日、すなわち、当該人物の顔照合を有効にすることができる日付を入力することができる。無効化日入力部１３６では、無効化日、すなわち、顔照合を無効にすることができる日付を入力することができる。この有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。付加情報入力部１３７では、付加情報を入力することができる。
In the
顔画像入力部１３８には、顔画像指定部１４１と選択ボタン１４２と顔画像表示部１４３とが設けられている。この顔画像指定部１４１では、利用者の撮影画像のファイルを指定することができる。管理端末２に予め格納された利用者の撮影画像のファイルを指定して選択ボタン１４２を操作すると、利用者の撮影画像が顔管理サーバ５を介して顔照合サーバ６に送られて、利用者の撮影画像から顔画像を生成する処理（顔検知、顔切り出しなど）が顔照合サーバ６で行われ、利用者の顔画像が顔画像表示部１４３に表示される。
The face
この登録画面において各項目の情報を入力して実行ボタン１３９を操作すると、入力内容に基づいて利用者の情報を登録する処理が行われる。
When information on each item is input on this registration screen and the
このように登録画面では、利用者に照合グループを割り振ることができ、これにより、利用者と照合グループとの間の関連付け情報がデータベースに登録される。また、この登録画面では、有効化日および無効化日を登録することができる。この有効化日および無効化日は、顔照合サーバ６に利用者の顔情報（顔特徴量データ）を保管している期間を規定するものであり、有効化日になると、利用者の顔画像データが顔照合サーバ６のデータベースに登録され、無効化日になると、利用者の顔画像データが顔照合サーバ６のデータベースから削除される。
In this way, on the registration screen, it is possible to allocate a verification group to a user, and thereby the association information between the user and the verification group is registered in the database. Also, on this registration screen, the activation date and the invalidation date can be registered. The activation date and the invalidation date define the period during which the user's facial information (facial feature data) is stored in the
また、この登録画面では、利用者の撮影画像を指定することで、利用者の顔画像データが顔照合サーバ６のデータベースに登録される。
Further, on this registration screen, by specifying a photographed image of the user, the user's facial image data is registered in the database of the
図３５（Ｂ）に示す検索画面は、登録済みの利用者情報に関する検索条件を入力するものである。検索条件に該当する利用者に絞り込んで一覧表示画面に表示させることができる。この検索画面には、姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６、および更新日時入力部１４４と、取得件数入力部１４５と、検索ボタン１４６とが設けられている。
The search screen shown in FIG. 35(B) is for inputting search conditions regarding registered user information. Users who meet the search conditions can be narrowed down and displayed on the list display screen. This search screen includes a first and last
姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６は、登録画面と同様である。更新日時入力部１４４では、更新日時（期間）を指定することができる。取得件数入力部１４５では、取得件数を指定することができる。
The
この検索画面において、必要な項目で検索条件を入力して検索ボタン１４６を操作すると、検索結果が反映された一覧表示画面（図３６参照）に遷移する。
On this search screen, when search conditions are entered in necessary items and the
図３６に示す一覧表示画面は、登録済みの利用者に関する一覧表示、一括更新および一括削除を行うものである。 The list display screen shown in FIG. 36 is used to display a list of registered users, to update them all at once, and to delete them all at once.
この参照画面を閲覧することで、利用者の登録内容を管理者が確認することができる。この一覧表示画面には、一覧表示部１４７と実行ボタン１４８とが設けられている。一覧表示部１４７では、利用者コード、姓名、照合グループなどが表示される。また、一覧表示部１４７には、利用者ごとにチェックボックスが設けられている。チェックボックスにより利用者を選択することができる。チェックボックスにより削除する利用者を選択して実行ボタン１４８（削除ボタン）を操作すると、選択した利用者を削除する処理が顔管理サーバ５で行われる。
By viewing this reference screen, the administrator can confirm the user's registered details. This list display screen is provided with a
また、一覧表示画面では、項目（利用者コード、姓名、照合グループなど）を指定してソート（並び替え）を行うことができる。なお、一覧表示部１４７の表示件数（利用者の人数）や、利用者コードや照合グループの表示範囲を指定できるようにしてもよい。また、各項目に関する検索条件を指定して検索できるようにしてもよい。 In addition, on the list display screen, it is possible to specify items (user code, first and last name, collation group, etc.) and perform sorting. Note that the number of items to be displayed in the list display section 147 (the number of users) and the display range of user codes and verification groups may be specified. Alternatively, the search may be performed by specifying search conditions for each item.
ここで、個別編集画面（図３５（Ａ）参照）は、利用者に関する登録、参照、更新および削除の操作を行うものである。具体的には、メニュー画面（図示せず）で登録を選択すると、未入力の個別編集画面が表示され、ここで利用者に関する情報を入力することで、利用者を新規登録することができる。また、一覧表示画面（図３６参照）で利用者を選択する操作を行うと、個別編集画面に遷移し、ここで登録済みの利用者に関する情報を個別に確認することができ（個別参照）、また、所要の項目の登録内容を入力しなおすことができ（個別更新）、また、所要の項目の登録内容を削除することができる（個別削除）。 Here, the individual editing screen (see FIG. 35(A)) is used to perform user-related registration, reference, update, and deletion operations. Specifically, when registration is selected on a menu screen (not shown), an uninputted individual editing screen is displayed, and by entering information regarding the user here, the user can be newly registered. In addition, when you select a user on the list display screen (see Figure 36), you will be redirected to the individual editing screen, where you can check information about registered users individually (individual reference). Furthermore, the registered contents of required items can be re-inputted (individual update), and the registered contents of required items can be deleted (individual deletion).
また、個別更新の際に、個別編集画面（図３５（Ａ）参照）の顔画像指定部１４１で、利用者の撮影画像を別に指定すると、その撮影画像から利用者の顔画像が新たに生成され、利用者の登録時の顔画像を新たな顔画像に差し替えることができる。
Furthermore, when performing individual updates, if a captured image of the user is separately specified in the face
また、一覧表示画面（図３６参照）は、登録済みの利用者に関する一括参照、一括更新および一括削除を行うものである。具体的には、メニュー画面（図示せず）で一覧表示を選択すると、一覧表示画面（図３６参照）が表示され、ここで登録済みの利用者に関する情報をまとめて確認することができる（一括参照）。また、チェックボックスの選択により、所要の利用者をまとめて削除することができる（一括削除）。また、一覧表のページ単位で情報の選択を可能にするチェックボックスを別途設けてもよい。 Further, the list display screen (see FIG. 36) is used to collectively refer to, collectively update, and collectively delete registered users. Specifically, if you select list display on the menu screen (not shown), a list display screen (see Figure 36) will be displayed, where you can check all the information about registered users (all at once). reference). Further, by selecting a check box, desired users can be deleted all at once (batch deletion). Further, a check box may be provided separately to enable selection of information on a page-by-page basis of the list.
また、複数の利用者の情報をまとめて更新することができる（一括更新）。この場合、検索画面（図３５（Ｂ）参照）において、対象となる利用者や照合グループなどの条件を指定して検索ボタン１４６を操作し、これに応じて表示された一覧表示画面（図３６参照）において、実行ボタン１４８（一括更新ボタン）を操作する。なお、一括更新では、利用者の氏名や利用者コードなどの利用者固有の情報以外の項目が更新対象となる。
Additionally, information for multiple users can be updated at once (batch update). In this case, on the search screen (see FIG. 35(B)), specify conditions such as target users and matching groups and operate the
また、メニュー画面（図示せず）で検索を選択すると、検索画面（図３５（Ｂ）参照）が表示され、この検索画面で検索条件を入力して検索ボタン１４６を操作すると、検索結果が反映された一覧表示画面（図３６参照）に遷移する。
In addition, if you select search on the menu screen (not shown), a search screen (see FIG. 35(B)) will be displayed, and if you enter search conditions on this search screen and operate the
次に、利用者に関する登録処理について説明する。図３７は、利用者に関する登録処理の手順を示すシーケンス図である。図３８は、利用者に関する登録処理の概要を示す説明図である。 Next, registration processing regarding users will be explained. FIG. 37 is a sequence diagram showing the procedure of registration processing regarding a user. FIG. 38 is an explanatory diagram showing an overview of user registration processing.
管理端末２では、管理者が、利用者に関する登録を指示する操作を行う。本実施形態では、登録モードの個別編集画面（図３５（Ａ）参照）において、管理者が、利用者の情報を入力し、また、利用者の撮影画像のファイルを指定した上で、登録ボタンを操作する。
At the
図３８に示すように、顔管理サーバ５では、管理端末２において利用者に関する登録を指示する操作が行われると、利用者に関する登録処理を開始する。この登録処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔画像抽出のリクエストを送る。このリクエストには、管理端末２から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、１つの顔照合サーバ６を選択して、その１つの顔照合サーバ６に顔画像抽出のリクエストを送る。
As shown in FIG. 38, in the
顔照合サーバ６では、顔管理サーバ５からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ５から取得した利用者の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、利用者の顔画像が含まれる。
Upon receiving a request for facial image extraction from the
顔管理サーバ５では、顔画像抽出のレスポンスを顔照合サーバ６から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ６から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、特定の顔照合サーバ６から取得した利用者の顔画像が含めて、全ての顔照合サーバ６に顔登録のリクエストを送る。
When the
顔照合サーバ６では、顔管理サーバ５からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、抽出した利用者の顔画像は削除される。また、顔特徴量のデータは、顔照合サーバ６の顔照合ＤＢとは別管理のＨＤＤやＳＳＤ等の不揮発性メモリへバックアップ保存してもよい。
Upon receiving the face registration request from the
顔管理サーバ５では、顔登録のレスポンスを顔照合サーバ６から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、管理端末２から取得した利用者の情報を顔情報データベースに登録する。また、顔管理サーバ５では、顔照合サーバ６から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ５では、顔照合サーバ６で発行された顔登録ＩＤを利用者の情報として顔情報データベースに登録する。
The
次に、顔管理サーバ５では、利用者に関する更新が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログにログを記録する。
Next, the
次に、利用者に関する一括登録処理について説明する。図３９は、利用者に関する一括登録処理の手順を示すシーケンス図である。 Next, the batch registration process regarding users will be explained. FIG. 39 is a sequence diagram showing the procedure of batch registration processing for users.
本実施形態では、対象となる複数の利用者に関するリスト情報が格納されたファイルを用いて、利用者の情報を一括して登録することができる。 In this embodiment, user information can be registered all at once using a file in which list information regarding a plurality of target users is stored.
具体的には、まず、管理端末２では、管理者が、利用者に関する一括登録を指示する操作を行う。本実施形態では、登録画面（図示せず）において、管理者が、対象となる利用者に関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
Specifically, first, on the
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末２の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で利用者の一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
At this time, the selected list information file is read and the list information is displayed on the confirmation screen of the
顔管理サーバ５では、管理端末２において利用者に関する一括登録を指示する操作が行われると、利用者に関する一括登録処理を開始する。この一括登録処理では、対象となる全ての利用者ごとに登録処理を繰り返す。各利用者に関する登録処理は、図３７に示した利用者に関する登録処理（個別登録処理）と同様である。
In the
そして、顔管理サーバ５では、対象となる全ての利用者について顔登録のレスポンスを顔照合サーバ６から受け取り、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。このとき、登録に失敗した利用者を管理者に報告し、その利用者に関する再登録を催促する。また、登録結果をログファイルで出力する。
Then, the
次に、利用者に関する参照処理について説明する。図４０は、利用者に関する参照処理の手順を示すシーケンス図である。 Next, reference processing regarding users will be explained. FIG. 40 is a sequence diagram showing the procedure of reference processing regarding a user.
管理端末２では、管理者が、利用者に関する一覧表示を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する一覧表示画面（図３６参照）を開く操作を行う。
At the
顔管理サーバ５では、管理端末２において利用者に関する一覧表示を指示する操作が行われると、データベースを参照して、全ての利用者を含むリスト情報を生成して、そのリスト情報に基づいて、管理端末２に一覧表示画面（図３６参照）を表示する。
When the
また、管理端末２では、管理者が、利用者に関する検索を指示する操作を行う。具体的には、管理者が、検索画面（図３５（Ｂ）参照）を表示して、その検索画面において、検索条件を入力して検索ボタンを操作する。
Furthermore, on the
顔管理サーバ５では、管理端末２において利用者に関する検索を指示する操作が行われると、データベースを参照して、検索条件に該当する利用者を対象にしてリスト情報を生成して、そのリスト情報に基づいて、検索結果としての一覧表示画面（図３６参照）を管理端末２に表示する。
In the
また、管理端末２では、管理者が、利用者の一覧表示に関するソートを指示する操作を行う。具体的には、管理者が、一覧表示画面において、項目を指定してソートを指示する操作を行う。
Further, on the
顔管理サーバ５では、管理端末２においてソートを指示する操作が行われると、指定した項目でソートされた利用者リスト情報を生成して、その利用者リスト情報に基づいて、ソートが反映された一覧表示画面を管理端末２に表示する。
When an operation instructing sorting is performed on the
なお、管理者が、一覧表示画面（図３６参照）において、利用者を選択して個別表示を指示する操作を行うと、顔管理サーバ５では、データベースを参照して、選択した利用者の情報を取得して、その利用者の情報に基づいて、管理端末２に個別編集画面（図３５（Ａ）参照）を表示する。
Note that when the administrator selects a user on the list display screen (see FIG. 36) and performs an operation to instruct individual display, the
次に、利用者に関する更新処理について説明する。図４１は、利用者に関する更新処理の手順を示すシーケンス図である。図４２は、利用者に関する更新処理の概要を示す説明図である。 Next, update processing regarding users will be explained. FIG. 41 is a sequence diagram showing the procedure of update processing regarding a user. FIG. 42 is an explanatory diagram showing an overview of update processing regarding users.
まず、利用者の撮影画像に変更がある場合について説明する。この場合、管理端末２では、管理者が、利用者に関する更新を指示する操作を行う。本実施形態では、更新の対象となる利用者を指定して表示させた更新モードで個別編集画面（図示せず）において、管理者が、利用者の情報を入力しなおし、また、利用者の撮影画像のファイルを差し替えた上で、更新ボタンを操作する。
First, a case where there is a change in the captured image of the user will be described. In this case, the administrator performs an operation on the
図４２に示すように、顔管理サーバ５では、管理端末２において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を開始する。この更新処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔画像抽出のリクエストを送る。このリクエストには、管理端末２から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、１つの顔照合サーバ６を選択して、その１つの顔照合サーバ６に顔画像抽出のリクエストを送る。
As shown in FIG. 42, in the
顔照合サーバ６では、顔管理サーバ５からの顔画像抽出のリクエストを受け取ると、顔画像抽出部８３において顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ５から取得した利用者の撮影画像に対して顔検知、顔切出しなどの処理を行い、利用者の顔画像を生成する。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、利用者の顔画像が含まれる。
When the
顔管理サーバ５では、顔画像抽出のレスポンスを顔照合サーバ６から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ６から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、特定の顔照合サーバ６から取得した利用者の顔画像が含めて、全ての顔照合サーバ６に顔登録のリクエストを送る。
When the
顔照合サーバ６では、顔管理サーバ５からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。
Upon receiving the face registration request from the
顔管理サーバ５では、顔登録のレスポンスを顔照合サーバ６から受け取ると、顔登録に成功した場合、顔登録のリクエストと同一の顔照合サーバ６に、顔特徴量削除のリクエストを送る。なお、顔登録に失敗した場合には、顔特徴量削除のリクエストは行わず、古い顔特徴量のままで顔照合が行われるようにする。
When the
顔照合サーバ６では、顔管理サーバ５からの顔特徴量削除のリクエストを受け取ると、顔特徴量削除処理を行う。この顔特徴量削除処理では、データベースに登録された対象者の古い顔特徴量を削除する。そして、顔特徴量削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔特徴量削除が正常に終了したか否かを表す結果が含まれる。
When the
顔管理サーバ５では、顔特徴量削除のレスポンスを顔照合サーバ６から受け取り、処理が正常に終了している場合には、利用者に関する更新処理を行う。この更新処理では、管理端末２から取得した利用者の情報で顔情報データベースの登録内容を更新する。また、顔照合サーバ６から取得した利用者の顔画像を顔情報データベースに登録する。また、顔照合サーバ６で発行された新しい顔登録ＩＤで顔情報データベースの登録内容を更新する。すなわち、古い顔登録ＩＤを削除して、その代わりに新しい顔登録ＩＤを登録する。
The
次に、顔管理サーバ５では、利用者に関する更新が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Next, the
次に、利用者の撮影画像に変更がない場合、すなわち、撮影画像以外の項目に変更がある場合について説明する。この場合、管理端末２では、管理者が、利用者に関する更新を指示する操作を行うが、このとき、更新モードの個別編集画面（図示せず）において、管理者が、利用者の情報を入力しなおした上で、更新ボタンを操作する。
Next, a case where there is no change in the user's photographed image, that is, a case where there is a change in items other than the photographed image will be described. In this case, on the
顔管理サーバ５では、管理端末２において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を行う。この更新処理では、管理者が入力した利用者の情報で顔情報データベースの登録内容を更新する。そして、利用者に関する更新が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
In the
次に、利用者に関する削除処理について説明する。図４３は、利用者に関する削除処理の手順を示すシーケンス図である。図４４は、利用者に関する削除処理の概要を示す説明図である。 Next, deletion processing regarding users will be explained. FIG. 43 is a sequence diagram showing the procedure of deletion processing regarding a user. FIG. 44 is an explanatory diagram showing an overview of deletion processing regarding a user.
管理端末２では、管理者が、利用者に関する削除を指示する操作を行う。本実施形態では、削除の対象となる利用者を指定して表示させた削除モードで個別編集画面（図示せず）において、管理者が、削除ボタンを操作する。また、削除モードの一覧表示画面（図示せず）において、管理者が、対象となる利用者を選択して一括削除ボタンを操作する。
At the
図４４に示すように、顔管理サーバ５では、管理端末２において利用者に関する削除を指示する操作が行われると、利用者に関する削除処理を開始する。この削除処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔削除のリクエストを送る。このとき、利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、全ての顔照合サーバ６に顔削除のリクエストを送る。
As shown in FIG. 44, the
顔照合サーバ６では、顔管理サーバ５からの顔削除のリクエストを受け取ると、対象となる利用者の顔情報に関する削除処理を行う。この削除処理では、該当する利用者の情報（顔特徴量データ）をデータベースから削除する。
Upon receiving the face deletion request from the
また、顔照合サーバ６では、削除処理が終了すると、顔削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、削除処理が正常に終了したか否かを表す結果が含まれる。
Furthermore, when the deletion process is completed, the
また、顔管理サーバ５では、顔照合サーバ６からの顔削除のレスポンスを受け取り、処理が正常に終了している場合には、利用者に関する削除処理を行う。この削除処理では、対象となる利用者の情報を顔情報データベースから削除する。そして、削除処理が終了すると、その削除処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Further, the
次に、顔照合サーバ６で行われる顔画像抽出処理について説明する。図４５は、顔画像抽出処理の概要を示す説明図である。
Next, the facial image extraction process performed by the
顔管理サーバ５では、顔画像抽出のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の撮影画像データと顔切出し条件（顔画像抽出条件）とが含まれる。なお、顔切出し条件とは、顔画像抽出処理（顔検知、顔サイズチェック、顔切出し）で使用されるパラメータである。具体的には、顔を複数検知した場合に採用する顔の数（顔検知数）、顔を検知する際に顔枠の面積および高さのいずれを基準とするかの顔採用方式、顔として採用する基準となる顔枠の幅および高さに関する最小値および最大値（顔サイズチェック閾値）などである。
The
顔照合サーバ６では、顔管理サーバ５から顔画像抽出のリクエストを受け取ると、顔画像抽出部８３において顔画像抽出処理を行う。この顔画像抽出処理では、顔検知、顔サイズチェック、顔切り出しの各処理を行う。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔画像データ（複数の場合もある）と、顔枠の位置情報（顔枠の左上の頂点の座標、顔枠の幅および高さ）とが含まれる。
When the
この顔照合サーバ６の顔画像抽出部８３で行われる処理は、顔認証機１の顔画像抽出部２２と同様である。すなわち、まず、顔認証機１から取得した撮影画像に含まれる顔領域を検知する（顔検知）。ここで、撮影画像に複数の顔領域が含まれる場合には、顔領域の面積や横幅に基づいて、顔領域を選別する。次に、撮影画像から検知した顔領域（顔枠）のサイズが所定の基準（適正範囲）を満たしているか否かを判定する（顔サイズチェック）。次に、カメラ１１の撮影画像に対して、顔検知で取得した顔領域（顔枠）を基準にして切り出し領域を設定して、その切出し領域の画像を顔画像として切り出して（顔切り出し）、顔画像を取得する。
The processing performed by the face
次に、顔照合サーバ６で行われる画像品質チェックについて説明する。図４６は、画像品質チェック処理の概要を示す説明図である。
Next, the image quality check performed by the
顔照合サーバ６の画像品質チェック部８２では、撮影画像データから検知された顔領域（顔枠）の画像が所定の品質を満足しているか否かを判定する。具体的には、画像からマスクの着用の有無およびサングラスの着用の有無を検知する。また、画像から顔認証適合度を算出する。顔認証適合度は、顔の向きや表情に応じた評価値である。
The image
この画像品質チェックの際には、まず、顔管理サーバ５では、画像品質チェックのリクエストを顔照合サーバ６に送る。このリクエストには、撮影画像データと顔枠情報とが含まれる。
When performing this image quality check, the
顔照合サーバ６では、顔管理サーバ５から画像品質チェックのリクエストを受け取ると、画像品質チェック部８２において、撮影画像内の顔領域（顔枠）の画像が所定の品質を満足しているか否かを判定して、品質評価値を算出する。そして、画像品質チェックのレスポンスを顔管理サーバ５に送る。このレスポンスには、品質評価値が含まれる。
When the
次に、顔登録の際に行われる顔特徴量生成処理について説明する。図４７は、顔特徴量生成処理の概要を示す説明図である。 Next, facial feature value generation processing performed during face registration will be described. FIG. 47 is an explanatory diagram showing an overview of facial feature amount generation processing.
顔照合サーバ６の顔特徴量生成部８４では、先に抽出した利用者の顔画像データから顔特徴量データを生成して、その顔特徴量データを顔照合ＤＢに保存する。
The facial feature
この顔特徴量生成の際には、まず、顔管理サーバ５または顔認証機１では、顔特徴量生成のリクエストを顔照合サーバ６に送る。
When generating this facial feature amount, first, the
顔照合サーバ６では、顔管理サーバ５から顔特徴量生成のリクエストを受け取ると、顔特徴量生成部８４において、先に抽出した顔領域の画像から顔特徴量データを生成する。そして、顔特徴量生成のレスポンスを顔管理サーバ５に送信する。
When the
次に、顔登録の際に行われる顔特徴量登録処理について説明する。図４８は、顔特徴量登録処理（特徴量指定）の概要を示す説明図である。図４９は、顔特徴量登録処理（画像指定）の概要を示す説明図である。 Next, facial feature amount registration processing performed during face registration will be described. FIG. 48 is an explanatory diagram showing an overview of facial feature amount registration processing (feature amount specification). FIG. 49 is an explanatory diagram showing an overview of facial feature amount registration processing (image designation).
顔照合サーバ６は、顔画像抽出の機能と顔特徴量生成の機能とを有しており、顔管理サーバ５からの要求に応じて、顔画像抽出および顔特徴量生成の各処理を行う。一方、同じ照合グループに複数の顔照合サーバ６が存在する場合には、各顔照合サーバ６の顔照合データベースに利用者の顔特徴量を重複して登録する必要がある。
The
このとき、１つの顔照合サーバ６で、顔画像抽出および顔特徴量生成の各処理を行い、ここで取得した顔特徴量を、残りの顔照合サーバ６に提供することで、全ての顔照合サーバ６で顔特徴量の登録が可能になる。この場合、顔管理サーバ５は、顔特徴量生成のレスポンスにおいて、ある１つの顔照合サーバ６で生成した顔特徴量データを受信しておき、残りの顔照合サーバ６への顔特徴量登録のリクエストに顔特徴量データを付加して顔特徴量登録の指示を行う（特徴量指定）。
At this time, one
また、１つの顔照合サーバ６で、顔画像抽出処理を行い、ここで取得した顔画像データを、残りの顔照合サーバ６に提供して、その残りの顔照合サーバ６で、顔特徴量生成処理を行うことで、全ての顔照合サーバ６で顔特徴量データの登録が可能になる。この場合、顔管理サーバ５は、顔画像抽出のレスポンスにおいて、ある１つの顔照合サーバ６から取得した顔画像データなどを受信しておき、残りの顔照合サーバ６への顔特徴量登録のリクエストに顔画像データなどを付加して顔特徴量登録の指示を行う（画像指定）。
Also, one
図４８に示すように、特徴量指定の場合には、まず、顔管理サーバ５では、顔特徴量登録のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の照合グループ、顔特徴量データ、利用者コードが含まれる。
As shown in FIG. 48, in the case of feature specification, the
顔照合サーバ６では、顔特徴量登録のリクエストを顔管理サーバ５から受け取ると、顔特徴量管理部８５において、リクエストに付加された利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔照合ユニットの顔照合データベースに登録する。また、顔照合サーバ６では、顔登録が完了した利用者に登録者コードを付与する。顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
When the
そして、顔照合サーバ６では、顔特徴量登録処理が終了すると、レスポンスを顔管理サーバ５に送る。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ＩＤ（登録者コード）が含まれる。
Then, the
図４９に示すように、画像指定の場合には、まず、顔管理サーバ５では、顔特徴量登録のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の照合グループと、利用者の撮影画像データと、顔枠情報と、利用者コードとが含まれる。
As shown in FIG. 49, in the case of image specification, the
顔照合サーバ６では、顔特徴量登録のリクエストを顔管理サーバ５から受け取ると、顔特徴量生成部８４において、リクエストに付加された利用者の顔画像データ（撮影画像データおよび顔枠情報）から顔特徴量データを生成して、顔特徴量管理部８５において、利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔認証プロセスの顔照合データベースに登録する。また、顔照合サーバ６では、顔登録が完了した利用者に登録者コードを付与する。また、顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
When the
そして、顔照合サーバ６では、顔特徴量登録のレスポンスを顔管理サーバ５に送信する。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ＩＤとが含まれる。
Then, the
次に、更新および削除の際に行われる顔特徴量削除処理について説明する。図５０は、顔特徴量削除処理の概要を示す説明図である。 Next, a description will be given of facial feature amount deletion processing performed during update and deletion. FIG. 50 is an explanatory diagram showing an overview of facial feature amount deletion processing.
利用者に関する削除の際には、対象となる利用者の顔特徴量データを、顔照合サーバ６の顔照合データベースから削除する。また、利用者に関する更新の際には、対象となる利用者の古い顔特徴量データを、顔照合サーバ６の顔照合データベースから削除する。なお、顔特徴量を削除した際には、対象となる利用者のその他の情報も削除され、顔特徴量と利用者との対応関係に関する情報も削除される。
When deleting a user, the facial feature amount data of the target user is deleted from the face matching database of the
具体的には、まず、顔管理サーバ５では、顔特徴量削除のリクエストを顔照合サーバ６に送る。このリクエストには、照合グループと、顔登録ＩＤとが含まれる。
Specifically, first, the
顔照合サーバ６では、顔管理サーバ５から削除のリクエストを受け取ると、顔特徴量管理部８５において、リクエストに付加された顔登録ＩＤに基づいて利用者を特定して、対象となる利用者の顔特徴量を顔照合データベースから削除する。このとき、対象となる利用者が複数の照合グループに属する場合には、照合グループごとに削除処理を行う。すなわち、照合グループごとの顔照合データベースから対象となる利用者の顔特徴量を削除する。
When the
また、顔照合サーバ６では、削除処理が終了すると、顔特徴量削除のレスポンスを顔管理サーバ５に送る。この削除のレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
Furthermore, when the deletion process is completed, the
次に、利用者に関する登録処理の際に行われる顔登録について説明する。図５１は、顔登録の概要を示す説明図である。 Next, face registration performed during user registration processing will be described. FIG. 51 is an explanatory diagram showing an outline of face registration.
顔管理サーバ５では、利用者に関する登録処理の際に、まず、顔画像抽出の処理を顔照合サーバ６に行わせて、顔照合サーバ６から取得した顔画像データを顔情報データベースに登録した後に、顔画像データを顔照合サーバ６に提供して、顔登録の処理を顔照合サーバ６に行わせる。この顔登録の処理では、顔管理サーバ５から取得した顔画像から顔特徴量を生成して、その顔特徴量を顔照合データベースに登録する。
In the
具体的には、まず、顔管理サーバ５では、顔登録のリクエストを顔照合サーバ６に送る。この顔登録のリクエストには、利用者コード、照合グループ、利用者登録ＩＤ、顔画像データが含まれる。
Specifically, first, the
顔照合サーバ６では、顔登録のリクエストを顔管理サーバ５から受け取ると、画像品質チェック部８２において、そのリクエストに付加された利用者の顔画像に対して画像品質チェックを行う。次に、顔特徴量生成部８４において、利用者の顔画像データから顔特徴量データを生成して、顔特徴量管理部８５において、利用者の顔特徴量データを、利用者の照合グループに対応する顔照合データベースに登録する。このとき、顔管理サーバ５の顔情報データベースで用いられる利用者登録ＩＤと、顔照合サーバ６の顔照合データベースで用いられる顔特徴量登録時の登録ＩＤとの間の関連付け情報を保存する。また、利用者登録ＩＤが既に登録されている場合、元の顔特徴量を削除して差し替える。また、顔照合データベースに利用者の情報として利用者コードを登録する。
When the
顔照合サーバ６では、利用者が属する全ての照合グループに対応する顔照合データベースへの登録処理が行うと、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、登録処理が正常に終了したか否かを表す処理結果が含まれる。
The
次に、顔管理サーバ５で行われる顔情報同期処理について説明する。図５２は、顔情報同期処理の概要を示す説明図である。
Next, the face information synchronization process performed by the
顔管理サーバ５の顔情報管理部６６は、顔照合サーバ６との間の同期処理を実行する。この同期処理では、顔管理サーバ５における顔情報データベースの登録内容と、顔照合サーバ６における顔照合データベースの登録内容とが一致したものとする。具体的には、顔管理サーバ５の顔情報データベースに登録された利用者情報（顔画像）と、顔照合サーバ６の顔照合データベースに登録された利用者の顔特徴量データとが互いに整合するものにする。また、顔照合サーバ６の照合グループに関する登録内容が顔管理サーバ５と顔照合サーバ６とで一致したものとする。
The face
ここで、同期処理のタイミングに関して、所定の周期で定期的に同期処理を実行する。また、利用者情報の登録、更新および削除が行われた際に、同期処理を実行する。また、照合グループが削除された際や、顔照合サーバ６を起動した際に、同期処理を実行する。
Here, regarding the timing of the synchronization process, the synchronization process is executed periodically at a predetermined cycle. Also, when user information is registered, updated, or deleted, synchronization processing is executed. Furthermore, synchronization processing is executed when a matching group is deleted or when the
また、同期処理の対象となる利用者に関して、すべての利用者を対象にして同期を行う。また、指定された利用者を対象にして同期を行う。また、指定された期間に更新された利用者を対象にして同期を行う。 Additionally, synchronization is performed for all users who are subject to synchronization processing. Additionally, synchronization is performed for specified users. In addition, synchronization is performed for users who updated during the specified period.
また、本実施形態では、利用者情報として、利用者ごとの有効化日および無効化日を登録する。有効化日は、対象となる利用者の顔照合を有効にすることができる日付であり、この有効化日以降の有効化状態となる期間では、利用者の顔認証が実施され、顔認証を受けることができる。無効化日は、顔照合を無効にすることができる日付であり、この無効化日以降の無効化状態となる期間では、利用者の顔認証が実施されず、顔認証を受けることができない。 Furthermore, in this embodiment, the activation date and invalidation date for each user are registered as user information. The activation date is the date on which face verification can be enabled for the target user, and during the period in which the activation status is after this activation date, the user's face recognition will be performed and face recognition will not be performed. Can receive. The invalidation date is the date when face verification can be invalidated, and during the period in which the face matching is in the invalidation state after this invalidation date, the user's face authentication will not be performed and the user will not be able to receive facial authentication.
また、顔管理サーバ５の顔情報管理部６６では、同期のタイミング判定として、全ての利用者を対象にして有効化および無効化の判定を行う。利用者の顔照合が有効化されて有効化期間に入った際に、顔登録処理、すなわち、対象となる利用者の顔特徴量データを登録する処理を行うように顔照合サーバ６に指示する。また、利用者の顔照合が無効化されて無効化期間に入った際に、顔削除処理、すなわち、対象となる利用者の顔特徴量データを削除する処理を行うように顔照合サーバ６に指示する。したがって、有効化日以前の期間や、無効化日以降の期間では、顔照合サーバ６に利用者の顔情報（顔特徴量データ）は保管されていない。
In addition, the face
また、顔管理サーバ５は、顔照合サーバ６において所定の処理が正常に終了したか否かを判定し、処理が失敗して再実行が必要と判定すると、顔照合サーバ６に処理の再実行を指示する。ここで、対象となる処理は、顔登録、顔削除、照合グループの登録、照合グループの削除の各処理である。
In addition, the
なお、顔管理サーバ５では、同期ログ（同期処理の履歴情報）を記録する。
Note that the
次に、顔特徴量データのコピー処理について説明する。図５３は、顔特徴量データのコピー処理の概要を示す説明図である。 Next, the process of copying facial feature amount data will be explained. FIG. 53 is an explanatory diagram illustrating an overview of facial feature amount data copy processing.
本実施形態では、顔照合サーバ６において照合グループごとに顔照合データベースを設けて、照合グループ単位で利用者の顔特徴量データを管理するようにしており、また、負荷分散や死活対応などのために、同じ照合グループの顔照合データベースを複数設けるようにしている。このため、同じ利用者の顔特徴量データが複数の顔照合データベースに登録する必要がある。一方、利用者の顔画像データから顔特徴量データを生成する処理は、負荷が大きく、この処理を複数の顔照合サーバ６で繰り返し行うことは効率的でない。
In this embodiment, a face matching database is provided for each matching group in the
そこで、本実施形態では、利用者の顔特徴量データを既に生成して顔照合データベースに登録している場合、２つの顔照合データベース間で顔特徴量データのコピーを行う。すなわち、元の顔照合データベースに登録された顔特徴量データを利用して別の顔照合データベースの登録を行うことができる。 Therefore, in this embodiment, if the user's facial feature data has already been generated and registered in the face matching database, the facial feature data is copied between the two face matching databases. That is, facial feature data registered in the original face matching database can be used to register another face matching database.
顔管理サーバ５の顔情報管理部６６は、顔情報データベースに基づいて、顔照合データベースにおける利用者ごとの顔特徴量データの登録状況を管理しており、利用者の顔画像データに関する何らかの変更があった場合、２つの顔照合データベース間で顔特徴量データのコピーを指示する（転送指示）。
The face
このとき、個人単位の変更があった場合には、図５３（Ａ）に示すように、個人単位の顔特徴量データのコピーを行う（個人コピー）。例えば、利用者を新規に登録した場合や更新した場合、個人単位の顔特徴量データのコピーを行う。また、特定の利用者に関する顔照合の精度を高めるため、異なる顔画像データを用いて顔特徴量データを追加して生成して、同一の利用者に対して顔特徴量データを複数登録する場合がある。この場合も、特定の利用者のみを対象にして、個人単位の顔特徴量データのコピーを行う。 At this time, if there is a change on an individual basis, the face feature amount data on an individual basis is copied as shown in FIG. 53(A) (individual copy). For example, when a user is newly registered or updated, facial feature amount data for each individual is copied. In addition, in order to improve the accuracy of face matching for a specific user, when additional facial feature data is generated using different facial image data and multiple facial feature data are registered for the same user. There is. In this case as well, facial feature amount data on an individual basis is copied only for a specific user.
また、照合グループ単位の変更があった場合には、図５３（Ｂ）に示すように、照合グループ単位で顔特徴量データのコピーを行う（クループコピー）。例えば、照合グループを新規に登録した場合、最初に顔特徴量データを登録した顔照合データベースの顔特徴量データを一括して、同一の登録内容となる２番目以降の顔照合データベースにコピーする。また、負荷分散や冗長化のために、同一の登録内容の顔照合データベースを複数設ける場合も、利用者の顔特徴量データを照合グループ単位でコピーする。 Furthermore, if there is a change in the matching group, as shown in FIG. 53(B), the face feature amount data is copied in the matching group (group copy). For example, when a new matching group is registered, the facial feature amount data of the first face matching database in which the facial feature amount data is registered is copied all at once to the second and subsequent face matching databases that have the same registered content. Furthermore, even when multiple face matching databases with the same registered content are provided for load distribution or redundancy, the user's facial feature amount data is copied in units of matching groups.
次に、本システムにおける顔認証時の処理について説明する。図５４は、顔認証時の処理の概要を示す説明図である。 Next, processing during face authentication in this system will be explained. FIG. 54 is an explanatory diagram showing an overview of processing during face authentication.
顔認証機１では、カメラ１１の撮影画像から人物の顔を検知して顔画像を取得すると、顔照合のリクエストを顔照合サーバ６に送信する。この顔照合のリクエストには、要求元の顔認証機１の機器ＩＤと、顔認証機１の照合グループと、顔認証の対象者の撮影画像データと、顔枠情報と、照合条件とが含まれる。
When the
顔照合サーバ６では、まず、顔特徴量生成部８４において、顔認証機１から取得した対象者の顔画像から対象者の顔特徴量を生成する。次に、顔認証機１の照合グループに対応する顔照合ユニットの顔特徴量照合部８６において、対象者の顔特徴量と、顔認証データベースに登録された利用者の顔特徴量とを照合する。このとき、要求元の顔認証機１と照合グループが一致する顔認証プロセスで顔照合が行われる。顔照合が終了すると、顔照合のレスポンスを要求元の認証機に送信する。この顔照合のレスポンスには、照合結果（成功、失敗）と、照合スコアと、利用者コードとが含まれる。
In the
顔特徴量照合部８６では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。
The facial feature
なお、顔照合サーバ６で行われる顔照合の処理条件（顔照合のパラメータ）を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ６で行われる顔照合の処理内容を顔認証機１から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。
Note that processing conditions for face matching (face matching parameters) performed by the
また、顔照合サーバ６では、顔照合が終了すると、認証ログ管理部８７において、顔照合で取得した照合結果などの情報を認証ログ（顔認証の履歴情報）としてデータベースに保存する。このとき、顔認証の結果（成功、失敗）のみを認証ログとして保存する他、照合スコアを認証ログに含めるようにしてもよい。また、顔認証機１から取得した対象者の顔画像を認証ログに含めるようにしてもよい。この場合、対象者の顔画像を暗号化して保存するとよい。
Further, in the
なお、照合スコアが閾値を超えた有効な照合結果が多数得られた場合には、照合スコアの高い方から所定数の照合結果に絞り込んで認証ログとして保存するようにしてもよい。また、顔照合が正常に終了しなかった場合や、照合スコアが閾値を超えた有効な照合結果が得られなかった場合には、顔認証機１からのリクエストに含まれる情報のみを認証ログとして保存するようにしてもよい。
Note that if a large number of valid matching results with matching scores exceeding a threshold are obtained, the matching results may be narrowed down to a predetermined number of matching results starting from the one with the highest matching score and saved as an authentication log. In addition, if face matching does not complete normally or if a valid matching result with a matching score exceeding the threshold cannot be obtained, only the information included in the request from
図５５は、認証ログに関する参照処理の概要を示す説明図である。 FIG. 55 is an explanatory diagram showing an overview of reference processing regarding authentication logs.
顔照合サーバ６では、顔管理サーバ５を介した管理端末２からの要求に応じて、自装置に蓄積された認証ログ（顔認識履歴情報）を管理端末２に送り、管理端末２において、認証ログ情報を管理者が閲覧することができる。このとき、管理者が条件を指定することができ、指定した条件に該当する認証ログを管理者が閲覧することができる。
In response to a request from the
具体的には、管理端末２では、認証ログを検索するための検索条件を入力する画面が表示され、この画面において、管理者が、検索条件として、顔認証の要求元の顔認証機１、利用者、抽出件数、顔照合が実行された照合日時（抽出期間）、および照合結果（成功、失敗）などを指定することができる。
Specifically, on the
顔管理サーバ５の認証ログ提示部６９では、管理端末２において管理者が検索条件を入力して検索を指示する操作が行われると、認証ログ参照のリクエストを顔照合サーバ６に送る。この認証ログ参照のリクエストには、管理者が指定した検索条件が含まれる。このとき、認証ログ提示部６９では、顔認証機１と照合グループの関連付けに関する情報と、顔照合サーバ６と照合グループの関連付けに関する情報と、利用者に関する情報とに基づいて、対象となる顔認証機１または利用者と照合グループが一致する顔照合サーバ６を特定して、その顔照合サーバ６に認証ログ参照のリクエストを送る。また、顔管理サーバ５では、管理者アクセスログを記録する。
The authentication
顔照合サーバ６では、認証ログ参照のリクエストを顔管理サーバ５から受け取ると、そのリクエストに含まれる検索条件にしたがって認証ログを検索し、検索結果として、検索条件に該当する認証ログをまとめたリストを生成して、その認証ログのリストを、認証ログ参照のレスポンスに付加して顔管理サーバ５に送る。なお、対象者の顔画像を認証ログとして顔管理サーバ５に送信することができるが、この場合、対象者の顔画像は暗号化されているため、復号した上でレスポンスに付加する。
When the
顔管理サーバ５では、認証ログ参照のレスポンスを顔照合サーバ６から受け取ると、そのレスポンスに含まれる認証ログのリストに基づいて、管理者が指定した検索条件に該当する認証ログが一覧表示された検索結果の画面を管理端末２に表示させる。このとき、顔照合サーバ６で絞り込みができない検索条件に関して、認証ログのリストの中から検索条件に該当する認証ログを抽出して、絞り込みができた認証ログのリストを生成する。
When the
なお、管理端末２では、項目を指定してソートを指示することができ、この操作が行われると、顔管理サーバ５では、認証ログのリストに対して、指定された項目でソートを実行して、ソート済みの認証ログのリストを生成する。また、管理端末２では、認証ログの取得件数を指定することができ、この操作が行われると、顔照合サーバ６では、取得件数分だけ認証ログを抽出して認証ログのリストを生成する。また、管理端末２では、期間を指定することができ、この操作が行われると、顔照合サーバ６では、期間に含まれる認証ログを抽出して認証ログのリストを生成する。
Note that on the
図５６は、管理端末２に表示される認証ログ参照画面を示す説明図である。
FIG. 56 is an explanatory diagram showing an authentication log reference screen displayed on the
管理端末２では、認証ログ参照画面が表示される。この認証ログ参照画面には、検索条件指定部１５１と検索結果表示部１５２とが設けられている。
On the
検索条件指定部１５１では、検索条件として、対象となる顔認証機１の機器ＩＤ、利用者コード、取得件数、照合日時、および照合結果の各項目を入力することができる。なお、照合日時の項目では、期間（始点および終点）を指定することができる。また、照合結果の項目では、プルダウンメニューにより、成功、失敗、成功および失敗の両方を選択することができる。この検索条件指定部１５１において各項目の検索条件を入力した上で、検索ボタン１５３を操作すると、検索条件に該当する認証ログを検索する検索が実行されて、検索結果表示部１５２に検索結果が表示される。
In the search
検索結果表示部１５２では、検索結果として、照合日時、照合結果（成功、失敗）、および顔画像の各項目のデータが一覧表示される。顔画像の項目では、照合結果が成功である場合には、顔認証機１から取得した顔認証の対象者の顔画像と、登録された利用者の顔画像とが表示される。照合結果が失敗である場合には、顔認証の対象者の顔画像のみが表示される。これにより、指定した顔認証機１や利用者に関する認証ログを管理者が確認することができ、また、照合日時や照合結果で認証ログを絞り込んで確認することができる。
The search
この検索結果表示部１５２では、項目を指定してソート（並び替え）を行うことができる。また、保存ボタン１５４を操作すると、検索結果表示部１５２に表示された認証ログ情報が所定のフォーマットで保存される。これにより、指定した顔認証機１や利用者に関する認証ログを、管理者が時系列で確認することができる。
In this search
次に、顔認証機１の外部アプリケーション連携の機能について説明する。図５７は、顔認証機１の外部アプリケーション連携の概要を示す説明図である。
Next, the external application cooperation function of the
顔認証機１は、外部アプリケーション連携の機能を備えており、顔照合サーバ６から取得した認証結果を、外部アプリケーション、すなわち、外部システムの管理サーバ８（管理装置）に通知する。外部システムは、本システムの認証結果を利用して利用者に各種のサービスを提供するものである。例えば、外部システムは入退管理システムであり、認証結果が成功である場合にはドアを開錠する制御を行う。また、外部システムは決済システムであり、認証結果が成功である場合には決済を実行する制御を行う。
The
また、顔認証機１は、認証結果調整部２５（接続アプリケーション）を備えており、この認証結果調整部２５を介して認証結果を外部システムの管理サーバ８に通知する。顔認証機１は、名前付きパイプ（プロセス間通信）を介して認証結果調整部２５に認証結果（成功、失敗）を通知する。認証結果調整部２５は、所定のプロトコル（ＷｅｂＳｏｃｋｅｔ）によりネットワークを介して認証結果を外部システムの管理サーバ８に通知する。なお、認証結果調整部２５では、外部システムにおける認証結果の利用方法に応じて、情報の加工や付加などの必要な処理を行うようにしてもよい。
The
顔認証機１の顔照合要求部２３は、顔照合のリクエストを顔照合サーバ６に送り、これに応じて、顔照合のレスポンスを顔照合サーバ６から受け取ると、そのレスポンスに含まれる認証結果（認証成功、認証失敗）を名前付きパイプに書き込んで接続アプリケーションに通知する。このとき、顔認証機１は、認証結果として、認証者とカメラ１１の識別情報を更に取得して、認証結果の通知に付加する。具体的には、認証結果が成功である場合には、利用者コードと顔認証機１（カメラ１１）の機器ＩＤとを名前付きパイプに書き込む。一方、認証結果が失敗である場合には、認証結果（認証失敗）のみを名前付きパイプに書き込む。
The face
また、顔認証機１の認証結果調整部２５では、外部システムに対して、同一内容の認証結果の通知を繰り返さないように、認証結果の通知を抑制する。本実施形態では、認証結果の通知を接続アプリケーションに対して行うと、通知抑制時間を設定し、その通知抑制時間内では、同一内容の認証結果の通知を一時的に停止する。
In addition, the authentication
ある人物に関する認証成功の通知を行うと、その認証成功の通知から所定時間（認証成功の通知抑制時間）内は、その人物に関する認証成功の通知を抑制する。また、ある人物に関する認証失敗の通知を行うと、その認証失敗の通知から所定時間（認証失敗の通知抑制時間）内は、その人物に関する認証失敗の通知を抑制する。 When a notification of successful authentication regarding a certain person is given, notification of successful authentication regarding that person is suppressed for a predetermined period of time (notification success notification suppression time) from the notification of successful authentication. Further, when a notification of authentication failure regarding a certain person is given, notification of authentication failure regarding that person is suppressed within a predetermined time (authentication failure notification suppression time) from the notification of authentication failure.
この通知抑制時間は、認証結果（認証成功、認証失敗）および人物ごとに設定され、認証結果が異なると同一人物でも通知抑制時間が別々に設定され、認証結果が同一でも人物が異なると通知抑制時間が別々に設定される。したがって、ある人物に関する認証失敗の通知抑制時間内では、その人物に関する認証成功の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、その人物に関する認証失敗の通知を行うことができる。また、ある人物に関する認証失敗の通知抑制時間内では、別の人物に関する認証失敗の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、別の人物に関する認証成功の通知を行うことができる。 This notification suppression time is set for each authentication result (authentication success, authentication failure) and each person. If the authentication result is different, the notification suppression time is set separately for the same person, and even if the authentication result is the same but the notification is suppressed for different people. The times are set separately. Therefore, within the notification suppression time of authentication failure regarding a certain person, notification of authentication success regarding that person can be given, and within the notification suppression time of authentication success regarding a certain person, notification of authentication failure regarding that person cannot be given. can. Additionally, within the notification suppression time for authentication failure regarding a certain person, notification of authentication failure regarding another person can be sent, and within the notification suppression time for authentication success regarding a certain person, notification of authentication success regarding another person can be sent. be able to.
次に、本システムにおける稼働状況監視機能について説明する。図５８は、本システムにおける稼働状況監視機能の概要を示す説明図である。 Next, the operating status monitoring function of this system will be explained. FIG. 58 is an explanatory diagram showing an overview of the operating status monitoring function in this system.
顔認証機１は、稼働状況監視部２６を備えている。この稼働状況監視部２６は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に顔管理サーバ５（監視サーバ）に通知する。また、顔照合サーバ６は、稼働状況監視部８９を備えている。この稼働状況監視部８９は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に顔管理サーバ５（監視サーバ）に通知する。
The
顔管理サーバ５は、稼働状況監視部６８を備えている。この稼働状況監視部６８は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に自装置に記録する。また、顔管理サーバ５は、顔認証機１および顔照合サーバ６から通知される稼動状況を自装置に記録する。
The
ここで、通知される稼働状況に関する情報は、機器ＩＤ、取得時刻、死活状況、プログラムのバージョン情報などが含まれる。 Here, the information regarding the operating status that is notified includes the device ID, acquisition time, life and death status, program version information, and the like.
また、管理端末２では、顔管理サーバ５に対して稼働状況の参照を要求することで、管理者が稼働状況を確認することができる。
Further, in the
次に、顔照合サーバ６におけるプログラムのバージョンアップに伴う顔照合データベースの更新について説明する。
Next, updating of the face matching database in accordance with the version upgrade of the program in the
顔照合サーバ６では、顔照合の精度を高めるため、顔特徴量生成プログラムや顔照合プログラムのバーのジョンアップ（更新）が適宜に行われる。一方、顔特徴量データは顔特徴量生成や顔照合のアルゴリズムに依存し、そのアルゴリズムを変更すると、顔特徴量データも変化するため、顔特徴量データの生成をやり直す必要がある。
In the
そこで、本実施形態では、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われると、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。すなわち、既に保管されている顔特徴量データを削除し、利用者の登録時の顔画像データに基づいて顔特徴量データを再生成して、その新たな顔特徴量データを保管する。 Therefore, in this embodiment, when a program related to facial feature generation and face matching algorithms is upgraded, the facial feature data registered in the face matching database is updated to correspond to the new program. . That is, the facial feature amount data that has already been stored is deleted, the facial feature amount data is regenerated based on the facial image data at the time of user registration, and the new facial feature amount data is stored.
具体的には、顔管理サーバ５において、稼働状況通知機能により、顔照合プログラムのバージョンアップを検知すると、顔照合サーバ６に顔特徴量データの更新のリクエストを送る。このリクエストには利用者の顔画像が含まれる。顔照合サーバ６での顔特徴量管理部８５は、顔特徴量データの更新のリクエストを受け取ると、利用者の顔画像から顔特徴量データを生成する処理を顔特徴量生成部８４に行わせて、新しい顔特徴量データを顔照合データベースに登録する。
Specifically, when the
このとき、複数の顔照合サーバ６において、顔照合プロセスおよび顔照合データベースが同一である場合、すなわち、複数の顔照合サーバ６同士で、顔照合データベースに登録されている顔特徴量データが同一であり、また、顔照合プロセスで、同一の照合グループの顔認証機１を対象にした顔照合処理を行われる場合には、１つの顔照合サーバ６において、顔特徴量データを再生成して、その新たな顔特徴量データを顔照合データベースに登録すると、その顔照合データベースに登録された顔特徴量データを別の顔照合サーバ６にコピーして、顔照合データベースの登録内容を同一のものにする。
At this time, if the face matching processes and face matching databases are the same in the plurality of
このとき、顔管理サーバ５から複製先の顔照合サーバ６に複製を指示し、顔管理サーバ５を介して、複製元の顔照合サーバ６に保管された顔特徴量データを複製先の顔照合サーバ６に転送すればよい。
At this time, the
次に、バックアップおよびレストアについて説明する。 Next, backup and restoration will be explained.
本実施形態では、顔管理サーバ５および顔照合サーバ６に保管されたデータベースやファイルのバックアップおよびレストアを行うことができる。
In this embodiment, databases and files stored in the
顔管理サーバ５に保管されている情報でバックアップ対象となるものは、利用者情報（顔情報）のデータベース、顔画像のファイル、照合グループ情報のデータベース、認証機と照合グループ関連付け情報のデータベース、照合サーバと照合グループ関連付け情報のデータベース、および管理者アクセスログのファイルなどである。
The information stored in the
顔照合サーバ６に保管されている情報でバックアップ対象となるものは、認証ログのデータベース、および顔画像のファイルなどである。
The information stored in the
図５９は、管理端末２に表示されるバックアップ画面およびレストア画面を示す説明図である。なお、バックアップ画面およびレストア画面は、画面内のタブで切り替えることができる。
FIG. 59 is an explanatory diagram showing a backup screen and a restore screen displayed on the
図５９（Ａ）に示すように、バックアップ画面には、バックアップ先指定部１６１とバックアップ対象指定部１６２と進捗状況表示部１６３と実行ボタン１６４とが設けられている。バックアップ先指定部１６１では、バックアップ先を指定することができる。バックアップ対象指定部１６２では、バックアップの対象となる機器として顔管理サーバ５および顔照合サーバ６を選択することができる。実行ボタン１６４を操作するとバックアップが実行される。進捗状況表示部１６３では、バックアップの対象となるデータ項目が一覧表示される。このデータ項目では、バックアップの終了に応じてチェックマークが表示され、バックアップの進捗状況を管理者が認識することができる。
As shown in FIG. 59(A), the backup screen is provided with a backup
ここで、バックアップの対象となるデータは、利用者情報（顔情報）のデータベース、登録した利用者の顔画像のファイル、照合グループ情報のデータベース、顔認証機１と照合グループとの間の関連付け情報のデータベース、顔照合サーバ６と照合グループとの間の関連付け情報のデータベース、管理者アクセスログのファイル、認証ログのデータベース、および顔認証の対象者の顔画像のファイルなどである。
Here, the data to be backed up is a database of user information (face information), a file of registered user face images, a database of verification group information, and association information between the
図５９（Ｂ）に示すように、レストア画面には、バックアップ画面と同様に、レストア先指定部１６５とレストア対象指定部１６６と進捗状況表示部１６７と実行ボタン１６８とが設けられている。レストア先指定部１６５では、レストア先を指定することができる。レストア対象指定部１６６では、レストアの対象となる機器として顔管理サーバ５および顔照合サーバ６を選択することができる。実行ボタン１６８を操作するとレストアが実行される。進捗状況表示部１６７では、レストアの対象となるデータ項目が一覧表示される。このデータ項目では、レストアの終了に応じてチェックマークが表示され、レストアの進捗状況を管理者が認識することができる。
As shown in FIG. 59(B), the restore screen is provided with a restore
次に、本実施形態の変形例について説明する。図６０は、本実施形態の変形例に係る顔画像抽出処理の概要を示す説明図である。 Next, a modification of this embodiment will be described. FIG. 60 is an explanatory diagram showing an overview of face image extraction processing according to a modification of the present embodiment.
前記の実施形態（図１２参照）では、利用者の撮影画像データから顔画像データを生成する顔画像抽出処理を顔認証機１および顔照合サーバ６で行うようにしたが、本変形例では、顔画像抽出処理を顔認証機１および顔管理サーバ５で行い、顔画像抽出処理を顔照合サーバ６で行わないようにする。具体的には、前記の実施形態で顔照合サーバ６に設けた顔画像抽出部８３を省略し、顔管理サーバ５に顔画像抽出部２０１が設けられている。
In the embodiment described above (see FIG. 12), the face image extraction process for generating face image data from the photographed image data of the user is performed by the
利用者登録時には、管理端末２から顔管理サーバ５に利用者の撮影画像データを送ることで、顔管理サーバ５の顔画像抽出部２０１で顔画像抽出処理が行われる。一方、顔認証時には、顔認証機１の顔画像抽出部２２で顔画像抽出処理が行われ、これは前記の実施形態と同様である。
At the time of user registration, the
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, the embodiments have been described as examples of the technology disclosed in this application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, etc. are made. Furthermore, it is also possible to create a new embodiment by combining the components described in the above embodiments.
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジデバイスと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジデバイスとクラウドサーバに搭載されたプロセッサにより、顔認証処理を分散して処理することが可能である。この顔認証処理においては、エッジデバイスとして、認証機のカメラにより撮影された利用者の顔画像データを取得する。次に、クラウドサーバは、ネットワークを介してエッジデバイスより受信した顔画像データから特徴量データを生成する処理を実行し、予め登録された利用者の特徴量データと照合して、利用者の認証処理を実行し、その認証処理にかかる認証結果を顔認証アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジデバイスまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたＷｅｂアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。 In recent years, in the world of IoT (Internet of Things), CPS (Cyber Physical Systems), a new concept that creates new added value by linking information between physical space and cyber space, has been attracting attention. Under these circumstances, the CPS concept can also be adopted in this embodiment. In other words, as a basic configuration of CPS, for example, an edge device located in physical space and a cloud server located in cyberspace are connected via a network, and the processors installed in the edge device and cloud server It is possible to perform authentication processing in a distributed manner. In this face authentication process, the edge device acquires the user's face image data photographed by the camera of the authentication device. Next, the cloud server executes processing to generate feature data from the face image data received from the edge device via the network, and compares it with pre-registered user feature data to authenticate the user. The process is executed, and the authentication result related to the authentication process is taken over by the facial recognition application software and displayed on a display or the like in an output format defined on the application. Here, each data generated on an edge device or a cloud server is preferably generated using a web application installed on a standardized platform, and by using such a standardized platform, various types of sensor groups can be generated. It is possible to improve efficiency when building systems including IoT application software.
本発明に係る顔認証システム、顔認証サーバ装置、顔認証機、顔認証方法、および顔認証プログラムは、顔認証サービスの提供者ごとに顔認証機能を安定かつ効率的に運用することができる効果を有し、対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システム、顔認証サーバ装置、顔認証機、顔認証方法、および顔認証プログラムなどとして有用である。 The face recognition system, face recognition server device, face recognition machine, face recognition method, and face recognition program according to the present invention have the advantage that the face recognition function can be operated stably and efficiently for each face recognition service provider. The present invention is useful as a face recognition system, a face recognition server device, a face recognition machine, a face recognition method, a face recognition program, etc. that performs face recognition processing based on image data obtained by photographing a subject.
１ 顔認証機
２ 管理端末（端末装置、顔認証管理装置）
３ 顔認証サーバ（サーバ装置）
５ 顔管理サーバ（顔画像管理部）
６ 顔照合サーバ（顔画像照合部）
1 Face
3 Face recognition server (server device)
5 Face management server (face image management department)
6 Face matching server (face image matching section)
Claims (4)
複数の顔認証機と、
この顔認証機とネットワークを介して接続されるサーバ装置と、
を有し、
前記顔認証機は、
次々に現れる前記対象者を撮影するカメラと、
このカメラの撮影により取得した前記対象者の顔画像データ、当該顔認証機の照合グループ、照合条件を含む顔照合要求を前記サーバ装置へ送信する顔照合要求部と、
前記サーバ装置から前記対象者の認証結果を受信する認証結果受信部と、
を備え、
前記サーバ装置は、
前記顔認証機から送信された前記対象者の前記顔照合要求を受信する要求受信部と、
前記対象者の顔画像データから前記対象者の顔特徴量データの生成処理を実行する顔特徴量生成部と、
前記対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を前記照合グループ単位に実行する顔特徴量照合部と、
この顔特徴量照合部の前記照合処理による前記対象者の認証結果を含む顔照合応答を前記顔認証機に送信する認証結果送信部と、を備え、
前記顔認証機は、前記顔照合要求に含まれる前記照合条件として、照合スコアに関する閾値を指示し、前記サーバ装置は、前記対象者の認証結果が成功の場合、前記閾値以上となる前記照合スコアを含めて前記顔照合応答を前記顔認証機に送信することを特徴とする顔認証システム。 A face recognition system that executes face recognition processing based on image data taken of a person to be face recognized,
Multiple facial recognition machines,
A server device connected to this face recognition machine via a network,
has
The face recognition machine is
a camera that photographs the subjects that appear one after another ;
a face matching request unit that transmits a face matching request including face image data of the subject obtained through photography by the camera, a matching group of the face authentication device, and matching conditions to the server device ;
an authentication result receiving unit that receives an authentication result of the target person from the server device;
Equipped with
The server device includes:
a request receiving unit that receives the face verification request of the target person transmitted from the face authentication device;
a facial feature generation unit that executes a process of generating facial feature data of the target person from facial image data of the target person;
a facial feature matching unit that performs matching processing between the target person's facial feature data and the registrant's facial feature data for each matching group ;
an authentication result transmitting unit that transmits a face matching response including the authentication result of the subject person by the matching process of the facial feature matching unit to the face authentication machine,
The face authentication device instructs a threshold regarding the matching score as the matching condition included in the face matching request, and the server device specifies the matching score that is equal to or higher than the threshold when the authentication result of the subject is successful. A face authentication system characterized by transmitting the face matching response including the face matching response to the face authentication device .
前記照合処理で取得した認証結果および照合スコアを含む顔認証の履歴情報を管理する認証履歴管理部を備えることを特徴とする請求項１に記載の顔認証システム。 The server device includes:
2. The face authentication system according to claim 1, further comprising an authentication history management unit that manages face authentication history information including authentication results and matching scores obtained in the matching process .
前記顔認証機に対応した前記照合グループごとに複数の前記顔特徴量照合部を有することを特徴とする請求項１に記載の顔認証システム。 The server device includes:
2. The face authentication system according to claim 1, further comprising a plurality of said facial feature matching units for each of said matching groups corresponding to said face authentication device.
前記サーバ装置にネットワークを介して接続される複数の前記顔認証機のプロセッサは、
カメラにより次々に現れる前記対象者を撮影し、
そのカメラの撮影により取得した前記対象者の顔画像データ、当該顔認証機の照合グループ、照合条件を含む顔照合要求を前記サーバ装置へ送信し、
前記サーバ装置から前記対象者の認証結果を受信し、
前記サーバ装置のプロセッサは、
前記顔認証機から前記対象者の前記顔照合要求を受信し、
前記対象者の顔画像データから前記対象者の顔特徴量データの生成処理を実行し、
前記対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を前記照合グループ単位に実行し、
ここで取得した前記対象者の認証結果を含む顔照合応答を前記顔認証機に送信し、
さらに、前記顔認証機のプロセッサは、前記顔照合要求に含まれる前記照合条件として、照合スコアに関する閾値を指示し、前記サーバ装置のプロセッサは、前記対象者の認証結果が成功の場合、前記閾値以上となる前記照合スコアを含めて前記顔照合応答を前記顔認証機に送信することを特徴とする顔認証方法。 A face recognition method in which a face recognition machine and a server device perform face recognition processing based on image data of a person to be subjected to face recognition, the method comprising:
The processors of the plurality of face authentication machines connected to the server device via a network,
Photographing the subjects who appear one after another with a camera,
Sending a face matching request including face image data of the target person obtained by photographing with the camera, a matching group of the face authentication device, and matching conditions to the server device ;
receiving the authentication result of the target person from the server device;
The processor of the server device includes:
receiving the face matching request of the subject from the face authentication device;
performing a process of generating facial feature data of the target person from facial image data of the target person;
performing a matching process between the target person's facial feature data and the registrant's facial feature data for each matching group ;
Sending a face matching response including the authentication result of the subject obtained here to the face authentication machine,
Further, the processor of the face authentication device instructs a threshold regarding a matching score as the matching condition included in the face matching request, and the processor of the server device specifies the threshold when the authentication result of the subject is successful. A face authentication method characterized in that the face matching response including the above matching score is transmitted to the face authentication device .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022173515A JP7429885B2 (en) | 2019-02-01 | 2022-10-28 | Facial recognition system and method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019017310A JP2020126349A (en) | 2019-02-01 | 2019-02-01 | Face authentication system, face authentication server apparatus, face recognition unit, face authentication method, and face authentication program |
| JP2022173515A JP7429885B2 (en) | 2019-02-01 | 2022-10-28 | Facial recognition system and method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019017310A Division JP2020126349A (en) | 2019-02-01 | 2019-02-01 | Face authentication system, face authentication server apparatus, face recognition unit, face authentication method, and face authentication program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023001219A JP2023001219A (en) | 2023-01-04 |
| JP7429885B2 true JP7429885B2 (en) | 2024-02-09 |
Family
ID=72083982
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019017310A Pending JP2020126349A (en) | 2019-02-01 | 2019-02-01 | Face authentication system, face authentication server apparatus, face recognition unit, face authentication method, and face authentication program |
| JP2022173515A Active JP7429885B2 (en) | 2019-02-01 | 2022-10-28 | Facial recognition system and method |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019017310A Pending JP2020126349A (en) | 2019-02-01 | 2019-02-01 | Face authentication system, face authentication server apparatus, face recognition unit, face authentication method, and face authentication program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP2020126349A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006306191A (en) | 2005-04-27 | 2006-11-09 | Denso Corp | Personal authentication system for vehicle |
| WO2009008077A1 (en) | 2007-07-11 | 2009-01-15 | Fujitsu Limited | User authentication judging device, user authentication judging system, user authentication judging program and user authentication judging method |
| JP2014002506A (en) | 2012-06-18 | 2014-01-09 | Hitachi Information & Telecommunication Engineering Ltd | Authentication system and authentication method |
| WO2015151196A1 (en) | 2014-03-31 | 2015-10-08 | 楽天株式会社 | Authentication system, authentication method, and authentication program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009223524A (en) * | 2008-03-14 | 2009-10-01 | Seiko Epson Corp | Image processor, image processing method, and computer program for image processing |
| JP2011233133A (en) * | 2010-04-09 | 2011-11-17 | Miyake Inc | Shoplifting preventing system |
| US20160189162A1 (en) * | 2014-12-29 | 2016-06-30 | Toshiba Tec Kabushiki Kaisha | Information processing system, and storage medium which stores information processing program |
-
2019
- 2019-02-01 JP JP2019017310A patent/JP2020126349A/en active Pending
-
2022
- 2022-10-28 JP JP2022173515A patent/JP7429885B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006306191A (en) | 2005-04-27 | 2006-11-09 | Denso Corp | Personal authentication system for vehicle |
| WO2009008077A1 (en) | 2007-07-11 | 2009-01-15 | Fujitsu Limited | User authentication judging device, user authentication judging system, user authentication judging program and user authentication judging method |
| JP2014002506A (en) | 2012-06-18 | 2014-01-09 | Hitachi Information & Telecommunication Engineering Ltd | Authentication system and authentication method |
| WO2015151196A1 (en) | 2014-03-31 | 2015-10-08 | 楽天株式会社 | Authentication system, authentication method, and authentication program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020126349A (en) | 2020-08-20 |
| JP2023001219A (en) | 2023-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7122693B2 (en) | Face authentication system and face authentication method | |
| JP2022176383A (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108884B2 (en) | Face authentication server device, registration processing method and registration processing program | |
| JP7065413B2 (en) | Face recognition machine and face recognition method | |
| JP7429885B2 (en) | Facial recognition system and method | |
| JP7398759B2 (en) | Facial recognition system and method | |
| JP7411939B2 (en) | Facial recognition system, facial recognition method and facial recognition program | |
| JP7378034B2 (en) | Face recognition system, face recognition machine, face recognition method and face recognition program | |
| JP7336681B2 (en) | Face authentication system and face authentication method | |
| JP7289068B2 (en) | Face recognition machine and face recognition method | |
| JP7108882B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108883B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108881B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7113339B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7113338B2 (en) | Face authentication system and face authentication method | |
| JP7113340B2 (en) | Face recognition machine and face recognition method | |
| JP7038351B2 (en) | Face recognition server device, registration processing method and registration processing program | |
| JP2022176382A (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP2020126335A (en) | Face authentication system and face authentication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7429885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |