JP7507390B2 - Behavioral observation system and behavioral observation method - Google Patents
Behavioral observation system and behavioral observation method Download PDFInfo
- Publication number
- JP7507390B2 JP7507390B2 JP2020051697A JP2020051697A JP7507390B2 JP 7507390 B2 JP7507390 B2 JP 7507390B2 JP 2020051697 A JP2020051697 A JP 2020051697A JP 2020051697 A JP2020051697 A JP 2020051697A JP 7507390 B2 JP7507390 B2 JP 7507390B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- information
- face
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 66
- 230000003542 behavioural effect Effects 0.000 title claims description 15
- 230000001815 facial effect Effects 0.000 claims description 147
- 238000012545 processing Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 49
- 230000006399 behavior Effects 0.000 description 64
- 238000010586 diagram Methods 0.000 description 63
- 230000004044 response Effects 0.000 description 43
- 238000004891 communication Methods 0.000 description 39
- 238000000605 extraction Methods 0.000 description 35
- 238000009826 distribution Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 10
- 238000003825 pressing Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本開示は、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システム及び行動観察方法に関する。 This disclosure relates to a behavior observation system and a behavior observation method for observing the behavior of a group of users of a complex facility that includes multiple facilities.
従来、グループ及びそのグループに属する個人に対する情報提供などを目的として、グループに属する人物の顔画像からグループ区分（またはグループの属性）を判定する技術が開発されている。 Technology has been developed to determine group classifications (or group attributes) from facial images of people belonging to a group, with the aim of providing information about groups and individuals belonging to those groups.
例えば、撮像手段を介して人物の顔画像を取得し、取得した顔画像が複数個あった場合に人物の数を取得し、取得した顔画像から特徴量を取得し、その特徴量に基づいて人物の属性を取得し、それら人物の属性と人物の数とから人物の属するグループ属性を決定する情報提供装置が知られている（特許文献１参照）。この従来の情報提供装置は、そのグループ属性に応じて提供すべき提供情報を決定し、その決定した提供情報をその人物に向けて出力する。 For example, there is a known information providing device that acquires a face image of a person via an imaging means, acquires the number of people if multiple face images are acquired, acquires features from the acquired face images, acquires attributes of the person based on the features, and determines a group attribute to which the person belongs based on the person attributes and the number of people (see Patent Document 1). This conventional information providing device determines the information to be provided based on the group attribute, and outputs the determined information to be provided to the person.
上述のような情報提供装置が、統合型リゾートのような複合施設を利用する複数のグループの構成員（その少なくとも一部）に情報を配信する場合、そのグループ及びその構成員の行動（例えば、移動状況や店舗等の利用状況）を把握できれば、より効果的な情報配信を実現できる可能性がある。 When an information providing device such as that described above distributes information to members (at least some of) of multiple groups using a complex facility such as an integrated resort, it may be possible to realize more effective information distribution if the behavior of the group and its members (e.g., travel patterns and usage of stores, etc.) can be understood.
また、そのような行動を適切に把握できれば、グループで行動する複合施設の利用者に提供されるサービスの向上にも役立つ可能性がある。 Furthermore, if we can properly understand such behavior, it could help improve the services provided to users of complexes who travel in groups.
しかしながら、上記特許文献１に記載の従来技術では、複合施設におけるグループ及びその構成員の行動を把握するための手段や方法については一切開示されていない。
However, the prior art described in
そこで、本開示は、複合施設の利用者からなるグループの行動を適切に把握できる行動観察システム及び行動観察方法を提供することを主な目的とする。 Therefore, the main objective of this disclosure is to provide a behavior observation system and a behavior observation method that can appropriately grasp the behavior of a group of users of a complex facility.
本開示の行動観察システムは、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システムであって、前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得する登録管理装置と、前記複数の施設にそれぞれ配置され、前記グループを撮影することにより、グループ画像を生成する複数の撮影装置と、前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行する顔認証装置と、前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行する決済装置と、前記複合施設における前記グループの移動履歴の情報を生成する移動情報生成装置と、を備え、前記移動情報生成装置は、前記決済処理が行われた複数の前記施設に関する情報に基づき前記移動履歴の情報を生成する、構成とする。 The behavioral observation system disclosed herein is a behavioral observation system that observes the behavior of a group consisting of users of a complex facility including multiple facilities, and includes a registration management device that acquires facial images for registration of the users who are registered as registered members of the complex facility, a plurality of photographing devices that are respectively disposed in the multiple facilities and generate a group image by photographing the group, a face authentication device that performs face authentication processing based on the facial images for authentication of the users acquired from the group image and the facial images for registration, a payment device that performs payment processing for products purchased or services used by the users at each facility based on the results of the face authentication processing, and a movement information generation device that generates information on the movement history of the group in the complex facility, and the movement information generation device is configured to generate the information on the movement history based on information on the multiple facilities where the payment processing was performed.
本開示の行動観察方法は、複数の施設を含む複合施設の利用者からなるグループの行動を観察するサーバを備える行動観察システムの行動観察方法であって、前記サーバは、ａ）前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得し、ｂ）前記複数の施設にそれぞれ配置された撮影装置により、前記グループを撮影することにより、グループ画像を生成し、ｃ）前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行し、ｄ）前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行し、ｅ）前記複合施設における前記グループの移動履歴の情報を生成し、ｆ）前記移動履歴の情報は、前記決済処理が行われた複数の前記施設に関する情報に基づき生成される、構成とする。 The behavioral observation method disclosed herein is a behavioral observation method for a behavioral observation system including a server that observes the behavior of a group consisting of users of a complex facility including multiple facilities, wherein the server a) acquires facial images for registration of the users who are to be registered as registered members of the complex facility, b) generates a group image by photographing the group with photographing devices disposed in each of the multiple facilities, c) performs facial recognition processing based on the facial images for authentication and the facial images for registration of the users acquired from the group image, d) performs payment processing for products purchased or services used by the users at each of the facilities based on the results of the facial recognition processing, e) generates information on the movement history of the group within the complex facility, and f) the movement history information is generated based on information regarding the multiple facilities where the payment processing was performed.
本開示によれば、複合施設の利用者からなるグループの行動を適切に把握できる。 This disclosure makes it possible to properly understand the behavior of a group of users of a complex facility.
前記課題を解決するためになされた第１の発明は、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システムであって、前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得する登録管理装置と、前記複数の施設にそれぞれ配置され、前記グループを撮影することにより、グループ画像を生成する複数の撮影装置と、前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行する顔認証装置と、前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行する決済装置と、前記複合施設における前記グループの移動履歴の情報を生成する移動情報生成装置と、を備え、前記移動情報生成装置は、前記決済処理が行われた複数の前記施設に関する情報に基づき前記移動履歴の情報を生成する、構成とする。 The first invention made to solve the above problem is a behavior observation system that observes the behavior of a group consisting of users of a complex facility including multiple facilities, and includes a registration management device that acquires facial images for registration of the users who are registered as registered members of the complex facility, a plurality of photographing devices that are respectively arranged in the multiple facilities and generate a group image by photographing the group, a face authentication device that performs face authentication processing based on the facial images for authentication of the users acquired from the group image and the facial images for registration, a payment device that performs payment processing of products purchased or services used by the users at each of the facilities based on the results of the face authentication processing, and a movement information generation device that generates information on the movement history of the group in the complex facility, and the movement information generation device is configured to generate the information on the movement history based on information on the multiple facilities where the payment processing was performed.
これによると、グループに属する利用者の各施設における決済処理の情報に基づき、グループの移動履歴の情報を生成するため、複合施設の利用者からなるグループの行動を適切に把握できる。 This allows information on the group's movement history to be generated based on payment processing information for users belonging to the group at each facility, making it possible to properly understand the behavior of a group of users at a complex facility.
また、第２の発明は、前記移動履歴の情報を表示する表示装置を更に備えた、構成とする。 The second invention is further configured to include a display device that displays the movement history information.
これによると、行動観察システムの管理者は、複合施設の利用者からなるグループの行動を容易に把握できる。 This allows the administrator of the behavioral observation system to easily understand the behavior of groups of users in a complex facility.
また、第３の発明は、前記グループ画像に基づき、前記グループをその性質の違いによって区別するためのグループ区分を判定するグループ判定装置を更に備え、前記移動履歴の情報は、前記グループ区分と共に前記表示装置に表示される、構成とする。 The third invention further includes a group determination device that determines a group classification for distinguishing the groups based on the group image according to differences in their properties, and the movement history information is displayed on the display device together with the group classification.
これによると、複合施設の利用者からなるグループの行動を、グループの性質の違いに基づき適切に把握できる。 This allows us to properly understand the behavior of groups of users of a complex facility based on differences in the characteristics of the groups.
また、第４の発明は、前記移動履歴の情報には、所定の時刻または時間帯における前記グループの位置情報が含まれる、構成とする。 The fourth invention is configured such that the movement history information includes location information of the group at a specified time or time period.
これによると、複合施設の利用者からなるグループの行動を、所定の時刻または時間帯におけるグループの移動履歴に基づき適切に把握できる。 This allows the behavior of a group of users of a complex to be properly understood based on the group's movement history at a given time or period of time.
また、第５の発明は、前記移動履歴の情報には、前記グループに属する１以上の前記利用者の前記各施設における決済情報が含まれる、構成とする。 The fifth invention is configured such that the movement history information includes payment information at each of the facilities of one or more of the users belonging to the group.
これによると、複合施設の利用者からなるグループの行動を、各施設における１以上の利用者の決済情報に基づき適切に把握できる。 This allows the behavior of a group of users of a complex to be properly understood based on the payment information of one or more users at each facility.
また、第６の発明は、前記表示装置は、前記移動履歴の情報として、前記グループの移動履歴を含む前記複合施設のマップ画面を表示する、構成とする。 In a sixth aspect of the present invention, the display device displays a map screen of the complex that includes the movement history of the group as the movement history information.
これによると、行動観察システムの管理者は、複合施設の利用者からなるグループの行動を、表示装置に表示されたマップ画面によって容易に把握できる。 This allows the administrator of the behavioral observation system to easily grasp the behavior of a group of users of a complex facility by looking at the map screen displayed on the display device.
また、第７の発明は、複数の施設を含む複合施設の利用者からなるグループの行動を観察するサーバを備える行動観察システムの行動観察方法であって、前記サーバは、ａ）前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得し、ｂ）前記複数の施設にそれぞれ配置された撮影装置により、前記グループを撮影することにより、グループ画像を生成し、ｃ）前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行し、ｄ）前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行し、ｅ）前記複合施設における前記グループの移動履歴の情報を生成し、ｆ）前記移動履歴の情報は、前記決済処理が行われた複数の前記施設に関する情報に基づき生成される、構成とする。 Further, a seventh invention is a behavior observation method for a behavior observation system including a server that observes the behavior of a group consisting of users of a complex facility including multiple facilities, wherein the server a) acquires a facial image for registration of the users who are to be registered as registered members of the complex facility, b) generates a group image by photographing the group with a photographing device disposed in each of the multiple facilities, c) performs facial recognition processing based on the facial image for authentication and the facial image for registration of the users acquired from the group image, d) performs payment processing for products purchased or services used by the users at each of the facilities based on the results of the facial recognition processing, e) generates information on the movement history of the group within the complex facility, and f) the movement history information is generated based on information regarding the multiple facilities where the payment processing was performed.
これによると、グループに属する利用者の各施設における決済処理の情報に基づき、グループの移動履歴の情報を生成するため、複合施設の利用者からなるグループの行動を適切に把握できる。 This allows information on the group's movement history to be generated based on payment processing information for users belonging to the group at each facility, making it possible to properly understand the behavior of a group of users at a complex facility.
以下、本開示の実施の形態を、図面を参照しながら説明する。 The following describes an embodiment of the present disclosure with reference to the drawings.
図１は、本実施形態に係る施設管理システムの全体構成図である。 Figure 1 is a diagram showing the overall configuration of a facility management system according to this embodiment.
この施設管理システムは、顔認証機１と、管理端末２と、顔認証サーバ３（顔認証装置、登録管理装置）と、グループ管理サーバ４（グループ判定装置、情報配信装置、移動情報生成装置）と、登録装置５と、施設ディスプレイ６（表示装置）と、施設カメラ７（撮影装置）と、を備える。顔認証サーバ３は、顔管理サーバ８と、顔照合サーバ９と、を備えている。それらの各構成要素は、施設管理システムに複数設けられ得る。
This facility management system comprises a
施設管理システムは、複合施設の利用者（特に、複数の利用者からなるグループ）に対して有益な情報を提供する情報配信システムとして機能し得る。また、施設管理システムは、複合施設における利用者の行動（特に、利用者からなるグループの行動）を観察するための行動観察システムとしても機能し得る。 The facility management system can function as an information distribution system that provides useful information to users of a complex facility (especially a group of multiple users). The facility management system can also function as a behavior observation system for observing the behavior of users in a complex facility (especially the behavior of a group of users).
複合施設は、例えば統合型リゾートである。複合施設には、会議施設、展示施設、魅力増進施設（劇場、演芸場、音楽堂、競技場、映画館、博物館、美術館、レストランなど）、送客施設（駅、駐車場など）、宿泊施設およびアミューズメント施設などが含まれ得る。また、複合施設は、任意のエリア（例えば、地方自治体のエリア）に設けられた複数の公共施設や商業施設の集合であってもよい。 An example of a complex is an integrated resort. A complex can include conference facilities, exhibition facilities, attraction-enhancing facilities (such as theaters, entertainment halls, music halls, stadiums, movie theaters, museums, art galleries, restaurants, etc.), customer transportation facilities (such as stations and parking lots), accommodation facilities, and amusement facilities. A complex can also be a collection of multiple public facilities and commercial facilities located in a given area (such as an area of a local government).
顔認証機１、管理端末２、グループ管理サーバ４、登録装置５、施設ディスプレイ６、施設カメラ７、顔管理サーバ８および顔照合サーバ９は、インターネットなどのネットワークを介して相互に通信可能に接続されている。また、グループ管理サーバ４、登録装置５、及び顔管理サーバ８等は、複合施設の利用者の携帯端末１０と、ネットワークを介して通信可能である。携帯端末１０には、スマートフォン及びタブレット端末などが含まれる。
The
顔認証機１は、複合施設のエリアの出入口、ならびに複合施設を構成する各施設の建物の出入口や部屋の出入口など、顔認証が必要とされる複数の場所にそれぞれ設置される。登録装置５は、複合施設の来訪者等の受付を行う受付カウンタなどに配置される。顔照合サーバ９は、顔認証機１の台数などに応じて所要の数が設けられる。
The
顔認証機１は、顔認証用のカメラ１１（撮影装置）を備えており、このカメラ１１により、複合施設の利用者（複合施設への来訪者）が写る撮影画像を取得する。この撮影画像には、グループで行動する複数の利用者が写るグループ画像が含まれる。複合施設の適所には、複数の施設カメラ７が設置されている。各施設カメラ７は、顔認証用のカメラ１１と同様に利用者の撮影画像を取得することができる。例えば、顔認証用のカメラ１１には一方向性のカメラが用いられ、各施設カメラ７には全方位カメラが用いられる。
The
また、顔認証機１は、顔認証用のディスプレイ１２を有している。ディスプレイ１２は、顔照合サーバ９から取得した顔認証結果を表示する。この表示により、利用者は顔認証結果を把握することができる。
管理端末２は、ＰＣで構成され、施設管理システムの管理者によって操作される。管理端末２のディスプレイ３２（表示装置）には、管理者が施設管理システムを管理するための各種情報が表示される。また、複合施設の適所には、複数の施設ディスプレイ６が設置されている。各施設ディスプレイ６は、管理端末２からの指令に応じて、利用者向けの情報または複合施設のスタッフ向けの情報を表示することができる。
The
管理端末２には、管理アプリケーションがインストールされている。この管理アプリケーションは、顔認証機１、グループ管理サーバ４、登録装置５、施設ディスプレイ６、施設カメラ７、顔管理サーバ８、及び顔照合サーバ９の各動作を管理するために用いられる。管理者は、管理アプリケーションにより、種々の管理業務を行うことができる。なお、管理アプリケーションはＷｅｂアプリケーションとして実装される。
A management application is installed on the
グループ管理サーバ４は、複合施設においてグループで行動する利用者を管理する。具体的には、グループ管理サーバ４は、顔認証サーバ３等と協働することにより、複合施設におけるグループの行動の観察や、グループの構成員（グループに属する１以上の利用者）に対して情報配信などを行う。
The
登録装置５は、利用者の顔認証の処理に用いられる情報（以下、登録者情報という。）を取得する。登録者情報には、各利用者の登録用の顔画像や、その顔画像以外の利用者の登録情報が含まれ得る。複合施設の利用者は、施設管理システムに登録者情報を登録することにより、複合施設の登録者（登録済みの利用者）として扱われる。登録者は、複合施設の正規の利用者であり、顔認証に基づくセキュリティゲートの通過や、顔認証に基づく決済処理などを行うことができる。
The
登録情報には、利用者の氏名のように永続的に利用者を特定可能な情報が含まれ得る。また、登録情報には、利用者を特定可能な一時的な情報が含まれ得る。そのような一時的な情報には、複合施設の利用者に一時的に付与される登録者番号や、複合施設内で登録者が使用する会議室（面談が可能な任意のスペースを含む）の番号や、宿泊施設等で登録者が滞在する部屋の番号などが含まれる。 The registration information may include information that can permanently identify the user, such as the user's name. The registration information may also include temporary information that can identify the user. Such temporary information may include a registration number temporarily assigned to users of a complex, the number of a conference room (including any space available for interviews) used by the registrant within the complex, or the number of the room in which the registrant stays at a lodging facility, etc.
また、登録情報には、複合施設の利用方法について利用者の意思を確認するための情報も含まれ得る。そのような情報には、携帯端末１０等への情報配信を利用者が希望するか否かの情報などが含まれる。
The registration information may also include information for confirming the user's intentions regarding how to use the complex. Such information may include information regarding whether or not the user wishes to have information delivered to the
利用者は、複合施設を利用するためのアプリ（アプリケーションプログラム）１８を自身の携帯端末１０にインストールすることができる。アプリ１８は、上述の登録装置５の代わりに、利用者から登録者情報を取得する機能を有する。つまり、携帯端末１０は、登録装置５として機能し得る。以下では、主として登録装置５について説明するが、携帯端末１０が登録装置５として機能する場合もそれと同様である。
A user can install an app (application program) 18 for using the complex on his or her
顔管理サーバ８は、各登録者の情報（個人情報を含む）を取得し、それらを一元管理する。具体的には、顔管理サーバ８は、各登録者について、登録用の顔画像のデータおよび登録情報を関連付けて蓄積し、それらを管理する。顔管理サーバ８は、登録用の顔画像および登録情報を、利用者の登録時に登録装置５（または携帯端末１０）から取得する。また、顔管理サーバ８は、登録用の顔画像および登録情報に含まれる少なくとも一部の情報を管理端末２（すなわち、施設管理システムの管理者）から取得してもよい。
The
顔照合サーバ９は、顔認証時に、１以上の顔認証の対象者の認証用の顔画像のデータを顔認証機１から取得して、その顔画像のデータから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。
During face authentication, the
また、顔照合サーバ９は、顔認証に先だって、利用者の登録時に、利用者の登録用の顔画像のデータを顔管理サーバ８（または登録装置５）から取得して、その顔画像のデータから利用者の顔特徴量データを生成して、自装置に保管する。場合によっては、顔照合サーバ９は、利用者の撮影画像を管理端末２（すなわち、管理者）から取得して、その撮影画像から顔画像のデータを取得することもできる。
Furthermore, prior to face authentication, when a user is registered, the
なお、本実施形態では、顔管理サーバ８と顔照合サーバ９とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、それらは単一の情報処理装置内に存在してもよい。さらに、顔管理サーバ８及び顔照合サーバ９の少なくとも一方と、後に詳述するグループ管理サーバ４とが、単一の情報処理装置内に存在してもよい。
In this embodiment, the
また、本実施形態では、管理端末２と顔管理サーバ８とを設けるようにしたが、管理端末２と顔管理サーバ８とを単一の情報処理装置で構成することができる。例えば顔管理サーバ８に管理アプリケーションをインストールすることで、顔管理サーバ８が管理端末２を兼用することができる。
In addition, in this embodiment, the
また、本実施形態では、複合施設の利用者の顔認証の処理において顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。 In addition, in this embodiment, facial feature matching is performed in the facial authentication process for users of the complex, but the facial matching is not limited to facial feature matching, and a matching method that applies machine learning or the like may also be used. Furthermore, this embodiment can also be applied to biometric authentication other than facial authentication.
次に、施設管理システムを適用した複合施設において、利用者の顔認証の処理の対象となるイベントの例について説明する。図２は、複合施設において発生するイベントの例を示す説明図である。 Next, we will explain examples of events that are subject to user face authentication processing in a complex facility to which a facility management system is applied. Figure 2 is an explanatory diagram showing examples of events that occur in a complex facility.
図２に示すように、複合施設の利用者からなるグループ１００は、受付に配置された登録装置５により、施設管理システムへの登録（すなわち、顔認証の処理に用いられる情報の登録）の操作を行うことができる。登録の操作を完了した利用者は、複合施設において登録者１００Ａとして扱われる。また、所定期間内に複合施設を再訪した登録済みの利用者についても登録者１００Ａとして扱われる。複合施設では、全ての利用者が登録を行うこと（すなわち、登録者であること）は必須ではない。ただし、複合施設では、複数の利用者からなるグループ１００内に少なくとも１人の登録者１００Ａが含まれるように、利用者に登録を促すとよい。なお、グループ１００は、通常は複数のグループ構成員から構成されるが、単独の利用者も含み得る。
As shown in FIG. 2, a
複合施設では、複合施設内でのグループ１００（登録者１００Ａを含む）の行為によって発生する様々なイベント（図２中の２点鎖線内を参照）ごとに顔認証が実行される。 In the complex, face recognition is performed for each of the various events (see the area within the two-dot chain line in Figure 2) that occur as a result of the actions of group 100 (including registered individual 100A) within the complex.
例えば、登録者１００Ａが、複合施設内での利用者の通行を管理するセキュリティゲート前で顔認証を受けることにより、グループ１００は、当該セキュリティゲートを通過することが可能となる。セキュリティゲートには、ゲート装置（外部装置１６）と連携する（すなわち、扉部の開閉状態を制御する）顔認証機１を設置することができる。
For example, when
また例えば、登録者１００Ａが、宿泊施設内の客室前において顔認証を受けることにより、グループ１００は、当該客室への入室が可能となる。客室前には、客室のドアを施錠するロック装置と連携する（すなわち、ドアの施錠またはその解除を制御する）顔認証機１を配置することができる。
For example, when
また例えば、登録者１００Ａが、複合施設内のレストラン内において顔認証を受けることにより、グループ１００は、当該レストランの利用料金の決済処理（顔認証による自動決済）を行うことができる。レストランには、グループ１００に属する各利用者の顔を撮影可能なカメラ１１が設置され、顔認証機１は、レストランでの利用料金の支払いに用いられる決済装置（図示せず）と連携する。
For example, when
また例えば、登録者１００Ａは、複合施設内のジムにおいて顔認証を受けることにより、当該ジムの利用料金の決済処理を行うことができる。ジムには、登録者１００Ａの顔を撮影可能なカメラ１１が設置され、顔認証機１は、ジムでの利用料金の支払いに用いられる決済装置（図示せず）と連携する。なお、グループ１００に属する他の利用者（未登録者）は、登録者１００Ａと共にジムを利用することにより、その決済処理を一括して行うことができる。
For example,
なお、複合施設内で発生するイベントには、上述の例に限らず、例えば、複合施設の駐車場における利用料金の決済処理や、複合施設内の宿泊施設におけるランドリーサービスの利用料金の決済処理や、複合施設内の浴場の利用料金の決済処理などの種々の事象が含まれ得る。 Events that occur within a complex are not limited to the above examples, but can include various other events, such as payment processing for the usage fee at the parking lot of the complex, payment processing for the usage fee for the laundry service at the accommodation facility within the complex, and payment processing for the usage fee for the bathhouse within the complex.
次に、顔認証機１の概略構成について説明する。図３は、顔認証機１の概略構成を示すブロック図である。
Next, we will explain the general configuration of the
顔認証機１は、カメラ１１と、ディスプレイ１２と、通信部１３と、記憶部１４と、制御部１５と、制御信号送信部１７と、を備えている。
The
カメラ１１は、所定の撮影エリアを常時撮影し、撮影エリアに利用者からなるグループが入るとそのグループが撮影され、顔認証の対象者を含む撮影画像（グループ画像）を取得することができる。なお、省電力化のため、人感センサ（図示せず）を設けて、人の到来を検知してカメラ１１が起動するようにしてもよい。
The
ディスプレイ１２は、顔認証の進行状況や顔認証結果を表示し、顔認証を受けるグループは、それらを確認することができる。なお、ディスプレイ１２には、認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。また、ディスプレイ１２は、顔認証機１の設置場所によっては（例えば、セキュリティゲートに顔認証機１を設置する場合）、省略することができる。
The
通信部１３は、ネットワークを介して顔照合サーバ９と通信を行う。本実施形態では、撮影画像（顔画像）データを顔照合サーバ９に送信する。また、顔照合サーバ９から利用者の認証結果を受信する。また、通信部１３は、ネットワークを介してグループ管理サーバ４及び顔管理サーバ８と通信を行う。
The
記憶部１４は、撮影画像（顔画像）のデータ、制御部１５を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
制御部１５は、顔画像抽出部２２と、顔照合要求部２３と、認証結果通知部２４と、認証結果調整部２５と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１４に記憶されたプログラムをプロセッサで実行することで実現される。
The
顔画像抽出部２２は、カメラ１１からグループの撮影画像を取得して、その撮影画像から１以上の人物の顔を検知して、検知した顔のサイズがそれぞれ適正であるかを判定し、撮影画像から顔領域を切り出して、１以上の利用者の顔画像のデータを取得することができる。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像（所定の撮影エリアの画像）のデータと、その撮影画像のデータ上の顔領域の位置情報（顔枠情報）との組み合わせとしてもよい。
The face
顔照合要求部２３は、撮影画像に含まれる各利用者について、顔照合サーバ９に顔照合のリクエストを通信部１３によって送信する。
The face
認証結果通知部２４は、通信部１３によって顔照合サーバ９から取得した顔認証結果をディスプレイ１２に表示することにより、顔認証結果をグループに通知する。
The authentication
認証結果調整部２５は、顔照合サーバ９から取得した利用者の顔照合結果に基づき外部装置１６と連携するための制御を行う。外部装置１６としては、例えば、複合施設における登録者の通行を管理するゲート装置、複合施設におけるホテルの客室や所定エリアへの入退室を管理するドアのロック装置、及び登録者が複合施設内で受けたサービスや購入品等に対する支払いを行うための決済装置などを用いることができる（図２参照）。決済装置は、登録者のクレジットカード等の情報に基づき、後払いの決済処理を行うことができる。認証結果調整部２５は、決済装置から各登録者の決済処理結果を取得することができる。決済処理結果には、各施設における商品の購入及びサービスの利用に対する支払い金額（消費額）に関する情報が含まれる。
The authentication
顔認証機１と外部装置１６とは、通信ケーブル等によって直接接続されるか、公知のネットワークを介して通信可能に接続される。認証結果調整部２５は、接続アプリケーションで構成されることにより、利用者の顔照合結果を、外部装置１６を含む外部システムのサーバ等に通知することができる。
The
制御信号送信部１７は、外部装置１６に対し、その動作を制御するための制御信号を送信する。
The control
次に、管理端末２について説明する。図４は、管理端末２の概略構成を示すブロック図である。
Next, we will explain the
管理端末２は、通信部３１と、ディスプレイ３２と、入力デバイス３３と、記憶部３４と、制御部３５と、を備えている。
The
通信部３１は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、顔管理サーバ８から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ８に送信する。また、通信部３１は、ネットワークを介してグループ管理サーバ４と通信を行う。
The
ディスプレイ３２は、各種の画面を表示する。入力デバイス３３は、マウスやキーボードなどであり、ディスプレイ３２に表示された画面の操作を行う。
The
記憶部３４は、制御部３５を構成するプロセッサで実行されるプログラム（管理アプリケーション）などを記憶する。
The
制御部３５は、ＧＵＩ制御部３８を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３４に記憶されたプログラムをプロセッサで実行することで実現される。
The
ＧＵＩ制御部３８は、顔管理サーバ８およびグループ管理サーバ４から配信される各種情報に関する画面をディスプレイ３２に表示する。また、入力デバイス３３を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、ＧＵＩ制御部３８は、複合施設における利用者の行動（特に、利用者からなるグループの行動）を観察する画面に関する表示入力制御を行う。また、ＧＵＩ制御部３８は、登録者の管理に関連する画面、具体的には、利用者の情報に関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。
The
次に、登録装置５の概略構成について説明する。図５は、登録装置５の概略構成を示すブロック図である。
Next, the general configuration of the
登録装置５は、入力デバイス４０と、顔撮影用のカメラ４１と、ディスプレイ４２と、通信部４３と、記憶部４４と、制御部４５と、を備えている。
The
入力デバイス４０は、キーボードなどから構成される。入力デバイス４０は、タッチパネルとしてディスプレイ４２と一体に設けられてもよい。利用者（または受付者）は、入力デバイス４０によって利用者の登録情報の入力を行うことができる。
The
顔撮影用のカメラ４１は、例えば複合施設の受付に訪れた利用者の顔を撮影することにより、利用者の撮影画像を取得することができる。
The
また、登録装置５には、利用者が所持する情報記録媒体（例えば、ＲＦＩＤタグ）から利用者の登録情報を無線通信によって読み取り可能な情報読取装置（例えば、ＲＦＩＤリーダ）を設けることも可能である。
The
ディスプレイ４２は、利用者に対して登録者情報の登録手順を示す登録画面（図１６（Ａ）－（Ｆ）参照）を表示することができる。また、ディスプレイ４２にスピーカーを付設することにより、登録手順等を利用者に音声で案内するようにしてもよい。また、ディスプレイ４２をタッチパネルにより構成することで、利用者がタッチ操作により入力した情報を取得することが可能となる。
The
通信部４３は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、顔画像データおよび登録情報を顔管理サーバ８に送信する。
The
記憶部４４は、登録者の撮影画像（顔画像）のデータ、登録者の特定情報、及び制御部４５を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
制御部４５は、顔画像抽出部４６と、登録情報取得部４７と、登録要求部４８と、ＧＵＩ制御部４９と、を備えている。この制御部４５は、プロセッサで構成され、制御部４５の各部は、記憶部４４に記憶されたプログラムをプロセッサで実行することで実現される。
The
顔画像抽出部４６は、顔撮影用のカメラ４１から利用者（登録対象者）の撮影画像を取得し、その撮影画像から人物の顔を検知し、利用者の顔画像が適切に取得されたか否かを判定することができる。また、取得された顔画像が適切でない場合には、顔画像抽出部４６は、利用者に再撮影を促すメッセージをディスプレイ４２に表示させることができる。なお、顔画像抽出部４６は、上述の顔認証機１の顔画像抽出部２２と同様の機能を有してもよい。
The facial
登録情報取得部４７は、入力デバイス４０からの入力された登録情報を取得する。
The registration
登録要求部４８は、顔管理サーバ８に対し、利用者の登録のリクエストを通信部４３によって送信する。
The
ＧＵＩ制御部４９は、顔管理サーバ８から配信される利用者に対する各種の案内画面をディスプレイ４２に表示する。また、入力デバイス４０を用いた利用者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。
The
次に、顔管理サーバ８の概略構成について説明する。図６は、顔管理サーバ８の概略構成を示すブロック図である。
Next, we will explain the general configuration of the
顔管理サーバ８は、通信部５１と、記憶部５２と、制御部５３と、を備えている。
The
通信部５１は、ネットワークを介して管理端末２と通信を行う。また、通信部５１は、ネットワークを介して顔認証機１と通信を行う。また、通信部５１は、グループ管理サーバ４と通信を行う。また、通信部５１は、登録装置５と通信を行う。また、通信部５１は、顔照合サーバ９と通信を行う。また、通信部５１は、登録装置５の代わりに、アプリ１８がインストールされた携帯端末１０と通信を行うこともできる。
The
記憶部５２は、顔情報データベース、制御部５３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔情報データベースには、各登録者（登録された各利用者）に関する情報として、登録用の顔画像が蓄積される。また、顔情報データベースには、各登録者の登録情報が登録用の顔画像に関連付けられて蓄積される。なお、登録用の顔画像および登録情報は、プライバシー保護のために暗号化された状態で記憶してもよい。さらに、顔情報データベースには、登録用の顔画像および登録情報の一部を、匿名化した情報で置き換えた状態で記憶してもよい。 In the face information database, a facial image for registration is stored as information about each registrant (each registered user). In addition, in the face information database, the registration information of each registrant is stored in association with the facial image for registration. Note that the facial image for registration and the registration information may be stored in an encrypted state to protect privacy. Furthermore, the facial information database may store the facial image for registration and the registration information in a state in which a portion of the information has been replaced with anonymized information.
制御部５３は、登録者管理部６２と、顔照合サーバ管理部６５と、顔情報管理部６６と、データベース管理部６７と、を備えている。この制御部５３は、プロセッサで構成され、制御部５３の各部は、記憶部５２に記憶されたプログラムをプロセッサで実行することで実現される。制御部５３の各部は、ＷｅｂＡＰＩ（Web Application Programming Interface）として構成される。
The
登録者管理部６２は、各登録者の登録用の顔画像および登録情報などの登録者情報を管理し、管理端末２からの要求に応じて、登録者情報に関する必要な処理を行う。本実施形態では、管理端末２から、各登録者に関する登録、参照、更新および削除の要求が行われ、登録者管理部６２は、その要求に応じて必要な処理を行う。
The
顔照合サーバ管理部６５は、顔照合サーバ９に関する情報を管理し、管理端末２からの要求に応じて、顔照合サーバ９に関する必要な処理を行う。
The face matching
顔情報管理部６６は、自装置に保管された登録者情報（顔画像、登録情報など）と、顔照合サーバ９に保管された登録者の顔情報（登録者の顔特徴量データ）とが整合した状態に維持されるように、顔情報の同期を行う。
The face
データベース管理部６７は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
次に、顔照合サーバ９の概略構成について説明する。図７は、顔照合サーバ９の概略構成を示すブロック図である。
Next, the general configuration of the
顔照合サーバ９は、通信部７１と、記憶部７２と、制御部７３と、を備えている。
The
通信部７１は、ネットワークを介して顔認証機１と通信を行う。本実施形態では、顔認証機１から撮影画像（顔画像）データなどを受信する。また、利用者の認証結果などを顔認証機１に送信する。また、通信部７１は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ８から受信し、それに応じたレスポンスなどを顔管理サーバ８に送信する。また、通信部７１は、ネットワークを介してグループ管理サーバ４と通信を行う。
The
記憶部７２は、顔照合データベース、登録者と特徴量との間の関連付け情報、制御部７３を構成するプロセッサで実行される制御プログラムなどを記憶する。顔照合データベースには、登録者に関する情報として、登録者の顔特徴量データなどが登録される。
The
制御部７３は、画像品質チェック部８２と、顔画像抽出部８３と、顔特徴量生成部８４と、顔特徴量照合部８６と、データベース管理部８８と、位置情報取得部８９と、決済情報取得部９０と、を備えている。この制御部７３は、プロセッサで構成され、制御部７３の各部は、記憶部７２に記憶されたプログラムをプロセッサで実行することで実現される。制御部７３の各部は、ＷｅｂＡＰＩとして構成される。
The
画像品質チェック部８２は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度（顔の向きや表情による評価値）を算出する。
The image
顔画像抽出部８３は、利用者の登録時に、登録装置５によって取得された利用者（グループ）の撮影画像から顔画像を抽出する。このとき必要に応じて、顔画像抽出部８３は、撮影画像から人物の顔を検知し、検知した顔のサイズが適正であるかを判定し、撮影画像から顔領域を切り出して、人物の顔画像を取得する。なお、顔画像抽出部８３は、顔認証時に、顔認証機１によって取得された利用者の撮影画像から顔画像を抽出することもできる。
The face
顔特徴量生成部８４は、利用者の登録時および顔認証時に、登録用の顔画像および認証用の顔画像のデータから顔特徴点を検出して顔特徴量データをそれぞれ生成する。
The facial
顔特徴量照合部８６は、顔認証時に、顔認証機１から取得した認証用の顔画像のデータから生成した認証対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較して、認証対象者が登録者か否かを判定する。このとき、認証用の顔画像に複数の認証対象者の顔が含まれる場合には、顔特徴量照合部８６は、各認証対象者が登録者か否かをそれぞれ判定する。
During face authentication, the facial
なお、顔特徴量照合部８６では、認証対象者と登録者との類似度（照合スコア）を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機１に通知する他に、類似度の高い登録者に関する人物ＩＤや類似度を照合結果として顔認証機１に通知するようにしてもよい。
The facial
データベース管理部８８は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
位置情報取得部８９は、撮影画像の撮影位置（例えばカメラ１１または施設カメラ７の位置）及び撮影時刻の情報を取得する。位置情報取得部８９は、その撮影画像の撮影位置を、その撮影画像に含まれる登録者の撮影時刻における位置（当該登録者が属するグループの撮影時刻における位置）として取得する。各登録者の撮影時刻における位置の情報は、記憶部７２に記憶される。
The location
決済情報取得部９０は、登録者の決済情報として、顔認証機１から決済装置（外部装置１６）による決済処理結果を取得することができる。決済情報は、記憶部７２に記憶される。
The payment
なお、本実施形態では、顔照合サーバ９の主たる機能として、顔画像抽出、顔特徴量生成、顔特徴量照合、登録者の位置情報の取得、及び登録者の決済情報の取得の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。
In this embodiment, the main functions of the
次に、外部装置１６の概略構成について説明する。図８は、外部装置１６の概略構成を示すブロック図である。
Next, the general configuration of the
外部装置１６は、制御信号受信部９１と、駆動部９２と、電源部９３と、制御部９４と、を備えている。
The
制御信号受信部９１は、顔認証機１の制御信号送信部１７から送信された制御信号（外部装置１６と連携する顔認証機１からの動作指令）を受信する。
The control
駆動部９２は、顔認証機１からの制御信号に基づき、制御部９４によって制御される。例えば、外部装置１６がゲート装置である場合、駆動部９２は、ゲート装置の扉部を開放（または閉鎖）するための動力を供給する。また、外部装置１６がドアのロック装置である場合、駆動部９２は、ロック装置の施錠（または施錠を解除）するための動力を供給する。なお、外部装置１６が駆動される部位を備えない決済装置である場合には、駆動部９２を省略することが可能である。
The
電源部９３は、外部装置１６の各部に電力を供給する。また、電源部９３は、顔認証機１の給電部９７に電気的に接続され、当該給電部９７に対しても電力を供給することが可能である。給電部９７は、顔認証機１の各部に電力を供給する。また、ＬＡＮケーブルを介して顔認証機１の給電部９７と接続されることにより、ＰｏＥ給電によって給電部９７に電力を供給することができる。
The
また、電源部９３は、施設内全般の電力供給ラインとは独立した無停電電源装置（または非常用電源）から電力供給を受けることが可能である。これにより、例えば外部装置１６としてのゲート装置は、施設内で停電が発生した場合でも、通常の動作を行うことが可能となり、施設のセキュリティを維持できるという利点がある。
The
制御部９４は、外部装置１６の各部の動作を制御する。また、制御部９４は、外部装置１６として必要な処理を実行することができる。制御部９４は、プロセッサで構成され、図示しない記憶部（メモリ）に記憶されたプログラムをプロセッサで実行することで実現される。
The
次に、グループ管理サーバ４の概略構成について説明する。図９は、グループ管理サーバ４の概略構成を示すブロック図である。図１０は、グループ区分の一例を示す説明図である。図１１は、複数のグループからなるより大きなグループを示す説明図である。図１２は、グループリストの一例を示す説明図である。図１３は、グループが訪問した施設の履歴の一例を示す説明図である。図１４は、グループが訪問した施設の履歴の一例を示す説明図である。
Next, the general configuration of the
グループ管理サーバ４は、通信部１０１と、記憶部１０２と、制御部１０３と、を備えている。
The
通信部１０１は、ネットワークを介して管理端末２と通信を行う。本実施形態では、通信部１０１は、グループ行動情報を管理端末２に送信する。また、通信部１０１は、ネットワークを介して携帯端末１０と通信を行う。本実施形態では、通信部１０１は、複合施設の利用に関するグループ向けの情報を携帯端末１０に送信する。また、通信部１０１は、ネットワークを介してカメラ１１と通信を行う。本実施形態では、通信部１０１は、カメラ１１から撮影画像を受信する。なお、通信部１０１は、カメラ１１の代わりに、施設カメラ７（図１参照）から撮影画像を受信してもよい。また、通信部１０１は、ネットワークを介して顔照合サーバ９と通信を行う。本実施形態では、通信部１０１は、顔照合サーバ９から撮影画像に登録者が含まれるか否かの判定情報を受信する。また、通信部１０１は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、通信部１０１は、顔管理サーバ８から撮影画像に含まれる登録者の登録情報を受信する。また、通信部１０１は、外部のＳＮＳサーバ１０４と通信を行う。ＳＮＳサーバ１０４は、ソーシャルネットワーキングサービスを提供する機能を有する。
The
記憶部１０２は、グループ区分情報、グループリスト情報、グループ画像、グループ特定情報、グループ行動情報、関連グループ情報、及び配信用情報などを記憶する。グループ特定情報には、グループを特定するための情報（例えば、グループに属する登録者の識別情報）が含まれる。関連グループ情報には、複数のグループを関連づける情報が含まれる。配信用情報には、複合施設またはそれに含まれる１以上の施設の利用に関する各種情報（商品情報、サービス情報、クーポン情報、イベント情報、及びマップ情報など）が含まれる。
The
制御部１０３は、グループ判定部１１１と、グループ区分部１１２と、特定人物抽出部１１３と、グループリスト作成部１１４と、グループ行動集計部１１５と、情報配信部１１６と、を備えている。この制御部１０３は、プロセッサで構成され、制御部１０３の各部は、記憶部１０２に記憶されたプログラムをプロセッサで実行することで実現される。
The
グループ判定部１１１は、カメラ１１からの撮影画像の被写体に複数の利用者からなるグループが含まれるか否かを判定する。
The
グループ区分部１１２は、撮影画像の被写体にグループが含まれる場合、記憶部１０２に記憶されたグループ区分情報にしたがってグループ区分を判定する。グループ区分は、グループをその性質の違いによって区別するために、管理者によって適宜設定される。グループ区分には、図１０に示すように、大人グループ、カップル、子連れファミリー、子供グループ、及び一人などが含まれる。それらのグループ区分は、大人グループ（２０代、３０代）及び大人グループ（４０代以降）のように、グループを構成する利用者の年齢により更に詳細に区分けされ得る。
When a group is included in the subjects of a captured image, the
特定人物抽出部１１３は、撮影画像の被写体にグループが含まれる場合、顔照合サーバ９の顔認証結果に基づき、そのグループに含まれる登録者を抽出する。また、特定人物抽出部１１３は、複数のグループから同一の登録者を抽出した場合、その同一の登録者が属する複数のグループをより大きなグループ（以下、「大グループ」という。）として設定する。
When a group is included in the subjects of a captured image, the specific
例えば図１１（Ａ）に示すように、複数のグループＸ、Ｙ、Ｚを含む団体客１２１は、空港では案内者Ｔの案内にしたがって１つのグループとして行動を共にする。一方、図１１（Ｂ）に示すように、団体客１２１は、空港から複合施設に到着すると、各グループＸ、Ｙ、Ｚで個別に行動を開始する。このとき、案内者Ｔは、各グループＸ、Ｙ、Ｚの間を移動しながら行動するため、特定人物抽出部１１３は、撮影時刻の異なる複数のグループの撮影画像に基づき、案内者ＴをグループＸ、Ｙ、Ｚのいずれにも属する登録者として抽出する場合がある。このように、特定人物抽出部１１３は、複数のグループＸ、Ｙ、Ｚから同一の登録者（ここでは、案内者Ｔ）を抽出した場合、その複数のグループをＸ、Ｙ、Ｚを大グループＷとして設定する。これにより、施設管理システムでは、グループ行動に関するデータの集計などにおいて、グループＸ、Ｙ、Ｚが１つのグループＷとして扱われ得る。なお、複数のグループから抽出する同一の登録者は複数人いてもよい。複数人に対応することで、グループＸ、Ｙに同一の登録者がいて、グループＹ、Ｚに同一の登録者がいたような場面でもグループＸ、Ｙ、Ｚを大グループＷとして設定することができる。
For example, as shown in FIG. 11A, a
グループリスト作成部１１４は、撮影画像の被写体にグループが含まれる場合、そのグループの構成員を示すグループリストを作成する。グループリストには、図１２に示すように、グループ（図中のグループａ－ｃを参照）の構成員（未登録の利用者および登録者）に関する情報（ここでは、年齢層、性別）が含まれる。また、グループリストには、グループ区分部１１２によって決定された各グループ区分の情報が含まれる。例えば、グループａには、小学生、４０代の男、４０代の女で構成されており、グループ区分は５（図１０中の子連れファミリー（小学生以下）に相当）である。また、グループリストには、グループの構成員が登録者であるか否かの情報が含まれる。例えば、グループａには、４０代の男および４０代の女の登録者が含まれ、グループｂには、２０代の男および３０代の男の登録者が含まれる。さらに、グループリストには、登録者が複合施設の利用に関する情報配信を希望するか否かの情報が含まれ得る。例えば、グループｂの３０代の男の登録者には、情報配信を希望しないことを示す識別子が付加されている。グループ構成員の年齢層や性別は、顔認証技術を用いて識別するが、顔認証によって登録された人物であると判明した際は、登録された情報を優先する。画像から識別した情報と登録された情報を用いてグループリストを作成する。
When a group is included in the subject of the captured image, the group
グループ行動集計部１１５は、各グループの行動に関する各種データを集計する。集計結果は、グループ行動情報として記憶部１０２に記憶される。また、グループ行動集計部１１５は、管理端末２からのリクエストに応じて各種データの集計結果を管理端末２に送信する。
The group
グループ行動情報には、複合施設における複数の施設間または各施設内でのグループ（グループに属する登録者）の移動履歴に関する情報が含まれる。その移動履歴に関する情報には、図１３に示すように、各グループ（ここでは、グループａ）が訪れた各施設の識別子（ここでは、Ａ、Ｄ、Ｈ）や、それらの施設を訪れた日付及び時刻が含まれる。移動履歴に関する情報には、時刻の代わりに、時間帯が含まれてもよい。 The group behavior information includes information on the movement history of the group (registered persons belonging to the group) between multiple facilities in a complex or within each facility. As shown in FIG. 13, the information on the movement history includes the identifiers (here, A, D, H) of each facility visited by each group (here, group a) and the dates and times when those facilities were visited. The information on the movement history may include the time period instead of the time.
また、移動履歴に関する情報には、各グループがそれぞれ訪れた各施設の位置情報（緯度・経度や、複合施設のマップにおける座標）が更に含まれてもよい。移動履歴に関する情報の取得には、それらの施設における入場情報もしくは決済情報によって特定され得る。つまり、各グループの移動履歴は、各グループ（グループに属する登録者）による入場処理もしくは決済処理が行われた各施設の位置情報に基づき生成され得る。移動履歴に関する情報には、入場情報もしくは決済情報（例えば、各施設における消費額）が含まれてもよい。また、移動履歴に関する情報には、複数の施設間を移動中の各グループの位置情報（例えば、所定周期で設定された複数の時刻における携帯端末１０のＧＰＳ機能に基づく位置）が含まれてもよい。また、各グループの移動履歴は、グループ区分に基づき生成され得る（すなわち、グループ区分の情報を含む）。
The information on the movement history may further include location information (latitude and longitude, or coordinates on a map of the complex) of each facility visited by each group. The information on the movement history may be acquired by identifying the facility by admission information or payment information. In other words, the movement history of each group may be generated based on location information of each facility where admission processing or payment processing was performed by each group (registered users belonging to the group). The information on the movement history may include admission information or payment information (e.g., the amount of consumption at each facility). The information on the movement history may also include location information of each group moving between multiple facilities (e.g., the location based on the GPS function of the
また、決済情報には、図１４に示すように、各グループ（ここでは、グループａ、ｂ）に属する登録者による各施設（ここでは、施設Ａ－Ｃ）での決済金額が含まれる。グループａでは、登録者である４０代の男性および４０代の女性に関する消費額（決済金額）が含まれる。また、グループｂでは、登録者である２０代の男性および２０代の女性に消費額が含まれる。決済情報には、各グループ単位での消費額の合計が含まれてもよい。 As shown in FIG. 14, the payment information also includes payment amounts at each facility (facilities A-C in this case) by registered members belonging to each group (groups a and b in this case). In group a, the payment information includes the consumption amounts (payment amounts) of registered members, a male in his 40s and a female in her 40s. In group b, the payment information includes the consumption amounts of registered members, a male in his 20s and a female in her 20s. The payment information may also include the total consumption amount for each group.
情報配信部１１６は、記憶部１０２に記憶された配信用情報に基づき、グループ区分に応じたグループ向けの情報を生成することができる。あるいは、情報配信部１１６は、記憶部１０２に予め記憶されたグループ区分に応じて決定された１以上の配信用情報を、グループ向けの情報として選択してもよい。例えば、グループ向けの情報として飲食店の情報が提供される場合、情報配信部１１６は、過去の実績において、対象のグループ区分に属するグループの利用率が高い飲食店に関する情報を生成または選択する。
The
なお、情報配信部１１６は、撮影画像の撮影位置の情報（例えばカメラ１１または施設カメラ７の位置の情報）を取得し、その撮影位置に応じてグループ向けの情報を生成または選択することができる。また、情報配信部１１６は、グループ区分に応じて決定された１以上の施設に関する情報を、グループ向けの情報として生成または選択することができる。この場合、情報配信部１１６は、その１以上の施設を、同じグループ区分に属する他の複数のグループによる各施設の利用状況の情報に応じて決定できる。各施設の利用状況の情報には、利用人数（利用者の数）や、利用時間帯の情報が含まれる。つまり、情報配信部１１６は、各施設の利用状況の情報に基づき、情報配信の時刻に対応する時間帯において、利用人数がより大きい１以上の施設に関する情報を、グループ向けの情報として生成または選択することができる。
The
情報配信部１１６は、グループ向けの情報を登録者の携帯端末１０に対して配信する。このグループ向けの情報の配信処理は、携帯端末１０のアプリ１８の情報配信機能を利用して行われる。
The
次に、顔画像抽出処理について説明する。図１５は、顔画像抽出処理の概要を示す説明図である。 Next, we will explain the facial image extraction process. Figure 15 is an explanatory diagram showing an overview of the facial image extraction process.
上述のように、顔認証機１の顔画像抽出部２２において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われる。この顔画像抽出処理は、顔照合サーバ９の顔画像抽出部８３でも同様に行われる。
As described above, the facial
利用者の登録時には、登録装置５から顔管理サーバ８を介して顔照合サーバ９に利用者の撮影画像のデータが送られることで、顔照合サーバ９の顔画像抽出部８３で顔画像抽出処理を行う。場合によっては、管理端末２から顔管理サーバ８を介して顔照合サーバ９に利用者の撮影画像のデータが送られるようにしてもよい。
When a user is registered, the
一方、顔認証時には、顔認証機１でのみ顔画像抽出処理を行い、顔照合サーバ９では顔画像抽出処理を行わないようにするとよい。この場合、顔認証機１に高精度な顔検知の機能を与える。また、顔認証機１ではカメラ１１で撮影エリアを常時撮影し、顔が検知されたタイミングで撮影画像データ及び顔枠情報を顔照合サーバ９に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機１に分散され、顔照合サーバ９の負荷を軽減することができる。また、顔認証機１及び顔照合サーバ９の間の通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証機１は、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。
On the other hand, during face authentication, it is preferable to perform face image extraction processing only in the
次に、登録装置５における利用者による登録操作について説明する。図１６は、登録装置５に表示される登録画面の一例を示す説明図である。
Next, the registration operation by the user on the
利用者は、複合施設の利用を開始するにあたり（あるいは、登録後の所定期間内に複合施設を再訪しなかった場合に）、登録装置５によって認証用の登録操作を行うことができる。本実施形態では、利用者は、登録装置５のディスプレイ４２（ここでは、タッチパネル）に表示された案内画面にしたがって、登録操作を行うことができる。なお、以下で説明する認証用の登録操作の一部（ボタンの押下など）については、利用者の同意を得た受付者が行ってもよい。
When a user starts using the complex (or if the user does not revisit the complex within a specified period after registration), the user can perform a registration operation for authentication using the
登録装置５のディスプレイ４２には、登録開始ボタン１３１が表示された初期画面が表示される（図１６（Ａ）参照）。そこで、利用者が登録開始ボタン１３１を押下（タッチ）すると、施設管理システムにおける個人情報の取扱いに関する説明と、その同意を利用者に求める画面が表示される（図１６（Ｂ）参照）。
An initial screen showing a
利用者は、図１６（Ｂ）の画面において、同意ボタン１３２を押下することにより、施設管理システムにおける個人情報の取扱いに同意することができる。これにより、登録装置５では、当該利用者の登録者情報の取得が開始される。そこで、ディスプレイ４２には、利用者の特定に用いられる登録情報を取得する方法を示す画面が表示される（図１６（Ｃ）参照）。なお、利用者は、中止ボタン１３３を押下することにより、登録操作を中止することができる。なお、同意を利用者に求める画面は、利用者によって同意が必要でない場合があり、省略することができる。また、後述のＯＫボタン１３５、撮影ボタン１３７、登録ボタン１４１の操作をもって同意に代えてもよい。また、登録装置５の利用前の所定の手続きをもって同意を得るようにしてもよい。
By pressing the
図１６（Ｃ）に示す例では、利用者の登録情報を入力する画面が表示される。ここでは、登録情報として、利用者の氏名、パスワード（ＰＷ）、メールアドレス、複合施設の利用に関する情報配信のサービスを希望するか否かの選択、クレジットカード番号、クレジットカードの有効期限などが入力される。そこで、登録情報の入力を終えた利用者がＯＫボタン１３５を押下すると登録情報の入力が完了する。
In the example shown in FIG. 16(C), a screen for inputting the user's registration information is displayed. The registration information input here includes the user's name, password (PW), email address, whether or not they wish to receive information distribution services related to the use of the complex, credit card number, credit card expiration date, etc. When the user has finished inputting the registration information, they press the
続いて、登録装置５には、利用者の登録用の顔画像を撮影する方法（顔撮影用カメラ４１の撮影エリア内に利用者の顔を位置させるための案内）を示す画面が表示される（図１６（Ｄ）参照）。このとき、登録装置５では、撮影エリアに対応する撮影枠１３６を点滅させることにより、利用者に顔の位置合わせを促すことができる。撮影枠１３６内には、顔撮影用カメラ４１によって撮影されたライブ画像（リアルタイムの動画像）が表示される。そこで、利用者が、自身の顔を撮影枠内に位置させて撮影ボタン１３７を押下すると、登録装置５による利用者の顔の撮影が実行される。このとき、登録装置５では、撮影ボタン１３７の押下時にシャッター音を発生させることができる。なお、利用者は、中止ボタン１３８を押下することにより、顔の撮影を中止することができる。
Then, the
続いて、登録装置５には、撮影された顔画像を利用者が確認するための画面が表示される（図１６（Ｅ）参照）。この画面には、撮影された顔画像（静止画像）が表示されており、利用者は、撮影された顔画像に問題がないと判断した場合には、登録ボタン１４１を押下する。一方、利用者は、撮影された顔画像に問題があると判断した場合には、再撮影ボタン１４２を押下することができる。これにより、登録装置５には、図１６（Ｄ）に示した画面が表示され、顔の再撮影が可能となる。なお、利用者は、中止ボタン１４３を押下することにより、顔の撮影を中止することができる。
Next, the
顔の撮影が終了すると、取得された顔画像および登録情報が顔管理サーバ８に送信される。これにより、顔管理サーバ８では、利用者に関する登録処理（図１７参照）が実行される。顔管理サーバ８の登録処理が正常に終了すると、登録装置５には、登録が終了した旨を示す画面が表示される（図１６（Ｆ）参照）。そこで、利用者が終了ボタン１４５を押下することにより、登録装置５における登録操作が終了する。
When the face capture is complete, the acquired face image and registration information are sent to the
登録操作が終了した後は、登録装置５は、記憶部４４に記憶した顔画像や登録情報を削除することができる。これにより、不特定の者が利用する登録装置５に個人情報が長期的に保存されることが回避され、利用者の個人情報をより安全に管理することが可能となる。
After the registration operation is completed, the
なお、上述の登録装置５による利用者の登録に代えて、管理者は、利用者の登録用の顔画像のファイルを予め準備した上で、管理端末２を用いて利用者に関する登録を行うことができる。また、管理者は、登録装置５による登録を補完するために、登録装置５によって登録された登録者情報の修正や新たな情報の追加を管理端末２から行うこともできる。
Instead of registering users with the above-mentioned
次に、上述の利用者の登録操作に応じて実行される利用者に関する登録処理について説明する。図１７は、利用者に関する登録処理の手順を示すシーケンス図である。 Next, we will explain the user registration process that is executed in response to the user's registration operation described above. Figure 17 is a sequence diagram showing the steps of the user registration process.
顔管理サーバ８では、上述のように登録装置５において利用者の登録操作が行われると、図１７に示すように、当該利用者に関する登録処理を開始する。このとき、顔管理サーバ８は、登録装置５から利用者の操作情報とともに顔の撮影画像（登録用の顔画像）や登録情報を受け取る。この登録処理では、まず、顔管理サーバ８は、顔照合サーバ９に顔画像抽出のリクエストを送る。このリクエストには、登録装置５から取得した利用者の顔の撮影画像が含まれる。
When a user performs a registration operation on the
顔照合サーバ９では、顔管理サーバ８からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ８から取得した利用者の顔の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ８に送る。このレスポンスには、利用者の顔画像が含まれる。
When the
顔管理サーバ８では、顔画像抽出のレスポンスを顔照合サーバ９から受け取ると、顔照合サーバ９に顔登録のリクエストを送る。このリクエストには、顔照合サーバ９から取得した利用者の顔画像を含めることができる。
When the
なお、顔管理サーバ８では、上述の顔照合サーバ９に対する顔画像抽出のリクエストを省略し、登録装置５から操作情報とともに取得した利用者の顔の撮影画像を顔照合サーバ９に対する顔登録のリクエストに付加してもよい。
The
顔照合サーバ９では、顔管理サーバ８からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ８に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、顔照合サーバ９における利用者の顔画像は削除される。
When the
顔管理サーバ８では、顔登録のレスポンスを顔照合サーバ９から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、登録装置５から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ８では、顔照合サーバ９から取得した利用者の登録情報を顔画像と関連付けて顔情報データベースに登録する。また、顔管理サーバ８では、顔照合サーバ９で発行された顔登録ＩＤを利用者の情報として顔情報データベースに登録する。
The
次に、顔認証機１における利用者の顔認証の処理について説明する。図１８は、利用者に関する顔認証の処理の第１の例を示す説明図である。ここでは、顔認証機１と連携する外部装置１６として、利用者の通行を管理するゲート装置（セキュリティゲート）を用いる例を示している。
Next, the process of facial authentication of a user in the
顔認証機１では、カメラ１１の撮影画像から１以上の人物の顔を検知して顔画像を取得すると、各人物に関する顔照合のリクエストを顔照合サーバ９に送信する。この顔照合のリクエストには、要求元の顔認証機１の機器ＩＤと、顔認証の対象者の顔画像（認証用の顔画像）のデータと、顔枠情報と、照合条件とが含まれる。
When the
顔照合サーバ９は、その顔照合のリクエストを受信すると、まず、顔特徴量生成部８４によって、顔認証機１から取得した各対象者の顔画像から対象者の顔特徴量を生成する。次に、顔照合サーバ９は、顔特徴量照合部８６において、対象者の顔特徴量と、顔照合データベースに登録された利用者の顔特徴量とを照合する。顔照合処理が終了すると、顔照合サーバ９は、顔照合のレスポンスを要求元の顔認証機１に送信する。この顔照合のレスポンスには、照合結果（成功、失敗）と、照合スコアと、利用者コードとが含まれる。
When the
顔特徴量照合部８６では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。
The facial
なお、顔照合サーバ９で行われる顔照合の処理条件（顔照合のパラメータ）を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ９で行われる顔照合の処理内容を顔認証機１から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。
The processing conditions (face matching parameters) for face matching performed by the
また、顔認証機１は、顔照合サーバ９から顔認証の成功を示す顔照合のレスポンスを受信すると、連携するゲート装置に対し、その扉部の開閉制御信号を送信する。つまり、顔認証機１は、顔照合のレスポンスを扉部の開閉制御信号に変換し、これにより、連携するゲート装置の扉部の動作を制御する制御装置（ゲート開閉制御装置）として機能する。これにより、ゲート装置は、駆動部９２によって扉部を開放（すなわち、利用者の通行を許可）する動作を行う。なお、顔認証機１は、制御信号（開閉制御信号）の送信の完了にともない、記憶部１４に記憶した利用者の顔画像を削除する。ここで、顔照合のレスポンスを扉部の開閉制御信号に変換する構成としたが、外部システムとして構築された入退管理システムによってゲート装置の扉部の開閉制御が行われている場合には、その入退管理システムに対して顔認証結果がゲート装置の開閉制御に反映されるように制御信号を送信する。
When the
図１９は、利用者に関する顔認証の処理の第２の例を示す説明図である。図２０は、顔認証機１に表示される認証画面（認証時の画面）の一例を示す説明図である。ここでは、顔認証機１と連携する外部装置１６として、ホテルの客室のドアに設けられたロック装置を用いる例を示している。なお、顔認証処理の第２の例に関し、上述の第１の例と同様の事項については詳細な説明を省略する。
Figure 19 is an explanatory diagram showing a second example of face authentication processing for a user. Figure 20 is an explanatory diagram showing an example of an authentication screen (screen during authentication) displayed on the
顔認証機１は、例えば、客室に面した廊下の壁等に設置される。顔認証機１は、人感センサ等によって人の接近を感知（すなわち、利用者を検知）すると、ディスプレイ１２に認証画面の待機画面（初期画面）を表示する（図２０（Ａ）参照）。ここで、ディスプレイ１２に表示される認証画面（通知画面）は、カメラ１１による所定の撮影エリアを撮影したライブ画像（リアルタイムの動画像）を表示する画像表示エリア１５１と、顔認証処理の進行状況を示す情報を表示する情報表示エリア１５２とを含む。
The
その後、顔認証機１は、カメラ１１の撮影画像から１以上の人物の顔を検知して顔画像を取得すると、各人物に関する顔照合のリクエストを顔照合サーバ９に送信する。このとき、情報表示エリア１５２には、利用者の認証が進行中であることを示す文字１５３および図形１５４が表示される（図２０（Ｂ）参照）。なお、情報表示エリア１５２では、文字１５３および図形１５４の一方の表示を省略してもよい。また、ディスプレイを備えていない顔認証機１の場合には、例えば、ＬＥＤランプを用い、認証中はＬＥＤを点滅させ、認証の成功時にＬＥＤを点灯するようにして、顔認証の進行状況を通知するようにしても良い。また、ＬＥＤの表示色で顔認証の進行状況を通知するようにしても良い。また、利用者の顔認証の成否によってＬＥＤの表示色を変更するようにしても良い。
After that, when the
顔照合サーバ９は、その顔照合のリクエストを受信すると、上述の第１の例と同様に、顔特徴量を生成し、顔照合処理を実行する。顔照合処理が終了すると、顔照合サーバ９は、顔照合のレスポンスを要求元の顔認証機１に送信する。
When the
また、顔認証機１は、顔照合サーバ９から顔認証の成功を示す顔照合のレスポンスを受信すると、認証画面の情報表示エリア１５２に、利用者の認証が完了したことを示す文字１５７および図形１５８を表示する（図２０（Ｃ）参照）。これと同時に、顔認証機１は、連携するドアのロック装置に対し、制御信号（ドアのロックを解除する命令）を送信する。つまり、顔認証機１は、連携するロック装置の動作を制御する制御装置として機能する。これにより、ロック装置は、ロックを解除（すなわち、登録者の入室を許可）する動作を行う。なお、顔認証機１は、制御信号の送信の完了にともない、記憶部１４に記憶した利用者の顔画像を削除する。
When the
顔認証機１は、上述のゲート装置やドアのロック装置のように機械的動作をともなうことなく、情報処理のみを行う外部装置と連携させることも可能である。図２１は、利用者に関する顔認証の処理の第３の例を示す説明図である。
The
ここでは、顔認証機１と連携する外部装置１６として、決済装置を用いる例を示している。なお、顔認証の処理の第３の例に関し、上述の第１または第２の例と同様の事項については詳細な説明を省略する。
Here, an example is shown in which a payment device is used as the
この顔認証の処理の第３の例では、顔認証機１は、顔照合サーバ９から顔認証の成功を示す顔照合のレスポンスを受信すると、連携する決済装置に対し、制御信号を送信する。これにより、決済装置では、該当する登録者が購入した商品や、利用したサービス（例えば、レストランでの食事の提供）に対する利用料金のデータと認証された利用者とを紐付ける決済処理を実行する。その結果、当該利用料金が当該利用者に対する請求金額（例えば、クレジットカードによる請求金額）のデータに加算される。なお、決済装置は、決済処理の結果を顔認証サーバ３に送信する。
In this third example of face authentication processing, when the
図２２は、グループ管理サーバ４による登録者に対する情報配信処理の例を示す説明図である。図２３は、個別の利用者に対する情報配信（比較例）とグループ管理サーバ４による情報配信との比較を示す説明図である。
Figure 22 is an explanatory diagram showing an example of information distribution processing for registered users by the
グループ管理サーバ４は、管理端末２からの指示を受けると、グループ画像（カメラ１１の撮影画像）を取得し、当該グループに属する各人物の顔照合のリクエストを顔照合サーバ９に送信する。
When the
顔照合サーバ９は、その顔照合のリクエストを受信すると、図１９に示した例と同様に、顔特徴量を生成し、顔照合処理を実行する。顔照合処理が終了すると、顔照合サーバ９は、顔照合のレスポンスを顔認証機１に送信する。
When the
グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報における対応するグループ構成員をそれぞれ抽出し、そのグループ構成員が登録者であることを示す識別子を付加する。
If the group contains one or more registered members based on the face matching response, the
続いて、グループ管理サーバ４は、当該グループのグループ区分に応じてグループ向け情報を生成（または選択）する。これと同時に、グループ管理サーバ４は、顔管理サーバ８に対して、情報配信の可否のリクエストを送信する。このリクエストは、当該グループに属する登録者が情報配信を希望するか否かを問い合わせるものである。
Then, the
顔管理サーバ８は、その情報配信の可否のリクエストを受信すると、対象の登録者について、その登録情報に基づき情報配信を希望するか否かを確認し、その結果を含む情報配信の可否のレスポンスをグループ管理サーバ４に送信する。
When the
グループ管理サーバ４は、顔管理サーバ８から受信した情報配信の可否のレスポンスに基づき、情報配信を希望する各登録者の携帯端末１０にのみグループ向け情報を送信する。当該グループに情報配信を希望する複数の登録者が含まれる場合には、グループ管理サーバ４は、予め定められた当該グループに属する登録者の代表の携帯端末１０にのみグループ向け情報を送信してもよい。
Based on the response regarding whether or not information distribution is possible received from the
ここで、例えば図２３に示すように、グループ構成員（１）－（６）の３世代の家族からなるグループに対して飲食店に関する情報を配信する例を示す。グループ構成員（１）－（３）は登録者である。グループ構成員（４）－（６）は、未登録の利用者であるか、または携帯端末１０を有していない（アプリ非活用である）。 Here, as shown in FIG. 23, an example is shown in which information about restaurants is distributed to a group consisting of three generations of a family, group members (1)-(6). Group members (1)-(3) are registered users. Group members (4)-(6) are unregistered users or do not have a mobile terminal 10 (do not use the app).
グループ構成員（１）－（６）に対して個別に飲食店に関する情報を配信する場合（（Ａ）参照）、例えば、グループ構成員（１）（４０代の男性）にはバーカウンタに案内するための情報、グループ構成員（２）（４０代の女性）にはカジュアルフレンチのレストランに案内するための情報、グループ構成員（３）（女子中学生）にはファミリーレストランに案内するための情報がそれぞれ配信される。登録者（４）－（６）には情報配信は行われない。 When information about restaurants is distributed individually to group members (1)-(6) (see (A)), for example, information directing group member (1) (a man in his 40s) to the bar counter, information directing group member (2) (a woman in her 40s) to a casual French restaurant, and information directing group member (3) (a female junior high school student) to a family restaurant is distributed. No information is distributed to registered members (4)-(6).
一方、グループ管理サーバ４は、グループ構成員に対してグループ単位で（すなわち、グループ区分に応じて）飲食店に関する情報を配信するため（（Ｂ）参照）、グループ構成員（１）－（３）の携帯端末１０には、高級寿司店で提供されている家族向けの特別コースを案内するための情報が配信される。このように、グループ管理サーバ４は、グループで行動する利用者に、所望の情報をタイムリーに提供することができる。また、情報配信を受けたグループが、その情報を利用する可能性も高まる。
Meanwhile, the
図２４は、グループ管理サーバ４によるグループ行動情報の生成処理の例を示す説明図である。
Figure 24 is an explanatory diagram showing an example of the group behavior information generation process by the
グループ管理サーバ４は、管理端末２からの指示を受けると、図２２の場合と同様に、顔照合サーバ９との間で顔照合のリクエストおよび顔照合のレスポンスの送受信を行う。また、グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報において、対応する人物が登録者であることを示す識別子を付加する。
When the
続いて、グループ管理サーバ４は、当該グループにおいて観察対象となる（ここでは、位置情報および決済情報の取得を必要とする）登録者を選択する。このとき、グループ管理サーバ４は、各グループ構成員の年齢や性別に基づき、当該グループ内の１以上の登録者を選択することができる。その後、グループ管理サーバ４は、選択した登録者に関する位置情報および決済情報のリクエストを顔照合サーバ９に送信する。
Then, the
顔照合サーバ９は、その位置情報および決済情報のリクエストを受信すると、対象となる登録者の位置情報および決済情報を検索する。続いて、顔照合サーバ９は、その検索結果を位置情報および決済情報のレスポンスとしてグループ管理サーバ４に送信する。
When the
グループ管理サーバ４は、位置情報および決済情報のレスポンスを、対象のグループに紐付けられたグループ行動情報として記録する（すなわち、グループ行動情報を生成または更新する）。
The
図２５は、管理端末２においてグループの行動を観察するための画面表示処理の例を示す説明図である。図２６、図２７、図２８、図２９、及び図３０は、それぞれグループ行動の表示画面の例を示す説明図である。
Figure 25 is an explanatory diagram showing an example of a screen display process for observing group behavior on the
管理端末２は、管理者の操作に基づき（あるいは予め設定された所定の周期で）、グループ行動に関する集計データのリクエストをグループ管理サーバ４に送信する。
The
グループ管理サーバ４は、その集計データのリクエストを受信すると、そのリクエストに応じてデータを集計する。グループ管理サーバ４は、その集計結果をグループ行動に関する集計データのレスポンスとして管理端末２に送信する。このとき、グループ管理サーバ４は、新たにデータの集計を行うことなく、記憶部１０２にすでに記憶されているグループ行動情報の一部をグループ行動に関する集計データのレスポンスとして管理端末２に送信してもよい。
When the
管理端末２は、そのグループ行動に関する集計データのレスポンスを受信すると、ディスプレイ３２にグループ行動の表示画面を表示する。
When the
図２６に示すように、グループ行動の表示画面には、複合施設の利用状況を示すマップ１６１が含まれる。マップ１６１には、複合施設を構成する各施設（図中の施設区分表示欄１６２に含まれる施設Ａ－Ｊを参照）のアイコンと、そのアイコン付近に表示された各施設Ａ－Ｊの利用者の数（滞在数）の分布を示す円グラフ１６３が含まれる。各円グラフ１６３には、各グループ区分（グループ区分表示欄１６４参照）に対応するグループの構成員の人数の割合が示されている。また、円グラフ１６３のサイズは、各施設Ａ－Ｊを利用中の利用者の数の大小に応じて設定される。なお、グループ区分には、単独の利用者（一人）も含まれる。
As shown in FIG. 26, the group behavior display screen includes a
また、グループ行動の表示画面には、グループ別の施設利用状況の表示欄１６５が含まれる。この施設利用状況の表示欄１６５には、グループ区分ごとの各施設Ａ－Ｊの利用者の数の分布を示す棒グラフが含まれる。
The group behavior display screen also includes a
また、グループ行動の表示画面には、タイムスケール設定欄１６７、居住国設定欄１６８、及び消費額設定欄１６９が含まれる。管理者は、タイムスケール設定欄１６７において、マップ１６１や、施設利用状況の表示欄１６５に表示するデータの時間的範囲を設定することができる。管理者は、カレンダー１７１において所望の日付を設定し、また、スライダ１７２の操作により所望の時刻（または時間帯）を設定することができる。なお、管理者は、時間的範囲（日付及び時刻の少なくとも一方）の設定を解除することも可能である。
The group behavior display screen also includes a time
例えば図２７に示すように、管理者がスライダ１７２を操作することにより時刻を変更すると、その時刻に応じてマップ１６１の円グラフ１６３や、施設利用状況の表示欄１６５の各棒グラフが変化する。これにより、管理者は、所望の日時における複合施設のグループの行動を観察することができる。
For example, as shown in FIG. 27, when the administrator changes the time by operating the
また、管理者は、居住国設定欄１６８において、観察するグループの構成員の国籍を設定することができる。
The administrator can also set the nationality of the members of the group to be observed in the country of
また、管理者は、消費額設定欄１６９において、観察するグループの消費額の範囲（消費額の下限および上限の少なくとも一方）を設定することができる。例えば、グループの消費額は、登録者であるグループ構成員の決済金額の合計である。
The administrator can also set the range of consumption amounts (at least one of the upper and lower limits of the consumption amounts) of the group to be observed in the consumption
例えば図２８に示すように、管理者がスライダ１７３を操作することにより消費額の範囲を変更すると、その消費額の範囲に応じてマップ１６１の円グラフ１６３や、施設利用状況の表示欄１６５の各棒グラフが変化する。これにより、管理者は、複合施設における消費額に応じたグループの行動を観察することができる。
For example, as shown in FIG. 28, when the manager operates the
管理者は、図２９に示すように、マップ１６１における施設Ａ－Ｊのいずれか（ここでは、施設Ｉ）を押下することにより、その施設におけるグループの消費額の詳細を示すポップアップ画面１７５を表示させることができる。このポップアップ画面には、所定のグループに属する登録者の消費額が表示される。このように、管理者は、各グループにおける消費額の内訳（ここでは、登録者である各グループ構成員の消費額）を把握することができる。
As shown in FIG. 29, by pressing one of facilities A-J (facility I in this case) on
また、管理者は、ポップアップ画面１７５における移動表示ボタン１７８を押下することにより、図３０に示すように、当該グループの移動の履歴をマップ１６１に表示することができる。ここでは、マップ１６１内の破線の矢印により、当該グループが、施設Ｂ（ラグジュアリーホテル）から施設Ｅ（遊園地）に移動し、さらに、施設Ｅから施設Ｃ（高級寿司店）に移動したことが示されている。なお、管理者は、移動表示ボタン１７８の操作に限らず、グループ行動の表示画面に別途表示されたグループ一覧から所望のグループを選択することにより、当該グループの移動の履歴をマップ１６１内に表示させることができる。また、グループの移動の履歴の表示は、マップ１６１における表示に限らず、例えば、図１３に示したようなグループが訪問した施設の履歴を示す表であってもよい。
By pressing the movement display button 178 in the pop-up
図３０では、グループの移動先を選択することで、グループがその移動先での決済金額を確認することができるが、グループによる核施設での決済金額一覧が表示されてもよい。例えば図１４のようにグループの各施設における決済金額の表を表示する。また、決済金額以外にも、そのグループに関連する情報の一覧が表示されるようにしてもよい。このような表示にすることで、そのグループの詳細な情報を分析することができ、グループの行動を容易に把握することができる。 In FIG. 30, by selecting a destination for the group, the group can check the payment amount at that destination, but a list of payment amounts at core facilities by the group may also be displayed. For example, as shown in FIG. 14, a table of payment amounts at each facility for the group may be displayed. Also, in addition to payment amounts, a list of information related to the group may be displayed. By displaying in this manner, detailed information about the group can be analyzed, and the group's behavior can be easily understood.
図３１は、複数のグループを大グループとして設定するグループ統合処理の例を示す説明図である。 Figure 31 is an explanatory diagram showing an example of group integration processing in which multiple groups are set as a large group.
グループ管理サーバ４は、管理端末２からの指示を受けると、図２２の場合と同様に、顔照合サーバ９との間で顔照合のリクエストおよび顔照合のレスポンスの送受信を行う。また、グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報において、対応する人物が登録者であることを示す識別子を付加する。
When the
続いて、グループ管理サーバ４は、グループリスト情報において、複数のグループから同一の登録者が属する複数のグループを抽出する。その後、グループ管理サーバ４は、それら抽出した複数のグループを大グループとして設定する。
Next, the
図３２は、グループ管理サーバ４による人脈チャート作成処理の例を示す説明図である。図３３は、人脈チャートの例を示す説明図である。
Figure 32 is an explanatory diagram showing an example of a process for creating a personal relationship chart by the
グループ管理サーバ４は、管理端末２からの指示を受けると、図２２の場合と同様に、顔照合サーバ９との間で顔照合のリクエストおよび顔照合のレスポンスの送受信を行う。また、グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報において、対応する人物が登録者であることを示す識別子を付加する。
When the
次に、グループ管理サーバ４は、対象のグループに含まれる１以上の登録者を抽出する。続いて、グループ管理サーバ４は、その抽出した各登録者に関するＳＮＳ（ソーシャルネットワーキングサービス）情報のリクエストをＳＮＳサーバ１０４に送信する。
Next, the
ＳＮＳサーバ１０４は、そのＳＮＳ情報のリクエストを受信すると、対象となる各登録者と他のＳＮＳユーザとの繋がりを検索する。続いて、ＳＮＳサーバ１０４は、他のＳＮＳユーザとの繋がりの検索結果をＳＮＳ情報のレスポンスとしてグループ管理サーバ４に送信する。
When the
グループ管理サーバ４は、ＳＮＳ情報のレスポンスに基づき人脈チャートを作成する。このとき、グループ管理サーバ４は、ＳＮＳユーザである登録者と他のＳＮＳユーザとの繋がりを人脈として認識する。管理者は、例えば図３３に示すように、管理端末２のディスプレイ３２に人脈チャートを表示することができる。図３３では、二点鎖線で囲まれた、グループ画像に対する顔認証結果から同じグループに属すると判定された登録者１８１、１８２及び利用者（非登録者）１８３に関する人脈チャートが示されている。このとき、太線での繋がりは、グループ画像に対する顔認証結果からグループであると判定された繋がりであり、細線がＳＮＳ上での繋がりを示している。
The
また、このグループには、ＳＮＳユーザである利用者（非登録者）１８３も属している。この利用者１８３と登録者１８２とは、グループ画像に対する顔認証結果から同じグループに属すると判定され関係づけられる。また、登録者１８２のＳＮＳに関する人脈の中から利用者（非登録者）１８３を見つけた場合は、利用者（非登録者）１８３にＳＮＳアカウントを紐づけて保存する。これにより、施設管理システムにおいて、撮影画像から同じグループに属すると判定された構成員１８１－１８３の間の関係がより明確となる。また、利用者（非登録者）１８３についての情報についても見つけることができる。
This group also includes user (unregistered person) 183, who is an SNS user. This
また、管理者は、図３３において、登録者１８１、１８２は、共に人物１８５と繋がりがあることを把握できる。また、施設管理システムでは、将来的に人物１８５が複合施設を利用する際には、登録者１８１、１８２に配信した情報と同一または類似の内容の情報を人物１８５に対して配信することができる。
In addition, in FIG. 33, the administrator can see that both
また、破線で囲まれた、別のグループ画像に対する顔認証結果から同じグループに属すると判定された登録者１８６及び利用者（非登録者）１８７についての繋がりも、ＳＮＳ情報を活用することで見つけ出すことができる。つまり、顔認証のグルーピングだけでは見つからなかった、グループとグループとの繋がりを見つけることができる。
In addition, by utilizing SNS information, it is possible to find connections between registered
図３４は、管理端末２に表示される登録情報の管理用画面の一例を示す説明図である。
Figure 34 is an explanatory diagram showing an example of a registration information management screen displayed on the
管理者は、登録情報を管理する際に、図３４に示す登録者の管理用画面を管理端末２のディスプレイ３２に表示することができる。
When managing registration information, the administrator can display the management screen for registrants shown in FIG. 34 on the
図３４に示す登録者の管理用画面は、登録者に関する認証用の顔画像および登録情報の登録、参照、更新、削除および検索の操作を管理者が行うためのものである。登録者の管理用画面に入力された情報（画像を含む）には、登録装置５によって取得された情報が含まれる。
The management screen for registrants shown in FIG. 34 allows an administrator to register, refer to, update, delete, and search for face images for authentication and registration information related to registrants. The information (including images) entered into the management screen for registrants includes information acquired by the
登録者の管理用画面には、操作選択エリア１９１および利用者情報エリア１９２が含まれる。
The management screen for registered users includes an
操作選択エリア１９１において、管理者は、実行する項目（情報の登録、参照、更新、削除、および検索など）を選択することができる。
In the
利用者情報エリア１９２には、登録者の顔画像および姓名や、顔認証に使用される情報が含まれる。ここでは、利用者情報エリア１９２には、顔画像表示部２０１、姓名入力部２０２、被認証者（登録者）ＩＤ入力部２０３、識別ＩＤ入力部２０４、付加情報入力部２０７、有効化日入力部２０８、及び無効化日入力部２０９が含まれる。
The
顔画像表示部２０１には、登録者の顔画像が表示される。管理者は、削除ボタン２１１を押下することにより、顔画像表示部２０１の顔画像を削除することが可能である。管理者は、登録装置５によって顔画像を取得できなかった場合に、画像選択ボタン２１２を押下することにより、準備した顔画像（画像ファイル）を表示対象として選択することができる。或いは、管理者は、画像選択ボタン２１２によって選択した顔画像を、登録装置５によって取得された顔画像に代えて顔画像表示部２０１に表示させることもできる。
The facial image of the registrant is displayed in the facial
姓名入力部２０２には、利用者の姓名が入力される。被認証者ＩＤ入力部２０３には、登録者ＩＤ（例えば、免許証番号、マイナンバーなど）が入力される。識別ＩＤ入力部２０４では、登録者を識別可能なＩＤ（例えば、利用者の登録順に割り当てられる一連かつ一意の番号）が入力される。付加情報入力部２０７では、付加情報を入力することができる。有効化日入力部２０８には、当該人物の顔照合を有効にすることができる日付が入力される。無効化日入力部２０９には、顔照合を無効にすることができる日付が入力される。これら有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。
The user's first and last name are input into the
また、本実施形態では、登録者に対する情報配信処理、グループ行動情報の生成処理、複数のグループを大グループとして設定するグループ統合処理及び人脈チャート作成処理について、管理端末２からの指示があった際に処理する旨記載したが、時刻での設定や、グループの変化を検知した際に処理する等、管理端末２からの指示に限らない。
In addition, in this embodiment, the process of distributing information to registrants, the process of generating group behavior information, the process of integrating groups to set multiple groups as a large group, and the process of creating a human connection chart are described as being performed when instructed by the
本実施形態では、登録者に対する情報配信処理、グループ行動情報の生成処理、複数のグループを大グループとして設定するグループ統合処理及び人脈チャート作成処理について、処理毎にグループ画像を取得し、グループリストへの情報付加を行っていたが、事前にグループリストを作成し、そのグループリストの情報を利用する形でもよい。具体的には、各施設が集まっている複合施設の建物に入るための最初のゲート装置でグループ画像を取得し、グループリストを作成する。その後、複合施設内にある各施設では、グループ画像は取得せず、顔決済等で撮影される個人を撮影した画像を活用して、その個人が所属するグループが同じ行動をしていると仮定してグループの行動履歴を保存する等が考えられる。こうすることで、各施設でグループ画像を撮影するためのカメラを設置する必要がなくなり、一人用のゲート装置や顔決済端末等の情報からグループの行動を追跡することができる。他にも、複合施設内をエリアごとに区切り、そのエリアへの入退の際に通過するゲート装置を活用してグループの行動を追跡してもよい。具体的には、遊園地エリア、レストランエリア、カジノエリアというようなエリアを設けて、エリアの出入口のゲート装置の画像を活用してグループを追跡する。こうすることで、複合施設内のどのエリアでグループが行動したのかを把握することができ、グループの嗜好を分析することができる。 In this embodiment, for the information distribution process for registrants, the group behavior information generation process, the group integration process for setting multiple groups as a large group, and the human connection chart creation process, a group image is acquired for each process, and information is added to the group list. However, a group list may be created in advance and the information in the group list may be used. Specifically, a group image is acquired at the first gate device for entering a building of a complex where each facility is gathered, and a group list is created. After that, each facility in the complex does not acquire a group image, but uses an image of an individual photographed by face payment or the like, and assumes that the group to which the individual belongs is behaving in the same way, and stores the group's behavior history. In this way, it is no longer necessary to install a camera for photographing a group image at each facility, and the group's behavior can be tracked from information such as a single-person gate device or face payment terminal. In addition, the complex may be divided into areas, and the group's behavior may be tracked using the gate device that the person passes through when entering and leaving the area. Specifically, areas such as an amusement park area, a restaurant area, and a casino area are set up, and the group is tracked using images of the gate device at the entrance and exit of each area. This allows us to understand which areas of the complex the group visited and analyze the group's preferences.
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, the embodiments have been described as examples of the technology disclosed in this application. However, the technology in this disclosure is not limited to this, and can also be applied to embodiments in which modifications, substitutions, additions, omissions, etc. have been made. It is also possible to combine the components described in the above embodiments to create new embodiments.
本開示に係る行動観察システム及び行動観察方法は、複合施設の利用者からなるグループの行動を適切に把握できる効果を有し、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システム及び行動観察方法などとして有用である。 The behavioral observation system and behavioral observation method disclosed herein have the effect of being able to properly grasp the behavior of a group of users of a complex facility, and are useful as a behavioral observation system and behavioral observation method for observing the behavior of a group of users of a complex facility that includes multiple facilities.
１ ：顔認証機
２ ：管理端末
３ ：顔認証サーバ
４ ：登録装置
５ ：顔管理サーバ
６ ：顔照合サーバ
１０ ：利用者
１１ ：カメラ（顔画像取得部）
１２ ：ディスプレイ（表示部）
１５ ：制御部（プロセッサ）
１６ ：外部装置
２５ ：認証結果調整部（履歴情報生成部）
４１Ａ ：顔撮影用カメラ（個人情報取得部）
４１Ｂ ：情報取得用カメラ（個人情報取得部）
４２ ：ディスプレイ（表示部）
４５ ：制御部（プロセッサ）
６２ ：利用者管理部
６４ ：機器管理部
９０ ：画像生成部
1: Face authentication device 2: Management terminal 3: Face authentication server 4: Registration device 5: Face management server 6: Face matching server 10: User 11: Camera (face image acquisition unit)
12: Display (display unit)
15: Control unit (processor)
16: External device 25: Authentication result adjustment unit (history information generation unit)
41A: Face camera (personal information acquisition unit)
41B: Information acquisition camera (personal information acquisition unit)
42: Display (display unit)
45: Control unit (processor)
62: User management unit 64: Equipment management unit 90: Image generation unit
Claims (7)
前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得する登録管理装置と、
前記複数の施設にそれぞれ配置され、前記グループを撮影することにより、グループ画像を生成する複数の撮影装置と、
前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行する顔認証装置と、
前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行する決済装置と、
前記複合施設における前記グループの移動履歴の情報を生成する移動情報生成装置と、
を備え、
前記移動情報生成装置は、前記決済処理が行われた複数の前記施設に関する情報に基づき前記移動履歴の情報を生成する、行動観察システム。 A behavior observation system for observing the behavior of a group of users of a complex facility including a plurality of facilities, comprising:
a registration management device for acquiring a facial image for registration of the user who is to be registered as a registrant of the complex;
a plurality of photographing devices that are respectively disposed in the plurality of facilities and that photograph the group to generate a group image;
a face authentication device that executes a face authentication process based on the authentication face image and the registration face image of the user acquired from the group image;
a payment device that executes a payment process for a product purchased or a service used by the user at each facility based on a result of the face authentication process;
a movement information generating device that generates information on a movement history of the group in the complex;
Equipped with
The movement information generation device generates the movement history information based on information about the plurality of facilities where the payment processing was performed.
前記移動履歴の情報は、前記グループ区分と共に前記表示装置に表示される、請求項２に記載の行動観察システム。 a group determination device that determines a group classification for distinguishing the groups based on the group image according to differences in properties;
The behavior observation system according to claim 2 , wherein the movement history information is displayed on the display device together with the group classification.
前記サーバは、
ａ）前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得し、
ｂ）前記複数の施設にそれぞれ配置された撮影装置により、前記グループを撮影することにより、グループ画像を生成し、
ｃ）前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行し、
ｄ）前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行し、
ｅ）前記複合施設における前記グループの移動履歴の情報を生成し、
ｆ）前記移動履歴の情報は、前記決済処理が行われた複数の前記施設に関する情報に基づき生成される、
行動観察システムの行動観察方法。 A behavior observation method for a behavior observation system including a server that observes the behavior of a group of users of a complex facility including a plurality of facilities, comprising:
The server,
a) acquiring a facial image for registration of the user who is to be registered as a registrant of the complex;
b) generating a group image by photographing the group using photographing devices disposed in each of the facilities;
c) performing a face authentication process based on the authentication face image and the enrollment face image of the user acquired from the group image;
d) executing a payment process for the products purchased or services used by the user at each of the facilities based on the results of the facial authentication process;
e) generating information on the group's movement history in the complex;
f) the movement history information is generated based on information about the plurality of facilities where the payment processing was performed;
Behavioral observation method for behavioral observation system .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020051697A JP7507390B2 (en) | 2020-03-23 | 2020-03-23 | Behavioral observation system and behavioral observation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020051697A JP7507390B2 (en) | 2020-03-23 | 2020-03-23 | Behavioral observation system and behavioral observation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021149856A JP2021149856A (en) | 2021-09-27 |
| JP7507390B2 true JP7507390B2 (en) | 2024-06-28 |
Family
ID=77849127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020051697A Active JP7507390B2 (en) | 2020-03-23 | 2020-03-23 | Behavioral observation system and behavioral observation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7507390B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013054588A (en) | 2011-09-05 | 2013-03-21 | Toshiba Tec Corp | Sale management system and program |
| JP2016045654A (en) | 2014-08-21 | 2016-04-04 | 日本システム開発株式会社 | User identification device, user identification method, and computer program |
| JP2019020986A (en) | 2017-07-14 | 2019-02-07 | パナソニック株式会社 | Human flow analysis method, human flow analysis device, and human flow analysis system |
| WO2019181499A1 (en) | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | Store management device and store management method |
-
2020
- 2020-03-23 JP JP2020051697A patent/JP7507390B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013054588A (en) | 2011-09-05 | 2013-03-21 | Toshiba Tec Corp | Sale management system and program |
| JP2016045654A (en) | 2014-08-21 | 2016-04-04 | 日本システム開発株式会社 | User identification device, user identification method, and computer program |
| JP2019020986A (en) | 2017-07-14 | 2019-02-07 | パナソニック株式会社 | Human flow analysis method, human flow analysis device, and human flow analysis system |
| WO2019181499A1 (en) | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | Store management device and store management method |
Non-Patent Citations (1)
| Title |
|---|
| セブン－イレブン 日本初の顔認証決済とＡＩ活用による省人化 先端技術の導入で、新たなマーケットを開拓，月刊コンビニ，日本，株式会社アール・アイ・シー，2019年02月24日，第２２巻，第２号，ｐ．７－１３ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021149856A (en) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7038293B2 (en) | Gate open / close control device and gate open / close control method | |
| CN113519013B (en) | Face authentication system and face authentication method | |
| JP6819916B1 (en) | Information processing equipment, information processing methods and programs | |
| US11893844B2 (en) | Face authentication machine and face authentication method | |
| JP7108873B2 (en) | Face authentication management server and face authentication management method | |
| WO2021029046A1 (en) | Information processing device, information processing method, and recording medium | |
| JP2023033562A (en) | Information processing apparatus, server apparatus, information processing method, and recording medium | |
| JP2022091805A (en) | Face authentication registration device and face authentication registration method | |
| US20240028682A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2021149854A (en) | Information distribution system and information distribution method | |
| WO2021100090A1 (en) | Information processing device, information processing method, and recording medium | |
| JP7507390B2 (en) | Behavioral observation system and behavioral observation method | |
| JP7296607B2 (en) | Face recognition machine and face recognition method | |
| JP7266185B2 (en) | Face authentication system and face authentication method | |
| WO2022034668A1 (en) | Information processing device, information processing method, and storage medium | |
| JP2022084586A (en) | Entrance control apparatus and entrance control method | |
| JP2023101822A (en) | Face authentication machine and face authentication method | |
| JP2023111935A (en) | Face authentication apparatus for gate opening/closing control and face authentication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240604 |