JP6214494B2 - User identification device, user identification method, and computer program - Google Patents
User identification device, user identification method, and computer program Download PDFInfo
- Publication number
- JP6214494B2 JP6214494B2 JP2014168729A JP2014168729A JP6214494B2 JP 6214494 B2 JP6214494 B2 JP 6214494B2 JP 2014168729 A JP2014168729 A JP 2014168729A JP 2014168729 A JP2014168729 A JP 2014168729A JP 6214494 B2 JP6214494 B2 JP 6214494B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- facility
- information
- feature amount
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 132
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims description 44
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 26
- 238000007726 management method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 17
- 230000007704 transition Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像装置にて撮像した画像に基づき、画像に写る人物を認識し、施設への利用者の入退場管理を支援するシステムに関し、簡易な構成にて利用者の入退場を識別することを可能とする利用者識別装置、利用者識別方法及びコンピュータプログラムに関する。 The present invention relates to a system for recognizing a person appearing in an image based on an image captured by an imaging apparatus and supporting entry / exit management of the user to / from a facility, and identifies the user's entry / exit with a simple configuration The present invention relates to a user identification device, a user identification method, and a computer program.
施設への入退場を管理し、不正侵入を防止するために種々の方法が提案されている。例えば、顔写真付きの認証カード、又はＲＦＩＤ（Radio Frequency IDentification）タグを利用してゲートを開閉する方法がある。 Various methods have been proposed to manage entry and exit of facilities and prevent unauthorized entry. For example, there is a method of opening and closing the gate using an authentication card with a face photograph or an RFID (Radio Frequency IDentification) tag.
また昨今では、撮像装置の解像度及び画像処理技術の進歩により、画像に基づく認証をリアルタイムに行なうことが可能である。そこで、撮像装置を利用し、撮像画像に写る人物を認識して監視する種々のシステムが提案されている（特許文献１等）。
In recent years, authentication based on an image can be performed in real time due to the resolution of the imaging device and the progress of image processing technology. Thus, various systems that use an imaging device to recognize and monitor a person appearing in a captured image have been proposed (
施設の種類によっては、従業員が直接的に応対することによって利用者へのサービス提供の満足度を向上させることができる。このように従業員による直接的な応対が行なわれる施設においては、出入りが比較的自由であるために不特定の利用者が入場可能となるが、不正な利用者を区別して適切に対応できるようにすることが望まれる。 Depending on the type of facility, the satisfaction of the service provision to the user can be improved by directly responding to the employee. In facilities where employees are directly handled in this way, entry and exit is relatively free and unspecified users can enter, but it is possible to distinguish unauthorized users and respond appropriately. It is desirable to make it.
認証カード又はＲＦＩＤタグ等を事前に登録又は購入する等の手続を必要とする入退場管理の方法は、特定の利用者を識別する場合は適切な方法である。しかしながら、上述のような種類の施設においては、当該入退管理の方法では、手続の煩雑さ及びカード等の管理の煩雑さから、サービス低下を招きかねない。 An entrance / exit management method that requires procedures such as registration or purchase of an authentication card or RFID tag in advance is an appropriate method for identifying a specific user. However, in the types of facilities as described above, the entrance / exit management method may lead to service degradation due to the complexity of procedures and the management of cards and the like.
特許文献１に開示された方法でも、認証カードを撮像することによって利用者を識別するので、不特定の利用者を対象とする施設における入退場の管理に利用した場合、利用者の満足度を向上させることは困難である。
Even in the method disclosed in
本発明は斯かる事情に鑑みてなされたものであり、利用者による事前の登録又は所定の物の購入等の手続を不要とし、簡易な構成にて利用者の入退場を精度よく管理することを可能とする利用者識別装置、利用者識別方法及びコンピュータを利用者識別装置として機能させるコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and does not require a procedure such as prior registration by a user or purchase of a predetermined item, and accurately manages entry / exit of a user with a simple configuration. It is an object to provide a user identification device, a user identification method, and a computer program that allows a computer to function as a user identification device.
本発明に係る利用者識別装置は、施設の特定の場所に設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する取得手段、該複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出する抽出手段、抽出された人物領域の特徴量を求める手段、及び、求められた特徴量と識別情報とを対応付けて記憶装置に記憶する手段を備え、前記施設を利用する人物を識別する利用者識別装置において、前記撮像装置は、前記施設の一部である手続用設備、該手続用設備でやりとりを行なう人物、従業員、及び前記設備へ入退場する人物を撮像するように設置されており、１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておく事前登録手段と、新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断する手段と、該手段が対応しないと判断した場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報、及び、前記人物の前記施設の利用状態を初期的に施設の利用前の手続未完了状態として示す状態情報と対応付けて記憶装置に記憶する新規登録手段と、前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報が手続未完了状態を示している前記新規な人物が前記施設の一部である前記手続用設備を経由して前記施設の他の一部へ移動した場合、前記利用状態が手続完了状態を示すように前記状態情報を更新する状態更新手段とを備えることを特徴とする。 A user identification device according to the present invention includes an acquisition unit that sequentially acquires image data of a plurality of captured images that are captured in time series by an imaging device installed in a specific place of a facility, Extraction means for extracting a person area from an image based on each of the image data, means for obtaining a feature quantity of the extracted person area, and means for associating the obtained feature quantity with identification information and storing them in a storage device In the user identification device for identifying a person who uses the facility, the imaging device enters a facility for a procedure that is a part of the facility, a person who interacts with the facility for the procedure, an employee, and the facility. It is installed so as to image a person who leaves, and is characterized by a specific person area characteristic amount of the specific person based on image data of an image of one or more specific persons, and identification information of the specific person Vs A feature amount that is stored in the storage device is stored in advance in the storage device, and pre-registration means that is stored in advance in the storage device and a feature amount that is obtained for the extracted person area based on the image data of the newly captured image And a means for determining whether or not it corresponds, and when the means is determined not to correspond, the feature value of the extracted person region is used as a new person feature value , and the identification information of the new person, New registration means for initially storing the state of use of the facility in association with state information indicating the procedure incomplete state before use of the facility, and a plurality of images of the new person region having the new person feature amount When the new person whose status information indicates a procedure incomplete state moves to another part of the facility via the procedure equipment that is a part of the facility , based on changes over time, Use Characterized in that it comprises a state updating means status updates the status information to indicate the procedure completion state.
本発明に係る利用者識別装置は、前記利用状態は、施設の利用前又は利用後における手続の完了状態／未完了状態を含み、前記状態更新手段は、前記新規人物領域の撮像画像内での位置、前記特定人物領域内、若しくは前記新規人物領域内における顔部分の位置、前記特定人物領域及び前記新規人物領域間の距離、又は、前記新規人物領域が撮像されている期間に基づき、所定の施設利用手続に対応する動作が行なわれたか否かを判定する判定手段と、該判定手段により行なわれたと判定した場合に、前記新規人物特徴量の識別情報に対応付けられている前記状態情報が示す人物の利用状態を利用前又は利用後における手続未完了状態から手続完了状態へ変更する手段とを更に備えることを特徴とする。 User identification device according to the present invention, the use state includes a completion status / incomplete state of the procedure after use before or use of the facility, prior Symbol status update means, the novel human region captured image of Based on the position of the face portion in the specific person area or the new person area, the distance between the specific person area and the new person area, or the period during which the new person area is imaged, A determination unit that determines whether or not an operation corresponding to a predetermined facility use procedure has been performed, and the state that is associated with the identification information of the new person feature when the determination unit determines that the operation has been performed And a means for changing the usage state of the person indicated by the information from a procedure incomplete state before use or after use to a procedure completed state.
本発明に係る利用者識別装置は、前記新規人物領域に対応付けられている状態情報が所定の時点にて所定の利用状態である場合に、前記新規人物領域の特徴量を特定監視対象情報として前記記憶装置に記憶しておき、新たに前記抽出手段により抽出された人物領域の特徴量が前記特定監視対象情報の特徴量と対応するか否かを判断する手段と、該手段が対応すると判断した場合に報知する手段とを更に備えることを特徴とする。 In the user identification device according to the present invention, when the state information associated with the new person area is in a predetermined use state at a predetermined time, the feature amount of the new person area is used as the specific monitoring target information. stores in the storage device, and means for characteristic quantity of the human region extracted by newly the extraction unit determines whether features and corresponds of the specific monitoring target information, the said means corresponding And a means for informing when it is determined.
本発明に係る利用者識別装置は、前記新規登録手段により記憶装置に記憶した新規人物特徴量、識別情報及び状態情報を所定期間保持しておく手段と、新たに前記抽出手段により抽出された人物領域の特徴量が、保持されている特徴量と対応するか否かを判断する手段と、該手段が対応しないと判断した場合、前記所定期間における利用者数を加算して利用者数を計数する手段とを更に備えることを特徴とする。 The user identification device according to the present invention includes a new person feature amount, identification information, and state information stored in a storage device by the new registration unit, and a person newly extracted by the extraction unit. A means for determining whether or not the feature quantity of the region corresponds to the retained feature quantity, and if it is determined that the means does not correspond, the number of users is counted by adding the number of users in the predetermined period. And a means for performing.
本発明に係る利用者識別方法は、施設の特定の場所に設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する取得手段、該複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出する抽出手段、抽出された人物領域の特徴量を求める手段、及び、求められた特徴量と識別情報とを対応付けて記憶装置に記憶する手段を備える装置が、前記施設を利用する人物を識別する利用者識別方法において、前記撮像装置は、前記施設の一部である手続用設備、該手続用設備でやりとりを行なう人物、従業員、及び前記設備へ入退場する人物を撮像するように設置されており、１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておき、新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断し、対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報、及び、前記人物の前記施設の利用状態を初期的に施設の利用前の手続未完了状態として示す状態情報と対応付けて記憶装置に記憶し、前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報が手続未完了状態を示している前記新規な人物が前記施設の一部である前記手続用設備を経由して前記施設の他の一部へ移動した場合、前記利用状態が手続完了状態を示すように前記状態情報を更新することを特徴とする。 The user identification method according to the present invention includes an acquisition unit that sequentially acquires image data of a plurality of captured images that are captured in time series by an imaging device installed in a specific place of a facility, Extraction means for extracting a person area from an image based on each of the image data, means for obtaining a feature quantity of the extracted person area, and means for associating the obtained feature quantity with identification information and storing them in a storage device In the user identification method for identifying a person who uses the facility, the imaging apparatus includes a facility for a procedure that is a part of the facility, a person who interacts with the facility for the procedure, an employee, and the facility A person who enters and leaves the vehicle, and is characterized by the specific person area of the specific person based on image data of an image of one or more specific persons and identification of the specific person Affection Information stored in advance in the storage device in association with the information, and based on the image data of the newly captured image, the feature amount obtained for the extracted person area is stored in the storage device. It is determined whether or not it corresponds, and when it is determined that it does not correspond, the feature amount of the extracted person area is used as a new person feature amount , and the identification information of the new person and the use state of the facility of the person the initially stored in the storage device in association with state information indicating a procedure incomplete state before use of the facility, based on a change over a plurality of images of the new human region having the novel person feature quantity, the state information When the new person indicating that the procedure is incomplete has moved to another part of the facility via the procedure equipment that is a part of the facility, the usage status indicates the procedure completed state the shape so as to And updates the information.
本発明に係るコンピュータプログラムは、施設の一部である手続用設備、該手続用設備でやりとりを行なう人物、従業員、及び前記設備へ入退場する人物を撮像するように設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する手段、及び、記憶装置に情報を読み書きする手段を備えるコンピュータに、前記複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出させ、抽出された人物領域の特徴量を求めさせ、求められた特徴量と識別情報とを対応付けて記憶装置に記憶させるコンピュータプログラムにおいて、前記コンピュータに、１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に記憶しておくステップ、新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断するステップ、対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報、及び、前記人物の前記施設の利用状態を初期的に施設の利用前の手続未完了状態として示す状態情報と対応付けて記憶装置に記憶するステップ、及び、前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報が手続未完了状態を示している前記新規な人物が前記施設の一部である前記手続用設備を経由して前記施設の他の一部へ移動した場合、前記利用状態が手続完了状態を示すように前記状態情報を更新するステップを実行させることを特徴とする。 A computer program according to the present invention is provided in an imaging apparatus installed so as to image procedural equipment that is a part of a facility, a person who interacts with the procedural equipment, an employee, and a person who enters and leaves the equipment. A computer having means for sequentially acquiring image data of a plurality of captured images captured in time series and a means for reading and writing information in a storage device is used to generate a person from an image based on each of the image data of the plurality of captured images. In a computer program for extracting a region, obtaining a feature amount of the extracted person region, and storing the obtained feature amount and identification information in association with each other in a storage device, the computer stores one or more specific persons A storage device that associates the feature amount of the specific person area of the specific person based on the image data of the image obtained by capturing the image with the identification information of the specific person A step of storing, and a step of determining whether or not a feature amount calculated for the extracted person region corresponds to a feature amount stored in the storage device based on image data of a newly captured image If it is determined that they do not correspond to each other, the feature amount of the extracted person area is used as a new person feature amount , and the identification information of the new person and the use state of the facility of the person are initially set before the use of the facility. The state information is stored in the storage device in association with the state information indicated as the procedure incomplete state , and the state information is in the procedure incomplete state based on a change over a plurality of images of the new person region having the new person feature amount. If the new person showing the moves to another part of the facility via the procedure equipment which is part of the facility, so that the use state showing a procedure completion state Characterized in that to execute the step of updating the serial status information.
本発明では、例えば施設の従業員等である特定人物を撮像した画像から得られる特定人物の特徴量が予め記憶されている。新たに撮像された画像から抽出された人物領域から特徴量が求められる。求められた特徴量は、記憶されている特定人物の特徴量と対応しない場合、新たに入場してきた人物の特徴量として、人物の識別情報及び当該人物の施設の利用状態を示す状態情報と対応付けて記憶される。記憶された特徴量を有する人物領域の複数の撮像画像に亘る変化に基づき、入場してきた人物に対応する状態情報が更新される。状態情報が示す利用状態が、施設における取り決めに応じた状態遷移となるか否かにより、利用者の正当な入退場を、不正な入退場と区別することが可能となる。また、従業員等の特定の人物を画像から判別することができるから、画像に撮像される従業員の不正な行為を特定することも可能となる。 In the present invention, for example, a feature amount of a specific person obtained from an image obtained by capturing a specific person such as an employee of a facility is stored in advance. A feature amount is obtained from a person region extracted from a newly captured image. If the calculated feature quantity does not correspond to the stored feature quantity of the specific person, the feature quantity of the newly entered person corresponds to the identification information of the person and the state information indicating the usage status of the facility of the person. It is memorized. Based on the change over the plurality of captured images of the person area having the stored feature amount, the state information corresponding to the person who has entered is updated. It is possible to distinguish a legitimate entry / exit of a user from an unauthorized entry / exit depending on whether or not the use state indicated by the state information is a state transition according to an agreement in the facility. In addition, since a specific person such as an employee can be determined from the image, it is possible to specify an illegal act of the employee captured in the image.
本発明では、状態情報が示す利用状態には、施設の利用前又は利用後における手続の完了状態／未完了状態が含まれる。人物が撮像された場合の画像内での位置、人物の顔に対応する領域の位置、特定人物の顔に対応する領域の位置、前記特定人物と入場してきた人物との距離、又は、入場してきた人物が撮像されている期間に基づき、所定の施設利用手続に対応する動作が行なわれたか否かが判定される。所定の利用手続き動作が行なわれたと判定された場合、入場してきた人物に対応する利用状態情報が、手続の未完了状態から完了状態へ変更される。従業員とのやりとりを入場時及び退場時に行なったか否かを画像認識によって特定することにより、利用者の正当な入退場を不正な入退場と区別することが可能となる。 In the present invention, the use state indicated by the state information includes a completed state / uncompleted state of the procedure before or after using the facility. The position in the image when a person is imaged, the position of the area corresponding to the face of the person, the position of the area corresponding to the face of the specific person, the distance between the specific person and the person who has entered, or has entered Whether or not an operation corresponding to a predetermined facility use procedure has been performed is determined based on a period during which the person is imaged. If it is determined that a predetermined usage procedure operation has been performed, the usage status information corresponding to the person who has entered the site is changed from an incomplete procedure status to a completed status. It is possible to distinguish a user's legitimate entrance / exit from an illegal entrance / exit by specifying whether or not the exchange with the employee was performed at the time of entrance and exit by image recognition.
本発明では、入場してきた人物の特徴量に対応付けられている状態情報が、所定の時点にて所定の利用状態を示す場合には、不正な入退場がなされたと判断されて前記特徴量が監視対象の人物の特徴量として記憶される。これにより、次に、監視対象として記憶されている特徴量を有する人物が撮像された場合、不正な入退場に係る人物が入場してきたと認識され、報知がなされる。これにより、不正な入退場の繰り返しを防止することが可能となる。 In the present invention, when the state information associated with the feature amount of the person who has entered the site indicates a predetermined usage state at a predetermined time point, it is determined that an unauthorized entry has been made and the feature amount is It is stored as the feature quantity of the person to be monitored. Thereby, when a person having a feature amount stored as a monitoring target is imaged next, it is recognized that a person related to an unauthorized entry / exit has entered, and notification is made. Thereby, it becomes possible to prevent repeated illegal entry and exit.
本発明では、入場してきた人物の特徴量を所定期間保持しておき、新たに入場してきた人物の特徴量が、保持されている特徴量と対応する場合には計数対象から除外することにより、所定期間において同一人物に対する重複計数を回避することができる。 In the present invention, the feature amount of the person who has entered is held for a predetermined period, and when the feature amount of the newly entered person corresponds to the feature amount being held, by excluding it from the counting target, Duplicate counting for the same person in a predetermined period can be avoided.
本発明による場合、従業員との間で、施設毎に定められている正規のやりとりが行なわれたか否かが画像認識によって特定されることにより、正当な入退場と不正な入退場とを区別することができる。防犯等の目的で既に施設で利用されている撮像装置を用いた簡易な構成によって利用者の入退場を識別することができる。 According to the present invention, whether or not regular exchanges established for each facility with employees has been performed is identified by image recognition, thereby distinguishing between legitimate entry and exit and unauthorized entry and exit. can do. The user's entry / exit can be identified by a simple configuration using an imaging device already used in the facility for the purpose of crime prevention.
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、以下に開示する実施の形態では、本発明に係る利用者識別装置を、施設の入退場管理システムに用いる例を挙げて説明する。 Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof. In the embodiment disclosed below, an example in which the user identification device according to the present invention is used in a facility entrance / exit management system will be described.
図１は、本実施の形態における入退場管理システムの概要を示す説明図である。図１は、入退場管理システムが設置される施設の入口付近にて利用者が識別される過程を模式的に示している。入退場管理システムが設置される施設は、例えば、宿泊施設、入浴施設、ゴルフ練習場、又はフィットネスクラブ等である。このような施設では、入口付近に会計フロント又は受付カウンタ等の手続用設備が設けられており、来場者は手続用設備にて各施設における取り決めに応じた受付手続を済ませてから施設を利用すべきとされる。図１では、右側が施設の入口側であり、左側が施設内側である。図１の中央部に、施設の入口から施設内側に至る途中に設けられている手続用設備が示されている。来場者は通常、入口から入場すると、受付手続を行なうために手続用設備に接近し、従業員とのやり取りによって手続を完了すべきである。本実施の形態における入退場管理システムでは、手続用設備付近が撮像されるようにし、来場者を従業員と区別し、更に、来場者が従業員との間のやり取りを行なって手続を完了させたか否かが撮像画像に基づいて認識された場合に、来場者を正当な利用者であると認識されるようにする。そして、本システムでは、利用者が所定の手続きを再度行なって退場するまで、撮像画像に基づき動向が追跡されるようにする。また、本システムでは、従業員の動向も追跡されるようにし、従業員による不正も特定することが可能である。 FIG. 1 is an explanatory diagram showing an overview of an entrance / exit management system according to the present embodiment. FIG. 1 schematically shows a process of identifying a user near the entrance of a facility where an entrance / exit management system is installed. The facility where the entrance / exit management system is installed is, for example, an accommodation facility, a bathing facility, a golf driving range, or a fitness club. In such facilities, procedure facilities such as accounting front desks or reception counters are provided near the entrance, and visitors use the facilities after completing the reception procedures according to the arrangements at each facility with the procedure facilities. It should be. In FIG. 1, the right side is the entrance side of the facility and the left side is the inside of the facility. In the center of FIG. 1, procedural equipment provided on the way from the entrance to the inside of the facility is shown. Visitors should normally enter the facility from the entrance and approach the procedural equipment to complete the procedure and complete the procedure by interacting with employees. In the entrance / exit management system according to the present embodiment, the vicinity of the procedural equipment is imaged, the visitors are distinguished from the employees, and the visitors complete the procedure by exchanging with the employees. If it is recognized based on the captured image, the visitor is recognized as a valid user. In this system, the trend is traced based on the captured image until the user performs a predetermined procedure again and leaves. The system can also track employee trends and identify fraud by employees.
このように利用者及び従業員の動向の追跡を実現すべく、本実施の形態における入退場管理システムは、施設の手続用設備、及び、従業員、入退場する人物を全て撮像範囲に含むように設置される撮像装置２を用い、更に、該撮像装置２に接続されたコンピュータを利用者識別装置１として用いる。利用者識別装置１は、撮像装置２から得られる動画像データに基づく画像に対し、人物領域の抽出及び特徴量の算出等を行なって人物を認識する。利用者識別装置１は、認識した人物の動向を、以後の動画像データに基づいて追跡し、各人物について、追跡した動向に対応する状態情報を記憶する処理を行なう。利用者識別装置１により人物毎の状態情報が記憶されることにより、施設の管理者は、記憶されている状態情報を閲覧することで事後的に又は即時的に、正当な入退場と不正な入退場とを区別し適切な対応を行なうことができる。このように、利用者識別装置１を用いることによって施設の適切な入退場管理を実現することができる。
In order to track the trends of users and employees in this way, the entrance / exit management system in the present embodiment includes all facilities for procedural facilities, employees, and persons entering / exiting in the imaging range. And a computer connected to the
更に、図１に示す例では、利用者識別装置１は動画像記録装置３、表示装置４、及び報知装置５と接続されてある。これにより利用者識別装置１は、各人物の状態情報が示す動向の内容に応じて不正利用を自動的に検出し、表示装置４及び報知装置５にて不正な利用の有無又は内容を報知させて従業員等に知らせたり、撮像装置２にて撮影している動画像データを動画像記録装置３に記録させたりする。報知又は記録等が自動的に行なわれることにより、従業員が不正利用に対して即時的に適切な対応を行なうことが可能となる。
Further, in the example shown in FIG. 1, the
上述のような処理を実現するための入退場管理システムについて、以下各装置の構成を説明し、主に利用者識別装置１による動作についての説明を詳述する。なお、以下に示す構成はあくまで例示であり、これに限定されないことは勿論である。
Regarding the entrance / exit management system for realizing the processing as described above, the configuration of each device will be described below, and the operation mainly performed by the
図２は、本実施の形態における入退場管理システムの構成を示すブロック図である。利用者識別装置１には例えばパーソナルコンピュータを用いる。利用者識別装置１は、動画像カメラを用いた撮像装置２、ビデオレコーダを用いた動画像記録装置３、パーソナルコンピュータのモニタを用いた表示装置４、及び、スピーカを用いた報知装置５と接続されている。本実施の形態における入退場管理システムはこのように、施設で既に利用されているような設備を用いて実現可能である。
FIG. 2 is a block diagram showing the configuration of the entrance / exit management system in the present embodiment. For example, a personal computer is used as the
撮像装置２は、デジタル又はアナログにより撮像した動画像に係る映像信号（時系列的に連続する複数の画像の画像データ）を利用者識別装置１へ出力する。
The
動画像記録装置３は、ハードディスク等の記録装置を有し、利用者識別装置１から出力される映像信号を記録する。また、動画像記録装置３は、利用者識別装置１の制御により、記録してある映像信号を利用者識別装置１へ順次出力するようにしてもよい。なお、撮像装置２から出力された映像信号を、直接的に動画像記録装置３が入力して記録媒体に記録するようにしてもよいし、記録媒体に記憶してある映像信号を表示装置４へ直接的に出力するようにしてもよい。
The moving
表示装置４は、ＬＣＤ（Liquid Crystal Display）等のディスプレイを用い、利用者識別装置１から出力される画像信号又は映像信号に基づく画像を表示する。また、表示装置４は、動画像記録装置３から出力される映像信号を直接的に入力し、入力した映像信号に基づく動画像を表示するようにしてもよい。
The display device 4 uses a display such as an LCD (Liquid Crystal Display) and displays an image based on an image signal or a video signal output from the
報知装置５は、利用者識別装置１から出力された音声信号に基づき、音声を出力する。なお、表示装置４及び報知装置５は、図１に示したようにスピーカ付きの表示装置を用いて一体に構成されてよい。
The notification device 5 outputs a sound based on the sound signal output from the
利用者識別装置１は、制御部１０、記憶部１１、画像取得部１２、記録制御部１３、表示部１４、報知部１５、及び一時記憶部１６を備える。
The
制御部１０は、ＣＰＵ（Central Processing Unit ）を用いる。制御部１０は、記憶部１１に記憶されている制御プログラム１Ｐを読み出して実行することにより、各構成部を制御し、パーソナルコンピュータを利用者識別装置１として機能させる。具体的には、制御部１０は、制御プログラム１Ｐに基づき、取得される画像データに基づく画像からの人物領域の抽出、及び人物領域の特徴量の算出を含む人物認識処理、並びに後述する利用者の状態情報の更新処理等を行なう。人物領域の抽出処理、人物領域の特徴量の算出処理については、公知の技術を適宜採用して用いればよい。
The
記憶部１１は、ハードディスク又はフラッシュメモリ等の不揮発性の記録媒体を用いる。記憶部１１には、制御プログラム１Ｐが記憶されている。記憶部１１には、制御部１０が参照する情報が予め記憶されている。例えば、後述する事前に登録された従業員の特徴量を含む従業員情報１１１（図５参照）、撮像画像内の各領域と施設内の区画との対応関係を定義した管理領域情報１１２（図４参照）、及び、特定の監視対象の人物等を識別するための特徴量を含む特定監視情報１１３が記憶部１１に記憶されてある。また、施設の不正利用を自動的に検出するために、各人物の利用状態を示す状態情報と、各人物が存在している区画との組とからなる条件を含む不正検出条件が記憶されてある。
The
また記憶部１１には、制御部１０の処理によって認識された人物の識別情報（人物ＩＤ）と、追跡される各人物の動向に応じた利用状態を示す状態情報とが対応付けられた追跡情報が、データベース（Data Base ）化されて追跡情報群１１４として記憶される。特に、本実施の形態において追跡情報は、人物を識別する人物ＩＤ、前記状態情報、各人物を識別するために用いる特徴量を含む識別情報、更新時刻、人物が存在すると推定される領域に対応する区画ＩＤ、報知の有無等を示す付加情報、及び、更新を行なった契機などを示す備考情報を含む（図８参照）。制御部１０の処理により、記憶部１１の追跡情報群１１４が適宜更新される。
The
一時記憶部１６は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、制御部１０の処理によって生成される情報を一時的に記憶する。
The
画像取得部１２は、撮像装置２と対応するインタフェースを用い、撮像装置２と接続されている。画像取得部１２は、専用の画像用メモリ又は一時記憶部１６内に確保される画像用メモリ（図示せず）を用いる。画像取得部１２は、接続された撮像装置２から映像信号（時系列的に連続する複数の画像の画像データ）を入力し、入力した映像信号から、各画像の画像データを取得して画像用メモリに各記憶する。映像信号が、例えば１秒間に３０（２９．９７）フレーム分の画像の画像データからなる場合、画像取得部１２は、全ての画像の画像データを取得しなくてもよく、例えば、１秒間に１フレーム分の画像の画像データを取得して画像用メモリに順次記憶する。映像信号のフレームレート、及び画像取得部１２が画像データを取得する頻度は、適宜設定されればよい。制御部１０は、画像用メモリから、画像取得部１２により記憶された複数の画像の画像データを読み出すことが可能である。
The
記録制御部１３は、動画像記録装置３と対応するインタフェースを用い、動画像記録装置３と接続されている。記録制御部１３は、撮像装置２からの映像信号を動画像記録装置３へ出力させ、動画像記録装置３における記録開始、又は記録停止を制御するとよい。
The
表示部１４は、表示装置４と対応するインタフェースを用い、表示装置４に接続されている。制御部１０は、表示部１４を介し、操作画面、情報一覧、又は映像に係る画像を適宜表示装置４に表示させることが可能である。
The
報知部１５は、報知装置５に対応するインタフェースを用い、報知装置５に接続されている。制御部１０は、報知部１５を開始、音声を適宜報知装置５から出力させることが可能である。なお、報知部１５は、表示部１４の機能を包含するものであってもよい。
The
このように構成される利用者識別装置１、動画像記録装置３、表示装置４及び報知装置５は、施設の従業員のみが立ち入り可能な部屋等に設けられ、利用者識別装置１による処理が行なわれる。
The
図３は、本実施の形態における撮像装置２の設置箇所を示す説明図であり、図４は、本実施の形態における撮像装置２による撮像画像の内容例を示す説明図である。撮像装置２は、図３に示す位置の施設の壁面又は天井に設けられてある。撮像装置２は、受付用のカウンタ後方から、カウンタ、カウンタ前、及びカウンタ付近を、図４に示すように俯瞰する角度で設けられてある。なお、図３に示すように、撮像装置２の撮像範囲は、カウンタ内、カウンタ前、カウンタ付近、入口付近、施設付近、従業員専用区画Ａ、及び従業員専用区画Ｂとに区画が分けられており、図４に示した撮像画像内の各領域がいずれの区画に対応するかの管理領域情報１１２が利用者識別装置１の記憶部１１に記憶されてある。また、撮像画像内の各位置における距離と実距離との対応が記憶部１１に記憶されてもよい。
FIG. 3 is an explanatory diagram illustrating an installation location of the
図５は、本実施の形態における記憶部１１の従業員情報１１１の内容例を示す説明図である。従業員情報１１１は、各従業員についての従業員の識別情報（ＩＤ）及び特徴量情報がデータベース化されたものである。特徴量情報は、各人物固有の顔認識情報を含む。顔認識情報は、予め、利用者識別装置１の制御部１０が、制御プログラム１Ｐに基づき、従業員を撮像して得られた画像に基づいて顔認識処理を行なうことによって得られる。また、特徴量情報には、各人物の身長情報が含まれる。従業員情報１１１の特徴量情報には、性別情報、又は年齢情報が含まれてもよい。図５の例では、例えばＩＤが「Ｅ０００２」の従業員の特徴量情報として、顔認識情報及び身長情報が予め対応付けられて記憶されてある。なお、従業員情報１１１は、各人物を固有に識別する情報に限らない。例えば、画像に写る人物が従業員であるか否かを識別できればよいから、例えば、従業員情報１１１は、従業員の制服の色、模様、又はマーク等の画像情報であってもよい。
FIG. 5 is an explanatory diagram showing an example of the contents of the
上述のように構成される入退場管理システムにおいて、利用者識別装置の処理によって利用者を識別する具体的な方法について、フローチャートを参照して以下に説明する。図６及び図７は、本実施の形態における利用者識別装置１にて実行される処理手順の一例を示すフローチャートである。
In the entrance / exit management system configured as described above, a specific method for identifying a user by processing of the user identification device will be described below with reference to a flowchart. 6 and 7 are flowcharts showing an example of a processing procedure executed by the
制御部１０は、以後、処理を終了するまでの期間における来場者数を初期値（ゼロ）とする（ステップＳ１０１）。制御部１０は、画像取得部１２によって画像用メモリに記憶されてある複数の画像の画像データから、最新のフレーム画像の画像データを一時記憶部１６に読み出す（ステップＳ１０２）。制御部１０は、読み出した画像データに基づき、画像中の人物領域を抽出し（ステップＳ１０３）、抽出された人物領域から特徴量を算出する（ステップＳ１０４）。このとき制御部１０は、画像に人物が写っておらず人物領域を抽出できなかった場合、ステップＳ１０４以後のステップを省略し、後述するステップＳ１２５へ処理を進める。
Thereafter, the
ステップＳ１０４にて制御部１０は、特徴量として、画像中の顔に対応する部分から得られる各人物固有の顔認識情報を算出する。また、制御部１０は、他の特徴量として、撮像画像中の人物が写っている位置及び大きさから推定される身長情報、写っている人物に対応する範囲の色又は模様から得られる服装情報を算出する。制御部１０は、他の特徴量として顔認識処理により得られる推定性別及び推定年齢を算出する。
In step S104, the
制御部１０は、人物が写っている位置及び大きさに基づき、写っている人物が存在する区画を、領域管理情報１１２に基づき特定する（ステップＳ１０５）。制御部１０は、写っている人物の内、一人の人物を選択する（ステップＳ１０６）。
Based on the position and size in which the person is photographed, the
制御部１０は、選択中の人物に対応する特徴量が、追跡情報群１１４内に既に記憶されている追跡情報が含む特徴量と合致するか否かにより、新規人物を検出したか否かを判断する（ステップＳ１０７）。このとき制御部１０は、ステップＳ１０４にて、顔部分が不明瞭である等の理由により顔認識ができなかった場合であっても、身長情報、又は服装情報等の他の特徴量により、同一人物であると推定できる範囲で合致するか否かを判断すればよい。
The
制御部１０は、ステップＳ１０７にて新規人物を検出したと判断した場合（Ｓ１０７：ＹＥＳ）、新規人物に対して付与する人物ＩＤに、来場者（利用前における手続未完了状態）であることを示す状態情報、ステップＳ１０４で算出した特徴量（識別情報）、更に、ステップＳ１０５で特定した区画に対応する区画ＩＤ、及び時刻情報（更新時刻）を対応付けた追跡情報を作成し（ステップＳ１０８）、追跡情報群１１４に追記する（ステップＳ１０９）。制御部１０は、利用者数に１を加算し（ステップＳ１１０）、次のステップＳ１１２へ進める。
When it is determined that a new person has been detected in step S107 (S107: YES), the
制御部１０は、ステップＳ１０７にて、既に記憶されている特徴量と合致すると判断した場合（Ｓ１０７：ＮＯ）、合致すると判断された人物の追跡情報を、ステップＳ１０４にて新たに算出された特徴量、ステップＳ１０５で特定した区画に対応する区画ＩＤ、及び時刻情報（更新時刻）等で更新する（ステップ１１１）。ステップＳ１０４における顔認識処理では、ある程度、人物が撮像装置２に近づくまで精度が不十分であるから、他の方法で合致すると判断した後、十分な精度の顔認識情報を追記して更新すればよい。
If the
次に制御部１０は、新規人物として検出された場合、及び既に認識されている人物として検出された場合のいずれの場合でも、追跡情報群１１４の他の特徴量が算出されてある他の人物と一致するか否かを判断する（ステップＳ１１２）。制御部１０は、一致すると判断した場合（Ｓ１１２：ＹＥＳ）、追跡情報群１１４を適宜削除又は追加して編集し（ステップＳ１１３）、処理を次のステップＳ１１４へ進める。誤認識等によって別人物を同一人物と認識した場合、又は逆に同一人物を別人物として認識した場合に、追跡情報を適切なものとする。制御部１０は、ステップＳ１１２で一致しないと判断した場合（Ｓ１１２：ＮＯ）、処理を次のステップＳ１１４へ進める。
Next, the
制御部１０は、選択中の人物に対応する特徴量が、従業員情報１１１に含まれる特徴量と対応するか否かを判断する（ステップＳ１１４）。制御部１０は、ステップＳ１１４にて対応しないと判断した場合（Ｓ１１４：ＮＯ）、選択中の人物に対応する特徴量が、特定監視情報１１３に含まれる特徴量と対応するか否かにより、人物が監視対象人物か否かを判断する（ステップＳ１１５）。なお、ステップＳ１１１の判断は、ステップＳ１０７の新規人物を検出したか否かの判断の前に行なうようにしてもよい。
The
制御部１０は、ステップＳ１１５にて監視対象でないと判断した場合（Ｓ１１５：ＮＯ）、選択中の人物による所定の受付手続を検知したか否かを判定する（ステップＳ１１６）。
When it is determined in step S115 that it is not a monitoring target (S115: NO), the
ステップＳ１１６において、制御部１０は、例えば、ステップＳ１０５で特定された利用者が存在する区画、現時点における従業員の追跡情報に基づく従業員が存在する区画、選択中の人物及び、いずれかの従業員間の距離、又は追跡情報の履歴等に基づき、追跡情報に対応する利用者が受付手続を行なったか否かを判定する。具体的には、ステップＳ１０５で特定された区画、即ち、選択している人物がカウンタ前に存在しており、且つ、いずれかの従業員がカウンタ内に存在しており、更に、選択中の人物が写っている画像において、選択中の人物の顔部分に相当する範囲に基づいて、顔がカウンタ側を向いていると特定できる場合に、制御部１０は受付手続を行なったと判定する。また、制御部１０は、画像内で、選択中の人物が写っている箇所と、いずれかの従業員が写っている箇所との間の距離が所定の距離以下である場合に、受付手続を行なったと判定するようにしてもよい。又は、制御部１０は、選択中の人物がカウンタ前に存在しており、且つ、所定の会員カード、所定のキーホルダ等が、取得中の画像内で選択中の人物付近に写っている場合に、受付手続を行なったと判定するようにしてもよい。また、制御部１０は、選択中の人物の追跡情報の区画ＩＤの履歴により、所定の期間（例えば３分）以上、選択中の人物がカウンタ前に存在している場合に、受付手続を行なったと判定するようにしてもよい。この場合、制御部１０は、選択中の人物の区画ＩＤを更新するに際し、最初にカウンタ前であることを検知したときの時刻情報を備考情報として追跡情報に加えておくことにより、滞在時間を推定することが可能である。更に、制御部１０は、画像に基づき、カウンタ上での金銭の授受、クレジットカード提示、サイン記入、暗証番号入力、金銭の収納等の動作を識別して支払い手続きが完了したか否かを判断し、これにより受付手続を行なったか否かを判定するようにしてもよい。
In step S116, the
制御部１０は、ステップＳ１１６にて検知したと判断した場合（Ｓ１１６：ＹＥＳ）、追跡情報の状態情報を、来場者（利用前における手続未完了状態）であれば施設利用者（利用前における手続完了状態）へ、又は施設利用者（利用後における手続未完了状態）であれば退場予定者（利用後における手続完了状態）へと更新し（ステップＳ１１７）、処理を次のステップＳ１１９へ進める。
If it is determined that the
制御部１０は、ステップＳ１１６にて検知しないと判断した場合（Ｓ１１６：ＮＯ）、処理を次のステップＳ１１９へ進める。
If the
制御部１０は、ステップＳ１１４にて従業員情報の特徴量と対応すると判断した場合（Ｓ１１４：ＹＥＳ）、追跡情報に、従業員であることを示す情報（備考）と、勤務中状態を示す状態情報とを対応付けて更新し（ステップＳ１１８）、処理をステップＳ１１９へ進める。
When the
次に制御部１０は、選択中の人物の不正を検出したか否かを判断する（ステップＳ１１９）。ステップＳ１１９において制御部１０は、ステップＳ１０５で特定した区画、及び追跡情報の状態情報に基づき、選択中の人物の状態情報が記憶部１１に予め記憶されてある所定の不正検出条件に対応するか否かを判断する。
Next, the
ステップＳ１１９において詳細には、制御部１０は、例えば、選択中の人物の追跡情報の状態情報が、来場者であるにも拘わらず区画が施設内であるという状態を示す場合、不正検出条件に対応すると判断する。受付手続が未完了のまま施設を利用していることが推測されるからである。また、選択中の人物が従業員でないにも拘わらず、ステップＳ１０５で特定した区画が、従業員専用区画Ａ又はＢである場合、制御部１０は、不正検出条件に対応すると判断する。また、選択中の人物が従業員である場合、画像から不正に関する動作を認識した場合には、不正検出条件に対応すると判断する。
Specifically, in step S119, for example, when the status information of the tracking information of the selected person indicates that the section is in the facility despite being a visitor, the
制御部１０は、ステップＳ１１９にて不正を検出しないと判断した場合（Ｓ１１９：ＮＯ）、処理をそのまま次のステップＳ１２４へ進める。
When it is determined that the fraud is not detected in step S119 (S119: NO), the
制御部１０は、ステップＳ１１９にて、不正を検出したと判断した場合（Ｓ１１９：ＹＥＳ）、追跡情報に報知すべきことを示す情報を付加し（ステップＳ１２０）、表示部１４及び報知部１５により、表示装置４及び報知装置５にて画像及び音声にて報知させる（ステップＳ１２１）。制御部１０は更に、不正検出条件に対応する追跡情報を記憶部１１に特定監視情報１１３として保持し（ステップＳ１２２）、処理を次のステップＳ１２４へ進める。なお、不正検出条件の内容によっては、ステップＳ１２２の処理は省略してもよい。例えば、選択中の人物の追跡情報において、状態情報は、受付手続が未完了である状態を示しているにも拘わらず、対応付けられている区画ＩＤが施設付近である場合、ステップＳ１２２の処理は省略してもよい。このような利用者には、受付手続を促すために報知は行なわれるべきであるが、その後受付手続が行なわれれば不正とならないので、特定監視対象とすべきでないからである。このように不正検出条件を種々設定しておき、必要に応じて特定監視情報１１３が保持されるようにしておけばよい。
If it is determined in step S119 that fraud has been detected (S119: YES), the
また制御部１０は、ステップＳ１１５にて特定監視対象であると判断した場合（Ｓ１１５：ＹＥＳ）、表示部１４及び報知部１５により、表示装置４及び報知装置５にて画像及び音声にて報知させ（ステップＳ１２３）、処理を次のステップＳ１２４へ進める。
Further, when the
制御部１０は、読み出した画像データに基づき、写っている全人物について処理を完了したか否かを判断する（ステップＳ１２４）。制御部１０は、処理が未完了であると判断した場合（Ｓ１２４：ＮＯ）、次の人物について処理を実行すべく処理をステップＳ１０６へ戻す。
Based on the read image data, the
制御部１０は、処理が完了したと判断した場合（Ｓ１２４：ＹＥＳ）、読み出している画像データに基づく画像内における不可視の人物の追跡情報を抽出する（ステップＳ１２５）。制御部１０は、抽出した追跡情報を、施設利用中であるか、又は施設外退出かを示す情報で更新する（ステップＳ１２６）。このとき、制御部１０は、直近の区画ＩＤが施設付近である場合には、追跡情報の区画ＩＤを「施設内」（利用中）へ更新し、直近の区画ＩＤが出入口付近である場合には、追跡情報の区画ＩＤを「施設外」（退出中）へ更新する。これにより、一時的に退場した人物の情報はそのまま利用者として追跡情報の更新が続行される。
When determining that the process is completed (S124: YES), the
次に制御部１０は、終了指示の有無を判断する（ステップＳ１２７）。制御部１０は、終了指示無と判断した場合（Ｓ１２７：ＮＯ）、処理をステップＳ１０２へ戻して処理を続行し、次のフレーム画像の画像データに対する処理を行なう。このとき制御部１０は、読み出してある画像データを削除してよい。なお、終了指示は例えば、施設の当日の営業を終了する際に、施設管理者の操作により為される。
Next, the
制御部１０は、終了指示有と判断した場合（Ｓ１２７：ＹＥＳ）、計数した来場者数を記憶部１１に記憶する（ステップＳ１２８）。制御部１０は、記憶されている追跡情報群１１４の内、受付手続きを所定の手順で完了させている利用者の追跡情報については削除し（ステップＳ１２９）、処理を終了する。ステップＳ１２９において制御部１０は、例えば、利用後の受付手続きが完了して退館予定であると状態情報が示しており、区画ＩＤが「施設外」である追跡情報については、正当な利用者であったとして削除してよい。なお、ステップＳ１２９の削除は、管理者の操作によって行なわれてもよい。
When it is determined that there is an end instruction (S127: YES), the
上述の処理によって作成され、記憶される追跡情報と、追跡情報の更新について具体例を挙げて説明する。図８は、利用者識別装置１にて記憶される追跡情報の内容例を示す説明図である。図８に示す追跡情報の内容例は、例えば、フィットネスクラブに本実施の形態の入退場管理システムを稼働させた場合に、ある日の１１時時点における追跡情報を示している。
The tracking information created and stored by the above-described processing and the updating of the tracking information will be described with specific examples. FIG. 8 is an explanatory diagram showing an example of the contents of the tracking information stored in the
図８に示すように、追跡情報は、各人物に対し、人物ＩＤ、状態情報、識別情報、更新時刻、区画ＩＤ、付加情報及び備考情報を含む。図８の例では、最初にクラブに来場した人物に対応する特徴量には、当日においては新規人物として検出されて「０００１」の人物ＩＤが対応付けられている。「０００１」の人物ＩＤの人物に対応する特徴量は、従業員情報１１１の特徴量と対応するために、従業員であることが追跡情報の備考として記憶され、従業員のＩＤ「Ｅ０００３」が識別情報として追跡情報に含まれている。その後、１１時時点において、「０００１」の人物ＩＤが付与された従業員である人物は、画像内のカウンタ内に対応する領域に９時から写っており、これにより、「勤務」という状態情報と、カウンタ内に対応する区画ＩＤとが追跡情報に含まれるように更新されている。同様にして、ＩＤ「Ｅ０００２」の従業員が、クラブに来場した場合も、新規人物として検出されて「０００２」の人物ＩＤが対応付けられ、従業員のＩＤ「Ｅ０００２」を含む識別情報、区画ＩＤ「従業員専用区画Ｂ」、及び「勤務」という状態情報を含む追跡情報が作成され、記憶されている。
As shown in FIG. 8, the tracking information includes a person ID, state information, identification information, update time, section ID, additional information, and remark information for each person. In the example of FIG. 8, the feature amount corresponding to the person who first visited the club is detected as a new person on the day and is associated with the person ID “0001”. Since the feature amount corresponding to the person with the person ID “0001” corresponds to the feature amount of the
また、図８の例では、３番目に来場した人物が新規人物として検出され、対応する特徴量に、「０００３」の人物ＩＤが対応付けられている。人物ＩＤ「０００３」が対応付けられた特徴量は、従業員情報１１１の特徴量と対応しなかったために、来場者であることを示す状態情報が対応付けられ、以後、顔認識の固有情報、身長情報、及び服装色を含む特徴量が識別情報として記憶される。また、人物ＩＤ「０００３」の人物は、手続用の受付カウンタにて所定の受付手続を行なったため、利用者識別装置１の制御部１０の処理により受付手続が行なわれたと判定され、状態情報が正当な施設利用者であることを示す利用状態に更新されている。１１時時点で、人物ＩＤ「０００３」の人物は、撮像装置２の撮像範囲外からはずれて「不可視」であるが、１０時０８分に撮像範囲内で検出されたときには、区画ＩＤ「施設付近」に対応する領域に存在したため、施設内に入ったことが推定されるから、備考情報として「施設利用中」が記憶されている。
In the example of FIG. 8, the third person who has visited is detected as a new person, and the person ID “0003” is associated with the corresponding feature amount. Since the feature amount associated with the person ID “0003” does not correspond to the feature amount of the
図８の例では、１１時の時点で、４番目に来場した人物が新規人物として検出され、対応する特徴量に、「０００４」の人物ＩＤが対応付けられ、追跡情報として追跡情報群１１４に記憶されたばかりであることが示されている。人物ＩＤ「０００４」が対応付けられた特徴量は、従業員情報１１１の特徴量と対応しなかったために、来場者であることを示す状態情報が対応付けられている。また、人物ＩＤ「０００４」には、「入口付近」であることを示す区画ＩＤが対応付けられている。以後、人物ＩＤ「０００４」の人物が施設内で移動することに応じて、「０００４」の追跡情報の区画ＩＤ、識別情報、更新時刻、及び備考情報が更新される。
In the example of FIG. 8, at 11 o'clock, the fourth person who has visited is detected as a new person, the person ID “0004” is associated with the corresponding feature quantity, and the tracking
利用者識別装置１は、図８に示したように追跡情報の一覧を、表示装置４にて表示されるように制御部１０が処理してもよい。この場合制御部１０は、追跡情報群１１４に追跡情報が作成されるか、又は追跡情報が更新される都度、表示している一覧を更新する。これにより、従業員が現在の利用者の動向を把握することができるようになる。
The
図９〜図１３は、利用者識別装置１における処理による追跡情報の推移を説明するための説明図である。図９〜図１３においては、図の上部から下部へ向かって追跡情報の時間的推移が示されている。つまり、上部の追跡情報は古い情報であり、下部の追跡情報はより新しい情報を示している。
9 to 13 are explanatory diagrams for explaining the transition of the tracking information by the process in the
図９は、図８における人物ＩＤ「０００３」の追跡情報の推移を示している。人物ＩＤ「０００３」の人物は、１０時に撮像装置２の撮像範囲内に入り、撮像画像に基づいて新規人物として検出され、これにより、人物ＩＤ「０００３」に「来場者」であることを示す状態情報が対応付けられた追跡情報が記憶されている。以後、人物ＩＤ「０００３」の人物が移動する都度、撮像画像内における人物領域の位置に応じて特定される区画ＩＤにより、追跡情報が更新される。そして１０時０７分に、特定された区画ＩＤが「カウンタ前」であるときに、従業員との受付手続を行なったと検知され、状態情報が受付完了後の正当な「施設利用者」であることを示す状態情報に更新されている。１０時０８分の時点では、人物ＩＤ「０００３」の人物は、撮像画像に写っておらず、人物領域が抽出されなかったが、状態情報が「施設利用者」を示しているから、施設利用中と推定され、区画ＩＤが「施設内」と更新されている。その後、人物ＩＤ「０００３」の人物の追跡情報は、１２時０２分に特定された区画ＩＤが「カウンタ前」であるときに、従業員との受付手続を行なっていると検知され、状態情報が受付完了後の「退場予定者」であることを示す状態情報に更新されている。その後、人物ＩＤ「０００３」の人物が退場して撮像範囲から不可視となったときには、区画ＩＤが「施設外」に更新される。
FIG. 9 shows the transition of the tracking information of the person ID “0003” in FIG. The person with the person ID “0003” enters the imaging range of the
図１０は、図８における人物ＩＤ「０００４」の追跡情報の推移を示している。人物ＩＤ「０００４」の人物の追跡情報は、１１時０５分に「カウンタ付近」の区画ＩＤが特定された後、従業員との受付手続を行なったことが検知されることなしに、１１時０６分に「施設付近」の区画ＩＤが特定されている。これにより、人物ＩＤ「０００４」の人物の追跡情報については、受付手続が未完了状態であるにも拘わらず、区画ＩＤが「施設付近」となっていることにより、不正検出条件に対応すると判断されて、報知がなされている。これにより、従業員は受付手続なしに施設内に入ろうとする人物に対して、適切な案内を行なうことができる。その後、案内に応じて受付手続きが行なわれれば、人物ＩＤ「０００４」の人物の追跡情報は、１１時１２分に従業員との受付手続を行なったと検知されたことにより、状態情報が受付完了後の正当な「施設利用者」であることを示す状態情報に更新されている。 FIG. 10 shows the transition of the tracking information of the person ID “0004” in FIG. The tracking information of the person with the person ID “0004” is obtained at 11 o'clock without detecting that the section ID “near the counter” is specified at 11:05 and the reception procedure with the employee is performed. A section ID of “near the facility” is specified at 06 minutes. As a result, the tracking information of the person with the person ID “0004” is determined to correspond to the fraud detection condition because the section ID is “near the facility” even though the reception procedure is incomplete. The notification is made. Thereby, the employee can give appropriate guidance to a person who intends to enter the facility without a reception procedure. After that, if the reception procedure is performed according to the guidance, the tracking information of the person with the person ID “0004” is detected as having received the reception procedure with the employee at 11:12. It is updated to status information indicating that it is a later “facility user”.
図１１は、新たに検出された人物ＩＤ「０００５」の追跡情報の推移を示している。新たに検出された人物ＩＤ「０００５」の人物の追跡情報は、１２時０７分に、利用前の受付手続を行なったことが検知されたことで、状態情報が受付完了後の正当な「施設利用者」であることを示す状態情報に更新されている。その後、１４時０５分に、利用後の受付手続を行なったことが検知されることなしに、「入口付近」の区画ＩＤが特定され、報知がなされている。その後「不可視」の区画ＩＤに更新され、人物ＩＤ「０００５」の人物が退場したままである場合、処理終了後に削除されることなく記憶部１１に保持される。これにより、従業員は記憶部１１に残存した追跡情報により、未精算の利用者を把握することができる。なお、残存した追跡情報中の不正利用に関する情報は、特定監視情報１１３として記憶されることによって、受付手続きを行なわずに施設から退出した人物が再度、施設を不正利用することを防止することが可能となる。
FIG. 11 shows the transition of the tracking information of the newly detected person ID “0005”. The tracking information of the person with the newly detected person ID “0005” is detected at 12:07 as the reception procedure before use is detected. The status information indicating that the user is “user” has been updated. Thereafter, at 14:05, the section ID “near the entrance” is identified and notified without detecting that the post-use acceptance procedure has been performed. Thereafter, the section ID is updated to “invisible”, and when the person with the person ID “0005” remains leaving, the section ID is retained in the
図１２は、新たに検出された人物ＩＤ「０００６」の追跡情報の推移を示している。新たに検出された人物ＩＤ「０００６」の人物については、１３時０１分の時点で顔認識により、特徴量が特定監視情報１１３に記憶されている特徴量と対応すると判断され、報知がなされている。特定監視情報１１３には、図１１のように追跡情報が推移した人物の特徴量等が記憶されているから、次に来場したときに図１２に示したように報知がなされる。これにより、一度不正利用を行なった人物が再度、不正利用することを防止できる。
FIG. 12 shows the transition of the tracking information of the newly detected person ID “0006”. The person with the newly detected person ID “0006” is notified by face recognition at 13:01, and it is determined that the feature quantity corresponds to the feature quantity stored in the
図１３は、新たに検出された人物ＩＤ「０００７」の追跡情報の推移を示している。新たに検出された人物ＩＤ「０００７」の人物は、１２時００分の時点で撮像装置２の撮像範囲内に入り、撮像画像に基づいて新規人物として検出され、これにより、「来場者」であることを示す状態情報が対応付けられた追跡情報が記憶されている。その後、人物ＩＤ「０００７」の人物は、従業員でないにも拘らず、「カウンタ内」に存在することが特定されるために、不正検出条件により、不正が検出されて報知がなされている。この場合、表示装置４及び報知装置５による報知と共に、防犯システムを利用した通報を行なうようにしてもよい。通報を行なうか否かは、施設毎の設定に応じて判断されればよい。
FIG. 13 shows the transition of the tracking information of the newly detected person ID “0007”. The newly detected person with the person ID “0007” enters the imaging range of the
このようにして、本実施の形態で開示した入退場管理システムでは、パーソナルコンピュータを用いた利用者識別装置１を撮像装置２と接続させるという簡易な構成にて、各識別される来場者に対し、受付手続を行なったか否かに応じた利用状態の遷移を追跡することができる。また、利用者識別装置１によって利用者を各識別することができるために重複計数を防止することができ、来場者数、及び退場者数をより正確に記録することができる。受付手続に係る利用状態が追跡されるから、来場者数及び退場者数と、受付手続又は会計手続の回数との間の矛盾を、利用者による不正行為及び従業員による不正行為によるものと推定検出することが可能となる。追跡情報群１１４の履歴と、別途会計システムを利用して、会計システムにて特定される会計処理の記録との間で時間的な比較を行なうことによって不正行為を検出することも可能となる。更に、動画像記録装置３を用いて不正行為が推定される時点におけるカウンタ付近の映像を記録する構成により、不正行為を抑制することもできる。不正検出条件に基づいて自動的に不正行為を推定検出し、表示装置４及び報知装置５にて報知を行なう構成により、即時的に従業員が適切な対応を行なうことも可能となる。
In this way, in the entrance / exit management system disclosed in the present embodiment, the
本実施の形態では、撮像画像から人物領域を抽出して追跡情報群１１４に記憶している追跡情報と対応すると判断された場合には、常に最新の情報に更新される構成とした。しかしながら、本発明はこのような構成に限らない。例えば制御部１０は、各人物の追跡情報の更新履歴（図９〜図１３の全情報）を一時記憶部１６に記憶しておき、不正検出条件に対応するとして追跡情報を保持するに際し、更新履歴を全て記憶部１１に記憶してもよい。
In this embodiment, when it is determined that a person area is extracted from the captured image and corresponds to the tracking information stored in the tracking
なお、利用者識別装置１、撮像装置２、動画像記録装置３、表示装置４、及び報知装置５間は、図１及び図２に示したように有線接続されるのみならず、無線通信によって信号又は情報の送受信が可能な構成であってもよい。
Note that the
本実施の形態では、受付手続を入場時及び退場時の両方にて行なったか否かを判定する構成とした。しかしながら、本発明はこのような構成に限らない。例えば、施設毎の取り決めに応じて、入場時又は退場時の一方のみで判定するようにするなど適宜、正当な利用状態の遷移が判定できるように設定することができるように構成すればよい。 In this embodiment, it is configured to determine whether or not the reception procedure has been performed both at the time of entrance and at the time of exit. However, the present invention is not limited to such a configuration. For example, according to the arrangement for each facility, it may be configured so that the transition of the valid usage state can be determined as appropriate, such as determining only at the time of entering or leaving.
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be understood that the embodiment disclosed above is illustrative in all respects and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ 利用者識別装置
１０ 制御部
１Ｐ 制御プログラム（コンピュータプログラム）
１１ 記憶部
１１１ 従業員情報
１２ 画像取得部
１５ 報知部
１６ 一時記憶部
２ 撮像装置
５ 報知装置
DESCRIPTION OF
DESCRIPTION OF
Claims (6)
前記撮像装置は、前記施設の一部である手続用設備、該手続用設備でやりとりを行なう人物、従業員、及び前記設備へ入退場する人物を撮像するように設置されており、
１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておく事前登録手段と、
新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断する手段と、
該手段が対応しないと判断した場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報、及び、前記人物の前記施設の利用状態を初期的に施設の利用前の手続未完了状態として示す状態情報と対応付けて記憶装置に記憶する新規登録手段と、
前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報が手続未完了状態を示している前記新規な人物が前記施設の一部である前記手続用設備を経由して前記施設の他の一部へ移動した場合、前記利用状態が手続完了状態を示すように前記状態情報を更新する状態更新手段と
を備えることを特徴とする利用者識別装置。 Acquisition means for sequentially acquiring image data of a plurality of captured images captured in time series by an imaging device installed at a specific place in a facility, and a person region from an image based on each of the image data of the plurality of captured images Extracting means for extracting, means for obtaining a feature amount of the extracted person area, and means for storing the found feature amount and identification information in association with each other in a storage device, and identifying a person who uses the facility In the user identification device,
The imaging device is installed so as to image a procedure equipment that is a part of the facility, a person who interacts with the procedure equipment, an employee, and a person who enters and leaves the facility,
The feature amount of the specific person area of the specific person based on the image data of an image obtained by capturing one or a plurality of specific persons and the identification information of the specific person are stored in advance in a storage device in association with each other. Registration means;
Means for determining whether or not a feature amount calculated for the extracted person region corresponds to a feature amount stored in the storage device based on image data of a newly captured image;
If it is determined that the means does not correspond, the feature value of the extracted person area is used as a new person feature value , and the identification information of the new person and the use status of the facility of the person are initially used as a facility. New registration means for storing in the storage device in association with the state information indicated as the previous procedure incomplete state;
Based on the change over the plurality of images of the new person area having the new person feature amount, the new person whose state information indicates a procedure incomplete state passes through the procedure equipment that is a part of the facility. And a state updating unit that updates the state information so that the use state indicates a procedure completion state when the facility is moved to another part of the facility .
前記状態更新手段は、
前記新規人物領域の撮像画像内での位置、前記特定人物領域内、若しくは前記新規人物領域内における顔部分の位置、前記特定人物領域及び前記新規人物領域間の距離、又は、前記新規人物領域が撮像されている期間に基づき、所定の施設利用手続に対応する動作が行なわれたか否かを判定する判定手段と、
該判定手段により行なわれたと判定した場合に、前記新規人物特徴量の識別情報に対応付けられている前記状態情報が示す人物の利用状態を利用前又は利用後における手続未完了状態から手続完了状態へ変更する手段と
を更に備えることを特徴とする請求項１に記載の利用者識別装置。 The use state includes a completed state / uncompleted state of the procedure before or after using the facility ,
Before Symbol status update means,
The position of the new person area in the captured image, the position of the face portion in the specific person area or the new person area, the distance between the specific person area and the new person area, or the new person area A determination means for determining whether or not an operation corresponding to a predetermined facility use procedure has been performed based on a period during which an image is captured;
If it is determined that the determination is made by the determination means, the use state of the person indicated by the state information associated with the identification information of the new person feature amount is changed from a procedure incomplete state before or after use to a procedure completion state. The user identification device according to claim 1, further comprising:
新たに前記抽出手段により抽出された人物領域の特徴量が前記特定監視対象情報の特徴量と対応するか否かを判断する手段と、
該手段が対応すると判断した場合に報知する手段と
を更に備えることを特徴とする請求項１に記載の利用者識別装置。 When the state information associated with the new person area is in a predetermined use state at a predetermined time, the feature amount of the new person area is stored as specific monitoring target information in the storage device,
Means the feature amount of the person region extracted by newly the extraction unit determines whether features and corresponds of the specific monitoring target information,
The user identification apparatus according to claim 1, further comprising a means for notifying when the means is determined to correspond.
新たに前記抽出手段により抽出された人物領域の特徴量が、保持されている特徴量と対応するか否かを判断する手段と、
該手段が対応しないと判断した場合、前記所定期間における利用者数を加算して利用者数を計数する手段と
を更に備えることを特徴とする請求項１に記載の利用者識別装置。 Means for holding a new person feature quantity, identification information and status information stored in a storage device by the new registration means for a predetermined period;
Means for determining whether or not the feature quantity of the person area newly extracted by the extraction means corresponds to the feature quantity held;
The user identification apparatus according to claim 1, further comprising: a unit that counts the number of users by adding the number of users in the predetermined period when it is determined that the unit does not correspond.
前記撮像装置は、前記施設の一部である手続用設備、該手続用設備でやりとりを行なう人物、従業員、及び前記設備へ入退場する人物を撮像するように設置されており、
１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておき、
新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断し、
対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報、及び、前記人物の前記施設の利用状態を初期的に施設の利用前の手続未完了状態として示す状態情報と対応付けて記憶装置に記憶し、
前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報が手続未完了状態を示している前記新規な人物が前記施設の一部である前記手続用設備を経由して前記施設の他の一部へ移動した場合、前記利用状態が手続完了状態を示すように前記状態情報を更新する
ことを特徴とする利用者識別方法。 Acquisition means for sequentially acquiring image data of a plurality of captured images captured in time series by an imaging device installed at a specific place in a facility, and a person region from an image based on each of the image data of the plurality of captured images An apparatus comprising extraction means for extracting, means for obtaining a feature quantity of the extracted person region, and means for storing the obtained feature quantity and identification information in association with each other in a storage device, a person who uses the facility In the user identification method to identify,
The imaging device is installed so as to image a procedure equipment that is a part of the facility, a person who interacts with the procedure equipment, an employee, and a person who enters and leaves the facility,
A feature amount of the specific person area of the specific person based on image data of an image obtained by capturing one or a plurality of specific persons and the identification information of the specific person are associated with each other and stored in advance in a storage device,
Based on the image data of the newly captured image, it is determined whether or not the feature amount obtained for the extracted person region corresponds to the feature amount stored in the storage device;
If it is determined that it does not correspond, the feature amount of the extracted person region is set as a new person feature amount , and the identification information of the new person and the use state of the facility of the person are initially set before the use of the facility. Store in the storage device in association with the status information shown as the procedure incomplete status ,
Based on the change over the plurality of images of the new person area having the new person feature amount, the new person whose state information indicates a procedure incomplete state passes through the procedure equipment that is a part of the facility. Then, when the user moves to another part of the facility, the state information is updated so that the use state indicates a procedure completion state .
前記コンピュータに、
１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に記憶しておくステップ、
新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断するステップ、
対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報、及び、前記人物の前記施設の利用状態を初期的に施設の利用前の手続未完了状態として示す状態情報と対応付けて記憶装置に記憶するステップ、及び、
前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報が手続未完了状態を示している前記新規な人物が前記施設の一部である前記手続用設備を経由して前記施設の他の一部へ移動した場合、前記利用状態が手続完了状態を示すように前記状態情報を更新するステップ
を実行させることを特徴とするコンピュータプログラム。 The procedural equipment that is a part of the facility, the person who interacts with the procedural equipment, the employee, and the person who enters and leaves the equipment are imaged in time series. A computer having means for sequentially acquiring image data of a plurality of captured images and means for reading and writing information to a storage device is extracted by extracting a person region from an image based on the image data of each of the plurality of captured images. In a computer program for causing a feature amount of a person region to be obtained and storing the obtained feature amount and identification information in association with each other in a storage device,
In the computer,
Storing in a storage device the feature quantity of the specific person area of the specific person based on the image data of an image obtained by capturing one or a plurality of specific persons and the identification information of the specific person in association with each other;
Determining whether or not a feature amount calculated for the extracted person region corresponds to a feature amount stored in the storage device based on image data of a newly captured image;
If it is determined that it does not correspond, the feature amount of the extracted person region is set as a new person feature amount , and the identification information of the new person and the use state of the facility of the person are initially set before the use of the facility. Storing in a storage device in association with state information indicated as a procedure incomplete state ; and
Based on the change over the plurality of images of the new person area having the new person feature amount, the new person whose state information indicates a procedure incomplete state passes through the procedure equipment that is a part of the facility. Then, when moving to another part of the facility, the computer program is caused to execute a step of updating the state information so that the use state indicates a procedure completion state .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014168729A JP6214494B2 (en) | 2014-08-21 | 2014-08-21 | User identification device, user identification method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014168729A JP6214494B2 (en) | 2014-08-21 | 2014-08-21 | User identification device, user identification method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016045654A JP2016045654A (en) | 2016-04-04 |
| JP6214494B2 true JP6214494B2 (en) | 2017-10-18 |
Family
ID=55636186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014168729A Active JP6214494B2 (en) | 2014-08-21 | 2014-08-21 | User identification device, user identification method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6214494B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6669977B2 (en) * | 2017-09-27 | 2020-03-18 | キヤノンマーケティングジャパン株式会社 | Image processing system, control method for image processing system, and program |
| JP7337354B2 (en) * | 2019-05-08 | 2023-09-04 | 株式会社オレンジテクラボ | Information processing device and information processing program |
| CN110210338A (en) * | 2019-05-17 | 2019-09-06 | 广东履安实业有限公司 | The dressing information of a kind of pair of target person carries out the method and system of detection identification |
| JP7507390B2 (en) | 2020-03-23 | 2024-06-28 | パナソニックＩｐマネジメント株式会社 | Behavioral observation system and behavioral observation method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4966896B2 (en) * | 2008-03-24 | 2012-07-04 | ローレルバンクマシン株式会社 | Behavior management device |
| JP2009252215A (en) * | 2008-04-11 | 2009-10-29 | Sogo Keibi Hosho Co Ltd | Security device and information display method |
| JP2014142838A (en) * | 2013-01-24 | 2014-08-07 | Panasonic Corp | Room entrance management system and room entrance management device |
-
2014
- 2014-08-21 JP JP2014168729A patent/JP6214494B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016045654A (en) | 2016-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6854881B2 (en) | Face image matching system and face image search system | |
| US20190005785A1 (en) | Security system, security method, and non-transitory computer readable medium | |
| JP4753193B2 (en) | Flow line management system and program | |
| US9147324B2 (en) | System and method to detect tampering at ATM machines | |
| CN110648352B (en) | Abnormal event detection method and device and electronic equipment | |
| US9141849B2 (en) | Monitoring apparatus, method, and program | |
| JP6214494B2 (en) | User identification device, user identification method, and computer program | |
| JP2018093283A (en) | Monitoring information gathering system | |
| US20240242592A1 (en) | Systems and methods for card-handling by point of sale devices | |
| CN104574954B (en) | A kind of vehicle auditing method, control device and system based on free streaming system | |
| JPWO2019038968A1 (en) | Store device, store system, store management method, program | |
| JP2009042956A (en) | Merchandise selling device, merchandise sales management system, merchandise sales management method, and program | |
| CN110717358B (en) | Visitor number counting method and device, electronic equipment and storage medium | |
| JP5789170B2 (en) | Parking lot management system | |
| JP4797517B2 (en) | Monitoring device and method, and program | |
| JP2648054B2 (en) | Alarm device | |
| JP2016021184A (en) | Face identification system and program | |
| JP5260233B2 (en) | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM | |
| CN110647825A (en) | Method, device and equipment for determining unmanned supermarket articles and storage medium | |
| CN110246292B (en) | Household video monitoring method, device and storage medium | |
| JP5877678B2 (en) | Face authentication database management method, face authentication database management apparatus, and face authentication database management program | |
| JP2002133460A (en) | User confirmation system and method | |
| CN110163158B (en) | Scene face recognition system capable of intelligently sensing | |
| JP4375011B2 (en) | Automated trading system | |
| CN109284730B (en) | Method and device applied to screening data and monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6214494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |