JP6339708B2 - Face recognition gate system, management device, and face recognition program - Google Patents
Face recognition gate system, management device, and face recognition program Download PDFInfo
- Publication number
- JP6339708B2 JP6339708B2 JP2017012283A JP2017012283A JP6339708B2 JP 6339708 B2 JP6339708 B2 JP 6339708B2 JP 2017012283 A JP2017012283 A JP 2017012283A JP 2017012283 A JP2017012283 A JP 2017012283A JP 6339708 B2 JP6339708 B2 JP 6339708B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- face recognition
- frame
- unit
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Devices For Checking Fares Or Tickets At Control Points (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、顔認識ゲートシステム、管理装置及び顔認識プログラムに関する。 Embodiments described herein relate generally to a face recognition gate system , a management apparatus, and a face recognition program .
入退出管理のためのゲートシステムが開発されている。最近では、顔認識アルゴリズムを利用して入退出する個人を特定して管理を行うゲートシステムも導入されつつある。 Gate systems for entry / exit management have been developed. Recently, a gate system that uses a face recognition algorithm to identify and manage individuals entering and exiting is also being introduced.
このゲートシステムは、人の通過を検知するセンサを備えたゲートと、人を撮像する撮像部と、撮像された人の画像を顔認識アルゴリズムによって認識し、データベースに格納する管理装置と、を備える。 This gate system includes a gate including a sensor that detects passage of a person, an imaging unit that captures an image of a person, and a management device that recognizes the captured image of the person using a face recognition algorithm and stores the image in a database. .
従来、撮像部によって撮像された画像は、顔認識アルゴリズムによって顔が撮像されていると判定された場合、すべてデータベースに格納されていた。 Conventionally, all images picked up by the image pickup unit are stored in a database when it is determined that a face is picked up by a face recognition algorithm.
従って、実際にはゲートを通過しない、ゲートの近くにいる人の顔画像もデータベースに格納され、データベースのデータ精度の低下を引き起こしていた。 Accordingly, face images of people who do not actually pass through the gate and are close to the gate are also stored in the database, causing a reduction in data accuracy of the database.
従って、ゲートを通過した人の顔画像を精度よく抽出できる顔認識ゲートシステムが求められている。 Therefore, there is a need for a face recognition gate system that can accurately extract a face image of a person who has passed through the gate.
上記の課題を解決するために、人の通過を検知するセンサを有するゲートと、ゲートを通過する人を撮像する撮像部と、撮像部が撮像したフレームをタイムスタンプとともに所定時間分だけ常に保持し、フレームの中から、センサが人の通過を検知した検知時刻を含む所定時間の間に受信した1以上のフレームを抽出する抽出部と、抽出部が抽出したフレームから顔認識する顔認識部と、を備え、検知時刻を含む所定時間は、検知時刻の前の時間より、検知時刻の後の時間の方が長い顔認識ゲートシステムを提供する。 In order to solve the above problems, a gate having a sensor for detecting the passage of a person, an imaging unit for imaging a person passing through the gate, and a frame captured by the imaging unit for a predetermined time are always held together with a time stamp. , from the frame extraction unit and the face from frame extractor has extracted recognizing the face recognition unit sensor extracts one or more frames received during a predetermined time including the detection time of detecting the passage of human A face recognition gate system is provided in which the predetermined time including the detection time is longer after the detection time than the time before the detection time .
以下、顔認識ゲートシステムの一実施形態について、図面を用いて詳細に説明する。 Hereinafter, an embodiment of a face recognition gate system will be described in detail with reference to the drawings.
本実施形態の顔認識ゲートシステムは、人の通過を検知するセンサを有するゲートと、ゲートを通過する人を撮像する撮像部と、センサが人の通過を検知したタイミングに基づいて撮像部が撮像したフレームの中から1以上のフレームを抽出する抽出部と、抽出部が抽出したフレームから顔認識する顔認識部と、を備える。 The face recognition gate system according to the present embodiment includes a gate having a sensor that detects passage of a person, an imaging unit that captures an image of a person passing through the gate, and an imaging unit that captures images based on timing at which the sensor detects passage of the person. An extraction unit that extracts one or more frames from the extracted frames, and a face recognition unit that recognizes a face from the frames extracted by the extraction unit.
図1は、顔認識ゲートシステムの構成を示す図である。図1に示すように、顔認識ゲートシステムは、人の通過を検知するセンサ21を有するゲート2と、ゲート2を通過する人を撮像する撮像部1と、センサ21が人の通過を検知したタイミングに基づいて撮像部1が撮像したフレームの中から1以上のフレームを抽出する管理装置3と、を備える。管理装置3は、受信部としての機能、設定部としての機能、格納部としての機能、検知部としての機能、判定部としての機能、抽出部としての機能、顔認識部としての機能を備える。
FIG. 1 is a diagram illustrating a configuration of a face recognition gate system. As shown in FIG. 1, the face recognition gate system includes a
ゲート2は、人が一人通過できる間隔をあけて設置される一対の第1の仕切り壁22A及び第2の仕切り壁22Bを備える。ゲート2のセンサ21は、例えば、第1の仕切り壁22Aに発光素子が設けられ、第2の仕切り壁22Bにこの発光素子が発行する光を受光する受光素子が設けられる。従って、発光素子が発する光線を人が遮ることによりセンサ21は人の通過を検知する。
The
撮像部1は例えばCCD素子を備えるカメラを用いることができる。撮像部1は図1に示した矢印の方向にゲート2に入ってくる人の顔を撮像できる方向を向いて設置される。撮像部1は例えば1秒間に24フレームを撮像し、撮像した画像データを管理装置3に送信する。
For example, a camera including a CCD element can be used as the
管理装置3は撮像部1から受信した各フレームにタイムスタンプをつけてあらかじめ定められた枚数を記憶部32に格納する。
The
ここで、予め定められた枚数とは、例えば1分間の間に撮像することができるフレーム数である1440フレームである。管理装置3は1441フレーム目を受信した場合、時間的に一番古いフレームを破棄し、新たに受信したフレームを格納する。
Here, the predetermined number is, for example, 1440 frames, which is the number of frames that can be captured in one minute. When the
従って、管理装置3は記憶部32の中に所定時間分のフレームを格納していることとなる。
Therefore, the
図2は、顔認識ゲートシステムの構成を示すブロック図である。図2に示すように、顔認識ゲートシステムは、撮像部1と、センサ21を備えるゲート2と、管理装置3を備える。
FIG. 2 is a block diagram showing the configuration of the face recognition gate system. As shown in FIG. 2, the face recognition gate system includes an
管理装置3はいわゆるパソコンを用いることができる。具体的には、管理装置3は、演算装置であるCPU(central processing unit)を備える制御部31と、メモリ、ハードディスクドライブなどの記憶装置を備える記憶部32と、キーボード、ディスプレイ、マウスなどの入出力装置を備える入出力部33と、通信を行う通信部34と、を備える。
The
記憶部32は、撮像部1から受信したフレームのデータをタイムスタンプとともに格納する顔情報記憶部32Aと、管理装置3が顔情報記憶部32Aからセンサ21が人の通過を検知したタイミングに基づいて抽出したフレームを顔認識して格納する入館者データベース(以下、データベースをDBという。)32Bと、を格納する。
図3は、顔認識部4の機能ブロック図である。図3に示すように、管理装置3は顔認識アルゴリズムを含む顔認識部4によって顔認識を行う。(顔認識部)
顔認識部4は、撮像部1によって撮像されたフレームデータから顔の輪郭を検出する顔輪郭検出部41と、顔輪郭検出部41によって検出された顔の輪郭の内部の目、鼻、口等の顔の要素を検出する顔要素検出部42と、顔要素検出部42によって検出された顔の要素に基づいて特徴量を算出する特徴量検出部43と、あるフレームにおいて検出された特徴量と他のフレームにおいて検出された特徴量とを比較して同一人であるかを判定する特徴量判定部44と、を備える。
The
FIG. 3 is a functional block diagram of the face recognition unit 4. As shown in FIG. 3, the
The face recognition unit 4 includes a face
管理装置3は、記憶部32に格納されている顔認識部4のプログラムデータを読み出し、順次実行する。まず管理装置3は、顔輪郭検出部41によって、フレームの中の顔の輪郭を検出する。フレームの中に顔の輪郭が検出できなければそのフレームはノイズとして破棄される。
The
次に管理装置3は、顔要素検出部42によって顔の輪郭の内部の目、鼻、口、等の顔の要素を検出する。
Next, the
次に管理装置3は、特徴量検出部43によって、各要素の大きさ、位置、要素間の位置関係等の特徴量を検出し、この特徴量をフレーム毎に記憶部32に格納する。
Next, the
管理装置3は、あるフレームに写った人と、他のフレームに移った人とが同一人であるかの判定を要求された場合、格納されている特徴量をフレーム毎に順次読み出し、判定すべきフレームの特徴量との差分を計算する。
When the
管理装置3は、この差分が閾値以下である場合、同一人である可能性があると判定する。
When the difference is equal to or smaller than the threshold, the
図4は、管理装置3のフレームの記憶方式を示す図である。図4に示すように、管理装置3は顔情報記憶部32Aに所定時間分のフレームをタイムスタンプとともに記憶する。
FIG. 4 is a diagram illustrating a frame storage method of the
そして、新たなフレームデータ401を受信した場合、最も古いフレームデータ402を破棄して新たなフレームデータ401を顔情報記憶部32Aにタイムスタンプとともに格納する。
When
従って、管理装置3は顔情報記憶部32Aに所定数のフレームデータを常時格納していることとなる。
Therefore, the
図5は、管理装置3がフレームを抽出する方法を示す図である。図5に示すように、管理装置3は顔情報記憶部32Aに所定時間分のフレームを記憶する。
FIG. 5 is a diagram illustrating a method in which the
ここで、管理装置3がセンサ21から人の通過を検知する信号を時刻t0に受信したとする。管理装置3はまずこの時刻t0を記憶する。
Here, it is assumed that the
管理装置3は、時刻t0から所定時間前の時刻t1から、時刻t0から所定時間後の時刻t2までの間のタイムスタンプを有するフレーム501を顔認識用乃至管理用のフレームとして抽出し、その他のフレームは抽出せずに破棄する。
The
ここで破棄とは、メモリからフレームを削除してもよいし、メモリから削除せずに抽出を行わないだけでもよい。 Here, discarding may delete a frame from the memory or may not simply perform extraction without deleting from the memory.
時刻t0から時刻t1までの時間は例えば3秒とすることができる。時刻t0から時刻t2までの時間は例えば30秒とすることができる。 The time from time t0 to time t1 can be 3 seconds, for example. The time from time t0 to time t2 can be set to 30 seconds, for example.
時刻t0から時刻t1までの時間より時刻t0から時刻t2までの時間の方が長くすることが望ましい。タイミング的に通過者の顔が明確にフレーム内に映っている可能性が高くなるからである。 It is desirable that the time from time t0 to time t2 is longer than the time from time t0 to time t1. This is because there is a high possibility that the face of the passing person is clearly reflected in the frame in terms of timing.
上記所定時間内に、複数のフレームが該当する場合には、管理装置3は顔認識処理を行って最もよく顔を認識できるフレームだけ1枚乃至数枚抽出して入館者DB32Bに格納することもできる。
If a plurality of frames fall within the predetermined time, the
図6は、顔認識ゲートシステムの管理装置3の動作を示すフローチャートである。図6に示すように、ステップ601において、管理装置3は撮像部1から撮像されたフレームを受信する。(受信部)
ステップ602において、管理装置3は各フレームにタイムスタンプを設定する。(設定部)
ステップ603において、管理装置3はタイムスタンプとともに受信したフレームを顔情報記憶部32Aに格納する。(格納部)
ステップ604において、管理装置3はセンサ21からの信号をスキャン(検知)する。(検知部)
ステップ605において、管理装置3はセンサ21から人が通過したことを検知した旨の信号を受信したと判定した場合、ステップ606に進み、受信したと判定しなかった場合、ステップ601に戻る。(判定部)
ステップ606において、管理装置3はセンサ21から人が通過したことを検知した旨の信号を受信した時刻t0から、所定時間前の時刻t1から所定時間後の時刻t2までの間のタイムスタンプを有するフレームを抽出し(抽出部)、入館者DB32Bに格納する。
FIG. 6 is a flowchart showing the operation of the
In
In
In
In
In
以上述べたように、本実施形態の顔認識ゲートシステムは、人の通過を検知するセンサ21を有するゲート2と、ゲート2を通過する人を撮像する撮像部1と、センサ21が人の通過を検知したタイミングに基づいて撮像部1が撮像したフレームの中から1以上のフレームを抽出する管理装置3と、を備える。
As described above, the face recognition gate system according to the present embodiment includes the
従って、ゲートを通過した人の顔画像を精度よく抽出できるという効果がある。 Therefore, there is an effect that the face image of the person who has passed through the gate can be extracted with high accuracy.
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
1:撮像部
2:ゲート
3:管理装置
21:センサ
1: Imaging unit 2: Gate 3: Management device 21: Sensor
Claims (6)
前記ゲートを通過する人を撮像する撮像部と、
前記撮像部が撮像したフレームをタイムスタンプとともに所定時間分だけ常に保持し、前記フレームの中から、前記センサが人の通過を検知した検知時刻を含む所定時間の間に受信した1以上のフレームを抽出する抽出部と、
前記抽出部が抽出したフレームから顔認識する顔認識部と、を備え、
前記検知時刻を含む前記所定時間は、前記検知時刻の前の時間より、前記検知時刻の後の時間の方が長い顔認識ゲートシステム。 A gate having a sensor for detecting passage of a person;
An imaging unit for imaging a person passing through the gate;
The frame in which the imaging unit has captured and held always with a time stamp for a predetermined time period, from the previous SL frame, one or more frames received during a predetermined time including a detection time at which the sensor detects the passage of the human An extraction unit for extracting
A face recognition unit that recognizes a face from the frame extracted by the extraction unit ;
The face recognition gate system in which the predetermined time including the detection time is longer after the detection time than before the detection time .
前記センサが人の通過を検知した前記検知時刻から所定時間の間に受信したフレームを抽出する請求項1記載の顔認識ゲートシステム。 The extraction unit includes:
The face recognition gate system according to claim 1, wherein a frame received during a predetermined time from the detection time when the sensor detects passage of a person is extracted.
前記検知時刻を含む前記所定時間の間に複数のフレームが存在する場合、顔認識に適した1以上のフレームをさらに抽出する請求項1記載の顔認識ゲートシステム。 The extraction unit includes:
When said plurality of frames during a predetermined time is present, face recognition gate system according to claim 1, further extracting one or more frames that are suitable for face recognition, including the detection time.
前記撮像部が撮像したフレームをタイムスタンプとともに所定時間分だけ常に保持し、前記フレームの中から、前記センサが人の通過を検知した検知時刻を含む所定時間の間に受信した1以上のフレームを抽出する抽出部と、A frame captured by the imaging unit is always held for a predetermined time together with a time stamp, and one or more frames received during a predetermined time including a detection time when the sensor detects passage of a person from the frame. An extractor for extracting;
前記抽出部が抽出したフレームから顔認識する顔認識部と、を備え、A face recognition unit that recognizes a face from the frame extracted by the extraction unit;
前記検知時刻を含む前記所定時間は、前記検知時刻の前の時間より、前記検知時刻の後の時間の方が長い管理装置。The predetermined time including the detection time is a management device in which the time after the detection time is longer than the time before the detection time.
前記撮像部が撮像したフレームをタイムスタンプとともに所定時間分だけ常に保持し、前記フレームの中から、前記センサが人の通過を検知した検知時刻の前後の時間を含む所定時間の間に受信した1以上のフレームを抽出する抽出手段と、The frame captured by the imaging unit is always held for a predetermined time together with a time stamp, and is received from the frame during a predetermined time including the time before and after the detection time when the sensor detects the passage of a person. Extraction means for extracting the above frames;
前記抽出手段が抽出したフレームから顔認識する顔認識手段と、を実行させ、And face recognition means for recognizing a face from the frame extracted by the extraction means,
前記検知時刻を含む前記所定時間は、前記検知時刻の前の時間より、前記検知時刻の後の時間の方が長い顔認識プログラム。The predetermined time including the detection time is a face recognition program in which the time after the detection time is longer than the time before the detection time.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017012283A JP6339708B2 (en) | 2017-01-26 | 2017-01-26 | Face recognition gate system, management device, and face recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017012283A JP6339708B2 (en) | 2017-01-26 | 2017-01-26 | Face recognition gate system, management device, and face recognition program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013252746A Division JP6180906B2 (en) | 2013-12-06 | 2013-12-06 | Face recognition gate system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017084412A JP2017084412A (en) | 2017-05-18 |
JP6339708B2 true JP6339708B2 (en) | 2018-06-06 |
Family
ID=58713012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017012283A Active JP6339708B2 (en) | 2017-01-26 | 2017-01-26 | Face recognition gate system, management device, and face recognition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6339708B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049718A (en) * | 2021-11-10 | 2022-02-15 | 深圳市巨龙创视科技有限公司 | Access control system based on face recognition |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009140381A (en) * | 2007-12-10 | 2009-06-25 | Toshiba Corp | Toll collection system and method |
JP5547876B2 (en) * | 2008-05-22 | 2014-07-16 | 三菱電機ビルテクノサービス株式会社 | Entrance / exit management system |
JP4751442B2 (en) * | 2008-12-24 | 2011-08-17 | 株式会社東芝 | Video surveillance system |
JP2011233133A (en) * | 2010-04-09 | 2011-11-17 | Miyake Inc | Shoplifting preventing system |
JP5621534B2 (en) * | 2010-11-16 | 2014-11-12 | 三菱電機株式会社 | Access control system and personal identification data reader |
JP5348160B2 (en) * | 2011-03-16 | 2013-11-20 | オムロン株式会社 | Image processing unit |
JP5712028B2 (en) * | 2011-03-31 | 2015-05-07 | 日本信号株式会社 | Gate device |
-
2017
- 2017-01-26 JP JP2017012283A patent/JP6339708B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017084412A (en) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070183634A1 (en) | Auto Individualization process based on a facial biometric anonymous ID Assignment | |
KR20110093659A (en) | Image recognition apparatus and method | |
JP2016095808A (en) | Object detection device, object detection method, image recognition device and computer program | |
WO2016203717A1 (en) | Facial recognition system, facial recognition server, and facial recognition method | |
WO2016172923A1 (en) | Video detection method, video detection system, and computer program product | |
US20230368561A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
JP2007156541A (en) | Person recognition apparatus and method and entry/exit management system | |
US10902355B2 (en) | Apparatus and method for processing information and program for the same | |
KR20180068097A (en) | Method and device to recognize user | |
CN111353374A (en) | Information processing apparatus, control method thereof, and computer-readable storage medium | |
JP5618295B2 (en) | Authentication system and authentication reliability determination method | |
CN111626240B (en) | Face image recognition method, device and equipment and readable storage medium | |
JP6180906B2 (en) | Face recognition gate system | |
JP6339708B2 (en) | Face recognition gate system, management device, and face recognition program | |
JP6290614B2 (en) | Face recognition gate system and face recognition gate system program | |
CN113837006A (en) | Face recognition method and device, storage medium and electronic equipment | |
KR101355206B1 (en) | A count system of coming and going using image analysis and method thereof | |
JP6558178B2 (en) | Nuisance agent estimation system, control method and control program for nuisance agent estimation system | |
US20210182532A1 (en) | Method of tracking an element, associated electronic device and computer program product | |
JP6438693B2 (en) | Authentication apparatus, authentication method, and program | |
JP5227046B2 (en) | Motion detection device and motion detection method | |
JP6905653B2 (en) | Face recognition system, face recognition server and face recognition method | |
JP2021081881A (en) | Information processing device, information processing method, program, and camera system | |
JP7480841B2 (en) | Event management method, event management device, system and program | |
JP7248348B2 (en) | Face authentication device, face authentication method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6339708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |