JP2013250856A - Monitoring system - Google Patents

Monitoring system Download PDF

Info

Publication number
JP2013250856A
JP2013250856A JP2012125986A JP2012125986A JP2013250856A JP 2013250856 A JP2013250856 A JP 2013250856A JP 2012125986 A JP2012125986 A JP 2012125986A JP 2012125986 A JP2012125986 A JP 2012125986A JP 2013250856 A JP2013250856 A JP 2013250856A
Authority
JP
Japan
Prior art keywords
person
authentication
dimensional shape
face
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012125986A
Other languages
Japanese (ja)
Inventor
Naoki Yoshida
直樹 吉田
Yutaka Kamiyama
裕 神山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2012125986A priority Critical patent/JP2013250856A/en
Publication of JP2013250856A publication Critical patent/JP2013250856A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize highly accurate security authentication system which has simple and low-cost configuration.SOLUTION: A monitoring system comprises: an IC card reader 2 which reads out personal information registered with an IC card held by a monitoring target person; a face authentication reader 4 which radiates infrared light on the person and detects the reflected light to measure a three-dimensional shape of the person; an imaging device 3 which images the person to generate two-dimensional image of the person; and a PC 7 which performs authentication of the person by using the three-dimensional shape measured by the face authentication reader 4 and the two-dimensional image generated by the imaging device 3, on the basis of the personal information read by the IC card reader 2.

Description

この発明は、入国管理システム（駅・空港）、入退室監視システム、ＡＴＭ監視システム（銀行、証券、金融関連）、高機密国家機関・企業管理システム（政府、警察、軍事・防衛施設、学術機関等）、ホームセキュリティシステム、携帯電話（スマートフォン）待ち受け認証システムなど異国、施設、建物、システムへの侵入の際に個人の特定が必要となる高度なセキュリティシステムに対して適用可能な監視システムに関するものである。   This invention includes an immigration control system (station / airport), an entrance / exit monitoring system, an ATM monitoring system (bank, securities, finance), a highly confidential national organization / corporate management system (government, police, military / defense facilities, academic institutions) ), Home security systems, mobile phone (smartphone) standby authentication systems, etc., related to surveillance systems applicable to advanced security systems that require identification of individuals when entering into foreign countries, facilities, buildings, systems It is.

従来から、赤外光の画像（２次元画像）から顔の輪郭を抽出し、両目の位置、鼻の位置、口の位置を特定することで顔認証を行い、金銭決済（ＡＴＭ）を実施する発明が開示されている（例えば特許文献１参照）。しかしながら、３次元顔画像認証及び各種生体認証（虹彩認証、静脈認証）を組み合わせた、さらに精度の高い実施例に関する提示はされていない。   Conventionally, facial contours are extracted from infrared light images (two-dimensional images), face authentication is performed by specifying the positions of both eyes, nose, and mouth, and money settlement (ATM) is performed. An invention is disclosed (for example, see Patent Document 1). However, there has been no presentation regarding a more accurate embodiment combining three-dimensional face image authentication and various types of biometric authentication (iris authentication, vein authentication).

特開２００８−１８１４６８号公報JP 2008-181468 A 特開２０１１−９１５２３号公報JP 2011-91523 A

また、上記２次元画像による認証のように目、鼻、口等の特徴部位を特定して比較を行うアルゴリズムでは、認証精度が１００％近くまでは向上しないという課題がある。例えば、可視光領域に感度を有するカメラを用いて認証を行う場合、外部環境照度の違いにより登録時の顔画像データと撮像した２次元画像（顔画像データ）に相違が発生し、本来は正しく認証されるべき人物が不正であると誤認識される事例、悪意のある人物が認証時に必要な人物の写真を利用して不正に誤認証される事例、顔でない物体を顔と誤認識して誤認証される事例などが発生する場合があった。これは、２次元画像を用いて認証を行う際に輝度信号・色度信号のみを利用していることが原因であり、これにより認証の正答率は高いときで約９割程度に留まっている。   In addition, an algorithm that identifies and compares characteristic parts such as eyes, nose, and mouth as in the case of authentication using the two-dimensional image has a problem that the authentication accuracy is not improved to nearly 100%. For example, when authentication is performed using a camera having sensitivity in the visible light region, a difference occurs between the face image data at the time of registration and the captured two-dimensional image (face image data) due to a difference in external environment illuminance. Cases in which a person to be authenticated is misrecognized as illegal, cases in which a malicious person misidentifies using a photograph of a person required for authentication, and a non-face object is misrecognized as a face In some cases, mis-authentication occurred. This is due to the fact that only the luminance signal and chromaticity signal are used when performing authentication using a two-dimensional image, and as a result, the correct answer rate of authentication is high at about 90%. .

一方、光源を用いずに赤外線カメラを３つ利用して３次元形状情報を生成し、顔の認識を行う発明が開示されている（例えば特許文献２参照）。しかしながら、この特許文献２に開示された技術では、３つのカメラをシステム構成に組み入れる必要があるため、システム構成が複雑で部材コストも高くなってしまうという課題がある。   On the other hand, an invention is disclosed in which three-dimensional shape information is generated using three infrared cameras without using a light source, and face recognition is performed (for example, see Patent Document 2). However, in the technique disclosed in Patent Document 2, since it is necessary to incorporate three cameras into the system configuration, there is a problem that the system configuration is complicated and the member cost is increased.

この発明は、上記のような課題を解決するためになされたもので、簡易かつ低コストな構成で、３次元形状測定による照合と２次元画像による照合とを組み合わせて認証を行うことで、より高精度なセキュリティー認証システムを実現することが可能な監視システムを提供することを目的としている。   The present invention was made to solve the above-described problems, and by performing authentication by combining verification by three-dimensional shape measurement and verification by a two-dimensional image with a simple and low-cost configuration, The object is to provide a monitoring system capable of realizing a highly accurate security authentication system.

この発明に係る監視システムは、監視対象の人物が保持しているＩＣカードに登録された個人情報を読み取るＩＣカードリーダ装置と、赤外線を人物に照射しその反射光を検出することで当該人物の３次元形状を測定する３次元形状測定装置と、人物を撮像して２次元画像を生成する撮像装置と、ＩＣカードリーダ装置により読み取られた個人情報に基づいて、３次元形状測定装置により測定された３次元形状および撮像装置により生成された２次元画像を用いて、人物の認証を行う認証装置とを備えたものである。   The monitoring system according to the present invention includes an IC card reader that reads personal information registered in an IC card held by a person to be monitored, and irradiates the person with infrared rays and detects the reflected light of the person. Measured by a three-dimensional shape measuring device based on personal information read by a three-dimensional shape measuring device that measures a three-dimensional shape, an imaging device that picks up a person to generate a two-dimensional image, and an IC card reader device And an authentication device for authenticating a person using the three-dimensional shape and the two-dimensional image generated by the imaging device.

この発明によれば、上記のように構成したので、簡易かつ低コストな構成で、３次元形状測定による照合と２次元画像による照合とを組み合わせて認証を行うことができ、より高精度なセキュリティー認証システムを実現することが可能となる。   According to the present invention, since it is configured as described above, authentication can be performed by combining verification by three-dimensional shape measurement and verification by a two-dimensional image with a simple and low-cost configuration, and more accurate security. An authentication system can be realized.

この発明の実施の形態１に係る入退室監視システムの構成を示す図である。It is a figure which shows the structure of the entrance / exit monitoring system which concerns on Embodiment 1 of this invention. この発明の実施の形態１に係る撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device which concerns on Embodiment 1 of this invention. この発明の実施の形態１における顔認証リーダ装置の動作概念を示す図である。It is a figure which shows the operation | movement concept of the face authentication reader apparatus in Embodiment 1 of this invention. この発明の実施の形態１における顔認証リーダ装置の構成を示す図である。It is a figure which shows the structure of the face authentication reader apparatus in Embodiment 1 of this invention. この発明の実施の形態１に係る入退室監視システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the entrance / exit monitoring system which concerns on Embodiment 1 of this invention. この発明の実施の形態２に係るキャッシュサービス（ＡＴＭ）監視システムの構成を示す図である。It is a figure which shows the structure of the cache service (ATM) monitoring system which concerns on Embodiment 2 of this invention. この発明の実施の形態２における顔認証リーダ装置の動作概念を示す図である。It is a figure which shows the operation | movement concept of the face authentication reader apparatus in Embodiment 2 of this invention. この発明の実施の形態２における顔認証リーダ装置の３次元座標算出概念を示す図である。It is a figure which shows the three-dimensional coordinate calculation concept of the face authentication reader apparatus in Embodiment 2 of this invention. この発明の実施の形態２に係るキャッシュサービス（ＡＴＭ）監視システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the cache service (ATM) monitoring system which concerns on Embodiment 2 of this invention.

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る入退室管理監視システムの構成を示す図である。
入退室管理監視システムは、図１に示すように、自動ドア１、ＩＣカードリーダ装置２、撮像装置３、顔認証リーダ装置（３次元形状測定装置）４、ネットワークレコーダ５、スイッチングＨＵＢ６、ＰＣ（認証装置、制御装置）７およびドア開閉コントローラ８から構成されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
FIG. 1 is a diagram showing the configuration of an entrance / exit management monitoring system according to Embodiment 1 of the present invention.
As shown in FIG. 1, the entrance / exit management monitoring system includes an automatic door 1, an IC card reader device 2, an imaging device 3, a face authentication reader device (three-dimensional shape measuring device) 4, a network recorder 5, a switching HUB 6, and a PC ( Authentication device, control device) 7 and door opening / closing controller 8.

自動ドア１は、通行人がフロアに入退室する際に使用するものであり、ドア開閉コントローラ８による制御に応じて開閉されるものである。   The automatic door 1 is used when a passer-by enters and leaves the floor and is opened and closed in accordance with control by the door opening / closing controller 8.

ＩＣカードリーダ装置２は、自動ドア１付近に設けられ、入退室する通行人により保持しているＩＣカードがかざされることで、当該ＩＣカードに登録された個人情報（顔情報）を読み取るものである。このＩＣカードリーダ装置２により読み取られた個人情報はＰＣ７に出力される。また、個人情報やその際の認証時刻はネットワークレコーダ５に出力される。   The IC card reader device 2 is provided in the vicinity of the automatic door 1 and reads personal information (face information) registered in the IC card by holding the IC card held by a passerby entering or leaving the room. is there. The personal information read by the IC card reader device 2 is output to the PC 7. The personal information and the authentication time at that time are output to the network recorder 5.

撮像装置３は、可視光領域（波長λ：３６０［ｎｍ］超８３０［ｎｍ］以下の光）に対して最大感度を有し、ＩＣカードリーダ装置２による個人情報の読み取りが完了したことを契機に、監視対象の通行人の顔を撮像して２次元画像（映像データ）を生成するものである。この撮像装置３は、固定・ドームカメラの場合にはオートフォーカス機構、回転台カメラの場合にはオート光学ズーム機構・オートフォーカス機構を有して画角・ピントを顔に合わせて制御可能な装置である。また、実施の形態１における撮像装置３では、赤外線領域のレーザを照射する装置（顔認証リーダ装置４）を用いているため、不要な信号を捉えないための赤外線カットフィルタを装着することが必須である。
そして、撮像装置３では、生成した映像データから顔の特徴部位（目鼻口）の座標位置を特定する。この撮像装置３により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。また、映像データはネットワークレコーダ５に配信される。 The imaging device 3 has the maximum sensitivity with respect to the visible light region (wavelength λ: more than 360 [nm] and not more than 830 [nm]), and the reading of personal information by the IC card reader device 2 has been completed. In addition, a two-dimensional image (video data) is generated by capturing the face of a passerby to be monitored. This imaging device 3 has an autofocus mechanism in the case of a fixed / dome camera, and an auto optical zoom mechanism / autofocus mechanism in the case of a turntable camera, and can control the angle of view and focus according to the face. It is. In addition, since the imaging device 3 according to the first embodiment uses a device (face authentication reader device 4) that irradiates a laser in the infrared region, it is indispensable to wear an infrared cut filter for not capturing unnecessary signals. It is.
Then, the imaging device 3 specifies the coordinate position of the facial feature part (eye nose and mouth) from the generated video data. Feature part extraction data indicating the coordinate position of the feature part specified by the imaging device 3 is output to the PC 7. The video data is distributed to the network recorder 5.

顔認証リーダ装置４は、赤外線（波長λ：８３０［ｎｍ］超の光）に対して最大感度を有し、ＩＣカードリーダ装置２による個人情報の読み取りが完了したことを契機に、監視対象の通行人の顔の３次元形状を測定するものである。この顔認証リーダ装置４は、能動的に赤外線レーザを対象物（通行人の顔）に照射して、対象物からの反射光を受光し、その受光状態から各ＸＹ（縦横）座標におけるｚ（高さ）を算出することが可能な装置である。
そして、顔認証リーダ装置４では、測定した３次元形状から顔の特徴部位（目鼻口）の座標位置を特定する。この顔認証リーダ装置４により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。 The face authentication reader device 4 has maximum sensitivity to infrared rays (light having a wavelength λ: more than 830 [nm]), and when the reading of personal information by the IC card reader device 2 is completed, It measures the three-dimensional shape of a passer's face. The face authentication reader device 4 actively irradiates an object (passerby's face) with an infrared laser to receive reflected light from the object, and z ((vertical and horizontal) coordinates in each XY (vertical and horizontal) coordinate from the received light state. This is a device capable of calculating (height).
Then, the face authentication reader device 4 specifies the coordinate position of the facial feature part (eye nose and mouth) from the measured three-dimensional shape. Feature part extraction data indicating the coordinate position of the feature part specified by the face authentication reader device 4 is output to the PC 7.

ネットワークレコーダ５は、通行人が入退室する際にＩＣカードリーダ装置５により読み取られた個人情報やその際の認証時刻、撮像装置３から配信された映像データ、ＰＣ８により得られた融合スコア結果、２次元顔情報や３次元顔情報等の情報を記録する機能を有するものである。
スイッチングＨＵＢ６は、汎用のＨＵＢであり、各システム構成機器を並列的に組み合わせるために用いるものである。 The network recorder 5 includes personal information read by the IC card reader device 5 when a passerby enters and leaves the room, authentication time at that time, video data distributed from the imaging device 3, and a fusion score result obtained by the PC 8, It has a function of recording information such as 2D face information and 3D face information.
The switching HUB 6 is a general-purpose HUB, and is used for combining the system constituent devices in parallel.

ＰＣ７は、監視システム機器構成設定、カメラ設定やレコーダ（再生・記録）設定を行うとともに、ＩＣカードリーダ装置２からの個人情報に基づいて、撮像装置３および顔認証リーダ装置４からの特徴部位抽出データを用いて、入退室管理を行うものである。すなわち、ＰＣ７は、ＩＣカードリーダ装置２からの個人情報に基づいて、ネットワーク（ＷＡＮ・ＬＡＮ）回線網９を経由して接続可能なサーバ上のＩＣカード情報登録ＤＢ１０に保存されている該当する２次元顔情報・３次元顔情報を抽出する。そして、当該２次元顔情報と撮像装置３からの特徴部位抽出データとの照合、当該３次元顔情報と顔認証リーダ装置４からの特徴部位抽出データとの照合を行い、各々の照合結果を融合して融合スコアを算出する。そして、融合スコア結果を基にドア開閉コントローラ８に対する制御を行うことで入退室管理を行う。また、ＰＣ７により得られた融合スコア結果、２次元顔情報および３次元顔情報はネットワークレコーダ５に出力される。   The PC 7 performs monitoring system device configuration settings, camera settings, and recorder (playback / recording) settings, and also extracts feature parts from the imaging device 3 and the face authentication reader device 4 based on personal information from the IC card reader device 2. Using data, room entry / exit management is performed. That is, the PC 7 corresponds to the corresponding 2 stored in the IC card information registration DB 10 on the server connectable via the network (WAN / LAN) network 9 based on the personal information from the IC card reader device 2. Extract 3D face information and 3D face information. Then, the two-dimensional face information and the feature part extraction data from the imaging device 3 are collated, the three-dimensional face information and the feature part extraction data from the face authentication reader device 4 are collated, and the respective collation results are merged. To calculate a fusion score. Then, entry / exit management is performed by controlling the door opening / closing controller 8 based on the fusion score result. In addition, the fusion score result obtained by the PC 7 is output to the network recorder 5 as 2D face information and 3D face information.

ドア開閉コントローラ８は、ＰＣ７による制御に応じて自動ドア１の開閉制御を行うものである。   The door opening / closing controller 8 performs opening / closing control of the automatic door 1 in accordance with control by the PC 7.

次に、撮像装置３の機能ブロックについて、図２を参照しながら説明する。
撮像装置３は、図２に示すように、レンズ３０１、光電変換部３０２、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）３０３、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）３０４、映像信号処理ＤＳＰ部３０５、タイミングジェネレータ３０６、マイクロプロセッサ３０７、メモリ回路３０８および映像信号出力部３０９から構成されている。 Next, functional blocks of the imaging device 3 will be described with reference to FIG.
As shown in FIG. 2, the imaging apparatus 3 includes a lens 301, a photoelectric conversion unit 302, a CDS (Correlated Double Sampling) 303, an AFE (Analog Front End) 304, a video signal processing DSP unit 305, a timing generator 306, and a microprocessor 307. And a memory circuit 308 and a video signal output unit 309.

レンズ３０１は、入射光を結像するものである。このレンズ３０１により結像された入射光は光電変換部３０２に出力される。
光電変換部３０２は、レンズ３０１からの入射光を光電変換するものであり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。この光電変換部３０２により光電変換された信号はＣＤＳ３０３に出力される。 The lens 301 focuses incident light. Incident light imaged by the lens 301 is output to the photoelectric conversion unit 302.
The photoelectric conversion unit 302 photoelectrically converts incident light from the lens 301, and is a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor. A signal photoelectrically converted by the photoelectric conversion unit 302 is output to the CDS 303.

ＣＤＳ３０３は、光電変換部３０２からの信号に対し、相関二重サンプリングを行うことでノイズを除去するものである。このＣＤＳ３０３によりノイズが除去された信号はＡＦＥ３０４に出力される。
ＡＦＥ３０４は、ＣＤＳ３０３からの信号に対し、信号電荷のＡ／Ｄ変換とゲインコントロールを行うものである。このＡＦＥ３０４によりＡ／Ｄ変換・ゲインコントロールされたデジタル信号は映像信号処理ＤＳＰ部３０５に出力される。 The CDS 303 removes noise by performing correlated double sampling on the signal from the photoelectric conversion unit 302. A signal from which noise is removed by the CDS 303 is output to the AFE 304.
The AFE 304 performs A / D conversion of signal charge and gain control on the signal from the CDS 303. The digital signal subjected to A / D conversion and gain control by the AFE 304 is output to the video signal processing DSP unit 305.

映像信号処理ＤＳＰ部３０５は、ＡＦＥ３０４からのデジタル信号に画像処理を施し、映像のフォーマットを行うものである。この映像信号処理ＤＳＰ部３０５により処理された映像データは映像信号出力部３０９に出力される。
タイミングジェネレータ３０６は、光電変換部３０２の電荷転送タイミングを規定する機能を有するものである。 The video signal processing DSP unit 305 performs image processing on the digital signal from the AFE 304 and formats the video. The video data processed by the video signal processing DSP unit 305 is output to the video signal output unit 309.
The timing generator 306 has a function of defining the charge transfer timing of the photoelectric conversion unit 302.

マイクロプロセッサ３０７は、撮像装置３の各種制御を行うものであり、顔画像信号処理部３０７ａを有している。
顔画像信号処理部３０７ａは、映像信号処理ＤＳＰ部３０５により処理された映像データから通行人の２次元顔画像データを抽出し、顔の特徴部位（目鼻口）の座標位置を特定するものである。この顔画像信号処理部３０７ａにより特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。 The microprocessor 307 performs various controls of the image pickup apparatus 3, and includes a face image signal processing unit 307a.
The face image signal processing unit 307a extracts the passerby's two-dimensional face image data from the video data processed by the video signal processing DSP unit 305, and specifies the coordinate position of the facial feature part (eye nose and mouth). . Feature part extraction data indicating the coordinate position of the feature part specified by the face image signal processing unit 307a is output to the PC.

メモリ回路３０８は、マイクロプロセッサ３０７による制御に必要な情報を記憶しておくためのものである。
映像信号出力部３０９は、映像信号処理ＤＳＰ部３０５からの映像データを所定のフォーマットに変換し、ネットワークレコーダ５に出力するものである。 The memory circuit 308 stores information necessary for control by the microprocessor 307.
The video signal output unit 309 converts the video data from the video signal processing DSP unit 305 into a predetermined format and outputs it to the network recorder 5.

次に、図１における顔認証リーダ装置４の動作概念について、図３を参照しながら説明する。なお、図３（ａ）は顔認証リーダ装置４をレーザ送受信面（Ａ面）から見た状態を示し、図３（ｂ）は顔認証リーダ装置４を裏面（Ｂ面）から見た状態を示している。
顔認証リーダ装置４では、図３に示すように、レーザ送受信部３１から対象物である通行人の顔３２に対してスキャン軌跡３３〜３７でレーザを入反射させることで、顔３２の３次元形状を測定する。 Next, the operation concept of the face authentication reader device 4 in FIG. 1 will be described with reference to FIG. 3A shows a state when the face authentication reader device 4 is viewed from the laser transmission / reception surface (A surface), and FIG. 3B shows a state when the face authentication reader device 4 is viewed from the back surface (B surface). Show.
In the face authentication reader device 4, as shown in FIG. 3, the laser transmission / reception unit 31 reflects and reflects the laser beam on the face 32 of the passerby, which is the object, with the scan trajectories 33 to 37. Measure the shape.

次に、顔認証リーダ装置４の機能ブロックについて、図４を参照しながら説明する。
顔認証リーダ装置４は、図４に示すように、レーザ光源４０１、正弦波発振器４０２、光変調部４０３、ビームスプリッタ４０４、スキャナ部４０５、スキャナモータ制御部４０６、レンズ光学系４０７、光検出器４０８，４０９、ネットワークアナライザ４１０、マイクロプロセッサユニット４１１およびメモリ回路４１２から構成されている。 Next, functional blocks of the face authentication reader device 4 will be described with reference to FIG.
As shown in FIG. 4, the face authentication reader device 4 includes a laser light source 401, a sine wave oscillator 402, a light modulation unit 403, a beam splitter 404, a scanner unit 405, a scanner motor control unit 406, a lens optical system 407, and a photodetector. 408 and 409, a network analyzer 410, a microprocessor unit 411, and a memory circuit 412.

レーザ光源４０１は、レーザとして赤外線（１０００波長λ：１［μｍ］超の光）を発光するものである。なお、レーザ光源として、例えばＹＡＧ（Ｙｔｔｒｉｕｍ Ａｌｕｍｉｎｕｍ Ｇａｒｎｅｔ）レーザ（発振周波数帯：１．０５２〜１．１２３［μｍ］，１．０６４［μｍ］，１．３１９〜１．４４４［μｍ］）や、Ｈｅ−Ｎｅレーザ（発振周波数帯１．１５〜３．３９［μｍ］）を用いると、高出力・高効率で安定性の良い発振レーザが得られる。このレーザ光源４０１により発光されたレーザは光変調部４０３に出力される。   The laser light source 401 emits infrared rays (light with a wavelength of λ: 1 [μm]) as a laser. As a laser light source, for example, a YAG (Yttrium Aluminum Garnet) laser (oscillation frequency bands: 1.052 to 1.123 [μm], 1.064 [μm], 1.319 to 1.444 [μm]), When a He—Ne laser (oscillation frequency band 1.15 to 3.39 [μm]) is used, an oscillation laser having high output, high efficiency, and good stability can be obtained. The laser emitted from the laser light source 401 is output to the light modulator 403.

正弦波発振器４０２は、正弦波を発振するものである。この正弦波発振器４０２により発振された正弦波は光変調部４０３に出力される。
光変調部４０３、レーザ光源４０１からのレーザに対して、正弦波発振器４０２からの正弦波を用いて、特定の周波数でＦＤＭＡ（Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ：周波数分割多重）により光多重変調を行うものである。この光変調部４０３により光多重変調されたレーザはビームスプリッタ４０４に出力される。 The sine wave oscillator 402 oscillates a sine wave. The sine wave oscillated by the sine wave oscillator 402 is output to the light modulator 403.
The optical modulation unit 403 and the laser from the laser light source 401 perform optical multiplex modulation by FDMA (Frequency Division Multiple Access) at a specific frequency using the sine wave from the sine wave oscillator 402. is there. The laser optically modulated by the optical modulator 403 is output to the beam splitter 404.

ビームスプリッタ４０４は、表面に誘電体多層膜コーティングが施され、光変調部４０３からのレーザのうち透過光と反射光の比率を制御して、外部（通行人の顔３２）へ照射するレーザ成分と内部リファレンス用のレーザ成分とに分割するものである。このビームスプリッタ４０４により分離された照射用のレーザはスキャナ部４０５に出力され、内部リファレンス用のレーザは光検出器４０８に出力される。   The beam splitter 404 has a dielectric multilayer coating on the surface, and controls the ratio of transmitted light and reflected light of the laser from the light modulation unit 403 to irradiate the outside (passer's face 32). And the laser component for internal reference. The irradiation laser separated by the beam splitter 404 is output to the scanner unit 405, and the internal reference laser is output to the photodetector 408.

スキャナ部４０５は、ビームスプリッタ４０４からの照射用のレーザの照射方向を決定するものである。
スキャナモータ制御部４０６は、スキャナ部４０５から射出されるレーザのビーム方向を決めるため、スキャナ部４０５の回転制御を行うものである。
レンズ光学系４０７は、スキャナ部４０５により照射され、顔３２で反射されたレーザを集光し、受光部の光強度を保つためのものである。このレンズ光学系４０７により集光されたレーザは光検出器４０９に出力される。 The scanner unit 405 determines the irradiation direction of the laser for irradiation from the beam splitter 404.
The scanner motor control unit 406 controls the rotation of the scanner unit 405 in order to determine the beam direction of the laser emitted from the scanner unit 405.
The lens optical system 407 collects the laser beam irradiated by the scanner unit 405 and reflected by the face 32, and maintains the light intensity of the light receiving unit. The laser beam condensed by the lens optical system 407 is output to the photodetector 409.

光検出器４０８は、ビームスプリッタ４０４からの内部リファレンス用のレーザを電気信号に光電変換するものである。この光検出器４０８により光電変換された信号はネットワークアナライザ４１０に出力される。
光検出器４０９は、レンズ光学系４０７からのレーザを電気信号に光電変換するものである。この光検出器４０９により光電変換された信号はネットワークアナライザ４１０に出力される。 The photodetector 408 photoelectrically converts the internal reference laser from the beam splitter 404 into an electrical signal. The signal photoelectrically converted by the photodetector 408 is output to the network analyzer 410.
The light detector 409 photoelectrically converts the laser from the lens optical system 407 into an electric signal. The signal photoelectrically converted by the photodetector 409 is output to the network analyzer 410.

ネットワークアナライザ４１０は、経路１（レーザ光源４０１→ビームスプリッタ４０４→光検出器４０８）及び経路２（レーザ光源４０１→ビームスプリッタ４０４→スキャナ部４０５→通行人の顔３２→レンズ光学系４０７→光検出器４０９）から入力された各々の信号の周波数特性及び位相差特性を測定可能なものである。このネットワークアナライザ４１０により測定された周波数特性及び位相差特性を示す情報はマイクロプロセッサユニット４１１に出力される。   The network analyzer 410 includes path 1 (laser light source 401 → beam splitter 404 → photodetector 408) and path 2 (laser light source 401 → beam splitter 404 → scanner 405 → passer's face 32 → lens optical system 407 → light detection). The frequency characteristics and phase difference characteristics of each signal input from the device 409) can be measured. Information indicating the frequency characteristic and phase difference characteristic measured by the network analyzer 410 is output to the microprocessor unit 411.

マイクロプロセッサユニット４１１は、ネットワークアナライザ４１０からの周波数特性及び位相差特性を示す情報に基づいて、通行人の顔の３次元形状を算出するものである。そして、この３次元形状から顔の特徴部位（目鼻口）の座標位置を特定する。このマイクロプロセッサユニット４１１により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。   The microprocessor unit 411 calculates the three-dimensional shape of the passer's face based on the information indicating the frequency characteristic and the phase difference characteristic from the network analyzer 410. Then, the coordinate position of the characteristic part (eye nose and mouth) of the face is specified from this three-dimensional shape. Feature part extraction data indicating the coordinate position of the feature part specified by the microprocessor unit 411 is output to the PC 7.

メモリ回路４１２は、３次元形状測定中に必要な情報（周波数ｆｉ，位相差φｉ，座標（ｘｉ，ｙｉ））（ｉ＝１，２，３・・・）を一時的に記憶しておくためのものである。 The memory circuit 412 temporarily stores information (frequency f i , phase difference φ i , coordinates (x i , y i )) (i = 1, 2, 3...) Necessary during the three-dimensional shape measurement. It is for keeping.

次に、上記のように構成された入退室監視システムの動作の流れについて、図５を参照しながら説明する。
入退室監視システムの動作において、図５に示すように、まず、システム動作のトリガとしては、通行人によりＩＣカードリーダ装置２に所定のＩＣカードがかざされ、ＩＣカードリーダ装置２により当該ＩＣカードに登録されている個人情報の読み取りが完了されることが条件となる（ステップＳＴ５０１）。このＩＣカードリーダ装置２により読み取られた個人情報はＰＣ７に出力される。 Next, an operation flow of the entrance / exit monitoring system configured as described above will be described with reference to FIG.
In the operation of the entrance / exit monitoring system, as shown in FIG. 5, first, as a trigger for the system operation, a predetermined IC card is held over the IC card reader device 2 by a passerby, and the IC card reader device 2 performs the IC card concerned. It is a condition that the reading of the personal information registered in is completed (step ST501). The personal information read by the IC card reader device 2 is output to the PC 7.

上記トリガ条件が満たされると、撮像装置３が起動を開始する。そして、回転台カメラの場合にはオートズーム・オートフォーカスにより対象となる顔が画面に適正なサイズに収まるように画角・ピント調整制御を行う（ステップＳＴ５０２）。その後、撮像装置３は監視対象の通行人の顔を撮像して２次元画像（映像データ）を生成する。   When the trigger condition is satisfied, the imaging device 3 starts to start. In the case of a rotary base camera, the angle of view / focus adjustment control is performed by auto zoom / auto focus so that the target face fits in an appropriate size on the screen (step ST502). Thereafter, the imaging device 3 captures the face of the passerby to be monitored and generates a two-dimensional image (video data).

次いで、生成した映像データに対し、顔画像信号処理部３０７ａで、輪郭抽出フィルタとして、例えば式（１），（２）の行列式で表されるラプラシアンフィルタ（空間フィルタ）、たたみ込み処理式を利用して、輪郭線を抽出し、２次元顔画像データを抽出する（ステップＳＴ５０３）。

Figure 2013250856
ただし、ｎ１，ｎ２は２次元画面上の各軸方向の座標位置、Ｎ１，Ｎ２はラプラシアンフィルタの行列要素数を示す。 Next, with respect to the generated video data, the face image signal processing unit 307a uses a Laplacian filter (spatial filter) represented by, for example, a determinant of Expressions (1) and (2) as a contour extraction filter, and a convolution processing expression. The contour line is extracted using the two-dimensional face image data (step ST503).
Figure 2013250856
However, n 1 and n 2 indicate coordinate positions in the respective axial directions on the two-dimensional screen, and N 1 and N 2 indicate the number of matrix elements of the Laplacian filter.

次いで、顔画像信号処理部３０７ａは、現画像ｘ（ｎ１，ｎ２）に対してラプラシアンフィルタで循環たたみこみにより輪郭抽出したｙ（（ｎ１，ｎ２））の各座標点から、顔の特徴部位（目鼻口）の座標位置を特定する（ステップＳＴ５０４）。この顔画像信号処理部３０７ａにより特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。 Next, the face image signal processing unit 307a calculates the face from the coordinate points y ((n 1 , n 2 )) obtained by extracting the contour of the current image x (n 1 , n 2 ) by convolution with a Laplacian filter. The coordinate position of the characteristic part (eye nose and mouth) is specified (step ST504). Feature part extraction data indicating the coordinate position of the feature part specified by the face image signal processing unit 307a is output to the PC.

次いで、上記特徴部位抽出データを受けてＰＣ７は、ＩＣカード登録情報ＤＢ１０に保存されている情報と特徴部位抽出データとの対応点探索比較を行う（ステップＳＴ５０５）。すなわち、ＩＣカードリーダ装置２により読み取られた個人情報を基にＩＣカード登録情報ＤＢ１０から該当する２次元顔情報を抽出し、当該２次元顔情報と特徴部位抽出データとの対応点探索比較を行う。
次いで、ＰＣ７は、対応点探索比較結果から得られる照合スコアを算出する（ステップＳＴ５０６）。 Next, upon receiving the feature part extraction data, the PC 7 performs corresponding point search comparison between the information stored in the IC card registration information DB 10 and the feature part extraction data (step ST505). That is, the corresponding two-dimensional face information is extracted from the IC card registration information DB 10 based on the personal information read by the IC card reader device 2, and the corresponding point search comparison between the two-dimensional face information and the feature part extraction data is performed. .
Next, the PC 7 calculates a matching score obtained from the corresponding point search comparison result (step ST506).

一方で、上記トリガ条件が満たされると、顔認証リーダ装置４も起動を開始する（ステップＳＴ５０７）。その後、顔認証リーダ装置４は監視対象の通行人の顔の３次元形状を測定する。   On the other hand, when the trigger condition is satisfied, the face authentication reader device 4 also starts to start (step ST507). Thereafter, the face authentication reader device 4 measures the three-dimensional shape of the face of the passerby to be monitored.

ここで、図３のスキャン軌跡３４の片道距離をＬ１、変調周波数をｆ１、光速をＣとすると、ビームスプリッタ４０４で分光された光信号の位相差φ１は次式（３）を満たす。

Figure 2013250856
ただし、Ｍは整数であり、光の伝播経路の屈折率を１としている。
また、変調周波数をｆ２（＝２ｆ１）としてネットワークアナライザ４１０でφ２を測定すれば、φ２は次式（４）を満たす。
Figure 2013250856
Here, if the one-way distance of the scan trajectory 34 in FIG. 3 is L 1 , the modulation frequency is f 1 , and the speed of light is C, the phase difference φ 1 of the optical signal dispersed by the beam splitter 404 satisfies the following equation (3). .
Figure 2013250856
However, M is an integer, and the refractive index of the light propagation path is 1.
If φ 2 is measured by the network analyzer 410 with the modulation frequency being f 2 (= 2f 1 ), φ 2 satisfies the following equation (4).
Figure 2013250856

そして、式（３），（４）を連立すれば、スキャン軌跡３４の片道距離Ｌ１を算出することが可能である。その後、スキャン軌跡３５以降の距離に関しても幾つかの変調周波数ｆを変化させて位相差φを測定することで任意の座標（Ｘｉ，Ｙｊ）に対する距離Ｌｉ，ｊを算出し、通行人の顔の３次元顔形状データ（Ｘｉ，Ｙｉ，Ｌｉ，ｊ）を生成する（ステップＳＴ５０８）。 Then, equation (3), can be calculated if simultaneous, one-way distance L 1 scan trajectory 34 (4). Thereafter, the distance L i , j with respect to arbitrary coordinates (X i , Y j ) is calculated by measuring the phase difference φ by changing several modulation frequencies f with respect to the distance after the scan locus 35, and a passerby 3D face shape data (X i , Y i , L i, j ) is generated (step ST508).

次いで、顔認証リーダ装置４は、生成した３次元顔形状データ（Ｘｉ，Ｙｉ，Ｌi，ｊ）から、顔の特徴部位（目鼻口）の座標位置を特定する（ステップＳＴ５０９）。この際、顔認証リーダ装置４は、対応座標の高さ情報または微分係数を利用することで、顔の特徴部非の座標位置を特定する。この顔認証リーダ装置４により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。 Next, the face authentication reader device 4 specifies the coordinate position of the facial feature part (eye nose and mouth) from the generated three-dimensional face shape data (X i , Y i , L i, j ) (step ST509). At this time, the face authentication reader device 4 specifies the coordinate position of the face feature portion by using the height information or the differential coefficient of the corresponding coordinates. Feature part extraction data indicating the coordinate position of the feature part specified by the face authentication reader device 4 is output to the PC 7.

次いで、上記特徴部位抽出データを受けてＰＣ７は、ＩＣカード情報登録ＤＢ１０に保存されている情報と特徴部位抽出データとの形状差分比較を行う（ステップＳＴ５１０）。すなわち、ＩＣカードリーダ装置２により読み取られた個人情報を基にＩＣカード登録情報ＤＢ１０から該当する３次元顔情報を抽出し、当該３次元顔情報と特徴部位抽出データとの形状差分比較を行う。
次いで、ＰＣ７は、形状差分比較結果から得られる照合スコアを算出する（ステップＳＴ５１１）。 Next, upon receiving the feature part extraction data, the PC 7 performs a shape difference comparison between the information stored in the IC card information registration DB 10 and the feature part extraction data (step ST510). That is, the corresponding 3D face information is extracted from the IC card registration information DB 10 based on the personal information read by the IC card reader device 2, and the shape difference comparison between the 3D face information and the feature part extraction data is performed.
Next, the PC 7 calculates a matching score obtained from the shape difference comparison result (step ST511).

次いで、ＰＣ７は、ステップＳＴ５０６における２次元画像を用いた照合結果とステップＳＴ５１１における３次元形状測定結果を用いた照合結果とを融合して融合スコアＣＴを算出し（ステップＳＴ５１２）、閾値スコアＴｈとの比較を行う（ステップＳＴ５１３）。 Then, PC 7 is fused and collation result using a three-dimensional shape measurement result of the collation result and step ST511 using 2D image in step ST506 to calculate a fusion score C T (step ST 512), the threshold score Th (Step ST513).

このステップＳＴ５１３において、融合スコアＣＴが閾値スコアＴｈより上回っている場合には、ＰＣ７は通門開放信号をドア開閉コントローラ８に通知し、それを受けてドア開閉コントローラ８は自動ドア１を開く（ステップＳＴ５１４）。
一方、ステップＳＴ５１３において、融合スコアＣＴが閾値スコアＴｈより下回っている場合には、ＰＣ７はアラームをネットワークレコーダ５に通知し、ドア開閉コントローラ８は自動ドア１を閉じた状態を維持する（ステップＳＴ５１５）。 In this step ST 513, when the fusion score C T exceeds the threshold score Th is, PC 7 notifies the Tsumon opening signal to the door opening and closing controller 8, the door opening and closing controller 8 receives it opens the automatic door 1 (Step ST514).
On the other hand, in step ST 513, when the fusion score C T is below than the threshold score Th is, PC 7 notifies the alarm to the network recorder 5, a door opening and closing controller 8 maintains the closed state of the automatic door 1 (step ST515).

また、入退室時にＩＣカードリーダ装置２により読み取られた個人情報や認証時刻、撮像装置３から配信された映像データ、ＰＣ７により得られた融合スコア結果ＣＴ、２次元顔情報や３次元顔情報は、構造データとしてネットワークレコーダ５に記録保存される。これにより、管理者がログを管理し、不正入室の実態調査を行うことが可能となる。 In addition, personal information and authentication time read by the IC card reader device 2 when entering and leaving the room, video data distributed from the imaging device 3, fusion score result C T obtained by the PC 7, 2D face information and 3D face information Are recorded and stored in the network recorder 5 as structure data. As a result, the administrator can manage the log and conduct an actual condition investigation of unauthorized entry.

以上のように、この実施の形態１によれば、入退室監視システムにおいて、ＩＣカードリーダ装置２にて監視対象の人物が保持しているＩＣカードの個人情報を読み取り、顔認証リーダ装置４にて赤外線を人物に照射しその反射光を検出することで当該人物の３次元形状を測定し、撮像装置３にて当該人物を撮像して２次元画像を生成し、当該個人情報に基づいて、３次元形状測定結果による照合および２次元画像による照合を組み合わせて認証を行うように構成したので、簡易かつ低コストな構成で、より高精度なセキュリティー認証システムを実現することが可能となる。
すなわち、３次元形状測定結果による照合および２次元画像による照合を組み合わせることで、例えば認証者の顔の向きが正面からずれていた場合にその向きを補正して認証することが可能となる。また、可視光以外の赤外光を撮像して３次元形状測定に用いることで、外部環境の照明（輝度）変化の影響の少ない正確な認証を行うことが可能となる。また、３次元形状測定結果による照合および２次元画像による照合を組み合わせることで、従来に対して、より複数のパラメータ（縦、横、高さ、輝度信号、色差信号）を用いて顔部位の特徴パターンから照合することが可能となる。また、上記パラメータのように認証時の情報量が増加するため、様々な表情パターンをＤＢ登録しておき、認証することが可能となる。 As described above, according to the first embodiment, in the entrance / exit monitoring system, the IC card reader device 2 reads the personal information of the IC card held by the person to be monitored, and the face authentication reader device 4 The person is irradiated with infrared rays and the reflected light is detected to measure the three-dimensional shape of the person, the person is imaged by the imaging device 3 to generate a two-dimensional image, and based on the personal information, Since the authentication is performed by combining the verification based on the three-dimensional shape measurement result and the verification based on the two-dimensional image, a more accurate security authentication system can be realized with a simple and low-cost configuration.
That is, by combining the verification based on the three-dimensional shape measurement result and the verification based on the two-dimensional image, for example, when the orientation of the face of the authenticator is deviated from the front, it is possible to perform authentication by correcting the orientation. In addition, by imaging infrared light other than visible light and using it for three-dimensional shape measurement, it is possible to perform accurate authentication with less influence of illumination (luminance) changes in the external environment. In addition, by combining verification based on 3D shape measurement results and verification based on 2D images, the features of the facial part using more parameters (vertical, horizontal, height, luminance signal, color difference signal) than in the past. It is possible to collate from the pattern. Further, since the amount of information at the time of authentication increases as in the above parameters, various facial expression patterns can be registered in the DB and authenticated.

実施の形態２．
図６はこの発明の実施の形態２に係るキャッシュサービス（ＡＴＭ）監視システムの構成を示す図である。
キャッシュサービス（ＡＴＭ）監視システムは、図６に示すように、ＡＴＭ機器１１、撮像装置１２、ネットワークレコーダ１３、スイッチングＨＵＢ１４およびＰＣ（認証装置、制御装置）１５から構成されている。 Embodiment 2. FIG.
FIG. 6 is a diagram showing a configuration of a cache service (ATM) monitoring system according to Embodiment 2 of the present invention.
As shown in FIG. 6, the cash service (ATM) monitoring system includes an ATM device 11, an imaging device 12, a network recorder 13, a switching HUB 14, and a PC (authentication device, control device) 15.

ＡＴＭ機器１１は、銀行、デパートやコンビニなどの場所に設置されるものであり、ＩＣカードリーダ装置１６、暗証番号入力キー１７、顔認証リーダ装置（３次元形状測定装置）１８、生体認証センサ（生体認証装置）１９および出入金口２０を有している。   The ATM device 11 is installed in a place such as a bank, a department store, or a convenience store, and includes an IC card reader device 16, a password input key 17, a face authentication reader device (three-dimensional shape measuring device) 18, a biometric sensor ( A biometric authentication device) 19 and a deposit / withdrawal port 20.

ＩＣカードリーダ装置１６は、キャッシュサービスの利用者により銀行預金カードなどのキャッシュカード（ＩＣカード）が挿入されることで、当該ＩＣカードに登録された個人情報（顔情報）を読み取るものである。このＩＣカードリーダ装置１６により読み取られた個人情報はＰＣ１５に出力される。また、個人情報やその際の認証時刻はネットワークレコーダ１３に出力される。   The IC card reader device 16 reads personal information (face information) registered in the IC card when a cash card (IC card) such as a bank deposit card is inserted by a user of the cash service. The personal information read by the IC card reader device 16 is output to the PC 15. The personal information and the authentication time at that time are output to the network recorder 13.

暗証番号入力キー１７は、キャッシュサービスの利用者がＩＣカードに登録された暗証番号を解除するためのものである。   The personal identification number input key 17 is for the cash service user to cancel the personal identification number registered in the IC card.

顔認証リーダ装置１８は、赤外線（波長λ：８３０［ｎｍ］超の光）または可視光領域（波長λ：３６０［ｎｍ］超８３０［ｎｍ］以下の光）に対して最大感度を有する２つの撮像部を有し、ＩＣカードリーダ装置１６による個人情報の読み取りが完了したことを契機に、監視対象の利用者の顔の３次元形状を測定するものである。実施の形態２では、２つの撮像部による視差画像の対応点から３次元形状を測定する手法（ステレオ画像法）について示す。なお、顔認証リーダ装置１８において、本発明の実施の形態１の３次元形状測定手法を用いることも可能である。
そして、顔認証リーダ装置１８では、測定した３次元形状から顔の特徴部位（目鼻口）の座標位置を特定する。この顔認証リーダ装置１８により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ１５に出力される。 The face authentication reader device 18 includes two sensors having maximum sensitivity to infrared rays (light having a wavelength λ: more than 830 [nm]) or visible light regions (light having a wavelength λ: more than 360 [nm] to 830 [nm]). It has an imaging unit and measures the three-dimensional shape of the face of the user to be monitored when the reading of personal information by the IC card reader device 16 is completed. In the second embodiment, a method (stereo image method) for measuring a three-dimensional shape from corresponding points of parallax images by two imaging units will be described. In the face authentication reader device 18, the three-dimensional shape measurement method according to the first embodiment of the present invention can be used.
Then, the face authentication reader device 18 specifies the coordinate position of the facial feature part (eye nose and mouth) from the measured three-dimensional shape. Feature part extraction data indicating the coordinate position of the feature part specified by the face authentication reader device 18 is output to the PC 15.

生体認証センサ１９は、ＰＣ１５における２次元画像による照合および３次元形状測定結果による照合の後、利用者の個人固有の生体（虹彩、静脈、指紋など）情報を識別するものである。この生体認証センサ１９により識別された利用者の生体情報はＰＣ１５に出力される。
出入金口２０は、お金の引き出し・預け入れを行うためのものであり、ＰＣ１５により制御されるものである。 The biometric authentication sensor 19 is for identifying biometric information (iris, veins, fingerprints, etc.) specific to a user after collation using a two-dimensional image and collation using a three-dimensional shape measurement result in the PC 15. The biometric information of the user identified by the biometric sensor 19 is output to the PC 15.
The deposit / withdrawal port 20 is used to withdraw and deposit money, and is controlled by the PC 15.

撮像装置１２は、可視光領域（波長λ：３６０［ｎｍ］超８３０［ｎｍ］以下の光）に対して最大感度を有し、ＩＣカードリーダ装置１６による個人情報の読み取りが完了したことを契機に、監視対象の利用者の顔を撮像して２次元画像（映像データ）を生成するものである。
そして、撮像装置１２では、生成した映像データから顔の特徴部位（目鼻口）の座標位置を特定する。この撮像装置１２により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ１５に出力される。また、映像データはネットワークレコーダ１３に配信される。 The imaging device 12 has the maximum sensitivity in the visible light region (wavelength λ: more than 360 [nm] and not more than 830 [nm]), and the reading of personal information by the IC card reader device 16 is completed as a trigger. In addition, the user's face to be monitored is imaged to generate a two-dimensional image (video data).
Then, the imaging device 12 specifies the coordinate position of the facial feature part (eye nose and mouth) from the generated video data. Feature part extraction data indicating the coordinate position of the feature part specified by the imaging device 12 is output to the PC 15. The video data is distributed to the network recorder 13.

ネットワークレコーダ１３は、キャッシュサービスの利用者が金銭の引き出しや預け入れを行う際にＩＣカードリーダ装置１６により読み取られた個人情報やその際の認証時刻、撮像装置１２から配信された映像データ、ＰＣ１５により得られた融合スコア結果、利用者の２次元顔情報や３次元顔情報等の情報を記録する機能を有するものである。
スイッチングＨＵＢ１４は、汎用のＨＵＢであり、各システム構成機器を並列的に組み合わせるために用いるものである。 The network recorder 13 uses the personal information read by the IC card reader device 16 when the cash service user withdraws or deposits money, the authentication time at that time, the video data distributed from the imaging device 12, and the PC 15 It has a function of recording information such as the obtained fusion score result and the user's two-dimensional face information and three-dimensional face information.
The switching HUB 14 is a general-purpose HUB, and is used for combining the system constituent devices in parallel.

ＰＣ１５は、監視システム機器構成設定、カメラ設定やレコーダ（再生・記録）設定を行うとともに、ＩＣカードリーダ装置１６からの個人情報に基づいて、撮像装置１２および顔認証リーダ装置１８からの特徴部位抽出データや生体認証センサ１９からの生体情報を用いて、ＡＴＭ機器１１の出金・入金の管理を行うものである。すなわち、ＰＣ１５は、ＩＣカードリーダ装置１６からの個人情報に基づいて、ネットワーク（ＷＡＮ・ＬＡＮ）回線網２１を経由して接続可能なサーバ上のＩＣカード情報登録ＤＢ２２に保存されている該当する２次元顔情報・３次元顔情報を抽出する。そして、当該２次元顔情報と撮像装置１２からの特徴部位抽出データとの照合、当該３次元顔情報と顔認証リーダ装置１８からの特徴部位抽出データとの照合を行う。そして、これらの照合結果と、生体認証センサ１９からの生体情報に基づく照合結果とを融合して融合スコアを算出する。そして、融合スコア結果を基にＡＴＭ機器１１への出金・入金の管理を行う。また、ＰＣ１５により得られた融合スコア結果、２次元顔情報および３次元顔情報はネットワークレコーダ１３に出力される。   The PC 15 performs monitoring system device configuration settings, camera settings, and recorder (playback / recording) settings, and also extracts feature parts from the imaging device 12 and the face authentication reader device 18 based on personal information from the IC card reader device 16. With the use of data and biometric information from the biometric authentication sensor 19, withdrawal / payment of the ATM device 11 is managed. That is, the PC 15 corresponds to the corresponding 2 stored in the IC card information registration DB 22 on the server connectable via the network (WAN / LAN) network 21 based on the personal information from the IC card reader device 16. Extract 3D face information and 3D face information. Then, the two-dimensional face information and the feature part extraction data from the imaging device 12 are collated, and the three-dimensional face information and the feature part extraction data from the face authentication reader device 18 are collated. Then, these matching results and the matching results based on the biometric information from the biometric sensor 19 are fused to calculate a fusion score. Then, based on the fusion score result, management of withdrawal / payment to / from the ATM device 11 is performed. In addition, the fusion score result obtained by the PC 15 is output to the network recorder 13 as 2D face information and 3D face information.

次に、図６における顔認証リーダ装置１８の動作概念について、図７を参照しながら説明する。なお、図７（ａ）は顔認証リーダ装置１８を受光面（Ａ面）から見た状態を示し、図７（ｂ）は顔認証リーダ装置１８を裏面（Ｂ面）から見た状態を示している。
顔認証リーダ装置１８では、図７（ａ）に示すように、受光部（撮像部）７１を２つ有し、それぞれ利用者の顔７２を撮像して２次元画像を生成する。なお、受光部７１間の距離はＲである。そして、両撮像部により生成された２次元画像から、対応点を顔面全体に対して探索することで顔７２の３次元形状を測定する。 Next, the operation concept of the face authentication reader device 18 in FIG. 6 will be described with reference to FIG. 7A shows a state when the face authentication reader device 18 is viewed from the light receiving surface (A surface), and FIG. 7B shows a state when the face authentication reader device 18 is viewed from the back surface (B surface). ing.
As shown in FIG. 7A, the face authentication reader device 18 includes two light receiving units (imaging units) 71, and each captures a user's face 72 to generate a two-dimensional image. The distance between the light receiving parts 71 is R. Then, the three-dimensional shape of the face 72 is measured by searching for corresponding points in the entire face from the two-dimensional images generated by the two imaging units.

ここで、図８は図７に示す点Ｐ（ｘ，ｙ，ｚ）の座標算出概念図である。この図８より、点Ｐ（ｘ，ｙ，ｚ）は以下の式（５）〜（７）または式（８）〜（１０）から算出することが可能である。ただし、図８において、Ｘａ’Ｙａ’平面およびＸｂ’Ｙｂ’平面はそれぞれ顔認証リーダ装置１８の撮像部による撮像面、ｆはレンズ中心の光軸の位置でレンズ中心から撮像面までの焦点距離を示す。

Figure 2013250856
Here, FIG. 8 is a coordinate calculation conceptual diagram of the point P (x, y, z) shown in FIG. From FIG. 8, the point P (x, y, z) can be calculated from the following equations (5) to (7) or equations (8) to (10). However, in FIG. 8, the Xa′Ya ′ plane and the Xb′Yb ′ plane are the imaging planes by the imaging unit of the face authentication reader device 18, respectively, and f is the position of the optical axis at the lens center and the focal length from the lens center to the imaging plane Indicates.
Figure 2013250856

次に、上記のように構成されたキャッシュサービス（ＡＴＭ）監視システムの動作の流れについて、図９を参照しながら説明する。
なお、ステップＳＴ９０１〜ＳＴ９０７は実施の形態１におけるステップＳＴ５０１〜ＳＴ５０７とほぼ同等はであることから説明は省略とする。 Next, the operation flow of the cache service (ATM) monitoring system configured as described above will be described with reference to FIG.
Steps ST901 to ST907 are substantially the same as steps ST501 to ST507 in the first embodiment, and thus description thereof is omitted.

その後、顔認証リーダ装置１８は、３次元形状測定において、前記の式（５）〜（７）または式（８）〜（１０）を利用してＰ（ｘ，ｙ，ｚ）を算出する方法を用い、顔面全体を通して２つの撮像部の対応点の位置関係から顔の各点の座標を算出する（ステップＳＴ９０８）。
なお、ステップＳＴ９０９〜ＳＴ９１１は実施の形態１におけるステップＳＴ５０９〜ＳＴ５１１とほぼ同等はであることから説明は省略とする。 Thereafter, the face authentication reader device 18 calculates P (x, y, z) using the above formulas (5) to (7) or formulas (8) to (10) in the three-dimensional shape measurement. Is used to calculate the coordinates of each point of the face from the positional relationship of the corresponding points of the two imaging units throughout the face (step ST908).
Steps ST909 to ST911 are substantially the same as steps ST509 to ST511 in the first embodiment, and thus the description thereof is omitted.

その後、ステップＳＴ９０６における２次元画像を用いた照合結果とステップＳＴ９１１における３次元形状測定結果を用いた照合結果が得られた後に、生体認証センサ１９は虹彩認証、静脈認証、指紋認証等の生体情報を識別し（ステップＳＴ９１２）、ＰＣ１５はＩＣカード情報登録ＤＢ２２に保存されている情報と生体情報との照合を行う（ステップＳＴ９１３）。すなわち、ＩＣカードリーダ装置１６により読み取られた個人情報を基にＩＣカード登録情報ＤＢ２２から該当する生体情報を抽出し、照合を行う。   Then, after the collation result using the two-dimensional image in step ST906 and the collation result using the three-dimensional shape measurement result in step ST911 are obtained, the biometric authentication sensor 19 performs biometric information such as iris authentication, vein authentication, and fingerprint authentication. (Step ST912), and the PC 15 collates the information stored in the IC card information registration DB 22 with the biological information (step ST913). That is, corresponding biometric information is extracted from the IC card registration information DB 22 based on the personal information read by the IC card reader device 16, and collation is performed.

次いで、ＰＣ１５は、ステップＳＴ９０６，ＳＴ９１１，ＳＴ９１３における照合結果を融合して融合スコアＣＴを算出し（ステップＳＴ９１４）、閾値スコアＴｈとの比較を行う（ステップＳＴ９１５）。 Then, PC 15 is step ST 906, ST 911, fusing the matching results in ST913 to calculate a fusion score C T (step ST 914), is compared with the threshold score Th (step ST915).

このステップＳＴ９１５において、融合スコアＣＴが閾値スコアＴｈより上回っている場合には、ＰＣ１５は出金・入金可能指示をＡＴＭ機器１に通知し、利用者は入金出金を行うことが可能となる（ステップＳＴ９１６）。
一方、ステップＳＴ９１５において、融合スコアＣＴが閾値スコアＴｈより下回っている場合には、ＰＣ１５はアラームをネットワークレコーダ１３に通知し、利用者は入金出金を行うことができない（ステップＳＴ９１７）。 In this step ST915, when the fusion score C T exceeds the threshold score Th is, PC 15 notifies the withdrawal-payment can instruct the ATM device 1, the user is able to perform a deposit dispensing (Step ST916).
On the other hand, in step ST915, when the fusion score C T is below than the threshold score Th is, PC 15 notifies the alarm to the network recorder 13, the user can not perform a deposit dispensing (step ST917).

また、キャッシュサービスの利用時にＩＣカードリーダ装置１６により読み取られた個人情報や認証時刻、撮像装置１２から配信された映像データ、ＰＣ１５により得られた融合スコア結果ＣＴ、２次元顔情報や３次元顔情報は、構造データとしてネットワークレコーダ１３に記録保存される。これにより、管理者がログを管理し、不正引き出しを検挙可能となる。 In addition, personal information and authentication time read by the IC card reader device 16 when using the cache service, video data distributed from the imaging device 12, fusion score result C T obtained by the PC 15, 2D face information and 3D The face information is recorded and saved in the network recorder 13 as structure data. As a result, the administrator can manage the log and detect unauthorized withdrawal.

以上のように、この実施の形態２によれば、キャッシュサービス（ＡＴＭ）監視システムにおいて、ＩＣカードリーダ装置１６にて監視対象の人物が保持しているＩＣカードの個人情報を読み取り、顔認証リーダ装置１８にて２つの撮像部の視差画像から当該人物の３次元形状を測定し、撮像装置１２にて当該人物を撮像して２次元画像を生成し、当該個人情報に基づいて、３次元形状測定結果による照合および２次元画像による照合、生体情報による照合を組み合わせて認証を行うように構成したので、実施の形態１と同様に、簡易かつ低コストな構成で、より高精度なセキュリティー認証システムを実現することが可能となる。   As described above, according to the second embodiment, in the cash service (ATM) monitoring system, the IC card reader device 16 reads the personal information of the IC card held by the person to be monitored, and the face authentication reader The apparatus 18 measures the three-dimensional shape of the person from the parallax images of the two imaging units, the imaging apparatus 12 images the person, generates a two-dimensional image, and based on the personal information, the three-dimensional shape Since authentication is performed by combining verification based on measurement results, verification based on two-dimensional images, and verification based on biometric information, as in the first embodiment, a highly accurate security authentication system with a simple and low-cost configuration. Can be realized.

なお、本発明の監視システムとして、実施の形態１ではフロアへ入退室する人物を監視する入退室監視システムを示し、実施の形態２では、キャッシュサービスを利用する人物を監視するキャッシュサービス（ＡＴＭ）監視システムを示したが、これらに限るものではなく、その他の監視システム（例えば、入国管理システム（駅・空港）、高機密国家機関・企業管理システム（政府、警察、軍事・防衛施設、学術機関等）、ホームセキュリティシステム、携帯電話（スマートフォン）待ち受け認証システムなど異国、施設、建物、システムへの侵入の際に個人の特定が必要となる高度なセキュリティシステム）に対しても同様に適用可能である。   As the monitoring system of the present invention, the first embodiment shows an entrance / exit monitoring system for monitoring a person entering and leaving the floor, and the second embodiment shows a cash service (ATM) for monitoring a person who uses the cache service. Although the monitoring system is shown, the monitoring system is not limited to these, but other monitoring systems (for example, immigration systems (stations / airports), highly confidential state / corporate management systems (government, police, military / defense facilities, academic institutions) Etc.), home security systems, mobile phone (smartphone) standby authentication systems, and other advanced security systems that require identification of individuals when entering other countries, facilities, buildings, and systems). is there.

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   Further, within the scope of the present invention, the invention of the present application can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. .

１ 自動ドア、２，１６ ＩＣカードリーダ装置、３，１２ 撮像装置、４，１８ 顔認証リーダ装置（３次元形状測定装置）、５，１３ ネットワークレコーダ、６，１４ スイッチングＨＵＢ、７，１５ ＰＣ、８ ドア開閉コントローラ、９，２１ ネットワーク回線網、１０，２２ ＩＣカード情報登録ＤＢ、１１ ＡＴＭ機器、１７ 暗証番号入力キー、１９ 生体認証センサ、２０ 出入金口、３１ レーザ送受信部、３２，７２ 顔、３３〜３７ スキャン軌跡、７１ 受光部、３０１ レンズ、３０２ 光電変換部、３０３ ＣＤＳ、３０４ ＡＦＥ、３０５ 映像信号処理ＤＳＰ部、３０６ タイミングジェネレータ、３０７ マイクロプロセッサ、３０７ａ 顔画像信号処理部、３０８ メモリ回路、３０９ 映像信号出力部、４０１ レーザ光源、４０２ 正弦波発振器、４０３ 光変調部、４０４ ビームスプリッタ、４０５ スキャナ部、４０６ スキャナモータ制御部、４０７ レンズ光学系、４０８，４０９ 光検出器、４１０ ネットワークアナライザ、４１１ マイクロプロセッサユニット、４１２ メモリ回路。   DESCRIPTION OF SYMBOLS 1 Automatic door, 2,16 IC card reader apparatus, 3,12 Imaging apparatus, 4,18 Face authentication reader apparatus (three-dimensional shape measuring apparatus), 5,13 Network recorder, 6,14 Switching HUB, 7, 15 PC, 8 Door open / close controller, 9, 21 Network line network, 10, 22 IC card information registration DB, 11 ATM device, 17 PIN input key, 19 Biometric sensor, 20 Deposit / withdrawal port, 31 Laser transmitter / receiver, 32, 72 Face 33 to 37 scan locus, 71 light receiving unit, 301 lens, 302 photoelectric conversion unit, 303 CDS, 304 AFE, 305 video signal processing DSP unit, 306 timing generator, 307 microprocessor, 307a face image signal processing unit, 308 memory circuit 309 Video signal output unit 401 The light source, 402 sine wave oscillator, 403 light modulator, 404 beam splitter, 405 scanner, 406 scanner motor controller, 407 lens optical system, 408, 409 photodetector, 410 network analyzer, 411 microprocessor unit, 412 memory circuit.

Claims (6)

監視対象の人物が保持しているＩＣカードに登録された個人情報を読み取るＩＣカードリーダ装置と、
赤外線を前記人物に照射しその反射光を検出することで当該人物の３次元形状を測定する３次元形状測定装置と、
前記人物を撮像して２次元画像を生成する撮像装置と、
前記ＩＣカードリーダ装置により読み取られた個人情報に基づいて、前記３次元形状測定装置により測定された３次元形状および前記撮像装置により生成された２次元画像を用いて、前記人物の認証を行う認証装置と
を備えた監視システム。 An IC card reader device that reads personal information registered in an IC card held by a person to be monitored;
A three-dimensional shape measuring apparatus that measures the three-dimensional shape of the person by irradiating the person with infrared rays and detecting the reflected light;
An imaging device that images the person and generates a two-dimensional image;
Authentication for authenticating the person using the three-dimensional shape measured by the three-dimensional shape measuring device and the two-dimensional image generated by the imaging device based on personal information read by the IC card reader device And a monitoring system. 前記認証装置は、前記２次元画像に対しては輪郭抽出フィルタを用い、前記３次元形状に対しては対応座標高さの情報または微分係数を用いて、前記人物の特徴部位の座標を特定する
ことを特徴とする請求項１記載の監視システム。 The authentication device uses a contour extraction filter for the two-dimensional image, and specifies the coordinates of the characteristic part of the person using information on the corresponding coordinate height or a differential coefficient for the three-dimensional shape. The monitoring system according to claim 1. 前記３次元形状測定装置に代えて、前記人物を撮像する２つの撮像部を有し、当該両撮像部による視差画像に基づいて当該人物の３次元形状を測定する第２の３次元形状測定装置を備えた
ことを特徴とする請求項１または請求項２記載の監視システム。 In place of the three-dimensional shape measuring device, a second three-dimensional shape measuring device having two image pickup units for picking up the person and measuring the three-dimensional shape of the person based on parallax images from the two image pickup units. The monitoring system according to claim 1, wherein the monitoring system is provided. 前記人物の生体情報の識別を行う生体識別装置を備え、
前記認証装置は、前記生体識別装置により識別された生体情報も考慮して前記人物の認証を行う
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の監視システム。 A biometric identification device for identifying biometric information of the person,
The monitoring system according to claim 1, wherein the authentication device performs authentication of the person in consideration of biometric information identified by the biometric identification device. 前記認証装置による認証結果に基づいて、前記人物が入退室を行うドアの開閉を制御する制御装置を備えた
ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の監視システム。 The monitoring device according to any one of claims 1 to 4, further comprising a control device that controls opening and closing of a door through which the person enters and leaves the room based on an authentication result by the authentication device. system. 前記認証装置による認証結果に基づいて、前記人物が利用するＡＴＭ機器の動作を制御する制御装置を備えた
ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の監視システム。 The monitoring system according to any one of claims 1 to 4, further comprising a control device that controls an operation of an ATM device used by the person based on an authentication result by the authentication device. .
JP2012125986A 2012-06-01 2012-06-01 Monitoring system Pending JP2013250856A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012125986A JP2013250856A (en) 2012-06-01 2012-06-01 Monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012125986A JP2013250856A (en) 2012-06-01 2012-06-01 Monitoring system

Publications (1)

Publication Number Publication Date
JP2013250856A true JP2013250856A (en) 2013-12-12

Family

ID=49849450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012125986A Pending JP2013250856A (en) 2012-06-01 2012-06-01 Monitoring system

Country Status (1)

Country Link
JP (1) JP2013250856A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533642A (en) * 2015-05-11 2018-01-02 奇跃公司 Equipment, method and system for the biological characteristic user's identification using neutral net
WO2018079031A1 (en) * 2016-10-31 2018-05-03 日本電気株式会社 Image processing device, image processing method, facial recogntion system, program, and recording medium
JP2019133526A (en) * 2018-02-01 2019-08-08 ミツミ電機株式会社 Authentication device
JP2019160346A (en) * 2014-08-04 2019-09-19 株式会社ニコン Electronic instrument
US10963758B2 (en) 2016-03-11 2021-03-30 Magic Leap, Inc. Structure learning in convolutional neural networks
JPWO2021166221A1 (en) * 2020-02-21 2021-08-26
WO2021250845A1 (en) * 2020-06-11 2021-12-16 富士通株式会社 Authentication method, information processing device, and authentication program
JP2022509756A (en) * 2018-10-30 2022-01-24 オーナー・デヴァイス・カンパニー・リミテッド Face recognition methods and electronic devices
US11436746B2 (en) 2018-03-19 2022-09-06 Mitsumi Electric Co., Ltd. Distance measuring camera
US11775836B2 (en) 2019-05-21 2023-10-03 Magic Leap, Inc. Hand pose estimation
US11847198B2 (en) 2018-12-27 2023-12-19 Nec Corporation Information processing apparatus, information processing method, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (en) * 1998-05-29 1999-12-10 Omron Corp Individual identifying device and method and recording medium for recording individual identification program
JP2006065816A (en) * 2004-08-30 2006-03-09 Glory Ltd Face detector, face detection method and face detection program
JP2007058397A (en) * 2005-08-23 2007-03-08 Konica Minolta Holdings Inc Authentication system, registration system, and medium for certificate
WO2009096475A1 (en) * 2008-01-29 2009-08-06 Kabushiki Kaisha Dds Hybrid biometric authentication device, hybrid biometric authentication method, and computer-readable storage medium where computer program for hybrid biometric authentication is stored

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (en) * 1998-05-29 1999-12-10 Omron Corp Individual identifying device and method and recording medium for recording individual identification program
JP2006065816A (en) * 2004-08-30 2006-03-09 Glory Ltd Face detector, face detection method and face detection program
JP2007058397A (en) * 2005-08-23 2007-03-08 Konica Minolta Holdings Inc Authentication system, registration system, and medium for certificate
WO2009096475A1 (en) * 2008-01-29 2009-08-06 Kabushiki Kaisha Dds Hybrid biometric authentication device, hybrid biometric authentication method, and computer-readable storage medium where computer program for hybrid biometric authentication is stored

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160346A (en) * 2014-08-04 2019-09-19 株式会社ニコン Electronic instrument
US11216965B2 (en) 2015-05-11 2022-01-04 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
CN107533642A (en) * 2015-05-11 2018-01-02 奇跃公司 Equipment, method and system for the biological characteristic user's identification using neutral net
JP2018524666A (en) * 2015-05-11 2018-08-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Devices, methods, and systems for biometric user recognition utilizing neural networks
US11657286B2 (en) 2016-03-11 2023-05-23 Magic Leap, Inc. Structure learning in convolutional neural networks
US10963758B2 (en) 2016-03-11 2021-03-30 Magic Leap, Inc. Structure learning in convolutional neural networks
US11915517B2 (en) 2016-10-31 2024-02-27 Nec Corporation Image processing device, image processing method, face recognition system, program, and storage medium
JPWO2018079031A1 (en) * 2016-10-31 2019-09-12 日本電気株式会社 Image processing apparatus, image processing method, face authentication system, and program
WO2018079031A1 (en) * 2016-10-31 2018-05-03 日本電気株式会社 Image processing device, image processing method, facial recogntion system, program, and recording medium
US11423693B2 (en) 2016-10-31 2022-08-23 Nec Corporation Image processing device, image processing method, face recognition system, program, and storage medium
JP7040457B2 (en) 2016-10-31 2022-03-23 日本電気株式会社 Image processing device, image processing method, face recognition system and program
CN111670455A (en) * 2018-02-01 2020-09-15 三美电机株式会社 Authentication device
JP2019133526A (en) * 2018-02-01 2019-08-08 ミツミ電機株式会社 Authentication device
JP7157303B2 (en) 2018-02-01 2022-10-20 ミツミ電機株式会社 Authentication device
WO2019150807A1 (en) * 2018-02-01 2019-08-08 ミツミ電機株式会社 Authentication device
US11436746B2 (en) 2018-03-19 2022-09-06 Mitsumi Electric Co., Ltd. Distance measuring camera
JP2022509756A (en) * 2018-10-30 2022-01-24 オーナー・デヴァイス・カンパニー・リミテッド Face recognition methods and electronic devices
JP7195422B2 (en) 2018-10-30 2022-12-23 オーナー・デヴァイス・カンパニー・リミテッド Face recognition method and electronic device
US11847198B2 (en) 2018-12-27 2023-12-19 Nec Corporation Information processing apparatus, information processing method, and storage medium
US11775836B2 (en) 2019-05-21 2023-10-03 Magic Leap, Inc. Hand pose estimation
WO2021166221A1 (en) * 2020-02-21 2021-08-26 日本電気株式会社 Biometric authentication device, biometric authentication method, and computer-readable medium storing program therefor
JPWO2021166221A1 (en) * 2020-02-21 2021-08-26
JP7318793B2 (en) 2020-02-21 2023-08-01 日本電気株式会社 Biometric authentication device, biometric authentication method, and its program
WO2021250845A1 (en) * 2020-06-11 2021-12-16 富士通株式会社 Authentication method, information processing device, and authentication program

Similar Documents

Publication Publication Date Title
JP2013250856A (en) Monitoring system
WO2019149056A1 (en) Identity authentication method, system, device and apparatus
KR100649303B1 (en) Apparatus of taking pictures in iris recognition system based on both of eyes's images
US11050920B2 (en) Photographed object recognition method, apparatus, mobile terminal and camera
JP4837091B2 (en) Imaging apparatus, imaging method, and imaging program
JP2007011456A (en) Face authentication device and face authentication method
US11775626B2 (en) Remote biometric identification and lighting
EP1835433B1 (en) Authentification device, authentification method, authentification program and computer readable recording medium
KR101588225B1 (en) Iris data Registration and Authentication device and the method in the camera of a mobile
KR20170001934A (en) Method for digital image judging and system tereof, application system, and authentication system thereof
Weissenfeld et al. Contactless finger and face capturing on a secure handheld embedded device
KR101698529B1 (en) Mobile scientific investigation apparatus and control method thereof
US20170024603A1 (en) Biometric image optimization using light fields
CN111699678B (en) Security inspection system and security inspection method using face ID sensing
JP2012009051A (en) Photographing device, photographing method and photographing program
KR101792011B1 (en) Multifaceted photographing apparatus checking finger vein and fingerprint at the same time
TW202046162A (en) Authentication system, authentication device, and authentication method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160322