JP6396357B2 - Face image authentication device - Google Patents
Face image authentication device Download PDFInfo
- Publication number
- JP6396357B2 JP6396357B2 JP2016068693A JP2016068693A JP6396357B2 JP 6396357 B2 JP6396357 B2 JP 6396357B2 JP 2016068693 A JP2016068693 A JP 2016068693A JP 2016068693 A JP2016068693 A JP 2016068693A JP 6396357 B2 JP6396357 B2 JP 6396357B2
- Authority
- JP
- Japan
- Prior art keywords
- perturbation
- face image
- angle
- similarity
- integrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Collating Specific Patterns (AREA)
Description
本発明は、入力顔画像の人物が登録者であるか否かを判定する顔画像認証装置に関する。 The present invention relates to a face image authentication apparatus that determines whether or not a person of an input face image is a registrant.
顔画像認証装置には、予め登録された登録者以外の他人をその登録者として認証してしまう他人受理と、登録者本人の認証に失敗する本人棄却の両方を低減することが求められる。例えば、顔画像認証装置を機密性が求められる部屋への入室資格を有するか否かの判定に用いる場合、他人受理は情報漏洩につながりかねないので許されない。一方で、利便性の観点から、眼鏡などを装着していても本人棄却が発生しないことが求められる。 The face image authentication apparatus is required to reduce both the acceptance of others who authenticate other persons other than the registrant registered in advance as the registrant and the rejection of the person who fails to authenticate the registrant. For example, when the face image authentication apparatus is used for determining whether or not the person has the qualification to enter a room where confidentiality is required, acceptance of others may lead to information leakage, which is not permitted. On the other hand, from the viewpoint of convenience, it is required that the person is not rejected even when wearing glasses or the like.
特許文献１には、本人棄却をしないよう眼鏡を装着した顔画像を登録して、さらに登録者が眼鏡を装着している場合に判定を厳しくして他人受理を防ぐ技術が開示されている。 Patent Document 1 discloses a technique for registering a face image wearing spectacles so as not to reject the person, and further preventing the acceptance of others by making the judgment strict when the registrant is wearing spectacles.
しかしながら、本人自身では気がつかない程度であっても眼鏡が傾いている場合、眼鏡の傾きの影響で登録された顔画像と入力された顔画像とが全体として類似していないと判断され他人棄却が発生しかねない。さらには似た眼鏡で登録している人物が他におり、入力顔画像の眼鏡の傾きが本人の登録顔画像よりも他人の登録顔画像の傾きに近いと、本人どうしの類似度と他人どうしの類似度が近くなりやすい。すると特許文献１に開示された顔画像認証装置によって他人受理の防止を図ると、眼鏡が傾いている場合に本人棄却となってしまう。 However, if the eyeglasses are tilted even if they are not noticed by themselves, the registered face image and the input face image are judged not to be similar as a whole due to the tilt of the glasses, and others are rejected. It can happen. Furthermore, if there are other people registered with similar glasses, and the inclination of the glasses of the input face image is closer to the inclination of the registered face image of the other person than the registered face image of the other person, the similarity between the persons and the other person The degree of similarity is likely to be close. Then, when the face image authentication apparatus disclosed in Patent Document 1 is used to prevent acceptance of others, the person will be rejected when the glasses are tilted.
さらには眼鏡の傾きに限らず、笑顔の口元から覗く歯や加齢に伴い際立つ鼻唇溝（ほうれい線）などの要因でも同様な現象が発生することが確認されている。つまり類似度の算出の際に登録顔画像と入力顔画像とで揃うべき顔画像の傾きがずれてしまい、いわば傾きの基準が不明確になっているということができる。 Furthermore, it has been confirmed that the same phenomenon occurs not only with the inclination of the glasses but also with factors such as teeth peeking from the mouth of the smile and a nasal cleft (constriction line) that stands out with age. That is, when calculating the similarity, the inclination of the face image to be aligned between the registered face image and the input face image is shifted, so that it can be said that the reference for the inclination is unclear.
本発明は上記問題点を解決するためになされたものであり、眼鏡の装着状態や表情等により顔画像の傾きが不明確となっても本人棄却を防止できる顔画像認証装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides a face image authentication device that can prevent the person from being rejected even if the inclination of the face image is unclear due to wearing state or facial expression of glasses. Objective.
かかる課題を解決するため本発明は、登録者の登録顔画像を記憶する記憶部と、入力顔画像と登録顔画像のいずれか一方を参照顔画像とし、他方を予め定めた複数の摂動角度だけ回転させて摂動角度ごとの摂動顔画像を生成する顔画像摂動手段と、参照顔画像を摂動角度ごとの摂動顔画像のそれぞれと比較して、摂動角度ごとの摂動類似度を算出する摂動類似度算出手段と、摂動類似度のうち最大の摂動類似度が算出された摂動角度を摂動中心角度とし、摂動中心角度との差が予め定めた上限角度以下である判定用範囲を設定して、判定用範囲の摂動角度について算出された摂動類似度を統合して統合類似度を求める統合類似度算出手段と、統合類似度が認証閾値以上であると入力顔画像の人物が登録者であると判定する認証判定手段とを有することを特徴とした顔画像認証装置を提供する。 In order to solve such a problem, the present invention provides a storage unit for storing a registered face image of a registrant, one of an input face image and a registered face image as a reference face image, and the other as a plurality of predetermined perturbation angles. A perturbation similarity that calculates a perturbation similarity for each perturbation angle by comparing the reference face image with each of the perturbation face images for each perturbation angle by generating a perturbation face image by rotating and generating a perturbation face image for each perturbation angle The calculation means and the perturbation angle at which the maximum perturbation similarity among the perturbation similarities is calculated is set as a perturbation center angle, and a determination range in which a difference from the perturbation center angle is equal to or less than a predetermined upper limit angle is set and determined. Integrated similarity calculation means for obtaining an integrated similarity by integrating the perturbation similarities calculated for the perturbation angle of the target range, and determining that the person of the input face image is a registrant if the integrated similarity is greater than or equal to the authentication threshold Authentication judgment means to Providing a face image authentication device characterized by Rukoto.
本発明にかかる顔画像認証装置において統合類似度算出手段は、判定用範囲を、摂動中心角度との差が上限角度よりも小さい下限角度以下の範囲を除外して設定し、統合類似度を求めることが好適である。 In the face image authentication apparatus according to the present invention, the integrated similarity calculation means sets the determination range by excluding a range where the difference from the perturbation center angle is less than the lower limit angle that is smaller than the upper limit angle, and obtains the integrated similarity. Is preferred.
本発明にかかる顔画像認証装置において統合類似度算出手段は、判定用範囲の摂動角度について算出された摂動類似度の平均を統合類似度として求めることが好適である。 In the face image authentication apparatus according to the present invention, it is preferable that the integrated similarity calculation means obtains an average of the perturbation similarities calculated for the perturbation angle in the determination range as the integrated similarity.
本発明にかかる顔画像認証装置において統合類似度算出手段は、摂動中心角度との差が上限角度よりも小さい角度以下である摂動角度について算出された摂動類似度の平均値と判定用範囲の摂動角度について算出された摂動類似度の平均値との差が大きいほど統合類似度を小さく補正することが好適である。 In the face image authentication apparatus according to the present invention, the integrated similarity calculation means includes the average value of the perturbation similarity calculated for the perturbation angle whose difference from the perturbation center angle is less than the upper limit angle and the perturbation of the determination range. It is preferable that the integrated similarity is corrected to be smaller as the difference from the average value of the perturbation similarity calculated for the angle is larger.
本発明にかかる顔画像認証装置において統合類似度算出手段は、判定用範囲の摂動角度について算出された摂動類似度の分散が大きいほど統合類似度を小さく補正することが好適である。
In the face image authentication apparatus according to the present invention, it is preferable that the integrated similarity calculation unit corrects the integrated similarity to be smaller as the variance of the perturbation similarity calculated for the perturbation angle in the determination range is larger.
本発明に係る顔画像認証装置は、形が似た眼鏡を装着する登録者が他に登録されていても、顔画像を用いて対象者を認証するか否かを正確に判定可能な顔画像認証装置を提供できるという効果を奏する。
The face image authentication apparatus according to the present invention is a face image that can accurately determine whether or not to authenticate a target person using a face image, even if other registrants wearing glasses having similar shapes are registered. There is an effect that an authentication device can be provided.
以下、本発明を出入管理システムに適用した場合の一実施形態について図を参照しつつ説明する。
図１は、本実施の形態にかかる顔画像認証装置が適用された出入管理システムが設置され、運用される様子を示す模式図である。
図１に示すように、顔画像認証装置１は、電気錠制御装置３を介して不図示の電気錠を制御することにより部屋の入口４の出入を管理する。撮像装置２は、入口４に通じる通路を撮影領域として撮影できるように入口４の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像装置２は、進行方向６に沿って入口４に向かう人物５を撮像することができる。
Hereinafter, an embodiment when the present invention is applied to an access control system will be described with reference to the drawings.
FIG. 1 is a schematic diagram showing a state in which an access management system to which the face image authentication apparatus according to the present embodiment is applied is installed and operated.
As shown in FIG. 1, the face image authentication device 1 manages the entrance / exit of a room entrance 4 by controlling an electric lock (not shown) via an electric lock control device 3. The imaging device 2 is attached to a wall surface or ceiling near the entrance 4 in a state in which the shooting direction is directed slightly downward and toward the passage side so that a passage leading to the entrance 4 can be photographed as a photographing region. Thereby, the imaging device 2 can image the person 5 heading toward the entrance 4 along the traveling direction 6.
撮像装置２は、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。撮像装置２は、撮影領域内を通行する人物５の顔を順次撮影できるように人物の進行方向６の略正面に設置される。そして撮像装置２は、所定の時間間隔（例えば、200msec）ごとに、撮影領域を撮影して入力画像を取得する。入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。撮像装置２は、顔画像認証装置１と接続され、取得した入力画像を顔画像認証装置１へ出力する。 The imaging device 2 is, for example, a two-dimensional array of photoelectric conversion elements (for example, a CCD sensor, C-MOS, etc.) that outputs an electrical signal corresponding to the amount of received light, and an image of a shooting area on the photoelectric conversion elements. An image forming optical system for forming an image. The imaging device 2 is installed substantially in front of the person's traveling direction 6 so that the face of the person 5 passing through the imaging region can be sequentially photographed. And the imaging device 2 image | photographs an imaging | photography area | region and acquires an input image for every predetermined time interval (for example, 200 msec). The input image can be a grayscale or color multi-tone image. In this embodiment, the input image is a color image having 1280 pixels wide × 960 pixels vertically and having a luminance resolution of 8 bits for each of the RGB colors. However, an input image having a resolution and gradation other than this embodiment may be used. The imaging device 2 is connected to the face image authentication device 1 and outputs the acquired input image to the face image authentication device 1.
電気錠制御装置３は、不図示の電気錠を制御する制御装置である。電気錠制御装置３は、顔画像認証装置１と接続され、顔画像認証装置１からの信号に従って、電気錠を施錠又は解錠する。電気錠は、入口４を常時施錠としており、顔画像認証装置１が人物５を通行許可された正当な権限を有すると判定すると、顔画像認証装置１から解錠の信号を受け、例えば５秒のみ解錠する。その後、人物５が入口４を通行するか、一定時間経過後（例えば５秒後）に自動的に施錠する。 The electric lock control device 3 is a control device that controls an electric lock (not shown). The electric lock control device 3 is connected to the face image authentication device 1 and locks or unlocks the electric lock according to a signal from the face image authentication device 1. The electric lock always locks the entrance 4, and when the face image authentication device 1 determines that the person 5 has a legitimate authority permitted to pass, the unlock signal is received from the face image authentication device 1, for example, for 5 seconds. Only unlock. Thereafter, the person 5 passes through the entrance 4 or is automatically locked after a predetermined time (for example, after 5 seconds).
顔画像認証装置１は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリなどから構成され、撮像装置２が取得した入力画像から、人物５の顔画像を抽出後、認証し、人物５が入口４の通行を許可された人物であると認証されれば電気錠制御装置３に対して電気錠（不図示）の解錠制御信号を出力する。
顔画像認証装置１は、顔画像取得部１０、出力部２０、記憶部３０、画像処理部４０から構成される。以下、顔画像認証装置１の各部について図２を参照して詳細に説明する。
The face image authentication device 1 includes a CPU, an MPU, peripheral circuits, terminals, various memories, and the like. The face image of the person 5 is extracted from the input image acquired by the imaging device 2 and then authenticated. If it is authenticated that the person is permitted to pass, an unlock control signal for an electric lock (not shown) is output to the electric lock control device 3.
The face image authentication device 1 includes a face image acquisition unit 10, an output unit 20, a storage unit 30, and an image processing unit 40. Hereinafter, each part of the face image authentication apparatus 1 will be described in detail with reference to FIG.
画像取得部１０は、撮像装置２と接続されるインターフェース回路、例えばビデオインターフェース及びオーディオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインターフェース回路を有する。画像取得部１０は、撮像装置２から入力画像を取得して画像処理部４０へ出力する。なお、本実施形態では、画像取得部１０は、撮像装置２が撮影した順に入力画像を画像処理部４０へ出力するが、ハードディスク等の媒体から入力画像を撮影時刻の古い順に取得し、画像処理部４０へ出力するようにしてもよい。 The image acquisition unit 10 includes an interface circuit connected to the imaging apparatus 2, for example, an interface circuit conforming to a serial bus such as a video interface and an audio interface, or a universal serial bus. The image acquisition unit 10 acquires an input image from the imaging device 2 and outputs the input image to the image processing unit 40. In the present embodiment, the image acquisition unit 10 outputs the input images to the image processing unit 40 in the order in which the image capturing apparatus 2 has captured. However, the image acquisition unit 10 acquires the input images from the medium such as a hard disk in chronological order and performs image processing. You may make it output to the part 40. FIG.
出力部２０は、外部の接続機器である電気錠制御装置３と接続するインターフェース及びその制御回路である。そして出力部２０は、画像処理部４０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置３に対して解錠制御を行う信号を出力する。また、出力部２０は、不図示の認証結果表示ランプと接続され、画像処理部４０から人物についての認証成功、認証失敗を示す信号を受け取ると、その認証結果に応じて当該認証結果表示ランプを点灯または消灯させてもよい。あるいは、ネットワーク接続することとして、認証結果を遠隔地に設置された監視センタ装置へ出力するようにしてもよい。 The output unit 20 is an interface connected to the electric lock control device 3 which is an external connection device and its control circuit. When the output unit 20 receives a signal indicating successful authentication of the person from the image processing unit 40, the output unit 20 outputs a signal for performing unlock control to the connected electric lock control device 3. Further, when the output unit 20 is connected to an authentication result display lamp (not shown) and receives a signal indicating the authentication success or the authentication failure for the person from the image processing unit 40, the output unit 20 displays the authentication result display lamp according to the authentication result. It may be turned on or off. Alternatively, as a network connection, the authentication result may be output to a monitoring center device installed at a remote location.
記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、顔画像認証装置１を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。
各種データには、入口４の通行を許可されている登録者の氏名、登録者ＩＤ及び登録顔画像等の登録者データ３１が含まれる。
The storage unit 30 includes a semiconductor memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory), or a magnetic recording medium and its access device or an optical recording medium and its access device. The storage unit 30 stores a computer program and various data for controlling the face image authentication device 1, and inputs / outputs such information to / from the image processing unit 40.
Various data includes registrant data 31 such as the name, registrant ID, and registered face image of the registrant who is permitted to pass through the entrance 4.
登録者データ３１の一部である登録顔画像は認証処理に用いられる。顔画像そのものが記憶されてもよいが、予め特徴量を成分とする特徴量ベクトルを求めておき記憶しておく。顔画像そのものが記憶されている場合は、特徴量を成分とした特徴量ベクトルを認証処理のたびに求める。登録顔画像と特徴量ベクトルの両方が記憶されてもよい。登録顔画像が記憶される場合には、後述する特徴点が登録作業の際に設定された上で登録されるのが好適である。
一人分の登録者データ３１には１枚または複数枚分の登録顔画像または特徴量ベクトルを用意する。
記憶部３０には、撮像装置２が取得した入力画像から人物５の画像を抽出する際の背景差分処理に用いるために、撮影領域が無人のときに取得した背景画像を記憶してもよい。
The registered face image that is a part of the registrant data 31 is used for authentication processing. Although the face image itself may be stored, a feature amount vector having a feature amount as a component is obtained and stored in advance. When the face image itself is stored, a feature quantity vector having the feature quantity as a component is obtained for each authentication process. Both the registered face image and the feature vector may be stored. When a registered face image is stored, it is preferable that a feature point (to be described later) is registered after being set during registration work.
One or more registered face images or feature quantity vectors are prepared for one registrant data 31.
The storage unit 30 may store a background image acquired when the shooting region is unattended for use in background difference processing when extracting the image of the person 5 from the input image acquired by the imaging device 2.
画像処理部４０は、例えば、いわゆるコンピュータにより構成され、撮像装置２から取得した入力画像に対し記憶部３０を参照しながら各種処理を実行し、その処理結果を出力部２０に外部へ出力させる。そのために画像処理部４０は、顔検出手段４１、摂動中心点算出手段４２、顔画像摂動手段４３、特徴量算出手段４４、摂動類似度算出手段４５、統合類似度算出手段４６、認証判定手段４７を有する。
画像処理部４０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部４０の各手段について詳細に説明する。
The image processing unit 40 is configured by, for example, a so-called computer, and executes various processes on the input image acquired from the imaging device 2 while referring to the storage unit 30 and causes the output unit 20 to output the processing results to the outside. For this purpose, the image processing unit 40 includes a face detection unit 41, a perturbation center point calculation unit 42, a face image perturbation unit 43, a feature amount calculation unit 44, a perturbation similarity calculation unit 45, an integrated similarity calculation unit 46, and an authentication determination unit 47. Have
Each means of the image processing unit 40 is a functional module implemented by a microprocessor, a memory, a peripheral circuit thereof, and software operating on the microprocessor. These means may be integrated by firmware. Moreover, you may comprise some or all of these means with an independent electronic circuit, firmware, a microprocessor, etc. Hereinafter, each unit of the image processing unit 40 will be described in detail.
顔検出手段４１は、画像取得部１０から入力された入力画像から人物５の顔部分を検出して入力顔画像とし、正規化の後に摂動中心点算出手段４２に出力する。
顔部分の検出は、従来から提案されている周知の方法を適宜採用すればよい。例えば、記憶部３０に予め背景画像を記憶しておいて、画素ごとに入力画像と一定以上の差がある変化領域を人物５の全身の領域として抽出し、その変化領域内部にてエッジを抽出して二値化し、楕円形状を検出する一般化ハフ変換を作用させて顔部分から入力顔画像を切り出せばよい。あるいは多数の顔画像を学習データとして用意し、統計的な学習処理により顔部分を直接抽出する識別器を構築して用いてもよい。
The face detection unit 41 detects the face portion of the person 5 from the input image input from the image acquisition unit 10 to obtain an input face image, and outputs the input face image to the perturbation center point calculation unit 42 after normalization.
For the detection of the face portion, a conventionally known method may be adopted as appropriate. For example, a background image is stored in the storage unit 30 in advance, and a change area having a certain difference from the input image is extracted for each pixel as a whole body area of the person 5, and an edge is extracted within the change area. Then, the input face image may be cut out from the face portion by applying a generalized Hough transform for binarizing and detecting an elliptical shape. Alternatively, a large number of face images may be prepared as learning data, and a discriminator that directly extracts a face portion by statistical learning processing may be constructed and used.
そして顔検出手段４１は、検出した入力顔画像から周知の手法にて特徴点を抽出する。特徴点を抽出した結果を図３に示す。図３には、入力顔画像３００について●印に示すように右目中心３０１、左目中心３０２、鼻尖点３０３、口点３０４などから抽出された特徴点が合計２０点について示されている。
顔検出手段４１は、抽出された特徴点を用いて入力顔画像の正規化処理を行う。そのために右目中心３０１と左目中心３０２を結んだ直線を考え、その直線が予め決めておいた長さになるように入力顔画像を拡大縮小する。
Then, the face detection unit 41 extracts feature points from the detected input face image by a known method. The result of extracting the feature points is shown in FIG. FIG. 3 shows a total of 20 feature points extracted from the right eye center 301, the left eye center 302, the nose apex point 303, the mouth point 304, etc., as indicated by the ● marks in the input face image 300.
The face detection unit 41 performs normalization processing of the input face image using the extracted feature points. For this purpose, a straight line connecting the right eye center 301 and the left eye center 302 is considered, and the input face image is enlarged or reduced so that the straight line has a predetermined length.
摂動中心点算出手段４２は、顔検出手段４１にて検出された入力顔画像を後述する顔画像摂動手段４３にて摂動させる際の中心となる摂動中心点を算出する。本発明においては、摂動とは顔画像についてのロール角方向の回転を意味する。
摂動中心点算出手段４２は、図３の入力顔画像３００に定義された座標系（不図示）において、顔検出手段４１が抽出した特徴点からいくつかを選び、その座標値の平均値から摂動中心点３０５を求める。例えば右目中心点３０１、左目中心点３０２、鼻尖点３０３、口点３０４を用いればよい。全ての特徴点を用いてもよい。求めた摂動中心点３０５の座標情報および入力顔画像３００を顔画像摂動手段４３に出力する。
The perturbation center point calculation means 42 calculates a perturbation center point that is the center when the input face image detected by the face detection means 41 is perturbed by the face image perturbation means 43 described later. In the present invention, perturbation means rotation of the face image in the roll angle direction.
The perturbation center point calculation means 42 selects some of the feature points extracted by the face detection means 41 in the coordinate system (not shown) defined in the input face image 300 of FIG. 3, and perturbs from the average value of the coordinate values. A center point 305 is obtained. For example, the right eye center point 301, the left eye center point 302, the nose tip point 303, and the mouth point 304 may be used. All feature points may be used. The obtained coordinate information of the perturbation center point 305 and the input face image 300 are output to the face image perturbation means 43.
顔画像摂動手段４３は、入力顔画像３００を摂動中心点３０５を中心に画像のロール角方向に所定の摂動角だけ回転させた摂動顔画像を生成する。
本発明でいうロール角方向について、図１を用いて説明する。図１において、撮像装置２と人物５の顔との位置関係を踏まえたＸＹＺ座標系を定義している。
Ｘ軸は人物５の顎から頭頂に向けて、Ｙ軸は人物５の左耳から右耳に向けて、Ｚ軸は撮像装置２から人物５の顔の表側を通り後頭部に向けて定義される。各軸はそれぞれ互いに直交しており、３次元直交座標系となっている。本発明でいうロール角方向とは、Ｚ軸の周りでの回転であり、矢印７に示す方向を正と定義する。
The face image perturbation means 43 generates a perturbed face image obtained by rotating the input face image 300 about the perturbation center point 305 by a predetermined perturbation angle in the roll angle direction of the image.
The roll angle direction referred to in the present invention will be described with reference to FIG. In FIG. 1, an XYZ coordinate system based on the positional relationship between the imaging device 2 and the face of the person 5 is defined.
The X axis is defined from the jaw of the person 5 to the top of the head, the Y axis is defined from the left ear to the right ear of the person 5, and the Z axis is defined from the imaging device 2 through the front side of the face of the person 5 toward the back of the head. . The respective axes are orthogonal to each other and form a three-dimensional orthogonal coordinate system. The roll angle direction in the present invention is rotation around the Z axis, and the direction shown by the arrow 7 is defined as positive.
図４を用いて摂動顔画像を説明する。
図４（ａ）には、入力顔画像３００に、摂動の基準となる正中線３０７が重ねて示されている。正中線３０７は顔の表面の左右方向の中央に、額から顎にかけて定義される基準線であり、本実施の形態では、既に特徴点の一部として抽出されている鼻根点３０６、鼻尖点３０３、口点３０４を結んだ直線として定義される。
図４（ａ）のように、回転処理を行わず顔検出手段４１にて検出されたそのままの状態を摂動角度が０度と定義し、時計回りを正の角度とする。
A perturbed face image will be described with reference to FIG.
In FIG. 4A, a median line 307 serving as a reference for perturbation is superimposed on the input face image 300. A median line 307 is a reference line defined from the forehead to the chin at the center of the face surface in the left-right direction. In the present embodiment, the nose root point 306 and the nose point that have already been extracted as part of the feature points. 303 is defined as a straight line connecting the mouth points 304.
As shown in FIG. 4A, the perturbation angle is defined as 0 degree as it is as detected by the face detection means 41 without performing the rotation process, and the clockwise direction is defined as a positive angle.
そして図４（ｂ）に示すように、顔画像摂動手段４３は、摂動中心点３０５を中心に最大の摂動限界角度まで所定の刻みごとに摂動角度３０８だけに回転させ、それぞれの摂動角度の顔画像を摂動顔画像３０９として求める。
摂動限界角度は、顔画像認証技術において登録顔画像との照合処理を行う意味のある、人の顔らしい範囲として定義することができる。または、人の首の関節の可動範囲を考慮し、胴体や脚が直立の状態にて最大限頭部を左右方向に傾けられる角度から決めても良い。
あるいは、後述する特徴量算出手段４４にて用いる特徴量としてＨｏＧ特徴量を採用した場合には、直線成分の回転方向の分解能に基づいて決定してもよい。すなわち一般的なＨｏＧ特徴量は１回転を８方向に分割して、２２．５度ごとのエッジ強度をヒストグラム化して特徴量とするが、登録顔画像と入力顔画像との逆回転方向のずれを考慮して、その半分である１１．２５度を摂動限界角度の最低値とし、同一人物の登録顔画像と入力顔画像ならば同一人物と認証される最大の摂動角度を実験的に求め、摂動限界角度の最大値に設定すればよい。例えば摂動限界角度の最大値が実験的に２０度と求められた場合、本実施の形態では摂動限界角度を±１５度とする。
また摂動角度は１度刻みで変化させることとする。処理速度や精度との関係から刻みを１度よりも粗くても細かくても良い。
Then, as shown in FIG. 4B, the face image perturbation means 43 rotates the perturbation center point 305 around the perturbation limit angle to the maximum perturbation limit angle only by the perturbation angle 308 at predetermined intervals, and the face of each perturbation angle. An image is obtained as a perturbed face image 309.
The perturbation limit angle can be defined as a range that seems to be a person's face that is meaningful to perform a matching process with a registered face image in the face image authentication technique. Alternatively, in consideration of the movable range of the joint of the person's neck, it may be determined from the angle at which the head can be tilted to the maximum in the left-right direction with the trunk and legs upright.
Alternatively, when a HoG feature value is adopted as a feature value used by the feature value calculation unit 44 described later, the determination may be made based on the resolution in the rotation direction of the linear component. In other words, a general HoG feature value is divided into eight directions for one rotation, and the edge strength every 22.5 degrees is histogrammed as the feature value. However, the shift in the reverse rotation direction between the registered face image and the input face image is performed. In consideration of the above, the lowest perturbation limit angle is 11.25 degrees, and the maximum perturbation angle that can be recognized as the same person is experimentally obtained if the registered face image and the input face image of the same person are obtained. What is necessary is just to set to the maximum value of a perturbation limit angle. For example, when the maximum value of the perturbation limit angle is experimentally determined to be 20 degrees, in this embodiment, the perturbation limit angle is set to ± 15 degrees.
The perturbation angle is changed in increments of 1 degree. The step may be coarser or finer than 1 degree in relation to the processing speed and accuracy.
特徴量算出手段４４は、摂動類似度算出手段４５にて摂動顔画像と登録者データ３１の登録顔画像との類似度計算に用いる特徴量を、摂動顔画像３０９から算出する。
特徴量は、図５に例を模式的に示すように、エッジの強度やエッジの方向に基づくものを好適なものとして用いることとする。本実施の形態では、ガボールウェーブレット特徴量５００や、ＨｏＧ特徴量５０１、周波数スペクトル（不図示）など顔画像認証の分野では周知のものを適宜選択して用いることとする。
The feature amount calculation unit 44 calculates a feature amount used for the similarity calculation between the perturbation face image and the registered face image of the registrant data 31 from the perturbation face image 309 by the perturbation similarity calculation unit 45.
As the feature amount, as schematically illustrated in FIG. 5, a feature amount based on edge strength or edge direction is preferably used. In the present embodiment, well-known ones in the field of face image authentication such as Gabor wavelet feature quantity 500, HoG feature quantity 501 and frequency spectrum (not shown) are appropriately selected and used.
特徴量算出手段４４は、顔検出手段４１が抽出した各特徴点、本実施の形態では２０点について、それぞれの特徴点を中心に所定の大きさの小領域を定義し、当該小領域内部の画像から特徴量を求めることとする。小領域の大きさは用いる特徴量ごとに可変とすることができ、例えばＨｏＧ特徴量では３２×３２画素とすることができる。
または特徴量算出手段４４は、特徴点を中心にした小領域内部の画像からのみならず、摂動顔画像から全ての特徴点を含み、共通の形と大きさにて眉毛から鼻、顎付近にかけて切り出した矩形領域全体から特徴量を求めてもよい。
特徴量算出手段４４は、求めた特徴量を成分とする特徴量ベクトルを生成して、記憶部３０の一時記憶領域に記憶させるとともに、摂動類似度算出手段４５に出力する。
The feature amount calculation means 44 defines a small area of a predetermined size around each feature point for each feature point extracted by the face detection means 41, in this embodiment, and in the inside of the small area. The feature amount is obtained from the image. The size of the small region can be changed for each feature amount used. For example, the size of the small region can be 32 × 32 pixels.
Alternatively, the feature quantity calculation means 44 includes not only the image inside the small area centered on the feature point but also all the feature points from the perturbed face image, and has a common shape and size from the eyebrows to the nose and chin vicinity. The feature amount may be obtained from the entire cut out rectangular area.
The feature quantity calculation unit 44 generates a feature quantity vector having the calculated feature quantity as a component, stores it in the temporary storage area of the storage unit 30, and outputs it to the perturbation similarity calculation unit 45.
摂動類似度算出手段４５は、摂動顔画像から求めた特徴量ベクトルと、記憶部３０に記憶されている各登録者の特徴量ベクトルとの類似度を、摂動角度を異ならせた摂動顔画像ごとに求めて、その登録者のその摂動角度における摂動類似度として記憶部３０に一時記憶させる。特徴量ベクトルどうしの類似度の算出方法は周知の方法でよく、０で除算しないよう留意しつつＬ２距離の逆数として定義すればよい。
さらに摂動類似度算出手段４５は、摂動類似度の最大値にて全ての摂動類似度を除算することにより最大１になるよう正規化する。
そして摂動類似度算出手段４５は、記憶部３０に記憶されている登録者データ３１ごとに同様の処理を行う。
The perturbation similarity calculation means 45 is for each perturbation face image in which the similarity between the feature amount vector obtained from the perturbation face image and the feature amount vector of each registrant stored in the storage unit 30 is different in perturbation angle. And is temporarily stored in the storage unit 30 as the perturbation similarity at the perturbation angle of the registrant. The calculation method of the similarity between the feature quantity vectors may be a well-known method, and may be defined as the reciprocal of the L2 distance while paying attention not to divide by zero.
Further, the perturbation similarity calculation means 45 normalizes all perturbation similarities by dividing them by the maximum value of perturbation similarities so as to become 1.
Then, the perturbation similarity calculation unit 45 performs the same process for each registrant data 31 stored in the storage unit 30.
統合類似度算出手段４６は、記憶部３０に一時記憶されている摂動類似度を統合して、入力顔画像の人物と登録顔画像の人物が一致するか否かを判定するための統合類似度を算出する。本実施の形態では、摂動類似度の統合は平均処理とする。別の実施形態において統合類似度算出手段４６は、摂動類似度の分散値を求めてその分散値に応じた係数を摂動類似度の最高値から減算したり、除算して統合して
もよい。
この際、統合類似度算出手段４６は、単純に全ての摂動類似度を用いるのではなく、以下のような処理にて統合類似度を求める。図６を用いて説明する。
図６（ａ）には、摂動角度に対する摂動類似度の変化について、本人どうしの場合が符号８００の実線グラフにて、他人どうしの場合が符号８１０の一点鎖線のグラフにて示されている。
The integrated similarity calculation means 46 integrates the perturbation similarity stored temporarily in the storage unit 30 and determines whether or not the person of the input face image matches the person of the registered face image. Is calculated. In the present embodiment, the integration of perturbation similarity is an average process. In another embodiment, the integrated similarity calculation means 46 may obtain a variance value of the perturbation similarity and subtract a coefficient corresponding to the variance value from the maximum value of the perturbation similarity or divide and integrate them.
At this time, the integrated similarity calculation means 46 does not simply use all the perturbation similarities but calculates the integrated similarity by the following processing. This will be described with reference to FIG.
In FIG. 6A, the change in perturbation similarity with respect to the perturbation angle is indicated by a solid line graph of reference numeral 800 for the person himself and by a one-dot chain line graph of reference numeral 810 for the other person.
ここで、摂動角度が０度付近の摂動類似度を参照して統合すると、必ずしも他人どうしの統合類似度よりも本人どうしの統合類似度が高くなるとは限らない。
これは図６（ｂ）に示す登録顔画像７１０において、登録作業時に登録者が気づかない程度に眼鏡７１１が向かって時計方向にわずかに傾いているのに対し、図６（ｃ）に示す入力顔画像７２０では逆に眼鏡７２１が向かって反時計方向にわずかに傾いている場合に発生する。
すなわち、登録顔画像７１０と入力顔画像７２０が同一人物のものであっても、摂動角度が０度では摂動類似度が最高にはならず図６（ａ）に示すように、摂動角度が数度の場合に最高値８０１をとることがある。
よって他人どうしの摂動類似度８１１と比較すると、摂動角度が０度付近の摂動類似度の統合では誤った認証結果につながりかねない。
Here, if integration is performed with reference to a perturbation similarity of which the perturbation angle is around 0 degrees, the integrated similarity of the principals is not necessarily higher than that of the others.
In the registered face image 710 shown in FIG. 6 (b), the glasses 711 are slightly tilted clockwise so that the registrant does not notice at the time of registration work, whereas the input shown in FIG. 6 (c). In the face image 720, on the contrary, this occurs when the glasses 721 are slightly tilted counterclockwise.
That is, even if the registered face image 710 and the input face image 720 are of the same person, the perturbation similarity is not the highest when the perturbation angle is 0 degrees, as shown in FIG. In the case of degrees, the maximum value 801 may be taken.
Therefore, as compared with the perturbation similarity 811 between others, integration of perturbation similarity with a perturbation angle near 0 degrees may lead to an erroneous authentication result.
そこで統合類似度算出手段４６は、記憶部３０に記憶されている各登録者の摂動角度ごとの摂動類似度を参照して登録者ごとに摂動類似度の最高値を特定し、最高値が算出された摂動角度をその登録者の摂動中心角度として決定する。
そして統合類似度算出手段４６は、各登録者ごとの摂動類似度について摂動中心角度から一定範囲の摂動類似度を統合する。これにより、図７に示すように、仮に摂動中心角度では本人どうしの摂動類似度の最高値８０１の方が他人どうしの摂動類似度の最高値８１１よりも低くても、摂動中心角度を中心にした一定範囲を統合することにより本人の統合類似度の方が高くなり本人棄却が防止できることになる。
Therefore, the integrated similarity calculation unit 46 refers to the perturbation similarity for each perturbation angle of each registrant stored in the storage unit 30 to identify the maximum value of the perturbation similarity for each registrant, and calculates the maximum value. The determined perturbation angle is determined as the perturbation center angle of the registrant.
Then, the integrated similarity calculation means 46 integrates perturbation similarities within a certain range from the perturbation center angle for the perturbation similarities for each registrant. As a result, as shown in FIG. 7, even if the maximum value 801 of the perturbation similarity between the principals is lower than the maximum value 811 of the perturbation similarity between the others at the perturbation center angle, the perturbation center angle is centered. By integrating a certain range, the person's integrated similarity becomes higher and the person's rejection can be prevented.
さらに、統合類似度算出手段４６は、摂動類似度の統合処理にあたり、用いる摂動類似度の範囲を以下のように限定する。図８を用いて説明する。
図８（ａ）に示すように、統合類似度算出手段４６は、摂動中心角度６００を中心とし上限角度６０５を設定し、さらに上限角度６０５よりも小さな下限角度６０４を設定して、下限角度６０４から定まる特定範囲６０２に含まれる摂動角度について求められた摂動類似度は統合類似度の算出には用いず、下限角度６０４と上限角度６０５から定まる判定範囲６０３に含まれる摂動角度を用いて統合類似度を求めることとする。
Furthermore, the integrated similarity calculation means 46 limits the range of the perturbation similarity to be used in the perturbation similarity integration process as follows. This will be described with reference to FIG.
As shown in FIG. 8A, the integrated similarity calculation means 46 sets an upper limit angle 605 around the perturbation center angle 600, sets a lower limit angle 604 smaller than the upper limit angle 605, and sets a lower limit angle 604. The perturbation similarity obtained for the perturbation angle included in the specific range 602 determined from the above is not used for calculation of the integrated similarity, but is integrated using the perturbation angle included in the determination range 603 determined from the lower limit angle 604 and the upper limit angle 605. The degree will be calculated.
これは、図７からわかるように、摂動類似度は、最高値を示す摂動中心角度から摂動角度が大きくなるほど下がっていく。これは本人どうしであっても、眼鏡にしても鼻や口などの部位にしても、互いの位置がずれると類似しないことになるためである。
本人どうしの摂動類似度８００は摂動角度が摂動中心角度から離れると値は緩やかに下がっていく。これは、摂動類似度は顔画像の各部分から求められた特徴が合わせられているが、摂動類似度の値に影響を与える眼鏡のフレームから抽出されるエッジ情報に基づく類似度が下がっても、顔の他の部位からの類似度は下がりにくく、全体として摂動角度が大きくなっても類似度は高いままを維持する傾向にあるからである。
これに対し、他人どうしの摂動類似度８１０は、摂動角度が摂動中心角度から離れるほど値が急激に下がる傾向にある。これは、仮に摂動中心角度における摂動類似度が本人よりも高くなっても、摂動角度が大きくなると類似度に影響を与える眼鏡のフレームから抽出されるエッジ情報に基づく類似度が下がることに加え、顔の他の部位からの類似度は他人であるが故に当然値は下がるからである。
As can be seen from FIG. 7, the perturbation similarity decreases as the perturbation angle increases from the perturbation center angle at which the maximum value is obtained. This is because, even if they are individuals, even if they are glasses or parts such as the nose or mouth, they will not be similar if their positions are shifted.
The perturbation similarity 800 between the persons gradually decreases as the perturbation angle moves away from the perturbation center angle. This is because the perturbation similarity is obtained by combining features obtained from each part of the face image, but the similarity based on the edge information extracted from the frame of the glasses that affects the value of the perturbation similarity decreases. This is because the degree of similarity from other parts of the face is unlikely to decrease, and the degree of similarity tends to remain high even when the perturbation angle increases as a whole.
On the other hand, the perturbation similarity 810 between others tends to decrease sharply as the perturbation angle moves away from the perturbation center angle. This is because, even if the perturbation similarity at the perturbation center angle is higher than the person, the similarity based on the edge information extracted from the frame of the glasses that affects the similarity decreases as the perturbation angle increases, This is because the degree of similarity from other parts of the face is different from others, so the value naturally decreases.
従って、統合類似度算出手段４６における統合類似度の算出にあたっては、登録顔画像と入力顔画像とで顔の傾きが揃った状態と想定される摂動類似度が最大の摂動中心角度をまず特定して、図８（ａ）に示すように、その摂動中心角度から一定の範囲に含まれる摂動角度から求められた摂動類似度を統合するのが望ましいが、例外として特定範囲６０２に含まれる摂動角度から求められた摂動類似度は統合に用いず、判定範囲６０３に含まれる摂動角度から求められた摂動類似度を統合するのが好適となる。 Therefore, in calculating the integrated similarity in the integrated similarity calculating means 46, first, the perturbation center angle with the maximum perturbation similarity that is assumed to be the state where the registered face image and the input face image are aligned is first identified. As shown in FIG. 8A, it is desirable to integrate the perturbation similarities obtained from the perturbation angles included in a certain range from the perturbation center angle, except that the perturbation angle included in the specific range 602 is an exception. It is preferable to integrate the perturbation similarities obtained from the perturbation angles included in the determination range 603 without using the perturbation similarities obtained from the above.
上限角度６０５は、本人どうしであれば摂動類似度が十分高い値を維持する範囲として実験的に決定するものする。本実施の形態では摂動中心角度６００から±１０度とする。計算負荷を考慮してより狭くしてもより広くしてもよい。または正の回転方向と負の回転方向のいずれかに偏って入力画像の顔が傾きやすい理由があるならば、その方向には大きめの範囲を設定するのが好適である。さらには摂動中心角度６００から正の回転方向または負の回転方向のみを設定して計算量削減を図ってもよい。
特定範囲６０２を定める下限角度６０４は、摂動中心角度６００における摂動類似度と大差が無い摂動類似度が求められる範囲とし、本実施の形態では摂動中心角度６００から±２度とする。摂動中心角度のみとしてもよく、さらに広い範囲としてもよい。
The upper limit angle 605 is experimentally determined as a range in which the perturbation similarity is maintained at a sufficiently high value for each person. In the present embodiment, the perturbation center angle is set to ± 10 degrees from 600. It may be narrower or wider considering the calculation load. Alternatively, if there is a reason that the face of the input image tends to be inclined in either the positive rotation direction or the negative rotation direction, it is preferable to set a larger range in that direction. Furthermore, the calculation amount may be reduced by setting only the positive rotation direction or the negative rotation direction from the perturbation center angle 600.
The lower limit angle 604 that defines the specific range 602 is a range in which a perturbation similarity that is not significantly different from the perturbation similarity at the perturbation center angle 600 is obtained. In this embodiment, the lower limit angle 604 is ± 2 degrees from the perturbation center angle 600. Only the perturbation center angle may be set, or a wider range may be set.
本実施の形態では、統合類似度算出手段４６は、判定範囲６０３に含まれる摂動角度について求められた摂動類似度を平均して統合類似度を求めることとしているが、摂動類似度の平均をそのまま後述の認証判定手段４７にて用いるのではなく、本人と他人との峻別の性能向上を図るため、求められた統合類似度にさらに重み付けをすることも好適である。
例えば判定範囲６０３に含まれる摂動角度について求められた摂動類似度の分散値を求め、その値が大きいほど、統合類似度を小さくすべく０に近い１未満の正数を重みとして乗算する。これは、図７の他人どうしの摂動類似度８１０からわかるように、他人の場合には摂動角度が摂動中心角度から離れるほど、摂動類似度が急激に小さくなり、その変化が大きいほど他人らしいと考えられるからである。
In the present embodiment, the integrated similarity calculation unit 46 averages the perturbation similarities obtained for the perturbation angles included in the determination range 603 to obtain the integrated similarity, but the average perturbation similarity is used as it is. Rather than being used in the authentication determination means 47 described later, it is also preferable to further weight the obtained integrated similarity in order to improve the performance of distinction between the person and others.
For example, a variance value of the perturbation similarity obtained for the perturbation angle included in the determination range 603 is obtained. As the value is larger, a positive number less than 1 close to 0 is multiplied as a weight to reduce the integrated similarity. As can be seen from the perturbation similarity 810 between others in FIG. 7, in the case of others, as the perturbation angle is farther from the perturbation center angle, the perturbation similarity decreases abruptly. It is possible.
または、同様な理由により特定範囲６０２に含まれる摂動角度について求められた摂動類似度の平均値と、判定範囲６０３に含まれる摂動角度について求められた摂動類似度の平均値との差が大きいほど、統合類似度を小さくすべく０に近い１未満の正数を重みとして乗算してもよい。前者の平均が仮に高くても、後者の平均が低いと他人らしいと考えられるからである。特定範囲６０２に限らずそれに代えて、摂動類似度の平均値を求める範囲を摂動中心角度に近い狭い角度の範囲としてもよい。
あるいは、統合類似度を小さくするために、一旦求められた統合類似度から所定の正の定数を減算してもよい。
さらには、特定範囲の摂動角度から求められた摂動類似度の影響が小さいことが予見される場合には統合類似度の計算から除外せず、図８（ｂ）のように、判定範囲６０１を上限角度６０５から定めてもよい。
Alternatively, the larger the difference between the average value of the perturbation similarity calculated for the perturbation angle included in the specific range 602 and the average value of the perturbation similarity calculated for the perturbation angle included in the determination range 603 for the same reason. In order to reduce the integrated similarity, a positive number less than 1 close to 0 may be multiplied as a weight. This is because even if the average of the former is high, if the average of the latter is low, it seems that it seems to be someone else. Instead of the specific range 602, the range for obtaining the average value of the perturbation similarity may be a narrow angle range close to the perturbation center angle.
Alternatively, in order to reduce the integrated similarity, a predetermined positive constant may be subtracted from the integrated similarity once obtained.
Furthermore, when it is predicted that the influence of the perturbation similarity obtained from the perturbation angle in the specific range is small, the determination range 601 is not excluded from the calculation of the integrated similarity as shown in FIG. The upper limit angle 605 may be determined.
認証判定手段４７は、統合類似度算出手段４６が算出した統合類似度を所定の認証閾値と比較し、超えている場合には登録顔画像の人物と入力顔画像の人物が同一人物であると判定し、その旨を出力部２０に出力する。
統合類似度が認証閾値を超える登録者が複数の場合には、統合類似度が最高の人物とする。
The authentication determination unit 47 compares the integrated similarity calculated by the integrated similarity calculation unit 46 with a predetermined authentication threshold, and if it exceeds, the person of the registered face image and the person of the input face image are the same person. The determination is made and a message to that effect is output to the output unit 20.
When there are a plurality of registrants whose integrated similarity exceeds the authentication threshold, the person with the highest integrated similarity is determined.
以下、図９に示すフロー図を用いて本発明にかかる顔画像認証装置の動作を説明する。
ステップＳ１００にて、画像取得部１０は、撮像装置２から人物５が写った入力画像を取得し、画像処理部４０の顔検出手段４１に出力する。
ステップＳ１１０にて、顔検出手段４１は、入力画像から人物５の顔部分が写った入力顔画像を検出する処理を行う。顔が検出されなかった場合には、処理をステップＳ１００に戻し（ステップＳ１２０のＮｏの分岐）、顔が検出された場合には処理を次のステップＳ１３０に移す（同じくＹｅｓの分岐）
The operation of the face image authentication apparatus according to the present invention will be described below using the flowchart shown in FIG.
In step S <b> 100, the image acquisition unit 10 acquires an input image in which the person 5 is captured from the imaging device 2 and outputs the input image to the face detection unit 41 of the image processing unit 40.
In step S110, the face detection unit 41 performs a process of detecting an input face image in which the face portion of the person 5 is captured from the input image. If no face is detected, the process returns to step S100 (No branch in step S120), and if a face is detected, the process proceeds to the next step S130 (also a Yes branch).
ステップＳ１３０にて、顔検出手段４１は、図３に示したように入力顔画像から特徴点を公知の方法にて抽出する。本実施の形態では２０点を抽出する。
ステップＳ１４０にて、摂動中心点算出手段４２は、抽出された特徴点の一部または全部を用いてその座標値の平均から摂動中心点３０５を求める（図３参照）。
ステップＳ１５０とステップＳ１６０は、正および負の摂動限界角度の範囲内で、所定の刻みごと、例えば１度ごとに繰り返し行われる。
ステップＳ１５０にて、顔画像摂動手段４３は、摂動中心点３０５を中心に入力顔画像を摂動（回転）させ、摂動顔画像を生成する（図４参照）。
ステップＳ１６０にて、特徴量算出手段４４は、摂動顔画像における特徴点それぞれを中心にした小領域からＨｏＧ特徴量などの特徴量を算出し、特徴量ベクトルを求め記憶部３０に一時記憶する。
In step S130, the face detection means 41 extracts feature points from the input face image by a known method as shown in FIG. In this embodiment, 20 points are extracted.
In step S140, the perturbation center point calculation means 42 obtains the perturbation center point 305 from the average of the coordinate values using a part or all of the extracted feature points (see FIG. 3).
Steps S150 and S160 are repeatedly performed at predetermined intervals, for example, every 1 degree, within the range of the positive and negative perturbation limit angles.
In step S150, the face image perturbation means 43 perturbs (rotates) the input face image around the perturbation center point 305 to generate a perturbed face image (see FIG. 4).
In step S <b> 160, the feature amount calculation unit 44 calculates a feature amount such as a HoG feature amount from a small region centered on each feature point in the perturbed face image, obtains a feature amount vector, and temporarily stores it in the storage unit 30.
ステップＳ１７０からステップＳ１９０は、記憶部３０に記憶されている登録者データ３１ごとに処理される。
ステップＳ１７０にて、摂動類似度算出手段４５は、ステップＳ１６０にて求められた摂動角度ごとの特徴量ベクトルと、処理対象となっている登録者の特徴量ベクトルとの類似度を求め、記憶部３０に一時記憶させる。
ステップＳ１８０にて、統合類似度算出手段４６は、記憶部３０に記憶されている摂動類似度の最大値を特定し、それに対応する摂動角度を摂動中心角度として決定する。
Steps S <b> 170 to S <b> 190 are processed for each registrant data 31 stored in the storage unit 30.
In step S170, the perturbation similarity calculation unit 45 obtains the similarity between the feature quantity vector for each perturbation angle obtained in step S160 and the feature quantity vector of the registrant to be processed, and the storage unit. 30 is temporarily stored.
In step S180, the integrated similarity calculation unit 46 specifies the maximum value of the perturbation similarity stored in the storage unit 30, and determines the corresponding perturbation angle as the perturbation center angle.
ステップＳ１９０にて、統合類似度算出手段４６は、摂動中心角度を基準に、図８を用いて説明したように、判定範囲６０３に含まれる摂動角度についての摂動類似度を統合して統合類似度とする。摂動類似度の平均を統合類似度とすることができる。
そして統合類似度算出手段４６は、登録者データ３１ごとに求められた統合類似度を認証判定手段４７に出力する。
In step S190, the integrated similarity calculation unit 46 integrates the perturbation similarities for the perturbation angles included in the determination range 603, as described with reference to FIG. And The average perturbation similarity can be used as the integrated similarity.
Then, the integrated similarity calculation unit 46 outputs the integrated similarity obtained for each registrant data 31 to the authentication determination unit 47.
ステップＳ２００にて、認証判定手段４７は、登録者データ３１ごとに求められた統合類似度のうち、最高値を特定し、それが予め定めた認証閾値を超えるか否かを調べる。超えない場合は（Ｎｏの分岐）、人物５は登録者ではないとして特に信号を出力することはせず、処理をステップＳ１００に戻す。すなわち電気錠（不図示）は施錠が維持されるため、人物５は入口４を通行することはできない。
統合類似度の最高値が認証閾値を超える場合には（Ｙｅｓの分岐）、認証に成功したとして認証判定手段４７は、その旨を出力部２０に出力し、出力部２０は電気錠を解錠するよう電気錠制御装置３に信号を出力する（ステップＳ２１０）。
これにより人物５は入口４を通行でき、入口４が閉じられると一定時間後に再度施錠され、処理をステップＳ１００に戻す。
In step S200, the authentication determination means 47 specifies the highest value among the integrated similarities obtained for each registrant data 31, and checks whether it exceeds a predetermined authentication threshold. If not exceeded (No branch), the person 5 is not a registered person and no signal is output, and the process returns to step S100. That is, since the electric lock (not shown) is kept locked, the person 5 cannot pass through the entrance 4.
If the maximum integrated similarity exceeds the authentication threshold value (Yes branch), the authentication determination unit 47 outputs that fact to the output unit 20 as successful authentication, and the output unit 20 unlocks the electric lock. Then, a signal is output to the electric lock control device 3 (step S210).
As a result, the person 5 can pass through the entrance 4, and when the entrance 4 is closed, the person 5 is locked again after a predetermined time, and the process returns to step S100.
なお、ステップＳ１５０〜ステップＳ１９０では、一旦全ての摂動角度に対して摂動顔画像を求めてから、登録者データごとに統合類似度を求めることとしているが、計算の順番としてこれに代え、１つの摂動顔画像を求めるたびに登録者データそれぞれとの摂動類似度を計算して記憶部に記憶し、統合類似度を求めてもよい。 In steps S150 to S190, the perturbation face images are once obtained for all perturbation angles, and then the integrated similarity is obtained for each registrant data. Each time a perturbation face image is obtained, the perturbation similarity with each registrant data may be calculated and stored in the storage unit to obtain the integrated similarity.
これまで述べてきた実施の形態では、エッジ情報に基づくことを条件とした特徴量、例えばＨｏＧ特徴量などを適宜用い、摂動により本人どうしに比べると他人どうしでは摂動角度が大きくなると類似度が下がることを利用して本人と他人との判別を行うとしていた。さらに特徴量の設計に工夫を加えることもできる。
例えば様々な条件で取得された顔画像を学習データとして収集しておき、“Graph Embedding and Extensions: A General Framework for Dimensionality Reduction”,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 29, NO. 1, JANUARY 2007（Shuicheng Yan他）に開示されている方法によって、特徴量を投影した特徴量算出空間において、顔の向きや照明、年齢などの条件が変化することに対する、本人どうしの特徴量の変化、すなわち個人内変動よりも、他人どうしの特徴量の変化、すなわち他人間変動が小さくなるよう学習処理によって特徴量算出空間が形成されるのが好適である。
すなわち学習データにロール角方向の角度が異なる顔画像を含めておくことで、摂動角度が大きくなることによる類似度の変化が本人どうしよりも他人どうしの方が大きくなるようにすることができる。
In the embodiments described so far, feature quantities that are based on edge information, for example, HoG feature quantities, are used as appropriate, and the degree of similarity decreases when the perturbation angle increases between others due to perturbation. This is used to distinguish between the person and others. Furthermore, it is possible to devise a feature amount design.
For example, face images acquired under various conditions are collected as learning data, “Graph Embedding and Extensions: A General Framework for Dimensionality Reduction”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 29, NO. 1, In the feature amount calculation space that projects the feature amount by the method disclosed in JANUARY 2007 (Shuicheng Yan et al.), The change in the feature amount of the person with respect to changes in conditions such as face orientation, lighting, and age, That is, it is preferable that the feature amount calculation space is formed by the learning process so that the change in the feature amount between other people, that is, the other-person variation is smaller than the intra-individual variation.
That is, by including face images with different angles in the roll angle direction in the learning data, it is possible to make the change in similarity due to an increase in the perturbation angle greater between the other persons than the other person.
また本実施の形態では、入力顔画像を摂動させるものとして説明してきたが、それに代わり登録顔画像を摂動させることとしても、全く同じ手順にて認証処理ができる。この場合、記憶部に記憶される登録者データは、摂動中心点が求められている登録顔画像、または摂動限界角度までの全ての摂動角度ごとの特徴量ベクトルを予め記憶しておくのが好適である。
In this embodiment, the input face image is perturbed. However, instead of perturbing the registered face image, the authentication process can be performed in exactly the same procedure. In this case, it is preferable that the registrant data stored in the storage unit stores in advance a registered face image for which the perturbation center point is obtained, or a feature vector for every perturbation angle up to the perturbation limit angle. It is.
４３・・・顔画像摂動手段
４５・・・摂動類似度算出手段
４６・・・統合類似度算出手段
３０５・・・摂動中心点
３０９・・・摂動顔画像
６０３・・・判定用範囲
43 ... face image perturbation means 45 ... perturbation similarity calculation means 46 ... integrated similarity calculation means 305 ... perturbation center point 309 ... perturbation face image 603 ... range for determination
Claims (5)
入力顔画像と前記登録顔画像のいずれか一方を参照顔画像とし、他方を予め定めた複数の摂動角度だけ回転させて当該摂動角度ごとの摂動顔画像を生成する顔画像摂動手段と、
前記参照顔画像を前記摂動角度ごとの前記摂動顔画像のそれぞれと比較して、前記摂動角度ごとの摂動類似度を算出する摂動類似度算出手段と、
前記摂動類似度のうち最大の前記摂動類似度が算出された摂動角度を摂動中心角度とし、当該摂動中心角度との差が予め定めた上限角度以下である判定用範囲を設定して、当該判定用範囲の摂動角度について算出された前記摂動類似度を統合して統合類似度を求める統合類似度算出手段と、
前記統合類似度が認証閾値以上であると前記入力顔画像の人物が前記登録者であると判定する認証判定手段と
を有することを特徴とした顔画像認証装置。
A storage unit for storing a registered face image of the registrant;
One of the input face image and the registered face image is used as a reference face image, and the other is rotated by a plurality of predetermined perturbation angles to generate a perturbation face image for each perturbation angle.
Comparing the reference face image with each of the perturbation face images for each of the perturbation angles, and calculating a perturbation similarity for each of the perturbation angles;
The perturbation angle at which the maximum perturbation similarity is calculated among the perturbation similarities is defined as a perturbation center angle, and a determination range in which a difference from the perturbation center angle is equal to or less than a predetermined upper limit angle is set, and the determination is made. Integrated similarity calculation means for obtaining an integrated similarity by integrating the perturbation similarities calculated for the perturbation angle of the range;
A face image authentication apparatus comprising: an authentication determination unit that determines that the person of the input face image is the registrant if the integrated similarity is equal to or greater than an authentication threshold.
The integrated similarity calculation means sets the determination range by excluding a range in which a difference from the perturbation center angle is less than a lower limit angle smaller than the upper limit angle, and calculates the integrated similarity. The face image authentication device according to claim 1.
The face image authentication device according to claim 1, wherein the integrated similarity calculation unit obtains an average of the perturbation similarities calculated with respect to a perturbation angle of the determination range as the integrated similarity.
The integrated similarity calculation means calculates an average value of the perturbation similarity calculated for the perturbation angle whose difference from the perturbation center angle is smaller than the upper limit angle and a perturbation angle of the determination range. 4. The face image authentication device according to claim 1, wherein the integrated similarity is corrected to be smaller as the difference from the average value of the perturbation similarity is larger. 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016068693A JP6396357B2 (en) | 2016-03-30 | 2016-03-30 | Face image authentication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016068693A JP6396357B2 (en) | 2016-03-30 | 2016-03-30 | Face image authentication device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017182459A JP2017182459A (en) | 2017-10-05 |
| JP6396357B2 true JP6396357B2 (en) | 2018-09-26 |
Family
ID=60006108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016068693A Active JP6396357B2 (en) | 2016-03-30 | 2016-03-30 | Face image authentication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6396357B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019117146A1 (en) * | 2017-12-15 | 2019-06-20 | 株式会社シャルマン | Reference-front-surface-setting device, measurement device, spectacles selection device, medical card creation device, measurement method, spectacles selection method, and medical card creation method |
| JP6431591B1 (en) * | 2017-12-15 | 2018-11-28 | 株式会社シャルマン | Method for setting reference front of 3D face image, method for selecting glasses using the same, and method for creating medical chart using the same |
| JP6490861B1 (en) * | 2018-08-17 | 2019-03-27 | 株式会社シャルマン | Method of setting reference front of three-dimensional face image, method of selecting glasses using the same, and method of creating medical record using the same |
| JP7276763B2 (en) * | 2019-01-04 | 2023-05-18 | 株式会社DSi | identification system |
| CN115249378B (en) * | 2022-09-19 | 2023-08-15 | 内蒙古蒙元生物基因科技有限公司 | System and method for detecting nucleic acid based on face recognition |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005056004A (en) * | 2003-08-07 | 2005-03-03 | Omron Corp | Unit, method and program for face collation |
-
2016
- 2016-03-30 JP JP2016068693A patent/JP6396357B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017182459A (en) | 2017-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810423B2 (en) | Iris liveness detection for mobile devices | |
| JP6396357B2 (en) | Face image authentication device | |
| KR102299847B1 (en) | Face verifying method and apparatus | |
| WO2021036436A1 (en) | Facial recognition method and apparatus | |
| CN109670390B (en) | Living body face recognition method and system | |
| US8891819B2 (en) | Line-of-sight detection apparatus and method thereof | |
| US8320642B2 (en) | Face collation apparatus | |
| KR100374708B1 (en) | Non-contact type human iris recognition method by correction of rotated iris image | |
| TWI604332B (en) | Method, system, and computer-readable recording medium for long-distance person identification | |
| CN105740778B (en) | Improved three-dimensional human face in-vivo detection method and device | |
| US10922399B2 (en) | Authentication verification using soft biometric traits | |
| US9449217B1 (en) | Image authentication | |
| KR20070093810A (en) | Authentication apparatus, authentication method, authentication program, and computer readable recording media | |
| US20190286798A1 (en) | User authentication method using face recognition and device therefor | |
| JP5955031B2 (en) | Face image authentication device | |
| JP5730044B2 (en) | Face image authentication device | |
| JP6739459B2 (en) | Person matching device | |
| KR20110013916A (en) | System and method recognizing actual object by using a different type image taking apparatus | |
| JP6150491B2 (en) | Face recognition device | |
| JP2008015871A (en) | Authentication device and authenticating method | |
| JP2005084979A (en) | Face authentication system, method and program | |
| US20190347483A1 (en) | Method for biometric recognition from irises | |
| US11335123B2 (en) | Live facial recognition system and method | |
| JP6053504B2 (en) | Object detection device | |
| Hemalatha et al. | A study of liveness detection in face biometric systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6396357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |