JP2007004321A - Image processing device and entry/exit control system - Google Patents
Image processing device and entry/exit control system Download PDFInfo
- Publication number
- JP2007004321A JP2007004321A JP2005181396A JP2005181396A JP2007004321A JP 2007004321 A JP2007004321 A JP 2007004321A JP 2005181396 A JP2005181396 A JP 2005181396A JP 2005181396 A JP2005181396 A JP 2005181396A JP 2007004321 A JP2007004321 A JP 2007004321A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- normalized
- images
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、顔画像を比較して同一人物であるか否かを判定する画像処理や、それを用いた入退室管理に関するものである。 The present invention relates to image processing for comparing face images and determining whether or not they are the same person, and entry / exit management using the image processing.
オフィスなどにおいて、顔認証を用いた入退室管理システムが使用されている。訪問者があると、カメラで顔が撮影され、登録されていた顔と同一であると認証されると、入室が許可される。顔認証アルゴリズムでは、登録時に、撮影した画像の中から顔領域を検出した後、その顔の向き、大きさ、輝度値分布などが正規化された顔画像を生成する。顔が傾いている場合は、一定の向き（正立）に正規化される。照合時も、同様に正規化された顔画像を生成する。そして、この正規化された登録顔画像と正規化された照合用顔画像との間で認証処理が行われる。 An entrance / exit management system using face authentication is used in offices and the like. When there is a visitor, the face is photographed by the camera, and if it is authenticated that it is the same as the registered face, entry is permitted. In the face authentication algorithm, at the time of registration, a face area is detected from a photographed image, and then a face image in which the face orientation, size, luminance value distribution, and the like are normalized is generated. When the face is tilted, it is normalized in a certain direction (upright). Similarly, a normalized face image is generated at the time of collation. Then, authentication processing is performed between the normalized registered face image and the normalized face image for verification.
顔認証システムにおいて、同一人物の顔どうしであっても、顔向き変化、瞬きを含めた表情変化、及び、照明変化の度合いが大きいと認証率が低下するという問題がある。従来は、顔が含まれる画像から、顔の向き、大きさ、輝度値分布などが正規化された正規化画像を生成する顔検出アルゴリズムの開発、また、正規化後に顔画像に含まれる顔の向き、表情変化、照明変化にロバストな顔認証アルゴリズムの開発が行われてきた。 In the face authentication system, even if the faces of the same person are different, there is a problem that the authentication rate decreases if the degree of face direction change, facial expression change including blinking, and illumination change is large. Conventionally, the development of a face detection algorithm that generates a normalized image in which the orientation, size, luminance value distribution, etc. of the face is normalized from the image including the face, and the face included in the face image after normalization is developed. Face recognition algorithms that are robust to changes in orientation, facial expression, and lighting have been developed.
たとえば、山口、福井、前田による「動画像を用いた顔認識システム」（信学技報PRMU97-50, pp.17-24, 1997）では、顔認識において顔向きや表情変化といった変動を吸収するため、動画の時系列画像を用いる。ここで、登録画像と照合画像に部分空間を用い、顔画像から瞳、鼻孔などの特徴点を抽出し、それを基に顔領域の位置やサイズを正規化する。特開２０００−３００６５号公報に記載されたパターン認識では、同様に、登録画像と照合画像に部分空間を用いている。ここで、登録画像として複数枚の画像を動画像として撮影し、これらの画像を主成分分析することで、基底ベクトルからなる部分空間を生成する。また、同様に照合時にも複数枚の顔画像を撮影し、部分空間を生成する。ここで、照明変動や経年変動によるパターン変化を取り除くため、認識に不必要な部分空間を取り除いておく。照合画像と登録画像との類似度は、この部分空間のなす角度で求められる。 For example, Yamaguchi, Fukui, and Maeda's "Face Recognition System Using Moving Images" (Science Technical Report PRMU97-50, pp.17-24, 1997) absorbs fluctuations such as face orientation and facial expression changes in face recognition. Therefore, a time series image of a moving image is used. Here, a partial space is used for the registered image and the collation image, feature points such as pupils and nostrils are extracted from the face image, and the position and size of the face region are normalized based on the extracted feature points. Similarly, in the pattern recognition described in Japanese Patent Laid-Open No. 2000-30065, a partial space is used for a registered image and a collation image. Here, a plurality of images are captured as moving images as registered images, and a principal space analysis is performed on these images to generate a partial space composed of basis vectors. Similarly, a plurality of face images are captured during collation, and a partial space is generated. Here, in order to remove pattern changes due to illumination fluctuations and secular fluctuations, subspaces unnecessary for recognition are removed. The degree of similarity between the collation image and the registered image is determined by the angle formed by this partial space.
一方、特開平１０−２３２９３４号公報に記載された顔画像登録では、人物の顔を連続的に撮影して顔画像の学習データとして用いる。ここで、抽出された顔領域から求まる特徴量（瞳、鼻孔など）をあらかじめ設定された基準と比較し、大きく特徴量の位置が変化した場合、たとえば、目を閉じた画像や口を開けた画像を学習画像から自動的に取り除く。したがって、瞬きによる表情変化などによる変動は除去できる。
しかし、従来の顔認識の認識にはなお問題がある。たとえば、登録画像と照合画像とに部分空間を用いる前述の手法では、部分空間の生成時に、多数の照明や顔向きの変動を持った画像を取得する必要がある。この時、それらの画像の中に、たとえば瞬きによる表情変化として目が閉じている顔画像が含まれていた場合や、正規化顔画像生成時の正規化誤差が含まれていた場合には、認証率が大きく低下するという問題がある。特に、登録時と照合時との間の一方にのみ、そのような画像変動が含まれる場合に大きな問題となる。 However, there are still problems with conventional face recognition recognition. For example, in the above-described method in which a partial space is used for a registered image and a collation image, it is necessary to acquire an image having a large number of illuminations and face orientation variations when the partial space is generated. At this time, if those images include face images with closed eyes as facial expression changes due to blinking, or if normalization errors at the time of normalization face image generation are included, There is a problem that the authentication rate is greatly reduced. In particular, it becomes a big problem when such image fluctuation is included only in one of the time between registration and the time of collation.
また、大きく特徴量の位置が変化した顔画像を取り除く前述の顔登録では、悪影響を及ぼす変動として、これら特徴点から計算できる瞬きなどの表情変化は排除できる。しかし、登録時および照合時の画像の変動のうち、認証率を悪化させる要素は、特徴点により求められるものだけではない。認証率を悪化させる画像には、たとえば、顔を所望の大きさに切り出す正規化における計算誤差が大きい画像や、明示的に分かりづらい照明変化が生じている画像も含まれる。したがって、特徴点からは求められないそのような認証率を悪化させる変動は除去できない。 Further, in the above-described face registration that removes a face image in which the position of a feature amount has greatly changed, facial expression changes such as blinks that can be calculated from these feature points can be excluded as fluctuations that have an adverse effect. However, the factor that deteriorates the authentication rate among the fluctuations of the images at the time of registration and verification is not only the one that is obtained from the feature points. An image that deteriorates the authentication rate includes, for example, an image with a large calculation error in normalization that cuts out a face to a desired size, and an image in which an illumination change that is not clearly understood is generated. Therefore, such fluctuations that deteriorate the authentication rate that cannot be obtained from the feature points cannot be removed.
本発明の目的は、精度の高い顔認証を提供することである。 An object of the present invention is to provide highly accurate face authentication.
本発明に係る第１の画像処理装置は、同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、 前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、登録用正規化顔画像またはこの正規化顔画像から計算される顔の特徴量が登録されているデータベースから読み出した登録用正規化顔画像またはそれらの登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像またはそれらの照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部とを備える。 A first image processing apparatus according to the present invention includes a collation face detection unit that inputs a plurality of images of the same person and detects a face region from each image, and the face region detected by the face detection unit. A collation normalization processing unit that normalizes and generates a normalized face image; a collation correlation value calculation unit that calculates a correlation value between a plurality of normalized face images generated by the normalization processing unit; In the correlation value distribution, the variance of the correlation values of the generated plurality of normalized images is compared with the first threshold value. If the variance is smaller than the first threshold value, all the normalized images are selected. In other cases, for each of the plurality of normalized images, the correlation value variance of the normalized image is compared with a second threshold value. A collation face image selection section for selecting a normalization face image for registration or Selected from the registered normalized facial images read from the database in which the facial feature values calculated from the normalized facial images are registered or the facial feature values calculated from the registered normalized facial images And a determination unit that determines whether or not they are the same person as compared with the face feature amount calculated from the matching normalized face images or the face normalized face images.
本発明に係る第２の画像処理装置は、同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、 前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、前記データベースから読み出した登録用正規化顔画像または登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像または照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部とを備える。 The second image processing apparatus according to the present invention includes a collation face detection unit that inputs a plurality of images of the same person and detects a face region from each image, and the face region detected by the face detection unit. A collation normalization processing unit that normalizes and generates a normalized face image; a collation correlation value calculation unit that calculates a correlation value between a plurality of normalized face images generated by the normalization processing unit; In the correlation value distribution, the variance of the correlation values of the generated plurality of normalized images is compared with the first threshold value. If the variance is smaller than the first threshold value, all the normalized images are selected. In other cases, for each of the plurality of normalized images, the correlation value variance of the normalized image is compared with a second threshold value. A collation face image selection unit for selecting and reading from the database Compare the facial feature value calculated from the registered normalized facial image or the registered normalized facial image with the facial feature value calculated from the selected normalized facial image for matching or normalized facial image for matching And a determination unit for determining whether or not they are the same person.
本発明に係る入退室管理システムは、入室者を撮影するカメラと、前記カメラで撮影された１人の人物の複数の画像を入力し、データベースに登録されている人物と同一であるか否かを判定する前記画像処理装置と、前記画像処理装置が同一人物であると判定すると解錠される電気錠を備えるドアとからなる。 The entrance / exit management system according to the present invention inputs a plurality of images of a person photographing a room occupant and a person photographed by the camera, and whether or not the person is registered in the database. The image processing apparatus for determining whether the image processing apparatus is the same person, and a door including an electric lock that is unlocked when the image processing apparatus is determined to be the same person.
登録画像の候補顔画像間、照合用画像の候補顔画像間、照合用候補画像と登録された顔画像間など、複数の顔画像間での相関値を事前に計算して、条件の異なる画像が登録されるのを、また、照合に用いられるのを排除するので、顔の向き、瞬きを含む表情変化などにロバストな精度の高い画像処理装置を実現できる。照明アルゴリズムとは別に、画像を排除する際に、事前に瞬き検知などの排除に必要な特徴量抽出を行う必要がない。 Images with different conditions by calculating in advance correlation values between multiple face images, such as between registered candidate face images, between matching face image candidates, between matching candidate image images and registered face images Is excluded from being registered and used for collation, so that it is possible to realize a highly accurate image processing apparatus that is robust to facial orientation, facial expression changes including blinking, and the like. Apart from the lighting algorithm, when removing an image, it is not necessary to perform feature amount extraction necessary for removal such as blink detection in advance.
以下、添付の図面を参照して発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図１は、オフィスなどで使用される入退室管理システムを示す。このシステムでは、ＩＣカードにより登録者のＩＤを指定して顔認証を行う（１：１認証）。登録者のＩＤを指定することにより照合すべき顔画像が指定できる。顔画像の初期登録時には、ＩＣカード（たとえば非接触ＩＣカード）により登録者のＩＤを指定した後に、ユーザーインタフェース１０に設置されるカメラ１６で登録者の顔を複数枚撮影する。そして、画像処理により正規化顔画像を作成して、登録画像データベース５４に記憶しておく。照合時には、訪問者が入室しようとするとき、ユーザーインタフェース１０のカードインタフェース１２においてＩＣカード１４を読み取らせて、身元を明らかにする。このとき、カメラ１６は、訪問者の顔画像を撮影する。画像処理装置２０は、登録画像データベース５４から、登録者のＩＤに対応する登録用画像を読み出す。一方、カメラ１６で撮影された画像から画像処理により照合用正規化顔画像を作成し、登録画像と比較して、同一人物かどうかを判定する。同一人物であると判定すると、ドア３０の電気錠を解錠して、入室を許可する。なお、ＩＣカードの代わりに、ＩＤ番号などを入力するようにしてもよい。
FIG. 1 shows an entrance / exit management system used in an office or the like. In this system, face authentication is performed by specifying the registrant's ID using an IC card (1: 1 authentication). A face image to be collated can be designated by designating the registrant's ID. At the time of initial registration of a face image, after specifying the registrant's ID using an IC card (for example, a non-contact IC card), a plurality of registrant's faces are photographed by the
図２は、顔認証のための画像処理装置２０の構成を示す。画像処理装置２０は、通常のコンピュータと同様の構成を備える。全体を制御するＣＰＵ４０は、プログラムやデータを記憶したＲＯＭ４２やワークエリアであるＲＡＭ４４に接続される。ＣＰＵ４０は、さらに、顔認証のための画像処理プログラムを含む各種プログラムやデータを記憶するハードディスクドライブ４６や、入力用のキーボード４８とマウス５０や、表示装置としてのモニタ５２に接続される。ＣＰＵ４０は、登録顔画像を記憶する登録画像データベース５４を備えるが、これは、ハードディスクドライブ４６と一体化されていてもよい。また、ＣＰＵ４０は、入出力インタフェース５６を介して、ユーザーインタフェース１０のカードインタフェース１２やカメラ１６およびドア３０の電気錠３２に接続される。
FIG. 2 shows a configuration of the
この発明では、同じ人物について撮影された複数の顔画像について、画像間の相関値を登録前に計算することで、条件（姿勢、表情など）が異なる特定の顔画像が登録されるのを排除する。これにより、認証に不適切な顔画像を事前に登録から排除する。したがって、正規化後に画像に残される顔の向き、表情変化、照明変化などの過度のばらつきをなくせるので、認証率低下を防止でき、精度の高い画像処理装置を実現する。なお、照合アルゴリズムとは別に、画像を排除する際に、事前に瞬き検知などの排除に必要な特徴量抽出を行う必要はない。 In the present invention, for a plurality of face images taken for the same person, the correlation value between the images is calculated before registration, thereby eliminating the registration of specific face images with different conditions (posture, facial expression, etc.). To do. Thereby, face images inappropriate for authentication are excluded from registration in advance. Therefore, excessive variations such as face orientation, facial expression change, and illumination change left in the image after normalization can be eliminated, so that a reduction in authentication rate can be prevented and a highly accurate image processing apparatus is realized. Apart from the collation algorithm, it is not necessary to perform feature amount extraction necessary for exclusion such as blink detection in advance when an image is excluded.
次に、第１の実施の形態の画像登録時の画像処理について説明する。図３は、画像処理装置２０の画像処理プログラムの処理を示す。このプログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行されるが、たとえばユーザーインタフェース１０に設けた登録ボタン（図示しない）を押すことにより起動される。まず、カメラ１６を作動させて顔画像を連続的に撮影して、それらの画像を入力する。そして、各画像においてパターンマッチングなどを用いて顔領域を検出し（Ｓ１０）、目、鼻、口などの特徴点を抽出して、その顔の向き、大きさ、輝度値分布などが補正された正規化顔画像を生成する（Ｓ１２）。正規化の手法としては公知の適当な手法を用いればよい。正規化画像の大きさは、たとえば目の位置を元に一定の大きさや目と鼻の位置を基に正規化される。次に、生成された複数枚の正規化顔画像の間の相関値を計算する（Ｓ１４）。相関値の計算には、パターンマッチングなどの公知の適当な照合アルゴリズムを用いることができるが、後述の照合アルゴリズムを用いるとさらに効果的である。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ１６）。分布パターンからの選択方法としては、たとえば、相関値の平均値を求め、平均値よりあるしきい値以下の範囲に含まれる正規化画像を除いて選択する。また、たとえばガウス分布を推定して、ズレの大きい画像を除くようにしてもよい。そして、こうして選択された複数の正規化顔画像を登録画像データベース５４に登録する（Ｓ１８）。また、正規化画像でなく、正規化画像から輝度値情報からなる濃淡データを登録してもよい。また、正規化顔画像そのものではなく、正規化顔画像から計算される顔の特徴量を登録するようにしてもよい。登録される顔の特徴量は、たとえば、目、鼻、口といったパーツの位置、または、ＦＦＴを適用した結果得られる周波数と振幅の情報、または、主成分分析（ＰＣＡ）を適用して得られる基底ベクトルの係数などである。
Next, image processing at the time of image registration according to the first embodiment will be described. FIG. 3 shows processing of the image processing program of the
相関値の計算（Ｓ１４)では、たとえば類似度を相関値として計算する。類似度は公知の適当な手法で計算すればよい。たとえば、顔のパーツごとに判断してもよい。登録時に撮影した複数の画像をA0、A1、A2、A3とすると、図４に示すように、画像Ａｍと画像Ａｎの間の相関値として類似度Ａｍｎを計算する。もちろん、画像の数は４枚には限られない。撮影した複数の画像内に目の瞬き、顔の傾きなどの姿勢変化、切りだしのずれなどの正規化誤差などの認証精度に悪影響を与える変動要因が入っていると、類似値の分布を表す類似度ヒストグラムには、同一人物の顔画像に関するものであるにもかかわらず類似度の低いデータが存在する。したがって、顔画像の選択（Ｓ１６）において、相関値の分布において平均からのズレが所定値より小さい画像を選択するようにすればよい。たとえば、次に説明するように、画像間で計算される類似度の分布パターンから得られる平均、分散を用いて、認証精度に悪影響を与える画像を事前に排除できる。 In the calculation of the correlation value (S14), for example, the similarity is calculated as the correlation value. The degree of similarity may be calculated by a known appropriate method. For example, the determination may be made for each facial part. Assuming that a plurality of images taken at the time of registration are A0, A1, A2, and A3, as shown in FIG. 4, similarity Amn is calculated as a correlation value between images Am and An. Of course, the number of images is not limited to four. If there are fluctuation factors that adversely affect the authentication accuracy such as blinking eyes, posture changes such as face tilt, and normalization errors such as clipping deviation in multiple shot images, the distribution of similar values is expressed. In the similarity histogram, there is data with low similarity even though it is related to the face image of the same person. Therefore, in selecting a face image (S16), an image having a deviation from the average smaller than a predetermined value in the distribution of correlation values may be selected. For example, as will be described below, an image that adversely affects the authentication accuracy can be eliminated in advance using an average and a variance obtained from a distribution pattern of similarity calculated between images.
いまたとえば画像Ａ１が目の瞬きにより目を閉じた状態の顔画像であるか、または、顔画像の切り出し位置がずれた場合であって、認証精度に悪影響を与える変動要因を含んでいるが、他の画像Ａ０、Ａ２、Ａ３が認証精度に悪影響を与える変動を含まない場合は、画像Ａ１の他の画像との類似度Ａｍｎ（ｍまたはｎ＝１）は、他の画像どうしの間の類似度に比べて低い。したがって、平均類似度が低くなると共に、類似度の分布においてばらつきが大きくなり、分散も大きくなる傾向がある。一方、認証精度に悪影響を与える変動を含まない画像A0, A02, A03の間の類似度Ａｍｎ（ｍ，ｎ≠０）は、すべて類似度が高いため平均類似度が高く、かつ、分散が小さな局所的な分布を持つ。 Now, for example, when the image A1 is a face image in which the eyes are closed due to blinking eyes, or the cutout position of the face image is deviated, it includes a variation factor that adversely affects the authentication accuracy. When the other images A0, A2, and A3 do not include a variation that adversely affects the authentication accuracy, the similarity Amn (m or n = 1) with the other images of the image A1 is similar between the other images. Low compared to degrees. Therefore, there is a tendency that the average similarity is lowered, the variation in the similarity distribution is increased, and the variance is also increased. On the other hand, the similarities Amn (m, n ≠ 0) between the images A0, A02, and A03 that do not include fluctuations that adversely affect the authentication accuracy are all high in similarity, so that the average similarity is high and the variance is small. Has a local distribution.
図５において、上側に、本人画像間の姿勢などのばらつきによる類似度のばらつきの１例を示す。先に述べたように、認証精度に悪影響を与える変動要因が入っている画像があると、類似値の分布を表す類似度ヒストグラムには、同一人物の顔画像に関するものであるにもかかわらず類似度の低いデータが存在する。図５に示されるように、類似度分布は、類似度が大きな多数のデータと、類似度が小さい少数のデータからなる。前者は、認証精度に悪影響を与える変動要因が入っていない画像同士の類似度であり、認証精度に悪影響を与える変動要因が入っている画像が含まれない場合は、後者のデータは含まれない。前者のデータは、先に説明しているように、平均類似度が高く、かつ、分散が小さい。一方、後者は、認証精度に悪影響を与える変動要因が入っている画像とそのような変動要因が入っていない他の画像との類似度であり、認証精度に悪影響を与える変動要因が入っている画像が含まれる場合に現れる。そのような変動要因が入っている画像が含まれる場合、類似度の分布においてばらつきが大きくなり、分散も大きくなる。したがって、画像間で計算される類似度の分布パターンを分析することにより、認証精度に悪影響を与える変動要因が入っている画像を排除できる。たとえば、類似度ヒストグラムにおいて、類似度の平均値より高い類似度のデータと離れて分布している、類似度の低いデータを生じている画像を判別し排除すればよい。参考のため、図５の下側に、本人と他人の画像の間のばらつきによる類似度のばらつきを示すが、この場合、類似度は広い範囲で分布し、分散が大きい。類似度が広い範囲内で分布する点では上側の例と同様であるが、類似度が大きいものと小さいものに分かれることはない。 In FIG. 5, on the upper side, an example of similarity variation due to variations in postures between the individual images is shown. As mentioned earlier, if there is an image that contains a variation factor that adversely affects authentication accuracy, the similarity histogram representing the distribution of similarity values is similar even though it relates to the face image of the same person. There is less data. As shown in FIG. 5, the similarity distribution is composed of a large number of data having a large similarity and a small number of data having a small similarity. The former is the similarity between images that do not include a variation factor that adversely affects authentication accuracy. If the image does not include a variation factor that adversely affects authentication accuracy, the latter data is not included. . As described above, the former data has a high average similarity and a small variance. On the other hand, the latter is the degree of similarity between an image containing a variation factor that adversely affects authentication accuracy and another image that does not include such a variation factor, and includes a variation factor that adversely affects authentication accuracy. Appears when an image is included. When an image including such a variation factor is included, variation in the similarity distribution increases, and the variance also increases. Therefore, by analyzing the distribution pattern of the similarity calculated between images, it is possible to eliminate an image containing a variation factor that adversely affects the authentication accuracy. For example, in the similarity histogram, it is only necessary to discriminate and eliminate images that are distributed apart from data with a similarity higher than the average value of similarity and that have data with a low similarity. For reference, the lower side of FIG. 5 shows the variation in the similarity due to the variation between the person's image and the other's image. In this case, the similarity is distributed over a wide range and has a large variance. It is the same as the upper example in that the similarity is distributed within a wide range, but the similarity is not divided into a large one and a small one.
顔画像選択の１例では、認証精度に悪影響を与える変動要因が入っていない画像どうしの類似度のみからなる分布は、分散が小さいので、分散を適当な閾値と比較することにより判別する。また、認証精度に悪影響を与える変動要因が入っている画像を含む場合、図５の上側に示すように、そのような画像の他の画像との類似値は、他の類似値の高いデータと離れて分布しているので、個々の画像の類似度の分散（ばらつき）を適当な閾値と比較することにより、そのような変動要因が入っている画像を判別し、排除できる。 In one example of face image selection, a distribution including only similarities between images that do not include a variation factor that adversely affects the authentication accuracy has a small variance, and thus is determined by comparing the variance with an appropriate threshold value. In addition, when an image including a variation factor that adversely affects the authentication accuracy is included, as shown in the upper side of FIG. 5, the similarity value of such an image to other images is different from other data having a high similarity value. Since they are distributed apart from each other, by comparing the variance (variation) of the similarity of individual images with an appropriate threshold, it is possible to discriminate and eliminate an image containing such a variation factor.
図６は、上述の顔画像の選択（Ｓ１６）において、類似度の平均、分散を用いた画像の選択（排除）の１例を示す。まず画像セット全体の類似度の分散値Vallを計算する（Ｓ１６０）。分散値が閾値V1より小さな場合は（Ｓ１７０でＮＯ）、現在の画像セットを全て用いる（Ｓ１６４）。前に述べたように、認証精度に悪影響を与える変動を含まない画像の間の類似度は、平均類似度が高く分散が小さな局所的な分布を持つ。そこで、閾値Vallを、平均類似度が高く分散が小さな分布を含むように設定する。そして、画像全体の分散が閾値V1より小さい場合は、認証精度に悪影響を与える変動を含む画像が存在しないと判断して、すべての顔画像を選択する。 FIG. 6 shows an example of image selection (exclusion) using the average and variance of the similarity in the face image selection (S16) described above. First, the variance value Vall of the similarity of the entire image set is calculated (S160). If the variance value is smaller than the threshold value V1 (NO in S170), the entire current image set is used (S164). As described above, the similarity between images that do not include fluctuations that adversely affect the authentication accuracy has a local distribution with a high average similarity and a small variance. Therefore, the threshold value Vall is set so as to include a distribution with a high average similarity and a small variance. When the variance of the entire image is smaller than the threshold value V1, it is determined that there is no image including a change that adversely affects the authentication accuracy, and all face images are selected.
一方、分散値Vallがある閾値V0より大きな場合は（Ｓ１６２でＮＯ）、各画像について採用するか排除するかを判断する。前に述べたように、認証精度に悪影響を与える変動要因を含んでいる画像がある場合は、その画像の他の画像との類似度は、認証精度に悪影響を与える変動要因を含まない他の多くの画像どうしの間の類似度に比べてかなり低い。そこで、類似度分布の分散の閾値Viを、認証精度に悪影響を与える変動要因を含んでいる画像を含まないように設定する。すなわち、画像Iiごとに他の画像との類似度Siを求め（Ｓ１６６）、類似度分布の分散値Viを求める（Ｓ１６８）。そして、各画像について、その画像Iiの分散値が閾値V1より大きな場合は（Ｓ１７０でＹＥＳ）、その画像Iiを認証精度に悪影響を与る変動を含む画像として排除する（Ｓ１７２）。こうして、分散値が閾値V1より小さな顔画像のみを選択する。好ましくは、さらに、ステップＳ１６２に戻り、画像Iiを削除した画像群を新たな画像群としてVallを計算する。このように、VallがVoよりも小さくなるまで排除処理を行う。以上に説明した顔画像選択処理は、他の実施の形態における顔画像選択処理でも採用される。 On the other hand, if the variance value Vall is larger than a certain threshold value V0 (NO in S162), it is determined whether to adopt or exclude each image. As described above, when there is an image that includes a variation factor that adversely affects authentication accuracy, the similarity between the image and other images does not include a variation factor that adversely affects authentication accuracy. It is considerably lower than the similarity between many images. Therefore, the threshold value Vi of the distribution of similarity distribution is set so as not to include an image including a variation factor that adversely affects the authentication accuracy. That is, for each image Ii, the similarity Si with another image is obtained (S166), and the variance Vi of the similarity distribution is obtained (S168). For each image, if the variance value of the image Ii is larger than the threshold value V1 (YES in S170), the image Ii is excluded as an image including a change that adversely affects the authentication accuracy (S172). In this way, only face images having a variance value smaller than the threshold value V1 are selected. Preferably, the process further returns to step S162, and Vall is calculated using the image group from which the image Ii is deleted as a new image group. In this way, exclusion processing is performed until Vall becomes smaller than Vo. The face image selection process described above is also adopted in the face image selection process in other embodiments.
同一人物でも、表情変化が無い画像同士では類似値は大きいが、表情の異なる画像同士では、類似値が小さい。表情変化の一例であるまばたきの場合、連続的に画像を取得した際、目が開いている画像の割合が多く、目が閉じている画像の割合は少ないので、目が開いている画像同士の相関に比べて、目が開いている画像と目が閉じている画像との間では相関が低い。ここで、図６の処理では、類似値分布の平均値よりある閾値V1以上小さい顔画像、すなわち目が閉じている顔画像を登録時に排除するので、照合画像は目が開いているが、登録画像は目が閉じていることでおきる認証時の失敗事例を減らすことができ、したがって、認証精度の高い認証システムが構築可能となる。また、顔向きの変化にも同じことがいえ、連続的に撮影した結果得られた正規化顔画像の相関値を計算することで、向きの異なりの度合いが大きな顔画像を登録から排除する。これにより、照合画像の顔の向きと登録画像の顔の向きとが異なることによって起きる認証時の失敗事例を減らすことができ、認証精度の高い認証システムが構築できる。なお、顔の向きの異なりは、正規化が失敗したことが原因であるものも含まれる。以上に説明したように、顔画像登録の際に、相関値の計算（Ｓ１４）において画像間での類似値を登録前に計算して、顔画像の選択（Ｓ１６）において、条件が異なる特定の顔画像が登録されるのを排除できるので、認証精度を高めることができる。 Even for the same person, images with no facial expression change have a large similarity value, but images with different facial expressions have a small similarity value. In the case of blinking, which is an example of facial expression change, when images are acquired continuously, the ratio of images with open eyes is large, and the ratio of images with closed eyes is small. Compared with the correlation, the correlation is low between an image with open eyes and an image with closed eyes. Here, in the process of FIG. 6, face images that are smaller than the average value of the similarity value distribution by a certain threshold value V1 or more, that is, face images with closed eyes are excluded at the time of registration. The image can reduce the number of failure cases at the time of authentication that occurs when the eyes are closed. Therefore, an authentication system with high authentication accuracy can be constructed. The same can be said for the change in face orientation. By calculating the correlation value of normalized face images obtained as a result of continuous photographing, face images having a large degree of orientation difference are excluded from registration. As a result, it is possible to reduce authentication failure cases caused by the difference between the face direction of the collation image and the face direction of the registered image, and an authentication system with high authentication accuracy can be constructed. Note that the difference in the orientation of the face includes those caused by normalization failure. As described above, when a face image is registered, a similarity value between images is calculated before registration in the correlation value calculation (S14), and a specific condition with different conditions is selected in the selection of the face image (S16). Since the registration of the face image can be eliminated, the authentication accuracy can be improved.
次に、図７に示される第２の実施の形態の画像照合時の画像処理プログラムについて説明する。この画像処理プログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行される。この画像処理プログラムは、たとえば、ユーザーインタフェース１０のカードインタフェース１２においてＩＣカード１４が検出されたときに起動される。まず、カメラ１６により撮影された顔画像中から顔領域を検出し（Ｓ１００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ１０２）。これを複数の連続的に撮影される顔画像について行う。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ１０４）。そして、その相関値の分布に基づいて照合に用いる顔画像を選択する（Ｓ１０６）。ここで、画像登録の場合と同様に、複数の照合用画像中に含まれるまばたきなどの表情変化、顔向き変化のばらつきによる認証率低下の原因となる顔画像を排除することで、認証精度の高い画像処理装置が構築可能となる。たとえば、図６の顔画像選択の処理を採用する。次に、登録画像から得られた参照画像と、選択された照合用顔画像と相関値を計算し（Ｓ１０８）、同一人物であるか否かを判定する（Ｓ１１０）。参照画像として、登録者のＩＤで指定された登録者の顔画像全部を用いてもよく、また、登録者の複数の登録画像を平均化して得られた平均顔を用いてもよい。後者の場合、照合時間が短縮できる。登録者と同一人物と判定すると、ドア３０の電気錠３２を解錠する信号を送る。相関値の計算において、任意の適当な照合アルゴリズムを用いることが可能であるが、画像処理装置で用いる照合アルゴリズムと同じ照合アルゴリズムを用いると、認証精度に悪影響を与える画像を直接的に排除できるため、より効果的である。
Next, an image processing program at the time of image collation according to the second embodiment shown in FIG. 7 will be described. This image processing program is stored in the
画像処理装置では、図３と図７の処理を並列に行ってもよいが、図８に示すように、顔画像の登録時と照合時とで同じ相関値計算手法を用いると、画像処理が効率的に行える。この場合、たとえば図８に示される第３の実施形態の画像処理プログラムを用いる。顔画像を登録する場合、カメラ１６により撮影された複数の顔画像中からそれぞれ顔領域を検出し（Ｓ２００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ２０２）。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ２０４）。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ２０６）。ここで、認証に影響を与える顔画像を検出して排除する。たとえば図６の処理を採用する。画像の登録の場合（Ｓ２０８でＹＥＳ）、次に、選択された正規化顔画像を登録画像データベース５４に登録する（Ｓ２１０）。 In the image processing apparatus, the processing of FIGS. 3 and 7 may be performed in parallel. However, as shown in FIG. 8, if the same correlation value calculation method is used at the time of face image registration and collation, image processing is performed. It can be done efficiently. In this case, for example, the image processing program of the third embodiment shown in FIG. 8 is used. When registering a face image, each face area is detected from a plurality of face images photographed by the camera 16 (S200), and then a normalized face image in which the inclination and size of the face are corrected is generated (S200). S202). Next, correlation values in the generated plurality of normalized face images are calculated (S204). Next, only a specific face image is selected from the distribution pattern of correlation values (S206). Here, face images that affect authentication are detected and eliminated. For example, the process of FIG. 6 is adopted. In the case of image registration (YES in S208), the selected normalized face image is registered in the registered image database 54 (S210).
一方、照合を行う場合は、ステップＳ２００，Ｓ２０２、Ｓ２０４において、カメラ１６により撮影された照合用の顔画像において正規化顔画像を生成し、相関値を計算する。相関値の計算は、登録時と同じアルゴリズムで行われる。画像の照合（Ｓ２０８でＮＯ）の場合、次に、ＩＣカードに対応する登録画像から得られた参照画像を登録画像データベース５４から読み出し、選択された照合用顔画像と相関値を計算し（Ｓ２１２）、相関値から同一人物であるか否かを判定する（Ｓ２１４）。
On the other hand, when collation is performed, in steps S200, S202, and S204, a normalized face image is generated from the collation face image photographed by the
登録時と照合時とでは、照明環境の違いにより、顔認証の失敗が起こることがある。第４の実施の形態の画像処理では、照合用顔画像の輝度値分布と登録時画像の輝度値分布との差を減じることで、この照明環境の違いによる認証の失敗事例を少なくできる。図９は、第４の実施の形態の画像処理プログラムを示す。この画像処理プログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行される。
Face registration may fail due to differences in lighting environment between registration and verification. In the image processing of the fourth embodiment, by reducing the difference between the luminance value distribution of the matching face image and the luminance value distribution of the registration-time image, it is possible to reduce authentication failure cases due to the difference in the lighting environment. FIG. 9 shows an image processing program according to the fourth embodiment. This image processing program is stored in the
顔画像を登録する場合は、まず、カメラ１６により撮影された複数の顔画像中から顔領域を検出し（Ｓ３００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ３０２）。これを複数の連続的に撮影される顔画像について行う。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ３０４）。相関値の計算する際には、任意の照合アルゴリズムを用いることが可能であるが、前述の照合アルゴリズムをそのまま用いるとさらに効果的である。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ３０６）。たとえば、図６の顔画像選択処理を採用する。こうして、認証に影響を与えるものを検出して排除する。画像の登録の場合（３０８でＹＥＳ）、次に、選択された正規化顔画像のみ、または、それらの正規化顔画像から計算される顔のパーツの位置などの特徴量と輝度値情報のセットとを登録画像データベース５４に登録する（Ｓ３１０）。 When registering a face image, first, a face area is detected from a plurality of face images photographed by the camera 16 (S300), and then a normalized face image with a corrected face inclination and size is generated. (S302). This is performed for a plurality of continuously photographed face images. Next, correlation values in the generated normalized face images are calculated (S304). An arbitrary collation algorithm can be used when calculating the correlation value, but it is more effective to use the above collation algorithm as it is. Next, only a specific face image is selected from the distribution pattern of correlation values (S306). For example, the face image selection process of FIG. 6 is adopted. In this way, what affects authentication is detected and eliminated. In the case of image registration (YES in 308), next, a set of feature value and luminance value information such as only the selected normalized face image, or the position of a facial part calculated from the normalized face image Are registered in the registered image database 54 (S310).
一方、照合の場合は、ステップＳ３００，Ｓ３０２、Ｓ３０４において、同じアルゴリズムを用いて、カメラ１６により撮影された照合用の顔画像において正規化顔画像を生成し、相関値を計算する。画像の照合の場合（Ｓ３０８でＮＯ）、次に、ＩＣカードに対応する登録画像から得られた参照画像を登録画像データベース５４から読み出し、登録画像から得られた参照画像の輝度値分布と選択された照合画像の輝度値分布との相関値を計算して（Ｓ３１２）、次に、照合用顔画像の輝度値分布と登録顔画像の輝度値分布との差分が最小になるように照合画像の輝度値を補正し（Ｓ３１４）、補正された輝度値を持つ照合画像を用いて得られた相関値から同一人物であるか否かを判定する（Ｓ３１６）。たとえば、画素毎の差分値の二乗誤差を計算し、照合画像の処理では、この二乗誤差が最小となるように、照合画像の輝度値を補正する。上述のように、照合用顔画像の輝度値分布と登録顔画像の輝度値分布との差を減じるので、顔画像の登録時と照合時とでの照明環境の違いによる認証の失敗事例を少なくすることができる。
On the other hand, in the case of collation, in steps S300, S302, and S304, using the same algorithm, a normalized face image is generated from the collation face image photographed by the
登録画像の候補顔画像の間、照合用画像の候補顔画像の間、照合用画像と登録された顔画像の間など、複数の顔画像の間での相関値を計算することにより、顔の向き、表情、明るさのばらつきを相関値のばらつきとして検出し、相関値の値から認証に影響を与えるものを検出し、または、相関値の値に基づき認証に最適な画像となるように画像処理をする。これにより、認証率の低下をもたらす輝度値を補正できるので、正規化時に変動が残りやすい照明変動要因を軽減でき、顔の向き、表情変化、まばたき、環境変化などにロバストな画像処理装置を実現できる。 By calculating a correlation value between a plurality of face images, such as between candidate face images of a registered image, between candidate face images of a matching image, between a matching image and a registered face image, Detects variations in orientation, facial expression, and brightness as variations in correlation values, detects those that affect authentication from the correlation values, or creates an image that is optimal for authentication based on correlation values Process. This makes it possible to correct the luminance value that causes a decrease in the authentication rate, thus reducing lighting fluctuation factors that tend to remain during normalization, and realizing an image processing device that is robust to face orientation, facial expression changes, blinking, environmental changes, etc. it can.
また、図１に示す入退室管理システムでは、ＩＣカードを用いるが、本発明はこれに限られず、登録者のＩＤを指定しないシステムであってもよい。この場合、照合用顔画像は、登録画像データベース５４に登録されている多数の人物の顔画像と比較される。この点を除いて顔認証は上述の実施の形態と同様の処理を行えばよい。
In the entrance / exit management system shown in FIG. 1, an IC card is used. However, the present invention is not limited to this, and a system that does not specify a registrant's ID may be used. In this case, the collation face image is compared with the face images of many persons registered in the registered
カラー画像は、現状では、グレーデータに変換して照合に用いているが、カラー画像自体を認証に用いる場合も、グレーデータと同様な問題が生じる。したがって、カラー画像の場合も、相関値を計算して、認証に影響与えるようなばらつきの大きい画像を排除することにより、認証率を向上できる。 At present, color images are converted into gray data and used for collation. However, when the color image itself is used for authentication, a problem similar to that of gray data occurs. Therefore, also in the case of a color image, the authentication rate can be improved by calculating a correlation value and eliminating an image having a large variation that affects authentication.
１０ ユーザーインタフェース１０、 １２ カードインタフェース、 １４ ＩＣカード、 １６ カメラ、 ２０ 顔認証装置、 ３０ ドア、 ３２ 電気錠、 ４０ ＣＰＵ、 ４６ ハードディスクドライブ、 ５２ モニタ、 ５４ 登録画像データベース。
10
Claims (9)
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
登録用正規化顔画像またはこの正規化顔画像から計算される顔の特徴量が登録されているデータベースから読み出した登録用正規化顔画像またはそれらの登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像または前記照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部と
を備える画像処理装置。 A collation face detection unit that inputs a plurality of images of the same person and detects a face area from each image;
A normalization processing unit for collation that normalizes each of the face areas detected by the face detection unit to generate a normalized face image;
A correlation value calculation unit for collation that calculates a correlation value between a plurality of normalized face images generated by the normalization processing unit;
In the correlation value distribution, the variance of the correlation values of the generated plurality of normalized images is compared with the first threshold value. If the variance is smaller than the first threshold value, all the normalized images are selected. In other cases, for each of the plurality of normalized images, the correlation value variance of the normalized image is compared with a second threshold value. A collation face image selection unit for selecting
Normalized facial images for registration or facial features calculated from the normalized facial images for registration read out from the registered database of facial features calculated from the normalized facial images An image processing comprising: a determination unit that determines whether or not the feature amount is the same person by comparing the feature amount with a selected face image for matching or a face feature amount calculated from the face image for matching apparatus.
同じ人物の複数の画像を入力して各画像から顔領域を検出する登録用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する登録用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する登録用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
選択された正規化顔画像または前記正規化顔画像から計算される顔の特徴量を前記データベースに登録する登録部と
を備える、請求項１に記載された画像処理装置。 further,
A registration face detection unit for inputting a plurality of images of the same person and detecting a face area from each image;
A normalization processing unit for registration that normalizes each of the face areas detected by the face detection unit to generate a normalized face image;
A correlation value calculation unit for registration for calculating a correlation value between a plurality of normalized face images generated by the normalization processing unit;
In the correlation value distribution, the variance of the correlation values of the generated plurality of normalized images is compared with the first threshold value. If the variance is smaller than the first threshold value, all normalized images are selected. In other cases, for each of the plurality of normalized images, the correlation value variance of the normalized image is compared with a second threshold value. A collation face image selection unit for selecting
The image processing apparatus according to claim 1, further comprising: a registration unit that registers the selected normalized face image or a facial feature amount calculated from the normalized face image in the database.
前記登録用正規化処理部と前記照合用顔検出部とが同一であり、
前記登録用相関値計算部と前記照合用相関値計算部とが同一であり、
前記登録顔画像選択部と前記照合用顔画像選択部とが同一であり、
登録の場合に、前記登録部は、選択された正規化顔画像またはそれらの正規化顔画像から計算される顔の特徴量を前記データベースに登録し、
照合の場合に、前記判定部は、選択された照合用正規化顔画像または照合用正規化顔画像から計算される顔の特徴量と、前記データベースから読み出した前記正規化顔画像または前記正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する
請求項２に記載された画像処理装置。 The registration face image detection unit and the matching face image detection unit are the same,
The registration normalization processing unit and the matching face detection unit are the same,
The registration correlation value calculation unit and the matching correlation value calculation unit are the same,
The registered face image selection unit and the matching face image selection unit are the same,
In the case of registration, the registration unit registers, in the database, the selected normalized face images or facial feature amounts calculated from those normalized face images,
In the case of collation, the determination unit includes a face feature amount calculated from the selected collation normalized face image or collation normalized face image, and the normalized face image or the normalization read from the database. The image processing apparatus according to claim 2, wherein it is determined whether or not the same person is compared with a facial feature amount calculated from the face image.
前記照合用相関値計算部は、登録画像から得られた参照画像の輝度値分布と選択された照合画像の輝度値分布との相関値を計算し、
さらに、照合画像の輝度値分布と登録画像との輝度値分布との差分が最小になるように照合画像の輝度値を補正する照合画像補正部を備え、
前記判定部は、前記照合画像補正部により補正された照合画像を用いて前記判定をする
ことを特徴とする請求項２または３に記載された画像処理装置。 The registration unit registers in the database a set of feature values and luminance value information calculated from the registered normalized face image or the registered normalized face image,
The correlation value calculation unit for matching calculates a correlation value between the luminance value distribution of the reference image obtained from the registered image and the luminance value distribution of the selected matching image,
Furthermore, a matching image correction unit that corrects the luminance value of the matching image so as to minimize the difference between the luminance value distribution of the matching image and the luminance value distribution of the registered image,
The image processing apparatus according to claim 2, wherein the determination unit performs the determination using the collation image corrected by the collation image correction unit.
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する登録用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する登録用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
選択された正規化顔画像または前記正規化顔画像から計算される顔の特徴量を前記データベースに登録する登録部と
を備える画像処理装置。 A registration face detection unit for inputting a plurality of images of the same person and detecting a face area from each image;
A normalization processing unit for registration that normalizes each of the face areas detected by the face detection unit to generate a normalized face image;
A correlation value calculation unit for registration for calculating a correlation value between a plurality of normalized face images generated by the normalization processing unit;
In the correlation value distribution, the variance of the correlation values of the generated plurality of normalized images is compared with the first threshold value. If the variance is smaller than the first threshold value, all the normalized images are selected. In other cases, for each of the plurality of normalized images, the correlation value variance of the normalized image is compared with a second threshold value. A collation face image selection unit for selecting
An image processing apparatus comprising: a registration unit that registers a selected normalized face image or a facial feature amount calculated from the normalized face image in the database.
さらに、第２しきい値より大きなしきい値を持つ正規化画像を除去した正規化画像群を新たに正規化画像全体として、相関値の分散を計算し、この処理を正規化画像全体の相関値の分散が第１閾値より小さくなるまで繰り返すことを特徴とする請求項２または６に記載された画像処理装置。 The collation face image selection unit
Further, the normalized image group from which the normalized images having a threshold value larger than the second threshold value are removed is newly set as the entire normalized image, and the variance of the correlation value is calculated. The image processing apparatus according to claim 2, wherein the image processing apparatus repeats until the variance of values becomes smaller than the first threshold value.
前記カメラで撮影された１人の人物の複数の画像を入力し、データベースに登録されている人物と同一であるか否かを判定する請求項１〜５のいずれかに記載された画像処理装置と、
前記画像処理装置が同一人物であると判定すると解錠される電気錠を備えるドアと
からなる入退室管理システム。 A camera that shoots the occupants,
The image processing apparatus according to claim 1, wherein a plurality of images of one person photographed by the camera are input, and it is determined whether or not they are the same as a person registered in a database. When,
An entrance / exit management system comprising: a door having an electric lock that is unlocked when it is determined that the image processing apparatus is the same person.
前記画像処理装置は、前記データベースに登録されている、前記身元に対応する人物の正規化画像を照合用正規化画像と比較することを特徴とする請求項７に記載された入退室管理システム。
Furthermore, it has an input means to confirm the identity of the resident,
The entrance / exit management system according to claim 7, wherein the image processing apparatus compares a normalized image of a person corresponding to the identity registered in the database with a normalized image for verification.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005181396A JP4594176B2 (en) | 2005-06-22 | 2005-06-22 | Image processing apparatus and entrance / exit management system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005181396A JP4594176B2 (en) | 2005-06-22 | 2005-06-22 | Image processing apparatus and entrance / exit management system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007004321A true JP2007004321A (en) | 2007-01-11 |
| JP4594176B2 JP4594176B2 (en) | 2010-12-08 |
Family
ID=37689910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005181396A Active JP4594176B2 (en) | 2005-06-22 | 2005-06-22 | Image processing apparatus and entrance / exit management system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4594176B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008197992A (en) * | 2007-02-14 | 2008-08-28 | Nikon Corp | Microscopic image processing system and microscopic image processing method |
| JP2008217334A (en) * | 2007-03-02 | 2008-09-18 | Fujifilm Corp | Image sorting device, method, and program |
| JP2009277063A (en) * | 2008-05-15 | 2009-11-26 | National Institute Of Advanced Industrial & Technology | Apparatus for drive supporting of private-use mobile vehicle |
| JP2010033151A (en) * | 2008-07-25 | 2010-02-12 | Omron Corp | Monitoring device and method, and program |
| JP2010113458A (en) * | 2008-11-05 | 2010-05-20 | Konica Minolta Business Technologies Inc | Program, image processing system, and image processing apparatus |
| JP2012185769A (en) * | 2011-03-08 | 2012-09-27 | Canon Inc | Authentication device, authentication method, authentication program, and storage medium |
| JP2013504114A (en) * | 2009-09-01 | 2013-02-04 | エルジー イノテック カンパニー リミテッド | Eye state detection apparatus and method |
| EP2645302A2 (en) | 2012-03-27 | 2013-10-02 | Fujitsu Limited | Noncontact biometric identification device |
| US8958647B2 (en) | 2012-03-15 | 2015-02-17 | Omron Corporation | Registration determination device, control method and control program therefor, and electronic apparatus |
| JP2016173813A (en) * | 2015-03-16 | 2016-09-29 | 株式会社リコー | Information processing device, information processing system, authentication method, and program |
| WO2019077863A1 (en) * | 2017-10-18 | 2019-04-25 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic apparatus |
| KR102144101B1 (en) * | 2019-02-15 | 2020-08-12 | 주식회사 비플러스랩 | Facial recognition method and facial recognition device using the same |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001202516A (en) * | 2000-01-19 | 2001-07-27 | Victor Co Of Japan Ltd | Device for individual identification |
| JP2001307090A (en) * | 2000-04-27 | 2001-11-02 | Fujitsu Ltd | Image collation processing system |
| JP2003099780A (en) * | 2001-09-21 | 2003-04-04 | Nippon Signal Co Ltd:The | Access control system |
| JP2004234355A (en) * | 2003-01-30 | 2004-08-19 | Toshiba Corp | Human body recognition device, human body recognition method and passing controller |
| JP2005084824A (en) * | 2003-09-05 | 2005-03-31 | Toshiba Corp | Face image collation apparatus and face image collation method and passage controller |
-
2005
- 2005-06-22 JP JP2005181396A patent/JP4594176B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001202516A (en) * | 2000-01-19 | 2001-07-27 | Victor Co Of Japan Ltd | Device for individual identification |
| JP2001307090A (en) * | 2000-04-27 | 2001-11-02 | Fujitsu Ltd | Image collation processing system |
| JP2003099780A (en) * | 2001-09-21 | 2003-04-04 | Nippon Signal Co Ltd:The | Access control system |
| JP2004234355A (en) * | 2003-01-30 | 2004-08-19 | Toshiba Corp | Human body recognition device, human body recognition method and passing controller |
| JP2005084824A (en) * | 2003-09-05 | 2005-03-31 | Toshiba Corp | Face image collation apparatus and face image collation method and passage controller |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008197992A (en) * | 2007-02-14 | 2008-08-28 | Nikon Corp | Microscopic image processing system and microscopic image processing method |
| JP2008217334A (en) * | 2007-03-02 | 2008-09-18 | Fujifilm Corp | Image sorting device, method, and program |
| JP2009277063A (en) * | 2008-05-15 | 2009-11-26 | National Institute Of Advanced Industrial & Technology | Apparatus for drive supporting of private-use mobile vehicle |
| JP2010033151A (en) * | 2008-07-25 | 2010-02-12 | Omron Corp | Monitoring device and method, and program |
| JP2010113458A (en) * | 2008-11-05 | 2010-05-20 | Konica Minolta Business Technologies Inc | Program, image processing system, and image processing apparatus |
| JP2013504114A (en) * | 2009-09-01 | 2013-02-04 | エルジー イノテック カンパニー リミテッド | Eye state detection apparatus and method |
| JP2012185769A (en) * | 2011-03-08 | 2012-09-27 | Canon Inc | Authentication device, authentication method, authentication program, and storage medium |
| US8958647B2 (en) | 2012-03-15 | 2015-02-17 | Omron Corporation | Registration determination device, control method and control program therefor, and electronic apparatus |
| EP2645302A2 (en) | 2012-03-27 | 2013-10-02 | Fujitsu Limited | Noncontact biometric identification device |
| US8891837B2 (en) | 2012-03-27 | 2014-11-18 | Fujitsu Limited | Noncontact biometric identification device |
| JP2016173813A (en) * | 2015-03-16 | 2016-09-29 | 株式会社リコー | Information processing device, information processing system, authentication method, and program |
| WO2019077863A1 (en) * | 2017-10-18 | 2019-04-25 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic apparatus |
| JPWO2019077863A1 (en) * | 2017-10-18 | 2020-09-17 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic equipment |
| US11341771B2 (en) | 2017-10-18 | 2022-05-24 | Sony Semiconductor Solutions Corporation | Object identification electronic device |
| KR102144101B1 (en) * | 2019-02-15 | 2020-08-12 | 주식회사 비플러스랩 | Facial recognition method and facial recognition device using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4594176B2 (en) | 2010-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4594176B2 (en) | Image processing apparatus and entrance / exit management system | |
| CN111133433B (en) | Automatic authentication for access control using face recognition | |
| JP4156430B2 (en) | Face verification method and system using automatic database update method | |
| US7298874B2 (en) | Iris image data processing for use with iris recognition system | |
| TWI254254B (en) | Person recognizing apparatus, person recognizing method and passage controller | |
| JP4543423B2 (en) | Method and apparatus for automatic object recognition and collation | |
| US5982912A (en) | Person identification apparatus and method using concentric templates and feature point candidates | |
| CN110326001B (en) | System and method for performing fingerprint-based user authentication using images captured with a mobile device | |
| US7599530B2 (en) | Methods for matching ridge orientation characteristic maps and associated finger biometric sensor | |
| JP5010905B2 (en) | Face recognition device | |
| Connaughton et al. | Fusion of face and iris biometrics | |
| US20100202669A1 (en) | Iris recognition using consistency information | |
| US20190392129A1 (en) | Identity authentication method | |
| JP2004213087A (en) | Device and method for personal identification | |
| JP2007206833A (en) | Biological collation method and device | |
| JP2008071158A (en) | Living body guide control method for biometrics authentication device, and biometrics authentication device | |
| JP2007148872A (en) | Image authentication apparatus | |
| JP2007140823A (en) | Face collation device, face collation method and program | |
| JP2010152706A (en) | Biometric authentication device | |
| JP2015138449A (en) | Personal authentication device, personal authentication method and program | |
| JP2008257329A (en) | Face recognition apparatus | |
| JP2006072553A (en) | Biological information collating device | |
| JP2006031388A (en) | Image similarity computation device, image recognition device using the computation device, image siimilarity computation method, image recognition method using the computation method, image-collating computer program and recording medium to which the program is recorded | |
| JP2004078686A (en) | Personal identification device and method, passage control device and method | |
| WO2002007096A1 (en) | Device for tracking feature point on face |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070907 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100916 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4594176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |