WO2012042702A1 - ホワイトリスト内外判定装置及び方法 - Google Patents

ホワイトリスト内外判定装置及び方法 Download PDF

Info

Publication number
WO2012042702A1
WO2012042702A1 PCT/JP2011/003150 JP2011003150W WO2012042702A1 WO 2012042702 A1 WO2012042702 A1 WO 2012042702A1 JP 2011003150 W JP2011003150 W JP 2011003150W WO 2012042702 A1 WO2012042702 A1 WO 2012042702A1
Authority
WO
WIPO (PCT)
Prior art keywords
matching
primary
image
feature data
images
Prior art date
Application number
PCT/JP2011/003150
Other languages
English (en)
French (fr)
Inventor
宏明 由雄
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP11828272.2A priority Critical patent/EP2624207A4/en
Priority to US13/876,028 priority patent/US8929613B2/en
Publication of WO2012042702A1 publication Critical patent/WO2012042702A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S902/00—Electronic funds transfer
    • Y10S902/01—Electronic funds transfer with electronic means providing security
    • Y10S902/03—Evaluates biometrics

Definitions

  • the present invention relates to a white list inside / outside determination apparatus and method that can correctly determine whether a person acquired in a new installation environment is a person registered in the white list even when the installation environment changes.
  • FIG. 12 shows a conventional white list inside / outside determination apparatus and method.
  • the learning unit 121 obtains a subspace conversion equation 123 from a large number of learning face images by prior learning 122.
  • the partial space conversion formula 123 the feature amount of the person image to be registered as a white list input from the registered face input 125 is obtained by the registered face feature data extraction 126, and the registered face feature data group 127 is obtained. To keep.
  • the face feature amount to be collated is extracted by the collation face feature data extraction 130, and is registered in the registered face feature data group 127 by the matching unit 131. Matching is performed with the feature amount of the face.
  • the same determination unit 132 determines whether the feature amount of the collation face is equal to the feature amount of the white list face image held in the registered face feature data group 127.
  • Patent Document 1 instead of obtaining the feature amount of the entire face, a partial space is created for each face region, or a partial space is created in consideration of secular change, and the feature amount is acquired. There is a way.
  • Non-Patent Document 1 After obtaining the eigenface (PCA), change the light source by a method that minimizes the variance within the class, maximizes the variance between classes (FLD), and facilitates the calculation of FLD (FisherFace).
  • FLD eigenface
  • FLD eigenface
  • PCA Principal Component Analysis
  • FLD Fisher's Linear Discriminant
  • Kernel Fisher method described in Non-Patent Document 1
  • the PCA is responsible for N face images. And the variance matrix of the image When The dimension of the image space is degenerated by the conversion formula.
  • FLD minimizes intra-person variance and maximizes other-person variance. And dispersion within the person When Is a conversion formula.
  • the FisherFace method is a method that allows the FLD calculation to be easily performed even with a small number of images.
  • the present invention solves these problems, and whether or not the person to be collated is registered in the white list even when the shooting conditions in the learning unit, the registration unit, and the collation unit are different or there are few images for adapting to different environments. It is an object of the present invention to provide a white list inside / outside determination apparatus and method capable of determining whether or not.
  • the whitelist inside / outside determination apparatus includes a primary feature data extraction unit that extracts primary feature data from an image using a primary conversion formula generated based on a plurality of pre-learned images, and the pre-learned image. And secondary feature data extraction means for extracting secondary feature data from the image using the secondary transformation formula generated from a plurality of applied learning images, and matching between the registered image and the collation image using the primary transformation formula Primary matching means for performing matching, and secondary matching means for matching the registered image and the collation image using the secondary conversion formula, and the matching result of the primary matching means and the secondary matching means The weight of the matching result is changed according to the number of the pre-learning images and the number of the applied learning images.
  • the weighting of the matching result of the primary matching means and the matching result of the secondary matching means can be changed according to the ratio between the number of pre-learning images and the number of applied learning images.
  • the white list inside / outside determination apparatus is characterized in that the weight of the matching result of the secondary matching means is reduced as the number of applied learning images decreases.
  • the white list inside / outside determination apparatus of the present invention is characterized in that the collation image is registered as the registration image when the similarity is larger than a predetermined threshold.
  • the matching image when the similarity between the matching image and the registered image is greater than a predetermined threshold, the matching image can be registered as a new registered image.
  • the conversion formula generated by the pre-learning Therefore, when a large number of images for applied learning are obtained in the real environment, a large weight is placed on the conversion formula created with the image for applied learning. A suitable judgment result is obtained.
  • Explanatory drawing which shows the flow of a process of Embodiment 1 of this invention.
  • the flowchart which shows the flow of the initial setting process of Embodiment 1 of this invention.
  • the flowchart which shows the flow of Embodiment 1 of this invention.
  • the flowchart which shows the flow of the collation face determination 1 of Embodiment 1 of this invention
  • the flowchart which shows the flow of the collation face determination 2 of Embodiment 1 of this invention Explanatory drawing which shows the characteristic of Embodiment 1 of this invention
  • the block block diagram which shows the structure of Embodiment 2 of this invention.
  • FIG. 1 is a block diagram showing Embodiment 1 of the whitelist inside / outside determination apparatus of the present invention.
  • the initial setting process 1 includes a pre-learning unit 15, a primary conversion formula 16 created by the pre-learning unit 15, a registered face sample applied learning unit 17, and a secondary created by the registered face sample applied learning unit 17.
  • the conversion formula 18 is used.
  • the configuration other than the initial setting process 1 of the whitelist inside / outside determination apparatus includes a registered face input unit 2 for inputting a whitelist face image, and a primary feature for converting the input whitelist face image by a primary conversion equation 16.
  • the Fisher Face method is a method that can stably calculate even a small number of images given for each class after the learning result by PCA is obtained, to minimize the intra-class variance and maximize the inter-class variance. is there.
  • a feature space is created by a PCA (Principal Component Analysis) method using a very large number of face images (for example, for 3000 people). Also, the intra-person variance is minimized by FLD, and the other-person variance is maximized (reference numeral 21 in FIG. 2). As a result, the primary conversion equation is Is obtained (reference numeral 16 in FIG. 2).
  • PCA Principal Component Analysis
  • T FisherFace is a threshold value.
  • a primary conversion equation is used according to the ratio between the number of learning images used in the pre-learning means 15 and the number of images used in the registered face sample applied learning means 17.
  • the final similarity is obtained by changing the contribution of the obtained similarity and the similarity obtained using the secondary conversion formula.
  • the pre-learning means 15 creates the primary conversion equation 16 from a large amount of learning data using PCA and FLD. Further, the registered face sample applied learning means creates the secondary conversion expression 18 from the primary conversion expression 16 by the FisherFace method using the sample image acquired in the real environment.
  • FIG. 3 shows the flow of the initial setting process 1.
  • S31 pre-learning data input
  • a very large number of face images for example, for 3000 people to be used for pre-learning, are input.
  • S32 the primary conversion formula 16 (Expression 10) is obtained.
  • FIG. 1 an image to be registered in the white list is input from the registered face input unit 2. Then, the primary feature data is extracted by the primary feature data extraction means 3 using the primary conversion formula 16 and is held in the primary feature data group 5.
  • secondary feature data is extracted from the image registered in the white list input from the registered face input unit 2 by the secondary feature data extraction unit 4 using the secondary conversion formula 18, and the secondary feature data group 6 Retained.
  • the white list inside / outside determination device when installed in the real environment, the face image for collation of the person in the real environment is input by the collation face input means 7.
  • primary feature data and secondary feature data are created by the primary / secondary feature data extraction means 8 using the primary transformation formula 16 and the secondary transformation formula 18.
  • the primary matching means 9 performs matching between the primary feature data of the face image for verification and the feature data held in the primary feature data group 5.
  • FIG. 4 is a flowchart showing from registration of a face image of a person registered in the white list to determination of a face image for verification.
  • the feature amount of the face image to be registered in the white list is extracted using the secondary conversion equation 18.
  • the feature amount is registered in the secondary feature data group 6.
  • the collation face is determined.
  • FIG. 5 and 6 show the inside of the collation face determination (S46).
  • FIG. 5 shows Method 1 and
  • FIG. 6 shows Method 2.
  • the collation face input (S51) inputs collation face data for judging whether or not the person is registered in the white list by the collation face input means 7 in the actual environment.
  • the primary / secondary feature data extraction (S52) is performed by the primary / secondary feature data extraction means 8 using the primary conversion equation 16 and the secondary conversion equation 18, and the primary / secondary feature data of the matching face. To extract.
  • the primary feature of the face image registered in the white list held in the primary feature data group 5 is read.
  • the primary matching means 9 matches the feature quantity of the matching face with the feature data held in the primary feature data group 5.
  • M secondary feature values are read from the secondary feature data group 6 (S56).
  • the secondary matching means 10 matches the M secondary feature data read in S56 with the feature quantity of the matching face.
  • the person registered in the white list with the highest similarity is selected by the data extraction with the highest similarity (S58).
  • the secondary matching unit 10 reads all secondary feature values held in the secondary data feature data group 6.
  • the feature quantity of the matching image extracted by the primary / secondary feature data extraction means 8 by the primary matching means 9 and the feature quantity read from the primary feature data group 5 are used. Match with.
  • the feature quantity of the collation image extracted by the primary / secondary feature data extraction means 8 by the secondary matching means 10 and the feature quantity read from the secondary feature data group 6 are used. Match with.
  • the same determination means (S67) uses these similarities to determine whether or not the collation image is the same as the face image registered in the white list.
  • Identical determination method is the same as the method described in FIG.
  • FIG. 7 shows the merit of the present invention. For example, even when there are many front faces as pre-registration data, it is possible to cope with a change in face orientation using a secondary conversion formula. Moreover, when there are few images other than the front face acquired in real environment, it can suppress that it becomes too dependent on a secondary conversion type
  • FIG. 8 shows a second embodiment of the present invention.
  • the second embodiment newly has a registered face update unit 81 as compared with the first embodiment.
  • the registered face update unit 81 may set the face image acquired in the real environment as the face image to be registered in the white list when the similarity is a predetermined threshold ( ⁇ , ⁇ ⁇ ⁇ ). I can do it. Thereby, the face image registered in the white list can be made suitable for the real environment.
  • FIG. 9 shows a flow of the second embodiment of the present invention.
  • a predetermined threshold ⁇ , ⁇ ⁇ ⁇
  • an image acquired in the actual environment is registered in the white list (S91).
  • Other steps are the same as in FIG.
  • FIG. 10 shows that a patient goes out of the hospital without permission by the camera 1) and that an unregistered person enters the hospital by the camera 2).
  • FIG. 11 shows an example of confirming the whereabouts of an inpatient or a person working at a hospital. Entering the name of the patient or hospital worker from the office computer, the rehabilitation room camera 3), the camera set in the corridor 4), and the hospital room camera 5 in the last few hours (or minutes) ), The camera 6) installed in the waiting room, the camera 7) installed in the entrance, the camera 8), and the like are searched for and displayed. In FIG. 3, the whitelist inside / outside determination device is moved to a place where it actually operates, but it is not always necessary to move.
  • the present invention relates to a whitelist inside / outside determination apparatus and method capable of detecting the location of a person registered as a whitelist in a hospital or the intrusion of a suspicious person in a hospital or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

　本発明の課題は、ホワイトリスト内外判定装置の設置された場所により判定結果が不安定になることである。　複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出手段（３）と、前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出手段（４）と、前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチング手段（９）と、前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチング手段（１０）とを有し、前記１次マッチング手段（９）のマッチング結果と前記２次マッチング手段（１０）のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて変える。

Description

ホワイトリスト内外判定装置及び方法
　本発明は、設置環境が変わったときでも、新たな設置環境で取得した人物がホワイトリストに登録されている人物か否かを正しく判定できる、ホワイトリスト内外判定装置及び方法に係るものである。
　従来のホワイトリスト内外判定装置及び方法を図１２に示す。従来例では、まず、学習部１２１で、多数の学習用顔画像から事前学習１２２により、部分空間変換式１２３を求める。次に、この部分空間変換式１２３を用いて、登録顔入力１２５から入力した、ホワイトリストとして登録すべき人物の画像を、登録顔特徴データ抽出１２６によって特徴量を求め、登録顔特徴データ群１２７に保持しておく。
　一方、照合顔入力１２９から照合すべき顔画像が入力されると、照合顔特徴データ抽出１３０により、照合すべき顔の特徴量が抽出され、マッチング部１３１によって、登録顔特徴データ群１２７に登録された顔の特徴量とマッチングが行われる。
　その結果、同一判定部１３２によって、照合顔の特徴量が登録顔特徴データ群１２７に保持されたホワイトリストの顔画像の特徴量と等しいか否かが判定される。
　また、特許文献１のように、顔全体の特徴量を求めるのではなく、顔の領域毎に部分空間を作成したり、経年変化を考慮して部分空間を作成して、特徴量を取得する方法がある。
　さらに、固有顔を求めた上（ＰＣＡ）で、クラス内の分散を最小にし、かつクラス間の分散を最大にし（ＦＬＤ）、さらにＦＬＤの計算を容易にする方法（ＦｉｓｈｅｒＦａｃｅ）により、光源の変化があっても個人を認証可能なホワイトリスト内外判定装置がある（非特許文献１）。
　以下、非特許文献１に記載されているＰＣＡ（Principal Component Analysis），ＦＬＤ（Fisher’s Linear Discriminant）およびカーネルフィッシャー法について簡単に述べる。
　ＰＣＡは、Ｎ個の顔画像を
Figure JPOXMLDOC01-appb-M000001
 　とし、画像の分散行列を
Figure JPOXMLDOC01-appb-M000002
 　としたとき、
Figure JPOXMLDOC01-appb-M000003
 　となる、変換式により、画像空間の次元を縮退するものである。
　また、ＦＬＤは、本人内分散を最小にして、他人間分散を最大にするもので、他人間分散を、
Figure JPOXMLDOC01-appb-M000004
 　とし、本人内分散を、
Figure JPOXMLDOC01-appb-M000005
 　としたとき、
Figure JPOXMLDOC01-appb-M000006
 　を変換式とするものである。
　最後に、ＦｉｓｈｅｒＦａｃｅ法は、ＦＬＤの計算を少ない画像でも容易に行うことを可能にする方法であって、
Figure JPOXMLDOC01-appb-M000007
 　なお、
Figure JPOXMLDOC01-appb-M000008
 　なお、
Figure JPOXMLDOC01-appb-M000009
 　によって、表される。
　これによって、ＷＦＬＤの次元をｃ－１に削減できる。
日本国特開平１１―１１５７１８号公報
"Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", Peter N. Belhumer, Joao P. Hespanha, and David J. Kriegman, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.19, No.7 July, pp711-720.
　しかしながら、従来の技術では、図１３に示すように、学習部１２１で用いた顔画像、登録部１２４で用いたホワイトリストに登録する顔画像、照合部１２８の顔画像の撮影条件が異なると、特徴量を求める際の条件が異なるため、誤発報が増えるという問題点があった。また、登録データ（ブラックリスト）が増えると、ホワイトリストに登録する人物の判別が困難になり、誤発報が増える、といった課題があった。
　さらに、実環境で撮影した画像によって、部分空間を作るための変換式を作成した場合、部分空間を作るための画像が少ないと、安定した結果が得られない、という課題があった。
　本発明はこれらの問題を解決し、学習部、登録部、照合部における撮影条件が異なったり、異なる環境に適応するための画像が少ない場合でも、照合する人物がホワイトリストに登録されているか否かを判定できる、ホワイトリスト内外判定装置及び方法を提供することを目的とする。
　本発明のホワイトリスト内外判定装置は、複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出手段と、前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出手段と、前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチング手段と、前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチング手段とを有し、前記１次マッチング手段のマッチング結果と前記２次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて変えることを特徴としている。
　この構成により、事前学習画像の枚数と応用学習画像の枚数との比率に応じて、１次マッチング手段のマッチング結果と２次マッチング手段のマッチング結果の重み付けを変えることが出来る。
　また、本発明のホワイトリスト内外判定装置は、前記重みは、前記応用学習画像の枚数が少なくなるほど前記２次マッチング手段のマッチング結果の重みを小さくすることを特徴としている。
　この構成により、応用学習画像の枚数が少なく、２次変換式によるマッチング結果が安定しないときでも、１次変換式によるマッチングの重みを大きくすることにより安定した結果を得ることが出来る。さらに、応用学習画像の枚数が多いときは、２次変換式によるマッチング結果の重みを大きくして、応用学習画像が取得された環境に適合したマッチング結果を得ることが出来る。
　さらに、本発明のホワイトリスト内外判定装置は、前記類似度が所定の閾値より大きなとき、前記照合画像を前記登録画像として登録することを特徴としている。
　この構成により、照合画像と登録画像との類似度が所定の閾値より大きなとき、照合画像を新たな登録画像として登録することが出来る。
　本発明は、実環境で取得した照合画像がホワイトリストに登録された人物である否かを判定する際、実環境で取得した応用学習用の画像が少ないときは、事前学習で生成した変換式に大きな重みを置くので、安定した判定結果が得られ、実環境で取得した応用学習用の画像が多いときは、応用学習用の画像で作成した変換式に大きな重みを置くので、実環境に適合した判定結果が得られる。
本発明の実施の形態１の構成を示すブロック構成図 本発明の実施の形態１の処理の流れを示す説明図 本発明の実施の形態１の初期設定処理の流れを示すフロー図 本発明の実施の形態１の流れを示すフロー図 本発明の実施の形態１の照合顔の判定その１の流れを示すフロー図 本発明の実施の形態１の照合顔の判定その２の流れを示すフロー図 本発明の実施の形態１の特徴を示す説明図 本発明の実施の形態２の構成を示すブロック構成図 本発明の実施の形態２の初期設定処理の流れを示すフロー図 本発明の実施の形態２の利用状況を示す説明図 本発明の実施の形態２の利用状況を示す説明図 従来のホワイトリスト内外判定装置のブロック構成図 従来のホワイトリスト内外判定装置の説明図
　（実施の形態１）
　以下、本発明に係わる実施の形態１について、図面により詳細に説明する。図１は本発明のホワイトリスト内外判定装置の実施の形態１を示すブロック図である。
　図１において、初期設定処理１は、事前学習手段１５、事前学習手段１５によって作成された１次変換式１６、登録顔サンプル応用学習手段１７、登録顔サンプル応用学習手段１７によって作成される２次変換式１８によって構成されている。
　ホワイトリスト内外判定装置の初期設定処理１以外の構成としては、ホワイトリストの顔画像を入力する登録顔入力手段２、入力されたホワイトリストの顔画像を１次変換式１６で変換する１次特徴データ抽出手段３、抽出された１次特徴データを保持する１次特徴データ群５、入力されたホワイトリストの顔画像を２次変換式１８で変換する２次特徴データ抽出手段４、抽出された２次特徴データを保持する２次特徴データ群６、照合する顔を入力する照合顔入力手段７、照合する顔画像の１次特徴データおよび２次特徴データを抽出する１次・２次特徴データ抽出手段８、抽出された照合顔の１次特徴データと１次特徴データ群の間でマッチングを行う１次マッチング手段９、抽出された照合顔の２次特徴データと２次特徴データ群とのマッチングを行う２次マッチング手段１０、１次マッチング手段９および２次マッチング手段１０の結果を用いて、照合画像がホワイトリストに登録されているものか否かを判定する同一判定手段１１によって構成されている。
　次に、図２を用いて、本発明の概要について述べる。最初に、非特許文献１に記載されているフィッシャーフェイス法を用いて、本人内分散を最小にしつつ、他人間分散を最大にして、ホワイトリスト内外判定を行う方法について述べる。
　フィッシャーフェイス法は、ＰＣＡによる学習結果が得られた後、クラス内分散を最小にし、クラス間分散を最大にするための計算を、クラス毎に与えられた少ない画像でも安定して計算できる方法である。
　この方法を用いると、ホワイトリストに登録されている人物の顔画像について、本人間分散を最小にし、他人間分散を最大にする変換式を得ることが出来る。
　まず、非常に多くの顔画像（例えば３０００人分）を用いて、ＰＣＡ（Principal Component Analysis）法により特徴空間を作成する。また、ＦＬＤにより本人内分散を最小にし、他人間分散を最大にする（図２の符号２１）。この結果、１次変換式として、
Figure JPOXMLDOC01-appb-M000010
 　が得られる（図２の符号１６）。
　次に、ホワイトリスト照合装置を設置した環境で取得した顔画像の１次変換後の特徴データに対して、ＦｉｓｈｅｒＦａｃｅ法により、特徴空間の本人内分散を最小にし、他人間分散を最大にする（図２の符号２３）。この結果、２次変換式として、
Figure JPOXMLDOC01-appb-M000011
 　が得られる（図２の符号１８）。
　ホワイトリスト顔照合を行う際には、ホワイトリストに登録する顔画像（図２の符号２５）を
Figure JPOXMLDOC01-appb-M000012
 　としたとき、（数１０）によって（図２の符号２６）
Figure JPOXMLDOC01-appb-M000013
 　を得る。
　一方、照合する顔画像を
Figure JPOXMLDOC01-appb-M000014
 　としたとき、（数１０）によって（図２の符号２７）
Figure JPOXMLDOC01-appb-M000015
 　を得る。
　そして、閾値をＷＦＬＤとしたとき、
　１次変換式による類似度を次のようにあらわす（図２の符号２８）。
Figure JPOXMLDOC01-appb-M000016
　類似度がマイナスになるときは、類似していないと判断し、類似度がプラスのときを考慮対象とする。
　同様に、２次変換式によって得られたホワイトリストの特徴量をＶｗ２、２次変換式によって得られた照合する顔画像の特徴量をＶｅ２とすると、
　ＦｉｓｈｅｒＦａｃｅによる類似度は次のようになる（図２の符号２９）。
Figure JPOXMLDOC01-appb-M000017
　ただし、ＴＦｉｓｈｅｒＦaceは閾値である。
　重みをｗ１，ｗ２としたとき、最終的な類似度は以下によって求めることが出来る（図２の符号３０）。
Figure JPOXMLDOC01-appb-M000018
 　ただし、
Figure JPOXMLDOC01-appb-M000019
　そして、Ｓの値（数１８）が所定の閾値以上のとき、照合する顔はホワイトリストに登録されているものとし、所定の閾値より小さいとき、照合する顔画像はホワイトリストにないと判断する。
　このとき、学習モデルで用いた顔画像の枚数と、実空間で取得した画像の枚数の比率によってｗ１とｗ２の値を変える。
　すなわち、本発明の実施の形態１では、事前学習手段１５で用いた学習画像の枚数と登録顔サンプル応用学習手段１７で利用した画像の枚数の比率に応じて、１次変換式を利用して得られた類似度と２次変換式を利用して得られた類似度の寄与度を変えて最終的な類似度を求めるものである。
　これにより、登録顔サンプル応用学習を行うときの枚数が少なく、２次変換式を利用した類似度の計算結果が不安定なときは、１次変換式を利用した類似度の結果の重みを大きくすることが出来るので、安定した結果が得られる。一方、登録顔サンプル応用学習を行うときの枚数が多いときは、２次変換式を利用した類似度の計算結果の重みを大きくすることが出来るので、実環境で登録顔サンプル応用学習用の画像を取得すれば、実環境に適合した結果を得ることが出来る。
　次に、図１～図６を用いて、本発明の実施の形態１の処理の流れについて説明する。最初に、図１の初期設定処理１について説明する。事前学習手段１５は、図２の符号２１で説明したように、多くの学習データから、ＰＣＡおよびＦＬＤを用いて、１次変換式１６を作成する。また、登録顔サンプル応用学習手段により、実環境で取得したサンプル画像を用いて、ＦｉｓｈｅｒＦａｃｅ法により、１次変換式１６から２次変換式１８を作成する。
　図３は、初期設定処理１の流れを示している。事前学習データ入力（Ｓ３１）では、事前学習に用いるための例えば３０００人分といった非常に多くの顔画像を入力する。次に、ＰＣＡ，ＦＬＤによる１次変換式の作成（Ｓ３２）では、１次変換式１６（数１０）を求める。
　次に、ホワイトリスト内外判定装置は、実際に稼動する場所に移動される。そして、実環境でのデータ取得（Ｓ３３）が行われる。次に、ＦｉｓｈｅｒＦａｃｅ法により２次変換式１８（数１１）の作成（Ｓ３４）が行われる。
　次に、ホワイトリストに登録する顔画像の登録について述べる。図１において、ホワイトリストに登録する画像は、登録顔入力手段２から入力される。そして、１次特徴データ抽出手段３によって、１次変換式１６を用いて、１次特徴データが抽出され、１次特徴データ群５に保持される。
　また、登録顔入力手段２から入力されたホワイトリストに登録する画像は、２次特徴データ抽出手段４によって、２次変換式１８を用いて２次特徴データが抽出され、２次特徴データ群６に保持される。
　次に、ホワイトリスト内外判定装置が、実環境に設置されると、照合顔入力手段７により、実環境における人物の照合用の顔画像が入力される。
　照合用の顔画像は、１次・２次特徴データ抽出手段８によって、１次変換式１６及び２次変換式１８を用いて、１次特徴データ及び２次特徴データが作成される。
　そして、１次マッチング手段９により、照合用の顔画像の１次特徴データと、１次特徴データ群５に保持されている特徴データとのマッチング行われる。
　同様に、２次マッチング手段１０により、照合用の顔画像の２次特徴データと、２次特徴データ群６に保持されている特徴データとのマッチング行われる。
　そして、同一判定手段１１によって、照合用の顔画像がホワイトリストに登録されている顔画像と一致しているかどうかが判定される。
　図４は、ホワイトリストに登録された人物の顔画像の登録から、照合用の顔画像の判定までを示したフローチャートである。
　登録顔入力（Ｓ４１）では、ホワイトリストとして登録する顔画像を入力する。１次データ抽出（Ｓ４２）では、１次変換式１６を用いて、ホワイトリストに登録すべき顔画像の特徴量を抽出する。そして、１次データ保持（Ｓ４３）において、その特徴量を１次特徴データ群５に登録する。
　２次データ抽出（Ｓ４４）では、２次変換式１８を用いて、ホワイトリストに登録すべき顔画像の特徴量を抽出する。そして、２次データ保持（Ｓ４５）において、その特徴量を２次特徴データ群６に登録する。
　次に、照合顔の判定（Ｓ４６）において、照合顔の判定をおこなう。
　図５および図６は、照合顔の判定（Ｓ４６）の内部を示しており、図５は手法その１を、図６は手法その２を示している。
　図５において、照合顔入力（Ｓ５１）は、実環境において、照合顔入力手段７によって、ホワイトリストに登録された人物か否かを判定する照合顔データを入力する。
　１次・２次特徴データ抽出（Ｓ５２）は、１次・２次特徴データ抽出手段８によって、１次変換式１６および２次変換式１８を用いて、照合顔の１次・２次特徴データを抽出する。
　１次特徴データ読込（Ｓ５３）では、１次特徴データ群５に保持されているホワイトリストに登録された顔画像の１次特徴を読み込む。
　照合データとのマッチング（Ｓ５４）では、１次マッチング手段９によって、照合顔の特徴量と１次特徴データ群５に保持されていた特徴データとのマッチングを行う。
　このとき、類似度α以上のデータ抽出（Ｍ個）（Ｓ５５）においては、Ｓ５４でマッチングされた結果で、類似度がα以上のホワイトリストに登録された人物を選ぶ。
　Ｍ個分の２次特徴量は２次特徴データ群６から読み出される（Ｓ５６）。
　照合データとの２次マッチング（Ｓ５７）においては、２次マッチング手段１０によって、Ｓ５６によって読み出されたＭ個分の２次特徴データと、照合顔の特徴量とのマッチングを行う。
　そして、最も高類似度のデータ抽出（Ｓ５８）によって、最も高類似度のホワイトリストに登録された人物を選ぶ。
　同一判定（Ｓ５９）では、類似度が所定の閾値（β）以上のとき、照合画像がホワイトリストに登録された人物と判定する。
　この際の判定方法としては、（数１６）～（数１９）で説明した方法を用い、ｗ１およびｗ２の値は、実環境で取得して、登録顔サンプル応用学習手段１７で用いた実環境で取得した画像の枚数と、事前学習手段１５で用いた顔画像の枚数の比率によって決定する。　　　
　たとえば、登録データの人数が多い時は、
　　（ｗ１：ｗ２）＝（０．２：０．８）
　とし、登録データの人数が少ない時は、
　　（ｗ１：ｗ２）＝（０．５：０．５）
　のように設定する。
　このようにすることにより、実環境で取得した登録顔サンプルが少ない場合は、２次変換式を用いて得られた類似度より、１次変換式を用いて得られた類似度を優先した類似度になるため、安定した結果を得ることが出来る。
　次に、図６を用いて、図４の照合顔の判定（Ｓ４６）の手法その２について説明する。
　図６において、１次特徴データ読込（Ｓ６３）までは、図５の手法その１と同じである。
　また、２次特徴データ読込（Ｓ６４）では、２次マッチング手段１０により、２次データ特徴データ群６に保持してある全ての２次特徴量を読み込む。
　照合データとの１次マッチング（Ｓ６５）では、１次マッチング手段９により、１次・２次特徴データ抽出手段８で抽出した照合画像の特徴量と、１次特徴データ群５から読み込んだ特徴量とのマッチングを行う。
　照合データとの２次マッチング（Ｓ６６）では、２次マッチング手段１０により、１次・２次特徴データ抽出手段８で抽出した照合画像の特徴量と、２次特徴データ群６から読み込んだ特徴量とのマッチングを行う。
　最後に同一判定手段（Ｓ６７）により、これらの類似度を用いて、照合画像がホワイトリストに登録されている顔画像と同一か否かを判定する。
　同一判定の方法は、図５で説明した方法と同じである。
　図７は、本発明のメリットを示したものである。例えば、事前登録データとして正面顔が多い場合でも、２次変換式で顔向き変化に対応できる。また、実環境で取得した正面顔以外の画像が少ない場合、２次変換式に依存しすぎてシステムが不安定になることを抑制できる。
　また、照明条件が事前学習と異なる場合、２次変換式で実照明条件の違いをカバーできる、といったメリットがある。
　（実施の形態２）
　図８は、本発明の実施の形態２を示している。実施の形態２は、実施の形態１と比較して、登録顔の更新手段８１を新たに有している。
　登録顔の更新手段８１は、実施の形態１において、類似度が所定の閾値（γ、γ≧β）のとき、実環境で取得した顔画像をホワイトリストに登録すべき顔画像とすることも出来る。これにより、ホワイトリストに登録されている顔画像を実環境に適したものにすることが出来る。
　図９は、本発明の実施の形態２のフローを示している。実施の形態２において、同一判定の結果、類似度が所定の閾値（γ、γ≧β）を超えていたとき、実環境で取得した画像をホワイトリストに登録する（Ｓ９１）。他のステップについては、図５と同様である。
　図１０、図１１は、本発明の利用状況を示したものである。図１０では、カメラ1)による、病院における患者の無断外出や、カメラ2)による、病院内への未登録者の侵入を示している。
　入院患者の場合は、カメラによって撮影される機会が多いので、一度ホワイトリストに登録しておけば、ホワイトリストに登録された人物として何度も認識され更新されていくので、玄関から無断で外出しようとする際に検出が容易になる。
　一方、入院患者や病院で普段勤務している以外の人物は、ホワイトリストに登録された人物として照合されないので、不審者の侵入を容易に検知することができる。
　図１１は、入院患者や病院で勤務している人物の居場所を確認する例を示したものである。事務室のパソコンから患者あるいは病院勤務者の氏名を入力すると、直前の数時間（又は数分）の期間で、リハビリ室のカメラ3)、廊下に設定されたカメラ4)、入院病室のカメラ5)、待合室に設置されているカメラ6)、玄関に設置されているカメラ7)、カメラ8)などから、該当する人物を探して表示する。
　なお、図３において、ホワイトリスト内外判定装置は、実際に稼動する場所に移動されるが、必ずしも移動する必要はない。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１０年９月２７日出願の日本特許出願（特願２０１０－２１４８８３）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、病院などにおいて、ホワイトリストとして登録した人物の病院内の所在や、不審者の侵入などを検出できるホワイトリスト内外判定装置および方法に係わる発明である。
１　初期設定処理
２　登録顔入力手段
３　１次特徴データ抽出手段
４　２次特徴データ抽出手段
５　１次特徴データ群
６　２次特徴データ群
７　照合顔入力手段
８　１次・２次特徴データ抽出手段
９　１次マッチング手段
１０　２次マッチング手段
１１　同一判定手段

Claims (4)

  1. 　複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出手段と、
    　前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出手段と、
    　前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチング手段と、
    　前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチング手段とを有し、
    　前記１次マッチング手段のマッチング結果と前記２次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて前記登録画像と前記照合画像の類似度を算出ことを特徴とするホワイトリスト内外判定装置。
  2. 　前記重みは、前記応用学習画像の枚数が少なくなるほど前記２次マッチング手段のマッチング結果の重みを小さくすることを特徴とする請求項１に記載のホワイトリスト内外判定装置。
  3. 　前記類似度が所定の閾値より大きなとき、前記照合画像を前記登録画像として登録することを特徴とする請求項１又は２に記載のホワイトリスト内外判定装置。
  4. 　複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出ステップと、
    　前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出ステップと、
    　前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチングステップと、
    　前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチングステップとを有し、
    　前記１次マッチングステップのマッチング結果と前記２次マッチングステップのマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて前記登録画像と前記照合画像の類似度を算出することを特徴とするホワイトリスト内外判定方法。
PCT/JP2011/003150 2010-09-27 2011-06-03 ホワイトリスト内外判定装置及び方法 WO2012042702A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11828272.2A EP2624207A4 (en) 2010-09-27 2011-06-03 DEVICE AND METHOD FOR PERFORMING INTERNAL AND EXTERNAL CHECKS RELATING TO WHITE LISTS
US13/876,028 US8929613B2 (en) 2010-09-27 2011-06-03 Device and method for internally and externally assessing whitelists

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010214883A JP5873959B2 (ja) 2010-09-27 2010-09-27 ホワイトリスト内外判定装置及び方法
JP2010-214883 2010-09-27

Publications (1)

Publication Number Publication Date
WO2012042702A1 true WO2012042702A1 (ja) 2012-04-05

Family

ID=45892201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003150 WO2012042702A1 (ja) 2010-09-27 2011-06-03 ホワイトリスト内外判定装置及び方法

Country Status (4)

Country Link
US (1) US8929613B2 (ja)
EP (1) EP2624207A4 (ja)
JP (1) JP5873959B2 (ja)
WO (1) WO2012042702A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5613815B1 (ja) 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
US11487868B2 (en) * 2017-08-01 2022-11-01 Pc Matic, Inc. System, method, and apparatus for computer security
CN111091884B (zh) * 2019-12-24 2024-04-05 无锡识凌科技有限公司 一种医院信息集成平台的患者主索引匹配***及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316809A (ja) * 2006-05-24 2007-12-06 Fujifilm Corp 顔照合装置および方法並びにプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3621245B2 (ja) 1997-12-12 2005-02-16 株式会社東芝 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US6678404B1 (en) * 2000-10-31 2004-01-13 Shih-Jong J. Lee Automatic referencing for computer vision applications
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7702489B2 (en) * 2002-11-01 2010-04-20 Microsoft Corporation Method and apparatus for fast machine learning using probability maps and fourier transforms
GB2414328A (en) * 2004-05-17 2005-11-23 Mitsubishi Electric Inf Tech Discrimination transforms applied to frequency domain derived feature vectors
JP2007025900A (ja) * 2005-07-13 2007-02-01 Canon Inc 画像処理装置、画像処理方法
US7817826B2 (en) * 2005-08-12 2010-10-19 Intelitrac Inc. Apparatus and method for partial component facial recognition
JP4618098B2 (ja) * 2005-11-02 2011-01-26 ソニー株式会社 画像処理システム
JP2007206833A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 生体照合方法および生体照合装置
JP4321645B2 (ja) * 2006-12-08 2009-08-26 ソニー株式会社 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム
RU2007119908A (ru) * 2007-05-29 2008-12-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко. Адаптивный к галерее способ и система распознавания лиц
JP5227639B2 (ja) * 2008-04-04 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5253195B2 (ja) * 2009-01-20 2013-07-31 セコム株式会社 物体検出装置
JP4720913B2 (ja) * 2009-02-19 2011-07-13 ソニー株式会社 学習装置、学習方法、識別装置、識別方法、及び、プログラム
JP5523053B2 (ja) * 2009-10-19 2014-06-18 キヤノン株式会社 物体識別装置及び物体識別方法
US8509537B2 (en) * 2010-08-05 2013-08-13 Xerox Corporation Learning weights of fonts for typed samples in handwritten keyword spotting

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316809A (ja) * 2006-05-24 2007-12-06 Fujifilm Corp 顔照合装置および方法並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BELHUMEUR P.N. ET AL.: "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 19, no. 7, July 1997 (1997-07-01), pages 711 - 720, XP000698170 *
See also references of EP2624207A4 *

Also Published As

Publication number Publication date
EP2624207A4 (en) 2016-03-02
US20130177238A1 (en) 2013-07-11
EP2624207A1 (en) 2013-08-07
US8929613B2 (en) 2015-01-06
JP2012069039A (ja) 2012-04-05
JP5873959B2 (ja) 2016-03-01

Similar Documents

Publication Publication Date Title
Salim et al. Class attendance management system using face recognition
US8340366B2 (en) Face recognition system
JP5418991B2 (ja) 個人認証システム、個人認証方法
JP2006338092A (ja) パタン照合方法、パタン照合システム及びパタン照合プログラム
KR102483650B1 (ko) 사용자 인증 장치 및 방법
JP2015097000A (ja) 画像認識装置及び画像認識装置に対するデータ登録方法
JP2007226441A (ja) 顔照合装置
CN109800643A (zh) 一种活体人脸多角度的身份识别方法
Srivastava et al. Real time attendance system using face recognition technique
Reese et al. A comparison of face detection algorithms in visible and thermal spectrums
EP3869448A1 (en) Iris authentication device, iris authentication method, and recording medium
JP2015187759A (ja) 画像検索装置、画像検索方法
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
Haji et al. Real time face recognition system (RTFRS)
CN112183167B (zh) 考勤方法、认证方法、活体检测方法、装置及设备
JP2008257329A (ja) 顔照合装置
JP5873959B2 (ja) ホワイトリスト内外判定装置及び方法
KR20140107946A (ko) 인증 장치 및 그 인증 방법
Nahar et al. Twins and Similar Faces Recognition Using Geometric and Photometric Features with Transfer Learning
Hewitt et al. Active learning in face recognition: Using tracking to build a face model
JP2008065651A (ja) 顔画像認証方法、顔画像認証装置、および、プログラム
NaliniPriya et al. A Face Recognition Security Model Using Transfer Learning Technique
Halim et al. Face recognition-based door locking system with two-factor authentication using opencv
KR101116737B1 (ko) 요주의 인물 식별 시스템
Rahim et al. Biometric authentication using face recognition algorithms for a class attendance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828272

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011828272

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011828272

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13876028

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE