WO2012042702A1 - ホワイトリスト内外判定装置及び方法 - Google Patents
ホワイトリスト内外判定装置及び方法 Download PDFInfo
- Publication number
- WO2012042702A1 WO2012042702A1 PCT/JP2011/003150 JP2011003150W WO2012042702A1 WO 2012042702 A1 WO2012042702 A1 WO 2012042702A1 JP 2011003150 W JP2011003150 W JP 2011003150W WO 2012042702 A1 WO2012042702 A1 WO 2012042702A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- matching
- primary
- image
- feature data
- images
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S902/00—Electronic funds transfer
- Y10S902/01—Electronic funds transfer with electronic means providing security
- Y10S902/03—Evaluates biometrics
Definitions
- the present invention relates to a white list inside / outside determination apparatus and method that can correctly determine whether a person acquired in a new installation environment is a person registered in the white list even when the installation environment changes.
- FIG. 12 shows a conventional white list inside / outside determination apparatus and method.
- the learning unit 121 obtains a subspace conversion equation 123 from a large number of learning face images by prior learning 122.
- the partial space conversion formula 123 the feature amount of the person image to be registered as a white list input from the registered face input 125 is obtained by the registered face feature data extraction 126, and the registered face feature data group 127 is obtained. To keep.
- the face feature amount to be collated is extracted by the collation face feature data extraction 130, and is registered in the registered face feature data group 127 by the matching unit 131. Matching is performed with the feature amount of the face.
- the same determination unit 132 determines whether the feature amount of the collation face is equal to the feature amount of the white list face image held in the registered face feature data group 127.
- Patent Document 1 instead of obtaining the feature amount of the entire face, a partial space is created for each face region, or a partial space is created in consideration of secular change, and the feature amount is acquired. There is a way.
- Non-Patent Document 1 After obtaining the eigenface (PCA), change the light source by a method that minimizes the variance within the class, maximizes the variance between classes (FLD), and facilitates the calculation of FLD (FisherFace).
- FLD eigenface
- FLD eigenface
- PCA Principal Component Analysis
- FLD Fisher's Linear Discriminant
- Kernel Fisher method described in Non-Patent Document 1
- the PCA is responsible for N face images. And the variance matrix of the image When The dimension of the image space is degenerated by the conversion formula.
- FLD minimizes intra-person variance and maximizes other-person variance. And dispersion within the person When Is a conversion formula.
- the FisherFace method is a method that allows the FLD calculation to be easily performed even with a small number of images.
- the present invention solves these problems, and whether or not the person to be collated is registered in the white list even when the shooting conditions in the learning unit, the registration unit, and the collation unit are different or there are few images for adapting to different environments. It is an object of the present invention to provide a white list inside / outside determination apparatus and method capable of determining whether or not.
- the whitelist inside / outside determination apparatus includes a primary feature data extraction unit that extracts primary feature data from an image using a primary conversion formula generated based on a plurality of pre-learned images, and the pre-learned image. And secondary feature data extraction means for extracting secondary feature data from the image using the secondary transformation formula generated from a plurality of applied learning images, and matching between the registered image and the collation image using the primary transformation formula Primary matching means for performing matching, and secondary matching means for matching the registered image and the collation image using the secondary conversion formula, and the matching result of the primary matching means and the secondary matching means The weight of the matching result is changed according to the number of the pre-learning images and the number of the applied learning images.
- the weighting of the matching result of the primary matching means and the matching result of the secondary matching means can be changed according to the ratio between the number of pre-learning images and the number of applied learning images.
- the white list inside / outside determination apparatus is characterized in that the weight of the matching result of the secondary matching means is reduced as the number of applied learning images decreases.
- the white list inside / outside determination apparatus of the present invention is characterized in that the collation image is registered as the registration image when the similarity is larger than a predetermined threshold.
- the matching image when the similarity between the matching image and the registered image is greater than a predetermined threshold, the matching image can be registered as a new registered image.
- the conversion formula generated by the pre-learning Therefore, when a large number of images for applied learning are obtained in the real environment, a large weight is placed on the conversion formula created with the image for applied learning. A suitable judgment result is obtained.
- Explanatory drawing which shows the flow of a process of Embodiment 1 of this invention.
- the flowchart which shows the flow of the initial setting process of Embodiment 1 of this invention.
- the flowchart which shows the flow of Embodiment 1 of this invention.
- the flowchart which shows the flow of the collation face determination 1 of Embodiment 1 of this invention
- the flowchart which shows the flow of the collation face determination 2 of Embodiment 1 of this invention Explanatory drawing which shows the characteristic of Embodiment 1 of this invention
- the block block diagram which shows the structure of Embodiment 2 of this invention.
- FIG. 1 is a block diagram showing Embodiment 1 of the whitelist inside / outside determination apparatus of the present invention.
- the initial setting process 1 includes a pre-learning unit 15, a primary conversion formula 16 created by the pre-learning unit 15, a registered face sample applied learning unit 17, and a secondary created by the registered face sample applied learning unit 17.
- the conversion formula 18 is used.
- the configuration other than the initial setting process 1 of the whitelist inside / outside determination apparatus includes a registered face input unit 2 for inputting a whitelist face image, and a primary feature for converting the input whitelist face image by a primary conversion equation 16.
- the Fisher Face method is a method that can stably calculate even a small number of images given for each class after the learning result by PCA is obtained, to minimize the intra-class variance and maximize the inter-class variance. is there.
- a feature space is created by a PCA (Principal Component Analysis) method using a very large number of face images (for example, for 3000 people). Also, the intra-person variance is minimized by FLD, and the other-person variance is maximized (reference numeral 21 in FIG. 2). As a result, the primary conversion equation is Is obtained (reference numeral 16 in FIG. 2).
- PCA Principal Component Analysis
- T FisherFace is a threshold value.
- a primary conversion equation is used according to the ratio between the number of learning images used in the pre-learning means 15 and the number of images used in the registered face sample applied learning means 17.
- the final similarity is obtained by changing the contribution of the obtained similarity and the similarity obtained using the secondary conversion formula.
- the pre-learning means 15 creates the primary conversion equation 16 from a large amount of learning data using PCA and FLD. Further, the registered face sample applied learning means creates the secondary conversion expression 18 from the primary conversion expression 16 by the FisherFace method using the sample image acquired in the real environment.
- FIG. 3 shows the flow of the initial setting process 1.
- S31 pre-learning data input
- a very large number of face images for example, for 3000 people to be used for pre-learning, are input.
- S32 the primary conversion formula 16 (Expression 10) is obtained.
- FIG. 1 an image to be registered in the white list is input from the registered face input unit 2. Then, the primary feature data is extracted by the primary feature data extraction means 3 using the primary conversion formula 16 and is held in the primary feature data group 5.
- secondary feature data is extracted from the image registered in the white list input from the registered face input unit 2 by the secondary feature data extraction unit 4 using the secondary conversion formula 18, and the secondary feature data group 6 Retained.
- the white list inside / outside determination device when installed in the real environment, the face image for collation of the person in the real environment is input by the collation face input means 7.
- primary feature data and secondary feature data are created by the primary / secondary feature data extraction means 8 using the primary transformation formula 16 and the secondary transformation formula 18.
- the primary matching means 9 performs matching between the primary feature data of the face image for verification and the feature data held in the primary feature data group 5.
- FIG. 4 is a flowchart showing from registration of a face image of a person registered in the white list to determination of a face image for verification.
- the feature amount of the face image to be registered in the white list is extracted using the secondary conversion equation 18.
- the feature amount is registered in the secondary feature data group 6.
- the collation face is determined.
- FIG. 5 and 6 show the inside of the collation face determination (S46).
- FIG. 5 shows Method 1 and
- FIG. 6 shows Method 2.
- the collation face input (S51) inputs collation face data for judging whether or not the person is registered in the white list by the collation face input means 7 in the actual environment.
- the primary / secondary feature data extraction (S52) is performed by the primary / secondary feature data extraction means 8 using the primary conversion equation 16 and the secondary conversion equation 18, and the primary / secondary feature data of the matching face. To extract.
- the primary feature of the face image registered in the white list held in the primary feature data group 5 is read.
- the primary matching means 9 matches the feature quantity of the matching face with the feature data held in the primary feature data group 5.
- M secondary feature values are read from the secondary feature data group 6 (S56).
- the secondary matching means 10 matches the M secondary feature data read in S56 with the feature quantity of the matching face.
- the person registered in the white list with the highest similarity is selected by the data extraction with the highest similarity (S58).
- the secondary matching unit 10 reads all secondary feature values held in the secondary data feature data group 6.
- the feature quantity of the matching image extracted by the primary / secondary feature data extraction means 8 by the primary matching means 9 and the feature quantity read from the primary feature data group 5 are used. Match with.
- the feature quantity of the collation image extracted by the primary / secondary feature data extraction means 8 by the secondary matching means 10 and the feature quantity read from the secondary feature data group 6 are used. Match with.
- the same determination means (S67) uses these similarities to determine whether or not the collation image is the same as the face image registered in the white list.
- Identical determination method is the same as the method described in FIG.
- FIG. 7 shows the merit of the present invention. For example, even when there are many front faces as pre-registration data, it is possible to cope with a change in face orientation using a secondary conversion formula. Moreover, when there are few images other than the front face acquired in real environment, it can suppress that it becomes too dependent on a secondary conversion type
- FIG. 8 shows a second embodiment of the present invention.
- the second embodiment newly has a registered face update unit 81 as compared with the first embodiment.
- the registered face update unit 81 may set the face image acquired in the real environment as the face image to be registered in the white list when the similarity is a predetermined threshold ( ⁇ , ⁇ ⁇ ⁇ ). I can do it. Thereby, the face image registered in the white list can be made suitable for the real environment.
- FIG. 9 shows a flow of the second embodiment of the present invention.
- a predetermined threshold ⁇ , ⁇ ⁇ ⁇
- an image acquired in the actual environment is registered in the white list (S91).
- Other steps are the same as in FIG.
- FIG. 10 shows that a patient goes out of the hospital without permission by the camera 1) and that an unregistered person enters the hospital by the camera 2).
- FIG. 11 shows an example of confirming the whereabouts of an inpatient or a person working at a hospital. Entering the name of the patient or hospital worker from the office computer, the rehabilitation room camera 3), the camera set in the corridor 4), and the hospital room camera 5 in the last few hours (or minutes) ), The camera 6) installed in the waiting room, the camera 7) installed in the entrance, the camera 8), and the like are searched for and displayed. In FIG. 3, the whitelist inside / outside determination device is moved to a place where it actually operates, but it is not always necessary to move.
- the present invention relates to a whitelist inside / outside determination apparatus and method capable of detecting the location of a person registered as a whitelist in a hospital or the intrusion of a suspicious person in a hospital or the like.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本発明の課題は、ホワイトリスト内外判定装置の設置された場所により判定結果が不安定になることである。 複数の事前学習画像を元に生成した1次変換式を用いて、画像から1次特徴データを抽出する1次特徴データ抽出手段(3)と、前記事前学習画像および複数の応用学習画像から生成した2次変換式を用いて、画像から2次特徴データを抽出する2次特徴データ抽出手段(4)と、前記1次変換式を用いて登録画像と照合画像とのマッチングを行う1次マッチング手段(9)と、前記2次変換式を用いて登録画像と照合画像とのマッチングを行う2次マッチング手段(10)とを有し、前記1次マッチング手段(9)のマッチング結果と前記2次マッチング手段(10)のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて変える。
Description
本発明は、設置環境が変わったときでも、新たな設置環境で取得した人物がホワイトリストに登録されている人物か否かを正しく判定できる、ホワイトリスト内外判定装置及び方法に係るものである。
従来のホワイトリスト内外判定装置及び方法を図12に示す。従来例では、まず、学習部121で、多数の学習用顔画像から事前学習122により、部分空間変換式123を求める。次に、この部分空間変換式123を用いて、登録顔入力125から入力した、ホワイトリストとして登録すべき人物の画像を、登録顔特徴データ抽出126によって特徴量を求め、登録顔特徴データ群127に保持しておく。
一方、照合顔入力129から照合すべき顔画像が入力されると、照合顔特徴データ抽出130により、照合すべき顔の特徴量が抽出され、マッチング部131によって、登録顔特徴データ群127に登録された顔の特徴量とマッチングが行われる。
その結果、同一判定部132によって、照合顔の特徴量が登録顔特徴データ群127に保持されたホワイトリストの顔画像の特徴量と等しいか否かが判定される。
また、特許文献1のように、顔全体の特徴量を求めるのではなく、顔の領域毎に部分空間を作成したり、経年変化を考慮して部分空間を作成して、特徴量を取得する方法がある。
さらに、固有顔を求めた上(PCA)で、クラス内の分散を最小にし、かつクラス間の分散を最大にし(FLD)、さらにFLDの計算を容易にする方法(FisherFace)により、光源の変化があっても個人を認証可能なホワイトリスト内外判定装置がある(非特許文献1)。
以下、非特許文献1に記載されているPCA(Principal Component Analysis),FLD(Fisher’s Linear Discriminant)およびカーネルフィッシャー法について簡単に述べる。
これによって、WFLDの次元をc-1に削減できる。
"Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", Peter N. Belhumer, Joao P. Hespanha, and David J. Kriegman, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.19, No.7 July, pp711-720.
しかしながら、従来の技術では、図13に示すように、学習部121で用いた顔画像、登録部124で用いたホワイトリストに登録する顔画像、照合部128の顔画像の撮影条件が異なると、特徴量を求める際の条件が異なるため、誤発報が増えるという問題点があった。また、登録データ(ブラックリスト)が増えると、ホワイトリストに登録する人物の判別が困難になり、誤発報が増える、といった課題があった。
さらに、実環境で撮影した画像によって、部分空間を作るための変換式を作成した場合、部分空間を作るための画像が少ないと、安定した結果が得られない、という課題があった。
本発明はこれらの問題を解決し、学習部、登録部、照合部における撮影条件が異なったり、異なる環境に適応するための画像が少ない場合でも、照合する人物がホワイトリストに登録されているか否かを判定できる、ホワイトリスト内外判定装置及び方法を提供することを目的とする。
本発明のホワイトリスト内外判定装置は、複数の事前学習画像を元に生成した1次変換式を用いて、画像から1次特徴データを抽出する1次特徴データ抽出手段と、前記事前学習画像および複数の応用学習画像から生成した2次変換式を用いて、画像から2次特徴データを抽出する2次特徴データ抽出手段と、前記1次変換式を用いて登録画像と照合画像とのマッチングを行う1次マッチング手段と、前記2次変換式を用いて登録画像と照合画像とのマッチングを行う2次マッチング手段とを有し、前記1次マッチング手段のマッチング結果と前記2次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて変えることを特徴としている。
この構成により、事前学習画像の枚数と応用学習画像の枚数との比率に応じて、1次マッチング手段のマッチング結果と2次マッチング手段のマッチング結果の重み付けを変えることが出来る。
また、本発明のホワイトリスト内外判定装置は、前記重みは、前記応用学習画像の枚数が少なくなるほど前記2次マッチング手段のマッチング結果の重みを小さくすることを特徴としている。
この構成により、応用学習画像の枚数が少なく、2次変換式によるマッチング結果が安定しないときでも、1次変換式によるマッチングの重みを大きくすることにより安定した結果を得ることが出来る。さらに、応用学習画像の枚数が多いときは、2次変換式によるマッチング結果の重みを大きくして、応用学習画像が取得された環境に適合したマッチング結果を得ることが出来る。
さらに、本発明のホワイトリスト内外判定装置は、前記類似度が所定の閾値より大きなとき、前記照合画像を前記登録画像として登録することを特徴としている。
この構成により、照合画像と登録画像との類似度が所定の閾値より大きなとき、照合画像を新たな登録画像として登録することが出来る。
本発明は、実環境で取得した照合画像がホワイトリストに登録された人物である否かを判定する際、実環境で取得した応用学習用の画像が少ないときは、事前学習で生成した変換式に大きな重みを置くので、安定した判定結果が得られ、実環境で取得した応用学習用の画像が多いときは、応用学習用の画像で作成した変換式に大きな重みを置くので、実環境に適合した判定結果が得られる。
(実施の形態1)
以下、本発明に係わる実施の形態1について、図面により詳細に説明する。図1は本発明のホワイトリスト内外判定装置の実施の形態1を示すブロック図である。
以下、本発明に係わる実施の形態1について、図面により詳細に説明する。図1は本発明のホワイトリスト内外判定装置の実施の形態1を示すブロック図である。
図1において、初期設定処理1は、事前学習手段15、事前学習手段15によって作成された1次変換式16、登録顔サンプル応用学習手段17、登録顔サンプル応用学習手段17によって作成される2次変換式18によって構成されている。
ホワイトリスト内外判定装置の初期設定処理1以外の構成としては、ホワイトリストの顔画像を入力する登録顔入力手段2、入力されたホワイトリストの顔画像を1次変換式16で変換する1次特徴データ抽出手段3、抽出された1次特徴データを保持する1次特徴データ群5、入力されたホワイトリストの顔画像を2次変換式18で変換する2次特徴データ抽出手段4、抽出された2次特徴データを保持する2次特徴データ群6、照合する顔を入力する照合顔入力手段7、照合する顔画像の1次特徴データおよび2次特徴データを抽出する1次・2次特徴データ抽出手段8、抽出された照合顔の1次特徴データと1次特徴データ群の間でマッチングを行う1次マッチング手段9、抽出された照合顔の2次特徴データと2次特徴データ群とのマッチングを行う2次マッチング手段10、1次マッチング手段9および2次マッチング手段10の結果を用いて、照合画像がホワイトリストに登録されているものか否かを判定する同一判定手段11によって構成されている。
次に、図2を用いて、本発明の概要について述べる。最初に、非特許文献1に記載されているフィッシャーフェイス法を用いて、本人内分散を最小にしつつ、他人間分散を最大にして、ホワイトリスト内外判定を行う方法について述べる。
フィッシャーフェイス法は、PCAによる学習結果が得られた後、クラス内分散を最小にし、クラス間分散を最大にするための計算を、クラス毎に与えられた少ない画像でも安定して計算できる方法である。
この方法を用いると、ホワイトリストに登録されている人物の顔画像について、本人間分散を最小にし、他人間分散を最大にする変換式を得ることが出来る。
まず、非常に多くの顔画像(例えば3000人分)を用いて、PCA(Principal Component Analysis)法により特徴空間を作成する。また、FLDにより本人内分散を最小にし、他人間分散を最大にする(図2の符号21)。この結果、1次変換式として、
が得られる(図2の符号16)。
次に、ホワイトリスト照合装置を設置した環境で取得した顔画像の1次変換後の特徴データに対して、FisherFace法により、特徴空間の本人内分散を最小にし、他人間分散を最大にする(図2の符号23)。この結果、2次変換式として、
が得られる(図2の符号18)。
そして、閾値をWFLDとしたとき、
1次変換式による類似度を次のようにあらわす(図2の符号28)。
1次変換式による類似度を次のようにあらわす(図2の符号28)。
類似度がマイナスになるときは、類似していないと判断し、類似度がプラスのときを考慮対象とする。
同様に、2次変換式によって得られたホワイトリストの特徴量をVw2、2次変換式によって得られた照合する顔画像の特徴量をVe2とすると、
FisherFaceによる類似度は次のようになる(図2の符号29)。
FisherFaceによる類似度は次のようになる(図2の符号29)。
ただし、TFisherFaceは閾値である。
重みをw1,w2としたとき、最終的な類似度は以下によって求めることが出来る(図2の符号30)。
そして、Sの値(数18)が所定の閾値以上のとき、照合する顔はホワイトリストに登録されているものとし、所定の閾値より小さいとき、照合する顔画像はホワイトリストにないと判断する。
このとき、学習モデルで用いた顔画像の枚数と、実空間で取得した画像の枚数の比率によってw1とw2の値を変える。
このとき、学習モデルで用いた顔画像の枚数と、実空間で取得した画像の枚数の比率によってw1とw2の値を変える。
すなわち、本発明の実施の形態1では、事前学習手段15で用いた学習画像の枚数と登録顔サンプル応用学習手段17で利用した画像の枚数の比率に応じて、1次変換式を利用して得られた類似度と2次変換式を利用して得られた類似度の寄与度を変えて最終的な類似度を求めるものである。
これにより、登録顔サンプル応用学習を行うときの枚数が少なく、2次変換式を利用した類似度の計算結果が不安定なときは、1次変換式を利用した類似度の結果の重みを大きくすることが出来るので、安定した結果が得られる。一方、登録顔サンプル応用学習を行うときの枚数が多いときは、2次変換式を利用した類似度の計算結果の重みを大きくすることが出来るので、実環境で登録顔サンプル応用学習用の画像を取得すれば、実環境に適合した結果を得ることが出来る。
次に、図1~図6を用いて、本発明の実施の形態1の処理の流れについて説明する。最初に、図1の初期設定処理1について説明する。事前学習手段15は、図2の符号21で説明したように、多くの学習データから、PCAおよびFLDを用いて、1次変換式16を作成する。また、登録顔サンプル応用学習手段により、実環境で取得したサンプル画像を用いて、FisherFace法により、1次変換式16から2次変換式18を作成する。
図3は、初期設定処理1の流れを示している。事前学習データ入力(S31)では、事前学習に用いるための例えば3000人分といった非常に多くの顔画像を入力する。次に、PCA,FLDによる1次変換式の作成(S32)では、1次変換式16(数10)を求める。
次に、ホワイトリスト内外判定装置は、実際に稼動する場所に移動される。そして、実環境でのデータ取得(S33)が行われる。次に、FisherFace法により2次変換式18(数11)の作成(S34)が行われる。
次に、ホワイトリストに登録する顔画像の登録について述べる。図1において、ホワイトリストに登録する画像は、登録顔入力手段2から入力される。そして、1次特徴データ抽出手段3によって、1次変換式16を用いて、1次特徴データが抽出され、1次特徴データ群5に保持される。
また、登録顔入力手段2から入力されたホワイトリストに登録する画像は、2次特徴データ抽出手段4によって、2次変換式18を用いて2次特徴データが抽出され、2次特徴データ群6に保持される。
次に、ホワイトリスト内外判定装置が、実環境に設置されると、照合顔入力手段7により、実環境における人物の照合用の顔画像が入力される。
照合用の顔画像は、1次・2次特徴データ抽出手段8によって、1次変換式16及び2次変換式18を用いて、1次特徴データ及び2次特徴データが作成される。
そして、1次マッチング手段9により、照合用の顔画像の1次特徴データと、1次特徴データ群5に保持されている特徴データとのマッチング行われる。
同様に、2次マッチング手段10により、照合用の顔画像の2次特徴データと、2次特徴データ群6に保持されている特徴データとのマッチング行われる。
そして、同一判定手段11によって、照合用の顔画像がホワイトリストに登録されている顔画像と一致しているかどうかが判定される。
図4は、ホワイトリストに登録された人物の顔画像の登録から、照合用の顔画像の判定までを示したフローチャートである。
そして、同一判定手段11によって、照合用の顔画像がホワイトリストに登録されている顔画像と一致しているかどうかが判定される。
図4は、ホワイトリストに登録された人物の顔画像の登録から、照合用の顔画像の判定までを示したフローチャートである。
登録顔入力(S41)では、ホワイトリストとして登録する顔画像を入力する。1次データ抽出(S42)では、1次変換式16を用いて、ホワイトリストに登録すべき顔画像の特徴量を抽出する。そして、1次データ保持(S43)において、その特徴量を1次特徴データ群5に登録する。
2次データ抽出(S44)では、2次変換式18を用いて、ホワイトリストに登録すべき顔画像の特徴量を抽出する。そして、2次データ保持(S45)において、その特徴量を2次特徴データ群6に登録する。
次に、照合顔の判定(S46)において、照合顔の判定をおこなう。
図5および図6は、照合顔の判定(S46)の内部を示しており、図5は手法その1を、図6は手法その2を示している。
図5において、照合顔入力(S51)は、実環境において、照合顔入力手段7によって、ホワイトリストに登録された人物か否かを判定する照合顔データを入力する。
1次・2次特徴データ抽出(S52)は、1次・2次特徴データ抽出手段8によって、1次変換式16および2次変換式18を用いて、照合顔の1次・2次特徴データを抽出する。
1次特徴データ読込(S53)では、1次特徴データ群5に保持されているホワイトリストに登録された顔画像の1次特徴を読み込む。
照合データとのマッチング(S54)では、1次マッチング手段9によって、照合顔の特徴量と1次特徴データ群5に保持されていた特徴データとのマッチングを行う。
このとき、類似度α以上のデータ抽出(M個)(S55)においては、S54でマッチングされた結果で、類似度がα以上のホワイトリストに登録された人物を選ぶ。
M個分の2次特徴量は2次特徴データ群6から読み出される(S56)。
照合データとの2次マッチング(S57)においては、2次マッチング手段10によって、S56によって読み出されたM個分の2次特徴データと、照合顔の特徴量とのマッチングを行う。
照合データとの2次マッチング(S57)においては、2次マッチング手段10によって、S56によって読み出されたM個分の2次特徴データと、照合顔の特徴量とのマッチングを行う。
そして、最も高類似度のデータ抽出(S58)によって、最も高類似度のホワイトリストに登録された人物を選ぶ。
同一判定(S59)では、類似度が所定の閾値(β)以上のとき、照合画像がホワイトリストに登録された人物と判定する。
この際の判定方法としては、(数16)~(数19)で説明した方法を用い、w1およびw2の値は、実環境で取得して、登録顔サンプル応用学習手段17で用いた実環境で取得した画像の枚数と、事前学習手段15で用いた顔画像の枚数の比率によって決定する。
たとえば、登録データの人数が多い時は、
(w1:w2)=(0.2:0.8)
とし、登録データの人数が少ない時は、
(w1:w2)=(0.5:0.5)
のように設定する。
(w1:w2)=(0.2:0.8)
とし、登録データの人数が少ない時は、
(w1:w2)=(0.5:0.5)
のように設定する。
このようにすることにより、実環境で取得した登録顔サンプルが少ない場合は、2次変換式を用いて得られた類似度より、1次変換式を用いて得られた類似度を優先した類似度になるため、安定した結果を得ることが出来る。
次に、図6を用いて、図4の照合顔の判定(S46)の手法その2について説明する。
図6において、1次特徴データ読込(S63)までは、図5の手法その1と同じである。
また、2次特徴データ読込(S64)では、2次マッチング手段10により、2次データ特徴データ群6に保持してある全ての2次特徴量を読み込む。
照合データとの1次マッチング(S65)では、1次マッチング手段9により、1次・2次特徴データ抽出手段8で抽出した照合画像の特徴量と、1次特徴データ群5から読み込んだ特徴量とのマッチングを行う。
照合データとの2次マッチング(S66)では、2次マッチング手段10により、1次・2次特徴データ抽出手段8で抽出した照合画像の特徴量と、2次特徴データ群6から読み込んだ特徴量とのマッチングを行う。
最後に同一判定手段(S67)により、これらの類似度を用いて、照合画像がホワイトリストに登録されている顔画像と同一か否かを判定する。
同一判定の方法は、図5で説明した方法と同じである。
図7は、本発明のメリットを示したものである。例えば、事前登録データとして正面顔が多い場合でも、2次変換式で顔向き変化に対応できる。また、実環境で取得した正面顔以外の画像が少ない場合、2次変換式に依存しすぎてシステムが不安定になることを抑制できる。
また、照明条件が事前学習と異なる場合、2次変換式で実照明条件の違いをカバーできる、といったメリットがある。
(実施の形態2)
図8は、本発明の実施の形態2を示している。実施の形態2は、実施の形態1と比較して、登録顔の更新手段81を新たに有している。
図8は、本発明の実施の形態2を示している。実施の形態2は、実施の形態1と比較して、登録顔の更新手段81を新たに有している。
登録顔の更新手段81は、実施の形態1において、類似度が所定の閾値(γ、γ≧β)のとき、実環境で取得した顔画像をホワイトリストに登録すべき顔画像とすることも出来る。これにより、ホワイトリストに登録されている顔画像を実環境に適したものにすることが出来る。
図9は、本発明の実施の形態2のフローを示している。実施の形態2において、同一判定の結果、類似度が所定の閾値(γ、γ≧β)を超えていたとき、実環境で取得した画像をホワイトリストに登録する(S91)。他のステップについては、図5と同様である。
図10、図11は、本発明の利用状況を示したものである。図10では、カメラ1)による、病院における患者の無断外出や、カメラ2)による、病院内への未登録者の侵入を示している。
入院患者の場合は、カメラによって撮影される機会が多いので、一度ホワイトリストに登録しておけば、ホワイトリストに登録された人物として何度も認識され更新されていくので、玄関から無断で外出しようとする際に検出が容易になる。
一方、入院患者や病院で普段勤務している以外の人物は、ホワイトリストに登録された人物として照合されないので、不審者の侵入を容易に検知することができる。
図11は、入院患者や病院で勤務している人物の居場所を確認する例を示したものである。事務室のパソコンから患者あるいは病院勤務者の氏名を入力すると、直前の数時間(又は数分)の期間で、リハビリ室のカメラ3)、廊下に設定されたカメラ4)、入院病室のカメラ5)、待合室に設置されているカメラ6)、玄関に設置されているカメラ7)、カメラ8)などから、該当する人物を探して表示する。
なお、図3において、ホワイトリスト内外判定装置は、実際に稼動する場所に移動されるが、必ずしも移動する必要はない。
なお、図3において、ホワイトリスト内外判定装置は、実際に稼動する場所に移動されるが、必ずしも移動する必要はない。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2010年9月27日出願の日本特許出願(特願2010-214883)に基づくものであり、その内容はここに参照として取り込まれる。
本発明は、病院などにおいて、ホワイトリストとして登録した人物の病院内の所在や、不審者の侵入などを検出できるホワイトリスト内外判定装置および方法に係わる発明である。
1 初期設定処理
2 登録顔入力手段
3 1次特徴データ抽出手段
4 2次特徴データ抽出手段
5 1次特徴データ群
6 2次特徴データ群
7 照合顔入力手段
8 1次・2次特徴データ抽出手段
9 1次マッチング手段
10 2次マッチング手段
11 同一判定手段
2 登録顔入力手段
3 1次特徴データ抽出手段
4 2次特徴データ抽出手段
5 1次特徴データ群
6 2次特徴データ群
7 照合顔入力手段
8 1次・2次特徴データ抽出手段
9 1次マッチング手段
10 2次マッチング手段
11 同一判定手段
Claims (4)
- 複数の事前学習画像を元に生成した1次変換式を用いて、画像から1次特徴データを抽出する1次特徴データ抽出手段と、
前記事前学習画像および複数の応用学習画像から生成した2次変換式を用いて、画像から2次特徴データを抽出する2次特徴データ抽出手段と、
前記1次変換式を用いて登録画像と照合画像とのマッチングを行う1次マッチング手段と、
前記2次変換式を用いて登録画像と照合画像とのマッチングを行う2次マッチング手段とを有し、
前記1次マッチング手段のマッチング結果と前記2次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて前記登録画像と前記照合画像の類似度を算出ことを特徴とするホワイトリスト内外判定装置。 - 前記重みは、前記応用学習画像の枚数が少なくなるほど前記2次マッチング手段のマッチング結果の重みを小さくすることを特徴とする請求項1に記載のホワイトリスト内外判定装置。
- 前記類似度が所定の閾値より大きなとき、前記照合画像を前記登録画像として登録することを特徴とする請求項1又は2に記載のホワイトリスト内外判定装置。
- 複数の事前学習画像を元に生成した1次変換式を用いて、画像から1次特徴データを抽出する1次特徴データ抽出ステップと、
前記事前学習画像および複数の応用学習画像から生成した2次変換式を用いて、画像から2次特徴データを抽出する2次特徴データ抽出ステップと、
前記1次変換式を用いて登録画像と照合画像とのマッチングを行う1次マッチングステップと、
前記2次変換式を用いて登録画像と照合画像とのマッチングを行う2次マッチングステップとを有し、
前記1次マッチングステップのマッチング結果と前記2次マッチングステップのマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて前記登録画像と前記照合画像の類似度を算出することを特徴とするホワイトリスト内外判定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11828272.2A EP2624207A4 (en) | 2010-09-27 | 2011-06-03 | DEVICE AND METHOD FOR PERFORMING INTERNAL AND EXTERNAL CHECKS RELATING TO WHITE LISTS |
US13/876,028 US8929613B2 (en) | 2010-09-27 | 2011-06-03 | Device and method for internally and externally assessing whitelists |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010214883A JP5873959B2 (ja) | 2010-09-27 | 2010-09-27 | ホワイトリスト内外判定装置及び方法 |
JP2010-214883 | 2010-09-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012042702A1 true WO2012042702A1 (ja) | 2012-04-05 |
Family
ID=45892201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/003150 WO2012042702A1 (ja) | 2010-09-27 | 2011-06-03 | ホワイトリスト内外判定装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8929613B2 (ja) |
EP (1) | EP2624207A4 (ja) |
JP (1) | JP5873959B2 (ja) |
WO (1) | WO2012042702A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5613815B1 (ja) | 2013-10-29 | 2014-10-29 | パナソニック株式会社 | 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 |
US11487868B2 (en) * | 2017-08-01 | 2022-11-01 | Pc Matic, Inc. | System, method, and apparatus for computer security |
CN111091884B (zh) * | 2019-12-24 | 2024-04-05 | 无锡识凌科技有限公司 | 一种医院信息集成平台的患者主索引匹配***及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007316809A (ja) * | 2006-05-24 | 2007-12-06 | Fujifilm Corp | 顔照合装置および方法並びにプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3621245B2 (ja) | 1997-12-12 | 2005-02-16 | 株式会社東芝 | 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体 |
US6944319B1 (en) * | 1999-09-13 | 2005-09-13 | Microsoft Corporation | Pose-invariant face recognition system and process |
US7127087B2 (en) * | 2000-03-27 | 2006-10-24 | Microsoft Corporation | Pose-invariant face recognition system and process |
US6678404B1 (en) * | 2000-10-31 | 2004-01-13 | Shih-Jong J. Lee | Automatic referencing for computer vision applications |
EP1359536A3 (en) * | 2002-04-27 | 2005-03-23 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus using component-based face descriptor |
US7702489B2 (en) * | 2002-11-01 | 2010-04-20 | Microsoft Corporation | Method and apparatus for fast machine learning using probability maps and fourier transforms |
GB2414328A (en) * | 2004-05-17 | 2005-11-23 | Mitsubishi Electric Inf Tech | Discrimination transforms applied to frequency domain derived feature vectors |
JP2007025900A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 画像処理装置、画像処理方法 |
US7817826B2 (en) * | 2005-08-12 | 2010-10-19 | Intelitrac Inc. | Apparatus and method for partial component facial recognition |
JP4618098B2 (ja) * | 2005-11-02 | 2011-01-26 | ソニー株式会社 | 画像処理システム |
JP2007206833A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 生体照合方法および生体照合装置 |
JP4321645B2 (ja) * | 2006-12-08 | 2009-08-26 | ソニー株式会社 | 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム |
RU2007119908A (ru) * | 2007-05-29 | 2008-12-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко. | Адаптивный к галерее способ и система распознавания лиц |
JP5227639B2 (ja) * | 2008-04-04 | 2013-07-03 | 富士フイルム株式会社 | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム |
JP5253195B2 (ja) * | 2009-01-20 | 2013-07-31 | セコム株式会社 | 物体検出装置 |
JP4720913B2 (ja) * | 2009-02-19 | 2011-07-13 | ソニー株式会社 | 学習装置、学習方法、識別装置、識別方法、及び、プログラム |
JP5523053B2 (ja) * | 2009-10-19 | 2014-06-18 | キヤノン株式会社 | 物体識別装置及び物体識別方法 |
US8509537B2 (en) * | 2010-08-05 | 2013-08-13 | Xerox Corporation | Learning weights of fonts for typed samples in handwritten keyword spotting |
-
2010
- 2010-09-27 JP JP2010214883A patent/JP5873959B2/ja active Active
-
2011
- 2011-06-03 WO PCT/JP2011/003150 patent/WO2012042702A1/ja active Application Filing
- 2011-06-03 US US13/876,028 patent/US8929613B2/en active Active
- 2011-06-03 EP EP11828272.2A patent/EP2624207A4/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007316809A (ja) * | 2006-05-24 | 2007-12-06 | Fujifilm Corp | 顔照合装置および方法並びにプログラム |
Non-Patent Citations (2)
Title |
---|
BELHUMEUR P.N. ET AL.: "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 19, no. 7, July 1997 (1997-07-01), pages 711 - 720, XP000698170 * |
See also references of EP2624207A4 * |
Also Published As
Publication number | Publication date |
---|---|
EP2624207A4 (en) | 2016-03-02 |
US20130177238A1 (en) | 2013-07-11 |
EP2624207A1 (en) | 2013-08-07 |
US8929613B2 (en) | 2015-01-06 |
JP2012069039A (ja) | 2012-04-05 |
JP5873959B2 (ja) | 2016-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Salim et al. | Class attendance management system using face recognition | |
US8340366B2 (en) | Face recognition system | |
JP5418991B2 (ja) | 個人認証システム、個人認証方法 | |
JP2006338092A (ja) | パタン照合方法、パタン照合システム及びパタン照合プログラム | |
KR102483650B1 (ko) | 사용자 인증 장치 및 방법 | |
JP2015097000A (ja) | 画像認識装置及び画像認識装置に対するデータ登録方法 | |
JP2007226441A (ja) | 顔照合装置 | |
CN109800643A (zh) | 一种活体人脸多角度的身份识别方法 | |
Srivastava et al. | Real time attendance system using face recognition technique | |
Reese et al. | A comparison of face detection algorithms in visible and thermal spectrums | |
EP3869448A1 (en) | Iris authentication device, iris authentication method, and recording medium | |
JP2015187759A (ja) | 画像検索装置、画像検索方法 | |
KR20190093799A (ko) | Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 | |
Haji et al. | Real time face recognition system (RTFRS) | |
CN112183167B (zh) | 考勤方法、认证方法、活体检测方法、装置及设备 | |
JP2008257329A (ja) | 顔照合装置 | |
JP5873959B2 (ja) | ホワイトリスト内外判定装置及び方法 | |
KR20140107946A (ko) | 인증 장치 및 그 인증 방법 | |
Nahar et al. | Twins and Similar Faces Recognition Using Geometric and Photometric Features with Transfer Learning | |
Hewitt et al. | Active learning in face recognition: Using tracking to build a face model | |
JP2008065651A (ja) | 顔画像認証方法、顔画像認証装置、および、プログラム | |
NaliniPriya et al. | A Face Recognition Security Model Using Transfer Learning Technique | |
Halim et al. | Face recognition-based door locking system with two-factor authentication using opencv | |
KR101116737B1 (ko) | 요주의 인물 식별 시스템 | |
Rahim et al. | Biometric authentication using face recognition algorithms for a class attendance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11828272 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2011828272 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011828272 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13876028 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |