WO2005122093A1 - 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム - Google Patents

画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム Download PDF

Info

Publication number
WO2005122093A1
WO2005122093A1 PCT/JP2005/009575 JP2005009575W WO2005122093A1 WO 2005122093 A1 WO2005122093 A1 WO 2005122093A1 JP 2005009575 W JP2005009575 W JP 2005009575W WO 2005122093 A1 WO2005122093 A1 WO 2005122093A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subspace
sample point
registered
feature vector
Prior art date
Application number
PCT/JP2005/009575
Other languages
English (en)
French (fr)
Inventor
Kozo Kawata
Original Assignee
Glory Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd. filed Critical Glory Ltd.
Priority to US11/628,619 priority Critical patent/US7835547B2/en
Publication of WO2005122093A1 publication Critical patent/WO2005122093A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • Image recognition device image recognition method, and program for causing computer to execute the method
  • the present invention is to compare local features at sample points between an input image that captures a predetermined part of the person's body such as a face and a palm print, and a plurality of registered images of the participant and another person related to the part.
  • the present invention relates to an image recognition apparatus, an image recognition method, and a program for causing a computer to execute an image recognition method and an image recognition method, in which a sample point for comparing features of images is efficiently set, and the identification processing is performed in a short time.
  • the present invention relates to an image recognition device, an image recognition method, and a program for causing a computer to execute the method.
  • sample points are set at portions of the registered face image such as eyes, nose and mouth, which are landmarks of the face, and the positions of the sample points corresponding to those sample points on the input image are determined by the similarity between the two images.
  • a technique has been disclosed which is obtained by calculation and compares the local features of both images between the obtained sample points (for example, see Non-Patent Document 1).
  • Non-Patent Document 1 L. Wiskott, 3 others, "Face 'Recog-Chillon' by
  • Non-Patent Document 1 For example, see Non-Patent Document 1, matching between an input image and a plurality of registered images is performed at corresponding sample points. It is necessary to set sample points for all registered images.As the number of registered images increases, the burden of setting sample points increases, and the sample points for each registered image are stored. There is a problem that the storage capacity of the device increases.
  • sample points on the registered image are set in advance, and based on the sample points! Rather than detecting sample points on the input image, it is desirable to set sample points automatically in some way when performing image matching processing.
  • One input image and many registered images Matching 1 In the case of N-matching, if the setting process of sample points cannot be performed efficiently, the matching process will take a lot of time, causing a practical problem. [0010] The present invention has been made to solve the above-described problems of the related art.
  • An object of the present invention is to provide an image recognition apparatus, an image recognition method, and a program for causing a computer to execute the method, in which sample points for comparing image features can be set efficiently and the personal identification processing can be executed in a short time.
  • an image recognition device includes an input image that captures a predetermined part of the body of the person, and a person and another person related to the part.
  • An image recognition device that compares images by comparing local features at sample points between multiple registered images and performs identity verification! Means for generating an average image from a plurality of images in the image set relating to the region; and an average image generating means for generating an average image from each of the images in the image set corresponding to the sample points set on the average image.
  • a subspace creation unit that detects a sample point and creates a subspace of a feature vector at the sample point; and an image sample point detection unit that detects sample points of the input image and the registered image based on the subspace. And a collation determination that calculates a similarity between a feature vector at a sample point on the input image and a feature vector at a sample point on the registered image, compares the input image with the registered image, and performs identity verification. Means.
  • the image sample point detecting means includes an input image corresponding to a sample point on the average image;
  • the method is characterized in that sample points on a registered image are detected based on a distance between a feature vector of the input image and the subspace and a distance between a feature vector of the registered image and the subspace.
  • the subspace creating means may include a feature vector and an average image in an image in the image set.
  • a first detection means for detecting a sample point on an image in an image set corresponding to a sample point set on the average image using a correlation with the feature vector in
  • Provisional subspace creation for creating a provisional feature level subspace using feature vectors at sample points on images in the detected image set And detecting a sample point on an image in the image set corresponding to a sample point set on the average image based on a distance of the feature vector in the image in the image set to the subspace.
  • a second detection unit and a part that corrects the subspace created by the temporary subspace creation unit using a feature vector at a sample point on an image in the image set detected by the second detection unit.
  • a space correcting means for detecting a sample point on an image in an image set corresponding to a sample point set on the average image.
  • the provisional partial space creating means prepares an image pair of the person from the image set, A first personal difference part for calculating a personal difference subspace by obtaining a difference between feature vectors at sample points of the image pair detected by the first detection means corresponding to the sample points set on the average image; A space calculation unit, and an image pair of another person prepared from the image set, and a feature vector at a sample point of the image pair detected by the first detection means corresponding to the sample point set on the average image First other difference subspace calculating means for calculating a difference between the second person and the other person difference subspace, and calculating an intersection of the complement space between the person difference partial space and the other difference subspace by calculating the intersection.
  • the subspace correction unit prepares an image pair of the person from the image set, and A second identity subspace for calculating a difference between feature vectors at sample points of the image pair detected by the second detection means corresponding to the sample points set on the image and calculating an identity difference subspace; Calculating means for preparing an image pair of another person from the image set, and calculating a feature vector at a sample point of the image pair detected by the second detecting means corresponding to the sample point set on the average image.
  • a second stranger partial space calculating means for calculating a difference and calculating a stranger partial space; and calculating an intersection between the supplementary space of the truer difference subspace and the false difference subspace to calculate the intersection.
  • Repeating the difference subspace calculation means and the second recognition subspace creation means Recognizing subspace updating means for updating the subspace by reusing the subspace.
  • the collation judging means includes a corresponding sample between the registered image and the input image. The similarity is calculated based on the correlation of the feature vector at the point in the subspace, the input image and the registered image are collated, and the identity is confirmed.
  • the collation judging means includes an element of a feature vector at a sample point on the input image and A registered image similar to the input image is extracted based on the feature vector generated by converting an element of the feature vector at the sample point on the registered image into an approximate value, and the extracted registered image and the corresponding image of the input image are extracted. It is characterized in that the similarity is calculated based on the correlation in the subspace of the feature vector composed of the element before conversion at the sample point, and the input image and the registered image are collated to perform identity verification.
  • the image recognition method according to the invention of claim 8 is characterized in that a sample is provided between an input image which captures a predetermined part of the body of the person and a plurality of registered images of the person and others relating to the part.
  • an average image creating step of creating a plurality of image power average images in an image set related to the region
  • a subspace generating step of detecting a sample point on each image in the image set corresponding to the sample point set on the image and generating a subspace of a feature vector at the sample point
  • An image sample point detecting step of detecting a sample point of a recorded image based on the subspace, a feature vector at a sample point on the input image and a sample point on the registered image Characterized in that it includes a verification determining step of performing irradiation combined identification of the input image and the registered image calculating the similarity between the definitive feature vector.
  • the image recognition program provides a computer-readable storage medium storing a sample point between an input image that captures a predetermined part of a person's body and a plurality of registered images of the participant and others relating to the part.
  • a plurality of image gathering power average images related to the body part are created, and the sample points on the images in the image set corresponding to the sample points set on the average image are created.
  • a subspace of the feature vector at the sample point is created, sample points of the input image and the registered image are detected based on the created subspace, and a feature vector at the sample point on the input image is detected. Since the similarity between the input image and the feature vector at the sample point on the registered image is calculated and the input image is compared with the registered image to confirm the identity, the sample points for comparing the image features can be efficiently created. This makes it possible to obtain an image processing apparatus that can set and execute the personal identification processing in a short time.
  • the input image corresponding to the sample point on the average image and the sample point on the registered image are stored in the distance between the feature vector of the input image and the subspace and the registration. Detection is based on the distance between the feature vector of the image and the subspace, so sample points on the input image and multiple registered images are efficiently detected, and the identity verification process is performed even when 1: N matching is performed. If an image processing apparatus capable of executing the image processing at high speed is obtained, the following effect can be obtained.
  • the image set corresponding to the sample point set on the average image using the correlation between the feature vector in the image in the image set and the feature vector in the average image. Detects the sample points on the images in the image set, and uses the feature vectors at the sample points on the images in the detected image set to calculate the subspace of the provisional feature vector. Create and based on the distance to the subspace of the feature vectors in the images in the image set! /, Detect the sample points on the images in the image set corresponding to the sample points set on the average image, and use the feature vectors at the sample points on the images in the detected image set. Therefore, when creating the subspace of the feature vector, the sample points on the image in the image set corresponding to the sample points on the average image are efficiently detected, and the subspace is corrected. This has the effect of providing an image recognition device that can be created.
  • the image collective power is also prepared for the image pair of the person himself, and the feature solidity at the sample point of the image pair corresponding to the sample point set on the average image is set.
  • the difference between the feature vectors at the sample points of the image pair corresponding to the sample points set on the average image is calculated by calculating the difference between Calculate the other-person difference subspace and calculate the intersection between the calculated complement space of the person difference subspace and the other-person difference subspace, and use the intersection as the subspace.
  • the image collective power is also prepared for the image pair of the person himself, and the feature solidity at the sample point of the image pair corresponding to the sample point set on the average image is set.
  • the difference between the feature vectors at the sample points of the image pairs corresponding to the sample points set on the average image is calculated by calculating the personal difference subspace by calculating the difference between Then, the other-person difference subspace is calculated, and the intersection of the calculated complement space of the person difference subspace and the other-person difference subspace is calculated. The intersection is defined as the subspace, and the subspace created there converges.
  • the subspace Since the subspace is updated by repeatedly executing the process of detecting the sample points on the images in the image set and the process of creating the subspace, it is better than the created temporary subspace. It can be created accurately subspace to extract features of the image set, person using the subspace An effect is obtained if an image recognition device capable of improving the discrimination ability when discriminating between an image and another person's image is obtained.
  • the similarity is calculated based on the correlation. Is calculated and the input image is compared with the registered image to perform identity verification.Therefore, even if there is a difference in facial expression, palm opening, shooting angle, etc. between the input image and the registered image, accurate An effect is obtained that an image recognition device capable of efficiently performing collation determination can be obtained.
  • the feature vector generated by converting the element of the feature vector at the sample point on the input image and the element of the feature vector at the sample point on the registered image into an approximate value is obtained.
  • a registered image similar to the input image is extracted based on the input image, and then the similarity is determined based on the correlation in the subspace between the extracted registered image and the feature vector before conversion at the corresponding sample point of the input image.
  • Is calculated and the input image is compared with the registered image to perform identity verification.Therefore, the registered images to be compared with the input image are narrowed down, and detailed matching processing between the narrowed registered image and the input image is performed. By doing so, it is possible to obtain an image processing apparatus capable of executing the personal identification processing with high accuracy and high speed.
  • an average image is created from a plurality of image sets related to a body part, and an average image is formed on the images in the image set corresponding to the sample points set on the average image.
  • a subspace of the feature vector at the sample point is created, the sample points of the input image and the registered image are detected based on the created subspace, and the feature at the sample point on the input image is detected. Since the similarity between the vector and the feature vector at the sample point on the registered image is calculated and the input image is compared with the registered image to confirm the identity, the sample points for comparing the image features can be efficiently used. This makes it possible to obtain an image processing method that can be set in an appropriate manner and can execute the identity verification processing.
  • an average image is created from a plurality of image sets relating to a body part, and an average image is formed on an image in the image set corresponding to the sample points set on the average image. , And the subspace of the feature vector at that sample point is Then, the sample points of the input image and the registered image are detected based on the created subspace, and the similarity between the feature vector at the sample point on the input image and the feature vector at the sample point on the registered image is calculated.
  • An image recognition method that calculates and compares the input image with the registered image to perform identity verification, so that sample points for comparing image features can be set efficiently and identity verification processing can be performed. This makes it possible to obtain a program for causing a computer to execute the program.
  • FIG. 1 is an explanatory diagram for explaining the concept of an image recognition process according to a first embodiment.
  • FIG. 2 is an explanatory diagram for explaining the concept of a subspace according to the first embodiment.
  • FIG. 3 is an explanatory diagram illustrating the concept of detecting sample points on a face image using the distance of a feature vector to a recognition subspace according to the first embodiment.
  • FIG. 4 is an explanatory diagram for explaining the concept of a correlation value calculation process of a feature vector on a registered image and an input image according to the first embodiment.
  • FIG. 5 is a functional block diagram illustrating a configuration of the face image recognition device according to the first embodiment.
  • FIG. 6 is a flowchart of a normalization process for normalizing face image data according to the first embodiment.
  • FIG. 7 is a flowchart of a recognition subspace creation process for creating a feature vector recognition subspace from a set of face images according to the first embodiment.
  • FIG. 8 is a flowchart of recognition partial space creation processing for creating a recognition partial space at sample points according to the first embodiment.
  • FIG. 9 is a flowchart of a subspace creation process for creating a subspace based on a feature vector according to the first embodiment.
  • FIG. 10 is a flowchart of a recognition subspace calculation process for calculating a recognition subspace according to the first embodiment.
  • FIG. 11 is a flowchart of a recognition subspace correction process for correcting the recognition subspace of the face image set color feature vector according to the first embodiment.
  • FIG. 12 is a flowchart of a recognition subspace convergence determination process for determining convergence of a recognition subspace according to the first embodiment.
  • FIG. 13 is a flowchart illustrating a processing procedure of a collation determination process according to the first embodiment.
  • FIG. 14 is a block diagram illustrating a system configuration of the face image recognition device according to the first embodiment.
  • FIG. 15 is a flowchart illustrating a processing procedure of a collation determination process according to the second embodiment.
  • CPU Arithmetic controller
  • FIG. 1 is an explanatory diagram for explaining the concept of the image recognition process according to the first embodiment.
  • the face image recognition process according to the first embodiment also has two great processing powers: a process at the time of learning offline and a process at the time of matching. It is configured to perform the collation processing by using 13.
  • the processing procedure of the offline learning process will be described.
  • the positions of both eyes, nose, and mouth are specified for each image in the face image set 10. However, at least the positions of both eyes should be specified here.
  • normalization is performed so that the positions of both eyes, nose, and mouth of each face image are overlapped, and the grayscale values of each pixel are averaged to create an average face image 11.
  • the "image set” is a set of images related to a predetermined part of the body of a plurality of persons, and for a specific person, the facial expression, the degree of opening of the palm, the shooting angle, and the like. Includes a plurality of personal images that are different depending on the difference. This set of images need not be the same as the set of registered images.
  • FIG. 1 shows an example 12 of an average face image in which 100 sample points are specified on the average face image 11.
  • the correlation between the feature vector of the average face image 11 and the feature vector of each image in the face image set 10 is used to calculate the value of each image in the face image set 10 corresponding to the sample point on the average face image 11.
  • Find sample points on the detected sample points, a subspace of the feature vector in each image in the face image set 10 is created by using the principal component analysis technique. This subspace is provisional and will be modified later.
  • the “feature vector” refers to a set of feature amounts such as the gray level of a pixel in a local area around a sample point and a change rate of the gray level as a vector as a real element force. It can be easily created if a digital face image composed of a group of a plurality of pixels each having these feature amounts is given.
  • FIG. 2 is an explanatory diagram for explaining the concept of the subspace according to the first embodiment.
  • the subject's variable subspace 22 is composed of the difference between the feature vectors of a plurality of subject image pairs that differ depending on the facial expression, the photographing angle, and the like. It consists of the difference between the feature vectors of the image pair of the person and the other person.
  • the target subspace 23 can be derived from the intersection of the complementary space of the person's variable subspace 22 and the other person's variable subspace 21.
  • the subspace configured in this manner is referred to as a “recognition subspace”.
  • the provisional recognition subspace 23 of the feature vector created using the images in the face image set 10 is used for recognizing the feature vectors in each image in the face image set 10. Modified based on distance to subspace 23.
  • the distance of the feature vector of each image in the face image set 10 to the recognition subspace 23 is calculated, and a sample point on each image that reduces the distance is detected.
  • a sample point is detected, a new U ⁇ recognition subspace 23 is created based on the feature vector in each image at the sample point, and the feature vector is transferred to the feature vector recognition subspace 23 until the created recognition subspace 23 converges.
  • Sample point detection based on the distance
  • the subspace creation process based on the feature vector at the sample point of each image in the image set 10 is repeated to correct the recognition subspace 23.
  • the obtained recognition subspace 23 is used at the time of image matching as knowledge 13 that has learned the features of the face image.
  • FIG. 3 is an explanatory diagram illustrating the concept of detecting sample points on a face image using the distance of the feature vector to the recognition subspace 23 according to the first embodiment.
  • the feature corresponding to the feature of the face extracted in the recognition subspace 23 decreases as the value decreases. Means that it appears well. That is, by selecting the sample points so that this distance is reduced, sample points corresponding to the sample points on the average face image 11 can be set on the image.
  • FIG. 1 shows an example 15 of the registered image 14 in which sample points are detected on the registered image 14.
  • a method of selecting a registered image 14 to be collated with the input image 16 from a set of a plurality of registered images 14 includes a method of sequentially selecting the registered images 14 from the set of the plurality of registered images 14. There is a method of specifying and selecting a registered image 14 associated with an ID number or the like input by the user.
  • the “registered image” refers to a digital face image composed of a group of a plurality of pixels each having a gray value, and a plurality of pixels of the digital face image in a local area around the pixel.
  • the created feature vector force refers to feature vector information.
  • the registered image 14 includes at least the feature vector information, the face image matching process can be performed.
  • the distance of the feature vector in the input image 16 to the recognition subspace 23 is calculated, and a sample on the input image 16 such that the distance is reduced. Find points.
  • Figure 1 shows sample points detected on the input image 16. An example 17 of the input image 16 is shown.
  • the feature vector of the registered image 14 and the feature vector of the input image 16 projected into the recognition subspace 23 at the sample points are then calculated.
  • the correlation value between the two feature vectors is calculated in the recognition subspace 23. This process is performed for all sample points.
  • the average value of the correlation values for the image pair of the input image 16 and the registered image 14 is calculated, and is set as the similarity.
  • Example 12 in which 100 sample points are set on the average face image 11, an average value (similarity) of 100 correlation values is calculated. Then, based on the similarity, a discrimination between the person and another person is made.
  • FIG. 4 is an explanatory diagram for explaining the concept of the process of calculating the correlation value of the feature vector on the registered image 14 and the input image 16 according to the first embodiment.
  • the feature vector of the input image 16 and the feature vector of the registered image 14 are projected onto the recognition subspace 23, and the feature vector 40 of the projected input image and the feature vector 40 of the projected registered image are projected.
  • the correlation value between the feature vectors 41 is calculated by the cosine of the angle ⁇ ⁇ between the two projected feature vectors, that is, cos ⁇ . The larger this value is, the more similar the features of both images are at the sample point.
  • FIG. 5 is a functional block diagram illustrating the configuration of the face image recognition device according to the first embodiment.
  • the face image recognition device 50 includes a face image input reception unit 51, a normalization processing unit 52, a face image learning unit 53, and a registered image storage unit 54.
  • the face image input receiving unit 51 is a receiving unit for loading a set of learning face images, an input face image, and a registered face image into the device. Output.
  • the normalization processing unit 52 acquires an image from the face image input reception unit 51, performs normalization processing on the image to match the size of the face of each image, and sets the received image as a face image set for learning. If the image is a face image, it enters the face image learning unit 53, and if it is a face image for registration, it enters the registered image storage unit 54. If it is a strong face image, a normalized image is output to the input image sample point detection unit 56.
  • the face image learning unit 53 acquires the normalized face image set from the normalization processing unit 52, creates an average face image 11 using the face image set 10, and converts the average face image 11 into the average face image 11. Then, the recognition subspace 23 of the feature vector is created.
  • the registered image storage unit 54 acquires and stores the registration image 14 normalized by the normalization processing unit 52.
  • the registered image sample point detection unit 55 reads the recognition subspace 23 from the face image learning unit 53 when the collation judgment is performed between the registered image 14 and the input image 16, and the registered image storage unit 54 The force also reads the registered image 14 and detects the sample points on the registered image 14 using the distance of the feature vector in the registered image 14 to the recognition subspace 23.
  • the input image sample point detection unit 56 reads the recognition subspace 23 from the face image learning unit 53 when the collation judgment is performed between the registered image 14 and the input image 16, and the normalization processing unit 52 The input image 16 is read, and a sample point on the input image 16 is detected using the distance to the recognition subspace 23 of the feature vector in the input image 16.
  • the similarity calculation unit 57 reads the sample point information of the registered image 14 and the input image 16 and the feature vector information of the registered image 14 and the input image 16 at the sample points. Is calculated.
  • the matching determining unit 58 reads the similarity between the registered image 14 and the input image 16 obtained by the similarity calculating unit 57, and performs the matching determination between the registered image 14 and the input image 16 based on the similarity. Output the matching result.
  • FIG. 6 is a flowchart of a normalization process for normalizing face image data according to the first embodiment. This processing is performed by the normalization processing unit 52. Here, a case is shown in which the image received by the face image input receiving unit 51 is a set of learning face images.
  • the average face image 11 is provisionally provided, and a provisional binocular position is set on the image (step S601).
  • the face image data in the face image set 10 is read out through the face image input receiving unit 51 (step S602), and the positions of the eyes, nose, and mouth of each read face image data are specified (step S603).
  • at least the positions of both eyes may be specified here.
  • affine transformation is performed so that the positions of both eyes of each face image data overlap the positions of both eyes of the average face image 11 (step S604).
  • the normal positions of both eyes, nose, and mouth of each face image data are calculated (step S605).
  • an average value of the calculated normal positions of both eyes, nose, and mouth is calculated (step S606), and the positions of both eyes, nose, and mouth of the average face image 11 are set (step S607).
  • the processing at the time of learning ends, and the received image becomes the input face image.
  • the face image data is read out (step S602). )
  • Step S608 Just perform the affine transformation (Step S608) and create a normalized image of the read image (Step S609)! ,.
  • FIG. 7 is a flowchart of a recognition subspace creation process for creating a feature vector recognition subspace 23 from the face image set 10 according to the first embodiment.
  • N face image data are read from the learning face image set 10 (step S701).
  • the average of the grayscale values of the corresponding pixels of the read N pieces of face image data is calculated (step S702), and an average face image 11 is created (step S703).
  • M sample points are set on the created average face image 11 (step S704).
  • step S705 M sample points corresponding to the sample points on the average face image 11 are set on each face image data in the N face image set 10 (step S705), and the corresponding M The correlation between the average face image 11 and the feature vectors of each of the N face image data on the sample points is calculated. (Step S706).
  • step S707 it is checked whether or not the correlation between the feature vectors is larger than a certain threshold (step S707). If the correlation is large, the M face images of the average face image 11 The sample point corresponding to the sample point is determined (step S708). If the correlation is small! /, The M sample points are reset on each of the N face image data (step S705), and these processes (step S705) are performed until a sample point having a large correlation is found. Steps S705 to S707) are repeated.
  • each of the M face points on each of the N face image data is determined.
  • M recognition subspaces 23 of the feature vectors at the sample points are created (step S709).
  • FIG. 8 is a flowchart of a recognition subspace creation process for creating the recognition subspace 23 at sample points according to the first embodiment.
  • Ns data pairs of personal images are selected from the face image data in the N face image sets for learning 10 (step S801).
  • a data pair of a personal image is a plurality of personal image powers that differ depending on facial expressions, photographing angles, and the like.
  • the difference of the feature vector at the corresponding sample point of the database is calculated (step S802), and the personal difference subspace Ss is calculated based on the difference (step S803).
  • the face image data force in the N face image sets for learning 10 is also selected from N 0 data pairs of other person's images (step S804), and the feature vector at the corresponding sample point of the data pair is selected. Is calculated (step S805), and the other person's difference subspace S 0 is calculated based on the difference (step S806).
  • FIG. 9 is a flowchart of a subspace creation process for creating a subspace based on the feature vector according to the first embodiment.
  • N R-dimensional feature vectors Xi (l ⁇ i ⁇ N) are input (step S901). Then, an R-by-R correlation matrix M is given by
  • Step S902 Where l ⁇ k, 1 ⁇ R.
  • step S903 R eigenvalues are calculated using the correlation matrix M (step S903), and r (r ⁇ R) eigenvalues are extracted from the larger one (step S904), and the r eigenvalues are calculated.
  • a space spanned by eigenvectors corresponding to the eigenvalues of is calculated, and an r-dimensional subspace is obtained (step S905). This is mathematically the same as the statistical method of principal component analysis.
  • FIG. 10 is a flowchart of a recognition subspace calculation process for calculating the recognition subspace 23 according to the first embodiment.
  • step S1001 the projection matrix Ps of the individual difference subspace Ss is calculated (step S1001), and then the projection matrix Po of the other-person difference subspace So is calculated (step S1002). Then, set a constant a (0 ⁇ a ⁇ 1), and
  • the matrix P is calculated (step S1003).
  • I is the identity matrix.
  • a is a parameter that adjusts the weight of the other-person subspace and the complement of the principal subspace, and can be arbitrarily specified.
  • this matrix P is called a mixing matrix.
  • the eigenvalue of the mixing matrix is calculated (step S1004), and a threshold value for the eigenvalue is set (step S1005).
  • the possible range of the eigenvalue of the mixing matrix is 0 or more and 1 or less, and the threshold is set to a value close to 1 and 1 or less.
  • an eigenvalue equal to or larger than the threshold value is extracted, and a space in which the eigenvalue extends for the eigenvalue is calculated, and the calculated space is defined as a recognition subspace 23. S 1006).
  • FIG. 11 is a flowchart of a recognition subspace correction process for correcting the recognition subspace 23 of the feature vector from the face image set 10 according to the first embodiment.
  • step S1101 the maximum number of iterations of the convergence calculation of the recognition subspace 23 is set (step S1101), and the M face images on the average face image 11 are placed on the N face images in the face image set 10 for learning. M sample points corresponding to the sample points are set (step S1102). Then, the distances of the M feature vectors in the N face images to the corresponding M recognition subspaces 23 are calculated (step S1103).
  • step S 1104 it is determined whether or not the distance to the recognition subspace 23 is smaller than a certain threshold (step S 1104). If the distance is small, the average face image 11 The sample points corresponding to the above M sample points are determined (step S1105). If the distance is large, M sample points are set again on each of the N face image data (step S1102), and these processes are performed until a sample point with a small distance is found (steps S1102 to S1102). Step S1104) is repeated.
  • each of the M face points on each of the N face image data is determined.
  • M pieces of feature vector recognition subspaces 23 at the sample points are created (step S1106). Then, it is checked whether or not the recognition subspace 23 has converged (step S1107).
  • step S 1108 it is next checked whether or not the number of iterations of the convergence calculation is smaller than the set maximum number of iterations.
  • the processing is completed, if the size is small, M sample points are set again on each of the N face image data (step S1102), and these processing is performed until the recognition subspace 23 converges (steps S1102 to S1102). Step S1108) is repeated.
  • FIG. 11 shows the recognition part according to the first embodiment.
  • FIG. 12 shows the recognition part according to the first embodiment.
  • 29 is a flowchart of a recognition subspace convergence determination process for determining convergence of a space 23.
  • a threshold value of a canonical angle for the two recognition subspaces 23 before and after the correction is set (step S1201), and the canonical angle is calculated (step S1202). Then, it is determined whether or not the minimum canonical angle among the plurality of canonical angles is smaller than the threshold (step S1203). If the minimum canonical angle is smaller, it is determined that the recognition subspace 23 has converged (step S1204), and it is not smaller. In this case, it is determined that the recognition partial space 23 has not converged (step S1205).
  • FIG. 13 is a flowchart illustrating the processing procedure of the collation determination processing according to the first embodiment.
  • the registered image sample point detection unit 55 reads the registered image 14 and the data of the recognition subspace 23 created by the face image learning unit 53, which are stored in the registered image storage unit 54. M sample points corresponding to the sample points on the average face image 11 are set on the registered image 14 (step S1301). Then, the distance of the feature vector of the registered image 14 to the recognition subspace 23 is calculated on each corresponding sample point (step S1302). The concept of this distance has already been explained in FIG.
  • step S1303 it is determined whether or not the distance to the recognition subspace 23 is smaller than a certain threshold (step S1303). If the distance is small, the M of the average face image 11 is added to each of the N pieces of face image data. The sample points corresponding to the sample points are determined (step S1304). If the distance is not small, M sample points are set again on each of the N face image data (step S1301), and these processes (step S1301) are performed until the sample point with the reduced distance is found. S 13 01 to Step S 1303) are repeated. These processes (steps S1301 to S1304) are performed by the registered image sample point detecting unit 55.
  • the input image sample point detection unit 56 reads the input image 16 normalized by the normalization processing unit 52 and the recognition subspace data 23 created by the face image learning unit 53, and reads the input image M sample points corresponding to the sample points on the average face image 11 are set on 16 (step S1305). Then, the distance of the feature vector of the input image 16 to the recognition subspace 23 is calculated on each corresponding sample point (step S1306). The concept of this distance has already been described in FIG. Next, it is checked whether or not the distance to the recognition subspace 23 is smaller than a certain threshold value (step S1307). If the distance is small, M samples of the average face image 11 are displayed on the face image data. The sample point corresponding to the point is determined (step S1308).
  • step S1305 M sample points are set again on the face image data (step S1305), and these processes (steps S1305 to S1305) are performed until a sample point with a small distance is found. 1307) is repeated. These processes (steps S1305 to S1307) are performed by the input image sample point detection unit 56.
  • the similarity calculating section 57 calculates the correlation between the feature vectors of the input image 16 and the registered image 14 in the respective recognition subspaces 23 at the corresponding sample points of the input image 16 and the registered image 14. (Step S1309).
  • the concept of the correlation in the recognition subspace 23 has already been described with reference to FIG. 4, and specifically, the characteristics of both the registered image 14 and the input image 16 projected on the recognition subspace 23 It is represented by the cosine of the angle ⁇ ⁇ ⁇ ⁇ between the vectors, that is, cos ⁇ .
  • the similarity calculating section 57 calculates the similarity between the registered image 14 and the input image 16 by calculating the average value of the correlation values at each sample point (step S1310). Then, the collation judging unit 58 judges collation between the registered image 14 and the input image 16 based on the magnitude of the similarity (step S1311), and outputs a judgment result as to whether or not the user is the principal corresponding to the registered image 14. Yes (step S1312).
  • FIG. 14 is a block diagram illustrating a system configuration of the face image recognition device according to the first embodiment.
  • the face image recognition device 50 includes an interface unit 64, an operation control unit 65, a main storage unit 66, and an auxiliary storage unit 67, and includes an input device 68, a display device This is a stand-alone type configuration using a computer, which is connected to 69.
  • a CCD camera 60 for capturing an input image is connected to the face image recognition device 50 via an interface 64.
  • the CCD camera 60 is connected to an image input unit 61 and an image memory 62. And an interface unit 63.
  • the image input unit 61 collects light from the face, which is the subject, with a lens, and uses a CCD (Charge Coupled Device) to collect the light from the face.
  • the image is converted into an electric signal, converted into digital data, and the face image data is recorded in the image memory 62.
  • CCD Charge Coupled Device
  • the image memory 62 is used as a buffer memory of the image input unit 61, and temporarily stores face image data when the face image recognition device 50 cannot receive a face image input.
  • the face image data is output to the face image recognition device 50 through the interface unit 63.
  • the interface unit 64 receives an input image from the CCD camera 60, receives data from the input device 68, and passes data to the display device 69 under the control of the arithmetic control unit 65.
  • the input device 68 is composed of a keyboard, a mouse, a touch panel, and the like.
  • the face image recognition program is executed, the position of the eyes, the nose, and the mouth with respect to the face image is specified (step S603) and the generated average Used when specifying sample points on the face (step S704)
  • the display device 69 is a display monitor, which displays sample points on the average face image 11, displays sample points on the registered image 14, and displays sample points on the input image 16 when the face image recognition program is executed. It is used for display or display of the collation judgment result (step S1312).
  • the auxiliary storage unit 67 reads data from, for example, a floppy (registered trademark) disk drive (FDD), a hard disk drive (HDD), a CD-ROM, a CD-R, a CD-RW, or the like.
  • FDD floppy (registered trademark) disk drive
  • HDD hard disk drive
  • CD-ROM compact disc-read only memory
  • CD-R compact disc-read only memory
  • CD-RW compact disc-read only memory
  • DVD-RAM DVD-ROM
  • DVD-R DVD-RW
  • DVD-RAM DVD-RAM
  • the face image recognition program executed by the face image recognition device 50 of the present embodiment is provided by being recorded in an executable file on an FD, CD-ROM, DVD-ROM, or the like. Then, it is read and executed by a floppy (registered trademark) disk drive device, CD drive device, DVD drive, or the like.
  • the face image data in the learning face image set 10 and the face image data for registration are also provided by FD, CD-ROM or DVD-ROM, etc., and are stored in a floppy (registered trademark) disk.
  • the face image data for learning is read and read by the disk drive device, the CD drive device or the DVD drive, and is stored and processed in the face image learning unit 53, and the face image data for registration is stored in the registered image storage unit 54. It has become so.
  • This auxiliary storage section 67 constitutes a storage means of the present invention.
  • the auxiliary storage unit 67 does not need to be directly connected to the face image recognition device 50, and may have a configuration in which the auxiliary storage unit 67 exists on a network.
  • a configuration may be adopted in which a face image server is installed on the Internet or a LAN, and face image data for learning and face image data for registration are stored and downloaded as needed.
  • the face image recognition device 50 needs to further include a communication unit such as a modem or a LAN board.
  • Face image recognition device 50 of the present embodiment is provided with arithmetic control unit 65 such as a CPU that controls the entire system, and main storage unit 66 that also has storage media such as a RAM and a ROM.
  • the ROM stores a boot program and the like in advance
  • the RAM stores a part of an OS (operation system) read from the HD, a face image recognition program, and the like, and the arithmetic control unit 65 executes these programs.
  • the RAM stores various face image data, sample point data, calculation results, and the like read out when the face image recognition program is executed.
  • an average face image 11 used to specify a sample point is created from the face image set 10, and a face corresponding to the sample point on the average face image 11 is created.
  • a sample point on each face image in the image set 10 is detected to create a feature vector recognition subspace 23, and the registered image corresponding to the sample point on the average face image 11 using the recognition subspace 23.
  • sample points are detected, and the similarity of the feature vectors in the recognition subspace 23 between the registered image 14 and the input image 16 is calculated at the detected sample points, and the registered image 14 and the input image are calculated. Since the configuration is such that the comparison judgment of 16 is performed, the sample points for comparing the features of the registered image 14 and the input image 16 can be set efficiently, and the personal identification processing can be executed in a short time.
  • the image to be recognized by the image recognition apparatus is a face image.
  • the present invention is not limited to this, and includes an image that becomes any landmark. It can also be applied to certain parts of the body. For example, in the case of a palm print, a hand line can be used as the one corresponding to the eyes, nose and mouth in the case of a face.
  • the similarity between the registered image 14 and the input image 16 is calculated by calculating the correlation between the feature vectors composed of real elements. Generates a feature vector consisting of approximate values obtained by binarizing the input image 16 and calculates the degree of coincidence between the registered image 14 and the feature vector that also provides the approximate value power of the input image 16 to extract the registered image 14 similar to the input image 16 Then, a detailed matching process with the input image 16 is executed using the extracted registered image 14.
  • the registered image 14 similar to the input image 16 is narrowed down by a simplified calculation, and the detailed matching process between the input image 16 and the narrowed registered image 14 is performed. Speeds up the matching process between registered image 14 and input image 16 even when the number of registered images 14 to be compared with input image 16 or the number of sample points on registered image 14 and input image 16 is extremely large. Can be executed. Therefore, in a second embodiment, a case will be described in which a registered image 14 for which a detailed matching process is performed with an input image 16 is extracted using a feature vector that has been binarized.
  • FIG. 15 is a flowchart illustrating a processing procedure of the collation determination processing according to the second embodiment.
  • the processing procedure for detecting the sample points on the registered image 14 and the input image 16 is the same as the procedure from step S1301 to step S1308 in FIG.
  • the functional configuration of the face image recognition device according to the second embodiment is substantially the same as the functional configuration of the face image recognition device shown in FIG.
  • the similarity calculation unit in the second embodiment binarizes the feature vectors of the registered image 14 and the input image 16 composed of real number elements, and binarizes the feature vectors.
  • the process of calculating the degree of coincidence between the registered image 14 and the input image 16 using the feature vector is further performed. This processing will be described in detail with reference to FIG.
  • the similarity calculation unit in the second embodiment binarizes the feature vector projected on the recognition subspace 23 on each sample point in the registered image 14 and the input image 16 (step S1501) Then, the degree of coincidence of the feature vector that has been binarized on each sample point is calculated (step S1502).
  • the similarity calculation unit stores the original real number element when converting the real number element to a binary element.
  • step S1503 the average value obtained by averaging the coincidence of the feature vectors corresponding to each sample point is calculated.
  • a predetermined number of registered images 14 larger than a predetermined threshold are extracted (step S1504).
  • the correlation value in the recognition subspace 23 on each sample point between the extracted registered image 14 and the input image 16 is calculated using the stored feature vector which also has the real element force. Then, the similarity between the registered image 14 and the input image 16 is calculated by calculating the average value of the correlation values at each sample point (step S1506).
  • the matching determination unit 58 performs a matching determination between the registered image 14 and the input image 16 based on the magnitude of the similarity (step S1507), and the person of the registered image 14 and the person of the input image 16 are the same.
  • the result of the determination as to whether the person is a person is output (step S1508).
  • the real element of the feature vector at the detected sample point on the input image 16 and the real element of the feature vector at the sample point on the registered image 14 A registered image 14 similar to the input image 16 is extracted by using the feature vector obtained by binarizing the input image 16 into ⁇ 1 '' or ⁇ 0 '', and then, from the extracted registered image 14 and the real elements of the input image 16, Since the similarity is calculated based on the correlation of the feature vectors and the input image 16 is compared with the registered image 14 to identify the user, the registered image to be compared with the input image 16 is determined.
  • narrowing down 14 and performing a detailed matching process on the narrowed-down registered image 14 with the input image 16 it is possible to execute the personal identification process at higher speed while maintaining the matching accuracy.
  • a force indicating a case where the real number element of the feature vector is binarized is not limited to this.
  • the present invention is not limited to this.
  • the registered image 14 similar to the input image 16 may be extracted using a feature vector composed of approximate values such as described above, or a feature vector composed of approximate values obtained by converting a real number element into an integer element.
  • the registered image 14 similar to the input image 16 may be extracted.
  • the image recognition device, the image recognition method, and the program that causes a computer to execute the method according to the present invention efficiently set sample points for comparing features of an image, and perform identity verification processing. This is useful for image recognition systems that need to be executed in a short time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

　顔画像集合（１０）からサンプル点を指定するのに用いる平均顔画像（１１）を作成し、平均顔画像（１１）上のサンプル点に対応する顔画像集合（１０）内の各顔画像上のサンプル点を検出して特徴ベクトルの認識部分空間（２３）を作成し、その認識部分空間（２３）を用いて平均顔画像（１１）上のサンプル点に対応する登録画像（１４）および入力画像（１６）上のサンプル点を検出し、検出されたサンプル点において登録画像（１４）と入力画像（１６）の認識部分空間（２３）内での特徴ベクトルの類似度を算出し、登録画像（１４）と入力画像（１６）の照合判定を行うことにより、画像の特徴を比較するサンプル点を効率的に設定し、本人確認処理を短時間で実行することができる画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムを提供する。

Description

明 細 書
画像認識装置、画像認識方法およびその方法をコンピュータに実行させ るプログラム
技術分野
[0001] 本発明は、顔や掌紋など本人の身体の所定の部位を取り込んだ入力画像と前記 部位に関する本人および他人の複数の登録画像の間で、サンプル点における局所 的な特徴を比較することによって画像を照合し本人確認を行う画像認識装置、画像 認識方法およびその方法をコンピュータに実行させるプログラムに関し、特に、画像 の特徴を比較するサンプル点を効率的に設定し、本人確認処理を短時間で実行す ることができる画像認識装置、画像認識方法およびその方法をコンピュータに実行さ せるプログラムに関する。
背景技術
[0002] 従来、入場管理やコンピュータへのアクセス等に係るセキュリティシステムにおいて 個人の身体的特徴を利用して本人と他人を識別する技術が利用されているが、顔や 掌紋等を CCD (Charge Coupled Device)カメラ等で撮影して入力画像とし、その入力 画像と予め登録してある顔や掌紋等の登録画像とを照合し本人確認をする方法にお いては、顔の表情や掌の開き加減あるいは撮影角度等の相違の影響により、単に入 力画像と複数の登録画像を重ね合わせて一致の度合 、を比較するだけでは高 、識 別能力を発揮することができない。
[0003] 入力画像と登録画像を照合して本人確認を行う画像認識法としては、画像集合中 の各画像の大きさを正規ィ匕して正規ィ匕画像の各画素の濃淡値力 なる特徴ベクトル の部分空間を主成分分析により生成し、入力画像と登録画像の特徴ベクトルを部分 空間上に射影して類似度を計算し照合判定する固有顔 (Eigenface)法が一般的に知 られている。
[0004] この従来技術によれば、入力顔画像と登録顔画像の照合は入力画像と登録画像と の間での固定された各画素を基準として行われるため、顔の表情や撮影角度等の相 違が存在して入力顔画像と登録顔画像の間で画像のゆがみやずれ等が生じた場合 に、本人と他人の識別能力が低下するという問題がある。
[0005] このため、顔の登録画像上の目鼻口等の顔の目印となる部分にサンプル点を設定 し、それらサンプル点に対応する入力画像上のサンプル点の位置を両画像の類似 度を計算することによって求め、求められたサンプル点間においてそれら両画像の 局所的な特徴を比較する技術が開示されている (例えば、非特許文献 1参照。 ) o
[0006] すなわち、この従来技術では、顔の表情あるいは撮影角度等の相違によって登録 画像と入力画像の間でゆがみやずれ等が生じた場合でも、類似度を計算することに より登録画像上のサンプル点に対応する入力画像上のサンプル点を検出することが できるので、上記の問題点が緩和され、本人と他人との識別能力を高めることができ る。
[0007] 非特許文献 1 :エル'ウイスコット（L. Wiskott) ,外 3名， 「フェイス'レコグ-シヨン'バイ
'エラスティック.ノ ンチ'グラフ'マッチング (Face Recognition by Elastic Bunch Graph Matching) J ,アイトリプノレイ一'トランザクションズ 'オン'パターン 'アナリシス'アンド' マシーン 'インテリジェンス（IEEE Transactions On Pattern Analysis And Machine Int elligence) , 1997年，第 19卷，第 7号， p. 775 - 779
発明の開示
発明が解決しょうとする課題
[0008] しかしながら、この従来技術 (例えば、非特許文献 1参照。）を用いた場合、対応す るサンプル点にぉ 、て入力画像と複数の登録画像の間での照合を行うため、予めす ベての登録画像に対してサンプル点を設定しておく必要があり、登録画像の数が増 加するほどサンプル点の設定作業に負担がかかり、また、各登録画像のサンプル点 を記憶するための記憶容量が増加するという問題があった。
[0009] そこで、登録画像上のサンプル点を予め設定しておき、そのサンプル点に基づ！/ヽ て入力画像上のサンプル点を検出するのではなぐ画像照合処理の実行時に何らか の方法で自動的にサンプル点を設定することが望まれる力 1つの入力画像と多数 の登録画像とを照合する 1 : N照合をおこなう場合には、サンプル点の設定処理を効 率的に行うことができないと、照合処理に時間が力かってしまい実用上問題が生じる [0010] この発明は、上述した従来技術による問題点を解消するためになされたものであり
、画像の特徴を比較するサンプル点を効率的に設定し、本人確認処理を短時間で 実行することができる画像認識装置、画像認識方法およびその方法をコンピュータに 実行させるプログラムを提供することを目的とする。
課題を解決するための手段
[0011] 上述した課題を解決し、目的を達成するため、請求項 1の発明に係る画像認識装 置は、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人お よび他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較する ことによって画像を照合し本人確認を行う画像認識装置にお！ヽて、前記部位に関す る画像集合内の複数の画像から平均画像を作成する平均画像作成手段と、前記平 均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプ ル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間 作成手段と、前記入力画像および登録画像のサンプル点を前記部分空間に基づ 、 て検出する画像サンプル点検出手段と、前記入力画像上のサンプル点における特 徴ベクトルと前記登録画像上のサンプル点における特徴ベクトルとの間の類似度を 算出して該入力画像と登録画像とを照合し本人確認を行う照合判定手段とを備えた ことを特徴とする。
[0012] また、請求項 2の発明に係る画像認識装置は、請求項 1に係る発明にお 、て、前記 画像サンプル点検出手段は、前記平均画像上のサンプル点に対応する入力画像お よび登録画像上のサンプル点を該入力画像の特徴ベクトルと前記部分空間との距離 および登録画像の特徴ベクトルと前記部分空間との距離に基づいてそれぞれ検出 することを特徴とする。
[0013] また、請求項 3の発明に係る画像認識装置は、請求項 1または 2に係る発明にお 、 て、前記部分空間作成手段は、前記画像集合内の画像における特徴ベクトルと前記 平均画像における特徴ベクトルとの相関を用いて該平均画像上に設定されたサンプ ル点に対応する画像集合内の画像上のサンプル点を検出する第 1の検出手段と、前 記第 1の検出手段により検出された前記画像集合内の画像上のサンプル点における 特徴ベクトルを用いて暫定的な特徴べ外ルの部分空間を作成する暫定部分空間作 成手段と、前記画像集合内の画像における特徴ベクトルの前記部分空間への距離 に基づいて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画 像上のサンプル点を検出する第 2の検出手段と、前記第 2の検出手段により検出され た前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて前記暫定 部分空間作成手段により作成された前記部分空間を修正する部分空間修正手段と を備えたことを特徴とする。
[0014] また、請求項 4の発明に係る画像認識装置は、請求項 3に係る発明にお 、て、前記 暫定部分空間作成手段は、前記画像集合から本人の画像ペアを用意して、前記平 均画像上に設定されたサンプル点に対応する前記第 1の検出手段により検出された 画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間を 算出する第 1の本人差部分空間算出手段と、前記画像集合から他人の画像ペアを 用意して、前記平均画像上に設定されたサンプル点に対応する前記第 1の検出手 段により検出された画像ペアのサンプル点における特徴ベクトル間の差分を求めて 他人差部分空間を算出する第 1の他人差部分空間算出手段と、前記本人差部分空 間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間と する第 1の認識部分空間作成手段とを備えたことを特徴とする。
[0015] また、請求項 5の発明に係る画像認識装置は、請求項 3に係る発明にお 、て、前記 部分空間修正手段は、前記画像集合から本人の画像ペアを用意して、前記平均画 像上に設定されたサンプル点に対応する前記第 2の検出手段により検出された画像 ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出 する第 2の本人差部分空間算出手段と、前記画像集合から他人の画像ペアを用意し て、前記平均画像上に設定されたサンプル点に対応する前記第 2の検出手段により 検出された画像ペアのサンプル点における特徴ベクトル間の差分を求めて他人差部 分空間を算出する第 2の他人差部分空間算出手段と、前記本人差部分空間の補空 間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第 2 の認識部分空間作成手段と、前記第 2の認識部分空間作成手段で作成された部分 空間が収束するまで前記第 2の検出手段と前記第 2の本人差部分空間算出手段と 前記第 2の他人差部分空間算出手段と前記第 2の認識部分空間作成手段とを繰り 返し用いることにより前記部分空間を更新する認識部分空間更新手段とを備えたこと を特徴とする。
[0016] また、請求項 6の発明に係る画像認識装置は、請求項 1または 2に係る発明にお 、 て、前記照合判定手段は、前記登録画像と前記入力画像との間の対応するサンプ ル点における特徴ベクトルの前記部分空間内での相関に基づ 、て類似度を算出し て該入力画像と登録画像とを照合し本人確認を行うことを特徴とする。
[0017] また、請求項 7の発明に係る画像認識装置は、請求項 1または 2に係る発明にお 、 て、前記照合判定手段は、前記入力画像上のサンプル点における特徴ベクトルの要 素および前記登録画像上のサンプル点における特徴ベクトルの要素を概略値に変 換することにより生成した特徴ベクトルに基づいて入力画像と類似する登録画像を抽 出し、抽出された登録画像および入力画像の対応するサンプル点における変換前の 要素からなる特徴ベクトルの前記部分空間内での相関に基づいて類似度を算出して 該入力画像と登録画像とを照合し本人確認を行うことを特徴とする。
[0018] また、請求項 8の発明に係る画像認識方法は、本人の身体の所定の部位を取り込 んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サ ンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行 う画像認識方法において、前記部位に関する画像集合内の複数の画像力 平均画 像を作成する平均画像作成工程と、前記平均画像上に設定されたサンプル点に対 応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における 特徴ベクトルの部分空間を作成する部分空間作成工程と、前記入力画像および登 録画像のサンプル点を前記部分空間に基づ 、て検出する画像サンプル点検出工程 と、前記入力画像上のサンプル点における特徴ベクトルと前記登録画像上のサンプ ル点における特徴ベクトルとの間の類似度を算出して該入力画像と登録画像とを照 合し本人確認を行う照合判定工程とを含んだことを特徴とする。
[0019] また、請求項 9の発明に係る画像認識プログラムは、本人の身体の所定の部位を取 り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、 サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を 行う画像認識方法をコンピュータに実行させるプログラムであって、前記部位に関す る画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、前記平 均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプ ル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間 作成工程と、前記入力画像および登録画像のサンプル点を前記部分空間に基づ!/ヽ て検出する画像サンプル点検出工程と、前記入力画像上のサンプル点における特 徴ベクトルと前記登録画像上のサンプル点における特徴ベクトルとの間の類似度を 算出して該入力画像と登録画像とを照合し本人確認を行う照合判定工程とをコンビ ユータに実行させることを特徴とする。 発明の効果
[0020] 請求項 1の発明によれば、身体の部位に関する複数の画像集合力 平均画像を作 成し、その平均画像上に設定されたサンプル点に対応する画像集合内の画像上の サンプル点を検出して、そのサンプル点における特徴ベクトルの部分空間を作成し、 入力画像および登録画像のサンプル点を、作成された部分空間に基づ ヽて検出し、 入力画像上のサンプル点における特徴ベクトルと登録画像上のサンプル点における 特徴ベクトルとの間の類似度を算出して入力画像と登録画像とを照合し本人確認を 行うこととしたので、画像の特徴を比較するサンプル点を効率的に設定し、本人確認 処理を短時間で実行することが可能な画像処理装置が得られるという効果を奏する
[0021] また、請求項 2の発明によれば、平均画像上のサンプル点に対応する入力画像お よび登録画像上のサンプル点を、入力画像の特徴ベクトルと部分空間との距離およ び登録画像の特徴ベクトルと部分空間との距離に基づいてそれぞれ検出することと したので、入力画像および複数の登録画像上のサンプル点を効率的に検出し、 1 :N 照合を行う場合でも本人確認処理を高速に実行することが可能な画像処理装置が 得られると 、う効果を奏する。
[0022] また、請求項 3の発明によれば、画像集合内の画像における特徴ベクトルと平均画 像における特徴ベクトルとの相関を用いて平均画像上に設定されたサンプル点に対 応する画像集合内の画像上のサンプル点を検出し、検出された画像集合内の画像 上のサンプル点における特徴ベクトルを用いて暫定的な特徴ベクトルの部分空間を 作成し、画像集合内の画像における特徴ベクトルの部分空間への距離に基づ！/、て 平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点 を検出し、検出された画像集合内の画像上のサンプル点における特徴ベクトルを用 V、て特徴ベクトルの部分空間を修正することとしたので、特徴ベクトルの部分空間を 作成する際に、平均画像上のサンプル点に対応する画像集合内の画像上のサンプ ル点を効率よく検出し、部分空間を作成することが可能な画像認識装置が得られると いう効果を奏する。
[0023] また、請求項 4の発明によれば、画像集合力も本人の画像ペアを用意して、平均画 像上に設定されたサンプル点に対応する画像ペアのサンプル点における特徴べタト ル間の差分を求めて本人差部分空間を算出し、また画像集合から他人の画像ペア を用意して、平均画像上に設定されたサンプル点に対応する画像ペアのサンプル点 における特徴ベクトル間の差分を求めて他人差部分空間を算出し、算出された本人 差部分空間の補空間と他人差部分空間の交わり部を算出して交わり部を部分空間と することとしたので、本人画像の変動が除外されるため、顔の表情や掌の開き加減、 撮影角度等の相違による本人画像の変動によるノイズに強ぐまた本人と他人との変 動が強調されるので部分空間に効率良く知識を抽出することができ、本人画像と他 人画像との識別能力を向上させることが可能な画像認識装置が得られるという効果 を奏する。
[0024] また、請求項 5の発明によれば、画像集合力も本人の画像ペアを用意して、平均画 像上に設定されたサンプル点に対応する画像ペアのサンプル点における特徴べタト ル間の差分を求めて本人差部分空間を算出し、また画像集合から他人の画像ペア を用意して、平均画像上に設定されたサンプル点に対応する画像ペアのサンプル点 における特徴ベクトル間の差分を求めて他人差部分空間を算出し、算出された本人 差部分空間の補空間と他人差部分空間の交わり部を算出して交わり部を部分空間と し、そこで作成された部分空間が収束するまで、画像集合内の画像上のサンプル点 を検出する処理と上記部分空間を作成する処理とを繰り返し実行することにより部分 空間を更新することとしたので、作成された暫定的な部分空間よりもより精度良く画像 集合の特徴を抽出した部分空間を作成することができ、その部分空間を用いて本人 画像と他人画像とを識別する際に識別能力を向上させることが可能な画像認識装置 が得られると ヽぅ効果を奏する。
[0025] また、請求項 6の発明によれば、検出した登録画像と入力画像との間の対応するサ ンプル点間における特徴ベクトルの部分空間内での相関に基づ!/、て類似度を算出 して入力画像と登録画像とを照合し本人確認を行うこととしたので、入力画像と登録 画像の間で表情や掌の開き加減、撮影角度等の相違があった場合でも、精度良く効 率的に照合判定を行うことが可能な画像認識装置が得られるという効果を奏する。
[0026] また、請求項 7の発明によれば、入力画像上のサンプル点における特徴ベクトルの 要素および登録画像上のサンプル点における特徴ベクトルの要素を概略値に変換 することにより生成した特徴ベクトルに基づいて入力画像と類似する登録画像を抽出 し、その後、抽出された登録画像および入力画像の対応するサンプル点における変 換前の要素力 なる特徴ベクトルの部分空間内での相関に基づいて類似度を算出し て入力画像と登録画像とを照合し本人確認を行うこととしたので、入力画像と照合す る登録画像を絞り込み、絞り込んだ登録画像に対して入力画像との間の詳細な照合 処理を行うことにより、精度良くかつ高速に本人確認処理を実行することが可能な画 像処理装置が得られるという効果を奏する。
[0027] また、請求項 8の発明によれば、身体の部位に関する複数の画像集合から平均画 像を作成し、その平均画像上に設定されたサンプル点に対応する画像集合内の画 像上のサンプル点を検出して、そのサンプル点における特徴ベクトルの部分空間を 作成し、入力画像および登録画像のサンプル点を、作成された部分空間に基づいて 検出し、入力画像上のサンプル点における特徴ベクトルと登録画像上のサンプル点 における特徴ベクトルとの間の類似度を算出して入力画像と登録画像とを照合し本 人確認を行うこととしたので、画像の特徴を比較するサンプル点を効率的に設定し、 本人確認処理を実行することが可能な画像処理方法が得られるという効果を奏する
[0028] また、請求項 9の発明によれば、身体の部位に関する複数の画像集合から平均画 像を作成し、その平均画像上に設定されたサンプル点に対応する画像集合内の画 像上のサンプル点を検出して、そのサンプル点における特徴ベクトルの部分空間を 作成し、入力画像および登録画像のサンプル点を、作成された部分空間に基づいて 検出し、入力画像上のサンプル点における特徴ベクトルと登録画像上のサンプル点 における特徴ベクトルとの間の類似度を算出して入力画像と登録画像とを照合し本 人確認を行うこととしたので、画像の特徴を比較するサンプル点を効率的に設定し、 本人確認処理を実行することが可能な画像認識方法をコンピュータに実行させるプ ログラムが得られるという効果を奏する。
図面の簡単な説明
[図 1]図 1は、実施例 1に係る画像認識処理の概念を説明するための説明図である。
[図 2]図 2は、実施例 1に係る部分空間の概念を説明するための説明図である。
[図 3]図 3は、実施例 1に係る特徴ベクトルの認識部分空間への距離を用いた顔画像 上のサンプル点検出の概念を説明する説明図である。
[図 4]図 4は、実施例 1に係る登録画像および入力画像上の特徴ベクトルの相関値算 出処理の概念を説明する説明図である。
[図 5]図 5は、実施例 1に係る顔画像認識装置の構成を示す機能ブロック図である。
[図 6]図 6は、実施例 1に係る顔画像データを正規化する正規化処理のフローチヤ一 トである。
[図 7]図 7は、実施例 1に係る顔画像集合から特徴ベクトルの認識部分空間を作成す る認識部分空間作成処理のフローチャートである。
[図 8]図 8は、実施例 1に係るサンプル点での認識部分空間を作成する認識部分空 間作成処理のフローチャートである。
[図 9]図 9は、実施例 1に係る特徴ベクトルを基にして部分空間を作成する部分空間 作成処理のフローチャートである。
[図 10]図 10は、実施例 1に係る認識部分空間を算出する認識部分空間算出処理の フローチャートである。
[図 11]図 11は、実施例 1に係る顔画像集合カゝら特徴ベクトルの認識部分空間を修正 する認識部分空間修正処理のフローチャートである。
[図 12]図 12は、実施例 1に係る認識部分空間の収束を判定する認識部分空間収束 判定処理のフローチャートである。 [図 13]図 13は、実施例 1に係る照合判定処理の処理手順を示すフローチャートであ る。
[図 14]図 14は、実施例 1に係る顔画像認識装置のシステム構成を示すブロック図で ある。
[図 15]図 15は、実施例 2に係る照合判定処理の処理手順を示すフローチャートであ る。
符号の説明
10 ffi画像集合
11 平均顔画像
12 100個のサンプル点を指定した平均顔画像の例
13 知識
14 登録画像
15 サンプル点を検出した登録画像の例
16 入力画像
17 サンプル点を検出した入力画像の例
20 特徴ベクトル空間
21 他人の変動部分空間
22 本人の変動部分空間
23 目的とする認識部分空間
30 顔画像の特徴ベクトル
31 特徴ベクトルの認識部分空間への距離
40 入力画像の特徴ベクトルの認識部分空間 、の射影
41 登録画像の特徴ベクトルの認識部分空間 、の射影
50 顔画像認識装置
51 顔画像入力受付部
52 正規化処理部
53 顔画像学習部
54 登録画像記憶部 55 登録画像サンプル点検出部
56 入力画像サンプル点検出部
57 類似度検出部
58 照合判定部
61 画像入力部
62 画像メモリ
63、 64 インターフェース §
65 演算制御部 (CPU)
66 主記憶部（ROM、 RAM)
67 補助記憶部
68 入力装置
69 表示装置
発明を実施するための最良の形態
[0031] 以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法および その方法をコンピュータに実行させるプログラムの好適な実施例を詳細に説明する。 なお以下では、顔画像を用いた顔画像認識の場合について説明する。
実施例 1
[0032] まず、本実施例に係る画像認識処理の概念について説明する。図 1は、実施例 1に 係る画像認識処理の概念を説明するための説明図である。図 1に示すように、実施 例 1に係る顔画像認識処理は、オフラインでの学習時処理と照合時処理の 2つの大 きな処理力もなり、学習時処理で顔画像の特徴を学習した知識 13を利用して照合処 理を行うよう構成されている。
[0033] まず、オフラインでの学習時処理の処理手順を説明する。最初に、顔画像集合 10 内の各画像に対し、両目、鼻、口の位置を指定する。ただし、ここでは最低限両目の 位置を指定すればよい。そして、各顔画像の両目、鼻、口の位置が重なるように正規 化し、各画素の濃淡値を平均して平均顔画像 11を作成する。
[0034] ここで、「画像集合」とは、複数の人物における身体の所定の部位に関する画像の 集まりであり、またある特定の人物に関しても顔の表情や掌の開き加減、撮影角度等 の相違によって異なる複数の本人画像を含むものである。この画像集合は登録画像 の集合と同一である必要はない。
[0035] 次に、作成された平均顔画像 11上に任意の数のサンプル点を指定する。図 1では 、平均顔画像 11上に 100個のサンプル点を指定した平均顔画像の例 12が示されて いる。そして、平均顔画像 11の特徴ベクトルと顔画像集合 10内の各画像の特徴べク トルの相関を用いて、平均顔画像 11上のサンプル点に対応する顔画像集合 10内の 各画像上のサンプル点を検出する。そして、検出されたサンプル点上で、顔画像集 合 10内の各画像における特徴ベクトルの部分空間を主成分分析の手法を用いて作 成する。この部分空間は暫定的なもので、後に修正される。
[0036] ここで、「特徴ベクトル」とは、サンプル点周辺における局所的な領域での画素の濃 淡値やその濃淡値の変化率等の特徴量の集まりを、実数要素力 なるベクトルとして 表したものであり、それらの特徴量を各々有する複数の画素の集まりからなるデジタ ル顔画像が与えられれば容易に作成することができる。
[0037] 次に、本実施例で用いられる部分空間の概念について説明する。図 2は、実施例 1 に係る部分空間の概念を説明するための説明図である。特徴べ外ル空間 20内にお いて、本人の変動部分空間 22は顔の表情や撮影角度等の相違によって異なる複数 の本人画像ペアの特徴ベクトルの差から構成され、他人の変動部分空間 21は本人 と他人との画像ペアの特徴ベクトルの差から構成される。目的とする部分空間 23は 本人の変動部分空間 22の補空間と他人の変動部分空間 21の交わりより導くことが できる。以降、このようにして構成された部分空間を「認識部分空間」と呼ぶ。
[0038] 図 1の説明に戻ると、顔画像集合 10内の画像を用いて作成された特徴ベクトルの 暫定的な認識部分空間 23は、顔画像集合 10内の各画像における特徴ベクトルの認 識部分空間 23への距離に基づいて修正される。
[0039] 具体的には、顔画像集合 10内の各画像における特徴ベクトルの認識部分空間 23 への距離を計算し、その距離が小さくなるような各画像上のサンプル点を検出する。 サンプル点が検出されたらそのサンプル点の各画像における特徴ベクトルを基にし て新 Uヽ認識部分空間 23を作成し、作成された認識部分空間 23が収束するまで、 特徴ベクトルの認識部分空間 23への距離に基づ ヽたサンプル点検出処理と、顔画 像集合 10内の各画像のサンプル点における特徴ベクトルを基にした部分空間作成 処理とを繰り返し、認識部分空間 23の修正を行う。得られた認識部分空間 23は、顔 画像の特徴を学習した知識 13として画像照合時に利用される。
[0040] ここで、本実施例で用いられる、特徴ベクトルの認識部分空間 23への距離を用い た画像のサンプル点の検出の概念について説明する。図 3は、実施例 1に係る特徴 ベクトルの認識部分空間 23への距離を用いた顔画像上のサンプル点検出の概念を 説明する説明図である。
[0041] 図 3において、顔画像の特徴ベクトル 30の認識部分空間 23への距離 31は、その 値が小さいほど認識部分空間 23内に抽出された顔の特徴に対応する特徴がその顔 画像上に良く現れていることを意味する。すなわち、この距離が小さくなるようにサン プル点を選ぶことにより、平均顔画像 11上のサンプル点に対応したサンプル点をそ の画像上に設定することができる。
[0042] 図 1の説明に戻り、照合時処理の処理手順について説明する。まず、登録画像 14 における特徴ベクトルの認識部分空間 23への距離を計算し、その距離が小さくなる ような登録画像 14上のサンプル点を検出する。図 1には、登録画像 14上にサンプル 点を検出した登録画像 14の例 15が示されている。
[0043] 入力画像 16と照合するための登録画像 14を複数の登録画像 14の集合内から選 択する方法には、その複数の登録画像 14の集合内から登録画像 14を次々に選択 する方法や、本人によって入力された ID番号等で関連付けられた登録画像 14を特 定して選択する方法等がある。
[0044] ここで、「登録画像」とは、濃淡値を各々有する複数の画素の集まりからなるデジタ ル顔画像と、そのデジタル顔画像の複数の画素において、画素の周辺における局所 的な領域で作成された特徴ベクトル力 なる特徴ベクトル情報とを指して 、る。但し、 登録画像 14に特徴ベクトル情報を少なくとも含んで 、れば、顔画像の照合時処理を 行うことができる。
[0045] 入力画像 16に関しても、登録画像 14の場合と同様に、入力画像 16における特徴 ベクトルの認識部分空間 23への距離を計算し、その距離が小さくなるような入力画 像 16上のサンプル点を検出する。図 1には、入力画像 16上にサンプル点を検出した 入力画像 16の例 17が示されている。
[0046] 登録画像 14と入力画像 16上のサンプル点が検出されたら、次に、そのサンプル点 において認識部分空間 23内へ射影された登録画像 14の特徴ベクトルと入力画像 1 6の特徴ベクトルを用 、て両特徴ベクトルの相関値を認識部分空間 23内で算出する 。この処理をすベてのサンプル点に対して行う。そして、その入力画像 16と登録画像 14の画像ペアに対する相関値の平均値を算出し、類似度とする。図 1において、平 均顔画像 11上に 100個のサンプル点を設定した例 12では、 100個の相関値の平均 値 (類似度)を算出する。そして、その類似度に基づいて本人と他人の識別判定を行
[0047] 図 4は、実施例 1に係る登録画像 14および入力画像 16上の特徴ベクトルの相関値 算出処理の概念を説明する説明図である。図 4に示されるように、入力画像 16の特 徴ベクトルと登録画像 14の特徴べ外ルを認識部分空間 23上へ射影し、射影された 入力画像の特徴ベクトル 40と射影された登録画像の特徴ベクトル 41間の相関値を、 射影された両特徴ベクトル間のなす角 Θの余弦、すなわち cos Θで算出する。この 値が大きいほど、そのサンプル点における両画像の特徴が類似していることを意味 する。
[0048] 次に、本実施例に係る顔画像認識装置の構成について説明する。図 5は、実施例 1に係る顔画像認識装置の構成を示す機能ブロック図である。
[0049] 図 5に示すように、本実施例に係る顔画像認識装置 50は、顔画像入力受付部 51と 、正規化処理部 52と、顔画像学習部 53と、登録画像記憶部 54と、登録画像サンプ ル点検出部 55と、入力画像サンプル点検出部 56と、類似度算出部 57と、照合判定 部 58とを備えている。
[0050] 顔画像入力受付部 51は、学習用の顔画像集合、入力顔画像、登録用顔画像を装 置内に取り込むための受付部であり、受け付けた画像を正規ィ匕処理部 52に出力す る。
[0051] 正規化処理部 52は、顔画像入力受付部 51から画像を取得し、画像に正規化処理 をして各画像の顔のサイズを整合させ、受け取った画像が学習用の顔画像集合の画 像であれば顔画像学習部 53へ、登録用顔画像であれば登録画像記憶部 54へ、入 力顔画像であれば入力画像サンプル点検出部 56へ正規化した画像を出力する。
[0052] 顔画像学習部 53は、正規化された顔画像集合を正規化処理部 52から取得し、そ の顔画像集合 10を用いて平均顔画像 11を作成し、その平均顔画像 11を用いて特 徴ベクトルの認識部分空間 23を作成する。
[0053] 登録画像記憶部 54は、顔画像入力受付部 51に登録用顔画像が受け付けられたと きに、正規化処理部 52によって正規化された登録用画像 14を取得して記憶する。
[0054] 登録画像サンプル点検出部 55は、登録画像 14と入力画像 16との間で照合判定 が行われる際に、顔画像学習部 53から認識部分空間 23を読み込み、登録画像記 憶部 54力も登録画像 14を読み込んで、登録画像 14における特徴ベクトルの認識部 分空間 23への距離を用いて登録画像 14上のサンプル点を検出する。
[0055] 入力画像サンプル点検出部 56は、登録画像 14と入力画像 16との間で照合判定 が行われる際に、顔画像学習部 53から認識部分空間 23を読み込み、正規化処理 部 52から入力画像 16を読み込んで、入力画像 16における特徴ベクトルの認識部分 空間 23への距離を用いて入力画像 16上のサンプル点を検出する。
[0056] 類似度算出部 57は、登録画像 14と入力画像 16のサンプル点情報と、サンプル点 における登録画像 14と入力画像 16の特徴ベクトル情報とを読み込み、登録画像 14 と入力画像 16の間の類似度を算出する。
[0057] 照合判定部 58は、類似度算出部 57で得られた登録画像 14と入力画像 16の類似 度を読み込み、その類似度に基づいて登録画像 14と入力画像 16との照合判定を行 い、照合結果を出力する。
[0058] 以降、図 1に示された、本実施例に係る画像認識処理をさらに具体的に説明する。
図 6は、実施例 1に係る顔画像データを正規化する正規化処理のフローチャートであ る。この処理は正規化処理部 52によって行われる。なお、ここでは顔画像入力受付 部 51が受け付けた画像が学習用の顔画像集合であった場合を示してある。
[0059] まず、平均顔画像 11を仮に設けその画像上に仮の両目位置を設定する (ステップ S601)。次に、顔画像入力受付部 51を通じて顔画像集合 10内の顔画像データを読 み出し (ステップ S602)、読み出した各顔画像データの両目、鼻、口の位置を指定す る (ステップ S603)。ただし、ここでは最低限両目の位置を指定すればよい。 [0060] 両目、鼻、口の位置が指定された後、各顔画像データの両目位置が平均顔画像 1 1の両目位置に重なるようにァフィン変換を行 ヽ (ステップ S604)、ァフィン変換後の 各顔画像データの両目、鼻、口の正規位置を算出する (ステップ S605)。そして、算 出された両目、鼻、口の正規位置の平均値を算出し (ステップ S606)、平均顔画像 1 1の両目、鼻、口の位置を設定する (ステップ S607)。
[0061] 平均顔画像 11の両目、鼻、口の位置が設定されたら、各顔画像データの両目、鼻 、 口の位置が平均顔画像 11の両目、鼻、口の位置に重なるようにァフィン変換を行 Vヽ (ステップ S608)、画像集合 10内の各顔画像の正規化画像を作成する (ステップ S 609)。
[0062] なお、ここでは顔画像入力受付部 51が受け付けた画像が学習用の顔画像集合 10 であった場合を示したが、学習時処理が終了して、受け付けた画像が入力顔画像あ るいは登録用顔画像であった場合には、すでに平均顔画像 11の両目、鼻、口の位 置が学習時にお!、て設定されて!、るので、顔画像データを読み出し (ステップ S602 )、読み出した顔画像データの両目、鼻、口の位置を指定し (ステップ S603)、顔画 像データの両目、鼻、口の位置が平均顔画像 11の両目、鼻、口の位置に重なるよう ァフィン変換を行い (ステップ S608)、読み込んだ画像の正規化画像を作成する (ス テツプ S609)処理を行うだけでよ！、。
[0063] 次に、顔画像学習部 53において顔画像集合 10から特徴ベクトルの認識部分空間 23を作成する処理について説明する。図 7は、実施例 1に係る顔画像集合 10から特 徴ベクトルの認識部分空間 23を作成する認識部分空間作成処理のフローチャート である。
[0064] まず、学習用の顔画像集合 10から N個の顔画像データを読み込む (ステップ S701 )。読み込まれた N個の顔画像データの対応する各画素の濃淡値の平均を算出し（ ステップ S702)、平均顔画像 11を作成する (ステップ S703)。そして、作成された平 均顔画像 11上に M個のサンプル点を設定する (ステップ S704)。
[0065] 同様に、 N個の顔画像集合 10内の各顔画像データ上にも平均顔画像 11上のサン プル点に対応する M個のサンプル点を設定し (ステップ S705)、対応する M個のサ ンプル点上で平均顔画像 11と N個の各顔画像データの特徴ベクトル間の相関を計 算する（ステップ S 706)。
[0066] 続いて、この特徴ベクトル間の相関がある閾値よりも大きいかどうかを調べ (ステップ S707)、相関が大きい場合は、 N個の各顔画像データ上に平均顔画像 11の M個の サンプル点に対応するサンプル点を確定する (ステップ S708)。相関が小さ!/、場合 は、 N個の各顔画像データ上に M個のサンプル点を設定し直し (ステップ S 705)、相 関が大きくなるサンプル点が見つ力るまでこれらの処理 (ステップ S705〜ステップ S7 07)を繰り返す。
[0067] そして、 N個の各顔画像データ上に平均顔画像 11の M個のサンプル点に対応す るサンプル点を確定 (ステップ S708)した後、 N個の各顔画像データ上の各々 M個 のサンプル点における特徴ベクトルの認識部分空間 23を M個作成する（ステップ S7 09)。
[0068] 次に、図 7の認識部分空間 23を作成する処理 (ステップ S 709)において、サンプル 点での認識部分空間 23を作成する具体的な作成処理について説明する。図 8は、 実施例 1に係るサンプル点での認識部分空間 23を作成する認識部分空間作成処理 のフローチャートである。
[0069] まず、 N個の学習用の顔画像集合 10内の顔画像データから Ns組の本人画像のデ ータペアを選択する (ステップ S801)。本人画像のデータペアとは、顔の表情や撮影 角度等の相違によって異なる複数の本人画像力 なるものである。そして、データべ ァの対応するサンプル点における特徴ベクトルの差分を計算し (ステップ S802)、そ れを基にして本人差部分空間 Ssを算出する (ステップ S803)。
[0070] 次に、 N個の学習用の顔画像集合 10内の顔画像データ力も N 0組の他人の画像 のデータペアを選択し (ステップ S804)、データペアの対応するサンプル点における 特徴ベクトルの差分を計算し (ステップ S805)、それを基にして他人差部分空間 S 0 を算出する (ステップ S806)。
[0071] 本人差部分空間 Ssと他人差部分空間 S 0が算出されたら、本人差部分空間 Ssの 補空間 SsCと他人差部分空間 S 0との交わり S、すなわち
s = So n SsC
を算出し、これを認識部分空間 23とする (ステップ S807)。 [0072] 次に、図 8の本人差部分空間 Ssおよび他人差部分空間 S 0を作成する処理 (ステ ップ S803、ステップ S806)において、サンプル点での特徴ベクトルを基にして部分 空間を作成する具体的な処理について説明する。図 9は、実施例 1に係る特徴べタト ルを基にして部分空間を作成する部分空間作成処理のフローチャートである。
[0073] まず、 R次元の N個の特徴ベクトル Xi (l≤i≤N)を入力する（ステップ S901)。そし て、 R行 R列の相関行列 Mを
M (k, 1) = 1/N ∑ Xi (k) Xi (l)
の算定式を用いて算出する（ステップ S 902)。ここで、 l≤k, 1≤Rである。
[0074] 相関行列 Mが得られたらそれを用いて R個の固有値を計算し (ステップ S903)、大 きいほうから r個（r≤R)の固有値を抽出して (ステップ S904)、r個の固有値に対応 する固有ベクトルが張る空間を算出し、 r次元の部分空間を求める (ステップ S905)。 これは数学的には主成分分析という統計的手法と同一である。
[0075] 次に、図 8の本人差部分空間 Ssの補空間 SsCと他人差部分空間 Soとの交わりを算 出することによって認識部分空間 23を作成する処理 (ステップ S807)において、本 人差部分空間 Ssと他人差部分空間 Soから認識部分空間 23を算出する具体的な処 理について説明する。図 10は、実施例 1に係る認識部分空間 23を算出する認識部 分空間算出処理のフローチャートである。
[0076] まず、本人差部分空間 Ssの射影行列 Psを算出し (ステップ S1001)、次に他人差 部分空間 Soの射影行列 Poを算出する (ステップ S 1002)。そして、定数 a (0≤ a≤ 1)を設定し、式
P = a P o + (1 - α ) (I - Ps)
により、行列 Pを算出する (ステップ S1003)。ここで、 Iは単位行列である。 aは他人 差部分空間と本人差部分空間の補集合との重みを調整するパラメータであり、任意 に指定できる。以下、この行列 Pを混合行列と呼ぶこととする。
[0077] そして、混合行列の固有値を算出し (ステップ S 1004)、その固有値に対する閾値 を設定する (ステップ S1005)。混合行列の固有値の取りうる範囲は 0以上 1以下であ り、閾値は 1に近ぐ 1以下の値に設定する。そして、閾値以上の固有値を抽出してそ の固有値に対する固有べ外ルが張る空間を算出し、認識部分空間 23とする (ステツ プ S 1006)。
[0078] 次に、顔画像学習部 53において、図 7で示された処理により作成された認識部分 空間 23を、学習用の顔画像集合 10を用いて修正しながら顔の特徴を学習する具体 的な処理について説明する。図 11は、実施例 1に係る顔画像集合 10から特徴べタト ルの認識部分空間 23を修正する認識部分空間修正処理のフローチャートである。
[0079] まず、認識部分空間 23の収束計算の最大反復回数を設定し (ステップ S1101)、 学習用の顔画像集合 10内の N個の各顔画像上に平均顔画像 11上の M個のサンプ ル点に対応する M個のサンプル点を設定する（ステップ S1102)。そして、 N個の各 顔画像における M個の特徴ベクトルの対応する M個の認識部分空間 23への距離を 計算する（ステップ S 1103)。
[0080] そして、この認識部分空間 23への距離がある閾値よりも小さいかどうかを調べ (ステ ップ S 1104)、距離が小さい場合は、 N個の各顔画像データ上に平均顔画像 11上 の M個のサンプル点に対応するサンプル点を確定する（ステップ S 1105)。距離が大 きい場合は、 N個の各顔画像データ上に M個のサンプル点を設定し直し (ステップ S 1102)、距離が小さくなるサンプル点が見つ力るまでこれらの処理 (ステップ S1102 〜ステップ S 1104)を繰り返す。
[0081] N個の各顔画像データ上に平均顔画像 11上の M個のサンプル点に対応するサン プル点が確定 (ステップ S 1105)されたら、 N個の各顔画像データ上の各々 M個のサ ンプル点における特徴ベクトルの認識部分空間 23を M個作成する（ステップ S1106 )。そして、この認識部分空間 23が収束した力どうかを調べ (ステップ S 1107)、収束 した場合は学習が終了したとして認識部分空間 23の修正処理を終える。
[0082] 収束しな力つた場合には、次に、収束計算の反復回数が設定した最大反復回数よ り小さいかどうかを調べ (ステップ S 1108)、小さくない場合には認識部分空間 23の 修正処理を終え、小さい場合には、 N個の各顔画像データ上に M個のサンプル点を 設定し直して (ステップ S 1102)、認識部分空間 23が収束するまでこれらの処理 (ス テツプ S1102〜ステップ S 1108)を繰り返す。
[0083] 次に、図 11に示された、認識部分空間 23が収束したかどうかを調べる処理 (ステツ プ S1107)の具体的な手順について説明する。図 12は、実施例 1に係る認識部分 空間 23の収束を判定する認識部分空間収束判定処理のフローチャートである。
[0084] まず、修正前後の 2つの認識部分空間 23に対する正準角の閾値を設定し (ステツ プ S1201)、その正準角を算出する（ステップ S1202)。そして、複数の正準角の内、 最小の正準角が閾値よりも小さいかどうかを調べ (ステップ S1203)、小さい場合は認 識部分空間 23が収束したと判定し (ステップ S1204)、小さくない場合は認識部分空 間 23が未収束と判定する（ステップ S 1205)。
[0085] 次に、登録画像 14と入力画像 16を照合して本人確認を行う照合判定処理の処理 手順を説明する。図 13は、実施例 1に係る照合判定処理の処理手順を示すフローチ ヤートである。
[0086] まず、登録画像サンプル点検出部 55は、登録画像記憶部 54に記憶されて 、る登 録画像 14と顔画像学習部 53により作成された認識部分空間 23のデータを読み込 み、登録画像 14上に平均顔画像 11上のサンプル点に対応する M個のサンプル点 を設定する (ステップ S1301)。そして、対応する各サンプル点上で登録画像 14の特 徴ベクトルの認識部分空間 23への距離を算出する (ステップ S1302)。この距離の 概念は、図 3において既に説明したものである。
[0087] その後、この認識部分空間 23への距離がある閾値よりも小さいかどうかを調べ (ス テツプ S1303)、距離が小さい場合は、 N個の各顔画像データ上に平均顔画像 11の M個のサンプル点に対応するサンプル点を確定する（ステップ S1304)。距離が小さ くない場合には、 N個の各顔画像データ上に M個のサンプル点を設定し直し (ステツ プ S1301)、距離が小さくなるサンプル点が見つ力るまでこれらの処理 (ステップ S 13 01〜ステップ S 1303)を繰り返す。これらの処理 (ステップ S 1301〜ステップ S 1304 )は、登録画像サンプル点検出部 55にて行われる。
[0088] 次に、入力画像サンプル点検出部 56は、正規化処理部 52より正規化された入力 画像 16と、顔画像学習部 53より作成された認識部分空間データ 23とを読み込み、 入力画像 16上に平均顔画像 11上のサンプル点に対応する M個のサンプル点を設 定する (ステップ S1305)。そして、対応する各サンプル点上で入力画像 16の特徴べ タトルの認識部分空間 23への距離を算出する (ステップ S1306)。この距離の概念は 、図 3において既に説明したものである。 [0089] 続いて、この認識部分空間 23への距離がある閾値よりも小さいかどうかを調べ (ス テツプ S1307)、距離が小さい場合は、顔画像データ上に平均顔画像 11の M個の サンプル点に対応するサンプル点を確定する (ステップ S 1308)。距離が小さくない 場合には、顔画像データ上に M個のサンプル点を設定し直し (ステップ S1305)、距 離が小さくなるサンプル点が見つ力るまでこれらの処理 (ステップ S 1305〜ステップ S 1307)を繰り返す。これらの処理 (ステップ S 1305〜ステップ S 1307)は、入力画像 サンプル点検出部 56にて行われる。
[0090] そして、類似度算出部 57は、入力画像 16と登録画像 14の対応する各サンプル点 で、入力画像 16と登録画像 14の特徴ベクトルの各認識部分空間 23内での相関を 算出する（ステップ S 1309)。この認識部分空間 23内での相関の概念は、図 4にお いて既に説明したものであり、具体的には、認識部分空間 23上に射影された登録画 像 14と入力画像 16の両特徴ベクトル間のなす角 Θの余弦、すなわち cos Θで表さ れる。
[0091] その後、類似度算出部 57は、各サンプル点における相関値の平均値を求めること により、登録画像 14と入力画像 16間の類似度を算出する (ステップ S1310)。そして 、照合判定部 58は、この類似度の大小に基づいて登録画像 14と入力画像 16の照 合判定を行い (ステップ S1311)、登録画像 14に対応する本人であるかどうかの判定 結果を出力する (ステップ S1312)。
[0092] 次に、本実施例に係る顔画像認識装置のハードウェア構成について説明する。図 14は実施例 1に係る顔画像認識装置のシステム構成を示すブロック図である。
[0093] 図 14に示すように、この顔画像認識装置 50は、インターフェース部 64と、演算制御 部 65と、主記憶部 66と、補助記憶部 67とからなり、入力装置 68と、表示装置 69とが 接続されている、コンピュータを利用したスタンドアローン型における構成である。
[0094] また、この顔画像認識装置 50には、入力画像を取り込むための CCDカメラ 60がィ ンターフェース 64を介して接続されており、 CCDカメラ 60は画像入力部 61と、画像 メモリ 62と、インターフェース部 63で構成されている。
[0095] まず、 CCDカメラ 60の構成について具体的に説明する。画像入力部 61は、被写 体である顔からの光をレンズで集光し、 CCD (Charge Coupled Device)を使用して顔 画像を電気信号に変換し、ディジタルデータに変換して顔画像データを画像メモリ 6 2に記録する。
[0096] 画像メモリ 62は画像入力部 61のバッファメモリとして利用され、顔画像認識装置 50 が顔画像の入力を受け付けることができない場合に、顔画像データを一時的に記憶 する。顔画像認識装置 50が入力画像の受け付け可能な状態となれば、インターフエ ース部 63を通じて顔画像データが顔画像認識装置 50に出力される。
[0097] 次に、顔画像認識装置 50の構成について具体的に説明する。インターフェース部 64は、演算制御部 65の制御のもと、 CCDカメラ 60からの入力画像の受け付けを行 い、また入力装置 68からのデータの受け付け、表示装置 69へのデータの受け渡しを 行う。
[0098] 入力装置 68は、キーボード、マウス、タツチパネル等で構成され、顔画像認識プロ グラム実行時には、顔画像に対し両目、鼻、口の位置を指定する際 (ステップ S603) や作成された平均顔上にサンプル点を指定する際 (ステップ S704)等に用いられる
[0099] 表示装置 69は、ディスプレイモニタであり、顔画像認識プログラムを実行時には、 平均顔画像 11上のサンプル点の表示、登録画像 14上のサンプル点の表示、入力 画像 16上のサンプル点の表示、あるいは照合判定結果の表示 (ステップ S 1312)等 に用いられる。
[0100] 補助記憶部 67は、例えば、フロッピー（登録商標）ディスクドライブ装置 (FDD)、ハ ードディスクドライブ装置（HDD)、 CD—ROM、 CD-R, CD— RW等からデータを 読み込むことができる CDドライブ装置、 DVD-ROM, DVD-R, DVD— RW、 D VD— RAM等力もデータを読み込むことができる DVDドライブ装置等である。
[0101] 本実施の形態の顔画像認識装置 50で実行される顔画像認識プログラムは、 FD、 CD— ROMまたは DVD— ROM等に実行可能な形式のファイルで記録されて提供 される。そして、フロッピー (登録商標)ディスクドライブ装置、 CDドライブ装置または DVDドライブ等によって読み出されて実行される。
[0102] また、学習用の顔画像集合 10内の顔画像データおよび登録用の顔画像データも F D、 CD— ROMまたは DVD— ROM等により提供され、フロッピー（登録商標）デイス クドライブ装置、 CDドライブ装置または DVDドライブによって読み出されて、学習用 の顔画像データは顔画像学習部 53において記憶、処理され、登録用の顔画像デー タは登録画像記憶部 54に記憶されるようになっている。この補助記憶部 67は、本発 明の記憶手段を構成するものである。
[0103] なお、この補助記憶部 67は顔画像認識装置 50内に直接接続されている必要はな ぐ補助記憶部 67がネットワーク上に存在する構成であってもよい。例えば、インター ネットや LAN上に顔画像サーバを設置し、学習用の顔画像データや登録用の顔画 像データを記憶して、必要に応じてダウンロードする構成としてもよい。この場合には 、顔画像認識装置 50には、さらにモデムや LANボード等の通信部を設ける必要が ある。
[0104] また、本実施の形態の顔画像認識装置 50は、システム全体を制御する CPU等の 演算制御部 65と、 RAMと ROM等の記憶媒体力もなる主記憶部 66が設けられてい る。 ROMには予めブートプログラム等が記憶されており、 RAMには HDから読み出 した OS (オペレーションシステム）の一部および顔画像認識プログラム等が記憶され 、演算制御部 65がこれらのプログラムを実行する。さらに、 RAMには顔画像認識プ ログラムの実行時に読み出された各種の顔画像データ、サンプル点データ、演算結 果等が記憶される。
[0105] 上述してきたように、本実施例 1では、まず、顔画像集合 10からサンプル点を指定 するのに用いる平均顔画像 11を作成し、平均顔画像 11上のサンプル点に対応する 顔画像集合 10内の各顔画像上のサンプル点を検出して特徴ベクトルの認識部分空 間 23を作成し、その認識部分空間 23を用いて平均顔画像 11上のサンプル点に対 応する登録画像 14および入力画像 16上のサンプル点を検出し、検出されたサンプ ル点において登録画像 14と入力画像 16の認識部分空間 23内での特徴ベクトルの 類似度を算出し、登録画像 14と入力画像 16の照合判定を行うよう構成したので、登 録画像 14および入力画像 16の特徴を比較するサンプル点を効率的に設定し、本人 確認処理を短時間で実行することができる。
[0106] なお、本実施例 1では、画像認識装置の認識対象画像が顔画像である場合を示し たが、本発明はこれに限定されるものではなぐ何らかの目印となるものが含まれる身 体の所定の部位にも適用できる。例えば、掌紋の例では、顔の場合の目鼻口に対応 するものとして手筋を用いることができる。
[0107] すなわち、顔画像の場合は平均顔画像 11を作成する際に両目、鼻、口の位置を 指定したが (ステップ S603)、掌紋画像の場合には代わりに手筋の位置を指定すれ ばよい。また、特徴ベクトルとしては掌紋の***線の方向、曲率等の特徴量を用いれ ばよい。それ以外の処理は顔画像の場合と変わるところがないので、掌紋画像認識 装置を容易に実現することができる。
実施例 2
[0108] ところで、上記実施例 1では、登録画像 14と入力画像 16との間の類似度を、実数 要素からなる特徴ベクトルの相関を計算することにより算出していたが、特徴ベクトル の実数要素を 2値ィ匕した概略値カゝらなる特徴ベクトルを生成し、登録画像 14と入力 画像 16の概略値力もなる特徴ベクトルの一致度を算出して入力画像 16と類似した 登録画像 14を抽出し、抽出された登録画像 14を用いて入力画像 16との間の詳細な 照合処理を実行することとしてもょ 、。
[0109] このように、始めに入力画像 16と類似した登録画像 14を簡略ィ匕した計算により絞り 込み、絞り込んだ登録画像 14に対して入力画像 16との間の詳細な照合処理を行う ことにより、入力画像 16と比較する登録画像 14の数や、登録画像 14および入力画 像 16上のサンプル点の数が非常に多いような場合でも、登録画像 14と入力画像 16 の照合処理を高速に実行できるようになる。そこで、本実施例 2では、入力画像 16と の間で詳細な照合処理をおこなう登録画像 14を 2値ィ匕した特徴ベクトルを用いて抽 出する場合について説明する。
[0110] 図 15は、実施例 2に係る照合判定処理の処理手順を示すフローチャートである。な お、登録画像 14と入力画像 16上のサンプル点を検出する処理手順は、図 13のステ ップ S1301からステップ S1308までの手順と同様であるのでここでは説明を省略す る。
[0111] また、実施例 2に係る顔画像認識装置の機能的構成は、図 5に示した顔画像認識 装置の機能的構成とほぼ同様である。ただし、実施例 2における類似度算出部は、 実数要素からなる登録画像 14と入力画像 16の特徴ベクトルを 2値ィ匕し、 2値化した 特徴ベクトルを用いて登録画像 14と入力画像 16との間の一致度を算出する処理を さらに行う。この処理については、図 15を用いて詳しく説明する。
[0112] まず、実施例 2における類似度算出部は、登録画像 14および入力画像 16におけ る各サンプル点上の認識部分空間 23に射影された特徴ベクトルを 2値ィ匕し (ステップ S1501)、各サンプル点上で 2値ィ匕された特徴ベクトルの一致度を算出する (ステツ プ S 1502)。
[0113] 具体的には、特徴ベクトルを構成する実数要素の符号が正の場合にはその要素を 「1」に、符号が負の場合にはその要素を「0」に変換し、登録画像 14の特徴ベクトル と入力画像 16の特徴ベクトルとの対応する要素間で 2値ィ匕された値が一致するカゝ否 かを判定し、一致した要素の数を一致度として設定する処理をおこなう。なお、類似 度算出部は、実数要素を 2値の要素に変換する際に、元の実数要素を記憶しておく
[0114] その後、登録画像 14と入力画像 16とのすベての組において、各サンプル点に対 応する特徴ベクトルの一致度を平均した平均値を算出し (ステップ S 1503)、平均値 が所定の閾値よりも大きい登録画像 14を所定数抽出する (ステップ S 1504)。
[0115] そして、抽出された登録画像 14と入力画像 16との間の各サンプル点上での認識 部分空間 23内の相関値を、記憶しておいた実数要素力もなる特徴ベクトルを用いて 算出し (ステップ S1505)、登録画像 14と入力画像 16間の類似度を各サンプル点に おける相関値の平均値を求めることにより算出する (ステップ S1506)。
[0116] その後、照合判定部 58は、この類似度の大小に基づいて登録画像 14と入力画像 16の照合判定を行い (ステップ S1507)、登録画像 14の人物と入力画像 16の人物 とが同一人物であるかどうかの判定結果を出力する (ステップ S 1508)。
[0117] 上述してきたように、本実施例 2では、検出された入力画像 16上のサンプル点にお ける特徴ベクトルの実数要素、および、登録画像 14上のサンプル点における特徴べ タトルの実数要素を「1」または「0」に 2値ィ匕した特徴ベクトルを用いて、入力画像 16と 類似する登録画像 14を抽出し、その後、抽出された登録画像 14と入力画像 16の実 数要素からなる特徴ベクトルの相関に基づいて類似度を算出して入力画像 16と登録 画像 14とを照合し、本人確認を行うこととしたので、入力画像 16と照合する登録画像 14を絞り込み、絞り込んだ登録画像 14に対して入力画像 16との間の詳細な照合処 理を行うことにより、照合精度を維持したまま、さらに高速に本人確認処理を実行する ことができる。
[0118] なお、本実施例 2では、特徴ベクトルの実数要素を 2値ィ匕する場合を示した力 本 発明はこれに限定されるものではなぐ実数要素を 3値化、 4値ィ匕するなどした概略 値カゝらなる特徴ベクトルを用いて入力画像 16と類似する登録画像 14を抽出すること としてもよいし、実数要素を整数要素に変換した概略値カゝらなる特徴ベクトルを用い て入力画像 16と類似する登録画像 14を抽出することとしてもよい。
産業上の利用可能性
[0119] 以上のように、本発明にかかる画像認識装置、画像認識方法およびその方法をコ ンピュータに実行させるプログラムは、画像の特徴を比較するサンプル点を効率的に 設定し、本人確認処理を短時間で実行することが必要な画像認識システムに有用で ある。

Claims

請求の範囲
[1] 本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および 他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較すること によって画像を照合し本人確認を行う画像認識装置において、
前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作 成手段と、
前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上 のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する 部分空間作成手段と、
前記入力画像および登録画像のサンプル点を前記部分空間に基づ!/、て検出する 画像サンプル点検出手段と、
前記入力画像上のサンプル点における特徴ベクトルと前記登録画像上のサンプル 点における特徴ベクトルとの間の類似度を算出して該入力画像と登録画像とを照合 し本人確認を行う照合判定手段と
を備えたことを特徴とする画像認識装置。
[2] 前記画像サンプル点検出手段は、前記平均画像上のサンプル点に対応する入力 画像および登録画像上のサンプル点を該入力画像の特徴ベクトルと前記部分空間 との距離および登録画像の特徴ベクトルと前記部分空間との距離に基づいてそれぞ れ検出することを特徴とする請求項 1に記載の画像認識装置。
[3] 前記部分空間作成手段は、前記画像集合内の画像における特徴ベクトルと前記平 均画像における特徴ベクトルとの相関を用いて該平均画像上に設定されたサンプル 点に対応する画像集合内の画像上のサンプル点を検出する第 1の検出手段と、 前記第 1の検出手段により検出された前記画像集合内の画像上のサンプル点にお ける特徴べ外ルを用いて暫定的な特徴ベクトルの部分空間を作成する暫定部分空 間作成手段と、
前記画像集合内の画像における特徴ベクトルの前記部分空間への距離に基づい て前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサ ンプル点を検出する第 2の検出手段と、 前記第 2の検出手段により検出された前記画像集合内の画像上のサンプル点にお ける特徴べ外ルを用いて前記暫定部分空間作成手段により作成された前記部分空 間を修正する部分空間修正手段と
を備えたことを特徴とする請求項 1または 2に記載の画像認識装置。
[4] 前記暫定部分空間作成手段は、前記画像集合から本人の画像ペアを用意して、 前記平均画像上に設定されたサンプル点に対応する前記第 1の検出手段により検 出された画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分 空間を算出する第 1の本人差部分空間算出手段と、
前記画像集合から他人の画像ペアを用意して、前記平均画像上に設定されたサン プル点に対応する前記第 1の検出手段により検出された画像ペアのサンプル点にお ける特徴べ外ル間の差分を求めて他人差部分空間を算出する第 1の他人差部分空 間算出手段と、
前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該 交わり部を部分空間とする第 1の認識部分空間作成手段と
を備えたことを特徴とする請求項 3に記載の画像認識装置。
[5] 前記部分空間修正手段は、前記画像集合から本人の画像ペアを用意して、前記 平均画像上に設定されたサンプル点に対応する前記第 2の検出手段により検出され た画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間 を算出する第 2の本人差部分空間算出手段と、
前記画像集合から他人の画像ペアを用意して、前記平均画像上に設定されたサン プル点に対応する前記第 2の検出手段により検出された画像ペアのサンプル点にお ける特徴べ外ル間の差分を求めて他人差部分空間を算出する第 2の他人差部分空 間算出手段と、
前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該 交わり部を部分空間とする第 2の認識部分空間作成手段と、
前記第 2の認識部分空間作成手段で作成された部分空間が収束するまで前記第 2 の検出手段と前記第 2の本人差部分空間算出手段と前記第 2の他人差部分空間算 出手段と前記第 2の認識部分空間作成手段とを繰り返し用いることにより前記部分空 間を更新する認識部分空間更新手段と
を備えたことを特徴とする請求項 3に記載の画像認識装置。
[6] 前記照合判定手段は、前記登録画像と前記入力画像との間の対応するサンプル 点における特徴ベクトルの前記部分空間内での相関に基づ!/、て類似度を算出して 該入力画像と登録画像とを照合し本人確認を行うことを特徴とする請求項 1または 2 に記載の画像認識装置。
[7] 前記照合判定手段は、前記入力画像上のサンプル点における特徴ベクトルの要素 および前記登録画像上のサンプル点における特徴ベクトルの要素を概略値に変換 することにより生成した特徴ベクトルに基づいて入力画像と類似する登録画像を抽出 し、抽出された登録画像および入力画像の対応するサンプル点における変換前の要 素からなる特徴ベクトルの前記部分空間内での相関に基づいて類似度を算出して該 入力画像と登録画像とを照合し本人確認を行うことを特徴とする請求項 1または 2に 記載の画像認識装置。
[8] 本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および 他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較すること によって画像を照合し本人確認を行う画像認識方法において、
前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作 成工程と、
前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上 のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する 部分空間作成工程と、
前記入力画像および登録画像のサンプル点を前記部分空間に基づ!、て検出する 画像サンプル点検出工程と、
前記入力画像上のサンプル点における特徴ベクトルと前記登録画像上のサンプル 点における特徴ベクトルとの間の類似度を算出して該入力画像と登録画像とを照合 し本人確認を行う照合判定工程と
を含んだことを特徴とする画像認識方法。
[9] 本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および 他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較すること によって画像を照合し本人確認を行う画像認識方法をコンピュータに実行させるプロ グラムであって、
前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作 成工程と、
前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上 のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する 部分空間作成工程と、
前記入力画像および登録画像のサンプル点を前記部分空間に基づ!、て検出する 画像サンプル点検出工程と、
前記入力画像上のサンプル点における特徴ベクトルと前記登録画像上のサンプル 点における特徴ベクトルとの間の類似度を算出して該入力画像と登録画像とを照合 し本人確認を行う照合判定工程と
をコンピュータに実行させるプログラム。
PCT/JP2005/009575 2004-06-07 2005-05-25 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム WO2005122093A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/628,619 US7835547B2 (en) 2004-06-07 2005-05-25 Image recognition device, image recognition method, and program for causing computer to execute the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-168945 2004-06-07
JP2004168945A JP4606779B2 (ja) 2004-06-07 2004-06-07 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム

Publications (1)

Publication Number Publication Date
WO2005122093A1 true WO2005122093A1 (ja) 2005-12-22

Family

ID=35498938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/009575 WO2005122093A1 (ja) 2004-06-07 2005-05-25 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム

Country Status (3)

Country Link
US (1) US7835547B2 (ja)
JP (1) JP4606779B2 (ja)
WO (1) WO2005122093A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305191A (ja) * 2007-06-07 2008-12-18 Aruze Corp 個人識別データ登録装置
WO2009028551A1 (ja) * 2007-08-31 2009-03-05 Fit Design System Co., Ltd. 認証装置及び認証方法
WO2010126120A1 (ja) * 2009-04-30 2010-11-04 グローリー株式会社 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
JP2011022996A (ja) * 2009-07-16 2011-02-03 Mitsubishi Electric Research Laboratories Inc 画像における物体の変位可能な特徴を正規化するための方法
JP2013027011A (ja) * 2011-07-26 2013-02-04 Kyoto Univ 画像管理装置、画像管理プログラム、および画像管理方法
JP2022520120A (ja) * 2019-08-12 2022-03-28 深▲セン▼市商▲湯▼科技有限公司 顔画像認識方法及び装置、電気機器並びに記憶媒体

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311294B2 (en) 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US8600174B2 (en) 2005-09-28 2013-12-03 Facedouble, Inc. Method and system for attaching a metatag to a digital image
US8369570B2 (en) * 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
US7450740B2 (en) * 2005-09-28 2008-11-11 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US7689011B2 (en) * 2006-09-26 2010-03-30 Hewlett-Packard Development Company, L.P. Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications
JP5121506B2 (ja) 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8457366B2 (en) * 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
JP5459312B2 (ja) * 2009-03-27 2014-04-02 日本電気株式会社 パターン照合装置、パターン照合方法及びパターン照合プログラム
US8571273B2 (en) * 2009-05-22 2013-10-29 Nokia Corporation Method and apparatus for performing feature extraction using local primitive code
US8842191B2 (en) * 2010-06-03 2014-09-23 Recognition Robotics, Inc. System and method for visual recognition
JP2012133679A (ja) * 2010-12-22 2012-07-12 Fujitsu Ltd 画像照合プログラム、画像照合方法、及び画像照合装置
US9183429B2 (en) 2012-08-15 2015-11-10 Qualcomm Incorporated Method and apparatus for facial recognition
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
KR20160011916A (ko) * 2014-07-23 2016-02-02 삼성전자주식회사 얼굴 인식을 통한 사용자 식별 방법 및 장치
JP6643856B2 (ja) * 2014-11-28 2020-02-12 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
US10248888B2 (en) * 2014-11-28 2019-04-02 Canon Kabushiki Kaisha Classifying method, storage medium, inspection method, and inspection apparatus
JP6616645B2 (ja) * 2014-11-28 2019-12-04 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
US9959482B2 (en) * 2014-11-28 2018-05-01 Canon Kabushiki Kaisha Classifying method, storage medium, inspection method, and inspection apparatus
US10824959B1 (en) * 2016-02-16 2020-11-03 Amazon Technologies, Inc. Explainers for machine learning classifiers
WO2019000462A1 (zh) * 2017-06-30 2019-01-03 广东欧珀移动通信有限公司 人脸图像处理方法、装置、存储介质及电子设备
JP6897793B2 (ja) 2017-12-08 2021-07-07 日本電気株式会社 人物照合装置、方法、及びプログラム
US10643063B2 (en) * 2018-04-09 2020-05-05 Qualcomm Incorporated Feature matching with a subspace spanned by multiple representative feature vectors
JP7300646B2 (ja) * 2018-08-07 2023-06-30 住友ナコ フォ－クリフト株式会社 搬送装置
US10956719B2 (en) * 2018-11-30 2021-03-23 Qualcomm Incorporated Depth image based face anti-spoofing
JP7409819B2 (ja) * 2019-10-04 2024-01-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 算出装置、算出方法、算出プログラム
CN111091075B (zh) * 2019-12-02 2023-09-05 北京华捷艾米科技有限公司 人脸识别方法、装置、电子设备及存储介质
CN114373004B (zh) * 2022-01-13 2024-04-02 强联智创（北京）科技有限公司 一种动态图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04112391A (ja) * 1990-09-03 1992-04-14 Nippon Telegr & Teleph Corp <Ntt> パターン識別方法
JP2004118731A (ja) * 2002-09-27 2004-04-15 Glory Ltd 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136433A1 (en) * 2001-03-26 2002-09-26 Koninklijke Philips Electronics N.V. Adaptive facial recognition system and method
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
JP2004118627A (ja) * 2002-09-27 2004-04-15 Toshiba Corp 人物認証装置および人物認証方法
KR100571826B1 (ko) * 2003-12-02 2006-04-17 삼성전자주식회사 대용량 얼굴 인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04112391A (ja) * 1990-09-03 1992-04-14 Nippon Telegr & Teleph Corp <Ntt> パターン識別方法
JP2004118731A (ja) * 2002-09-27 2004-04-15 Glory Ltd 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305191A (ja) * 2007-06-07 2008-12-18 Aruze Corp 個人識別データ登録装置
US8180117B2 (en) 2007-06-07 2012-05-15 Universal Entertainment Corporation Individual identification data register for storing components and projection matrices
WO2009028551A1 (ja) * 2007-08-31 2009-03-05 Fit Design System Co., Ltd. 認証装置及び認証方法
WO2010126120A1 (ja) * 2009-04-30 2010-11-04 グローリー株式会社 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
JP2010262392A (ja) * 2009-04-30 2010-11-18 Glory Ltd 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
JP2011022996A (ja) * 2009-07-16 2011-02-03 Mitsubishi Electric Research Laboratories Inc 画像における物体の変位可能な特徴を正規化するための方法
JP2013027011A (ja) * 2011-07-26 2013-02-04 Kyoto Univ 画像管理装置、画像管理プログラム、および画像管理方法
JP2022520120A (ja) * 2019-08-12 2022-03-28 深▲セン▼市商▲湯▼科技有限公司 顔画像認識方法及び装置、電気機器並びに記憶媒体

Also Published As

Publication number Publication date
JP4606779B2 (ja) 2011-01-05
JP2005346654A (ja) 2005-12-15
US20080273761A1 (en) 2008-11-06
US7835547B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
WO2005122093A1 (ja) 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
CN108009528B (zh) 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
US12014571B2 (en) Method and apparatus with liveness verification
US7336806B2 (en) Iris-based biometric identification
JP4156430B2 (ja) データベース自動更新方法を用いた顔検証方法及びそのシステム
WO2017198014A1 (zh) 一种身份认证方法和装置
KR102415509B1 (ko) 얼굴 인증 방법 및 장치
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
KR20190075560A (ko) 라이브니스 검사 방법 및 장치
MX2012010637A (es) Procesador de informacion biologica.
US20190392129A1 (en) Identity authentication method
JP2020184331A (ja) ライブネス検査方法及び装置、顔認証方法及び装置
WO2010126120A1 (ja) 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
KR20210091966A (ko) 얼굴 및 스트레스 인식 장치 및 방법
WO2021131029A1 (ja) フィルタ生成装置、推定装置、顔認証システム、フィルタ生成方法および記録媒体
JP2014529816A (ja) 虹彩認識による識別
KR101070442B1 (ko) 다중 레벨 얼굴 인식을 이용한 얼굴 인증 시스템 및 인증 방법
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
JP4187494B2 (ja) 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
JP4887966B2 (ja) 照合装置
US11663805B1 (en) Utilizing sensor data for automated user identification
US10984085B2 (en) Biometric recognition for uncontrolled acquisition environments
KR20090031084A (ko) 얼굴 인식 장치, 얼굴 인식 등록 및 인증 방법
US10949516B2 (en) Information processing apparatus, recording medium for recording biometric authentication program, and biometric authentication method
JP5628570B2 (ja) 画像照合装置および画像照合方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11628619

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase