WO2019003973A1 - 顔認証装置、顔認証方法およびプログラム記録媒体 - Google Patents

顔認証装置、顔認証方法およびプログラム記録媒体 Download PDF

Info

Publication number
WO2019003973A1
WO2019003973A1 PCT/JP2018/023066 JP2018023066W WO2019003973A1 WO 2019003973 A1 WO2019003973 A1 WO 2019003973A1 JP 2018023066 W JP2018023066 W JP 2018023066W WO 2019003973 A1 WO2019003973 A1 WO 2019003973A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature point
face feature
reliability
image
Prior art date
Application number
PCT/JP2018/023066
Other languages
English (en)
French (fr)
Inventor
巧一 高橋
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/623,478 priority Critical patent/US11210498B2/en
Priority to JP2019526808A priority patent/JP6835223B2/ja
Publication of WO2019003973A1 publication Critical patent/WO2019003973A1/ja
Priority to US17/529,479 priority patent/US11915518B2/en
Priority to US18/222,715 priority patent/US20230360432A1/en
Priority to US18/223,450 priority patent/US20230360435A1/en
Priority to US18/223,357 priority patent/US20230360434A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a face authentication apparatus that performs face authentication using a face image, a face authentication method, and a program storage medium.
  • Face recognition technology for identifying an individual from face images of people is used in various scenes including the security field. For example, using a video (moving image) captured by a surveillance camera, a person is identified from face information extracted from the moving image.
  • a video moving image
  • a person is identified from face information extracted from the moving image.
  • face recognition a frame including a face of a person to be identified, which is registered in advance and in which a face of a person to be identified is taken, and a face to be matched selected from a moving image (hereinafter referred to as “face image to be matched”
  • face image to be matched A match is made between
  • distinctive feature points hereinafter referred to as face feature points
  • face feature points such as face organs such as eyes and a nose, etc.
  • face feature points Two images are matched based on the face feature points.
  • Patent Document 1 discloses an example of a technique for selecting an image suitable for face recognition.
  • Patent Document 1 discloses a personal authentication apparatus that detects the direction of the face of a user who is the target, and executes face recognition according to the direction of the face to perform personal authentication.
  • Patent Document 2 discloses a face recognition apparatus that determines the presence or absence of a shield based on a detection signal from a face part detection unit, and guides the user to remove the shield if a shield is present. ing.
  • Patent Document 3 discloses a face recognition apparatus that reduces a transfer amount by controlling a transfer method of face image data necessary for face recognition processing in accordance with the size of a face.
  • Patent Document 4 discloses a face feature point position correction device capable of outputting a face feature point position with high accuracy even when information with low reliability is input for one or more face feature points. There is.
  • Non-Patent Document 1 discloses a face recognition method in which face recognition is performed by selecting a face image that is not blinking.
  • Non-Patent Documents 2 and 3 disclose an example of a face feature point detection method.
  • Non-Patent Document 4 discloses a technique for accurately extracting an eye area even in a face image in which the face is inclined.
  • Patent Document 1 discloses that a person's identification can be performed with high accuracy by selecting an image of a face facing front and collating it with a face image registered in advance. ing.
  • positional deviation refers to a state in which face feature points such as eyes and a nose are detected at positions deviated from their positions in the face image. For example, when a face feature point indicating the pupil center of the right eye is detected in a certain face image, a point on the left side or a point on the right side of the right eye may be detected as a face feature point.
  • a state in which a face feature point is detected at a position desired to be detected, for example, a position deviated from the pupil center of the right eye is referred to as positional deviation.
  • the positional deviation is caused, for example, because the face image contains a large amount of noise, the size of the face being photographed is small, or the face is blocked.
  • Patent Document 1 can prevent face recognition from being performed by a combination of profile face and front face, but the accuracy of face recognition decreases due to displacement of detected face feature points. Can not prevent.
  • Patent Document 2 to Patent Document 4 and Non-patent Document 1 to Non-Patent Document 4 also do not disclose preventing the decrease in the accuracy of face authentication caused by the displacement of the detected face feature point.
  • the present invention has been made in view of the above problems, and the main object is to provide a face recognition apparatus and the like capable of realizing highly accurate face recognition while suppressing the influence of positional deviation of detected face feature points. For the purpose.
  • a face recognition apparatus uses a plurality of different techniques for at least one face feature point of the target face from each of a plurality of face images including the target face, using a plurality of face feature points.
  • a face authentication method uses a plurality of different techniques for at least one face feature point of the target face from each of a plurality of face images including the target face, using a plurality of face feature points.
  • the candidate is detected, and the reliability of each face image is calculated from the statistical information obtained based on the plurality of detected face feature points, and the plurality of face images are calculated based on the calculated reliability.
  • the face image used for the authentication of the face of the object is selected.
  • a program recording medium uses a plurality of different techniques for at least one face feature point of the target face from each of a plurality of face images including the face of the target using a plurality of face feature points
  • a program for causing a computer to execute a process of selecting a face image used for authentication of the target face among a plurality of face images is recorded.
  • FIG. 1 is a block diagram showing a configuration of a face authentication apparatus 100 according to a first embodiment of the present invention.
  • the face authentication apparatus 100 includes a detection unit 110, a reliability calculation unit 120, and a selection unit 130.
  • the detection unit 110 detects a plurality of face feature point candidates from each of a plurality of face images including the face of the target, using at least one different method with respect to at least one face feature point of the target face.
  • the reliability calculation unit 120 calculates the reliability of each face image from statistical information obtained based on the plurality of detected face feature points.
  • the selection unit 130 selects a face image to be used for authentication of the target face among the plurality of face images based on the calculated reliability.
  • the detection unit 110, the reliability calculation unit 120, and the selection unit 130 are realized by the face feature point candidate detection unit 231, the reliability calculation unit 232, and the face image selection unit 233 described in the following embodiments, as an example. Ru.
  • the face image in which the face feature point is detected with high accuracy is selected from the plurality of face images, and the face image is used for authentication. An effect is obtained that the influence can be suppressed and high accuracy face recognition can be realized.
  • FIG. 2 is a block diagram showing the configuration of a face authentication apparatus 200 according to a second embodiment of the present invention.
  • the face authentication apparatus 200 includes an input unit 210, a selection unit 230, an authentication unit 250, and an output unit 270.
  • the selection unit 230 includes a face feature point candidate detection unit 231, a reliability calculation unit 232, and a face image selection unit 233.
  • the authentication unit 250 includes an integrated face feature point calculation unit 251, a normalization unit 252, a matching unit 253, and a template storage unit 254.
  • the input unit 210 acquires video (moving image) data generated by a surveillance camera or the like.
  • the video data includes a plurality of frames (still images) in which a human face is captured.
  • the selection unit 230 has a function of selecting a frame to be used for collation for face authentication, which will be described later, from a plurality of continuous frames constituting the video data acquired by the input unit 210.
  • the authentication unit 250 has a function of performing face authentication of the target face based on the frame selected by the selection unit 230.
  • the output unit 270 outputs the result of the authentication by the authentication unit 250.
  • the face feature point candidate detection unit 231 obtains a face image which is a frame including a face from the video data obtained by the input unit 210, and uses a plurality of different face feature point detection methods from each of the obtained face images.
  • the face feature point candidate (hereinafter also referred to as "face feature point candidate”) is detected.
  • Facial feature points are defined based on information such as facial organs and skeletons. For example, a corner of the mouth and a pupil center are used as face feature points to be detected.
  • the face feature point candidate detection unit 231 detects a plurality of face feature point candidates for each of the face feature points to be detected using a plurality of different face feature point detection methods.
  • the reliability calculation unit 232 calculates the reliability of each face image based on statistical information of the plurality of face feature point candidates detected by the face feature point candidate detection unit 231 (details will be described later). For example, as statistical information, the variance of each position (coordinate value) of the face feature point candidate is used.
  • the face image selection unit 233 selects a face image suitable for face authentication based on the reliability of each face image calculated by the reliability calculation unit 232.
  • the face image selection unit 233 may select a face image whose reliability is the maximum value, or may select a face image whose reliability is equal to or greater than a threshold. According to the above procedure, a face image suitable for face authentication is selected.
  • the integrated face feature point calculation unit 251 matches the face image selected by the face image selection unit 233 for face authentication based on a plurality of face feature point candidates detected for each of the face feature points to be detected. Calculate integrated face feature points to be used for The integrated face feature point calculation unit 251 may calculate integrated face feature points, for example, based on an average of positions (coordinate values) of the face feature point candidates.
  • the normalization unit 252 corrects the position and orientation of the face based on the face image selected by the face image selection unit 233 and the integrated face feature points calculated by the integrated face feature point calculation unit 251 and performs normalization. Do.
  • the calculation process for normalization can use a known normalization device or a normalization technique.
  • the matching unit 253 generates a template for face matching from the image normalized by the normalization unit 252 (hereinafter also referred to as “normalized image”), and matches the template stored in the template storage unit 254 with the template. Thus, face authentication is performed, and a person included in the video data is identified.
  • the template storage unit 254 stores a face matching template of a person to be identified.
  • the output unit 270 outputs the person specified by the matching unit 253 as a result of face authentication.
  • the output unit 270 may, for example, output the identified person to a display.
  • FIG. 3 is a flowchart illustrating processing of selecting a face image suitable for face authentication from image data by the selection unit 230 of the face authentication apparatus 200 according to the second embodiment. The process by the selection unit 230 will be described with reference to FIG.
  • the input unit 210 in FIG. 2 acquires video data from an external surveillance camera or the like.
  • the face feature point candidate detection unit 231 acquires a face image, which is a frame including a face, from the video data acquired by the input unit 210 (step S210).
  • the face feature point candidate detection unit 231 detects a plurality of face feature point candidates for each of the face feature points to be detected using a plurality of different face feature point detection methods for the acquired face image (step S220). .
  • FIG. 4 is an enlarged view of an area (hereinafter, also referred to as “face area”) in which a face is included in the face image acquired by the face feature point candidate detection unit 231.
  • FIG. 5 is a diagram showing an example of face feature points to be detected by the face feature point candidate detection unit 231. As shown in FIG. In the example shown in FIG. 5, face feature points to be detected are indicated by crosses. In the example shown in FIG. 5, it is indicated that five points of the pupil center of the right eye, the pupil center of the left eye, the top of the nose, the right opening corner and the left opening corner are face feature points to be detected.
  • the face feature point candidate detection unit 231 detects a plurality of face feature point candidates using, for example, a plurality of different face feature point detection methods for each of the five points. Assuming that the number of different face feature point detection methods used in the face feature point candidate detection unit 231 is n (n is an integer of 2 or more), the face feature point candidate is defined as a set of n face feature points Ru.
  • FIGS. 6A to 6C are diagrams showing examples of face feature point candidates respectively detected in face regions included in three face images obtained from video data.
  • face feature point candidates may be detected for face regions of the person in three consecutive face images in which a face of a person is captured in video data, but the present invention is not limited thereto.
  • the face feature point candidate detection unit 231 determines the above-mentioned five points (the pupil center of the right eye, the pupil center of the left eye, the top of the nose, the right opening corner) for each of the face regions included in the three face images.
  • An example is shown in which three face feature point candidates are detected using three different face feature point detection methods for each of
  • the face feature point detection method for example, the face feature point detection method described in Non-Patent Document 2 or Non-Patent Document 3 may be used. These techniques are examples and other techniques may be used.
  • a known face feature point detection method in which different data sets are respectively learned may be used as a plurality of different face feature point detection methods. For example, a data set is divided into two at random, and each data set is learned by, for example, the face feature point detection method described in Non-Patent Document 2. Two types of models obtained by this may be used as two different types of face feature point detection methods.
  • a known face feature point detection method in which each data set represented by different feature amounts is learned may be used as a plurality of different face feature point detection methods.
  • a data set represented by RGB values of a color image and a data set represented by gray-scale converted luminance values are learned by the face feature point detection method described in Non-Patent Document 2, for example.
  • the two types of models obtained by this may be used as two different types of face feature point detection methods.
  • the reliability calculation unit 232 calculates the reliability of each face image based on the statistical information of the plurality of face feature point candidates detected by the face feature point candidate detection unit 231 as described above (step S230).
  • the reliability calculation unit 232 may use the variance of each position of the face feature point candidate as the statistical information. Specifically, for example, the reliability calculation unit 232 calculates the reliability of the face image according to the following procedure.
  • FIG. 7 is an enlarged view of an area (hereinafter, also referred to as an “eye area”) in which the eyes appear in the face area where the face feature point candidate is detected as shown in FIG. 6A, for example.
  • FIG. 7 shows that three face feature point candidates p, q, r at the center of the right eye pupil are detected.
  • an xy coordinate system in which the horizontal direction of the image is the x axis and the vertical direction is the y axis, and the coordinate values of the face feature point candidates p, q, r are p (x 1 , Y 1 ), q (x 2 , y 2 ), r (x 3 , y 3 ).
  • the variance v of each position of the face feature point candidate is calculated, for example, by equation (1).
  • the reliability calculation unit 232 uses Eq. (1) to make each of the face feature point candidates equivalent to the above-described pupil center of the right eye also for each of the detected face feature points, such as the top of the nose and the mouth angle. Find the variance v of the position.
  • the reliability calculation unit 232 calculates an average value of the variance v obtained for each of the detected face feature points, that is, an average variance u.
  • v 1 , v 2 , v 3 , and v 4 are variances of positions of the face feature point candidates of the right eye pupil center, the left eye pupil center, the nose head, the right mouth corner, and the left mouth corner, respectively.
  • v When 5 the average variance u can be expressed by equation (2).
  • u (1/5) * (v 1 + v 2 + v 3 + v 4 + v 5 ) (2)
  • the reliability calculation unit 232 calculates the reliability s by obtaining a negative exponential function of the average variance u according to the following equation (3).
  • s exp (-u) (3)
  • the reliability s takes a value of 0 or more and 1 or less.
  • the reliability calculation unit 232 uses the dispersion of each position of the face feature point candidate as statistical information and uses the negative exponential function of the average dispersion for the calculation of the reliability. It is not limited to it.
  • the reliability calculation unit 232 may use a standard deviation instead of the variance.
  • the reliability calculation unit 232 may use a sigmoid function instead of the negative exponential function of the mean variance.
  • the reliability calculation unit 232 may calculate the reliability based on the variance of the positions of the face feature point candidates related to at least one of the face feature points to be detected.
  • the face image selecting unit 233 selects a face image suitable for face authentication based on the reliability calculated as described above (step S240). Specifically, the face image selection unit 233 may select the face image whose reliability calculated by the reliability calculation unit 232 is the maximum value as the face image suitable for face authentication. For example, among the views shown in FIGS. 6A to 6C, the face image selecting unit 233 uses the maximum value of the reliability, that is, FIG. 6C having the least variation in the positions of the face feature point candidates. You may select as a suitable face image.
  • the face image selection unit 233 may also select, for example, a face image having a degree of reliability equal to or higher than an arbitrary threshold. In this case, a plurality of face images may be selected.
  • the face image with a large variation in the positions of the face feature point candidates is identified by face recognition It can be excluded from the face image used for
  • the feature point position of the mouth is ambiguous, and the variance of the face feature point candidates of the mouth increases.
  • Such a face image can be excluded from the face image used for face recognition by using the reliability based on the average of the variance of the positions of the face feature point candidates as described above.
  • the selection unit 230 selects a face image suitable for face authentication.
  • FIG. 8 is a flowchart illustrating processing for performing face authentication using the face image selected by the selection unit 230 by the authentication unit 250 of the face authentication apparatus 200 according to the second embodiment. The process performed by the authentication unit 250 will be described with reference to FIG.
  • the integrated face feature point calculation unit 251 of the authentication unit 250 acquires the selected face image from the face image selection unit 233 (step S310).
  • the integrated face feature point calculation unit 251 calculates an integrated face feature point to be used for matching on the acquired face image based on a plurality of face feature point candidates detected for each face feature point to be detected. (Step S320). Specifically, the integrated face feature point calculation unit 251 calculates, for example, an average value of coordinate values of a plurality of face feature point candidates, and sets the average value as a coordinate value of the integrated face feature point.
  • FIG. 9 is a diagram showing an example in which the average value of the coordinate values of a plurality of face feature point candidates related to the pupil center of the right eye is calculated as the coordinate value of the integrated face feature point in the example shown in FIG.
  • face feature point detection can be made more accurate than in the case of using face feature points detected by a certain method.
  • the integrated face feature point calculation unit 251 may use, as the coordinate value of the integrated face feature point, a weighted average value of coordinate values obtained by weighting an arbitrary weight for each face feature point candidate.
  • the normalization unit 252 corrects the position and orientation of the face based on the face image selected by the face image selection unit 233 and the integrated face feature points calculated by the integrated face feature point calculation unit 251.
  • the face image is normalized (step S330).
  • normalization refers to the process of aligning the positions of face parts such as eyes and mouth for face matching between face images.
  • the normalization unit 252 may use, for example, a known normalization method such as Non-Patent Document 4 for normalization.
  • the normalization unit 252 obtains, for example, the in-plane rotation angle of the face from the coordinate values of the integrated face feature points at the pupil centers of both eyes, reversely rotates so that the right eye and the left eye become horizontal, and an image of size 64 ⁇ 64 pixels May be normalized to
  • normalization unit 252 is an example, and another known normalization method may be used.
  • the matching unit 253 calculates a face matching template from the image normalized by the normalizing unit 252, and matches the calculated template with the face matching template stored in the template storage unit 254.
  • the face matching score is calculated (step S340).
  • any template may be used as a template for face matching.
  • a template using a Histogram of Oriented Gradients (HOG) feature extracted from a normalized image, or a template using the normalized image itself as a feature may be used.
  • HOG Histogram of Oriented Gradients
  • normalized correlation or Euclidean distance may be used to calculate the matching score between the templates.
  • the matching unit 253 may calculate the matching score f using a normalized image of size 64 ⁇ 64 pixels described in Non-Patent Document 4. Specifically, for example, the matching unit 253 may calculate the matching score f as follows. That is, the matching unit 253 uses, as a template, a normalized image that has been rearranged, for example, into a row of 4096-dimensional vectors by raster scan.
  • a matching score f using normalized correlation can be calculated by the following equation (4).
  • f ⁇ t1 ⁇ t2> / ( ⁇ t1 ⁇ t1> ⁇ ⁇ t2 ⁇ t2>) ⁇ (1/2) (4)
  • ⁇ t1 ⁇ t2> represents the inner product of t1 and t2.
  • the matching score using the normalized correlation has a maximum value of 1 when the two templates are the same vector, so the more similar the templates are, the higher the value. Therefore, normalized correlation can be used as a face similarity.
  • the matching unit 253 may determine that the template to be matched matches the face matching template stored in the template storage unit 254, when the face matching score calculated as described above is larger than the threshold.
  • the face matching template it is possible to specify that the template to be matched includes the person shown in the face matching template.
  • the above-described feature amount and face matching method used by the matching unit 253 are an example, and other well-known feature amounts and face matching methods may be used.
  • the collation unit 253 notifies the output unit 270 of the result of the collation.
  • the output unit 270 outputs the collation result acquired from the collation unit 253 (step S350).
  • the output unit 270 may display, for example, the face image of the identified person, the name, and the matching score on the display.
  • the face feature point candidate detection unit 231 of the face authentication apparatus 200 detects a face image to be detected from a face image that is a frame including a face, which is acquired from video data.
  • a plurality of face feature point candidates are detected using a plurality of different face feature point detection methods for face feature points.
  • the reliability calculation unit 232 calculates the reliability of the face image based on statistical information of the plurality of detected face feature point candidates, for example, the variance.
  • the face image selection unit 233 selects a face image suitable for face authentication based on the calculated reliability.
  • a face image in which a face feature point is detected with high accuracy is selected from the face images that are the frames including the face that constitute the video data.
  • the face image is used for matching with a template for face matching.
  • the face feature point calculation unit 251 obtains an average of positions of a plurality of face feature point candidates as integrated face feature points, and normalizes the image using the integrated face feature points, Used for matching.
  • the face feature point calculation unit 251 it is possible to improve face feature point detection with high precision, and it is possible to obtain an effect that face recognition accuracy can be further improved.
  • the face image selection unit 233 selects a plurality of face images in the process S240 of FIG. 3, the process S320 to S340 of FIG. 8 is performed on each of the plurality of face images to further increase the accuracy of face authentication. You can raise it.
  • FIG. 10 is a diagram showing an example of a hardware configuration of a computer device 500 for realizing the face recognition device of each embodiment.
  • each component of each device indicates a block of a function unit.
  • Each component of each device can be realized by any combination of computer device 500 and software as shown in FIG. 10, for example.
  • the computer device 500 includes a processor (CPU) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a storage device 505, a drive device 507, a communication interface 508, and an input / output interface 510. And a bus 511.
  • processor CPU
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage device 505 stores the program 504.
  • the drive device 507 reads and writes the recording medium 506.
  • the communication interface 508 is connected to the network 509.
  • the input / output interface 510 performs data input / output.
  • a bus 511 connects each component.
  • the processor 501 executes the program 504 using the RAM 503.
  • the program 504 may be stored in the ROM 502.
  • the program 504 may be recorded on the recording medium 506 and read by the drive device 507 or may be transmitted from an external device via the network 509.
  • the communication interface 508 exchanges data with an external device via the network 509.
  • the input / output interface 510 exchanges data with peripheral devices (keyboard, mouse, display device, etc.).
  • the communication interface 508 and the input / output interface 510 can function as means for acquiring or outputting data. Data such as output information may be stored in the storage device 505 or may be included in the program 504.
  • the face recognition device can be realized as a dedicated device.
  • the face recognition device can be realized by a combination of a plurality of devices.
  • the template storage unit 254 in the face authentication apparatus may be realized by the storage device 505.
  • the detection unit 110, the reliability calculation unit 120, the selection unit 130, the input unit 210, the face feature point candidate detection unit 231, the reliability calculation unit 232, the face image selection unit 233, and the integrated face feature point calculation unit in the face authentication apparatus 251, the normalization unit 252, the matching unit 253, and the output unit 270 may be realized by, for example, the processor 501 that executes a process according to program control.
  • a program for operating to realize these functions is recorded on the recording medium 506, and the processing method for reading out the program recorded on the recording medium 506 as a code and executed on a computer is also included in the scope of each embodiment. . That is, the computer readable recording medium 506 is also included in the scope of each embodiment. Further, not only the recording medium 506 in which the above-described program is recorded but also the program itself is included in each embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができる顔認証装置等を提供する。　顔認証装置は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する検出手段と、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する信頼度算出手段と、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する選択手段とを備える。

Description

顔認証装置、顔認証方法およびプログラム記録媒体
　本発明は、顔画像を利用して顔認証を行う顔認証装置、顔認証方法およびプログラム記録媒体に関する。
　人の顔画像から個人を特定する顔認証技術は、セキュリティ分野をはじめとする様々な場面で利用されている。例えば、監視カメラにより撮影された映像（動画像）を用いて、その動画像から抽出される顔情報から人物を特定することが行われている。
　動画像を利用した顔認証に際して、動画像を構成する複数のフレームに渡って人物の顔が写っている場合、顔の写っているすべてのフレームに対して顔認証を行うと、認証のための計算処理が増大し、認証結果を得るのに時間がかかる。また、複数のフレームのなかには、画像のぼけや部分遮蔽等が発生しているような、顔認証に適さない顔を含んだフレームもある。よって、動画像から、顔認証に適したフレームを選択して顔認証を行うことが望ましい。
　顔認証では、あらかじめ登録された、特定したい人物の顔が写った照合用の顔画像と、動画像から選択された、照合対象の顔を含むフレーム（以降、「照合対象の顔画像」とも称する）との間で照合が行われる。照合では、照合用の顔画像と、照合対象の顔画像のそれぞれから、目や鼻等の顔の器官や骨格などの際立った特徴点（以下、顔特徴点という）が検出され、検出された顔特徴点に基づいて、２つの画像が照合される。照合の結果、照合用の顔画像と照合対象の顔画像にそれぞれ写っている顔が、同一人物の顔であるか否かの判断が行われる。
　ここで、顔認証に適した画像を選択する技術の一例が、特許文献１に開示されている。
特許文献１には、対象となるユーザの顔の向きを検出し、その顔の向きに応じた顔認識を実行して個人認証を行う個人認証装置が開示されている。
　特許文献２には、顔パーツ検出部からの検出信号に基づいて、遮蔽物の有無を判定し、遮蔽物が有る場合には、ユーザに遮蔽物をどけるように誘導する顔認識装置が開示されている。
　特許文献３には、顔認識処理に必要な顔画像データの転送方法を顔の大きさに合わせて制御することで、転送量を削減する顔認識装置が開示されている。特許文献４には、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、高精度の顔特徴点位置の出力が可能な顔特徴点位置補正装置が開示されている。
　非特許文献１には、瞬きをしていない顔画像を選択して顔認証を行う顔認識手法が開示されている。非特許文献２、３には、顔特徴点検出方法の一例が開示されている。
　非特許文献４には、顔が傾いた顔画像でも正確に目領域を抽出する技術が開示されている。
特開２００２－２８８６７０号公報 特開２０１６－０９９９３９号公報 国際公開第２０１０／０４４２１４号 国際公開第２０１１／１４８５９６号
大森　匡彦、村上　和人「動画像中のベストショット抽出のための顔認識手法について」、電子情報通信学会、技術研究報告、ＨＩＰ、ヒューマン情報処理 101(423)、2001年11月8日、p.27-32 Ｔ．Ｆ．Ｃｏｏｔｅｓ、Ｇ．Ｊ．Ｅｄｗａｒｄｓ、Ｃ．Ｊ．Ｔａｙｌｏｒ、「Ａｃｔｉｖｅ　ａｐｐｅａｒａｎｃｅ　ｍｏｄｅｌｓ」、ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ｐａｔｔｅｒｎ　ａｎａｌｙｓｉｓ　ａｎｄ　ｍａｃｈｉｎｅ　ｉｎｔｅｌｌｉｇｅｎｃｅ、第２３巻、第６号、２００１年６月、p.681-685 Ｘｉａｎｇｘｉｎ　Ｚｈｕ、Ｄｅｖａ　Ｒａｍａｎａｎ、「Ｆａｃｅ　ｄｅｔｅｃｔｉｏｎ，　ｐｏｓｅ　ｅｓｔｉｍａｔｉｏｎ，　ａｎｄ　ｌａｎｄｍａｒｋ　ｌｏｃａｌｉｚａｔｉｏｎ　ｉｎ　ｔｈｅ　ｗｉｌｄ」、Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　（ＣＶＰＲ），　２０１２　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ、２０１２年 新覚　碧、外２名、「Haar-like 特徴を用いた目検出処理による顔認証の高精度化」、［online］、[２０１７年５月１５日検索]、インターネット＜https://www.ieice.org/tokyo/gakusei/kenkyuu/14/pdf/80.pdf＞
　上述したように、特許文献１では、正面を向いている顔の画像を選択して、予め登録された正面向きの顔画像と照合することで、人の識別を高精度に行うことが開示されている。
　一方で、顔認証において行われる、照合用の顔画像と照合対象の顔画像との照合では、検出される顔特徴点の位置ずれに起因して、認証の精度が低下しやすいという問題がある。
　ここで、位置ずれとは、目や鼻などの顔特徴点が、顔画像におけるそれらの位置とはずれた位置で検出されてしまう状態をいう。例えば、ある顔画像において、右目の瞳中心を示す顔特徴点を検出するとき、右目の瞳の左側の点や右側の点が顔特徴点として検出される場合がある。このように、顔特徴点が、検出したい位置、例えば右目の瞳中心からずれた位置で検出されるような状態を、位置ずれと称する。位置ずれは、例えば、顔画像にノイズが多く含まれていたり、写っている顔のサイズが小さかったり、顔に遮蔽が生じていたりする等に起因して生じる。
　上記のような位置ずれが生じると、照合用の顔画像と照合対象の顔画像との間で、比較する顔特徴点が互いにずれた位置で検出された状態で顔画像の照合が行われる。したがって、顔認証の精度が低下するという課題がある。
　特許文献１に開示される技術では、横顔と正面顔の組み合わせで顔認証をしてしまうということを防ぐことはできるが、検出される顔特徴点の位置ずれに起因する顔認証の精度の低下を防ぐことはできない。
　特許文献２乃至特許文献４、および、非特許文献１乃至非特許文献４も、検出される顔特徴点の位置ずれに起因する顔認証の精度の低下を防ぐことは開示されていない。
　本発明は、上記課題を鑑みてなされたものであり、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができる顔認証装置等を提供することを主要な目的とする。
　本発明の一態様の顔認証装置は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する検出手段と、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する信頼度算出手段と、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する選択手段とを備える。
　本発明の一態様の顔認証方法は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出し、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出し、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する。
　本発明の一態様のプログラム記録媒体は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する処理と、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する処理と、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する処理とを、コンピュータに実行させるプログラムを記録する。
　本発明によれば、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができるという効果が得られる。
本発明の第１の実施形態に係る顔認証装置の構成を示すブロック図である。 本発明の第２の実施形態に係る顔認証装置の構成を示すブロック図である。 本発明の第２の実施形態に係る顔認証装置の選択部による処理を説明するフローチャートである。 本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により取得された顔画像に含まれる顔領域の一例を示す図である。 本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部が検出対象とする顔特徴点の例を示す図である。 本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により検出された顔特徴点候補の例を示す図である。 本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により検出された顔特徴点候補の例を示す図である。 本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により検出された顔特徴点候補の例を示す図である。 本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により顔特徴点候補が検出された目領域の一例を示す図である。 本発明の第２の実施形態に係る顔認証装置の認証部による処理を説明するフローチャートである。 本発明の第２の実施形態に係る顔認証装置の統合顔特徴点算出部により算出された統合顔特徴点の座標値の一例を示す図である。 各実施形態の顔認証装置を実現するコンピュータ装置のハードウェア構成の一例を示す図である。
　以下、本発明の実施形態について図面を参照して詳細に説明する。
　第１の実施形態
　図１は、本発明の第１の実施形態に係る顔認証装置１００の構成を示すブロック図である。図１に示すように、顔認証装置１００は、検出部１１０、信頼度算出部１２０および選択部１３０を備える。
　検出部１１０は、対象の顔を含む複数の顔画像のそれぞれから、対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する。信頼度算出部１２０は、検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する。選択部１３０は、算出された信頼度に基づいて、複数の顔画像のうち、対象の顔の認証に用いる顔画像を選択する。
　なお、検出部１１０、信頼度算出部１２０および選択部１３０は、それぞれ一例として、以降の実施形態において説明する顔特徴点候補検出部２３１、信頼度算出部２３２および顔画像選択部２３３により実現される。
　本第１の実施形態によれば、複数の顔画像から高精度に顔特徴点が検出された顔画像を選択し、その顔画像を認証に用いるので、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができるという効果が得られる。
　第２の実施形態
　図２は、本発明の第２の実施形態に係る顔認証装置２００の構成を示すブロック図である。図２に示すように、顔認証装置２００は、入力部２１０、選択部２３０、認証部２５０および出力部２７０を備える。
　選択部２３０は、顔特徴点候補検出部２３１、信頼度算出部２３２および顔画像選択部２３３を備える。認証部２５０は、統合顔特徴点算出部２５１、正規化部２５２、照合部２５３およびテンプレート記憶部２５４を備える。
　入力部２１０は、監視カメラ等により生成された映像（動画像）データを取得する。映像データには、人の顔が写った複数のフレーム（静止画）が含まれる。
　選択部２３０は、入力部２１０が取得した映像データを構成する連続した複数のフレームから、後述する顔認証のための照合に用いるフレームを選択する機能を有する。認証部２５０は、選択部２３０により選択されたフレームに基づいて、対象の顔の顔認証を行う機能を有する。出力部２７０は、認証部２５０による認証の結果を出力する。
　選択部２３０の各構成要素の概略について説明する。
　顔特徴点候補検出部２３１は、入力部２１０が取得した映像データから、顔が含まれるフレームである顔画像を取得し、取得した顔画像のそれぞれから、異なる複数の顔特徴点検出手法を用いて、顔特徴点の候補（以降、「顔特徴点候補」とも称する）を検出する。
顔特徴点は、顔の器官や骨格などの情報に基づいて定義される。例えば、口角や瞳中心などが、検出対象の顔特徴点として利用される。顔特徴点候補検出部２３１は、検出対象の顔特徴点のそれぞれについて、異なる複数の顔特徴点検出手法を用いて、複数の顔特徴点候補を検出する。
　信頼度算出部２３２は、顔特徴点候補検出部２３１により検出された複数の顔特徴点候補の統計情報に基づいて、それぞれの顔画像の信頼度を計算する（詳細は後述する）。例えば、統計情報として、顔特徴点候補の各位置（座標値）の分散が利用される。
　顔画像選択部２３３は、信頼度算出部２３２により計算されたそれぞれの顔画像の信頼度に基づいて、顔認証に適した顔画像を選択する。顔画像選択部２３３は、信頼度が最大値である顔画像を選択してもよいし、信頼度が閾値以上である顔画像を選択してもよい。
以上の手順で、顔認証に適した顔画像が選択される。
　次に、認証部２５０の各構成要素の概略について説明する。
　統合顔特徴点算出部２５１は、顔画像選択部２３３により選択された顔画像について、検出対象の顔特徴点のそれぞれについて検出された複数の顔特徴点候補に基づいて、顔認証のための照合に利用する統合顔特徴点を算出する。統合顔特徴点算出部２５１は、例えば、各顔特徴点候補の位置（座標値）の平均に基づいて、統合顔特徴点を算出してもよい。
　正規化部２５２は、顔画像選択部２３３により選択された顔画像と、統合顔特徴点算出部２５１により算出された統合顔特徴点とに基づいて、顔の位置や向きを補正して正規化する。正規化のための計算処理は、周知の正規化装置や、正規化技術を用いることができる。
　照合部２５３は、正規化部２５２により正規化された画像（以降、「正規化画像」とも称する）から、顔照合用のテンプレートを生成し、テンプレート記憶部２５４に記憶されているテンプレートと照合することにより顔認証を行い、映像データに含まれている人物の特定を行う。
　テンプレート記憶部２５４は、特定したい人物の顔照合用テンプレートを記憶する。
　出力部２７０は、照合部２５３により特定された人物を、顔認証の結果として出力する。出力部２７０は、例えば、特定された人物をディスプレイに出力してもよい。
　図３は、第２の実施形態に係る顔認証装置２００の選択部２３０により、映像データから、顔認証に適した顔画像を選択する処理を説明するフローチャートである。図３を参照して、選択部２３０による処理について説明する。
　図２の入力部２１０は、外部の監視カメラ等から映像データを取得する。顔特徴点候補検出部２３１は、入力部２１０が取得した映像データから、顔が含まれるフレームである顔画像を取得する（ステップＳ２１０）。顔特徴点候補検出部２３１は、取得した顔画像について、複数の異なる顔特徴点検出手法を用いて、検出対象の顔特徴点のそれぞれについて、複数の顔特徴点候補を検出する（ステップＳ２２０）。
　図４は、顔特徴点候補検出部２３１により取得された顔画像に含まれる、顔が写った領域（以降、「顔領域」とも称する）を拡大して示す図である。図５は、顔特徴点候補検出部２３１が検出対象とする顔特徴点の例を示す図である。図５に示す例では、検出対象の顔特徴点が、×印で示されている。図５に示す例では、右目の瞳中心、左目の瞳中心、鼻の頭頂部、右口角および左口角の５点が、検出対象の顔特徴点であることを示す。
　顔特徴点候補検出部２３１は、例えば上記５点のそれぞれについて、複数の異なる顔特徴点検出手法を用いて、複数の顔特徴点候補を検出する。顔特徴点候補検出部２３１に用いられる複数の異なる顔特徴点検出手法の数をｎ（ｎは２以上の整数）とすると、顔特徴点候補は、ｎ個の顔特徴点の集合として定義される。
　図６Ａ乃至図６Ｃは、それぞれ、映像データから取得された３つの顔画像に含まれる顔領域においてそれぞれ検出された顔特徴点候補の例を示す図である。例えば映像データのうちある人物の顔が写った３つの連続した顔画像における該人物の顔領域について、それぞれ顔特徴点候補が検出されてもよいが、それに限定されない。
　図６Ａ乃至図６Ｃでは、３つの顔画像に含まれる顔領域のそれぞれについて、顔特徴点候補検出部２３１が、上記５点（右目の瞳中心、左目の瞳中心、鼻の頭頂部、右口角および左口角）について、それぞれ３つの異なる顔特徴点検出手法を用いて、３つの顔特徴点候補を検出した例を示す。
　ここで、顔特徴点検出手法には、例えば、非特許文献２または非特許文献３に記載された顔特徴点検出手法が用いられてもよい。これらの手法は一例であり、他の手法が用いられてもよい。
　あるいは、異なるデータセットをそれぞれ学習した周知の顔特徴点検出手法を、異なる複数の顔特徴点検出手法として利用してもよい。例えば、データセットをランダムに２分割し、それぞれのデータセットを、例えば非特許文献２に記載された顔特徴点検出手法により学習する。これにより得られる２種類のモデルを、異なる２種類の顔特徴点検出手法として利用してもよい。
　あるいは、異なる特徴量によって表されるそれぞれのデータセットをそれぞれ学習した周知の顔特徴点検出手法を、異なる複数の顔特徴点検出手法として利用してもよい。例えば、カラー画像のＲＧＢ値によって表されるデータセットと、グレイスケール変換した輝度値によって表されるデータセットを、例えば非特許文献２に記載された顔特徴点検出手法により学習する。これにより得られる２種類のモデルを、異なる２種類の顔特徴点検出手法としてもよい。
　続いて、信頼度算出部２３２は、上述のように顔特徴点候補検出部２３１により検出された複数の顔特徴点候補の統計情報に基づいて、それぞれの顔画像の信頼度を計算する（ステップＳ２３０）。
　信頼度算出部２３２は、統計情報として、顔特徴点候補の各位置の分散を利用してもよい。信頼度算出部２３２は、具体的には、例えば、以下の手順で顔画像の信頼度を計算する。
　図７は、例えば図６Ａに示したように顔特徴点候補が検出された顔領域のうちの目が写った領域（以降、「目領域」とも称する）を拡大した図である。図７では、右目の瞳中心の顔特徴点候補３点ｐ、ｑ、ｒが検出されたことを示す。
　図７に示す目領域において、例えば、画像の横方向をｘ軸、縦方向をｙ軸とするｘｙ座標系とし、各顔特徴点候補ｐ、ｑ、ｒの座標値を、それぞれｐ（ｘ１，ｙ１）、ｑ（ｘ２，ｙ２）、ｒ（ｘ３，ｙ３）とする。
　この場合、顔特徴点候補のそれぞれの位置の分散ｖは、例えば、式（１）で計算される。
　ｖ＝（１／３）＊（（ｘ１－ｍ）＾２＋（ｙ１－ｎ）＾２＋（ｘ２－ｍ）＾２＋（ｙ２－ｎ）＾２＋（ｘ３－ｍ）＾２＋（ｙ３－ｎ）＾２）・・・（１）
　ここで、
ｍ＝（１／３）＊（ｘ１＋ｘ２＋ｘ３）
ｎ＝（１／３）＊（ｙ１＋ｙ２＋ｙ３）
である。なお、式（１）および以降の式において、「／」は除算、「＊」は乗算、「＾」は累乗を、それぞれ示す。
　信頼度算出部２３２は、鼻の頭頂部や口角など、検出された顔特徴点のそれぞれについても、上述の右目の瞳中心と同等に、式（１）を用いて顔特徴点候補のそれぞれの位置の分散ｖを求める。
　続いて、信頼度算出部２３２は、検出された顔特徴点ごとに求めた分散ｖの平均値、すなわち平均分散ｕを計算する。ここでは、右目の瞳中心、左目の瞳中心、鼻の頭頂部、右口角および左口角の各顔特徴点候補のそれぞれの位置の分散を、それぞれｖ１、ｖ２、ｖ３、ｖ４、ｖ５とすると、平均分散ｕは、式（２）で計算される。
ｕ＝（１／５）＊（ｖ１＋ｖ２＋ｖ３＋ｖ４＋ｖ５）・・・（２）
　続いて、信頼度算出部２３２は、以下の式（３）により、平均分散ｕの負の指数関数を求めることで、信頼度ｓを算出する。
ｓ＝ｅｘｐ（－ｕ）・・・（３）
　信頼度ｓは、０以上１以下の値をとる。
　なお、上述のように、信頼度算出部２３２は、統計情報として顔特徴点候補のそれぞれの位置の分散を用い、信頼度の計算に平均分散の負の指数関数を用いることを説明したが、それに限定されない。例えば、信頼度算出部２３２は、分散の代わりに標準偏差を用いてもよい。また、信頼度算出部２３２は、平均分散の負の指数関数の代わりにシグモイド関数を用いてもよい。
　また、上記では、検出対象の顔特徴点のすべてに関する顔特徴点候補のそれぞれの位置の分散の平均に基づいて信頼度を求めることを説明したが、それに限定されない。例えば、信頼度算出部２３２は、検出対象の顔特徴点の少なくとも１つに関する顔特徴点候補のそれぞれの位置の分散に基づいて信頼度を算出してもよい。
　続いて、顔画像選択部２３３は、上記のように計算された信頼度に基づいて、顔認証に適した顔画像を選択する（ステップＳ２４０）。具体的には、顔画像選択部２３３は、信頼度算出部２３２により計算された信頼度が、最大値である顔画像を、顔認証に適した顔画像として選択してもよい。例えば、図６Ａ乃至図６Ｃに示した図のうち、顔画像選択部２３３は、信頼度が最大値である、すなわち顔特徴点候補のそれぞれの位置のばらつきが最も少ない図６Ｃを、顔認証に適した顔画像として選択してもよい。
　顔画像選択部２３３は、また、例えば、任意の閾値以上の信頼度を有する顔画像を選択してもよい。この場合、複数の顔画像が選択されてもよい。
　上述のように、顔特徴点候補の分散の平均に基づく信頼度を利用して、顔画像の選択を行うことにより、例えば顔特徴点候補のそれぞれの位置のばらつきが大きい顔画像を、顔認証に用いる顔画像から排除することができる。
　例えば、口を手で覆っている顔が写った顔画像では、口の特徴点位置が曖昧になるため、口の顔特徴点候補の分散が上昇する。このような顔画像は、上記のように顔特徴点候補のそれぞれの位置の分散の平均に基づく信頼度を利用すると、顔認証に用いる顔画像から排除することができる。
　以上の手順で、選択部２３０は、顔認証に適した顔画像を選択する。
　図８は、第２の実施形態に係る顔認証装置２００の認証部２５０により、選択部２３０により選択された顔画像を用いて、顔認証を行う処理を説明するフローチャートである。
図８を参照して、認証部２５０による処理について説明する。
　認証部２５０の統合顔特徴点算出部２５１は、顔画像選択部２３３から、選択された顔画像を取得する（ステップＳ３１０）。統合顔特徴点算出部２５１は、取得した顔画像について、検出対象の顔特徴点ごとに検出されている複数の顔特徴点候補に基づいて、照合のために利用する統合顔特徴点を算出する（ステップＳ３２０）。具体的には、統合顔特徴点算出部２５１は、例えば、複数の顔特徴点候補の各座標値の平均値を計算し、その平均値を、統合顔特徴点の座標値とする。
　図９は、図７に示した例について、右目の瞳中心に関する複数の顔特徴点候補の各座標値の平均値を、統合顔特徴点の座標値として計算した例を示す図である。図９に示すように、統合顔特徴点算出部２５１は、顔特徴点候補ｐ、ｑ、ｒの各座標値の平均値（ｍ，ｎ）、すなわち、
ｍ＝（１／３）＊（ｘ１＋ｘ２＋ｘ３）
ｎ＝（１／３）＊（ｙ１＋ｙ２＋ｙ３）
を、それぞれ、統合顔特徴点のｘ座標値およびｙ座標値として算出する。
　このように、複数の顔特徴点候補を統合することで、ある１つの手法により検出された顔特徴点を使用する場合よりも、顔特徴点検出を高精度化できる。
　なお、統合顔特徴点算出部２５１は、顔特徴点候補ごとに任意の重みを加重して求めた、座標値の加重平均値を、統合顔特徴点の座標値としてもよい。
　続いて、正規化部２５２は、顔画像選択部２３３により選択された顔画像と、統合顔特徴点算出部２５１により算出された統合顔特徴点とに基づいて、顔の位置や向きを補正することにより顔画像を正規化する（ステップＳ３３０）。ここで、正規化とは、顔画像間の顔の照合のために目や口などの顔のパーツの位置を揃える処理をいう。
　正規化部２５２は、正規化に、例えば、非特許文献４等の周知の正規化手法を用いてもよい。正規化部２５２は、例えば、両目の瞳中心の統合顔特徴点の座標値から顔の面内回転角度を求め、右目と左目が水平となるように逆回転し、サイズ６４×６４ピクセルの画像に正規化してもよい。
　なお、正規化部２５２による上述した正規化手法は一例であり、その他の周知の正規化手法を用いてもよい。
　続いて、照合部２５３は、正規化部２５２により正規化された画像から顔照合用のテンプレートを計算し、計算したテンプレートと、テンプレート記憶部２５４に記憶されている顔照合用テンプレートとを照合して、顔照合スコアを計算する（ステップＳ３４０）。
　ここで、顔照合用のテンプレートには、任意のテンプレートが用いられてよい。例えば、正規化画像から抽出したＨｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量を用いたテンプレートや、正規化画像自体を特徴量としたテンプレートを利用してもよい。また、テンプレート同士の照合スコアの計算には、例えば、正規化相関やユークリッド距離を利用してもよい。
　照合部２５３は、例えば非特許文献４に記載されるサイズ６４×６４ピクセルの正規化画像を利用して照合スコアｆを計算してもよい。具体的には、照合部２５３は、例えば、以下のように照合スコアｆを計算してもよい。すなわち、照合部２５３は、正規化画像を、例えばラスタスキャンによって一列の４０９６次元ベクトルに並べ替えたものをテンプレートとして利用する。
　２つのテンプレートｔ１、ｔ２が与えられたとき、以下の式（４）によって、正規化相関を用いた照合スコアｆを計算できる。
ｆ＝＜ｔ１・ｔ２＞／（＜ｔ１・ｔ１＞×＜ｔ２・ｔ２＞）＾（１／２）・・・（４）
　ただし、＜ｔ１・ｔ２＞はｔ１とｔ２の内積を表す。
　正規化相関を用いた照合スコアは、２つのテンプレートが同一ベクトルのときに最大値１となるので、テンプレート同士が類似しているほど高い値となる。したがって、正規化相関を顔の類似度として利用できる。
　照合部２５３は、上述のように計算した顔照合スコアが閾値より大きいとき、照合対象のテンプレートと、テンプレート記憶部２５４に記憶されている顔照合用テンプレートとがマッチしたと判定してもよい。顔照合用テンプレートにマッチした場合、照合対象のテンプレートには、顔照合用テンプレートに示される人物が含まれている（本人である）と特定できる。
　なお、照合部２５３により用いられる上述した特徴量や顔照合手法は一例であり、その他の周知の特徴量や顔照合手法を用いてもよい。
　照合部２５３は、照合の結果を、出力部２７０に通知する。出力部２７０は、照合部２５３から取得した照合結果を出力する（ステップＳ３５０）。出力部２７０は、例えば、特定された人物の顔画像、名前、照合スコアをディスプレイに表示してもよい。
　以上のように、本第２の実施形態によれば、顔認証装置２００の顔特徴点候補検出部２３１は、映像データから取得された、顔が含まれるフレームである顔画像から、検出対象の顔特徴点に対して異なる複数の顔特徴点検出手法を用いて、複数の顔特徴点候補を検出する。信頼度算出部２３２は、検出された複数の顔特徴点候補の統計情報、例えば分散に基づいて、顔画像の信頼度を算出する。顔画像選択部２３３は、算出された信頼度に基づいて、顔認証に適した顔画像を選択する。
　上記構成を採用することにより、本第２の実施形態によれば、映像データを構成する、顔が含まれるフレームである顔画像から、高精度に顔特徴点が検出された顔画像を選択し、その顔画像を顔照合用のテンプレートとの照合に用いる。これにより、本第２の実施形態によれば、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができるという効果が得られる。
　また、選択された顔画像において、顔特徴点算出部２５１により、複数の顔特徴点候補の各位置の平均を統合顔特徴点として求め、その統合顔特徴点を利用して画像を正規化し、照合に用いる。これにより、本第２の実施形態によれば、顔特徴点検出を高精度化でき、顔認証の精度をより向上させることができるという効果が得られる。
　なお、図３の処理Ｓ２４０において、顔画像選択部２３３が、複数の顔画像を選択した場合、複数の顔画像それぞれについて、図８の処理Ｓ３２０乃至Ｓ３４０を行うことで、顔認証の精度をさらに上げることができる。
　図１０は、各実施形態の顔認証装置を実現するコンピュータ装置５００のハードウェア構成の一例を示す図である。なお、本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素は、例えば図１０に示すようなコンピュータ装置５００とソフトウェアとの任意の組み合わせにより実現することができる。
　図１０に示すように、コンピュータ装置５００は、プロセッサ（ＣＰＵ）５０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入出力インタフェース５１０およびバス５１１を備える。
　記憶装置５０５は、プログラム５０４を格納する。ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、ネットワーク５０９と接続する。
入出力インタフェース５１０は、データの入出力を行う。バス５１１は、各構成要素を接続する。
　プロセッサ５０１は、ＲＡＭ５０３を用いてプログラム５０４を実行する。プログラム５０４は、ＲＯＭ５０２に記憶されていてもよい。また、プログラム５０４は、記録媒体５０６に記録され、ドライブ装置５０７によって読み出されてもよいし、外部装置からネットワーク５０９を介して送信されてもよい。通信インタフェース５０８は、ネットワーク５０９を介して外部装置とデータをやり取りする。入出力インタフェース５１０は、周辺機器（キーボード、マウス、表示装置など）とデータをやり取りする。通信インタフェース５０８及び入出力インタフェース５１０は、データを取得又は出力する手段として機能することができる。出力情報などのデータは、記憶装置５０５に記憶されていてもよいし、プログラム５０４に含まれていてもよい。
　なお、顔認証装置の実現方法には様々な変形例がある。例えば、顔認証装置は、専用の装置として実現することができる。また、顔認証装置は、複数の装置の組み合わせにより実現することができる。
　顔認証装置におけるテンプレート記憶部２５４は、記憶装置５０５により実現されてもよい。
　また、顔認証装置における検出部１１０、信頼度算出部１２０、選択部１３０、入力部２１０、顔特徴点候補検出部２３１、信頼度算出部２３２、顔画像選択部２３３、統合顔特徴点算出部２５１、正規化部２５２、照合部２５３および出力部２７０は、例えば、プログラム制御に従って処理を実行するプロセッサ５０１によって実現されてもよい。
　また、これらの機能を実現するように動作させるプログラムを記録媒体５０６に記録させ、その記録媒体５０６に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体５０６も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体５０６はもちろん、そのプログラム自体も各実施形態に含まれる。
　以上、上述した実施形態を参照して本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、種々の上記開示要素の多様な組み合わせ乃至選択など、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１７年６月２６日に出願された日本出願特願２０１７－１２４３３５を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
　１００　顔認証装置
　１１０　検出部
　１２０　信頼度算出部
　１３０　選択部
　２００　顔認証装置
　２１０　入力部
　２３０　選択部
　２３１　顔特徴点候補検出部
　２３２　信頼度算出部
　２３３　顔画像選択部
　２５０　認証部
　２５１　統合顔特徴点算出部
　２５２　正規化部
　２５３　照合部
　２５４　テンプレート記憶部
　２７０　出力部
　５００　コンピュータ装置
　５０１　プロセッサ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　プログラム
　５０５　記憶装置
　５０６　記録媒体
　５０７　ドライブ装置
　５０８　通信インタフェース
　５０９　ネットワーク
　５１０　入出力インタフェース
　５１１　バス

Claims (7)

  1. 　対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する検出手段と、
    　前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する信頼度算出手段と、
    　前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する選択手段と
    　を備えた顔認証装置。
  2. 　前記選択手段により選択された顔画像において、前記検出された複数の顔特徴点候補に基づいて、前記対象の顔の認証に利用する統合顔特徴点を算出する統合顔特徴点算出手段　をさらに備えた請求項１記載の顔認証装置。
  3. 　前記信頼度算出手段は、前記複数の顔特徴点候補の各位置の分散または標準偏差から、それぞれの前記顔画像の前記信頼度を算出する
    　請求項１または請求項２記載の顔認証装置。
  4. 　前記信頼度算出手段は、前記検出手段により２以上の顔特徴点について、それぞれ複数の顔特徴点候補が検出された場合、前記顔特徴点ごとの前記複数の顔特徴点候補の各位置の分散の平均から、それぞれの前記顔画像の前記信頼度を算出する
    　請求項３記載の顔認証装置。
  5. 　前記複数の顔画像は、動画像を構成する連続した顔画像である
    　請求項１乃至請求項４のうちいずれか１項記載の顔認証装置。
  6. 　対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出し、
    　前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出し、
    　前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する
    　顔認証方法。
  7. 　対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する処理と、
    　前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する処理と、
    　前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する処理と
    　を、コンピュータに実行させるプログラムを記録するプログラム記録媒体。
PCT/JP2018/023066 2017-06-26 2018-06-18 顔認証装置、顔認証方法およびプログラム記録媒体 WO2019003973A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US16/623,478 US11210498B2 (en) 2017-06-26 2018-06-18 Facial authentication device, facial authentication method, and program recording medium
JP2019526808A JP6835223B2 (ja) 2017-06-26 2018-06-18 顔認証装置、顔認証方法およびプログラム
US17/529,479 US11915518B2 (en) 2017-06-26 2021-11-18 Facial authentication device, facial authentication method, and program recording medium
US18/222,715 US20230360432A1 (en) 2017-06-26 2023-07-17 Facial authentication device, facial authentication method, and program recording medium
US18/223,450 US20230360435A1 (en) 2017-06-26 2023-07-18 Facial authentication device, facial authentication method, and program recording medium
US18/223,357 US20230360434A1 (en) 2017-06-26 2023-07-18 Facial authentication device, facial authentication method, and program recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017124335 2017-06-26
JP2017-124335 2017-06-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/623,478 A-371-Of-International US11210498B2 (en) 2017-06-26 2018-06-18 Facial authentication device, facial authentication method, and program recording medium
US17/529,479 Continuation US11915518B2 (en) 2017-06-26 2021-11-18 Facial authentication device, facial authentication method, and program recording medium

Publications (1)

Publication Number Publication Date
WO2019003973A1 true WO2019003973A1 (ja) 2019-01-03

Family

ID=64741539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023066 WO2019003973A1 (ja) 2017-06-26 2018-06-18 顔認証装置、顔認証方法およびプログラム記録媒体

Country Status (3)

Country Link
US (5) US11210498B2 (ja)
JP (2) JP6835223B2 (ja)
WO (1) WO2019003973A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817527B1 (ja) * 2020-04-06 2021-01-20 富士通クライアントコンピューティング株式会社 情報処理装置、プログラムおよび情報処理システム
JP2022524672A (ja) * 2020-02-28 2022-05-10 北京市商▲湯▼科技▲開▼▲發▼有限公司 情報認識方法及び装置、システム、電子機器、記憶媒体並びにコンピュータプログラム
WO2022130616A1 (ja) 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム
WO2022185436A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP2023508704A (ja) * 2020-05-15 2023-03-03 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 顔キーポイントの検出方法、装置及び電子機器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
EP4220544A4 (en) * 2020-09-23 2023-11-22 NEC Corporation COMPARISON DEVICE, COMPARISON METHOD AND PROGRAM
CN113705455B (zh) * 2021-08-30 2024-03-19 平安银行股份有限公司 身份核查方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム
JP2012018593A (ja) * 2010-07-09 2012-01-26 Omron Corp 情報処理装置および方法、並びにプログラム
WO2013122009A1 (ja) * 2012-02-16 2013-08-22 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2013196295A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 生体情報処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4675492B2 (ja) 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
JP4539494B2 (ja) * 2005-08-23 2010-09-08 コニカミノルタホールディングス株式会社 認証装置、認証方法及びプログラム
TW200710018A (en) 2005-08-30 2007-03-16 Hitachi Maxell Microlens array substrate and method of manufacturing microlens array substrate
JP4795864B2 (ja) * 2006-06-21 2011-10-19 富士フイルム株式会社 特徴点検出装置および方法並びにプログラム
WO2010044214A1 (ja) 2008-10-14 2010-04-22 パナソニック株式会社 顔認識装置および顔認識方法
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
WO2011148596A1 (ja) 2010-05-26 2011-12-01 日本電気株式会社 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
KR101175597B1 (ko) * 2011-09-27 2012-08-21 (주)올라웍스 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JP6287047B2 (ja) * 2013-10-22 2018-03-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6318775B2 (ja) * 2014-03-31 2018-05-09 オムロン株式会社 障害物判定装置、およびプログラム
JP6431346B2 (ja) 2014-11-26 2018-11-28 アルパイン株式会社 顔認識装置
JP6526527B2 (ja) * 2015-09-09 2019-06-05 株式会社東芝 識別装置及び認証システム
JP6803525B2 (ja) * 2015-10-14 2020-12-23 パナソニックＩｐマネジメント株式会社 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム
JP2012018593A (ja) * 2010-07-09 2012-01-26 Omron Corp 情報処理装置および方法、並びにプログラム
WO2013122009A1 (ja) * 2012-02-16 2013-08-22 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2013196295A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 生体情報処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022524672A (ja) * 2020-02-28 2022-05-10 北京市商▲湯▼科技▲開▼▲發▼有限公司 情報認識方法及び装置、システム、電子機器、記憶媒体並びにコンピュータプログラム
JP6817527B1 (ja) * 2020-04-06 2021-01-20 富士通クライアントコンピューティング株式会社 情報処理装置、プログラムおよび情報処理システム
JP2021166322A (ja) * 2020-04-06 2021-10-14 富士通クライアントコンピューティング株式会社 情報処理装置、プログラムおよび情報処理システム
JP2023508704A (ja) * 2020-05-15 2023-03-03 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 顔キーポイントの検出方法、装置及び電子機器
JP7270114B2 (ja) 2020-05-15 2023-05-09 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 顔キーポイントの検出方法、装置及び電子機器
WO2022130616A1 (ja) 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム
WO2022185436A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US11967138B2 (en) 2021-03-03 2024-04-23 Nec Corporation Processing apparatus, information processing method and recording medium
JP7521682B2 (ja) 2021-03-03 2024-07-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
US20230360432A1 (en) 2023-11-09
JPWO2019003973A1 (ja) 2020-03-26
US20220075993A1 (en) 2022-03-10
US20230360435A1 (en) 2023-11-09
US11210498B2 (en) 2021-12-28
US20230360434A1 (en) 2023-11-09
US20200184198A1 (en) 2020-06-11
JP6835223B2 (ja) 2021-02-24
US11915518B2 (en) 2024-02-27
JP2021064424A (ja) 2021-04-22
JP7230939B2 (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
JP7230939B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
Sukno et al. 3-D facial landmark localization with asymmetry patterns and shape regression from incomplete local features
US9098760B2 (en) Face recognizing apparatus and face recognizing method
WO2010137157A1 (ja) 画像処理装置、方法、プログラム
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
US20160253554A1 (en) Determination device and determination method
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2004265267A (ja) 顔認証方法、および顔認証装置。
US20230252820A1 (en) Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及***
US11380132B2 (en) Face image processing apparatus and face image processing method
WO2020065790A1 (ja) 推定装置、推定方法、および記憶媒体
KR20180108361A (ko) 얼굴 인증 방법 및 장치
JP5688514B2 (ja) 視線計測システム、方法およびプログラム
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019155570A1 (ja) 視線推定装置、視線推定方法、および記録媒体
WO2023152983A1 (ja) 人物相関判定装置、人物相関判定方法および人物相関判定プログラム
US20240112496A1 (en) Image processing apparatus, authentication system, method, and non-transitory computer-readable storage medium
US20240242476A1 (en) Image recognition apparatus, training apparatus, control method, and storage medium
Rashad et al. 3D face recognition using 2DPCA 3D face recognition using 2DPCA
WO2020090111A1 (ja) 動線補正装置、動線補正方法、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18824532

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526808

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18824532

Country of ref document: EP

Kind code of ref document: A1