WO2015174647A1 - 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체 - Google Patents

사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체 Download PDF

Info

Publication number
WO2015174647A1
WO2015174647A1 PCT/KR2015/004006 KR2015004006W WO2015174647A1 WO 2015174647 A1 WO2015174647 A1 WO 2015174647A1 KR 2015004006 W KR2015004006 W KR 2015004006W WO 2015174647 A1 WO2015174647 A1 WO 2015174647A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame image
face
image
region
authentication
Prior art date
Application number
PCT/KR2015/004006
Other languages
English (en)
French (fr)
Inventor
김호
Original Assignee
김호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김호 filed Critical 김호
Priority to CN201580025201.XA priority Critical patent/CN106663157B/zh
Priority to US15/309,278 priority patent/US20170076078A1/en
Priority to SG11201607280WA priority patent/SG11201607280WA/en
Priority to JP2016567809A priority patent/JP6403233B2/ja
Publication of WO2015174647A1 publication Critical patent/WO2015174647A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • Embodiments of the present invention relate to a user authentication method, an apparatus for executing the same, and a recording medium storing the same.
  • face recognition technology Unlike other biometrics, face recognition technology has the advantage of being able to perform recognition naturally without any objection without the user's special action or action, so it can be called the most excellent biometric technology from the user's point of view.
  • FAR False Accept Rate
  • One solution is to combine face recognition with other authentication methods while continuously increasing face recognition performance. In this way, even if other people are accepted due to a recognition error and face recognition authentication passes, it can go through a double security process, so that almost perfect security authentication can be realized.
  • the present invention provides a user authentication method configured to simultaneously provide the convenience and accuracy of user authentication by combining authentication based on a user's face included in an input image and password authentication recognized according to a blinking state included in a face area. It is an object of the present invention to provide an apparatus for performing this and a recording medium storing the same.
  • the present invention extracts the change region between the frame images by using the difference between the frame images and performs face detection only on the change region, so that the face detection operation does not need to be performed on the entire frame image for each frame image.
  • An object of the present invention is to provide a user authentication method for improving a face detection speed, an apparatus for executing the same, and a recording medium storing the same.
  • An object of the present invention is to provide a method for authenticating a user, an apparatus for executing the same, and a recording medium storing the same.
  • a user authentication method executed in a user authentication apparatus may include: detecting a face region and a facial feature point by using frame images of the image data when receiving image data of a user from an image capturing device; Performing face authentication by matching the face area with a specific face template; The image of the eye region extracted using the facial feature point is detected using the image of eye blinking, and a password is recognized according to the eye blinking state based on a preset criterion, and whether the recognized password matches a preset password.
  • Password authentication step to confirm; And determining that the authentication of the user was successful according to the result of the face authentication and the result of the password authentication.
  • the apparatus for authenticating a user may include: a face region detector which detects a face region and a facial feature point by using frame images of the image data when receiving image data of a user from an image photographing device; A first authenticator configured to perform face authentication by matching the face area with a specific face template; The image of the eye region extracted using the facial feature point is detected using the image of eye blinking, and a password is recognized according to the eye blinking state based on a preset criterion, and whether the recognized password matches a preset password. A second authentication unit for confirming; And a determination unit that determines that the authentication of the user is successful according to the authentication result of the first authentication unit and the authentication result of the second authentication unit.
  • the recording medium storing the computer program for executing the user authentication method executed in the user authentication device, the face using each frame image of the image data when receiving the user's image data from the image photographing device Detecting area and facial feature points; Performing face authentication by matching the face area with a specific face template; The image of the eye region extracted using the facial feature point is detected using the image of eye blinking, and a password is recognized according to the eye blinking state based on a preset criterion, and whether the recognized password matches a preset password. Password authentication function to confirm; And determining that the authentication of the user was successful according to the result of the face authentication and the result of the password authentication.
  • the present invention by combining authentication based on the user's face included in the input image and password authentication recognized according to the blinking state included in the face area, there is an advantage of providing convenience and accuracy of user authentication at the same time. .
  • the face detection operation since the change region between the frame images is extracted by using the difference between the frame images, and the face detection is performed only in the change region, the face detection operation does not need to be performed for the entire frame image.
  • the face detection speed of the frame image can be improved. This detection speed improvement is particularly advantageous when applied to terminals with limited computing resources, such as mobile devices.
  • each image on the image pyramid is distributed and detected for each face region, and the results are combined to finally detect the face region. This has the effect of increasing accuracy.
  • FIG. 1 is a block diagram illustrating an apparatus for authenticating a user according to an exemplary embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an embodiment of a user authentication method according to the present invention.
  • FIG. 3 is a flowchart illustrating another embodiment of a user authentication method according to the present invention.
  • FIG. 4 is a flowchart illustrating another embodiment of a user authentication method according to the present invention.
  • FIG. 5 is a flowchart illustrating another embodiment of a user authentication method according to the present invention.
  • FIG. 6 is a reference diagram for explaining a process of detecting a face region in a general frame image using a key frame image.
  • FIG. 7 is a reference diagram for explaining a process of detecting a face region by constructing an image pyramid for a frame image.
  • FIG. 8 shows rectangular features (symmetrical, asymmetrical) for detecting facial regions.
  • FIG. 9 is a reference diagram for explaining a process of detecting a face region using the rectangular feature of FIG. 8.
  • FIG. 10 is a reference diagram for describing a process of detecting eye blink in a face area.
  • FIG. 1 is a block diagram illustrating an apparatus for authenticating a user according to an exemplary embodiment of the present invention.
  • the user authentication apparatus 100 may include a face area detector 110, a first authentication unit 120, a second authentication unit 130, and a determination unit 140.
  • the face region detector 110 When the face region detector 110 receives the user's image data from the image photographing device, the face region detector 110 detects the face region and the facial feature point by using each frame image of the image data.
  • the face area detector 110 provides information about the face area and the facial feature point to each of the first authenticator 120 and / or the second authenticator 130.
  • the face region detector 110 When the face region detector 110 receives the frame image from the image photographing device, the face region detector 110 detects the face region from the frame image and defines a specific frame image as a key frame image.
  • the face area detector 110 removes noise included in the frame image by setting a value obtained by linearly combining the contrast value of the neighboring pixel with the filter edges for each pixel of the frame image. .
  • the face region detector 110 down-scales the frame image to generate a plurality of images having different sizes, detects candidate face regions from each of the plurality of images, and uses the common region among the candidate face regions. Detect the face area in the image.
  • the face area detector 110 detects a face area from an original frame image, detects a face area from a frame image converted to a smaller scale, and detects a face area from a frame image converted to a smaller scale. After detecting, the common area among the face areas detected in the frame image for each scale may be detected as the face area in the corresponding frame. This approach can be understood as the image pyramid technique.
  • the face region detector 110 may detect a face region and a facial feature point (eg, an eye) in each of the plurality of images of the frame image by using a rectangular feature (or a quadrilateral feature point model).
  • a facial feature point eg, an eye
  • the details of the facial region and the facial feature point (eg, the eye) using the rectangular feature (or the square feature point model) will be described below in more detail with reference to FIGS. 8 and 9.
  • the face area detector 110 may define the frame image as a key frame image if there is no remainder when dividing the frame number of the frame image by a specific number. For example, in order to update the key frame every 15 times, the face region detection unit 110 may define the frame image as the key frame image if there is no remainder when the frame number is divided by 15.
  • the face region detector 110 receives a general frame image after defining a key frame, extracts a change region from the general frame image based on the key frame image, and detects a face region from the general frame image using the change region.
  • the face region detector 110 compares a key frame image with a general frame image to generate a difference frame image including difference information between frames, and performs thresholding and filtering on the difference frame image to perform a difference frame image. Generate a binary frame image.
  • the face area detector 110 compares the contrast value and the threshold value of the pixel with respect to each pixel of the difference frame image, and converts the corresponding pixel to 255, that is, white when the contrast value of the pixel is greater than or equal to the threshold value. If the contrast value of the pixel is less than or equal to the threshold value, the pixel is converted to 0, that is, black, to generate a binary frame image.
  • the threshold value may be previously stored in the user authentication device 100.
  • the face area detector 110 removes noise by applying a filter to the binary frame image.
  • the face area detector 110 may remove the noise by replacing the contrast value of the pixel corresponding to the noise of the binary frame image with the median value of the neighboring pixels.
  • This filter can be understood as a kind of median filter.
  • the face area detector 110 determines the face detection area in the normal frame image by using the binary frame image. More specifically, the face region detector 110 may extract rectangular regions including white pixels from the binary frame image, and determine the final rectangular region including the respective rectangular regions as the face detection region.
  • the 'face detection area' may be understood as a concept of a 'change area' between frames for face detection from another viewpoint.
  • the face area detector 110 detects the face area in the face detection area. More specifically, the face region detector 110 down scales the face detection region to generate a plurality of images having different sizes, detects candidate face regions in each of the plurality of images, and then uses a common region among the candidate face regions. The face region may be detected from the frame image.
  • the face region detector 110 may detect a face region and a facial feature point (eg, eyes, nose, mouth, etc.) in each of the plurality of images of the frame image by using the rectangular feature. Details of the facial region and the facial feature point detection using the rectangular feature will be described below in more detail with reference to FIGS. 8 and 9.
  • a facial feature point eg, eyes, nose, mouth, etc.
  • the first authenticator 120 performs face authentication by matching a face area with a specific face template.
  • the first authenticator 120 compares the binary feature amount of the face region with the pre-stored binary feature amount of the face template to calculate similarity, and determines the result of the face authentication according to the calculated similarity.
  • the previously stored specific face template may be a face template of a user who requires authentication and may be pre-stored in the user authentication apparatus 100. 'Matching' of the face region and the specific face template may be understood as having the same meaning as calculating the similarity by comparing the binary feature amount of the above-described face region with the binary feature amount of the previously stored face template.
  • the second authenticator 130 detects whether the eye blinks using the eye area among the face areas, and checks whether the recognized password matches the preset password according to the eye blink state. The second authenticator 130 provides the determination unit 140 with whether the recognized password matches the preset password according to the blinking state.
  • the second authenticator 130 extracts an eye region from the face region by using a facial feature point, generates a pixel vector of a specific dimension using pixel values of the eye region, and applies a principal component analysis (PCA) By reducing the number of dimensions of the pixel vector, and applying a support vector machine (SVM) to the pixel number of the reduced number of dimensions it can be detected whether the eye blinks.
  • PCA principal component analysis
  • the second authenticator 130 extracts the recognized password according to the blinking state.
  • the second authentication unit 130 has a pre-recognition criterion set to recognize 0 when only the left eye blinks, 1 when only the right eye blinks, and 2 when both eyes blink simultaneously. After extracting the password input through the user, it may be determined whether or not match with the password previously set and stored in the user authentication device (100).
  • the determination unit 140 may determine that the authentication of the user is successful according to the authentication result of the first authentication unit 120 and the authentication result of the second authentication unit 130. For example, when both the result of the face authentication and the result of the password authentication are determined to be successful, the user authentication may be determined to be successful.
  • FIG. 2 is a flowchart illustrating an embodiment of a user authentication method according to the present invention.
  • the embodiment disclosed in FIG. 2 relates to an embodiment in which user authentication may be performed by receiving image data of a user and performing face authentication and password authentication.
  • the user authentication apparatus 100 receives image data of a user from an image photographing device (step S210).
  • the user authentication apparatus 100 detects a face region using the key frame image and the general frame image among the frame images (step S220).
  • the user authentication apparatus 100 detects whether the eye blinks using the eye area among the face areas, and checks whether the recognized password matches the preset password according to the eye blink state (step S230).
  • the user authentication apparatus 100 detects an eye region in the face region using a facial feature point, generates a pixel vector of a specific dimension using pixel values of the eye region, and generates the pixel. Use vector to detect blinking eyes. Then, the recognized password is extracted according to the blinking state based on the preset criteria.
  • the preset criterion may be based on at least one of a left eye blink state, a right eye blink state, and a simultaneous blink state of both eyes, wherein the blink state is blink order, number of blinks, eyes closed. Or at least one of a combination of a holding time of the floating state or the floating state, a blink of the left eye and the right eye.
  • the second authentication unit 130 recognizes a password based on a preset criteria of 0 when only the left eye blinks, 1 when only the right eye blinks, and 2 when both eyes blink simultaneously. It may be determined whether the password matches the preset password.
  • the password can be set or recognized according to the blink state. For example, if the left eye only blinks 0, the right eye only blinks 1, and both eyes simultaneously blinks 2, the user authentication device 100 in order of left eye, right eye, left eye, and both eyes. Flashes to confirm the password as '0102'.
  • the number of digits of the password may be changed according to a setting, and the password for a specific user may be set and stored in advance.
  • the user authentication apparatus 100 performs face authentication by matching a face area with a specific face template (step S240).
  • the user authentication apparatus 100 determines that the authentication of the user is successful when the face authentication performed in step S240 succeeds (step S241) and the password authentication performed in step S230 succeeds (step S231).
  • FIG. 3 is a flowchart illustrating another embodiment of a user authentication method according to the present invention.
  • a specific frame image of each frame image of the user's image data is processed to be determined as a key frame image, and a face region of a next general frame image inputted using the key frame image is detected. It relates to an embodiment that can be.
  • the user authentication apparatus 100 receives a 0th frame image (first frame image) (step S310).
  • the user authentication apparatus 100 detects a face region in the 0th frame image (step S320). Also, the 0 th frame image is stored as the first key frame image.
  • the user authentication apparatus 100 determines that there is no remainder when dividing the frame number of the input frame image by a specific number (for example, 15) (step S330), the user authentication apparatus updates and stores the frame image as a key frame image. (Step S340). For example, in order to update the key frame every 15 times, the user authentication apparatus 100 may define the frame image as the key frame image if there is no remainder when the frame number is divided by 15. For example, the 0, 15, 30, 45, ... frame images may be defined as a key frame image. For example, the 0th frame image may be stored as a key frame since the rest of 0/15 becomes 0. In the next frame of the first frame image, the remainder of 1/15 is not 0. Is processed.
  • a specific number for example, 15
  • the remainder of 15/15 becomes 0 in the case of the 15th frame image, it may be stored as a new key frame.
  • the same order as the first and the first order is a convenience order given in the process of updating the key frame, and if the same result can be obtained, a different order or order may be provided.
  • the user authentication apparatus 100 receives a first frame image (step S350).
  • the user authentication apparatus 100 detects a face region in the first frame image using the key frame image (step S360).
  • the user authentication apparatus 100 ends when all frames have received an image (step S370).
  • FIG. 4 is a flowchart illustrating another embodiment of a user authentication method according to the present invention. Another embodiment disclosed in FIG. 4 relates to an embodiment in which, for example, a first input general frame image of each frame image of image data of a user may be processed and the corresponding frame image may be stored as a key frame image. .
  • the user authentication apparatus 100 receives a first general frame image of each frame image of the image data (step S410).
  • the user authentication apparatus 100 removes noise by applying a filter to the general frame image (step S420).
  • the user authentication apparatus 100 sets the value obtained by linearly combining the contrast values of the neighboring pixels with the filter edges for each pixel of the general frame image as the contrast value of the corresponding pixels. Can be removed. This process is shown in Equation 1 below.
  • the user authentication apparatus 100 constructs an image pyramid for the general frame image (step S430). More specifically, the user authentication apparatus 100 generates a plurality of images having different sizes by downscaling the general frame image.
  • the user authentication apparatus 100 detects a face region in the frame image using the image pyramid for the general frame image (step S440).
  • the user authentication apparatus 100 detects candidate face regions in each of a plurality of images having different sizes generated by downscaling the general frame image, and uses a common region among the candidate face regions. It can be detected as a face region in a normal frame image.
  • the user authentication apparatus 100 may detect a facial region and facial feature points (eg, eyes, nose, mouth, etc.) in each of the plurality of images using the rectangular feature.
  • a facial region and facial feature points eg, eyes, nose, mouth, etc.
  • the user authentication apparatus 100 stores the general frame image as a key frame image (step S450).
  • the data of the key frame image includes face detection data and image data.
  • the face detection data includes a face region attribute and a facial feature point position attribute
  • the image data includes a color model attribute and a pixel data attribute.
  • the image pixel data is used to extract the face detection region from the general frame image.
  • FIG. 5 is a flowchart illustrating another embodiment of a user authentication method according to the present invention. Another embodiment disclosed in FIG. 5 relates to an embodiment in which a face region is detected from a general frame image by using a key frame image among respective frame images of the user's image data.
  • the user authentication apparatus 100 compares a key frame image with a general frame image to generate a difference frame image including difference information between frames (step S510).
  • the user authentication apparatus 100 generates a binary frame image by performing thresholding on the difference frame image (step S520).
  • the user authentication apparatus 100 compares the contrast value and the threshold value of the pixel for each pixel of the difference frame image, and if the contrast value of the pixel is greater than or equal to the threshold value, that pixel is 255, that is, If the pixel is converted to white and the contrast value of the pixel is less than or equal to the threshold value, the pixel is converted to 0, that is, black to generate a binary frame image.
  • the user authentication apparatus 100 removes noise by applying a filter to the binary frame image (step S530).
  • the user authentication apparatus 100 may remove the noise by replacing the contrast value of the pixel corresponding to the noise of the binary frame image with the median value of the neighboring pixels.
  • the user authentication apparatus 100 determines the face detection area in the general frame image by using the binary frame image (step S540).
  • the user authentication apparatus 100 may extract rectangular areas including white pixels from a binary frame image, and determine a final rectangular area including the respective rectangular areas as a face detection area. .
  • the user authentication device 100 constructs an image pyramid for the face detection area (step S550).
  • the user authentication device 100 down-scales the face detection area to generate a plurality of images of different sizes to form an image pyramid.
  • the user authentication apparatus 100 detects the face region in the frame image by using the image pyramid of the face detection region (step S560).
  • the candidate face region may be detected in each of the plurality of images, and the face region may be detected using a common region among the detected candidate face regions.
  • the user authentication apparatus 100 may detect a facial region and facial feature points (eg, eyes, nose, mouth, etc.) in each of the plurality of images using the rectangular feature.
  • FIG. 6 is a reference diagram for explaining a process of detecting a face region in a general frame image using a key frame image.
  • the user authentication apparatus 100 compares the key frame image of FIG. 6 (a) with the general frame image of FIG. 6 (b), and includes only the difference information between frames as shown in FIG. Create a frame image.
  • the user authentication apparatus 100 generates a binary frame image as shown in FIG. 6 (d) by performing thresholding and median filtering on the difference frame image of FIG. 6 (c).
  • the user authentication apparatus 100 compares the contrast value and the threshold value of the pixel with respect to each pixel of the difference frame image of FIG. 6 (c), and if the contrast value of the pixel is equal to or greater than the threshold value, the corresponding pixel 255. That is, when the pixel is converted to white and the intensity value of the pixel is less than or equal to the threshold value, the pixel may be converted to 0, that is, black, to perform thresholding.
  • the user authentication apparatus 100 determines the face detection area in the general frame image by using the binary frame image of FIG. 6 (d) (S540).
  • the user authentication apparatus 100 extracts rectangular areas including white pixels from the binary frame image of FIG. 6 (d), and determines a final rectangular area including the respective rectangular areas as a face detection area. do. That is, the user authentication apparatus 100 may determine a face detection area (change area) in the general frame image as shown in FIG. 6E.
  • the user authentication apparatus 100 detects a face area in the face detection area of FIG. 6E as shown in FIG. 6F.
  • FIG. 7 is a reference diagram for explaining a process of detecting a face region by constructing an image pyramid for a frame image.
  • the user authentication apparatus 100 performs down scaling on a general frame image to generate a plurality of images having different sizes as shown in FIG. 7A.
  • the user authentication apparatus 100 detects the candidate face area in each of the plurality of images having different sizes as shown in FIG. 7A.
  • the user authentication apparatus 100 may detect a face region as shown in FIG. 7B by using a common region among candidate face regions detected in each of the plurality of images.
  • the user authentication apparatus 100 detects the face detection region in the normal frame image, Downscaling is performed to generate a plurality of images having different sizes as shown in FIG.
  • the user authentication apparatus 100 detects the candidate face area in each of the plurality of images having different sizes as shown in FIG. 7A.
  • the user authentication apparatus 100 may detect a face region as shown in FIG. 7B by using a common region among candidate face regions detected in each of the plurality of images.
  • FIG. 8 shows rectangular features (symmetrical, asymmetrical) for detecting facial regions.
  • 9 is a reference diagram for explaining a process of detecting a face region using the rectangular feature of FIG. 8.
  • the rectangle illustrated in FIG. 8 or FIG. 9 may be understood as a feature for detecting a face region, and a haar-like feature (a) having a symmetrical property that well reflects the features of the front face region. It can be further understood as a rectangular feature (b) of the proposed asymmetry reflecting the features of the non-facial face region.
  • the face area detection unit 110 of the user authentication apparatus detects a face candidate area in each frame of image data, and detects a rectangular feature (or quadrilateral) with respect to the detected face candidate area.
  • a feature point model is defined, and the face region is detected based on the training material learned by the AdaBoost learning algorithm, and the face region is detected in a rectangular shape.
  • the face area detector 110 may detect face feature points included in the detected face area.
  • unique structural characteristics of the face such as eyes, nose, and mouth are evenly distributed throughout the image and are symmetrical.
  • the frame including the non-facial face region since the unique structural characteristics of the face such as eyes, nose, and mouth are not evenly distributed in the image, they are not symmetrical and are concentrated in a narrow range, and the outline of the face is not a straight line. The background area is mixed up a lot.
  • FIG. 8 Asymmetric features such as (b) of FIG. 8 are used as well as symmetric features such as.
  • Asymmetric features such as (b) of FIG. 8 are composed of asymmetrical shapes, structures, and shapes, unlike the symmetrical features of FIG. 8 (a), and thus reflect the structural characteristics of the non-frontal face.
  • Excellent detection effect for That is, the face region may be detected in the frame as shown in FIG. 9A by using the symmetrical feature as shown in FIG. 8A, and as shown in FIG. 9 using the asymmetric feature as shown in FIG. 8B.
  • the face region may be detected in the frame as shown in (b) of FIG.
  • face region detection and face feature point detection can be implemented through a number of known techniques.
  • face region detection and face feature point detection may be performed using an AdaBoost learning algorithm and an Active Shape Model (ASM).
  • ASM Active Shape Model
  • facial region detection and facial feature point detection may be performed by the inventors of Korean Patent No. 10-1216123 (December 20, 2012) and Korean Patent No. 10-1216115 (December 2012). As described in detail in a number of papers and patent documents, including 20-day registration, detailed description thereof will be omitted.
  • FIG. 10 is a reference diagram for describing a process of detecting eye blink in a face area.
  • the user authentication apparatus 100 detects an eye region in the face region 10 by using four feature points around the eye region, for example.
  • the image of the eye region is cropped into, for example, a bitmap to perform rotation correction, and then converted into a black and white image 20 having a size of 20 * 20 pixels.
  • the user authentication apparatus 100 performs histogram normalization on the black and white image 20 of the eye region.
  • the user authentication device 100 generates, for example, a 400-dimensional pixel vector by using the pixel values 20 * 20 of the black and white image 20 of the eye region.
  • the user authentication apparatus 100 applies a PCA (Principal Component Analysis) 30 to a 400-dimensional pixel vector to obtain a pixel vector having a reduced dimension number of 200 dimensions, and supports the reduced pixel vector by SVM (Support). Vector Machine).
  • PCA Principal Component Analysis
  • SVM Serial
  • Vector Machine Scalable Vector Machine
  • Embodiments of the invention include computer readable media containing computer program instructions for performing various computer-implemented operations.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well known and available to those having skill in the computer software arts.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM, DVD, USB drives, magnetic-optical media such as floppy disks, and ROM, RAM, Hardware devices specifically configured to store and execute program instructions, such as flash memory, are included.
  • the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체에 관한 것이다. 본 발명의 일 실시예에 따른 사용자 인증 장치에서 실행되는 사용자 인증 방법은, 영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 단계; 상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 단계; 상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 비밀번호 인증 단계; 및 상기 얼굴 인증의 결과 및 상기 비밀번호 인증의 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 단계를 포함한다.

Description

사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
본 발명의 실시예들은 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체에 관한 것이다.
얼굴인식기술은 타 생체인식과는 달리 사용자의 특별한 동작이나 행위가 없이 비접촉식으로 거부감이 없이 자연스럽게 인식을 수행할 수 있는 장점을 가지고 있어 사용자의 입장에서 가장 탁월한 생체인식기술이라 할 수 있다.
이러한 얼굴인식기술이 다양한 분야로 그 응용이 확대되고 있으며, 일 예로서 보안인증 분야에서 주목을 받고 있다.
얼굴인식을 보안인증에 적용하면 패스워드입력이나 기타 부가적인 인증매체를 사용하지 않고, 카메라만 응시하는 것으로 자동인증이 가능하며 패스워드나 인증매체의 위조, 도난, 누실로 인한 사용자의 개인정보 불법유출을 방지할 수 있다.
예를 들어, 웹 로그인 시 사용자들이 아이디와 패스워드를 무한 공유하는 것을 막고 웹 관리자의 입장에서 발생하는 손실을 최소화할 수 있는 등 유용한 점이 많다. 이 밖에도 PC로그인, 스마트폰 잠금해제, E-Learning 등 다양한 인증분야에 적용할 수 있다.
그러나 얼굴의 회전, 표정, 조명, 노화에 따르는 인식률의 변화는 얼굴인식기술에서 보편적으로 나타나는 약점으로 이에 따른 오류율을 최소화하는 것이 문제로 대두된다.
특히 얼굴인식에서 타인수락률(FAR : False Accept Rate)을 줄이는 것은 얼굴인식을 인증분야에 적용하는데 있어서 가장 중요한 문제 중의 하나이다.
이에 대한 해결책으로 얼굴인식성능을 지속적으로 높이는 한편 얼굴인식과 기타 다른 인증방식을 결합하는 것이 하나의 방안이 될 수 있다. 이렇게 하면 인식 오류로 인해 타인이 수락되어 얼굴인식인증이 통과된다고 하더라도, 2중 보안 과정을 거칠 수 있기 때문에 거의 완벽에 가까운 보안인증을 실현할 수 있는 것이다.
그러나 얼굴인식과 기존의 인증방식(패스워드, USB인증)을 결합하면 보안강도는 높일 수 있으나 사용자의 입장에서는 여전히 기존인증방식의 제한성이 존재하여 얼굴인식의 장점을 원만히 살릴 수 없다는 결함이 있다.
이로 인해, 얼굴인식의 장점을 그대로 살리면서도 얼굴인식과 결합하여 인증 오류율을 최소화할 수 있는 기술의 개발이 요구되고 있다.
본 발명은 입력된 영상에 포함된 사용자의 얼굴에 기반한 인증과, 얼굴 영역에 포함된 눈 깜빡임 상태에 따라 인식된 비밀번호 인증을 결합하여, 사용자 인증의 편의성과 정확성을 동시에 제공하도록 구성된 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명은 프레임 영상 사이의 차이를 이용하여 프레임 영상 사이의 변화 영역을 추출하고 변화 영역에서만 얼굴 검출을 진행함으로써 매 프레임 영상에 대해서 전체 영역에서 얼굴 검출 연산을 진행하지 않아도 되기 때문에 매 프레임 영상에 대한 얼굴 검출 속도를 개선할 수 있도록 하는 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 발명은 변화 영역에 대한 이미지 피라미드를 구성한 후에 이미지 피라미드 상의 각각의 이미지를 분산처리 하여 얼굴 영역을 각각 검출하고 그 결과를 종합하여 최종적으로 얼굴 영역을 검출함으로써 얼굴 영역의 검출에 대한 정확성을 높일 수 있도록 하는 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
실시예들 중에서, 사용자 인증 장치에서 실행되는 사용자 인증 방법은, 영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 단계; 상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 단계; 상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 비밀번호 인증 단계; 및 상기 얼굴 인증의 결과 및 상기 비밀번호 인증의 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 단계를 포함한다.
실시예들 중에서, 사용자 인증 장치는, 영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 얼굴 영역 검출부; 상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 제1 인증부; 상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 제2 인증부; 및 상기 제1 인증부의 인증 결과 및 상기 제2 인증부의 인증 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 판단부를 포함한다.
실시예들 중에서, 사용자 인증 장치에서 실행되는 사용자 인증 방법을 실행하기 위한 컴퓨터 프로그램을 저장하는 기록 매체는, 영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 기능; 상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 기능; 상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 비밀번호 인증 기능; 및 상기 얼굴 인증의 결과 및 상기 비밀번호 인증의 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 기능을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명에 따르면, 입력된 영상에 포함된 사용자의 얼굴에 기반한 인증과, 얼굴 영역에 포함된 눈 깜빡임 상태에 따라 인식된 비밀번호 인증을 결합함으로써, 사용자 인증의 편의성과 정확성을 동시에 제공한다는 장점이 있다.
또한, 본 발명에 따르면, 프레임 영상 사이의 차이를 이용하여 프레임 영상 사이의 변화 영역을 추출하고 변화 영역에서만 얼굴 검출을 진행함으로써 매 프레임 영상에 대해서 전체 영역에서 얼굴 검출 연산을 진행하지 않아도 되기 때문에 매 프레임 영상에 대한 얼굴 검출 속도를 개선할 수 있다는 효과가 있다. 이러한 검출 속도 개선은 특히, 모바일 기기와 같이 제한된 컴퓨팅 리소스를 갖고 있는 단말에 적용 시에 특히 유리하다.
또한, 본 발명에 따르면, 변화 영역에 대한 이미지 피라미드를 구성한 후에 이미지 피라미드 상의 각각의 이미지를 분산처리 하여 얼굴 영역을 각각 검출하고 그 결과를 종합하여 최종적으로 얼굴 영역을 검출함으로써 얼굴 영역의 검출에 대한 정확성을 높일 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 인증 장치를 설명하기 위한 블록도이다.
도 2는 본 발명에 따른 사용자 인증 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3은 본 발명에 따른 사용자 인증 방법의 다른 일 실시예를 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 사용자 인증 방법의 또 다른 일 실시예를 설명하기 위한 흐름도이다.
도 5는 본 발명에 따른 사용자 인증 방법의 또 다른 일 실시예를 설명하기 위한 흐름도이다.
도 6은 열쇠 프레임 영상을 이용하여 일반 프레임 영상에서 얼굴 영역을 검출하는 과정을 설명하기 위한 참조도이다.
도 7은 프레임 영상에 대한 이미지 피라미드를 구성하여 얼굴 영역을 검출하는 과정을 설명하기 위한 참조도이다.
도 8은 얼굴 영역을 검출하기 위한 직사각형 피쳐(대칭형, 비대칭형)를 나타내는 도면이다.
도 9는 도 8의 직사각형 피쳐를 이용하여 얼굴 영역을 검출하는 과정을 설명하기 위한 참조도이다.
도 10은 얼굴 영역에서 눈 깜빡임을 검출하는 과정을 설명하기 위한 참조도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 인증 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 사용자 인증 장치(100)는 얼굴 영역 검출부(110), 제1 인증부(120), 제2 인증부(130) 및 판단부(140)를 포함한다.
얼굴 영역 검출부(110)는 영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출한다. 얼굴 영역 검출부(110)는 얼굴 영역 및 얼굴 특징점에 관한 정보를 제1 인증부(120) 및/또는 제2 인증부(130) 각각에 제공한다.
얼굴 영역 검출부(110)는 영상 촬영 기기로부터 프레임 영상을 수신하면, 프레임 영상에서 얼굴 영역을 검출하고 특정 프레임 영상을 열쇠 프레임 영상으로 정의한다.
먼저, 얼굴 영역 검출부(110)는 프레임 영상의 픽셀 각각에 대해서 주변 픽셀의 명암 값을 필터곁수들과 선형결합하여 획득한 값을 해당 픽셀의 명암 값으로 설정하여 프레임 영상에 포함된 노이즈를 제거한다.
그런 다음, 얼굴 영역 검출부(110)는 프레임 영상을 다운 스케일링하여 서로 다른 크기의 복수의 이미지를 생성하고, 복수의 이미지 각각에서 후보 얼굴 영역을 검출하고, 후보 얼굴 영역 중 공통 영역을 이용하여 해당 프레임 영상에서 얼굴 영역을 검출한다.
예를 들어, 얼굴 영역 검출부(110)는 원래의 프레임 영상에서 얼굴 영역을 검출하고, 그 보다 작은 스케일로 변환된 프레임 영상에서 얼굴 영역을 검출하고 또 그 보다 작은 스케일로 변환된 프레임 영상에서 얼굴 영역을 검출한 후, 각 스케일별 프레임 영상에서 검출된 얼굴 영역 중 공통 영역을 해당 프레임에서의 얼굴 영역으로 검출할 수 있다. 이러한 방식은 이미지 피라미드 기법으로 이해될 수 있다.
이때, 얼굴 영역 검출부(110)는 직사각형 피쳐(또는 4각 특징점 모델)를 이용하여 프레임 영상 복수의 이미지 각각에서 얼굴 영역과 얼굴 특징점(예, 눈)을 검출할 수 있다. 직사각형 피쳐(또는 4각 특징점 모델)를 이용한 얼굴 영역과 얼굴 특징점(예, 눈)의 상세한 내용은 이하의 도 8 및 도 9를 참조하여 보다 구체적으로 후술하기로 한다.
얼굴 영역 검출부(110)는 프레임 영상의 프레임 번호를 특정 숫자로 나누었을 때 나머지가 없으면 프레임 영상을 열쇠 프레임 영상으로 정의할 수 있다. 예를 들어, 얼굴 영역 검출부(110)는 매 15번 마다 열쇠 프레임이 갱신되도록 하기 위해서, 프레임 번호를 15로 나누었을 때 나머지가 없으면 프레임 영상을 열쇠 프레임 영상으로 정의하도록 할 수 있다.
얼굴 영역 검출부(110)는 열쇠 프레임을 정의한 후 일반 프레임 영상을 수신하고, 열쇠 프레임 영상을 기준으로 일반 프레임 영상에서 변화 영역을 추출하고, 변화 영역을 이용하여 일반 프레임 영상에서 얼굴 영역을 검출한다.
먼저, 얼굴 영역 검출부(110)는 열쇠 프레임 영상과 일반 프레임 영상을 비교하여 프레임간 차이 정보를 포함하는 차이 프레임 영상을 생성하고, 차이 프레임 영상에 대한 임계화 및 필터링을 실행하여 차이 프레임 영상에 대한 이진 프레임 영상을 생성한다.
보다 구체적으로, 얼굴 영역 검출부(110)는 차이 프레임 영상의 픽셀 각각에 대해서 픽셀의 명암 값과 임계값을 비교하고, 픽셀의 명암 값이 임계값 이상이면 해당 픽셀을 255, 즉 흰색으로 변환하고, 픽셀의 명암 값이 임계값 이하이면 해당 픽셀을 0, 즉 검은색으로 변환하여 이진 프레임 영상을 생성한다. 상기 임계값은 사용자 인증 장치(100)에 미리 저장된 것일 수 있다.
그리고, 얼굴 영역 검출부(110)는 이진 프레임 영상에 필터를 적용하여 노이즈를 제거한다. 예를 들어, 얼굴 영역 검출부(110)는 이진 프레임 영상의 노이즈에 해당하는 픽셀의 명암 값을 주변 픽셀의 중앙값으로 치환하여 노이즈를 제거할 수 있다. 이러한 필터는 일종의 메디안(Median) 필터로 이해될 수 있다.
그런 다음, 얼굴 영역 검출부(110)는 이진 프레임 영상을 이용하여 일반 프레임 영상에서 얼굴 검출 영역을 결정한다. 보다 구체적으로, 얼굴 영역 검출부(110)는 상기 이진 프레임 영상에서 흰색 픽셀을 포함하는 직사각형 영역들을 추출하고, 상기 각각의 직사각형 영역들을 포함하는 최종 직사각형 영역을 얼굴 검출 영역으로 결정할 수 있다. '얼굴 검출 영역'은 다른 관점에서 얼굴 검출을 위한 프레임 간의 '변화 영역'의 개념으로 이해될 수도 있다.
마지막으로, 얼굴 영역 검출부(110)는 얼굴 검출 영역에서 얼굴 영역을 검출한다. 보다 구체적으로, 얼굴 영역 검출부(110)는 얼굴 검출 영역을 다운 스케일링하여 서로 다른 크기의 복수의 이미지를 생성하고, 복수의 이미지 각각에서 후보 얼굴 영역을 검출한 후 후보 얼굴 영역 중 공통 영역을 이용하여 해당 프레임 영상에서 얼굴 영역을 검출할 수 있다.
이때, 얼굴 영역 검출부(110)는 직사각형 피쳐를 이용하여 프레임 영상의 복수의 이미지 각각에서 얼굴 영역과 얼굴 특징점(예를 들어, 눈, 코, 입 등)을 검출할 수 있다. 직사각형 피쳐를 이용한 얼굴 영역과 얼굴 특징점 검출의 상세한 내용은 도 8 및 도 9를 참조하여 보다 구체적으로 후술한다.
제1 인증부(120)는 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행한다. 일 실시예에서, 제1 인증부(120)는 얼굴 영역의 바이너리 특징량과 기 저장된 특정 얼굴 템플릿의 바이너리 특징량을 비교하여 유사도를 산출하고, 산출된 유사도에 따라 상기 얼굴 인증의 결과를 판단부(140)에 제공한다. 기 저장된 특정 얼굴 템플릿은 인증이 필요한 사용자의 얼굴 템플릿으로서, 사용자 인증 장치(100)에 미리 저장된 것일 수 있다. 얼굴 영역과 특정 얼굴 템플릿의 '매칭'은 상술한 얼굴 영역의 바이너리 특징량과 기 저장된 특정 얼굴 템플릿의 바이너리 특징량을 비교하여 유사도를 산출하는 것과 동일한 의미로 이해될 수 있다.
제2 인증부(130)는 얼굴 영역 중 눈 영역을 이용하여 눈 깜빡임 여부를 검출하고, 눈 깜빡임 상태에 따라 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인한다. 제2 인증부(130)는 눈 깜빡임 상태에 따라 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 판단부(140)에 제공한다.
제2 인증부(130)는 얼굴 특징점을 이용하여 상기 얼굴 영역에서 눈영역을 추출하고, 상기 눈 영역의 픽셀 값을 이용하여 특정 차원의 픽셀 벡터를 생성하고, PCA(Principal Component Analysis)를 적용하여 상기 픽셀 벡터의 차원수를 축소하고, 상기 축소된 차원수의 픽셀 벡터에 SVM(Support Vector Machine)을 적용하여 눈 깜빡임 여부를 검출할 수 있다.
제2 인증부(130)는 눈 깜빡임 상태에 따라 인식된 비밀번호를 추출한다. 예를 들어, 제2 인증부(130)는 왼쪽눈만 깜박였을 때 0, 오른쪽눈만 깜박였을 때 1, 양쪽눈을 동시에 깜박였을 때 2로 인식되도록 미리 인식 기준이 설정되어 이에 근거하여 영상을 통해 입력된 비밀번호를 추출한 후, 사용자 인증 장치(100)에 미리 설정 및 저장된 비밀번호와의 일치 여부를 판단할 수 있다.
판단부(140)는 제1 인증부(120)의 인증 결과 및 제2 인증부(130)의 인증 결과에 따라 사용자의 인증이 성공하였다고 판단할 수 있다. 예를 들어, 상기 얼굴 인증의 결과 및 상기 비밀번호 인증의 결과가 모두 인증 성공으로 판단된 경우에 사용자 인증이 성공한 것으로 판단할 수 있다.
이하에서는 도 2 내지 도 5를 참조하여 사용자 인증 방법에 대하여 설명한다. 후술할 사용자 인증 방법은 전술한 사용자 인증 장치(100)에서 수행되므로, 서로 상응하는 내용에 대해서는 중복하여 설명하지 않으나, 당업자는 전술한 기재로부터 본 발명에 따른 사용자 인증 방법의 일 실시예를 이해할 수 있을 것이다.
도 2는 본 발명에 따른 사용자 인증 방법의 일 실시예를 설명하기 위한 흐름도이다. 도 2에 개시된 일 실시예는 사용자의 영상 데이터를 수신하여 얼굴 인증 및 비밀번호 인증을 통해 사용자 인증을 실행할 수 있는 실시예에 관한 것이다.
도 2를 참조하면, 사용자 인증 장치(100)는 영상 촬영 기기로부터 사용자의 영상 데이터를 수신한다(단계 S210). 사용자 인증 장치(100)는 프레임 영상 중 열쇠 프레임 영상과 일반 프레임 영상을 이용하여 얼굴 영역을 검출한다(단계 S220).
사용자 인증 장치(100)는 얼굴 영역 중 눈 영역을 이용하여 눈 깜빡임 여부를 검출하고, 눈 깜빡임 상태에 따라 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인한다(단계 S230).
단계 S230에 대한 일 실시예에서, 사용자 인증 장치(100)는 얼굴 특징점을 이용하여 상기 얼굴 영역에서 눈영역을 검출하고, 눈 영역의 픽셀 값을 이용하여 특정 차원의 픽셀 벡터를 생성하고, 상기 픽셀 벡터를 이용하여 눈 깜빡임 여부를 검출한다. 그런 다음, 미리 설정한 기준에 근거하여 눈 깜빡임 상태에 따라 인식된 비밀번호를 추출한다. 일예로, 상기 미리 설정한 기준은, 왼쪽눈의 깜박임 상태 및 오른쪽눈의 깜박임 상태, 양쪽눈의 동시 깜박임 상태 중 적어도 하나의 상태에 근거하며, 상기 깜박임 상태는 깜박임 순서, 깜박임 횟수, 눈을 감거나 뜬 상태의 유지 시간, 왼쪽눈 및 오른쪽눈의 깜박임의 조합 중의 적어도 어느 하나를 포함한다.
예를 들어, 제2 인증부(130)는 왼쪽눈만 깜박였을 때 0, 오른쪽눈만 깜박였을 때 1, 양쪽눈을 동시에 깜박였을 때 2로 미리 설정한 기준에 근거하여 비밀번호를 인식한 후, 기 설정된 비밀번호와의 일치 여부를 판단할 수 있다.
비밀번호는 눈 깜빡임 상태에 따라 설정 또는 인식될 수 있다. 예를 들어, 왼쪽눈만 깜박였을 때 0, 오른쪽눈만 깜박였을 때 1, 양쪽눈을 동시에 깜박였을 때 2인 경우, 사용자 인증 장치(100)는 왼쪽눈, 오른쪽눈, 왼쪽눈, 양쪽눈 순으로 깜박여 비밀번호를 '0102'로 결정할 수 있다. 비밀번호의 자릿수는 설정에 따라 변경될 수 있으며, 특정 사용자에 대한 비밀번호는 미리 설정 및 저장될 수 있다.
사용자 인증 장치(100)는 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행한다(단계 S240).
사용자 인증 장치(100)는 단계 S240에서 실행된 얼굴 인증에 성공하고(단계 S241), 단계 S230에서 실행된 비밀번호 인증에 성공하면(단계 S231) 사용자의 인증이 성공하였다고 판단한다.
도 3은 본 발명에 따른 사용자 인증 방법의 다른 일 실시예를 설명하기 위한 흐름도이다. 도 3에 개시된 다른 일 실시예는 사용자의 영상 데이터의 각각의 프레임 영상 중 특정 프레임 영상을 처리하여 열쇠 프레임 영상으로 결정하고 열쇠 프레임 영상을 이용하여 다음에 입력되는 일반 프레임 영상의 얼굴 영역을 검출할 수 있는 실시예에 관한 것이다.
도 3을 참조하면, 사용자 인증 장치(100)는 제0 프레임 영상(가장 첫번째 프레임 영상)수신한다(단계 S310). 사용자 인증 장치(100)는 제0 프레임 영상에서 얼굴 영역을 검출한다(단계 S320). 또한, 제0 프레임 영상을 최초의 열쇠 프레임 영상으로 저장한다.
사용자 인증 장치(100)는 이후 입력되는 프레임 영상의 프레임 번호를 특정 숫자(예를 들어, 15)로 나누었을 때 나머지가 없다고 판단되면(단계 S330), 해당 프레임 영상을 열쇠 프레임 영상으로 갱신 저장한다(단계 S340). 예를 들어, 사용자 인증 장치(100)는 15번 마다 열쇠 프레임이 갱신되도록 하기 위해서, 프레임 번호를 15로 나누었을 때 나머지가 없으면 프레임 영상을 열쇠 프레임 영상으로 정의하도록 할 수 있다. 예를 들어, 제0,15,30,45,... 프레임 영상들이 열쇠 프레임 영상으로 정의될 수 있다. 예를 들어, 제0 프레임 영상의 경우 0/15의 나머지가 0이 되므로 열쇠 프레임으로 저장될 수 있으며, 그 다음 순서인 제1 프레임 영상의 경우 1/15의 나머지가 0이 아니므로 일반 프레임 영상으로 처리된다. 이러한 처리 과정을 거쳐, 제15프레임 영상의 경우 15/15의 나머지가 0이 되므로 새로운 열쇠 프레임으로 저장될 수 있다. 상기 설명에서 제0, 제1 과 같은 순서는 열쇠 프레임을 갱신하기 위한 과정에서 부여되는 편의상의 순서이며, 동일한 결과를 도출할 수 있다면 다른 방식의 순서 또는 순번이 부여되어도 된다.
사용자 인증 장치(100)는 제1 프레임 영상을 수신한다(단계 S350). 사용자 인증 장치(100)는 열쇠 프레임 영상을 이용하여 제1 프레임 영상에서 얼굴 영역을 검출한다(단계 S360). 사용자 인증 장치(100)는 모든 프레임이 영상이 수신되었다면(단계 S370) 종료한다.
도 4는 본 발명에 따른 사용자 인증 방법의 또 다른 일 실시예를 설명하기 위한 흐름도이다. 도 4에 개시된 또 다른 일 실시예는 사용자의 영상 데이터의 각각의 프레임 영상 중 예를 들어, 첫 번째 입력되는 일반 프레임 영상을 처리하여 해당 프레임 영상을 열쇠 프레임 영상으로 저장할 수 있는 실시예에 관한 것이다.
도 4를 참조하면, 사용자 인증 장치(100)는 영상 데이터의 각각의 프레임 영상 중 첫번째 일반 프레임 영상을 수신한다(단계 S410).
사용자 인증 장치(100)는 일반 프레임 영상에 필터를 적용하여 노이즈를 제거한다(단계 S420). 단계 S420에 대한 일 실시예에서, 사용자 인증 장치(100)는 일반 프레임 영상의 픽셀 각각에 대해서 주변 픽셀의 명암 값을 필터곁수들과 선형결합하여 획득한 값을 해당 픽셀의 명암 값으로 설정하여 노이즈를 제거할 수 있다. 이러한 과정은 아래의 [수학식 1]과 같다.
[수학식 1]
Figure PCTKR2015004006-appb-I000001
(단, x: 프레임 번호
i: 픽셀 번호
c: 필터곁수)
사용자 인증 장치(100)는 일반 프레임 영상에 대한 이미지 피라미드를 구성한다(단계 S430). 보다 구체적으로, 사용자 인증 장치(100)는 일반 프레임 영상을 다운 스케일링하여 서로 다른 크기의 복수의 이미지를 생성한다.
사용자 인증 장치(100)는 일반 프레임 영상에 대한 이미지 피라미드를 이용하여 해당 프레임 영상에서 얼굴 영역을 검출한다(단계 S440). 단계 S440에 대한 일 실시예에서, 사용자 인증 장치(100)는 일반 프레임 영상을 다운 스케일링하여 생성한 서로 다른 크기의 복수의 이미지 각각에서 후보 얼굴 영역을 검출하고, 후보 얼굴 영역 중 공통 영역을 이용하여 일반 프레임 영상에서 얼굴 영역으로 검출할 수 있다.
이때, 사용자 인증 장치(100)는 직사각형 피쳐를 이용하여 복수의 이미지 각각에서 얼굴 영역과 얼굴 특징점(예를 들어, 눈, 코, 입 등)을 검출할 수 있다.
사용자 인증 장치(100)는 일반 프레임 영상을 열쇠 프레임 영상으로 저장한다(단계 S450). 예를 들어, 열쇠 프레임 영상의 데이터는 얼굴검출 데이터와 이미지 데이터를 포함한다. 얼굴검출 데이터는 얼굴영역 속성 및 얼굴 특징점 위치 속성을 포함하고, 이미지 데이터는 컬러 모델 속성 및 픽셀 데이터 속성을 포함한다. 열쇠 프레임 영상 데이터를 XML 포맷으로 예시하면 아래의 예시 코드와 같다.
[예시 코드]
< key_frame_data number=”프레임번호”>
-< detection_data >
<face_rect first=”왼쪽위좌표” last=”오른쪽아래좌표” />
<landmarks left_eye=”왼눈좌표” right_eye=”오른눈좌표”… … />
</ detection_data >
-< image_data >
< color_model = “gray” />
< pixel_data = “ ” />
</ image_data >
</ key_frame_data >
[예시 코드]의 <image_data>에는 열쇠 프레임 영상의 이미지 픽셀 데이터인 컬러 모델 속성 <color_model = "gray"/> 및 픽셀 데이터 속성 <pixel_data = " "/>를 포함한다. 이미지 픽셀 데이터는 일반 프레임 영상에서 얼굴 검출 영역을 추출하는데 사용된다.
도 5는 본 발명에 따른 사용자 인증 방법의 또 다른 일 실시예를 설명하기 위한 흐름도이다. 도 5에 개시된 또 다른 일 실시예는 사용자의 영상 데이터의 각각의 프레임 영상 중 열쇠 프레임 영상을 이용하여 일반 프레임 영상에서 얼굴 영역을 검출할 수 있는 실시예에 관한 것이다.
도 5를 참조하면, 사용자 인증 장치(100)는 열쇠 프레임 영상과 일반 프레임 영상을 비교하여 프레임간 차이 정보를 포함하는 차이 프레임 영상을 생성한다(단계 S510).
사용자 인증 장치(100)는 차이 프레임 영상에 대한 임계화를 실행하여 이진 프레임 영상을 생성한다(단계 S520). 단계 S520에 대한 일 실시예에서, 사용자 인증 장치(100)는 차이 프레임 영상의 픽셀 각각에 대해서 픽셀의 명암 값과 임계값을 비교하고, 픽셀의 명암 값이 임계값 이상이면 해당 픽셀을 255, 즉 흰색으로 변환하고, 픽셀의 명암 값이 임계값 이하이면 해당 픽셀을 0, 즉 검은색으로 변환하여 이진 프레임 영상을 생성한다.
사용자 인증 장치(100)는 이진 프레임 영상에 필터를 적용하여 노이즈를 제거한다(단계 S530). 단계 S530에 대한 일 실시예에서, 사용자 인증 장치(100)는 이진 프레임 영상의 노이즈에 해당하는 픽셀의 명암 값을 주변 픽셀의 중앙값으로 치환하여 노이즈를 제거할 수 있다.
사용자 인증 장치(100)는 이진 프레임 영상을 이용하여 일반 프레임 영상에서 얼굴 검출 영역을 결정한다(단계 S540). 단계 S540에 대한 일 실시예에서, 사용자 인증 장치(100)는 이진 프레임 영상에서 흰색 픽셀을 포함하는 직사각형 영역들을 추출하고, 상기 각각의 직사각형 영역들을 포함하는 최종 직사각형 영역을 얼굴 검출 영역으로 결정할 수 있다.
사용자 인증 장치(100)는 얼굴 검출 영역에 대한 이미지 피라미드를 구성한다(단계 S550). 단계 S550에 대한 일 실시예에서, 사용자 인증 장치(100)는 얼굴 검출 영역을 다운 스케일링하여 서로 다른 크기의 복수의 이미지를 생성하여 이미지 피라미드를 구성한다.
사용자 인증 장치(100)는 얼굴 검출 영역에 대한 이미지 피라미드를 이용하여 해당 프레임 영상에서 얼굴 영역을 검출한다(단계 S560).
단계 S560에 대한 일 실시예에서, 복수의 이미지 각각에서 후보 얼굴 영역을 검출하고, 검출된 후보 얼굴 영역 중 공통 영역을 이용하여 얼굴 영역을 검출할 수 있다. 이때, 사용자 인증 장치(100)는 직사각형 피쳐를 이용하여 복수의 이미지 각각에서 얼굴 영역과 얼굴 특징점(예를 들어, 눈, 코, 입 등)을 검출할 수 있다.
도 6은 열쇠 프레임 영상을 이용하여 일반 프레임 영상에서 얼굴 영역을 검출하는 과정을 설명하기 위한 참조도이다.
도 6을 참조하면, 사용자 인증 장치(100)는 도 6(a)의 열쇠 프레임 영상 및 도 6(b)의 일반 프레임 영상을 비교하여 도 6(c)와 같이 프레임간 차이 정보만 포함하는 차이 프레임 영상을 생성한다.
사용자 인증 장치(100)는 도 6(c)의 차이 프레임 영상에 대한 임계화 및 메디안 필터링을 실행하여 도 6(d)와 같은 이진 프레임 영상을 생성한다.
일 실시예에서, 사용자 인증 장치(100)는 도 6(c)의 차이 프레임 영상의 픽셀 각각에 대해서 픽셀의 명암 값과 임계값을 비교하고, 픽셀의 명암 값이 임계값 이상이면 해당 픽셀을 255, 즉 흰색으로 변환하고, 픽셀의 명암 값이 임계값 이하이면 해당 픽셀을 0, 즉 검은색으로 변환하여 임계화를 실행할 수 있다.
사용자 인증 장치(100)는 도 6(d)의 이진 프레임 영상을 이용하여 일반 프레임 영상에서 얼굴 검출 영역을 결정한다(단계 S540).
일 실시예에서, 사용자 인증 장치(100)는 도 6(d)의 이진 프레임 영상에서 흰색 픽셀을 포함하는 직사각형 영역들을 추출하고, 상기 각각의 직사각형 영역들을 포함하는 최종 직사각형 영역을 얼굴 검출 영역으로 결정한다. 즉, 사용자 인증 장치(100)는 도 6(e)와 같이 일반 프레임 영상에서 얼굴 검출 영역(변화 영역)을 결정할 수 있다.
사용자 인증 장치(100)는 도 6(e)의 얼굴 검출 영역에서 도 6(f)와 같이 얼굴 영역을 검출한다.
도 7은 프레임 영상에 대한 이미지 피라미드를 구성하여 얼굴 영역을 검출하는 과정을 설명하기 위한 참조도이다.
도 7을 참조하면, 사용자 인증 장치(100)는 일반 프레임 영상에 대해서 다운 스케일링을 실행하여 도 7의 (a)와 같은 서로 다른 크기의 복수의 이미지를 생성한다. 사용자 인증 장치(100)는 도 7의 (a)와 같은 서로 다른 크기의 복수의 이미지 각각에서 후보 얼굴 영역을 검출한다. 사용자 인증 장치(100)는 복수의 이미지 각각에서 검출된 후보 얼굴 영역 중 공통 영역을 이용하여 도 7의 (b)와 같이 얼굴 영역을 검출할 수 있다.
한편, 열쇠 프레임 영상 및 일반 프레임 영상 사이의 프레임 차이 영상을 이용하여 일반 프레임 영상에서 얼굴 영역을 검출할 시, 사용자 인증 장치(100)는 일반 프레임 영상에서 얼굴 검출 영역을 검출하고, 얼굴 검출 영역에 대해서 다운 스케일링을 실행하여 도 7의 (a)와 같은 서로 다른 크기의 복수의 이미지를 생성한다.
사용자 인증 장치(100)는 도 7의 (a)와 같은 서로 다른 크기의 복수의 이미지 각각에서 후보 얼굴 영역을 검출한다. 사용자 인증 장치(100)는 복수의 이미지 각각에서 검출된 후보 얼굴 영역 중 공통 영역을 이용하여 도 7의 (b)와 같이 얼굴 영역을 검출할 수 있다.
도 8은 얼굴 영역을 검출하기 위한 직사각형 피쳐(대칭형, 비대칭형)를 나타내는 도면이다. 도 9는 도 8의 직사각형 피쳐를 이용하여 얼굴 영역을 검출하는 과정을 설명하기 위한 참조도이다. 상기 도 8 또는 도 9에 예시된 직사각형은 얼굴영역 검출을 위한 피쳐로 이해될 수 있으며, 정면 얼굴영역의 특징을 잘 반영하고 있는 대칭적인 성질을 가진 하 라이크 피쳐(haar-like feature)(a)와, 비정면 얼굴영역의 특징을 반영하여 제안된 비대칭성의 직사각형 피쳐(b)로 더욱 이해될 수 있다.
도 8 및 도 9를 참조하면, 사용자 인증 장치(도 1, 100)는 영상 촬영 기기(도 1, 200)로부터 영상 데이터의 각각의 프레임 중 특정 프레임을 수신하면, 특정 프레임에서 얼굴 영역 및 얼굴 특징점(예를 들어, 눈, 코, 입 등)을 검출한다.
일 실시예에서, 사용자 인증 장치(도 1, 100)의 얼굴 영역 검출부(110)는 영상 데이터의 각각의 프레임에서 얼굴후보영역을 검출하고, 상기 검출된 얼굴후보영역에 대한 직사각형 피쳐(또는 4각 특징점 모델)를 정의하며, 상기 직사각형 피쳐를 AdaBoost 학습 알고리즘에 의하여 학습시킨 학습자료에 기초하여 얼굴 영역을 검출하되, 직사각형 형태로 얼굴 영역을 검출할 수 있다. 또한, 얼굴 영역 검출부(110)는 검출된 얼굴 영역에 포함된 얼굴 특징점을 검출할 수 있다.
일반적으로, 정면 얼굴 영역을 포함하는 프레임에는 눈, 코, 입과 같이 얼굴의 고유한 구조적 특성들이 화상에 전반적으로 골고루 분포되어 있으며 대칭적이다. 하지만, 비정면 얼굴 영역을 포함하는 프레임에는 눈, 코, 입과 같이 얼굴의 고유한 구조적 특성들이 화상에 골고루 분포되어 있지 않기 때문에 대칭적이지 못하고 좁은 범위에 밀집되어 있으며 얼굴윤곽이 직선이 아니므로 배경영역이 많이 섞어져 있다.
따라서, 도 8의 (a)와 같은 대칭적인 피쳐를 이용하면 비정면 얼굴 영역에 대한 높은 검출성능을 얻기 어려울 수 있다는 점을 더욱 감안하여, 본 실시예에서는 더욱 바람직하게는, 도 8의 (a)와 같은 대칭적인 피쳐뿐만 아니라 도 8의 (b)와 같은 비대칭적인 피쳐를 사용한다. 도 8의 (b)와 같은 비대칭적인 피쳐는 도 8의 (a)와 같은 대칭적인 피쳐와 달리 비대칭적인 형태, 구조, 모양으로 구성되어 비정면 얼굴의 구조적 특성을 잘 반영하고 있어 비정면 얼굴 영역에 대한 검출 효과가 뛰어나다. 즉, 도 8의 (a)와 같은 대칭적인 피쳐를 이용하여 도 9의 (a)와 같은 프레임에서 얼굴 영역을 검출할 수 있고, 도 8의 (b)와 같은 비대칭적인 피쳐를 이용하여 도 9의 (b)와 같은 프레임에서 얼굴 영역을 검출할 수 있다.
이러한 얼굴 영역 검출 및 얼굴 특징점 검출은 다수의 공지된 기법을 통해 구현될 수 있다. 일 예로서, 얼굴 영역 검출 및 얼굴 특징점 검출은 AdaBoost 학습 알고리즘과 ASM(Active Shape Model)을 이용하여 이뤄질 수 있다. 또 다른 예로서, 얼굴 영역 검출 및 얼굴 특징점 검출은 본 발명자가 제안한 바 있는 대한민국 등록특허 제10-1216123호(2012년12월20일 등록), 대한민국 등록특허 제 10-1216115호(2012년12월20일 등록)를 포함하는 다수의 논문 및 특허 자료에 상세하게 설명된바 있으므로, 그 상세 설명은 생략한다.
도 10은 얼굴 영역에서 눈 깜빡임을 검출하는 과정을 설명하기 위한 참조도이다.
도 10을 참조하면, 사용자 인증 장치(100)는 얼굴 영역(10)에서 얼굴 특징점 중 예를 들어, 눈 영역 주위 4개의 특징점들을 이용하여 눈영역을 검출한다. 이때, 눈영역의 이미지는 예를 들어, 비트맵으로 크롭(crop)하여 회전 보정을 진행한 다음, 20*20 픽셀 크기의 흑백 이미지(20)로 변환한다. 사용자 인증 장치(100)는 눈영역의 흑백 이미지(20)에 대한 히스토그램정규화를 진행한다. 사용자 인증 장치(100)는 눈영역의 흑백 이미지(20)의 픽셀 값(20*20)을 이용하여 예를 들어, 400차원의 픽셀 벡터를 생성한다.
사용자 인증 장치(100)는 400차원의 픽셀 벡터에 PCA(주성분 분석, Principal Component Analysis)(30)를 적용하여 200차원의 축소된 차원수의 픽셀 벡터를 획득하고, 축소된 픽셀 벡터를 SVM(Support Vector Machine)(40)으로 입력한다. 이와 같이 주성분 분석을 이용하여 SVM(40)의 입력자료의 차원수를 축소하면 SVM(40)에 의한 식별속도를 높이고 서포트벡터와 결합곁수들을 비롯한 데이터베이스의 크기를 대폭 줄일 수 있다. 사용자 인증 장치(100)는 예를 들어, 200차원의 축소된 입력 벡터를 구성하고 SVM(40)의 판별함수에 의하여 눈깜박임 여부를 검출할 수 있다.
본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 컴퓨터 프로그램 명령을 포함하는 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 사용자 인증 장치에서 실행되는 사용자 인증 방법에 있어서,
    영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 단계;
    상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 단계;
    상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 비밀번호 인증 단계; 및
    상기 얼굴 인증의 결과 및 상기 비밀번호 인증의 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 단계를 포함하는 사용자 인증 방법.
  2. 제1항에 있어서,
    상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 단계는,
    상기 프레임 영상 중 특정 프레임 영상에서 얼굴 영역을 검출하고 상기 특정 프레임 영상을 열쇠 프레임 영상으로 정의하는 단계; 및
    상기 열쇠 프레임 영상을 기준으로 일반 프레임 영상에서 변화 영역을 추출하고, 상기 변화 영역을 이용하여 상기 일반 프레임 영상에서 얼굴 영역을 검출하는 단계를 포함하는 사용자 인증 방법.
  3. 제2항에 있어서,
    상기 프레임 영상 중 특정 프레임 영상에서 얼굴 영역을 검출하고 상기 특정 프레임 영상을 열쇠 프레임 영상으로 정의하는 단계는,
    상기 특정 프레임 영상의 픽셀 각각에 대해서 주변 픽셀의 명암 값을 필터곁수들과 선형결합하여 획득한 값을 해당 픽셀의 명암 값으로 설정하여 상기 특정 프레임 영상에 포함된 노이즈를 제거하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  4. 제2항에 있어서,
    상기 프레임 영상 중 특정 프레임 영상에서 얼굴 영역을 검출하고 상기 특정 프레임 영상을 열쇠 프레임 영상으로 정의하는 단계는,
    상기 특정 프레임 영상의 프레임 번호를 특정 숫자로 나누었을 때 나머지가 없으면 상기 특정 프레임 영상을 열쇠 프레임 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  5. 제2항에 있어서,
    상기 열쇠 프레임 영상을 기준으로 상기 일반 프레임 영상에서 변화 영역을 추출하고, 상기 변화 영역을 이용하여 상기 일반 프레임 영상에서 얼굴 영역을 검출하는 단계는,
    상기 열쇠 프레임 영상과 상기 일반 프레임 영상을 비교하여 프레임간 차이 정보를 포함하는 차이 프레임 영상을 생성하는 단계;
    상기 차이 프레임 영상에 대한 임계화를 실행하여 상기 차이 프레임 영상에 대한 이진 프레임 영상을 생성하는 단계;
    상기 이진 프레임 영상에 필터를 적용하여 노이즈를 제거하는 단계;
    상기 이진 프레임 영상을 이용하여 상기 일반 프레임 영상에서 얼굴 검출 영역을 결정하는 단계; 및
    상기 얼굴 검출 영역에서 얼굴 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  6. 제5항에 있어서,
    상기 차이 프레임 영상에 대한 임계화를 실행하여 상기 차이 프레임 영상에 대한 이진 프레임 영상을 생성하는 단계는,
    상기 차이 프레임 영상의 픽셀 각각에 대해서 픽셀의 명암 값과 임계값을 비교하는 단계;
    상기 픽셀의 명암 값이 임계값 이상이면 해당 픽셀을 흰색으로 변환하는 단계; 및
    상기 픽셀의 명암 값이 임계값 이하이면 해당 픽셀을 검은색으로 변환하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  7. 제6항에 있어서,
    상기 이진 프레임 영상에 필터를 적용하여 노이즈를 제거하는 단계는,
    상기 이진 프레임 영상의 노이즈에 해당하는 픽셀의 명암 값을 주변 픽셀의 명암 값의 중앙값으로 치환하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  8. 제6항에 있어서,
    상기 이진 프레임 영상을 이용하여 상기 일반 프레임 영상에서 얼굴 검출 영역을 결정하는 단계는,
    상기 이진 프레임 영상에서 흰색 픽셀을 포함하는 직사각형 영역들을 추출하는 단계; 및
    상기 각각의 직사각형 영역들을 포함하는 최종 직사각형 영역을 얼굴 검출 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  9. 제5항에 있어서,
    상기 얼굴 검출 영역에서 얼굴 영역을 검출하는 단계는,
    상기 얼굴 검출 영역을 다운 스케일링하여 서로 다른 크기의 복수의 이미지를 생성하는 단계;
    상기 복수의 이미지 각각에서 후보 얼굴 영역을 검출하는 단계; 및
    상기 복수의 이미지 각각에서 검출된 후보 얼굴 영역 중 공통 영역을 이용하여 해당 프레임 영상의 얼굴 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  10. 제9항에 있어서,
    상기 얼굴 검출 영역에서 얼굴 영역을 검출하는 단계는,
    상기 복수의 이미지 각각에서 얼굴후보영역을 검출하고, 상기 검출된 얼굴후보영역에 대한 직사각형 피쳐를 정의하며, 상기 직사각형 피쳐를 AdaBoost 학습 알고리즘에 의하여 학습시킨 학습자료에 기초하여 얼굴영역을 검출하는 단계; 및
    상기 검출된 얼굴영역으로부터 ASM(Active Shape Model) 기법에 기반하여 얼굴 특징점을 검출하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  11. 제1항에 있어서,
    상기 얼굴 인증을 실행하는 단계는,
    상기 얼굴 영역의 바이너리 특징량과 기 저장된 특정 얼굴 템플릿의 바이너리 특징량을 비교하여 유사도를 산출하고, 상기 산출된 유사도에 따라 상기 얼굴 인증의 결과를 출력하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  12. 제1항에 있어서,
    상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 상기 눈 깜빡임 상태에 따라 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 단계는,
    얼굴 특징점을 이용하여 상기 얼굴 영역에서 눈영역을 추출하는 단계;
    상기 눈 영역의 픽셀 값을 이용하여 특정 차원의 픽셀 벡터를 생성하는 단계;
    PCA(Principal Component Analysis)를 적용하여 상기 픽셀 벡터의 차원수를 축소하는 단계; 및
    상기 축소된 차원수의 픽셀 벡터에 SVM(Support Vector Machine)을 적용하여 눈 깜빡임 여부를 검출하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  13. 제1항에 있어서,
    상기 미리 설정한 기준은,
    왼쪽눈의 깜박임 상태 및 오른쪽눈의 깜박임 상태, 양쪽눈의 동시 깜박임 상태 중 적어도 하나의 상태에 근거하며,
    상기 깜박임 상태는 깜박임 순서, 깜박임 횟수, 눈을 감거나 뜬 상태의 유지 시간, 왼쪽눈 및 오른쪽눈의 깜박임의 조합 중의 적어도 어느 하나를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  14. 영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 얼굴 영역 검출부;
    상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 제1 인증부;
    상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 제2 인증부; 및
    상기 제1 인증부의 인증 결과 및 상기 제2 인증부의 인증 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 판단부를 포함하는 사용자 인증 장치.
  15. 사용자 인증 장치에서 실행되는 사용자 인증 방법을 실행하기 위한 컴퓨터 프로그램을 저장하는 기록 매체에 있어서,
    영상 촬영 기기로부터 사용자의 영상 데이터를 수신하면 상기 영상 데이터의 각각의 프레임 영상을 이용하여 얼굴 영역과 얼굴 특징점을 검출하는 기능;
    상기 얼굴 영역과 특정 얼굴 템플릿을 매칭하여 얼굴 인증을 실행하는 기능;
    상기 얼굴 특징점을 이용하여 추출한 눈 영역의 이미지를 이용하여 눈 깜빡임 여부를 검출하고, 미리 설정한 기준에 근거하여 상기 눈 깜빡임 상태에 따라 비밀번호를 인식하고, 상기 인식된 비밀번호와 기 설정된 비밀번호의 일치 여부를 확인하는 비밀번호 인증 기능; 및
    상기 얼굴 인증의 결과 및 상기 비밀번호 인증의 결과에 따라 상기 사용자의 인증이 성공하였다고 판단하는 기능을 포함하는 것을 특징으로 하는 기록 매체.
PCT/KR2015/004006 2014-05-12 2015-04-22 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체 WO2015174647A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580025201.XA CN106663157B (zh) 2014-05-12 2015-04-22 用户认证方法、执行该方法的装置及存储该方法的记录介质
US15/309,278 US20170076078A1 (en) 2014-05-12 2015-04-22 User authentication method, device for executing same, and recording medium for storing same
SG11201607280WA SG11201607280WA (en) 2014-05-12 2015-04-22 User authentication method, device for executing same, and recording medium for storing same
JP2016567809A JP6403233B2 (ja) 2014-05-12 2015-04-22 ユーザー認証方法、これを実行する装置及びこれを保存した記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140056802A KR101494874B1 (ko) 2014-05-12 2014-05-12 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
KR10-2014-0056802 2014-05-12

Publications (1)

Publication Number Publication Date
WO2015174647A1 true WO2015174647A1 (ko) 2015-11-19

Family

ID=52594126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004006 WO2015174647A1 (ko) 2014-05-12 2015-04-22 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체

Country Status (6)

Country Link
US (1) US20170076078A1 (ko)
JP (1) JP6403233B2 (ko)
KR (1) KR101494874B1 (ko)
CN (1) CN106663157B (ko)
SG (2) SG10201805424RA (ko)
WO (1) WO2015174647A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619723B1 (en) 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression
EP3400552A4 (en) * 2016-01-08 2018-11-21 Visa International Service Association Secure authentication using biometric input

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918107B (zh) * 2015-05-29 2018-11-02 小米科技有限责任公司 视频文件的标识处理方法及装置
JP2017004398A (ja) * 2015-06-15 2017-01-05 株式会社セキュア 認証装置及び認証方法
JP2019506694A (ja) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
EP3602488A4 (en) 2017-03-31 2021-05-26 3M Innovative Properties Company IMAGE-BASED COUNTERFEIT DETECTION
US10097538B1 (en) * 2017-08-12 2018-10-09 Growpath, Inc. User authentication systems and methods
KR101812969B1 (ko) 2017-11-06 2018-01-31 주식회사 올아이티탑 인체정보를 이용한 보안 및 해킹 방지기능을 구비하는 디지털 가상화폐의 거래방법
KR101973592B1 (ko) * 2017-12-20 2019-05-08 주식회사 올아이티탑 인체정보를 이용한 보안 및 해킹 방지기능을 구비하는 디지털 가상화폐의 거래방법
KR102021491B1 (ko) * 2018-04-24 2019-09-16 조선대학교산학협력단 사용자 인증을 위한 장치 및 방법
CN109190345A (zh) * 2018-07-25 2019-01-11 深圳点猫科技有限公司 一种基于人工智能验证登录对象的方法及其***
CN111652018B (zh) * 2019-03-30 2023-07-11 上海铼锶信息技术有限公司 一种人脸注册方法和认证方法
US20210248217A1 (en) * 2020-02-08 2021-08-12 Sujay Abhay Phadke User authentication using primary biometric and concealed markers
JP7200965B2 (ja) * 2020-03-25 2023-01-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN111597911B (zh) * 2020-04-22 2023-08-29 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和***
CN111523513B (zh) * 2020-05-09 2023-08-18 深圳市华百安智能技术有限公司 通过大数据筛选进行人员入户安全验证的工作方法
US11792188B2 (en) 2020-08-05 2023-10-17 Bank Of America Corporation Application for confirming multi-person authentication
US11792187B2 (en) 2020-08-05 2023-10-17 Bank Of America Corporation Multi-person authentication
US11528269B2 (en) 2020-08-05 2022-12-13 Bank Of America Corporation Application for requesting multi-person authentication
CN113421079B (zh) * 2021-06-22 2022-06-21 深圳天盘实业有限公司 一种基于共享充电宝租赁柜的借还共享充电宝方法
WO2023073838A1 (ja) * 2021-10-27 2023-05-04 日本電気株式会社 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体
KR102643277B1 (ko) * 2022-03-10 2024-03-05 주식회사 메사쿠어컴퍼니 얼굴인식을 이용한 비밀번호 입력 방법 및 시스템
KR102636195B1 (ko) * 2022-03-17 2024-02-13 한국기술교육대학교 산학협력단 눈깜빡임 패턴을 이용한 십진 패스워드 입력 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100553850B1 (ko) * 2003-07-11 2006-02-24 한국과학기술원 얼굴인식/표정인식 시스템 및 방법
KR20120052596A (ko) * 2010-11-16 2012-05-24 엘지이노텍 주식회사 카메라 모듈 및 그의 이미지 처리 방법
KR101242390B1 (ko) * 2011-12-29 2013-03-12 인텔 코오퍼레이션 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233816A (ja) * 2002-02-13 2003-08-22 Nippon Signal Co Ltd:The アクセスコントロールシステム
WO2006030519A1 (ja) * 2004-09-17 2006-03-23 Mitsubishi Denki Kabushiki Kaisha 顔認証装置及び顔認証方法
JP2010182056A (ja) * 2009-02-05 2010-08-19 Fujifilm Corp パスワード入力装置及びパスワード照合システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100553850B1 (ko) * 2003-07-11 2006-02-24 한국과학기술원 얼굴인식/표정인식 시스템 및 방법
KR20120052596A (ko) * 2010-11-16 2012-05-24 엘지이노텍 주식회사 카메라 모듈 및 그의 이미지 처리 방법
KR101242390B1 (ko) * 2011-12-29 2013-03-12 인텔 코오퍼레이션 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3400552A4 (en) * 2016-01-08 2018-11-21 Visa International Service Association Secure authentication using biometric input
US11044249B2 (en) 2016-01-08 2021-06-22 Visa International Service Association Secure authentication using biometric input
US9619723B1 (en) 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression

Also Published As

Publication number Publication date
JP6403233B2 (ja) 2018-10-10
KR101494874B1 (ko) 2015-02-23
SG11201607280WA (en) 2016-10-28
CN106663157A (zh) 2017-05-10
JP2017522635A (ja) 2017-08-10
US20170076078A1 (en) 2017-03-16
CN106663157B (zh) 2020-02-21
SG10201805424RA (en) 2018-08-30

Similar Documents

Publication Publication Date Title
WO2015174647A1 (ko) 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
KR100734849B1 (ko) 얼굴 인식 방법 및 그 장치
KR102655949B1 (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
Chauhan et al. Study & analysis of different face detection techniques
WO2013048160A1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
KR20100073189A (ko) 얼굴 검출 방법 및 장치
Shi et al. Docface: Matching id document photos to selfies
KR100905675B1 (ko) 지문인식 장치 및 방법
EP3459009A2 (en) Adaptive quantization method for iris image encoding
WO2017115937A1 (ko) 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
Dhruva et al. Novel algorithm for image processing based hand gesture recognition and its application in security
WO2016108562A1 (ko) 지문 정보의 코딩 및 인식 시스템, 그리고 그 구동 방법
KR20130133676A (ko) 카메라를 통한 얼굴인식을 이용한 사용자 인증 방법 및 장치
Sai et al. Student Attendance Monitoring System Using Face Recognition
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2023028947A1 (zh) 掌静脉非接触式三维建模方法、装置及认证方法
WO2018008934A2 (en) Adaptive quantization method for iris image encoding
Das et al. Authentication and secure communication by Haar Cascade Classifier, Eigen Face, LBP Histogram and variable irreducible polynomial in (2 8) finite field
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
Khamele et al. An approach for restoring occluded images for face-recognition
KR20200042192A (ko) 얼굴 인식 방법 및 장치
WO2021118048A1 (en) Electronic device and controlling method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15791902

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15309278

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016567809

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15791902

Country of ref document: EP

Kind code of ref document: A1