WO2011019192A2 - Ir 조명을 이용한 얼굴인식 시스템 및 방법 - Google Patents

Ir 조명을 이용한 얼굴인식 시스템 및 방법 Download PDF

Info

Publication number
WO2011019192A2
WO2011019192A2 PCT/KR2010/005246 KR2010005246W WO2011019192A2 WO 2011019192 A2 WO2011019192 A2 WO 2011019192A2 KR 2010005246 W KR2010005246 W KR 2010005246W WO 2011019192 A2 WO2011019192 A2 WO 2011019192A2
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
input image
feature information
light
Prior art date
Application number
PCT/KR2010/005246
Other languages
English (en)
French (fr)
Other versions
WO2011019192A3 (ko
Inventor
박흥준
오철균
김익동
이서규
Original Assignee
주식회사 크라스아이디
(주)픽셀플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라스아이디, (주)픽셀플러스 filed Critical 주식회사 크라스아이디
Publication of WO2011019192A2 publication Critical patent/WO2011019192A2/ko
Publication of WO2011019192A3 publication Critical patent/WO2011019192A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Definitions

  • the present invention relates to a face recognition system and method using IR illumination, and more particularly to a face recognition system and method that is robust to the external environment by applying the IR illumination.
  • the face recognition technology may be convenient to identify the user in a non-contact manner, unlike a recognition technology requiring a user's special operation or action such as fingerprint recognition and iris recognition.
  • Face recognition technology is one of the core technologies for multimedia database search, and can be used for video summary, face search, security, and surveillance system using face information.
  • the recognition result is sensitively changed depending on images captured at various angles, various expressions, lighting, and image processing for the same person, thereby degrading performance.
  • An object of the present invention is to provide a face recognition system and method that is robust to external illumination by illumination of irradiating light in the infrared region or image acquisition filtering light in the infrared region in image acquisition.
  • One aspect of the face recognition system using the IR illumination of the present invention to achieve the problem to be solved is an IR illumination unit for irradiating light in the infrared region;
  • An image acquisition unit for acquiring an input image including a predetermined face by the irradiated light using an IR filter;
  • a feature information extracting unit which extracts feature information about a predetermined face included in the input image;
  • a face recognition unit configured to recognize the face of the input image by comparing the extracted feature information with feature information of the person image stored in the database.
  • an illumination intensity sensing unit for sensing the external illumination
  • An image acquisition unit for obtaining an input image by passing light of an area having a different wavelength according to the sensed illuminance
  • a feature information extracting unit which extracts feature information about a predetermined face included in the input image
  • a face recognition unit configured to recognize the face of the input image by comparing the extracted feature information with feature information of the person image stored in the database.
  • One aspect of the face recognition method using the IR illumination of the present invention to achieve the problem to be solved is the step of irradiating light in the infrared region; Acquiring an input image including a predetermined face by the irradiated light using an IR filter; Extracting feature information about a predetermined face included in the input image; And comparing the extracted feature information with feature information of a person image stored in a database to recognize a face of the input image.
  • Another aspect of the face recognition method using the IR illumination of the present invention to achieve the problem to be solved is the step of sensing the external illumination; Acquiring an input image by passing light of an area having a different wavelength according to the sensed illuminance; Extracting feature information about a predetermined face included in the input image; And comparing the extracted feature information with feature information of a person image stored in a database to recognize a face of the input image.
  • FIG. 1 is a block diagram of a face recognition system using IR illumination according to an embodiment of the present invention.
  • FIG. 2 is a view schematically showing a face recognition system using IR illumination according to an embodiment of the present invention.
  • FIG. 3 is a circuit diagram illustrating an IR illumination unit of FIG. 2.
  • FIG. 4 is a view schematically showing an image input unit in a face recognition system using IR illumination according to an embodiment of the present invention.
  • FIG. 5 is a diagram schematically illustrating a bandwidth of light input to the image input unit of FIG. 4.
  • FIG. 6 is a block diagram of a face recognition system using IR illumination according to another embodiment of the present invention.
  • FIG. 7 is a block diagram of a real recognition unit for real recognition in a face recognition system using IR illumination according to an embodiment of the present invention.
  • FIG 8 and 9 are exemplary views to which the LBP technique is applied in the transform image acquisition unit in the face recognition system according to an embodiment of the present invention.
  • FIG. 10 is a diagram schematically illustrating a process of calculating a projection matrix by a feature information extracting unit in a face recognition system according to an exemplary embodiment of the present invention.
  • FIG. 11 is a view comparing a face rejection rate (FRR) in general face recognition and face recognition according to an embodiment of the present invention.
  • FRR face rejection rate
  • FIG. 12 is a flowchart of a face recognition method using IR illumination according to an embodiment of the present invention.
  • These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in the flowchart block (s). Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions for performing the processing equipment may also provide steps for performing the functions described in the flowchart block (s).
  • each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s).
  • logical function e.g., a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s).
  • the functions noted in the blocks may occur out of order.
  • the two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending on the corresponding function.
  • ' ⁇ ' or 'module' used in this embodiment refers to software or a hardware component such as an FPGA or an ASIC, and the ' ⁇ ' or 'module' plays certain roles.
  • ' ⁇ ' or 'module' is not meant to be limited to software or hardware.
  • the 'unit' or 'module' may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • a 'unit' or 'module' may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and the like.
  • the face change detection system 100 may include an IR illuminator 110, an image acquirer 120, a face detector 130, a feature information extractor 160, and a face.
  • the recognition unit 170 and the database 300 may be included.
  • the IR illuminator 110 serves to irradiate light in the infrared region.
  • an input image including a predetermined face is obtained by irradiating light in an infrared region.
  • infrared light of a specific wavelength band 850 nm to 950 nm
  • the face area is the exposure center of the illumination, and the intensity of the illumination is adjusted so that saturation of data does not occur by the illumination.
  • the face recognition system may be operated regardless of the external environment by acquiring an image by the light in the infrared region with respect to the external environment that varies depending on the time zone at the entrance or the entrance.
  • the image acquisition unit 120 acquires an input image from the outside.
  • the image acquirer 120 may acquire an image captured by infrared illumination.
  • the image acquisition unit 120 may further include an IR (Infra Red) filter (not shown) that filters the light in the infrared region while acquiring a general image.
  • IR Infra Red
  • an input image when an input image is acquired by an image input sensor, an input image may be obtained by converting an image signal of a subject incident through a predetermined lens into an electrical signal.
  • the image input sensor may include a charge coupled device (CCD), a CMOS, and other image acquisition means known in the art.
  • CCD charge coupled device
  • CMOS complementary metal-oxide-semiconductor
  • an analog / digital converter for converting the electrical signal obtained by the image input sensor into a digital signal
  • DSP digital signal processor
  • the IR filter serves to pass only the light of a predetermined infrared region of the light obtained by the image input sensor.
  • the IR filter may serve to pass light in the infrared spectrum in the wavelength range of 700 nm or more.
  • the IR filter may block light in the visible light region irradiated by the external environment and pass the light irradiated by the IR illuminating unit 110.
  • the face detector 130 extracts a face region from the input image as a face image.
  • the face detector 130 may extract an eye, a nose, a mouth, etc. which are specific components in the face after detecting the approximate face from the input image, and extract the face region based on the extracted face. For example, if the position of both eyes is detected, the distance of both eyes can be obtained.
  • the face detector 130 may extract a face region from the input image as a face image based on the distance between the two eyes, thereby reducing the influence of the background of the input image or the change of the human hair style.
  • the face detector 130 may normalize the size of the face region using the extracted face region information. By normalizing the size of the face region, unique features such as distance between two eyes and distance between eyes and nose in the face region can be calculated at the same scale level.
  • the feature information extractor 160 may extract feature information about the face image from the face image.
  • the feature information refers to information representing unique characteristics of a predetermined face included in the face image.
  • the feature information may be selected by using Principal Component Analysis (PCA), Linear Discriminate Analysis (LDA), and the like.
  • 2-Dimensional Principal Component Analysis may be used to extract feature information of a face image based on a two-dimensional image matrix. Since the size of the projection matrix is smaller than that of the general PCA method, the 2D-PCA technique can be easily applied to portable devices, low-end embedded systems, etc., because the amount of computation and required memory can be relatively low. Therefore, face recognition can be performed within a short time, and face recognition can be performed in real time.
  • the face recognition unit 170 compares the extracted feature information with feature information of the person image stored in the database and recognizes the face of the input image.
  • the face recognition unit 170 may recognize the face of the person image and the face in the input image as the face of the same person when the distance difference between the extracted feature information and the feature information of the person image stored in the database is within a threshold.
  • the database 300 stores characteristic information of the plurality of person images and / or person images.
  • the person image refers to a face image matching a predetermined person.
  • the database may receive a plurality of person images from outside, extract feature information about each person image, and store the feature information.
  • the feature information of each person image may be calculated in advance or may be calculated at the time of input according to an embodiment of the present invention and stored in a database.
  • the database 300 may provide feature information of the plurality of person images and / or the plurality of person images to the face recognition unit. Meanwhile, the database 300 may further store personal information such as a name, age, address, and the like of a registered person, a security level, and the like.
  • the image acquisition unit 120 acquires an image with uneven illuminance according to the lighting environment to detect the face. It may not work properly.
  • the IR illumination unit 110 irradiating the light in the infrared region may acquire the image by the light in the infrared region irrespective of the brightness of the outside, thereby stably face recognition.
  • FIG. 2 schematically shows a face recognition system using IR illumination according to an embodiment of the present invention
  • FIG. 3 shows a circuit diagram of the IR illumination unit of FIG. 2.
  • a face recognition system using IR illumination includes an IR illumination unit 110, an image acquisition unit 120, and a face recognition processing unit 200 embedded inside the system. ) May be included.
  • the face recognition processor 200 includes the face detector 130, the feature information extractor 160, and the face recognizer 170 as described above with reference to FIG. 1. An image may be processed to recognize a predetermined face.
  • the IR illumination unit 110 may be configured of a plurality of IR LEDs 115 formed in a circular shape surrounding the image acquisition unit 120.
  • the IR LED 115 is a light emitter made using a light emitting diode (LED), and serves to irradiate light in the infrared region.
  • the IR LED 115 has a low power consumption characteristic of the light emitting diode, excellent durability, and can be mounted and operated in a compact space such as a face recognition system.
  • the image acquisition unit 120 will be described in more detail later.
  • a predetermined source voltage Vcc is applied at one end of the IR illuminator 110, and when a predetermined gate voltage is applied from the embedded face recognition processor 200, the source current is grounded. While passing, the IR LED 115 can irradiate infrared light having a predetermined wavelength band or a specific wavelength.
  • FIG. 4 schematically shows an image input unit in a face recognition system using IR illumination according to an embodiment of the present invention
  • FIG. 5 schematically shows a bandwidth of light input to the image input unit of FIG. 4.
  • the image acquirer 120 may include a lens 122, an image input sensor 125, and an IR filter 127.
  • the lens 122 receives light from the outside, reduces the external image, and transmits the image to the image input sensor 125.
  • the image input sensor 125 converts the light reflected from the subject into an electrical image signal to generate an input image.
  • the IR filter 127 passes light in the infrared region and blocks light in the visible and ultraviolet regions.
  • the IR filter 127 is a bandpass filter and transmits light belonging to a wavelength of a specific region to the image input sensor 125 by passing only light belonging to a predetermined wavelength band.
  • a wavelength region of light transmitted through the IR filter 127 is illustrated.
  • light passing through the IR filter 127 has zero or extremely low transmittance for visible and ultraviolet regions.
  • the transmittance of light rapidly decreases for a certain wavelength band and then decreases.
  • it may serve as a band pass filter allowing transmission of infrared light in a specific wavelength band of 850 nm to 950 nm.
  • the IR LED 115 and the IR filter 127 are introduced to acquire and process a predetermined input image including a face, thereby affecting sensitive external lighting in a general visible light region. It is possible to increase the reliability of the face recognition system by acquiring a face image by acquiring an input image having a predetermined illuminance consistently without being received.
  • the face recognition system 400 using IR illumination may include an IR illuminator 110, an illumination intensity detector 410, a first image acquirer 420, and a second image. It may include an acquirer 430, a face detector 130, a feature information extractor 160, a face recognizer 170, and a database 300.
  • the IR illuminator 110, the face detector 130, the feature information extractor 160, the face recognizer 170, and the database 300 have been described in detail with reference to FIG. 1 and will be omitted.
  • the illuminance sensor 410 detects illuminance in the surrounding environment of the face recognition system 400 when an image is acquired.
  • the illuminance sensor 410 may detect illuminance of the surrounding environment by a predetermined illuminance sensor (not shown).
  • the illuminance detector 410 transmits an image acquisition command to the first image acquirer 420 when the detected illuminance is within a predetermined range, and the second image when the detected illuminance is outside the predetermined range.
  • the image acquisition command is transmitted to the acquirer 430.
  • the predetermined range refers to a range of illuminance in which a general image acquisition sensor acquires a high quality input image by an average ambient brightness.
  • it refers to a predetermined illuminance range in which features such as an eye line or a mouse line are extracted relatively sharply from an input image, or a 50 to 150 Lux range that operates properly even in a general face recognition system.
  • the input image may be acquired by the first image acquisition unit 420 having a general image acquisition sensor without using a specific light.
  • the general image acquisition sensor receives the visible light region to receive the input image.
  • the IR illuminator 110 irradiates the infrared light, and the second image acquirer 430 having the IR filter is predetermined. An input image can be obtained.
  • the face included in the predetermined input image may be recognized by processing the obtained input image through the face detector 130, the feature information extractor 160, and the face recognizer 170.
  • the input image is acquired according to the sensed illuminance and used for face recognition, thereby making it possible to reliably face recognition. Therefore, it is possible to implement a face recognition system that is relatively robust to the surrounding environment.
  • face recognition may be performed by simultaneously operating or sequentially operating the first image acquisition unit 420 and the second image acquisition unit 430 to acquire input images, respectively. Therefore, when face recognition is performed, a relatively familiar interface may be provided by outputting and displaying the input image acquired by the first image acquisition unit 420 to the user.
  • face recognition may not be performed properly when face recognition is performed by an input image acquired by the first image acquisition unit 420.
  • the face recognition unit 170 causes the IR illumination unit 110 and the second image acquisition unit 430 to acquire the input image.
  • FIG. 7 is a block diagram of a real recognition unit for real recognition in the face recognition system using IR illumination according to an embodiment of the present invention.
  • the face recognition system using IR illumination according to an embodiment of the present invention may recognize a real object by detecting eye blink or mouth opening and closing on the face image extracted from the face detector 130. This is to secure the real-time recognition and security by operating in conjunction with the real recognition in face recognition.
  • the real object recognizer 500 extracts an eye region from a plurality of input images or face images extracted from the face detector 130, and the size of the pupil in the extracted eye region. It may include a flicker detection unit 520 for detecting the eye blink using a change or a change in the eye-line (eye-line).
  • the eye region extractor 510 extracts an eye region from the face image or the converted image.
  • the eye region includes an eye line and may include an eye outline formed by the eye line.
  • the eye region may be extracted using an eye-specific outline or an eye-specific brightness.
  • eye-specific contours can be extracted using a pattern of common eye-lines.
  • a similar line is extracted from the face image or the converted image using a plurality of general eye-line samples, this may be used as an eye region.
  • the eye region may be extracted by the variable template technique.
  • the brightness of the eye region may be darker than other parts of the face image due to the pupil.
  • the eye area may be extracted by calculating an average brightness for any number of pixels (eg, 5 ⁇ 5 pixels). Therefore, in the face image using the contrast information, two eye regions appear in isolation, and the eye regions can be easily extracted.
  • the eye region extraction technique is not limited to the above technique, and various known techniques may be applied to extract the eye region.
  • the flicker detection unit 520 detects eye flicker by using a change in eye size or a change in eye-line in the extracted eye region.
  • the blink detector 520 detects the shape of the pupil and the eye-line of the extracted eye region, so that the pupil is not detected and the upper line of the eye-line is not detected. Judging when the interval between the and the lower line is narrow, eyes are judged, and when the pupil is detected and the interval between the upper line and the lower line of the eye line is maintained by the experimental value Can be.
  • the change in the area of the eye contour formed by the eye-line is equal to or greater than a certain amount or the area change ratio is equal to or greater than the threshold, it may be determined that the eye blinks.
  • the person included in the input image may be determined to be a real person by detecting eye blinks.
  • the number of blinks is greater than or equal to the threshold, it may be determined as the real thing.
  • the real object recognizer 500 may include a mouth region extractor 530 that extracts a mouth region from a face image or a converted image, and upper and lower portions of a mouth-line in the extracted mouth image. It may include an opening and closing detection unit 540 for detecting the mouth opening and closing using the position.
  • the mouth region extractor 530 extracts a mouth region from a face image or a converted image, and as an example of a method of extracting a mouth region, a technique similar to a technique of extracting an eye region may be applied.
  • the mouth region includes a mouth-line formed by the lips and may include a mouth contour formed by the mouth-line.
  • the opening detection unit 540 determines whether the mouth is open or closed using the upper and lower positions of the mouse line in the mouth region. Accordingly, when the mouth line is closed and the open state is detected by comparing the mouse lines in the mouth regions respectively extracted from the plurality of face images or the converted images, it may be determined that the mouth is closed.
  • the mouse-line refers to the line which abuts each other when the mouth is closed by the upper and lower lips.
  • the person included in the input image may be determined to be a real person by detecting mouth opening and closing. Alternatively, it may be determined as a real object when the number of opening and closing is greater than or equal to a threshold.
  • the face recognition robust to the surrounding environment may be processed by the IR illumination unit 110 and the face recognition robust to the illumination of the surrounding environment may be processed by software according to the input image processing.
  • FIG 8 and 9 are exemplary views to which the LBP technique is applied in the transform image acquisition unit in the face recognition system according to an embodiment of the present invention.
  • FIG. 8 and 9 illustrate a process of obtaining an LBP pattern based on pixel values of adjacent pixels 142 around a predetermined center pixel 141 in a face image.
  • the LBP technique is as follows.
  • LBP (x c , y c ) represents the LBP transformed value at the (x c , y c ) center pixel 330
  • g c is the face at the (x c , y c ) center pixel 141.
  • It is a pixel value of an image
  • g p represents the pixel value in the peripheral pixel 142 of (x c , y c ).
  • the pixel value may represent an intensity value when the gray value is converted into a gray scale image or a single channel image.
  • p increments by one, turning clockwise or counterclockwise with respect to a point in the (x c , y c ) pixel.
  • a binary pattern 143 having a binary value of 1 or 0 is compared by comparing eight peripheral pixel values based on corresponding pixel values of a face image. You can get it. Therefore, when the LBP technique is applied to a 3 ⁇ 3 pixel region, a binary pattern 143 consisting of eight binary numbers can be obtained, and the binary pattern 143 becomes a pattern value 144 of the corresponding pixel. Can be. Therefore, the binary image 143 may be obtained for each pixel of the face image, and the converted image may be calculated by substituting the pattern value 144 for each pixel.
  • the pixel value of the center pixel 141 is 28 in a 3 ⁇ 3 pixel area, and has a value of 1 when the surrounding pixels 142 are greater than 28 and a value of 0 when it is less than or equal to 28. . Therefore, the pixel value is rotated clockwise around the first peripheral pixel 145 having the pixel value of 250, and the pixel value is compared to the eighth peripheral pixel through the 8-bit binary pattern (1, 1, 0, 1, 0). , 0, 0, 1). If the binary pattern (1, 1, 0, 1, 0, 0, 0, 1) is identified as a binary number and converted into a decimal number, the pattern value 144 of 209 can be obtained with respect to the center pixel 141. .
  • a predetermined pattern value is derived for each pixel, thereby obtaining a converted image composed of the pattern values. Since the converted image is determined by the relationship between the pixel value or the brightness between the pixel and the surrounding pixels, the influence of the overall lighting or interference can be reduced, so that the face recognition can be stably performed even for the bright image or the dark image as a whole. Can be done.
  • FIG. 10 is a diagram schematically illustrating a process of calculating a projection matrix by a feature information extracting unit in a face recognition system according to an embodiment of the present invention.
  • an image matrix B j may be added to be averaged to obtain a covariance matrix G t , and a projection matrix X including eigenvectors of the obtained covariance matrix may be obtained. .
  • the image matrix B j may be obtained by the following equation.
  • B j is the image matrix for the j- th sample image
  • a j is the j- th sample image in the M sample images
  • An image matrix B j for each sample image may be obtained by performing an operation on a matrix obtained by subtracting an average image from each sample image.
  • each sample image may be an arbitrary face image, and a converted image converted by the LBP technique from an arbitrary face image may be used.
  • a covariance matrix G t may be obtained by the following equation.
  • G t is a covariance matrix
  • M is the number of sample images
  • B j is a j-th image matrix in M sample images. Therefore, after generating M respective image matrices for M sample images, the covariance matrix can be obtained by averaging them.
  • the eigenvectors of the covariance matrix maximizing the total scatter from which the sample images are projected can be obtained by the following equation.
  • X 1 , ..., X d are eigenvectors of the covariance matrix, and d is an index of the maximum eigenvector. Accordingly, the projection matrix X may be generated by using each eigenvector as a column vector.
  • the characteristic information Y consisting of d projection feature vectors Y k can be obtained.
  • Y is feature information of a face image or a converted image, and may be referred to as a feature matrix for a given image.
  • the feature information Y may be represented by Y 1 , ..., Y d consisting of column vectors.
  • F is a face image matrix representing a face image with respect to a given input image, and when a predetermined face image is given, feature information thereof may be obtained.
  • calculating the feature information by applying the 2D-PCA technique may reduce the amount of computation and memory requirements by obtaining a projection matrix based on a small covariance matrix G t .
  • a covariance matrix G is based on a two-dimensional image matrix B j in one embodiment of the present invention, compared to aligning a one-dimensional vector from an input image and extracting feature points based on the vector. t ) and the projection matrix can be significantly reduced in the size of the matrix by reducing the size of the matrix, which can be applied to face recognition and low-end systems in real time.
  • the face recognizing unit 500 may recognize the face by comparing the feature information obtained by Equation 5 with the feature information about the registered person registered in the database.
  • the comparison of the feature information may be based on the following equation.
  • Equation 6 the characteristic information of the converted image obtained from the input image ( And feature information about registered persons registered in the database ( The similarity is measured by comparing the distance with the and), and when the similarity is within the threshold range, it can be recognized as the same person.
  • face recognition may be robust against the influence of lighting and the like, and it may be easily applied to a low specification system or an embedded system by reducing the computation time and the size of the memory.
  • FIG. 11 is a view comparing a face rejection rate (FRR) in general face recognition and face recognition according to an embodiment of the present invention.
  • FRR Face rejection rate
  • the FRR False Reject Rate
  • the change in the face recognition rejection rate is relatively large according to the change in illuminance.
  • the face recognition rejection rate was significantly higher than 50% in the low illumination section (0 ⁇ 10 Lux, 300 ⁇ 5000 Lux), and the face recognition rejection rate was 100% especially in the high illumination section of 500 Lux or higher. Face recognition is not possible at all.
  • a bandpass filter for transmitting light having a wavelength of 850 nm to 950 nm is used as an IR filter. It can be seen that the face recognition rejection rate is 0% for almost all illuminances when applying an IR filter that passes light having a wavelength of 850 nm to 950 nm. It can be seen that the effect of external illumination is significantly reduced by applying an IR filter that passes light of 850 nm to 950 nm. More specifically, even if the external illuminance increases from 0, the facial recognition rejection rate up to 1000 Lux is almost 0%. In addition, even if it corresponds to 3000 Lux, 5000 Lux it can be seen that the face recognition rejection rate is less than 10%. It can be seen that the face recognition rejection rate is significantly lower than the relatively common face recognition system.
  • the face recognition system acquires an input image by using IR illumination and an IR filter, and thus faces By performing the recognition, the face recognition rejection rate is significantly lowered regardless of the external lighting.
  • the IR illumination unit 110 irradiates light having a wavelength in the infrared region (S910).
  • the image acquisition unit 120 acquires an input image including a predetermined face by using an IR filter (S920).
  • the image acquisition unit 120 may acquire a plurality of input images in order to determine whether a real object is present.
  • the external illuminance may be sensed and the input image may be acquired differently according to the first image acquirer 420 or the second image acquirer 430.
  • the input image may be acquired by receiving light from a visible light region when the light intensity is within a predetermined illuminance range according to the detected illuminance range, and the IR image may be obtained by applying an IR filter when it is out of the predetermined range. .
  • the face region is extracted from the input image (S930).
  • a predetermined pixel area including a face may be extracted from the input image as a predetermined face image. Extracting such a face region may be performed by a technique of extracting a general face region.
  • Face recognition is performed on the faces included in the input image.
  • a binary pattern is obtained by comparing pixel values of neighboring pixels with respect to a predetermined face image, and a converted image is calculated based on the binary pattern (S940).
  • a face recognition may be performed by selecting an image having a relatively clear eye line from a plurality of face images.
  • the process of calculating the converted image may be omitted for the input image obtained under an environment in which noise of an external environment such as lighting is not significant.
  • Feature information is extracted from the extracted face region or the converted image (S960).
  • PCA or LDA techniques may be applied to extract feature information.
  • 2D-PCA can be applied to feature information extraction.
  • each image matrix of each sample image is calculated based on a plurality of sample images, and a projection matrix including eigenvectors of the covariance matrix obtained by averaging each image matrix is obtained.
  • the calculated projection matrix and the face image may be calculated to extract feature information about the face image or the converted image.
  • the face of the face image is recognized by comparing the feature information of the extracted face image and the registered person information (S970).
  • the face in the input image may be determined to be the face of the same person as the registered person.
  • the term 'embedded system' or 'embedded system' is used for some explanations, but examples of the present invention are not limited to embedded systems, but include PCs including mobile / embedded systems. It should be understood that it can be applied to various computer computing devices such as server computers.
  • a face recognition system and method that is robust to external illumination may be provided by illumination for irradiating light in an infrared region or image acquisition for filtering light in an infrared region in image acquisition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 IR 조명을 이용한 얼굴인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 IR 조명을 적용하여 외부 환경에 강인한 얼굴인식 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템은 적외선 영역의 광을 조사하는 IR 조명부, 상기 조사된 광에 의하여 소정의 얼굴을 포함하는 입력영상을 IR 필터를 이용하여 획득하는 영상 획득부, 상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 특징정보 추출부, 및 상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.

Description

IR 조명을 이용한 얼굴인식 시스템 및 방법
본 발명은 IR 조명을 이용한 얼굴인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 IR 조명을 적용하여 외부 환경에 강인한 얼굴인식 시스템 및 방법에 관한 것이다.
정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징을 이용하는 생체 인식 기술이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리 비접촉식으로 사용자의 신분을 확인할 수 있기에 편리할 수 있다.
얼굴 인식 기술은 멀티미디어 데이터베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 이미지 검색, 보안, 감시 시스템 등에 이용될 수 있다.
하지만, 일반적인 얼굴 인식 기법은 동일한 인물에 대하여 다양한 각도에서의 촬영된 영상, 다양한 표정, 조명, 이미지 처리(Image processing)에 따라 인식 결과가 민감하게 달라져 성능을 저하시킬 수 있다.
따라서, 얼굴인식에 있어 주변 상황에 강인하게 얼굴 인식을 수행하여 신뢰성 있게 얼굴인식을 수행하는 시스템 및 방법이 필요하다.
본 발명이 해결하고자 하는 일 과제는 영상 획득에 있어 적외선 영역의 광을 조사하는 조명 또는 적외선 영역의 광을 필터링하는 영상 획득에 의하여 외부 조명에 강인한 얼굴인식 시스템 및 방법을 제공하는 데 있다.
본 발명의 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위하여 본 발명의 IR 조명을 이용한 얼굴인식 시스템의 일 양태는 적외선 영역의 광을 조사하는 IR 조명부; 상기 조사된 광에 의하여 소정의 얼굴을 포함하는 입력영상을 IR 필터를 이용하여 획득하는 영상 획득부; 상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 특징정보 추출부; 및 상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위하여 본 발명의 IR 조명을 이용한 얼굴인식 시스템의 다른 양태는 외부 조도를 감지하는 조도 감지부; 상기 감지된 조도에 따라 파장이 다른 영역대의 광을 통과시켜 입력영상을 획득하는 영상 획득부; 상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 특징정보 추출부; 및 상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위하여 본 발명의 IR 조명을 이용한 얼굴인식 방법의 일 양태는 적외선 영역의 광을 조사하는 단계; 상기 조사된 광에 의하여 소정의 얼굴을 포함하는 입력영상을 IR 필터를 이용하여 획득하는 단계; 상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 단계; 및 상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 단계를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위하여 본 발명의 IR 조명을 이용한 얼굴인식 방법의 다른 양태는 외부 조도를 감지하는 단계; 상기 감지된 조도에 따라 파장이 다른 영역대의 광을 통과시켜 입력영상을 획득하는 단계; 상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 단계; 및 상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 단계를 포함한다.
도 1은 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템을 개략적으로 보여주는 도면이다.
도 3은 도 2의 IR 조명부의 회로도를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템에서의 영상 입력부를 개략적으로 개략적으로 보여주는 도면이다.
도 5는 도 4의 영상입력부로 입력되는 광의 대역폭을 개략적으로 보여주는 도면이다.
도 6는 본 발명의 다른 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템의 블록도이다.
도 7는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템에서의 실물 인식을 하는 실물 인식부의 블록도이다.
도 8 및 9는 본 발명의 일 실시예에 따른 얼굴인식 시스템에서 변환영상 획득부에서 LBP 기법이 적용되는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 얼굴인식 시스템에서 특징정보 추출부에 의하여 프로젝션 행렬을 산출되는 과정을 도식적으로 보여주는 도면이다.
도 11은 일반적인 얼굴 인식 및 본 발명의 일 실시예에 따른 얼굴 인식에서의 얼굴인식 거부율(FRR: False Rejection Rate)를 비교한 도면이다.
도 12는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 본 발명의 실시예들에 의하여 IR 조명을 이용한 얼굴인식 시스템 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 실시예에서 사용되는 '~부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '~부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '~부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '~부' 또는 '모듈'들로 더 분리될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템의 블록도를 보여준다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 얼굴 변화 검출 시스템(100)은 IR 조명부(110), 영상 획득부(120), 얼굴 검출부(130), 특징정보 추출부(160), 얼굴 인식부(170) 및 데이터베이스(300)를 포함할 수 있다.
IR 조명부(110)는 적외선 영역의 광을 조사하는 역할을 한다. 본 발명의 일 실시예에서는 적외선 영역의 광을 조사하여 소정의 얼굴을 포함하는 입력영상을 획득한다. 예를 들어, IR 대역에서의 영상을 획득함에 있어서 가시광선 대역의 영향을 최소로 할 수 있도록 인위적으로 특정 파장대(850nm~950nm)의 적외선 광을 조사할 수 있다. 이 경우, 얼굴영역이 조명의 노출 중심이 되도록 하며, 조명에 의해 데이터의 포화(saturation)현상이 발생하지 않도록 조명의 세기를 조절한다.
상기와 같이, 적외선 영역의 광을 사용함으로써 태양광이나 형광등 등의 인위적인 조명 변화에 영향이 적은 안정적인 얼굴인식 시스템을 구현할 수 있다. 이와 함께, 출입구 또는 현관 등에서의 시간 대에 따라 달라지는 외부 환경에 대하여 적외선 영역의 광에 의하여 영상을 획득하도록 함으로써 외부 환경에 무관하게 얼굴인식 시스템을 동작하도록 할 수 있다.
영상 획득부(120)는 외부로부터 입력영상을 획득한다. 영상 획득부(120)는 적외선 조명에 의해 촬상되는 영상을 획득할 수 있다. 또는 영상 획득부(120)는 일반적인 영상을 획득하면서 적외선 영역의 광을 필터링하는 IR(Infra Red) 필터(미도시)를 더 포함할 수 있다.
예를 들어, 영상 입력 센서에 의하여 입력영상을 획득하는 경우에는 소정의 렌즈를 통하여 입사되는 피사체의 영상 신호를 전기적 신호로 변환하여 입력영상을 획득할 수 있다. 여기서, 영상 입력 센서는 CCD(Charge Coupled Device, CCD), CMOS, 기타 당업계에 알려진 영상 획득 수단을 포함할 수 있다. 이와 함께, 영상 입력 센서에 의해 획득된 전기적인 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기 및 아날로그/디지털 변환기에 의해 변환된 디지털 신호를 입력 받아 영상 신호를 처리하는 DSP(Digital Signal Processor, DSP) 등에 의하여 소정의 입력영상을 획득할 수 있다.
한편, IR 필터(미도시)는 영상 입력 센서에 의하여 획득되는 광 중에서 소정의 적외선 영역의 광만을 통과시키는 역할을 한다. 예를 들어, IR 필터는 700 nm 이상의 파장영역대의 적외선 스펙트럼의 광을 통과시키는 역할을 할 수 있다. IR 필터는 외부 환경에 의하여 조사되는 가시광선 영역의 광을 차단하고, IR 조명부(110)에 의하여 조사되는 광을 통과하도록 할 수 있다.
얼굴 검출부(130)는 입력영상으로부터 얼굴 영역을 얼굴영상으로 추출하는 역할을 한다. 얼굴 검출부(130)는 입력영상으로부터 대략적인 얼굴을 검출 후에 얼굴 내의 특정 구성요소인 눈, 코, 입 등을 추출하고, 이를 바탕으로 얼굴 영역을 추출할 수 있다. 예를 들어, 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있다. 얼굴 검출부(130)는 두 눈 사이의 거리에 기초하여 입력영상에서 얼굴 영역을 얼굴영상으로 추출할 수도 있으며, 이로써 입력영상의 배경 혹은 사람의 머리 스타일의 변화 등에 대한 영향을 줄일 수 있다. 이와 함께, 얼굴 검출부(130)는 추출된 얼굴 영역 정보를 이용하여 얼굴 영역의 크기를 정규화 시킬 수 있다. 얼굴 영역의 크기를 정규화시킴으로써 얼굴 영역에서의 두 눈과의 거리, 눈과 코 사이의 거리 등의 고유한 특징을 동일한 스케일 레벨로 산출할 수 있다.
특징정보 추출부(160)는 얼굴영상으로부터 얼굴영상에 대한 특징정보를 추출할 수 있다. 여기서, 특징정보는 얼굴영상에 포함된 소정 얼굴에 대한 고유한 특성을 나타내는 정보를 말한다. 예를 들어, 특징정보는 PCA(Principal Component Analysis), LDA(Linear Discriminate Analysis) 등이 선택되어 사용될 수 있다.
다른 예로서, 2차원의 영상 행렬을 기반으로 얼굴영상의 특징정보를 추출할 수 있는 2D-PCA(2-Dimensional Principal Component Analysis) 기법을 이용할 수 있다. 2D-PCA 기법은 일반적인 PCA 기법에 비하여 프로젝션 행렬의 크기가 작아지므로, 이로 인하여 연산량 및 필요 메모리를 상대적으로 낮출 수 있기에 휴대용 장치, 저사양의 임베디드 시스템 등에 용이하게 적용될 수 있다. 따라서, 짧은 시간 내에 얼굴 인식이 가능하여 실시간으로 얼굴 인식이 이루어질 수 있다.
얼굴 인식부(170)는 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 입력영상의 얼굴을 인식하는 역할을 한다. 얼굴 인식부(170)는 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보 사이에서의 거리차가 임계치 내인 경우에 상기 인물영상의 얼굴과 상기 입력영상내의 얼굴을 동일인의 얼굴로 인식할 수 있다.
데이터베이스(300)는 복수의 인물영상 및/또는 인물영상의 특징정보를 저장한다. 여기서, 인물영상은 소정의 인물에 매칭되는 얼굴영상을 말한다. 또는 데이터베이스는 복수의 인물영상을 외부로부터 입력 받고, 이로부터 각 인물영상에 대한 특징정보를 추출하여 특징정보를 저장할 수 있다. 상기 각 인물영상의 특징정보는 미리 계산된 상태이거나 또는 본 발명의 일 실시예에 의하여 입력 시에 계산되어 데이터베이스에 저장될 수 있다.
데이터베이스(300)는 복수의 인물영상 및/또는 복수의 인물영상의 특징정보를 얼굴 인식부에 제공할 수 있다. 한편, 데이터베이스(300)에는 개개인의 등록인물에 대한 이름, 나이, 주소 등과 같은 신상정보, 보안등급 등을 더 포함하여 저장할 수도 있다.
예를 들어, 밤과 낮이 연속적으로 바뀌는 환경에서나 실내에서와 같이 외부 조명에 영향이 큰 경우에는 해당 조명 환경에 따라 영상 획득부(120)에 의하여 조도가 균일하지 않은 영상을 획득하여 얼굴 인식이 제대로 되지 않을 수 있다. 하지만, 본 발명의 일 실시예에 의하면 적외선 영역의 광을 조사하는 IR 조명부(110)에 의하여 외부의 밝기 등에 관계 없는 적외선 영역의 광에 의한 영상을 획득함으로써 안정적으로 얼굴 인식을 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템을 개략적으로 보여주며, 도 3은 도 2의 IR 조명부의 회로도를 보여준다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템은 시스템 외부에 장착되는 IR 조명부(110), 영상 획득부(120) 및 시스템 내부에 내장되는 얼굴인식 처리부(200)를 포함할 수 있다. 여기서, 얼굴인식 처리부(200)는 도 1에서 전술한 바와 같이 얼굴 검출부(130), 특징정보 추출부(160) 및 얼굴 인식부(170)를 포함하여 영상 획득부(120)에 의해 획득된 입력영상을 처리하여 소정의 얼굴을 인식할 수 있다.
IR 조명부(110)는 영상 획득부(120)를 둘러싸는 원형의 형태로 이루어지는 복수개의 IR LED(115)로 구성될 수 있다. IR LED(115)은 발광 다이오드(Light emitting diode, LED)를 이용하여 만든 발광체로서, 적외선 영역의 광을 조사하는 역할을 한다. IR LED(115)은 발광 다이오드의 특유의 특징인 전력 소비량이 적으며, 내구성이 우수하며, 얼굴 인식 시스템과 같이 소형화된 공간 상에 장착되어 동작할 수 있다. 한편, 영상 획득부(120)에 대하여는 뒤에서 보다 상세히 설명하기로 한다.
도 3을 참조하면, IR 조명부(110)의 일 끝단에서는 소정의 소스 전압(Vcc)이 가해지며, 이를 내장된 얼굴인식 처리부(200)에서 소정의 게이트 전압이 인가되면 소스 전류가 접지된 부분으로 통과하면서 IR LED(115)에서 소정의 파장 대역 또는 특정 파장으로 이루어지는 적외선 광을 조사할 수 있다.
도 4는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템에서의 영상 입력부를 개략적으로 개략적으로 보여주며, 도 5는 도 4의 영상입력부로 입력되는 광의 대역폭을 개략적으로 보여준다.
도 4를 참조하면, 본 발명의 일 실시예에서의 영상 획득부(120)는 렌즈(122), 영상 입력 센서(125) 및 IR 필터(127)를 포함할 수 있다. 렌즈(122)는 외부에서 빛을 받아들여, 외부의 상을 축소하여 영상 입력 센서(125)에 전달한다. 영상 입력 센서(125)는 피사체에서 반사된 광을 전기적인 이미지 신호로 변환하여 입력 영상을 생성한다. IR 필터(127)는 적외선 영역의 광을 통과시키고, 가시광선 및 자외선 영역의 광을 차단하는 역할을 한다. IR 필터(127)는 대역통과 필터로서, 소정의 파장 대역에 속하는 광만을 통과시켜 특정 영역의 파장에 속하는 광을 영상 입력 센서(125)에 전달한다.
도 5를 참조하면, IR 필터(127)를 통하여 투과되는 광의 파장 영역을 예시적으로 보여준다. 도 5를 참조하면, IR 필터(127)를 통과하는 광은 가시광선 및 자외선 영역에 대하여는 투과율이 영이거나 극히 낮다. 하지만, 적외선 영역에 있어서는 일정한 파장 대역에 대하여 광의 투과율이 급격히 증가 후 감소한다. 예를 들어, 850nm~950nm의 특정한 파장 대역의 적외선 광을 투과를 허용시키는 대역 통과 필터의 역할을 할 수 있다.
상기와 같이, 본 발명의 일 실시예에서는 IR LED(115) 및 IR 필터(127)을 도입하여 얼굴을 포함하는 소정의 입력영상을 획득하여 처리함으로써 일반적인 가시광선 영역에서의 민감한 외부 조명에 영향을 받지 않고 일관되게 소정의 조도를 가지는 입력영상을 획득하여 얼굴 인식을 함으로써 얼굴인식 시스템의 신뢰성을 높일 수 있다.
도 6은 본 발명의 다른 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템의 블록도를 보여준다. 도 6을 참조하면, 본 발명의 다른 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템(400)은 IR 조명부(110), 조도 감지부(410), 제1 영상 획득부(420), 제2 영상 획득부(430), 얼굴 검출부(130), 특징정보 추출부(160), 얼굴 인식부(170) 및 데이터베이스(300)를 포함할 수 있다. 여기서, IR 조명부(110), 얼굴 검출부(130), 특징정보 추출부(160), 얼굴 인식부(170) 및 데이터베이스(300)에 대하여는 도 1에서 이미 상세히 설명하였기에 생략하기로 한다.
조도 감지부(410)는 영상 획득 시에 얼굴인식 시스템(400)의 주변 환경에서의 조도를 감지하는 역할을 한다. 조도 감지부(410)는 소정의 조도감지 센서(미도시)에 의하여 주위 환경에 대한 조도를 감지할 수 있다. 조도 감지부(410)는 감지된 조도가 소정의 범위 내인 경우에는 제1 영상 획득부(420)에 영상 획득 명령을 전송하고, 감지된 조도의 범위가 상기 소정의 범위를 벗어나는 경우에는 제2 영상 획득부(430)에 영상 획득 명령을 전송한다. 여기서, 소정의 범위는 평균적인 주위 밝기에 의하여 일반적인 영상 획득 센서가 양질의 입력영상을 획득하는 조도의 범위를 말한다. 예를 들어, 입력영상에서 아이 라인 또는 마우스 라인 등의 특징부가 상대적으로 선명하게 추출되는 소정의 조도 범위 또는 일반적인 얼굴인식 시스템에서도 적절히 동작하는 50 내지 150 Lux 범위를 말한다.
예를 들어, 감지된 조도가 일반적인 실내 또는 낮 동안에 해당되는 조도가 확보되는 경우에는 특정한 조명을 이용하지 않고 일반적인 영상 획득 센서를 구비한 제1 영상 획득부(420)에 의하여 입력영상을 획득할 수 있다. 여기서, 일반적인 영상 획득 센서는 가시 광선 영역을 광을 전달받아 상기 입력영상을 획득한다.
한편, 감지된 조도가 일반적인 실내보다 어둡거나 또는 소정의 임계치보다 밝게 되는 경우에는 IR 조명부(110)에 의하여 적외선 조명을 조사하고, IR 필터를 구비한 제2 영상 획득부(430)에 의하여 소정의 입력영상을 획득할 수 있다.
상기 획득된 입력영상을 얼굴 검출부(130), 특징정보 추출부(160) 및 얼굴 인식부(170)를 통하여 처리함으로써 소정의 입력영상에 포함된 얼굴을 인식할 수 있다.
상기와 같이, 조도감지 센서에 의하여 얼굴인식 시스템(400)의 주위의 조도를 감지하여 감지된 조도에 따라 입력영상의 획득하여 얼굴 인식에 사용함으로써 안정적으로 얼굴 인식을 할 수 있다. 따라서, 주위 환경에 상대적으로 강인한 얼굴인식 시스템을 구현할 수 있다.
다른 실시예로서, 제1 영상 획득부(420) 및 제2 영상 획득부(430)를 동시에 동작시키거나 순차적으로 동작시켜 각각 입력영상을 획득하여 얼굴 인식을 수행할 수 있다. 이로 인하여, 얼굴 인식이 수행된 경우에는 제1 영상 획득부(420)에 의해 획득된 입력영상을 출력하여 사용자에게 보여줌으로써 상대적으로 친숙한 인터페이스를 제공할 수 있다.
또다른 실시예로서, 제1 영상 획득부(420)에 의하여 획득된 입력 영상에 의하여 얼굴 인식을 하는 경우에 얼굴 인식이 제대로 되지 않을 수도 있다. 이 때, 얼굴 인식부(170)는 얼굴 인식의 오류 또는 얼굴 인식 실패로 판단된 경우에는 IR 조명부(110) 및 제2 영상 획득부(430)로 하여금 입력영상을 획득하도록 한다. 적외선 영역의 광에 의하여 획득된 입력영상에 의하여 다시 얼굴인식을 수행하도록 함으로써, 외부 환경에 의하여 얼굴 인식이 제대로 되지 않은 경우라 하더라도 안정적으로 얼굴 인식을 수행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템에서의 실물 인식을 하는 실물 인식부의 블록도를 보여준다. 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 시스템은 얼굴 검출부(130)로부터 추출된 얼굴영상에 대하여 눈 깜박임 또는 입 여닫음을 검출하여 실물을 인식할 수 있다. 이는 얼굴인식에 있어서 실물 인식과 연계하여 동작하게 함으로써 실시간 인식 및 보안성을 보다 확보하기 위함이다.
도 7을 참조하면, 실물 인식부(500)는 복수의 입력영상 또는 얼굴 검출부(130)로부터 추출된 얼굴영상으로부터 눈 영역을 추출하는 눈 영역 추출부(510) 및 추출된 눈 영역에서 눈동자의 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하는 깜박임 검출부(520)를 포함할 수 있다.
눈 영역 추출부(510)는 얼굴영상 또는 변환영상으로부터 눈 영역을 추출한다. 여기서, 눈 영역은 아이-라인을 포함하며, 아이-라인에 의해 형성되는 눈 윤곽선을 포함할 수 있다.
눈 영역을 추출하는 방법의 일 예로는, 눈 고유의 윤곽 또는 눈 고유의 명도를 이용하여 추출할 수 있다. 예를 들어, 눈 고유의 윤곽은 일반적인 아이-라인(eye-line)의 패턴을 이용하여 추출될 수 있다. 복수의 일반적인 아이-라인 샘플을 이용하여, 얼굴영상 또는 변환영상에서 이와 유사한 라인이 추출되면 이를 눈 영역으로 할 수 있다. 이와 같이, 눈의 형상이 기하학적으로 일정한 형상을 가지기 때문에, 가변 템플릿 기법에 의하여 눈 영역이 추출될 수 있다.
다른 예로서, 눈 영역의 밝기가 눈동자로 인하여 얼굴영상의 다른 부분보다 어두울 수 있다. 상대적 어두운 영역이라는 특성에 근거하여, 임의의 개수의 픽셀(예를 들어, 5×5 픽셀들)에 대한 평균 밝기를 계산하여 눈 영역을 추출할 수 있다. 따라서, 명암 정보를 이용하여 얼굴영상에서는 두 개의 눈 영역이 고립되어 나타나, 눈 영역을 용이하게 추출할 수 있다.
한편, 눈 영역 추출 기법은 상기의 기법에 한정되는 것은 아니며, 다양한 공지의 기법이 적용되어 눈 영역이 추출될 수 있다.
깜박임 검출부(520)는 추출된 눈 영역에서 눈동자의 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하는 역할을 한다. 복수의 얼굴영상 또는 변환영상에 대하여 눈 영역이 추출된 상태에서, 깜박임 검출부(520)는 추출된 눈 영역의 눈동자 및 아이-라인의 형태를 검출하여 눈동자가 검출이 되지 않고 아이-라인의 위 라인과 아래 라인의 간격이 좁을 때를 감은눈으로 판단하고, 눈동자가 검출되고 아이-라인의 위 라인과 아래 라인의 간격이 실험치에 의한 뜬 눈의 간격을 유지할 때 뜬눈으로 판단하여 눈 깜박임을 판단할 수 있다. 또는 아이-라인에 의해 형성되는 눈 윤곽선의 면적의 변화가 일정량 이상이거나 또는 면적 변화비가 임계치 이상인 경우에도 눈 깜박임으로 판단할 수 있다.
상기와 같이, 눈 깜박임을 검출함으로써 입력영상 내에 포함된 인물이 실제 인물로 판단할 수 있다. 또는 눈 깜박임 회수가 임계치 이상인 경우에 실물로 판단할 수도 있다.
다시 도 7를 참조하면, 실물 인식부(500)는 얼굴영상 또는 변환영상으로부터 입 영역을 추출하는 입 영역 추출부(530) 및 추출된 입 영상에서 마우스-라인(mouth-line)의 상부 및 하부 위치를 이용하여 입 여닫음을 검출하는 여닫음 검출부(540)를 포함할 수 있다.
입 영역 추출부(530)는 얼굴영상 또는 변환영상으로부터 입 영역을 추출하며, 입 영역을 추출하는 방법의 일 예로는, 눈 영역을 추출하는 기법과 유사한 기법이 적용될 수 있다. 여기서, 입 영역은 입술에 의해 형성되는 마우스-라인을 포함하며, 입-라인에 의해 형성되는 입 윤곽선을 포함할 수 있다.
여닫음 검출부(540)는 입 영역에서 마우스-라인의 상부 및 하부 위치를 이용하여 입이 열린 상태인지 닫힌 상태인지를 판단한다. 따라서, 복수의 얼굴영상 또는 변환영상으로부터 각각 추출된 입 영역에서의 마우스 라인을 서로 비교하여, 입 라인이 닫혀 있는 상태 및 열려 있는 상태가 모두 검출되는 경우에는 입 여닫음으로 판단할 수 있다. 여기서, 마우스-라인은 윗 입술 및 아래 입술에 의하여 입이 닫힐 때 서로 접하는 라인을 지칭한다.
상기와 같이, 입 여닫음을 검출함으로써 입력영상 내에 포함된 인물이 실제 인물로 판단할 수 있다. 또는 입 여닫음 회수가 임계치 이상인 경우에 실물로 판단할 수도 있다.
본 발명의 일 실시예에서는 IR 조명부(110)에 의한 하드웨어적으로 주변 환경에 강인한 얼굴 인식과 함께 입력영상 처리에 따른 소프트웨어적으로도 주변 환경의 조명에 강인한 얼굴 인식을 처리할 수 있다.
도 8 및 9는 본 발명의 일 실시예에 따른 얼굴인식 시스템에서 변환영상 획득부에서 LBP 기법이 적용되는 예시도이다.
도 8 및 도 9를 참조하면 얼굴영상에서의 소정의 중심 픽셀(141)을 중심으로 인접 픽셀(142)들의 픽셀값을 기준으로 LBP 패턴을 획득하는 과정을 보여준다.
LBP 기법은 다음의 수학식과 같다.
[규칙 제91조에 의한 정정 17.11.2010]　
수학식 1
Figure WO-DOC-MATHS-1
여기서, LBP(xc, yc)는 (xc, yc) 중심 픽셀(330)에서의 LBP 변환된 값을 나타내며, gc 는 (xc, yc) 중심 픽셀(141)에서의 얼굴영상의 픽셀값이며, gp 는 (xc, yc)의 주변 픽셀(142)에서의 픽셀값을 나타낸다. 여기서, 픽셀값은 그레이 스케일 영상 또는 단일 채널 영상으로 변환될 때의 인텐서티(Intensity) 값을 나타낼 수 있다. 이와 함께, p는 (xc, yc) 픽셀에서의 한 지점을 기준으로 시계방향 또는 반시계방향으로 돌아가며 1씩 증가한다.
예를 들어, LBP 기법이 3×3 크기의 픽셀 영역에 대하여 적용된다면, 얼굴영상의 해당 픽셀값을 기준으로 8개의 주변 픽셀값을 비교하여 1 또는 0의 이진값을 가지는 이진패턴(143)을 얻을 수 있다. 따라서 3×3 크기의 픽셀 영역에 LBP 기법이 적용되는 경우에는 8개의 이진수로 구성되는 이진패턴(143)이 구해질 수 있고, 이러한 이진패턴(143)은 해당 픽셀의 패턴값(144)이 될 수 있다. 따라서, 얼굴영상의 각 픽셀마다 이러한 이진패턴(143)을 구하여, 각 픽셀마다의 패턴값(144)을 대입함으로써 변환영상을 산출할 수 있다.
도 9에서와 같이, 3×3 크기의 픽셀 영역에서 중심 픽셀(141)의 픽셀값은 28이며, 주변 픽셀(142)들이 28보다 크면 1 값을 가지며, 28보다 같거나 작으면 0 값을 가진다. 따라서, 250의 픽셀값을 가지는 제1 주변 픽셀(145)을 중심으로 시계 방향으로 회전하면서 제8 주변 픽셀에까지 픽셀값의 비교를 통하여 8비트의 이진패턴인 (1, 1, 0, 1, 0, 0, 0, 1)을 얻을 수 있다. 상기의 이진패턴 (1, 1, 0, 1, 0, 0, 0, 1)을 하나의 이진수로 파악하여 십진수로 변환하면 209의 패턴값(144)을 중심 픽셀(141)에 대하여 얻을 수 있다.
상기와 같이, 얼굴영상의 각 픽셀에 대하여 LBP 기법을 적용함으로써 각 픽셀마다 소정의 패턴값이 도출되어, 상기 패턴값으로 구성되는 변환영상을 획득할 수 있다. 변환영상은 해당 픽셀과 주변 픽셀들간의 픽셀값 또는 밝기의 관계에 의하여 결정되기 때문에, 전체적인 조명이나 간섭에 의한 영향이 감소될 수 있고, 따라서 전체적으로 밝은 영상 또는 어두운 영상에 대하여도 얼굴 인식을 안정적으로 수행할 수 있다.
도 10은 본 발명의 일 실시예에 따른 얼굴인식 시스템에서 특징정보 추출부에 의하여 프로젝션 행렬을 산출되는 과정을 도식적으로 보여준다.
도 10에서와 같이, 2D-PCA 기법에 따르면 영상 행렬(Bj)을 더하여 평균을 하여 공분산 행렬(Gt)을 구하고, 구해진 공분산 행렬의 고유벡터들로 이루어지는 프로젝션 행렬(X)을 구할 수 있다.
영상 행렬(Bj)는 다음의 수학식에 의해 구해질 수 있다.
[규칙 제91조에 의한 정정 17.11.2010]　
수학식 2
Figure WO-DOC-MATHS-2
여기서, Bj는 j-번째 샘플영상에 대한 영상행렬이며, Aj는 M개의 샘플영상에서 j-번째 샘플영상이며,
Figure PCTKR2010005246-appb-I000001
는 M개의 샘플영상의 평균영상이다. 각 샘플영상에 대하여 평균영상을 빼 준 행렬에 연산을 수행함으로써 각 샘플영상에 대한 영상행렬(Bj)을 구할 수 있다. 한편, 여기서 각 샘플영상은 임의의 얼굴영상으로서, 임의의 얼굴영상으로부터 LBP 기법에 의해 변환된 변환영상이 사용될 수도 있다.
구해진 영상행렬(Bj)을 기반으로 공분산 행렬(Gt; covariance matrix)은 다음의 수학식에 의해 구해질 수 있다.
[규칙 제91조에 의한 정정 17.11.2010]　
수학식 3
Figure WO-DOC-MATHS-3
여기서, Gt는 공분산 행렬이며, M은 샘플영상의 개수이며, Bj는 M개의 샘플영상에서 j-번째 영상행렬이다. 따라서, M개의 샘플영상에 대하여 M개의 각각의 영상행렬을 생성한 후에, 이를 평균함으로써 공분산 행렬을 구할 수 있다.
따라서, 샘플영상들이 프로젝션되는 비산 범위(total scatter)를 최대화시키는 공분산 행렬의 고유벡터들(Eigenvectors)은 다음의 수학식에 의하여 구해질 수 있다.
[규칙 제91조에 의한 정정 17.11.2010]　
수학식 4
Figure WO-DOC-MATHS-4
여기서, X1, ..., Xd는 공분산 행렬의 고유벡터들이며, d는 최대 고유벡터의 인덱스이다. 따라서, 각 고유벡터를 하나의 열(column) 벡터로하여 프로젝션 행렬(X)이 생성될 수 있다.
따라서, 다음의 수학식과 같이 주어진 변환영상에 프로젝션 행렬(X)을 곱함으로써 d 개의 프로젝션 특징 벡터(Yk)로 이루어지는 특징정보(Y)를 구할 수 있다.
[규칙 제91조에 의한 정정 17.11.2010]　
수학식 5
Figure WO-DOC-MATHS-5
여기서, Y는 얼굴영상 또는 변환영상의 특징정보로서, 주어진 영상에 대한 특징행렬(Feature matrix)로 칭할 수도 있다. 특징정보 Y는 열 벡터(column vector)들로 이루어지는 Y1, ..., Yd로 표현될 수도 있다. 또한, F는 주어진 입력영상에 대하여 얼굴영상을 나타내는 얼굴영상 행렬로서, 소정의 얼굴영상이 주어지면 이에 대한 특징정보를 구할 수 있다.
상기와 같이, 2D-PCA 기법을 적용하여 특징정보를 산출하는 것은 크기가 작은 공분산 행렬(Gt)을 바탕으로 프로젝션 행렬을 구함으로써 연산량 및 메모리 소요량을 줄일 수 있다. 또한, 일반적인 PCA 기법에서는 입력영상에서 1차원의 벡터를 정렬하고, 이를 기초로 특징점들을 추출하는 것에 비하여, 본 발명의 일 실시예에서는 2차원의 영상 행렬(Bj)을 기반으로 공분산 행렬(Gt) 및 프로젝션 행렬을 구함으로써 행렬의 크기가 현저히 작아짐으로써 연산에 소모되는 시간을 줄일 수 있고, 이로 인하여 실시간으로 얼굴 인식 및 저사양 시스템에도 적용될 수 있다.
한편, 얼굴 인식부(500)는 수학식 5에 의해 구해진 특징정보를 데이터베이스에 등록된 등록인물에 대한 특징정보와 비교하여 얼굴을 인식할 수 있다.
특징정보의 비교는 다음의 수학식에 의할 수 있다.
[규칙 제91조에 의한 정정 17.11.2010]　
수학식 6
Figure WO-DOC-MATHS-6
[규칙 제91조에 의한 정정 17.11.2010]　
따라서, 수학식 6과 같이 입력영상으로부터 구해진 변환영상의 특징정보(
Figure WO-DOC-96
)및 데이터베이스에 등록된 등록인물에 대한 특징정보(
Figure WO-DOC-96-1
)와의 거리를 비교하여 유사도를 측정하고, 상기 유사도가 임계치 범위 내인 경우 동일인물로 인식할 수 있다.
상기와 같이, 본 발명의 일 실시예에 의하여는 조명 등의 영향에 대하여도 강인하게 얼굴 인식을 할 수 있고, 연산시간 및 메모리의 크기를 줄임으로써 저사양 시스템 또는 임베디드 시스템에도 용이하게 적용될 수 있다
도 11은 일반적인 얼굴 인식 및 본 발명의 일 실시예에 따른 얼굴 인식에서의 얼굴인식 거부율(FRR: False Rejection Rate)를 비교한 도면이다. 여기서, FRR(False Reject Rate)은 입력영상의 얼굴을 타인으로 잘못 판단하거나 판단하지 못한 인식률을 나타낸다.
도 11을 참조하면, 일반적인 얼굴인식 시스템은 조도의 변화에 따라 얼굴인식 거부율의 변화가 상대적으로 크다. 예를 들어, 조도가 낮은 구간(0~10 Lux, 300~5000 Lux) 구간에서는 얼굴인식 거부율이 50%이상으로 상당히 높았으며, 특히 500 Lux 이상의 조도가 높은 구간에서는 얼굴인식 거부율이 100%에 해당하여 얼굴인식을 전혀 할 수 없다.
본 발명의 일 실시예에서는 IR 필터로서 850 nm 내지 950 nm의 파장 광을 통과시키는 대역통과 필터를 적용하였다. 850 nm 내지 950 nm의 파장 광을 통과시키는 IR 필터를 적용하는 경우에 얼굴인식 거부율이 거의 모든 조도에 대하여 0%임을 알 수 있다. 이는 850 nm 내지 950 nm의 파장 광을 통과시키는 IR 필터를 적용함에 의하여 외부 조명에 의한 영향이 현저히 줄어드는 것을 알 수 있다. 보다 상세하게는 외부 조도가 0 부터 증가하더라도 1000 Lux 까지 얼굴인식 거부율이 거의 0%임을 알 수 있다. 이와 함께, 3000 Lux, 5000 Lux에 해당하더라도 얼굴인식 거부율이 10% 이하임을 알 수 있다. 이는 상대적으로 일반적인 얼굴인식 시스템에 비하여 얼굴인식 거부율이 현저히 낮음을 알 수 있다.
이와 함께, 조도가 낮은 영역 및 조도가 높은 영역에서는 일반적인 얼굴인식 시스템의 얼굴인식 거부율이 상당히 높지만, 본 발명의 일 실시예에 따른 얼굴인식 시스템에서는 IR 조명 및 IR 필터에 의하여 입력영상을 획득하여 얼굴 인식을 수행함으로써 외부 조명에 거의 상관없이 얼굴 인식 거부율이 현저히 낮아짐을 알 수 있다.
도 12는 본 발명의 일 실시예에 따른 IR 조명을 이용한 얼굴인식 방법의 흐름도를 보여준다. 도 12를 참조하면, 먼저 IR 조명부(110)에 의하여 적외선 영역의 파장의 광을 조사한다(S910). 영상 획득부(120)는 IR 필터를 이용하여 소정의 얼굴을 포함하는 입력영상을 획득한다(S920). 영상 획득부(120)는 실물 여부를 판단하기 위하여 복수의 입력영상을 획득할 수도 있다.
한편, 외부의 조도를 감지하고 제1 영상 획득부(420) 또는 제2 영상 획득부(430)에 따라 달리하여 입력영상을 획득할 수도 있다. 이는 감지된 조도의 범위에 따라 소정의 조도 범위 내인 경우에는 가시 광선 영역을 광을 전달받아 상기 입력영상을 획득하고, 소정의 범위를 벗어난 경우에는 IR 필터를 적용하여 상기 입력영상을 획득할 수 있다.
입력영상이 획득되면, 입력영상으로부터 얼굴영역을 추출한다(S930). 입력영상에서 얼굴이 포함된 소정의 픽셀 영역을 소정의 얼굴영상으로 추출할 수 있다. 이러한 얼굴 영역을 추출하는 것은 일반적인 얼굴 영역을 추출하는 기법에 의할 수 있다.
입력영상 내에 포함된 얼굴에 대한 얼굴 인식을 수행한다. 복수의 얼굴영상 중에 소정의 얼굴영상에 대하여 각 픽셀을 중심으로 주변 픽셀들과의 픽셀값을 비교하여 이진패턴을 구하고, 이진패턴을 바탕으로 변환영상을 산출한다(S940). 인물인식률을 높이기 위하여, 복수의 얼굴영상 중에서 비교적 아이-라인이 선명한 영상을 선택하여, 얼굴 인식을 수행할 수도 있다. 다만, 조명 등의 외부 환경의 잡음이 크지 않은 환경하에서 획득되는 입력영상에 대하여는 변환영상의 산출과정이 생략될 수도 있다.
추출된 얼굴영역 또는 변환영상으로부터 특징정보를 추출한다(S960). 특징정보의 추출에는 PCA 또는 LDA 기법 등이 적용될 수 있다. 또한 2D-PCA기법이 특징정보 추출에 적용될 수 있다.
예를 들어, 2D-PCA 기법에 따르면, 복수의 샘플영상을 바탕으로 각 샘플영상의 각 영상행렬을 산출하며, 각 영상행렬을 평균함에 의하여 구해지는 공분산 행렬의 고유벡터들을 포함하는 프로젝션 행렬을 구할 수 있다. 구해진 프로젝션 행렬 및 얼굴영상을 연산하여 얼굴영상 또는 변환영상에 대한 특징정보를 추출할 수 있다.
추출된 얼굴영상의 특징정보 및 등록된 인물정보를 비교하여 얼굴영상의 얼굴을 인식한다(S970). 얼굴영상의 특징정보 및 등록된 인물정보에 포함된 각 특징정보 사이의 거리를 계산하여, 임계치 이내의 거리에 위치하는 경우에는 입력영상 내의 얼굴이 등록된 인물과 동일인의 얼굴로 판단할 수 있다.
상기와 같이, 본 발명의 일 실시예에 따르면 IR 조명부(110)에 의하여 적외선 영역의 파장의 광을 조사하고, 영상 획득 시에는 IR 필터를 적용하여 적외선 파장 대역의 광만을 통과시켜 영상을 획득함으로써 외부의 조명 변화에도 불구하고 안정적인 얼굴 인식을 할 수 있다.
이상에서 예시한 내용 중, 일부 설명을 위해 '시스템 내장' 또는 '내장형 시스템(embedded system)'이라는 용어를 사용하고 있으나 본 발명의 예시는 내장형 시스템에 국한되지 않고, 모바일/내장형 시스템을 포함하여 PC나 서버 컴퓨터 등 다양한 컴퓨터 연산장치에 두루 적용할 수 있음을 이해해야 한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 일 실시예에 따르면, 영상 획득에 있어 적외선 영역의 광을 조사하는 조명 또는 적외선 영역의 광을 필터링하는 영상 획득에 의하여 외부 조명에 강인한 얼굴인식 시스템 및 방법을 제공할 수 있다.

Claims (11)

  1. 적외선 영역의 광을 조사하는 IR 조명부;
    상기 조사된 광에 의하여 소정의 얼굴을 포함하는 입력영상을 IR 필터를 이용하여 획득하는 영상 획득부;
    상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 특징정보 추출부; 및
    상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함하는, IR 조명을 이용한 얼굴인식 시스템.
  2. 제 1항에 있어서, 상기 IR 필터는
    850 nm 내지 950 nm의 파장 광을 통과시키는 대역통과 필터인, IR 조명을 이용한 얼굴인식 시스템.
  3. 외부 조도를 감지하는 조도 감지부;
    상기 감지된 조도에 따라 파장이 다른 영역대의 광을 통과시켜 입력 영상을 획득하는 영상 획득부;
    상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 특징정보 추출부; 및
    상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함하는, IR 조명을 이용한 얼굴인식 시스템.
  4. 제 3항에 있어서, 상기 영상 획득부는
    상기 조도가 소정의 범위 내인 경우에는 가시 광선 영역을 광을 전달받아 상기 입력영상을 획득하는 제1 영상획득부; 및
    상기 조도가 소정의 범위를 벗어난 경우에는 IR 필터를 적용하여 상기 입력영상을 획득하는 제2 영상획득부를 포함하는, IR 조명을 이용한 얼굴인식 시스템.
  5. 제 3항에 있어서,
    상기 조도가 소정의 범위를 벗어난 경우에는 적외선 영역의 광을 조사하는 IR 조명부를 더 포함하는, IR 조명을 이용한 얼굴인식 시스템.
  6. 제 3항에 있어서,
    상기 얼굴 인식부에서 상기 입력영상의 얼굴을 인식하지 못하는 경우에 상기 IR 조명부는 적외선 영역의 광을 조사하며,
    상기 영상 획득부는 IR 필터를 적용하여 상기 입력영상을 획득하는, IR 조명을 이용한 얼굴인식 시스템.
  7. 제 4항에 있어서, 상기 IR 필터는
    850 nm 내지 950 nm의 파장 광을 통과시키는 대역통과 필터인, IR 조명을 이용한 얼굴인식 시스템.
  8. 적외선 영역의 광을 조사하는 단계;
    상기 조사된 광에 의하여 소정의 얼굴을 포함하는 입력영상을 IR 필터를 이용하여 획득하는 단계;
    상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 단계; 및
    상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 단계를 포함하는, IR 조명을 이용한 얼굴인식 방법.
  9. 외부 조도를 감지하는 단계;
    상기 감지된 조도에 따라 파장이 다른 영역대의 광을 통과시켜 입력 영상을 획득하는 단계;
    상기 입력영상에 포함된 소정의 얼굴에 대한 특징정보를 추출하는 단계; 및
    상기 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 단계를 포함하는, IR 조명을 이용한 얼굴인식 방법.
  10. 제 9항에 있어서, 상기 입력 영상을 획득하는 단계는
    상기 조도가 소정의 범위 내인 경우에는 가시 광선 영역을 광을 전달받아 상기 입력영상을 획득하는 단계; 및
    상기 조도가 소정의 범위를 벗어난 경우에는 IR 필터를 적용하여 상기 입력영상을 획득하는 단계를 포함하는, IR 조명을 이용한 얼굴인식 방법.
  11. 제 9항에 있어서,
    상기 조도가 소정의 범위를 벗어난 경우에는 적외선 영역의 광을 조사하는 단계를 더 포함하는, IR 조명을 이용한 얼굴인식 방법.
PCT/KR2010/005246 2009-08-11 2010-08-10 Ir 조명을 이용한 얼굴인식 시스템 및 방법 WO2011019192A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0073819 2009-08-11
KR1020090073819A KR100983346B1 (ko) 2009-08-11 2009-08-11 Ｉｒ조명을 이용한 얼굴인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
WO2011019192A2 true WO2011019192A2 (ko) 2011-02-17
WO2011019192A3 WO2011019192A3 (ko) 2011-04-28

Family

ID=43010340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/005246 WO2011019192A2 (ko) 2009-08-11 2010-08-10 Ir 조명을 이용한 얼굴인식 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR100983346B1 (ko)
WO (1) WO2011019192A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207995A (zh) * 2013-05-13 2013-07-17 苏州福丰科技有限公司 基于pca的3d人脸识别方法
WO2013104316A1 (zh) * 2012-01-09 2013-07-18 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
CN103235943A (zh) * 2013-05-13 2013-08-07 苏州福丰科技有限公司 基于pca的3d人脸识别***
WO2016035901A1 (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 홍채 인식하기 위한 방법 및 그 전자 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101674099B1 (ko) * 2010-10-14 2016-11-08 현대모비스 주식회사 얼굴 인증을 위한 영상 생성 장치 및 그 방법
KR101310040B1 (ko) 2012-02-29 2013-09-24 주식회사 슈프리마 적응적 조명조절을 이용한 얼굴 인식장치 및 그 방법
KR102145132B1 (ko) 2019-10-01 2020-08-14 (주)진학어플라이 딥러닝을 이용한 대리 면접 예방 방법
KR102529805B1 (ko) * 2020-08-12 2023-05-09 주식회사 네오시큐 외란광에 강인한 얼굴 인식 시스템
KR20220083944A (ko) 2020-12-11 2022-06-21 이유진 음주운전 방지를 위한 시동제어와 얼굴인식 시스템
KR20220126546A (ko) * 2021-03-09 2022-09-16 삼성전자주식회사 전자 장치 및 그의 얼굴 인식 방법
KR102497020B1 (ko) 2021-06-23 2023-02-07 경북대학교 산학협력단 다중 광도 및 다중 대역 영상 획득 장치 및 방법
KR102594852B1 (ko) 2021-11-11 2023-10-27 주식회사 유니온커뮤니티 적외선을 이용하여 위조얼굴을 구별할 수 있는 얼굴인식장치 및 그 얼굴인식방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050044783A (ko) * 2005-04-15 2005-05-12 정승운 화상인식을 이용한 휴대용단말기(핸드폰, pda, dmb폰 등)의주야촬영과 보안작동방법
JP2005339425A (ja) * 2004-05-31 2005-12-08 Sanyo Electric Co Ltd 本人認証装置
JP2008158597A (ja) * 2006-12-21 2008-07-10 Smart Wireless Kk 顔認証装置、その方法および顔認証装置を有する携帯端末器
JP2008181468A (ja) * 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682898B1 (ko) 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
KR100727893B1 (ko) 2005-01-21 2007-06-14 주식회사 에스원 영상 감시 시스템 및 영상 감시 방법
KR20070081773A (ko) * 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
KR100888554B1 (ko) * 2007-04-26 2009-03-11 벽산건설 주식회사 인식 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339425A (ja) * 2004-05-31 2005-12-08 Sanyo Electric Co Ltd 本人認証装置
KR20050044783A (ko) * 2005-04-15 2005-05-12 정승운 화상인식을 이용한 휴대용단말기(핸드폰, pda, dmb폰 등)의주야촬영과 보안작동방법
JP2008181468A (ja) * 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置
JP2008158597A (ja) * 2006-12-21 2008-07-10 Smart Wireless Kk 顔認証装置、その方法および顔認証装置を有する携帯端末器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013104316A1 (zh) * 2012-01-09 2013-07-18 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
CN103207995A (zh) * 2013-05-13 2013-07-17 苏州福丰科技有限公司 基于pca的3d人脸识别方法
CN103235943A (zh) * 2013-05-13 2013-08-07 苏州福丰科技有限公司 基于pca的3d人脸识别***
WO2016035901A1 (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 홍채 인식하기 위한 방법 및 그 전자 장치
US10262203B2 (en) 2014-09-02 2019-04-16 Samsung Electronics Co., Ltd. Method for recognizing iris and electronic device therefor

Also Published As

Publication number Publication date
WO2011019192A3 (ko) 2011-04-28
KR100983346B1 (ko) 2010-09-20

Similar Documents

Publication Publication Date Title
WO2011019192A2 (ko) Ir 조명을 이용한 얼굴인식 시스템 및 방법
WO2011016649A2 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
KR100904916B1 (ko) 얼굴 인식 시스템 및 방법
EP1326197A2 (en) Iris recognition method and system using the same
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
KR101014325B1 (ko) 적외선을 이용한 얼굴인식 시스템 및 방법
US20070116364A1 (en) Apparatus and method for feature recognition
WO2017099427A1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
CN105975938A (zh) 一种智能动态人脸识别社区管家服务***
JP2005521146A (ja) さまざまな光線条件下におけるリアルタイムの目の検知および追跡
CN1898678A (zh) 一种获取人脸图像的方法及人脸识别方法与***
KR101030518B1 (ko) 얼굴인식 디지털 도어록
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
CN109661668A (zh) 用于虹膜识别的图像处理方法和***
Panella et al. A smartphone-based application using machine learning for gesture recognition: Using feature extraction and template matching via Hu image moments to recognize gestures
WO2017179751A1 (ko) 광 파장 특성을 이용한 위조지문 판별장치 및 그 방법
WO2015170909A1 (ko) 실외 및 실내에서의 홍채이미지 획득장치 및 방법
JP5851108B2 (ja) 画像監視装置
KR101082842B1 (ko) 영상을 이용한 얼굴 인식 방법 및 그 장치
KR20110092848A (ko) 얼굴 인증 및 등록방법
KR20230152576A (ko) 스푸핑 방지 기능을 갖춘 얼굴 생체 인식
Seal et al. Minutiae based thermal human face recognition using label connected component algorithm
CN203054868U (zh) 一种用于人脸识别***的真人鉴别装置
Haska et al. Image signal processing, analysis and detection for robotic system
CN111222400A (zh) 一种人脸防伪方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10808341

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10808341

Country of ref document: EP

Kind code of ref document: A2