KR102563522B1 - Apparatus, method and computer program for recognizing face of user - Google Patents
Apparatus, method and computer program for recognizing face of user Download PDFInfo
- Publication number
- KR102563522B1 KR102563522B1 KR1020180015791A KR20180015791A KR102563522B1 KR 102563522 B1 KR102563522 B1 KR 102563522B1 KR 1020180015791 A KR1020180015791 A KR 1020180015791A KR 20180015791 A KR20180015791 A KR 20180015791A KR 102563522 B1 KR102563522 B1 KR 102563522B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- user
- learning model
- facial feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000004590 computer program Methods 0.000 title claims description 16
- 230000001815 facial effect Effects 0.000 claims abstract description 73
- 238000009795 derivation Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
영상으로부터 사용자의 얼굴을 인식하는 장치는 영상을 입력받는 입력부, 상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하는 얼굴 특징 포인트 검출부, 복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하는 결과값 도출부, 상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하는 에러값 도출부 및 상기 도출된 에러값을 반영하여 상기 얼굴을 인식하는 얼굴 인식부를 포함한다. An apparatus for recognizing a user's face from an image includes an input unit that receives an image, a facial feature point detector that extracts an image including the user's face included in the image, and detects a feature point of the user's face from the extracted image; A result value derivation unit for deriving a result value for the detected facial feature point using a plurality of learning models, an error value derivation unit for deriving an error value for each learning model based on the derived result value, and the derivation and a face recognition unit for recognizing the face by reflecting the received error value.
Description
본 발명은 사용자의 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to an apparatus, method and computer program for recognizing a user's face.
사람과 상호작용할 수 있는 기기, 예를 들어, 컴퓨터, 스마트폰 등이 널리 보급됨에 따라 사람과 기기 간의 자연스러운 상호작용 인터페이스(NUI, Natural User Interface) 기술에 대한 연구가 활발하게 진행되고 있다. NUI 기술 중 하나로서 얼굴을 이용하는 인터페이스는 자연스럽고 직관적인 상호작용이 가능하다는 장점을 가지고 있으며, HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), HMI(Human-Machine Interaction) 분야 등에서 이용되고 있다. As devices capable of interacting with humans, such as computers and smart phones, become widely available, research on natural user interface (NUI) technologies between humans and devices is being actively conducted. As one of the NUI technologies, interfaces using faces have the advantage of enabling natural and intuitive interactions, and are used in the fields of HCI (Human-Computer Interaction), HRI (Human-Robot Interaction), and HMI (Human-Machine Interaction). It is becoming.
이러한 얼굴을 이용하는 인터페이스와 관련하여, 선행기술인 한국등록특허 제 10-179556호는 얼굴 인식과 얼굴 모션 패턴 인식을 통한 개인 인증 방법 및 장치를 개시하고 있다. Regarding such an interface using a face, Korea Patent Registration No. 10-179556, which is a prior art, discloses a personal authentication method and device through face recognition and face motion pattern recognition.
종래에는 입력 영상에서 얼굴을 인식하기 위해 얼굴의 특징점을 추출할 수 있는 기술자를 설계한 후 추출된 특징을 비교할 수 있도록 거리 함수를 이용하였다. 이 경우, 기계학습에서 사용하기 적합한 특징 데이터를 추출하기 힘들다는 단점을 가지고 있었다. 이를 개선하고자, 딥러닝을 사용하여 얼굴의 특징점을 추출하는 경우, 학습에 사용되지 않은 얼굴에 대한 특징점의 추출 시 얼굴의 특징이 잘 표현되고, 성능이 좋은 특징 데이터를 추출하기 어렵다는 단점을 가지고 있었다. Conventionally, in order to recognize a face from an input image, a descriptor capable of extracting feature points of a face is designed, and then a distance function is used to compare the extracted features. In this case, it had a disadvantage that it was difficult to extract feature data suitable for use in machine learning. In order to improve this, when extracting facial feature points using deep learning, the facial features are well expressed and it is difficult to extract feature data with good performance when extracting facial feature points that have not been used for learning. .
기존의 얼굴 분류기를 이용한 학습 방법의 경우, 주어진 학습 데이터의 하나의 조건만 고려됨으로써, 사용자의 얼굴 변화에 따라 에러가 발생하였으나, 다양한 조건을 고려하여 에러를 최소화시킬 수 있도록 하는 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. 딥러닝을 이용한 학습을 통해 다양한 조명 변화 및 포즈 변화에 강인한 특징 데이터를 추출할 수 있는 학습 모델을 생성하는 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. 딥러닝을 이용한 얼굴의 특징 포인트 데이터의 추출기의 설계 시, 소프트맥스외에 다기능 손실함수(Multi-Object Loss Function)를 함께 이용하여 얼굴 특징 포인트의 데이터를 추출하는 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. In the case of the learning method using the existing face classifier, only one condition of the given learning data is considered, and an error occurs according to the change of the user's face, but a face recognition device that minimizes the error by considering various conditions. , methods and computer programs. It is intended to provide a device, method, and computer program for recognizing a face that generates a learning model capable of extracting feature data robust to various lighting changes and pose changes through learning using deep learning. When designing an extractor of facial feature point data using deep learning, a face recognition device, method, and computer program for extracting facial feature point data using a multi-object loss function in addition to softmax want to provide However, the technical problem to be achieved by the present embodiment is not limited to the technical problems described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 영상을 입력받는 입력부, 상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하는 얼굴 특징 포인트 검출부, 복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하는 결과값 도출부, 상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하는 에러값 도출부 및 상기 도출된 에러값을 반영하여 상기 얼굴을 인식하는 얼굴 인식부를 포함하는 얼굴 인식 장치를 제공할 수 있다. As a means for achieving the above-described technical problem, an embodiment of the present invention extracts an image including an input unit for receiving an image, a user's face included in the image, and the user's facial features from the extracted image. A facial feature point detection unit that detects points, a result value derivation unit that derives result values for the detected facial feature points using a plurality of learning models, and an error value for each learning model based on the derived result values. It is possible to provide a face recognition device including an error value derivation unit for deriving and a face recognition unit for recognizing the face by reflecting the derived error value.
본 발명의 다른 실시예는, 영상을 입력받는 단계, 상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하는 단계, 복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하는 단계, 상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하는 단계 및 상기 도출된 에러값을 반영하여 상기 얼굴을 인식하는 단계를 포함하는 얼굴 인식 방법을 제공할 수 있다. Another embodiment of the present invention includes receiving an image, extracting an image including a user's face included in the image, detecting feature points of the user's face from the extracted image, and selecting a plurality of learning models. deriving a resultant value for the detected facial feature point using the detected facial feature point, deriving an error value for each learning model based on the derived resultant value, and recognizing the face by reflecting the derived error value A face recognition method comprising the steps may be provided.
본 발명의 또 다른 실시예는, 컴퓨팅 장치에 의해 실행될 경우, 영상을 입력받고, 상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하고, 복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하고, 상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하고, 상기 도출된 에러값을 반영하여 상기 얼굴을 인식하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다. Another embodiment of the present invention, when executed by a computing device, receives an image, extracts an image including a user's face included in the image, and detects a user's facial feature point from the extracted image , Deriving a result value for the detected facial feature point using a plurality of learning models, deriving an error value for each learning model based on the derived result value, and reflecting the derived error value to A computer program stored on a medium containing a sequence of instructions for causing face recognition may be provided.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described means for solving the problems is only illustrative and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 기존의 얼굴 분류기를 이용한 학습 방법의 경우, 주어진 학습 데이터의 하나의 조건만 고려됨으로써, 사용자의 얼굴 변화에 따라 에러가 발생하였으나, 다양한 조건을 고려하여 에러를 최소화시킬 수 있도록 하는 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다. 딥러닝을 이용한 학습을 통해 다양한 조명 변화 및 포즈 변화에 강인한 특징 데이터를 추출할 수 있는 학습 모델을 생성하는 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다. 딥러닝을 이용한 얼굴의 특징 포인트 데이터의 추출기의 설계 시, 소프트맥스외에 다기능 손실함수(Multi-Object Loss Function)를 함께 이용하여 얼굴 특징 포인트의 데이터를 추출하는 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.According to any one of the above-described problem solving means of the present invention, in the case of the learning method using the existing face classifier, only one condition of the given learning data is considered, so an error occurs according to the change of the user's face, but various conditions It is possible to provide a device, method, and computer program for recognizing a face that can minimize an error by taking into account. It is possible to provide a device, method, and computer program for recognizing a face that generates a learning model capable of extracting feature data robust to various lighting changes and pose changes through learning using deep learning. When designing an extractor of facial feature point data using deep learning, a face recognition device, method, and computer program for extracting facial feature point data using a multi-object loss function in addition to softmax can provide.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 이미지 변환 행렬 및 파라미터 행렬을 도시한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치에서 각 학습 모델의 중요도에 따라 기설정된 가중치를 반영하는 과정을 도시한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치에서 영상으로부터 얼굴을 인식하는 방법의 순서도이다. 1 is a configuration diagram of a face recognition device according to an embodiment of the present invention.
2A and 2B are exemplary diagrams illustrating an image transformation matrix and a parameter matrix according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a process of reflecting predetermined weights according to the importance of each learning model in the face recognition device according to an embodiment of the present invention.
4 is a flowchart of a method of recognizing a face from an image in a face recognition device according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, this means that it may further include other components, not excluding other components, unless otherwise stated, and one or more other characteristics. However, it should be understood that it does not preclude the possibility of existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, a "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized using two or more hardware, and two or more units may be realized by one hardware.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by a terminal or device may be performed instead by a server connected to the terminal or device. Likewise, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the corresponding server.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에서는 각 얼굴의 클래스 오류를 최소화하기 위해 분류기를 통해 사용자의 얼굴 특징 포인트 데이터, 조명변화 데이터, 포즈변화 데이터, 타인의 얼굴 특징 포인트 데이터를 분류기에 입력으로 함으로써, 얼굴 인식 결과의 에러를 최소화시키도록 학습시키는 기술을 제안하고자 한다. In the present invention, in order to minimize the class error of each face, the user's facial feature point data, lighting change data, pose change data, and other person's facial feature point data are input to the classifier through the classifier, thereby minimizing the error of the face recognition result. I would like to suggest a technique to learn to do.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성도이다. 도 1을 참조하면, 얼굴 인식 장치(100)는 트레이닝부(110), 입력부(120), 얼굴 특징 포인트 검출부(130), 조명 성분 추출부(140), 결과값 도출부(150), 에러값 도출부(160), 총 손실률 도출부(170) 및 얼굴 인식부(180)를 포함할 수 있다. 1 is a configuration diagram of a face recognition device according to an embodiment of the present invention. Referring to FIG. 1 , the
트레이닝부(110)는 복수의 학습 모델을 이용하여 얼굴 특징 포인트를 트레이닝할 수 있다. 복수의 학습 모델은 사용자의 얼굴 학습 모델, 타인의 얼굴 학습 모델, 조명 학습 모델 및 포즈 학습 모델 중 적어도 어느 하나 이상을 포함할 수 있다. The
예를 들어, 트레이닝부(110)는 복수의 학습 모델에 대한 학습 데이터로부터 검출된 얼굴의 특징 포인트를 기준으로 학습 데이터를 적어도 하나 이상의 영역으로 분할하여 얼굴 특징 포인트를 트레이닝할 수 있다. For example, the
트레이닝부(110)는 학습 데이터에 이용된 얼굴 특징 포인트의 개수만큼 버퍼에 각 얼굴 특징 포인트에 대한 대표 특징 벡터를 저장할 수 있다. 예를 들어, 얼굴의 특성상 동일 인물의 경우, 얼굴 특징 포인트의 데이터가 특정 벡터(클러스터의 센터)를 중심으로 형성되므로, 중심이 되는 대표 특징 벡터를 별도의 버퍼에 저장하여 이를 학습의 구심점이 되도록 할 수 있다. The
트레이닝부(110)는 동일 사용자의 다른 이미지를 정해진 입력 개수에 따라 학습 데이터로 입력하여, 얼굴 특징 포인트, 조명 변화에 대한 얼굴 특징 포인트, 포즈 변화에 대한 얼굴 특징 포인트에 대한 출력값을 획득할 수 있다. The
이러한 트레이닝부(110)는 예를 들어, 심층 신경망(DNN, Deep Neural Network), 합성곱 신경망(CNN, Convolutional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, Deep Belief Network), 심층 Q-네트워크(Deep Q-Networks)와 같은 다양한 딥러닝 기술들을 이용할 수 있으며, 이에 한정하지 않는다. The
입력부(120)는 영상을 입력받을 수 있다. 영상은 예를 들어, 스마트폰, 블랙박스, CCTV 등에 의해 촬영되어 네트워크를 통해 입력된 영상일 수 있다.The
얼굴 특징 포인트 검출부(130)는 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출할 수 있다. The facial feature
조명 성분 추출부(140)는 영상으로부터 조명 성분을 추출할 수 있다. 이는, 조명 변화에 강인한 얼굴 특징 포인트를 학습시키기 위해 추출된 조명 성분의 시뮬레이션을 통해 학습 데이터를 증가시키기 위함이다. The
결과값 도출부(150)는 복수의 학습 모델을 이용하여 검출된 얼굴 특징 포인트에 대한 결과값을 도출할 수 있다. 이하에서는, 각 학습 모델을 이용하여 검출된 얼굴 특징 포인트에 대한 결과값을 도출되는 과정을 설명하도록 한다. The result
결과값 도출부(150)는 사용자의 얼굴 학습 모델을 이용하여, 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 사용자의 복수의 다른 이미지로부터 검출된 사용자의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출할 수 있다. 예를 들어, 결과값 도출부(150)는 사용자의 얼굴 학습 모델을 이용하여 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 동일 클래스 내에서 무작위로 선택된 다른 이미지로부터 검출된 사용자의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출할 수 있다. The result
결과값 도출부(150)는 타인의 얼굴 학습 모델을 이용하여, 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 타인의 이미지로부터 검출된 타인의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출할 수 있다. 예를 들어, 결과값 도출부(150)는 다른 사용자의 얼굴과의 분류 성능을 높이기 위해 타인의 얼굴 학습 모델을 이용하여 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 다른 클래스에서 무작위로 선택된 타인의 이미지로부터 검출된 타인의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출할 수 있다. The result
결과값 도출부(150)는 조명 학습 모델을 이용하여, 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 조명 성분을 변화시킨 이미지로부터 검출된 사용자의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출할 수 있다. 예를 들어, 결과값 도출부(150)는 조명 성분 추출부(140)에서 추출된 조명 성분이 변화되도록 시뮬레이션하여, 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 조명 성분을 변화시킨 이미지로부터 검출된 사용자의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출할 수 있다.The result
결과값 도출부(150)는 포즈 학습 모델을 이용하여 이미지로부터 검출된 사용자의 얼굴 특징 포인트에 기초하여 이미지 변환 행렬을 생성하고, 생성된 이미지 변환 행렬을 이용하여 포즈 시뮬레이션을 통해 추출된 이미지를 2차원 이미지로 변환하고, 변환된 2차원 이미지에 대한 포즈 시뮬레이션의 결과값을 도출할 수 있다. The resulting
결과값 도출부(150)는 포즈 학습 모델을 이용하여 포즈 시뮬레이션의 결과값을 도출하기 위해 호모그래피(homography) 변환 방식을 이용할 수 있다. 호모그래피는 한 평면을 다른 평면에 투영시켰을 때, 투영된 대응점들 사이에서 성립된 일정한 변환 관계를 의미한다. 예를 들어, 결과값 도출부(150)는 호모그래피 변환 방식을 이용하여 이미지의 회전/스케일/평행이동/투영 변환을 수행하고, 카메라로부터 획득할 수 있는 3차원 얼굴의 이미지를 2차원 영상에 대한 변환을 포즈 시뮬레이션하여 포즈 시뮬레이션의 결과값을 도출할 수 있다. 이와 관련하여, 이미지 변환 행렬을 생성하는 과정에 대해서는 도 2a 및 도 2b를 통해 상세히 설명하도록 한다. The result
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 이미지 변환 행렬 및 파라미터 행렬을 도시한 예시적인 도면이다. 2A and 2B are exemplary diagrams illustrating an image transformation matrix and a parameter matrix according to an embodiment of the present invention.
도 2a는 본 발명의 일 실시예에 따른 이미지 변환 행렬을 도시한 예시적인 도면이다. 결과값 도출부(150)는 다양한 포즈 변화에 대응하기 위해 이미지 변환 행렬을 생성할 수 있다. 또한, 3차원 공간에서 발생될 수 있는 이미지 변환을 시뮬레이션을 통해 생성할 수 있다.2A is an exemplary diagram illustrating an image transformation matrix according to an embodiment of the present invention. The result
도 2a를 참조하면, 이미지 변환 행렬의 생성에 이용되는 파라미터 행렬은 A2, T, R, A1을 포함할 수 있다. 예를 들어, A2는 3D에서 2D로 변환하기 위한 행렬을 포함하고, T는 X, Y, Z 축에 대한 변환 행렬을 포함하고, R은 X, Y, Z 축에 대한 회전을 나타내고, A2는 2D에서 3D로 변환하기 위한 행렬을 포함할 수 있다. Referring to FIG. 2A , a parameter matrix used to generate an image transformation matrix may include A 2 , T, R, and A 1 . For example, A 2 contains a matrix for transforming from 3D to 2D, T contains a transformation matrix about the X, Y, and Z axes, R represents a rotation about the X, Y, and Z axes, and A 2 may contain a matrix for converting from 2D to 3D.
도 2b는 본 발명의 일 실시예에 따른 이미지 변환 행렬에 기초하여 계산된 결과를 도시한 예시적인 도면이다. 2B is an exemplary diagram illustrating a result calculated based on an image transformation matrix according to an embodiment of the present invention.
이 때, 다른 입력의 경우, 입력자가 일정 범위에서 주어질 수 있지만, 마지막 카메라의 초점거리 f값의 경우, 현재 사용하는 카메라의 초점거리와 정확하게 일치하지 않아도 결과에 큰 영향을 주지 않으므로, 너무 크거나 작은 값을 제외하고 100~300 사이의 값을 선택하여 진행될 수 있다. At this time, in the case of other inputs, the input can be given within a certain range, but in the case of the focal length f-value of the last camera, even if it does not exactly match the focal length of the currently used camera, it does not significantly affect the result, so it is too large or Excluding small values, it can be performed by selecting a value between 100 and 300.
다시 도 1로 돌아와서, 에러값 도출부(160)는 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출할 수 있다. Returning to FIG. 1 again, the error
에러값 도출부(160)는 사용자의 얼굴 학습 모델 또는 타인의 얼굴 학습 모델을 도출된 결과값 및 도출된 결과값이 상기 사용자일 확률에 기초하여 에러값을 도출할 수 있다. 이를 위해, 에러값 도출부(160)는 수학식 1을 이용하여 에러값을 도출할 수 있다. The error
수학식 1은 사용자의 학습 모델을 이용한 출력값, 타인의 학습 모델을 이용한 출력값 및 조명 학습 모델을 이용한 출력값의 경우, 에러값(face_pairloss)을 도출하기 위해 이용될 수 있다.
여기서, p값은 입력으로 주어진 페어(pair)에 학습 네트워크에서 출력할 확률을 의미하고, 페어(pair)는 정답과 계산된 값으로 구성된 입력 쌍을 의미한다. 페어(pair)는 사용자일 확률(positive pair) 또는 타인일 확률(negative pair)에 따라 0 또는 1로 gt값이 결정될 수 있다. 예를 들어, 사용자일 확률(positive pair)이 1이면, 타인일 확률(negative pair)은 0일 수 있다. 그리고 높은 확률을 보이는 출력값에 대해 별도의 버퍼에 저장된 대표 특징 벡터를 업데이트함으로써, 학습이 진행될수록 안정된 방향으로 학습되도록 가이드 역할을 제공할 수 있다. Here, the p value means the probability of outputting a pair given as an input from the learning network, and the pair means an input pair consisting of a correct answer and a calculated value. A gt value may be determined as 0 or 1 according to a probability of being a user (positive pair) or a probability of being someone else (negative pair). For example, if the probability of being a user (positive pair) is 1, the probability of being someone else (negative pair) may be 0. In addition, by updating a representative feature vector stored in a separate buffer for an output value showing a high probability, a guide role can be provided so that learning is performed in a stable direction as learning progresses.
에러값 도출부(160)는 카메라의 초점 거리에 대한 포즈 시뮬레이션의 결과값에 포함된 사용자의 포즈 추정 결과를 계산하여 에러값을 도출할 수 있다. 이를 위해, 에러값 도출부(160)는 수학식 2를 이용하여 에러값을 도출할 수 있다.The error
수학식 2는 포즈 학습 모델을 이용한 출력값의 경우, 에러값(poseloss)을 도출하기 위해 이용될 수 있다.
포즈 변화에 대한 입력은 얼굴의 n개의 포인트로 구성되며, 포즈 시뮬레이션 결과값의 출력 중 동일 인물 2개 쌍의 포즈 추정결과를 수학식 2에 입력하여 에러값을 계산할 수 있다. 여기서, L2-norm은 점 간의 거리를 구하는 유클리디안(Euclidean) 거리 함수를 이용하여 계산될 수 있다. The input for the pose change is composed of n points of the face, and an error value can be calculated by inputting the pose estimation result of two pairs of the same person among the output of the pose simulation result value to
여기서, 수학식 1 및 수학식 2는 Metric(f(original)-f(positive))+Metric(f(original)-f(light_simulated)+Metric(f(original)-f(pose_simulated)-Metric(f(original)-f(negative))에 기초하여 도출되는 수식일 수 있다. Metric(f(original)-f(positive))는 오리지날 이미지와 사용자 이미지의 차를 의미하고, Metric(f(original)-f(light_simulated)는 오리지날 이미지와 조명 변화 이미지의 차를 의미하고, Metric(f(original)-f(pose_simulated)는 오리지날 이미지와 포즈 변화된 이미지의 차를 의미하고, Metric(f(original)-f(negative))는 오리지날 이미지와 타인의 이미지의 차를 의미하는 것일 수 있다. Here,
이를 통해, 동일 클래스의 다른 이미지들 간의 거리를 최소화하고, 다른 클래스의 얼굴과의 거리는 최대로 할 수 있도록 할 수 있다. Through this, it is possible to minimize the distance between other images of the same class and maximize the distance to faces of different classes.
총 손실률 도출부(170)는 도출된 에러값에 각 학습 모델의 중요도에 따라 기설정된 가중치를 반영하여 총 손실률을 도출할 수 있다. 예를 들어, 총 손실률 도출부(170)는 다음의 수학식 3과 같이 각각의 도출된 값에 대한 에러값에 대해 가중치를 곱한 총 합이 최소화될 수 있도록, 중요도에 따라 가중치를 곱하여 총 손실률을 도출할 수 있다 The total loss
여기서, pos_pair scale은 사용자 학습 모델에 대한 가중치이고, losspospair는 사용자 학습 모델을 이용하여 도출된 에러값을 나타내고, light_sim scale은 조명 학습 모델에 대한 가중치이고, losslightsim은 조명 학습 모델을 이용하여 도출된 에러값을 나타내고, pos_sim scale은 포즈 학습 모델에 대한 가중치이고, lossposesim은 포즈 학습 모델을 이용하여 도출된 에러값을 나타내고, neg_pair scale은 타인의 학습 모델에 대한 가중치이고, lossnegpair는 타인의 학습 모델을 이용하여 도출된 에러값을 나타내는 것일 수 있다. Here, pos_pair scale is the weight for the user learning model, loss pospair represents the error value derived using the user learning model, light_sim scale is the weight for the lighting learning model, and loss lightsim is derived using the lighting learning model represents the error value obtained, pos_sim scale is a weight for the pose learning model, loss posesim represents an error value derived using the pose learning model, neg_pair scale is a weight for another person's learning model, and loss negpair is another person's It may represent an error value derived using a learning model.
총 손실률 도출부(170)는 각 학습 모델을 이용하여 도출된 에러값에 가중치를 곱함으로써, 역전파 학습에 오류를 반영하여 추가적인 학습이 진행되도록 할 수 있다. The total loss
전체 에러값을 계산하기 위해 계산된 각 페어(pair)의 에러를 원하는 학습 가중치를 설정하여 곱한 후, 그 합을 네트워크 각 노드의 가중치에 반영하여 학습을 진행할 수 있다. 일반적으로 학습 가중치는 학습자가 임의로 선택할 수 있으며, 본 발명에서는 주어진 페어(pair)의 중요도를 고려하여 다음과 같이 학습하였을 때 가장 좋은 인식 결과를 획득할 수 있다.After setting and multiplying the errors of each pair calculated to calculate the total error value by setting a desired learning weight, the sum is reflected in the weight of each node in the network to proceed with learning. In general, the learning weight can be selected arbitrarily by the learner, and in the present invention, the best recognition result can be obtained when learning is performed as follows in consideration of the importance of a given pair.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치에서 각 학습 모델의 중요도에 따라 기설정된 가중치를 반영하는 과정을 도시한 예시적인 도면이다. 도 3을 참조하면, 총 손실률 도출부(170)는 각 학습 모델에 따라 기설정된 가중치를 반영할 수 있다. 예를 들어, 총 손실률 도출부(170)는 사용자의 얼굴 특징 포인트 데이터(300)에 기초하여 사용자의 학습 모델을 통해 도출된 얼굴 특징 포인트 데이터(310)에 대한 가중치를 2.0으로 반영하고, 조명 학습 모델을 통해 도출된 얼굴 특징 포인트 데이터(320)에 대한 가중치를 1.0으로 반영하고, 포즈 학습 모델을 통해 도출된 얼굴 특징 포인트 데이터(330)에 대한 가중치를 1.0으로 반영하고, 타인의 학습 모델을 통해 도출된 얼굴 특징 포인트 데이터(340)에 대한 가중치를 3.0으로 반영할 수 있다. 3 is an exemplary diagram illustrating a process of reflecting predetermined weights according to the importance of each learning model in the face recognition device according to an embodiment of the present invention. Referring to FIG. 3 , the total loss
여기서, 가중치는 학습자의 학습 데이터의 구성과 학습방법에 따라 다양하게 설정 가능하다. 기본적으로 얼굴 인식을 위한 네트워크 학습을 하기 때문에 사용자의 페어(pos pair) 및 타인의 페어(negative pair)의 가중치를 높게 주는 것이 좋으며, 포즈 변화 및 조명의 시뮬레이션 출력값에 대한 가중치는 낮게 주는 것이 얼굴 인식에 보다 정확한 결과가 도출되도록 할 수 있다. Here, the weight can be set in various ways according to the configuration and learning method of the learner's learning data. Basically, since network learning for face recognition is performed, it is recommended to give high weights to the user's pair (pos pair) and other people's pairs (negative pair), and to give low weights to the simulated output values of pose change and lighting for face recognition. can lead to more accurate results.
다시 도 2로 돌아와서, 얼굴 인식부(180)는 도출된 에러값을 반영하여 얼굴을 인식할 수 있다. 또한, 얼굴 인식부(180)는 도출된 총 손실률을 반영하여 얼굴을 인식할 수 있다. Returning to FIG. 2 again, the
이러한 얼굴 인식 장치(100)는 영상으로부터 얼굴을 인식하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 수행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 영상을 입력받고, 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하고, 복수의 학습 모델을 이용하여 검출된 얼굴 특징 포인트에 대한 결과값을 도출하고, 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하고, 도출된 에러값을 반영하여 얼굴을 인식하도록 하는 명령어들의 시퀀스를 포함할 수 있다. The
도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치에서 영상으로부터 얼굴을 인식하는 방법의 순서도이다. 도 4에 도시된 얼굴 인식 장치(110)에서 영상으로부터 얼굴을 인식하는 방법은 도 1 내지 도 3에 도시된 실시예에 따른 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 실시예에 따른 얼굴 인식 장치(100)에서 영상으로부터 얼굴을 인식하는 방법에도 적용된다. 4 is a flowchart of a method of recognizing a face from an image in a face recognition device according to an embodiment of the present invention. The method of recognizing a face from an image in the
단계 S410에서 얼굴 인식 장치(100)는 영상을 입력받을 수 있다. In step S410, the
단계 S420에서 얼굴 인식 장치(100)는 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출할 수 있다. In step S420, the
단계 S430에서 얼굴 인식 장치(100)는 복수의 학습 모델을 이용하여 검출된 얼굴 특징 포인트에 대한 결과값을 도출할 수 있다. In step S430, the
단계 S440에서 얼굴 인식 장치(100)는 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출할 수 있다. In step S440, the
단계 S450에서 얼굴 인식 장치(100)는 도출된 에러값을 반영하여 얼굴을 인식할 수 있다. In step S450, the
상술한 설명에서, 단계 S410 내지 S450은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the foregoing description, steps S410 to S450 may be further divided into additional steps or combined into fewer steps, depending on an embodiment of the present invention. Also, some steps may be omitted as needed, and the order of steps may be switched.
도 1 내지 도 4를 통해 설명된 얼굴 인식 장치에서 영상으로부터 얼굴을 인식하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 4를 통해 설명된 얼굴 인식 장치에서 영상으로부터 얼굴을 인식하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. The method of recognizing a face from an image in the face recognition apparatus described with reference to FIGS. 1 to 4 may be implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. there is. In addition, the method of recognizing a face from an image in the face recognition apparatus described with reference to FIGS. 1 to 4 may be implemented in the form of a computer program stored in a medium executed by a computer.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.
100: 얼굴 인식 장치
110: 트레이닝부
120: 입력부
130: 얼굴 특징 포인트 검출부
140: 조명 성분 추출부
150: 결과값 도출부
160: 에러값 도출부
170: 총 손실률 도출부
180: 얼굴 인식부100: face recognition device
110: training unit
120: input unit
130: facial feature point detection unit
140: lighting component extraction unit
150: result value derivation unit
160: error value derivation unit
170: total loss rate derivation unit
180: face recognition unit
Claims (15)
영상을 입력받는 입력부;
상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하는 얼굴 특징 포인트 검출부;
복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하는 결과값 도출부;
상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하는 에러값 도출부; 및
상기 도출된 에러값을 반영하여 상기 얼굴을 인식하는 얼굴 인식부를 포함하고,
상기 복수의 학습 모델은 사용자의 얼굴 학습 모델, 타인의 얼굴 학습 모델, 조명 학습 모델 및 포즈 학습 모델을 포함하고,
상기 각 학습 모델에 대해 도출된 에러값에 상기 각 학습 모델의 중요도에 따라 기설정된 가중치를 반영하여 총 손실률을 도출하는 총 손실률 도출부를 더 포함하는 것인, 얼굴 인식 장치.
An apparatus for recognizing a user's face from an image,
an input unit for receiving an image;
a facial feature point detection unit extracting an image including a face of a user included in the image and detecting a feature point of the user's face from the extracted image;
a result value derivation unit deriving result values for the detected facial feature points using a plurality of learning models;
an error value derivation unit for deriving an error value for each learning model based on the derived result value; and
A face recognition unit configured to recognize the face by reflecting the derived error value;
The plurality of learning models include a user's face learning model, another person's face learning model, a lighting learning model, and a pose learning model,
And a total loss rate derivation unit for deriving a total loss rate by reflecting a predetermined weight according to the importance of each learning model to the error value derived for each learning model.
상기 복수의 학습 모델을 이용하여 상기 얼굴 특징 포인트를 트레이닝하는 트레이닝부를 더 포함하는, 얼굴 인식 장치.
According to claim 1,
and a training unit configured to train the facial feature points using the plurality of learning models.
상기 트레이닝부는 상기 복수의 학습 모델에 대한 학습 데이터로부터 검출된 얼굴의 특징 포인트를 기준으로 상기 학습 데이터를 적어도 하나 이상의 영역으로 분할하여 상기 얼굴 특징 포인트를 트레이닝하는 것인, 얼굴 인식 장치.
According to claim 2,
wherein the training unit divides the learning data into at least one area based on facial feature points detected from the learning data for the plurality of learning models to train the facial feature points.
상기 결과값 도출부는 상기 사용자의 얼굴 학습 모델을 이용하여, 상기 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 상기 사용자의 복수의 다른 이미지로부터 검출된 사용자의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출하는 것인, 얼굴 인식 장치.
According to claim 1,
The result value derivation unit derives a result value by comparing the user's facial feature points detected from the image and the user's facial feature points detected from a plurality of other images of the user using the user's face learning model. That is, a face recognition device.
상기 결과값 도출부는 상기 타인의 얼굴 학습 모델을 이용하여, 상기 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 타인의 이미지로부터 검출된 타인의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출하는 것인, 얼굴 인식 장치.
According to claim 2,
Wherein the result value derivation unit derives a result value through comparison between the facial feature points of the user detected from the image and the facial feature points of the other person detected from the image of the other person using the face learning model of the other person. recognition device.
상기 영상으로부터 조명 성분을 추출하는 조명 성분 추출부를 더 포함하되,
상기 에러값 도출부는 상기 조명 학습 모델을 이용하여, 상기 이미지로부터 검출된 사용자의 얼굴 특징 포인트와 상기 조명 성분을 변화시킨 상기 이미지로부터 검출된 사용자의 얼굴 특징 포인트 간의 비교를 통해 결과값을 도출하는 것인, 얼굴 인식 장치.
According to claim 2,
Further comprising an illumination component extractor extracting an illumination component from the image,
The error value derivation unit derives a resultant value through comparison between facial feature points of the user detected from the image and feature points of the user's face detected from the image in which the lighting component is changed using the lighting learning model. Person, face recognition device.
상기 에러값 도출부는 상기 사용자의 얼굴 학습 모델 또는 상기 타인의 얼굴 학습 모델을 도출된 결과값 및 상기 도출된 결과값이 사용자일 확률에 기초하여 에러값을 도출하는 것인, 얼굴 인식 장치.
According to claim 3,
Wherein the error value derivation unit derives an error value based on a result value derived from the user's face learning model or the other person's face learning model and a probability that the derived result value is a user.
상기 결과값 도출부는 상기 포즈 학습 모델을 이용하여 상기 이미지로부터 검출된 사용자의 얼굴 특징 포인트에 기초하여 이미지 변환 행렬을 생성하고, 상기 생성된 이미지 변환 행렬을 이용하여 포즈 시뮬레이션을 통해 상기 추출된 이미지를 2차원 이미지로 변환하고, 상기 변환된 2차원 이미지에 대한 포즈 시뮬레이션의 결과값을 도출하는 것인, 얼굴 인식 장치.
According to claim 2,
The resulting value derivation unit generates an image conversion matrix based on the facial feature points of the user detected from the image using the pose learning model, and generates the extracted image through pose simulation using the generated image conversion matrix. Converting to a two-dimensional image, and deriving a result value of pose simulation for the converted two-dimensional image, face recognition device.
상기 에러값 도출부는 카메라의 초점 거리에 대한 상기 포즈 시뮬레이션의 결과값에 포함된 상기 사용자의 포즈 추정 결과를 계산하여 에러값을 도출하는 것인, 얼굴 인식 장치.
According to claim 8,
Wherein the error value derivation unit derives an error value by calculating a result of estimating the user's pose included in the resultant value of the pose simulation for the focal length of the camera.
상기 얼굴 인식부는 상기 도출된 총 손실률에 기초하여 상기 얼굴을 인식하는 것인, 얼굴 인식 장치.
According to claim 1,
Wherein the face recognition unit recognizes the face based on the derived total loss rate, the face recognition device.
영상을 입력 받는 단계;
상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하는 단계;
복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하는 단계;
상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하는 단계; 및
상기 도출된 에러값을 반영하여 상기 얼굴을 인식하는 단계를 포함하고,
상기 복수의 학습 모델은 사용자의 얼굴 학습 모델, 타인의 얼굴 학습 모델, 조명 학습 모델 및 포즈 학습 모델을 포함하고,
상기 각 학습 모델에 대해 도출된 에러값에 상기 각 학습 모델의 중요도에 따라 기설정된 가중치를 반영하여 총 손실률을 도출하는 단계를 더 포함하는 것인, 얼굴 인식 방법.
A method for recognizing a user's face from an image in a face recognition device,
Receiving an image;
extracting an image including a face of a user included in the image, and detecting feature points of the user's face from the extracted image;
deriving result values for the detected facial feature points using a plurality of learning models;
deriving an error value for each learning model based on the derived result value; and
Recognizing the face by reflecting the derived error value;
The plurality of learning models include a user's face learning model, another person's face learning model, a lighting learning model, and a pose learning model,
The face recognition method further comprising deriving a total loss rate by reflecting a predetermined weight according to the importance of each learning model to the error value derived for each learning model.
상기 복수의 학습 모델을 이용하여 상기 얼굴 특징 포인트를 트레이닝하는 단계를 더 포함하는, 얼굴 인식 방법.
According to claim 11,
Further comprising the step of training the facial feature points using the plurality of learning models, face recognition method.
상기 트레이닝하는 단계는 상기 복수의 학습 모델에 대한 학습 데이터로부터 검출된 얼굴의 특징 포인트를 기준으로 상기 학습 데이터를 적어도 하나 이상의 영역으로 분할하여 상기 얼굴 특징 포인트를 트레이닝하는 것인, 얼굴 인식 방법.
According to claim 12,
Wherein the training step comprises training the facial feature points by dividing the learning data into at least one region based on facial feature points detected from the learning data for the plurality of learning models.
상기 얼굴을 인식하는 단계는 상기 도출된 총 손실률에 기초하여 상기 얼굴을 인식하는 것인, 얼굴 인식 방법.
According to claim 11,
Wherein the step of recognizing the face is recognizing the face based on the derived total loss rate.
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
영상을 입력 받고,
상기 영상에 포함된 사용자의 얼굴을 포함하는 이미지를 추출하고, 상기 추출된 이미지로부터 사용자의 얼굴 특징 포인트를 검출하고,
복수의 학습 모델을 이용하여 상기 검출된 얼굴 특징 포인트에 대한 결과값을 도출하고,
상기 도출된 결과값에 기초하여 각 학습 모델에 대한 에러 값을 도출하고,
상기 도출된 에러값을 반영하여 상기 얼굴을 인식하고,
상기 복수의 학습 모델은 사용자의 얼굴 학습 모델, 타인의 얼굴 학습 모델, 조명 학습 모델 및 포즈 학습 모델을 포함하고,
상기 각 학습 모델에 대해 도출된 에러값에 상기 각 학습 모델의 중요도에 따라 기설정된 가중치를 반영하여 총 손실률을 도출하도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.
A computer program stored in a medium containing a sequence of instructions for recognizing a user's face in a face recognition device,
When the computer program is executed by a computing device,
input video,
extracting an image including a user's face included in the image, and detecting a user's facial feature point from the extracted image;
Deriving result values for the detected facial feature points using a plurality of learning models;
An error value for each learning model is derived based on the derived result value,
Recognizing the face by reflecting the derived error value;
The plurality of learning models include a user's face learning model, another person's face learning model, a lighting learning model, and a pose learning model,
A computer program stored in a medium comprising a sequence of instructions for deriving a total loss rate by reflecting a predetermined weight according to the importance of each learning model to the error value derived for each learning model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180015791A KR102563522B1 (en) | 2018-02-08 | 2018-02-08 | Apparatus, method and computer program for recognizing face of user |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180015791A KR102563522B1 (en) | 2018-02-08 | 2018-02-08 | Apparatus, method and computer program for recognizing face of user |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190100529A KR20190100529A (en) | 2019-08-29 |
KR102563522B1 true KR102563522B1 (en) | 2023-08-04 |
Family
ID=67776057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180015791A KR102563522B1 (en) | 2018-02-08 | 2018-02-08 | Apparatus, method and computer program for recognizing face of user |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102563522B1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160011916A (en) * | 2014-07-23 | 2016-02-02 | 삼성전자주식회사 | Method and apparatus of identifying user using face recognition |
KR20160061856A (en) * | 2014-11-24 | 2016-06-01 | 삼성전자주식회사 | Method and apparatus for recognizing object, and method and apparatus for learning recognizer |
KR102477190B1 (en) * | 2015-08-10 | 2022-12-13 | 삼성전자주식회사 | Method and apparatus for face recognition |
KR20170050465A (en) * | 2015-10-30 | 2017-05-11 | 에스케이텔레콤 주식회사 | Method and Apparatus for Recognizing Face |
-
2018
- 2018-02-08 KR KR1020180015791A patent/KR102563522B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20190100529A (en) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10949649B2 (en) | Real-time tracking of facial features in unconstrained video | |
Cao et al. | 3D aided duet GANs for multi-view face image synthesis | |
US9633044B2 (en) | Apparatus and method for recognizing image, and method for generating morphable face images from original image | |
US8837786B2 (en) | Face recognition apparatus and method | |
US10282530B2 (en) | Verifying identity based on facial dynamics | |
US20230134967A1 (en) | Method for recognizing activities using separate spatial and temporal attention weights | |
CN107911643B (en) | Method and device for showing scene special effect in video communication | |
Raut | Facial emotion recognition using machine learning | |
JP2017228224A (en) | Information processing device, information processing method, and program | |
CN113392270A (en) | Video processing method, video processing device, computer equipment and storage medium | |
KR102409988B1 (en) | Method and apparatus for face swapping using deep learning network | |
CN112036260A (en) | Expression recognition method and system for multi-scale sub-block aggregation in natural environment | |
CN111612842A (en) | Method and device for generating pose estimation model | |
KR20200083119A (en) | User verification device and method | |
Zhang et al. | Low-rank and joint sparse representations for multi-modal recognition | |
KR20190018274A (en) | Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image | |
Okokpujie et al. | Development of an adaptive trait-aging invariant face recognition system using convolutional neural networks | |
CN110533184B (en) | Network model training method and device | |
KR102187926B1 (en) | Apparatus, method and computer readable medium for generating volumetric video | |
KR102563522B1 (en) | Apparatus, method and computer program for recognizing face of user | |
JP6393495B2 (en) | Image processing apparatus and object recognition method | |
JP2020135432A (en) | Learning data generation method, learning data generation device, and program | |
Wang et al. | SPGNet: Spatial projection guided 3D human pose estimation in low dimensional space | |
CN112214626B (en) | Image recognition method and device, readable storage medium and electronic equipment | |
KR20210088368A (en) | Apparatus and method for generating license plate image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |