KR20110054886A - Robust recognition method of facial expression against illumination variation - Google Patents
Robust recognition method of facial expression against illumination variation Download PDFInfo
- Publication number
- KR20110054886A KR20110054886A KR1020090111687A KR20090111687A KR20110054886A KR 20110054886 A KR20110054886 A KR 20110054886A KR 1020090111687 A KR1020090111687 A KR 1020090111687A KR 20090111687 A KR20090111687 A KR 20090111687A KR 20110054886 A KR20110054886 A KR 20110054886A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- histogram
- face
- face image
- facial expression
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005286 illumination Methods 0.000 title claims abstract description 17
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000000513 principal component analysis Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002087 whitening effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011425 standardization method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 조명변화에 견고한 얼굴 표정 인식방법에 관한 것으로, 특히 히스토그램 매칭을 통하여 조명변화에 의한 민감도를 줄일 수 있도록 한 얼굴 표정 인식방법에 관련한다.The present invention relates to a facial expression recognition method that is robust to changes in illumination, and more particularly, to a facial expression recognition method for reducing sensitivity due to a change in illumination through histogram matching.
얼굴 표정은 인간의 감정을 표현하는 기본 방식이며, 사람 간의 비언어적인 의사소통에서 효율적인 방식 중 하나이다. 가령, 심리학 전문가 Mehrabian는 인간의 감정을 전달과정에서 표정 정보에 대한 영향을 아래 공식으로 제안하고 있다.Facial expressions are the primary way of expressing human emotions and are one of the most efficient ways of nonverbal communication between people. For example, psychology expert Mehrabian proposes the following influence on facial expression information in the delivery of human emotions.
인간의 감정 = 언어(7%)+음성(38%)+얼굴표정(55%)Human emotion = language (7%) + voice (38%) + facial expressions (55%)
인공 지능과 패턴 인식 기술이 발전함에 따라서 얼굴 표정 인식은 HCI(Human Computer Interface)에서 중요한 기술중 하나이며, 이에 관련된 많은 연구가 진행되고 있다. Ekman의 연구에 따르면 사람의 얼굴 표정은 기본적으로 놀람, 두려움, 슬픔, 화남, 역겨움, 웃음 6개의 표정으로 나눌 수 있지만, 특히 웃음 표정은 사람들 간의 교류에서 중요한 역할 담당하고 있으며, 서비스업, 예방의학, 헬스 케어 등의 분야에서 널리 응용할 수 있기 때문에 웃음 표정에 대한 연구는 다른 표정보 다 더 유용하게 활용될 수 있어 많은 각광을 받고 있다.With the development of artificial intelligence and pattern recognition technology, facial expression recognition is one of the important technologies in Human Computer Interface (HCI), and many researches on this are being conducted. Ekman's research suggests that human facial expressions can be divided into six categories: surprise, fear, sadness, anger, disgust, and laughter, but laughter faces play an important role in the interaction between people. Because of its wide application in the fields of health care, the study of the expression of laughter is gaining a lot of attention because it can be used more usefully than other table information.
기존의 표정 인식 연구 방법으로는 얼굴 표정 변화에 따른 광학적 흐름 추정을 통한 얼굴 근육 움직임 정보를 이용하여 인식하는 광학적 흐름 분석(Optic Flow Analysis)방법, 얼굴 국부적인 특징 점(눈, 코, 입 등)의 위치를 찾아서 특징 부분의 변화와 비교하여 인식하는 국부적인 표현 방법, 그리고 PCA(Principal Component Analysis)와 LDA(Linear Discriminant Analysis), 및 ICA(Independent Component Analysis) 등을 통해서 얼굴 전체에 대한 분석으로 얼굴 영상에 대해 통계적으로 학습시키고 인식하는 홀리스틱 분석(Holistic Analysis) 방법 등이 있다.Conventional facial recognition research methods include optical flow analysis method using facial muscle movement information through optical flow estimation according to facial expression changes, and local feature points (eyes, nose, mouth, etc.) Local expression method that recognizes the location of the location by comparing it with the change of the feature part, and analyzes the entire face through Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA), and Independent Component Analysis (ICA). Holistic Analysis method that statistically learns and recognizes images.
이 중에서 PCA를 이용하는 방법의 경우, 영상에 대한 조명 정규화가 중요하다. Among the methods using the PCA, the lighting normalization for the image is important.
이에 따라, "PCA를 이용한 얼굴 표정의 감정 인식방법"(Proceedings of KFIS Autumn Conference 2006, Vol. 16, No.2)에서는 영상 조명 표준화 방법을 제안하였고, "PCA 표정을 이용한 강인한 얼굴 표정 인식"(한국인지과학회 논문지 제16권, 제4호, pp. 323-331, 2005)에서는 백색화(Whitening) 조명 정규화 방법을 제안하였다.Accordingly, "Emotion Recognition Method of Facial Expression Using PCA" ( Proceedings of KFIS Autumn Conference 2006 , Vol. 16, No. 2) proposed a standardization method of image illumination, and “Robust Facial Expression Recognition Using PCA Expression” (Korean Journal of Cognitive Science, Vol. 16, No. 4, pp. 323-331, 2005). Whitening) lighting normalization method is proposed.
그러나, 이들 방법에 의할 경우, 얼굴 표정에 대한 인식률이 떨어진다는 문제점을 갖는다.However, according to these methods, there is a problem that the recognition rate for the facial expression is lowered.
따라서, 본 발명의 목적은 얼굴 표정에 대한 인식률을 향상시킬 수 있는 얼굴 표정 인식방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a facial expression recognition method that can improve the recognition rate for facial expressions.
상기의 목적은, 입력된 얼굴 영상의 얼굴 영역 내에서 얼굴을 검출하는 단계; 상기 검출된 얼굴의 얼굴 영상에 히스토그램 매칭을 이용하여 조명의 정규화를 실행하는 단계; 및 상기 히스토그램 매칭된 얼굴 영상에 인공 신경망 알고리즘을 적용하여 얼굴 표정을 인식하는 단계를 포함하는 얼굴 표정 인식방법에 의해 달성된다.The above object is to detect a face within a face region of an input face image; Performing normalization of illumination by using histogram matching on the detected face image of the face; And recognizing a facial expression by applying an artificial neural network algorithm to the histogram matched face image.
상기한 구성에 의하면, 종래 조명의 정규화에 있어서 표준화 방법에 의한 경우의 인식률이나, 백색화 방법에 의한 경우의 인식률에 비하여 향상된 인식률을 얻을 수 있다According to the above configuration, in the normalization of the conventional lighting, the recognition rate in the case of the standardization method and the recognition rate in the case of the whitening method can be improved.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 얼굴 표정 인식방법을 설명하는 플로차트이다.1 is a flowchart illustrating a facial expression recognition method according to the present invention.
본 발명의 얼굴 표정 인식방법에 의하면, 영상 입력단계(S10), 얼굴 영상 검출단계(S11), 조명 정규화 단계(S12), 및 얼굴 표정 인식단계(S13)로 이루어진다.According to the facial expression recognition method of the present invention, the image input step (S10), the face image detection step (S11), the illumination normalization step (S12), and facial expression recognition step (S13).
영상 입력단계(Video input stage ( S10S10 ))
카메라 등을 통하여 촬영된 얼굴 영상이 실시간으로 입력된다.The face image photographed through a camera is input in real time.
얼굴 영상 검출단계(Face image detection step ( S11S11 ))
얼굴 영상 검출단계(S11)에서는 얼굴 영역 내에서 간단하면서 객체 간의 구별 능력이 있는 특징을 이용하여 얼굴을 검출할 수 있다. 도 2는 Harr-like 특징을 이용하여 얼굴 영상을 검출하는 것을 나타낸다.In the face image detection step S11, the face may be detected using a feature that is simple and distinguishes between objects in the face area. 2 illustrates detecting a face image using a harr-like feature.
Harr-like 특징은 Papageoriou et al.에 의해 제안된 인테그랄(integral) 이미지를 이용하여 간단하면서도 빠르게 연산을 수행할 수 있다. 이러한 Harr-like 특징과 인테그랄 이미지의 사용은 복잡한 연산을 줄이고, 높은 검출 성능이 요구되는 실시간 객체 검출에 효과적으로 적용된다.Harr-like features can be computed simply and quickly using integral images proposed by Papageoriou et al. The use of Harr-like features and integral images is effectively applied to real-time object detection, which reduces complex computations and requires high detection performance.
또한, 본 발명에 따르면, 도 3과 같이 얼굴 영상이 잘못 검출되는 경우에 대비하여, 얼굴 영상 검출단계(S11)에서 SVM 분류를 이용하여 얼굴 영상과 비얼굴 영상을 분류함으로써 정확한 얼굴 영상을 얻을 수 있다.In addition, according to the present invention, in case the face image is incorrectly detected as shown in FIG. 3, an accurate face image can be obtained by classifying the face image and the non-face image using SVM classification in the face image detection step S11. have.
도 4는 SVM 분류를 이용한 얼굴과 비얼굴 학습 영상들이다.4 illustrates face and non-face learning images using SVM classification.
SVM은 1995년 Vapnik에 의해 이진 패턴 분류 문제를 해결하기 위해 제안된 학습방법으로 각 범주의 대표적인 특징을 갖는 벡터를 이용하여 최적의 하이퍼분리면(Hyperplane)을 찾아서 두 범주를 분류하는 기법이다.SVM is a learning method proposed by Vapnik in 1995 to solve the binary pattern classification problem. The SVM classifies two categories by finding the optimal hyperplane using vectors with typical characteristics of each category.
조명 정규화 단계(Lighting normalization step ( S12S12 ))
상기한 바와 같이, PCA를 이용하여 얼굴 표정을 인식할 때, 영상의 조명 차이에 따라 인식률에 차이를 보일 수 있기 때문에 표정을 인식하기 전에 조명에 대한 정규화를 실행한다. As described above, when the facial expression is recognized using the PCA, the recognition rate may be different according to the illumination difference of the image, and thus normalization of the illumination is performed before the facial expression is recognized.
본 발명에 의하면, 조명에 강인한 영상을 얻기 위해 얼굴 영상에 히스토그램 매칭을 이용하여 조명의 정규화를 실행한다. 이 방법은 선형 조명 차이를 정규화할 수 있을 뿐만 아니라 감마(Gamma) 효과처럼 비선형 조명 차이를 제거할 수도 있다.According to the present invention, normalization of illumination is performed by using histogram matching on a face image to obtain an image that is robust to illumination. This method can not only normalize linear light differences, but can also eliminate non-linear light differences such as the Gamma effect.
도 5는 히스토그램 매칭 과정을 설명하는 다이어그램이다.5 is a diagram illustrating a histogram matching process.
히스토그램 매칭 과정에서 첫 번째 단계에서 입력 영상, 즉 얼굴 영상 검출단계(S11)에서 검출한 얼굴 영상과 표준 영상의 히스토그램을 식 (1)을 이용하여 계산한다.In the first step in the histogram matching process, histograms of the input image, that is, the face image and the standard image detected in the face image detection step S11 are calculated using Equation (1).
여기에서, From here,
식 (1)에서 ω는 영상의 넓이이고, h는 영상의 높이이다. 또한, 
두 번째 단계는 각 영상의 히스토그램에 대해 누적하는 과정을 식 (2)을 이 용해 계산한다.The second step is to calculate the cumulative process for each histogram using Equation (2).
표준 영상과 입력 영상의 누적 히스토그램을 생성한 다음 이을 통해서 명암도를 변환하는 매핑(mapping) 함수가 만들어진다. 매핑 함수는 식 (3)를 이용하여 생성한다.A mapping function is created that generates a cumulative histogram of the standard image and the input image, and then converts the contrast. The mapping function is created using equation (3).
여기서, 
다음, 입력 영상의 각각의 픽셀에 대하여 식 (4)와 같이 명암도 매핑 함수를 적용하여 히스토그램 매칭된 영상을 구하게 된다.Next, a histogram-matched image is obtained by applying a contrast mapping function to each pixel of the input image as shown in Equation (4).
도 6a와 6b는 각각 히스토그램 매칭 실행 전과 후에 대한 얼굴 영상들을 보여주고 있다. 도 6을 참조하면, 히스토그램 매칭 단계를 통하여 조명 변화에 의한 민감도를 줄일 수 있음을 알 수 있다.6A and 6B show face images before and after histogram matching, respectively. Referring to FIG. 6, it can be seen that the sensitivity due to the change in illumination can be reduced through the histogram matching step.
얼굴 표정 인식단계(Facial expression recognition S13S13 ))
얼굴 영상은 고차원 특징 벡터로 이루어진 데이터이기 때문에 이를 그대로 입력 층으로 인공신경망을 이용하여 얼굴을 인식하는 데에는 오랜 시간이 걸린다. 따라서, 얼굴 인식 단계(S13)에서는 차원 축소 방법의 대표적인 PCA를 이용해 입력 영상의 특징 벡터의 차원을 줄일 수 있다. Since a face image is data consisting of high-dimensional feature vectors, it takes a long time to recognize a face using an artificial neural network as an input layer. Therefore, in the face recognition step S13, the dimension of the feature vector of the input image may be reduced by using a representative PCA of the dimension reduction method.
1) PCA 주성분 분석법을 이용하여 특징 얼굴 검출1) Feature face detection using PCA principal component analysis
주성분 분석은 고차원 특징 벡터를 몇 개의 주성분 값으로 나타내어 저차원의 특징 벡터로 표현해주는 방법이다. 즉 PCA는 원래 고차원 데이터의 분포 및 특징을 표현할 수 있는 몇 개의 주요 성분들을 찾는 과정이다.Principal component analysis is a method of expressing a high dimensional feature vector by several principal component values as a low dimensional feature vector. In other words, PCA is the process of finding several key components that can express the distribution and characteristics of the original high-dimensional data.
도 7은 실험에 사용된 영상에 대해 구한 고유 얼굴 영상들이다. 7 are unique face images obtained for an image used in an experiment.
2) 인공신경망을 이용하여 얼굴 표정 인식2) Facial Expression Recognition Using Artificial Neural Network
얼굴 특징 벡터와 얼굴 표정은 비선형 관계이다. 인공신경망은 이론적으로 강한 비선형 능력과 적응 능력을 가지고 있기 때문에 임의 비선형 모델에서 이용할 수 있다. 이 특성에 근거하여 본 발명에서는 세 개 층으로 이루어진 인공신경망 Back-Propagation 알고리즘을 이용하여 얼굴 표정을 인식하는 방법을 사용한다.Facial feature vectors and facial expressions are nonlinear. Artificial neural networks can be used in any nonlinear model because they have theoretically strong nonlinear and adaptive capabilities. Based on this characteristic, the present invention uses a three-layer artificial neural network back-propagation algorithm to recognize a facial expression.
주성분 분석으로 구한 특징 벡터는 인공신경망의 입력층 노드로 사용되었으며, 은닉층의 계수는 입력층의 계수와 같이 설정하고, 출력층은 무표정과 웃음 표정을 구별하기 위해서 2개로 나눈다.The feature vector obtained by Principal Component Analysis is used as the input layer node of the artificial neural network.
Back-Propagation 알고리즘은 학습 전향 단계와 후향 단계로 이루어진다. 전향 단계는 각 입력 층 노드에 대해서 입력 함수와 활성화 함수를 이용하여 출력을 산출하는 단계이다. 후향 단계는 목표 출력과 실제 출력의 차이를 계산하여 오차를 구하고, 은닉층에 역 전파하여 출력층에서 입력층으로 순서대로 층과 층 사이의 가중치를 갱신하는 단계이다. 가중치 갱신은 일반화된 델타 규칙(Generalized Delta Rule)으로 수행하게 된다. 총 오차의 합이 정해진 오차의 기준치에 도달할 때까지 계속 실행하다가 원하는 값에 수렴되면 동작을 멈추게 된다. Back-Propagation algorithm consists of learning forward step and backward step. The forwarding step is a step of calculating output using an input function and an activation function for each input layer node. The backward step calculates an error by calculating the difference between the target output and the actual output, and propagates back to the hidden layer to update the weights between the layers in order from the output layer to the input layer. Weight update is performed with a Generalized Delta Rule. It continues to run until the sum of the total errors reaches the reference value of the specified error, and stops when it reaches the desired value.
<실험 예>Experimental Example
제안된 표정 인식 시스템의 성능을 평가하기 위해 도 8과 같이 여러 조명 조건하에서 128 × 128의 해상도를 갖는 21명 학생의 웃음, 무표정 영상 각 10장씩 총 210장을 사용하여 실험하였다. In order to evaluate the performance of the proposed facial recognition system, as shown in FIG. 8, a total of 210 images of 21 students with 10 smiles and expressionless images with 128 × 128 resolution under various lighting conditions were used.
그 중에 17명 학생 영상은 학습 영상으로 사용하고, 나머지 4명 학생은 테스트 영상으로 사용하였다. 도 8(a)은 학습 영상이고, 도 8(b)은 테스트 영상이며, 도 8(c)은 본 실험에서 이용하는 조명 표준 영상이다.Among them, 17 students' videos were used as learning videos, and the remaining 4 students were used as test videos. 8 (a) is a training image, FIG. 8 (b) is a test image, and FIG. 8 (c) is an illumination standard image used in this experiment.
아래의 표 1은 제안된 알고리즘을 이용하여 조명 표준화, 백색화(Whitening), 및 히스토그램 매칭 세 가지 조명 정규화 방법을 사용해 실험한 결과를 비교한 표이다.Table 1 below is a table comparing the results of experiments using three methods of lighting normalization, whitening, and histogram matching using the proposed algorithm.
표 1을 참조하면, 본 발명의 히스토그램 매칭을 통한 조명 정규화 방법을 사용한 경우 88.75%의 인식률을 얻을 수 있었으며, 이는 표준화 방법에 의할 경우의 83.75%의 인식률이나, 백색화 방법에 의할 경우의 85% 인식률에 비하여 향상된 인식률을 보여주고 있다. 다시 말해, 다른 조명 정규화 방법보다 조명 변화에 영향을 더 효과적으로 줄여 인식률을 향상시킬 수 있다는 것을 알 수 있었다. Referring to Table 1, when the illumination normalization method using the histogram matching of the present invention was used, a recognition rate of 88.75% was obtained, which is 83.75% when using the standardization method or when using the whitening method. The recognition rate is improved compared to the 85% recognition rate. In other words, it can be seen that the recognition rate can be improved by more effectively reducing the influence of lighting changes than other lighting normalization methods.
이상에서는 본 발명의 실시 예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 따라서, 본 발명의 권리범위는 상기한 실시 예에 한정되어 해석될 수 없으며, 이하에 기재되는 특허청구범위에 의해 해석되어야 한다.In the above description, the embodiment of the present invention has been described, but various changes can be made at the level of those skilled in the art. Therefore, the scope of the present invention should not be construed as being limited to the above embodiment, but should be interpreted by the claims described below.
도 1은 본 발명에 따른 얼굴 표정 인식방법을 설명하는 플로차트이다.1 is a flowchart illustrating a facial expression recognition method according to the present invention.
도 2는 Harr-like 특징을 이용하여 얼굴 영상을 검출하는 것을 나타낸다.2 illustrates detecting a face image using a harr-like feature.
도 3은 얼굴을 잘못 검출하는 경우를 설명하는 도면이다.3 is a diagram illustrating a case where a face is incorrectly detected.
도 4는 SVM 분류를 이용한 얼굴과 비얼굴 학습 영상들이다.4 illustrates face and non-face learning images using SVM classification.
도 5는 히스토그램 매칭 과정을 설명하는 다이어그램이다.5 is a diagram illustrating a histogram matching process.
도 6a와 6b는 각각 히스토그램 매칭 실행 전과 후에 대한 얼굴 영상들을 보여주고 있다.6A and 6B show face images before and after histogram matching, respectively.
도 7은 실험에 사용된 영상에 대해 구한 고유 얼굴 영상들이다. 7 are unique face images obtained for an image used in an experiment.
도 8(a)은 학습 영상이고, 도 8(b)은 테스트 영상이며, 도 8(c)은 본 실험에서 이용하는 조명 표준 영상이다.8 (a) is a training image, FIG. 8 (b) is a test image, and FIG. 8 (c) is an illumination standard image used in this experiment.
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090111687A KR101084298B1 (en) | 2009-11-18 | 2009-11-18 | Robust recognition method of facial expression against illumination variation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090111687A KR101084298B1 (en) | 2009-11-18 | 2009-11-18 | Robust recognition method of facial expression against illumination variation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110054886A true KR20110054886A (en) | 2011-05-25 |
| KR101084298B1 KR101084298B1 (en) | 2011-11-16 |
Family
ID=44363994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090111687A KR101084298B1 (en) | 2009-11-18 | 2009-11-18 | Robust recognition method of facial expression against illumination variation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101084298B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101149603B1 (en) * | 2011-10-14 | 2012-05-29 | (주)올라웍스 | Expression recognition method, apparatus, and computer-readable recording medium for executing the method |
| KR101877683B1 (en) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | Face Recognition Apparatus and Method Using Learning |
| US20190034709A1 (en) * | 2017-07-25 | 2019-01-31 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and apparatus for expression recognition |
| KR20190059225A (en) * | 2017-11-22 | 2019-05-30 | 인하대학교 산학협력단 | Method and apparatus for estimating human emotion based on adaptive image recognition using incremental deep learning |
| KR102097905B1 (en) * | 2019-06-04 | 2020-04-06 | 주식회사 딥엑스 | Apparatus and method for recognizing one or more objects in images |
| US10902244B2 (en) | 2017-03-27 | 2021-01-26 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100690295B1 (en) | 2005-09-20 | 2007-03-09 | 삼성전자주식회사 | Method of face image normalization and face recognition system for a mobile terminal |
-
2009
- 2009-11-18 KR KR1020090111687A patent/KR101084298B1/en not_active IP Right Cessation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101149603B1 (en) * | 2011-10-14 | 2012-05-29 | (주)올라웍스 | Expression recognition method, apparatus, and computer-readable recording medium for executing the method |
| US10902244B2 (en) | 2017-03-27 | 2021-01-26 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| US20190034709A1 (en) * | 2017-07-25 | 2019-01-31 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and apparatus for expression recognition |
| US11023715B2 (en) * | 2017-07-25 | 2021-06-01 | Arcsoft Corporation Limited | Method and apparatus for expression recognition |
| KR101877683B1 (en) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | Face Recognition Apparatus and Method Using Learning |
| WO2019035544A1 (en) * | 2017-08-18 | 2019-02-21 | 연세대학교 산학협력단 | Face recognition apparatus and method using learning |
| KR20190059225A (en) * | 2017-11-22 | 2019-05-30 | 인하대학교 산학협력단 | Method and apparatus for estimating human emotion based on adaptive image recognition using incremental deep learning |
| US11636670B2 (en) | 2018-12-28 | 2023-04-25 | Deepx Co., Ltd. | Method for recognizing object in image |
| KR102097905B1 (en) * | 2019-06-04 | 2020-04-06 | 주식회사 딥엑스 | Apparatus and method for recognizing one or more objects in images |
| WO2020246834A1 (en) * | 2019-06-04 | 2020-12-10 | 주식회사 딥엑스 | Method for recognizing object in image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101084298B1 (en) | 2011-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ioannou et al. | Emotion recognition through facial expression analysis based on a neurofuzzy network | |
| KR102433971B1 (en) | Systems and Methods for Facial Expression Recognition and Annotation | |
| Littlewort et al. | Towards social robots: Automatic evaluation of human-robot interaction by facial expression classification | |
| KR101084298B1 (en) | Robust recognition method of facial expression against illumination variation | |
| Xia et al. | Toward kinship verification using visual attributes | |
| He et al. | Facial expression recognition using deep Boltzmann machine from thermal infrared images | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| CN112380924B (en) | Depression tendency detection method based on facial micro expression dynamic recognition | |
| Ma et al. | Landmark‐Based Facial Feature Construction and Action Unit Intensity Prediction | |
| Hussein et al. | Emotional stability detection using convolutional neural networks | |
| Kharat et al. | Neural network classifier for human emotion recognition from facial expressions using discrete cosine transform | |
| Unkule et al. | CNN based Approach for Sign Recognition in the Indian Sign language | |
| Perikos et al. | Facial expression recognition using adaptive neuro-fuzzy inference systems | |
| Hsia et al. | A fast face detection method for illumination variant condition | |
| Sun et al. | Using backpropagation neural network for face recognition with 2D+ 3D hybrid information | |
| Winyangkun et al. | Real-time detection and classification of facial emotions | |
| Sarma et al. | Facial expression based emotion detection-a review | |
| CN115017900A (en) | Multi-mode multi-unbiased conversation emotion recognition method | |
| Tripathi et al. | Facial expression recognition using data mining algorithm | |
| Roy et al. | Facial Recognition Techniques and Their Applicability to Student Concentration Assessment: A Survey | |
| Yang | Facial expression recognition and expression intensity estimation | |
| Chandwani et al. | Gesture based Sign Language Recognition system using Mediapipe | |
| Suraj et al. | Deep Learning Approach For Human Emotion-Gender-Age Recognition | |
| Apte et al. | Efficient facial expression ecognition and classification system based on morphological processing of frontal face images | |
| Bobe et al. | Emotion Recognition System for Human-Robot Interface: Comparison of Two Approaches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20141002 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151201 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20171012 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |