KR102593972B1 - Facial expression registration method for facial expression recognition and facial expression recognition method using the same - Google Patents
Facial expression registration method for facial expression recognition and facial expression recognition method using the same Download PDFInfo
- Publication number
- KR102593972B1 KR102593972B1 KR1020180031888A KR20180031888A KR102593972B1 KR 102593972 B1 KR102593972 B1 KR 102593972B1 KR 1020180031888 A KR1020180031888 A KR 1020180031888A KR 20180031888 A KR20180031888 A KR 20180031888A KR 102593972 B1 KR102593972 B1 KR 102593972B1
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- user
- feature value
- feature values
- facial
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Abstract
얼굴 표정 인식을 위한 얼굴 표정 등록 횟수를 줄일 수 있는 얼굴 표정 등록 방법 및 이를 이용하는 얼굴 표정 인식 방법이 개시된다. 개시된 근전도 신호를 이용하는 얼굴 표정 인식 방법은 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 복수의 특징값을 생성하는 단계; 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 상기 사용자에 대한 특징값의 유사도를 판단하는 단계; 사용자에 대한 특징값 및 상기 판단 결과에 따라서 선택된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식하는 단계를 포함한다.A facial expression registration method that can reduce the number of facial expression registrations for facial expression recognition and a facial expression recognition method using the same are disclosed. The disclosed facial expression recognition method using electromyographic signals includes generating a plurality of feature values for the user from electromyographic signals of the user's face for registered facial expressions; determining the similarity between a set of sample feature values for a plurality of facial expressions stored in a database and the feature values for the user; learning the registered facial expression for a sample feature value selected according to the feature value for the user and the judgment result; And using the learning result, it includes recognizing a facial expression for the target EMG signal.
Description
본 발명은 얼굴 표정 인식을 위한 얼굴 표정 등록 방법 및 이를 이용하는 얼굴 표정 인식 방법에 관한 것으로서, 더욱 상세하게는 얼굴 표정 인식을 위한 얼굴 표정 등록 횟수를 줄일 수 있는 얼굴 표정 등록 방법 및 이를 이용하는 얼굴 표정 인식 방법에 관한 것이다. The present invention relates to a facial expression registration method for facial expression recognition and a facial expression recognition method using the same. More specifically, a facial expression registration method that can reduce the number of facial expression registrations for facial expression recognition and facial expression recognition using the same. It's about method.
현재 얼굴 표정 인식 기술은 크게 두가지 방향으로 연구되고 있다. 하나는 이미지 기반으로 얼굴 표정을 인식하는 것이고, 다른 하나는 얼굴의 근전도(electromyogram) 신호를 기반으로 얼굴 표정을 인식하는 것이다.Currently, facial expression recognition technology is being researched in two major directions. One is to recognize facial expressions based on images, and the other is to recognize facial expressions based on electromyogram signals of the face.
이미지 기반의 얼굴 표정 인식 기술의 경우, 사용자의 시야 전방에 카메라가 위치해야하기 때문에 사용자의 시야가 카메라에 의해 가려질 수 있으며, 사용자가 HMD와 같은 장비를 착용할 경우 얼굴 표정 인식 성능이 떨어질 수 있다. 최근 가상 현실 기술이 발달하면서 다양한 가상 현실 서비스가 제공되고 있으며, 가상 현실 서비스를 제공받는 사용자의 얼굴 표정을 가상 현실 서비스에 융합하려는 시도들이 있는데, 이미지 기반의 얼굴 표정 인식 기술은 이러한 서비스에 적합하지 않다.In the case of image-based facial expression recognition technology, since the camera must be located in front of the user's field of view, the user's field of view may be obscured by the camera, and facial expression recognition performance may deteriorate if the user wears equipment such as an HMD. there is. With the recent development of virtual reality technology, various virtual reality services are being provided, and there are attempts to integrate the facial expressions of users who receive virtual reality services into the virtual reality service, but image-based facial expression recognition technology is not suitable for these services. not.
따라서 최근에는 HMD에 근전도 측정 전극을 부착하여, 근전도 신호 기반으로 사용자의 얼굴 표정을 인식하는 기술이 많이 개발되고 있다. 근전도 신호 기반의 얼굴 표정 인식 기술은, 사전에 등록된 사용자의 얼굴 표정에 대한 근전도 신호와, 입력되는 근전도 신호의 매칭을 통해 얼굴 표정을 인식하는데, 이미지 기반 기술보다 성능이 떨어져, 사용자의 얼굴 표정 등록 횟수가 많아질 수 있다는 문제가 있다. Therefore, recently, many technologies have been developed to recognize the user's facial expressions based on electromyography signals by attaching electromyography measurement electrodes to the HMD. Facial expression recognition technology based on electromyography signals recognizes facial expressions through matching electromyographic signals for the user's facial expressions registered in advance and input electromyographic signals. However, its performance is lower than image-based technology, and the user's facial expression There is a problem that the number of registrations may increase.
관련 선행문헌으로 대한민국 공개특허 제2016-0024725호, 대한민국 등록특허 제10-1633057호가 있다.Related prior documents include Republic of Korea Patent Publication No. 2016-0024725 and Republic of Korea Registered Patent No. 10-1633057.
본 발명은 얼굴 표정 인식을 위한 얼굴 표정 등록 횟수를 줄일 수 있는 얼굴 표정 등록 방법 및 이를 이용하는 얼굴 표정 인식 방법을 제공하기 위한 것이다.The present invention is intended to provide a facial expression registration method that can reduce the number of facial expression registrations for facial expression recognition and a facial expression recognition method using the same.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 복수의 특징값을 생성하는 단계; 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 상기 사용자에 대한 특징값의 유사도를 판단하는 단계; 사용자에 대한 특징값 및 상기 판단 결과에 따라서 선택된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식하는 단계를 포함하는 근전도 신호를 이용하는 얼굴 표정 인식 방법이 제공된다.According to one embodiment of the present invention for achieving the above object, generating a plurality of feature values for the user from electromyography signals of the user's facial area for registered facial expressions; determining the similarity between a set of sample feature values for a plurality of facial expressions stored in a database and the feature values for the user; learning the registered facial expression for a sample feature value selected according to the feature value for the user and the determination result; and recognizing a facial expression for a target EMG signal using the learning result. A facial expression recognition method using an EMG signal is provided.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 복수의 특징값을 생성하는 단계; 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합에서, 상기 사용자에 대한 특징값과 대응되는 샘플 특징값을 선택하는 단계; 상기 사용자에 대한 특징값에 따라서, 상기 샘플 특징값을 변환하는 단계; 사용자에 대한 특징값 및 상기 변환된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식하는 단계를 포함하는 근전도 신호를 이용하는 얼굴 표정 인식 방법이 제공된다.In addition, according to another embodiment of the present invention for achieving the above object, generating a plurality of feature values for the user from the electromyography signal of the user's facial area for the registered facial expression; selecting a sample feature value corresponding to a feature value for the user from a set of sample feature values for a plurality of facial expressions stored in a database; converting the sample feature value according to the feature value for the user; learning the registered facial expression for the user feature value and the converted sample feature value; and recognizing a facial expression for a target EMG signal using the learning result. A facial expression recognition method using an EMG signal is provided.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 특징값을 생성하는 단계; 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 상기 사용자에 대한 특징값의 유사도를 판단하는 단계; 및 사용자에 대한 특징값 및 상기 판단 결과에 따라서 선택된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계를 포함하는 얼굴 표정 인식을 위한 얼굴 표정 등록 방법이 제공된다.In addition, according to another embodiment of the present invention for achieving the above object, generating a feature value for the user from the electromyography signal of the user's facial area for the registered facial expression; determining the similarity between a set of sample feature values for a plurality of facial expressions stored in a database and the feature values for the user; and learning the registered facial expression for a sample feature value selected according to the feature value for the user and the determination result. A facial expression registration method for facial expression recognition is provided.
본 발명에 따르면, 사용자에 대한 특징값뿐만 아니라, 데이터 베이스로부터 획득한 샘플 특징값도 이용하여 학습을 수행하며, 학습에 이용되는 데이터들이 증가하는 만큼, 등록 얼굴 표정에 대한 학습 성능이 향상될 수 있다. According to the present invention, learning is performed using not only user feature values but also sample feature values obtained from a database, and as the data used for learning increases, learning performance for registered facial expressions can be improved. there is.
또한 본 발명에 따르면, 학습 성능이 향상됨에 따라서, 표정 등록을 위해 사용자의 근전도 신호를 측정해야하는 횟수도 감소할 수 있다.Additionally, according to the present invention, as learning performance improves, the number of times the user's electromyography signal must be measured to register facial expressions can also be reduced.
도 1은 본 발명의 일실시예에 따른 근전도 신호를 이용하는 얼굴 표정 인식 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 표정 등록부를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른, 근전도 신호를 이용하는 얼굴 표정 인식 방법을 설명하기 위한 도면이다.
도 4는 근전도 신호에 대한 채널별 특징값의 일예를 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 근전도 신호를 이용하는 얼굴 표정 인식 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 샘플 특징값의 변환 방법을 설명하기 위한 도면이다.1 is a diagram illustrating a facial expression recognition device using electromyography signals according to an embodiment of the present invention.
Figure 2 is a diagram for explaining a facial expression registration unit according to an embodiment of the present invention.
Figure 3 is a diagram for explaining a facial expression recognition method using electromyography signals according to an embodiment of the present invention.
Figure 4 is a diagram for explaining an example of characteristic values for each channel for an electromyogram signal.
Figure 5 is a diagram for explaining a facial expression recognition method using electromyography signals according to another embodiment of the present invention.
Figure 6 is a diagram for explaining a method for converting sample feature values according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.
본 발명은 근전도 신호를 이용하는 얼굴 표정 인식 방법에 관한 것으로서, 미리 등록된 다양한 얼굴 표정에 대한 근전도 신호와, 입력된 타겟 근전도 신호를 매칭하여 타겟 근전도 신호에 대한 얼굴 표정을 인식한다.The present invention relates to a facial expression recognition method using electromyography signals, which recognizes facial expressions for target electromyography signals by matching electromyogram signals for various pre-registered facial expressions with input target electromyogram signals.
이 때, 본 발명은 얼굴 표정 등록에 소요되는 횟수를 줄이기 위해, 불특정 다수의 다양한 얼굴 표정에 대한 근전도 신호의 특징값이 저장된 데이터 베이스를 이용한다. 본 발명은, 등록된 얼굴 표정에 대한 사용자의 근전도 신호의 특징값뿐만 아니라, 데이터 베이스에 저장된 사용자의 특징값에 대응되는 샘플 특징값을 함께 이용하여 등록 얼굴 표정에 대한 학습을 수행한다. 본 발명에 따르면, 근전도 신호 기반의 얼굴 표정 인식 성능이 향상될 수 있으며, 얼굴 표정 인식 성능이 향상됨에 따라서, 얼굴 표정 등록에 소요되는 횟수가 줄어들 수 있다.At this time, in order to reduce the number of times required to register facial expressions, the present invention uses a database storing feature values of electromyography signals for an unspecified number of various facial expressions. The present invention performs learning on registered facial expressions by using not only the characteristic values of the user's electromyography signal for the registered facial expressions, but also sample characteristic values corresponding to the user's characteristic values stored in a database. According to the present invention, facial expression recognition performance based on electromyography signals can be improved, and as facial expression recognition performance is improved, the number of times required to register facial expressions can be reduced.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일실시예에 따른 근전도 신호를 이용하는 얼굴 표정 인식 장치를 설명하기 위한 도면이며, 도 2는 본 발명의 일실시예에 따른 표정 등록부를 설명하기 위한 도면이다.FIG. 1 is a diagram for explaining a facial expression recognition device using electromyography signals according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining an expression registration unit according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 얼굴 표정 인식 장치는 표정 등록부(110), 데이터 베이스(120) 및 표정 인식부(130)를 포함한다. Referring to FIG. 1, the facial expression recognition device according to an embodiment of the present invention includes an expression registration unit 110, a database 120, and an expression recognition unit 130.
표정 등록부(110)는 사용자의 얼굴 표정을 등록한다. 이 때, 사용자의 안면부의 근전도 신호에 대한 특징값을 추출하여 등록하고자 하는 등록 얼굴 표정에 대응시켜 등록한다. 이 때, 표정 등록부(110)는 복수의 얼굴 표정에 대한 샘플 특징값을 저장하고 있는 데이터 베이스(120)에서 사용자에 대한 특징값에 대응되는 샘플 특징값을 선택하고, 선택된 특징값 및 사용자에 대한 특징값에 대한 등록 얼굴 표정을 학습한다.The facial expression registering unit 110 registers the user's facial expression. At this time, feature values for the electromyography signal of the user's face are extracted and registered in correspondence with the registered facial expression to be registered. At this time, the expression registration unit 110 selects a sample feature value corresponding to the feature value for the user from the database 120 that stores sample feature values for a plurality of facial expressions, and Learn registered facial expressions for feature values.
표정 인식부(130)는 학습 결과를 이용하여 타겟 근전도 신호에 대한 얼굴 표정을 인식한다.The expression recognition unit 130 uses the learning result to recognize facial expressions for the target electromyography signal.
예컨대 등록 얼굴 표정이 웃는 표정이라고 할 때, 웃는 표정을 짓고 있는 사용자에 대한 근전도 신호가 표정 등록부(110)로 입력된다. 표정 등록부(110)는 입력된 근전도 신호로부터 특징값을 추출하고, 추출된 특징값과 유사한 샘플 특징값을 데이터 베이스(120)에서 선택한다. 그리고 기계 학습 알고리즘을 이용하여 추출된 특징값 및 샘플 특징값에 대한 웃는 표정을 학습한다. 일실시예로서, 표정 등록부(110)는 LDA(Linear Discriminant Analysis) 기계 학습 알고리즘을 이용할 수 있다.For example, when the registered facial expression is a smiling expression, the electromyography signal for the user making a smiling expression is input to the facial expression registration unit 110. The facial expression registration unit 110 extracts feature values from the input EMG signal and selects sample feature values similar to the extracted feature values from the database 120. Then, using a machine learning algorithm, smiley expressions are learned for the extracted feature values and sample feature values. As an example, the facial expression registration unit 110 may use a Linear Discriminant Analysis (LDA) machine learning algorithm.
웃는 표정 등록 이후, 사용자의 웃는 표정에 대한 타겟 근전도 신호가 표정 인식부(130)로 입력되면, 표정 인식부(130)는 타겟 근전도 신호에 대한 특징값을 추출한다. 학습이 특징값 기반으로 이루어졌기 때문에, 표정 인식부(130) 역시 표정 인식을 위해 특징값을 추출한다. 표정 인식부(130)에서 추출된 특징값이 학습에 이용된 특징값들과 유사하다면, 최종적으로 표정 인식부(130)는 타겟 근전도 신호를 웃는 표정으로 인식할 수 있다.After registering a smiling expression, when the target EMG signal for the user's smiling expression is input to the expression recognition unit 130, the expression recognition unit 130 extracts feature values for the target EMG signal. Since learning is based on feature values, the facial expression recognition unit 130 also extracts feature values for facial expression recognition. If the feature values extracted by the expression recognition unit 130 are similar to the feature values used for learning, the expression recognition unit 130 can finally recognize the target EMG signal as a smiling expression.
도 2를 참조하면, 표정 등록부(110)는 특징값 생성부(210) 및 유사도 판단부(220)를 포함하며, 실시예에 따라서 특징값 변환부(230)를 더 포함할 수 있다.Referring to FIG. 2 , the facial expression registration unit 110 includes a feature value generation unit 210 and a similarity determination unit 220, and may further include a feature value conversion unit 230 depending on the embodiment.
특징값 생성부(210)는 등록 얼굴 표정에 대한 사용자 안면부 즉, 얼굴의 근전도 신호로부터, 사용자에 대한 복수의 특징값을 생성한다. 이 때, 특징값 생성부(210)는 근전도 신호에 대해 20~450Hz의 대역통과필터를 이용해 전처리를 수행할 수 있다.The feature value generator 210 generates a plurality of feature values for the user from the electromyography signal of the user's face, that is, the face, for the registered facial expression. At this time, the feature value generator 210 may perform preprocessing on the EMG signal using a band-pass filter of 20 to 450 Hz.
사용자 안면부에는 근전도 측정을 위한 적어도 하나의 근전도 측정 전극이 부착될 수 있다. 일실시예로서, 근전도 측정 전극은 HMD에 포함된 형태로 사용자의 안면부에 부착될 수 있으며, 눈과 코 주위에 부착될 수 있다. 특징값 생성부(210)는 근전도 측정 전극으로부터 입력된 사용자의 근전도 신호에 대한 특징값을 생성한다.At least one electromyography measurement electrode may be attached to the user's face for measuring electromyography. As an example, electromyography measurement electrodes may be attached to the user's face in the form of an HMD and may be attached around the eyes and nose. The feature value generator 210 generates feature values for the user's EMG signal input from the EMG measurement electrode.
특징값으로서 얼굴 표정의 특징을 잘 나타낼 수 있는 다양한 파라미터가 이용될 수 있으며, 일실시예로서 특징값은 근전도 신호에 대한 샘플 엔트로피(sample entropy), RMS(Root Mean Square), 웨이브랭스(wave length), 캡스트럴 계수(cepstral coefficient)일 수 있다. 특징값 생성부(110)는 근전도 신호에서 적어도 하나 또는 둘 이상의 특징값을 생성할 수 있다. 데이터 베이스(120)는 불특정 다수의 복수의 얼굴 표정에 대한 근전도 신호의 샘플 특징값을 저장하며, 특징값 생성부(210)에서 생성되는 특징값과 데이터 베이스(120)에 저장된 샘플 특징값, 그리고 표정 인식부(130)에서 생성되는 특징값의 종류는 대응될 수 있다.Various parameters that can well represent the characteristics of facial expressions can be used as feature values. In one embodiment, the feature values include sample entropy, RMS (Root Mean Square), and wave length for the electromyography signal. ), may be a capstral coefficient. The feature value generator 110 may generate at least one or two feature values from the electromyography signal. The database 120 stores sample feature values of electromyography signals for an unspecified number of facial expressions, including feature values generated by the feature value generator 210 and sample feature values stored in the database 120, and The types of feature values generated by the facial expression recognition unit 130 may correspond.
유사도 판단부(220)는 데이터 베이스(120)에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 사용자에 대한 특징값의 유사도를 판단한다. 일실시예로서, 사용자에 대한 특징값과 가장 유사도가 높은 샘플 특징값이, 샘플 특징값 집합에서 선택될 수 있으며, 도면에 도시되지는 않았지만 학습 엔진은 사용자에 대한 특징값 및 유사도 판단 결과에 따라서 선택된 샘플 특징값에 대한 등록 얼굴 표정을 학습한다. The similarity determination unit 220 determines the similarity between a set of sample feature values for a plurality of facial expressions stored in the database 120 and the feature values for the user. In one embodiment, a sample feature value with the highest similarity to the feature value for the user may be selected from a set of sample feature values, and although not shown in the drawing, the learning engine may be used according to the feature value for the user and the similarity judgment result. Learn registered facial expressions for selected sample feature values.
특징값 변환부(230)는 학습 성능을 높이기 위해, 선택된 샘플 특징값을 사용자에 대한 특징값에 따라서 변환할 수 있다. 선택된 샘플 특징값은 사용자에 대한 특징값과 유사도가 높은 특징값인데, 사용자에 대한 특징값과 더욱 유사도를 높이기 위해 변환될 수 있다. 그리고 학습 엔진은 사용자에 대한 특징값 및 변한된 샘플 특징값에 대한 등록 얼굴 표정을 학습할 수 있다.The feature value conversion unit 230 may convert the selected sample feature value according to the feature value for the user in order to improve learning performance. The selected sample feature value is a feature value with high similarity to the feature value for the user, and can be converted to further increase the similarity to the feature value for the user. And the learning engine can learn the registered facial expression for the user's feature value and the changed sample feature value.
도 3은 본 발명의 일실시예에 따른, 근전도 신호를 이용하는 얼굴 표정 인식 방법을 설명하기 위한 도면이며, 도 4는 근전도 신호에 대한 채널별 특징값의 일예를 설명하기 위한 도면이다.Figure 3 is a diagram for explaining a facial expression recognition method using electromyography signals according to an embodiment of the present invention, and Figure 4 is a diagram for explaining an example of feature values for each channel for electromyography signals.
본 발명에 따른 얼굴 표정 인식 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 도 3에서는 컴퓨팅 장치의 하나인 얼굴 표정 인식 장치에서 수행되는 얼굴 표정 인식 방법이 일실시예로서 설명된다.The facial expression recognition method according to the present invention can be performed on a computing device including a processor, and in FIG. 3, the facial expression recognition method performed on a facial expression recognition device, which is one of the computing devices, is explained as an example.
본 발명에 따른 얼굴 표정 인식 장치는 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 사용자에 대한 복수의 특징값을 생성(S310)하고, 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 사용자에 대한 특징값의 유사도를 판단(S320)한다. 전술된 바와 같이, 샘플 특징값은 측정 대상에만 차이가 있을 뿐이며, 본 발명에서의 특징값 생성 방법과 동일하게 생성되는 특징값이다. The facial expression recognition device according to the present invention generates a plurality of feature values for the user from the electromyography signal of the user's facial area for the registered facial expression (S310), and a set of sample feature values for the plurality of facial expressions stored in the database and the user Determine the similarity of feature values for (S320). As described above, the sample feature value differs only in the measurement target and is a feature value generated in the same manner as the feature value generation method in the present invention.
이 때, 근전도 신호는 복수의 채널, 즉 복수의 근전도 측정 전극으로부터 획득된 신호일 수 있으며, 얼굴 표정 인식 장치는 채널 각각에 대해 특징값을 생성한다. 예컨대 6개 채널이 이용된 경우, 6개 채널별로 근전도 신호가 획득되므로, 6개 채널 각각에 대한 특징값이 생성된다. 도 4는 6개 채널에 대한 근전도 신호로부터 생성된 RMS의 일예를 도시하는 도면이다. 도 4에서 y축은 RMS값, x축은 채널 인덱스를 나타낸다. At this time, the EMG signal may be a signal obtained from a plurality of channels, that is, a plurality of EMG measurement electrodes, and the facial expression recognition device generates feature values for each channel. For example, when 6 channels are used, electromyography signals are obtained for each of the 6 channels, so feature values for each of the 6 channels are generated. Figure 4 is a diagram showing an example of RMS generated from electromyography signals for six channels. In Figure 4, the y-axis represents the RMS value and the x-axis represents the channel index.
그리고 얼굴 표정 인식 장치는 복수의 채널에 대한 근전도 신호의 특징값의 패턴을 이용하여 유사도를 판단하며, 일실시예로서 서로 다른 시계열 데이터의 매칭 포인트를 결정하고 결정된 매칭 포인트 사이의 거리를 통해 패턴을 인식하는 DTW(Dynamic Time Warping) 알고리즘을 이용하여 유사도를 판단할 수 있다. 얼굴 표정 인식 장치는 DTW 알고리즘 기반으로 유사도를 판단하기 위해, 채널별 특징값을 연결하는 그래프를 생성할 수 있다. 다시 말해, 도 4에서 RMS 값들이 연결되는 그래프가 생성될 수 있다.In addition, the facial expression recognition device determines similarity using the pattern of feature values of electromyography signals for a plurality of channels. As an example, it determines matching points of different time series data and determines the pattern through the distance between the determined matching points. Similarity can be determined using the DTW (Dynamic Time Warping) algorithm. The facial expression recognition device can create a graph connecting feature values for each channel to determine similarity based on the DTW algorithm. In other words, a graph in which RMS values are connected in FIG. 4 can be created.
얼굴 표정 인식 장치는 사용자에 대한 특징값 및 판단 결과에 따라서 선택된 샘플 특징값에 대한 등록 얼굴 표정을 학습(S330)한다. 얼굴 표정 인식 장치는 일실시예로서, 샘플 특징값 집합에서, 사용자에 대한 특징값과 가장 유사도가 높은 샘플 특징값을 선택할 수 있다. 가장 유사도가 높은 샘플 특징값은 DTW 알고리즘에 따른 거리가 가장 짧은 샘플 특징값에 대응된다.The facial expression recognition device learns registered facial expressions for sample feature values selected according to the feature values and judgment results for the user (S330). As an example, a facial expression recognition device may select a sample feature value with the highest similarity to a feature value for a user from a set of sample feature values. The sample feature value with the highest similarity corresponds to the sample feature value with the shortest distance according to the DTW algorithm.
예를 들어, 4개의 특징값이 사용되는 경우, 얼굴 표정 인식 장치는 사용자에 대한 4개의 특징값 각각에 대해서 가장 유사도가 높은 샘플 특징값을 선택한다. 복수의 특징값이 이용되는 경우, 얼굴 표정 인식 장치는 특징값 각각에 대해 산출된 DTW 거리를 합하여 그 합이 가장 작은 샘플 특징값을 가장 유사도가 높은 샘플 특징값으로 선택할 수 있다.For example, when four feature values are used, the facial expression recognition device selects the sample feature value with the highest similarity for each of the four feature values for the user. When multiple feature values are used, the facial expression recognition device may add the DTW distances calculated for each feature value and select the sample feature value with the smallest sum as the sample feature value with the highest similarity.
또한 일실시예로서, 얼굴 표정 인식 장치는 미리 설정된 시간동안 측정된 근전도 신호에 대해 미리 설정된 크기의 윈도우별로 특징값을 생성할 수 있다. 예컨대 3.05초동안 근전도 신호가 측정되고 윈도우의 크기가 0.1초이며, 윈도우가 0.05초 단위로 이동하며 특징값이 추출되고, 4개의 특징값이 사용된다면, 한 채널의 근전도 신호로부터 총 60*4개의 특징값이 추출될 수 있으며, 60개의 윈도우별로 서로 다른 4개의 특징값 각각에 대해서 가장 유사도가 높은 샘플 특징값이 선택될 수 있다.Additionally, as an example, the facial expression recognition device may generate feature values for each window of a preset size for electromyography signals measured during a preset time. For example, if the EMG signal is measured for 3.05 seconds, the size of the window is 0.1 seconds, the window moves in 0.05 second increments and feature values are extracted, and 4 feature values are used, a total of 60 * 4 features can be obtained from the EMG signal of one channel. Feature values can be extracted, and the sample feature value with the highest similarity can be selected for each of the four different feature values for each of the 60 windows.
한편, 얼굴 표정 인식 장치는 단계 S530에서, 사용자에 대한 특징값에 따라서, 샘플 특징값을 변환하고, 사용자에 대한 특징값 및 변환된 특징값에 대한 등록 얼굴 표정 표정을 학습할 수 있다. 샘플 특징값의 변환 방법은 도 5에서 보다 자세히 설명된다.Meanwhile, in step S530, the facial expression recognition device may convert sample feature values according to feature values for the user and learn registered facial expressions for the feature values for the user and the converted feature values. The method for converting sample feature values is explained in more detail in FIG. 5.
얼굴 표정 인식 장치는 단계 S330의 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식(S340)한다.The facial expression recognition device uses the learning result of step S330 to recognize the facial expression for the target EMG signal (S340).
결국, 본 발명에 따르면, 사용자에 대한 특징값뿐만 아니라, 데이터 베이스로부터 획득한 샘플 특징값도 이용하여 학습을 수행하며, 학습에 이용되는 데이터들이 증가하는 만큼 등록 얼굴 표정에 대한 학습 성능이 향상될 수 있다. 그리고 학습 성능이 향상됨에 따라서, 표정 등록을 위해 사용자의 근전도 신호를 측정해야하는 횟수도 감소할 수 있다.Ultimately, according to the present invention, learning is performed using not only the user's feature values but also sample feature values obtained from the database, and as the data used for learning increases, the learning performance for registered facial expressions will improve. You can. And as learning performance improves, the number of times the user's electromyography signal must be measured to register facial expressions may also decrease.
도 5는 본 발명의 다른 실시예에 따른 근전도 신호를 이용하는 얼굴 표정 인식 방법을 설명하기 위한 도면이며, 도 6은 본 발명의 일실시예에 따른 샘플 특징값의 변환 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a facial expression recognition method using electromyography signals according to another embodiment of the present invention, and FIG. 6 is a diagram for explaining a method for converting sample feature values according to an embodiment of the present invention.
본 발명에 따른 얼굴 표정 인식 장치는 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 복수의 특징값을 생성(S510)하고, 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합에서, 사용자에 대한 특징값과 대응되는 샘플 특징값을 선택(S520)한다. 이 때 전술된 바와 같이 유사도에 따라서 샘플 특징값이 선택될 수 있다.The facial expression recognition device according to the present invention generates a plurality of feature values for the user from the electromyography signal of the user's facial part for the registered facial expression (S510), and sets sample feature values for the plurality of facial expressions stored in the database. In S520, a sample feature value corresponding to the feature value for the user is selected. At this time, as described above, sample feature values may be selected according to similarity.
그리고 얼굴 표정 인식 장치는 사용자에 대한 특징값에 따라서, 샘플 특징값을 변환(S530)하며, 사용자에 대한 특징값 및 변환된 샘플 특징값에 대한 등록 얼굴 표정을 학습(S540)한다. 그리고 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식(S550)한다.Then, the facial expression recognition device converts the sample feature value according to the feature value for the user (S530) and learns the registered facial expression for the user feature value and the converted sample feature value (S540). Then, using the learning results, the facial expression for the target EMG signal is recognized (S550).
단계 S530에서, 얼굴 표정 인식 장치는 사용자에 대한 채널별 특징값을 연결하는 제1그래프를 생성하고, 채널별 샘플 특징값을 연결하는 제2그래프를 생성한다. 전술된 바와 같이, 채널별 특징값은 이산적으로 분포되는데, 이산적으로 분포되는 특징값을 연결하여 도 6(a)와 같이 제1 및 제2그래프(610, 620)를 생성한다. 도 6(a)에서 꺽인점은 각각 특징값(611 내지 616, 621 내지 626)에 대응된다. 이 때, 얼굴 표정 인식 장치는 채널 인덱스 사이의 간격을 확장하여 그래프를 생성할 수 있으며, 도 6은 채널 인덱스 사이의 간격이 확장된 그래프를 나타내고 있다. 도 4에서 채널 인덱스가 1간격인 반면, 도 6에서는 채널 인덱스가 10간격임을 알 수 있다. 채널 인덱스 사이의 간격 확장 크기는 실시예에 따라서 달라질 수 있다.In step S530, the facial expression recognition device generates a first graph connecting feature values for each channel for the user and a second graph connecting sample feature values for each channel. As described above, the feature values for each channel are distributed discretely, and the first and second graphs 610 and 620 are generated by connecting the discretely distributed feature values as shown in FIG. 6(a). In Figure 6(a), the bent points correspond to feature values 611 to 616 and 621 to 626, respectively. At this time, the facial expression recognition device can generate a graph by expanding the spacing between channel indices, and Figure 6 shows a graph with the spacing between channel indices expanded. In FIG. 4, the channel index is at intervals of 1, while in FIG. 6, the channel index is at intervals of 10. The size of the gap extension between channel indices may vary depending on the embodiment.
이후, 얼굴 표정 인식 장치는 DTW 알고리즘을 이용하여 제1그래프(610)와 제2그래프(620) 사이의 패턴 인식을 수행하며, 패턴 인식에 따라서 제1 및 제2그래프 (610, 620)사이에 매칭 포인트가 생성된다. 도 6(a)에서 제1 및 제2그래프(610, 620) 사이의 검은색 실선은 매칭 포인트를 연결하는 직선이다.Afterwards, the facial expression recognition device performs pattern recognition between the first graph 610 and the second graph 620 using the DTW algorithm, and recognizes the pattern between the first and second graphs 610 and 620 according to the pattern recognition. A matching point is created. In Figure 6(a), the black solid line between the first and second graphs 610 and 620 is a straight line connecting matching points.
단계 S520에서, 사용자에 대한 특징값과 유사한 샘플 특징값이 선택되므로, 제1그래프(610)에서의 특징값과 제2그래프(620)에서의 특징값의 대부분이 서로 매칭 포인트 쌍이 되지만, 제1그래프(610)와 제2그래프(620)의 패턴이 정확하게 일치하는 것은 아니므로 제1 및 제2그래프(610, 620)의 특징값 사이에서 매칭 포인트 쌍이 발생하지 않을 수 있다.In step S520, a sample feature value similar to the feature value for the user is selected, so most of the feature values in the first graph 610 and the feature values in the second graph 620 become matching point pairs, but the first Since the patterns of the graph 610 and the second graph 620 do not exactly match, matching point pairs may not occur between the feature values of the first and second graphs 610 and 620.
도 6(a)에서 제1그래프(610)의 제1, 제5 및 제6특징값(611, 615, 616)과 제2그래프(620)의 제1 및 제5 및 제6특징값(621, 625, 626)은 검은색 실선에 의해 연결되는 매칭 포인트 쌍이지만, 나머지 특징값들(612, 613, 614, 622, 623, 624) 사이에서는 매칭 포인트 쌍이 형성되지 않는다. 얼굴 표정 인식 장치는 매칭 포인트 쌍을 형성하지 않는 나머지 특징값들에 대해서, 제1그래프(610), 즉 사용자에 대한 채널별 특징값의 매칭 포인트를 제2그래프(620)에서 결정한다. 그리고 샘플 특징값을, 제2그래프(620)에서의 매칭 포인트에 대응되는 특징값으로 변환한다.In FIG. 6(a), the first, fifth, and sixth feature values 611, 615, and 616 of the first graph 610 and the first, fifth, and sixth feature values 621 of the second graph 620. , 625, 626) are matching point pairs connected by black solid lines, but no matching point pairs are formed between the remaining feature values (612, 613, 614, 622, 623, 624). For the remaining feature values that do not form a matching point pair, the facial expression recognition device determines the matching point of the feature value for each channel for the first graph 610, that is, the second graph 620, for the user. Then, the sample feature value is converted into a feature value corresponding to a matching point in the second graph 620.
얼굴 표정 인식 장치는 도 6(a)에서 제1그래프(610)의 제3 및 제4특징값(613, 614)의 제2그래프(620)에서의 매칭 포인트(633, 634)를 결정하고, 기존의 제2그래프(620)에서의 제3 및 제4특징값(623, 624)를 매칭 포인트(633, 634)에 대응되는 특징값으로 변환한다. 즉, 변환된 샘플 특징값에서의 제3 및 제4특징값은 매칭 포인트(633, 634)에 대응되는 특징값이 된다.In FIG. 6(a), the facial expression recognition device determines matching points 633 and 634 in the second graph 620 of the third and fourth feature values 613 and 614 of the first graph 610, The third and fourth feature values 623 and 624 in the existing second graph 620 are converted into feature values corresponding to the matching points 633 and 634. That is, the third and fourth feature values in the converted sample feature values become feature values corresponding to the matching points 633 and 634.
한편, 제1그래프(610)에서의 제2특징값(612)의 경우에는 매칭 포인트 쌍을 형성하지 않으며, 이러한 경우 얼굴 표정 인식 장치는 제2특징값(612)에 이웃한 매칭 포인트(642, 652)를 이용하여 샘플 특징값에서의 새로운 제2특징값을 결정한다. 얼굴 표정 인식 장치는 이웃한 매칭 포인트(642, 652)에 대한 매칭 포인트 쌍간의 거리(672, 682) 중에서, 상대적으로 짧은 거리를 나타내는 매칭 포인트(642)와 쌍을 이루는 매칭 포인트(662)에 대응되는 특징값을 제2특징값으로 결정한다.Meanwhile, in the case of the second feature value 612 in the first graph 610, a matching point pair is not formed, and in this case, the facial expression recognition device may include a matching point 642 adjacent to the second feature value 612, 652) is used to determine a new second feature value from the sample feature value. The facial expression recognition device corresponds to a matching point 662 that is paired with a matching point 642 indicating a relatively short distance among the distances 672 and 682 between pairs of matching points to neighboring matching points 642 and 652. The characteristic value is determined as the second characteristic value.
결국, 기존의 샘플 특징값의 제1 내지 제6특징값(621 내지 626)에서, 제2 내지 제4특징값(622 내지 624)은 매칭 포인트(662, 633, 634)로 변환되며, 변환된 샘플 특징값과 사용자에 대한 샘플 특징값의 유사도는 더욱 높아질 수 있다. 따라서 본 발명에 따르면, 보다 유사한 특징값을 이용하여 학습이 이루어지므로 학습 성능은 더욱 높아질 수 있다. Ultimately, in the first to sixth feature values 621 to 626 of the existing sample feature values, the second to fourth feature values 622 to 624 are converted into matching points 662, 633, and 634, and the converted The similarity between the sample feature value and the sample feature value for the user may be further increased. Therefore, according to the present invention, learning is performed using more similar feature values, so learning performance can be further improved.
한편, 전술된 본 발명에 따른 얼굴 표정 인식 방법은 얼굴 표정 인식을 위한 얼굴 표정 등록 방법을 통해 이루어지며, 얼굴 표정 등록 방법은 도 3에서 단계 S310 내지 단계 S330에 대응되며, 도 5에서는 단계 S510 내지 단계 S540에 대응된다.Meanwhile, the facial expression recognition method according to the present invention described above is achieved through a facial expression registration method for facial expression recognition, and the facial expression registration method corresponds to steps S310 to S330 in FIG. 3, and steps S510 to S510 in FIG. 5. Corresponds to step S540.
즉, 본 발명의 일실시예에 따른 얼굴 표정 인식을 위한 얼굴 표정 등록 방법은 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 복수의 특징값을 생성하는 단계, 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 상기 사용자에 대한 특징값의 유사도를 판단하는 단계, 사용자에 대한 특징값 및 상기 판단 결과에 따라서 선택된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계를 포함할 수 있다.That is, the facial expression registration method for facial expression recognition according to an embodiment of the present invention includes generating a plurality of feature values for the user from electromyography signals of the user's face for the registered facial expression, a plurality of feature values stored in a database, It may include the step of determining the similarity between a set of sample feature values for facial expressions and the feature value for the user, and learning the registered facial expression for the sample feature value selected according to the feature value for the user and the determination result. You can.
또한 본 발명의 다른 실시예에 따른 얼굴 표정 인식을 위한 얼굴 표정 등록 방법은 등록 얼굴 표정에 대한 사용자 안면부의 근전도 신호로부터, 상기 사용자에 대한 복수의 특징값을 생성하는 단계, 데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합에서, 상기 사용자에 대한 특징값과 대응되는 샘플 특징값을 선택하는 단계, 상기 사용자에 대한 특징값에 따라서, 상기 샘플 특징값을 변환하는 단계 및 사용자에 대한 특징값 및 상기 변환된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계를 포함할 수 있다.In addition, a facial expression registration method for facial expression recognition according to another embodiment of the present invention includes generating a plurality of feature values for the user from electromyography signals of the user's face for the registered facial expression, and a plurality of feature values stored in a database. Selecting a sample feature value corresponding to a feature value for the user from a set of sample feature values for facial expressions, converting the sample feature value according to the feature value for the user, and the feature value for the user and learning the registered facial expression for the converted sample feature value.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with specific details such as specific components and limited embodiments and drawings, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those skilled in the art can make various modifications and variations from this description. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all modifications that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .
Claims (11)
데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 상기 사용자에 대한 특징값의 유사도를 판단하는 단계;
사용자에 대한 특징값 및 상기 판단 결과에 따라서 선택된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계; 및
상기 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식하는 단계를 포함하며,
상기 등록 얼굴 표정을 학습하는 단계는
상기 사용자에 대한 특징값에 따라서, 상기 샘플 특징값을 변환하는 단계; 및
상기 사용자에 대한 특징값 및 상기 변환된 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계
를 포함하는 근전도 신호를 이용하는 얼굴 표정 인식 방법.
Generating a plurality of feature values for the user from electromyography signals of the user's facial area for registered facial expressions;
determining the similarity between a set of sample feature values for a plurality of facial expressions stored in a database and the feature values for the user;
learning the registered facial expression for a sample feature value selected according to the feature value for the user and the judgment result; and
Using the learning results, it includes recognizing facial expressions for target electromyography signals,
The step of learning the registered facial expression is
converting the sample feature value according to the feature value for the user; and
Learning the registered facial expression for the feature value for the user and the converted feature value.
A facial expression recognition method using electromyography signals including.
상기 근전도 신호는
복수의 채널로부터 획득된 근전도 신호이며,
상기 유사도를 판단하는 단계는
상기 복수의 채널에 대한 근전도 신호의 특징값의 패턴을 이용하여 상기 유사도를 판단하는
근전도 신호를 이용하는 얼굴 표정 인식 방법.
According to clause 1,
The electromyography signal is
It is an electromyography signal obtained from multiple channels,
The step of determining the similarity is
Determining the similarity using the pattern of characteristic values of the electromyography signal for the plurality of channels
Facial expression recognition method using electromyography signals.
상기 샘플 특징값을 변환하는 단계는
상기 사용자에 대한 채널별 특징값을 연결하는 제1그래프를 생성하는 단계;
채널별 샘플 특징값을 연결하는 제2그래프를 생성하는 단계;
상기 사용자에 대한 채널별 특징값의 매칭 포인트를 제2그래프에서 결정하는 단계; 및
상기 샘플 특징값을, 상기 제2그래프에서의 상기 매칭 포인트에 대응되는 특징값으로 변환하는 단계
를 포함하는 근전도 신호를 이용하는 얼굴 표정 인식 방법.
According to clause 3,
The step of converting the sample feature value is
generating a first graph connecting feature values for each channel for the user;
Generating a second graph connecting sample feature values for each channel;
determining a matching point of feature values for each channel for the user in a second graph; and
Converting the sample feature value into a feature value corresponding to the matching point in the second graph.
A facial expression recognition method using electromyography signals including.
상기 등록 얼굴 표정을 학습하는 단계는
상기 샘플 특징값 집합에서, 상기 사용자에 대한 특징값과 가장 유사도가 높은 샘플 특징값을 선택하는 단계
를 포함하는 근전도 신호를 이용하는 얼굴 표정 인식 방법.
According to clause 1,
The step of learning the registered facial expression is
Selecting a sample feature value with the highest similarity to the feature value for the user from the sample feature value set.
A facial expression recognition method using electromyography signals including.
상기 사용자에 대한 특징값 및 상기 샘플 특징값은
샘플 엔트로피(sample entropy), RMS, 웨이브랭스(wavelength), 캡스트럴 계수(cepstral coefficient) 중 둘 이상을 포함하는
근전도 신호를 이용하는 얼굴 표정 인식 방법.
According to clause 1,
The feature values for the user and the sample feature values are
Containing two or more of sample entropy, RMS, wavelength, and cepstral coefficient
Facial expression recognition method using electromyography signals.
데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합에서, 상기 사용자에 대한 특징값과 대응되는 샘플 특징값을 선택하는 단계;
상기 사용자에 대한 특징값에 따라서, 상기 샘플 특징값을 변환하는 단계;
사용자에 대한 특징값 및 상기 변환된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계; 및
상기 학습 결과를 이용하여, 타겟 근전도 신호에 대한 얼굴 표정을 인식하는 단계
를 포함하는 근전도 신호를 이용하는 얼굴 표정 인식 방법.
Generating a plurality of feature values for the user from electromyography signals of the user's facial area for registered facial expressions;
selecting a sample feature value corresponding to a feature value for the user from a set of sample feature values for a plurality of facial expressions stored in a database;
converting the sample feature value according to the feature value for the user;
learning the registered facial expression for the user feature value and the converted sample feature value; and
Using the learning results, recognizing facial expressions for target electromyography signals
A facial expression recognition method using electromyography signals including.
데이터 베이스에 저장된 복수의 얼굴 표정에 대한 샘플 특징값 집합과 상기 사용자에 대한 특징값의 유사도를 판단하는 단계; 및
사용자에 대한 특징값 및 상기 판단 결과에 따라서 선택된 샘플 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계를 포함하며,
상기 등록 얼굴 표정을 학습하는 단계는
상기 사용자에 대한 특징값에 따라서, 상기 샘플 특징값을 변환하는 단계; 및
상기 사용자에 대한 특징값 및 상기 변환된 특징값에 대한 상기 등록 얼굴 표정을 학습하는 단계
를 포함하는 얼굴 표정 인식을 위한 얼굴 표정 등록 방법.
Generating feature values for the user from electromyography signals of the user's facial area for registered facial expressions;
determining the similarity between a set of sample feature values for a plurality of facial expressions stored in a database and the feature values for the user; and
A step of learning the registered facial expression for a sample feature value selected according to the feature value for the user and the judgment result,
The step of learning the registered facial expression is
converting the sample feature value according to the feature value for the user; and
Learning the registered facial expression for the feature value for the user and the converted feature value.
A facial expression registration method for facial expression recognition including.
상기 근전도 신호는
복수의 채널로부터 획득된 근전도 신호이며,
상기 유사도를 판단하는 단계는
상기 복수의 채널에 대한 근전도 신호의 특징값의 패턴을 이용하여 상기 유사도를 판단하는
얼굴 표정 인식을 위한 얼굴 표정 등록 방법.
According to clause 8,
The electromyography signal is
It is an electromyography signal obtained from multiple channels,
The step of determining the similarity is
Determining the similarity using the pattern of characteristic values of the electromyography signal for the plurality of channels
Facial expression registration method for facial expression recognition.
상기 샘플 특징값을 변환하는 단계는
상기 사용자에 대한 채널별 특징값을 연결하는 제1그래프를 생성하는 단계;
채널별 샘플 특징값을 연결하는 제2그래프를 생성하는 단계;
상기 사용자에 대한 채널별 특징값의 매칭 포인트를 제2그래프에서 결정하는 단계; 및
상기 샘플 특징값을, 상기 제2그래프에서의 상기 매칭 포인트의 위치로 변환하는 단계
를 포함하는 얼굴 표정 인식을 위한 얼굴 표정 등록 방법.
According to clause 10,
The step of converting the sample feature value is
generating a first graph connecting feature values for each channel for the user;
Generating a second graph connecting sample feature values for each channel;
determining a matching point of feature values for each channel for the user in a second graph; and
Converting the sample feature value to the location of the matching point in the second graph.
A facial expression registration method for facial expression recognition including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180031888A KR102593972B1 (en) | 2018-03-20 | 2018-03-20 | Facial expression registration method for facial expression recognition and facial expression recognition method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180031888A KR102593972B1 (en) | 2018-03-20 | 2018-03-20 | Facial expression registration method for facial expression recognition and facial expression recognition method using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190110223A KR20190110223A (en) | 2019-09-30 |
| KR102593972B1 true KR102593972B1 (en) | 2023-10-24 |
Family
ID=68098682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180031888A KR102593972B1 (en) | 2018-03-20 | 2018-03-20 | Facial expression registration method for facial expression recognition and facial expression recognition method using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102593972B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102181901B1 (en) * | 2019-07-25 | 2020-11-23 | 넷마블 주식회사 | Method to create animation |
| KR102181902B1 (en) * | 2019-10-31 | 2020-11-23 | 넷마블 주식회사 | Method to create animation |
| CN117315745A (en) * | 2023-09-19 | 2023-12-29 | 中影年年(北京)文化传媒有限公司 | Facial expression capturing method and system based on machine learning |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080221401A1 (en) * | 2006-10-27 | 2008-09-11 | Derchak P Alexander | Identification of emotional states using physiological responses |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9767349B1 (en) * | 2016-05-09 | 2017-09-19 | Xerox Corporation | Learning emotional states using personalized calibration tasks |
-
2018
- 2018-03-20 KR KR1020180031888A patent/KR102593972B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080221401A1 (en) * | 2006-10-27 | 2008-09-11 | Derchak P Alexander | Identification of emotional states using physiological responses |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190110223A (en) | 2019-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102593972B1 (en) | Facial expression registration method for facial expression recognition and facial expression recognition method using the same | |
| US10509895B2 (en) | Biometric authentication | |
| US11341770B2 (en) | Facial image identification system, identifier generation device, identification device, image identification system, and identification system | |
| WO2016023264A1 (en) | Fingerprint identification method and fingerprint identification device | |
| CN108446601A (en) | A kind of face identification method based on sound Fusion Features | |
| CN111339990A (en) | Face recognition system and method based on dynamic update of face features | |
| MX2012010637A (en) | Biometric information processing device. | |
| US9424823B2 (en) | Method and apparatus for recognising music symbols | |
| KR20120114564A (en) | Apparatus and method for selecting representative fingerprint template | |
| CN110798636A (en) | Subtitle generating method and device and electronic equipment | |
| KR102291039B1 (en) | personalized sports service providing method and apparatus thereof | |
| JPWO2020050413A1 (en) | Face image candidate determination device for authentication, face image candidate determination method for authentication, program, and recording medium | |
| US9384304B2 (en) | Document search apparatus, document search method, and program product | |
| Morales et al. | Signature authentication based on human intervention: performance and complementarity with automatic systems | |
| CN117333908A (en) | Cross-modal pedestrian re-recognition method based on attitude feature alignment | |
| Tariq et al. | Sign language localization: Learning to eliminate language dialects | |
| KR102395410B1 (en) | System and method for providing sign language avatar using non-marker | |
| Li et al. | SignRing: Continuous American Sign Language Recognition Using IMU Rings and Virtual IMU Data | |
| Kausar et al. | A novel mathematical modeling and parameterization for sign language classification | |
| CN104978553A (en) | Image analysis method and device | |
| CN111126135B (en) | Feature self-adaptive pedestrian re-identification method based on unified division | |
| EP3506152A1 (en) | Information processing apparatus, recording medium for recording biometric authentication program, and biometric authentication method | |
| Li et al. | Predict and improve iris recognition performance based on pairwise image quality assessment | |
| Wang et al. | Audiovisual emotion recognition via cross-modal association in kernel space | |
| JP2009282940A (en) | Pattern recognition parameter learning device, pattern recognition device, pattern recognition parameter learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |