KR101913811B1 - A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it - Google Patents
A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it Download PDFInfo
- Publication number
- KR101913811B1 KR101913811B1 KR1020160094344A KR20160094344A KR101913811B1 KR 101913811 B1 KR101913811 B1 KR 101913811B1 KR 1020160094344 A KR1020160094344 A KR 1020160094344A KR 20160094344 A KR20160094344 A KR 20160094344A KR 101913811 B1 KR101913811 B1 KR 101913811B1
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- information
- facial
- rate
- change
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G06K9/00268—
-
- G06K9/00288—
-
- G06K9/481—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 실시 예에 따른 얼굴 정보 분석 장치는, 얼굴 표정 정보가 입력되는 표정 정보 입력부; 및 상기 표정 정보를 분석하여, 심리 상태별 얼굴 표정 정보를 데이터베이스에 분류 저장하는 표정 분석부를 포함하고, 상기 표정 분석부는 상기 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장한다.The apparatus for analyzing face information according to an embodiment of the present invention includes: a facial expression information input unit for inputting facial expression information; And a facial expression analyzing unit for analyzing the facial expression information and classifying facial expression information for each psychological state into a database and storing the classified facial expression information in a database, wherein the facial expression analyzing unit analyzes the facial expression change rate of the emotion according to the time- And classifies and stores the facial expression information according to the rate of change of the emotion.
Description
본 발명은 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치에 관한 것이다. 보다 구제적으로, 본 발명은 보다 자연스러운 얼굴 표현 및 심리 상태 파악과 보상을 제공하기 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치에 관한 것이다.The present invention relates to a face information analysis method and a face information analysis apparatus. More specifically, the present invention relates to a face information analysis method and a face information analysis apparatus for providing more natural facial expression, psychological state recognition, and compensation.
최근 많은 영화, 게임 등과 같은 컨텐츠에서 컴퓨터 그래픽(Computer Graphic, CG) 작업을 통해 사람의 얼굴 표정을 표현하고 있다.Recently, human facial expressions are expressed through computer graphics (CG) work in contents such as movies and games.
이와 같은 얼굴 표정의 표현은 다양한 인터페이스를 통해 이루어질 수 있으며, 특히 최근에는 심리 치료, 가상 현실등과 같은 다양한 분야에서 이용되고 있다.Such expression of facial expression can be achieved through various interfaces, and recently, it is used in various fields such as psychotherapy, virtual reality, and the like.
그러나, 현재 제공되는 얼굴 표정들은 생물학적으로 자연스럽고 다양한 표정보다는 인위적이고 부자연스러운 표정으로 인해 심리적인 거부감을 주는 것이 일반적이다.However, the facial expressions currently provided are generally biologically natural and have a psychological rejection due to artificial and unnatural expressions rather than various facial expressions.
이를 극복하기 위해, 얼굴 자체에 센서를 부착하여 얼굴 표정을 재현하고는 있으나, 이는 센서 네트워크 구축 및 3차원 작업에 대한 많은 비용이 들 뿐 만 아니라, 많은 시간이 후처리 작업에 소요되는 문제점이 있다.In order to overcome this problem, a facial expression is reproduced by attaching a sensor to the face itself. However, this not only requires a lot of cost for the construction of the sensor network and the three-dimensional work, .
예를 들어, 얼굴 표정을 애니메이션과 컴퓨터 그래픽을 통하여 구현할 경우 부자연스러운 표정과 실제 표정과 최대한 유사하게 구현하기 위한 후보정 작업에 많은 시간과 자원이 투입되고 있는 실정이다.For example, when facial expressions are implemented through animation and computer graphics, a lot of time and resources are put into the post-processing to implement the unnatural facial expressions and the actual facial expressions as much as possible.
또한, 이와 같은 방식은 수작업으로서, 급격한 표정 변화와 복합적인 표정은 표현하기가 쉽지 않고, 자동 인식하기도 어려워 얼굴 표정을 통한 사용자의 정신이나 심리 상태를 파악하는 방식으로는 적합하지 않게 되는 문제점이 있어, 활용도가 떨어지는 문제점이 있다.In addition, such a method has a problem that it is not suitable for a method of grasping a user's mental state or psychological state through facial expression because it is difficult to express a sudden change of facial expression and a complex facial expression by hand, , There is a problem in that utilization is reduced.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 다수 사용자의 대표 얼굴 표정의 특징으로부터 추출되는 얼굴 근육의 모양과 움직임 변화율로부터 일반화된 표정 정보의 데이터베이스를 구축하고, 이에 기초하여 자연스러운 표정 정보 합성 또는 심리 상태 분석 및 보상을 제공할 수 있은 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to construct a database of generalized facial expression information from a shape of a facial muscle and a rate of change of motion extracted from characteristics of representative facial expressions of a plurality of users, A face information analyzing method and a facial information analyzing apparatus capable of providing psychological state analysis and compensation.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 얼굴 정보 분석 장치에 있어서, 얼굴 표정 정보가 입력되는 표정 정보 입력부; 및 상기 표정 정보를 분석하여, 심리 상태별 얼굴 표정 정보를 데이터베이스에 분류 저장하는 표정 분석부를 포함하고, 상기 표정 분석부는 상기 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장한다.According to an aspect of the present invention, there is provided an apparatus for analyzing face information, the apparatus comprising: a facial expression information input unit for inputting facial expression information; And a facial expression analyzing unit for analyzing the facial expression information and classifying facial expression information for each psychological state into a database and storing the classified facial expression information in a database, wherein the facial expression analyzing unit analyzes the facial expression change rate of the emotion according to the time- And classifies and stores the facial expression information according to the rate of change of the emotion.
또한, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 얼굴 정보 분석 방법에 있어서, 얼굴 표정 정보가 입력되는 단계; 및 상기 표정 정보를 분석하여, 심리 상태별 얼굴 표정 정보를 데이터베이스에 분류 저장하는 단계를 포함하고, 상기 분류 저장하는 단계는, 상기 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for analyzing facial information, the method comprising: inputting facial expression information; And analyzing the facial expression information and classifying and storing the facial expression information for each psychological state in a database, wherein the classifying and storing step comprises: a step of calculating, based on a temporal / spatial change rate of the feature points extracted from the facial expression information, Obtaining a speed, and classifying and storing the facial expression information according to the rate of change of the emotion.
한편, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 수행하기 위한 프로그램으로 기록되어 컴퓨터가 읽을 수 있는 컴퓨터 프로그램 및 그 기록 매체로 구현될 수 있다.In order to solve the above problems, a method according to an embodiment of the present invention may be embodied as a computer program readable by a computer program for performing the method, and a recording medium thereof.
본 발명의 실시 예에 따르면, 분석을 위해 입력된 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장할 수 있으며, 이에 따라 데이터베이스화된 표정들을 조합 및 합성하여, 생물학적 자연스러운 다양한 표정을 생성할 수 있으며, 이에 기반한 얼굴 표현 및 심리 상태 판단을 가능하게 한다.According to the embodiment of the present invention, it is possible to obtain the rate of change of emotion according to the time-to-spatial rate of change of the feature points extracted from the inputted facial expression information for analysis, and to classify and store the facial expression information according to the rate of change Accordingly, it is possible to combine and synthesize the databaseized facial expressions to generate a variety of biological and natural facial expressions, and to enable facial expression and psychological state judgment based thereon.
또한, 본 발명의 실시 예에 따르면, 데이터베이스를 통해 분류 저장된 실제 얼굴 근육의 움직임을 기반으로 한 표정 정보에 기초하여 표정을 합성함으로써, 애니메이션 표정 및 컴퓨터 그래픽 표정 제작시의 부자연스러움을 해결하고, 시간적 및 공간적 표정의 변화율을 이용하여 다양한 감정의 기복을 표현할 수 있게 된다.According to the embodiment of the present invention, the facial expressions are synthesized based on the facial expression information based on the movement of the actual facial muscles classified and stored through the database, thereby solving the unnaturalness in producing the animation facial expression and the computer graphic facial expression, And the change rate of the spatial expression can be used to express undulations of various emotions.
그리고, 본 발명의 실시 예에 따르면, 사용자의 대표 얼굴 표정(웃음(smile), 슬픔(sad), 화남(angry), 기쁨(happy), 차분함(calm), 이성적(rational), 흥분(exite) 등)의 특징을 추출 및 상기 데이터베이스와 비교하여, 현재 얼굴 표정이나 무의식적으로 나타나는 얼굴 표정 상태 등을 통해 사용자의 현재 정신이나 심리 상태를 보다 용이하고 정확하게 파악 및 보상할 수 있는 효과가 있다.According to the embodiment of the present invention, the user's representative facial expression (smile, sad, angry, happy, calm, rational, exite, Etc.), and compares the features with the above-described database, thereby making it possible to more easily and accurately grasp and compensate the user's current mental state or psychological state through the current facial expression or a facial expression state appearing unconsciously.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 정보 분석 장치를 보다 구체적으로 도시한 블록도이다.
도 3 및 도 4는 본 발명의 실시 예에 따른 변화율 산출 과정을 설명하기 위한 도면들이다.
도 5는 본 발명의 실시 예에 따른 얼굴 표현 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 6은 본 발명의 실시 예에 따른 심리 상태 판단 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 7 내지 도 9는 본 발명의 실시 예에 따른 얼굴 정보 분석 방법을 설명하기 위한 흐름도들이다.1 is a conceptual diagram showing an overall system according to an embodiment of the present invention.
2 is a block diagram illustrating a face information analyzing apparatus according to an exemplary embodiment of the present invention.
3 and 4 are views for explaining the rate of change calculation according to the embodiment of the present invention.
5 is a block diagram for explaining a facial expression device according to an embodiment of the present invention.
FIG. 6 is a block diagram for explaining a psychological state determination apparatus according to an embodiment of the present invention.
7 to 9 are flowcharts for explaining a method of analyzing facial information according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.
이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.It is to be understood that the present invention is not intended to be limited to the specific embodiments but includes all changes, equivalents, and alternatives falling within the spirit and scope of the present invention. In describing the present invention, the terms first, second, etc. may be used to describe various components, but the components may not be limited by the terms. The terms may only be used for the purpose of distinguishing one element from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.When an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may be present in between Can be understood. On the other hand, when it is mentioned that an element is " directly connected " or " directly connected " to another element, it can be understood that no other element exists in between.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될수 있다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions may include plural expressions unless the context clearly dictates otherwise. As used herein, the terms "comprise", "having", and the like are used interchangeably to designate the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof. Unless otherwise defined, all terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다. 아울러, 이하의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 보다 완전하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Terms such as those defined in commonly used dictionaries can be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are, unless expressly defined in the present application, interpreted in an ideal or overly formal sense . In addition, the following embodiments are provided to explain more fully to the average person skilled in the art. The shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.
또한, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.Also, for example, it should be understood that the block diagrams herein illustrate conceptual aspects of exemplary circuits embodying the principles of the invention. The functions of the various elements shown in the figures, including the functional blocks depicted in the processor or similar concept, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared. Also, the explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of running software, and may be used without limitation as a digital signal processor (DSP) (ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.In the claims hereof, the elements represented as means for performing the functions described in the detailed description include all types of software including, for example, a combination of circuit elements performing the function or firmware / microcode etc. , And is coupled with appropriate circuitry to execute the software to perform the function. It is to be understood that the invention defined by the appended claims is not to be construed as encompassing any means capable of providing such functionality, as the functions provided by the various listed means are combined and combined with the manner in which the claims require .
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 도시한 개념도이다.1 is a conceptual diagram showing an overall system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따른 전체 시스템은, 얼굴 정보 분석 장치(100), 얼굴 표현 장치(200) 및 심리 상태 판단 장치(300)를 포함한다.Referring to FIG. 1, an overall system according to an exemplary embodiment of the present invention includes a face information analyzing apparatus 100, a face expressing apparatus 200, and a psychological state determining apparatus 300.
본 발명의 실시 예에서, 각 장치(100, 200, 300)는 데이터베이스와 유선 또는 무선 네트워크로 연결되어 상호 작용 가능하게 구성될 수 있다In an embodiment of the present invention, each of the devices 100, 200, 300 may be configured to be interconnected and interactable with a database via a wired or wireless network
그리고, 얼굴 정보 분석 장치(100)는 얼굴 표정 정보가 입력되면, 상기 표정 정보를 분석하여, 심리 상태별 얼굴 표정 정보를 데이터베이스에 분류 저장하되, 상기 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장할 수 있다.When facial expression information is inputted, the facial information analyzing apparatus 100 analyzes the facial expression information, classifies facial expression information for each psychological state into a database, and stores the classified temporal change rate Accordingly, it is possible to acquire the rate of change of emotion, and to classify and store the expression information according to the rate of change of the emotion.
여기서 표정 정보는 개인의 얼굴 촬영 영상과 같이 표정을 포함하는 다양한 컨텐츠가 예시될 수 있으며, 이에 따른 표정 정보는 하나 이상의 영상 프레임을 포함할 수 있다. 예를 들어, 표정 정보는 소셜 네트워크 서비스로부터 수집되는 사용자 동영상일 수 있다. 또한, 표정 정보는 사용자가 직접 자신을 촬영하여 직접 업로드하는 얼굴 영상을 포함할 수 있다.Here, the facial expression information may include various contents including a facial expression such as an individual facial image, and the facial expression information may include one or more image frames. For example, the facial expression information may be a user video collected from a social network service. In addition, the facial expression information may include a face image in which a user directly photographs himself and uploads himself / herself.
또한, 표정 정보는 상기 2차원 영상뿐만 아니라, 3차원 영상 정보를 포함할 수 있다. 3차원 영상의 경우에는 가상현실 장치와 같은 복합 장치로부터 표정 정보가 획득될 수 있으며 이 경우, 표정 정보에는 안구 인식, 얼굴 근육 센서, 음성 인식, 모션 마우스 동작 및 신체 인식 등과 같은 다양한 부가 정보가 더 포함될 수 있다. 또한, 얼굴 정보 분석 장치(100)는 상기 부가 정보에 따라, 3차원 영상의 경우 보다 정확한 얼굴 정보 분석과, 감정 분류 및 저장이 가능할 수 있다.In addition, the facial expression information may include not only the two-dimensional image but also three-dimensional image information. In the case of a three-dimensional image, facial expression information can be obtained from a complex apparatus such as a virtual reality apparatus. In this case, various additional information such as eye recognition, facial muscle sensor, speech recognition, motion mouse operation, . In addition, the face information analyzing apparatus 100 can perform more accurate face information analysis, emotion classification, and storage than the case of the three-dimensional image, in accordance with the additional information.
이와 같이, 표정 정보는 영상 정보뿐만 아니라, 기타 목소리, 신체 생리신호(동공, 뇌파, 근육 이완 수축정보, 두피 근육 정보 등), 행동 정보, 손짓 정보 등과 같은 부가 정보와 혼합 저장됨으로써 다양한 분야에 응용될 수 있다.As described above, the facial expression information is mixed with additional information such as other voices, body physiological signals (pupil, brain waves, muscle relaxation contraction information, scalp muscle information, etc.), behavior information, .
그리고, 얼굴 정보 분석 장치(100)는 상기 표정 정보를 분석함에 있어서, 표정의 변화율에 따른 감정의 변화 속도를 산출하고, 이에 따른 데이터베이스 분류 및 저장을 수행할 수 있다. 이는 기존과 같이 단일화된 감정 정보의 산출이 아닌, 감정 변화율에 따른 다양한 복합 표정 정보를 산출 및 저장함으로써, 얼굴 표현 장치(200)에서 생물학적 자연스러운 다양한 표정이 생성될 수 있도록 한다.In analyzing the facial expression information, the facial information analyzing apparatus 100 may calculate the rate of change of the emotion according to the rate of change of facial expressions, and perform classification and storage of the database accordingly. This allows the facial expression device 200 to generate a variety of biological and natural facial expressions by calculating and storing various complex facial expression information according to the rate of change of emotions rather than calculating the unified emotional information as before.
이를 위해, 얼굴 정보 분석 장치(100)는 상기 데이터베이스에 저장된 상기 심리 상태별 얼굴 표정 정보를 얼굴 표현 장치(200)로 제공할 수 있으며, 얼굴 표현 장치(200)는 대상 정보에 따른 대표 표정이 결정되면, 상기 대표 표정 및 상기 심리 상태별 얼굴 표정 정보에 따라, 대상 정보의 표정을 합성하여 출력할 수 있다.For this, the facial information analyzing apparatus 100 may provide facial expression information for each psychological state stored in the database to the facial expression device 200, and the facial expression device 200 may determine whether a representative facial expression The facial expression information of the subject information may be synthesized and output according to the representative facial expression and facial expression information by the psychological state.
이에 따른 얼굴 표현 장치(200)는 표정을 재생하는 다양한 장치일 수 있다.The facial expression device 200 may be various devices for reproducing facial expressions.
예를 들어, 얼굴 표현 장치(200)는 미리 설정된 특정 인물이나 상황의 표정을 구현하기 위한 장치일 수 있다.For example, the facial expression device 200 may be a device for implementing a facial expression of a predetermined person or situation.
예를 들어, 대상은 사용자의 아버지, 어머니, 할아버지, 할머니 또는 선남선녀 등의 커플일 수 있으며, 얼굴 표현 장치(200)는 사용자에게 상기 대상의 행복한 표정을 제공하기 위해 최적화된 표정을 생성할 수 있다. 또한, 얼굴 표현 장치(200)는 태교 또는 위안을 위한 표정 재생 등에도 이용될 수 있다.For example, the object may be a couple such as a user's father, mother, grandfather, grandmother, or mother-in-law, and the facial expression device 200 may generate an optimized facial expression to provide the user with a happy facial expression of the subject have. In addition, the facial expression device 200 can be used for facial expression reproduction for facial expression or comfort.
또한, 상기 얼굴 표현 장치(200)는 표정 대화 장치일 수 있다. 이 경우 상기 얼굴 표현 장치(200)는 얼굴 정보 분석 장치(100)로부터 분석된 데이터베이스로부터 표정 대화를 위한 자신의 아바타나 캐릭터의 얼굴 영상을 합성하여 타 사용자에게 제공할 수 있다. 예를 들어, 상기 얼굴 표현 장치(200)는 타 사용자의 가상현실 기기상에 상기 합성된 얼굴 표정 정보를 제공할 수 있다.Also, the facial expression device 200 may be a facial expression dialog device. In this case, the facial expression device 200 may synthesize the facial image of the avatar or the character for the facial expression conversation from the analyzed database from the facial information analyzing apparatus 100 and provide it to other users. For example, the facial expression device 200 may provide the synthesized facial expression information on a virtual reality apparatus of another user.
한편, 심리 상태 판단 장치(300)는 인식된 표정의 심리 상태를 상기 심리 상태별 얼굴 표정 정보에 따라 판단하고, 상기 판단된 감정 상태에 대응되는 전환 표정을 상기 얼굴 표정 정보에 기초하여 제공하는 장치일 수 있다.On the other hand, the psychological state judging device 300 judges the psychological state of the recognized facial expression according to the facial expression information by the psychological state, and provides a switching facial expression corresponding to the determined emotional state on the basis of the facial expression information Lt; / RTI >
이에 따라, 심리 상태 판단 장치(300)는 심리 상태의 판단 뿐만 아니라 심리 상태를 보상할 수 있는 표정을 제공함으로써, 사용자의 기분 전환을 자연스럽게 유도할 수 있게 된다.Accordingly, the psychological state determining apparatus 300 can naturally induce the user's mood change by providing the expression for compensating the psychological state as well as the psychological state.
도 2는 본 발명의 실시 예에 따른 얼굴 정보 분석 장치를 보다 구체적으로 도시한 블록도이며, 도 3 및 도 4는 본 발명의 실시 예에 따른 변화율 산출 과정을 설명하기 위한 도면들이다.FIG. 2 is a block diagram illustrating a face information analyzing apparatus according to an embodiment of the present invention. FIGS. 3 and 4 are views for explaining a change rate calculating process according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 얼굴 정보 분석 장치(100)는, 표정 정보 입력부(110), 특징점 추출부(120), 표정 분석부(130) 및 데이터베이스 관리부(140)를 포함한다.2, the facial information analyzing apparatus 100 according to the embodiment of the present invention includes a facial expression information input unit 110, a feature
표정 정보 입력부(110)는 하나 이상의 표정 정보 입력 수단을 통해 표정 정보를 입력받는다.The facial expression information input unit 110 receives facial expression information through one or more facial expression information input means.
상기 표정 정보 입력 수단은, 전술한 바와 같이 2차원 영상 정보, 3차원 영상 정보 또는 부가 정보를 입력받기 위한 다양한 입력 수단을 포함할 수 있다. 예를 들어, 상기 표정 정보 입력 수단은 사용자의 표정을 촬영하는 카메라이거나, 3차원 영상을 생성하는 가상현실 장치이거나, 근육 정보를 센싱하는 하나 이상의 센서 장치를 포함할 수 있으며, 표정 정보가 포함된 하나 이상의 2차원 또는 3차원 영상 프레임을 구성할 수 있다.The facial expression information input means may include various input means for receiving two-dimensional image information, three-dimensional image information, or additional information as described above. For example, the facial expression information inputting means may be a camera for photographing a user's facial expression, a virtual reality apparatus for generating a three-dimensional image, or one or more sensor devices for sensing muscle information, One or more two-dimensional or three-dimensional image frames can be constructed.
그리고, 특징점 추출부(120)는 상기 표정 정보로부터 추출되는 특징점을 추출한다.The feature
예를 들어, 특징점은 각 프레임별로 판단될 수 있으며, 미리 설정된 위치에 대응될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 연속된 프레임(#1, #2, #3)에서 얼굴의 특징점 위치가 식별될 수 있다. 입(mouth)의 특징점은 (m1, m2, m3, …)에 대응될 수 있으며, 왼쪽눈썹(left eyebrow)의 특징점은 (leb1, leb2, leb3, …)에 대응될 수 있고, 오른쪽눈썹(right eyebrow)의 특징점은 (reb1, reb2, reb3, …)에 대응될 수 있다. 또한, 기타 다양한 얼굴 근육 위치에 따른 특징점들이 예시될 수 있다.For example, the minutiae can be judged for each frame and correspond to a predetermined position. For example, the position of the feature point of the face can be identified in successive frames (# 1, # 2, # 3) as shown in FIG. The feature points of the mouth may correspond to (m1, m2, m3, ...), and the feature points of the left eyebrow may correspond to (leb1, leb2, leb3, eyebrow can correspond to (reb1, reb2, reb3, ...). In addition, feature points according to various other facial muscle positions can be exemplified.
그리고, 표정 분석부(130)는 상기 특징점의 시간 대비 공간적 변화율에 따른 감정의 변화속도를 획득하며, 데이터베이스 관리부(140)를 통해 상기 감정의 변화 속도에 따른 표정 정보의 분류 및 저장을 수행한다.The facial expression analysis unit 130 acquires the rate of change of the emotion according to the time-to-spatial rate of change of the feature points, and performs classification and storage of the facial expression information according to the rate of change of the emotion through the database management unit 140.
이를 위해, 표정 분석부(130)는 움직임 벡터 분석부(131), 프레임 분석부(132) 및 감정 판단부(132)를 포함할 수 있다.For this, the facial expression analysis unit 130 may include a motion vector analysis unit 131, a frame analysis unit 132, and an emotion determination unit 132.
움직임 벡터 분석부(131)는 상기 표정 정보로부터 추출되는 특징점의 움직임 벡터를 이용하여 공간적 변화율을 산출한다.The motion vector analyzer 131 calculates the spatial rate of change using the motion vector of the feature point extracted from the facial expression information.
도 3에 도시된 바와 같이, 프레임#1의 특징점(예 : 입 (m1, m2, m3)) 위치와 프레임#2의 특징점(m1', m2', m3'), 프레임#3의 특징점(m1', m2', m3')의 위치는 비교될 수 있으며, 움직임 벡터 분석부(131)는 특징점의 위치 비교에 따라 위치 차이에 기반한 움직임 벡터를(MV, Motion Vector) 산출할 수 있다.(M1, m2, m3) of the
예를 들어, 도 3에서 프레임 #1, #2, #3는 무표정한 상태에서 웃는 표정으로 변화하는 과정을 나타낼 수 있으며 이 경우 입 특징점의 변화는 m1, m1', m1''의 차이로 표현될 수 있으며, 이를 움직임 벡터로 표현하게 되면 MVm1 = (m1'-m1), MVm2 = (m1"-m1', MVm3 = (m1"-m1) 과 같이 표현될 수 있다.For example, in FIG. 3, the
그리고, 감정 판단부(132)는 상기 움직임 벡터에 기초한 단일 감정 정보를 판단할 수 있다. 예를 들어, 감정 판단부(132)는 각 부위별 움직임 방향정보와 단일 감정 정보가 매칭되는 경우, 표정 정보의 움직임 벡터들에 대응되는 감정 정보를 식별하고, 분류 및 저장할 수 있다.Then, the emotion determination unit 132 can determine the single emotion information based on the motion vector. For example, when the motion direction information of each part and the single emotion information are matched, the emotion determination unit 132 may identify, classify, and store the emotion information corresponding to the motion vectors of the facial expression information.
웃음/즐거움
Laughter / Pleasure
한편, 프레임 분석부(132)는 표정 정보에 감정의 변화가 포함된 경우, 상기 얼굴 표정 정보를 포함한 전체 영상 프레임과, 상기 움직임 벡터가 참조된 참조 프레임 수의 비율에 따라, 시간적 변화율을 산출할 수 있다.On the other hand, when the emotion change is included in the facial expression information, the frame analyzing unit 132 calculates the temporal change rate according to the ratio of the total image frame including the facial expression information and the reference frame number to which the motion vector is referred .
이에 따라, 감정 판단부(132)는 상기 움직임 벡터 분석부 및 상기 프레임 분석부로부터 산출되는 공간적 변화율 및 시간적 변화율에 따라, 상기 얼굴 표정 정보에 대응되는 감정 정보를 출력할 수 있으며, 상기 감정 정보에는 상기 공간적 변화율 및 상기 시간적 변화율에 따라, 상기 얼굴 표정 정보로부터 식별되는 2 이상의 감정간 변화 속도가 포함될 수 있다.Accordingly, the emotion determining unit 132 may output emotion information corresponding to the facial expression information according to the spatial rate of change and temporal rate of change calculated from the motion vector analyzing unit and the frame analyzing unit, Two or more emotion change rates identified from the facial expression information may be included according to the spatial change rate and the temporal change rate.
따라서, 감정 판단부(132)는 표정 정보의 특징점에 대한 시간적 및 공간적 변화 정보를 데이터베이스 관리부(140)에 분류 및 저장할 수 있게 된다.Accordingly, the emotion determining unit 132 can classify and store the temporal and spatial change information of the minutiae of the facial expression information in the database management unit 140. [
보다 구체적으로, 도 4를 참조하면, 도 4는 복수의 표정 및 감정이 포함된 영상으로부터 감정 변화 속도를 산출하는 방법을 설명하기 위한 것으로, 프레임 #1, #2, #3, #4는 미소→웃음→무표정→슬픔 상태로 표정이 변화하는 과정을 나타낼 수 있다.More specifically, referring to FIG. 4, FIG. 4 illustrates a method of calculating the emotional change rate from an image including a plurality of facial expressions and emotions.
그리고, 움직임 벡터 분석부(131)는 각 특징점의 차이를 움직임 벡터로 산출할 수 있다.Then, the motion vector analyzer 131 can calculate the difference of each feature point as a motion vector.
예를 들어, 움직임 벡터들은 MVm1 = (m1'-m1), MVm2 = (m1"-m1'), MVm3 = (m1"'-m1"), MVm4 = (m1"'-m1)로 산출될 수 있다.For example, the motion vectors MVm1 = (m1'-m1), MVm2 = (m1 '-m1'), MVm3 = have.
그리고, 움직임 벡터 분석부(131)는 움직임 벡터의 공간적 변화율인 변화율#1을 산출할 수 있다. 예를 들어, 변화율#1에 포함된 ΔMV1 = MVm2 - MVm1이며, ΔMV2 = MVm3 - MVm2이고, ΔMV3 = MVm4 - MVm3이 될 수 있다.Then, the motion vector analysis unit 131 can calculate the
그리고, 프레임 분석부(132)는 공간적 변화율과 프레임 상관 관계에 따른 시간적 변화율인 변화율#2를 산출할 수 있다.Then, the frame analyzing unit 132 can calculate the rate of
예를 들어 변화율#2는 (움직임 벡터 변화율)/(참조 프레임 수/전체 프레임 수)를 수행하여 산출될 수 있다.For example, the
이를 수학식으로 표현하면 하기와 같이 표현될 수 있다.This can be expressed as the following equation.
상기 수학식 1에서, RF는 움직임 벡터 추출에 참조된 참조 프레임(Reference Frame), TF는 전체 프레임(Total Frame)으로서, 만약 RF가 2이고, TF가 30이면, ΔD = ΔMV / (2 / 30))와 같이 연산될 수 있으며, 상기 ΔD는 변화율#2로서, 움직임 벡터의 시간적 변화율을 나타낼 수 있다.RF is a reference frame referenced in motion vector extraction and TF is a total frame. If RF is 2 and TF is 30, then ΔD = ΔMV / (2/30) ), And [Delta] D is the rate of
이에 따라, 감정 판단부(132)는 상기 변화율#1 및 변화율#2에 따른 데이터베이스 분류 및 저장을 수행할 수 있으며, 얼굴 표정의 변화 속도 및 감정 변화 속도 판단 및 분류가 가능하게 된다.Accordingly, the emotion determination unit 132 can perform database classification and storage according to the
도 5는 본 발명의 실시 예에 따른 얼굴 표현 장치를 보다 구체적으로 설명하기 위한 블록도이다.5 is a block diagram for explaining a facial expression device according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 실시 예에 따른 얼굴 표현 장치(200)는 대상 입력부(210), 대표 표정 결정부(220), 가중치 기반 표정 합성부(230) 및 표정 출력부(230)를 포함한다.5, the facial expression device 200 according to the embodiment of the present invention includes a
대상 입력부(210)는 표정을 표현할 하나 이상의 대상 정보를 입력받는 입력 수단을 포함한다.The
예를 들어, 대상 입력부(210)는 특정 인물 또는 캐릭터 정보를 입력받아 대상 정보로 결정할 수 있다. 또한, 대상 입력부(210)는 가상현실상의 자신의 아바타를 대상 정보로 입력받을 수도 있다.For example, the
그리고, 대표 표정 결정부(220)는 상기 대상 정보에 대응되는 대표 표정을 결정한다(220).Then, the representative facial
대표 표정 결정부(220)는 상기 대상 정보에 적용할 대표 얼굴 표정으로서, 예를 들어, 웃음(smile), 슬픔(sad), 화남(angry), 기쁨(happy), 차분함(calm), 이성적(rational), 흥분(exite) 중 적어도 하나를 포함할 수 있다. 또한, 상기 대표 표정은 상기 대상 정보에 따라 사용자에 대해 최적화된 표정 정보로 결정될 수 있으며, 복수 표정의 조합으로도 결정될 수도 있다.The representative facial
그리고, 가중치 기반 표정 합성부(230)는 상기 대표 표정 및 얼굴 정보 분석 장치(100)로부터 수신되는 표정 정보에 기초하여, 상기 대상 정보의 표정/모습을 표정 특징들 기반의 가중치로 환산하고, 사용자가 원하는 표정으로 보정하기 위해, 표정 가중치 선택에 따른 얼굴 합성 및 보정을 수행할 수 있다.Based on the facial expression information received from the representative facial expression and facial information analyzing apparatus 100, the weight-based facial
그리고, 표정 출력부(230)는 상기 합성 및 보정된 얼굴 표정을 출력하기 위한 하나 이상의 출력 수단을 포함할 수 있다. 상기 출력 수단은 예를 들어, 2차원 영상 표시장치 또는 3차원 영상 표시장치일 수 있으며, 가상 현실 제공 장치일 수도 있다. 그리고, 가중치 기반 표정 합성부(230)는 상기 출력에 대응한 사용자 선택에 따라, 합성된 얼굴 표정 보정 정보의 업데이트 및 데이터베이스 저장을 더 수행할 수 있다.The facial
이에 따라, 얼굴 표현 장치(200)는 데이터베이스의 표정들을 조합/합성하여, 생물학적 자연스러운 다양한 표정을 생성할 수 있다. 예를 들어, 기쁨과 당황스러움이 같이 나타나는 애매모호한 표정도 생성될 수 있다.Accordingly, the facial expression device 200 can combine / synthesize facial expressions of the database to generate various biological and natural facial expressions. For example, ambiguous expressions of joy and embarrassment can be created.
또한, 데이터베이스에 저장된 실제 근육의 움직임 기반의 표정을 이용하여 Skin을 입혀 애니메이션 표정 및 컴퓨터 그래픽(CG, Computer Graphics) 표정 제작시의 부자연스러움 해결할 수 있으며, 표정 변화율을 사용하여 다양한 감정의 기복을 표현할 수 있게 된다. 따라서, 실제 근육 움직임이 최소화된 가볍게 웃는 표정부터 최대화된 매우 기쁘게 웃는 표정까지 표현 가능하게 된다.In addition, it is possible to solve the unnaturalness of animation expression and computer graphic (CG, Computer Graphics) expression by applying skin based on the movement based expression of actual muscles stored in the database, and expressing undulations of various emotions . Thus, it becomes possible to express from a light smile expression minimizing actual muscle movement to a very pleasing smile expression maximized.
도 6은 본 발명의 실시 예에 따른 심리 상태 판단 장치를 보다 구체적으로 설명하기 위한 블록도이다.FIG. 6 is a block diagram for explaining a psychological state determination apparatus according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 실시 예에 따른 심리 상태 판단 장치(300)는 표정 인식부(310), 심리 판단부(320) 및 분석결과 제공부(330)를 포함하며, 분석결과 제공부(330)는 전환 방법 제공부(331), 전환 표정 제공부(332) 및 변화율 판단부(333)를 더 포함할 수 있다.6, the psychological state determination apparatus 300 according to the embodiment of the present invention includes a facial expression recognition unit 310, a
표정 인식부(310)는 심리상태를 판단받고자 하는 사용자의 표정정보를 인식한다. 표정 정보 인식을 위해, 표정 인식부(310)는 상기 얼굴 정보 분석 장치(100)의 표정 분석부(130)로 상기 인식된 표정 정보를 제공할 수 있다.The facial expression recognition unit 310 recognizes facial expression information of a user who desires to determine a psychological state. In order to recognize the facial expression information, the facial expression recognition unit 310 may provide the facial expression analysis unit 130 of the facial information analysis apparatus 100 with the recognized facial expression information.
그리고, 심리 판단부(320)는 상기 인식된 표정 정보에 따른 심리 상태를 판단한다. 이를 위해, 심리 판단부(320)는 상기 얼굴 정보 분석 장치(100)에서의 표정 정보 분석 데이터를 수신할 수 있으며, 상기 분석 데이터에는 상기 사용자의 표정 분석에 따른 심리 상태 정보가 포함될 수 있다.Then, the
그리고, 분석결과 제공부(330)는 상기 분석 데이터에 기초한 분석결과 정보를 제공할 수 있다. 분석 결과는 심리 상태에 대한 정보 및 심리 치료를 위한 전환정보가 포함될 수 있다.Then, the analysis result providing unit 330 may provide analysis result information based on the analysis data. The results of the analysis may include information about the psychological state and conversion information for psychotherapy.
전환 정보 제공을 위해, 전환 방법 제공부(332)는 사용자의 정신/심리 상태에 대응하여, 기 등록된 사용자 취향 제시 방법 및 일반화된 기분 전환 방안 등(여행, 선물, 영화, 음식, 등)을 제공할 수 있다.In order to provide the conversion information, the conversion method providing unit 332 converts the pre-registered user taste presentation method and the generalized mood conversion plan (travel, gift, movie, food, etc.) in correspondence with the mental / .
또한, 전환 표정 제공부(332)는 사용자의 정신/심리 상태에 대응하여, 이를 보상할 수 있는 표정 정보를 상기 얼굴 표현 장치(200)로부터 생성하여 제공할 수 있다. 예를 들어, 심리상태가 부정적인 사용자는 행복한 표정 등을 제공받음으로써, 현재 심리를 보상받을 수 있다.In addition, the conversion facial expression providing unit 332 may generate facial expression information from the facial expression device 200 to compensate for the mental / psychological state of the user. For example, a user with a negative psychological state may be compensated for the present hearing by receiving a happy expression or the like.
그리고, 변화율 판단부(333)는 사용자의 심리 전환율을 판단하여 심리 치료 효과 등을 산출할 수 있다.Then, the change
이에 따라, 본 발명의 실시 예에 따른 심리 상태 판단 장치(300)는 사용자의 정신/심리 상태를 파악하여 이를 표정으로 보상하거나, 기 등록된 사용자 취향 제시 혹은 일반화된 기분 전환 방안 (여행, 선물, 영화, 음식, 등) 추천할 수 있으며, 이는 개인의 취향 DB 및 유사 연령대의 취향 DB와 같은 빅데이터 형성에 활용될 수도 있게 된다.Accordingly, the psychological state determination apparatus 300 according to the embodiment of the present invention grasps the mental / psychological state of the user and compensates the user with a facial expression, or displays a pre-registered user taste or generalized mood conversion scheme (travel, Movie, food, etc.), which can be utilized for formation of big data such as a personal taste DB and a preference DB of a similar age group.
도 7 내지 도 9는 본 발명의 실시 예에 따른 얼굴 정보 분석 방법을 설명하기 위한 흐름도들이다.7 to 9 are flowcharts for explaining a method of analyzing facial information according to an embodiment of the present invention.
도 7은 본 발명의 실시 예에 따른 표정 정보 데이터베이스화 방법으로서, 먼저 얼굴 정보 분석 장치(100)는 특징점 추출부(120)를 통해 입력된 표정 정보로부터 특징점을 추출한다(S101).FIG. 7 is a method of forming a facial expression information database according to an embodiment of the present invention. First, the facial information analyzing apparatus 100 extracts feature points from facial expression information input through the feature point extracting unit 120 (S101).
그리고, 얼굴 정보 분석 장치(100)는 표정 분석부(130)를 통해, 움직임 벡터 정보를 획득하며(S103), 움직임 벡터 변화에 기반한 감정 상태를 분석하고(S105), 공간적 및 시간적 벡터 변화율에 따라, 감정 상태의 변화 속도를 판별한다(S107).The face information analyzing apparatus 100 acquires motion vector information through the facial expression analyzing unit 130 and analyzes the emotion state based on the motion vector change in step S105. , The rate of change of the emotional state is determined (S107).
그리고, 얼굴 정보 분석 장치(100)는 데이터베이스 관리부(140)를 통해 상기 감정 상태 및 변화 속도에 기초하여, 상기 표정 정보의 데이터베이스화를 수행한다(S109).Then, the face information analyzing apparatus 100 performs database conversion of the facial expression information based on the emotion state and the change rate through the database management unit 140 (S109).
도 8은 얼굴 표현 장치(200)를 통한 얼굴 표정 출력 방법에 관한 것으로, 먼저 얼굴 표현 장치(200)는 대상 입력부(210)를 통해 표정합성을 수행할 대상 정보를 입력받는다(S201).FIG. 8 illustrates a facial expression output method using the facial expression device 200. First, the facial expression device 200 receives target information to perform facial expression synthesis through the target input unit 210 (S201).
여기서, 대상 정보는 특정 인물로 선택되거나, 촬영된 특정 사용자의 영상 정보를 포함할 수 있다.Here, the object information may be selected as a specific person, or may include image information of a specific user photographed.
그리고, 얼굴 표현 장치(200)는 대표 표정 결정부(220)를 통해, 대상 정보로부터 특징점을 추출하며, 감정 정보에 따른 대표 표정 특징을 결정한다(S203).Then, the facial expression device 200 extracts feature points from the target information through the representative facial
예를 들어, 대표 표정 결정부(220)는 상기 특정 사용자의 영상 정보로부터 추출된 특징점에 대해 적용될 감정 정보에 따른 대표 표정 특징 정보를 결정할 수 있다. 이를 위해, 대표 표정 결정부(220)는 얼굴 정보 분석 장치(100)의 표정 정보를 이용할 수 있으며, 상기 감정 정보는 감정 및 상기 감정의 변화 속도 정보를 포함할 수 있다.For example, the representative facial
이에 따라, 얼굴 표현 장치(200)는 가중치 기반 표정 합성부(230)를 통해 상기 대상 표정의 특징점과 대표 표정의 특징 정보를 비교하여, 대상 정보의 원본 표정에 적용 합성할 가중치를 결정하고(S205), 상기 가중치 및 감정 상태의 변화 속도에 따른 표정 변화를 합성한다(S207).Accordingly, the facial expression device 200 compares the feature point of the facial expression with the feature information of the representative facial expression through the weight-based facial
그리고, 얼굴 표현 장치(200)는 표정 출력부(240)를 통해 상기 합성된 표정 정보를 출력한다(S209).Then, the facial expression device 200 outputs the synthesized facial expression information through the facial expression output unit 240 (S209).
한편, 도 9는 심리 상태 판단 장치(300)을 이용한 심리 상태 분석 및 보상 방법에 관한 것으로, 먼저, 심리 상태 판단 장치(300)는 표정 인식부(310)를 통해 분석 대상의 표정을 인식한다(S301).9 is a flowchart illustrating a psychological state analysis and compensation method using the psychological state determination apparatus 300. First, the psychological state determination apparatus 300 recognizes the facial expression of the analysis object through the facial expression recognition unit 310 S301).
그리고, 심리 상태 판단 장치(300)는 심리 판단부(320)를 통해 상기 인식 정보로부터 특징점을 추출하고, 얼굴 정보 분석 장치(100)의 데이터베이스와 비교하여 심리 상태를 판단한다(S303).Then, the psychological state determiner 300 extracts the minutiae from the recognition information through the
그리고, 심리 상태 판단 장치(300)는 분석결과 제공부(330)를 통해, 심리상태에 대응되는 전환방법 정보를 제공하며(S305), 심리 상태의 전환을 위해 최적화된 변화율을 갖는 감정전환을 위한 표정영상을 얼굴 표현 장치(200)를 통해 생성하여 제공한다(S307).Then, the psychological state determination apparatus 300 provides the conversion method information corresponding to the psychological state through the analysis result providing unit 330 (S305) The facial expression image is generated and provided through the facial expression device 200 (S307).
이후, 심리 상태 판단 장치(300)는 분석결과 제공부(330)를 통해, 상기 분석 대상에 대한 심리 전환율을 판단한다(S309). 판단된 전환율은 심리 치료경과 저장 및 치료율 분석에 이용될 수 있다.Thereafter, the psychological state determination apparatus 300 determines the psychological conversion rate for the analysis object through the analysis result providing unit 330 (S309). The judged conversion rate can be used for psychological treatment, storage and cure rate analysis.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The method according to the present invention may be implemented as a program for execution on a computer and stored in a computer-readable recording medium. Examples of the computer-readable recording medium include a ROM, a RAM, a CD- , A floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet).
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And, functional programs, codes and code segments for implementing the above method can be easily inferred by programmers of the technical field to which the present invention belongs.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.
Claims (12)
얼굴 표정 정보가 입력되는 표정 정보 입력부; 및
상기 표정 정보를 분석하여, 심리 상태별 얼굴 표정 정보를 데이터베이스에 분류 저장하는 표정 분석부를 포함하고,
상기 표정 분석부는 상기 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장하며,
상기 표정 분석부로부터 상기 데이터베이스에 분류 저장된 대상의 표정 정보가 심리 상태 판단 장치의 표정 인식부로 제공되고,
상기 심리 상태 판단 장치는
상기 표정 정보에 대응하는 상기 대상의 심리 상태를 판단하는 심리 판단부;
상기 심리 상태에 대응되는 전환방법 정보를 제공하는 전환 방법 제공부;
상기 전환방법 정보에 따라, 상기 심리 상태의 전환을 위한 변화율을 갖는 감정전환 표정영상을 얼굴 표현 장치로부터 생성하여 제공하는 전환 표정 제공부; 및
상기 표정영상에 따른 사용자의 심리 전환율을 판단하는 분석결과 제공부를 포함하는
얼굴 정보 분석 장치.In the face information analyzing apparatus,
A facial expression information input unit for inputting facial expression information; And
And a facial expression analyzing unit for analyzing the facial expression information and classifying facial expression information for each psychological state into a database,
Wherein the facial expression analyzing unit obtains a rate of change of emotion according to a temporal change rate of a feature point extracted from the facial expression information and classifies and stores the facial expression information according to the rate of change of the emotion,
The facial expression information of an object classified and stored in the database is provided to the facial expression recognition unit of the psychological state determination apparatus from the facial expression analysis unit,
The psychological state determination device
A psychological judgment unit for judging a psychological state of the subject corresponding to the facial expression information;
A switching method providing means for providing switching method information corresponding to the psychological state;
A conversion facial expression providing unit for generating and providing an emotional conversion facial expression image having a rate of change for switching the psychological state, from the facial expression unit according to the conversion method information; And
And an analysis result providing unit for determining a psychological conversion rate of the user according to the facial expression image
Facial information analyzer.
상기 표정 분석부는
상기 표정 정보로부터 추출되는 특징점의 움직임 벡터를 이용하여, 공간적 변화율을 산출하는 움직임 벡터 분석부를 더 포함하는
얼굴 정보 분석 장치.The method according to claim 1,
The facial expression analysis unit
And a motion vector analysis unit for calculating a spatial rate of change using the motion vector of the feature point extracted from the facial expression information
Facial information analyzer.
상기 표정 분석부는
상기 얼굴 표정 정보를 포함한 전체 영상 프레임과, 상기 움직임 벡터가 참조된 참조 프레임 수의 비율에 따라, 시간적 변화율을 산출하는 프레임 분석부를 더 포함하는
얼굴 정보 분석 장치.3. The method of claim 2,
The facial expression analysis unit
Further comprising a frame analyzing unit for calculating a temporal change rate in accordance with a ratio of a total image frame including the facial expression information and a reference frame number in which the motion vector is referred to
Facial information analyzer.
상기 표정 분석부는
상기 움직임 벡터 분석부 및 상기 프레임 분석부로부터 산출되는 공간적 변화율 및 시간적 변화율에 따라, 상기 얼굴 표정 정보에 대응되는 감정 정보를 출력하는 감정 판단부를 더 포함하는
얼굴 정보 분석 장치.The method of claim 3,
The facial expression analysis unit
And an emotion judgment unit for outputting emotion information corresponding to the facial expression information according to a spatial change rate and a temporal change rate calculated from the motion vector analysis unit and the frame analysis unit
Facial information analyzer.
상기 감정 판단부는,
상기 공간적 변화율 및 상기 시간적 변화율에 따라, 상기 얼굴 표정 정보로부터 식별되는 2 이상의 감정간 변화 속도를 판단하는
얼굴 정보 분석 장치.5. The method of claim 4,
Wherein the emotion determination unit
Determining a change rate between two or more emotions identified from the facial expression information according to the spatial change rate and the temporal change rate
Facial information analyzer.
상기 감정 정보 및 상기 감정간 변화 속도에 따라, 상기 표정 정보의 특징점에 대한 시간적 및 공간적 변화 정보를 분류 및 저장하는 데이터베이스 관리부를 더 포함하는
얼굴 정보 분석 장치.6. The method of claim 5,
And a database management unit for classifying and storing temporal and spatial change information on the minutiae of the facial expression information according to the emotion information and the rate of change between emotions
Facial information analyzer.
상기 데이터베이스는 상기 심리 상태별 얼굴 표정 정보를 얼굴 표현 장치로 제공하고,
상기 얼굴 표현 장치는 대상 정보에 따른 대표 표정이 결정되면, 상기 대표 표정 및 상기 심리 상태별 얼굴 표정 정보에 따라, 대상 정보의 표정을 합성하여 출력하는 장치인
얼굴 정보 분석 장치.The method according to claim 1,
Wherein the database provides face expression information for each psychological state as a face expression device,
The facial expression device is a device for synthesizing facial expressions of object information according to the representative facial expression and the facial expression information for each psychological state and outputting the representative facial expression information
Facial information analyzer.
상기 얼굴 표현 장치의 상기 대상 정보는 미리 입력된 사용자 정보에 따라 특정 인물로 결정되며,
상기 대표 표정은 상기 사용자 정보에 대응하여 최적화된 상기 특정 인물의 표정 정보로 결정되는
얼굴 정보 분석 장치.8. The method of claim 7,
Wherein the object information of the facial expression device is determined to be a specific person according to previously input user information,
The representative facial expression is determined as facial expression information of the specific person optimized in accordance with the user information
Facial information analyzer.
얼굴 표정 정보가 입력되는 단계; 및
표정 분석부가 상기 표정 정보를 분석하여, 심리 상태별 얼굴 표정 정보를 데이터베이스에 분류 저장하는 단계를 포함하고,
상기 분류 저장하는 단계는, 상기 표정 정보로부터 추출되는 특징점의 시간 대비 공간적 변화율에 따라, 감정의 변화 속도를 획득하고, 상기 감정의 변화 속도에 따라 상기 표정 정보를 분류 및 저장하는 단계를 포함하며,
상기 표정 분석부로부터 상기 데이터베이스에 분류 저장된 대상의 표정 정보가 심리 상태 판단 장치의 표정 인식부로 제공되는 단계;
상기 심리 상태 판단 장치가 상기 표정 정보에 대응하는 상기 대상의 심리 상태를 판단하는 단계;
상기 심리 상태에 대응되는 전환방법 정보를 제공하는 단계;
상기 전환방법 정보에 따라, 상기 심리 상태의 전환을 위한 변화율을 갖는 감정전환 표정영상을 얼굴 표현 장치로부터 생성하여 제공하는 단계; 및
상기 표정영상에 따른 사용자의 심리 전환율을 판단하는 단계를 더 포함하는
얼굴 정보 분석 방법.In the face information analysis method,
A step of inputting facial expression information; And
The facial expression analyzing unit analyzes the facial expression information and classifies and stores facial expression information for each psychological state in a database,
Wherein the classifying and storing step includes the step of obtaining a rate of change of emotion according to a temporal change rate of temporal change of a feature point extracted from the facial expression information and classifying and storing the facial expression information according to the rate of change of the emotion,
The facial expression information of an object classified and stored in the database is provided to the facial expression recognition unit of the psychological state determination apparatus from the facial expression analysis unit;
Determining a psychological state of the subject corresponding to the facial expression information;
Providing conversion method information corresponding to the psychological state;
Generating an emotional conversion expression image having a rate of change for switching the psychological state from the facial expression device according to the conversion method information; And
And determining a psychological conversion rate of the user according to the facial expression image
Facial information analysis method.
상기 분류 저장하는 단계는,
상기 표정 정보로부터 추출되는 특징점의 움직임 벡터를 이용하여, 공간적 변화율을 산출하는 단계;
상기 얼굴 표정 정보를 포함한 전체 영상 프레임과, 상기 움직임 벡터가 참조된 참조 프레임 수의 비율에 따라, 시간적 변화율을 산출하는 단계; 및
상기 공간적 변화율 및 상기 시간적 변화율에 따라, 상기 얼굴 표정 정보에 대응되는 감정 정보를 출력하는 단계를 포함하는
얼굴 정보 분석 방법.11. The method of claim 10,
Wherein the classifying and storing comprises:
Calculating a spatial rate of change using motion vectors of feature points extracted from the facial expression information;
Calculating a temporal rate of change according to a ratio of a total image frame including the facial expression information to a reference frame number to which the motion vector is referenced; And
And outputting emotion information corresponding to the facial expression information according to the spatial change rate and the temporal change rate
Facial information analysis method.
상기 감정 정보를 출력하는 단계는,
상기 공간적 변화율 및 상기 시간적 변화율에 따라, 상기 얼굴 표정 정보로부터 식별되는 2 이상의 감정간 변화 속도를 판단하는 단계를 포함하고,
상기 분류 및 저장하는 단계는,
상기 감정 정보 및 상기 감정간 변화 속도에 따라, 상기 표정 정보의 특징점에 대한 시간적 및 공간적 변화 정보를 분류 및 저장하는 단계를 포함하는
얼굴 정보 분석 방법.12. The method of claim 11,
Wherein the step of outputting the emotion information comprises:
Determining a change rate between two or more emotions identified from the facial expression information according to the spatial change rate and the temporal change rate,
Wherein said classifying and storing comprises:
And classifying and storing temporal and spatial change information of feature points of the facial expression information according to the emotion information and the rate of change between emotions
Facial information analysis method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160094344A KR101913811B1 (en) | 2016-07-25 | 2016-07-25 | A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160094344A KR101913811B1 (en) | 2016-07-25 | 2016-07-25 | A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180011664A KR20180011664A (en) | 2018-02-02 |
| KR101913811B1 true KR101913811B1 (en) | 2018-10-31 |
Family
ID=61223251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160094344A KR101913811B1 (en) | 2016-07-25 | 2016-07-25 | A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101913811B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200061016A (en) * | 2018-11-23 | 2020-06-02 | 와이케이씨테크(주) | Depression Index Estimation Method Using Skin Image |
| KR20210132767A (en) | 2020-04-27 | 2021-11-05 | 건국대학교 산학협력단 | A system that classifies content based on a person's emotions |
| KR20220158958A (en) * | 2021-05-25 | 2022-12-02 | 인제대학교 산학협력단 | System for social interaction feedback using deep learning and method thereof |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111859025A (en) * | 2020-07-03 | 2020-10-30 | 广州华多网络科技有限公司 | Expression instruction generation method, device, equipment and storage medium |
| KR102548970B1 (en) * | 2020-07-07 | 2023-06-28 | 주식회사 유엑스팩토리 | Method, system and non-transitory computer-readable recording medium for generating a data set on facial expressions |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011039934A (en) * | 2009-08-17 | 2011-02-24 | Tokai Univ | Emotion estimation system and learning system using the same |
-
2016
- 2016-07-25 KR KR1020160094344A patent/KR101913811B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011039934A (en) * | 2009-08-17 | 2011-02-24 | Tokai Univ | Emotion estimation system and learning system using the same |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200061016A (en) * | 2018-11-23 | 2020-06-02 | 와이케이씨테크(주) | Depression Index Estimation Method Using Skin Image |
| KR102243017B1 (en) | 2018-11-23 | 2021-04-21 | 와이케이씨테크(주) | Depression Index Estimation Method Using Skin Image |
| KR20210132767A (en) | 2020-04-27 | 2021-11-05 | 건국대학교 산학협력단 | A system that classifies content based on a person's emotions |
| KR20220158958A (en) * | 2021-05-25 | 2022-12-02 | 인제대학교 산학협력단 | System for social interaction feedback using deep learning and method thereof |
| KR102548476B1 (en) | 2021-05-25 | 2023-06-28 | 인제대학교 산학협력단 | System for social interaction feedback using deep learning and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180011664A (en) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101913811B1 (en) | A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it | |
| KR101306221B1 (en) | Method and apparatus for providing moving picture using 3d user avatar | |
| KR20220100920A (en) | 3D body model creation | |
| Yu et al. | A video, text, and speech-driven realistic 3-D virtual head for human–machine interface | |
| JP6567609B2 (en) | Synchronizing voice and virtual motion, system and robot body | |
| KR20120005587A (en) | Method and apparatus for generating face animation in computer system | |
| WO2023284435A1 (en) | Method and apparatus for generating animation | |
| JP6783479B1 (en) | Video generation program, video generation device and video generation method | |
| JP2023103335A (en) | Computer program, server device, terminal device, and display method | |
| CN113593013A (en) | Interaction method, system, terminal and VR (virtual reality) equipment based on VR dead person simulation | |
| Pelachaud et al. | Final report to NSF of the standards for facial animation workshop | |
| KR102373608B1 (en) | Electronic apparatus and method for digital human image formation, and program stored in computer readable medium performing the same | |
| CN110139021B (en) | Auxiliary shooting method and terminal equipment | |
| CN110545386B (en) | Method and apparatus for photographing image | |
| KR102247481B1 (en) | Device and method for generating job image having face to which age transformation is applied | |
| CN117078816A (en) | Virtual image generation method, device, terminal equipment and storage medium | |
| CN114303142A (en) | Image generation device | |
| EP4071760A1 (en) | Method and apparatus for generating video | |
| CN117036555A (en) | Digital person generation method and device and digital person generation system | |
| WO2023035725A1 (en) | Virtual prop display method and apparatus | |
| Zhang et al. | Temporal attention and consistency measuring for video question answering | |
| Kumar et al. | Multi modal adaptive normalization for audio to video generation | |
| JP2001034785A (en) | Virtual transformation device | |
| Gunes et al. | 16 automatic analysis of social emotions | |
| CN116820250B (en) | User interaction method and device based on meta universe, terminal and readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |