KR20200019297A - Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same - Google Patents

Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same Download PDF

Info

Publication number
KR20200019297A
KR20200019297A KR1020180093365A KR20180093365A KR20200019297A KR 20200019297 A KR20200019297 A KR 20200019297A KR 1020180093365 A KR1020180093365 A KR 1020180093365A KR 20180093365 A KR20180093365 A KR 20180093365A KR 20200019297 A KR20200019297 A KR 20200019297A
Authority
KR
South Korea
Prior art keywords
facial expression
color map
expression information
feature points
generating
Prior art date
Application number
KR1020180093365A
Other languages
Korean (ko)
Other versions
KR102229061B1 (en
Inventor
한진용
신승호
정준영
최지윤
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180093365A priority Critical patent/KR102229061B1/en
Publication of KR20200019297A publication Critical patent/KR20200019297A/en
Application granted granted Critical
Publication of KR102229061B1 publication Critical patent/KR102229061B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00201—
    • G06K9/00268—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

According to one embodiment, provided is a method for generating a facial expression recognition model which comprises the steps of: extracting a plurality of feature points of a 3D face model; matching a different color to each of the plurality of feature points and generating a reference color map based on the matched color; changing a 3D face model in accordance with facial expression information corresponding to each of a plurality of predetermined facial expressions; storing a reference color map changed in accordance with the changed 3D face model to obtain a color map learning image; and generating a facial expression information recognition model based on the facial expression information and the color map learning image.

Description

표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법{APPARATUS AND METHOD FOR GENERATING RECOGNITION MODEL OF FACIAL EXPRESSION, AND APPARATUS AND METHOD USING THE SAME}Apparatus and method for generating a facial expression recognition model, and apparatus and method for facial expression recognition using the same {APPARATUS AND METHOD FOR GENERATING RECOGNITION MODEL OF FACIAL EXPRESSION, AND APPARATUS AND METHOD USING THE SAME}

본 발명은 이미지 내 객체에 대한 표정 정보를 획득하기 위한 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a facial expression recognition model for acquiring facial expression information of an object in an image, and an apparatus and method for facial expression recognition using the same.

인간의 커뮤니케이션(Communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.There are many ways to communicate with humans. One of them is facial expressions. The other party of the communication can grasp the talker's emotion or intention from the talker's facial expression.

얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다. The communication method using facial expressions can be equally applied to virtual characters appearing in movies and animations. That is, the visitor can grasp information such as the emotion or intention of the character or the surrounding situation from the facial expression of the character.

한편, 캐릭터의 얼굴 표정을 생성하는 기법 중에는 리타게팅(Retargeting) 기법이 있다. 리타게팅 기법이란 사람과 같은 대상체로부터 얼굴 표정을 획득한 뒤, 이러한 얼굴 표정을 캐릭터에 이식하여서 애니메이션을 생성하는 기술을 지칭한다. Meanwhile, one of techniques for generating a facial expression of a character is a retargeting technique. The retargeting technique refers to a technique of generating an animation by obtaining a facial expression from an object such as a human and then implanting the facial expression into a character.

이 때, 보다 자연스러운 결과를 출력하기 위해서는 얼굴 표정을 정확히 획득하는 기술이 중요하다.At this time, in order to output more natural results, a technique for accurately obtaining a facial expression is important.

한국공개특허공보, 제 10-2010-0088347호 (2010.08.09. 공개)Korean Patent Publication No. 10-2010-0088347 (published Aug. 9, 2010)

본 발명이 해결하고자 하는 과제는, 3D 얼굴 모델로부터 생성된 기준 컬러 맵에 기초한 컬러 맵 학습 이미지를 이용하여 표정 정보 인식 모델을 생성하는 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법을 제공하는 것이다.SUMMARY An object of the present invention is to provide an apparatus and method for generating a facial expression recognition model using a color map learning image based on a reference color map generated from a 3D face model, and an apparatus and method for facial expression recognition using the same. To provide.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved by the present invention is not limited to those mentioned above, another problem to be solved is not mentioned can be clearly understood by those skilled in the art from the following description. will be.

일 실시예에 따른 표정 인식 모델 생성 방법은, 3D 얼굴 모델의 복수의 특징점을 추출하는 단계; 상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 단계; 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계; 상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 단계; 및 상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함한다.According to an embodiment, there is provided a method of generating a facial recognition model, including extracting a plurality of feature points of a 3D face model; Mapping a different color to each of the plurality of feature points, and generating a reference color map based on the corresponding color; Changing the 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions; Acquiring a color map training image by storing a reference color map changed according to the changed 3D face model; And generating a facial expression information recognition model based on the facial expression information and the color map learning image.

일 실시예에 따른 표정 인식 방법은, 3D 얼굴 모델의 복수의 특징점을 추출하는 단계; 상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 단계; 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계; 상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 단계; 상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계; 대상 이미지 내 객체의 특징점을 추출하는 단계; 상기 추출된 특징점을 기초로 대상 컬러 맵을 생성하는 단계; 및 상기 생성된 표정 정보 인식 모델을 이용하여 상기 생성된 대상 컬러 맵에 대응되는 상기 표정 정보를 획득하는 단계를 포함한다.An expression recognition method according to an embodiment includes extracting a plurality of feature points of a 3D face model; Mapping a different color to each of the plurality of feature points, and generating a reference color map based on the corresponding color; Changing the 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions; Acquiring a color map training image by storing a reference color map changed according to the changed 3D face model; Generating a facial expression information recognition model based on the facial expression information and the color map learning image; Extracting feature points of the object in the target image; Generating a target color map based on the extracted feature points; And acquiring the facial expression information corresponding to the generated target color map using the generated facial expression information recognition model.

일 실시예에 따른 표정 인식 모델 생성 장치는, 3D 얼굴 모델의 복수의 특징점을 추출하는 특징점 추출부; 상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 컬러 맵 생성부; 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하고, 상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 학습 이미지 획득부; 및 상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 인식 모델 생성부를 포함한다.An apparatus for generating a facial recognition model according to an embodiment may include a feature point extracting unit configured to extract a plurality of feature points of a 3D face model; A color map generator that corresponds to each of the plurality of feature points and generates a reference color map based on the corresponding color; A learning image obtaining unit for changing a 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions, and storing a reference color map changed according to the changed 3D face model to obtain a color map learning image; And a recognition model generator configured to generate a facial expression information recognition model based on the facial expression information and the color map training image.

일 실시예에 따른 표정 인식 장치는, 3D 얼굴 모델의 복수의 특징점을 추출하는 특징점 추출부; 상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 컬러 맵 생성부; 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하고, 상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 학습 이미지 획득부; 상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 인식 모델 생성부; 및 대상 이미지의 특징점을 기초로 대상 컬러 맵을 생성하고, 상기 생성된 표정 정보 인식 모델을 이용하여 상기 생성된 대상 컬러 맵에 대응되는 상기 표정 정보를 획득하는 표정 정보 획득부를 포함한다.According to an embodiment, an apparatus for recognizing facial expressions may include: a feature point extractor configured to extract a plurality of feature points of a 3D face model; A color map generator that corresponds to each of the plurality of feature points and generates a reference color map based on the corresponding color; A learning image obtaining unit for changing a 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions, and storing a reference color map changed according to the changed 3D face model to obtain a color map learning image; A recognition model generator configured to generate a facial expression information recognition model based on the facial expression information and the color map learning image; And a facial expression information obtaining unit generating a target color map based on the feature points of the target image, and obtaining the facial expression information corresponding to the generated target color map using the generated facial expression information recognition model.

일 실시예에 따른 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는, 3D 얼굴 모델의 복수의 특징점을 추출하는 단계; 상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 단계; 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계; 상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 단계; 및 상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함하는 표정 인식 모델 생성 방법을 수행하도록 프로그램 된다.According to an embodiment, a computer-readable recording medium storing a computer program includes: extracting a plurality of feature points of a 3D face model; Mapping a different color to each of the plurality of feature points, and generating a reference color map based on the corresponding color; Changing the 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions; Acquiring a color map training image by storing a reference color map changed according to the changed 3D face model; And generating a facial expression information recognition model based on the facial expression information and the color map learning image.

일 실시예에 따른 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법은, 3D 얼굴 모델로부터 생성된 기준 컬러 맵에 기초한 컬러 맵 학습 이미지를 학습하므로, 정확도 높은 표정 정보 인식 모델을 생성할 수 있다.An apparatus and method for generating a facial expression recognition model according to an exemplary embodiment, and the apparatus and method for facial expression recognition using the same, generate a highly accurate facial expression information recognition model by learning a color map training image based on a reference color map generated from a 3D face model. can do.

또한, 컬러 맵 학습 이미지를 획득하기 위하여 3D 얼굴 모델을 쉽게 변경할 수 있고, 컬러 맵 학습 이미지 획득 시의 표정 정보를 알 수 있어, 표정 정보 인식 모델 생성을 위한 학습 데이터를 용이하게 확보할 수 있다.In addition, the 3D face model can be easily changed in order to acquire a color map training image, and facial expression information at the time of acquiring the color map training image can be known, thereby easily obtaining training data for generating a facial expression information recognition model.

도 1은 일 실시예에 따른 표정 인식 장치의 기능 블록도이다.
도 2a 및 2b는 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.
도 3은 일 실시예에 따른 특징점 추출부에 의해 3D 얼굴 모델로부터 추출된복수의 특징점을 예시한 도면이다.
도 4는 일 실시예에 따른 컬러 맵 생성부에 의해 3D 표준 모델 상의 특징점 위치에 오브젝트가 배치된 도면이다.
도 5는 일 실시예에 따른 컬러 맵 생성부에 의해 오브젝트 각각에 서로 다른 컬러가 대응된 도면이다.
도 6은 일 실시에에 따른 컬러 맵 생성부에 의해 생성된 기준 컬러 맵을 예시한 도면이다.
도 7은 일 실시예에 따른 학습 이미지 획득부가 이용하는 3D 얼굴 모델의 표정 정보에 대응되는 블렌드 쉐입을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 표정 인식 장치의 기능 블록도이다.
도 9는 일 실시예에 따른 표정 정보 획득 장치로 입력되는 대상 이미지를 예시한 도면이다.
도 10은 일 실시에에 따른 표정 정보 획득장치의 컬러 맵 생성부에 의해 생성되는 대상 컬러 맵을 예시한 도면이다.
도 11은 일 실시예에 따른 표정 인식 모델 생성 방법의 흐름도이다.
도 12는 일 실시예에 따른 표정 인식 방법의 흐름도이다.1 is a functional block diagram of a facial expression recognition apparatus according to an exemplary embodiment.
2A and 2B are diagrams illustrating various examples of a 3D face model used by a 3D model changer according to an exemplary embodiment.
3 is a diagram illustrating a plurality of feature points extracted from a 3D face model by a feature point extractor according to an exemplary embodiment.
4 is a diagram illustrating an object disposed at a feature point on a 3D standard model by a color map generator according to an exemplary embodiment.
5 is a diagram in which different colors correspond to each object by the color map generator according to an exemplary embodiment.
6 is a diagram illustrating a reference color map generated by the color map generator according to one embodiment.
FIG. 7 is a diagram illustrating a blend shape corresponding to facial expression information of a 3D face model used by a training image acquirer, according to an exemplary embodiment.
8 is a functional block diagram of a facial expression recognition apparatus according to an embodiment.
9 is a diagram illustrating a target image input to an apparatus for obtaining facial expression information according to an exemplary embodiment.
10 is a diagram illustrating a target color map generated by a color map generator of an apparatus for obtaining facial expression information according to an exemplary embodiment.
11 is a flowchart of a method of generating a facial expression recognition model, according to an exemplary embodiment.
12 is a flowchart of a facial expression recognition method, according to an exemplary embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be embodied in various different forms, and the present embodiments merely make the disclosure of the present invention complete, and those of ordinary skill in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 일 실시예에 따른 표정 인식 모델 생성 장치의 기능 블록도이다.1 is a functional block diagram of an apparatus for generating a facial recognition model according to an embodiment.

일 실시예에 따른 표정 인식 모델 생성 장치(100)는 이미지 내 객체에 대한 표정 정보를 획득하기 위해 표정 정보 인식 모델을 생성할 수 있다. 여기서, 표정 정보 인식 모델이란 2D 대상 이미지를 기초로 생성된 대상 컬러 맵이 입력되면, 입력된 대상 컬러 맵에 대응되는 3D 얼굴 모델의 표정 정보를 출력하는 모델을 의미할 수 있다.The apparatus 100 for generating a facial expression recognition model according to an embodiment may generate a facial expression information recognition model to obtain facial expression information on an object in an image. Here, when the target color map generated based on the 2D target image is input, the expression information recognition model may mean a model that outputs facial expression information of the 3D face model corresponding to the input target color map.

이하에서는, 표정 정보 인식 모델이 인식하는 객체가 사람(Human)의 얼굴인 경우를 전제로 설명하나, 이에 한정되는 것은 아니고 감정 표현 및 표정을 지을 수 있는 동물, 및 감정 표현과 연관된 신체 부위 등을 포함할 수 있다.Hereinafter, a description will be given on the premise that the object recognized by the facial expression information recognition model is a human face. However, the present invention is not limited thereto, and an animal expressing an emotional expression and an expression, and a body part associated with the emotional expression are described. It may include.

표정 정보 인식 모델을 생성하는 방법 중 인물의 얼굴 이미지를 이용하는 방법이 있다. 이와 같은 방법에 따를 경우, 학습 이미지인 인물의 얼굴 이미지로부터 특징점을 추출하고, 추출된 특징점과 미리 저장된 표정 정보를 비교하여 학습함으로써 표정 정보 인식 모델을 생성할 수 있다.One method of generating a facial expression information recognition model is to use a face image of a person. According to this method, a facial expression information recognition model may be generated by extracting feature points from a face image of a person who is a training image and comparing the extracted feature points with pre-stored facial expression information.

그러나 상술한 방법에 따라 생성된 표정 정보 인식 모델은 인식의 결과에 오차가 존재할 수 있다. 구체적으로, 학습 이미지인 인물의 얼굴 이미지가 정면 얼굴이 아닌 측면 얼굴에 대한 것이라면, 이러한 학습 이미지로부터 정밀한 특징점 추출이 정밀하게 수행될 수 없기 때문에, 정확도 높은 표정 정보 인식 모델을 생성하기 어려울 수 있다.However, in the facial expression information recognition model generated according to the above method, an error may exist in the result of the recognition. Specifically, if the face image of the person, which is the training image, is for the side face instead of the front face, it may be difficult to generate a highly accurate facial expression information recognition model because precise feature point extraction may not be precisely performed from the learning image.

나아가, 상술한 방법에 따를 때 표정 인식 모델 생성을 위해 충분한 학습 이미지의 확보가 요구될 수 있다.Furthermore, according to the method described above, it may be required to secure a sufficient learning image for generating a facial expression recognition model.

이를 해결하기 위해, 본 발명의 일 실시예에 따른 표정 인식 모델 생성 장치(100)는 3D 얼굴 모델을 이용하여 표정 정보 인식 모델을 생성하도록 마련될 수 있다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 표정 인식 모델 생성 장치(100)는 3D 얼굴 모델의 복수의 특징점을 추출하는 특징점 추출부(110); 복수의 특징점 각각에 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 컬러 맵 생성부(120); 표정 정보에 따라 3D 얼굴 모델을 변경하여 컬러 맵 학습 이미지를 획득하는 학습 이미지 획득부(130); 및 표정 정보 및 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 인식 모델 생성부(140)를 포함할 수 있다.To solve this problem, the apparatus 100 for generating a facial expression recognition model according to an embodiment of the present invention may be provided to generate the facial expression information recognition model using a 3D face model. Referring to FIG. 1, the apparatus 100 for generating a facial recognition model according to an embodiment of the present invention may include a feature point extractor 110 which extracts a plurality of feature points of a 3D face model; A color map generator 120 generating a reference color map based on colors corresponding to each of the plurality of feature points; A training image acquisition unit 130 for acquiring a color map training image by changing a 3D face model according to facial expression information; And a recognition model generator 140 generating a facial expression information recognition model based on the facial expression information and the color map learning image.

특징점 추출부(110)는 3D 얼굴 모델의 복수의 특징점을 추출할 수 있다. 여기서, 3D 얼굴 모델이란 인물의 얼굴을 모사한 가상의 3D 캐릭터를 의미할 수 있다. 이하에서는 도 2a 및 2b를 참조하여 3D 얼굴 모델에 대해 설명한다.The feature point extractor 110 may extract a plurality of feature points of the 3D face model. Here, the 3D face model may mean a virtual 3D character that simulates a face of a person. Hereinafter, the 3D face model will be described with reference to FIGS. 2A and 2B.

도 2a 및 2b는 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.2A and 2B are diagrams illustrating various examples of a 3D face model used by a 3D model changer according to an exemplary embodiment.

도 2a를 참조하면, 3D 얼굴 모델은 표준 얼굴의 기하학적 특성이 반영된 3D 메쉬 데이터(Mesh Data) 및 표준 얼굴의 표면 특성이 반영된 텍스쳐 데이터(Texture Data)로 구성될 수 있다. 여기서, 표준 얼굴은 임의의 실제 인물의 얼굴 및 가상 인물의 얼굴 중 적어도 하나를 포함할 수 있다.Referring to FIG. 2A, the 3D face model may include 3D mesh data reflecting geometric characteristics of a standard face and texture data reflecting surface characteristics of a standard face. Here, the standard face may include at least one of a face of an arbitrary real person and a face of a virtual person.

3D 메쉬 데이터는 표준 얼굴의 특징점에 대응되는 본(Bone)과, 각각의 본에 의해 리깅(Rigging)되는 복수의 정점(Vertex)으로 구성될 수 있다. 도 2a를 참조하면, 3D 메쉬 데이터는 얼굴의 크기, 윤곽, 형상 등에 대한 정보를 포함할 수 있다.The 3D mesh data may include a bone corresponding to a feature point of a standard face and a plurality of vertices rigging by each bone. Referring to FIG. 2A, the 3D mesh data may include information about the size, contour, shape, etc. of a face.

또한, 3D 메쉬 데이터를 구성하는 본 및 복수의 정점은 생성된 메쉬 안에서 위치 이동이 가능할 수 있다. 본 및 정점의 이동을 통해, 3D 얼굴 모델을 표정 정보에 따라 변경할 수 있으며, 이에 대하여는 후술한다.In addition, the bone and the plurality of vertices constituting the 3D mesh data may be moved in the generated mesh. By moving the bones and vertices, the 3D face model can be changed according to facial expression information, which will be described later.

텍스쳐 데이터는 표준 얼굴의 표면 특성에 대응되도록 3D 메쉬 데이터 생에 매핑될 수 있다. 도 2a를 참조하면, 텍스쳐 데이터는 얼굴의 피부색이나 질감, 머리카락, 눈동자 등에 대한 정보를 포함할 수 있다.Texture data may be mapped to 3D mesh data generation to correspond to the surface characteristics of a standard face. Referring to FIG. 2A, the texture data may include information about a skin color or texture of a face, hair, eyes, and the like.

도 2a가 표준 얼굴에 대응되는 3D 얼굴 모델을 예시한 것이라면, 도 2b는 도 2a의 3D 얼굴 모델로부터 모델 생성 조건을 변경하여 생성된 3D 얼굴 모델을 의미할 수 있다. 도 2b를 참조하면, 3D 메쉬 데이터와 관련된 얼굴의 크기, 윤곽, 형상 등에 대한 조건인 제 1 모델 생성 조건과 텍스쳐 데이터와 관련된 얼굴의 피부색과 질감, 머리카락, 눈동자 등에 대한 제 2 모델 생성 조건을 변경함으로써, 서로 다른 복수의 3D 얼굴 모델이 생성될 수 있다. If FIG. 2A illustrates a 3D face model corresponding to a standard face, FIG. 2B may mean a 3D face model generated by changing model generation conditions from the 3D face model of FIG. 2A. Referring to FIG. 2B, the first model generation condition, which is a condition for the size, contour, shape, and the like of the face associated with the 3D mesh data, and the second model generation condition for the skin color and texture, hair, eyes, etc. of the face related to the texture data are changed. As a result, a plurality of different 3D face models may be generated.

뿐만 아니라, 3D 메쉬 데이터 및 텍스쳐 데이터 모두와 관련된 성별, 나이, 인종 등에 대한 제 3 모델 생성 조건을 변경함으로써, 또 다른 복수의 3D 얼굴 모델이 생성될 수 있다.In addition, another plurality of 3D face models may be generated by changing the third model generation condition for gender, age, race, etc. related to both the 3D mesh data and the texture data.

이와 같은 3D 얼굴 모델은 공지된 다양한 툴(Tool)에 의해 생성 가능할 수 있다. 예를 들어, 3D 얼굴 모델은 가상 공간에서 사용자를 대신하는 아바타 또는 캐릭터 생성 프로그램에 의해 생성될 수 있다.Such a 3D face model may be generated by various known tools. For example, the 3D face model may be generated by an avatar or character generation program on behalf of a user in a virtual space.

다시 도 1을 참조하면, 특징점 추출부(110)는 상술한 과정에 따라 생성된 3D 얼굴 모델로부터 복수의 특징점을 추출할 수 있다. 이하에서는 도 3을 참조하여 3D 얼굴 모델로부터 복수의 특징점을 추출하는 방법을 설명한다.Referring back to FIG. 1, the feature point extractor 110 may extract a plurality of feature points from the 3D face model generated according to the above-described process. Hereinafter, a method of extracting a plurality of feature points from a 3D face model will be described with reference to FIG. 3.

도 3은 일 실시예에 따른 특징점 추출부에 의해 3D 얼굴 모델로부터 추출된복수의 특징점을 예시한 도면이다.3 is a diagram illustrating a plurality of feature points extracted from a 3D face model by a feature point extractor according to an exemplary embodiment.

상술한 바와 같이, 3D 얼굴 모델은 3D 메쉬 데이터를 포함하고, 3D 메쉬 데이터는 표준 얼굴의 특징점에 대응되는 본을 포함할 수 있다. 따라서, 특징점 추출부(110)는 3D 메쉬 데이터 상의 본의 위치에 기초하여 3D 얼굴 모델의 특징점을 추출할 수 있다. As described above, the 3D face model may include 3D mesh data, and the 3D mesh data may include bones corresponding to feature points of the standard face. Therefore, the feature point extractor 110 may extract the feature point of the 3D face model based on the position of the bone on the 3D mesh data.

도 3을 참조하면, 특징점 추출부(110)는 3D 메쉬 데이터 상의 본의 위치에 대응되는 특징점을 추출할 수 있고, 예를 들어, 표준 얼굴의 눈썹, 눈, 코, 입, 턱 등에 대한 68개의 특징점을 추출할 수 있다.Referring to FIG. 3, the feature point extractor 110 may extract a feature point corresponding to the position of the bone on the 3D mesh data. Feature points can be extracted.

다시 도 1을 참조하면, 컬러 맵 생성부(120)는 특징점 추출부(110)에 의해 3D 얼굴 모델로부터 추출된 복수의 특징점에 기초하여 기준 컬러 맵을 생성할 수 있다. 이하에서는 도 4 내지 6를 참조하여 기준 컬러 맵을 생성하는 방법을 설명한다.Referring back to FIG. 1, the color map generator 120 may generate a reference color map based on the plurality of feature points extracted from the 3D face model by the feature point extractor 110. Hereinafter, a method of generating a reference color map will be described with reference to FIGS. 4 to 6.

도 4는 일 실시예에 따른 컬러 맵 생성부에 의해 3D 표준 모델 상의 특징점 위치에 오브젝트가 배치된 도면이고, 도 5는 일 실시예에 따른 컬러 맵 생성부에 의해 오브젝트 각각에 서로 다른 컬러가 대응된 도면이고, 도 6은 일 실시에에 따른 컬러 맵 생성부에 의해 생성된 기준 컬러 맵을 예시한 도면이고, 고, 도 7은 일 실시예에 따른 학습 이미지 획득부가 이용하는 3D 얼굴 모델의 표정 정보에 대응되는 블렌드 쉐입을 설명하기 위한 도면이다.4 is a diagram illustrating an object disposed at a feature point location on a 3D standard model by a color map generator according to an embodiment, and FIG. 5 illustrates a different color corresponding to each object by the color map generator according to an embodiment. 6 is a diagram illustrating a reference color map generated by the color map generator according to an embodiment, and FIG. 7 is facial expression information of a 3D face model used by the learning image acquirer according to an exemplary embodiment. A diagram for explaining a blend shape corresponding to FIG.

컬러 맵 생성부(120)는 특징점 추출부(110)에 의해 추출된 복수의 특징점에 대응되는 3D 얼굴 모델 상의 위치에 오브젝트를 배치할 수 있다. 도 4를 참조하면, 특징점에 대응되는 3D 얼굴 모델 상의 위치인 눈썹, 눈, 코, 입, 턱 등의 위치에 마름모 형상의 오브젝트가 배치됨을 확인할 수 있다.The color map generator 120 may place the object at a position on the 3D face model corresponding to the plurality of feature points extracted by the feature point extractor 110. Referring to FIG. 4, it can be seen that a rhombus-shaped object is disposed at a position of an eyebrow, an eye, a nose, a mouth, and a chin, which are positions on a 3D face model corresponding to a feature point.

오브젝트 배치 후, 컬러 맵 생성부(120)는 복수의 오브젝트 각각에 서로 다른 컬러를 대응시킬 수 있다. 만약, 68개의 특징점이 추출된 경우, 각각의 특징점에 대응되는 68개의 오브젝트 각각은 서로 다른 색으로 대응될 수 있다. 도 5는 서로 다른 컬러가 대응된 복수의 오브젝트만을 도시한 도면이다. 도 5를 참조하면, 눈, 코, 입 등에 대한 특징점에 대응되는 오브젝트가 각각 서로 다른 색으로 표시됨을 확인할 수 있다.After the object arrangement, the color map generator 120 may associate different colors with each of the plurality of objects. If 68 feature points are extracted, each of the 68 objects corresponding to each feature point may correspond to a different color. 5 is a diagram illustrating only a plurality of objects to which different colors correspond. Referring to FIG. 5, it can be seen that the objects corresponding to the feature points for the eyes, the nose, and the mouth are displayed in different colors.

복수의 오브젝트 각각에 서로 다른 컬러를 대응시킨 후, 컬러 맵 생성부(120)는 복수의 오브젝트에 대응되는 서로 다른 컬러를 기초로 기준 컬러 맵을 생성할 수 있다. 구체적으로, 컬러 맵 생성부(120)는 복수의 오브젝트가 배치된 3D 얼굴 모델을 미리 정해진 기준 방향으로 투사(Projection)하여 2차원 변환한 후, 투사된 복수의 오브젝트만을 이용하여 기준 컬러 맵을 생성할 수 있다. 이 때, 기준 방향은 추후 표정 정보를 획득하기 위한 대상 이미지 내 객체, 즉 얼굴의 촬영 방향에 따라 결정될 수 있다. 예를 들어, 대상 이미지로서 정면 얼굴 영상이 입력될 것으로 예상되는 경우, 기준 방향은 3D 얼굴 모델을 정면 얼굴로 투사하는 방향으로 설정될 수 있다.After mapping different colors to each of the plurality of objects, the color map generator 120 may generate a reference color map based on different colors corresponding to the plurality of objects. In detail, the color map generator 120 projects a 3D face model in which a plurality of objects are arranged in a predetermined reference direction and two-dimensional transforms, and then generates a reference color map using only the plurality of projected objects. can do. In this case, the reference direction may be determined according to a photographing direction of an object in the target image for obtaining facial expression information, that is, a face. For example, when the front face image is expected to be input as the target image, the reference direction may be set to a direction in which the 3D face model is projected onto the front face.

일 실시예에 따른 컬러 맵 생성부(120)는 복수의 특징점 중 인접하는 특징점 각각에 대응되는 컬러를 기초로, 인접하는 특징점 사이의 컬러를 보간하여 기준 컬러 맵을 생성할 수 있다. 구체적으로, 서로 다른 컬러가 대응되는 복수의 오브젝트로 구성되는 메쉬를 가정할 때, 인접하는 적어도 세 개의 오브젝트가 형성하는 폴리곤의 색을 해당 오브젝트의 색을 이용하여 보간함으로써 기준 컬러 맵을 생성할 수 있다. The color map generator 120 according to an embodiment may generate a reference color map by interpolating colors between adjacent feature points based on colors corresponding to each of the feature points among the plurality of feature points. Specifically, assuming a mesh composed of a plurality of objects corresponding to different colors, a reference color map may be generated by interpolating a color of polygons formed by at least three adjacent objects using the color of the corresponding object. have.

도 6은 도 5의 복수의 오브젝트에 기초하여 생성된 기준 컬러 맵을 예시한다. 도 6을 참조하면, 컬러 맵 생성부(120)에 의해 생성되는 기준 컬러 맵은 2차원 이미지로서, 3D 얼굴 모델로부터 추출된 복수의 특징점이 위치하는 영역을 포함하는 크기로 생성될 수 있다.FIG. 6 illustrates a reference color map generated based on the plurality of objects of FIG. 5. Referring to FIG. 6, the reference color map generated by the color map generator 120 may be a two-dimensional image, and may be generated in a size including an area in which a plurality of feature points extracted from a 3D face model are located.

다시 도 1을 참조하면, 학습 이미지 획득부(130)는 생성된 기준 컬러 맵으로부터 컬러 맵 학습 이미지를 획득할 수 있다. 구체적으로, 학습 이미지 획득부(130)는 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 복수의 오브젝트가 배치된 3D 얼굴 모델을 변경하고, 변경된 3D 얼굴 모델을 투사하여 2차원 변환된 오브젝트에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득할 수 있다.Referring back to FIG. 1, the training image acquisition unit 130 may obtain a color map training image from the generated reference color map. In detail, the learning image acquirer 130 changes the 3D face model in which the plurality of objects are arranged according to the facial expression information corresponding to each of the plurality of predetermined facial expressions, and projects the changed 3D face model to the 2D converted object. The color map training image may be acquired by storing the reference color map that is changed according to the above.

학습 이미지 획득부(130)는 상술한 과정에 따라 생성된 3D 얼굴 모델을 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 변경할 수 있다. 여기서, 미리 정해진 표정이란 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 기쁨(Happy), 슬픔(Sad), 놀람(Surprise), 중립(Neutral) 또는 무감정 등과 같이 얼굴을 통해 나타나는 감정 정보 및 졸림(Sleepiness), 집중(Concentration), 부정(Negative), 긍정(Positive), 흥분(Arousal), 균형(Balance) 등과 같이 얼굴을 통해 나타나는 상태 정보를 포함할 수 있다. 다만, 표정의 종류가 상술한 예로 한정되지는 않으며, 설계에 따라 다른 분류 체계가 사용될 수 있다.The training image acquirer 130 may change the 3D face model generated according to the above process according to the facial expression information corresponding to each of the plurality of predetermined facial expressions. Here, the predetermined expression is anger, contempt, disgust, fear, happy, sad, surprise, neutral, or no emotion. It may include emotion information displayed through the face and state information displayed through the face such as sleepyness, concentration, negativeness, positiveness, excitement, arousal, balance, and the like. However, the type of expression is not limited to the above-described example, and other classification systems may be used according to design.

또한, 표정에 대응되는 표정 정보란 해당 표정을 3D 얼굴 모델 상에서 나타내기 위한 3D 메쉬 데이터의 변경 정보를 의미할 수 있고, 일 실시예에 따른 표정 정보는 복수의 표정 각각에 대응되는 블렌드 쉐입(Blend Shape)을 포함할 수 있다. 여기서, 블렌드 쉐입은 3D 메쉬 데이터의 메쉬 안에서 복수의 정점 각각의 이동 거리 및 이동 방향(Displacement)을 의미하고, 복수의 정점 각각에 대한 벡터로서 표현될 수 있다. Also, the expression information corresponding to the expression may mean change information of 3D mesh data for displaying the expression on the 3D face model, and the expression information according to an embodiment may include a blend shape corresponding to each of the plurality of expressions. Shape) may be included. Here, the blend shape means a moving distance and a displacement direction of each of the vertices in the mesh of 3D mesh data, and may be expressed as a vector for each of the plurality of vertices.

블렌드 쉐입은 미리 정해진 복수의 기준 표정 각각에 대하여 벡터로서 정의될 수 있다. 여기서, 기준 표정이란 얼굴 중 특정 부위에 대한 움직임으로 이루어진 표정을 의미할 수 있다. The blend shape may be defined as a vector for each of a plurality of predetermined reference expressions. Here, the reference expression may mean an expression made of movement of a specific part of the face.

도 7은 각각의 기준 표정에 대한 블렌드 쉐입이 적용된 3D 얼굴 모델의 3D 메쉬 데이터를 예시한다. 도 7의 (a)에 도시된 3D 메쉬 데이터는 좌측 눈 깜빡임 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 최대 가중치가 적용된 경우를 나타낸다. 이와 유사하게, 도 7의 (b)는 우측 눈 깜빡임 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 가중치의 최대값이 적용된 3D 메쉬 데이터이고, (c)는 우측 입꼬리 상승 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 가중치의 최대값이 적용된 3D 메쉬 데이터이고, (d)는 입 개방 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 가중치의 최대값이 적용된 3D 메쉬 데이터를 도시한다. 이처럼, 각각의 블렌드 쉐입에 적용되는 가중치를 조절하면, 3D 메쉬 데이터 내에서 기준 표정의 영향을 제어할 수 있다.7 illustrates 3D mesh data of a 3D face model to which blend shapes for each reference facial expression are applied. The 3D mesh data illustrated in FIG. 7A shows a case where the maximum weight is applied to the blend shape having the left eye blink expression as a reference expression. Similarly, (b) of FIG. 7 is 3D mesh data to which a maximum value of weight is applied to a blend shape in which the right eye blink expression is used as a reference expression, and (c) is a blend shape in which the right mouth tail elevation expression is used as the reference expression. 3D mesh data to which the maximum value of the weight is applied to, and (d) shows 3D mesh data to which the maximum value of the weight is applied to the blend shape having the mouth-opening expression as a reference expression. In this way, by adjusting the weight applied to each blend shape, it is possible to control the influence of the reference expression in the 3D mesh data.

상술한 바에 따를 때, 하나의 표정에 대응되는 표정 정보는 복수의 블렌드 쉐입의 특정 조합 비율에 따른 가중합으로 표현될 수 있다. 예를 들어, n개의 기준 표정 각각에 대한 n개의 블렌드 쉐입이 존재하는 경우, 특정 표정은 제 1 기준 표정에 대응되는 블렌드 쉐입 F1에 가중치 w1을 적용하고, 제 2 기준 표정에 대응되는 블렌드 쉐입 F2에 가중치 w2를 적용하고, … , 제 n 기준 표정에 대응되는 블렌드 쉐입 Fn에 가중치 wn을 적용한 후, 이들을 합한 결과가 반영된 3D 메쉬 데이터로서 구현될 수 있다. 이를 기초로, 학습 이미지 획득부(130)는 각각의 블렌드 쉐입에 적용되는 가중치를 달리함으로써 3D 얼굴 모델 상에 원하는 표정을 구현할 수 있다.As described above, the facial expression information corresponding to one facial expression may be expressed as a weighted sum according to a specific combination ratio of a plurality of blend shapes. For example, when there are n blend shapes for each of the n reference facial expressions, the specific facial expression applies a weight w 1 to the blend shape F 1 corresponding to the first reference facial expression and blends corresponding to the second reference facial expression. Apply weight w 2 to shape F 2 ,. After applying the weight w n to the blend shape F n corresponding to the n th reference expression, the sum may be implemented as 3D mesh data reflecting the result. Based on this, the training image acquisition unit 130 may implement a desired facial expression on the 3D face model by varying the weights applied to the respective blend shapes.

학습 이미지 획득부(130)는 이렇게 결정된 복수의 표정 정보에 따라 3D 얼굴 모델을 변경할 수 있다. 구체적으로, 학습 이미지 획득부(130)는 복수의 표정 각각에 대응되는 블렌드 쉐입 조합에 따라 3D 얼굴 모델 중 3D 메쉬 데이터를 구성하는 복수의 정점의 위치를 변경할 수 있다.The training image acquisition unit 130 may change the 3D face model according to the plurality of facial expression information determined as described above. In detail, the training image acquirer 130 may change positions of a plurality of vertices constituting 3D mesh data among the 3D face models according to a blend shape combination corresponding to each of the plurality of expressions.

만약, 모델 생성 조건이 상이한 복수의 3D 얼굴 모델을 이용하는 경우, 학습 이미지 획득부(130)는 서로 다른 복수의 3D 얼굴 모델 각각을 상술한 방법을 통해 변경할 수도 있다.If a plurality of 3D face models having different model generation conditions are used, the training image acquisition unit 130 may change each of the plurality of different 3D face models through the above-described method.

3D 얼굴 모델을 변경한 후, 학습 이미지 획득부(130)는 변경된 3D 얼굴 모델을 미리 정해진 기준 방향으로 투사(Projection)하여 2차원 변환한 후, 투사된 복수의 오브젝트에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득할 수 있다. 3D 얼굴 모델이 변경된다는 것은 복수의 특징점의 위치도 변경됨을 의미하므로, 특징점을 기초로 생성된 기준 컬러 맵도 변경될 수 있다. 따라서, 학습 이미지 획득부(130)는 표정 정보에 따라 변경되는 기준 컬러 맵을 학습 이미지로서 획득할 수 있다.After changing the 3D face model, the training image acquirer 130 projects the changed 3D face model in a predetermined reference direction to perform two-dimensional conversion, and then the reference color map changed according to the plurality of projected objects. The color map training image may be obtained by storing. Since the change in the 3D face model means that the positions of the plurality of feature points are also changed, the reference color map generated based on the feature points may also be changed. Therefore, the training image acquisition unit 130 may acquire a reference color map changed according to the facial expression information as the training image.

다시 도 1을 참조하면, 인식 모델 생성부(140)는 표정 정보 및 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성할 수 있다. 상술한 바와 같이, 표정 정보 인식 모델은 2D 대상 이미지를 기초로 생성된 대상 컬러 맵이 입력되면, 입력된 대상 컬러 맵에 대응되는 3D 얼굴 모델의 표정 정보를 출력하는 모델을 의미할 수 있다. 구체적으로 인식 모델 생성부(140)는 컬러 맵 학습 이미지 및 해당 컬러 맵 학습 이미지가 획득된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 표정 정보 인식 모델을 생성할 수 있다.Referring back to FIG. 1, the recognition model generator 140 may generate a facial expression information recognition model based on the facial expression information and the color map training image. As described above, when the target color map generated based on the 2D target image is input, the facial expression information recognition model may mean a model that outputs facial expression information of the 3D face model corresponding to the input target color map. In detail, the recognition model generating unit 140 may generate the facial expression information recognition model by learning the facial expression information of the 3D face model at the time when the color map training image and the corresponding color map training image are obtained.

일 실시예에 따른 인식 모델 생성부(140)는 딥러닝과 같은 기계학습을 통해 컬러 맵 학습 이미지로부터 표정 정보를 학습할 수 있다. 예를 들어, 인식 모델 생성부(140)는 지도 학습(Supervised Learning)을 통해 표정 정보 인식 모델을 생성할 수 있다. 지도 학습이란 입력과 이에 대응되는 레이블로 구성되는 학습 데이터를 학습하는 기계 학습 방법을 의미하며, 레이블(Label)은 학습 데이터 중 입력에 대한 정답을 의미할 수 있다.The recognition model generator 140 may learn facial expression information from the color map learning image through machine learning such as deep learning. For example, the recognition model generator 140 may generate the facial expression information recognition model through supervised learning. Supervised learning refers to a machine learning method for learning learning data composed of an input and a label corresponding thereto, and a label may mean a correct answer to the input among the learning data.

지도 학습 방법을 따르는 인식 모델 생성부(140)는 컬러 맵 학습 이미지를 입력으로 하고, 해당 컬러 맵 학습 이미지가 획득된 시점의 3D 얼굴 모델의 표정 정보를 레이블로 대응시킨 학습 데이터를 학습할 수 있다. 구체적으로, 인식 모델 생성부(140)는 입력인 컬러 맵 학습 이미지와 정답인 3D 얼굴 모델의 표정 정보 사이의 관계를 학습하고, 그 학습의 결과로서 표정 정보 인식 모델을 생성할 수 있다. The recognition model generating unit 140 may use the color map training image as an input and learn the training data corresponding to the expression information of the 3D face model at the point of time when the corresponding color map training image is acquired by using a label. . In detail, the recognition model generator 140 may learn a relationship between an input color map training image and facial expression information of a correct 3D face model and generate a facial expression information recognition model as a result of the learning.

이와는 달리, 인식 모델 생성부(140)는 컬러 맵 학습 이미지에 3D 얼굴 모델이 레이블 된 일부 학습 데이터와 레이블 되지 않은 컬러 맵 학습 이미지로 이루어진 나머지 학습 데이터를 함께 이용하여 학습하는 반지도 학습(Semisupervised Learning)을 수행하여, 표정 정보 인식 모델을 생성할 수 있다. 또는, 인식 모델 생성부(140)는 학습에 따른 컬러 맵 학습 이미지의 기초가 되는 3D 얼굴 모델의 표정 정보를 판단한 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(Reinforcement Learning)을 통하여, 표정 정보 인식 모델을 생성할 수 있다.On the contrary, the recognition model generator 140 also learns a ring that learns by using some training data with a 3D face model labeled with a color map training image and the remaining training data consisting of an unlabeled color map training image (Semisupervised Learning). ), A facial expression information recognition model may be generated. Alternatively, the recognition model generation unit 140 may use facial feedback information recognition model through reinforcement learning using feedback on whether the result of determining the facial expression information of the 3D face model that is the basis of the color map learning image according to the learning is correct. Can be generated.

인식 모델 생성부(140)에 의해 생성되는 표정 정보 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 일 실시예에 따른 표정 정보 인식 모델은 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들어, 표정 정보 인식 모델은 CNN(Convolution Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델로 구현될 수 있으나, 이에 한정되지는 않는다.The facial expression information recognition model generated by the recognition model generator 140 may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the apparatus. The facial expression information recognition model according to an embodiment may be a model based on a neural network. For example, the facial expression information recognition model may be implemented as a model such as Convolution Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), and Bidirectional Recurrent Deep Neural Network (BRDNN), but is not limited thereto. Does not.

상술한 실시예에 따른 표정 인식 모델 생성 장치(100)를 구성하는 특징점 추출부(110), 컬러 맵 생성부(120), 학습 이미지 획득부(130), 및 인식 모델 생성부(140) 각각은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 표정 인식 모델 생성 장치(100)의 각각의 구성 중 적어도 두 개가 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.Each of the feature point extractor 110, the color map generator 120, the learning image acquirer 130, and the recognition model generator 140 constituting the facial expression recognition model generator 100 according to the above-described embodiment It may be implemented as a computing device including a microprocessor, and for example, may be implemented as at least one of a central processing unit (CPU) and a graphic processing unit (GPU). Alternatively, at least two of each configuration of the facial expression recognition model generation device 100 may be implemented as a system on chip (SOC).

표정 정보 인식 모델이 생성되면, 일 실시예에 따른 표정 인식 장치(200)는 생성된 표정 정보 인식 모델을 이용하여 입력된 대상 이미지 내에 존재하는 객체에 대한 표정 정보를 획득할 수 있다. 이하에서는, 도 8 내지 10을 참조하여, 대상 이미지 내 객체에 대한 표정 정보를 획득하는 방법을 설명한다.When the facial expression information recognition model is generated, the facial expression recognition apparatus 200 according to an embodiment may obtain facial expression information of an object existing in the input target image using the generated facial expression information recognition model. Hereinafter, a method of obtaining facial expression information on an object in a target image will be described with reference to FIGS. 8 to 10.

도 8은 일 실시예에 따른 표정 인식 장치의 기능 블록도이고, 도 9은 일 실시예에 따른 표정 정보 획득 장치로 입력되는 대상 이미지를 예시한 도면이고, 도 10은 일 실시에에 따른 표정 정보 획득 장치의 컬러 맵 생성부에 의해 생성되는 대상 컬러 맵을 예시한 도면이다.8 is a functional block diagram of a facial expression recognition apparatus according to an embodiment, FIG. 9 is a diagram illustrating a target image input to the facial expression information obtaining apparatus according to an embodiment, and FIG. 10 is a facial expression information according to an embodiment. It is a figure which illustrates the target color map produced by the color map generation part of the acquisition apparatus.

도 8을 참조하면, 일 실시예에 따른 표정 인식 장치(200)는, 표정 정보 인식 모델이 저장되는 저장부(210); 대상 이미지로부터 특징점을 추출하는 특징점 추출부(220); 추출된 대상 이미지의 특징점을 기초로 대상 컬러 맵을 생성하는 컬러 맵 생성부(230); 및 표정 정보 인식 모델을 이용하여 대상 컬러 맵에 대응되는 표정 정보를 획득하는 표정 정보 획득부(240)를 포함할 수 있다.Referring to FIG. 8, the facial expression recognition apparatus 200 according to an embodiment may include a storage unit 210 storing a facial expression information recognition model; A feature point extractor 220 for extracting feature points from the target image; A color map generator 230 generating a target color map based on the feature points of the extracted target image; And a facial expression information obtaining unit 240 for obtaining facial expression information corresponding to the target color map by using the facial expression information recognition model.

저장부(210)는 상술한 표정 인식 모델 생성 장치(100)에 의해 생성된 표정 정보 인식 모델을 미리 저장할 수 있다. 이를 위해, 저장부(210)는 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 통해 구현될 수 있다.The storage unit 210 may store in advance the facial expression information recognition model generated by the facial expression recognition model generating apparatus 100 described above. To this end, the storage unit 210 may be a memory type (flash memory type), a hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card type memory (for example SD or XD memory, etc.) ), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic It may be implemented through at least one type of storage medium of a memory, a magnetic disk, and an optical disk.

도 8에서는 표정 정보 인식 모델이 표정 인식 장치(200) 내부의 저장부(210)에 미리 저장되는 경우를 예시하나, 다른 실시예에 따른 표정 인식 장치(200)는 직접 표정 정보 인식 모델을 저장하지 않고, 장치 외부의 클라우드(Cloud) 상에 저장된 표정 정보 인식 모델을 스트리밍 방식으로 수신하여 표정 정보 획득에 이용할 수도 있다.8 illustrates a case in which the facial expression information recognition model is stored in advance in the storage unit 210 inside the facial expression recognition apparatus 200, but the facial expression recognition apparatus 200 according to another embodiment does not directly store the facial expression information recognition model. Instead, the facial expression information recognition model stored on a cloud outside the device may be received in a streaming manner and used to acquire facial expression information.

특징점 추출부(220)는 입력되는 대상 이미지의 특징점을 추출할 수 있다. 대상 이미지로부터 특징점을 추출하기 위해, 일 실시예에 따른 특징점 추출부(220)는 딥러닝 기반의 이미징 프로세싱 기술인 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. The feature point extractor 220 may extract a feature point of the input target image. In order to extract the feature points from the target image, the feature extractor 220 according to an embodiment may use a facial landmark detection algorithm, which is a deep learning based imaging processing technology.

대상 이미지의 특징점을 추출한 후, 컬러 맵 생성부(230)는 추출된 특징점에 기초하여 대상 컬러 맵을 생성할 수 있다. 이를 위해, 컬러 맵 생성부(230)는 먼저 대상 이미지의 복수의 특징점 각각에 3D 얼굴 모델의 복수의 특징점과 동일한 컬러를 대응시킬 수 있다. 구체적으로, 컬러 맵 생성부(230)는 대상 이미지의 각각의 특징점에 대응되는 3D 얼굴 모델의 특징점을 확인하고, 대응되는 3D 얼굴 모델의 특징점에 대응되는 컬러와 동일한 컬러를 대상 이미지의 특징점에 대응시킬 수 있다.After extracting the feature points of the target image, the color map generator 230 may generate the target color map based on the extracted feature points. To this end, the color map generator 230 may first match the same color as the plurality of feature points of the 3D face model to each of the feature points of the target image. In detail, the color map generator 230 identifies a feature point of the 3D face model corresponding to each feature point of the target image, and corresponds to a feature point of the target image with the same color as the color corresponding to the feature point of the corresponding 3D face model. You can.

대상 이미지의 복수의 특징점 각각에 컬러를 대응시킨 후, 컬러 맵 생성부(230)는 대응되는 컬러를 기초로 대상 컬러 맵을 생성할 수 있다. 이 때, 복수의 특징점에 대응되는 컬러에 기초하여 대상 컬러 맵을 생성하는 방법은 기준 컬러 맵을 생성하는 방법과 동일하므로 자세한 설명은 생략한다.After the color is mapped to each of the plurality of feature points of the target image, the color map generator 230 may generate the target color map based on the corresponding color. In this case, since the method of generating the target color map based on the color corresponding to the plurality of feature points is the same as the method of generating the reference color map, detailed description thereof will be omitted.

만약, 도 9와 같은 대상 이미지가 입력된 경우, 표정 인식 장치(200)의 컬러 맵 생성부(230)는 도 10과 같은 대상 컬러 맵을 생성할 수 있다.If the target image as shown in FIG. 9 is input, the color map generator 230 of the facial expression recognition apparatus 200 may generate the target color map as shown in FIG. 10.

대상 컬러 맵을 생성한 후, 표정 정보 획득부(240)는 표정 정보 인식 모델을 이용하여 대상 컬러 맵에 대응되는 3D 얼굴 모델의 표정 정보를 획득할 수 있다. 이렇게 획득된 표정 정보는 대상 이미지 내 객체, 즉 인물의 표정에 대응되는 블렌드 쉐입을 포함할 수 있다. After generating the target color map, the facial expression information acquisition unit 240 may obtain facial expression information of the 3D face model corresponding to the target color map by using the facial expression information recognition model. The facial expression information thus obtained may include a blend shape corresponding to the facial expression of an object in the target image, that is, a person.

따라서, 획득된 표정 정보가 미리 정해진 아바타 또는 캐릭터 등과 같은 3D 얼굴 모델에 추후 적용되면, 3D 얼굴 모델은 대상 이미지와 유사한 표정을 가지도록 리타게팅(Retargeting)될 수 있다.Therefore, when the acquired facial expression information is later applied to a 3D face model such as a predetermined avatar or character, the 3D face model may be retargeted to have a facial expression similar to the target image.

상술한 실시예에 따른 표정 인식 장치(200)를 구성하는 각각의 구성은 마이크로프로세서를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치 및 그래픽 처리 장치 중 적어도 하나로 구현될 수 있다. 이와는 달리, 표정 인식 장치(200)는 표정 인식 모델 생성 장치(100)의 각각의 구성 중 적어도 두 개가 SOC으로 구현되는 것도 가능할 수 있다.Each of the components constituting the facial expression recognition apparatus 200 according to the above-described embodiment may be implemented as a computing device including a microprocessor, and for example, may be implemented as at least one of a central processing unit and a graphics processing unit. Alternatively, the facial expression recognition apparatus 200 may be implemented with SOC at least two of the respective components of the facial expression recognition model generation device 100.

또한, 상술한 표정 인식 모델 생성 장치(100)와 표정 인식 장치(200)가 하나의 장치로 구현될 수도 있으며, 이 경우 표정 인식 모델 생성 장치(100)의 특징점 추출부(110)와 표정 인식 장치(200)의 특징점 추출부(210) 및/또는 표정 인식 모델 생성 장치(100)의 컬러 맵 생성부(120)와 표정 인식 장치(200)의 컬러 맵 생성부(220)가 공유되어 이용되도록 마련될 수도 있다.In addition, the above-described facial expression recognition model generating apparatus 100 and the facial expression recognition apparatus 200 may be implemented as one device. In this case, the feature point extracting unit 110 and the facial expression recognition apparatus of the facial expression recognition model generating apparatus 100 may be implemented. The feature point extractor 210 and / or the color map generator 120 of the facial expression recognition model generating apparatus 100 and the color map generator 220 of the facial expression recognition apparatus 200 may be shared and used. May be

지금까지는 도 1의 표정 인식 모델 생성 장치(100) 및 도 7의 표정 인식 장치(200)의 구성에 대하여 설명하였다. 이하에서는 도 1의 표정 인식 모델 생성 장치(100)에 의해 수행되는 표정 인식 모델 생성 방법 및 도 7의 표정 인식 장치(200)에 의해 수행되는 표정 인식 방법을 설명한다.So far, the configuration of the facial expression recognition model generating apparatus 100 of FIG. 1 and the facial expression recognition apparatus 200 of FIG. 7 has been described. Hereinafter, the facial expression recognition model generation method performed by the facial expression recognition model generating apparatus 100 of FIG. 1 and the facial expression recognition method performed by the facial expression recognition apparatus 200 of FIG. 7 will be described.

도 11은 일 실시예에 따른 표정 인식 모델 생성 방법의 흐름도이다.11 is a flowchart of a method of generating a facial expression recognition model, according to an exemplary embodiment.

먼저, 표정 인식 모델 생성 장치(100)는 3D 얼굴 모델의 복수의 특징점을 추출할 수 있다(S100). 여기서, 3D 얼굴 모델은 표준 얼굴의 기하학적 특성이 반영된 3D 메쉬 데이터(Mesh Data) 및 표준 얼굴의 표면 특성이 반영된 텍스쳐 데이터(Texture Data)로 구성될 수 있고, 3D 얼굴 모델의 복수의 특징점은 3D 메쉬 데이터의 본의 위치에 기초하여 추출될 수 있다.First, the facial expression recognition model generating apparatus 100 may extract a plurality of feature points of the 3D face model (S100). Here, the 3D face model may be composed of 3D mesh data reflecting the geometric characteristics of the standard face and texture data reflecting the surface characteristics of the standard face, and the plurality of feature points of the 3D face model are 3D meshes. It may be extracted based on the location of the bone of the data.

그 다음, 표정 인식 모델 생성 장치(100)는 복수의 특징점 각각에 대응되는 컬러를 기초로 기준 컬러 맵을 생성할 수 있다(S110). 이 때, 복수의 특징점 각각에는 서로 다른 컬러가 대응될 수 있다.Next, the facial expression recognition model generating apparatus 100 may generate a reference color map based on colors corresponding to each of the plurality of feature points (S110). In this case, different colors may correspond to each of the feature points.

구체적으로, 표정 인식 모델 생성 장치(100)는 3D 얼굴 모델의 복수의 특징점에 서로 다른 컬러의 오브젝트를 배치하고, 3D 얼굴 모델을 미리 정해진 기준 방향으로 투사(Projection)하여 2차원 변환한 후, 투사된 복수의 오브젝트만을 이용하여 기준 컬러 맵을 생성할 수 있다. 이 때, 기준 방향은 추후 표정 정보를 획득하기 위한 대상 이미지 내 객체, 즉 얼굴의 촬영 방향에 따라 결정될 수 있다. In detail, the apparatus 100 for generating a facial expression recognition model may place objects of different colors on a plurality of feature points of the 3D face model, project the 3D face model in a predetermined reference direction, and two-dimensionally transform the projection. The reference color map may be generated using only the plurality of objects. In this case, the reference direction may be determined according to a photographing direction of an object in the target image for obtaining facial expression information, that is, a face.

일 실시예에 따른 표정 인식 모델 생성 장치(100)는 복수의 특징점 중 인접하는 특징점 각각에 대응되는 컬러를 기초로 인접하는 특징점 사이의 컬러를 보간하여 기준 컬러 맵을 생성할 수 있다.The apparatus 100 for generating facial expression recognition models according to an exemplary embodiment may generate a reference color map by interpolating colors between adjacent feature points based on colors corresponding to each of the feature points among a plurality of feature points.

기준 컬러 맵을 생성한 후, 표정 인식 모델 생성 장치(100)는 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경할 수 있다(S120). 여기서, 표정 정보는 해당 표정을 3D 얼굴 모델 상에서 나타내기 위한 3D 메쉬 데이터의 변경 정보로서 블렌드 쉐입(Blend Shape)을 포함할 수 있다.After generating the reference color map, the facial expression recognition model generating apparatus 100 may change the 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions (S120). Here, the facial expression information may include a blend shape as change information of 3D mesh data for displaying the facial expression on the 3D face model.

표정 정보에 따라 3D 얼굴 모델을 변경한 후, 표정 인식 모델 생성 장치(100)는 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득할 수 있다(S130). 구체적으로, 표정 인식 모델 생성 장치(200)는 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 복수의 오브젝트가 배치된 3D 얼굴 모델을 변경하고, 변경된 3D 얼굴 모델을 투사하여 2차원 변환된 오브젝트에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득할 수 있다.After changing the 3D face model according to the facial expression information, the facial expression recognition model generating apparatus 100 may obtain a color map training image by storing the reference color map changed according to the changed 3D face model (S130). In detail, the facial expression recognition model generating apparatus 200 changes a 3D face model in which a plurality of objects are arranged according to facial expression information corresponding to each of a plurality of predetermined facial expressions, and projects the changed 3D face model to 2D transformed object. The color map training image may be obtained by storing the reference color map that is changed according to FIG.

마지막으로, 표정 인식 모델 생성 장치(100)는 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성할 수 있다(S140). 구체적으로 표정 인식 모델 생성 장치(200)는 컬러 맵 학습 이미지가 획득된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 표정 정보 인식 모델을 생성할 수 있다.Finally, the facial expression recognition model generating apparatus 100 may generate the facial expression information recognition model based on the facial expression information and the color map training image (S140). In detail, the apparatus 200 for generating the facial expression recognition model may generate the facial expression information recognition model by learning the facial expression information of the 3D face model at the time when the color map training image is obtained.

도 12는 일 실시예에 따른 표정 인식 방법의 흐름도이다.12 is a flowchart of a facial expression recognition method, according to an exemplary embodiment.

먼저, 표정 인식 장치(200)는 대상 이미지가 입력되었는지 확인할 수 있다(S200). 만약, 대상 이미지가 입력되지 않았다면, 표정 인식 장치(200)는 반복하여 이를 확인할 수 있다.First, the facial expression recognition apparatus 200 may check whether a target image is input (S200). If the target image is not input, the facial expression recognition apparatus 200 may repeatedly check it.

반면, 대상 이미지가 입력된 경우, 표정 인식 장치(200)는 대상 이미지 내 객체의 특징점을 추출할 수 있다(S210). 이 때, 표정 인식 장치(200)는 딥러닝 기반의 이미지 프로세싱 기술인 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다.On the other hand, when the target image is input, the facial expression recognition apparatus 200 may extract the feature point of the object in the target image (S210). In this case, the facial expression recognition apparatus 200 may use a facial landmark detection algorithm, which is a deep learning based image processing technology.

그 다음, 표정 인식 장치(200)는 추출된 특징점을 기초로 대상 컬러 맵을 생성할 수 있다(S220). 구체적으로, 표정 인식 장치(200)는 대상 이미지의 복수의 특징점 각각에 3D 얼굴 모델의 복수의 특징점과 동일한 컬러를 대응시키고, 대응되는 컬러를 기초로 대상 컬러 맵을 생성할 수 있다.Next, the facial expression recognition apparatus 200 may generate a target color map based on the extracted feature points (S220). In detail, the facial expression recognition apparatus 200 may correspond to each of the plurality of feature points of the target image with the same color as the plurality of feature points of the 3D face model, and generate a target color map based on the corresponding color.

마지막으로, 표정 인식 장치(200)는 표정 정보 인식 모델을 이용하여 대상 컬러 맵에 대응되는 3D 얼굴 모델의 표정 정보를 획득할 수 있다(S230). 이렇게 획득된 표정 정보는 대상 이미지 내 객체, 즉 인물의 표정에 대응되는 블렌드 쉐입을 포함할 수 있다. Finally, the facial expression recognition apparatus 200 may obtain facial expression information of the 3D face model corresponding to the target color map by using the facial expression information recognition model (S230). The facial expression information thus obtained may include a blend shape corresponding to the facial expression of an object in the target image, that is, a person.

따라서, 획득된 표정 정보가 미리 정해진 아바타 또는 캐릭터 등과 같은 3D 얼굴 모델에 추후 적용되면, 3D 얼굴 모델은 대상 이미지 내 객체와 유사한 표정을 가지도록 리타게팅(Retargeting)될 수 있다.Therefore, when the acquired facial expression information is later applied to a 3D face model such as a predetermined avatar or character, the 3D face model may be retargeted to have a facial expression similar to an object in the target image.

상술한 실시예에 따른 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법은, 3D 얼굴 모델로부터 생성된 기준 컬러 맵에 기초한 컬러 맵 학습 이미지를 학습하므로, 정확도 높은 표정 정보 인식 모델을 생성할 수 있다. 또한, 컬러 맵 학습 이미지를 획득하기 위하여 3D 얼굴 모델을 쉽게 변경할 수 있고, 컬러 맵 학습 이미지 획득 시의 표정 정보를 알 수 있어, 표정 정보 인식 모델 생성을 위한 학습 데이터를 용이하게 확보할 수 있다.The apparatus and method for generating a facial expression recognition model according to the above-described embodiment, and the facial expression recognition apparatus and method using the same, learn a color map learning image based on a reference color map generated from a 3D face model, and thus, generate a highly accurate facial expression information recognition model. Can be generated. In addition, the 3D face model can be easily changed in order to acquire the color map training image, and facial expression information at the time of acquiring the color map training image can be known, thereby easily obtaining training data for generating the facial expression information recognition model.

한편, 상술한 일 실시예에 따른 표정 인식 모델 생성 방법 및 표정 인식 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.Meanwhile, each step included in the facial expression recognition model generation method and the facial expression recognition method according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.

한편, 상술한 일 실시예에 따른 표정 인식 모델 생성 방법 및 표정 인식 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.Meanwhile, each step included in the facial expression recognition model generation method and the facial expression recognition method according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential quality of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas falling within the equivalent scope of the present invention should be construed as being included in the scope of the present invention.

일 실시예에 따르면, 상술한 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.According to an embodiment, the apparatus and method for generating a facial expression recognition model described above, and the apparatus and method for facial expression recognition using the same may be used in various fields, such as a home or an industrial site, and thus may be industrially applicable.

100: 표정 인식 모델 생성 장치
200: 표정 인식 장치100: facial expression recognition model generation device
200: facial expression recognition device

Claims (15)

3D 얼굴 모델의 복수의 특징점을 추출하는 단계;
상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 단계;
미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계;
상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 단계; 및
상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함하는
표정 인식 모델 생성 방법.Extracting a plurality of feature points of the 3D face model;
Mapping a different color to each of the plurality of feature points, and generating a reference color map based on the corresponding color;
Changing the 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions;
Acquiring a color map training image by storing a reference color map changed according to the changed 3D face model; And
Generating a facial expression information recognition model based on the facial expression information and the color map training image;
How to create facial expression recognition model. 제 1 항에 있어서,
상기 표정 정보 인식 모델을 생성하는 단계는,
상기 컬러 맵 학습 이미지가 획득된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 상기 표정 정보 인식 모델을 생성하는
표정 인식 모델 생성 방법. The method of claim 1,
Generating the facial expression information recognition model,
Generating the facial expression information recognition model by learning the facial expression information of the 3D face model at the time when the color map training image is obtained;
How to create facial expression recognition model. 제 1 항에 있어서,
상기 기준 컬러 맵을 생성하는 단계는,
상기 복수의 특징점 중 인접하는 특징점 각각에 대응되는 컬러를 기초로 상기 인접하는 특징점 사이의 컬러를 보간하여 상기 기준 컬러 맵을 생성하는
표정 인식 모델 생성 방법.The method of claim 1,
Generating the reference color map,
Generating the reference color map by interpolating colors between the adjacent feature points based on colors corresponding to each of the feature points among the plurality of feature points
How to create facial expression recognition model. 제 1 항에 있어서,
상기 표정 정보는,
상기 복수의 표정 각각에 대응되는 블렌드 쉐입(Blend Shape)을 포함하는
표정 인식 모델 생성 방법.The method of claim 1,
The facial expression information,
A blend shape corresponding to each of the plurality of expressions;
How to create facial expression recognition model. 대상 이미지 내 객체의 특징점을 추출하는 단계;
상기 추출된 특징점을 기초로 대상 컬러 맵을 생성하는 단계; 및
3D 얼굴 모델의 복수의 특징점에 기초한 컬러 맵 학습 이미지로부터 생성된 표정 정보 인식 모델을 이용하여 상기 생성된 대상 컬러 맵에 대응되는 상기 표정 정보를 획득하는 단계를 포함하는
표정 인식 방법.Extracting feature points of the object in the target image;
Generating a target color map based on the extracted feature points; And
Obtaining the facial expression information corresponding to the generated target color map by using the facial expression information recognition model generated from the color map training image based on the plurality of feature points of the 3D face model.
Facial expression recognition method. 제 5 항에 있어서,
상기 표정 정보 인식 모델은,
미리 정해진 복수의 표정 각각에 대응되는 표정 정보를 기초로 상기 3D 얼굴 모델이 변경됨에 따라, 상기 3D 얼굴 모델의 상기 복수의 특징점 각각에 대응된 서로 다른 컬러를 기초로 획득된 상기 컬러 맵 학습 이미지 및 상기 표정 정보에 의해 생성되는
표정 인식 방법.The method of claim 5, wherein
The facial expression information recognition model,
As the 3D face model is changed based on facial expression information corresponding to each of a plurality of predetermined facial expressions, the color map learning image obtained based on different colors corresponding to each of the plurality of feature points of the 3D face model; Generated by the facial expression information
Facial expression recognition method. 제 6 항에 있어서,
상기 대상 컬러 맵을 생성하는 단계는,
상기 대상 이미지의 복수의 특징점 각각에 상기 3D 얼굴 모델의 복수의 특징점과 동일한 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 대상 컬러 맵을 생성하는
표정 인식 방법.The method of claim 6,
Generating the target color map,
Corresponding a plurality of feature points of the target image with the same color as the feature points of the 3D face model, and generating a target color map based on the corresponding color.
Facial expression recognition method. 3D 얼굴 모델의 복수의 특징점을 추출하는 특징점 추출부;
상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 컬러 맵 생성부;
미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하고, 상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 학습 이미지 획득부; 및
상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 인식 모델 생성부를 포함하는
표정 인식 모델 생성 장치.A feature point extractor for extracting a plurality of feature points of the 3D face model;
A color map generator that corresponds to each of the plurality of feature points and generates a reference color map based on the corresponding color;
A learning image obtaining unit for changing a 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions, and storing a reference color map changed according to the changed 3D face model to obtain a color map learning image; And
A recognition model generator configured to generate a facial expression information recognition model based on the facial expression information and the color map training image;
Apparatus for generating facial expression recognition model. 제 8 항에 있어서,
상기 인식 모델 생성부는,
상기 컬러 맵 학습 이미지가 입력되면, 상기 입력된 컬러 맵 학습 이미지가 획득된 3D 얼굴 모델의 표정 정보를 학습하여 상기 표정 정보 인식 모델을 생성하는
표정 인식 모델 생성 장치. The method of claim 8,
The recognition model generator,
When the color map training image is input, the expression information recognition model is generated by learning expression information of the 3D face model from which the input color map training image is obtained.
Apparatus for generating facial expression recognition model. 제 8 항에 있어서,
상기 컬러 맵 생성부는,
상기 복수의 특징점 중 인접하는 특징점 각각에 대응되는 컬러를 기초로 상기 인접하는 특징점 사이의 컬러를 보간하여 상기 기준 컬러 맵을 생성하는
표정 인식 모델 생성 장치.The method of claim 8,
The color map generator,
Generating the reference color map by interpolating colors between the adjacent feature points based on colors corresponding to each of the feature points among the plurality of feature points
Apparatus for generating facial expression recognition model. 제 8 항에 있어서,
상기 표정 정보는,
상기 복수의 표정 각각에 대응되는 블렌드 쉐입(Blend Shape)을 포함하는
표정 인식 모델 생성 장치.The method of claim 8,
The facial expression information,
A blend shape corresponding to each of the plurality of expressions;
Apparatus for generating facial expression recognition model. 대상 이미지 내 객체의 특징점을 추출하는 특징점 추출부;
상기 추출된 특징점을 기초로 대상 컬러 맵을 생성하는 컬러 맵 생성부; 및
상기 생성된 표정 정보 인식 모델을 이용하여 상기 생성된 대상 컬러 맵에 대응되는 상기 표정 정보를 획득하는 표정 정보 획득부를 포함하는
표정 인식 장치.A feature point extracting unit extracting feature points of an object in the target image;
A color map generator for generating a target color map based on the extracted feature points; And
And a facial expression information obtaining unit which obtains the facial expression information corresponding to the generated target color map by using the generated facial expression information recognition model.
Facial expression recognition device. 제 12 항에 있어서,
상기 표정 정보 인식 모델은,
미리 정해진 복수의 표정 각각에 대응되는 표정 정보를 기초로 상기 3D 얼굴 모델이 변경됨에 따라, 상기 3D 얼굴 모델의 상기 복수의 특징점 각각에 대응된 서로 다른 컬러를 기초로 획득된 상기 컬러 맵 학습 이미지 및 상기 표정 정보에 의해 생성되는
표정 인식 장치.The method of claim 12,
The facial expression information recognition model,
As the 3D face model is changed based on facial expression information corresponding to each of a plurality of predetermined facial expressions, the color map learning image obtained based on different colors corresponding to each of the plurality of feature points of the 3D face model; Generated by the facial expression information
Facial expression recognition device. 제 13 항에 있어서,
상기 표정 정보 획득부는,
상기 대상 이미지의 복수의 특징점 각각에 상기 3D 얼굴 모델의 복수의 특징점과 동일한 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 대상 컬러 맵을 생성하는
표정 인식 장치.The method of claim 13,
The facial expression information acquisition unit,
Corresponding a plurality of feature points of the target image with the same color as the feature points of the 3D face model, and generating a target color map based on the corresponding color.
Facial expression recognition device. 3D 얼굴 모델의 복수의 특징점을 추출하는 단계;
상기 복수의 특징점 각각에 서로 다른 컬러를 대응시키고, 상기 대응되는 컬러를 기초로 기준 컬러 맵을 생성하는 단계;
미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계;
상기 변경된 3D 얼굴 모델에 따라 변경되는 기준 컬러 맵을 저장하여 컬러 맵 학습 이미지를 획득하는 단계; 및
상기 표정 정보 및 상기 컬러 맵 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함하는
표정 인식 모델 생성 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.Extracting a plurality of feature points of the 3D face model;
Mapping a different color to each of the plurality of feature points, and generating a reference color map based on the corresponding color;
Changing the 3D face model according to facial expression information corresponding to each of a plurality of predetermined facial expressions;
Acquiring a color map training image by storing a reference color map changed according to the changed 3D face model; And
Generating a facial expression information recognition model based on the facial expression information and the color map training image;
A computer-readable recording medium storing a computer program programmed to perform a method of generating a facial expression recognition model.
KR1020180093365A 2018-08-09 2018-08-09 Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same KR102229061B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180093365A KR102229061B1 (en) 2018-08-09 2018-08-09 Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180093365A KR102229061B1 (en) 2018-08-09 2018-08-09 Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same

Publications (2)

Publication Number Publication Date
KR20200019297A true KR20200019297A (en) 2020-02-24
KR102229061B1 KR102229061B1 (en) 2021-03-17

Family

ID=69637450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180093365A KR102229061B1 (en) 2018-08-09 2018-08-09 Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same

Country Status (1)

Country Link
KR (1) KR102229061B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220049689A (en) 2020-10-15 2022-04-22 주식회사 케이티 Device, method and computer program for rendering facial expressing of avator
KR20220124441A (en) * 2021-03-03 2022-09-14 쿠팡 주식회사 Point of sale management device, controlling method of the point of sale management device and a computer readable recording medium storing a program that controls the point of sale management device
KR102601159B1 (en) * 2022-09-30 2023-11-13 주식회사 아리아스튜디오 Virtual human interaction generating device and method therof
KR102652652B1 (en) * 2022-11-29 2024-03-29 주식회사 일루니 Apparatus and method for generating avatar

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109907A (en) * 1999-10-04 2001-04-20 Sharp Corp Three-dimensional model generation device, three- dimensional model generation method, and recording medium recording three-dimensional model generation program
JP2001338290A (en) * 2000-05-26 2001-12-07 Minolta Co Ltd Device and method for image processing and computer- readable with medium recording recorded with image processing program
KR20100088347A (en) 2009-01-30 2010-08-09 서강대학교산학협력단 Method for retargeting expression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109907A (en) * 1999-10-04 2001-04-20 Sharp Corp Three-dimensional model generation device, three- dimensional model generation method, and recording medium recording three-dimensional model generation program
JP2001338290A (en) * 2000-05-26 2001-12-07 Minolta Co Ltd Device and method for image processing and computer- readable with medium recording recorded with image processing program
KR20100088347A (en) 2009-01-30 2010-08-09 서강대학교산학협력단 Method for retargeting expression

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220049689A (en) 2020-10-15 2022-04-22 주식회사 케이티 Device, method and computer program for rendering facial expressing of avator
KR20220124441A (en) * 2021-03-03 2022-09-14 쿠팡 주식회사 Point of sale management device, controlling method of the point of sale management device and a computer readable recording medium storing a program that controls the point of sale management device
KR102601159B1 (en) * 2022-09-30 2023-11-13 주식회사 아리아스튜디오 Virtual human interaction generating device and method therof
KR102652652B1 (en) * 2022-11-29 2024-03-29 주식회사 일루니 Apparatus and method for generating avatar

Also Published As

Publication number Publication date
KR102229061B1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
US11430169B2 (en) Animating virtual avatar facial movements
CN111354079B (en) Three-dimensional face reconstruction network training and virtual face image generation method and device
Lassner et al. A generative model of people in clothing
KR102229061B1 (en) Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same
JP7011146B2 (en) Image processing device, image processing method, image processing program, and teacher data generation method
EP3885965B1 (en) Image recognition method based on micro facial expressions, apparatus and related device
WO2018079255A1 (en) Image processing device, image processing method, and image processing program
CN106919899A (en) The method and system for imitating human face expression output based on intelligent robot
CN111833236B (en) Method and device for generating three-dimensional face model for simulating user
Alabbasi et al. Real time facial emotion recognition using kinect V2 sensor
US20230012372A1 (en) Methods and systems for generating three dimensional (3d) models of objects
Loconsole et al. Real-time emotion recognition: an improved hybrid approach for classification performance
Yu et al. A video-based facial motion tracking and expression recognition system
CN111259814A (en) Living body detection method and system
KR20210026521A (en) Method and apparatus for generating a 3d avatar through hair styles analysis
CN112699857A (en) Living body verification method and device based on human face posture and electronic equipment
Neverova Deep learning for human motion analysis
KR102229056B1 (en) Apparatus and method for generating recognition model of facial expression and computer recordable medium storing computer program thereof
El-Nouby et al. Keep drawing it: Iterative language-based image generation and editing
KR102229034B1 (en) Apparatus and method for creating information related to facial expression and apparatus for creating facial expression
Zalewski et al. 2d statistical models of facial expressions for realistic 3d avatar animation
Libralon et al. Mapping of facial elements for emotion analysis
CN109876457A (en) Game role generation method, device and storage medium
KR102630872B1 (en) Apparatus and method for learning facial expression recognition
US12039454B2 (en) Microexpression-based image recognition method and apparatus, and related device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant