KR20200019296A - 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 - Google Patents
표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 Download PDFInfo
- Publication number
- KR20200019296A KR20200019296A KR1020180093348A KR20180093348A KR20200019296A KR 20200019296 A KR20200019296 A KR 20200019296A KR 1020180093348 A KR1020180093348 A KR 1020180093348A KR 20180093348 A KR20180093348 A KR 20180093348A KR 20200019296 A KR20200019296 A KR 20200019296A
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- model
- recognition model
- expression information
- face
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000014509 gene expression Effects 0.000 claims description 33
- 239000000203 mixture Substances 0.000 claims description 23
- 210000001747 pupil Anatomy 0.000 claims 2
- 238000012549 training Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G06K9/00302—
-
- G06K9/00208—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
일 실시예에 따른 표정 인식 모델 생성 방법은, 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계; 상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 단계; 및 상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함한다.
Description
본 발명은 이미지 내 객체에 대한 표정 정보를 획득하기 위한 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체에 관한 것이다.
인간의 커뮤니케이션(Communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.
얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다.
한편, 캐릭터의 얼굴 표정을 생성하는 기법 중에는 리타게팅(Retargeting) 기법이 있다. 리타게팅 기법이란 사람과 같은 대상체로부터 얼굴 표정을 획득한 뒤, 이러한 얼굴 표정을 캐릭터에 이식하여서 애니메이션을 생성하는 기술을 지칭한다.
이 때, 보다 자연스러운 결과를 출력하기 위해서는 얼굴 표정을 정확히 획득하는 기술이 중요하다.
본 발명이 해결하고자 하는 과제는, 3D 얼굴 모델로부터 캡쳐된 2D 학습 이미지 및 캡쳐 시 3D 얼굴 모델의 표정 정보를 학습하여 표정 정보 인식 모델을 생성하는 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체를 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 표정 인식 모델 생성 방법은, 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계; 상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 단계; 및 상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함한다.
일 실시예에 따른 표정 인식 모델 생성 장치는, 3D 얼굴 모델로부터 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 3D 모델 변경부; 상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 캡쳐부; 및 상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 인식 모델 생성부를 포함한다.
일 실시예에 따른 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는, 3D 얼굴 모델로부터 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계; 상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 단계; 및 상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함하는 표정 인식 모델 생성 방법을 수행하도록 프로그램 된다.
일 실시예에 따른 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는, 표정 정보의 확인이 가능한 3D 얼굴 모델로부터 캡쳐된 2D 학습 이미지를 학습하므로, 정확도 높은 표정 정보 인식 모델을 생성할 수 있다.
또한, 2D 학습 이미지를 3D 얼굴 모델로부터 캡쳐하기 위한 캡쳐 조건을 쉽게 변경할 수 있고, 캡쳐 시의 표정 정보를 알 수 있어, 표정 정보 인식 모델 생성을 위한 학습 데이터를 용이하게 확보할 수 있다.
도 1은 일 실시예에 따른 표정 인식 모델 생성 장치의 기능 블록도이다.
도 2a 및 2b는 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.
도 3은 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 표정 정보에 대응되는 블렌드 쉐입을 설명하기 위한 도면이다.
도 4a 및 4b는 일 실시에에 따른 3D 모델 변경부에 의해 변경된 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.
도 5a 및 5b는 일 실시에에 따른 캡쳐부에 의해 서로 다른 캡쳐 조건에 따라 캡쳐된 2D 학습 이미지의 여러 가지 예를 나타낸 도면이다.
도 6은 일 실시예에 따른 표정 인식 모델 생성 방법의 흐름도이다.
도 2a 및 2b는 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.
도 3은 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 표정 정보에 대응되는 블렌드 쉐입을 설명하기 위한 도면이다.
도 4a 및 4b는 일 실시에에 따른 3D 모델 변경부에 의해 변경된 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.
도 5a 및 5b는 일 실시에에 따른 캡쳐부에 의해 서로 다른 캡쳐 조건에 따라 캡쳐된 2D 학습 이미지의 여러 가지 예를 나타낸 도면이다.
도 6은 일 실시예에 따른 표정 인식 모델 생성 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 표정 인식 모델 생성 장치의 기능 블록도이다.
일 실시예에 따른 표정 인식 모델 생성 장치(100)는 이미지 내 객체에 대한 표정 정보를 추정하기 위해 표정 정보 인식 모델을 생성할 수 있다. 여기서, 표정 정보 인식 모델이란 2D 대상 이미지가 입력되면, 입력된 2D 대상 이미지에 대응되는 3D 얼굴 모델의 표정 정보를 출력하는 모델을 의미할 수 있다.
이하에서는, 표정 정보 인식 모델이 인식하는 객체가 사람(Human)의 얼굴인 경우를 전제로 설명하나, 이에 한정되는 것은 아니고 감정 표현 및 표정을 지을 수 있는 동물, 및 감정 표현과 연관된 신체 부위 등을 포함할 수 있다.
표정 정보 인식 모델을 생성하는 방법 중 인물의 얼굴 이미지를 이용하는 방법이 있다. 이와 같은 방법에 따를 경우, 학습 이미지인 인물의 얼굴 이미지로부터 특징점을 추출하고, 추출된 특징점과 미리 저장된 표정 정보를 비교하여 학습함으로써 표정 정보 인식 모델을 생성할 수 있다.
그러나 상술한 방법에 따라 생성된 표정 정보 인식 모델은 인식의 결과에 오차가 존재할 수 있다. 구체적으로, 학습 이미지로부터 특징점을 추출해 내는 특징점 추출 엔진의 성능에 크게 영향을 받을 수 있다. 만약 특징점 추출 엔진이 일부 특징점 추출에 실패하는 경우, 이에 기초하여 생성된 표정 인식 모델의 성능은 저하될 수 있다.
또한, 학습 이미지인 인물의 얼굴 이미지가 정면 얼굴이 아닌 측면 얼굴에 대한 것이라면, 이러한 학습 이미지로부터 정밀한 특징점 추출이 정밀하게 수행될 수 없기 때문에, 정확도 높은 표정 정보 인식 모델을 생성하기 어려울 수 있다.
나아가, 상술한 방법에 따를 때 표정 인식 모델 생성을 위해 충분한 학습 이미지의 확보가 요구될 수 있다.
이를 해결하기 위해, 본 발명의 일 실시예에 따른 표정 인식 모델 생성 장치(100)는 3D 얼굴 모델을 이용하여 표정 정보 인식 모델을 생성하도록 마련될 수 있다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 표정 인식 모델 생성 장치(100)는 3D 얼굴 모델을 변경하는 3D 모델 변경부(110); 변경된 3D 얼굴 모델로부터 2D 학습 이미지를 캡쳐하는 캡쳐부(120); 및 표정 정보와 2D 학습 이미지를 이용하여 표정 정보 인식 모델을 생성하는 인식 모델 생성부(130)를 포함할 수 있다.
3D 모델 변경부(110)는 3D 얼굴 모델을 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 변경할 수 있다. 여기서, 3D 얼굴 모델이란 인물의 얼굴을 모사한 가상의 3D 캐릭터를 의미할 수 있다. 이하에서는 도 2a 및 2b를 참조하여 3D 얼굴 모델에 대해 설명한다.
도 2a 및 2b는 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이고, 도 3은 일 실시예에 따른 3D 모델 변경부가 이용하는 3D 얼굴 모델의 표정 정보에 대응되는 블렌드 쉐입을 설명하기 위한 도면이다. 도 2a를 참조하면, 3D 얼굴 모델은 표준 얼굴의 기하학적 특성이 반영된 3D 메쉬 데이터(Mesh Data) 및 표준 얼굴의 표면 특성이 반영된 텍스쳐 데이터(Texture Data)로 구성될 수 있다. 여기서, 표준 얼굴은 임의의 실제 인물의 얼굴 및 가상 인물의 얼굴 중 적어도 하나를 포함할 수 있다.
3D 메쉬 데이터는 표준 얼굴의 특징점에 대응되는 본(Bone)과, 각각의 본에 의해 리깅(Rigging)되는 복수의 정점(Vertex)으로 구성될 수 있다. 도 2a를 참조하면, 3D 메쉬 데이터는 얼굴의 크기, 윤곽, 형상 등에 대한 정보를 포함할 수 있다.
또한, 3D 메쉬 데이터를 구성하는 본 및 복수의 정점은 생성된 메쉬 안에서 위치 이동이 가능할 수 있다. 본 및 정점의 이동을 통해, 3D 얼굴 모델을 표정 정보에 따라 변경할 수 있으며, 이에 대하여는 후술한다.
텍스쳐 데이터는 표준 얼굴의 표면 특성에 대응되도록 3D 메쉬 데이터 생에 매핑될 수 있다. 도 2a를 참조하면, 텍스쳐 데이터는 얼굴의 피부색이나 질감, 머리카락, 눈동자 등에 대한 정보를 포함할 수 있다.
도 2a가 표준 얼굴에 대응되는 3D 얼굴 모델을 예시한 것이라면, 도 2b는 도 2a의 3D 얼굴 모델로부터 모델 생성 조건을 변경하여 생성된 3D 얼굴 모델을 의미할 수 있다. 도 2b를 참조하면, 3D 메쉬 데이터와 관련된 얼굴의 크기, 윤곽, 형상 등에 대한 조건인 제 1 모델 생성 조건과 텍스쳐 데이터와 관련된 얼굴의 피부색과 질감, 머리카락, 눈동자 등에 대한 제 2 모델 생성 조건을 변경함으로써, 서로 다른 복수의 3D 얼굴 모델이 생성될 수 있다.
뿐만 아니라, 3D 메쉬 데이터 및 텍스쳐 데이터 모두와 관련된 성별, 나이, 인종 등에 대한 제 3 모델 생성 조건을 변경함으로써, 또 다른 복수의 3D 얼굴 모델이 생성될 수 있다.
이와 같은 3D 얼굴 모델은 공지된 다양한 툴(Tool)에 의해 생성 가능할 수 있다. 예를 들어, 3D 얼굴 모델은 가상 공간에서 사용자를 대신하는 아바타 또는 캐릭터 생성 프로그램에 의해 생성될 수 있다.
다시 도 1을 참조하면, 3D 모델 변경부(110)는 상술한 과정에 따라 생성된 3D 얼굴 모델을 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 변경할 수 있다. 여기서, 미리 정해진 표정이란 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 기쁨(Happy), 슬픔(Sad), 놀람(Surprise), 중립(Neutral) 또는 무감정 등과 같이 얼굴을 통해 나타나는 감정 정보 및 졸림(Sleepiness), 집중(Concentration), 부정(Negative), 긍정(Positive), 흥분(Arousal), 균형(Balance) 등과 같이 얼굴을 통해 나타나는 상태 정보를 포함할 수 있다. 다만, 표정의 종류가 상술한 예로 한정되지는 않으며, 설계에 따라 다른 분류 체계가 사용될 수 있다.
또한, 표정에 대응되는 표정 정보란 해당 표정을 3D 얼굴 모델 상에서 나타내기 위한 3D 메쉬 데이터의 변경 정보를 의미할 수 있고, 일 실시예에 따른 표정 정보는 복수의 표정 각각에 대응되는 블렌드 쉐입(Blend Shape)을 포함할 수 있다. 여기서, 블렌드 쉐입은 3D 메쉬 데이터의 메쉬 안에서 복수의 정점 각각의 이동 거리 및 이동 방향(Displacement)을 의미하고, 복수의 정점 각각에 대한 벡터로서 표현될 수 있다.
블렌드 쉐입은 미리 정해진 복수의 기준 표정 각각에 대하여 벡터로서 정의될 수 있다. 여기서, 기준 표정이란 얼굴 중 특정 부위에 대한 움직임으로 이루어진 표정을 의미할 수 있다.
도 3은 각각의 기준 표정에 대한 블렌드 쉐입이 적용된 3D 얼굴 모델의 3D 메쉬 데이터를 예시한다. 도 3의 (a)에 도시된 3D 메쉬 데이터는 좌측 눈 깜빡임 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 최대 가중치가 적용된 경우를 나타낸다. 이와 유사하게, 도 3의 (b)는 우측 눈 깜빡임 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 가중치의 최대값이 적용된 3D 메쉬 데이터이고, (c)는 우측 입꼬리 상승 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 가중치의 최대값이 적용된 3D 메쉬 데이터이고, (d)는 입 개방 표정을 기준 표정으로 하는 블렌드 쉐입에 대하여 가중치의 최대값이 적용된 3D 메쉬 데이터를 도시한다. 이처럼, 각각의 블렌드 쉐입에 적용되는 가중치를 조절하면, 3D 메쉬 데이터 내에서 기준 표정의 영향을 제어할 수 있다.
상술한 바에 따를 때, 하나의 표정에 대응되는 표정 정보는 복수의 블렌드 쉐입의 특정 조합 비율에 따른 가중합으로 표현될 수 있다. 예를 들어, n개의 기준 표정 각각에 대한 n개의 블렌드 쉐입이 존재하는 경우, 특정 표정은 제 1 기준 표정에 대응되는 블렌드 쉐입 F1에 가중치 w1을 적용하고, 제 2 기준 표정에 대응되는 블렌드 쉐입 F2에 가중치 w2를 적용하고, ?, 제 n 기준 표정에 대응되는 블렌드 쉐입 Fn에 가중치 wn을 적용한 후, 이들을 합한 결과가 반영된 3D 메쉬 데이터로서 구현될 수 있다. 이를 기초로, 3D 모델 변경부(110)는 각각의 블렌드 쉐입에 적용되는 가중치를 달리함으로써 3D 얼굴 모델 상에 원하는 표정을 구현할 수 있다.
3D 모델 변경부(110)는 이렇게 결정된 복수의 표정 정보에 따라 3D 얼굴 모델을 변경할 수 있다. 이하에서는, 도 3a 및 3b를 참조하여, 표정 정보에 따라 3D 얼굴 모델을 변경하는 방법을 설명한다.
도 4a 및 4b는 일 실시에에 따른 3D 모델 변경부에 의해 변경된 3D 얼굴 모델의 여러 가지 예를 나타낸 도면이다.
도 4a는 감정 정보가 중립 또는 무감정인 표정을 나타내는 3D 얼굴 모델을 예시한다. 3D 모델 변경부(110)는 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 도 3a의 3D 얼굴 모델을 변경할 수 있다. 구체적으로, 3D 모델 변경부(110)는 복수의 표정 각각에 대응되는 블렌드 쉐입 조합에 따라 도 3a의 3D 얼굴 모델 중 3D 메쉬 데이터를 구성하는 복수의 정점의 위치를 변경할 수 있다.
도 4b는 도 4a의 3D 얼굴 모델을 표정 정보에 따라 변경한 결과를 예시한다. 만약, ‘긍정’, ‘분노’, ‘놀람’, ‘경멸’의 표정이 미리 정해진 경우, 3D 모델 변경부(110)는 ‘긍정’, ‘분노’, ‘놀람’, ‘경멸’의 표정에 대응되는 표정 정보, 즉 블렌드 쉐입의 조합에 따라 3D 메쉬 데이터를 변경할 수 있다. 도 3b에서 좌상단의 도면은 ‘긍정’의 표정에 대응되는 표정 정보에 따라 변경된 3D 얼굴 모델을 예시하고, 우상단의 도면은‘분노’ 의 표정에 대응되는 표정 정보에 따라 변경된 3D 얼굴 모델을 예시하고, 좌하단의 도면은‘놀람’ 의 표정에 대응되는 표정 정보에 따라 변경된 3D 얼굴 모델을 예시하며, 우하단의 도면은‘경멸’ 의 표정에 대응되는 표정 정보에 따라 변경된 3D 얼굴 모델을 예시한다.
도 4a 및 4b에서는 하나의 3D 얼굴 모델을 표정 정보에 따라 변경하는 경우를 설명하였으나, 3D 모델 변경부(110)는 서로 다른 복수의 3D 얼굴 모델 각각을 상술한 방법을 통해 변경할 수도 있다.
다시 도 1을 참조하면, 캡쳐부(120)는 3D 모델 변경부(110)에 의해 변경된 3D 얼굴 모델로부터 2D 학습 이미지를 캡쳐할 수 있다. 이 때, 캡쳐부(120)는 다양한 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐할 수 있다. 여기서, 캡쳐 조건이란 변경된 3D 얼굴 모델로부터 2D 프로젝션 이미지(2D Projection Image)를 획득하기 위한 모든 조건을 의미하며, 일 예로 배경 조건, 밝기 조건, 및 방향 조건 중 적어도 하나를 포함할 수 있다.
이하에서는, 도 5a 및 5b를 참조하여, 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 방법을 설명한다.
도 5a 및 5b는 일 실시에에 따른 캡쳐부에 의해 서로 다른 캡쳐 조건에 따라 캡쳐된 2D 학습 이미지의 여러 가지 예를 나타낸 도면이다.
캡쳐 조건 중 방향 조건으로서 3D 얼굴 모델의 우측 얼굴 방향이 설정되면, 캡쳐부(120)는 도 5a와 같은 2D 학습 이미지를 캡쳐할 수 있다. 또한, 캡쳐 조건 중 방향 조건으로서 3D 얼굴 모델의 좌측 얼굴 방향이 설정되면, 캡쳐부(120)는 도 5b와 같은 2D 학습 이미지를 캡쳐할 수 있다.
도 5a 및 5b에는 도시되지 않았지만, 캡쳐부(120)는 캡쳐 조건 중 밝기 조건으로서 밝기 값을 변경하여 2D 학습 이미지를 캡쳐할 수 있고, 캡쳐 조건 중 배경 조건으로서 배경의 색, 무늬 등을 변경하여 2D 학습 이미지를 캡쳐할 수도 있다.
복수의 3D 얼굴 모델 각각을 복수의 표정 정보에 따라 변경한 경우, 캡쳐부(120)는 복수의 표정 정보 각각에 따라 변경된 복수의 3D 얼굴 모델 각각을 복수의 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐할 수 있다. 그 결과, 캡쳐부(120)에 의해 캡쳐되는 2D 학습 이미지는 3D 얼굴 모델 생성을 위한 모델 생성 조건, 표정 정보, 및 캡쳐 조건을 달리하는 다양한 이미지로 구성될 수 있다.
다시 도 1을 참조하면, 인식 모델 생성부(130)는 표정 정보 및 캡쳐된 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성할 수 있다. 상술한 바와 같이, 표정 정보 인식 모델은 2D 대상 이미지가 입력되면, 입력된 2D 대상 이미지에 대응되는 3D 얼굴 모델의 표정 정보를 출력하는 모델을 의미할 수 있다. 구체적으로 인식 모델 생성부(130)는 2D 학습 이미지 및 해당 2D 학습 이미지가 캡쳐된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 표정 정보 인식 모델을 생성할 수 있다.일 실시예에 따른 인식 모델 생성부(130)는 딥러닝과 같은 기계학습을 통해 2D 학습 이미지로부터 표정 정보를 학습할 수 있다. 예를 들어, 인식 모델 생성부(130)는 지도 학습(Supervised Learning)을 통해 표정 정보 인식 모델을 생성할 수 있다. 지도 학습이란 입력과 이에 대응되는 레이블로 구성되는 학습 데이터를 학습하는 기계 학습 방법을 의미하며, 레이블(Label)은 학습 데이터 중 입력에 대한 정답을 의미할 수 있다.
지도 학습 방법을 따르는 인식 모델 생성부(130)는 2D 학습 이미지를 입력으로 하고, 해당 2D 학습 이미지가 캡쳐된 시점의 3D 얼굴 모델의 표정 정보를 레이블로 대응시킨 학습 데이터를 학습할 수 있다. 구체적으로, 인식 모델 생성부(130)는 입력인 2D 학습 이미지와 정답인 3D 얼굴 모델의 표정 정보 사이의 관계를 학습하고, 그 학습의 결과로서 표정 정보 인식 모델을 생성할 수 있다.
이와는 달리, 인식 모델 생성부(130)는 2D 학습 이미지에 3D 얼굴 모델이 레이블 된 일부 학습 데이터와 레이블 되지 않은 2D 학습 이미지로 이루어진 나머지 학습 데이터를 함께 이용하여 학습하는 반지도 학습(Semisupervised Learning)을 수행하여, 표정 정보 인식 모델을 생성할 수 있다. 또는, 인식 모델 생성부(130)는 학습에 따른 2D 학습 이미지의 기초가 되는 3D 얼굴 모델의 표정 정보를 판단한 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(Reinforcement Learning)을 통하여, 표정 정보 인식 모델을 생성할 수 있다.
인식 모델 생성부(130)에 의해 생성되는 표정 정보 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 일 실시예에 따른 표정 정보 인식 모델은 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들어, 표정 정보 인식 모델은 CNN(Convolution Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델로 구현될 수 있으나, 이에 한정되지는 않는다.
상술한 실시예에 따른 표정 인식 모델 생성 장치(100)를 구성하는 3D 모델 변경부(110), 캡쳐부(120), 및 인식 모델 생성부(130) 각각은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 표정 인식 모델 생성 장치(100)의 각각의 구성 중 적어도 두 개가 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
이를 통해 생성된 표정 정보 인식 모델은 추후 입력되는 대상 이미지 내 객체, 즉 인물의 얼굴에 대한 표정 정보를 획득하는데 이용될 수 있다. 즉, 인물의 얼굴을 포함하는 2D 대상 이미지가 입력되면, 표정 인식 모델 생성 장치(100)는 표정 정보 인식 모델을 이용하여 입력된 대상 이미지에 대응되는 표정 정보를 획득할 수 있다. 이렇게 획득된 표정 정보는 대상 이미지 내 객체, 즉 인물의 표정에 대응되는 블렌드 쉐입을 포함할 수 있다. 따라서, 획득된 표정 정보가 미리 정해진 아바타 또는 캐릭터 등과 같은 3D 얼굴 모델에 적용되면, 3D 얼굴 모델은 대상 이미지 내 객체와 유사한 표정을 가지도록 리타게팅(Retargeting)될 수 있다.
지금까지는 도 1의 표정 인식 모델 생성 장치(100)의 구성에 대하여 설명하였다. 이하에서는 도 1의 표정 인식 모델 생성 장치(100)에 의해 수행되는 표정 인식 모델 생성 방법을 설명한다.
도 6은 일 실시예에 따른 표정 인식 모델 생성 방법의 흐름도이다.
먼저, 표정 인식 모델 생성 장치(100)는 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경할 수 있다(S100). 여기서, 3D 얼굴 모델은 표준 얼굴의 기하학적 특성이 반영된 3D 메쉬 데이터(Mesh Data) 및 표준 얼굴의 표면 특성이 반영된 텍스쳐 데이터(Texture Data)로 구성될 수 있다. 또한, 표정 정보는 해당 표정을 3D 얼굴 모델 상에서 나타내기 위한 3D 메쉬 데이터의 변경 정보로서 블렌드 쉐입(Blend Shape)을 포함할 수 있다.
그 다음, 표정 인식 모델 생성 장치(100)는 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐할 수 있다(S110). 여기서, 캡쳐 조건이란 변경된 3D 얼굴 모델로부터 2D 프로젝션 이미지(2D Projection Image)를 획득하기 위한 모든 조건을 의미하며, 일 예로 배경 조건, 밝기 조건, 및 방향 조건 중 적어도 하나를 포함할 수 있다.
마지막으로, 표정 인식 모델 생성 장치(100)는 표정 정보 및 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성할 수 있다(S120). 구체적으로 인식 모델 생성부(130)는 2D 학습 이미지가 캡쳐된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 표정 정보 인식 모델을 생성할 수 있다.
상술한 실시예에 따른 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는, 표정 정보의 확인이 가능한 3D 얼굴 모델로부터 캡쳐된 2D 학습 이미지를 학습하므로, 정확도 높은 표정 정보 인식 모델을 생성할 수 있다. 또한, 2D 학습 이미지를 3D 얼굴 모델로부터 캡쳐하기 위한 캡쳐 조건을 쉽게 변경할 수 있고, 캡쳐 시의 표정 정보를 알 수 있어, 표정 정보 인식 모델 생성을 위한 학습 데이터를 용이하게 확보할 수 있다.
한편, 상술한 일 실시예에 따른 표정 인식 모델 생성 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 표정 인식 모델 생성 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
100: 표정 인식 모델 생성 장치
110: 3D 모델 변경부
120: 캡쳐부
130: 인식 모델 생성부
110: 3D 모델 변경부
120: 캡쳐부
130: 인식 모델 생성부
Claims (11)
- 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계;
상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 단계; 및
상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함하는
표정 인식 모델 생성 방법. - 제 1 항에 있어서,
상기 표정 정보 인식 모델을 생성하는 단계는,
상기 2D 학습 이미지가 캡쳐된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 상기 표정 정보 인식 모델을 생성하는
표정 인식 모델 생성 방법. - 제 1 항에 있어서,
상기 표정 정보는,
상기 복수의 표정 각각에 대응되는 블렌드 쉐입(Blend Shape)을 포함하는
표정 인식 모델 생성 방법. - 제 1 항에 있어서,
상기 캡쳐 조건은,
배경 조건, 밝기 조건, 및 방향 조건 중 적어도 하나를 포함하는
표정 인식 모델 생성 방법. - 제 1 항에 있어서,
상기 3D 얼굴 모델은,
서로 다른 모델 생성 조건 각각에 대응되도록 복수 개로 구성되고,
상기 모델 생성 조건은,
성별 조건, 피부 조건, 머리카락 조건, 및 눈동자 조건 중 적어도 하나를 포함하는
표정 인식 모델 생성 방법. - 3D 얼굴 모델로부터 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 3D 모델 변경부;
상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 캡쳐부; 및
상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 인식 모델 생성부를 포함하는
표정 인식 모델 생성 장치. - 제 6 항에 있어서,
상기 인식 모델 생성부는,
상기 2D 학습 이미지가 캡쳐된 시점의 3D 얼굴 모델의 표정 정보를 학습하여 상기 표정 정보 인식 모델을 생성하는
표정 인식 모델 생성 장치. - 제 6 항에 있어서,
상기 표정 정보는,
상기 복수의 표정 각각에 대응되는 블렌드 쉐입(Blend Shape)을 포함하는
표정 인식 모델 생성 장치. - 제 6 항에 있어서,
상기 캡쳐 조건은,
배경 조건, 밝기 조건, 및 방향 조건 중 적어도 하나를 포함하는
표정 인식 모델 생성 장치. - 제 1 항에 있어서,
상기 3D 얼굴 모델은,
서로 다른 모델 생성 조건 각각에 대응되도록 복수 개로 구성되고,
상기 모델 생성 조건은,
성별 조건, 피부 조건, 머리카락 조건, 및 눈동자 조건 중 적어도 하나를 포함하는
표정 인식 모델 생성 장치. - 3D 얼굴 모델로부터 미리 정해진 복수의 표정 각각에 대응되는 표정 정보에 따라 3D 얼굴 모델을 변경하는 단계;
상기 변경된 3D 얼굴 모델로부터 서로 다른 캡쳐 조건에 따라 2D 학습 이미지를 캡쳐하는 단계; 및
상기 표정 정보 및 상기 2D 학습 이미지를 기초로 표정 정보 인식 모델을 생성하는 단계를 포함하는
표정 인식 모델 생성 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180093348A KR102229056B1 (ko) | 2018-08-09 | 2018-08-09 | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180093348A KR102229056B1 (ko) | 2018-08-09 | 2018-08-09 | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200019296A true KR20200019296A (ko) | 2020-02-24 |
KR102229056B1 KR102229056B1 (ko) | 2021-03-17 |
Family
ID=69637446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180093348A KR102229056B1 (ko) | 2018-08-09 | 2018-08-09 | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102229056B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102491025B1 (ko) * | 2022-02-25 | 2023-01-20 | (주)어나더리얼 | 학습용 데이터셋을 생성하기 위한 방법 |
KR102579685B1 (ko) * | 2022-09-06 | 2023-09-18 | 주식회사 비브스튜디오스 | 조정 정보를 이용한 디지털 휴먼의 안면 움직임 제어 매개변수의 구축 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100088347A (ko) | 2009-01-30 | 2010-08-09 | 서강대학교산학협력단 | 얼굴 표정 리타게팅 방법 |
KR20160061081A (ko) * | 2014-11-21 | 2016-05-31 | 한국과학기술연구원 | 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 |
KR20160101973A (ko) * | 2013-12-19 | 2016-08-26 | 아비질론 포트리스 코퍼레이션 | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 |
-
2018
- 2018-08-09 KR KR1020180093348A patent/KR102229056B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100088347A (ko) | 2009-01-30 | 2010-08-09 | 서강대학교산학협력단 | 얼굴 표정 리타게팅 방법 |
KR20160101973A (ko) * | 2013-12-19 | 2016-08-26 | 아비질론 포트리스 코퍼레이션 | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 |
KR20160061081A (ko) * | 2014-11-21 | 2016-05-31 | 한국과학기술연구원 | 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102491025B1 (ko) * | 2022-02-25 | 2023-01-20 | (주)어나더리얼 | 학습용 데이터셋을 생성하기 위한 방법 |
KR102579685B1 (ko) * | 2022-09-06 | 2023-09-18 | 주식회사 비브스튜디오스 | 조정 정보를 이용한 디지털 휴먼의 안면 움직임 제어 매개변수의 구축 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR102229056B1 (ko) | 2021-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
US12039454B2 (en) | Microexpression-based image recognition method and apparatus, and related device | |
Lassner et al. | A generative model of people in clothing | |
US11430169B2 (en) | Animating virtual avatar facial movements | |
KR102229061B1 (ko) | 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법 | |
CN106919899A (zh) | 基于智能机器人的模仿人脸表情输出的方法和*** | |
CN111833236B (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
CN114630738B (zh) | 用于模拟感测数据和创建感知的***和方法 | |
US20210118212A1 (en) | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters | |
Alabbasi et al. | Real time facial emotion recognition using kinect V2 sensor | |
Agarwal et al. | Synthesis of realistic facial expressions using expression map | |
CN116489299A (zh) | 视频通信平台中的化身生成 | |
KR102229056B1 (ko) | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
CN106326980A (zh) | 机器人和机器人模拟人脸面部运动的方法 | |
KR20200019282A (ko) | 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 | |
El-Nouby et al. | Keep drawing it: Iterative language-based image generation and editing | |
Mayer et al. | Towards robotic facial mimicry: system development and evaluation | |
Borges et al. | Automated generation of synthetic in-car dataset for human body pose detection | |
Melgare et al. | Investigating emotion style in human faces and avatars | |
CN109876457A (zh) | 游戏角色生成方法、装置及存储介质 | |
Wong et al. | Robot emotions generated and modulated by visual features of the environment | |
KR102630872B1 (ko) | 표정 인식 학습 장치 및 방법 | |
KR102652652B1 (ko) | 아바타 생성 장치 및 방법 | |
Legde | Projecting motion capture: designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects | |
Martinek et al. | Hands Up! Towards Machine Learning Based Virtual Reality Arm Generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |