KR20180078115A - 이미지 처리 방법 및 장치 - Google Patents
이미지 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20180078115A KR20180078115A KR1020170084930A KR20170084930A KR20180078115A KR 20180078115 A KR20180078115 A KR 20180078115A KR 1020170084930 A KR1020170084930 A KR 1020170084930A KR 20170084930 A KR20170084930 A KR 20170084930A KR 20180078115 A KR20180078115 A KR 20180078115A
- Authority
- KR
- South Korea
- Prior art keywords
- facial
- facial expression
- feature
- image
- new
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 title claims abstract description 13
- 230000008921 facial expression Effects 0.000 claims abstract description 277
- 230000001815 facial effect Effects 0.000 claims abstract description 187
- 230000014509 gene expression Effects 0.000 claims abstract description 22
- 238000003672 processing method Methods 0.000 claims description 20
- 238000000513 principal component analysis Methods 0.000 description 24
- 239000013598 vector Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000282575 Gorilla Species 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G06K9/00275—
-
- G06K9/00302—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
이미지 처리 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 처리 방법은 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 단계와, 상기 표정특징의 보간값에 기초하여 새로운 표정특징을 획득하는 단계와, 상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 단계를 포함한다.
Description
아래 실시예들은 이미지 처리 방법 및 장치에 관한 것이다.
사람 얼굴표정식별은 오락, 안전, 사람-로봇 상호작용과 소셜 네트워크 분석 등 영역에 광범위하게 응용된다. 사람 얼굴표정식별을 하기 위하여 표정식별 모델의 트레이닝이 필요하고, 이는 대량의 표정 이미지를 트레이닝 데이터를 수요로 한다. 그러나, 표정 이미지의 수집은 비용이 높고 많은 제한을 받는다. 이 문제를 해결하기 위하여 합성방법을 사용하여 대량의 표정 이미지를 생성하여 표정식별 모델을 트레이닝 하는데 사용한다.
하지만 기존의 표정 이미지 합성 방법은 표정 변화가 비선형성을 갖기 때문에, 이미 갖고 있는 표정특징을 직접 확대 또는 축소하여 새로운 표정특징을 획득하고, 상기 새로운 표정특징에 따라 획득한 새로운 표정 이미지는 볼 때 비교적 기이하며, 진실 표정 이미지와 차이가 비교적 크기에 기존기술이 합성한 얼굴표정 이미지 효과는 자연스럽지 않을 수 있다.
실시예들은 적어도 두 개의 참고(reference) 얼굴표정 이미지의 표정특징을 획득하고, 상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값(interpolation)에 대하여 새로운 표정특징을 획득하고, 새로운 표정특징에 따라 타겟 얼굴표정 이미지를 조절하여 새로운 얼굴표정 이미지를 형성하는 기술을 제공할 수 있다.
또한, 실시예들은 서로 다른 표정특징 보간값에 대하여 새로운 표정특징을 획득하므로 이미 갖고 있는 표정특징을 직접 확대 또는 감소시키지 않고, 정확하고 자연스러워 진실 표정 이미지에 근접한 새로운 얼굴표정 이미지를 획득하는 기술을 제공할 수 있다.
일 실시예에 따른 이미지 처리 방법은 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 단계와, 상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 단계와, 상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 단계를 포함한다.
상기 각각에 대해서 표정특징을 획득하는 단계는, 상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하는 단계와, 상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하는 단계와, 상기 표정 피팅결과를 상기 표정특징으로 설정하는 단계를 포함할 수 있다.
상기 방법은, 상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 단계를 더 포함할 수 있다.
상기 새로운 표정특징을 획득하는 단계는, 상기 타겟 얼굴표정 이미지의 표정특징을 획득하는 단계와, 상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득하는 단계를 포함할 수 있다.
상기 새로운 표정특징을 획득하는 단계는, 상기 표정특징의 보간값 파라미터(parameter)를 획득하는 단계와, 상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 단계를 포함할 수 있다.
상기 보간값 파라미터를 획득하는 단계는, 랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득하는 단계를 포함할 수 있다.
상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속할 수 있다.
일 실시예에 따른 이미지 처리 장치는 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 표정특징 획득부와, 상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 표정특징 보간값부와, 상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 표정 이미지 합성부를 포함한다.
상기 표정특징을 획득부는, 상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하고, 상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하고, 상기 표정 피팅결과를 상기 표정특징으로 설정할 수 있다.
상기 장치는 상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 타겟 이미지 획득부를 더 포함할 수 있다.
상기 표정특징 보간값부는, 상기 타겟 얼굴표정 이미지의 표정특징을 획득하고, 상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득할 수 있다.
상기 표정특징 보간값부는, 상기 표정특징의 보간값 파라미터(parameter)를 획득하는 파라미터 획득부와, 상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 보간값부를 포함할 수 있다.
상기 파라미터 획득부는, 랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득할 수 있다.
상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속할 수 있다.
도 1은 표정 이미지 합성 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 이미지 처리 방법의 순서도의 일 예를 나타낸다.
도 3은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 4는 도 3에 도시된 얼굴 키 포인트를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 6은 본질공간에서 합성한 표정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 8은 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이다.
도 9는 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다.
도 10은 일 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 11는 도 10에 도시된 표정특징 보간값부의 블록도를 나타낸다.
도 2는 일 실시예에 따른 이미지 처리 방법의 순서도의 일 예를 나타낸다.
도 3은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 4는 도 3에 도시된 얼굴 키 포인트를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 6은 본질공간에서 합성한 표정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 8은 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이다.
도 9는 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다.
도 10은 일 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 11는 도 10에 도시된 표정특징 보간값부의 블록도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 표정 이미지 합성 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 사람 얼굴표정식별을 하기 위하여 일 실시예에 따른 표정 이미지 합성 방법을 통해 획득한 표정 이미지를 확인할 수 있다.
표정 이미지 합성방법은 크게 두 가지 유형으로 분류할 수 있다.
예를 들어, 첫번째 유형의 방법은 표정 이미지를 직접 조작하고, 표정 이미지의 픽셀위치 이동, 또는 픽셀 휘도값을 변경하는 것을 통하여 새로운 표정 이미지를 획득하는 방법이다. 이 유형의 방법으로 획득한 새로운 표정 이미지는 보통 촬영한 진실 표정 이미지와 큰 차이가 있을 수 있다.
또한, 두번째 유형의 방법은 표정 이미지의 표정특징을 단독으로 분석하고, 수정분석으로 얻은 표정특징을 통하여 새로운 표정특징을 획득하며, 다시 새로운 표정특징을 원래 표정 이미지에 융합하여 새로운 표정 이미지를 획득하는 방법이다. 이 유형으로 획득한 새로운 표정 이미지는 진실 표정 이미지에 더욱 근접할 수 있다.
먼저 사람 얼굴표정 이미지의 표정특징 를 분석하고, 하나의 조절정수 k를 설정하며 를 계산하여 하나의 새로운 표정특징을 획득하고, 다시 새로운 표정특징에 따라 상기 사람 얼굴표정 이미지를 조절하여 새로운 사람 얼굴표정 이미지를 형성할 수 있다.
0<k<1일 때, 는 보다 더 약한 표정일 수 있다. k=0.5일 때 두번째 유형의 표정 이미지 합성방법을 통해 형성한 새로운 사람 얼굴표정 이미지의 일 예는 도 1에 도시된 바와 같을 수 있다. 즉, 좌측 이미지의 폭소 표정에서 축소하여 우측 이미지의 미소 표정을 획득할 수 있다.
도 2는 일 실시예에 따른 이미지 처리 방법의 순서도의 일 예를 나타낸다.
도 2를 참조하면, 이미지를 처리 방법을 사용하여 얼굴표정 이미지를 합성할 수 있다. 또한, 이미지 처리 방법을 사용하여 표정식별 모델을 트레이닝 할 수 있고, 도면 처리 프로그램, 비디오 처리 프로그램 등의 영역에도 응용할 수 있으며; 사람의 얼굴표정 이미지를 합성할 수 있고, 동물의 얼굴표정 이미지(예를 들어, 고릴라 얼굴표정 이미지)도 합성할 수 있다.
적어도 두 개의 참고(reference) 얼굴표정 이미지의 표정특징을 획득할 수 있다(S101). 참고 얼굴표정 이미지는 기준 얼굴표정 이미지로 이해될 수 있다. 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속할 수 있다. 또한, 두 개 이상 유형의 표정특징에 속하는 적어도 두 개의 참고 얼굴표정 이미지를 사용하는 경우, 독특한 얼굴 표정 이미지를 합성할 수도 있다.
적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다(S102).
일 예로, 랜덤으로 선택한 방식에 기초하여 보간값 파라미터를 획득하고, 보간값 파라미터에 기초하여 새로운 표정특징을 획득할 수 있다. 즉, 참고 얼굴표정 이미지가 같더라도, 얼굴 표정 이미지를 합성할 때마다 랜덤으로 선택한 방식을 통하여 서로 다른 보간값 파라미터를 획득하므로, 서로 다른 새로운 표정특징을 획득하여 서로 다른 얼굴표정 이미지를 합성할 수 있다. 보간값 파라미터는 사용자가 미리 설정한 값일 수 있다.
다른 예로, 수학식 1을 사용하여 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
또 다른 예로, 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정할 수 있다. 타겟 얼굴표정 이미지는 새로운 표정특징과 밀접한 연관이 있다. 타겟 얼굴표정 이미지를 사용하여 획득한 얼굴표정 이미지는 자연스럽고(natural) 리얼(real)할 수 있다.
적어도 두 개의 참고 얼굴표정 이미지는 타겟 얼굴표정 이미지와 독립적(independent)일 수 있다. 예를 들어, 타겟 얼굴표정 이미지는 웃음(smile)을 포함하지 않고, 적어도 두 개의 참고 얼굴표정 이미지는 폭소(lauging) 표정을 포함할 수 있다. 이때, 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 차이값에 기초하여 폭소(laughing) 표정의 새로운 표정특징을 생성하고, 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하여 타겟 얼굴표정 이미지가 웃음(smile)을 포함하게 할 수 있다.
이하에서는 보간값과 새로운 표정특징에 대하여 구체적으로 설명한다.
보간값 실시예 1.
하나의 타겟 얼굴표정 이미지의 표정특징과 하나의 참고 얼굴표정 이미지의 표정특징을 획득할 수 있다. 즉, 두 개의 참고 얼굴표정 이미지의 표정특징을 획득하고, 그 중의 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정할 수 있다. 또한, 수학식 2를 사용하여 타겟 얼굴표정 이미지의 표정특징과 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
여기서, c는 보간값 파라미터이고, 이고, 는 새로운 표정특징이고, 은 타겟 얼굴표정 이미지의 표정특징이고, 는 참고 얼굴표정 이미지의 표정특징일 수 있다. 이때, c는 0.1, 0.26, 0.5, 0.72, 0.88, 0.98등 값일 수 있다.
얼굴표정 이미지를 합성할 때, 타겟 얼굴표정 이미지와 참고 얼굴표정 이미지가 같더라도, 서로 다른 보간값 파라미터를 설정하면 서로 다른 새로운 표정특징을 획득할 수 있고, 서로 다른 새로운 얼굴표정 이미지를 합성할 수 있다. 서로 다른 보간값 파라미터를 설정함으로써 대량의 얼굴표정 이미지 합성을 실현할 수 있다.
보간값 실시예 2.
하나의 타겟 얼굴표정 이미지의 표정특징, 제1 참고 얼굴표정 이미지의 표정특징과 제2 참고 얼굴표정 이미지의 표정특징을 획득할 수 있다. 즉, 세 개의 참고 얼굴표정 이미지의 표정특징을 획득하고, 그 중의 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정하고, 그 외 두 개의 참고 얼굴표정 이미지는 각각 제1 참고 얼굴표정 이미지, 제2 참고 얼굴표정 이미지로 설정할 수 있다. 또한, 수학식 3을 사용하여 타겟 얼굴표정 이미지의 표정특징, 제1 참고 얼굴표정 이미지의 표정특징과 제2 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
여기서, c1, c2, c3는 보간값 파라미터이고, 이고, 이고, 이고, 이고, 는 새로운 표정특징이고, 은 타겟 얼굴표정 이미지의 표정특징이고, 는 제1 참고 얼굴표정 이미지의 표정특징이고, 는 제2 참고 얼굴표정 이미지의 표정특징일 수 있다.
획득한 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다(S103).
이상에서는 설명의 편의를 위해 보간값 파라미터와 참고 얼굴표정 이미지의 표정특징의 수량을 특정하여 설명하였으나, 반드시 이에 한정되는 것은 아니고, 보간값 파라미터와 참고 얼굴표정 이미지의 표정특징의 수량은 수정될 수 있다.
해당 기술영역에서 통상의 지식을 가진 자는 본 발명의 내용과 공지된 상식, 이미 공개된 기술을 결합하여, 어렵지 않게 더 많은 종류의 보간값 공식을 용이하게 생각할 수 있고, 보간값 공식에 따라 더 많은 실시방식을 생성할 수 있다. 이러한 실시방식이 서로 다른 표정특징 보간값에 의하여 새로운 표정특징을 획득하는 것이라면 모두 본 발명의 보호범위에 속한다고 할 것이다.
도 3은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타내고, 도 4는 도 3에 도시된 얼굴 키 포인트를 설명하기 위한 도면이다.
도 3 및 도 4를 참조하면, 타겟 얼굴표정 이미지의 표정특징을 획득하기 위해서, 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석할 수 있다(S201). 얼굴 키 포인트 좌표는, 도 4에 도시된 바와 같이, 68개의 다이아몬드형(diamond)의 좌표일 수 있다. 얼굴 키 포인트 좌표는 자동검측 또는 인공방법 등을 사용하여 정의할 수 있다. 또한, 얼굴 키 포인트 좌표는 얼굴의 신분정보와 표정정보를 포함할 수 있다. 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하는 단계는, 서로 다른 알고리즘에 따라 서로 다른 위치, 서로 다른 수량의 얼굴 키 포인트 좌표를 선택하는 단계를 포함할 수 있다.
미리 설정한 표정공간에서 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과 을 획득하고, 을 타겟 얼굴표정 이미지의 표정특징으로 설정할 수 있다(S202). 여기서, 미리 설정한 표정공간에서 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과 을 획득하는 단계는 다음의 단계를 포함할 수 있다.
여기서, 는 얼굴의 자세 파라미터이고, 는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터(column vector) 함수이고, 는 의 도함수이고, x1은 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고, 는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고, 는 얼굴 신분 주성분 분석모델에서의 피팅계수이고, 는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이며, 는 두 개 벡터의 내적(inner-product)이고, 는 x1을 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 미리 트레이닝한 얼굴표정 주성분 분석모델이고, 는 얼굴표정 주성분 분석모델에서의 피팅계수이고, 는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고, 는 두 개 벡터의 내적이고, 은 x1을 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 x1과 의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p1은 가 대응하는 놈(norm)일 수 있다.
각각의 얼굴 키 포인트 좌표는 3차원 열 벡터이고, x1은 3 x 68 행(rows)의 열 벡터일 수 있다. 미리 설정한 값 g는 0에 근접한 값이고, 예를 들어, 실제응용에 따라 0.01, 0.001 또는 0.0001로 설정할 수 있다.
상술한 내용 이외에도, 얼굴 키 포인트 좌표를 피팅하지 않는 비 피팅을 통해 표정특징을 획득할 수 있다. 또한, 얼굴 키 포인트 좌표를 사용하지 않고 기타 방식, 예를 들어 이미지 스캔방식 또는 기타 기존기술 등을 사용하여 얼굴표정 이미지의 표정특징을 획득할 수도 있다.
이상 단계(S201, S202)는 타겟 얼굴표정 이미지의 표정특징을 획득하기 위한 과정이다.
단계(S203, S204)는 참고 얼굴표정 이미지의 표정특징을 획득하기 위한 과정이다. 단계(S201, S202)와 단계(S203, S204)에 있어서는 선후순서관계가 존재하지 않을 수 있다.
참고 얼굴표정 이미지의 표정특징을 획득하기 위해서, 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석할 수 있다(S203).
여기서, 는 얼굴의 자세 파라미터이고, 는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터(column vector) 함수이고, 는 의 도함수이고, x2는 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고, 는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고, 는 얼굴 신분 주성분 분석모델에서의 피팅계수이고, 는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이며, 는 두 개 벡터의 내적(inner-product)이고, 는 x2를 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 미리 트레이닝한 얼굴표정 주성분 분석모델이고, 는 얼굴표정 주성분 분석모델에서의 피팅계수이고, 는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고, 는 두 개 벡터의 내적이고, 은 x2를 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 x2와 의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p2는 가 대응하는 놈(norm)일 수 있다.
상술한 내용 이외에도, 얼굴 키 포인트 좌표를 피팅하지 않는 비 피팅을 통해 표정특징을 획득할 수 있다. 또한, 얼굴 키 포인트 좌표를 사용하지 않고 기타 방식, 예를 들어 이미지 스캔방식 또는 기타 기존기술 등을 사용하여 얼굴표정 이미지의 표정특징을 획득할 수도 있다.
도 5는 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타내고, 도 6은 본질공간에서 합성한 표정을 설명하기 위한 도면이다.
도 5를 참조하면, 수학식 4를 통하여 타겟 얼굴표정 이미지의 표정특징과 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징 을 획득할 수 있다(S205). 수학식 4는 상술한 수학식 2와 동일할 수 있다.
미리 설정한 표정공간 S는 기쁨, 비애, 분노, 짜증, 공포, 경악, 및 중립적인 무표정 등의 7가지 유형의 표정을 포함할 수 있다. 일부 표정이 표정공간 S에서 점유한 공간을 상기 유형 표정의 본질공간으로 정의할 수 있다. 예를 들어, 과 는 동일 유형의 표정 및 동일한 본질공간에 속할 수 있다. 동일한 본질공간에서 과 를 연결하는 라인의 각각의 포인트들은 최소의 본질공간을 포함한 볼록공간 내에 위치할 수 있다.
상술한 방법을 사용함으로써 E1을 생성하여 획득할 수 있다. 기존기술을 사용하여 획득한 E2와 비교할 때, E1은 최소의 본질공간을 포함한 볼록공간 내에 위치하고, 본질공간 거리보다 더 짧고 합성한 얼굴표정 이미지 효과도 비교적 자연스러울 수 있다.
도 7은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타내고 도 8은 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이고, 도 9는 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다.
새로운 얼굴 키 포인트 좌표와 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 차이에 따라 타겟 얼굴표정 이미지의 픽셀위치를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다(S207).
타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표가 대응하는 픽셀위치를 새로운 얼굴 키 포인트 좌표로 이동하여 새로운 얼굴표정 이미지를 형성한다. 픽셀이동은 기존기술에 속하고 여기서는 더 이상 설명하지 않는다.
도 8은 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이다. 이때, 보간값 파라미터 c는 0.04일 수 있다.
도 9는 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다. 이때, 보간값 파라미터 c는 0.11일 수 있다.
도 8 및 도 9를 도 1과 비교하면 자연스럽고 실제 얼굴표정 이미지에 더 가깝다는 것을 확인할 수 있다.
공개된 cohn kanade(CK+)의 사람 얼굴표정 데이터 베이스에서 알고리즘 성능 테스트를 진행하고, 일 실시예에 따른 이미지 처리 방법을 통해 새로운 얼굴표정 이미지를 생성할 수 있다. 생성된 새로운 얼굴표정 이미지는 표정식별모델을 트레이닝(training)하기 위한 트레이닝 데이터로서 훈련될 수 있다. 표정식별모델을 사용하여 표정식별을 하여 기존기술과 비교하면 식별한 오차률이 25% 감소한 것을 확인할 수 있었다.
이하에서는 일 실시예에 따른 이미지 처리 장치에 대하여 설명한다. 일 실시예에 따른 방법 실시예 및 장치 실시예는 동일한 구상에 속하고, 서로 긴밀하게 연관되며 장치 실시예에서 상세하게 설명하지 않은 세부 내용은 상술한 방법 실시예를 참고할 수 있다.
도 10은 일 실시예에 따른 이미지 처리 장치의 블록도를 나타내고, 도 11는 도 10에 도시된 표정특징 보간값부의 블록도를 나타낸다.
도 10 및 도 11을 참고하면, 이미지 처리 장치(300)는 얼굴표정 이미지를 합성할 수 있다. 이미지 처리 장치(300)는 표정특징 획득부(310), 표정특징 보간값부(320), 표정 이미지 합성부(330), 및 타겟 이미지 획득부(340)를 포함할 수 있다.
표정특징 획득부(310)는 적어도 두 개의 참고 얼굴표정 이미지의 표정특징을 획득할 수 있다.
표정특징 보간값부(320)는 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
표정특징 보간값부(320)는 파라미터 획득부(321) 및 보간값부(322)를 포함할 수 있다. 이때, 파라미터 획득부(321)는 보간값 파라미터를 획득할 수 있다. 예를 들어, 파라미터 획득부(321)는 랜덤으로 선택하는 방식에 기초하여 보간값 파라미터를 획득할 수 있다. 보간값부(322)는 보간값 파라미터에 따라 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
표정 이미지 합성부(330)는 새로운 표정특징에 따라 타겟 얼굴표정 이미지를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다. 예를 들어, 표정 이미지 합성부(330)는 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다. 표정 이미지 합성부(330)는 수학식 6에 기초하여 새로운 표정특징을 획득할 수 있다.
여기서, 은 새로운 표정특징이고, 는 보간값 파라미터이며, , , , 는 참고 표정 이미지 i의 표정특징이고, n은 참고 표정 이미지의 수량이며, 이며; 여기서 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속한다.
타겟 이미지 획득부(340)는 적어도 두 개의 참고 얼굴표정 이미지 중의 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정할 수 있다.
이미지 처리 장치(300)는 다음과 같이 동작할 수도 있다.
타겟 이미지 획득부(321)는 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하고, 미리 설정한 표정공간에서 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과 를 획득하고, 를 타겟 얼굴표정 이미지의 표정특징으로 할 수 있다. 또한, 타겟 이미지 획득부(321)는 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하여 미리 설정한 표정공간에서 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과 를 획득하고 를 참고 얼굴표정 이미지의 표정특징으로 할 수 있다.
여기서, 는 얼굴의 자세 파라미터이고, 는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터 함수이고, 는 의 도함수이고, x1은 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고, 는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고, 는 얼굴 신분 주성분 분석모델에서의 피팅계수이고, 는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이며, 는 두 개 벡터의 내적(inner-product)이고, 는 x1을 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 미리 트레이닝한 얼굴표정 주성분 분석모델이고, 는 얼굴표정 주성분 분석모델에서의 피팅계수이고, 는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고, 는 두 개 벡터의 내적이고, 은 x1을 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 x1과 의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p1은 가 대응하는 놈(norm)일 수 있다.
여기서, 는 얼굴의 자세 파라미터이고, 는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터 함수이고, 는 의 도함수이고, x2는 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고, 는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고, 는 얼굴 신분 주성분 분석모델에서의 피팅계수이고, 는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고, 는 두 개 벡터의 내적(inner-product)이고, 는 x2를 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 미리 트레이닝한 얼굴표정 주성분 분석모델이고, 는 얼굴표정 주성분 분석모델에서의 피팅계수이고, 는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고, 는 두 개 벡터의 내적이고, 은 x2를 로 회전한 후 획득한 새로운 좌표이고, 는 와 사이 각도의 코사인 값이고, 는 x2와 의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p2는 가 대응하는 놈(norm)일 수 있다.
새로운 얼굴 키 포인트 좌표와 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 차이에 따라 타겟 얼굴표정 이미지의 픽셀위치를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (16)
- 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 단계;
상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 단계; 및
상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 단계
를 포함하는 이미지 처리 방법.
- 제1항에 있어서,
상기 각각에 대해서 표정특징을 획득하는 단계는,
상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하는 단계;
상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하는 단계; 및
상기 표정 피팅결과를 상기 표정특징으로 설정하는 단계
를 포함하는 이미지 처리 방법.
- 제1항에 있어서,
상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 단계
를 더 포함하는 이미지 처리 방법.
- 제3항에 있어서,
상기 새로운 표정특징을 획득하는 단계는,
상기 타겟 얼굴표정 이미지의 표정특징을 획득하는 단계; 및
상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득하는 단계
를 포함하는 이미지 처리 방법.
- 제1항에 있어서,
상기 새로운 표정특징을 획득하는 단계는,
상기 표정특징의 보간값 파라미터(parameter)를 획득하는 단계; 및
상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 단계
를 포함하는 이미지 처리 방법.
- 제5항에 있어서,
상기 보간값 파라미터를 획득하는 단계는,
랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득하는 단계
를 포함하는 이미지 처리 방법.
- 제1항에 있어서,
상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속하는 이미지 처리 방법.
- 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 표정특징 획득부;
상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 표정특징 보간값부; 및
상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 표정 이미지 합성부
를 포함하는 이미지 처리 장치.
- 제9항에 있어서,
상기 표정특징을 획득부는,
상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하고, 상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하고, 상기 표정 피팅결과를 상기 표정특징으로 설정하는 이미지 처리 장치.
- 제9항에 있어서,
상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 타겟 이미지 획득부
를 더 포함하는 이미지 처리 장치.
- 제11항에 있어서,
상기 표정특징 보간값부는,
상기 타겟 얼굴표정 이미지의 표정특징을 획득하고, 상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득하는 이미지 처리 장치.
- 제9항에 있어서,
상기 표정특징 보간값부는,
상기 표정특징의 보간값 파라미터(parameter)를 획득하는 파라미터 획득부; 및
상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 보간값부
를 포함하는 이미지 처리 장치.
- 제13항에 있어서,
상기 파라미터 획득부는,
랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득하는 이미지 처리 장치.
- 제9항에 있어서,
상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속하는 이미지 처리 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/837,877 US10860841B2 (en) | 2016-12-29 | 2017-12-11 | Facial expression image processing method and apparatus |
US17/109,762 US11688105B2 (en) | 2016-12-29 | 2020-12-02 | Facial expression image processing method and apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611248661.1 | 2016-12-29 | ||
CN201611248661.1A CN108257162B (zh) | 2016-12-29 | 2016-12-29 | 合成脸部表情图像的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180078115A true KR20180078115A (ko) | 2018-07-09 |
KR102397080B1 KR102397080B1 (ko) | 2022-05-12 |
Family
ID=62721398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170084930A KR102397080B1 (ko) | 2016-12-29 | 2017-07-04 | 이미지 처리 방법 및 장치 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102397080B1 (ko) |
CN (1) | CN108257162B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200063292A (ko) * | 2018-11-16 | 2020-06-05 | 광운대학교 산학협력단 | 얼굴 영상 기반의 감정 인식 시스템 및 방법 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635634B (zh) * | 2018-10-29 | 2023-03-31 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
CN110059739B (zh) * | 2019-04-12 | 2022-03-04 | 北京字节跳动网络技术有限公司 | 图像合成方法、装置、电子设备和计算机可读存储介质 |
CN110941332A (zh) * | 2019-11-06 | 2020-03-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
CN111860380B (zh) * | 2020-07-27 | 2024-07-23 | 平安科技(深圳)有限公司 | 人脸图像生成方法、装置、服务器及存储介质 |
CN113870401B (zh) * | 2021-12-06 | 2022-02-25 | 腾讯科技(深圳)有限公司 | 表情生成方法、装置、设备、介质和计算机程序产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070061252A (ko) * | 2005-12-08 | 2007-06-13 | 한국전자통신연구원 | 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법 |
JP2010534376A (ja) * | 2007-07-23 | 2010-11-04 | ザ プロクター アンド ギャンブル カンパニー | しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置 |
KR20150140644A (ko) * | 2013-02-08 | 2015-12-16 | 이모션트 | 표정 인식을 위한 기계 학습 훈련 데이터의 수집 |
US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634106B2 (en) * | 2004-09-22 | 2009-12-15 | Fujifilm Corporation | Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program |
JP2013188341A (ja) * | 2012-03-14 | 2013-09-26 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
CN103268623B (zh) * | 2013-06-18 | 2016-05-18 | 西安电子科技大学 | 一种基于频域分析的静态人脸表情合成方法 |
US9405960B2 (en) * | 2014-06-17 | 2016-08-02 | Beijing Kuangshi Technology Co., Ltd. | Face hallucination using convolutional neural networks |
CN106056650A (zh) * | 2016-05-12 | 2016-10-26 | 西安电子科技大学 | 基于快速表情信息提取和泊松融合的人脸表情合成方法 |
-
2016
- 2016-12-29 CN CN201611248661.1A patent/CN108257162B/zh active Active
-
2017
- 2017-07-04 KR KR1020170084930A patent/KR102397080B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070061252A (ko) * | 2005-12-08 | 2007-06-13 | 한국전자통신연구원 | 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법 |
JP2010534376A (ja) * | 2007-07-23 | 2010-11-04 | ザ プロクター アンド ギャンブル カンパニー | しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置 |
KR20150140644A (ko) * | 2013-02-08 | 2015-12-16 | 이모션트 | 표정 인식을 위한 기계 학습 훈련 데이터의 수집 |
US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200063292A (ko) * | 2018-11-16 | 2020-06-05 | 광운대학교 산학협력단 | 얼굴 영상 기반의 감정 인식 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN108257162B (zh) | 2024-03-05 |
KR102397080B1 (ko) | 2022-05-12 |
CN108257162A (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180078115A (ko) | 이미지 처리 방법 및 장치 | |
US11688105B2 (en) | Facial expression image processing method and apparatus | |
US9978119B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
KR101819535B1 (ko) | 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치 | |
US9224245B2 (en) | Mesh animation | |
JP2021111114A (ja) | 学習データ生成プログラム、学習データ生成方法及び推定装置 | |
KR101925879B1 (ko) | 깊이 영상을 이용하는 동작 추정 방법 및 장치 | |
KR101602593B1 (ko) | 3d 모델 모핑을 위한 방법 및 장치 | |
US20160182771A1 (en) | Apparatus and method for generating sensory effect metadata | |
KR20140009013A (ko) | 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치 | |
Hsieh et al. | Automatic trimap generation for digital image matting | |
KR20120137826A (ko) | 얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체 | |
CN107862387B (zh) | 训练有监督机器学习的模型的方法和装置 | |
CN111275778A (zh) | 人脸简笔画生成方法及装置 | |
JP2023109570A (ja) | 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法 | |
Biswas et al. | Realistic talking face animation with speech-induced head motion | |
WO2015198592A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
Costigan et al. | Facial retargeting using neural networks | |
KR102108422B1 (ko) | Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 | |
KR20210147647A (ko) | 얼굴 이미지 색상 합성 장치 및 방법 | |
Ngô et al. | Unified application of style transfer for face swapping and reenactment | |
KR20210016057A (ko) | 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체 | |
KR20180069312A (ko) | 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치 | |
JP2007272578A (ja) | 画像処理装置および画像処理方法 | |
KR101958275B1 (ko) | 영상 패치 정규화 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |