KR20180078115A - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR20180078115A
KR20180078115A KR1020170084930A KR20170084930A KR20180078115A KR 20180078115 A KR20180078115 A KR 20180078115A KR 1020170084930 A KR1020170084930 A KR 1020170084930A KR 20170084930 A KR20170084930 A KR 20170084930A KR 20180078115 A KR20180078115 A KR 20180078115A
Authority
KR
South Korea
Prior art keywords
facial
facial expression
feature
image
new
Prior art date
Application number
KR1020170084930A
Other languages
English (en)
Other versions
KR102397080B1 (ko
Inventor
티앤츄 구오
김영성
휘 쟝
유병인
최창규
한재준
징타오 쑤
더헝 치앤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/837,877 priority Critical patent/US10860841B2/en
Publication of KR20180078115A publication Critical patent/KR20180078115A/ko
Priority to US17/109,762 priority patent/US11688105B2/en
Application granted granted Critical
Publication of KR102397080B1 publication Critical patent/KR102397080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G06K9/00275—
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

이미지 처리 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 처리 방법은 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 단계와, 상기 표정특징의 보간값에 기초하여 새로운 표정특징을 획득하는 단계와, 상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}
아래 실시예들은 이미지 처리 방법 및 장치에 관한 것이다.
사람 얼굴표정식별은 오락, 안전, 사람-로봇 상호작용과 소셜 네트워크 분석 등 영역에 광범위하게 응용된다. 사람 얼굴표정식별을 하기 위하여 표정식별 모델의 트레이닝이 필요하고, 이는 대량의 표정 이미지를 트레이닝 데이터를 수요로 한다. 그러나, 표정 이미지의 수집은 비용이 높고 많은 제한을 받는다. 이 문제를 해결하기 위하여 합성방법을 사용하여 대량의 표정 이미지를 생성하여 표정식별 모델을 트레이닝 하는데 사용한다.
하지만 기존의 표정 이미지 합성 방법은 표정 변화가 비선형성을 갖기 때문에, 이미 갖고 있는 표정특징을 직접 확대 또는 축소하여 새로운 표정특징을 획득하고, 상기 새로운 표정특징에 따라 획득한 새로운 표정 이미지는 볼 때 비교적 기이하며, 진실 표정 이미지와 차이가 비교적 크기에 기존기술이 합성한 얼굴표정 이미지 효과는 자연스럽지 않을 수 있다.
표정을 분석하는 경우, 표정 유형(카테고리) 및 모든 얼굴표정 상태를 포함하는 표정공간을 미리 설정할 수 있다. 예를 들어, 표정공간은 C1, C2, C3 등의 표정 유형(카테고리)을 포함할 수 있다. 이때, 분석한 표정특징
Figure pat00001
가 유형 C1에 속하고, k가 1보다 매우 크거나 또는 0에 매우 근접할 때,
Figure pat00002
는 유형 C1의 범위를 쉽게 초과하여
Figure pat00003
대응하는 사람얼굴 표정 이미지 효과는 더 부자연스러울 수 있다.
실시예들은 적어도 두 개의 참고(reference) 얼굴표정 이미지의 표정특징을 획득하고, 상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값(interpolation)에 대하여 새로운 표정특징을 획득하고, 새로운 표정특징에 따라 타겟 얼굴표정 이미지를 조절하여 새로운 얼굴표정 이미지를 형성하는 기술을 제공할 수 있다.
또한, 실시예들은 서로 다른 표정특징 보간값에 대하여 새로운 표정특징을 획득하므로 이미 갖고 있는 표정특징을 직접 확대 또는 감소시키지 않고, 정확하고 자연스러워 진실 표정 이미지에 근접한 새로운 얼굴표정 이미지를 획득하는 기술을 제공할 수 있다.
일 실시예에 따른 이미지 처리 방법은 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 단계와, 상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 단계와, 상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 단계를 포함한다.
상기 각각에 대해서 표정특징을 획득하는 단계는, 상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하는 단계와, 상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하는 단계와, 상기 표정 피팅결과를 상기 표정특징으로 설정하는 단계를 포함할 수 있다.
상기 방법은, 상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 단계를 더 포함할 수 있다.
상기 새로운 표정특징을 획득하는 단계는, 상기 타겟 얼굴표정 이미지의 표정특징을 획득하는 단계와, 상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득하는 단계를 포함할 수 있다.
상기 새로운 표정특징을 획득하는 단계는, 상기 표정특징의 보간값 파라미터(parameter)를 획득하는 단계와, 상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 단계를 포함할 수 있다.
상기 보간값 파라미터를 획득하는 단계는, 랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득하는 단계를 포함할 수 있다.
상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속할 수 있다.
일 실시예에 따른 이미지 처리 장치는 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 표정특징 획득부와, 상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 표정특징 보간값부와, 상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 표정 이미지 합성부를 포함한다.
상기 표정특징을 획득부는, 상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하고, 상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하고, 상기 표정 피팅결과를 상기 표정특징으로 설정할 수 있다.
상기 장치는 상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 타겟 이미지 획득부를 더 포함할 수 있다.
상기 표정특징 보간값부는, 상기 타겟 얼굴표정 이미지의 표정특징을 획득하고, 상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득할 수 있다.
상기 표정특징 보간값부는, 상기 표정특징의 보간값 파라미터(parameter)를 획득하는 파라미터 획득부와, 상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 보간값부를 포함할 수 있다.
상기 파라미터 획득부는, 랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득할 수 있다.
상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속할 수 있다.
도 1은 표정 이미지 합성 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 이미지 처리 방법의 순서도의 일 예를 나타낸다.
도 3은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 4는 도 3에 도시된 얼굴 키 포인트를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 6은 본질공간에서 합성한 표정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타낸다.
도 8은 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이다.
도 9는 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다.
도 10은 일 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 11는 도 10에 도시된 표정특징 보간값부의 블록도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 표정 이미지 합성 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 사람 얼굴표정식별을 하기 위하여 일 실시예에 따른 표정 이미지 합성 방법을 통해 획득한 표정 이미지를 확인할 수 있다.
표정 이미지 합성방법은 크게 두 가지 유형으로 분류할 수 있다.
예를 들어, 첫번째 유형의 방법은 표정 이미지를 직접 조작하고, 표정 이미지의 픽셀위치 이동, 또는 픽셀 휘도값을 변경하는 것을 통하여 새로운 표정 이미지를 획득하는 방법이다. 이 유형의 방법으로 획득한 새로운 표정 이미지는 보통 촬영한 진실 표정 이미지와 큰 차이가 있을 수 있다.
또한, 두번째 유형의 방법은 표정 이미지의 표정특징을 단독으로 분석하고, 수정분석으로 얻은 표정특징을 통하여 새로운 표정특징을 획득하며, 다시 새로운 표정특징을 원래 표정 이미지에 융합하여 새로운 표정 이미지를 획득하는 방법이다. 이 유형으로 획득한 새로운 표정 이미지는 진실 표정 이미지에 더욱 근접할 수 있다.
먼저 사람 얼굴표정 이미지의 표정특징
Figure pat00004
를 분석하고, 하나의 조절정수 k를 설정하며
Figure pat00005
를 계산하여 하나의 새로운 표정특징을 획득하고, 다시 새로운 표정특징에 따라 상기 사람 얼굴표정 이미지를 조절하여 새로운 사람 얼굴표정 이미지를 형성할 수 있다.
k>1일 때,
Figure pat00006
Figure pat00007
는
Figure pat00008
Figure pat00009
보다 더 강한 표정일 수 있다. 예를 들어, 폭소 표정은 미소 표정보다 강할 수 있다.
0<k<1일 때,
Figure pat00010
는
Figure pat00011
보다 더 약한 표정일 수 있다. k=0.5일 때 두번째 유형의 표정 이미지 합성방법을 통해 형성한 새로운 사람 얼굴표정 이미지의 일 예는 도 1에 도시된 바와 같을 수 있다. 즉, 좌측 이미지의 폭소 표정에서 축소하여 우측 이미지의 미소 표정을 획득할 수 있다.
도 2는 일 실시예에 따른 이미지 처리 방법의 순서도의 일 예를 나타낸다.
도 2를 참조하면, 이미지를 처리 방법을 사용하여 얼굴표정 이미지를 합성할 수 있다. 또한, 이미지 처리 방법을 사용하여 표정식별 모델을 트레이닝 할 수 있고, 도면 처리 프로그램, 비디오 처리 프로그램 등의 영역에도 응용할 수 있으며; 사람의 얼굴표정 이미지를 합성할 수 있고, 동물의 얼굴표정 이미지(예를 들어, 고릴라 얼굴표정 이미지)도 합성할 수 있다.
적어도 두 개의 참고(reference) 얼굴표정 이미지의 표정특징을 획득할 수 있다(S101). 참고 얼굴표정 이미지는 기준 얼굴표정 이미지로 이해될 수 있다. 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속할 수 있다. 또한, 두 개 이상 유형의 표정특징에 속하는 적어도 두 개의 참고 얼굴표정 이미지를 사용하는 경우, 독특한 얼굴 표정 이미지를 합성할 수도 있다.
적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다(S102).
일 예로, 랜덤으로 선택한 방식에 기초하여 보간값 파라미터를 획득하고, 보간값 파라미터에 기초하여 새로운 표정특징을 획득할 수 있다. 즉, 참고 얼굴표정 이미지가 같더라도, 얼굴 표정 이미지를 합성할 때마다 랜덤으로 선택한 방식을 통하여 서로 다른 보간값 파라미터를 획득하므로, 서로 다른 새로운 표정특징을 획득하여 서로 다른 얼굴표정 이미지를 합성할 수 있다. 보간값 파라미터는 사용자가 미리 설정한 값일 수 있다.
다른 예로, 수학식 1을 사용하여 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
Figure pat00012
여기서,
Figure pat00013
은 새로운 표정특징이고,
Figure pat00014
는 보간값 파라미터이며,
Figure pat00015
,
Figure pat00016
,
Figure pat00017
,
Figure pat00018
는 참고 표정 이미지 i의 표정특징이고, n은 참고 표정 이미지의 수량이며,
Figure pat00019
일 수 있다.
또 다른 예로, 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정할 수 있다. 타겟 얼굴표정 이미지는 새로운 표정특징과 밀접한 연관이 있다. 타겟 얼굴표정 이미지를 사용하여 획득한 얼굴표정 이미지는 자연스럽고(natural) 리얼(real)할 수 있다.
적어도 두 개의 참고 얼굴표정 이미지는 타겟 얼굴표정 이미지와 독립적(independent)일 수 있다. 예를 들어, 타겟 얼굴표정 이미지는 웃음(smile)을 포함하지 않고, 적어도 두 개의 참고 얼굴표정 이미지는 폭소(lauging) 표정을 포함할 수 있다. 이때, 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 차이값에 기초하여 폭소(laughing) 표정의 새로운 표정특징을 생성하고, 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하여 타겟 얼굴표정 이미지가 웃음(smile)을 포함하게 할 수 있다.
이하에서는 보간값과 새로운 표정특징에 대하여 구체적으로 설명한다.
보간값 실시예 1.
하나의 타겟 얼굴표정 이미지의 표정특징과 하나의 참고 얼굴표정 이미지의 표정특징을 획득할 수 있다. 즉, 두 개의 참고 얼굴표정 이미지의 표정특징을 획득하고, 그 중의 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정할 수 있다. 또한, 수학식 2를 사용하여 타겟 얼굴표정 이미지의 표정특징과 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
Figure pat00020
여기서, c는 보간값 파라미터이고,
Figure pat00021
이고,
Figure pat00022
는 새로운 표정특징이고,
Figure pat00023
은 타겟 얼굴표정 이미지의 표정특징이고,
Figure pat00024
는 참고 얼굴표정 이미지의 표정특징일 수 있다. 이때, c는 0.1, 0.26, 0.5, 0.72, 0.88, 0.98등 값일 수 있다.
얼굴표정 이미지를 합성할 때, 타겟 얼굴표정 이미지와 참고 얼굴표정 이미지가 같더라도, 서로 다른 보간값 파라미터를 설정하면 서로 다른 새로운 표정특징을 획득할 수 있고, 서로 다른 새로운 얼굴표정 이미지를 합성할 수 있다. 서로 다른 보간값 파라미터를 설정함으로써 대량의 얼굴표정 이미지 합성을 실현할 수 있다.
보간값 실시예 2.
하나의 타겟 얼굴표정 이미지의 표정특징, 제1 참고 얼굴표정 이미지의 표정특징과 제2 참고 얼굴표정 이미지의 표정특징을 획득할 수 있다. 즉, 세 개의 참고 얼굴표정 이미지의 표정특징을 획득하고, 그 중의 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정하고, 그 외 두 개의 참고 얼굴표정 이미지는 각각 제1 참고 얼굴표정 이미지, 제2 참고 얼굴표정 이미지로 설정할 수 있다. 또한, 수학식 3을 사용하여 타겟 얼굴표정 이미지의 표정특징, 제1 참고 얼굴표정 이미지의 표정특징과 제2 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
Figure pat00025
여기서, c1, c2, c3는 보간값 파라미터이고,
Figure pat00026
이고,
Figure pat00027
이고,
Figure pat00028
이고,
Figure pat00029
이고,
Figure pat00030
는 새로운 표정특징이고,
Figure pat00031
은 타겟 얼굴표정 이미지의 표정특징이고,
Figure pat00032
는 제1 참고 얼굴표정 이미지의 표정특징이고,
Figure pat00033
는 제2 참고 얼굴표정 이미지의 표정특징일 수 있다.
획득한 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다(S103).
이상에서는 설명의 편의를 위해 보간값 파라미터와 참고 얼굴표정 이미지의 표정특징의 수량을 특정하여 설명하였으나, 반드시 이에 한정되는 것은 아니고, 보간값 파라미터와 참고 얼굴표정 이미지의 표정특징의 수량은 수정될 수 있다.
해당 기술영역에서 통상의 지식을 가진 자는 본 발명의 내용과 공지된 상식, 이미 공개된 기술을 결합하여, 어렵지 않게 더 많은 종류의 보간값 공식을 용이하게 생각할 수 있고, 보간값 공식에 따라 더 많은 실시방식을 생성할 수 있다. 이러한 실시방식이 서로 다른 표정특징 보간값에 의하여 새로운 표정특징을 획득하는 것이라면 모두 본 발명의 보호범위에 속한다고 할 것이다.
도 3은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타내고, 도 4는 도 3에 도시된 얼굴 키 포인트를 설명하기 위한 도면이다.
도 3 및 도 4를 참조하면, 타겟 얼굴표정 이미지의 표정특징을 획득하기 위해서, 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석할 수 있다(S201). 얼굴 키 포인트 좌표는, 도 4에 도시된 바와 같이, 68개의 다이아몬드형(diamond)의 좌표일 수 있다. 얼굴 키 포인트 좌표는 자동검측 또는 인공방법 등을 사용하여 정의할 수 있다. 또한, 얼굴 키 포인트 좌표는 얼굴의 신분정보와 표정정보를 포함할 수 있다. 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하는 단계는, 서로 다른 알고리즘에 따라 서로 다른 위치, 서로 다른 수량의 얼굴 키 포인트 좌표를 선택하는 단계를 포함할 수 있다.
미리 설정한 표정공간에서 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과
Figure pat00034
Figure pat00035
을 획득하고,
Figure pat00036
Figure pat00037
을 타겟 얼굴표정 이미지의 표정특징으로 설정할 수 있다(S202). 여기서, 미리 설정한 표정공간에서 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00038
을 획득하는 단계는 다음의 단계를 포함할 수 있다.
단계(s11), 미리 설정한 각도
Figure pat00039
를 획득할 수 있다.
단계(s12),
Figure pat00040
를 계산할 수 있다. 여기서,
Figure pat00041
,
Figure pat00042
,
Figure pat00043
,
Figure pat00044
,
Figure pat00045
,
Figure pat00046
일 수 있다.
단계(s13),
Figure pat00047
를 계산하고,
Figure pat00048
로 설정할 수 있다.
단계(s14),
Figure pat00049
를 새로운
Figure pat00050
로 정의할 수 있다.
단계(s15), 새로운
Figure pat00051
를 사용하여
Figure pat00052
를 다시 계산할 수 있다. 여기서,
Figure pat00053
,
Figure pat00054
,
Figure pat00055
,
Figure pat00056
,
Figure pat00057
,
Figure pat00058
일 수 있다.
단계(s16), 단계(s15)에서 계산한 에 기초하여
Figure pat00060
를 계산할 수 있다.
단계(s17),
Figure pat00061
이 성립되는지 여부를 판단할 수 있다.
이때,
Figure pat00062
인 경우,
Figure pat00063
이고,
Figure pat00064
이고,
Figure pat00065
를 재구축 새좌표 각도 값으로 할 수 있다.
Figure pat00066
인 경우,
Figure pat00067
로 설정하여 단계(s14)로 되돌아 갈 수 있다.
여기서,
Figure pat00068
는 얼굴의 자세 파라미터이고,
Figure pat00069
는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터(column vector) 함수이고,
Figure pat00070
는
Figure pat00071
의 도함수이고, x1은 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고,
Figure pat00072
는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고,
Figure pat00073
는 얼굴 신분 주성분 분석모델에서의 피팅계수이고,
Figure pat00074
는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이며,
Figure pat00075
는 두 개 벡터의 내적(inner-product)이고,
Figure pat00076
는 x1을
Figure pat00077
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00078
는
Figure pat00079
와
Figure pat00080
사이 각도의 코사인 값이고,
Figure pat00081
는 미리 트레이닝한 얼굴표정 주성분 분석모델이고,
Figure pat00082
는 얼굴표정 주성분 분석모델에서의 피팅계수이고,
Figure pat00083
는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고,
Figure pat00084
는 두 개 벡터의 내적이고,
Figure pat00085
은 x1을
Figure pat00086
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00087
는
Figure pat00088
와
Figure pat00089
사이 각도의 코사인 값이고,
Figure pat00090
는 x1과
Figure pat00091
의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p1은
Figure pat00092
가 대응하는 놈(norm)일 수 있다.
각각의 얼굴 키 포인트 좌표는 3차원 열 벡터이고, x1은 3 x 68 행(rows)의 열 벡터일 수 있다. 미리 설정한 값 g는 0에 근접한 값이고, 예를 들어, 실제응용에 따라 0.01, 0.001 또는 0.0001로 설정할 수 있다.
상술한 내용 이외에도, 얼굴 키 포인트 좌표를 피팅하지 않는 비 피팅을 통해 표정특징을 획득할 수 있다. 또한, 얼굴 키 포인트 좌표를 사용하지 않고 기타 방식, 예를 들어 이미지 스캔방식 또는 기타 기존기술 등을 사용하여 얼굴표정 이미지의 표정특징을 획득할 수도 있다.
이상 단계(S201, S202)는 타겟 얼굴표정 이미지의 표정특징을 획득하기 위한 과정이다.
단계(S203, S204)는 참고 얼굴표정 이미지의 표정특징을 획득하기 위한 과정이다. 단계(S201, S202)와 단계(S203, S204)에 있어서는 선후순서관계가 존재하지 않을 수 있다.
참고 얼굴표정 이미지의 표정특징을 획득하기 위해서, 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석할 수 있다(S203).
미리 설정한 표정공간에서 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00093
를 획득하고
Figure pat00094
를 참고 얼굴표정 이미지의 표정특징으로 설정할 수 있다(S204).
여기서, 미리 설정한 표정공간에서 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00095
를 획득하는 단계는 다음의 단계를 포함할 수 있다.
단계(s21), 미리 설정한 값
Figure pat00096
를 획득할 수 있다.
단계(s22),
Figure pat00097
를 계산할 수 있다. 여기서,
Figure pat00098
,
Figure pat00099
,
Figure pat00100
,
Figure pat00101
,
Figure pat00102
,
Figure pat00103
일 수 있다.
단계(s23),
Figure pat00104
를 계산하고,
Figure pat00105
= p2로 설정할 수 있다.
단계(s24),
Figure pat00106
를 새로운
Figure pat00107
로 정의할 수 있다.
단계(s25), 새로운
Figure pat00108
를 사용하여
Figure pat00109
를 다시 계산할 수 있다. 여기서,
Figure pat00110
,
Figure pat00111
,
Figure pat00112
,
Figure pat00113
,
Figure pat00114
,
Figure pat00115
일 수 있다.
단계(s26), 단계(s25)에서 계산한
Figure pat00116
에 기초하여
Figure pat00117
를 계산할 수 있다.
단계(s27),
Figure pat00118
이 성립되는지 여부를 판단할 수 있다.
이때,
Figure pat00119
인 경우,
Figure pat00120
이고,
Figure pat00121
로 할 수 있다.
Figure pat00122
인 경우,
Figure pat00123
로 설졍하여 단계(s24)로 되돌아갈 수 있다.
여기서,
Figure pat00124
는 얼굴의 자세 파라미터이고,
Figure pat00125
는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터(column vector) 함수이고,
Figure pat00126
는
Figure pat00127
의 도함수이고, x2는 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고,
Figure pat00128
는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고,
Figure pat00129
는 얼굴 신분 주성분 분석모델에서의 피팅계수이고,
Figure pat00130
는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이며,
Figure pat00131
는 두 개 벡터의 내적(inner-product)이고,
Figure pat00132
는 x2를
Figure pat00133
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00134
는
Figure pat00135
와
Figure pat00136
사이 각도의 코사인 값이고,
Figure pat00137
는 미리 트레이닝한 얼굴표정 주성분 분석모델이고,
Figure pat00138
는 얼굴표정 주성분 분석모델에서의 피팅계수이고,
Figure pat00139
는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고,
Figure pat00140
는 두 개 벡터의 내적이고,
Figure pat00141
은 x2를
Figure pat00142
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00143
는
Figure pat00144
와
Figure pat00145
사이 각도의 코사인 값이고,
Figure pat00146
는 x2와
Figure pat00147
의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p2는
Figure pat00148
가 대응하는 놈(norm)일 수 있다.
상술한 내용 이외에도, 얼굴 키 포인트 좌표를 피팅하지 않는 비 피팅을 통해 표정특징을 획득할 수 있다. 또한, 얼굴 키 포인트 좌표를 사용하지 않고 기타 방식, 예를 들어 이미지 스캔방식 또는 기타 기존기술 등을 사용하여 얼굴표정 이미지의 표정특징을 획득할 수도 있다.
도 5는 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타내고, 도 6은 본질공간에서 합성한 표정을 설명하기 위한 도면이다.
도 5를 참조하면, 수학식 4를 통하여 타겟 얼굴표정 이미지의 표정특징과 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징
Figure pat00149
Figure pat00150
을 획득할 수 있다(S205). 수학식 4는 상술한 수학식 2와 동일할 수 있다.
Figure pat00151
여기서, c는 보간값 파라미터이고,
Figure pat00152
이고,
Figure pat00153
는 새로운 표정특징이고,
Figure pat00154
은 타겟 얼굴표정 이미지의 표정특징이고,
Figure pat00155
는 참고 얼굴표정 이미지의 표정특징일 수 있다.
미리 설정한 표정공간 S는 기쁨, 비애, 분노, 짜증, 공포, 경악, 및 중립적인 무표정 등의 7가지 유형의 표정을 포함할 수 있다. 일부 표정이 표정공간 S에서 점유한 공간을 상기 유형 표정의 본질공간으로 정의할 수 있다. 예를 들어,
Figure pat00156
과
Figure pat00157
는 동일 유형의 표정 및 동일한 본질공간에 속할 수 있다. 동일한 본질공간에서
Figure pat00158
과
Figure pat00159
를 연결하는 라인의 각각의 포인트들은 최소의 본질공간을 포함한 볼록공간 내에 위치할 수 있다.
도 6을 참조하면, {b1, b2, b3}를 좌표축으로 하는 표정공간 내에서, 표정 {
Figure pat00160
，
Figure pat00161
}의 본질공간은 흑색곡선으로 표현될 수 있다.
이때,
Figure pat00162
을 확대함으로써 E2를 생성하여 획득할 수 있다. 하지만, E2는 이미 표정이 속한 본질공간으로부터 멀리 떨어져 있다.
상술한 방법을 사용함으로써 E1을 생성하여 획득할 수 있다. 기존기술을 사용하여 획득한 E2와 비교할 때, E1은 최소의 본질공간을 포함한 볼록공간 내에 위치하고, 본질공간 거리보다 더 짧고 합성한 얼굴표정 이미지 효과도 비교적 자연스러울 수 있다.
도 7은 일 실시예에 따른 이미지 처리 방법의 순서도의 다른 예를 나타내고 도 8은 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이고, 도 9는 일 실시예에 따른 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다.
도 7을 참조하면, 새로운 표정특징
Figure pat00163
에 기초하여 새로운 얼굴 키 포인트 좌표를 재구축할 수 있다(S206).
새로운 얼굴 키 포인트 좌표인
Figure pat00164
는 수학식 5와 같을 수 있다.
Figure pat00165
여기서,
Figure pat00166
,
Figure pat00167
,
Figure pat00168
,
Figure pat00169
,
Figure pat00170
,
Figure pat00171
,
Figure pat00172
는 재구축 새좌표 각도값일 수 있다.
새로운 얼굴 키 포인트 좌표와 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 차이에 따라 타겟 얼굴표정 이미지의 픽셀위치를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다(S207).
타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표가 대응하는 픽셀위치를 새로운 얼굴 키 포인트 좌표로 이동하여 새로운 얼굴표정 이미지를 형성한다. 픽셀이동은 기존기술에 속하고 여기서는 더 이상 설명하지 않는다.
도 8은 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 일 예이다. 이때, 보간값 파라미터 c는 0.04일 수 있다.
도 9는 이미지 처리 방법을 통해 획득한 새로운 얼굴표정 이미지의 다른 예이다. 이때, 보간값 파라미터 c는 0.11일 수 있다.
도 8 및 도 9를 도 1과 비교하면 자연스럽고 실제 얼굴표정 이미지에 더 가깝다는 것을 확인할 수 있다.
공개된 cohn kanade(CK+)의 사람 얼굴표정 데이터 베이스에서 알고리즘 성능 테스트를 진행하고, 일 실시예에 따른 이미지 처리 방법을 통해 새로운 얼굴표정 이미지를 생성할 수 있다. 생성된 새로운 얼굴표정 이미지는 표정식별모델을 트레이닝(training)하기 위한 트레이닝 데이터로서 훈련될 수 있다. 표정식별모델을 사용하여 표정식별을 하여 기존기술과 비교하면 식별한 오차률이 25% 감소한 것을 확인할 수 있었다.
이하에서는 일 실시예에 따른 이미지 처리 장치에 대하여 설명한다. 일 실시예에 따른 방법 실시예 및 장치 실시예는 동일한 구상에 속하고, 서로 긴밀하게 연관되며 장치 실시예에서 상세하게 설명하지 않은 세부 내용은 상술한 방법 실시예를 참고할 수 있다.
도 10은 일 실시예에 따른 이미지 처리 장치의 블록도를 나타내고, 도 11는 도 10에 도시된 표정특징 보간값부의 블록도를 나타낸다.
도 10 및 도 11을 참고하면, 이미지 처리 장치(300)는 얼굴표정 이미지를 합성할 수 있다. 이미지 처리 장치(300)는 표정특징 획득부(310), 표정특징 보간값부(320), 표정 이미지 합성부(330), 및 타겟 이미지 획득부(340)를 포함할 수 있다.
표정특징 획득부(310)는 적어도 두 개의 참고 얼굴표정 이미지의 표정특징을 획득할 수 있다.
표정특징 보간값부(320)는 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
표정특징 보간값부(320)는 파라미터 획득부(321) 및 보간값부(322)를 포함할 수 있다. 이때, 파라미터 획득부(321)는 보간값 파라미터를 획득할 수 있다. 예를 들어, 파라미터 획득부(321)는 랜덤으로 선택하는 방식에 기초하여 보간값 파라미터를 획득할 수 있다. 보간값부(322)는 보간값 파라미터에 따라 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다.
표정 이미지 합성부(330)는 새로운 표정특징에 따라 타겟 얼굴표정 이미지를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다. 예를 들어, 표정 이미지 합성부(330)는 적어도 두 개의 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징을 획득할 수 있다. 표정 이미지 합성부(330)는 수학식 6에 기초하여 새로운 표정특징을 획득할 수 있다.
Figure pat00173
여기서,
Figure pat00174
은 새로운 표정특징이고,
Figure pat00175
는 보간값 파라미터이며,
Figure pat00176
,
Figure pat00177
,
Figure pat00178
,
Figure pat00179
는 참고 표정 이미지 i의 표정특징이고, n은 참고 표정 이미지의 수량이며,
Figure pat00180
이며; 여기서 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속한다.
타겟 이미지 획득부(340)는 적어도 두 개의 참고 얼굴표정 이미지 중의 하나의 참고 얼굴표정 이미지를 타겟 얼굴표정 이미지로 설정할 수 있다.
이미지 처리 장치(300)는 다음과 같이 동작할 수도 있다.
타겟 이미지 획득부(321)는 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하고, 미리 설정한 표정공간에서 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00181
를 획득하고,
Figure pat00182
를 타겟 얼굴표정 이미지의 표정특징으로 할 수 있다. 또한, 타겟 이미지 획득부(321)는 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하여 미리 설정한 표정공간에서 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00183
를 획득하고
Figure pat00184
를 참고 얼굴표정 이미지의 표정특징으로 할 수 있다.
여기서, 타겟 이미지 획득부(321)는 다음의 단계에 기초하여 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00185
를 획득할 수 있다.
단계(s11), 미리 설정한 각도
Figure pat00186
를 획득할 수 있다.
단계(s12),
Figure pat00187
를 계산할 수 있다. 여기서,
Figure pat00188
,
Figure pat00189
,
Figure pat00190
,
Figure pat00191
,
Figure pat00192
,
Figure pat00193
일 수 있다.
단계(s13),
Figure pat00194
를 계산하고,
Figure pat00195
로 설정할 수 있다.
단계(s14),
Figure pat00196
를 새로운
Figure pat00197
로 정의할 수 있다.
단계(s15),
Figure pat00198
를 계산할 수 있다. 여기서,
Figure pat00199
,
Figure pat00200
,
Figure pat00201
,
Figure pat00202
,
Figure pat00203
,
Figure pat00204
일 수 있다.
단계(s16),
Figure pat00205
를 계산할 수 있다.
단계(s17),
Figure pat00206
이 성립되는지 여부를 판단할 수 있다. 이때,
Figure pat00207
인 경우,
Figure pat00208
이고,
Figure pat00209
이고,
Figure pat00210
Figure pat00211
Figure pat00212
를 재구축 새좌표 각도 값으로 할 수 있다.
Figure pat00213
인 경우,
Figure pat00214
로 설정하여 단계(s14)로 되돌아 갈 수 있다.
여기서,
Figure pat00215
는 얼굴의 자세 파라미터이고,
Figure pat00216
는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터 함수이고,
Figure pat00217
는
Figure pat00218
의 도함수이고, x1은 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고,
Figure pat00219
는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고,
Figure pat00220
는 얼굴 신분 주성분 분석모델에서의 피팅계수이고,
Figure pat00221
는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이며,
Figure pat00222
는 두 개 벡터의 내적(inner-product)이고,
Figure pat00223
는 x1을
Figure pat00224
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00225
는
Figure pat00226
와
Figure pat00227
사이 각도의 코사인 값이고,
Figure pat00228
는 미리 트레이닝한 얼굴표정 주성분 분석모델이고,
Figure pat00229
는 얼굴표정 주성분 분석모델에서의 피팅계수이고,
Figure pat00230
는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고,
Figure pat00231
는 두 개 벡터의 내적이고,
Figure pat00232
은 x1을
Figure pat00233
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00234
는
Figure pat00235
와
Figure pat00236
사이 각도의 코사인 값이고,
Figure pat00237
는 x1과
Figure pat00238
의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p1은
Figure pat00239
가 대응하는 놈(norm)일 수 있다.
타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00240
를 획득할 수 있다.
또한, 타겟 이미지 획득부(321)는 다음의 단계에 기초하여 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 피팅하여 표정 피팅결과
Figure pat00241
를 획득할 수 있다.
단계(s21), 미리 설정한 값
Figure pat00242
를 획득할 수 있다.
단계(s22),
Figure pat00243
를 계산할 수 있다. 여기서,
Figure pat00244
,
Figure pat00245
,
Figure pat00246
,
Figure pat00247
,
Figure pat00248
,
Figure pat00249
일 수 있다.
단계(s23),
Figure pat00250
를 계산하고,
Figure pat00251
로 설정할 수 있다.
단계(s24),
Figure pat00252
를 새로운
Figure pat00253
로 정의할 수 있다.
단계(s25),
Figure pat00254
를 계산할 수 있다. 여기서,
Figure pat00255
,
Figure pat00256
,
Figure pat00257
,
Figure pat00258
,
Figure pat00259
,
Figure pat00260
일 수 있다.
단계(s26),
Figure pat00261
를 계산할 수 있다.
단계(s27),
Figure pat00262
이 성립되는지 여부를 판단할 수 있다.
Figure pat00263
인 경우,
Figure pat00264
,
Figure pat00265
로 할 수 있다.
Figure pat00266
인 경우,
Figure pat00267
로 설정하여 단계(s24)로 되돌아갈 수 있다.
여기서,
Figure pat00268
는 얼굴의 자세 파라미터이고,
Figure pat00269
는 피팅계수를 얼굴 키 포인트 좌표로 환원한 열 벡터 함수이고,
Figure pat00270
는
Figure pat00271
의 도함수이고, x2는 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표의 열 벡터이고,
Figure pat00272
는 미리 트레이닝한 얼굴 신분 주성분 분석모델이고,
Figure pat00273
는 얼굴 신분 주성분 분석모델에서의 피팅계수이고,
Figure pat00274
는 얼굴 신분 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고,
Figure pat00275
는 두 개 벡터의 내적(inner-product)이고,
Figure pat00276
는 x2를
Figure pat00277
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00278
는
Figure pat00279
와
Figure pat00280
사이 각도의 코사인 값이고,
Figure pat00281
는 미리 트레이닝한 얼굴표정 주성분 분석모델이고,
Figure pat00282
는 얼굴표정 주성분 분석모델에서의 피팅계수이고,
Figure pat00283
는 얼굴표정 주성분 분석모델의 i번째 위도요소이고, n은 모델 위도수량이고,
Figure pat00284
는 두 개 벡터의 내적이고,
Figure pat00285
은 x2를
Figure pat00286
로 회전한 후 획득한 새로운 좌표이고,
Figure pat00287
는
Figure pat00288
와
Figure pat00289
사이 각도의 코사인 값이고,
Figure pat00290
는 x2와
Figure pat00291
의 열 벡터 대응 요소를 덜어낸 놈(norm)이고, d는 미리 설정한 조절값이고, g는 미리 설정한 값이고, p2는
Figure pat00292
가 대응하는 놈(norm)일 수 있다.
표정특징 보간값부(320)는 수학식 7에 기초하여 타겟 얼굴표정 이미지의 표정특징과 참고 얼굴표정 이미지의 표정특징 보간값에 대하여 새로운 표정특징
Figure pat00293
을 획득할 수 있다.
Figure pat00294
여기서, c는 보간값 파라미터이고,
Figure pat00295
이고,
Figure pat00296
는 새로운 표정특징이고,
Figure pat00297
은 타겟 얼굴표정 이미지의 표정특징이고,
Figure pat00298
는 참고 얼굴표정 이미지의 표정특징일 수 있다.
표정 이미지 합성부(330)는 새로운 표정특징
Figure pat00299
에 따라 새로운 얼굴 키 포인트 좌표를 재구축할 수 있다.
새로운 얼굴 키 포인트 좌표
Figure pat00300
는 수학식 8과 같을 수 있다.
Figure pat00301
여기서,
Figure pat00302
,
Figure pat00303
,
Figure pat00304
,
Figure pat00305
,
Figure pat00306
,
Figure pat00307
,
Figure pat00308
는 재구축 새좌표 각도값일 수 있다.
새로운 얼굴 키 포인트 좌표와 타겟 얼굴표정 이미지의 얼굴 키 포인트 좌표의 차이에 따라 타겟 얼굴표정 이미지의 픽셀위치를 조절하여 새로운 얼굴표정 이미지를 형성할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 단계;
    상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 단계; 및
    상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 각각에 대해서 표정특징을 획득하는 단계는,
    상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하는 단계;
    상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하는 단계; 및
    상기 표정 피팅결과를 상기 표정특징으로 설정하는 단계
    를 포함하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 단계
    를 더 포함하는 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 새로운 표정특징을 획득하는 단계는,
    상기 타겟 얼굴표정 이미지의 표정특징을 획득하는 단계; 및
    상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득하는 단계
    를 포함하는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 새로운 표정특징을 획득하는 단계는,
    상기 표정특징의 보간값 파라미터(parameter)를 획득하는 단계; 및
    상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 단계
    를 포함하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 보간값 파라미터를 획득하는 단계는,
    랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득하는 단계
    를 포함하는 이미지 처리 방법.
  7. 제5항에 있어서,
    상기 새로운 표정특징을 획득하는 단계는,
    아래의 수학식에 기초하여 상기 새로운 표정특징을 획득하는 단계
    를 포함하는 이미지 처리 방법.
    [수학식]
    Figure pat00309

    여기서,
    Figure pat00310
    은 새로운 표정특징이고,
    Figure pat00311
    는 보간값 파라미터이며,
    Figure pat00312
    ,
    Figure pat00313
    ,
    Figure pat00314
    ,
    Figure pat00315
    는 참고 표정 이미지 i의 표정특징이고, n은 참고 표정 이미지의 수량이며,
    Figure pat00316
    임.
  8. 제1항에 있어서,
    상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속하는 이미지 처리 방법.
  9. 적어도 두 개의 참고 얼굴표정 이미지 각각에 대해서 표정특징을 획득하는 표정특징 획득부;
    상기 표정특징의 보간값(interpolation)에 기초하여 새로운 표정특징을 획득하는 표정특징 보간값부; 및
    상기 새로운 표정특징에 기초하여 타겟 얼굴표정 이미지를 조절하고, 새로운 얼굴표정 이미지를 형성하는 표정 이미지 합성부
    를 포함하는 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 표정특징을 획득부는,
    상기 적어도 두 개의 참고 얼굴표정 이미지의 얼굴 키 포인트 좌표를 분석하고, 상기 얼굴 키 포인트 좌표를 피팅(fitting)하여 표정 피팅결과를 획득하고, 상기 표정 피팅결과를 상기 표정특징으로 설정하는 이미지 처리 장치.
  11. 제9항에 있어서,
    상기 적어도 두 개의 참고 얼굴표정 이미지 중에서 하나를 상기 타겟 얼굴표정 이미지로 설정하는 타겟 이미지 획득부
    를 더 포함하는 이미지 처리 장치.
  12. 제11항에 있어서,
    상기 표정특징 보간값부는,
    상기 타겟 얼굴표정 이미지의 표정특징을 획득하고, 상기 타겟 얼굴표정 이미지의 표정특징 및 상기 적어도 두 개의 참고 얼굴표정 이미지 각각의 표정특징에 기초하여 상기 새로운 표정특징을 획득하는 이미지 처리 장치.
  13. 제9항에 있어서,
    상기 표정특징 보간값부는,
    상기 표정특징의 보간값 파라미터(parameter)를 획득하는 파라미터 획득부; 및
    상기 보간값 파라미터에 기초하여 상기 새로운 표정특징을 획득하는 보간값부
    를 포함하는 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 파라미터 획득부는,
    랜덤으로 선택하는 방식에 기초하여 상기 보간값 파라미터를 획득하는 이미지 처리 장치.
  15. 제13항에 있어서,
    상기 보간값부는,
    아래의 수학식에 기초하여 상기 새로운 표정특징을 획득하는 이미지 처리 장치.
    [수학식]
    Figure pat00317

    여기서,
    Figure pat00318
    은 새로운 표정특징이고,
    Figure pat00319
    는 보간값 파라미터이며,
    Figure pat00320
    ,
    Figure pat00321
    ,
    Figure pat00322
    ,
    Figure pat00323
    는 참고 표정 이미지 i의 표정특징이고, n은 참고 표정 이미지의 수량이며,
    Figure pat00324
    임.
  16. 제9항에 있어서,
    상기 적어도 두 개의 참고 얼굴표정 이미지의 표정특징은 동일한 유형의 표정특징에 속하는 이미지 처리 장치.
KR1020170084930A 2016-12-29 2017-07-04 이미지 처리 방법 및 장치 KR102397080B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/837,877 US10860841B2 (en) 2016-12-29 2017-12-11 Facial expression image processing method and apparatus
US17/109,762 US11688105B2 (en) 2016-12-29 2020-12-02 Facial expression image processing method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611248661.1 2016-12-29
CN201611248661.1A CN108257162B (zh) 2016-12-29 2016-12-29 合成脸部表情图像的方法和装置

Publications (2)

Publication Number Publication Date
KR20180078115A true KR20180078115A (ko) 2018-07-09
KR102397080B1 KR102397080B1 (ko) 2022-05-12

Family

ID=62721398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170084930A KR102397080B1 (ko) 2016-12-29 2017-07-04 이미지 처리 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102397080B1 (ko)
CN (1) CN108257162B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063292A (ko) * 2018-11-16 2020-06-05 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635634B (zh) * 2018-10-29 2023-03-31 西北大学 一种基于随机线性插值的行人再识别数据增强方法
CN110059739B (zh) * 2019-04-12 2022-03-04 北京字节跳动网络技术有限公司 图像合成方法、装置、电子设备和计算机可读存储介质
CN110941332A (zh) * 2019-11-06 2020-03-31 北京百度网讯科技有限公司 表情驱动方法、装置、电子设备及存储介质
CN111860380B (zh) * 2020-07-27 2024-07-23 平安科技（深圳）有限公司 人脸图像生成方法、装置、服务器及存储介质
CN113870401B (zh) * 2021-12-06 2022-02-25 腾讯科技（深圳）有限公司 表情生成方法、装置、设备、介质和计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061252A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법
JP2010534376A (ja) * 2007-07-23 2010-11-04 ザ プロクター アンド ギャンブル カンパニー しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置
KR20150140644A (ko) * 2013-02-08 2015-12-16 이모션트 표정 인식을 위한 기계 학습 훈련 데이터의 수집
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP2013188341A (ja) * 2012-03-14 2013-09-26 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN103268623B (zh) * 2013-06-18 2016-05-18 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
US9405960B2 (en) * 2014-06-17 2016-08-02 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
CN106056650A (zh) * 2016-05-12 2016-10-26 西安电子科技大学 基于快速表情信息提取和泊松融合的人脸表情合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061252A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법
JP2010534376A (ja) * 2007-07-23 2010-11-04 ザ プロクター アンド ギャンブル カンパニー しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置
KR20150140644A (ko) * 2013-02-08 2015-12-16 이모션트 표정 인식을 위한 기계 학습 훈련 데이터의 수집
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063292A (ko) * 2018-11-16 2020-06-05 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법

Also Published As

Publication number Publication date
CN108257162B (zh) 2024-03-05
KR102397080B1 (ko) 2022-05-12
CN108257162A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
KR20180078115A (ko) 이미지 처리 방법 및 장치
US11688105B2 (en) Facial expression image processing method and apparatus
US9978119B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
US9224245B2 (en) Mesh animation
JP2021111114A (ja) 学習データ生成プログラム、学習データ生成方法及び推定装置
KR101925879B1 (ko) 깊이 영상을 이용하는 동작 추정 방법 및 장치
KR101602593B1 (ko) 3d 모델 모핑을 위한 방법 및 장치
US20160182771A1 (en) Apparatus and method for generating sensory effect metadata
KR20140009013A (ko) 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
Hsieh et al. Automatic trimap generation for digital image matting
KR20120137826A (ko) 얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체
CN107862387B (zh) 训练有监督机器学习的模型的方法和装置
CN111275778A (zh) 人脸简笔画生成方法及装置
JP2023109570A (ja) 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法
Biswas et al. Realistic talking face animation with speech-induced head motion
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
Costigan et al. Facial retargeting using neural networks
KR102108422B1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
Ngô et al. Unified application of style transfer for face swapping and reenactment
KR20210016057A (ko) 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체
KR20180069312A (ko) 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치
JP2007272578A (ja) 画像処理装置および画像処理方法
KR101958275B1 (ko) 영상 패치 정규화 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant