KR20100112335A - 비디오 기반 얼굴 애니메이션 생성 장치 및 방법 - Google Patents

비디오 기반 얼굴 애니메이션 생성 장치 및 방법 Download PDF

Info

Publication number
KR20100112335A
KR20100112335A KR1020090030794A KR20090030794A KR20100112335A KR 20100112335 A KR20100112335 A KR 20100112335A KR 1020090030794 A KR1020090030794 A KR 1020090030794A KR 20090030794 A KR20090030794 A KR 20090030794A KR 20100112335 A KR20100112335 A KR 20100112335A
Authority
KR
South Korea
Prior art keywords
face
divided
regions
vector
image frame
Prior art date
Application number
KR1020090030794A
Other languages
English (en)
Other versions
KR101555347B1 (ko
Inventor
박봉철
정성근
김효원
박문호
오두나
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090030794A priority Critical patent/KR101555347B1/ko
Priority to US12/699,229 priority patent/US8624901B2/en
Publication of KR20100112335A publication Critical patent/KR20100112335A/ko
Application granted granted Critical
Publication of KR101555347B1 publication Critical patent/KR101555347B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

비디오 데이터와 제한된 개수의 가상 캐릭터의 삼차원 키 모델을 이용하여 입력되는 비디오 프레임에 따라 가상 캐릭터의 표정을 제공하기 위한 얼굴 애니메이션을 생성하는 장치 및 방법이 개시된다. 가상 캐릭터의 3차원 표정을 2차원으로 투영한 후, 입력 비디오의 각 프레임에 담겨있는 2차원 표정과 유사 정도에 근거하여 키 모델의 혼합 가중치를 계산한다. 각 키 모델을 계산된 혼합 가중치로 혼합하면 영상 속의 표정에 가장 근접한 삼차원 표정을 가진 캐릭터가 생성될 수 있다. 이러한 동작이 입력되는 비디오 데이터를 구성하는 일련의 영상 프레임마다 수행되어 비디오 데이터의 얼굴 표정에 따라 동작하는 얼굴 애니메이션이 제공될 수 있다.
비디오, 얼굴 애니메이션, 캐릭터, 광학 흐름, 표정

Description

비디오 기반 얼굴 애니메이션 생성 장치 및 방법{Apparatus and method for generating video-guided facial animation}
하나 이상의 양상은 얼굴 애니메이션 생성 기술에 관한 것으로, 더 상세하게는 복수 개의 키 모델을 이용하여 다양한 표정의 얼굴 캐릭터에 대한 애니메이션을 생성하기 위한 장치 및 방법에 관한 것이다.
애니메이션, 영화 및 게임 분야는 물론이고, 최근에는 광고판, 전자기기, 안내 데스크 등 일상 생활에 밀접하게 관계가 있는 제품까지도 가상 캐릭터의 얼굴 애니메이션이 중요한 요소로 자리매김하고 있다. 특히, TV나 캠코더와 같이 사용자와의 상호작용이 많은 전자제품에서 인간형 대화 시스템의 필요성이 대두되고 있다.
캐릭터의 얼굴 애니메이션을 만드는 작업은 시간과 노력이 많이 소요되는 노동 집약적 작업으로 분류되어 왔으나, 최근에는 기존에 만들어진 예제 데이터들을 재활용하여 원하는 얼굴 애니메이션을 빠르게 생성할 수 있는 데이터기반 얼굴 애니메이션 분야가 각광받고 있다. 데이터 기반 얼굴 애니메이션에서는 고품질의 예제 얼굴 애니메이션 데이터의 다량 확보가 성공의 중요한 부분을 차지한다. 다른 방법으로, 많은 사람의 표정과 입모양을 삼차원 정보로 스캔한 데이터베이스를 구축하고, 이들을 혼합함으로써 단일 영상으로부터 얼굴 애니메이션을 생성하는 기술도 있다.
이러한 얼굴 애니메이션 데이터는 모션 캡처나 스테레오 영상 기술들을 이용하여 실제 사람의 표정을 포착하여 획득되며, 이와 같은 얼굴 애니메이션 데이터를 이용하여 생성된 얼굴 표정은 자연스럽기는 하지만 획득하는데 여러 제약 사항이 있다. 우선, 데이터 기반 얼굴 애니메이션 데이터를 획득하기 위해서는 고가의 특수한 장비를 이용해야 하며, 이러한 장비는 일반 가정이나 사무실 환경의 배경이나 조명 상태가 아닌 특수한 환경에서 설치되어야 얼굴 애니메이션 데이터를 획득할 수 있다. 또한, 얼굴 애니메이션 데이터를 생성하기 위하여 표정 연기를 수행하는 수행자의 얼굴에 표식(marker)를 붙이거나 색깔을 칠함으로써, 얼굴 애니메이션 데이터 획득을 위한 준비 시간이 길다.
비디오 데이터와 제한된 개수의 가상 캐릭터의 삼차원 키 모델을 이용하여 입력되는 비디오의 영상 프레임에 포함된 2차원 얼굴 표정에 따른 표정을 가지는 얼굴 캐릭터에 대한 얼굴 애니메이션을 생성하는 장치 및 방법을 제공한다.
일 양상의 얼굴 애니메이션 생성 장치는 가상 캐릭터의 3차원 표정을 2차원으로 투영한 후, 입력 비디오의 각 영상 프레임에 담겨있는 2차원 표정과 유사 정 도에 근거하여 키 모델의 혼합 가중치를 계산한다. 각 키 모델을 계산된 혼합 가중치로 혼합하면 영상 속의 표정에 가장 근접한 삼차원 표정이 생성된다.
얼굴 애니메이션 생성 장치는 복수 개의 영상 프레임을 포함하는 비디오 데이터 및 복수 개의 키 모델을 입력받는다. 얼굴 애니메이션 생성 장치는 복수 개의 영상 프레임 및 복수 개의 키 모델에 대해서 대응하도록 영역을 분할하고, 입력되는 복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 각각 결정한다. 그런 다음, 얼굴 애니메이션 생성 장치는 가장 유사도가 높은 분할된 얼굴 영역의 영상 프레임을 이용하여 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치 결정하고, 결정된 혼합 가중치를 이용하여 분할된 얼굴 영역별로 키 모델을 합성하여 영상 프레임의 얼굴의 표정에 근접한 삼차원 표정을 가진 얼굴 캐릭터를 생성할 수 있다.
얼굴 애니메이션 생성 장치는 복수 개의 얼굴 캐릭터 키 모델을 복수 개의 영역으로 분할하고, 복수 개의 일련의 영상 프레임에 대하여 복수 개의 영역에 대응하는 영역인 블랍들을 설정할 수 있다. 복수 개의 키 모델을 왼쪽 눈을 포함하는 제1 영역, 오른 쪽 눈을 포함하는 제2 영역 및 입 주위를 포함하는 제3 영역으로 분할되고, 블랍들은 복수 개의 영상 프레임에 대하여 제1 영역, 제2 영역 및 제3 영역에 대응하도록 설정될 수 있다.
얼굴 애니메이션 생성 장치는 하나의 키 모델에 포함된 정점들을 기준으로 결정되는 나머지 키 모델에 포함되는 정점들 각각에 대한 2차원 변위 벡터의 방향 및 하나의 영상 프레임에 포함된 화소들을 기준으로 결정되는 나머지 영상 프레임에 포함되는 화소들에 대한 광학 흐름 계산에 의해 계산되는 광학 흐름 벡터의 방향을 비교하여 유사도를 계산할 수 있다. 2차원 변위 벡터를 생성하기 위해서 얼굴 애니메이션 생성 장치는 3차원 형상인 복수 개의 얼굴 키 모델 각각에 대하여 하나의 키 모델을 기준으로 나머지 키 모델에 포함되는 정점들 각각에 대한 3차원 변위 벡터를 결정하고 3차원 변위 벡터를 2차원 평면에 투영할 수 있다.
또한, 얼굴 애니메이션 생성 장치는 복수 개의 분할된 얼굴 키 모델 및 복수 개의 영상 프레임의 분할된 영역을 각각 복수 개의 서브 영역으로 분할하고, 분할된 서브 영역별 2차원 변위 벡터들의 평균 벡터의 방향 및 대응되는 분할된 서브 영역별 광학 흐름 벡터들의 평균 벡터의 방향에 대한 유사도를 계산할 수 있다. 이때, 복수 개의 분할된 얼굴 키 모델 및 복수 개의 영상 프레임의 분할된 영역은 사분면으로 분할될 수 있다.
또한, 얼굴 애니메이션 생성 장치는 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역의 광학 흐름 벡터를 씨드(seed)로 하여 나머지 영상 프레임의 얼굴 영역의 광학 흐름 벡터들을 클러스터링하고, 각 클러스터에 속하는 모든 벡터들의 평균값에 대응하는 광학 흐름 벡터를 가지는 영상 프레임을 해당 클러스터의 키 모델의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역으로 새로 결정할 수 있다. 이때, 영상 프레임들의 얼굴 영역의 광학 흐름 벡터들을 키 모델의 개수와 동일한 개수로 클러스터링될 수 있다. 또한, 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치를 결정하는 데 이용되는 매개변수는 사분면에서의 각각의 광학흐름 벡터의 방향을 나타내는 4차원 벡터일 수 있다. 얼굴 애니메이션 생성 장치는 각 키 모델에 대응하는 대표 매개변수 값의 거리에 반비례하도록 복수 개의 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치를 결정할 수 있다.
다른 양상에 따른 복수 개의 영상 프레임을 포함하는 비디오 기반 얼굴 애니메이션 생성 방법은 입력되는 복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 각각 결정하고, 결정 결과를 이용하여 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치 결정하고, 결정된 혼합 가중치를 이용하여 얼굴 영역별로 얼굴 캐릭터를 합성하여 얼굴 애니메이션을 생성한다.
일 실시예에 따르면, 비디오 데이터와 제한된 개수의 가상 캐릭터의 삼차원 키 모델을 이용하여 입력되는 비디오의 영상 프레임에 포함된 2차원 영상에 따라서 가상 캐릭터의 표정을 생성하는 얼굴 애니메이션을 생성할 수 있다. 따라서, 즉, 모션 캡처나 스테레오 영상 기술 또는 삼차원 스캔 기술을 이용한 얼굴 애니메이션 데이터 획득과 같은 고비용의 기술을 이용하지 않고 일반적인 2차원 비디오 데이터를 이용하여 각 영역마다 표정의 내용은 비디오를 따라가고 표정의 스타일은 키모델을 따라가도록 얼굴 애니메이션을 생성할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 비디오 기반 얼굴 애니메이션 생성 장치의 구성을 나타내는 도면이다.
일 실시예에 따른 얼굴 애니메이션 생성 장치(100)는 입력되는 일련의 복수 개의 영상 프레임에 포함된 얼굴 표정에 따라 얼굴 캐릭터를 생성함으로써 제공되는 얼굴 애니메이션을 생성한다. 얼굴 애니메이션 생성 장치(100)는 전처리부(110), 저장부(120) 및 얼굴 애니메이션 생성부(130)를 포함한다.
전처리부(110)는 복수 개의 일련의 영상 프레임으로 구성되는 비디오와 복수 개의 키 모델을 입력받는다. 여기에서, 키 모델의 개수는 하나의 비디오 콘텐츠에 포함된 영상 프레임의 개수에 비하여 훨씬 적다. 전처리부(110)는 제한된 개수의 키 모델을 가지고 영상 프레임에 포함된 얼굴 영상의 수많은 표정을 생성하기 위하여 영상 프레임의 얼굴 영역 및 키 모델을 복수 개의 영역으로 분할하여 처리한다.
전처리부(110)는 복수 개의 얼굴 캐릭터 키 모델을 복수 개의 영역으로 분할하고, 복수 개의 일련의 영상 프레임에 대하여 복수 개의 영역에 대응하는 영역인 블랍(blob)을 설정할 수 있다. 본 명세서에서 영상 프레임의 분할된 얼굴 영역은 블랍 영역을 의미한다. 일 예로, 전처리부(110)는 가상 캐릭터의 각 키모델을 나중에 혼합하여 전체 얼굴 캐릭터를 형성할 수 있도록 왼쪽 눈, 오른쪽 눈, 입의 세 영역으로 분할하고, 비디오의 모든 영상 프레임에 대하여 왼쪽 눈, 오른쪽 눈, 입의 세 영역에 대한 블랍을 추출한다.
전처리부(110)는 입력되는 복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 결정한다. 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역은 분할된 얼굴 영역별로 결정된다.
저장부(120)는 전처리부(110)에서 처리된 데이터 처리 결과를 저장한다. 데이터 처리 결과는 각 키 모델의 각각의 분할된 영역별로 어느 영상 프레임의 분할된 영역이 가장 유사한지에 대한 정보를 포함한다. 예를 들어, 키 모델 #1의 분할된 제1 영역에 대응하는 부분이 가장 유사한 영상 프레임 식별 정보는 #003이고, 제2 영역에 대해서는 제2 영역에 대응하는 부분이 가장 유사한 영상 프레임 식별 정보가 #050이라는 등의 정보가 저장될 수 있다.
얼굴 애니메이션 생성부(130)는 가장 유사도가 높은 분할된 얼굴 영역의 영상 프레임에 기초하여 결정된 매개변수를 이용하여 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치 결정하고, 결정된 혼합 가중치를 이용하여 분할된 키 모델을 혼합하여 분할된 영역별 얼굴 캐릭터를 생성한다. 얼굴 애니메이션 생성부(130)는 비디오의 매 영상 프레임에 대해서 각 분할된 얼굴 영역마다 키 모델을 혼합하여 분할된 얼굴 영역별 삼차원 결과를 만들고, 이들을 합침 으로서 완전한 얼굴 표정을 생성한다.
일 실시예에 따르면, 모션 캡처나 스테레오 영상 기술을 이용하거나 삼차원 스캔 기술을 이용한 얼굴 애니메이션 데이터 획득의 어려움 없이, 하나의 비디오 데이터 및 몇 개의 가상 캐릭터의 키 모델을 이용하여 저비용으로 손쉽게 예제 얼굴 애니메이션을 생성할 수 있다.
도 2은 도 1의 얼굴 애니메이션 생성 장치에 포함되는 전처리부의 구성을 나타내는 도면이다.
전처리부(110)는 키 모델 전처리부(210), 영상 프레임 전처리부(220) 및 유사도 계산부(230)를 포함한다.
우선, 키 모델 전처리부(210)의 구성 및 동작에 대하여 설명한다. 키 모델 전처리부(210)는 키 모델 영역 분할부(212) 및 2차원 변위 벡터 생성부(214)를 포함한다.
키 모델 영역 분할부(212)는 복수 개의 키 모델을 입력받는다. 일 실시예에 따르면, 얼굴 애니메이션에 이용되는 복수 개의 키모델은 복수 개의 모음 및 자음에 따른 발음별 키모델 및 복수 개의 감정 상태에 따른 감정별 키모델을 포함할 수 있다. 키 모델의 일 예는 도 3a 및 도 3b에 도시된다.
도 3a 및 도 3b는 발음 및 감정에 따른 키모델의 일예를 나타내는 도면이다.
도 3a는 무표정(neutral), 기쁨(joy), 놀람(surprise), 화남(anger), 슬픔(sadness), 역겨움(disgust), 졸림(sleepness)와 같이 사람의 감정 상태에 따른 키모델의 예시를 나타내고 있다. 도 3b는 자음 예를 들어, m, sh, f, th와 모음 예를 들어, a, e, o와 같은 사람의 발음에 따른 발음별 키모델의 예시를 나타내고 있다. 발음 및 감정에 따른 키모델은 도 3a 및 도 3b에 도시된 키모델들 이외에 다른 감정 상태 및 발음에 따라 제작될 수 있다.
다시 도 2를 참조하면, 키 모델 영역 분할부(212)는 키 모델의 복수 개의 영역으로 분할한다. 일 실시예에 따르면, 얼굴 영역 분할은 특징점 추출, 특징점 그룹화 및 정점 분할의 세 단계로 이루어진다.
일 실시예에 따르면, 키 모델은 삼각형 메쉬로 이루어진 스프링-질량점 망(Spring-Mass Network)으로 모델링할 수 있다. 스프링-질량점 망으로 모델링한 경우, 얼굴을 형성하는 정점들을 질량점으로 간주하고, 정점들 간의 연결로 형상되는 삼각형의 에지(edge)를 스프링으로 간주할 수 있다. 각 정점들(또는 질량점들)은 인덱싱되어 얼굴 캐릭터 형상은 예를 들어, 600개의 인덱스를 가지는 정점들 및 에지들(또는 스프링들)로 모델링될 수 있다.
각각의 키모델은 동일한 개수의 스프링 및 질량점으로 모델링될 수 있으므로, 얼굴 표정에 따라서 대응하는 질량점의 위치가 달라지고, 따라서 질량점에 대한 스프링의 길이가 달라지게 된다. 따라서, 무표정 키모델을 기준으로 다른 감정을 나타내는 각 키 모델은 각 질량점에 대한 스프링 길이(x)의 변위(Δx) 및 각 질량점의 에너지 변화량(E= Δx2/2)을 포함하는 데이터가 생성될 수 있다.
일 실시예에 따르면, 얼굴 영역 분할을 위하여 키모델을 형성하는 질량점들로부터 특징점을 선택할 때, 무표정 모델에 포함된 모든 질량점에 대하여 각각 다 른 키모델의 대응하는 질량점에서의 스프링 길이의 변화를 측정하여, 이웃한 질량점들보다 스프링 변화율이 크면 특징점으로 선택할 수 있다. 하나의 질량점에 대하여 3개의 스프링이 연결되어 있는 경우, 스프링 변화율은 3개의 스프링 변화율의 평균값이 될 수 있다.
키 모델 영역 분할부(212)는 얼굴 캐릭터 영상을 스프링-질량점 망으로 나타낼 때, 키모델 중 기준 모델(무표정 모델)을 기준으로 질량점과 이웃 질량점 간의 스프링 변화율이 소정의 문턱값 이상인 특징점들을 선택할 수 있다. 도 4는 추출된 특징점들의 일 예를 나타내는 도면이다.
다음 단계로, 키 모델 영역 분할부(212)는 특징점들이 유기적으로 움직이는 정도를 측정하여 특징점들을 그룹화한다. 추출된 특징점들이 서로 간에 얼마난 유기적으로 움직이는가에 따라서 수 개의 그룹으로 묶을 수 있다. 유기적 움직임의 정도(coherency)은 각 키모델들에서의 특징점 변위(displacement)를 측정하여 변위 크기의 유사성, 변위 방향의 유사성, 무표정 모델에서의 기하학적 인접성으로 측정할 수 있다. 특징점 간의 움직임의 유기성이 정량화되면, 이를 바탕으로 무방향성 그래프(undirected graph)를 만들 수 있다. 그래프의 노드(node)는 특징점이 되고 그래프의 에지는 움직임의 유기성이 된다.
움직임의 유기성이 특정 문턱값보다 낮으면 유기성이 없다고 간주하고 해당 에지를 삭제한다. 일 실시예에 따르면, 연결 부분 분석(Connected Component Analysis) 기법을 이용하여 그래프의 노드들을 그룹핑할 수 있다. 그 결과 추출된 특징점들이 수 개의 그룹으로 자동으로 그룹핑된다.
다음으로, 키 모델 영역 분할부(212)는 특징점으로 선택되지 않은 나머지 질량점(정점)들을 각 특징점 그룹들에 그룹화한다. 이를 위해, 얼굴 영역 분할부(112)는 특징점으로 선택되지 않는 질량점들에 대하여 각 그룹의 특징점들과의 움직임 유기성을 측정한다.
움직임 유기성의 측정 방법은 특징점 그룹화의 방법과 동일하게 수행될 수 있다. 특징점 그룹과 특징점으로 선택되지 않은 질량점들과의 움직임 유기성은 각 특징점 그룹에 속한 각 특징점들과 특징점으로 선택되지 않은 질량점들과의 움직임 유기성의 평균값으로 정할 수 있다. 특징점으로 선택되지 않은 질량점과 소정 특징점 그룹과의 움직임 유기성이 특정 문턱값을 넘으면 해당 질량점은 해당 특징점 그룹으로 속하게 된다. 따라서, 하나의 질량점은 수 개의 특징점 그룹에 속할 수 있다.
이와 같이, 얼굴 캐릭터 형상을 모델링하기 위한 질량점(또는 정점)들이 모두 소정의 개수의 그룹으로 그룹화되면, 각 그룹으로 얼굴 캐릭터 형상이 분할될 수 있다. 그 결과로 분할된 키 모델의 영역마다 정점의 인덱스가 생성될 수 있다. 일 실시예에 따르면, 얼굴 캐릭터 키 모델은 왼쪽 눈을 포함하는 제1 영역, 오른 쪽 눈을 포함하는 제2 영역 및 입 주위를 포함하는 제3 영역으로 분할될 수 있다. 따라서, 예를 들면, 입 주위 영역의 정점은 정점 식별 정보의 리스트로서 {1, 4, 122, 233, ...599} 등의 형식으로 인덱싱될 수 있다. 얼굴 캐릭터 형성의 각 분할된 영역 및 각 분할된 영역에 대한 데이터는 각 키모델에 대해서도 적용되며, 이후 각 키모델을 분할된 영역별로 합성하는데 이용된다.
2차원 변위 벡터 생성부(214)는 3차원 형상인 복수 개의 얼굴 키 모델 각각에 대하여 하나의 키 모델을 기준으로 나머지 키 모델에 포함되는 정점들 각각에 대한 3차원 변위 벡터를 결정하고, 3차원 변위 벡터를 2차원 평면에 투영하여 정점들에 대한 2차원 변위 벡터를 생성한다. 여기서 하나의 키 모델은 무표정 키 모델을 선정할 수 있다. 3차원 변위 벡터를 2차원 평면에 투영하는 이유는 2차원 비디오 영상에 포함된 얼굴 표정의 변위를 나타내는 2차원 형식의 광학 흐름 벡터와 비교하기 위함이다.
도 5는 일 실시예에 따른 3차원 벡터가 2차원 평면으로 투영되는 경우를 나타내는 도면이다. 도 5에 도시된 바와 같이 3차원 변위 벡터(11)는 2차원 평면(10)상에 투영되어 2차원 변위 벡터(13)로 근사화된다.
다음으로 다시 도 2를 참조하여 영상 프레임 전처리부(220)의 구성에 대하여 설명한다.
영상 프레임 영역 분할부(222)는 복수 개의 일련의 영상 프레임에 대하여 키 모델의 분할된 영역에 대응하는 블랍을 설정한다. 키 모델 영역 분할부(212)에서 복수 개의 키 모델을 왼쪽 눈을 포함하는 제1 영역, 오른 쪽 눈을 포함하는 제2 영역 및 입 주위를 포함하는 제3 영역으로 분할한 경우, 영상 프레임 영역 분할부(222)는 복수 개의 영상 프레임에 대하여 제1 영역, 제2 영역 및 제3 영역에 대응하는 블랍을 설정할 수 있다.
도 6은 일 실시예에 따른 영상 프레임에 설정된 블랍을 나타내는 도면이다.
영상 프레임 영역 분할부(222)는 도 6에 도시된 바와 같이, 비디오의 모든 영상 프레임에서 왼쪽 눈, 오른쪽 눈, 입의 3개의 영역이 표정의 결정짓는 특징을 포함한다고 보고, 비디오의 모든 영상 프레임에 대하여 왼쪽 눈 영역(601), 오른쪽 눈 영역(602), 입 영역(603)의 세 영역에 대하여 해당 특징들의 움직임을 충분히 포함할 수 있는 블랍을 설정할 수 있다.
다시 도 2를 참조하면, 광학 흐름 계산부(224)는 비디오의 모든 영상 프레임에 대하여 무표정을 담고 있는 영상 프레임을 기준으로 광학 흐름(optical flow) 계산을 통해서 픽셀들의 이차원 변위를 구한다. 광학 흐름이란, 2장의 이차원 영상이 주어졌을 때 영상 속 객체의 상대적인 움직임을 추정할 수 있도록 모든 픽셀의 이차원 변위 벡터를 구하는 것이다.
유사도 계산부(230)는 2차원 변위 벡터 생성부(214)에서 생성된 정점들의 2차원 변위들과 광학 흐름 계산부(224)에서 계산된 영상 픽셀들의 변위들을 비교하여 가장 유사한 것끼리 일대일 대응시킨다. 그 결과, 유사도 계산부(230)는 입력되는 복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 각각 결정할 수 있다.
유사도 계산부(230)는 무표정 키 모델에 포함된 정점들을 기준으로 결정되는 나머지 키 모델에 포함되는 정점들 각각에 대한 2차원 변위 벡터의 방향 및 무표정의 영상 프레임에 포함된 화소들을 기준으로 결정되는 나머지 영상 프레임에 포함되는 화소들에 대한 광학 흐름 계산에 의해 계산되는 광학 흐름 벡터의 방향을 비교하여 유사도를 계산한다.
이때, 유사도 계산부(230)는 복수 개의 얼굴 캐릭터 키 모델의 분할된 영역 및 복수 개의 영상 프레임의 분할된 영역을 각각 복수 개의 서브 영역으로 분할하고, 분할된 서브 영역별 2차원 변위 벡터의 평균 벡터의 방향 및 대응되는 분할된 서브 영역별 광학 흐름 값들의 평균 벡터의 방향에 대한 유사도를 계산할 수 있다. 유사도 계산부(230)는 도 7a 및 도 7b에 도시된 바와 같이 복수 개의 분할된 얼굴 키 모델 및 복수 개의 영상 프레임의 분할된 영역을 사분면(quadrant)으로 분할할 수 있다.
도 7a는 일 실시예에 따른 영상 프레임의 분할된 영역에 대한 평균 광학 흐름 벡터들의 일 예를 나타내고, 도 7b는 얼굴 캐릭터 키 모델의 분할된 영역의 평균 변위 벡터들의 일 예를 나타내는 도면이다.
도 7a에 도시된 바와 같이 입 영역 블랍(710)에 포함된 픽셀들의 광학 흐름 벡터를 사분면의 각 영역별로 평균하여, 사분면 각각에 속한 픽셀들의 4개의 벡터(712, 714, 716, 718)로 나타낼 수 있다. 벡터(712)는 입 영역 블랍(710)의 1사분면에 포함된 픽셀들에 대한 광학 흐름 벡터의 평균 벡터를 나타내고, 벡터(714)는 입 영역 블랍(710)의 2사분면에 포함된 픽셀들에 대한 광학 흐름 벡터의 평균 벡터를 나타내고, 벡터(716)는 입 영역 블랍(710)의 3사분면에 포함된 픽셀들에 대한 광학 흐름 벡터의 평균 벡터를 나타내고, 벡터(718)는 입 영역 블랍(710)의 4사분면에 포함된 픽셀들에 대한 광학 흐름 벡터의 평균 벡터를 나타낸다.
도 7b에 도시된 바와 같이 키 모델에서의 입 영역(720)의 정점들의 변위 벡터는 사분면 각각에 속한 픽셀들의 4개의 벡터(722, 724, 726, 728)로 나타낼 수 있다. 벡터(722)는 입 영역(720)의 1사분면에 포함된 정점들에 대한 변위 벡터들의 평균 벡터를 나타내고, 벡터(724)는 입 영역(720)의 2사분면에 포함된 정점들에 대한 변위 벡터의 평균 벡터를 나타내고, 벡터(726)는 입 영역(720)의 3사분면에 포함된 픽셀들에 대한 변위 벡터의 평균 벡터를 나타내고, 벡터(728)는 입 영역(720)의 4사분면에 포함된 픽셀들에 대한 변위 벡터의 평균 벡터를 나타낸다.
유사도 계산부(230)는 2차원 변위 벡터의 방향 및 하나의 영상 프레임에 포함된 화소들을 기준으로 결정되는 나머지 영상 프레임에 포함되는 화소들에 대한 광학 흐름 계산에 의해 계산되는 광학 흐름 벡터의 방향을 비교하여 유사도를 계산할 수 있다. 유사도 계산부(250)는 대응하는 사분면의 벡터 끼리 즉, 벡터(712) 및 벡터(722) 간의 각도 차(θ1), 벡터(714) 및 벡터(724)의 각도 차(θ2), 벡터(716) 및 벡터(726)간의 각도 차(θ3), 벡터(718) 및 벡터(728) 간의 각도 차(θ4)에 대한 평균값을 구할 수 있다. 유사도 계산부(250)는 벡터들 간의 각도 차이에 대한 평균값이 0에 가까울수록 유사도가 높다고 결정할 수 있다.
도 8은 일 실시예에 따른 매개변수 공간의 개념을 나타내는 도면이다.
일 실시예에 따른 매개변수 공간은 분할된 얼굴 영역마다 독립적으로 설정될 수 있다. 예를 들어, 왼쪽 눈 영역, 오른쪽 눈 영역 및 입 영역 각각에 대한 기준 영상 프레임에 대한 나머지 영상 프레임들의 변위 벡터를 나타내기 위한 매개변수 공간이 설정될 수 있다. 도 7a에 도시된 바와 같이 사분면의 벡터들간의 각도에 0° 내지 360°사이의 각도 값을 이어 붙이면 4차원의 실수 벡터가 생성되고, 이러 한 4차원의 실수 벡터를 매개변수로 이용할 수 있다.
도 8이 입 영역의 매개변수 공간이라고 가정하면, 매개변수 공간에는 복수 개의 영상 프레임의 기준 영상 프레임(무표정 영상 프레임)을 기준으로 계산된 광학 흐름 벡터들에 대한 매개변수가 설정될 수 있다. 도 8에는 2개의 클러스터만 도시되어 있지만, 유사도 계산부(230)는 매개변수 공간의 4차원 매개변수들을 키 모델의 개수와 동일한 개수의 클러스터로 클러스터링할 수 있다.
매개변수 공간에 k번째 클러스터(810)에 속한 도면부호 812에 해당하는 씨드 영상 프레임의 매개변수(812)가 k번째 키 모델의 2차원 변위 벡터와 가장 유사하다고 결정된 경우를 나타낸다. 따라서, k번째 클러스터(810)에 속한 다른 영상 프레임 예를 들어, j번째 영상 프레임(811)에 대응하는 영상 캐릭터를 합성하기 위해서 k번째 클러스터(810)의 씨드 영상 프레임의 매개변수(812)와의 거리 및 k+1번째 클러스터(820)의 씨드 영상 프레임의 매개변수(821)와 도시되지 않은 나머지 클러스터들의 씨드 영상 프레임의 매개 변수 사이의 거리에 기초하여 혼합 가중치가 계산될 수 있다.
한편, 씨드 영상 프레임을 설정하여 클러스터링한 결과 실제로 해당 클러스터에 포함된 광학 흐름 벡터들의 평균 값을 가지는 기준이 될 수 있는 광학 흐름 벡터가 이미 설정된 씨드 영상 프레임의 광학 흐름 벡터와 다를 수 있다. 이 경우에는, 각 클러스터에 속하는 모든 벡터들의 평균값에 대응하는 광학 흐름 벡터를 대표값으로 선정하여 키 모델들의 혼합 가중치를 계산하는 새로운 기준 값으로 이용할 수 있다.
정리하면, 유사도 계산부(230)는 2차원 변위 벡터와 광학 흐름 벡터의 유사도에 기초하여 입력되는 복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 각각 1차적으로 결정할 수 있다. 또한, 유사도 계산부(230)는 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역의 광학 흐름 벡터를 씨드(seed)로 하여 나머지 영상 프레임의 얼굴 영역의 광학 흐름 벡터들을 클러스터링하고, 각 클러스터에 속하는 모든 벡터들의 평균값과 가장 유사한 광학 흐름 벡터를 가지는 영상 프레임을 해당 클러스터의 키 모델의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역으로 결정할 수 있다.
도 9는 일 실시예에 따른 도 1의 얼굴 애니메이션 생성 장치에 포함된 얼굴 애니메이션 생성부의 구성을 나타내는 도면이다.
도 9를 참조하면, 얼굴 애니메이션 생성부(130)는 가중치 계산부(310) 및 영상 합성부(320)를 포함한다.
가중치 계산부(310)는 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치를 결정하는 데 이용되는 매개변수로서 사분면에서의 각각의 광학흐름 벡터의 방향을 나타내는 4차원 벡터를 이용할 수 있다. 가중치 계산부(310)는 각 키 모델에 대응하는 대표 매개변수 값의 거리에 반비례하도록 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치를 결정할 수 있다. 혼합 가중치를 결정하기 위하여 Peter-Pike J. sloan et al., Shape by example, Symposium on Interactive on 3D Graphics 2001에 개시된 분산 데이터 보 간 기법이 이용될 수 있다.
영상 합성부(320)는 분할된 얼굴 영역별 키 모델의 혼합 가중치를 이용하여 분할된 얼굴 영역별 키 모델을 합성하여, 분할된 얼굴 영역별 얼굴 캐릭터를 생성할 수 있다. 또한, 영상 합성부(320)는 분할된 얼굴 영역별 얼굴 캐릭터를 합성하여 전체 얼굴 캐릭터를 형성할 수 있다.
도 10은 다른 실시예에 따른 도 1의 얼굴 애니메이션 생성 장치에 포함된 얼굴 애니메이션 생성부의 구성을 나타내는 도면이다.
일 실시예에 따른 얼굴 애니메이션 생성부(130)는 영상 프레임 영역 분할부(410), 광학 흐름 계산부(420), 가중치 계산부(430) 및 영상 합성부(440)를 포함한다. 영상 프레임 영역 분할부(410) 및 광학 흐름 계산부(420)은 각각 도 2의 영상 프레임 전처리부(220)에 포함된 영상 프레임 영역 분할부(222) 및 광학 흐름 계산부(224)과 동일한 기능을 수행하고, 가중치 계산부(430) 및 영상 합성부(440)는 도 9에 도시된 가중치 계산부(310) 및 영상 합성부(320)와 동일한 기능을 수행한다.
따라서, 전처리가 수행된 비디오의 영상 프레임에 포함된 얼굴 영상과 동일한 사람의 다른 비디오 데이터가 입력되면, 영상 프레임 영역 분할부(410)에서 각 영상 프레임에 대한 블랍을 설정하고, 광학 흐름 계산부(420)에서 각 영상 프레임의 각각의 블랍에 대한 광학 흐름을 계산할 수 있다.
가중치 계산부(430)는 이전에 계산된 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역에 대응하 는 대표 매개변수 정보를 이용하여 각 영상 프레임에 대해 키 모델들의 혼합 가중차를 계산할 수 있다. 영상 합성부(440)는 결정된 혼합 가중치를 이용하여 분할된 얼굴 영역별로 얼굴 캐릭터 형상을 합성하는 얼굴 애니메이션을 생성할 수 있다.
도 11은 일 실시예에 따른 비디오 기반 얼굴 애니메이션 생성 방법을 나타내는 도면이다.
얼굴 애니메이션 생성 장치(100)는 입력되는 복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 각각 결정한다(1110). 이를 위해, 얼굴 애니메이션 생성 장치(100)는 복수 개의 일련의 영상 프레임으로 구성된 비디오 데이터에 대하여 복수 개의 키모델의 분할된 얼굴 영역에 대응하는 영역인 블랍(blob)을 설정할 수 있다.
얼굴 애니메이션 생성 장치(100)는 유사도가 높은 분할된 얼굴 영역의 영상 프레임을 이용하여 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치 결정한다(1120). 복수 개의 얼굴 캐릭터 키 모델 각각에 대하여 하나의 키 모델을 기준으로 모든 정점들 각각에 대한 2차원 변위 벡터의 방향과 복수 개의 영상 프레임의 분할된 영역 각각에 대한 하나의 영상 프레임을 기준으로 광학 흐름 값들의 평균하여 결정되는 광학 흐름 벡터의 방향을 비교하여 유사도를 계산할 수 있다. 또한, 복수 개의 얼굴 캐릭터 키 모델이 분할된 영역 및 복수 개의 영상 프레임의 분할된 영역을 각각 복수 개의 서브 영역으로 분할하고, 분할된 서브 영역별 2차원 변위 벡터의 평균 벡터의 방향 및 대응되는 분할된 서브 영역별 광학 흐름 벡터들의 평균 벡터의 방향에 대한 유사도를 계산할 수 있다.
얼굴 애니메이션 생성 장치(100)는 결정된 혼합 가중치를 이용하여 얼굴 영역별로 얼굴 캐릭터 형상을 합성한다(1130). 분할된 얼굴 영역별 키 모델의 혼합 가중치를 이용하여 생성된 분할된 얼굴 영역별 얼굴 캐릭터를 합성하여 전체 얼굴 캐릭터를 형성한다(1140). 동작 1130 및 1140이 입력되는 복수 개의 영상 프레임마다 수행되면 영상 프레임에 포함된 인물의 얼굴 표정과 유사한 표정으로 움직이는 얼굴 애니메이션이 생성되어 출력될 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 일 실시예에 따른 비디오 기반 얼굴 애니메이션 생성 장치의 구성을 나타내는 도면이다.
도 2은 도 1의 얼굴 애니메이션 생성 장치에 포함되는 전처리부의 구성을 나타내는 도면이다.
도 3a 및 도 3b는 발음 및 감정에 따른 키모델의 일예를 나타내는 도면이다.
도 4는 추출된 특징점들의 일 예를 나타내는 도면이다.
도 5는 일 실시예에 따른 3차원 벡터가 2차원 평면으로 투영되는 경우를 나타내는 도면이다.
도 6은 일 실시예에 따른 영상 프레임에 설정된 블랍을 나타내는 도면이다.
도 7a는 일 실시예에 따른 영상 프레임의 분할된 영역에 대한 평균 광학 흐름 벡터들의 일 예를 나타내고, 도 7b는 얼굴 캐릭터 키 모델의 분할된 영역의 평균 변위 벡터들의 일 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 매개변수 공간의 개념을 나타내는 도면이다.
도 9는 일 실시예에 따른 도 1의 얼굴 애니메이션 생성 장치에 포함된 얼굴 애니메이션 생성부의 구성을 나타내는 도면이다.
도 10은 다른 실시예에 따른 도 1의 얼굴 애니메이션 생성 장치에 포함된 얼굴 애니메이션 생성부의 구성을 나타내는 도면이다.
도 11은 일 실시예에 따른 비디오 기반 얼굴 애니메이션 생성 방법을 나타내는 도면이다.

Claims (20)

  1. 비디오 기반 얼굴 애니메이션 생성 장치로서,
    복수 개의 영상 프레임에 포함된 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 분할된 얼굴 영역별로 각각 결정하는 전처리부; 및
    상기 결정 결과를 이용하여 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치 결정하고, 결정된 혼합 가중치를 이용하여 분할된 얼굴 영역별로 얼굴 캐릭터 형상을 합성하는 얼굴 애니메이션 생성부를 포함하는 장치.
  2. 제1항에 있어서,
    상기 전처리부는 상기 복수 개의 얼굴 캐릭터 키 모델을 복수 개의 영역으로 분할하고, 상기 복수 개의 일련의 영상 프레임에 대하여 상기 복수 개의 영역에 대응하는 영역인 블랍들을 설정하는 장치.
  3. 제2에 있어서,
    상기 전처리부는 상기 복수 개의 키 모델을 왼쪽 눈을 포함하는 제1 영역, 오른 쪽 눈을 포함하는 제2 영역 및 입 주위를 포함하는 제3 영역으로 분할하고 상기 복수 개의 영상 프레임에 대하여 상기 제1 영역, 상기 제2 영역 및 상기 제3 영역에 대응하는 블랍을 설정하는 장치.
  4. 제1항에 있어서,
    상기 전처리부는 하나의 키 모델에 포함된 정점들을 기준으로 결정되는 나머지 키 모델에 포함되는 정점들 각각에 대한 2차원 변위 벡터의 방향 및 하나의 영상 프레임에 포함된 화소들을 기준으로 결정되는 나머지 영상 프레임에 포함되는 화소들에 대한 광학 흐름 계산에 의해 계산되는 광학 흐름 벡터의 방향을 비교하여 유사도를 계산하는 장치.
  5. 제4항에 있어서,
    상기 전처리부는 3차원 형상인 상기 복수 개의 얼굴 캐릭터 키 모델 각각에 대하여 하나의 키 모델을 기준으로 나머지 키 모델에 포함되는 정점들 각각에 대한 3차원 변위 벡터를 결정하고, 상기 3차원 변위 벡터를 2차원 평면에 투영하여 상기 정점들에 대한 2차원 변위 벡터를 생성하는 장치.
  6. 제4항에 있어서,
    상기 전처리부는 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 영역 및 상기 복수 개의 영상 프레임의 분할된 영역을 각각 복수 개의 서브 영역으로 분할하고, 상기 분할된 서브 영역별 2차원 변위 벡터들의 평균 벡터의 방향 및 대응되는 상기 분할된 서브 영역별 광학 흐름 벡터들의 평균 벡터의 방향에 대한 유사도를 계산하는 장치.
  7. 제6항에 있어서,
    상기 전처리부는 상기 복수 개의 서브 영역으로 분할할 때, 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 영역 및 상기 복수 개의 영상 프레임의 분할된 영역을 사분면으로 분할하는 장치.
  8. 제4항에 있어서,
    상기 전처리부는 상기 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역의 광학 흐름 벡터를 씨드(seed)로 하여 나머지 영상 프레임의 얼굴 영역의 광학 흐름 벡터들을 클러스터링하고, 각 클러스터에 속하는 모든 벡터들의 평균값에 대응하는 광학 흐름 벡터를 가지는 영상 프레임을 해당 클러스터의 키 모델의 분할된 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역으로 새로 결정하는 장치.
  9. 제8항에 있어서,
    상기 전처리부는 상기 복수 개의 영상 프레임들의 광학 흐름 벡터들을 상기 키 모델의 개수와 동일한 개수로 클러스터링하는 장치.
  10. 제7항에 있어서,
    상기 얼굴 애니메이션 생성부는 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치를 결정하는 데 이용되는 매개변수로서 상기 사분면에서의 각각의 광학흐름 벡터의 방향을 나타내는 4차원 벡터를 이용하는 장치.
  11. 제1항에 있어서,
    상기 얼굴 애니메이션 생성부는 상기 각 키 모델에 대응하는 대표 매개변수 값의 거리에 반비례하도록 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 영역 각각에 대한 혼합 가중치를 결정하는 장치.
  12. 제1항에 있어서,
    상기 얼굴 애니메이션 생성부는 상기 분할된 영역 각각에 대한 상기 복수 개의 얼굴 캐릭터 키 모델들의 분할된 영역의 혼합 가중치를 이용하여 생성된 분할된 얼굴 영역별 얼굴 캐릭터를 합성하여 전체 얼굴 캐릭터를 형성하는 장치.
  13. 제1항에 있어서,
    전처리가 수행된 비디오의 영상 프레임에 포함된 얼굴 영상과 동일한 사람의 다른 비디오 데이터가 입력되면,
    상기 얼굴 애니메이션 생성부는 상기 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역에 대응하 는 대표 매개변수 정보를 이용하여 얼굴 애니메이션을 생성하는 장치.
  14. 비디오 기반 얼굴 애니메이션 생성 방법으로서,
    복수 개의 영상 프레임의 분할된 얼굴 영역 중에서 복수 개의 얼굴 캐릭터 키 모델 각각의 분할된 얼굴 영역과 가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 분할된 얼굴 영역별로 각각 결정하는 단계;
    상기 결정 결과를 이용하여 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치 결정하는 단계; 및
    상기 결정된 혼합 가중치를 이용하여 얼굴 영역별로 얼굴 캐릭터를 합성하여 얼굴 애니메이션을 생성하는 단계를 포함하는 방법.
  15. 제14항에 있어서,
    상기 복수 개의 영상 프레임으로 구성된 비디오 데이터에 대하여 상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역에 대응하는 영역인 블랍(blob)을 설정하는 단계를 더 포함하는 방법.
  16. 제14항에 있어서,
    가장 유사도가 높은 영상 프레임의 분할된 얼굴 영역을 분할된 얼굴 영역별로 각각 결정하는 단계는,
    하나의 키 모델에 포함된 정점들을 기준으로 결정되는 나머지 키 모델에 포 함되는 정점들 각각에 대한 2차원 변위 벡터의 방향 및 하나의 영상 프레임에 포함된 화소들을 기준으로 결정되는 나머지 영상 프레임에 포함되는 화소들에 대한 광학 흐름 계산에 의해 계산되는 광학 흐름 벡터의 방향을 비교하여 유사도를 계산하는 단계를 더 포함하는 방법.
  17. 제16항에 있어서,
    상기 복수 개의 얼굴 캐릭터 키 모델 각각은 3차원 형상이고, 상기 2차원 변위 벡터는 하나의 키 모델을 기준으로 모든 정점들 각각에 대한 3차원 변위를 결정하고, 상기 3차원 변위를 2차원 평면에 투영하여 생성되는 방법.
  18. 제16항에 있어서,
    상기 유사도를 계산하는 단계는,
    상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 영역 및 상기 복수 개의 영상 프레임의 분할된 영역을 각각 복수 개의 서브 영역으로 분할하는 단계; 및
    상기 분할된 서브 영역별 2차원 변위 벡터의 평균 벡터의 방향 및 대응되는 상기 분할된 서브 영역별 광학 흐름 벡터들의 평균 벡터의 방향에 대한 유사도를 계산하는 단계를 포함하는 방법.
  19. 제14항에 있어서,
    상기 복수 개의 얼굴 캐릭터 키 모델의 분할된 얼굴 영역 각각에 대한 혼합 가중치를 결정하는 데 이용되는 매개변수는 4차원 벡터인 방법.
  20. 제14항에 있어서,
    상기 분할된 얼굴 영역 각각에 대한 상기 복수 개의 키 모델들의 혼합 가중치를 이용하여 생성된 분할된 얼굴 영역별 얼굴 캐릭터를 합성하여 전체 얼굴 캐릭터를 형성하는 단계를 더 포함하는 방법.
KR1020090030794A 2009-04-09 2009-04-09 비디오 기반 얼굴 애니메이션 생성 장치 및 방법 KR101555347B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090030794A KR101555347B1 (ko) 2009-04-09 2009-04-09 비디오 기반 얼굴 애니메이션 생성 장치 및 방법
US12/699,229 US8624901B2 (en) 2009-04-09 2010-02-03 Apparatus and method for generating facial animation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090030794A KR101555347B1 (ko) 2009-04-09 2009-04-09 비디오 기반 얼굴 애니메이션 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100112335A true KR20100112335A (ko) 2010-10-19
KR101555347B1 KR101555347B1 (ko) 2015-09-24

Family

ID=42934009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090030794A KR101555347B1 (ko) 2009-04-09 2009-04-09 비디오 기반 얼굴 애니메이션 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US8624901B2 (ko)
KR (1) KR101555347B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170047167A (ko) * 2015-10-22 2017-05-04 한국과학기술연구원 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
WO2018026082A1 (ko) * 2016-08-02 2018-02-08 주식회사 씨투몬스터 애니메이션 제작 장치 및 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8614714B1 (en) 2009-12-21 2013-12-24 Lucasfilm Entertainment Company Ltd. Combining shapes for animation
US10108852B2 (en) * 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
JP5609628B2 (ja) * 2010-12-24 2014-10-22 カシオ計算機株式会社 情報表示装置及びプログラム
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US9082229B1 (en) * 2011-05-10 2015-07-14 Lucasfilm Entertainment Company Ltd. Transforming animations
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
US20130307855A1 (en) * 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US9035955B2 (en) 2012-05-16 2015-05-19 Microsoft Technology Licensing, Llc Synchronizing virtual actor's performances to a speaker's voice
WO2014139118A1 (en) * 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
EP3186787A1 (en) * 2014-08-29 2017-07-05 Thomson Licensing Method and device for registering an image to a model
FR3033660A1 (fr) * 2015-03-12 2016-09-16 Univ De Lorraine Dispositif de traitement d'image
US10783716B2 (en) * 2016-03-02 2020-09-22 Adobe Inc. Three dimensional facial expression generation
US10169903B2 (en) 2016-06-12 2019-01-01 Apple Inc. Animation techniques for mobile devices
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、***及智能终端
CN110102050B (zh) * 2019-04-30 2022-02-18 腾讯科技（深圳）有限公司 虚拟对象显示方法、装置、电子设备及存储介质
CN110189404B (zh) * 2019-05-31 2023-04-07 重庆大学 基于真实人脸图像的虚拟面部建模方法
KR102241153B1 (ko) * 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN111311712B (zh) * 2020-02-24 2023-06-16 北京百度网讯科技有限公司 视频帧处理方法和装置
CN112581520A (zh) * 2021-01-29 2021-03-30 秒影工场(北京)科技有限公司 一种基于帧连续四维扫描的人脸形状表情模型构建方法
CN113762969B (zh) * 2021-04-23 2023-08-08 腾讯科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
CN113744374B (zh) * 2021-09-03 2023-09-22 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
US20230131418A1 (en) * 2021-10-22 2023-04-27 Samsung Electronics Co., Ltd. Two-dimensional (2d) feature database generation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6232965B1 (en) * 1994-11-30 2001-05-15 California Institute Of Technology Method and apparatus for synthesizing realistic animations of a human speaking using a computer
US5933151A (en) * 1997-03-26 1999-08-03 Lucent Technologies Inc. Simulated natural movement of a computer-generated synthesized talking head
US6043827A (en) * 1998-02-06 2000-03-28 Digital Equipment Corporation Technique for acknowledging multiple objects using a computer generated face
AU3639699A (en) 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US7050655B2 (en) 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
KR20020054243A (ko) 2000-12-27 2002-07-06 오길록 다중 영상을 이용한 대화형 모델 생성 장치 및 그 방법
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
KR100815209B1 (ko) 2001-05-09 2008-03-19 주식회사 씨알이에스 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
KR100629382B1 (ko) 2005-01-14 2006-09-29 (주)디지탈아이엔터테인먼트 3차원 아바타 생성 방법
US20060164440A1 (en) 2005-01-25 2006-07-27 Steve Sullivan Method of directly manipulating geometric shapes
KR100601989B1 (ko) 2005-02-07 2006-07-18 삼성전자주식회사 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을저장한 컴퓨터로 읽을 수 있는 기록매체
KR100918095B1 (ko) 2006-12-04 2009-09-22 한국전자통신연구원 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법
US20080136814A1 (en) 2006-09-17 2008-06-12 Chang Woo Chu System and method for generating 3-d facial model and animation using one video camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170047167A (ko) * 2015-10-22 2017-05-04 한국과학기술연구원 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
WO2018026082A1 (ko) * 2016-08-02 2018-02-08 주식회사 씨투몬스터 애니메이션 제작 장치 및 방법

Also Published As

Publication number Publication date
US20100259538A1 (en) 2010-10-14
US8624901B2 (en) 2014-01-07
KR101555347B1 (ko) 2015-09-24

Similar Documents

Publication Publication Date Title
KR20100112335A (ko) 비디오 기반 얼굴 애니메이션 생성 장치 및 방법
US9786084B1 (en) Systems and methods for generating computer ready animation models of a human head from captured data images
Noh et al. A survey of facial modeling and animation techniques
Huang et al. Hybrid skeletal-surface motion graphs for character animation from 4d performance capture
Zhang et al. Nerflets: Local radiance fields for efficient structure-aware 3d scene representation from 2d supervision
Chao et al. Realistic data-driven traffic flow animation using texture synthesis
Yu et al. Modern machine learning techniques and their applications in cartoon animation research
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
Sheng et al. Facial geometry parameterisation based on partial differential equations
Zhang et al. Anatomy-based face reconstruction for animation using multi-layer deformation
Kawai et al. Data-driven speech animation synthesis focusing on realistic inside of the mouth
Patterson et al. Landmark-based re-topology of stereo-pair acquired face meshes
Zhao et al. Localization and completion for 3D object interactions
EP3980975B1 (en) Method of inferring microdetail on skin animation
Ge et al. 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models
KR100544684B1 (ko) 영역 기반의 얼굴 표정 애니메이션 복제방법
Dibra Recovery of the 3D Virtual Human: Monocular Estimation of 3D Shape and Pose with Data Driven Priors
Doğan et al. Augmentation of virtual agents in real crowd videos
Chang-Wei et al. Synthesizing performance-driven facial animation
Ravikumar Lightweight markerless monocular face capture with 3d spatial priors
Zhou et al. A Method of Facial Animation Retargeting Based on Motion Capture
de Carvalho Cruz et al. A review regarding the 3D facial animation pipeline
Li et al. 3D Personalized Face Modeling Based on KINECT2
Tu et al. An automatic base expression selection algorithm based on local blendshape model
Jeon et al. Hierarchically Structured Neural Bones for Reconstructing Animatable Objects from Casual Videos

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190814

Year of fee payment: 5