KR101148101B1 - Method for retargeting expression - Google Patents

Method for retargeting expression Download PDF

Info

Publication number
KR101148101B1
KR101148101B1 KR1020090007511A KR20090007511A KR101148101B1 KR 101148101 B1 KR101148101 B1 KR 101148101B1 KR 1020090007511 A KR1020090007511 A KR 1020090007511A KR 20090007511 A KR20090007511 A KR 20090007511A KR 101148101 B1 KR101148101 B1 KR 101148101B1
Authority
KR
South Korea
Prior art keywords
facial expression
character
main
retargeting
actor
Prior art date
Application number
KR1020090007511A
Other languages
Korean (ko)
Other versions
KR20100088347A (en
Inventor
이상욱
나경건
정문열
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020090007511A priority Critical patent/KR101148101B1/en
Publication of KR20100088347A publication Critical patent/KR20100088347A/en
Application granted granted Critical
Publication of KR101148101B1 publication Critical patent/KR101148101B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00—Computer graphics processing and selective visual display systems
    • Y10S345/949—Animation processing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 얼굴 표정 리타게팅 방법에 관한 것이다. 상기 얼굴 표정 리타게팅 방법은, (a) 모션 캡쳐 장치로부터 입력되는 배우의 복수 개의 주요 얼굴 표정에 대한 마커 데이터들을 이용하여 복수 개의 소스 블렌드 쉐입들(Source Blend Expressions)를 생성하여 저장하는 단계; (b) 상기 소스 블렌드 쉐입들과 캐릭터의 표정을 대응시켜 캐릭터에 대한 복수 개의 주요 표정들의 고해상도 표정 모델들을 생성하여 저장하는 단계; (c) 배우의 얼굴 모션 데이터가 입력되면, 상기 얼굴 모션 데이터들 중 각 마커의 위치정보를 분석하여 각 마커에 대응되는 캐릭터의 조절점(Control Point)에 대한 주요 표정 조합 비율을 결정하는 단계; (d) 캐릭터의 조절점을 제외한 점들인 주변점들에 대한 주요 표정 조합 비율을 결정하는 단계; (e) 상기 조절점 및 주변점들에 대한 주요 표정 조합 비율에 따라 상기 고해상도 표정 모델들을 합성하여, 상기 입력된 배우의 얼굴 모션 데이터에 따른 타겟 표정 모델을 생성하는 단계;를 구비한다. The present invention relates to a facial expression retargeting method. The facial expression retargeting method may include: (a) generating and storing a plurality of source blend expressions using marker data of a plurality of main facial expressions of an actor input from a motion capture device; (b) generating and storing high resolution facial expression models of a plurality of main facial expressions of the character by matching the source blend shapes with the facial expression of the character; (c) when the actor's face motion data is input, analyzing the position information of each marker among the face motion data to determine a main facial expression combination ratio for a control point of a character corresponding to each marker; (d) determining a main facial expression combination ratio for the peripheral points which are points except for the control point of the character; (e) synthesizing the high-resolution facial expression models according to the main facial expression combination ratios for the control points and the surrounding points, and generating a target facial expression model according to the input face motion data of the actor.

Description

얼굴 표정 리타게팅 방법{Method for retargeting expression}Retargeting facial expressions {Method for retargeting expression}

본 발명은 얼굴 표정 리타게팅 방법에 관한 것으로서, 더욱 구체적으로는 CPU와 GPU를 모두 이용하여 성능을 향상시킨 얼굴 표정 리타게팅 방법에 관한 것이다. The present invention relates to a facial expression retargeting method, and more particularly, to a facial expression retargeting method having improved performance by using both a CPU and a GPU.

컴퓨터 기술의 발달로 인하여 현실과는 다른 가상의 세계를 구현할 수 있게 되었으며, 또한 현실이 아닌 가상의 영상을 구현할 수 있게 되었다. 이와 같은 가상의 영상들은 영화, 3D 애니메이션 등을 통해 많이 사용되고 있는데, 이와 같은 영상에서는 현실에서의 대상 물체의 움직임 그대로 움직이는 현실감이 중요하다. 따라서, 대상 물체의 움직임을 추적하고, 추적된 움직임을 가상의 캐릭터의 움직임에 적용하기 위하여 많은 장치들이 개발되어 사용되어지고 있다. 이와 같은 장치를 모션 캡쳐 장치라 하며, 일반적으로 모션 캡쳐(motion capture) 장치는 움직임 대상물(object)의 움직임(motion)을 추적하여 가상의 캐릭터의 움직임에 적용하기 위한 장치로서, 영상 취득수단인 카메라를 이용하여 대상 물체에 대한 이미지를 취득하고, 이로부터 움직임을 추적하여 그 움직임을 가상의 캐릭터에 적용할 수 있도록 하는 화상을 이용하게 된다. 모션 캡쳐 기술은 실제 사람의 얼굴 표정이나 미세한 몸동작의 특징들을 컴퓨터를 이용해 수치화하여 가상 캐릭터로의 적용을 가능하게 한다. 사람마다 지닌 제 각각의 스타일, 분위기, 감정 상태, 무게감, 물리적 특성 등 동작을 사실적으로 보이게 만드는 중요한 요소들이 캡쳐 된 동작 데이터에 포함되어, 애니메이션 작업의 효율성과 생산성을 높인다.With the development of computer technology, it is possible to realize a virtual world different from reality, and also to realize a virtual image that is not real. Such virtual images are frequently used in movies, 3D animations, and the like, and in such images, a realistic sense of movement of an object in reality is important. Therefore, many devices have been developed and used to track the movement of the target object and apply the tracked movement to the movement of the virtual character. Such a device is called a motion capture device. In general, a motion capture device is a device for tracking a motion of a moving object and applying the motion to a virtual character. Using an image to obtain an image of the target object, to track the movement from it and apply the movement to the virtual character. Motion capture technology enables the use of computers to quantify the features of real human facial expressions and subtle gestures and apply them to virtual characters. Each of the individual's own styles, moods, emotional states, weights, physical characteristics, etc. are included in the captured motion data to increase the efficiency and productivity of the animation.

현재 상용화되고 있는 모션 캡쳐 시스템은 대부분 인체나 얼굴에 마커(marker) 또는 센서를 착용한 후 카메라로 잡은 마커 영상이나 센서로부터 나온 데이터를 분석해 인체의 각 관절들 또는 얼굴의 각 부분의 위치와 방향등을 측정한다. 여기에 사용된 마커나 센서의 작동 방식에 따라 초음파(acoustic), 보철(prosthetics), 자기(magmetic), 광학(optical) 방식등으로 나뉜다. Most of the current motion capture systems are equipped with markers or sensors on the human body or face, and then analyze the marker images captured by the camera or data from the sensors to determine the position and direction of each joint or part of the human body. Measure It is divided into ultrasonic, prosthetics, magnetic, and optical methods depending on how the marker or sensor works.

리타겟팅 기술은 모션 캡쳐된 얼굴 표정 동작데이터를 가상의 비인간 캐릭터에 이식하여 애니메이션을 생성하는 기술이다. 가상의 생물체나 동물 등을 의인화하여 얼굴 표정을 연출하고자 할 때, 직접 모션 캡쳐 데이터를 얻을 수 없기 때문에, 이 경우 리타겟팅 기법을 적용할 수 있다. Retargeting technology is a technique for generating animation by implanting motion captured facial expression motion data into a virtual non-human character. When anthropomorphic creatures or animals are used to create facial expressions, motion capture data cannot be obtained directly. In this case, a retargeting technique can be applied.

전술한 모션 캡쳐 시스템을 이용하여 얻게 되는 마커 기반 모션 캡쳐 데이터는 바디 모션이나 얼굴 모션 생성에 있어 현재 가장 널리 사용되고 있다. 이러한 마커 기반 모션 캡쳐 데이터는 임의의 마커에 대해서 프레임간 정확한 대응관계를 결정할 수 있다는 장점을 가지고 있지만, 얼굴에 부착할 수 있는 마커의 제한된 수 때문에 세밀한 부위(예컨대, 주름)의 모션을 캡쳐하기 어려운 점이 있다. 그러나 미리 제작된 고해상도 얼굴 표정 모델들을 가지고 매 프레임에서의 모션 데이터를 분석하여 그에 해당하는 새로운 얼굴 표정을 합성하는 블렌딩 쉐입 기법은 적은 수 의 마커를 가지고도 세밀한 얼굴 표정의 연출을 가능케 할 수 있는 장점을 가지고 있다. 따라서, 이러한 종래의 블렌딩 쉐입 기법을 이용하는 기술은 실제로 영화 산업에서 가장 보편적으로 사용되고 있는 기술이다. 도 1은 종래의 블렌딩 쉐입(Blending Shape) 기법을 이용하여 생성한 영화의 한 장면을 도시한 것이다. 도 1에 도시된 바와 같은 반지의 제왕에서 골룸의 표정을 생성하기 위해 사용된 마커의 수는 대략 100여개 이고 고해상도 얼굴 표정 모델은 대략 250개 정도가 사용되어 졌다고 한다.Marker-based motion capture data obtained using the above-described motion capture system is currently most widely used for generating body motion or face motion. Such marker-based motion capture data has the advantage of determining the exact correspondence between frames for any marker, but due to the limited number of markers that can be attached to the face, it is difficult to capture the motion of fine details (eg wrinkles). There is a point. However, the blending shape technique that analyzes motion data at every frame and synthesizes new facial expressions with high-resolution facial expression models prepared beforehand has the advantage of enabling detailed facial expressions even with a small number of markers. Have Therefore, the technique using this conventional blending shape technique is actually the most commonly used technique in the film industry. FIG. 1 illustrates a scene of a movie generated using a conventional blending shape technique. In the Lord of the Rings, as shown in FIG. 1, the number of markers used to generate Gollum's facial expression is about 100 and about 250 high resolution facial expression models are used.

종래의 블렌딩 쉐입 기법은 3차원 얼굴 애니메이션을 생성하기 위해 일반적으로 백여 개 이상의 미리 제작된 표정들을 적절하게 조합을 한다. 이 과정에서 백여 개의 표정들을 제작하는 것과 그들에 대한 조합 비율을 매 프레임마다 추정하여야 되는데, 이러한 작업은 전문 애니메이터에게조차도 매우 어려운 작업이 된다. 또한, 기존의 블렌딩 쉐입 기법은 상당히 많은 수의 주요 얼굴 표정 모델의 제작을 필요로 할 뿐만 아니라 그 수의 주요 표정들의 조합 비율을 일일이 결정해야 하는 까다로운 문제가 있다. Conventional blending shape techniques typically combine more than one hundred prefabricated facial expressions appropriately to create a three-dimensional facial animation. In the process, it is necessary to estimate about 100 expressions and the combination ratio for them, which is very difficult even for professional animators. In addition, the existing blending shape technique requires a large number of major facial expression models as well as a difficult problem of determining the combination ratio of the major facial expressions one by one.

또한, 종래의 대부분의 블렌딩 쉐입 기법들은 주요 얼굴 표정들에 대한 조합 비율을 구하고 조합 비율에 따른 가중치 합으로써 새로운 표정을 생성한다. 도 2는 종래의 블렌딩 쉐입 기법에 이용하여 조합 비율에 따른 가중치 합으로 생성된 새로운 표정을 도시한 것이다. 이와 같이, 적은 수의 주요 표정을 사용할 경우 실제 배우의 연기와는 다른 표정을 생성할 수 있다. 이러한 오류를 극복하기 위해 생성된 얼굴 표정과 실제 배우의 표정간의 부분적 차이를 계산하여 다시 수정하는 작업을 필요로 하게 된다. 그러나 주요 표정의 조합 과정에서 이미 소실된 각 표정의 세부적 특징(주름 등)들은 오류 수정 단계에서 복원되지 않게 되는 문제점이 있다. In addition, most conventional blending shape techniques obtain a combination ratio for the main facial expressions and generate a new expression by weighted sums according to the combination ratio. FIG. 2 illustrates a new expression generated as a weighted sum based on a combination ratio using a conventional blending shape technique. As such, when a small number of main expressions are used, expressions different from actual actors may be generated. In order to overcome this error, it is necessary to calculate and correct a partial difference between the generated facial expression and the actual actor's expression. However, there is a problem that detailed features (wrinkles, etc.) of each facial expression that are already lost in the process of combining the main facial expressions are not restored in the error correction step.

이러한 단점은 얼굴 전체가 아닌 부위별로 각각 대응되는 주요 표정들의 부위들을 조합함으로써 어느 정도 해결이 될 수 있다. 즉 임의의 얼굴 부위의 형태는 다른 부위와는 어느 정도 독자적으로 결정되기 때문에 그 부위의 세부 특징이 다른 부위의 계산시 생기는 간섭으로 인해 소실될 우려가 적다는 것이다. 도 3은 종래의 블렌딩 쉐입 기법에 따라 주요 표정들의 부위들을 조합하여 생성된 새로운 표정을 도시한 것이다. 그러나 이러한 부위적 조합에 관련한 연구들은 부위를 결정하는데 있어서 영역과 영역의 간섭을 지나치게 독립적으로 분리시킨 나머지 영역간의 경계 부분에서 비연속적인 자연스럽지 못한 결과를 초래하는 문제점을 갖게 되었다. This drawback can be solved to some extent by combining the parts of the main expressions corresponding to the parts of the face rather than the entire face. That is, since the shape of an arbitrary face part is determined to some extent independently of other parts, there is little possibility that the detailed features of the part are lost due to the interference generated when calculating the other part. 3 illustrates a new facial expression generated by combining parts of main facial expressions according to a conventional blending shape technique. However, studies related to such regional combinations have a problem in determining the region that separates the interference of the region excessively independently, resulting in discontinuous unnatural results in the boundary portion between the regions.

한편, Choe B., Lee H., Ko H.에 의해 제안되는 Performance-driven muscle-based facial animation(The Journal of Visualization and Computer Animation 12, (2001), 67--79)는 얼굴 모션 캡쳐 데이터를 분석하여 소수의 얼굴 표정들의 조합비율을 계산함으로써, 배우의 표정과 유사한 캐릭터의 표정을 생성하는 기술이다. 하지만, 이러한 방법은 소수의 얼굴 표정의 조합으로 복잡 다양한 얼굴 표정을 정확하게 생성하기 어려운 문제점이 있다.On the other hand, Performance-driven muscle-based facial animation (The Journal of Visualization and Computer Animation 12, (2001), 67--79) proposed by Choe B., Lee H., Ko H. By analyzing the combination ratio of a small number of facial expressions by analyzing, it is a technique of generating a character expression similar to the actor's expression. However, this method has a problem that it is difficult to accurately generate a variety of complex facial expressions by combining a few facial expressions.

또한, Pyun H., Kim Y., Chae W., Kang H.~W., Shin S.~Y.에 의해 제안되는 An example-based approach for facial expression cloning(SCA 2003: 167--176.)은 소수의 얼굴 표정들을 부위별로 합성하여 다수의 얼굴 표정들을 생성한 후 이들에 대한 조합 비율을 계산하는 기술이다. 하지만, 다수의 얼굴 표정을 합성할 때 부위 별 주름 등의 세부 특징들이 소실될 우려가 있다.In addition, An example-based approach for facial expression cloning proposed by Pyun H., Kim Y., Chae W., Kang H.-W., Shin S.-Y. (SCA 2003: 167--176.) Is a technique of generating a plurality of facial expressions by synthesizing a small number of facial expressions by region, and calculating a combination ratio thereof. However, when synthesizing a plurality of facial expressions, there is a fear that detailed features such as wrinkles for each part may be lost.

또한, Joshi P., Tien W.~C., Desbrun M., Pighin F.에 의해 제안되는 Learning controls for blend shape based realistic facial animation.(SCA '03: 187--192.)는 얼굴을 부위별로 영역을 지정하고 각 영역별로 대해 소수의 얼굴 표정들에 대한 조합 비율을 계산하여 복잡 다양한 표정 생성 가능하다. 하지만, 얼굴의 임의의 한 영역과 그 이웃하는 영역의 경계 부분에서 조합 비율의 변화가 매끄럽지 못하여 고해상도 얼굴 모션의 경우 각 영역의 모션들이 서로 엉키는 문제가 생길 수 있다. In addition, the Learning controls for blend shape based realistic facial animation. (SCA '03: 187--192.) Proposed by Joshi P., Tien W.-C., Desbrun M., Pighin F. It is possible to generate complex expressions by designating regions and calculating combination ratios for a few facial expressions for each region. However, the change of the combination ratio is not smooth at the boundary between any one region of the face and its neighboring region, and thus, the motion of each region may be entangled with each other in the case of a high resolution face motion.

본 연구에서는 적은 수의 주요 얼굴 표정 모델들을 가지고도 인간의 복잡 다양한 표정을 연출할 수 있고 기존 기술과 비교하여 더욱 정교하게 인간 표정의 디테일(주름 등)을 표현하는 새로운 방식을 제안하고자 한다. In this study, we propose a new way of expressing the details of human expressions (wrinkles, etc.) more precisely than existing technologies, and can produce complex human expressions even with a few major facial expression models.

전술한 문제점을 해결하기 위한 본 발명의 목적은 소수의 소스 블렌드 쉐입들을 이용하여 고해상도의 타겟 표정 모델을 생성할 수 있는 얼굴 표정 리타게팅 방법을 제공하는 것이다. An object of the present invention for solving the above problems is to provide a facial expression retargeting method that can generate a high resolution target facial expression model using a few source blend shapes.

본 발명의 다른 목적은 실시간으로 고해상도의 타겟 표정 모델을 생성할 수 있는 얼굴 표정 리타게팅 방법을 제공하는 것이다. Another object of the present invention is to provide a facial expression retargeting method that can generate a high resolution target facial expression model in real time.

전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 얼굴 표정 리타게팅 방법은, 모션 캡쳐 장치와 연동되어 배우의 얼굴 표정을 캐릭터로 리타게팅하는 얼굴 표정 리타게팅 시스템에서의 얼굴 표정 리타게팅 방법에 관한 것으로서, The facial expression retargeting method according to the first aspect of the present invention for achieving the above-described technical problem is a facial expression retargeting system in a facial expression retargeting system for retargeting an actor's facial expression as a character in association with a motion capture device. As for the method,

(a) 모션 캡쳐 장치로부터 입력되는 배우의 복수 개의 주요 얼굴 표정에 대한 마커 데이터들을 이용하여 복수 개의 소스 블렌드 쉐입들(Source Blend Expressions)를 생성하여 저장하는 단계; (b) 상기 소스 블렌드 쉐입들과 캐릭터의 표정을 대응시켜 캐릭터에 대한 복수 개의 주요 표정들의 고해상도 표정 모델들을 생성하여 저장하는 단계; (c) 배우의 얼굴 모션 데이터가 입력되면, 상기 얼굴 모션 데이터들 중 각 마커의 위치정보를 분석하여 각 마커에 대응되는 캐릭터의 조절점(Control Point)에 대한 주요 표정 조합 비율을 결정하는 단계; (d) 캐릭터의 조절점을 제외한 점들인 주변점들에 대한 주요 표정 조합 비율을 결정하는 단계; (e) 상기 조절점 및 주변점들에 대한 주요 표정 조합 비율에 따라 상기 고해상도 표정 모델들을 합성하여, 상기 입력된 배우의 얼굴 모션 데이터에 따른 타겟 표정 모델을 생성하는 단계;를 구비한다. (a) generating and storing a plurality of source blend expressions using marker data of a plurality of main facial expressions of the actor input from the motion capture device; (b) generating and storing high resolution facial expression models of a plurality of main facial expressions of the character by matching the source blend shapes with the facial expression of the character; (c) when the actor's face motion data is input, analyzing the position information of each marker among the face motion data to determine a main facial expression combination ratio for a control point of a character corresponding to each marker; (d) determining a main facial expression combination ratio for the peripheral points which are points except for the control point of the character; (e) synthesizing the high-resolution facial expression models according to the main facial expression combination ratios for the control points and the surrounding points, and generating a target facial expression model according to the input face motion data of the actor.

전술한 특징을 갖는 방법에 있어서, 상기 (d) 단계의 주변점들에 대한 주요 표정 조합 비율은 캐릭터의 조절점에 대한 주요 표정 조합 비율을 보간(Interpolation)하여 계산되는 것이 바람직하며, 상기 (d)단계에서 주변점들에 대한 주요 표정 조합 비율을 보간하는 것은 상기 타겟 표정 모델에서의 각 점(vertex)에 대한 가중치 벡터들의 차이값을 구하고, 모든 점(vertices)에 대하여 구한 차이값의 합이 최소가 되도록 주요 표정 조합 비율을 결정하는 것이 바람직하다. In the method having the above-mentioned characteristic, the main facial expression combination ratio for the peripheral points of the step (d) is preferably calculated by interpolating the main facial expression combination ratio for the control point of the character, and the (d) Interpolating the main facial expression combination ratios for the surrounding points at step) calculates the difference between the weighted vectors for each vertex in the target facial expression model, and the sum of the difference values obtained for all the vertices. It is desirable to determine the main facial expression combination ratio to be minimal.

본 발명의 제2 특징에 따른 얼굴 표정 리타게팅 방법은, (a) 모션 캡쳐 장치로부터 입력되는 배우의 복수 개의 주요 얼굴 표정에 대한 마커 데이터들을 이용하여 복수 개의 소스 블렌드 쉐입들(Source Blend Expressions)을 생성하여 저장하는 단계; (b) 상기 소스 블렌드 쉐입들과 캐릭터의 표정을 대응시켜 캐릭터에 대한 복수 개의 주요 표정들의 고해상도 표정 모델들을 생성하고, 상기 고해상도 표정 모델들을 저해상도 표정 모델들과 상세 텍스쳐들(Detail Textures)로 분해하여 저장하는 단계; (c) 배우의 얼굴 모션 데이터가 입력되면, 상기 얼굴 모션 데이터들 중 각 마커의 위치정보를 분석하여 각 마커에 대응되는 캐릭터의 조절점(Control Point)에 대한 상기 주요 표정 조합 비율을 결정하는 단계; (d) 상기 조절점에 대한 상기 주요 표정 조합 비율을 저해상도 표정 모델상의 각 점들에서 보간하고, 보 간된 주요 표정 조합 비율에 따라 타겟 저해상도 표정 모델을 생성하는 단계; (e) 상기 보간된 각 점들에 대한 주요 표정 조합 비율을 상기 상세 텍스쳐의 각 픽셀에서 보간하고, 상기 보간된 주요 표정 조합 비율에 따라 타겟 상세 텍스쳐를 생성하는 단계; (f) 상기 생성된 타겟 저해상도 표정 모델 및 타겟 상세 텍스쳐를 합성하여, 상기 입력된 얼굴 모션 데이터에 따른 타겟 표정 모델을 생성하는 단계;를 구비한다. The facial expression retargeting method according to the second aspect of the present invention, (a) by using the marker data for a plurality of main facial expressions of the actor input from the motion capture device to a plurality of source blend expressions (Source Blend Expressions) Generating and storing; (b) generating high resolution facial expression models of a plurality of main facial expressions of the character by matching the source blend shapes with the facial expression of the character, and decomposing the high resolution facial expression models into low resolution facial expression models and detail textures. Storing; (c) when the actor's face motion data is input, analyzing the position information of each marker among the face motion data to determine the main facial expression combination ratio with respect to a control point of a character corresponding to each marker; ; (d) interpolating the main facial expression combination ratio with respect to the control point at each point on the low resolution facial expression model, and generating a target low resolution facial expression model according to the interpolated main facial expression combination ratio; (e) interpolating a major facial expression combination ratio for each of the interpolated points at each pixel of the detailed texture, and generating a target detailed texture according to the interpolated major facial expression combination ratio; (f) synthesizing the generated low resolution facial expression model and the target detailed texture to generate a target facial expression model according to the input facial motion data.

전술한 제2 특징에 따른 방법에 있어서, 상기 (d) 단계는 CPU에 의해 수행되고, 상기 (e) 단계는 GPU에 의해 수행되는 것이 바람직하다. In the method according to the second aspect described above, step (d) is preferably performed by a CPU, and step (e) is performed by a GPU.

전술한 제2 특징에 따른 방법에 있어서, 상기 상세 텍스쳐는 고해상도 표정 모델의 기하학 정보를 저장한 것으로서, RGB 형태의 surface normal vector로 이루어지는 것이 바람직하다. In the method according to the second aspect described above, the detailed texture stores geometric information of a high-resolution facial expression model, and is preferably made of a surface normal vector in the form of RGB.

전술한 제2 특징에 따른 방법에 있어서, 캐릭터의 조절점은 캐릭터 얼굴의 각 영역을 대표하는 점으로서, 배우 얼굴에 장착된 마커의 위치에 대응되도록 설정되는 것이 바람직하다. In the method according to the second aspect described above, the control point of the character is representative of each area of the character face, and is preferably set to correspond to the position of the marker mounted on the actor's face.

전술한 제2 특징에 따른 방법에 있어서, 상기 (e) 단계에서 상세 텍스쳐의 각 픽셀에서 보간하는 단계는 각 픽셀을 둘러싸는 점들(vertices)에 대한 가중치 벡터들을 보간하는 것이 바람직하다. In the method according to the above-described second feature, in the step (e), interpolating at each pixel of the detail texture preferably interpolates weight vectors for the vertices surrounding each pixel.

본 발명에 따른 얼굴 표정 리타게팅 방법은 다중 해상도적 표정 조합 비율의 연산 과정을 통해 보다 사실적이고 세밀한 얼굴 표정을 실시간으로 생성할 수 있 다. 또한, 본 발명에 따른 얼굴 표정 리타게팅 방법은 얼굴 모션 캡쳐 데이터를 3차원 캐릭터에 자동으로 재적용하는데 있어서 미리 제작된 소수(10 여개)의 주요 얼굴 표정(3차원 캐릭터)을 가지고 인간의 복잡 다양한 표정과 주름 등의 세밀한 부분의 동작까지 표현할 수 있다. 또한 이 기법은 다중 해상도적 얼굴 표정 생성이 가능하여서 주름 등의 세밀한 기하학적 정보를 텍스쳐로 저장하고 이들을 GPU에서 조합 및 처리함으로써 얼굴의 세부 표정을 실시간으로 생성할 수 있다는 점에서 게임 등의 사실적인 캐릭터 애니메이션에 보다 효과적으로 적용될 수 있다. 즉, 본 발명에 의하여 소수의 소스 표정으로 수많은 표정을 정확하게 표현하는 것이 가능해질 뿐만 아니라, 애니메이션 시 얼굴 부위의 세부 특징들이 소실되지 않고 정확하게 표현될 수 있다. 또한, 본 발명에 의하여, 얼굴의 각 부위를 영역으로 나누는 대신 그 부위를 대표하는 특징점을 설정하고 조합비율을 계산, 점들의 조합비율을 보간함으로써 각 부위간의 모션의 연결이 매우 자연스럽다.The facial expression retargeting method according to the present invention can generate a more realistic and detailed facial expression in real time through a calculation process of a multi-resolution facial expression combination ratio. In addition, the facial expression retargeting method according to the present invention has a plurality of main facial expressions (three-dimensional characters) prepared in advance in automatically reapplying facial motion capture data to three-dimensional characters. You can express the details of movements such as facial expressions and wrinkles. In addition, this technique is capable of generating multi-resolution facial expressions, so that detailed geometric information such as wrinkles can be stored as textures and combined and processed on the GPU to generate detailed facial expressions in real time, such as games. It can be applied more effectively to animations. That is, the present invention not only makes it possible to accurately express a large number of facial expressions with a few source expressions, but also allows the detailed features of the facial part to be accurately represented without being lost during animation. In addition, according to the present invention, instead of dividing each part of the face into areas, the connection of motion between the parts is very natural by setting a feature point representing the part, calculating a combination ratio, and interpolating the combination ratio of the points.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 소수 개의 소스 블렌드 쉐입(Blend Shapes)을 이용한 얼굴 표정 리타게팅(Retargeting) 방법에 관하여 구체적으로 설명한다. Hereinafter, a facial expression retargeting method using a few source blend shapes according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

제1 First 실시예Example

본 발명의 제1 실시예에 따른 얼굴 표정 리타게팅 방법은 얼굴 부위를 영역 으로 나누는 종래의 방법과는 달리 얼굴의 각 영역을 대표하는 조절점(Control Point)를 설정하고 그 조절점들간의 영향력을 고려하여 영역과 영역이 자연스럽게 오버래핑(Overlapping)하는 효과를 갖는 것을 특징으로 한다. 이하, 도 4 내지 도 7을 참조하여 본 발명의 제1 실시예에 따른 얼굴 표정 리타게팅 방법을 전체적으로 설명한다. The facial expression retargeting method according to the first embodiment of the present invention sets a control point representative of each area of the face unlike the conventional method of dividing a face part into areas, and controls the influence between the control points. In consideration of the above, it is characterized in that the region and the region have an effect of naturally overlapping. Hereinafter, the facial expression retargeting method according to the first embodiment of the present invention will be described with reference to FIGS. 4 to 7.

도 4는 본 발명의 제1 실시예에 따른 얼굴 표정 리타게팅 방법을 전체적으로 도시한 흐름도이다. 도 4를 참조하면, 본 발명에 따른 얼굴 표정 리타게팅 방법은 사전에 배우의 주요 얼굴 표정들에 대한 마커 데이터들을 획득하여, 획득된 마커 데이터들을 이용하여 각 표정에 대한 소스 블렌드 쉐입들(Source Blend Expressions)을 생성하고(단계 400), 상기 소스 블렌드 쉐입과 캐릭터의 표정을 대응시켜 캐릭터의 주요 표정들에 대한 고해상도 표정 모델들을 생성한다(단계 410). 여기서, 상기 소스 블렌드 쉐입들은 조절점들만으로 이루어진다. 전술한 과정들에 의해 생성된 소스 블렌드 쉐입들과 캐릭터의 고해상도 표정 모델들을 저장한다. 도 5는 본 발명의 제1 실시예에 따른 리타게팅 방법의 사전 준비 단계에서 생성 및 저장되는 배우의 얼굴 표정들에 대한 소스 블렌드 쉐입(a), 이에 대응되는 캐릭터의 고해상도 표정 모델(b)을 도시한 그림들이다. 4 is a flowchart illustrating an overall facial expression retargeting method according to a first embodiment of the present invention. Referring to FIG. 4, the facial expression retargeting method according to the present invention obtains marker data about main facial expressions of an actor in advance, and uses source marker shapes for each expression using the obtained marker data. Expressions) (step 400), and the source blend shape is matched with the character's facial expression to generate high-resolution facial expression models of the main facial expressions of the character (step 410). Here, the source blend shapes consist solely of control points. Source blend shapes generated by the above-described processes and high resolution facial expression models of the character are stored. FIG. 5 illustrates a source blend shape (a) for facial expressions of an actor generated and stored in a preliminary preparation step of a retargeting method according to the first embodiment of the present invention, and a high-resolution facial expression model (b) of a character corresponding thereto. Figures shown.

전술한 사전 준비 단계들에 있어서, 상기 배우의 주요 얼굴 표정들에 대한 마커 데이터들은 배우 얼굴에 부착된 소수의 마커들의 위치값들로 표현된다. 그리고 각 마커는 3D 캐릭터 상의 조절점(부위의 대표점)과 대응된다. In the above preliminary preparation steps, the marker data for the main facial expressions of the actor are represented by the position values of the few markers attached to the actor's face. Each marker corresponds to a control point (a representative point of a part) on the 3D character.

도 6은 본 발명의 제1 실시예에 따른 리타게팅 방법에 있어서, 배우의 모션 캡쳐 데이터가 입력되어 최종적으로 타겟 표정 모델이 생성되는 과정을 순차적으로 도시한 그림이다. 도 6에 도시된 바와 같이 배우의 연기가 시작되어 배우의 얼굴 모션 데이터인 각 마커의 위치 정보들이 입력된다(단계 420). 이와 같이 얼굴 모션 데이터들이 입력되면, 각 마커의 위치 정보를 분석하여 각 마커에 대응되는 조절점에 대한 주요 표정 조합 비율을 결정한다(단계 430). 여기서, 주요 표정 조합 비율은 마커에 대응되는 조절점에 대한 소스 블렌드 쉐입들의 조합 비율을 의미한다. 6 is a diagram sequentially illustrating a process of finally generating a target facial expression model by inputting motion capture data of an actor in the retargeting method according to the first embodiment of the present invention. As shown in FIG. 6, the actor's acting is started and position information of each marker, which is the actor's face motion data, is input (step 420). When face motion data is input in this manner, the positional information of each marker is analyzed to determine a main facial expression combination ratio for the control point corresponding to each marker (step 430). Here, the main facial expression combination ratio refers to a combination ratio of source blend shapes to control points corresponding to the marker.

각 조절점에 대한 주요 표정 조합 비율을 결정하기 위하여, 수학식 1과 같이 각 마커 위치

Figure 112009006066405-pat00001
를 각 소스 블렌드 쉐입에 대응되는 조절점
Figure 112009006066405-pat00002
의 가중치들로 분해한다. In order to determine the main facial expression combination ratio for each control point, each marker position as shown in Equation 1
Figure 112009006066405-pat00001
Control points corresponding to each source blend shape
Figure 112009006066405-pat00002
Decompose into weights of.

Figure 112009006066405-pat00003
Figure 112009006066405-pat00003

여기서,

Figure 112009006066405-pat00004
는 i번째 마커(조절점)의 위치 정보이며,
Figure 112009006066405-pat00005
는 j번째 소스 블렌드 쉐입의 i 번째 조절점의 위치 정보이며,
Figure 112009006066405-pat00006
는
Figure 112009006066405-pat00007
가
Figure 112009006066405-pat00008
에 영향을 미치는 정도를 표시하는 가중치(Weight)이며, n은 소스 블렌드 쉐입의 숫자이다. 여기서, 각 소스 블렌드 쉐입들은 단지 조절점들에 대한 위치 정보들만으로 이루어진다. 수학식 2를 이용하여 각
Figure 112009006066405-pat00009
를 구하기 위한 가중치
Figure 112009006066405-pat00010
를 구할 수 있다. here,
Figure 112009006066405-pat00004
Is the location information of the i-th marker (control point),
Figure 112009006066405-pat00005
Is the position information of the i th control point of the j source blend shape,
Figure 112009006066405-pat00006
Is
Figure 112009006066405-pat00007
end
Figure 112009006066405-pat00008
Weight that indicates the degree to which n affects, n is the number of source blend shapes. Here, each source blend shapes consist only of positional information about the control points. Equation 2 using Equation 2
Figure 112009006066405-pat00009
Weight to find
Figure 112009006066405-pat00010
Can be obtained.

Figure 112009006066405-pat00011
Figure 112009006066405-pat00011

각 조절점의 주요 표정 조합 비율

Figure 112009006066405-pat00012
는 constrained quadratic programming을 계산함으로서 구해진다. 여기서 pi 는 i번째 조절점의 위치값이고 pj는 그 조절점에 대응하는 주요 표정의 점의 위치값이다. 이 최적화 식을 이루는 첫 번째 목적함수 항은 입력 마커의 위치 Mi와 그 마커에 대응하는 소스 블렌드 쉐입상의 조절점들 pij 의 가중치 합과의 차이를 최소화한다. 두 번째 항은 조합 비율 cij값이 조절점 pij 과 마커Mi의 거리에 반비례하도록 작용한다.Main facial expression combination ratio of each control point
Figure 112009006066405-pat00012
Is obtained by calculating constrained quadratic programming. Where pi Is the position value of the i th control point and pj is the position value of the point of the main expression corresponding to the control point. The first objective function of this optimization formula minimizes the difference between the position Mi of the input marker and the weighted sum of the control points pij on the source blend shape corresponding to the marker. The second term means that the combination ratio cij is the control point pij It acts in inverse proportion to the distance of and the marker Mi.

수학식 2를 통해, i 번째 마커에 대한 각 소스 블렌드 쉐입의 가중치

Figure 112009006066405-pat00013
들을 모두 구할 수 있으며, 수학식 3과 같이 표현되는
Figure 112009006066405-pat00014
는 i 번째 마커의 가중치 벡터로서, 모든 소스 블렌드 쉐입들의 i번째 조절점들이 i번째 마커에 영향을 미치는 정도를 나타내는 가중치들의 집합이다. Through Equation 2, the weight of each source blend shape for the i th marker
Figure 112009006066405-pat00013
Can be obtained, which is expressed as
Figure 112009006066405-pat00014
Is a weight vector of the i th marker, which is a set of weights indicating the degree to which the i th control points of all the source blend shapes affect the i th marker.

Figure 112009006066405-pat00015
Figure 112009006066405-pat00015

전술한 과정을 통해 각 조절점에 대한 주요 표정 조합 비율이 결정되면, 캐 릭터 상의 조절점을 제외한 주변점들의 주요 표정 조합 비율은 최적화 과정을 통해 보간(Interpolation)하여 구하게 된다(단계 440). 이런 과정을 통해, 타겟 블렌드 쉐입의 모든 점들에 대한 주요 표정 조합 비율을 계산하고, 계산된 모든 점들에 대한 주요 표정 조합 비율을 이용하여 최종적으로 타겟 표정 모델(도 6의 'a')을 생성한다(단계 450). When the main facial expression combination ratio for each control point is determined through the above-described process, the main facial expression combination ratios of the peripheral points except for the control point on the character are obtained by interpolating through an optimization process (step 440). Through this process, the main facial expression combination ratio for all the points of the target blend shape is calculated, and finally, the target facial expression model ('a' in FIG. 6) is generated using the main facial expression combination ratio for all the calculated points. (Step 450).

이하, 단계 440을 구체적으로 설명한다. 수학식 3으로 표현되는 마커들에 대한 가중치 벡터

Figure 112009006066405-pat00016
는 소스 블렌드 쉐입들의 조절점들이 마커 위치에 영향을 미치는 정도인 가중값들을 나타낸다. 이러한 마커들의 가중치 벡터들은 타겟 캐릭터 모델의 대응되는 조절점에 재사용되며 타겟 캐릭터 모델의 주변 점들로 보간된다. Hereinafter, step 440 will be described in detail. Weight vector for markers represented by Equation 3
Figure 112009006066405-pat00016
Denotes weights that are the extent to which control points of the source blend shapes affect the marker position. The weight vectors of these markers are reused at corresponding control points of the target character model and interpolated to surrounding points of the target character model.

상기 타겟 표정 모델의 점(vertex) i에 대한 가중치 벡터

Figure 112009006066405-pat00017
를 구한다.
Figure 112009006066405-pat00018
는 고해상도 표정 모델인 타겟 블렌드 쉐입들위의 점(vertex) i가 타겟 표정 모델의 움직임에 영향을 미치는 정도를 나타내는 가중치들의 집합이다. 가중치 벡터
Figure 112009006066405-pat00019
를 구하기 위하여, 다음의 3가지 조건을 구비한다. (1)
Figure 112009006066405-pat00020
는 타겟 표정 모델에서 부드럽게(smoothly) 변화되어야 한다. 즉,
Figure 112009006066405-pat00021
는 주변점(neighbor vertices)의 가중치 벡터들과 많이 차이가 있으면 안된다. (2) 조건(1)을 달성하는 과정에서, 조절점의 가중치 벡터
Figure 112009006066405-pat00022
가 수정될 수 있으며, 그 이유는
Figure 112009006066405-pat00023
들이 non-control vertices를 고려하지 않고 계산되었기 때문이다. (3) 조건(2)의 과정은 조절점들의 영향력을 제어함에 의해 조절될 수 있다. Weight vector for point i of the target facial expression model
Figure 112009006066405-pat00017
.
Figure 112009006066405-pat00018
Is a set of weights indicating the degree to which the vertex i on the target blend shapes, which is a high resolution facial expression model, affects the movement of the target facial expression model. Weight vector
Figure 112009006066405-pat00019
In order to obtain, the following three conditions are provided. (One)
Figure 112009006066405-pat00020
Must change smoothly in the target facial expression model. In other words,
Figure 112009006066405-pat00021
Must not differ significantly from the weight vectors of the neighboring vertices. (2) in the process of achieving condition (1), the weight vector of the control point
Figure 112009006066405-pat00022
Can be modified, because
Figure 112009006066405-pat00023
This is because they are calculated without considering non-control vertices. (3) The process of condition (2) can be adjusted by controlling the influence of the control points.

조건 (1)을 달성하기 위하여, vertex i와 그 주변점들(neighbor vertices)사이의 가중치 벡터들의 차이를 최소화하여야 된다. 상기 차이값은 아래의 수학식 4에 의해 표현된다. In order to achieve condition (1), the difference in the weight vectors between vertex i and its neighbors should be minimized. The difference value is represented by Equation 4 below.

Figure 112009006066405-pat00024
Figure 112009006066405-pat00024

여기서

Figure 112009006066405-pat00025
는 vertex i의 neighbor vertex j에 대한 가중치 벡터이며,
Figure 112009006066405-pat00026
는 neighbor vertices의 갯수를 나타낸다. Adj(i) 는 vertex i에 매우 인접한 vertices들의 집합이다. 상기 조건(1)은 타겟 표정 모델에서의 모든 vertices에 대한 차이값의 합을 최소화시킴으로서 달성될 수 있다. 조건 (2)와 (3)을 고려함에 있어, 수학식 5의 최적화 과정을 통해 달성될 수 있다. here
Figure 112009006066405-pat00025
Is the weight vector for the neighbor vertex j of vertex i,
Figure 112009006066405-pat00026
Denotes the number of neighbor vertices. Adj (i) is a set of vertices very adjacent to vertex i. The condition (1) can be achieved by minimizing the sum of difference values for all vertices in the target facial expression model. In considering the conditions (2) and (3), it can be achieved through the optimization process of Equation 5.

Figure 112009006066405-pat00027
Figure 112009006066405-pat00027

여기서, CI는 control vertices의 지수들의 집합를 나타낸다. 첫번째 구간(term)은 조건(1)을 나타내며, 두번째 구간은 조건(2)에 의해 표현되는 조절점들 의 동작의 제한점을 나타낸다. 여기서,

Figure 112009006066405-pat00028
는 조절점 j에 대한
Figure 112009006066405-pat00029
의 영향력을 조정하기 위하여 사용되며,
Figure 112009006066405-pat00030
는 수학식(2)에서의 최적화에 의해 구할 수 있다. 수학식 5의 첫번째 구간을 만족시키기 위하여, control vertex i에대한 neighbor vertices의 가중치 벡터의 평균값은
Figure 112009006066405-pat00031
와 유사하여 된다. 두번째 구간을 만족시키기 위하여,
Figure 112009006066405-pat00032
는
Figure 112009006066405-pat00033
와 유사하여야 된다. 따라서, 조절점 j에 인접한 vertices의 가중치 벡터들은
Figure 112009006066405-pat00034
와 유사하여야 된다.
Figure 112009006066405-pat00035
가 클수록 유사성이 더욱 커진다. 도 7은 본 발명의 얼굴 표정 리타게팅 방법에 있어서,
Figure 112009006066405-pat00036
가 어떻게 neighbor vertices에 대한 조절점 j의 영향력을 조정하는지를 도시한 그림이다. 도 7의 오른쪽 그림에서, 조절점들이 원으로 표시되었으며, 왼쪽 그림에서는 조절점들이 사각형으로 표시되어 있다. 눈 주위의 조절점의 영향력이 0.5와 2.0일때의 결과를 각각 흰색으로 표현하였다. 그 조절점의 가중치 벡터값이 큰 값을 갖을 때 좀 더 넓은 영역에 대하여 영향력을 갖는 것을 확인할 수 있다. 오른쪽 그림에서는 모든 조절점에 대하여 각각 조절점의 영향력을 설정하고 그에 따른 각 조절점의 영향력을 다른 색깔로 표현하였다.Here, CI represents a set of indices of control vertices. The first term represents condition (1), and the second term represents the limitation of the operation of the control points represented by condition (2). here,
Figure 112009006066405-pat00028
For control point j
Figure 112009006066405-pat00029
Used to adjust the influence of
Figure 112009006066405-pat00030
Can be obtained by optimization in equation (2). In order to satisfy the first interval of Equation 5, the mean value of the weight vectors of the neighbor vertices for control vertex i is
Figure 112009006066405-pat00031
Will be similar to To satisfy the second interval,
Figure 112009006066405-pat00032
Is
Figure 112009006066405-pat00033
Should be similar to Thus, the weight vectors of the vertices adjacent to control point j are
Figure 112009006066405-pat00034
Should be similar to
Figure 112009006066405-pat00035
The larger is, the greater the similarity is. 7 is a facial expression retargeting method of the present invention,
Figure 112009006066405-pat00036
Shows how to adjust the influence of control point j on neighbor vertices. In the right figure of FIG. 7, the control points are indicated by circles, and in the left figure, the control points are indicated by a rectangle. When the influence of control points around the eyes is 0.5 and 2.0, the results are shown in white, respectively. When the weight vector value of the control point has a large value, it can be seen that it has influence over a wider area. In the figure on the right, the influence of each control point is set for each control point and the influence of each control point is expressed in a different color.

도 8은 본 발명의 제1 실시예에 따른 얼굴 표정 리타게팅 방법에 의하여 캐릭터의 고해상도 표정 모델에 설정된 조절점을 도시하고, 각 조절점에 의해 영역과 영역이 자연스럽게 오버래핑하는 것을 도시한다. FIG. 8 illustrates control points set in the high resolution facial expression model of the character by the facial expression retargeting method according to the first embodiment of the present invention, and shows that the areas and the areas naturally overlap by each control point.

하지만, 본 실시예에 따른 방법에 있어서, 조절점의 조합 비율을 이용하여 주변점들에 대한 조합 비율을 계산하는 것은 최적화를 통한 보간 과정에서 구해지는데, 이러한 과정은 상당한 계산 시간이 요구된다. 이는 최근의 성능 좋은 Numerical Solver와 컴퓨터 하드웨어의 지원으로 어느 정도 해결될 수 있지만 사용자의 실시간 편집이나 게임 캐릭터로의 적용에는 아직 무리가 따른다. 따라서 본 발명의 제2 실시예에서는 추가적으로 실시간 인터랙션을 위한 다중 레벨 블렌딩 기법을 제안한다. However, in the method according to the present embodiment, the calculation of the combination ratio for the peripheral points using the combination ratio of the control points is obtained in the interpolation process through optimization, which requires a considerable calculation time. This can be solved to some extent with the support of recent high-performance Numerical Solvers and computer hardware, but it's still too much for users to do real-time editing or application to game characters. Therefore, the second embodiment of the present invention further proposes a multilevel blending technique for real-time interaction.

제2 2nd 실시예Example

본 발명의 제2 실시예에 따른 얼굴 표정 리타게팅 방법은 프로그래밍 가능한 그래픽 하드웨어 기술을 활용하여 조합 비율을 결정하는데 있어 CPU와 GPU를 함께 사용하는 다중 레벨 블렌딩 기법을 사용하는 것을 특징으로 한다. 이하, 도 9 내지 도 14를 참조하여 본 발명의 제2 실시예에 따른 얼굴 표정 리타게팅 방법을 구체적으로 설명한다. The facial expression retargeting method according to the second embodiment of the present invention is characterized by using a multilevel blending technique using a CPU and a GPU in determining a combination ratio using a programmable graphics hardware technology. Hereinafter, the facial expression retargeting method according to the second embodiment of the present invention will be described in detail with reference to FIGS. 9 to 14.

도 9는 본 발명의 제2 실시예에 따른 얼굴 표정 리타게팅 방법을 전체적으로 도시한 흐름도이다. 도 9를 참조하면, 본 실시예에 따른 얼굴 표정 리타게팅 방법은 사전에 배우의 주요 얼굴 표정들에 대한 마커 데이터들을 획득하고, 획득된 마커 데이터들을 이용하여 소스 블렌드 쉐입들을 생성하여 저장한다(단계 900). 다음, 소스 블렌드 쉐입과 캐릭터의 표정을 대응시켜 캐릭터의 주요 표정들에 대한 고해상도 표정 모델들을 생성한다(단계 910). 상기 캐릭터에 대한 고해상도 표정 모델들을 저해상도 표정 모델과 상세 텍스쳐(Detail Texture)로 분해하여 저장한다(단계 920). 여기서, 저해상도 표정 모델은 기본 쉐입이며, 상세 텍스쳐는 상기 기본 쉐입에 정의된 탄젠트 표면(tangent space)상에서 상세 소스 블렌드 쉐입의 표면 normal(법선 벡터)를 RGB 값으로 변환하여 저장한 이미지이고 일반적으로 Normal Map으로 불린다.9 is a flowchart illustrating a facial expression retargeting method according to a second embodiment of the present invention as a whole. Referring to FIG. 9, in the facial expression retargeting method according to the present embodiment, the marker data regarding the main facial expressions of the actor are acquired in advance, and the source blend shapes are generated and stored using the obtained marker data (step). 900). Next, high-resolution facial expression models of the main facial expressions of the character are generated by matching the source blend shape with the facial expression of the character (step 910). The high resolution facial expression models for the character are decomposed and stored into a low resolution facial expression model and a detail texture (step 920). Here, the low resolution facial expression model is a basic shape, and the detailed texture is an image stored by converting a surface normal (normal vector) of a detailed source blend shape into an RGB value on a tangent space defined in the basic shape, and is generally Normal. It's called Map.

도 10은 본 발명의 제2 실시예에 따른 리타게팅 방법의 사전 준비 단계에서 생성 및 저장되는 배우의 주요 얼굴 표정들에 대한 소스 블렌드 쉐입들(a), 이에 대응되는 캐릭터의 고해상도 표정 모델들(b) 및 고해상도 표정 모델을 분해하여 형성한 저해상도 표정 모델들(c)과 상세 텍스쳐들(d)을 도시한 그림들이다. FIG. 10 illustrates source blend shapes (a) for main facial expressions of an actor generated and stored in a preliminary preparation step of a retargeting method according to a second embodiment of the present invention, and high-resolution facial expression models of a character corresponding thereto ( b) and low resolution facial expression models (c) and detailed textures (d) formed by decomposing a high resolution facial expression model.

전술한 사전 준비 단계들에 있어서, 상기 배우의 주요 얼굴 표정들에 대한 마커 데이터들은 배우 얼굴에 부착된 소수의 마커들의 위치값들로 표현된다. 그리고 각 마커는 3D 캐릭터 상의 조절점(부위의 대표점)과 대응된다. 상기 상세 텍스쳐는 고해상도 표정 모델의 Surface Normal Vector를 RGB 형태로 저장한 것이다. 도 11은 본 발명의 제2 실시예에 따른 리타게팅 방법에서 고해상도 표정 모델에 대하여 분해한 저해상도 표정 모델과 상세 텍스쳐를 도시한 것이며, 도 12는 저해상도 표정 모델과 고해상도 표정 모델을 비교하여 도시한 것이다. 도 12를 통해, 본 실시예에 따라 상세 텍스쳐를 가지고 렌더링된 저해상도 표정 모델과 원래의 고해상도 표정 모델의 렌더링 결과가 육안으로는 별 차이가 없음을 알 수 있다. In the above preliminary preparation steps, the marker data for the main facial expressions of the actor are represented by the position values of the few markers attached to the actor's face. Each marker corresponds to a control point (a representative point of a part) on the 3D character. The detailed texture is a surface normal vector of a high resolution facial expression model stored in RGB format. FIG. 11 illustrates a low resolution facial expression model and a detailed texture decomposed with respect to a high resolution facial expression model in a retargeting method according to a second exemplary embodiment of the present invention, and FIG. 12 illustrates a comparison of a low resolution facial expression model and a high resolution facial expression model. . 12, it can be seen that the rendering results of the low resolution facial expression model rendered with the detailed texture and the original high resolution facial expression model according to the present exemplary embodiment are not significantly different.

다음, 배우의 연기가 시작되어 배우의 얼굴 모션 데이터인 각 마커의 위치 정보들이 입력된다(단계 930). 제2 실시예에 따른 방법은 제1 실시예의 방법과 거의 유사하나, 저해상도 표정 모델과 상세 텍스쳐로 나누어서 각각 조합 비율을 계산한다는 차이점이 있다. Next, the actor's acting is started and position information of each marker which is the actor's face motion data is input (step 930). The method according to the second embodiment is almost similar to the method of the first embodiment, except that the combination ratio is calculated by dividing into a low resolution facial expression model and a detailed texture.

다음, CPU는 매 프레임마다 배우 얼굴의 마커의 위치 정보들을 분석하여 각 마커에 대응하는 조절점에 대한 주요 표정 조합 비율을 계산한다(단계 940). 계산된 각 조절점에 대한 조합 비율은 CPU를 이용하여 저해상도 표정 모델상의 각 점들에서 보간된다(단계 950). 이때, 저해상도 표정 모델상의 vertices의 갯수는 모션 캡쳐에 사용되는 마커의 갯수보다 크며 고해상도 표정 모델상의 vertices의 갯수보다 적다. 이렇게 계산된 저해상도 표정 모델상의 모든 점들에 대한 주요 표정 조합 비율에 따라 저해상도 표정 모델들을 합성하여 타겟 저해상도 표정 모델을 생성한다.Next, the CPU analyzes the positional information of the markers of the actor's face every frame to calculate the main facial expression combination ratio for the control points corresponding to each marker (step 940). The combined ratio for each control point calculated is interpolated at each point on the low resolution facial expression model using the CPU (step 950). At this time, the number of vertices on the low resolution facial expression model is larger than the number of markers used for motion capture and less than the number of vertices on the high resolution facial expression model. The target low resolution facial expression model is generated by synthesizing the low resolution facial expression models according to the main facial expression combination ratios for all the points on the low resolution facial expression model.

다음, 그래픽 파이프 라인을 거쳐 GPU를 이용하여 상세 텍스쳐의 픽셀에서 보간된다(단계 960). GPU는 픽셀을 둘러싸는 삼각형내의 vertices의 가중치 벡터들을 보간함에 의해, 픽셀의 가중치 벡터를 계산한다. 픽셀에서의 디테일 normal을 계산하는 과정을 보다 구체적으로 설명한다. 도 16은 본 발명에 따른 상세 텍스쳐의 픽셀에서의 보간 과정을 설명하기 위하여 도시한 그림이다. 도 15에 도시된 바와 같이, 픽셀을 둘러싸는 3개의 vertices i, j, k에 대한 가중치 벡터를 각각

Figure 112009006066405-pat00037
,
Figure 112009006066405-pat00038
,
Figure 112009006066405-pat00039
라고 하며, vertices i, j, k의 속성으로 표현한다. 병렬 구조의 GPU 파이프라인은 수학식 6과 같이 각 픽셀에 대한 가중치 벡터들을 빠르게 보간한다. It is then interpolated at the pixels of the detailed texture using the GPU via the graphics pipeline (step 960). The GPU calculates the weight vector of the pixel by interpolating the weight vectors of the vertices in the triangle surrounding the pixel. The process of calculating the detail normal at the pixel will be described in more detail. 16 is a diagram illustrating an interpolation process in pixels of a detailed texture according to the present invention. As shown in FIG. 15, the weight vectors for the three vertices i, j, and k surrounding the pixel are respectively
Figure 112009006066405-pat00037
,
Figure 112009006066405-pat00038
,
Figure 112009006066405-pat00039
It is expressed as an attribute of vertices i, j, and k. The parallel GPU pipeline interpolates the weight vectors for each pixel as shown in Equation 6.

Figure 112009006066405-pat00040
Figure 112009006066405-pat00040

여기서

Figure 112009006066405-pat00041
는 vertex i에 대응하는 텍스쳐 공간(texture space)에서의 텍스쳐 좌표이다. here
Figure 112009006066405-pat00041
Is the texture coordinates in the texture space corresponding to vertex i.

Figure 112009006066405-pat00042
는 i 번째 블렌드 텍스쳐의 디테일 노말(detailed normal)로 정의한다. 픽셀 N의 디테일 노말을 구하기 위하여, GPU는 의 가중치 합을 수학식 7에 따라 계산한다.
Figure 112009006066405-pat00042
Is defined as the detail normal of the i-th blend texture. To get the detail normal of pixel N, the GPU The weighted sum of is calculated according to Equation 7.

Figure 112009006066405-pat00044
Figure 112009006066405-pat00044

이렇게 계산된 상세 텍스쳐의 모든 픽셀들에 대한 주요 표정 조합 비율에 따라 상세 텍스쳐들을 합성하여 타겟 상세 텍스쳐를 생성한다. The target textures are generated by synthesizing the detailed textures according to the main facial expression combination ratios for all the pixels of the detailed texture calculated in this way.

다음, 전술한 과정에서 생성된 타겟 저해상도 표정 모델 및 상기 타겟 상세 텍스쳐를 합성하여, 최종적으로 타겟 표정 모델인 고해상도 표정 모델을 생성한다. Next, the target low resolution facial expression model and the target detailed texture generated in the above-described process are synthesized to finally generate a high resolution facial expression model that is a target facial expression model.

도 13은 본 발명의 제2 실시예에 따른 얼굴 표정 리타게팅 방법에 있어서, 입력되는 배우의 얼굴 모션 데이터(a), 이를 이용하여 1차적으로 CPU에서의 저해상도 레벨 블렌딩 과정에 의하여 구한 타겟 저해상도 표정 모델(b), 2차적으로 GPU에 서의 고해상도 레벨 블렌딩 과정에 의하여 구한 타겟 상세 텍스쳐(c), 및 상기 타겟 저해상도 표정 모델과 타겟 상세 텍스쳐를 최종적으로 합성하여 생성한 타겟 표정 모델인 고해상도 표정 모델(d)을 순차적으로 도시한 것이다. FIG. 13 illustrates a target low-resolution facial expression obtained by a low-resolution level blending process in a CPU using facial motion data (a) of an actor to be input in the facial expression retargeting method according to the second embodiment of the present invention. A high resolution facial expression model which is a model (b), a target detailed texture obtained by a high resolution level blending process on a GPU, and a target facial expression model that is finally generated by synthesizing the target low resolution facial expression model and the target detailed texture. (d) is shown in sequence.

도 14는 본 발명의 제1 실시예 및 제2 실시예에 따른 방법에서의 성능 향상을 확인하기 위하여 도시한 도표이다. 도 14에서의 빨간 선은 3개의 고해상도 캐릭터 모델에 대하여 조합 비율 계산시 한 프레임당 걸린 시간으로서 대략 초당 10 프레임 정도의 속도를 보인다. 반면에 파란선은 멀티 레벨 블렌딩을 사용했을 경우인데 초당 약 40여 프레임의 속도를 냄으로써 4배 이상의 성능 향상을 보였다. 도 15는 본 발명의 제2 실시예에 따라 생성된 타겟 표정 모델(a)과 제1 실시예에 따라 생성된 타겟 표정 모델(b)을 예시적으로 도시한 것이다. 도 15를 통해, 제2 실시예에 따라 생성한 타겟 표정 모델과 제1 실시예에 따라 생성한 타겟 표정 모델의 차이가 거의 없음을 알 수 있다. FIG. 14 is a diagram for confirming the performance improvement in the method according to the first and second embodiments of the present invention. The red line in FIG. 14 shows a time of about 10 frames per second as a time taken for calculating a combination ratio for three high-resolution character models. The blue line, on the other hand, uses multi-level blending, which is about four times faster by delivering about 40 frames per second. FIG. 15 exemplarily illustrates a target facial expression model (a) generated according to the second embodiment of the present invention and a target facial expression model (b) generated according to the first embodiment. 15, it can be seen that there is almost no difference between the target facial expression model generated according to the second embodiment and the target facial expression model generated according to the first embodiment.

본 실시예에 따른 얼굴 표정 라타게팅 방법은 조합 비율을 결정하는데 있어서 CPU와 GPU를 함께 사용하는 다중 레벨 블렌딩 기법을 사용함으로써, 3D 캐릭터의 얼굴 애니메이션을 수정 및 편집할 경우 또는 게임에서 사용되어질 경우 실시간으로 처리할 수 있게 된다. 특히, 저해상도의 단계에서의 조합 비율은 CPU가 계산하고 세부 단계에서의 조합 비율은 GPU가 계산하게 됨으로써 상당히 효과적으로 계산 시간을 단축시킬 수 있게 된다. The facial expression racting method according to the present embodiment uses a multi-level blending technique using a CPU and a GPU together in determining a combination ratio, so that when a face animation of a 3D character is modified and edited or used in a game, Can be processed. In particular, the combination ratio in the low resolution stage is calculated by the CPU and the combination ratio in the detail stage is calculated by the GPU, which can significantly reduce the computation time.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. Although the present invention has been described above with reference to preferred embodiments thereof, this is merely an example and is not intended to limit the present invention, and those skilled in the art do not depart from the essential characteristics of the present invention. It will be appreciated that various modifications and applications which are not illustrated above in the scope are possible. And differences relating to such modifications and applications should be construed as being included in the scope of the invention as defined in the appended claims.

본 발명에 따른 얼굴 표정 리타게팅 방법은 실시간으로 3D 캐릭터의 얼굴 애니메이션을 수정 및 편집할 수 있으며, 실시간 처리가 요구되는 게임에서도 사용될 수 있다. The facial expression retargeting method according to the present invention can modify and edit facial animation of a 3D character in real time, and can be used in a game requiring real time processing.

도 1은 종래의 블렌딩 쉐입(Blending Shape) 기법을 이용하여 생성한 영화의 한 장면을 도시한 것이다. FIG. 1 illustrates a scene of a movie generated using a conventional blending shape technique.

도 2는 종래의 블렌딩 쉐입 기법에 이용하여 조합 비율에 따른 가중치 합으로 생성된 새로운 표정을 도시한 것이다. FIG. 2 illustrates a new expression generated as a weighted sum based on a combination ratio using a conventional blending shape technique.

도 3은 종래의 블렌딩 쉐입 기법에 따라 주요 표정들의 부위들을 조합하여 생성된 새로운 표정을 도시한 것이다. 3 illustrates a new facial expression generated by combining parts of main facial expressions according to a conventional blending shape technique.

도 4는 본 발명의 제1 실시예에 따른 얼굴 표정 리타게팅 방법을 전체적으로 도시한 흐름도이다. 4 is a flowchart illustrating an overall facial expression retargeting method according to a first embodiment of the present invention.

도 5는 본 발명의 제1 실시예에 따른 리타게팅 방법의 사전 준비 단계에서 생성 및 저장되는 배우의 얼굴 표정 소스(a), 이에 대응되는 캐릭터의 고해상도 표정 모델(b)을 도시한 그림들이다. FIG. 5 is a diagram illustrating an actor's facial expression source (a) generated and stored in a preliminary preparation step of the retargeting method according to the first embodiment of the present invention, and a high-resolution facial expression model (b) of a character corresponding thereto.

도 6은 본 발명의 제1 실시예에 따른 리타게팅 방법에 있어서, 배우의 모션 캡쳐 데이터가 입력되어 최종적으로 타겟 표정 모델이 생성되는 과정을 순차적으로 도시한 그림이다. 6 is a diagram sequentially illustrating a process of finally generating a target facial expression model by inputting motion capture data of an actor in the retargeting method according to the first embodiment of the present invention.

도 7은 본 발명의 얼굴 표정 리타게팅 방법에 있어서,

Figure 112009006066405-pat00045
가 어떻게 neighbor vertices에 대한 조절점 j의 영향력을 조정하는지를 도시한 그림이다.7 is a facial expression retargeting method of the present invention,
Figure 112009006066405-pat00045
Shows how to adjust the influence of control point j on neighbor vertices.

도 8은 본 발명의 제1 실시예에 따른 얼굴 표정 리타게팅 방법에 의하여 캐릭터의 고해상도 표정 모델에 설정된 조절점(a)을 도시하고, 각 조절점에 의해 영 역과 영역이 자연스럽게 오버래핑하는 것(b)을 도시한다. FIG. 8 illustrates control points (a) set in a high resolution facial expression model of a character by the facial expression retargeting method according to the first embodiment of the present invention, and naturally overlapping regions and regions by each control point (b) ).

도 9는 본 발명의 제2 실시예에 따른 얼굴 표정 리타게팅 방법을 전체적으로 도시한 흐름도이다. 9 is a flowchart illustrating a facial expression retargeting method according to a second embodiment of the present invention as a whole.

도 10은 본 발명의 제2 실시예에 따른 리타게팅 방법의 사전 준비 단계에서 생성 및 저장되는 배우의 주요 얼굴 표정들(a), 이에 대응되는 캐릭터의 고해상도 표정 모델(b) 및 고해상도 표정 모델을 분해하여 형성한 저해상도 표정 모델(c)과 상세 텍스쳐(d)를 도시한 그림들이다. FIG. 10 illustrates the main facial expressions (a) of the actor generated and stored in the preliminary preparation step of the retargeting method according to the second embodiment of the present invention, the high-resolution facial expression model (b) and the high-resolution facial expression model of the character corresponding thereto; Low resolution facial expression models (c) and detailed textures (d) formed by decomposition.

도 11은 본 발명의 제2 실시예에 따른 리타게팅 방법에서 고해상도 표정 모델에 대하여 분해한 저해상도 표정 모델(a)과 상세 텍스쳐(b)를 도시한 것이며, 도 12는 저해상도 표정 모델(b)과 고해상도 표정 모델(a)을 비교하여 도시한 것이다. FIG. 11 illustrates a low resolution facial expression model (a) and a detailed texture (b) decomposed with respect to a high resolution facial expression model in the retargeting method according to the second embodiment of the present invention, and FIG. 12 illustrates a low resolution facial expression model (b) and It compares and shows the high resolution facial expression model (a).

도 13은 본 발명의 제2 실시예에 따른 얼굴 표정 리타게팅 방법에 있어서, 입력되는 배우의 얼굴 모션 데이터(a), 이를 이용하여 1차적으로 CPU에서의 저해상도 레벨 블렌딩 과정에 의하여 구한 타겟 저해상도 표정 모델(b), 2차적으로 GPU에서의 고해상도 레벨 블렌딩 과정에 의하여 구한 타겟 상세 텍스쳐(c), 및 타겟 저해상도 표정 모델과 타겟 상세 텍스쳐를 최종적으로 합성하여 생성한 고해상도의 타겟 표정 모델(d)을 순차적으로 도시한 것이다. FIG. 13 illustrates a target low-resolution facial expression obtained by a low-resolution level blending process in a CPU using facial motion data (a) of an actor to be input in the facial expression retargeting method according to the second embodiment of the present invention. The model (b), the target detail texture (c) obtained by the high resolution level blending process on the second GPU, and the high resolution target facial expression model (d) generated by finally synthesizing the target low resolution facial expression model and the target detailed texture It is shown in sequence.

도 14는 본 발명의 제1 실시예 및 제2 실시예에 따른 방법에서의 성능 향상을 확인하기 위하여 도시한 도표이며, 도 15는 본 발명의 제2 실시예에 따라 생성된 타겟 표정 모델(a)과 제1 실시예에 따라 생성된 타겟 표정 모델(b)을 예시적으로 도시한 것이다. FIG. 14 is a diagram for confirming the performance improvement in the method according to the first and second embodiments of the present invention, and FIG. 15 is a target facial expression model (a) generated according to the second embodiment of the present invention. ) And the target facial expression model (b) generated according to the first exemplary embodiment.

도 16은 본 발명에 따른 상세 텍스쳐의 픽셀에서의 보간 과정을 설명하기 위하여 도시한 그림이다. 16 is a diagram illustrating an interpolation process in pixels of a detailed texture according to the present invention.

Claims (9)

모션 캡쳐 장치와 연동되어 배우의 얼굴 표정을 캐릭터로 리타게팅하는 얼굴 표정 리타게팅 시스템에서의 얼굴 표정 리타게팅 방법에 있어서, In the facial expression retargeting method in the facial expression retargeting system for retargeting the facial expression of the actor as a character in conjunction with the motion capture device, (a) 모션 캡쳐 장치로부터 입력되는 배우의 복수 개의 주요 얼굴 표정에 대한 마커 데이터들을 이용하여 복수 개의 소스 블렌드 쉐입들(Source Blend Expressions)를 생성하여 저장하는 단계;(a) generating and storing a plurality of source blend expressions using marker data of a plurality of main facial expressions of the actor input from the motion capture device; (b) 상기 소스 블렌드 쉐입들과 캐릭터의 표정을 대응시켜 캐릭터에 대한 복수 개의 주요 표정들의 고해상도 표정 모델들을 생성하여 저장하는 단계;(b) generating and storing high resolution facial expression models of a plurality of main facial expressions of the character by matching the source blend shapes with the facial expression of the character; (c) 배우의 얼굴 모션 데이터가 입력되면, 상기 얼굴 모션 데이터들 중 각 마커의 위치정보를 분석하여 각 마커에 대응되는 캐릭터의 조절점(Control Point)에 대한 주요 표정 조합 비율을 결정하는 단계;(c) when the actor's face motion data is input, analyzing the position information of each marker among the face motion data to determine a main facial expression combination ratio for a control point of a character corresponding to each marker; (d) 캐릭터의 조절점을 제외한 점들인 주변점들에 대한 주요 표정 조합 비율을 결정하는 단계;(d) determining a main facial expression combination ratio for the peripheral points which are points except for the control point of the character; (e) 상기 조절점 및 주변점들에 대한 주요 표정 조합 비율에 따라 상기 고해상도 표정 모델들을 합성하여, 상기 입력된 배우의 얼굴 모션 데이터에 따른 타겟 표정 모델을 생성하는 단계;(e) synthesizing the high-resolution facial expression models according to the main facial expression combination ratios for the control points and the surrounding points, and generating a target facial expression model according to the input face motion data of the actor; 를 구비하는 얼굴 표정 리타게팅 방법. Facial expression retargeting method comprising a. 제1항에 있어서, 상기 (d) 단계의 주변점들에 대한 주요 표정 조합 비율은 캐릭터의 조절점에 대한 주요 표정 조합 비율을 보간(Interpolation)하여 계산되는 것을 특징으로 하는 얼굴 표정 리타게팅 방법. The facial expression retargeting method of claim 1, wherein the ratio of the main facial expression combinations to the peripheral points of the step (d) is calculated by interpolating the main facial expression combination to the control points of the character. 제2항에 있어서, 상기 (d)단계에서 주변점들에 대한 주요 표정 조합 비율을 보간하는 것은 상기 타겟 표정 모델을 구성하는 모든 점(vertices)의 각각에 대하여 가중치 벡터들의 차이값을 구하고, 상기 모든 점(vertices)의 각각에 대하여 구한 차이값들의 합이 최소가 되도록 주요 표정 조합 비율을 결정하는 것을 특징으로 하는 얼굴 표정 리타게팅 방법. 3. The method of claim 2, wherein interpolating the main facial expression combination ratios of the peripheral points in step (d) obtains a difference value of weight vectors for each of the vertices of the target facial expression model. A facial expression retargeting method characterized by determining a main facial expression combination ratio such that the sum of difference values obtained for each of all vertices is minimized. 모션 캡쳐 장치와 연동되어 배우의 얼굴 표정을 캐릭터로 리타게팅하는 얼굴 표정 리타게팅 시스템에서의 얼굴 표정 리타게팅 방법에 있어서, In the facial expression retargeting method in the facial expression retargeting system for retargeting the facial expression of the actor as a character in conjunction with the motion capture device, (a) 모션 캡쳐 장치로부터 입력되는 배우의 복수 개의 주요 얼굴 표정에 대한 마커 데이터들을 이용하여 복수 개의 소스 블렌드 쉐입들(Source Blend Expressions)을 생성하여 저장하는 단계;(a) generating and storing a plurality of Source Blend Expressions using marker data for a plurality of main facial expressions of an actor input from the motion capture device; (b) 상기 소스 블렌드 쉐입들과 캐릭터의 표정을 대응시켜 캐릭터에 대한 복수 개의 주요 표정들의 고해상도 표정 모델들을 생성하고, 상기 고해상도 표정 모델들을 저해상도 표정 모델들과 상세 텍스쳐들(Detail Textures)로 분해하여 저장하는 단계;(b) generating high resolution facial expression models of a plurality of main facial expressions of the character by matching the source blend shapes with the facial expression of the character, and decomposing the high resolution facial expression models into low resolution facial expression models and detail textures. Storing; (c) 배우의 얼굴 모션 데이터가 입력되면, 상기 얼굴 모션 데이터들 중 각 마커의 위치정보를 분석하여 각 마커에 대응되는 캐릭터의 조절점(Control Point)에 대한 상기 주요 표정 조합 비율을 결정하는 단계;(c) when the actor's face motion data is input, analyzing the position information of each marker among the face motion data to determine the main facial expression combination ratio with respect to a control point of a character corresponding to each marker; ; (d) 상기 조절점에 대한 상기 주요 표정 조합 비율을 저해상도 표정 모델상의 각 점들에서 보간하고, 보간된 주요 표정 조합 비율에 따라 타겟 저해상도 표정 모델을 생성하는 단계; (d) interpolating the main facial expression combination ratio with respect to the control point at each point on the low resolution facial expression model, and generating a target low resolution facial expression model according to the interpolated main facial expression combination ratio; (e) 상기 보간된 각 점들에 대한 주요 표정 조합 비율을 상기 상세 텍스쳐의 각 픽셀에서 보간하고, 상기 보간된 주요 표정 조합 비율에 따라 타겟 상세 텍스쳐를 생성하는 단계;(e) interpolating a major facial expression combination ratio for each of the interpolated points at each pixel of the detailed texture, and generating a target detailed texture according to the interpolated major facial expression combination ratio; (f) 상기 생성된 타겟 저해상도 표정 모델 및 타겟 상세 텍스쳐를 합성하여, 상기 입력된 얼굴 모션 데이터에 따른 타겟 표정 모델을 생성하는 단계;generating a target facial expression model according to the input facial motion data by synthesizing the generated target low resolution facial expression model and the target detailed texture; 를 구비하는 얼굴 표정 리타게팅 방법. Facial expression retargeting method comprising a. 제4항에 있어서, 상기 (d) 단계는 CPU에 의해 수행되고, 상기 (e) 단계는 GPU에 의해 수행되는 것을 특징으로 하는 얼굴 표정 리타게팅 방법. 5. The facial expression retargeting method of claim 4, wherein step (d) is performed by a CPU and step (e) is performed by a GPU. 제4항에 있어서, 상기 상세 텍스쳐는 저해상도 표정 모델에 정의된 탄젠트 표면(tangent space)상에서 상기 저해상도 표정 모델에 대응되는 고해상도 표정 모델인 상세 소스 블렌드 쉐입의 표면 normal(법선 벡터)를 RGB 값으로 변환하여 저장한 이미지인 것을 특징으로 하는 얼굴 표정 리타게팅 방법. The method of claim 4, wherein the detail texture is a high-resolution facial expression model corresponding to the low-resolution facial expression model on a tangent space defined in the low-resolution facial expression model. Facial expression retargeting method characterized in that the image stored. 제4항에 있어서, 캐릭터의 조절점은 캐릭터 얼굴의 각 영역을 대표하는 점으로서, 배우 얼굴에 장착된 마커의 위치에 대응되도록 설정되는 것을 특징으로 하는 얼굴 표정 리타게팅 방법. The facial expression retargeting method according to claim 4, wherein the control point of the character is representative of each area of the character's face and is set to correspond to the position of the marker mounted on the actor's face. 제4항에 있어서, 상기 (e) 단계에서 상세 텍스쳐의 각 픽셀에서 보간하는 단계는 각 픽셀을 둘러싸는 점들(vertices)에 대한 가중치 벡터들을 보간하는 것을 특징으로 하는 얼굴 표정 리타게팅 방법.5. The facial expression retargeting method of claim 4, wherein interpolating at each pixel of the detail texture in step (e) interpolates weight vectors for vertices surrounding each pixel. 제4항에 있어서, 상기 저해상도 표정 모델상의 vertices의 갯수는 모션 캡쳐에 사용되는 마커의 갯수보다 크며 고해상도 표정 모델상의 vertices의 갯수보다 적은 것을 특징으로 하는 얼굴 표정 리타게팅 방법. 5. The facial expression retargeting method of claim 4, wherein the number of vertices on the low resolution facial expression model is greater than the number of markers used for motion capture and less than the number of vertices on the high resolution facial expression model.
KR1020090007511A 2009-01-30 2009-01-30 Method for retargeting expression KR101148101B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090007511A KR101148101B1 (en) 2009-01-30 2009-01-30 Method for retargeting expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090007511A KR101148101B1 (en) 2009-01-30 2009-01-30 Method for retargeting expression

Publications (2)

Publication Number Publication Date
KR20100088347A KR20100088347A (en) 2010-08-09
KR101148101B1 true KR101148101B1 (en) 2012-05-22

Family

ID=42754575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090007511A KR101148101B1 (en) 2009-01-30 2009-01-30 Method for retargeting expression

Country Status (1)

Country Link
KR (1) KR101148101B1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328820B1 (en) * 2012-05-03 2013-11-14 세종대학교산학협력단 Facial Expression Reconstruction Method and Appratus
KR20190046371A (en) 2017-10-26 2019-05-07 에스케이텔레콤 주식회사 Apparatus and method for creating facial expression
KR102229034B1 (en) 2018-08-07 2021-03-17 에스케이텔레콤 주식회사 Apparatus and method for creating information related to facial expression and apparatus for creating facial expression
KR102229056B1 (en) 2018-08-09 2021-03-17 에스케이텔레콤 주식회사 Apparatus and method for generating recognition model of facial expression and computer recordable medium storing computer program thereof
KR102229061B1 (en) 2018-08-09 2021-03-17 에스케이텔레콤 주식회사 Apparatus and method for generating recognition model of facial expression, and apparatus and method using the same
KR102128399B1 (en) * 2019-06-04 2020-06-30 (주)자이언트스텝 Method of Generating Learning Data for Implementing Facial Animation Based on Artificial Intelligence, Method of Implementing Facial Animation Based on Artificial Intelligence, and Computer Readable Storage Medium
KR102108422B1 (en) * 2019-08-07 2020-05-11 (주)자이언트스텝 System and Method for Optimizing Facial Expression of Virtual Characters through AI-based Facial Expression Classification and Retargeting, and Computer Readable Storage Medium
KR102111499B1 (en) * 2019-09-19 2020-05-18 (주)자이언트스텝 Method of Transferring Face Shape Change for Face Animation and Computer Readable Storage Medium
KR102380333B1 (en) * 2020-02-25 2022-04-01 주식회사 하이퍼커넥트 Image Reenactment Apparatus, Method and Computer Readable Recording Medium Thereof
KR20240024537A (en) * 2022-08-17 2024-02-26 슈퍼랩스 주식회사 Method, computer device, and computer program to create facial expressions through image synthesis using 3d character-based standard model
KR102593760B1 (en) 2023-05-23 2023-10-26 주식회사 스푼라디오 Customized virtual avatar creation server for each disk jockey based on digital service, method and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061252A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 A method of retargeting a facial animation based on wire curves and example expression models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061252A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 A method of retargeting a facial animation based on wire curves and example expression models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1(2007.01) *

Also Published As

Publication number Publication date
KR20100088347A (en) 2010-08-09

Similar Documents

Publication Publication Date Title
KR101148101B1 (en) Method for retargeting expression
Chai et al. Vision-based control of 3 D facial animation
US9036898B1 (en) High-quality passive performance capture using anchor frames
US11875458B2 (en) Fast and deep facial deformations
Chao et al. Realistic data-driven traffic flow animation using texture synthesis
US20120176379A1 (en) Mesh animation
US11769309B2 (en) Method and system of rendering a 3D image for automated facial morphing with a learned generic head model
US11158104B1 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
CN115457171A (en) Efficient expression migration method adopting base expression space transformation
EP3980975B1 (en) Method of inferring microdetail on skin animation
US20210074076A1 (en) Method and system of rendering a 3d image for automated facial morphing
Li et al. Animating cartoon faces by multi‐view drawings
CN115023742A (en) Facial mesh deformation with detailed wrinkles
US11348286B1 (en) Method for controlling digital feather generations through a user interface in a computer modeling system
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
US20230154094A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
Li et al. GGAvatar: Geometric Adjustment of Gaussian Head Avatar
Zhang et al. Learning Dynamic Tetrahedra for High-Quality Talking Head Synthesis
Chauhan Vertex-Based Facial Animation Transfer System for Models with Different Topology; A Tool for Maya
Karunaratne et al. A new efficient expression generation and automatic cloning method for multimedia actors
WO2023022606A1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
Orvalho et al. Character animation: Past, present and future
TWI557685B (en) Mesh animation
Zhou et al. Editing Fluid Sequences Using Space Warping Technique

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150512

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181108

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee