KR20110088361A - Apparatus and method for generating a front face image - Google Patents

Apparatus and method for generating a front face image Download PDF

Info

Publication number
KR20110088361A
KR20110088361A KR1020100126120A KR20100126120A KR20110088361A KR 20110088361 A KR20110088361 A KR 20110088361A KR 1020100126120 A KR1020100126120 A KR 1020100126120A KR 20100126120 A KR20100126120 A KR 20100126120A KR 20110088361 A KR20110088361 A KR 20110088361A
Authority
KR
South Korea
Prior art keywords
front face
face image
image
pose
generating
Prior art date
Application number
KR1020100126120A
Other languages
Korean (ko)
Inventor
양승준
임성용
이한규
김대진
신종주
김정태
Original Assignee
한국전자통신연구원
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 포항공과대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20110088361A publication Critical patent/KR20110088361A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An apparatus for generating a front face image using a camera and a method thereof are provided to generate the front face image using a not front face image. CONSTITUTION: A feature point extraction unit(110) extracts a plurality of feature points from a face image. A shape model generator(120) creates a 3D shape model based on the plurality of feature points. A pose generator(130) creates a front face pose from the 3D shape model. An image generator(140) synthesizes the texture in the front face pose. The image generator generates the front face image.

Description

정면 얼굴 영상 생성 장치 및 방법{Apparatus and Method for Generating a Front Face Image}Apparatus and Method for Generating a Front Face Image

본 발명은 정면 얼굴 영상 생성 장치 및 방법에 관한 것으로서, 보다 구체적으로는 사용자에 대한 비정면 얼굴 영상으로부터 정면 얼굴 영상을 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a front face image, and more particularly, to an apparatus and method for generating a front face image from a non-frontal face image for a user.

최근 원거리에 떨어져 있는 두 사람이 연락하기 위한 수단으로서 화상 전화, 화상 회의 등에 대한 니즈(Needs)가 커지고 있다. 예를 들어, 화상 회의는 원거리에 있는 두 사람이 카메라를 이용해 서로를 보면서 회의를 하는 것을 말한다. Recently, there is a growing need for video telephony, video conferencing, etc., as a means for two remotely contacted people. For example, video conferencing refers to two people at a distance who are looking at each other using a camera.

이 때, 사용자는 모니터 앞에 위치하고 카메라는 모니터의 옆이나 위/아래에 위치하는 것이 일반적이고, 따라서 화상 회의를 하는 사용자의 정면 얼굴을 촬영할 수 없다. 그렇기 때문에 두 사람이 서로를 마주 보고 대화를 나누는 형태가 재현될 수 없고, 따라서 어색한 회의가 진행될 우려가 있다. At this time, it is common for the user to be located in front of the monitor and the camera to be located at the side or the top / bottom of the monitor, and thus it is impossible to photograph the front face of the user who is in a video conference. Therefore, the form in which two people face each other and talk to each other cannot be reproduced, and there is a fear that an awkward meeting may proceed.

본 명세서에서는 화상 회의 등에서 사용자의 정면 얼굴 영상을 제공하는 새로운 방법을 제안하다.In this specification, a new method for providing a front face image of a user in a video conference or the like is proposed.

본 발명의 실시예들은 사용자에 대한 비정면 얼굴 영상으로부터 복수 개의 특징점을 추출하고, 3차원 형상 모델을 생성하며, 3차원 형상 모델에 텍스처를 합성하여 정면 얼굴 영상을 생성함으로써, 1대의 카메라만으로도 사용자의 정면 얼굴을 제공하는데 그 목적이 있다.Embodiments of the present invention extract a plurality of feature points from a non-frontal face image of a user, generate a three-dimensional shape model, and synthesize a texture in the three-dimensional shape model to generate a front face image, so that only one camera can be used by the user. Its purpose is to provide a frontal face.

또한, 본 발명의 실시예들은 사용자에 대한 비정면 얼굴 영상으로부터 정면 얼굴 영상을 생성함으로써, 사용자가 카메라를 정면으로 응시하지 못하는 경우에도, 사용자의 정면 얼굴을 제공하는데 그 목적이 있다. In addition, embodiments of the present invention is to provide a front face image of the user even when the user does not stare at the camera by generating a front face image from the non-frontal face image of the user.

본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치는 얼굴 영상으로부터 복수 개의 특징점을 추출하는 특징점 추출부, 상기 복수 개의 특징점에 기반하여, 3차원 형상 모델(3D Shape Model)을 생성하는 형상 모델 생성부, 상기 3차원 형상 모델로부터 정면 얼굴 포즈를 생성하는 포즈 생성부 및 상기 정면 얼굴 포즈에 텍스처(Texture)를 합성하여 정면 얼굴 영상을 생성하는 영상 생성부를 포함한다.The apparatus for generating a front face image according to an embodiment of the present invention generates a shape model for generating a 3D shape model based on the feature point extracting unit extracting a plurality of feature points from a face image and the feature points. The apparatus may include a pose generator configured to generate a front face pose from the 3D shape model, and an image generator configured to generate a front face image by synthesizing a texture with the front face pose.

본 발명의 일측에 따르면, 상기 특징점 추출부는, 상기 얼굴 영상에 BAM(Boosted Appearance Model) 알고리즘을 적용하여 상기 복수 개의 특징점을 추출할 수 있다.According to one aspect of the present invention, the feature point extractor may extract the plurality of feature points by applying a Boosted Appearance Model (BAM) algorithm to the face image.

본 발명의 일측에 따르면, 상기 형상 모델 생성부는, 모션 구조(Structure form Motion) 알고리즘을 적용하여 상기 3차원 형상 모델을 생성할 수 있다.According to an aspect of the present invention, the shape model generator may generate the 3D shape model by applying a structure form motion algorithm.

본 발명의 일측에 따르면, 상기 포즈 생성부는, 상기 복수 개의 특징점 각각에 대한 2차원 좌표값에 기반하여, 상기 3차원 형상 모델에 대한 얼굴 포즈 파라미터(Pose Parameter)를 연산하고, 상기 얼굴 포즈 파라미터의 값을 제어하여, 상기 정면 얼굴 포즈를 생성할 수 있다.According to one aspect of the invention, the pose generation unit, based on the two-dimensional coordinate values for each of the plurality of feature points, calculates a face pose parameter (Pose Parameter) for the three-dimensional shape model, and the By controlling the value, the front face pose can be generated.

본 발명의 일측에 따르면, 상기 영상 생성부는, 상기 정면 얼굴 포즈에 상기 얼굴 영상의 텍스처(Texture)를 와핑하여 제1 정면 얼굴 영상을 생성하는 와핑부, MLR(Multivariate Linear Regression) 방법을 이용하여 상기 얼굴 영상에 대한 외형 파라미터(Appearance Parameter)로부터 상기 정면 얼굴 영상에 대한 상기 외형 파라미터를 연산하는 파라미터 연산부, 상기 연산된 정면 얼굴 영상에 대한 상기 외형 파라미터에 기반하여, 상기 얼굴 영상으로부터 제2 정면 얼굴 영상을 합성하는 합성부 및 상기 제1 정면 얼굴 영상 및 상기 제2 정면 얼굴 영상을 합성하여 상기 정면 얼굴 영상을 생성하는 생성부를 포함할 수 있다.According to an aspect of the present invention, the image generating unit, a warping unit for generating a first front face image by warping the texture of the face image in the front face pose, using the MLR (Multivariate Linear Regression) method A parameter calculator which calculates the appearance parameter for the front face image from an appearance parameter for a face image, and a second front face image from the face image based on the appearance parameter for the calculated front face image And a generating unit configured to synthesize the first front face image and the second front face image to generate the front face image.

본 발명의 일실시예에 따른 정면 얼굴 영상 생성 방법은 얼굴 영상으로부터 복수 개의 특징점을 추출하는 단계, 상기 복수 개의 특징점에 기반하여, 3차원 형상 모델(3D Shape Model)을 생성하는 단계, 상기 3차원 형상 모델로부터 정면 얼굴 포즈를 생성하는 단계 및 상기 정면 얼굴 포즈에 텍스처(Texture)를 합성하여 정면 얼굴 영상을 생성하는 단계를 포함한다.In a method of generating a front face image according to an embodiment of the present invention, extracting a plurality of feature points from a face image, generating a 3D shape model based on the plurality of feature points, and the 3D Generating a front face pose from the shape model and generating a front face image by synthesizing a texture with the front face pose.

사용자에 대한 비정면 얼굴 영상으로부터 복수 개의 특징점을 추출하고, 3차원 형상 모델을 생성하며, 3차원 형상 모델에 텍스처를 합성하여 정면 얼굴 영상을 생성함으로써, 1대의 카메라만으로도 사용자의 정면 얼굴을 제공할 수 있다.By extracting a plurality of feature points from a non-frontal face image of a user, generating a three-dimensional shape model, and synthesizing a texture to the three-dimensional shape model to generate a front face image, a single camera can provide the front face of the user. Can be.

또한, 사용자에 대한 비정면 얼굴 영상으로부터 정면 얼굴 영상을 생성함으로써, 사용자가 카메라를 정면으로 응시하지 못하는 경우에도, 사용자의 정면 얼굴을 제공할 수 있다. In addition, by generating the front face image from the non-frontal face image of the user, even if the user does not stare at the camera in front, it is possible to provide the front face of the user.

도 1은 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 BAM 알고리즘을 적용하여 복수 개의 특징점을 추출한 영상을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 형상 모델을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 정면 얼굴 포즈를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 방법을 나타내는 흐름도이다.1 is a diagram illustrating a configuration of a front face image generating device according to an embodiment of the present invention.
2 is a diagram illustrating an image obtained by extracting a plurality of feature points by applying a BAM algorithm according to an embodiment of the present invention.
3 is a view showing a three-dimensional shape model according to an embodiment of the present invention.
4 is a view showing a front face pose according to an embodiment of the present invention.
5 is a flowchart illustrating a method of generating a front face image according to an embodiment of the present invention.

이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the embodiments. Like reference numerals in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치의 구성을 나타내는 도면이다. 1 is a diagram illustrating a configuration of a front face image generating device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치(100)는 특징점 추출부(110), 형상 모델 생성부(120), 포즈 생성부(130) 및 영상 생성부(140)를 포함한다.
Referring to FIG. 1, the apparatus for generating a face image 100 according to an embodiment of the present invention may include a feature point extractor 110, a shape model generator 120, a pose generator 130, and an image generator 140. ).

사용자(102)는 화상 회의 등을 위해 카메라(101)를 이용하여 얼굴을 촬영할 수 있다. 이 때, 카메라(101)의 위치에 따라 사용자(102)의 정면 얼굴이 촬영될 수도 있지만, 비정면 얼굴(위에서 내려다본 얼굴, 측면 얼굴 등)이 촬영될 수 있다. 일실시예에 따른 정면 얼굴 영상 생성 장치(100)는 사용자(102)의 얼굴을 촬영하는 카메라(101)로부터 사용자(102)의 얼굴을 촬영한 얼굴 영상을 수신하여, 수신된 얼굴 영상으로부터 사용자(102)의 정면 얼굴을 생성할 수 있다.
The user 102 may photograph a face using the camera 101 for a video conference or the like. In this case, the front face of the user 102 may be photographed according to the position of the camera 101, but the non-frontal face (a face viewed from above, a side face, etc.) may be photographed. According to an embodiment, the apparatus 100 for generating a front face image receives a face image of a face of the user 102 from a camera 101 that captures a face of the user 102, and receives a face image from the received face image. 102 may generate a front face.

특징점 추출부(110)는 얼굴 영상으로부터 복수 개의 특징점을 추출한다.The feature point extractor 110 extracts a plurality of feature points from the face image.

실시예에 따라서는, 특징점 추출부(110)는 얼굴 영상에 특징점 추출 알고리즘을 적용하여 복수 개의 특징점을 추출할 수 있다.According to an exemplary embodiment, the feature point extractor 110 may extract a plurality of feature points by applying a feature point extraction algorithm to a face image.

예를 들어, 특징점 추출부(110)는 사용자(102)에 대한 얼굴 영상에 BAM(Boosted Appearance Model) 알고리즘을 적용하여 복수 개의 특징점을 추출할 수 있다.For example, the feature point extractor 110 may extract a plurality of feature points by applying a Boosted Appearance Model (BAM) algorithm to a face image of the user 102.

일실시예에 따른 BAM 알고리즘은 피팅(Fitting)이 잘된 영상과 잘 되지 않은 영상을 구분할 수 있는 약한 분류기(Weak Classifier)를 선택하여 스코어(Score)가 높은 방향으로 특징점을 이동시키는 경사 상승(Gradient-Ascent) 방법일 수 있다.
The BAM algorithm according to an embodiment selects a weak classifier that can distinguish between a well-fitted image and a bad image, and moves a feature point in a direction with a high score. Ascent) method.

일실시예에 따른 특징점 추출부(110)는 형상 모델(Shape Model)을 생성할 수 있다. 이 때, 특징점 추출부(110)는 수식 1을 이용하여 형상 모델을 생성할 수 있다.The feature point extractor 110 according to an embodiment may generate a shape model. In this case, the feature point extractor 110 may generate a shape model using Equation 1.

수식 1Equation 1

Figure pat00001

Figure pat00001

또한, 특징점 추출부(110)는 BAM 알고리즘을 학습할 영상을 수집한 이후, 직접 표시한 특징점을 기반으로 S0의 위치로 수집한 영상의 텍스쳐(Texture)를 이동시킴으로써, 양성 샘플(Positive Sample)을 생성할 수 있다.In addition, the feature point extractor 110 collects an image to learn the BAM algorithm, and then moves the texture of the collected image to the position of S 0 based on the directly displayed feature point, thereby creating a positive sample. Can be generated.

또한, 특징점 추출부(110)는 얼굴의 특징점을 파라미터 pi로 조정한 후, 음성 샘플(Negative Sample)을 생성할 수 있다.Also, the feature point extractor 110 may generate a negative sample after adjusting the feature point of the face with the parameter p i .

또한, 특징점 추출부(110)는 양성 샘플 및 음성 샘플을 수집하고, Gentleboost 알고리즘을 적용하여 직각 특징(Rectangular Feature)을 추출할 수 있다. 실시예에 따라서는, 특징점 추출부(110)는 Gentleboost 알고리즘을 적용하여 최대 200개의 직각 특징을 추출할 수 있다.In addition, the feature point extractor 110 may collect a positive sample and a negative sample and extract a rectangular feature by applying a Gentleboost algorithm. According to an embodiment, the feature point extractor 110 may extract up to 200 orthogonal features by applying the Gentleboost algorithm.

이 때, Gentleboost 알고리즘에서 사용되는 약한 분류기는 수식 2와 같이 나타날 수 있다.In this case, the weak classifier used in the Gentleboost algorithm may be represented by Equation 2.

수식 2Equation 2

Figure pat00002

Figure pat00002

또한, 특징점 추출부(110)는 약한 분류기의 합(수식 3)을 이용하여 피팅이 잘된 영상인지 여부를 판단할 수 있다. In addition, the feature point extractor 110 may determine whether the image is well-fitted using the sum of the weak classifiers (Equation 3).

수식 3Equation 3

Figure pat00003

Figure pat00003

또한, 특징점 추출부(110)는 선택된 약한 분류기에 기반하여, 경사 상승 방법을 적용하여 형상 파라미터 P(Shape Parameter P)를 업데이트(Update)할 수 있다. 이 때, 특징점 추출부(110)는 수식 3을 미분할 수 있고(수식 4), 수식 4에 기반하여 수식 5와 같이 형상 파라미터 P를 업데이트할 수 있다.In addition, the feature point extractor 110 may update the shape parameter P by applying a gradient raising method based on the selected weak classifier. In this case, the feature point extractor 110 may differentiate Equation 3 (Equation 4) and update the shape parameter P as shown in Equation 5 based on Equation 4.

수식 4Equation 4

Figure pat00004
Figure pat00004

수식 5Equation 5

Figure pat00005

Figure pat00005

도 2는 본 발명의 일실시예에 따른 BAM 알고리즘을 적용하여 복수 개의 특징점을 추출한 영상을 나타내는 도면이다. 2 is a diagram illustrating an image obtained by extracting a plurality of feature points by applying a BAM algorithm according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치의 특징점 추출부는 사용자(210)에 대한 얼굴 영상에 BAM 알고리즘을 적용하여 복수 개의 특징점(220)을 추출할 수 있다. 영상(200)은 BAM 알고리즘을 적용하여 복수 개의 특징점을 추출한 영상을 나타낸다.
Referring to FIG. 2, the feature point extractor of the apparatus for generating face images according to an embodiment of the present invention may extract a plurality of feature points 220 by applying a BAM algorithm to a face image of the user 210. The image 200 represents an image obtained by extracting a plurality of feature points by applying a BAM algorithm.

다시 도 1을 참조하면, 형상 모델 생성부(120)는 추출된 복수 개의 특징점에 기반하여, 3차원 형상 모델(3D Shape Model)을 생성한다.Referring back to FIG. 1, the shape model generator 120 generates a 3D shape model based on the extracted plurality of feature points.

본 발명의 일측에 따르면, 형상 모델 생성부(120)는 모션 구조(Structure form Motion) 알고리즘을 적용하여 3차원 형상 모델을 생성할 수 있다.According to one side of the present invention, the shape model generator 120 may generate a 3D shape model by applying a structure form motion algorithm.

즉, 일실시예에 따른 형상 모델 생성부(120)는 복수 개의 특징점에 기반하여, 학습 영상에 모션 구조(Structure form Motion) 알고리즘을 적용하여 3차원 형상 모델을 생성할 수 있다.
That is, the shape model generator 120 may generate a 3D shape model by applying a structure form motion algorithm to a training image based on a plurality of feature points.

도 3은 본 발명의 일실시예에 따른 3차원 형상 모델을 나타내는 도면이다. 3 is a view showing a three-dimensional shape model according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치의 형상 모델 생성부는 포즈 파라미터(Pose Parameter)를 조정함으로써, 각각의 각도가 다른 3차원 형상 모델(310, 320, 330)을 생성할 수 있다.
Referring to FIG. 3, the shape model generator of the front face image generating apparatus according to an embodiment of the present invention adjusts a pose parameter so that each angle has a different 3D shape model 310, 320, 330. Can be generated.

다시 도 1을 참조하면, 포즈 생성부(130)는 3차원 형상 모델로부터 정면 얼굴 포즈를 생성한다.Referring back to FIG. 1, the pose generator 130 generates a front face pose from the 3D shape model.

본 발명의 일측에 따르면, 포즈 생성부(130)는 복수 개의 특징점 각각에 대한 2차원 좌표값에 기반하여, 3차원 형상 모델에 대한 얼굴 포즈 파라미터(Pose Parameter)를 연산할 수 있다. 또한, 포즈 생성부(130)는 연산된 얼굴 포즈 파라미터의 값을 제어하여, 정면 얼굴 포즈를 생성할 수 있다. 예를 들어, 포즈 생성부(130)는 연산된 얼굴 포즈 파라미터의 얼굴 각도 값을 0 도로 제어함으로써, 정면 얼굴 포즈를 생성할 수 있다.
According to one side of the present invention, the pose generating unit 130 may calculate a face pose parameter for the three-dimensional shape model based on the two-dimensional coordinate values of each of the plurality of feature points. In addition, the pose generator 130 may generate a front face pose by controlling a value of the calculated face pose parameter. For example, the pose generator 130 may generate the front face pose by controlling the face angle value of the calculated face pose parameter to 0 degrees.

도 4는 본 발명의 일실시예에 따른 정면 얼굴 포즈를 나타내는 도면이다. 4 is a view showing a front face pose according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 장치의 포즈 생성부는 복수 개의 특징점 각각에 대한 2차원 좌표값에 기반하여, 3차원 형상 모델에 대한 얼굴 포즈 파라미터(Pose Parameter)를 연산할 수 있다. 영상(410)은 일실시예에 따른 포즈 생성부가 3차원 형상 모델에 대한 얼굴 포즈 파라미터를 연산한 결과 영상을 나타내고, 영상(420)은 포즈 생성부가 얼굴 포즈 파라미터의 값을 제어하여, 생성한 정면 얼굴 포즈를 나타낸다.
Referring to FIG. 4, a pose generator of a front face image generating apparatus according to an embodiment of the present invention may be a face pose parameter for a 3D shape model based on two-dimensional coordinate values of each of a plurality of feature points. Can be calculated. The image 410 represents an image obtained by calculating a face pose parameter of the 3D shape model according to an exemplary embodiment. The image 420 is a front face generated by the pose generator controlling a value of the face pose parameter. Indicates a face pose.

다시 도 1을 참조하면, 본 발명의 일실시예에 따른 영상 생성부(144)는 정면 얼굴 포즈에 텍스처(Texture)를 합성하여 정면 얼굴 영상을 생성한다.Referring back to FIG. 1, the image generator 144 according to an embodiment of the present invention generates a front face image by synthesizing a texture with a front face pose.

본 발명의 일측에 따르면, 영상 생성부(144)는 와핑부(141), 파라미터 연산부(142), 합성부(143) 및 생성부(144)를 포함할 수 있다.
According to one side of the present invention, the image generator 144 may include a warping unit 141, a parameter calculator 142, a synthesizer 143, and a generator 144.

와핑부(141)는 정면 얼굴 포즈에 얼굴 영상의 텍스처(Texture)를 와핑(Warping)하여 제1 정면 얼굴 영상을 생성할 수 있다.The warping unit 141 may generate a first front face image by warping the texture of the face image in the front face pose.

일실시예에 따른 와핑부(141)는 카메라로부터 수신된 사용자의 좌측 얼굴에 대하여 촬영한 좌측면 영상의 텍스쳐에 기반하여 중간 정면 얼굴 영상을 생성할 수 있다. 이 때, 좌측면 영상의 경우, 사용자 얼굴의 우측면에 대한 텍스처가 부족한 상태이기 때문에, 생성된 중간 정면 얼굴 영상은 실제의 정면 얼굴 영상과의 오차율이 클 수 밖에 없다. 따라서, 일실시예에 따른 와핑부(141)는 사용자 얼굴의 좌측면에 대한 텍스처를 중간 정면 얼굴 영상의 우측면에 와핑할 수 있다. 사용자 얼굴의 좌측면에 대한 텍스처를 중간 정면 얼굴 영상의 우측면에 와핑함으로써, 와핑부(141)는 제1 정면 얼굴 영상을 생성할 수 있다.
The warping unit 141 may generate an intermediate front face image based on a texture of a left side image photographed with respect to a user's left face received from a camera. In this case, since the texture on the right side of the user's face is insufficient in the left side image, the generated middle front face image has a large error rate with the actual front face image. Accordingly, the warping unit 141 may warp the texture of the left side of the user's face to the right side of the intermediate front face image. The warping unit 141 may generate the first front face image by warping the texture of the left side of the user face to the right side of the middle front face image.

파라미터 연산부(142)는 MLR(Multivariate Linear Regression) 방법을 이용하여 얼굴 영상에 대한 외형 파라미터(Appearance Parameter)로부터 정면 얼굴 영상에 대한 외형 파라미터를 연산할 수 있다.
The parameter calculator 142 may calculate an appearance parameter of the front face image from an appearance parameter of the face image by using a multivariate linear regression (MLR) method.

합성부(143)는 연산된 정면 얼굴 영상에 대한 외형 파라미터에 기반하여, 얼굴 영상으로부터 제2 정면 얼굴 영상을 합성할 수 있다.
The synthesis unit 143 may synthesize the second front face image from the face image based on the appearance parameter of the calculated front face image.

생성부(144)는 제1 정면 얼굴 영상 및 제2 정면 얼굴 영상을 합성하여 정면 얼굴 영상을 생성할 수 있다. 일실시예에 따른 생성부(144)는 수식 6을 이용하여 정면 얼굴 영상을 생성할 수 있다.The generator 144 may generate a front face image by synthesizing the first front face image and the second front face image. The generator 144 according to an embodiment may generate a front face image by using Equation 6.

수식 6Equation 6

Figure pat00006
Figure pat00006

이 때, I1(X)는 제1 정면 얼굴 영상을, I2(X)는 제2 정면 얼굴 영상을 나타낸다.
In this case, I 1 (X) represents the first front face image and I 2 (X) represents the second front face image.

도 5는 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 방법을 나타내는 흐름도이다.5 is a flowchart illustrating a method of generating a front face image according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 정면 얼굴 영상 생성 방법은 얼굴 영상으로부터 복수 개의 특징점을 추출한다(510).
Referring to FIG. 5, in the method of generating a front face image according to an embodiment of the present invention, a plurality of feature points are extracted from a face image (510).

사용자는 화상 회의 등을 위해 카메라를 이용하여 얼굴을 촬영할 수 있다. 이 때, 카메라의 위치에 따라 사용자의 정면 얼굴이 촬영될 수도 있지만, 비정면 얼굴(위에서 내려다본 얼굴, 측면 얼굴 등)이 촬영될 수 있다. 일실시예에 따른 정면 얼굴 영상 생성 방법은 사용자의 얼굴을 촬영하는 카메라로부터 사용자의 얼굴을 촬영한 얼굴 영상을 수신하여, 수신된 얼굴 영상으로부터 사용자의 정면 얼굴을 생성할 수 있다.
The user may photograph a face using a camera for a video conference or the like. In this case, the front face of the user may be photographed according to the position of the camera, but the non-frontal face (face viewed from above, side face, etc.) may be photographed. The method of generating a front face image according to an embodiment may receive a face image of a face of the user from a camera photographing the face of the user, and generate the front face of the user from the received face image.

실시예에 따라서는, 정면 얼굴 영상 생성 방법은 얼굴 영상에 특징점 추출 알고리즘을 적용하여 복수 개의 특징점을 추출할 수 있다.According to an embodiment, the front face image generation method may extract a plurality of feature points by applying a feature point extraction algorithm to the face image.

예를 들어, 정면 얼굴 영상 생성 방법은 사용자에 대한 얼굴 영상에 BAM(Boosted Appearance Model) 알고리즘을 적용하여 복수 개의 특징점을 추출할 수 있다.For example, in the front face image generation method, a plurality of feature points may be extracted by applying a Boosted Appearance Model (BAM) algorithm to a face image of a user.

일실시예에 따른 BAM 알고리즘은 피팅(Fitting)이 잘된 영상과 잘 되지 않은 영상을 구분할 수 있는 약한 분류기(Weak Classifier)를 선택하여 스코어(Score)가 높은 방향으로 특징점을 이동시키는 경사 상승(Gradient-Ascent) 방법일 수 있다.
The BAM algorithm according to an embodiment selects a weak classifier that can distinguish between a well-fitted image and a bad image, and moves a feature point in a direction with a high score. Ascent) method.

일실시예에 따른 정면 얼굴 영상 생성 방법은 형상 모델(Shape Model)을 생성할 수 있다.
According to an embodiment, the method of generating a front face image may generate a shape model.

또한, 정면 얼굴 영상 생성 방법은 BAM 알고리즘을 학습할 영상을 수집한 이후, 직접 표시한 특징점을 기반으로 S0의 위치로 수집한 영상의 텍스쳐(Texture)를 이동시킴으로써, 양성 샘플(Positive Sample)을 생성할 수 있다.In addition, the front face image generation method collects an image to learn the BAM algorithm, and then moves the texture of the collected image to the position of S 0 based on the directly displayed feature point to generate a positive sample. Can be generated.

또한, 정면 얼굴 영상 생성 방법은 얼굴의 특징점을 파라미터 pi로 조정한 후, 음성 샘플(Negative Sample)을 생성할 수 있다.In addition, the front face image generation method may generate a negative sample after adjusting a feature point of the face with the parameter p i .

또한, 정면 얼굴 영상 생성 방법은 양성 샘플 및 음성 샘플을 수집하고, Gentleboost 알고리즘을 적용하여 직각 특징(Rectangular Feature)을 추출할 수 있다. 실시예에 따라서는, 정면 얼굴 영상 생성 방법은 Gentleboost 알고리즘을 적용하여 최대 200개의 직각 특징을 추출할 수 있다.
In addition, the front face image generation method may collect a positive sample and a negative sample, and extract a rectangular feature by applying a Gentleboost algorithm. According to an embodiment, the front face image generation method may extract up to 200 orthogonal features by applying the Gentleboost algorithm.

또한, 정면 얼굴 영상 생성 방법은 약한 분류기의 합을 이용하여 피팅이 잘된 영상인지 여부를 판단할 수 있다.
In addition, the front face image generation method may determine whether the image is well-fitted using the sum of the weak classifiers.

또한, 정면 얼굴 영상 생성 방법은 선택된 약한 분류기에 기반하여, 경사 상승 방법을 적용하여 형상 파라미터 P(Shape Parameter P)를 업데이트(Update)할 수 있다.
In addition, the front face image generation method may update a shape parameter P by applying a gradient rising method based on the selected weak classifier.

정면 얼굴 영상 생성 방법은 추출된 복수 개의 특징점에 기반하여, 3차원 형상 모델(3D Shape Model)을 생성한다(520).The method for generating a front face image generates a 3D shape model based on the extracted feature points (520).

본 발명의 일측에 따르면, 정면 얼굴 영상 생성 방법은 모션 구조(Structure form Motion) 알고리즘을 적용하여 3차원 형상 모델을 생성할 수 있다.According to an aspect of the present invention, the front face image generation method may generate a 3D shape model by applying a structure form motion algorithm.

즉, 일실시예에 따른 정면 얼굴 영상 생성 방법은 복수 개의 특징점에 기반하여, 학습 영상에 모션 구조(Structure form Motion) 알고리즘을 적용하여 3차원 형상 모델을 생성할 수 있다.
That is, the method for generating a front face image according to an embodiment may generate a 3D shape model by applying a structure form motion algorithm to a training image based on a plurality of feature points.

정면 얼굴 영상 생성 방법은 3차원 형상 모델로부터 정면 얼굴 포즈를 생성한다(530).The front face image generation method generates a front face pose from the 3D shape model (530).

본 발명의 일측에 따르면, 정면 얼굴 영상 생성 방법은 복수 개의 특징점 각각에 대한 2차원 좌표값에 기반하여, 3차원 형상 모델에 대한 얼굴 포즈 파라미터(Pose Parameter)를 연산할 수 있다. 또한, 정면 얼굴 영상 생성 방법은 연산된 얼굴 포즈 파라미터의 값을 제어하여, 정면 얼굴 포즈를 생성할 수 있다. 예를 들어, 정면 얼굴 영상 생성 방법은 연산된 얼굴 포즈 파라미터의 얼굴 각도 값을 0 도로 제어함으로써, 정면 얼굴 포즈를 생성할 수 있다.
According to an aspect of the present invention, the front face image generation method may calculate a face pose parameter for a 3D shape model based on 2D coordinate values of each of a plurality of feature points. In addition, the front face image generation method may generate a front face pose by controlling a value of the calculated face pose parameter. For example, the front face image generation method may generate the front face pose by controlling the face angle value of the calculated face pose parameter to 0 degrees.

본 발명의 일실시예에 따른 정면 얼굴 영상 생성 방법은 정면 얼굴 포즈에 텍스처(Texture)를 합성하여 정면 얼굴 영상을 생성한다(540).The method for generating a front face image according to an embodiment of the present invention generates a front face image by synthesizing a texture with a front face pose (540).

본 발명의 일측에 따르면, 정면 얼굴 영상 생성 방법은 정면 얼굴 포즈에 얼굴 영상의 텍스처(Texture)를 와핑(Warping)하여 제1 정면 얼굴 영상을 생성할 수 있다.According to one aspect of the present invention, the front face image generation method may generate a first front face image by warping the texture of the face image in the front face pose.

일실시예에 따른 정면 얼굴 영상 생성 방법은 카메라로부터 수신된 사용자의 좌측 얼굴에 대하여 촬영한 좌측면 영상의 텍스쳐에 기반하여 중간 정면 얼굴 영상을 생성할 수 있다. 이 때, 좌측면 영상의 경우, 사용자 얼굴의 우측면에 대한 텍스처가 부족한 상태이기 때문에, 생성된 중간 정면 얼굴 영상은 실제의 정면 얼굴 영상과의 오차율이 클 수 밖에 없다. 따라서, 일실시예에 따른 정면 얼굴 영상 생성 방법은 사용자 얼굴의 좌측면에 대한 텍스처를 중간 정면 얼굴 영상의 우측면에 와핑할 수 있다. 사용자 얼굴의 좌측면에 대한 텍스처를 중간 정면 얼굴 영상의 우측면에 와핑함으로써, 정면 얼굴 영상 생성 방법은 제1 정면 얼굴 영상을 생성할 수 있다.
The method for generating a front face image according to an embodiment may generate an intermediate front face image based on a texture of a left side image photographed with respect to a left face of a user received from a camera. In this case, since the texture on the right side of the user's face is insufficient in the left side image, the generated middle front face image has a large error rate with the actual front face image. Accordingly, the method of generating a front face image according to an embodiment may warp the texture of the left side of the user face to the right side of the middle front face image. By warping the texture for the left side of the user's face to the right side of the intermediate front face image, the front face image generation method may generate a first front face image.

정면 얼굴 영상 생성 방법은 MLR(Multivariate Linear Regression) 방법을 이용하여 얼굴 영상에 대한 외형 파라미터(Appearance Parameter)로부터 정면 얼굴 영상에 대한 외형 파라미터를 연산할 수 있다.
The front face image generation method may calculate an appearance parameter of the front face image from an appearance parameter of the face image by using a multivariate linear regression (MLR) method.

정면 얼굴 영상 생성 방법은 연산된 정면 얼굴 영상에 대한 외형 파라미터에 기반하여, 얼굴 영상으로부터 제2 정면 얼굴 영상을 합성할 수 있다.
The method for generating a front face image may synthesize a second front face image from the face image based on an appearance parameter of the calculated front face image.

정면 얼굴 영상 생성 방법은 제1 정면 얼굴 영상 및 제2 정면 얼굴 영상을 합성하여 정면 얼굴 영상을 생성할 수 있다.
The front face image generation method may generate a front face image by synthesizing the first front face image and the second front face image.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

100: 정면 얼굴 영상 생성 장치
110: 특징점 추출부
120: 형상 모델 생성부
130: 포즈 생성부
140: 영상 생성부100: front face image generating device
110: feature point extraction unit
120: shape model generator
130: the pose generator
140: the image generating unit

Claims (1)

얼굴 영상으로부터 복수 개의 특징점을 추출하는 특징점 추출부;
상기 복수 개의 특징점에 기반하여, 3차원 형상 모델(3D Shape Model)을 생성하는 형상 모델 생성부;
상기 3차원 형상 모델로부터 정면 얼굴 포즈를 생성하는 포즈 생성부; 및
상기 정면 얼굴 포즈에 텍스처(Texture)를 합성하여 정면 얼굴 영상을 생성하는 영상 생성부
를 포함하는 정면 얼굴 영상 생성 장치.A feature point extracting unit extracting a plurality of feature points from the face image;
A shape model generation unit generating a 3D shape model based on the plurality of feature points;
A pose generator configured to generate a face pose from the three-dimensional shape model; And
An image generator for generating a front face image by synthesizing a texture with the front face pose.
Front face image generating device comprising a.
KR1020100126120A 2010-01-26 2010-12-10 Apparatus and method for generating a front face image KR20110088361A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100007031 2010-01-26
KR1020100007031 2010-01-26

Publications (1)

Publication Number Publication Date
KR20110088361A true KR20110088361A (en) 2011-08-03

Family

ID=44926978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100126120A KR20110088361A (en) 2010-01-26 2010-12-10 Apparatus and method for generating a front face image

Country Status (1)

Country Link
KR (1) KR20110088361A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249159B1 (en) * 2011-08-01 2013-04-01 한밭대학교 산학협력단 Tree dimension composition apparatus for realizing camera oriented effect of object in three dimensionsimagination space and tree dimention composition method using thereof
KR20150053730A (en) * 2012-02-27 2015-05-18 에테하 쭈리히 Method and system for image processing in video conferencing for gaze correction
US9111171B2 (en) 2012-07-13 2015-08-18 Samsung Electronics Co., Ltd Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
KR20160053612A (en) * 2014-11-05 2016-05-13 삼성전자주식회사 Device and method to generate image using image learning model
WO2017131672A1 (en) * 2016-01-27 2017-08-03 Hewlett Packard Enterprise Development Lp Generating pose frontalized images of objects
US9799140B2 (en) 2014-11-25 2017-10-24 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3D face model
KR20180087812A (en) 2017-05-15 2018-08-02 대한민국(관리부서: 행정안전부 국립과학수사연구원장) A Method Identifying A Personnel By Comparing Face Area
US11210503B2 (en) 2013-11-04 2021-12-28 Facebook, Inc. Systems and methods for facial representation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249159B1 (en) * 2011-08-01 2013-04-01 한밭대학교 산학협력단 Tree dimension composition apparatus for realizing camera oriented effect of object in three dimensionsimagination space and tree dimention composition method using thereof
KR20150053730A (en) * 2012-02-27 2015-05-18 에테하 쭈리히 Method and system for image processing in video conferencing for gaze correction
US9111171B2 (en) 2012-07-13 2015-08-18 Samsung Electronics Co., Ltd Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
US9613286B2 (en) 2012-07-13 2017-04-04 Samsung Electronics Co., Ltd Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
US11210503B2 (en) 2013-11-04 2021-12-28 Facebook, Inc. Systems and methods for facial representation
KR20160053612A (en) * 2014-11-05 2016-05-13 삼성전자주식회사 Device and method to generate image using image learning model
US9799140B2 (en) 2014-11-25 2017-10-24 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3D face model
US9928647B2 (en) 2014-11-25 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3D face model
WO2017131672A1 (en) * 2016-01-27 2017-08-03 Hewlett Packard Enterprise Development Lp Generating pose frontalized images of objects
KR20180087812A (en) 2017-05-15 2018-08-02 대한민국(관리부서: 행정안전부 국립과학수사연구원장) A Method Identifying A Personnel By Comparing Face Area

Similar Documents

Publication Publication Date Title
KR20110088361A (en) Apparatus and method for generating a front face image
JP6934887B2 (en) Methods and systems for real-time 3D capture and live feedback with monocular cameras
JP6742405B2 (en) Head-mounted display with facial expression detection function
KR101792501B1 (en) Method and apparatus for feature-based stereo matching
KR102097016B1 (en) Apparatus and methdo for analayzing motion
WO2019219012A1 (en) Three-dimensional reconstruction method and device uniting rigid motion and non-rigid deformation
JP4950787B2 (en) Image processing apparatus and method
US8831280B2 (en) 3D motion recognition method and apparatus
KR101547780B1 (en) Method and arrangement for image model construction
WO2017033853A1 (en) Image processing device and image processing method
JP5183277B2 (en) Stereoscopic image display device
WO2014083721A1 (en) Information processing device and information processing method
WO2014064870A1 (en) Image processing device and image processing method
Ward et al. Depth director: A system for adding depth to movies
JP5795250B2 (en) Subject posture estimation device and video drawing device
KR102110459B1 (en) Method and apparatus for generating three dimension image
JP2009075880A (en) Apparatus and program for deforming virtual face model
KR20140074201A (en) Tracking device
CN109407824B (en) Method and device for synchronous motion of human body model
JP2014016792A (en) Image processor and method, and program
KR101220098B1 (en) Transform system and method to convert 2D images to 3D stereoscopic images for low power devices
JP5759439B2 (en) Video communication system and video communication method
JP5092093B2 (en) Image processing device
JP5833525B2 (en) Video communication system and video communication method
KR101231661B1 (en) method for producting 3D stereo image using color segment extration and depth map

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment