KR101759188B1 - the automatic 3D modeliing method using 2D facial image - Google Patents

the automatic 3D modeliing method using 2D facial image Download PDF

Info

Publication number
KR101759188B1
KR101759188B1 KR1020150081147A KR20150081147A KR101759188B1 KR 101759188 B1 KR101759188 B1 KR 101759188B1 KR 1020150081147 A KR1020150081147 A KR 1020150081147A KR 20150081147 A KR20150081147 A KR 20150081147A KR 101759188 B1 KR101759188 B1 KR 101759188B1
Authority
KR
South Korea
Prior art keywords
image
face
model
vertex
vertices
Prior art date
Application number
KR1020150081147A
Other languages
Korean (ko)
Other versions
KR20160144699A (en
Inventor
오인환
이희만
최태준
박선희
Original Assignee
오인환
박선희
최태준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오인환, 박선희, 최태준 filed Critical 오인환
Priority to KR1020150081147A priority Critical patent/KR101759188B1/en
Publication of KR20160144699A publication Critical patent/KR20160144699A/en
Application granted granted Critical
Publication of KR101759188B1 publication Critical patent/KR101759188B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2D 이미지로부터 3D 모델을 생성하는 방법에 관한 것으로, 더욱 구체적으로는 일반인들도 쉽게 3D모델을 생성할 수 있는 기술로 한 장의 2차원 정면 얼굴 사진으로부터 3D 모델링 자동 생성하는 방법에 관한 것이다.
본 발명은 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법에 있어서,
컬러 영상을 그레이 이미지로 변환하는 단계(102), 상기 단계로부터 변환된 그레이 이미지로부터 얼굴을 검출하는 단계(103), 상기 검출한 얼굴에서 눈코입을 검출하는 단계(104), 그레이 이미지에 대하여 저역통과 필터를 실행하는 단계(105), 그레이 이미지에서 에지를 검출하는 단계(106), 상기 단계에서 검출한 에지 정보로부터 전경과 배경을 분리하는 단계(110), 분리된 전경이미지에 전경 버텍스를 분배하는 단계(111), 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107), 후방 부분 면을 생성하는 단계(108), 상기 단계(107 단계)에서 계산한 전방 버텍스를 상기 단계(103,104,105 단계)에서 추출한 정보를 이용하여 전방 부분 버텍스를 재설정하는 단계(109)와, 상기 단계(109 단계)에서 계산한 버텍스 정보를 이용하여 전방 부분 면을 생성하는 단계(113)와 상기 모든 단계를 통하여 생성된 정보를 이용하여 최종 3D 모델을 만드는 단계(112)를 포함하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.
또한 본 발명은 상기 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107)는,
가상의 수평라인 각각에서 영상의 중심 좌표(centerX, centerY)를 산출하고 이미지 공간상의 좌표(x,y)에 대응되는 3차원 모델의 버텍스 좌표 V(Vx , Vy, Vz)를 연산하는 것으로 수행하는 것을 특징으로 하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.
또한 본 발명은 상기 전방 부분 버텍스를 재설정하는 단계(109)는,
Vz = Vz + βI(x,y)/Gmax 의 수식으로 연산하여 재설정하는 것을 특징으로 하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.The present invention relates to a method for generating a 3D model from a 2D image, and more particularly, to a method for automatically generating a 3D model from a single two-dimensional frontal face photograph using a technique capable of easily generating a 3D model .
A method for automatically generating a 3D model from a 2D face image, the method comprising:
(102) converting a color image to a gray image, detecting (103) a face from the gray image transformed from the step, detecting (104) eye concealing from the detected face, A method comprising: executing a filter (105), detecting an edge in a gray image (106), separating foreground and background from edge information detected in the step (110), distributing a foreground vertex Step 111: Computing the front and rear three-dimensional vertices 107 from the distributed vertices, creating a rear partial surface 108, and calculating the forward vertex calculated in the step 107 in the step A step 109 of re-setting the forward partial vertex using the information extracted in steps 103, 104 and 105, and a step 109 of generating a forward partial surface using the vertex information calculated in the step 109 And a step (112) of creating a final 3D model using the information generated through the steps (113) and all the steps.
In addition, the present invention may also include calculating (107) the forward and backward three-dimensional vertices from the distributed vertices,
Calculating the center coordinates (centerX, centerY) of the image in a horizontal line, each of the virtual and image-space coordinates (x, y) for calculating vertex coordinates V (V x, V y, V z) of the three-dimensional model corresponding to the on And the 3D model is automatically generated from the 2D face image.
Further, the present invention is characterized in that the step 109 of resetting the forward partial vertex comprises:
V z = V z + ΒI and that (x, y) / G Formula reset operation to the max from the 2D face image according to claim it provides a method for automatically generating a 3D model.

Description

2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법{the automatic 3D modeliing method using 2D facial image}A method for automatically generating a 3D model from a 2D facial image is disclosed.

본 발명은 2D 이미지로부터 3D 모델을 생성하는 방법에 관한 것으로, 더욱 구체적으로는 일반인들도 쉽게 3D모델을 생성할 수 있는 기술로 한 장의 2차원 정면 얼굴 사진으로부터 3D 모델링 자동 생성하는 방법에 관한 것이다.The present invention relates to a method for generating a 3D model from a 2D image, and more particularly, to a method for automatically generating a 3D model from a single two-dimensional frontal face photograph using a technique capable of easily generating a 3D model .

얼굴에 대한 3D 모델은 컴퓨터 게임이나 애니메이션 제작 등 다양한 분야에서 수요가 있으며 최근 3D 프린터의 보급에 따라 더욱 많은 수요가 필요하게 되었다.3D models of faces are in demand in various fields such as computer games and animation production, and more demand has been demanded with the recent spread of 3D printers.

얼굴에 대한 3D 모델은 숙련된 전문가와 전문 소프트웨어 툴을 이용하여 작성하거나 스캐너를 이용하여 제작하였다.The 3D models for the face were created using skilled professionals and specialized software tools or created using a scanner.

최근 일반인도 쉽게 3D 모델을 생성할 수 있는 연구가 활발히 진행되고 있다.Recently, researches for generating 3D models easily are being actively conducted by the general public.

일반인의 얼굴을 3차원으로 모델링하는 방법에는 여러 가지가 있다.There are many ways to model the face of the general public in three dimensions.

그 중 하나는 직접 특정인의 얼굴을 3차원으로 스캔하여 스캔된 데이터로 3차원 얼굴을 모델링하는 방법이 있고, 다른 하나는 특정인의 얼굴을 여러 각도에서 촬영하고 촬영된 결과를 이용하여 미리 만들어진 3차원 형상의 일반 얼굴모델을 변형하여 특정인의 3차원 얼굴을 모델링하는 방법이 있다.One of them is a method of directly modeling a three-dimensional face with scanned data by scanning the face of a specific person in three dimensions, and the other is a method of photographing a face of a specific person at various angles, There is a method of modeling a three-dimensional face of a specific person by modifying a general face model of a shape.

전자의 경우, 3차원 스캐너와 같은 전문 장비를 사용하여 특정인의 얼굴의 굴곡과 실제 피부색깔에 관한 정보를 직접 얻을 수 있기 때문에 특정인의 얼굴에 대해 상당히 정확한 3차원 얼굴 모델링을 할 수 있다. 그러나 이런 방법은 값비싼In the former case, it is possible to obtain fairly accurate 3-D face modeling for a specific person's face by using specialized equipment such as a 3-D scanner to obtain information about the bending of a specific person's face and the actual skin color. But this is expensive

장비를 사용하여야 하고, 3차원 얼굴 모델링의 당사자도 3차원 스캐너가 있는 특정한 장소까지 가서 스캔을 받아야 3차원 얼굴 모델링을 할 수 있으므로 불편한 점이 없지 않았다.Equipment and 3D face modeling should be scanned by going to a specific place where a 3D scanner is located so that 3D face modeling can be performed without inconvenience.

상기한 문제점을 해결하기 위하여 등록특허 10-0372811호(2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법, 이하 선행기술)는 "특정인 얼굴의 2차원 정면사진 이미지를 입력받는 단계와, 입력받은 2차원 이미지에 제어점을 설정해주는 단계와, 이를 이용하여 미리 만들어져 있는 3차원 기본 모델을 2차원 이미지에 일치하도록 변형시키는 단계와, 3차원 변형모델에 상기 2차원 이미지의 텍스쳐(texture)를 매핑하는 단계를 포함하는 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법"을 제공한 바 있다.In order to solve the above-described problems, a method for generating a three-dimensional face model using a two-dimensional face front image, hereinafter referred to as " A step of setting a control point on a two-dimensional image, a step of transforming a three-dimensional basic model made in advance to coincide with a two-dimensional image using the control point, a step of mapping a texture of the two- A method of generating a three-dimensional face model using a two-dimensional face front image including steps ".

상기한 선행기술을 포함한 사진 또는 다른 이미지로부터 3차원 모델을 생성할 수 있는 자동 3차원 모델링 및 시스템에 관한 특허는 최근 들어 출원 건수가 증기되고 있다.[0002] Recently, the number of patent applications related to the automatic three-dimensional modeling and system capable of generating a three-dimensional model from photographs or other images containing the above-described prior art has been increased.

상기한 기존의 3차원 얼굴을 생성하는 기술은 얼굴에 대응하는 모든 3D포인트(point)로 구성된 포인트 클라우드(point)와 포인트 클라우드에 대응하는 텍스쳐 정보를 이용하여 3차원 얼굴을 생성하고 있다.The conventional technique for generating a three-dimensional face generates a three-dimensional face using a point cloud composed of all 3D points corresponding to a face and texture information corresponding to the point cloud.

즉, 3차원 얼굴을 생성하기 위하여 필요한 3D 포인트의 개수가 많으므로 3차원 얼굴을 생성하는 과정에서 시간이 지연되고 있는바, 즉, 3차원 얼굴을 생성하기 위하여 필요한 3D 포인트 개수가 많으므로 얼굴을 생성하는 과정에서 시간이 지연되고 있는데, 본 발명은 이러한 시간의 지연을 현저히 줄이는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공하고자 한다.That is, since the number of 3D points required to generate a three-dimensional face is large, the time is delayed in the process of generating a three-dimensional face, that is, the number of 3D points required to generate a three- The present invention provides a method of automatically generating a 3D model from a 2D face image that significantly reduces the time delay.

또한 종래의 기술은 하나의 영상은 한 면의 얼굴만을 포함할 수 있으므로, 3차원 얼굴을 생성하기 위해서는 다양한 시점에서 촬영한 복수의 영상이 필요한 문제점이 있었는바, 본 발명은 3차원 얼굴을 빠르게 생성할 수 있으며, 하나의 영상으로 다양한 시점에 대응하는 3차원 얼굴을 생성하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공하고자 한다.In addition, since the conventional technology can include only one face of a single image, there is a problem that a plurality of images taken at various viewpoints are required to generate a three-dimensional face. And a method for automatically generating a 3D model from a 2D face image that generates a 3D face corresponding to various viewpoints with a single image.

본 발명은 상기한 문제점 및 요구를 해결하기 위하여,In order to solve the above problems and needs,

2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법에 있어서,A method for automatically generating a 3D model from a 2D face image,

컬러 영상을 그레이 이미지로 변환하는 단계(102), 상기 단계로부터 변환된 그레이 이미지로부터 얼굴을 검출하는 단계(103), 상기 검출한 얼굴에서 눈코입을 검출하는 단계(104), 그레이 이미지에 대하여 저역통과 필터를 실행하는 단계(105), 그레이 이미지에서 에지를 검출하는 단계(106), 상기 단계에서 검출한 에지 정보로부터 전경과 배경을 분리하는 단계(110), 분리된 전경이미지에 전경 버텍스를 분배하는 단계(111), 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107), 후방 부분 면을 생성하는 단계(108), 상기 단계(107 단계)에서 계산한 전방 버텍스를 상기 단계(103,104,105 단계)에서 추출한 정보를 이용하여 전방 부분 버텍스를 재설정하는 단계(109)와, 상기 단계(109 단계)에서 계산한 버텍스 정보를 이용하여 전방 부분 면을 생성하는 단계(113)와 상기 모든 단계를 통하여 생성된 정보를 이용하여 최종 3D 모델을 만드는 단계(112)를 포함하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.(102) converting a color image to a gray image, detecting (103) a face from the gray image transformed from the step, detecting (104) eye concealing from the detected face, A method comprising: executing a filter (105), detecting an edge in a gray image (106), separating foreground and background from edge information detected in the step (110), distributing a foreground vertex Step 111: Computing the front and back three-dimensional vertices from the distributed vertices 107, creating a rear partial surface 108, and calculating the forward vertex calculated in the step 107 in the step A step 109 of re-setting the forward partial vertex using the information extracted in steps 103, 104 and 105, and a step 109 of generating a forward partial surface using the vertex information calculated in the step 109 And a step (112) of creating a final 3D model using the information generated through the steps (113) and all the steps.

또한 본 발명은 상기 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107)는,The present invention also includes a step 107 of calculating front and back three-dimensional vertices from the distributed vertices,

가상의 수평라인 각각에서 영상의 중심 좌표(centerX, centerY)를 산출하고 이미지 공간상의 좌표(x,y)에 대응되는 3차원 모델의 버텍스 좌표 V(Vx , Vy, Vz)를 연산하는 것으로 수행하는 것을 특징으로 하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.Calculating the center coordinates (centerX, centerY) of the image in a horizontal line, each of the virtual and image-space coordinates (x, y) for calculating vertex coordinates V (V x, V y, V z) of the three-dimensional model corresponding to the on The 3D model is automatically generated from the 2D face image.

또한 본 발명은 상기 전방 부분 버텍스를 재설정하는 단계(109)는,Further, the present invention is characterized in that the step 109 of resetting the forward partial vertex comprises:

Vz = Vz + βI(x,y)/Gmax 의 수식으로 연산하여 재설정하는 것을 특징으로 하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.V z = V z + ΒI and that (x, y) / G Formula reset operation to the max from the 2D face image according to claim it provides a method for automatically generating a 3D model.

본 발명에 따른 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법은 비전문가인 어린이 및 일반인들도 쉽게 3D 모델링을 할 수 있도록 하는 효과가 창출된다. The method of automatically generating a 3D model from a 2D facial image according to the present invention creates an effect that a 3D modeling can be easily performed by a non-expert child and a general public.

[도 1]은 본 발명의 실시 예에 따른 블럭 다이어그램.
[도 2a]는 본 발명의 실시 예에 따른 컬러로 입력된 영상을 그레이 이미지로 변환한 영상 처리 결과.
[도 2b]는 본 발명의 실시 예에 따른 에지 검출 영상처리 결과 .
[도 2c]는 본 발명의 실시 예에 따른 전경이미지에서 얼굴을 검출하고 눈, 코, 입을 검출한 영상처리 결과.
[도 2d]는 전방 부분의 버텍스를 재설정하는 단계에서 눈썹과 코부분은 수식 (13)부터 수식 (16)을 이용하여 보완 수정한 것을 보여주는 영상 처리 결과.
[도 3a]는 눈썹 및 코 영역을 처리하지 않은 경우의 결과.
[도 3b]는 눈썹과 코부분을 좀 더 자연스럽게 처리한 결과.
[도 4]는 Haar-like feature를 보여 주는 도면.
[도 5]는 영상에서의 얼굴의 크기는 카메라와 피사체의 거리 및 줌에 따라 크기가 달라짐으로 영상에서 검출한 두 눈의 중심 사이 거리 IPD(interpupillary distance)를 얼굴 파라미터로 활용하는 것을 보여주는 도면.
[도 6]은 전경으로 분리된 이미지 위에 일정한 간격으로 버텍스를 배열하고 버텍스를 이용하여 면을 생성하는 원리를 설명하는 도면.1 is a block diagram according to an embodiment of the present invention.
FIG. 2A is a result of image processing in which a color-input image is converted into a gray image according to an embodiment of the present invention. FIG.
FIG. 2B illustrates a result of edge detection image processing according to an exemplary embodiment of the present invention.
FIG. 2C shows a result of image processing in which a face is detected in a foreground image according to an embodiment of the present invention, and eye, nose, and mouth are detected.
FIG. 2D shows a result of the image processing showing that the eyebrows and the nose portion are corrected and corrected using the equations (13) to (16) in the step of resetting the vertex of the front part.
[Figure 3a] is a result when the eyebrows and the nose area are not processed.
[Fig. 3B] is a result of treating eyebrows and nose portions more naturally.
FIG. 4 is a diagram showing a Haar-like feature. FIG.
5 is a view showing the use of an interpupillary distance (IPD) between the centers of two eyes detected in an image as the size of a face in an image is varied according to the distance and zoom between the camera and the subject.
6 is a diagram illustrating a principle of arranging vertices at regular intervals on an image separated by foreground and generating faces using vertices;

이하 본 발명을 도면을 참고하여 상세히 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS FIG.

본 발명은 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법에 있어서,A method for automatically generating a 3D model from a 2D face image, the method comprising:

컬러 영상을 그레이 이미지로 변환하는 단계(102), 상기 단계로부터 변환된 그레이 이미지로부터 얼굴을 검출하는 단계(103), 상기 검출한 얼굴에서 눈코입을 검출하는 단계(104), 그레이 이미지에 대하여 저역통과 필터를 실행하는 단계(105), 그레이 이미지에서 에지를 검출하는 단계(106), 상기 단계에서 검출한 에지 정보로부터 전경과 배경을 분리하는 단계(110), 분리된 전경이미지에 전경 버텍스를 분배하는 단계(111), 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107), 후방 부분 면을 생성하는 단계(108), 상기 단계(107 단계)에서 계산한 전방 버텍스를 상기 단계(103,104,105 단계)에서 추출한 정보를 이용하여 전방 부분 버텍스를 재설정하는 단계(109)와, 상기 단계(109 단계)에서 계산한 버텍스 정보를 이용하여 전방 부분 면을 생성하는 단계(113)와 상기 모든 단계를 통하여 생성된 정보를 이용하여 최종 3D 모델을 만드는 단계(112)를 포함하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.(102) converting a color image to a gray image, detecting (103) a face from the gray image transformed from the step, detecting (104) eye concealing from the detected face, A method comprising: executing a filter (105), detecting an edge in a gray image (106), separating foreground and background from edge information detected in the step (110), distributing a foreground vertex Step 111: Computing the front and back three-dimensional vertices from the distributed vertices 107, creating a rear partial surface 108, and calculating the forward vertex calculated in the step 107 in the step A step 109 of re-setting the forward partial vertex using the information extracted in steps 103, 104 and 105, and a step 109 of generating a forward partial surface using the vertex information calculated in the step 109 And a step (112) of creating a final 3D model using the information generated through the steps (113) and all the steps.

본 발명의 실시 예에 따른 블럭 다이어그램은 [도 1]과 같다. A block diagram according to an embodiment of the present invention is shown in FIG.

본 발명은 입력된 영상으로부터 3D 모델의 변환은 [도 2a]와 같이 컬러로 입력된 영상을 그레이 이미지로 변환하는 것부터 시작한다. In the present invention, the conversion of a 3D model from an input image starts with converting a color-input image into a gray image as shown in FIG. 2A.

본 발명의 상기한 입력된 영상은 2D로 입력된 영상이며, 얼굴의 이미지로 입력되어 있다.The input image of the present invention is an image input in 2D and is input as an image of a face.

본 발명은 상기한 칼라 영상을 그레이 이미지로 변환하는 단계(102)를 수행한다.The present invention performs step 102 of transforming the color image into a gray image.

상기의 변경된 그레이(gray) 이미지는 저역 필터로 처리하거나 눈코입을 검출하거나 또는 에지 검출 용도로 활용하게 된다.The modified gray image may be processed by a low-pass filter, or may be used for edge detection or edge detection.

본 발명은 상기 단계로부터 변환된 그레이 이미지로부터 얼굴을 검출하는 단계(103)를 수행하게 된다.The present invention performs a step (103) of detecting a face from the converted gray image.

본 발명의 상기한 얼굴을 검출하는 방법으로는 Haar-like feature를 이용하여 AdaBoost 학습 알고리즘 사용하는 얼굴패턴 인식 알고리즘을 사용한다.As a method of detecting the face of the present invention, a face pattern recognition algorithm using an AdaBoost learning algorithm using a Haar-like feature is used.

[도 4]는 Haar-like feature를 보여 주는 도면이다.[Figure 4] is a diagram showing a Haar-like feature.

Haar-like feature는 탐색영역 윈도우 안의 이웃하는 직사각형의 영역을 설정하여 영역 안의 이미지 휘도의 합을 구하여 값의 차이를 구하는 방식이다. The Haar-like feature sets the area of the neighboring rectangle in the search area window to obtain the sum of image brightness in the area and obtain the difference of the values.

이 차이는 이미지 영역을 구분하는 데 사용되는데 예를 들어 사람의 눈의 영역이 통상적으로 볼의 영역보다 더 어두운 패턴을 가지고 있으므로 이런 특징을 이용하여 얼굴을 검출한다. This difference is used to distinguish the image area. For example, the human eye area has a darker pattern than the normal area of the ball, so the face is detected using this feature.

Boosting 알고리즘은 약-학습기의 결합으로 강-학습기를 만들어 내는 교사학습 머신러닝 기법이다. 검출한 얼굴 영역 안에서 눈과 코의 위치를 같은 기법으로 이용하여 찾아낸다. 검색된 얼굴 영역 내에서만 검출을 시도함으로 연산 속도가 비교적 빠르다.The Boosting algorithm is a teacher-learning machine learning method that creates a strong-learning machine by combining a weak-learner. In the detected face region, the positions of eyes and nose are found using the same technique. Since the detection is attempted only within the detected face area, the calculation speed is relatively fast.

본 발명은 상기 단계에서 검출한 얼굴에서 눈, 코, 입을 검출하는 단계(104)를 수행하게 된다.The present invention performs step 104 of detecting eyes, nose, and mouth from the face detected in the above step.

상기에서 눈, 코, 입을 검출하는 단계는 아래와 같이 수행할 수 있다.The steps of detecting the eyes, nose, and mouth in the above can be performed as follows.

[도 5]에서 보는 것처럼 영상에서의 얼굴의 크기는 카메라와 피사체의 거리 및 줌에 따라 영상에서 검출한 두 눈의 중심 사이 거리 IPD(interpupillary distance)를 얼굴 파라미터로 활용된다. As shown in FIG. 5, the size of the face in the image is used as a face parameter, IPD (interpupillary distance) between the center of the two eyes detected in the image according to the distance and zoom between the camera and the subject.

이 길이를 기준으로 눈썹의 위치를 찾아낸다. The position of the eyebrow is determined based on this length.

눈썹의 위치는 눈 위 부분에 관심영역(ROI)를 설정하고 주변보다 어두운 영역을 검출한다. The position of the eyebrow sets the region of interest (ROI) in the upper part of the eye and detects darker areas than the surrounding area.

눈썹 ROI 영역에 히스토그램을 계산하고 히스토그램으로부터 이진화 임계값을 산출하여 눈썹 영역을 세그멘테이션한다. The eyebrow area is segmented by calculating the histogram in the eyebrow ROI area and calculating the binarization threshold from the histogram.

검출한 얼굴 영역 안에서 눈과 코와 입의 위치를 같은 기법으로 계산하게 된다.The eye, nose and mouth positions are calculated by the same technique in the detected face region.

본 발명은 상기한 그레이 이미지에 대하여 저역통과 필터를 실행하는 단계(105)를 수행하게 된다.The present invention performs step 105 of performing a low pass filter on the gray image.

상기한 원본의 그레이 영상은 많은 노이즈를 가지고 있으므로 저역통과 필터를 사용한 그레이 이미지를 사용한다. 저역통과 필터는 가우시안 필터를 사용한다. Since the original gray image has a lot of noise, a gray image using a low-pass filter is used. The low-pass filter uses a Gaussian filter.

따라서 본 발명은 상기한 저역통과 필터 단계를 수행하여 노이즈가 많이 제거된 그레이 이미지가 추출된다.Therefore, the present invention performs the above-described low-pass filter step to extract a gray image from which a large amount of noise is removed.

본 발명은 상기한 그레이 이미지로부터 얼굴을 검출하는 단계(103)를 거친 후 그레이 이미지에서 에지를 검출하는 단계(106)를 수행하게 된다.The present invention performs a step (106) of detecting an edge in a gray image after a step (103) of detecting a face from the gray image.

[도 2b]에서 보는 것처럼 본 발명의 에지를 검출하는 단계는 상기한 그레이 이미지에서 윤곽이 분명한 명암의 라인을 통하여 에지를 검출하게 된다.As shown in FIG. 2B, the step of detecting an edge of the present invention detects an edge through a line of bright and dark outline in the gray image.

본 발명은 상기한 에지를 검출하는 단계(106)를 수행한 후 상기 단계에서 검출한 에지 정보로부터 전경과 배경을 분리하는 단계(110)를 수행하게 된다.The present invention performs step (106) of detecting the edges described above and then separating the foreground and background from the edge information detected in the step (110).

본 발명에서 3차원 모델을 생성하기 위해서 모델 공간의 버텍스의 위치를 설정한다. In the present invention, the position of a vertex of a model space is set in order to generate a three-dimensional model.

[도 6]은 전경으로 분리된 이미지 위에 일정한 간격으로 버텍스를 배열하고 버텍스를 이용하여 면을 생성하는 원리를 설명하는 것을 보여준다. FIG. 6 illustrates the principle of arranging vertices at regular intervals on an image separated by foreground and generating faces using vertices.

상기 버텍스의 위치는 이미지 좌표의 x축과 y축을 모델공간의 x축과 y축으로 사용하고 z축은 x축과 y축의 상대적 위치에 따라 계산을 한다. The position of the vertex is calculated by using the x and y axes of the image coordinates as the x and y axes of the model space, and the z axes according to the relative positions of the x and y axes.

본 발명은 상기한 바처럼 필요한 얼굴 부분만을 검출하기 위하여 영상의 세그멘테이션 작업이 필요하고 또한 버텍스의 위치를 설정하는 작업이 필요하다. As described above, in order to detect only a required face part, the present invention needs a segmentation operation of an image and also needs to set a position of a vertex.

본 발명의 상기 에지 검출에서 전경과 배경을 분리하는 과정은 얼굴 이미지에 가상의 수평라인을 가정하면 즉, 한쪽 가장자리에서 시작한 라인이 다른 가장자리까지 이어지는 라인에서 에지가 처음 검출된 위치와 마지막에 검출된 위치 사이를 전경 부분으로 간주하여 수행할 수 있다. The process of separating the foreground and the background in the edge detection of the present invention is performed by assuming a virtual horizontal line in the face image, that is, in a line where a line starting from one edge extends to another edge, It can be performed by considering the position as the foreground part.

본 발명에서는 증명사진과 같이 이미지의 배경부분이 단순한 이미지를 사용하다는 가정으로 [도 2b]와 같이 에지 검출을 하여 전경과 배경을 분리하였다. In the present invention, edge detection is performed as shown in FIG. 2B on the assumption that the background portion of the image uses a simple image as in the ID photograph, thereby separating the foreground and the background.

본 발명은 상기한 전경과 배경을 분리하는 단계(110)를 수행한 후 상기 세그멘테이션을 한 전경이미지 영역에 일정한 개수의 버텍스를 분배하는 단계(111)를 수행한다. The present invention performs a step 110 of separating the foreground and background from each other and distributing a predetermined number of vertices to the segmented foreground image area.

상기 이미지 영역 버텍스 분배하는 단계는 전경 이미지 영역에 일정한 간격으로 가상의 수평 라인을 설정하고 할당된 수평 라인마다 일정한 개수의 버텍스 포인트를 설정하는 과정으로 수행한다. 상기 버텍스 포인트의 개수에 의해 3D 모델의 해상도가 결정된다. The step of distributing the image region vertex is performed by setting a virtual horizontal line at regular intervals in the foreground image region and setting a predetermined number of vertex points for each assigned horizontal line. The resolution of the 3D model is determined by the number of the vertex points.

본 발명은 상기한 버택스를 분배하는 단계(111) 후에 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107)를 수행한다.The present invention performs step (107) of calculating front and back three-dimensional vertices from the distributed vertices after step (111) of distributing the above-mentioned vertices.

상기한 각각의 수평 라인 3차원 버텍스 위치 계산은 다음과 같이 연산하여 계산한다.The calculation of each of the horizontal line three-dimensional vertex positions is calculated as follows.

먼저 가상의 수평라인 각각에서 영상의 중심 좌표(centerX, centerY)를 산출한다. 이미지 공간상의 좌표(x,y)에 대응되는 3차원 모델의 버텍스 좌표 V(Vx , Vy, Vz)는 다음과 같이 산출한다. First, the center coordinates (centerX, centerY) of the image are calculated in each imaginary horizontal line. The vertex coordinates V (V x , V y , V z ) of the three-dimensional model corresponding to the coordinates (x, y) on the image space are calculated as follows.

Vx=Sx(xy-centerX) (식1)V x = S x (x y -center X)

Vy=Sy(centerY -y) (식2)V y = S y (center Y - y) (Equation 2)

Vz=Szr(y)cosθx (식3)V z = S z r (y) cos? X (Equation 3)

θx = α'θ2 t (식4)θ x = α'θ 2 t (Equation 4)

θt = π(centerX -x)/2r(y) (식5)? t =? (centerX-x) / 2r (y)

상기 수식에서 θx 는 [-π, π] 영역으로 상하제한을 한다. In the above equation, θ x is limited to the [-π, π] region.

또한 Sx, Sy, Sz는 스케링 인수이고 r(y)는 이미지 평면 전경 수평축 이미지의 길이 1/2이다. Also, S x , S y , and S z are the scaling factors and r (y) is the length of the horizontal axis image in the foreground of the image plane.

모델의 전방 부분의 버텍스 좌표는 V(Vx , Vy, Vz)이며 후방 부분의 버텍스 좌표는 V(Vx , Vy, -Vz)로 설정한다. The vertex coordinates of the front part of the model are V (V x , V y , V z ) and the vertex coordinates of the rear part are V (V x , V y , -V z ).

더불어, 이미지 평면에 부여한 버텍스 이외에 추가로 최상단과 최하단에 기준이 되는 버텍스 2개 Vn =(Vnx , Vny, Vnz) 와 Vs =(Vsx , Vsy, Vsz)를 각각 다음과 같이 산출한다. In addition to the vertices given to the image plane, two vertices, V n = (V nx , V ny , V nz ) and V s = (V sx , V sy , V sz ) are calculated as follows.

Figure 112015055379504-pat00001
Figure 112015055379504-pat00001

상기한 ymax 는 y좌표의 최대점을 나타내고, ymin 는 y좌표의 최소점을 의미한다.Y max represents the maximum point of the y coordinate, and y min represents the minimum point of the y coordinate.

본 발명은 전방과 후방의 3차원 버텍스를 계산하는 단계(107)를 수행한 후 버텍스좌표 계산을 완료하면 앞과 뒤 방향의 면을 생성하는 단계를 수행할 수 있다.The present invention can perform the step 107 of calculating the front and back three-dimensional vertices and then generating the front and back faces when the vertex coordinate calculation is completed.

본 발명은 먼저 뒤 방향(후방)의 면을 생성하는 단계(108)를 수행한다. The present invention first performs step 108 of creating a backward (backward) surface.

상기한 앞과 뒤 방향의 면의 생성은 이웃한 버텍스를 이용하여 일정한 규칙으로 생성한다. 앞 면과 됫 면의 노멀벡터는 서로 반대 방향이 된다. The generation of the front and back faces is generated by a predetermined rule using neighboring vertices. The normal vectors of the front face and the face face are opposite to each other.

지금까지의 단계를 완성하면 앞 방향과 뒤 방향이 대칭인 구조의 모델이 생성된다. When the above steps are completed, a model having a structure in which the front direction and the back direction are symmetric is created.

본 발명은 상기한 뒤 방향의 면을 생성하는 단계(108)를 수행한 후 다음 단계는 앞 방향과 뒷 방향이 서로 다르게 하도록 버텍스를 재설정하는 단계(109)를 수행한다.The present invention performs step 108 of creating a backward plane as described above, and then the next step is to reset 109 the vertices such that the forward and backward directions are different.

즉, 생성된 모델의 눈코입 및 형상을 완성하기 위하여 전방 부분의 버텍스를 재설정하는 단계를 수행하는 것이다. That is, it performs a step of resetting the vertex of the front part in order to complete the eye conception and shape of the generated model.

본 발명의 버텍스 재설정의 기본 원리는 전경 이미지를 하이트맵(hight map)으로 사용하는 것이다. 전방 부분의 버텍스의 Vz 성분을 다음과 같이 재설정한다. The basic principle of the vertex reset of the present invention is to use the foreground image as a hight map. V z of the front part vertex The components are reset as follows.

Vz = Vz + βI(x,y)/Gmax (식 12)V z = V z + ΒI (x, y) / G max (Expression 12)

상기 수식에서 β는 스켈링 인자이며 I(x,y)는 이미지 평면상의 계조 값이고, Gmax 는 계조값의 최대 값이다. In the above equation,? Is a scaling factor, I (x, y) is a grayscale value on an image plane, and Gmax is a maximum value of a grayscale value.

상기한 β는 스켈링 인자와 이미지 평면상의 계조 값 I(x,y) 및 Gmax 는 계조값의 최대 값으로서 기설정된 값으로 입력이 될 수 있다.Β is the above-mentioned may be input to a predetermined value as the maximum value of gray level value, the scaling factor and the gray level value I (x, y) and G max on the image plane.

즉 이미지의 계조 값에 따라 버텍스의 상하 위치를 수정하여 전면과 후면을 다르게 설정하는 것이다. That is, the vertical position of the vertex is modified according to the tone value of the image, and the front and back surfaces are set differently.

상기한 원본의 그레이 영상은 많은 노이즈를 가지고 있으므로 저역통과 필터를 사용한 그레이 이미지를 사용한다. Since the original gray image has a lot of noise, a gray image using a low-pass filter is used.

본 발명은 앞서 설명한 바처럼 상기한 그레이 이미지에 대하여 저역통과 필터를 실행하는 단계(105)를 통하여 수득한 저역통과 필터를 사용한 그레이 이미지를 사용하게 된다.The present invention uses a gray image using the low pass filter obtained through the step 105 of executing a low pass filter on the gray image as described above.

앞서 설명한 바처럼 저역통과 필터는 가우시안 필터를 사용하는 것이 좋다.As mentioned above, it is better to use a Gaussian filter for the low-pass filter.

본 발명에서 상기한 전방 버텍스 재설정 단계에서 완성한 모델은 이미지의 계조 값을 하이트맵으로 활용하였기 때문에 많은 문제점이 있다. In the present invention, the model completed in the forward vertex resetting step has many problems because it uses the gray scale value of the image as a height map.

특히 눈썹 영역이 함몰되어 있고 코 부분의 모양이 실제와 많은 차이를 보인다.Especially the eyebrow area is depressed and the shape of the nose part is much different from the actual part.

따라서 전경이미지에서 얼굴을 검출하고 눈, 코, 입을 검출하여 이를 기준으로 부분적 수정을 한다.Therefore, the face is detected from the foreground image, and the eye, nose, and mouth are detected and the partial correction is performed based on the detected face.

[도 2c]와 같이 본 발명에서는 전경이미지에서 얼굴을 검출하고 눈, 코, 입을 검출하는 방법은 앞서 설명한 바와 같다.As shown in FIG. 2C, the method of detecting a face in the foreground image and detecting the eyes, nose, and mouth is as described above.

즉, 앞에서 설명한 바처럼 본 발명의 상기한 얼굴을 검출하는 방법으로는 Haar-like feature를 이용하여 AdaBoost 학습 알고리즘 사용하는 얼굴패턴 인식 알고리즘을 사용한다.That is, as described above, the facial pattern recognition algorithm using the AdaBoost learning algorithm using Haar-like feature is used as the face detection method of the present invention.

Haar-like feature는 탐색영역 윈도우 안의 이웃하는 직사각형의 영역을 설정하여 영역 안의 이미지 휘도의 합을 구하여 값의 차이를 구하는 방식이다. The Haar-like feature sets the area of the neighboring rectangle in the search area window to obtain the sum of image brightness in the area and obtain the difference of the values.

이 차이는 이미지 영역을 구분하는 데 사용되는데 예를 들어 사람의 눈의 영역이 통상적으로 볼의 영역보다 더 어두운 패턴을 가지고 있으므로 이런 특징을 이용하여 얼굴을 검출한다. This difference is used to distinguish the image area. For example, the human eye area has a darker pattern than the normal area of the ball, so the face is detected using this feature.

Boosting 알고리즘은 약-학습기의 결합으로 강-학습기를 만들어 내는 교사학습 머신러닝 기법이다. 검출한 얼굴 영역 안에서 눈과 코의 위치를 같은 기법으로 이용하여 찾아낸다. 검색된 얼굴 영역 내에서만 검출을 시도함으로 연산 속도가 비교적 빠르다.The Boosting algorithm is a teacher-learning machine learning method that creates a strong-learning machine by combining a weak-learner. In the detected face region, the positions of eyes and nose are found using the same technique. Since the detection is attempted only within the detected face area, the calculation speed is relatively fast.

상기에서 검출한 두 눈의 중심사이 거리 IPD(interpupillary distance)를 얼굴 파라미터로 활용된다. The interpupillary distance (IPD) between the centers of the two eyes detected above is used as a face parameter.

이 길이를 기준으로 눈썹의 위치를 찾아낸다. The position of the eyebrow is determined based on this length.

눈썹의 위치는 눈 위 부분에 관심영역(ROI)를 설정하고 주변보다 어두운 영역을 검출한다. The position of the eyebrow sets the region of interest (ROI) in the upper part of the eye and detects darker areas than the surrounding area.

눈썹 ROI 영역에 히스토그램을 계산하고 히스토그램으로부터 이진화 임계값을 산출하여 눈썹 영역을 세그멘테이션한다. The eyebrow area is segmented by calculating the histogram in the eyebrow ROI area and calculating the binarization threshold from the histogram.

눈썹 영역은 계조값이 낮음으로 3D모델에서 함몰되었는데 이 부분을 다음과 같이 수정한다. The eyebrow area is depressed in the 3D model because the gray level value is low.

Vz = Vz + γre(x)cos(θ) (식 13)V z = V z +? r e (x) cos (?) (Expression 13)

θy = π(centerY-y)/2r(x) (식 14)? y =? (centerY-y) / 2r (x)

re(x)는 눈썹영역에서의 x 위치에서의 y 축 방향의 눈썹 세그먼트 영역 길이의 1/2를 의미하며 γ는 스켈링 계수이다.r e (x) denotes the length of the eyebrow segment region in the y-axis direction at the x-position in the eyebrow region, and y is the scaling coefficient.

centerY는 눈썹 세그먼트 영역의 y축 중심 위치를 의미한다. 함몰된 눈썹을 자연스럽게 복원하기 위하여 버텍스를 수정한 것이다. centerY means the center position of the eyebone segment region on the y axis. The vertex was modified to restore the undulating eyebrows naturally.

코의 영역도 계조 값으로만 버텍스를 계산하면 자연스럽지 못하여 수정 위치를 검출한 후 임의적인 재설정 과정을 수행한다. 왼쪽과 오른쪽 눈 사이의 중심을 계산하고 코의 위치를 알아내어 두 지점 사이를 수정위치로 선정한다. If the vertex of the nose area is calculated only by the tone value, it is not natural, and the correction position is detected and an arbitrary reset process is performed. Calculate the center between the left and right eyes, find the position of the nose, and select the correct position between the two points.

Vz = Vz + γSn(x)n(x)cos(θn) (식 15)V z = V z +? S n (x) n (x) cos (? n ) (Expression 15)

θn = π(centerX-x)/2n(x) (식 16) ? n =? (centerX-x) / 2n (x)

상기한 n(x)는 x에서의 사전 설정한 코의 저변 길이이며 Sn(x)는 스켈링 계수이고 centerX는 코의 중심 값이다. n(x)와 Sn(x)는 인종과 성별 연령에 따라 통계적인 최적의 값을 사용하여야 한다.Where n (x) is the base length of the nose at x, S n (x) is the scaling factor and centerX is the center value of the nose. n (x) and S n (x) should be statistically optimal values according to race and gender age.

[도 2]는 본 발명의 실시 예에 따른 결과를 보인 것이다. FIG. 2 shows the results according to the embodiment of the present invention.

즉, [도 2a]는 인물의 정면 사진을 흑백(그레이) 영상으로 변환하고, That is, [Figure 2a] converts a front photograph of a person into a monochrome (gray) image,

[도 2b]는 흑백(그레이) 영상으로부터 에지 영상을 추출하며, FIG. 2B shows an edge image extracted from a monochrome (gray) image,

[도 2c]는 (c)와 같이 눈, 눈썹, 코, IPD 중심을 영상처리를 통하여 찾아내며, FIG. 2C shows an image processing of eye, eyebrow, nose, and IPD centers as shown in (c)

[도 2d]는 눈썹과 코부분은 수식 (13)부터 수식 (16)을 이용하여 보완 수정한 것을 보여주는 도면이다. [Fig. 2 (d)] is a diagram showing that the eyebrows and the nose portions are corrected and corrected by using the equations (13) to (16).

[도 3a]는 눈썹 및 코 영역을 처리하지 않은 경우로 눈썹 및 코 부위가 함몰되어 매우 어색한 모델이 생성되었음을 알 수 있다. FIG. 3A shows that eyebrows and nose portions are depressed when eyebrows and nose regions are not processed, and a very awkward model is created.

[도 3b]는 눈썹과 코부분을 좀 더 자연스럽게 처리한 결과를 보여 준다. [Figure 3b] shows a result of treating eyebrows and nose portions more naturally.

[도 3b]의 (a) V236, (b) V5018, (c) V46958, (d)v226094 는 버텍스 수를 나타내며, 3D모델의 생성 결과를 보여 준다.(A) V236, (b) V5018, (c) V46958, and (d) v226094 in FIG. 3B represent the number of vertices and show the result of generating the 3D model.

따라서 버텍스 수가 많을 수록 더욱 정교한 3D모델의 생성 결과를 보여 준다.Therefore, the larger the number of vertices, the more sophisticated 3D model creation results are shown.

본 발명은 상기한 버텍스를 재설정하는 단계(109)를 수행한 후, 버텍스를 재설정하는 단계(109)에서 계산된 버텍스 정보를 이용하여 전방 부분 면을 생성하는 단계(113)를 수행한다.The present invention performs step 109 of resetting the vertices described above and then generating 113 the front partial surface using the vertex information calculated in step 109 of resetting the vertex.

본 발명은 상기한 모든 단계를 통하여 생성된 정보를 이용하여 최종 3D 모델을 만드는 단계(112)를 수행하게 된다.The present invention performs a step 112 of creating a final 3D model using the information generated through all the steps described above.

본 발명은 상기한 구조와 기능으로 이루어진 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법을 제공한다.The present invention provides a method for automatically generating a 3D model from a 2D face image composed of the above-described structure and function.

본 발명은 3차원으로 모델링하는 소프트웨어 또는 하드웨어를 생산, 제조, 유통하는 산업에 매우 유용한 발명이다.INDUSTRIAL APPLICABILITY The present invention is an extremely useful invention for an industry that produces, manufactures, and distributes software or hardware for modeling in three dimensions.

특히 본 발명은 일반인 특히 어린 학생들을 위한 3차원으로 모델링 산업 및 향 후 3D 프린터가 가정 집에도 널리 보급화됨에 따라 이러한 보편적 모델링 산업에 특히 유용한 발명이다.In particular, the present invention is a particularly useful invention for such a universal modeling industry as the modeling industry and 3D printer for the general public, especially for younger students, are becoming widespread in the home.

Claims (3)

2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법에 있어서,
컬러 영상을 그레이 이미지로 변환하는 단계(102),
상기 단계로부터 변환된 그레이 이미지로부터 얼굴을 검출하는 단계(103)를 수행하되,
상기 얼굴을 검출하는 단계를 수행하는 방법으로는 Haar-like feature를 이용하여 AdaBoost 학습 알고리즘 사용하는 얼굴패턴 인식 알고리즘을 사용하고,
상기 검출한 얼굴에서 눈코입을 검출하는 단계(104),
그레이 이미지에 대하여 저역통과 필터를 실행하는 단계(105),
그레이 이미지에서 에지를 검출하는 단계(106),
상기 단계에서 검출한 에지 정보로부터 전경과 배경을 분리하는 단계(110),
분리된 전경이미지에 전경 버텍스를 분배하는 단계(111),
분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107),
후방 부분 면을 생성하는 단계(108),
상기 단계(107 단계)에서 계산한 전방 버텍스를 상기 단계(103,104,105 단계)에서 추출한 정보를 이용하여 전방 부분 버텍스를 재설정하는 단계(109)와,
상기 단계(109 단계)에서 계산한 버텍스 정보를 이용하여 전방 부분 면을 생성하는 단계(113)와 상기 모든 단계를 통하여 생성된 정보를 이용하여 최종 3D 모델을 만드는 단계(112)를 포함하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법.
A method for automatically generating a 3D model from a 2D face image,
Converting the color image into a gray image (102)
Performing a step (103) of detecting a face from the converted gray image from the step,
As a method of performing the face detection, a face pattern recognition algorithm using an AdaBoost learning algorithm using a Haar-like feature is used,
Detecting (104) eye coincidence on the detected face,
Performing (105) a low pass filter on the gray image,
Detecting (106) an edge in the gray image,
(110) separating foreground and background from the edge information detected in the step,
Distributing a foreground vertex to a separate foreground image (111),
Computing (107) front and back three-dimensional vertices from the distributed vertices,
Creating (108) a rear partial surface,
A step (109) of resetting the front partial vertex using the information extracted in the steps (103, 104, and 105) from the front vertex calculated in the step (107)
A step 113 of generating a front partial face using the vertex information calculated in the step 109 and a step 112 of creating a final 3D model using the information generated through all the steps A method for automatically generating a 3D model from an image.
제1항에 있어서,
상기 분배한 버텍스로부터 전방과 후방의 3차원 버텍스를 계산하는 단계(107)는,
가상의 수평라인 각각에서 영상의 중심 좌표(centerX, centerY)를 산출하고 이미지 공간상의 좌표(x,y)에 대응되는 3차원 모델의 버텍스 좌표 V(Vx , Vy, Vz)를 연산하는 것으로 수행하는 것을 특징으로 하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법.
The method according to claim 1,
Calculating (107) the forward and backward three-dimensional vertices from the distributed vertices,
Calculating the center coordinates (centerX, centerY) of the image in a horizontal line, each of the virtual and image-space coordinates (x, y) for calculating vertex coordinates V (V x, V y, V z) of the three-dimensional model corresponding to the on The method of claim 1, wherein the 3D model is generated from a 2D face image.
제1항 내지 제2항에 있어서,
상기 전방 부분 버텍스를 재설정하는 단계(109)는,
Vz = Vz + βI(x,y)/Gmax 의 수식으로 연산하여 재설정하는 것을 특징으로 하는 2D 얼굴 이미지로부터 3D 모델을 자동 생성하는 방법.

3. The method according to any one of claims 1 to 2,
The step 109 of resetting the forward partial vertex comprises:
V z = V z + ΒI method for automatically generating a 3D model from the 2D face image characterized in that the (x, y) / G Formula reset operation to the max.

KR1020150081147A 2015-06-09 2015-06-09 the automatic 3D modeliing method using 2D facial image KR101759188B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150081147A KR101759188B1 (en) 2015-06-09 2015-06-09 the automatic 3D modeliing method using 2D facial image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150081147A KR101759188B1 (en) 2015-06-09 2015-06-09 the automatic 3D modeliing method using 2D facial image

Publications (2)

Publication Number Publication Date
KR20160144699A KR20160144699A (en) 2016-12-19
KR101759188B1 true KR101759188B1 (en) 2017-07-31

Family

ID=57735397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150081147A KR101759188B1 (en) 2015-06-09 2015-06-09 the automatic 3D modeliing method using 2D facial image

Country Status (1)

Country Link
KR (1) KR101759188B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122513A1 (en) * 2018-12-10 2020-06-18 삼성전자주식회사 Method for processing two-dimensional image and device for executing method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995411B1 (en) * 2017-12-14 2019-07-02 주식회사 아이미마인 Device and method for making body model
KR102160295B1 (en) * 2018-12-31 2020-09-28 경북대학교 산학협력단 Apparatus and method for generating 3d model
CN109847360B (en) * 2019-03-14 2023-03-21 网易（杭州）网络有限公司 3D effect processing method and device of game props, electronic equipment and medium
CN110675413B (en) * 2019-09-27 2020-11-13 腾讯科技（深圳）有限公司 Three-dimensional face model construction method and device, computer equipment and storage medium
KR102358854B1 (en) * 2020-05-29 2022-02-04 연세대학교 산학협력단 Apparatus and method for color synthesis of face images
KR102402170B1 (en) 2021-10-22 2022-05-26 주식회사 제이어스 Apparatus and method for generating metaverse using image analysis
KR102516894B1 (en) * 2021-11-01 2023-03-30 김영민 Method of manufacturing personal reliefs for commemoration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
최태준, 김응수, 이희만, 2D 이미지를 이용한 3D 모델 변환 알고리즘, 한국콘텐츠학회 종합학술대회 논문집, 2015.05., 347-348P

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122513A1 (en) * 2018-12-10 2020-06-18 삼성전자주식회사 Method for processing two-dimensional image and device for executing method
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method

Also Published As

Publication number Publication date
KR20160144699A (en) 2016-12-19

Similar Documents

Publication Publication Date Title
KR101759188B1 (en) the automatic 3D modeliing method using 2D facial image
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
JP4653606B2 (en) Image recognition apparatus, method and program
CN111710036B (en) Method, device, equipment and storage medium for constructing three-dimensional face model
JP4950787B2 (en) Image processing apparatus and method
US7221809B2 (en) Face recognition system and method
JP5873442B2 (en) Object detection apparatus and object detection method
WO2022095721A1 (en) Parameter estimation model training method and apparatus, and device and storage medium
WO2009091029A1 (en) Face posture estimating device, face posture estimating method, and face posture estimating program
CN111243093A (en) Three-dimensional face grid generation method, device, equipment and storage medium
KR101829733B1 (en) Conversion Method For A 2D Image to 3D Graphic Models
CN110096925A (en) Enhancement Method, acquisition methods and the device of Facial Expression Image
JP2008535116A (en) Method and apparatus for three-dimensional rendering
KR20170092533A (en) A face pose rectification method and apparatus
CN113628327A (en) Head three-dimensional reconstruction method and equipment
Anbarjafari et al. 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media
Widanagamaachchi et al. 3D face reconstruction from 2D images
KR100815209B1 (en) The Apparatus and Method for Abstracting Peculiarity of Two-Dimensional Image ? The Apparatus and Method for Creating Three-Dimensional Image Using Them
JP5419773B2 (en) Face image synthesizer
JP5419777B2 (en) Face image synthesizer
KR101001184B1 (en) Iterative 3D head pose estimation method using a face normal vector
CN108694348B (en) Tracking registration method and device based on natural features
JP2003216978A (en) Device and method for generating triangle patch for expressing face feature, and computer-readable recording medium with program for generation- processing triangle patch for expressing face feature recorded thereon
JP2018200175A (en) Information processing apparatus, information processing method and program
Weon et al. Individualized 3D Face Model Reconstruction using Two Orthogonal Face Images

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration