KR20000063919A - 3D facial modeling system and modeling method - Google Patents
3D facial modeling system and modeling method Download PDFInfo
- Publication number
- KR20000063919A KR20000063919A KR1020000046448A KR20000046448A KR20000063919A KR 20000063919 A KR20000063919 A KR 20000063919A KR 1020000046448 A KR1020000046448 A KR 1020000046448A KR 20000046448 A KR20000046448 A KR 20000046448A KR 20000063919 A KR20000063919 A KR 20000063919A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- standard model
- texture
- model
- color
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
본 발명은 한 장의 얼굴 정면 이미지를 이용하여 얼굴 전체를 입체 형상으로 제작하는 3차원 얼굴 모델링에 관한 것으로, 상세하게는 사용자가 디스플레이되는 화면상에서 얼굴의 정면, 측면, 후면을 수정하여 정확한 3차원의 입체 영상으로 재생할 수 있는 3차원 얼굴 모델링에 관한 것이다.The present invention relates to a three-dimensional face modeling to produce a whole face in a three-dimensional shape using a single face front image, in detail, by correcting the front, side, back of the face on the screen displayed by the user The present invention relates to three-dimensional face modeling that can be reproduced as a stereoscopic image.
인체를 3차원으로 모델링하기 위해서 가장 중요한 부분은 얼굴이다. 얼굴은 사람의 정체성을 나타내는데 가장 큰 비중을 차지할 뿐만 아니라 작은 면적 안에 많은 중요한 구성요소들을 포함하고 있다. 이러한 구성요소들의 작은 변화는 전체 얼굴을 달라 보이게 하는 주요한 원인이 된다.The most important part of modeling the human body in three dimensions is the face. The face is not only the most important part of a person's identity, but also contains many important components in a small area. Small changes in these components are the main reason for making the whole face look different.
또한 3차원의 얼굴에 3차원의 신체와 같은 부가요소를 더하고 애니메이션 효과를 주면 가상현실세계(VR)에서 실제 자신의 정체성을 갖는 아바타(avatar)의 등장을 가능하게 한다. 다시 말해서, 진정한 자신의 아바타로서 가상현실 사회를 이루기 위해서는 자신의 3차원 얼굴 모델링이 먼저 구현되어야 하는 것이다.In addition, adding an additional element such as a three-dimensional body to the three-dimensional face and animating effects enables the appearance of avatars having their own identity in the virtual reality (VR). In other words, in order to realize a virtual reality society as a true avatar, one's three-dimensional face modeling must be implemented first.
일반적으로 3차원으로 얼굴을 모델링하는 방법으로는 3차원 스캐닝 장비를 이용하여 얼굴을 3차원으로 모델링하는 방법과 스테레오 비전(stereo vision) 등을 이용하여 다른 각도에서 찍은 사진에서 공통된 영역에 대응하는 2차원 정보를 조합하여 3차원으로 모델링하는 방법을 사용하였다.In general, a method of modeling a face in three dimensions includes three-dimensional modeling of a face using a three-dimensional scanning device and two corresponding to a common area in a photograph taken from different angles using stereo vision. We used a method of modeling in three dimensions by combining dimensional information.
스캐닝 장비를 이용하여 얼굴을 3차원으로 모델링하는 방법은 기하학적 모델뿐만 아니라 얼굴색 등의 텍스쳐 정보까지 완벽하게 복원할 수 있으나, 고가의 장비를 사용하기 때문에 일반인에게 상용화가 어려운 단점이 있었다.The method of modeling a face in three dimensions using a scanning device can completely restore not only geometric models but also texture information such as face colors, but it has a disadvantage of being difficult to commercialize due to the use of expensive equipment.
또한 스테레오 비전 등의 2차원 정보를 3차원으로 복원하는 방법은 제공되는 사진의 공통된 부분이 존재하도록 다양한 각도에서 찍은 사진을 제공해야 하는 단점이 있다.In addition, a method of restoring two-dimensional information such as stereo vision in three dimensions has a disadvantage in that a photograph taken from various angles is provided so that a common part of the provided photograph exists.
따라서, 위와 같은 단점을 제거한 것으로, 본 발명의 목적은 정면에서 찍은 하나의 얼굴 사진만으로 사진의 얼굴을 3차원으로 모델링하는 시스템을 제공하는 것이다.Therefore, by removing the above disadvantages, an object of the present invention is to provide a system for modeling the face of the picture in three dimensions only with one face picture taken from the front.
본 발명의 다른 목적은 정면에서 찍은 하나의 얼굴 사진만으로 사진의 얼굴을 3차원으로 모델링하는 방법을 제공하는 것이다.Another object of the present invention is to provide a method of modeling the face of a picture in three dimensions with only one face picture taken from the front.
도 1은 본 발명에 따른 3차원 얼굴 모델링 시스템의 대략적인 블록도이다.1 is a schematic block diagram of a three-dimensional face modeling system according to the present invention.
도 2는 본 발명에 따른 3차원 얼굴로 모델링 하기 위한 순서도이다.2 is a flow chart for modeling with a three-dimensional face in accordance with the present invention.
도 3은 본 발명에 따라 제공된 가상 3차원의 표준 모델을 화면에 도시한 일실시예이다.Figure 3 is an embodiment showing a virtual three-dimensional standard model provided in accordance with the present invention on the screen.
도 4는 본 발명에 따라 제공된 대상 모델 정면 이미지가 표준 모델에 오버레이된 일실시예이다.4 is an embodiment in which a target model front image provided in accordance with the present invention is overlaid on a standard model.
도 5는 본 발명에 따라 표준 모델의 특징점을 조정하여 대상 모델 정면 이미지에 일치시키는 일실시예이다.5 is an embodiment of adjusting the feature points of the standard model to match the target model front image in accordance with the present invention.
도 6은 본 발명에 따라 얼굴 정면 텍스쳐의 얼굴색과 머리카락색을 재구성한 일실시예이다.Figure 6 is an embodiment of reconstructing the face color and hair color of the face front texture in accordance with the present invention.
도 7은 본 발명에 따라 얼굴 후면 텍스쳐를 편집하는 일실시예이다.7 is an embodiment for editing the face back texture according to the present invention.
<도면의 주요부분의 부호의 설명><Description of Symbols of Major Parts of Drawings>
1 : 대상 모델의 정면 이미지 2 : 머리둘레 조성선1: Front image of the target model 2: Head circumference
4 : 가로 조정선 6 : 세로 조성선4: horizontal adjustment line 6: vertical composition line
8 : 특징점 10 : 머리모양 조정점8 feature point 10 hair adjustment point
상기 목적을 달성하기 위한 본 발명의 3차원 얼굴 모델링 시스템의 운영 방법은, 폴리건 메쉬(polygon mesh) 형태로 표현되는 가상 3차원 얼굴을 표준 모델로서 제공하는 단계와, 대상 모델 정면 이미지를 표준 모델이 디스플레이되는 화면상에 오버레이 되도록 제공하는 단계와, 오버레이되는 표준 모델과 대상 모델 정면 이미지가 일치하도록 표준 모델을 변형하는 단계, 변형된 표준 모델을 기반으로 대상 모델 정면 이미지에서 정면과 측면의 경계선보다 조금 안쪽에서부터 대상 모델 정면 이미지의 얼굴색 및 머리카락색의 화소를 추출하여 얼굴 정면 텍스쳐를 생성하는 단계, 생성된 얼굴 정면 텍스쳐의 얼굴색 및 머리카락색과 동일한 얼굴색 및 머리카락색을 얼굴의 측면 및 후면 텍스쳐에 부여하고, 머리모양을 편집하는 단계 및, 얼굴의 정면, 측면 및 후면 텍스쳐를 변형된 표준 모델에 텍스쳐 맵핑하여 3차원의 얼굴 형상을 복원하는 단계를 포함한다.In order to achieve the above object, a method of operating a three-dimensional face modeling system of the present invention includes providing a virtual three-dimensional face expressed in the form of a polygon mesh as a standard model, and providing a target model front image as a standard model. Providing overlay on the displayed screen, modifying the standard model so that the overlayed standard model matches the target model front image, and based on the transformed standard model, slightly less than the front and side borders in the target model front image. Extracting the pixel of the face color and hair color of the target model front image from the inside to generate the face front texture, and assigning the face and hair color identical to the face and hair color of the generated face front texture to the side and back textures of the face. Steps to edit hair and face, front, side Texture mapping a texture on the back of the deformed standard model includes the step of reconstructing a three-dimensional face shape.
바람직하게, 표준 모델의 변형 단계는 표준 모델의 윤곽이 대상 모델 정면 이미지와 일치하도록 표준 모델의 머리둘레 조정선, 가로 및 세로 조정선을 조절하고, 버텍스 전체의 위치를 선형적으로 보정하는 글로벌 변형 단계와, 글로벌 변형된 표준 모델과 대상 모델 정면 이미지의 특정부위가 일치하도록 표준 모델의 특징점 및 비특징점을 변형하고, 특정부위를 세부적으로 수정하는 로컬 변형 단계를 포함한다.Preferably, the deforming step of the standard model adjusts the circumference adjustment line, the horizontal and vertical adjustment lines of the standard model so that the outline of the standard model matches the target model front image, and the global deformation which linearly corrects the position of the entire vertex. And modifying the feature and non-feature points of the standard model so that the specific parts of the global modified standard model and the target model front image coincide, and modifying the specific parts in detail.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.
도 1은 본 발명에 따른 3차원 얼굴 모델링 시스템의 대략적인 블록도이고, 도 2는 본 발명에 따른 3차원 얼굴로 모델링 하기 위한 순서도이고, 도 3은 본 발명에 따라 제공된 가상 3차원의 표준 모델을 화면에 도시한 일실시예이고, 도 4는 본 발명에 따라 제공된 대상 모델 정면 이미지가 표준 모델에 오버레이된 일실시예이고, 도 5는 본 발명에 따라 표준 모델의 특징점을 조정하여 대상 모델 정면 이미지에 일치시키는 일실시예이고, 도 6은 본 발명에 따라 얼굴 정면 텍스쳐를 생성한 일실시예이며, 도 7은 본 발명에 따라 얼굴 후면 텍스쳐를 편집하는 일실시예이다.1 is a schematic block diagram of a three-dimensional face modeling system according to the present invention, FIG. 2 is a flowchart for modeling a three-dimensional face according to the present invention, and FIG. 3 is a standard model of a virtual three-dimensional model provided according to the present invention. 4 is an embodiment in which the target model front image provided according to the present invention is overlaid on the standard model, and FIG. 5 is a front view of the target model by adjusting the feature points of the standard model according to the present invention. 6 is an embodiment in which a face front texture is generated according to the present invention, and FIG. 7 is an embodiment in which a face back texture is edited according to the present invention.
본 실시예를 나타낸 도 3 내지 도 7은 화면상에서 디스플레이되는 것으로 화면은 좌측 및 우측의 상·하단으로 나누어지는 4개의 작은 화면으로 이루어지고, 화면의 좌측 상단은 표준 모델을 정면에서 변형하며, 화면의 우측 상단은 표준 모델을 측면에서 변형하고, 화면의 좌측 하단은 얼굴의 측면 및 후면 텍스쳐에 대한 편집을 수행하고, 우측 하단은 3차원으로 복원된 3차원 얼굴 형상을 입체적으로 회전하여 비교할 수 있는 화면이 제공된다.3 to 7 of the present embodiment are displayed on the screen, the screen is composed of four small screens divided into upper and lower ends of the left and right, the upper left of the screen transforms the standard model from the front, The upper right side of the model transforms the standard model from the side, the lower left side of the screen edits the side and back textures of the face, and the lower right side can be compared by rotating the three-dimensional face shape reconstructed in three dimensions three-dimensionally. A screen is provided.
또한 본 발명에서 사용된 용어로서 폴리건 메쉬는 얼굴 전체에 대하여 500~1,000여 개의 점들로 이어진 삼각형들의 그물 형태로서 각 얼굴전체의 크기 및 형상을 표현한다.In addition, as used in the present invention, the polygon mesh expresses the size and shape of the entire face as a mesh of triangles formed by 500 to 1,000 dots with respect to the entire face.
본 발명의 3차원 얼굴 모델링 시스템은 3차원 가상 얼굴을 폴리건 메쉬 형태의 표준 모델로서 제공하는 가상 3차원 표준 모델 제공 모듈(102)과, 모델링 대상의 얼굴 정면 이미지를 제공하는 대상 모델 정면 이미지 제공 모듈(104)과, 표준 모델에 대상 모델 정면 이미지를 오버레이시킨 후, 표준 모델을 대상 모델에 일치하도록 변형하는 표준 모델 변형 모듈(106)과, 대상 모델 정면 이미지를 수정하여 얼굴 정면 텍스쳐를 생성하는 얼굴 정면 텍스쳐 생성 모듈(112)과, 얼굴 정면 텍스쳐의 얼굴색 및 머리카락색과 동일하게 얼굴의 측면 및 후면 텍스쳐를 제작하는 얼굴 측면 및 후면 텍스쳐 편집 모듈(114,116) 및, 제작된 얼굴의 정면, 측면 및 후면 텍스쳐를 변형된 표준 모델에 맵핑하는 텍스쳐 맵핑 모듈(118)을 포함한다.The three-dimensional face modeling system of the present invention includes a virtual three-dimensional standard model providing module 102 for providing a three-dimensional virtual face as a standard model in the form of a polygon mesh, and a target model front image providing module for providing a face front image of a modeling target. 104, a standard model transformation module 106 that overlays the target model front image on the standard model, and then transforms the standard model to match the target model, and a face that modifies the target model front image to generate a face front texture. Front texture generation module 112, face side and back texture editing modules 114 and 116 for producing the side and back textures of the face in the same way as the face color and hair color of the face front texture, and the front, side and back of the fabricated face. It includes a texture mapping module 118 that maps textures to a modified standard model.
바람직하게 가상 3차원 표준 모델 제공 모듈(102)에서는, 도 3에서 도시한 바와 같이, 일반적인 형태의 얼굴을 기초하여 3차원으로 제작된 가상의 표준 모델을 제공한다. 표준 모델은 얼굴 전체가 3각형의 폴리건 메쉬(10; polygon mesh)의 결합으로 기하학적인 입체적 영상으로서 제공된다. 또한 화면상으로 제공되는 표준 모델은 대상 모델의 정면 이미지(1)와 일치시키기 위해 얼굴 전체의 가로·세로의 비율을 맞추기 위한 머리둘레 조정선(2)과, 얼굴의 특정부위를 맞추기 위한 가로 조정선(4)과, 세로 조정선(6) 및, 특징점(8)들을 포함한다.Preferably, the virtual three-dimensional standard model providing module 102 provides a virtual standard model manufactured in three dimensions based on a face of a general shape, as shown in FIG. 3. The standard model is provided as a geometric three-dimensional image in which the whole face is a combination of a polygonal mesh (10). In addition, the standard model provided on the screen has a head circumference adjusting line (2) for adjusting the aspect ratio of the entire face to match the front image (1) of the target model, and horizontal adjustment for fitting a specific part of the face. A line 4, a vertical adjustment line 6, and feature points 8.
대상 모델 정면 이미지 제공 모듈(104)에서는 도 4에서, 도시한 바와 같이, 3차원으로 제작하기 위한 대상 모델의 얼굴 정면 사진을 스캐닝한 대상 모델의 정면 이미지(1)를 표준 모델이 디스플레이되는 화면상에 오버레이 되도록 제공한다. 따라서, 표준 모델의 각종 조정선(2,4,6,8)과 실제 대상 모델의 정면 이미지(1)의 전체적인 크기 및 주요부위의 위치 차이를 쉽게 알 수 있다.In the target model front image providing module 104, as shown in FIG. 4, the front image 1 of the target model scanned with the front face photograph of the target model for three-dimensional production is shown on the screen on which the standard model is displayed. To be overlaid on Therefore, it is easy to know the difference in the overall size and position of the main parts of the various adjustment lines 2, 4, 6, 8 of the standard model and the front image 1 of the actual target model.
표준 모델의 변형 모듈(106)은 크게 글로벌 변형 모듈(108) 및 로컬 변형 모듈(110)을 포함하며, 표준 모델과 대상 모델의 정면 이미지(1)가 일치되도록 표준 모델을 변형한다.The deformation module 106 of the standard model largely includes the global deformation module 108 and the local deformation module 110, and deforms the standard model so that the front image 1 of the standard model and the target model match.
이때, 글로벌 변형 모듈(108)에서는, 도 5에 도시한 바와 같이, 화면상에서 오버레이된 대상 모델의 정면 이미지(1)와 표준 모델을 비교하여 표준 모델이 정면 이미지(1)에 일치하도록 표준 모델의 머리둘레 조정선(2), 가로 조정선(4) 및 세로 조정선(6) 등을 조정한다.At this time, in the global deformation module 108, as shown in FIG. 5, the standard model is compared with the front image 1 of the target model overlaid on the screen, so that the standard model matches the front image 1. The head adjustment line 2, the horizontal adjustment line 4, the vertical adjustment line 6, etc. are adjusted.
또한 로컬 변형 모듈(110)에서는 글로벌 변형 모듈(108)에 의해 대상 모델의 정면 이미지(1)와 표준 모델의 외형을 전반적으로 일치시킨 후에, 표준 모델의 눈썹, 눈, 코, 입 및 귀 등 얼굴의 특정부위에 미리 특정되어 있는 특징점(8)들을 대상 모델의 정면 이미지(1)에 일치하도록 조정한다. 또한 이러한 특징점(8)들은 특징점(8)들의 변화에 연동되며, 얼굴 전체의 굴곡을 표현하는 비특징점의 변화를 수반한다.Also, in the local deformation module 110, the front deformation image of the target model and the appearance of the standard model are generally matched by the global deformation module 108, and then the face such as eyebrows, eyes, nose, mouth, and ears of the standard model. The feature points 8 previously specified at specific portions of are adjusted to match the front image 1 of the target model. These feature points 8 are also linked to the change of the feature points 8 and involve changes in non-feature points representing the curvature of the entire face.
얼굴 정면 텍스쳐 생성 모듈(112)에서는 표준 모델과 대상 모델의 정면 이미지(1)를 일치시킨 후에, 도 6에서 도시한 바와 같이, 글로벌 변형 모듈(108)에서의 조정된 머리둘레 조정선의 위치를 기반으로 대상 모델 정면 이미지의 정면과 측면의 경계선보다 조금 안쪽에서부터 대상 모델 정면 이미지의 얼굴색 및 머리카락색과 동일한 여러 개의 화소를 추출하고, 대상 모델 정면 이미지를 수정한 형태인 얼굴 정면 텍스쳐를 생성한다.In the face front texture generation module 112, after matching the front image 1 of the standard model and the target model, as shown in FIG. 6, based on the position of the adjusted head circumference adjustment line in the global deformation module 108. As a result, a plurality of pixels that are the same as the face color and the hair color of the target model front image are extracted from the inside of the front and side boundary lines of the target model front image, and the face front texture is modified.
또한 얼굴의 측면 및 후면 텍스쳐 편집 모듈(114,116)은, 생성된 얼굴 정면 텍스쳐를 이용하여 얼굴 측면 및 후면 텍스쳐를 생성하고 편집한다. 초기 생성시, 얼굴 측면 및 후면 텍스쳐의 크기는 얼굴 정면 텍스쳐의 크기와 동일하게 하며, 구성은 얼굴 정면 텍스쳐에서 눈 위치의 수정선을 기준으로 수정된 오른쪽 사각 영역이 얼굴 후면 텍스쳐의 왼쪽으로 들어가고, 왼쪽 사각 영역이 얼굴 후면 텍스쳐의 오른쪽으로 들어간다. 또한 가운데 부분은 양쪽을 선형적으로 보정하여 채운다. 얼굴의 측면 및 후면 텍스쳐 생성 후 이에 대한 편집은, 도 7에서 도시한 바와 같이, 머리모양 조정점(10)을 이용하여 수정한다.In addition, the side and back texture editing modules 114 and 116 of the face generate and edit face and back textures using the generated face front and back textures. At initial creation, the size of the face side and back textures are the same as the size of the face front texture, and the composition consists of a modified right rectangular area on the face front texture with respect to the correction line of the eye position to the left of the face back texture. The left rectangular area goes to the right of the face back texture. The middle part is also filled with linear correction on both sides. After the side and back textures of the face are generated and edited, the head adjustment points 10 are modified as shown in FIG. 7.
텍스쳐 맵핑 모듈(118)에서는 생성된 얼굴의 정면, 측면 및 후면 텍스쳐를 변형된 표준 모델에 텍스쳐 맵핑한다. 얼굴 정면 텍스쳐는 얼굴 정면으로 약 120°정도를 텍스쳐 맵핑하는데 텍스쳐 좌표는 형상의 정면에 해당하는 각 버텍스를 x,y평면에 투영하여 구한다. 측면 및 후면 텍스쳐의 경우 얼굴 정면 텍스쳐에 의해 맵핑되지 않은 영역에 대해 텍스쳐 맵핑을 하는데 얼굴 정면 텍스쳐와 달리 원통형 맵핑(cylindric mapping)에 의해 텍스쳐 좌표를 구한다. 원통형 맵핑은 기하학적 형상을 머리 위에서 봤을 때, 그 중심을 축으로 해서 측면에서 후면까지 측면 및 후면 텍스쳐를 원통형으로 세우고 이를 텍스쳐 맵핑하는 것이다.The texture mapping module 118 texture maps the front, side, and back textures of the generated face to the modified standard model. The face front texture texture maps about 120 ° to the front face, and the texture coordinates are obtained by projecting each vertex corresponding to the front of the shape onto the x and y planes. In the case of the side and back textures, texture mapping is performed on areas not mapped by the face front texture. Unlike the face front texture, texture coordinates are obtained by cylindrical mapping. Cylindrical mapping is when the geometry is viewed from above the head, and the side and back textures are cylindrically shaped and texture-mapped from side to back with their centers as axes.
이하, 도 2에 도시한 바와 같이, 본 발명에 따른 3차원 얼굴 모델링의 처리 과정에 따라 상세히 설명한다.Hereinafter, as shown in Figure 2, it will be described in detail according to the processing of the three-dimensional face modeling according to the present invention.
먼저 3차원 가상 표준 모델을 화면상에 디스플레이되도록 제공한다(단계 S202). 표준 모델은, 도 3에서 도시한 바와 같이, 정면 및 측면으로 각각 화면상에서 디스플레이되며, 제공되는 표준 모델은 얼굴 전체가 3각형의 폴리건 메쉬(10)로 표현되며, 얼굴전체의 기하학적 형상을 구현한다. 또한 표준 모델은 얼굴의 가로·세로의 비율을 맞추기 위한 머리둘레 조정선(2), 눈, 코, 입의 위치를 맞추기 위한 가로 조정선(4), 두 눈 및 코의 위치를 맞추기 위한 세로 조정선(6) 및 얼굴의 특정부위에 대해 그 위치를 개략적으로 나타내는 특징점(8)을 포함한다.First, a 3D virtual standard model is provided to be displayed on the screen (step S202). The standard model is displayed on the screen in front and side, respectively, as shown in FIG. 3, and the provided standard model is represented by the polygonal polygon mesh 10 of the entire face and implements the geometric shape of the entire face. . The standard model also has a head circumference line (2) to adjust the ratio of the face width and height, a horizontal line (4) to adjust the position of the eyes, nose and mouth, and a vertical adjustment to align the eyes and nose. It includes a line 6 and a feature point 8 which schematically shows its position with respect to a particular part of the face.
표준 모델이 제공된 후에 대상 모델의 얼굴 정면 사진을 스캐닝하여 저장된 칼라 및 흑백의 각종 정면 이미지(1)가 도 4와 같이 표준 모델이 디스플레이되는 화면상에 오버레이 되도록 제공한다(단계 S204). 따라서, 제공되는 정면 얼굴 사진은 폴리건 메쉬(10)로 구성된 표준 모델과 비교되도록 겹쳐진다.After the standard model is provided, the front face photograph of the target model is scanned to provide various color images of the color and black and white, which are stored on the screen on which the standard model is displayed as shown in FIG. 4 (step S204). Thus, the provided front face photographs are overlaid for comparison with a standard model consisting of polygon mesh 10.
대상 모델의 정면 이미지(1)와 표준 모델이 화면상에서 디스플레이되면, 사용자는 표준 모델을 글로벌 변형시킨다(단계 S206). 글로벌 변형은 정면 이미지(1)와 표준 모델을 비교하여 표준모델의 머리둘레 조정선(2), 가로 조정선(4), 세로 조정선(6)을 각각 대응되는 정면 이미지(1)에 일치되는 비율로 조정한다. 정면 이미지(1)에 대하여 머리둘레 조정선(2)은 얼굴의 가로, 세로 비율을 맞추고, 가로의 세 선 중, 위 가로 조정선은 눈 위치에, 중간의 가로 조정선은 코 끝에, 아래의 가로 조정선은 입 위치에 일치하게 조정하여 전체 버텍스(vertex)를 그룹화한다. 세로의 세 선은 두 눈 위치와 코 위치에 일치하도록 조정한다. 또한 변형된 조정선의 위치에 따라 변화량에 맞추어 표준 모델의 버텍스 전체의 위치를 선형적으로 보정한다.When the front image 1 of the target model and the standard model are displayed on the screen, the user globally transforms the standard model (step S206). The global deformation compares the front image (1) with the standard model and matches the head adjustment line (2), the horizontal adjustment line (4), and the vertical adjustment line (6) of the standard model to the corresponding front image (1), respectively. Adjust to proportions. For the front image (1), the head circumference adjustment line (2) adjusts the horizontal and vertical ratio of the face. Among the three horizontal lines, the upper horizontal adjustment line is at the eye position, the middle horizontal adjustment line is at the tip of the nose, and Horizontal adjustment lines group the entire vertices by adjusting them to the mouth position. Adjust the three vertical lines to match your binocular and nose positions. In addition, the position of the entire vertex of the standard model is linearly corrected according to the change amount according to the position of the modified control line.
글로벌 변형으로 표준 모델의 얼굴 전체 비율을 조정한 후에 로컬 변형으로 특정 부위를 세부적으로 수정한다(단계 S208). 로컬 변형은 표준 모델의 각 부위에 미리 특정되어 있는 특징점(8)들을 정면 이미지(1)에 일치시키는 것이다. 특징점(8)들은 얼굴 윤곽, 눈썹, 눈, 코, 입 및 귀 등 얼굴의 특정부위에 대해 그 크기와 위치를 개략적으로 나타낼 수 있는 것으로서 특징점(8)들의 변화에 따라 주위에 영향을 받는 비특징점들과 연동되도록 인덱스 된다. 이때, 특징점(8)들의 변형에서 정면의 특징점(8)들은 x,y,z좌표 중에서 x,y에 대한 것이고, 측면의 경우에는 z좌표에 대한 이동에 관련된다.After adjusting the overall ratio of the face of the standard model by the global deformation, the specific region is corrected in detail by the local deformation (step S208). The local transformation is to match the frontal image 1 with the feature points 8 previously specified for each part of the standard model. The feature points 8 may roughly indicate the size and position of a specific part of the face such as a face contour, eyebrows, eyes, nose, mouth, and ears, and are non-featured points influenced by the change of the feature points 8. Indexed to work with them. At this time, in the deformation of the feature points 8, the feature points 8 of the front face are for x, y among the x, y, z coordinates, and in the case of the side, are related to the movement for the z coordinate.
글로벌 변형과 로컬 변형에서, 사용자는 대칭모드(symmetry mode) 및 비대칭모드를 선택적으로 사용할 수 있다. 대칭모드는 사람의 얼굴이 좌·우 대칭인 점을 이용한 것으로 좌·우의 어느 하나의 조정선이나 특징점을 움직이면 대응되는 타측의 조정선이나 특징점(8)도 자동으로 대응되도록 움직인다. 이와는 별도로 비대칭모드를 사용하여 각각의 조정선(2,6)이나 특징점(8)을 조절할 수 있다.In global and local transformations, the user can optionally use symmetry mode and asymmetric mode. In the symmetric mode, the face of the human being is symmetrical. When one of the left and right adjustment lines or feature points is moved, the corresponding other control line or feature point 8 is automatically moved. Separately, the asymmetric mode can be used to adjust the respective adjustment lines 2 and 6 or the feature points 8.
이와 같은 글로벌 변형 및 로컬 변형에 의해 변형된 표준모델을 기반으로 대상 모델 얼굴 이미지를 수정한 형태인 얼굴 정면 텍스쳐를 생성한다. 도 6에서 도시한 바와 같이, 대상 모델의 정면 이미지(1)에서 글로벌 변형의 조정선의 위치를 이용하여 이미지 프로세싱 작업으로 정면과 측면의 경계선보다 조금 안쪽에서부터 얼굴색 및 머리카락색으로 외부 영역을 수정하여 얼굴 정면 텍스쳐를 생성한다.Based on the standard model transformed by the global deformation and the local deformation, a face front texture having a shape modified from the target model face image is generated. As shown in FIG. 6, in the front image (1) of the target model, the image is processed using the position of the adjustment line of the global deformation, and the outer region is corrected with the face color and the hair color from the inside slightly from the front and side boundary lines. Create the front texture.
얼굴 정면 텍스쳐를 생성한 후에 얼굴의 측면 및 후면 텍스쳐를 생성하고 편집한다(단계 S212). 먼저, 생성시의 초기 구성은 얼굴 정면 텍스쳐에서 눈 위치의 수정선을 기준으로 수정된 오른쪽 사각 영역의 화소가 측면 및 후면 텍스쳐의 왼쪽으로 들어가고, 왼쪽 사각 영역의 화소가 오른쪽으로 들어간다. 또한 가운데 부분은 양쪽을 선형적으로 보정하여 채운다. 그리고, 텍스쳐 맵핑시 정면 텍스쳐와 측면 및 후면 텍스쳐의 연결 부분에서 머리카락의 부자유스러운 영역은 사용자가 해당 부분의 측면 및 후면 텍스쳐를 확인하면서 편집한다.After generating the face front texture, the side and back textures of the face are generated and edited (step S212). First of all, the initial configuration at the time of generation is that the pixels of the right rectangular region modified on the basis of the correction line of the eye position in the face front texture enter the left side of the side and rear textures, and the pixels of the left rectangular region enter the right. The middle part is also filled with linear correction on both sides. In addition, in texture mapping, an inconvenient area of the hair in the connection portion between the front texture and the side and rear textures is edited while the user checks the side and rear textures of the corresponding portion.
또한 얼굴의 측면 및 후면 텍스쳐의 머리 모양은, 도 7과 같이, 머리모양 조정점(10)으로 수정한다. 머리모양 조정점(10)은 얼굴의 측면 및 후면의 머리모양을 결정한 후 조정점(10)들을 찍어 형태를 만들면 그 점들이 이루는 선을 중심으로 선의 상부는 머리카락색으로, 하부는 어굴색으로 채워지도록 이미지 프로세싱한다. 여기에서 사용자는 글로벌 변형 및 로컬 변형과 동일하게 대칭모드를 사용하여 일측의 측면 및 후면 텍스쳐의 변화가 타측에 동일하게 적용되게 할 수 있다.In addition, the shape of the head of the side and back texture of the face, as shown in Fig. 7, to modify the hair shape adjustment point (10). The head shape adjustment point 10 determines the shape of the head of the side and the back of the face, and then forms the shape by taking the adjustment points 10 so that the upper part of the line is filled with hair color and the lower part is colored with facial color around the line formed by the points. Image processing. Here, the user can use the symmetry mode similarly to the global deformation and the local deformation so that the change of the side and back textures of one side is equally applied to the other side.
얼굴의 정면, 측면 및 후면 텍스쳐가 완성되면 3차원 얼굴의 기하학적 형상에서 얼굴 정면으로 약 120°정도를 얼굴의 정면 텍스쳐로 텍스쳐 맵핑한다(단계 S214). 텍스쳐 좌표는 기하학적 형상의 정면에 해당하는 각 버텍스를 x,y평면에 투영하여 구한다. 얼굴 측면 및 후면 텍스쳐의 경우 얼굴 정면 텍스쳐에 의해 맵핑되지 않은 영역에 대해 텍스쳐 맵핑을 하는데 얼굴 정면 텍스쳐와 달리 원통형 맵핑(cylindric mapping)에 의해 텍스쳐 좌표를 구한다. 얼굴 전체 텍스쳐의 기하학적 형상을 머리 위에서 봤을 때, 그 중심을 축으로 해서 측면에서 후면까지 얼굴 후면 텍스쳐를 원통형으로 세우고 이를 텍스쳐 맵핑한다.When the front, side, and back textures of the face are completed, a texture mapping of about 120 ° from the three-dimensional face geometry to the front face of the face is performed as texture mapping (step S214). Texture coordinates are obtained by projecting each vertex corresponding to the front face of the geometric shape onto the x and y planes. In the case of the face side and the back texture, texture mapping is performed on an area that is not mapped by the face front texture. Unlike the face front texture, texture coordinates are obtained by cylindrical mapping. When the geometric shape of the entire face texture is seen from above the head, the face back texture is made cylindrical from the side to the back with its center as an axis, and the texture mapping is performed.
이상, 본 발명의 바람직한 실시예로서 얼굴의 3차원 모델링 시스템에 대하여 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이 용이하게 변경할 수 있는 정도의 구성은 첨부된 청구범위에 기재된 기술적 사상에 포함된다고 할 수 있다.As mentioned above, although the three-dimensional modeling system of the face has been described in detail as a preferred embodiment of the present invention, the structure of the degree which can be easily changed by a person having ordinary knowledge in the technical field to which the present invention belongs is defined in the appended claims. It can be said that it is included in the technical idea described.
본 발명의 구성에서 살펴본 바와 같이 본 발명은 하나의 정면 얼굴 사진만으로 얼굴 전체를 3차원으로 쉽게 구현할 수 있다.As described in the configuration of the present invention, the present invention can easily implement the entire face in three dimensions with only one front face photograph.
또한 본 발명은 전체적인 얼굴의 형상과 함께 얼굴색 및 머리카락색을 구현할 수 있음으로 완벽한 3차원 입체 영상을 제공할 수 있다.In addition, the present invention can provide a complete three-dimensional stereoscopic image by realizing the color of the face and hair color with the shape of the overall face.
또한 본 발명은 하나의 정면 얼굴 사진으로 3차원의 입체 영상을 구현할 수 있기 때문에 자신의 아바타를 구현하여 가상현실세계에서 적용할 수 있다.In addition, since the present invention can realize a three-dimensional stereoscopic image with one front face photograph, the present invention can be implemented in a virtual reality world by implementing one's own avatar.
Claims (11)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000046448A KR100327541B1 (en) | 2000-08-10 | 2000-08-10 | 3D facial modeling system and modeling method |
| PCT/KR2001/000440 WO2002013144A1 (en) | 2000-08-10 | 2001-03-20 | 3d facial modeling system and modeling method |
| JP2002518427A JP2004506276A (en) | 2000-08-10 | 2001-03-20 | Three-dimensional face modeling system and modeling method |
| AU2001244763A AU2001244763A1 (en) | 2000-08-10 | 2001-03-20 | 3d facial modeling system and modeling method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000046448A KR100327541B1 (en) | 2000-08-10 | 2000-08-10 | 3D facial modeling system and modeling method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000063919A true KR20000063919A (en) | 2000-11-06 |
| KR100327541B1 KR100327541B1 (en) | 2002-03-08 |
Family
ID=19682716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020000046448A KR100327541B1 (en) | 2000-08-10 | 2000-08-10 | 3D facial modeling system and modeling method |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2004506276A (en) |
| KR (1) | KR100327541B1 (en) |
| AU (1) | AU2001244763A1 (en) |
| WO (1) | WO2002013144A1 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082160A (en) * | 2002-04-17 | 2003-10-22 | 백수곤 | Real Time Sprite Modeling |
| KR100422471B1 (en) * | 2001-02-08 | 2004-03-11 | 비쥬텍쓰리디(주) | Apparatus and method for creation personal photo avatar |
| KR100422470B1 (en) * | 2001-02-15 | 2004-03-11 | 비쥬텍쓰리디(주) | Method and apparatus for replacing a model face of moving image |
| US7460125B2 (en) | 2005-12-02 | 2008-12-02 | Electronics And Telecommunications Research Institute | Apparatus and method for immediately creating and controlling virtual reality interactive human body model for user-centric interface |
| KR100965622B1 (en) * | 2008-10-31 | 2010-06-23 | 김영자 | Method and Apparatus for making sensitive character and animation |
| US10275114B2 (en) | 2016-05-31 | 2019-04-30 | Coreline Soft Co., Ltd. | Medical image display system and method for providing user interface enabling three-dimensional mesh to be edited on three-dimensional volume |
| KR20190050352A (en) * | 2017-11-03 | 2019-05-13 | 울산대학교 산학협력단 | Method and apparatus for generating 3d model data for manufacturing of implant |
| KR20200098713A (en) * | 2016-03-31 | 2020-08-20 | 스냅 인코포레이티드 | Automated avatar generation |
| CN112669447A (en) * | 2020-12-30 | 2021-04-16 | 网易（杭州）网络有限公司 | Model head portrait creating method and device, electronic equipment and storage medium |
| CN112884638A (en) * | 2021-02-02 | 2021-06-01 | 北京东方国信科技股份有限公司 | Virtual fitting method and device |
| US11843456B2 (en) | 2016-10-24 | 2023-12-12 | Snap Inc. | Generating and displaying customized avatars in media overlays |
| US11925869B2 (en) | 2012-05-08 | 2024-03-12 | Snap Inc. | System and method for generating and displaying avatars |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2838846A1 (en) * | 2002-04-22 | 2003-10-24 | Delphine Software Internat | Real time 3D image generation system uses detailed projected two dimensional image on solid model with moving parts having erased relief |
| EP1754198A1 (en) * | 2004-05-26 | 2007-02-21 | Gameware Europe Limited | Animation systems |
| CN100430963C (en) * | 2005-09-29 | 2008-11-05 | 中国科学院自动化研究所 | Method for modeling personalized human face basedon orthogonal image |
| GB0702150D0 (en) * | 2007-02-05 | 2007-03-14 | Amegoworld Ltd | A Communication Network and Devices |
| GB2480173A (en) * | 2007-02-05 | 2011-11-09 | Amegoworld Ltd | A data structure for representing an animated model of a head/face wherein hair overlies a flat peripheral region of a partial 3D map |
| WO2008144843A1 (en) * | 2007-05-31 | 2008-12-04 | Depth Analysis Pty Ltd | Systems and methods for applying a 3d scan of a physical target object to a virtual environment |
| GB2450757A (en) * | 2007-07-06 | 2009-01-07 | Sony Comp Entertainment Europe | Avatar customisation, transmission and reception |
| KR101216614B1 (en) * | 2010-09-14 | 2012-12-31 | 현대엠엔소프트 주식회사 | A navigation apparatus and method for displaying topography thereof |
| JP5842541B2 (en) * | 2011-11-01 | 2016-01-13 | 大日本印刷株式会社 | 3D portrait creation device |
| US10326972B2 (en) | 2014-12-31 | 2019-06-18 | Samsung Electronics Co., Ltd. | Three-dimensional image generation method and apparatus |
| KR102152078B1 (en) | 2016-12-07 | 2020-09-04 | 한국전자통신연구원 | Apparatus and method for generating 3d face model |
| CN110223374A (en) * | 2019-05-05 | 2019-09-10 | 太平洋未来科技（深圳）有限公司 | A kind of pre-set criteria face and head 3D model method |
| KR102104889B1 (en) * | 2019-09-30 | 2020-04-27 | 이명학 | Method of generating 3-dimensional model data based on vertual solid surface models and system thereof |
| CN111179210B (en) * | 2019-12-27 | 2023-10-20 | 浙江工业大学之江学院 | Face texture map generation method and system and electronic equipment |
| CN113327277A (en) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | Three-dimensional reconstruction method and device for half-body image |
| CN117058329B (en) * | 2023-10-11 | 2023-12-26 | 湖南马栏山视频先进技术研究院有限公司 | Face rapid three-dimensional modeling method and system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100281965B1 (en) * | 1998-04-24 | 2001-02-15 | 전주범 | Face Texture Mapping Method of Model-based Coding System |
| JP3740865B2 (en) * | 1998-10-08 | 2006-02-01 | コニカミノルタホールディングス株式会社 | Multi-viewpoint three-dimensional data composition method and recording medium |
| JP2000149060A (en) * | 1998-11-05 | 2000-05-30 | Ricoh Co Ltd | Method and device for preparing polygon mesh, method and device for presenting shape feature of polygonal mesh, preparation program for polygonal mesh and storage medium with shape feature presentation program stored therein |
| KR100317138B1 (en) * | 1999-01-19 | 2001-12-22 | 윤덕용 | Three-dimensional face synthesis method using facial texture image from several views |
-
2000
- 2000-08-10 KR KR1020000046448A patent/KR100327541B1/en not_active IP Right Cessation
-
2001
- 2001-03-20 JP JP2002518427A patent/JP2004506276A/en active Pending
- 2001-03-20 AU AU2001244763A patent/AU2001244763A1/en not_active Abandoned
- 2001-03-20 WO PCT/KR2001/000440 patent/WO2002013144A1/en active Application Filing
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100422471B1 (en) * | 2001-02-08 | 2004-03-11 | 비쥬텍쓰리디(주) | Apparatus and method for creation personal photo avatar |
| KR100422470B1 (en) * | 2001-02-15 | 2004-03-11 | 비쥬텍쓰리디(주) | Method and apparatus for replacing a model face of moving image |
| KR20030082160A (en) * | 2002-04-17 | 2003-10-22 | 백수곤 | Real Time Sprite Modeling |
| US7460125B2 (en) | 2005-12-02 | 2008-12-02 | Electronics And Telecommunications Research Institute | Apparatus and method for immediately creating and controlling virtual reality interactive human body model for user-centric interface |
| KR100965622B1 (en) * | 2008-10-31 | 2010-06-23 | 김영자 | Method and Apparatus for making sensitive character and animation |
| US11925869B2 (en) | 2012-05-08 | 2024-03-12 | Snap Inc. | System and method for generating and displaying avatars |
| KR20200098713A (en) * | 2016-03-31 | 2020-08-20 | 스냅 인코포레이티드 | Automated avatar generation |
| US11048916B2 (en) | 2016-03-31 | 2021-06-29 | Snap Inc. | Automated avatar generation |
| US11631276B2 (en) | 2016-03-31 | 2023-04-18 | Snap Inc. | Automated avatar generation |
| US10275114B2 (en) | 2016-05-31 | 2019-04-30 | Coreline Soft Co., Ltd. | Medical image display system and method for providing user interface enabling three-dimensional mesh to be edited on three-dimensional volume |
| US11843456B2 (en) | 2016-10-24 | 2023-12-12 | Snap Inc. | Generating and displaying customized avatars in media overlays |
| US11876762B1 (en) | 2016-10-24 | 2024-01-16 | Snap Inc. | Generating and displaying customized avatars in media overlays |
| KR20190050352A (en) * | 2017-11-03 | 2019-05-13 | 울산대학교 산학협력단 | Method and apparatus for generating 3d model data for manufacturing of implant |
| CN112669447A (en) * | 2020-12-30 | 2021-04-16 | 网易（杭州）网络有限公司 | Model head portrait creating method and device, electronic equipment and storage medium |
| CN112669447B (en) * | 2020-12-30 | 2023-06-30 | 网易（杭州）网络有限公司 | Model head portrait creation method and device, electronic equipment and storage medium |
| CN112884638A (en) * | 2021-02-02 | 2021-06-01 | 北京东方国信科技股份有限公司 | Virtual fitting method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002013144A1 (en) | 2002-02-14 |
| JP2004506276A (en) | 2004-02-26 |
| AU2001244763A1 (en) | 2002-02-18 |
| KR100327541B1 (en) | 2002-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100327541B1 (en) | 3D facial modeling system and modeling method | |
| JP3288353B2 (en) | How to create a 3D face model starting from a face image | |
| US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| KR101514327B1 (en) | Method and apparatus for generating face avatar | |
| CN109377557A (en) | Real-time three-dimensional facial reconstruction method based on single frames facial image | |
| CN113744374B (en) | Expression-driven 3D virtual image generation method | |
| CN106952336B (en) | Feature-preserving human three-dimensional head portrait production method | |
| JP2010154422A (en) | Image processor | |
| EP0807902A2 (en) | Method and apparatus for generating moving characters | |
| CN106652037B (en) | Face mapping processing method and device | |
| JP2009104570A (en) | Data structure for image formation and method of forming image | |
| CN115861525A (en) | Multi-view face reconstruction method based on parameterized model | |
| KR100372811B1 (en) | Method for Making 3D Face Model by Using a 2D Human Face Image | |
| CN112116699A (en) | Real-time real-person virtual trial sending method based on 3D face tracking | |
| JPH06118349A (en) | Spectacles fitting simulation device | |
| JP3577154B2 (en) | Image processing device | |
| CN110853147B (en) | Three-dimensional face transformation method | |
| JPH04199474A (en) | Face picture synthetic device | |
| JP7076861B1 (en) | 3D avatar generator, 3D avatar generation method and 3D avatar generation program | |
| US12020363B2 (en) | Surface texturing from multiple cameras | |
| KR20120121031A (en) | How to create 3D face model using 2D face photo | |
| US20220351653A1 (en) | System and method for augmenting lightfield images | |
| CN116310150B (en) | Furniture multi-view three-dimensional model reconstruction method based on multi-scale feature fusion | |
| US20220309733A1 (en) | Surface texturing from multiple cameras | |
| JP3648099B2 (en) | Image composition display method and apparatus, and recording medium on which image composition display program is recorded |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| G15R | Request for early opening | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20050222 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |