KR20040067730A - 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법 - Google Patents

레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법 Download PDF

Info

Publication number
KR20040067730A
KR20040067730A KR1020030004964A KR20030004964A KR20040067730A KR 20040067730 A KR20040067730 A KR 20040067730A KR 1020030004964 A KR1020030004964 A KR 1020030004964A KR 20030004964 A KR20030004964 A KR 20030004964A KR 20040067730 A KR20040067730 A KR 20040067730A
Authority
KR
South Korea
Prior art keywords
avatar
mesh
generating
scanning data
range
Prior art date
Application number
KR1020030004964A
Other languages
English (en)
Inventor
조용학
Original Assignee
조용학
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조용학 filed Critical 조용학
Priority to KR1020030004964A priority Critical patent/KR20040067730A/ko
Publication of KR20040067730A publication Critical patent/KR20040067730A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 실사 아바타를 생성하는 방법에 관한 것으로, 더욱 상세하게는 3차원 레인지 스캐너를 이용하여 3D 실사 아바타를 생성하기 위한 생성 장치 및 방법에 관한 것이다.
이를 위하여 본 발명은 3D 실사 아바타를 생성함에 있어서, 레인지 스캐너로부터 추출된 사용자 외형의 3차원 기하학 정보에 따라 3D 표준 아바타 매쉬를 제어하여 정 정면 및 정 측면 이미지를 추출하는 단계, 상기 추출된 레인지 스캐닝 데이터 상에서 미리 정해진 특징점의 평면상 위치를 수정함에 따라 표준 아바타 메쉬를 변형하여 3D 아바타 메쉬를 생성하는 단계, 상기 추출된 레인지 스캐닝 데이터의 매칭 및 조합에 따른 파노라마 텍스처를 생성하는 단계, 상기 생성된 3D 아바타 메쉬 및 파노라마 텍스처를 통합하여 3D 실사 아바타를 생성하는 단계로 이루어진 것에 특징이 있다.

Description

레인지 스캐너를 이용한 3D 실사 아바타 생성장치 및 방법{ Creation system and method of Real-3D Picture Avatar that uses range scanner }
본 발명은 실존 인물의 정보를 이용한 3D 실사 아바타 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는 실존 인물의 정보에 의한 3D 실사 아바타를 효율적으로 생성하기 위한 정면 및 측면 사진의 레인지 스캐너 정보를 이용한 3D 실사 아바타 생성장치 및 방법에 관한 것이다.
아바타란 온라인 공간에 존재하는 가상 분신을 말한다. 즉, 가상현실 공간인 인터넷 온라인상에 존재하는 또 다른 자아의 표현 매개체이며, 사람의 형상 뿐 아니라 각종 동물 및 식물 등 모든 형태로 표현이 가능하다.
이러한, 종래의 아바타 구현 방법은 도 1 및 도 2에서 제시된 바와 같이 이목구비, 혜어스타일, 상의 및 하의, 악세사리 등의 항목에 따라 미리 설정된 복수개의 패턴 중 어느 하나를 선택하여 구성된다.
상기한 방법에 의한 아바타는 미리 설정된 패턴을 단순히 선택함에 의해 구성되므로 인터넷 사용자의 개인 특성을 반영할 수 없다. 또한 매우 한정된 아바타의 표현력을 보일 수밖에 없다. 그러므로 인터넷 사용자가 동일한 패턴을 선택함에 따라 동일한 형상의 아바타가 생성되는것이며 다른 아바타 서비스 이용자가 동일하게 구성할 수도 있으므로 아바타에 의한 인터넷 사용자를 구분할 수 없게 된다. 이러한 특성상 기존의 아바타 서비스 이용자들은 실질적으로 아바타 서비스의 필요성을 느끼지 못한다.
또한 3차원 채팅, 3차원 가상현실, 3차원 쇼핑몰에서와 같이 공간적인 3D 아바타를 필요로 하는 경우 상기한 단면형 아바타는 효과적이지 않다.
본 발명은 상기와 같은 문제점을 해소하기 위하여 고안한 것으로서, 상기한 아바타 종래기술의 단점을 보완하기 위하여 3차원 레인지 스캐너를 이용하여 인터넷 사용자의 3D 실사 아바타를 생성한다. 3차원 레인지 스캐너는 레이저가 실물에 닿아 반사되는 시간차를 이용해 나오는 거리(레인지) 데이터를 3차원 점 데이터로 변환하여 실물의 3차원 정보를 구현한다. 이때 실물의 완전한 3차원 정보를 얻기 위해 다각도에서 레인지 스캐너를 사용한다.
이렇게 다각도에서 촬영된 3차원 점 데이터를 하나의 3차원 메쉬로 만들기 위해 부분 메쉬들의 공통된 부분을 맞추어서 정렬한 다음 이를 하나의 매쉬로 조합한 후 부분 메쉬들 사이의 노이즈를 제거하는 과정을 수행하여 3D 실사 아바타를 생성한다. 또한 복수개의 사진을 조합하여 3차원 모델로 변환하고 얼굴 부분의 이미지로부터 아바타를 위한 텍스처(Texture)를 생성하여 3D 실사 아바타를 생성하는 장치 및 방법을 제공함에 그 목적이 있다.
도 1은 종래 기술에 따른 아바타 생성을 위한 헤어스타일 항목 선택 화면 구성도.
도 2는 종래 기술에 따른 아바타 생성을 위한 상의, 하의 항복 선택 화면 구성도.
도 3은 본 발명에 따른 3D 실사 아바타 생성 장치의 내부 구성 블록도.
도 4는 3D 표준 아바타 메쉬를 나타낸 도면.
도 5는 3D 표준 아바타 메쉬의 투영 사진을 나타낸 도면,
도 6은 본 발명에 따른 3D 실사 아바타 생성 방법을 수행하기 위한 플로우 챠트.
도 7은 입력된 레인지 스캐닝 데이터로부터 보정된 이미지를 얻기 위한 보정 과정을 수행하기 위한 플로우 챠트.
<도면의 주요부분에 대한 부호의 설명>
100 : 입력 데이터 조정부 102 : 메쉬 개인화부
104 : 텍스처 생성부 106 : 3D 실사 아바타 생성부
본 발명에 따른 정면 및 측면 레인지 스캐닝 데이터를 이용한 3D 실사 아바타 생성장치 및 방법을 구체화하여 첨부 도면을 참조하여 상세히 설명한다.
도 3은 본 발명에 따른 3D 실사 아바타 생성 장치의 내부 구성 블록도이고, 도 4는 3차원 표준 아바타 메쉬를 나타낸 도면이며, 도 5는 메쉬 투영을 나타낸 도면이다.
도 3에서 명시한 바와 같이,본 발명에 따른 3D 실사 아바타 생성 장치는 입력 데이터 조정부(100), 메쉬(Mesh), 메쉬 개인화부(102), 텍스처 생성부(104) 및 3D 실사 아바타 생성부(106)로 구성된다.
즉, 입력 데이터 조정부(100)는 입력되는 레인지 스캐닝 데이터를 정면 및 측면 이미지로 보정하고, 보정된 정면 및 측면 이미지에 의해 부분 메쉬를 생성하도록 구성된다. 이때, 레인지 스캐닝 데이터는 레인지 스캐너를 이용하여 촬영한 데이터이다.
또한, 텍스처 생성부(104)는 보정된 정면 및 측면 이미지를 매칭시키고, 매칭된 이미지를 조합함에 따라 정확한 텍스처를 생성하도록 구성된다.
3D 실사 아바타 생성부(106)는 생성된 개인 아바타 메쉬에 텍스처 생성부(104)에 의해 생성된 텍스처를 매핑(mapping)함에 따라 3D 실사 아바타를 생성하도록 구성된다.
이와 같이 구성되는 본 발명에 의한 3D 실사 아바타 생성 장치의 동작을 설명하면 다음과 같다.
먼저 입력 데이터 조정부(100)는 3D 실사 아바타 생성을 위한 사용자의 정면 및 측면 방향의 레인지 스캐닝 데이터로부터 3D 표준 모델을 매핑하기 위해 일정 사용자로부터 지정된 복수개의 기준선 지정 정보를 입력받는다.
즉, 입력 데이터 조정부(100)는 정면 방향의 스캐닝 데이터를 입력받고, 입력된 데이터 상에 일정의 사용자로부터 3개의 기준선 지정 정보를 입력받는다.
이어서 입력되는 정면 및 측면의 레인지 스캐닝 데이터에 부분 메쉬를 매핑하기 위하여 입력 데이터상의 6개의 특징점(2개의 양쪽 눈 외곽 끝점, 입술부분 양 끝점, 코 인중점 및 입술의 중앙 윗점)을 지나는 기준선 지정 정보를 사용자로부터 입력받는다.
이때, 양 눈의 바깥끝 쪽 2개의 점을 지나는 제1 기준선, 양 입술 2개의 점을 지나는 제2 기준선, 코의 방향을 나타내는 코 인중점과 입술의 중앙 윗점을 지나는 제3 기준선을 사용자가 지정한다.
또한, 입력 데이터 조정부(100)는 레인지 스캐닝 데이터에 지정된 6개의 특징점과 메쉬 상에 미리 정의된 동일점(3D 표준 아바타 메쉬 상의 양쪽 눈 외곽 끝점 2개, 입술부분 양 끝점, 코 인중점, 입술의 중앙 윗점)을 매핑시켜 레인지 스캐너 카메라의 위치, 회전 및 초점 거리 등의 기하학 정보를 추출한다.
이때, 비선형 최소화 알고리즘은 3D 표준 아바타 매쉬 상의 특징점과 레인지 스캐닝 데이터상의 사용자가 지정한 특징점의 거리 차이를 반복적으로 최소화하면서 카메라의 3차원 위치, 방향 및 크기 등의 3차원 기하학 정보를 추출하게 된다.
여기서 3차원 그래픽스에서 일반적으로 알려진 사실에 의해 아바타를 고정시켜놓은 상태에서, 레인지 스캐너 카메라의 기하학적 변화는 카메라를 고정시켜놓은 상태에서 움직이는 아바타의 기하학적 정보와 동일하므로 추출된 카메라의 기하학 정보에 의해 아바타의 기하학 정보를 추출한다.
3D 실사 아바타의 위치와 방향의 정확성은 사용자가 지정한 특징점의 정확도에 의해 결정되고, 사용자가 시각적으로 판단하기에 사용자의 외형과 3D 표준 메쉬의 기하학적인 모습이 정확하게 매핑될 때까지 위의 과정을 반복적으로 수행한다.
여기서 도 4와 같은 3D 표준 아바타 메쉬는 레인지 스캐너 또는 전문 3D 모델링 틀을 이용하여 구성된 것이다.
또한, 사용자는 각 부위를 세밀히 지정할 필요 없이 근사 모델을 얻고, 이미지 처리 기술에서 널리 공지되어 있는 특징 부위 주변의 컬러값의 변화를 이용하는 윤곽선 추출 알고리즘을 통해 각 부위의 정확한 위치를 추출해 낸다.
이때, 윤곽선 추출 알고리즘은 입력된 영상 정보에서 한 픽셀에 대한 주변 픽셀 8개를 검색하여 픽셀의 색이 한계치(threshlod)이상으로 급격하게 변하는 경우 그 부분을 경계로 인정하여 윤곽선을 추출하는 알고리즘이다.
여기서, 한계치는 사용자가 임의로 윤곽선 추출의 정도를 지정할 수 있는데, 한계치가 작으면 많은 경계선을 추출할 수 있지만 필요없는 노이즈 데이터가 포함될 수 있고, 한계치가 크면 적은 수의 경계선만을 추출하게 되므로 원하는 경계선을 추출하지 못하는 경우가 발생한다.
또한 입력 데이터 조정부(100)는 추출된 입력 영상 정보의 특징점의 외형 위치 및 회전각 등에 의해 기본 메쉬를 변형시킨 후 입력된 데이터에 매핑시킨다.
이어서, 입력 데이터 조정부(100)는 변형된 메쉬를 입력 사진상에 매핑함에 따라 얼굴의 기하학 정보를 추출하고, 추출된 기하학 정보에 의해 임시 아바타를 생성한다.
또한, 입력 데이터 조정부(100)는 생성된 임시 아바타를 추출된 영상 정보의 위치 정보 및 회전각 정보에 따라 회전 및 이동시켜 정면 및 측면 방향으로 위치시킨다.
여기서 임시 아바타의 회전에 의해 정면 및 측면 방향으로 보정된 이미지는 얼굴 특성 중 미간과 코를 잇는 수직선을 기준으로 근사적인 대칭 특성을 이용하여 이미지의 질을 향상시킨다.
메쉬 개인화부(102)는 입력 데이터 조정부(100)를 통해 보정된 정면 및 측면 이미지 데이터를 이용하여 기본 아바타 메쉬를 3D 아바타 메쉬로 변형한다.
텍스처 생성부(104)는 입력 데이터 조정부(100)에서 보정된 정면 이미지 및 측면 이미지의 공통 부분을 매칭시키고, 매칭된 이미지를 조합하여 하나의 파노라마 텍스처로 만든다. 여기서 파노라마 텍스처 생성 기법은 일반적인 기술이므로 이에 대한 상세 설명은 생략한다.
3D 실사 아바타 생성부(106)는 메쉬 개인화부(102)에서 변형된 3D 아바타 메쉬와 파노라마 텍스처 생성부(104)에서 생성된 파노라마 텍스처를 통합하여 3D 실사 아바타를 생성한다.
이와 같이 구성되어 동작되는 본 발명에 따른 3D 실사 아바타 생성 과정을 첨부 도면을 참조하여 설명한다.
도 6은 본 발명에 따른 3D 실사 아바타 생성 방법을 수행하기 위한 플로우 챠트이다. 먼저 아바타 생성을 위한 사용자의 정면 및 측면 레인지 스캐닝 데이터를 입력받고, 입력된 레인지 스캐닝 데이터 정보로부터 얼굴의 위치, 방향 및 크기 등의 기하학 정보를 추출하여 3차원 표준 아바타 메쉬를 입력된 사진 정보의 얼굴 방향에 일치하도록 회전 및 이동함에 따라 보정된 정면 및 측면 이미지를 추출한다.
위의 단계(200)에서 보정된 정면 이미지 상에서 정해진 얼굴의 특징점의 xy 평면상의 위치를 수정하고, 측면 이미지에서 정해진 특징점의 yz 평면상의 위치를 수정하여 부분 아바타 메쉬를 변형함에 따라 3D 아바타 매쉬를 생성한다(202).
이어서 보정된 정면 및 측면 이미지의 공통 부분을 매칭한 후 매칭된 이미지를 조합하여 파노라마 텍스처를 생성한다(204).
위의 단계(202)에서 생성된 3D 아바타 매쉬 및 위의 단계(204)에서 생성된 파노라마 텍스처를 조합하여 3D 실사 아바타를 생성한다(206).
이와 같은 과정을 통해 수행되는 3D 실사 아바타 생성 과정 중 입력된 레인지 스캐닝 정보의 보정 과정을 도 7을 참조하여 보다 상세히 설명한다.
도 7은 입력된 레인지 스캐닝 데이터 정보로부터의 보정된 이미지를 얻기 위한 보정 과정을 수행하기 위한 플로우 챠트이다.
먼저 3D 실사 아바타를 생성하기 위하여 사용자로부터 사용자의 얼굴이 담긴 정면 및 측면 유사 방향의 레인지 스캐닝 데이터를 입력받고(300) 입력된 사진 정보상에 3개의 기준선을 배치한다(302).
이어서 레인지 스캐닝 데이터상의 지정된 특징점과 이에 대응하는 3D 표준 아바타 메쉬의 특징점의 투영 관계를 비선형 최소화 알고리즘에 의해 레인지 스캐닝 데이터상의 특징점과 3D 실사 아바타 메쉬의 특징점의 거리차를 반복적으로 최소화하면서 사용자의 외형에 대한 얼굴의 위치 및 회전각을 예측한다.(304)
위의 단계(304)에서 추출된 3차원 기하학 정보에 대해 윤곽선 보정 알고리즘을 이용하여 각 특징점의 정확한 위치 및 회전각 정보를 추출한다(306).
이어서 추출된 외형의 위치 및 회전각 정보를 이용하여 개인 아바타 메쉬를 변형시키고(308), 변형된 개인 아바타 메쉬를 레인지 스캐닝 데이터에 매핑함에 따라 사진 정보가 텍스처로 사용된 임시 아바타를 생성한다(310).
또한 생성된 임시 아바타를 추출한 3차원 기하학 정보에 의해 위치, 방향 및 크기를 제어하여 임시 아바타를 정 정면 및 정 측면 방향으로 이동 및 회전하고(312), 위치 및 회전각이 재어된 정 정면 및 측면 아바타를 3차원 이미지화하여 보정된 정면 및 측면 이미지를 생성한다(314).
본 발명에 따른 정면 및 측면의 레인지 스캐닝 데이터를 이용한 3D 실사 아바타 생성 장치 및 방법은 비선형 최소화 알고리즘 및 윤곽선 추출 알고리즘에 의해 입력되는 정면 및 측면 유사 방향 데이터의 위치 정보, 변형 정보 및 각 특정 부위의 변형 정도를 추출한다. 또한 3D 아바타 메쉬와 파노라마 텍스처의 통합으로 인하여 3D 실사 아바타를 생성할 수 있으며 현실적인 사용자의 자아 및 개성 표현이 가능해졌으며 동영상 표현이 가능해졌다.
또한 본 발명은 추출된 위치 정보, 변형 정보 및 각 특정 부위의 변형 정보도에 따라 3D 표준 아바타 메쉬를 변형함에 따라 정 정면 및 정 측면으로 방향이 보정된 이미지를 얻는다.
따라서 본 발명은 단면형 아바타 기술의 종래에 비해 보다 현실적이며 사용자의 자아와 개성을 표현하기에 충분하다. 또한 본 발명은 카메라 파라미터 교정 작업이 수행된 다수의 사진으로부터 3차원 모델을 복원하는 종래의 기술에 비해 카메라 보정 작업이 필요없을 뿐만 아니라 종래의 3차원 모델에 비해 훨씬 사실적이며 부드러운 3D 이미지 처리가 가능하므로 보다 정교한 3D 아바타를 생성할 수 있는 효과도 있다. 무엇보다 중요한 것은 아바타의 실사화로 기존의 그림 방식의 아바타와는 다른 개념으로서 3D 커뮤니케이션, 3D 쇼핑몰, 3D 가상현실에 매우 적합한 아바타를 생성할 수 있는 효과도 있다.

Claims (10)

  1. 레인지 스캐너를 이용한 3D 실사 아바타 생성 방법에 있어서,
    상기 레인지 스캐너로부터 추출된 사용자 외형의 3차원 기하학 정보에 따라 3D 표준 아바타 매쉬를 제어하여 정 정면 및 정 측면 이미지를 추출하는 단계;
    상기 추출된 레인지 스캐닝 데이터 상에서 미리 정해진 특징점의 평면상 위치를 수정함에 따라 표준 아바타 메쉬를 변형하여 3D 아바타 메쉬를 생성하는 단계;
    상기 추출된 레인지 스캐닝 데이터의 매칭 및 조합에 따른 파노라마 텍스처를 생성하는 단계;
    상기 생성된 3D 아바타 메쉬 및 파노라마 텍스처를 통합하여 3D 실사 아바타를 생성하는 단계를 포함하는 레인지 스캐닝 데이터를 이용한 3D 실사 아바타 생성 방법.
  2. 청구항1에 있어서,
    상기 레인지 스캐닝 데이터로부터 추출된 외형의 3차원 기하학 정보에 따라 3D 표준 아바타 메쉬를 제어하여 정 정면 및 정 측면 이미지를 추출하는 단계는
    상기 레인지 스캐닝 데이터상에 지정된 특징점을 지나는 복수개의 기준선을 배치하는 단계;
    상기 레인지 스캐닝 데이터 상의 특징점과 상기 표준 아바타 메쉬의 특징점을 비선형 최소화 알고리즘을 이용하여 상기 외형의 기하학 정보를 추출하는 단계;
    상기 추출된 외형의 기하학 정보에 따라 상기 아바타 메쉬를 변형하고, 상기 변형된 아바타 메쉬의 상기 외형을 매핑함에 따라 임시 아바타를 생성하는 단계;
    상기 생성된 임시 아바타를 상기 추출된 외형의 기하학 정보에 따라 회전 및 이동시켜 3D 아바타를 생성하는 단계;
    상기 생성된 3D 아바타와 파노라마 텍스처를 통합하여 3D 실사 아바타 데이터를 생성하는 단계
    를 포함하는 레인지 스캐닝을 이용한 3D 실사 아바타 생성 방법.
  3. 제 2항에 있어서,
    상기 특징점은 상기 레인지 스캐닝 데이터상에 얼굴의 양쪽 눈의 외곽 끝점, 입술의 양 끝점, 코 인중점 및 입술의 중앙 원점을 포함하는 레인지 스캐너를 이용한 3D 실사 아바타 생성 방법.
  4. 제 2항에 있어서,
    상기 외형 상의 특징점과 상기 3D 표준 아바타 메쉬의 특징점을 비선형 최소화 알고리즘을 이용하여 상기 얼굴의 기하학 정보를 추출하는 단계는
    상기 3D 표준 아바타 메쉬와 상기 레인지 스캐닝 데이터의 투영을 통합하는 단계;
    상기 레인지 스캐닝 데이터상의 특징점과 상기 3D 표준 아바타 메쉬의 특징점을 비선형 최소화 알고리즘에 의해 상기 외형을 촬영한 레인지 스캐너의 기하학 정보를 추출하는 단계
    를 포함하는 레인지 스캐너를 이용한 3D 실사 아바타 생성 방법.
  5. 제 1항에 있어서,
    상기 추출된 레인지 스캐닝 데이터 상에서 미리 정해진 특징점의 평면상 위치를 수정함에 따른 3D 표준 아바타 메쉬의 변형에 의한 개인 아바타 매쉬를 생성하는 단계는
    상기 추출된 레인지 스캐닝 데이터상의 일정 특정영역과 상기 3D 표준 아바타 메쉬에 대응하는 특징영역을 비교하는 단계;
    상기 비교된 특징영역에 의해 상기 3D 표준 아바타 메쉬의 xy 평면상의 위치를 수정하여 개인 아바타 메쉬를 생성하는 단계;
    상기 생성된 개인 아바타 메쉬를 상기 3D 아바타 메쉬에 매핑하는 단계;
    상기 각 레인지 스캐닝 데이터가 공유하는 특징영역을 이용하여 정규화하는 단계;
    상기 공유하는 특징영역의 대응 관계에 따른 정면 이미지에 대응하는 측면 이미지의 깊이를 수정하는 단계
    를 포함하는 레인지 스캐너를 이용한 3D 실사 아바타 생성 방법.
  6. 제 1항에 있어서,
    상기 기준선은 상기 정면 유사 방향 레인지 스캐닝 데이터 내 얼굴의 양 눈의 외곽 끝점을 지나는 제1 기준선, 상기 얼굴의 입술부분 양 끝점을 지나는 제2 기준선 및 상기 얼굴의 코 인중점 및 입술의 중앙 원점을 지나는 제3 기준선을 포함하는 레인지 스캐닝 데이터를 이용한 3D 실사 아바타 생성 방법.
  7. 레인지 스캐너를 이용한 3D 실사 아바타 생성 방법에 있어서,
    상기 레인지 스캐닝 데이터상에 지정된 특징점을 지나는 복수개의 기준선을 배치하는 단계;
    상기 레인지 스캐닝 데이터상의 특징점과 상기 3D 표준 아바타 메쉬의 특징점을 비선형 최소화 알고리즘을 이용하여 상기 외형의 기하학 정보를 추출하는 단계;
    상기 추출된 외형의 기하학 정보에 따라 상기 아바타 메쉬를 변형하고, 상기 변형된 아바타 메쉬에 상기 레인지 스캐닝 데이터를 매핑함에 따라 임시 아바타를 생성하는 단계;
    상기 생성된 임시 아바타를 상기 추출된 외형의 기하학 정보에 따라 회전 및 이동시켜 3D 아바타를 생성하는 단계;
    상기 생성된 3D 아바타를 파노라마 텍스처와 통합하여 3D 실사 아바타를 생성하는 단계;
    상기 추출된 3D 아바타 이미지 상의 일정한 특정영역과 상기 3D 표준 아바타 메쉬에 대응하는 특징영역을 비교하는 단계;
    상기 비교된 특징영역에 의해 상기 3D 표준 아바타 메쉬의 xy 평면상의 위치를 수정하여 임시 아바타 매쉬를 생성하는 단계;
    상기 생성된 임시 아바타 매쉬를 상기 레인지 스캐닝 데이터에 매핑하는 단계
    상기 레인지 스캐닝 데이터가 공유하는 특징영역을 이용하여 정규화하는 단계;
    상기 공유하는 특징영역의 대응 관계에 따른 정면 레인지 스캐닝 데이터에 대응하는 측면 레인지 스캐닝 데이터의 깊이를 수정하는 단계;
    상기 추출된 레인지 스캐닝 데이터의 매칭 및 조합에 따른 파노라마 텍스처를 생성하는 단계;
    상기 생성된 아바타 매쉬 및 파노라마 텍스처를 통합하여 3D 실사 아바타를 생성하는 단계
    를 포함하는 레인지 스캐너를 이용한 3D 실사 아바타 생성 방법.
  8. 레인지 스캐너를 이용한 3D 실사 아바타 생성 장치에 있어서,
    상기 레인지 스캐닝 데이터로부터 추출된 외형의 3차원 기하학 정보에 따라 3D 표준 아바타 메쉬를 제어하여 정면 및 측면 데이터를 추출하는 입력 데이터 조정부;
    상기 추출된 정면 및 측면 이미지 상에서 미리 정해진 특징점의 평면상 위치를 수정함에 따라 3D 표준 아바타 메쉬를 변형하여 개인 아바타 메쉬를 생성하는메쉬 개인화부;
    상기 추출된 정면 및 측면 이미지의 매칭 및 조합에 따른 파노라마 텍스처를 생성하는 파노라마 텍스처 생성부;
    상기 생성된 개인 아바타 메쉬 및 파노라마 텍스처를 통합하여 3D 실사 아바타를 생성하는 3D 실사 아바타 생성부
    를 포함하여 구성되는 레인지 스캐너를 이용한 3D 실사 아바타 생성 장치.
  9. 제 8항에 있어서,
    상기 입력 데이터 조정부는
    상기 레인지 스캐닝 데이터로부터 추출된 외형의 3차원 기하학 정보에 따라 3D 표준 아바타 메쉬를 제어하여 정면 및 측면 이미지를 추출하고;
    상기 레인지 스캐닝 데이터상에 지정된 특징점을 지나는 복수개의 기준선을 배치하고;
    상기 외형상의 특징점과 상기 3D 표준 아바타 메쉬의 특징점을 비선형 최소화 알고리즘을 이용하여 상기 외형의 기하학 정보를 추출하고;
    상기 추출된 외형의 기하학 정보에 따라 상기 3D 표준 아바타 메쉬를 변형하고;
    상기 변형된 3D 표준 아바타 메쉬를 상기 데이터를 매핑함에 따라 임시 아바타를 생성하고;
    상기 생성된 임시 아바타를 상기 추출된 외형의 기하학 정보에 따라 회전 및이동시켜 정면 및 측면 방향의 개인 아바타를 생성하고;
    상기 생성된 정면 및 측면 방향의 개인 아바타를 구성하는 개인 아바타 생성 장치.
  10. 제 9항에 있어서,
    상기 개인 매쉬화부는
    상기 추출된 정면 데이터상의 일정의 특정영역과 상기 3D 표준 아바타 메쉬에 대응하는 특징영역을 비교하고;
    상기 비교된 특징영역에 의해 상기 3D 표준 아바타 메쉬의 xy 평면상의 위치를 수정하여 개인 아바타 매쉬를 생성하고;
    상기 생성된 개인 아바타 메쉬를 상기 측면 이미지 상에 매핑하고;
    상기 정면 이미지 및 측면 이미지가 공유하는 특징영역을 이용하여 정규화하고;
    상기 공유하는 특징영역의 대응 관계에 따른 상기 정면 이미지에 대응하는 상기 측면 이미지의 깊이를 수정하도록 구성됨을 특징으로 하는 레인지 스캐너를 이용한 3D 실사 아바타 생성장치.
KR1020030004964A 2003-01-24 2003-01-24 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법 KR20040067730A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030004964A KR20040067730A (ko) 2003-01-24 2003-01-24 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030004964A KR20040067730A (ko) 2003-01-24 2003-01-24 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법

Publications (1)

Publication Number Publication Date
KR20040067730A true KR20040067730A (ko) 2004-07-30

Family

ID=37357211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030004964A KR20040067730A (ko) 2003-01-24 2003-01-24 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법

Country Status (1)

Country Link
KR (1) KR20040067730A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776303B1 (ko) * 2007-02-24 2007-11-13 구자봉 유물의 실측도 제작방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776303B1 (ko) * 2007-02-24 2007-11-13 구자봉 유물의 실측도 제작방법

Similar Documents

Publication Publication Date Title
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
JP3288353B2 (ja) 顔イメージから開始して3d顔モデルを作る方法
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102120046B1 (ko) 오브젝트를 표시하는 방법
JP4932951B2 (ja) 顔画像処理方法およびシステム
KR100327541B1 (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
JP4733318B2 (ja) 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム
CN108447017A (zh) 人脸虚拟整容方法和装置
CN106021550B (zh) 一种发型设计方法和***
KR20170019779A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR20150113751A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN112784621B (zh) 图像显示方法及设备
CN113628327A (zh) 一种头部三维重建方法及设备
JP2018195996A (ja) 画像投影装置、画像投影方法、及び、画像投影プログラム
Danieau et al. Automatic generation and stylization of 3d facial rigs
JP5419777B2 (ja) 顔画像合成装置
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
JP5419773B2 (ja) 顔画像合成装置
US20220309733A1 (en) Surface texturing from multiple cameras
KR20040067730A (ko) 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법
KR100422471B1 (ko) 정면 및 측면 사진 정보를 이용한 개인 포토 아바타 생성장치 및 방법
Kawai et al. Facial mask completion using StyleGAN2 preserving features of the person
JP2023153534A (ja) 画像処理装置、画像処理方法、およびプログラム
Zhao 3D Human Face Reconstruction and 2D Appearance Synthesis
Ahmed High quality dynamic reflectance and surface reconstruction from video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application