KR20110053166A - 3ｄ 오브젝트 렌더딩 방법 및 장치 - Google Patents

3ｄ 오브젝트 렌더딩 방법 및 장치 Download PDF

Info

Publication number
KR20110053166A
KR20110053166A KR1020100083561A KR20100083561A KR20110053166A KR 20110053166 A KR20110053166 A KR 20110053166A KR 1020100083561 A KR1020100083561 A KR 1020100083561A KR 20100083561 A KR20100083561 A KR 20100083561A KR 20110053166 A KR20110053166 A KR 20110053166A
Authority
KR
South Korea
Prior art keywords
information
texture information
light source
texture
image
Prior art date
Application number
KR1020100083561A
Other languages
English (en)
Inventor
심현정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/926,373 priority Critical patent/US8792708B2/en
Publication of KR20110053166A publication Critical patent/KR20110053166A/ko
Priority to US14/322,126 priority patent/US9443345B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 2D 이미지로부터 3D 오브젝트를 생성하고, 생성한 3D 오브젝트를 렌더링하는 장치 및 방법이 제공된다.
2D 이미지의 특성을 이용하여 2D 이미지로부터 광원 정보를 추출하고, 추출된 광원 정보를 이용하여 2D 이미지의 질감 정보를 추출할 수 있다.
특히, 복수의 샘플을 이용하여 반짝임 정보, 내부 반사 정보 등을 데이터베이스에 저장하고, 입력 이미지와 유사한 반짝임 정보, 내부 반사 정보를 데이터베이스로부터 검색하므로, 빠른 속도로 질감 정보를 추출할 수 있다.

Description

3Ｄ 오브젝트 렌더딩 방법 및 장치{METHOD AND APPARATUS FOR LENDERING 3D OBJECT}
본 발명은 3D 오브젝트를 렌더링하는 기술과 관련된 것이다.
최근 3차원 게임, 영화, 가상 현실 구현, 웹 콘텐츠 제작 등 다양한 응용분야에서 사람을 실감나게 제작하는 기술(아바타 제작)에 대한 수요가 꾸준히 증가하고 있다. 그 중 사람의 얼굴 피부를 실감나게 표현하는 기술은 가상 인물의 실감도를 결정짓는 핵심적인 요소로서, 다각도에서 지속적인 연구가 진행되고 있다.
피부 질감 추출을 위한 연구 중에서도, 한 장의 2D 이미지에서 얼굴의 질감을 추출하고 표현하는 기술은 다양한 시도에도 불구하고 아직 명확한 해결책이 제시 되지 않은 분야이다.
이는 한 장의 영상에서 여러 성분을 분리해내는 문제 자체가 난해하기 때문이다. 영상은 빛이라는 외부 성분과 물체의 특성이라는 내부성분의 요소가 합쳐져서 형성된 결과물로서, 이미 합쳐진 값으로부터 합쳐지기 전 값의 조합을 구할 경우, 그 경우에 수는 무수히 많다. 무수히 많은 답 가운데서 원하는 정답을 구하기 위해서는 추가적인 정보가 필요하다.
본 문서는 얼굴의 질감을 추출하는 방식을 집중적으로 다루고 있으나, 같은 알고리즘이 여타 다른 물체(a class object)에도 동일하게 적용 가능하다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 2D 이미지로부터 상기 2D 이미지의 광원 정보를 추출하는 단계, 상기 광원 정보에 기반하여 질감 정보 데이터베이스로부터 상기 2D 이미지에 대한 질감 정보를 추출하는 단계, 상기 2D 이미지로부터 3D 오브젝트를 생성하는 단계 및 상기 광원 정보 및 상기 질감 정보에 기반하여 상기 3D 오브젝트를 렌더링하는 단계를 포함하는 3D 오브젝트 렌더링 방법을 제공한다.
본 발명의 일측에 따르는 2D 이미지로부터 상기 2D 이미지의 광원 정보를 추출하는 광원 정보 추출부, 상기 광원 정보에 기반하여 질감 정보 데이터베이스로부터 상기 2D 이미지에 대한 질감 정보를 추출하는 질감 정보 추출부, 상기 2D 이미지로부터 3D 오브젝트를 생성하는 3D 오브젝트 생성부 및 상기 광원 정보 및 상기 질감 정보에 기반하여 상기 3D 오브젝트를 렌더링하는 렌더링부를 포함하는 3D 오브젝트 렌더링 장치가 제공된다.
본 발명에 따르면, 2D 이미지로부터 질감 성분을 효과적으로 추출할 수 있다.
본 발명에 따르면 2D 이미지의 광원 정보를 효과적으로 추출할 수 있다.
도 1은 본 발명에 따른 3D 오브젝트 렌더링 방법을 단계별로 설명한 순서도이다.
도 2는 본 발명에 따른 광원 정보 추출 방법의 개념을 설명한 도면이다.
도 3은 본 발명에 따른 광원 정보 추출 방법을 단계별로 상세히 설명한 순서도이다.
도 4는 본 발명에 따른 질감 정보 추출 방법을 단계별로 상세히 설명한 순서도이다.
도 5는 본 발명에 따른 3D 오브젝트 렌더링 장치의 구조를 도시한 블록도이다.
도 6은 광원 정보 추출부의 상세한 구조를 도시한 블록도이다.
도 7은 질감 정보 추출부의 상세한 구조를 도시한 블록도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 3D 오브젝트 렌더링 방법을 단계별로 설명한 순서도이다.
단계(S110)에서 3D 오브젝트 렌더링 장치는 2D 이미지로부터 2D 이미지의 광원 정보를 추출한다. 광원 정보는 렌더링의 정확성 및 실감도에 결정적인 영향을 미치는 요소로서, 효과적인 렌더링을 위해서는 2D 이미지의 광원 정보를 정확히 추출해야 한다.
광원 정보를 추출하는 본 발명의 구체적인 실시예에 대해서는 이하 도 2 내지 도 3에서 상세히 설명하기로 한다.
도 2는 본 발명에 따른 광원 정보 추출 방법의 개념을 설명한 도면이다.
단계(S110)에서 3D 오브젝트 렌더링 장치는 2D이미지의 각 영역에 대한 광원의 방향을 추정한다. 일실시예에 따르면 2D 이미지는 태양광이 비치는 환경에서 촬영한 얼굴일 수 있다. 2D 이미지에 있어서 제1 광원은 태양광이다. 그러나 태양광이 얼굴 주변의 사물에 반사되면, 제2 광원이 생성될 수 있다.
따라서, 2D 이미지는 복수의 광원으로부터 빛을 받는 것으로 생각될 수 있다. 각 영역의 밝기는 복수의 광원으로부터 수신한 빛에 따라서 결정된다. 각 영역에 대하여 주된 광원은 태양광이 아닐 수 있다. 즉, 이마 부근의 영역은 태양광이 주된 광원이지만, 턱 부분의 주된 광원은 반사광일 수 있다. 이 경우에, 3D 오브젝트 렌더링 장치는 이마 부근의 영역에 대해서는 태양광의 방향을 광원의 방향으로서 추정하고, 턱 부분의 영역에 대해서는 반사광의 방향을 광원의 방향으로서 추정할 수 있다.
일실시예에 따르면, 3D 오브젝트 렌더링 장치는 각 광원을 3D 오브젝트로부터 일정 거리에 위치한 광원으로 생각할 수 있다.
도 2의 (a)는 3D 오브젝트로부터 일정 거리에 위치한 광원(211, 212, 213, 214, 215, 221, 222, 223, 231, 232)으로 추정된 결과를 나타낸다. 제1 영역과 제2 영역이 서로 유사한 부분에 위치한 경우에, 제1 영역에 대하여 추정된 광원과 제2 영역에 대하여 추정된 광원은 서로 유사한 방향에 있는 것으로 추정될 수 있다. 서로 유사한 방향에 있는 광원들은 동일한 그룹으로 구분될 수 있다. 도 2의 (a)에서 제1 광원 그룹은 광원(211, 212, 213, 214, 215)를 포함하고, 제2 광원 그룹은 광원(221, 222, 223)을 포함하고, 제3 광원 그룹은 광원(331, 332)을 포함한다.
도 2의 (b)는 도 2의 (a)에서 추정된 광원의 방향을 3차원 공간에 도시한 것이다.
광원(241, 242, 243, 244, 245)는 광원(211, 212, 213, 214, 215)에 대응되고, 광원(261, 262, 263)는 광원(221, 222, 223)에 대응되고, 광원(371, 372)은 광원(331, 332)에 대응된다.
도 2의 (c)는 각각의 광원 그룹에 대하여 대표 광원을 생성한 것이다. 3D 오브젝트에 대하여 복수의 광원(211, 212, 213, 214, 215, 221, 222, 223, 231, 232)을 모두 고려한다면, 렌더링에 필요한 계산 부담이 너무 많다. 3D 오브젝트 렌더링 장치는 각 그룹에 대하여 대표 광원(310, 320, 330) 하나를 생성하고, 대표 광원(310, 320, 330)만을 고려하여 렌더링함으로써, 3D 오브젝트를 간단히 렌더링할 수 있다.
도 2의 (d)는 도 3에서 생성된 대표 광원의 방향을 3차원 공간에 도시한 것이다. 대표 광원(340)은 대표 광원(310)에 대응되고, 대표 광원(360)은 대표 광원(320)에 대응되고, 대표 광원(330)은 대표 광원(370)에 대응된다.
도 3은 본 발명에 따른 광원 정보 추출 방법을 단계별로 상세히 설명한 순서도이다.
단계(S110)의 광원 정보를 추출하는 단계는 단계(S310) 내지 단계(S350)을 포함할 수 있다.
단계(S310)에서 3D 오브젝트 렌더링 장치는 2D 이미지를 복수의 영역으로 분할한다. 일실시예에 따르면 3D 오브젝트 렌더링 장치는 2D 이미지의 특성에 기반하여 2D 이미지에 대한 복수의 제어점(Control Point)를 설정할 수 있다. 3D 오브젝트 렌더링 장치는 2D 이미지 중에서 유사한 특성을 가지는 영역을 각 제어점에 대한 유사 영역으로 설정할 수 있다. 일예로서, 3D 오브젝트 렌더링 장치는 제어점 주변의 패치를 유사 영역으로 설정할 수 있으며, 다른 실시예에 따르면 3D 렌더링 장치는 세그먼트 알고리즘을 이용하여 유사 영역을 설정할 수 있다.
단계(S320)에서 3D 오브젝트 렌더링 장치는 각 영역에 대한 광원의 방향을 추정한다.
단계(S330)에서 3D 오브젝트 렌더링 장치는 각 광원들을 적어도 하나 이상의 그룹으로 구분한다. 각 영역은 동일한 광원으로부터 빛을 받지만, 각 영역에 따라 추정된 광원의 방향은 미세하게 다를 수 있다. 3D 오브젝트 렌더링 장치는 유사한 방향에 위치한 광원들을 하나의 그룹으로 구분할 수 있다.
단계(S340)에서 3D 오브젝트 렌더링 장치는 각 그룹에 대하여 하나의 대표 광원을 생성한다. 3D 오브젝트 렌더링 장치는 각 그룹에 포함된 광원들의 방향을 평균하여 대표 광원의 방향으로 설정할 수 있다.
단계(S350)에서 3D 오브젝트 렌더링 장치는 대표 광원의 세기를 산출한다. 3D 오브젝트 렌더링 장치는 각 그룹에 포함된 광원들의 개수에 비례하여 대표 광원의 세기를 산출할 수 있다.
단계(S350)에서 3D 오브젝트 렌더링 장치는 대표 광원의 방향 및 세기를 광원 정보로서 추출할 수 있다.
단계(S120)에서 3D 오브젝트 렌더링 장치는 2D 이미지에 대한 질감 정보를 추출한다. 일실시예에 다르면 3D 오브젝트 렌더링 장치는 광원 정보에 기반하여 질감 정보 데이터베이스로부터 질감 정보를 추출할 수 있다. 일실시예에 따르면 질감 정보는 2D 영상과 관련된 텍스쳐(texture) 정보, 반짝임(specular) 정보, 내부 반사(scattering) 정보 중에서 적어도 하나를 포함할 수 있다.
2D 이미지에 대한 질감 정보를 추출하는 본 발명의 구체적인 실시예에 대해서는 이하 도 4에서 상세히 설명하기로 한다.
도 4는 본 발명에 따른 질감 정보 추출 방법을 단계별로 상세히 설명한 순서도이다.
단계(S410)에서 3D 오브젝트 렌더링 장치는 3D 오브젝트에 대한 노말 정보를 초기화한다. 노말 정보는 3D 오브젝트의 표면을 미분한 정보로서, 3D 오브젝트의 각 영역에 대하여 맵(map) 형태로 구성될 수 있다. 2D 이미지가 사람의 얼굴에 대한 이미지인 경우, 노말 정보는 사람의 얼굴에 대한 일반적인 형태를 이용하여 초기화될 수 있다.
단계(S420)에서 3D 오브젝트 렌더링 장치는 노말 정보 및 광원 정보에 기반하여 제1 질감 정보를 산출한다. 일실시예에 따르면 3D 오브젝트 렌더링 장치는 하기 수학식 1에 따라서 제1 질감 정보를 산출할 수 있다.
Figure pat00001
Figure pat00002
는 2D 이미지이고,
Figure pat00003
는 제1 질감 정보,
Figure pat00004
는 노말 정보를 포함하는 노말 벡터,
Figure pat00005
은 광원 정보를 포함하는 광원 벡터이다.
3D 오브젝트 렌더링 장치는 수학식 1에 따라서 3D 이미지와의 오차가 최소가 되는 제1 질감 정보를 산출한다. 일실시예에 따르면 제1 질감 정보는 텍스쳐 정보일 수 있다.
단계(S430)에서 3D 오브젝트 렌더링 장치는 질감 정보 데이터베이스에서 질감 정보를 검색한다. 일실시예에 따르면 3D 오브젝트 렌더링 장치는 제1 질감 정보를 이용하여 제2 질감 정보를 검색한다.
일실시예에 따르면 데이터 베이스는 복수의 질감 정보를 서로 연관시켜 저장할 수 있다. 즉, 질감 정보 데이터베이스는 동일한 샘플 이미지에서 추출한 각각의 질감 정보들을 서로 동일한 인덱스로 연관시켜 저장할 수 있다. 이 경우에, 동일한 인덱스로 연관된 질감 정보들은 동일한 샘플 이미지로부터 추출되었으므로, 유사한 특성을 가진다.
단계(S430)에서 3D 오브젝트 렌더링 장치는 제1 질감 정보의 인덱스를 이용하여 제1 질감 정보와 연관된 제2 질감 정보를 검색할 수 있다. 일실시예에 따르면 제1 질감 정보는 2D 이미지와 연관된 텍스쳐 정보이고, 제2 질감 정보는 반짝임 정보 또는 내부 반사 정보일 수 있다.
본 발명의 일측에 따르면, 질감 정보 데이터베이스는 복수의 해상도에 따른 질감 정보들을 개별적으로 저장할 수 있다. 즉, 질감 정보 데이터베이스는 3D 오브젝트를 렌더링하기 위한 유사한 질감 정보들을 여러 가지 해상도에 따라서 복수개를 저장할 수 있다.
일측에 따르면, 단계(S430)에서 3D 오브젝트 렌더링 장치는 데이터베이스에 저장된 서로 다른 해상도의 유사한 질감 정보들 중에서 노말 정보에 대응되는 해상도의 질감 정보를 검색한다.
다른 측면에 따르면, 단계(S430)에서 3D 오브젝트 렌더링 장치는 데이터베이스에 저장된 서로 다른 해상도의 유사한 질감 정보들 중에서 2D 이미지의 해상도를 고려하여 질감 정보를 검색할 수 있다.
이상 단계(S410)으로부터 단계(S440)까지 산출된 질감 정보는 초기화된 노말 정보에 기반하여 산출된 것이다. 단계(S410)에서 노말 정보는 사람의 얼굴에 대한 일반적인 형태를 이용하여 초기화되었으므로, 2D 이미지에 도시된 사람의 얼굴의 노말 정보와는 상이하다.
단계(S440)에서 3D 이미지 렌더링 장치는 산출된 질감 정보에 기반하여 노말 정보를 업데이트한다.
3D 이미지 렌더링 장치는 업데이트된 노말 정보에 기반하여 질감 정보를 다시 추출하여 업데이트하고, 업데이트된 질감 정보에 기반하여 다시 노말 정보를 업데이트할 수 있다.
일실시예에 따르면 3D 이미지 렌더링 장치는 소정의 횟수만큼 노말 정보를 업데이트할 수 있다.
다른 실시예에 따르면 3D 이미지 렌더링 장치는 수학식 1에서 산출된 오차가 소정의 임계값 이하가 될 때까지 노말 정보와 질감 정보를 반복하여 업데이트할 수 있다.
단계(S450)에서 3D 오브젝트 렌더링 장치는 단계(S430)에서 검색된 질감 정보를 고해상도의 질감 정보로 대체한다. 3D 오브젝트 렌더링 장치는 단계(S440)에서 노말 정보를 업데이트하고, 단계(S450)에서 단계(S430)에서 검색된 질감 정보를 업데이트된 노말 정보에 대응되는 고해상도의 질감 정보로 대체할 수 있다.
단계(S130)에서 3D 오브젝트 렌더링 장치는 2D 이미지로부터 3D 오브젝트를 생성한다. 일실시예에 따르면 3D 오브젝트 렌더링 장치는 노말정보를 적분하여 3D 오브젝트를 생성할 수 있다.
단계(S140)에서 3D 오브젝트 렌더링 장치는 3D 오브젝트를 렌더링한다. 일실시예에 따르면 3D 오브젝트 렌더링 장치는 2D 이미지로부터 추출한 광원 정보 및 질감 정보에 기반하여 3D 오브젝트를 렌더링 할 수 있다.
도 5는 본 발명에 따른 3D 오브젝트 렌더링 장치의 구조를 도시한 블록도이다.
3D 오브젝트 렌더링 장치(500)는 광원 정보 추출부(510), 질감 정보 추출부(520), 3D 오브젝트 생성부(530) 및 렌더링부(540)를 포함할 수 있다.
광원 정보 추출부(510)는 2D 이미지로부터 2D 이미지의 광원 정보를 추출한다. 광원 정보 추출부(510)의 상세한 구성에 대해서는 이하 도 6에서 설명하기로 한다.
도 6은 광원 정보 추출부의 상세한 구조를 도시한 블록도이다. 광원 정보 추출부(510)는 이미지 분할부(610), 광원 그룹핑부(620) 및 대표 광원 생성부(630)를 포함할 수 있다.
이미지 분할부(610)는 2D 이미지를 복수의 영역으로 분할한다. 일실시예에 따르면 이미지 분할부(610)는 2D 이미지에 대하여 복수의 제어점을 설정할 수 있다. 제어점은 2D 이미지의 특징을 나타내는 점이다. 2D 이미지가 사람의 얼굴을 나타내는 경우에, 사람의 눈의 위치, 입의 위치 등을 나타내는 점이 제어점이 될 수 있다. 이미지 분할부(610)는 2D 이미지 중에서 유사한 특성을 가지는 영역을 각 제어점에 대한 유사 영역으로 설정할 수 있다.
광원 그룹핑부(620)는 각 영역에 대하여 광원의 방향을 추정하고, 각 광원들을 적어도 하나 이상의 그룹으로 구분한다. 각 영역에 대한 광원의 방향은 미세하게 다를 수 있다. 광원 그룹핑부(620)는 유사한 방향에 위치한 광원들을 하나의 그룹으로 구분할 수 있다.
대표 광원 생성부(630)는 각 그룹에 대하여 대표 광원을 생성할 수 있다. 각 그룹을 대표할 수 있는 광원만을 고려하여 3D 오브젝트를 렌더링 한다면 개별적인 광원을 모두 고려하여 3D 오브젝트를 렌더링 하는 것보다 훨씬 더 간단하게 3D 오브젝트를 렌더링할 수 있다.
대표 광원 생성부(630)는 각 그룹에 포함된 광원들의 방향을 평균하여 대표 광원의 방향을 설정할 수 있다. 또한, 대표 광원 생성부(630)는 설정된 대표 광원의 세기를 산출할 수 있다. 일실시예에 따르면, 대표 광원 생성부(630)는 각 그룹에 포함된 광원의 개수에 비례하여 대표 광원의 세기를 산출할 수 있다.
대표 광원 생성부(630)는 대표 광원의 방향 및 세기를 2D 이미지에 대한 광원 정보로서 추출할 수 있다.
질감 정보 추출부(520)는 광원 정보에 기반하여 질감 정보 데이터 베이스(550)로부터 2D 이미지에 대한 질감 정보를 추출한다. 일실시예에 따르면 질감 정보는 2D 영상과 관련된 텍스쳐(texture) 정보, 반짝임(specular) 정보, 내부 반사(scattering) 정보 중에서 적어도 하나를 포함할 수 있다.
질감 정보 추출부(520)의 상세한 구성에 대해서는 도 7에서 설명하기로 한다.
도 7은 질감 정보 추출부의 상세한 구조를 도시한 블록도이다. 질감 정보 추출부(520)은 질감 정보 산출부(710) 및 질감 정보 검색부(720)를 포함할 수 있다.
질감 정보 산출부(710)는 3D 오브젝트에 대한 노말 정보를 초기화 한다. 2D 이미지가 사람의 얼굴을 나타내는 경우에, 노말 정보는 사람의 얼굴에 대한 표준 모형 또는사람 얼굴의 일반적인 형태를 이용하여 초기화될 수 있다.
질감 정보 산출부(710)는 초기화된 노말 정보 및 광원 정보에 기반하여 제1 질감 정보를 산출한다. 질감 정보 산출부(710)는 하기 수학식 2에 따라서 제1 질감 정보를 산출할 수 있다.
Figure pat00006
Figure pat00007
는 2D 이미지이고,
Figure pat00008
는 제1 질감 정보,
Figure pat00009
는 노말 정보를 포함하는 노말 벡터,
Figure pat00010
은 광원 정보를 포함하는 광원 벡터이다.
질감 정보 산출부(710)는 수학식 1에 따라서 3D 이미지와의 오차가 최소가 되는 제1 질감 정보를 산출한다. 일실시예에 따르면 제1 질감 정보는 텍스쳐 정보일 수 있다.
질감 정보 검색부(720)는 질감 정보 데이터벡이스에서 질감 정보를 검색한다.
일실시예에 따르면 데이터 베이스는 복수의 질감 정보를 서로 연관시켜 질감 정보 셋으로 저장할 수 있다. 동일한 질감 정보 셋에 포함된 질감 정보들의 인덱스는 동일하다. 즉, 질감 정보 데이터베이스(550)는 동일한 샘플 이미지에서 추출한 각각의 질감 정보들을 서로 동일한 인덱스로 연관시켜 저장할 수 있다.
질감 정보 데이터베이스(550)가 수많은 샘플 이미지에서 추출한 질감 정보를을 저장한다면, 질감 정보 검색부(720)는 2D 이미지와 유사한 제1 질감 정보를 가지는 질감 정보 셋을 쉽게 검색할 수 있다.
예를 들어 질감 정보 산출부(710)는 제1 질감 정보로서 텍스쳐 정보를 산출할 수 있다. 질감 정보 검색부(720)는 산출된 텍스쳐 정보와 가장 유사한 텍스쳐 정보를 질감 정보 데이터 베이스에서 검색할 수 있다. 질감 정보 검색부(720)는 검색된 텍스쳐 정보의 인덱스에 상응하는 반짝임 정보 또는 내부 반사 정보를 제2 질감 정보로서 검색할 수 있다. 검색된 반짝임 정보의 인덱스 또는 내부 반사 정보의 인덱스는 검색된 텍스쳐 정보의 인덱스와 동일하다.
즉, 질감 정보 데이터베이스(550)는 검색된 텍스쳐 정보, 검색된 반짝임 정보 및 검색된 내부 반사 정보, 그리고 각 텍스쳐, 반짝임, 내부 반사의 고해상도 정보를 동일한 질감 정보 셋으로 구분하여 저장할 수 있다.
또 다른 실시예에 따르면, 질감 정보 데이터베이스는 복수의 해상도에 따른 질감 정보들을 개별적으로 저장한다. 즉, 질감 정보 데이터베이스는 3D 오브젝트를 렌더링하기 위한 유사한 질감 정보들을 여러 가지 해상도에 따라서 복수개를 저장할 수 있다.
일측에 따르면, 질감 정보 검색부(720)는 질감 정보 데이터베이스에 저장된 복수의 질감 정보들 중에서 초기화된 노말 정보에 대응되는 해상도의 질감 정보를 검색할 수 있다.
다른 측면에 따르면, 질감 정보 검색부(720)는 질감 정보 데이터베이스에 저장된 복수의 질감 정보들 중에서 2D 이미지의 해상도를 고려하여 질감 정보를 검색할 수 있다.
노말 정보는 사람의 얼굴에 대한 일반적인 형태를 이용하여 초기화 되었으므로, 2D 이미지에 도시된 사람의 얼굴의 실제 노말 정보와는 상이할 수 있다. 질감 정보 산출부(710)는 검색된 질감 정보에 기반하여 노말 정보를 업데이트한다.
질감 정보 산출부(710)는 검색된 질감 정보에 기반하여 노말 정보를 업데이트하고, 질감 정보 검색부(720)는 업데이트된 노말 정보에 기반하여 질감 정보를 재검색할 수 있다. 즉, 질감 정보 검색부(720)는 초기화된 노말 정보에 기반하여 검색된 질감 정보를, 업데이트된 노말 정보에 대응되는 고해상도의 질감 정보로 대체할 수 있다.
일실시예에 따르면, 수학식 2에 따라서 산출되는 오차가 소정의 임계치 이하가 될 때까지 질감 정보 산출부(710) 및 질감 정보 검색부(710)는 노말 정보를 업데이트하고, 질감 정보를 재검색할 수 있다.
다른 실시예에 따르면 소정의 횟수만큼 질감 정보 산출부(710) 및 질감 정보 검색부(710)는 노말 정보를 업데이트하고, 질감 정보를 재검색할 수 있다.
3D 오브젝트 생성부(530)는 2D 이미지로부터 3D 오브젝트를 생성한다. 일실시예에 따르면 3D 오브젝트 생성부(530)는 노말 정보를 적분하여 3D 오브젝트를 생성할 수 있다.
렌더링부(540)는 광원 정보 및 질감 정보에 기반하여 3D 오브젝트를 렌더링한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
본 발명의 일실시예에 따른 3D 오브젝트 렌더링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 2D 이미지로부터 상기 2D 이미지의 광원 정보를 추출하는 단계;
    상기 광원 정보에 기반하여 질감 정보 데이터베이스로부터 상기 2D 이미지에 대한 질감 정보를 추출하는 단계;
    상기 2D 이미지로부터 3D 오브젝트를 생성하는 단계; 및
    상기 광원 정보 및 상기 질감 정보에 기반하여 상기 3D 오브젝트를 렌더링하는 단계
    를 포함하는 3D 오브젝트 렌더링 방법.
  2. 제1항에 있어서, 상기 질감 정보는
    상기 2D 영상과 관련된 텍스쳐(texture) 정보, 반짝임(specular) 정보, 내부 반사(scattering) 정보 중에서 적어도 하나를 포함하는 3D 오브젝트 렌더링 방법.
  3. 제1항에 있어서, 상기 광원 정보를 추출하는 단계는,
    상기 2D 이미지를 복수의 영역으로 분할하는 단계;
    상기 복수의 영역 각각에 대한 광원의 방향을 추정하는 단계
    상기 각 광원을 적어도 하나 이상의 그룹으로 구분하는 단계
    를 포함하는 3D 오브젝트 렌더링 방법.
  4. 제3항에 있어서, 상기 광원 정보를 추출하는 단계는,
    상기 각 그룹에 대하여 하나의 대표 광원을 생성하는 단계; 및
    상기 대표 광원의 세기를 산출하고, 상기 대표 광원의 방향 및 세기를 상기 광원 정보로 추출하는 단계
    를 더 포함하는 3D 오브젝트 렌더링 방법.
  5. 제1항에 있어서, 상기 질감 정보를 추출하는 단계는,
    상기 3D 오브젝트에 대한 노말(normal) 정보를 초기화하는 단계;
    상기 노말 정보 및 상기 광원 정보에 기반하여 상기 질감 정보 데이터베이스로부터 질감 정보를 검색하는 단계; 및
    상기 검색된 질감 정보에 기반하여 상기 노말 정보를 업데이트하는 단계
    를 포함하는 3D 오브젝트 렌더링 방법.
  6. 제5항에 있어서,
    상기 질감 정보 데이터베이스는 복수의 질감 정보를 서로 연관시켜 저장하고,
    상기 질감 정보 데이터베이스로부터 질감 정보를 검색하는 단계는,
    상기 노말 정보 및 상기 광원 정보에 기반하여 제1 질감 정보를 산출하는 단계;
    상기 제1 질감 정보의 인덱스를 이용하여 상기 제1 질감 정보와 연관된 제2 질감 정보를 검색하는 단계
    를 더 포함하는 3D 오브젝트 렌더링 방법.
  7. 제5항에 있어서,
    상기 질감 정보 데이터 베이스는 복수의 해상도에 따른 질감 정보들을 개별적으로 저장하고,
    상기 질감 정보를 검색하는 단계는 상기 저장된 질감 정보들 중에서 상기 노말 정보에 대응되는 해상도의 질감 정보를 검색하는 3D 오브젝트 렌더링 방법.
  8. 제7항에 있어서,
    상기 질감 정보를 검색하는 단계는 상기 2D 이미지의 해상도를 고려하여 상기 질감 정보를 검색하는 3D 오브젝트 렌더링 방법.
  9. 제7항에 있어서,
    상기 검색된 질감 정보를 상기 저장된 질감 정보들 중에서 상기 업데이트된 노말 정보에 대응되는 고해상도의 질감 정보로 대체하는 단계
    를 더 포함하는 3D 오브젝트 렌더링 방법.
  10. 제1항 내지 제9항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  11. 2D 이미지로부터 상기 2D 이미지의 광원 정보를 추출하는 광원 정보 추출부;
    상기 광원 정보에 기반하여 질감 정보 데이터베이스로부터 상기 2D 이미지에 대한 질감 정보를 추출하는 질감 정보 추출부;
    상기 2D 이미지로부터 3D 오브젝트를 생성하는 3D 오브젝트 생성부; 및
    상기 광원 정보 및 상기 질감 정보에 기반하여 상기 3D 오브젝트를 렌더링하는 렌더링부
    를 포함하는 3D 오브젝트 렌더링 장치.
  12. 제11항에 있어서, 상기 질감 정보는
    상기 2D 영상과 관련된 텍스쳐(texture) 정보, 반짝임(specular) 정보, 내부 반사(scattering) 정보 중에서 적어도 하나를 포함하는 3D 오브젝트 렌더링 장치.
  13. 제11항에 있어서, 상기 광원 정보 추출부는,
    상기 2D 이미지를 복수의 영역으로 분할하는 이미지 분할부; 및
    상기 복수의 영역 각각에 대한 광원의 방향을 추정하고, 상기 각 광원을 적어도 하나 이상의 그룹으로 구분하는 광원 그룹핑부
    를 포함하는 3D 오브젝트 렌더링 방법.
  14. 제13항에 있어서, 상기 광원 정보 추출부는
    상기 각 그룹에 대하여 하나의 대표 광원을 생성하고, 상기 대표 광원의 세기를 산출하고, 상기 대표 광원의 방향 및 세기를 상기 광원 정보로 추출하는 대표 광원 생성부
    를 더 포함하는 3D 오브젝트 렌더링 장치.
  15. 제11항에 있어서, 상기 질감 정보 추출부는,
    상기 3D 오브젝트에 대한 노말(normal) 정보를 초기화하는 질감 정보 산출부;
    상기 노말 정보 및 상기 광원 정보에 기반하여 상기 질감 정보 데이터베이스로부터 질감 정보를 검색하는 질감 정보 검색부
    를 포함하고,
    상기 질감 정보 산출부는 상기 검색된 질감 정보에 기반하여 상기 노말 정보를 업데이트하는 3D 오브젝트 렌더링 장치.
  16. 제15항에 있어서,
    상기 질감 정보 데이터베이스는 복수의 질감 정보 및 고해상도 질감 정보를 서로 연관시켜 저장하고,
    질감 정보를 검색부는 상기 노말 정보 및 상기 광원 정보에 기반하여 제1 질감 정보를 산출하고, 상기 제1 질감 정보의 인덱스를 이용하여 상기 제1 질감 정보와 연관된 제2 질감 정보 및 제1, 제2 질감의 고해상도 정보를 검색하는 3D 오브젝트 렌더링 장치.
  17. 제15항에 있어서,
    상기 질감 정보 데이터 베이스는 복수의 해상도에 따른 질감 정보들을 개별적으로 저장하고,
    상기 질감 정보 검색부는 상기 저장된 질감 정보들 중에서 상기 노말 정보에 대응되는 해상도의 질감 정보를 검색하는 3D 오브젝트 렌더링 장치.
  18. 제17항에 있어서,
    상기 질감 정보 검색부는 상기 2D 이미지의 해상도를 고려하여 상기 질감 정보를 검색하는 3D 오브젝트 렌더링 장치.
  19. 제17항에 있어서,
    질감 정보 검색부는 상기 검색된 질감 정보를 상기 저장된 질감 정보들 중에서 상기 업데이트된 노말 정보에 대응되는 고해상도의 질감 정보로 대체하는 3D 오브젝트 렌더링 방법.
KR1020100083561A 2009-11-13 2010-08-27 3ｄ 오브젝트 렌더딩 방법 및 장치 KR20110053166A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/926,373 US8792708B2 (en) 2009-11-13 2010-11-12 Method and apparatus for rendering a three-dimensional object from a two-dimensional image
US14/322,126 US9443345B2 (en) 2009-11-13 2014-07-02 Method and apparatus for rendering three-dimensional (3D) object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090109733 2009-11-13
KR20090109733 2009-11-13

Publications (1)

Publication Number Publication Date
KR20110053166A true KR20110053166A (ko) 2011-05-19

Family

ID=44362914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100083561A KR20110053166A (ko) 2009-11-13 2010-08-27 3ｄ 오브젝트 렌더딩 방법 및 장치

Country Status (2)

Country Link
US (2) US8792708B2 (ko)
KR (1) KR20110053166A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
KR20160010780A (ko) * 2014-07-18 2016-01-28 주식회사 핀그램 3d 이미지 제공 시스템 및 그 제공방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110053166A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 3ｄ 오브젝트 렌더딩 방법 및 장치
KR101522399B1 (ko) * 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
US9179091B2 (en) 2013-03-15 2015-11-03 Google Inc. Avoiding flash-exposed frames during video recording
US9600904B2 (en) 2013-12-30 2017-03-21 Samsung Electronics Co., Ltd. Illuminating a virtual environment with camera light data
US9396571B2 (en) * 2014-02-10 2016-07-19 International Business Machines Corporation Simplified lighting compositing
WO2015144209A1 (en) 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
US9245358B2 (en) 2014-05-30 2016-01-26 Apple Inc. Systems and methods for generating refined, high fidelity normal maps for 2D and 3D textures
USD792791S1 (en) 2015-12-01 2017-07-25 Black & Decker Inc. Stud sensor
US10524592B2 (en) 2015-12-01 2020-01-07 Black & Decker Inc. Picture hanging device
TWI603287B (zh) 2016-11-11 2017-10-21 財團法人工業技術研究院 虛擬物件之影像合成方法與裝置
WO2020167573A1 (en) * 2019-02-15 2020-08-20 Xliminal, Inc. System and method for interactively rendering and displaying 3d objects
US11538216B2 (en) * 2019-09-03 2022-12-27 Adobe Inc. Dynamically estimating light-source-specific parameters for digital images using a neural network
WO2021171982A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 画像処理装置、３ｄモデルの生成方法、学習方法およびプログラム
US11847736B2 (en) * 2021-04-22 2023-12-19 Shopify Inc. Systems and methods for modifying lighting in three-dimensional models
US11321899B1 (en) 2021-05-28 2022-05-03 Alexander Dutch 3D animation of 2D images
CN116347003B (zh) * 2023-05-30 2023-08-11 湖南快乐阳光互动娱乐传媒有限公司 一种虚拟灯光实时渲染方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636627B1 (en) * 1999-07-12 2003-10-21 Fuji Photo Film Co., Light source direction estimating method and apparatus
US6765573B2 (en) 2000-10-26 2004-07-20 Square Enix Co., Ltd. Surface shading using stored texture map based on bidirectional reflectance distribution function
JP3901644B2 (ja) 2003-01-30 2007-04-04 株式会社東芝 テクスチャ画像圧縮装置及び方法、テクスチャ画像抽出装置及び方法、データ構造、記憶媒体
JP4506245B2 (ja) 2004-03-31 2010-07-21 花王株式会社 肌のシミュレーション画像形成方法
US7133048B2 (en) 2004-06-30 2006-11-07 Mitsubishi Electric Research Laboratories, Inc. Variable multilinear models for facial synthesis
US7319467B2 (en) 2005-03-29 2008-01-15 Mitsubishi Electric Research Laboratories, Inc. Skin reflectance model for representing and rendering faces
US7415152B2 (en) 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
JP2007299070A (ja) 2006-04-27 2007-11-15 Toshiba Corp 顔形状モデル生成装置及びその方法
US8009880B2 (en) 2007-05-11 2011-08-30 Microsoft Corporation Recovering parameters from a sub-optimal image
KR100896643B1 (ko) 2007-06-18 2009-05-08 에스케이 텔레콤주식회사 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
US20090016214A1 (en) 2007-07-12 2009-01-15 Allied Telesis Holdings K.K. Method and system for network recovery from multiple link failures
JP4886645B2 (ja) 2007-09-20 2012-02-29 日本放送協会 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
US8094964B2 (en) * 2007-10-26 2012-01-10 Adobe Systems Incorporated Methods and systems for estimating illumination source characteristics from a single image
JP4999731B2 (ja) 2008-02-29 2012-08-15 セコム株式会社 顔画像処理装置
US8463072B2 (en) * 2008-08-29 2013-06-11 Adobe Systems Incorporated Determining characteristics of multiple light sources in a digital image
KR20110053166A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 3ｄ 오브젝트 렌더딩 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
KR20160010780A (ko) * 2014-07-18 2016-01-28 주식회사 핀그램 3d 이미지 제공 시스템 및 그 제공방법

Also Published As

Publication number Publication date
US20140313201A1 (en) 2014-10-23
US20120008854A1 (en) 2012-01-12
US8792708B2 (en) 2014-07-29
US9443345B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
KR20110053166A (ko) 3ｄ 오브젝트 렌더딩 방법 및 장치
EP2182469B1 (en) System and method for sensing facial gesture
KR102033262B1 (ko) 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체
CN103577793B (zh) 手势识别方法及装置
CN105493078B (zh) 彩色草图图像搜索
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN110765923A (zh) 一种人脸活体检测方法、装置、设备及存储介质
US11842514B1 (en) Determining a pose of an object from rgb-d images
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
KR20130073812A (ko) 객체 포즈 추정을 위한 장치 및 방법
KR20190054782A (ko) 머신 러닝의 학습성능 강화장치 및 방법
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
KR20120038616A (ko) 마커리스 실감형 증강현실 제공 방법 및 시스템
CN112862807A (zh) 基于头发图像的数据处理方法及装置
CN115362478A (zh) 用于标记图像之间的空间关系的强化学习模型
KR102068489B1 (ko) 3차원 객체 생성 장치
CN104488264A (zh) 使用多视点图像的差异信息来估计图像运动的方法和装置
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
JP2006260311A (ja) マッチング方法およびマッチング装置ならびにプログラム
Gao et al. 3d face reconstruction from volumes of videos using a mapreduce framework
CN115272057A (zh) 卡通素描图像重构网络的训练及其重构方法与设备
Yasuda et al. Motion belts: Visualization of human motion data on a timeline
US11954899B2 (en) Systems and methods for training models to predict dense correspondences in images using geodesic distances
US11954943B2 (en) Method for generating synthetic data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application