KR20140010708A - 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법 - Google Patents

Abstract

본 발명은, 대상 물체를 다양한 각도에서 촬영한 복수의 컬러 영상을 기초로 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 매핑될 고화질 텍스쳐를 생성하는 텍스쳐 생성 장치 및 방법에 관한 것으로, 본 발명에 따르면, 상대적으로 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있으며, 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 사실감을 높여주고, 나아가 해당 대상 물체가 포함되는 디지털 영상 전체의 품질을 개선할 수 있다.

Description

대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법{Apparatus and method for generating texture for three dimensional mesh model of target object}

본 발명은, 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법에 관한 것으로서, 대상 물체를 다양한 각도에서 촬영한 복수의 컬러 영상을 기초로 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 매핑될 고화질 텍스쳐를 생성하는 텍스쳐 생성 장치 및 방법에 관한 것이다.

고화질의 디지털 영상을 제작하는 과정에서는, 디지털 영상 속의 대상 물체의 3차원 형태를 나타내는 3차원 모델에 사실감을 부여하기 위해, 3차원 모델에 대한 텍스쳐 매핑을 수행하는 것이 중요하다.

이처럼 3차원 모델에 매핑할(입힐) 텍스쳐를 생성함에 있어서, 대상 물체를 카메라로 촬영한 영상을 사용할 경우에, 그 촬영 각도에 따라, 대상 물체의 컬러 정보의 일부분만이 영상 각각에 나뉘어 담기기 때문에, 3차원 모델 전체에 입힐 텍스쳐를 생성하기 위해서는 여러 각도에서 촬영한 복수의 컬러 영상들을 합성할 필요가 있다.

종래에는 3차원 모델에 매핑할 텍스쳐를 생성하기 위해서는, 여러 장의 컬러 영상들을 각 영상마다 가중치를 부과하여 가중평균(weighted average)을 통해 텍스쳐를 생성하거나, 최적화(optimization) 과정을 통해 메쉬 모델의 삼각평면(triangular face)마다 사상(mapping)되는 텍스쳐 영역을 여러 장의 입력 컬러 영상으로부터 찾아내는 기술들이 사용되었으나, 전자는 빠른 시간에 3차원 모델을 위한 텍스쳐를 생성할 수 있는 장점이 있지만, 3차원 모델의 기하학적 구조가 부정확할 경우 텍스쳐가 뚜렷하게 생성되지 않고 번짐 현상이 발생하게 된다는 단점이 있으며, 후자는 생성되는 텍스쳐의 화질은 좋지만, 텍스쳐 생성에 많은 시간이 소요되는 단점이 있다.

따라서, 비교적 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있는 텍스쳐 생성 기술이 요구되는 실정이다.

본 발명이 이루고자 하는 기술적 과제는, 비교적 짧은 시간으로도 대상 물체를 다양한 각도에서 촬영한 복수의 컬러 영상을 기초로 대상 물체의 3차원 메쉬 모델에 매핑될 고화질 텍스쳐를 생성할 수 있는 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법을 제공하는 데에 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 메쉬 모델의 텍스쳐 생성 장치는 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 속한 복수의 단위 폴리곤들을 2차원 공간 상에 펼쳐서 복수의 차트들을 갖는 참조 UV 지도를 생성하는 참조 UV 지도 생성부; 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 화소 단위로 참조 UV 지도의 2차원 공간에 매핑시켜 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성부; 복수의 컬러 UV 지도들 중에서 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑부; 및 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성하는 3차원 모델 텍스쳐 생성부를 포함한다.

보다 바람직하게는, 참조 UV 지도의 차트는 3차원 메쉬 모델의 곡률에 따라 절단되어 분리된 부분영역일 수 있다.

보다 바람직하게는, 컬러 UV 지도 생성부는 3차원 메쉬 모델의 3차원 좌표와 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 3차원 메쉬 모델과 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 컬러 UV 지도를 생성할 수 있다.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑부는 참조 UV 지도의 차트 각각에 대하여 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 차트 각각에 대응되는 키프레임으로 선택할 수 있다.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑부는 현재 매핑된 제1텍스쳐 및 제1텍스쳐가 매핑되기 이전에 매핑되어 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐를 서로 합성할 수 있다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 메쉬 모델의 텍스쳐 생성 방법은 3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델을 입력받는 단계; 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 복수의 차트들로 구성된 참조 UV 지도를 생성하는 단계; 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 단계; 컬러 영상들의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성 단계; 복수의 컬러 UV 지도들 중에서 참조 UV 지도에 속한 차트 내에 텍스쳐가 매핑되지 않은 영역에 대응하는 키프레임을 선택하고, 선택된 키프레임을 기초로 참조 UV 지도에 속한 차트 내에서 키프레임에 대응되는 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑 단계; 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑된 때까지 참조 UV 지도 텍스트 매핑 단계를 반복하여 수행하는 단계; 및 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성하는 단계를 포함한다.

보다 바람직하게는, 참조 UV 지도의 차트는 3차원 메쉬 모델의 곡률에 따라 절단되어분리된 부분영역일 수 있다.

보다 바람직하게는, 컬러 UV 지도 생성 단계는 3차원 메쉬 모델의 3차원 좌표와 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 3차원 메쉬 모델과 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 컬러 UV 지도를 생성할 수 있다.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑 단계는 참조 UV 지도의 차트 각각에 대하여 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 차트 각각에 대응되는 키프레임으로 선택할 수 있다.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑 단계는 현재 매핑된 제1텍스쳐 및 제1텍스쳐가 매핑되기 이전에 매핑되어 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐를 서로 합성할 수 있다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 메쉬 모델의 텍스쳐를 생성하는 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체는, 3차원 메쉬 모델을 입력받는 기능; 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 복수의 차트들로 구성된 참조 UV 지도를 생성하는 기능; 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 기능; 컬러 영상들의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 기능; 복수의 컬러 UV 지도들 중에서 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 기능; 및 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성하는 기능를 포함하는 것을 특징으로 하는 프로그램을 수록한다.

본 발명에 따르면, 상대적으로 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있다. 이를 통해, 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 사실감을 높여주고, 나아가 해당 대상 물체가 포함되는 디지털 영상 전체의 품질을 개선할 수 있다.

도 1는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 방법의 흐름을 도시한 도면이다.
도 3은 본 발명의 바람직한 일실시예에 따라 생성되는 참조 UV 지도 및 컬러 UV 지도를 예시한 도면이다.
도 4는 본 발명의 바람직한 일실시예에 따라 참조 UV 지도의 각 차트별로 키프레임이 선정되는 과정을 예시한 도면이다.
도 5는 본 발명의 바람직한 일실시예에 따라 키프레임에 대응되는 참조 UV 지도의 영역에 텍스쳐를 매핑하는 과정을 예시한 도면이다.
도 6은 본 발명의 바람직한 일실시예에 따라 키프레임 기반의 텍스쳐 매핑 과정을 반복 수행한 결과들을 예시한 도면이다.
도 7은 본 발명의 바람직한 일실시예에 따라 3차원 모델의 텍스쳐를 생성한 결과를 예시한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 장치의 구성을 도시한 도면이다.

도 1을 참조하면, 본 실시예에 따른 3차원 모델의 텍스쳐 생성 장치는 참조 UV 지도 생성부(110), 컬러 UV 지도 생성부(120), 참조 UV 지도 텍스쳐 매핑부(130) 및 3차원 모델 텍스쳐 생성부(140)를 포함한다.

참조 UV 지도 생성부(110)는 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 속한 복수의 단위 폴리곤들을 2차원 공간 상에 펼쳐서 복수의 차트들을 갖는 참조 UV 지도를 생성한다.

본 실시예에서의 3차원 메쉬 모델은 3차원 좌표를 갖는 복수의 단위 폴리곤들을 연결하여 3차원 공간 상에서 대상 물체의 3차원 형체를 정의하는 모델을 가리키며, 일반적으로 단위 폴리곤으로는 삼각형을 주로 사용하나, 이는 하나의 실시예에 불과하며, 본 발명은 이에 한정되는 것은 아니라고 할 것이다.

본 실시예에서의 참조 UV 지도는 3차원 메쉬 모델을 surface parametrization 기법을 이용하여 2차원 좌표 공간 상에 펼쳐 놓은 UV 지도를 가리키며, 이처럼 3차원 좌표 공간의 모델을 2차원 좌표 공간으로 변환하는 과정에서 왜곡이 발생하게 되고, 이러한 왜곡을 줄이기 위해, 3차원 메쉬 모델의 곡률에 따라 굴곡이 심한 부분을 절단함으로써 여러 개의 차트(영역)으로 분리하여 2차원 좌표 공간에 펼쳐놓게 된다.

컬러 UV 지도 생성부(120)는 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 화소 단위로 참조 UV 지도의 2차원 공간에 매핑시켜 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성한다.

본 실시예에 따른 참조 UV 지도 생성부(110)에서 3차원 메쉬 모델을 2차원 참조 UV 지도로 변환하는 과정에서 3차원 메쉬 모델의 3차원 좌표와 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계에 대한 정보가 생성되게 된다.

또한, 3차원 메쉬 모델의 경우에는 대상 물체에 대하여 여러 각도에서 촬영한 영상과 3차원 메쉬 모델 간의 좌표 변환 관계에 대한 정보를 내재하는 것이 일반적이다.

따라서, 컬러 UV 지도 생성부(120)는 참조 UV 지도 생성부(110)로부터 이러한 좌표 변환 관계에 대한 정보를 획득하거나, 이러한 미리 저장된 좌표 변환 관계에 대한 정보를 이용하여 컬러 영상들의 화소들을 참조 UV 지도의 2차원 공간과 동일한 2차원 좌표 공간에 매핑시켜 컬러 영상들 각각에 대응하는 컬러 UV 지도들을 생성할 수 있다.

참조 UV 지도 텍스쳐 매핑부(130)는 참 컬러 UV 지도 생성부(120)에서 생성된 복수의 컬러 UV 지도들을 기초로 참조 UV 지도 생성부(110)에서 생성된 참조 UV 지도에 텍스쳐를 매핑한다.

좀더 구체적으로 살펴보면, 참조 UV 지도 텍스쳐 매핑부(130)는 복수의 컬러 UV 지도들 중에서 참조 UV 지도의 차트별로, 차트 각각에 대응되는 키프레임 을 선택한다.

이 때, 차트별로 텍스쳐 매핑을 수행하는 것을 보다 원활하게 하기 위해, 연결요소추출(Connected components extraction) 기법 등을 사용하여 차트 각각에 번호를 붙여서 구분할 수 있다.

본 실시예에서의 차트 각각에 대응되는 키프레임은 해당 차트에 속하는 영역의 컬러 정보를 가장 많이 포함하고 있는 컬러 UV 지도를 가리키며, 가장 간단하게는, 해당 차트와 컬러 UV 지도가 겹치는 영역의 넓이를 계산하여, 그 넓이가 가장 큰 컬러 UV 지도를 키프레임으로 선택할 수 있다.

참조 UV 지도 텍스쳐 매핑부(130)는 차트 각각에 대응되는 키프레임을 기초로 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑할 수 있다.

즉, 참조 UV 지도 텍스쳐 매핑부(130)는 차트별로 선택된 키프레임을 기초로 키프레임에 대응되는 차트 내의 영역(해당 차트와 키프레임이 겹치는 영역)에 텍스쳐를 매핑하고, 이러한 키프레임 기반의 텍스쳐 매핑 과정을 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑될 때까지 반복함으로써, 참조 UV 지도의 텍스쳐 매핑을 완성할 수 있다.

이 과정에서, 매핑된 텍스쳐 간에 경계선이 형성되는 등 각기 다른 키프레임(컬러 UV 지도)으로부터 매핑된 텍스쳐들 간의 충돌이 발생할 수 있으므로, 이러한 충돌을 해소하기 위해, 텍스쳐들을 서로 자연스럽게 이어지도록 합성하는 과정이 요구되며, 이를 위한 알고리즘으로는 자동 이미지 편집 기법으로 푸아송 이미지 편집 기법이 대표적이나, 이는 하나의 실시예에 불과하며, 본 발명 자체가 이에 한정되는 것은 아니라고 할 것이다.

3차원 모델 텍스쳐 생성부(140)는 참조 UV 지도 텍스쳐 매핑부(130)를 통해 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성한다.

도 2는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 방법의 흐름을 도시한 도면으로, 본 실시예에 따른 3차원 모델의 텍스쳐 생성 방법은 도 1에 도시된 3차원 모델의 텍스쳐 생성 장치에서 수행될 수 있다. 따라서, 도 1에 도시된 3차원 모델의 텍스쳐 생성 장치에서와 동일한 사항에 대해서는 이를 참조한다.

도 2를 참조하면, 먼저 3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델을 입력받는다(S210).

S210 단계에서 입력받은 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 복수의 차트들로 구성된 참조 UV 지도를 생성한다(S220).

S210 내지 S220 단계들의 과정와 별도로, 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 복수의 컬러 영상을 입력받는다(S230).

본 실시예에서는 설명의 편의를 위해, (S210~S220)->(S230)의 순으로 기술하였으나, 이는 하나의 실시예에 불과하며, S210 내지 S220 단계들의 과정과 S230 단계는 서로 병렬적으로 혹은 동시에 수행되거나, 서로 순서를 바꾸어 수행되어도 무방하며, 본 발명은 이들의 수행 순서에 한정되지는 않는다고 할 것이다.

S230 단계에서 입력받은 복수의 컬러 영상들의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성한다(S240). 이때, 본 단계에서 생성되는 컬러 UV 지도들은 S230 단계에서 입력받은 컬러 영상들 각각에 일대일로 대응되는 것이 바람직하며, 따라서, S230 단계에서 K개의 컬러 영상들이 입력된 경우에 S240 단계에서 생성되는 컬러 UV 지도들의 개수는 K개인 것이 바람직하다.

S240 단계에서 생성된 복수의 컬러 UV 지도들 중에서 참조 UV 지도에 속한 차트 내에 텍스쳐가 매핑되지 않은(채워져 있지 않은) 영역에 대응하는 키프레임을 선택한다(S250)

S250 단계에서 선택된 키프레임을 기초로 참조 UV 지도에 속한 차트 내에서 키프레임에 대응되는 영역에 텍스쳐를 매핑한다(S260).

이때, 각각의 키프레임(컬러 UV 지도)의 경우에 컬러 UV 지도의 생성 기초가 된 컬러 영상을 촬영한 카메라의 자동 노출 조정(Auto Exposure) 기능으로 인해, 컬러 영상의 촬영 위치에 따라 영상의 색상이 서로 상이하게 인식될 수 있게 된다. 때문에, 서로 다른 촬영 각도에서 촬영한 복수의 컬러 영상들을 기초로 생성된 복수의 컬러 UV 지도들을 이용하여 텍스쳐를 매핑하는 경우에는 서로 다른 컬러 UV 지도들을 기초로 매핑된 텍스쳐들이 서로 만나는 부분에 부자연스러운 경계선(seam)이 발생할 수 있다. 뿐만 아니라, 3차원 모델의 기하학적 구조가 부정확한 경우에는, 키프레임(컬러 UV 지도)를 기초로 참조 UV 지도의 텍스쳐를 매핑할 경우 잘못된 위치에 텍스쳐가 매핑될 수 있고 이로 인해 텍스쳐들 사이에 부자연스러운 경계선이 발생할 수 있다. 따라서, 새로 매핑된 텍스쳐와 기존에 매핑되었던 텍스쳐들 사이에 경계 구분없이 자연스럽게 이어지도록 양자를 합성하는 것이 필요하다.

이에 따라, 본 실시예에서는, S260 단계에서 새로 매핑된 제1텍스쳐와 이러한 제1텍스쳐가 매핑되기 이전에 매핑되어 제1텍스쳐와 인접한 위치에 매핑되어 있는 제2텍스쳐 간에 경계선이 생기지 않도록 서로 합성한다(S270). S270 단계에서의 합성은 전술한 바와 같이 푸아송 영상 기법과 같은 자동 이미지 편집 기법을 이용하는 것이 바람직하다.

예컨대, 푸아송 영상 편집 기법은 하나의 소스 영상을 다른 하나의 타겟 영상에 붙일 때, 소스 영상과 타겟 영상 사이의 경계 부분이 타겟 영상의 컬러와 자연스럽게 이어지도록 소스 영상과 타겟 영상을 합성하여 경계선 없는 합성 영상(seamless cloning)을 생성한다.

푸아송 영상 편집 기법을 사용하여 텍스쳐들을 이을 경우에는 텍스쳐가 이어지는 부분에 대한 공간 좌표가 필요한데, 3차원 메쉬 모델 상에서는 텍스쳐들 사이에 이어지는 부분이, 2차원 UV 지도에서는 떨여져 표현될 수 있으므로, 3차원 메쉬 모델이 2차원 uv 지도로 변환될 때 사용한 매핑 관계 정보를 고려하여 2차원 UV 지도 상에서는 서로 인접하거나 이웃하지 않는 텍스쳐들이라도 3차원 메쉬 모델 상에서 인접하거나 이웃할 수 있는 텍스쳐들이면 푸아송 영상 편집 기법을 이용하여 합성될 수 있다.

참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑된 때까지 UV 지도 텍스쳐 매핑 단계(S250~S270)를 반복하여 수행함으로써(S280), 참조 UV 지도의 텍스쳐 매핑 작업을 완료한다.

S280 단계를 통과하여 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성한다(S290). 일반적으로 2차원 참조 UV 지도에 매핑된 텍스쳐를 3차원 메쉬 모델에 입히는 형태로 변환함으로써, 3차원 메쉬 모델의 텍스쳐를 생성 혹은 매핑할 수 있게 된다.

도 3은 본 발명의 바람직한 일실시예에 따라 생성되는 참조 UV 지도 및 컬러 UV 지도를 예시한 도면이다.

도 3을 참조하면, 본 실시예에서 참조 UV 지도(302)는 대상 물체의 3차원 메쉬 모델(301)을 구성하는 3차원 좌표의 삼각형 폴리곤들 중 굴곡이 심한 부분을 절단하여 복수의 차트(영역)들로 나누고, 이들을 2차원 좌표로 변환하여 2차원 공간 상에 펼쳐 놓은 형태로 생성된다. 이때, 참조 UV 지도(302)의 각 차트들은 복수 개의 삼각형 폴리곤들로 구성되며, 각 삼각형 폴리곤들의 꼭지점은 2차원 좌표를 갖게 된다.

본 실시예에서의 컬러 UV 지도들(304)은 대상 물체를 서로 다른 각도에서 촬영한 복수의 컬러 영상들(303)의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 생성될 수 있다.

복수의 컬러 영상들(303)을 화소 단위로 참조 UV 지도의 2차원 공간에 매핑시키는 과정에서, 3차원 메쉬 모델과 참조 UV 지도 간의 좌표 변환 정보 혹은 3차원 메쉬 모델 생성시 3차원 메쉬 모델과 소스 영상들 간의 좌표 변환 정보 등을 이용할 수 있다.

도 4는 본 발명의 바람직한 일실시예에 따라 참조 UV 지도의 각 차트별로 키프레임이 선정되는 과정을 예시한 도면이다.

도 4를 참조하면, 참조 UV 지도(401, 402)는 폴리곤들을 2차원 좌표 공간에 펼치는 과정에서 굴곡이 심한 부분을 절단하여 분리된 부분(영역)들을 차트라고 칭하며, 이러한 차트 분리는 연결요소추출기법과 같은 종래에 공지된 알고리즘을 통해 당업자가 용이하게 수행할 수 있으며, 본 발명에서는 차트 분리 알고리즘에 대하여 한정하지 않는다.

참조 UV 지도 내에서 분리된 각 차트별로 대응되는 키프레임(403, 404, 405)을 선택하여 매칭하게 된다. 전술한 바와 같이, 키프레임은 해당 차트에 속하는 영역의 컬러 정보를 가장 많이 포함하고 있는 컬러 UV 지도를 가리키며, 바람직하게는, 해당 차트와 컬러 UV 지도가 겹치는 영역의 넓이를 계산하여, 그 넓이가 가장 큰 컬러 UV 지도를 키프레임으로 선택할 수 있다.

도 5는 본 발명의 바람직한 일실시예에 따라 키프레임에 대응되는 참조 UV 지도의 영역에 텍스쳐를 매핑하는 과정을 예시한 도면이다.

도 5를 참조하면, 본 실시예에 따르면, 3차원 메쉬 모델로부터 생성된 참조 UV 지도(501)에, 참조 UV 지도의 각 차트에 대응하는 키프레임을 기초로 1차적으로 텍스쳐를 생성(매핑)한 결과(502)가 예시되며, 본 실시예에서 1차적으로 텍스쳐를 생성(매핑)한 경우라 하더라도 아직 텍스쳐가 입혀지지 않아 2차 혹은 3차적으로 차트별 텍스쳐 매핑 과정을 거쳐야할 영역(503)들이 존재할 수 있음을 나타낸다.

도 6은 본 발명의 바람직한 일실시예에 따라 키프레임 기반의 텍스쳐 매핑 과정을 반복 수행한 결과들을 예시한 도면이다.

도 6을 참조하면, 각 차트에 대응되는 키프레임을 이용하여 텍스쳐를 매핑하는 차트별 매핑 과정을 1회에 걸쳐서 수행한 경우에 텍스쳐가 생성된 결과 및 텍스쳐가 입혀지지 않은 영역(601)과, 이러한 차트별 매핑 과정을 2회에 걸쳐서 반복 수행한 결과(602) 및 이러한 차트별 매핑 과정을 3회에 걸쳐서 반복 수행한 결과(603)를 대비하면, 반복 수행 횟수가 증가할수록 텍스쳐 매핑이 되지 않은 참조 UV 지도의 영역이 줄어들게 된다. 따라서, 참조 UV 지도의 모든 영역에 대하여 텍스쳐 매핑이 완료될 때까지 차트별 매칭을 반복하는 경우에는 참조 UV 모델에 고화질의 텍스쳐 매핑을 완료할 수 있게 됨을 확인할 수 있다.

도 7은 본 발명의 바람직한 일실시예에 따라 3차원 모델의 텍스쳐를 생성한 결과를 예시한 도면이다.

도 7을 참조하면, 본 실시예에 따른 텍스쳐 생성 장치에 3차원 메쉬 모델(701) 및 복수의 컬러 영상(702)이 입력되면, 이러한 입력 데이터를 기초로 하여 텍스쳐가 생성되어 3차원 메쉬 모델에 매팽된 결과(703)가 출력되는 것을 나타낸다.

이처럼, 본 발명에 따라 3차원 모델의 텍스쳐를 생성하면, 상대적으로 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있다. 이를 통해, 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 사실감을 높여주고, 나아가 해당 대상 물체가 포함되는 디지털 영상 전체의 품질을 개선할 수 있다.

아울러, 본 발명에 따라 3차원 모델의 텍스쳐를 생성하는 과정은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (11)

1. 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 속한 복수의 단위 폴리곤들을 2차원 공간 상에 펼쳐서 복수의 차트들을 갖는 참조 UV 지도를 생성하는 참조 UV 지도 생성부;
   상기 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 화소 단위로 상기 참조 UV 지도의 2차원 공간에 매핑시켜 상기 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성부;
   상기 복수의 컬러 UV 지도들 중에서 상기 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 상기 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑부; 및
   상기 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 상기 3차원 메쉬 모델의 텍스쳐를 생성하는 3차원 모델 텍스쳐 생성부를 포함하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
2. 제1항에 있어서,
   상기 참조 UV 지도의 차트는 상기 3차원 메쉬 모델의 곡률에 따라 절단되어분리된 부분영역인 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
3. 제1항에 있어서,
   상기 컬러 UV 지도 생성부는 상기 3차원 메쉬 모델의 3차원 좌표와 상기 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 상기 3차원 메쉬 모델과 상기 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 상기 컬러 UV 지도를 생성하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
4. 제1항에 있어서,
   상기 참조 UV 지도 텍스쳐 매핑부는 상기 참조 UV 지도의 차트 각각에 대하여 상기 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 상기 차트 각각에 대응되는 키프레임으로 선택하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
5. 제1항에 있어서,
   상기 참조 UV 지도 텍스쳐 매핑부는 현재 매핑된 제1텍스쳐 및 상기 제1텍스쳐가 매핑되기 이전에 매핑되어 상기 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐를 서로 합성하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
6. 3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델을 입력받는 단계;
   상기 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 상기 복수의 차트들로 구성된 참조 UV 지도를 생성하는 단계;
   상기 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 단계;
   상기 컬러 영상들의 화소들을 각각 상기 참조 UV 지도의 2차원 공간에 매핑시켜 상기 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성 단계;
   상기 복수의 컬러 UV 지도들 중에서 상기 참조 UV 지도에 속한 차트 내에 텍스쳐가 매핑되지 않은 영역에 대응하는 키프레임을 선택하고, 선택된 키프레임을 기초로 상기 참조 UV 지도에 속한 차트 내에서 상기 키프레임에 대응되는 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑 단계;
   상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑된 때까지 상기 참조 UV 지도 텍스트 매핑 단계를 반복하여 수행하는 단계; 및
   상기 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 상기 3차원 메쉬 모델의 텍스쳐를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
7. 제6항에 있어서,
   상기 참조 UV 지도의 차트는 상기 3차원 메쉬 모델의 곡률에 따라 절단되어분리된 부분영역인 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
8. 제6항에 있어서,
   상기 컬러 UV 지도 생성 단계는 상기 3차원 메쉬 모델의 3차원 좌표와 상기 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 상기 3차원 메쉬 모델과 상기 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 상기 컬러 UV 지도를 생성하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
9. 제6항에 있어서,
   상기 참조 UV 지도 텍스쳐 매핑 단계는 상기 참조 UV 지도의 차트 각각에 대하여 상기 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 상기 차트 각각에 대응되는 키프레임으로 선택하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
10. 제6항에 있어서,
    상기 참조 UV 지도 텍스쳐 매핑 단계는 현재 매핑된 제1텍스쳐 및 상기 제1텍스쳐가 매핑되기 이전에 매핑되어 상기 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐를 서로 합성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
11. 3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 텍스쳐를 생성하는 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 3차원 메쉬 모델을 입력받는 기능;
    상기 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 상기 복수의 차트들로 구성된 참조 UV 지도를 생성하는 기능;
    상기 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 기능;
    상기 컬러 영상들의 화소들을 각각 상기 참조 UV 지도의 2차원 공간에 매핑시켜 상기 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 기능;
    상기 복수의 컬러 UV 지도들 중에서 상기 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 상기 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 기능; 및
    상기 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 상기 3차원 메쉬 모델의 텍스쳐를 생성하는 기능를 포함하는 것을 특징으로 하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체.

Images