KR102199458B1

KR102199458B1 - 3차원 컬러 메쉬 복원 방법 및 장치

Info

Publication number: KR102199458B1
Application number: KR1020170158234A
Authority: KR
Inventors: 김혜선; 강경규; 박창준; 반윤지; 유동완; 유정재; 이만희; 추창우
Original assignee: 한국전자통신연구원
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2021-01-06
Also published as: US10796496B2; KR20190060228A; US20190164351A1

Abstract

3차원 컬러 메쉬 복원 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 3차원 컬러 메쉬 복원 방법은, 객체의 메쉬 정보, 상기 객체를 서로 다른 위치에서 촬영한 복수의 다시점 이미지, 및 상기 다시점 이미지에 대응되는 카메라 파라미터 정보를 입력받는 과정과, 상기 입력된 정보에 기초하여, 상기 객체에 대응되는 텍스처 맵을 구성하되, 동일한 다시점 이미지의 컬러값을 참조하는 텍스처 패치를 설정하는 과정과, 상기 텍스처 패치 단위에 포함되는 버텍스의 컬러값을 보정하는 과정과, 상기 텍스처 맵에 상기 보정된 버텍스의 컬러값을 반영하여 상기 객체에 대한 렌더링을 수행하는 과정을 포함할 수 있다.

Description

3차원 컬러 메쉬 복원 방법 및 장치{METHOD FOR RECONSTRUCING 3D COLOR MESH AND APPARATUS FOR THE SAME}

본 개시는 3차원 모델링 기술에 관한 것이며, 보다 구체적으로는 3차원 컬러 메쉬의 버텍스 값을 보정하는 방법 및 장치에 대한 것이다.

물체의 외형을 캡쳐하는 종래의 기술은 크게 2가지로 분류해 볼 수 있다. 먼저 레이저나 패턴광과 같은 액티브 센서를 이용하여 물체의 외형정보를 스캐닝하고 물체를 촬영한 칼라영상에서 스캐닝 된 메쉬의 텍스쳐를 추출하는 방법이 있다. 이러한 방법은 주로 정적 물체에 한정하여 고품질의 모델을 생성하기 위해 사용된다.

또 다른 기술군은 패시브 카메라를 이용하여 다양한 시점에서 물체의 외형정보를 촬영하여 얻어진 영상정보로부터 물체의 외형정보와 표면칼라 정보를 복원하는 방법이다. 이러한 방법은 또 다시 스테레오 영상의 대응점을 이용한 삼각측량에 기초하여 삼차원 위치정보를 복원하는 스테레오 방식과 삼차원 공간상에 복셀 로 이루어진 복셀공간을 미리 정의하고 각 복셀을 각 영상으로 투영했을 때 투영영역간의 칼라 일치성으로 복셀의 존재 유무를 판별하여 복원하는 volumetric 방식으로 나눌 수 있다.

최근의 연구결과들은 고품질의 삼차원 복원 결과를 위해 다시점 이미지를 기반으로 삼차원 복원을 수행하며, 정적 물체의 복원은 계산시간이 너무 많이 걸린다는 단점이 있지만, 레이저 스캐너의 복원품질에 근접한 결과를 보여주고 있다.

다시점 이미지를 기반으로 삼차원 복원을 수행하는 방식은, 3차원 메쉬에 대응되는 다시점 이미지의 컬러 정보를 맵핑시켜, 3차원 정보를 복원하도록 구성된다. 이러한 방식은 부족한 메쉬 정보에 실제 이미지의 컬러값을 맵핑해 줌으로써 결과물의 사실성을 크게 향상시켜줄 수 있다.

그러나, 3차원 복원에 사용되는 다시점 이미지의 촬영 환경의 차이로 인해, 차원 복원에 사용되는 다시점 이미지들 사이의 밝기나, 색감 차이가 발생될 수 있다. 다시점 이미지들 사이의 밝기나, 색감 차이로 인해, 이를 참조하는 텍스쳐들 사이의 컬러값 차이, 즉 텍스쳐 끊어짐(seam) 현상이 발생되는 문제가 있다.

본 개시의 기술적 과제는 전술한 문제점을 해결하기 위한 것으로써, 텍스처의 끊어짐 없이 3차원 영상을 생성하는 방법 및 장치를 제공하는 것이다.

본 개시의 다른 기술적 과제는 소스 이미지의 밝기나, 색감 차이로 인한 왜곡을 최소화 하면서 3차원 영상을 생성하는 방법 및 장치를 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면 3차원 컬러 메쉬 복원 방법이 제공될 수 있다. 상기 방법은 3차원 컬러 메쉬 복원 방법에 있어서, 객체의 메쉬 정보, 상기 객체를 서로 다른 위치에서 촬영한 복수의 다시점 이미지, 및 상기 다시점 이미지에 대응되는 카메라 파라미터 정보를 입력받는 과정과, 상기 입력된 정보에 기초하여, 상기 객체에 대응되는 텍스처 맵을 구성하되, 동일한 다시점 이미지의 컬러값을 참조하는 텍스처 패치를 설정하는 과정과, 상기 텍스처 패치 단위에 포함되는 버텍스의 컬러값을 보정하는 과정과, 상기 텍스처 맵에 상기 보정된 버텍스의 컬러값을 반영하여 상기 객체에 대한 렌더링을 수행하는 과정을 포함할 수 있다.

본 개시의 다른 양상에 따르면 3차원 컬러 메쉬 복원 장치가 제공될 수 있다. 상기 장치는 객체의 메쉬 정보, 상기 객체를 서로 다른 위치에서 촬영한 복수의 다시점 이미지, 및 상기 다시점 이미지에 대응되는 카메라 파라미터 정보를 입력받고, 상기 객체에 대응되는 텍스처 맵을 구성하는 텍스처 맵 생성부와, 동일한 다시점 이미지의 컬러값을 참조하는 페이스를 포함하는 텍스처 패치를 생성하는 텍스처 패치 생성부와, 상기 텍스처 패치 단위에 포함되는 버텍스의 컬러값을 보정하는 버텍스 보정부와, 상기 텍스처 맵에 상기 보정된 버텍스의 컬러값을 반영하여 상기 객체에 대한 렌더링을 수행하는 렌더링 처리부를 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 텍스처의 끊어짐 없이 3차원 영상을 생성하는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 소스 이미지의 밝기나, 색감 차이로 인한 왜곡을 최소화 하면서 3차원 영상을 생성하는 방법 및 장치가 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법에 사용되는 다시점 이미지와, 카메라 파라미터 정보를 예시하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법의 순서를 도시하는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법에서 사용되는 버텍스, 페이스, 텍스처 패치를 예시하는 도면이다.
도 4a 내지 도 4c는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법에서 생성되는 텍스처 패치, 경계 버텍스 컬러값 보정 결과, 내부 버텍스 컬러값 보정 결과를 예시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 장치의 구성을 도시하는 블록도이다.
도 6a 내지 도 6e는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 장치에서 처리되는 결과를 예시하는 도면이다.
도 7은 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법에 사용되는 다시점 이미지와, 카메라 파라미터 정보를 예시하는 도면이다.

다시점(Multi-view) 영상들을 이용하여 3차원 메쉬 정보를 생성하는 기술은 다양한 목표와 방법으로 개발이 진행되어 왔다. 그 중에서 3차원 메쉬에 텍스쳐를 만들어서 맵핑시키는 방식은 메쉬에 컬러 정보를 추가해줌으로써 결과물의 퀄리티를 향상시키는데 큰 역할을 한다.

3차원 메쉬에 텍스쳐를 만들어서 맵핑하기 위해서는, 객체(100)에 대해 미리 생성한 메쉬 정보와 함께 다수의 다시점 이미지(I1, I2, ... In)와, 각 다시점 이미지(I1, I2, ... In)에 대응되는 카메라 파라미터 정보(CP1, CP2, ..., CPn)가 요구된다. 예컨대, 다수의 다시점 이미지(I1, I2, ... In)는 객체를 중심으로 다양한 위치(S1, S2, ..., Sn)에서 촬영된 영상일 수 있다. 이에 대응하여, 카메라 파라미터 정보(CP1, CP2, ..., CPn)는 각각의 다시점 이미지(I1, I2, ... In)가 객체(100)를 촬영한 위치에 대한 정보, 예컨대, 카메라의 촬영 방향의 각도, 객체와 카메라 사이의 거리 등을 포함할 수 있다.

도 2는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법의 순서를 도시하는 흐름도이다.

도 2를 참조하면, S201 단계에서는 3차원 메쉬에 텍스쳐를 만들어서 맵핑하는데 요구되는 정보를 입력받을 수 있다. 예컨대, 전술한 바에 기초하여, 객체에 대해 미리 생성한 메쉬 정보, 함께 다수의 다시점 이미지(I1, I2, ... In)와, 각 다시점 이미지(I1, I2, ... In)에 대응되는 카메라 파라미터 정보(CP1, CP2, ..., CPn)를 입력받을 수 있다.

S202 단계에서는, 각 메쉬의 페이스 단위에 적용할 소스 이미지, 즉 복수의 다시점 이미지(I1, I2, ... In) 중, 하나를 선택하고, 선택된 다시점 이미지에서 메쉬의 페이스 단위에 대응되는 영역을 설정한다.

이때, 소스 이미지는 페이스의 normal vector, 카메라의 촬영 방향의 각도, 페이스와 카메라 사이의 거리 등을 고려하여 설정될 수 있다. 예컨대, 카메라가 해당 페이스를 정면에서 가까이 바라본 영상을 소스 이미지로 설정할 수 있다. 이 과정에서, 이웃하는 페이스들은 동일한 다시점 이미지를 사용하여 소스 이미지를 설정할 가능성이 높다. 이를 고려하여, 동일한 다시점 이미지를 사용하여 소스 이미지를 설정한 페이스들은 하나의 그룹으로 설정하여 텍스처 패치로 설정할 수 있다.

또한, S202 단계에서는 소스 이미지를 사용하여 텍스쳐 맵을 구성할 수 있다. 예컨대, GPU의 픽셀 쉐이딩(pixel shading) 방식을 이용하여 텍스쳐 맵을 구성할 수 있다. GPU 기본 쉐이딩 함수에 기초하여, 원본 텍스쳐 컬러값과 버텍스 컬러값의 곱셈연산을 통해 최종 렌더링(rendering) 컬러값을 산출하고, 산출된 값으로 텍스쳐 맵을 구성할 수 있다.

도 3은 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법에서 사용되는 버텍스, 페이스, 텍스처 패치를 예시하는 도면이다.

객체에 대한 3차원 메쉬(300)가 구성될 수 있으며, 3차원 메쉬(300)는 버텍스(301)를 포함할 수 있다. 그리고, 버텍스(301)의 연결을 통해 페이스(303)가 형성될 수 있다.

한편, 전술한 S202 단계에서 설명한 바와 같이 동일한 다시점 이미지를 사용하여 소스 이미지를 설정한 페이스들은 하나의 그룹으로 설정하여 텍스처 패치(305)를 구성할 수 있다.

또한, 텍스처 패치(305)는 이웃한 다른 텍스처 패치와 경계선을 형성할 수 있다. 이를 고려하여, 본 개시의 일 실시예에서는, 이러한 경계선에 접하는 버텍스는 경계 버텍스(307)로 정의하고, 텍스처 패치(305)의 경계선에 접하지 않고 텍스처 패치(305)의 내측에 존재하는 벅텍스를 내부 버텍스(309)로 정의한다.

한편, 다시 도 2의 S203 단계에서는, 텍스처 패치(305)에 포함된 버텍스의 컬러값의 보정이 수행될 수 있다.

예컨대, S203 단계에서 경계 버텍스(307)의 컬러값이 보정될 수 있다. 경계 버텍스(307)의 컬러값의 보정은 경계 버텍스(307)에 대응되는 영역을 포함하는 모든 다시점 이미지의 컬러값을 사용하여 수행될 수 있다.

구체적으로, 복수의 다시점 이미지에서 상기 경계 버텍스(307)에 대응되는 영역의 컬러값을 각각 검출하고, 검출된 컬러값의 평균값을 경계 버텍스(307)의 목표 컬러값으로 설정할 수 있다. 그리고, 경계 버텍스(307)의 현재 컬러값이 목표 컬러값으로 변환 될 수 있도록, 경계 버텍스(307)의 현재 컬러값에 보정값을 곱셈 연산 처리 함으로써, 경계 버텍스(307)의 컬러값을 보정할 수 있다.

경계 버텍스(307)의 현재 컬러값, 경계 버텍스(307)의 목표 컬러값, 및 경계 버텍스(307)의 보정값은 하기의 수학식 1로 표현할 수 있다. 이에 기초하여, 경계 버텍스(307)의 보정값은 경계 버텍스(307)의 목표 컬러값을 경계 버텍스(307)의 현재 컬러값으로 나눗셈 연산함으로써 산출할 수 있다.

나아가, S203 단계에서는 내부 버텍스(309)의 컬러값을 더 보정할 수 있다. 내부 버텍스(309)의 컬러값 보정은 경계 버텍스(307)의 컬러값을 보정하며서 산출된 경계 버텍스(307)의 보정값을 사용하여 처리할 수 있다. 예컨대, 경계 버텍스(307)의 컬러값을 이웃한 경계 버텍스(307)의 보정값의 평균값을 산출하여 내부 버텍스(309)의 보정값을 결정할 수 있고, 내부 버텍스(309)의 보정값을 내부 버텍스(309)의 현재 컬러값에 곱셈 연산함으로써 내부 버텍스(309)의 컬러값을 보정할 수 있다.

S204 단계에서는, 메쉬의 텍스쳐 맵에 보정된 버텍스(경계 버텍스 및 내부 버텍스)의 컬러값을 적용하여 렌더링을 수행할 수 있다.

도 4a 내지 도 4c는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법에서 생성되는 텍스처 패치, 경계 버텍스 컬러값 보정 결과, 내부 버텍스 컬러값 보정 결과를 예시하는 도면이다. 이하, 도 4a 내지 도 4c를 참조하여, 전술한 S203의 동작을 좀 더 상세하게 설명한다.

우선, 도 4a에 예시되는 텍스처 패치(410)에서, 텍스처 패치의 경계부분에 위치한 경계 버텍스를 검출한다. 그리고, 경계 버텍스의 목표 컬러값을 결정한다.

경계 버텍스의 목표 컬러값의 설정은 다시점 이미지의 픽셀 컬러값을 참조하여 산출할 수 있다. 구체적으로, 다시점 이미지와 카메라 파라미터를 이용하여 텍스처 맵을 구성할 수 있는데, 텍스처 맵에서 카메라 파라미터를 기준으로 하여 역으로 프로젝션 이미지를 산출할 수 있다. 이에 기초하여, 카메라 파라미터를 기준으로, 경계 버텍스에 해당되는 영역을 가시적으로 포함하고 있는 프로젝션 이미지, 경계 버텍스에 해당되는 픽셀에 대한 위치를 산출할 수 있다. 이와 같이 경계 버텍스를 포함하는 각 프로젝션 이미지들에서 경계 버텍스에 대응되는 영역에 대한 픽셀 컬러값을 추출할 수 있다.

그리고, 추출된 픽셀 컬러값들에 대한 평균값을 산출하고, 이 평균값을 경계 버텍스의 목표 컬러값으로 결정할 수 있다. 경계 버텍스의 목표 컬러값은 해당 텍스처 패치의 경계 버텍스에 전역적으로 적용될 수 있다. 경계 버텍스의 목표 컬러값이 결정되면, 경계 버텍스의 보정값이 산출될 수 있다. 경계 버텍스의 보정값은 경계 버텍스의 목표 컬러값을 경계 버텍스의 현재 컬러값으로 나눗셈 연산함으로써 산출할 수 있다.

이후, 경계 버텍스의 보정값을 경계 버텍스의 현재 컬러값에 곱셈 연산 처리 함으로써, 경계 버텍스의 컬러값을 보정할 수 있다. 도 4b는 경계 버텍스의 컬러값이 보정된 결과(420)를 예시한다.

나아가, S203 단계에서는 내부 버텍스의 컬러값을 더 보정할 수 있다.

내부 버텍스의 컬러값은 경계 버텍스 컬러값을 이용한 barycentric coordinates 기법으로 보간(interpolation)하여 처리할 수 있다. Barycentric coordinates 기법은 2D 또는 3D 지오메트리(geometry)의 임의의 위치를 주변 가이드 버텍스(guide vertex)들의 위치 관계로 표현하는 방법이다. 대표적인 기법으로써는 MVS(Mean Value Coordinates), Harmonics Coordinates, Green Coordinates 등이 있다.

예컨대, 내부 버텍스의 보정값은 경계 버텍스의 보정값을 이용하여 산출할 수 있다. 즉, 내부 버텍스의 보정값은 이웃한 경계 버텍스의 보정값의 평균값으로 결정할 수 있다. 다른 예로서, 내부 버텍스의 보정값은 이웃한 경계 버텍스의 보정값과 동일한 값으로 설정할 수도 있다.

본 개시의 일 실시예에서, 내부 버텍스의 보정값을 산출하는 방식을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 본 발명에서, 내부 버텍스의 보정값은 경계 버텍스의 보정값을 이용하면 충분하며, 경계 버텍스의 보정값을 다양한 방식으로 참조하여 내부 버텍스의 보정값을 결정할 수 있다.

이와 같이 결정된 내부 버텍스의 보정값을 내부 버텍스의 현재 컬러값에 곱셈 연산 처리 함으로써, 내부 버텍스의 컬러값을 보정할 수 있다. 도 4c는 내부 버텍스의 컬러값이 보정된 결과(430)를 예시한다.

도 5는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 장치의 구성을 도시하는 블록도이고, 도 6a 내지 도 6e는 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 장치에서 처리되는 결과를 예시하는 도면이다.

도 5를 참조하면, 3차원 컬러 메쉬 복원 장치(50)는 텍스처 맵 생성부(51), 텍스처 패치 생성부(53), 버텍스 보정부(55), 및 렌더링 처리부(57)를 포함할 수 있다.

텍스처 맵 생성부(51)는 텍스처 맵을 생성하는데 필요한 정보를 입력받을 수 있다. 예컨대, 객체에 대해 미리 생성한 메쉬 정보, 함께 다수의 다시점 이미지(I1, I2, ... In)와, 각 다시점 이미지(I1, I2, ... In)에 대응되는 카메라 파라미터 정보(CP1, CP2, ..., CPn)를 입력받을 수 있다.

그리고, 텍스처 맵 생성부(51)는 각 메쉬의 페이스 단위에 적용할 소스 이미지, 즉 복수의 다시점 이미지(I1, I2, ... In) 중, 하나를 선택하고, 선택된 다시점 이미지에서 메쉬의 페이스 단위에 대응되는 영역을 설정한다.

텍스처 맵 생성부(51)는 소스 이미지를 사용하여 텍스쳐 맵을 구성할 수 있다. 예컨대, GPU의 픽셀 쉐이딩(pixel shading) 방식을 이용하여 텍스쳐 맵을 구성할 수 있다. GPU 기본 쉐이딩 함수에 기초하여, 원본 텍스쳐 컬러값과 버텍스 컬러값의 곱셈연산을 통해 최종 렌더링(rendering) 컬러값을 산출하고, 산출된 값으로 텍스쳐 맵(601, 도 6a 참조))을 구성할 수 있다.

소스 이미지는 페이스의 normal vector, 카메라의 촬영 방향의 각도, 페이스와 카메라 사이의 거리 등을 고려하여 설정될 수 있다. 예컨대, 카메라가 해당 페이스를 정면에서 가까이 바라본 영상을 소스 이미지로 설정할 수 있다. 이 과정에서, 이웃하는 페이스들은 동일한 다시점 이미지를 사용하여 소스 이미지를 설정할 가능성이 높다. 이를 고려하여, 텍스처 패치 생성부(53)는 동일한 다시점 이미지를 사용하여 소스 이미지를 설정한 페이스들은 하나의 그룹으로 설정하여 텍스처 패치(602, 도 6b 참조)로 구성할 수 있다.

한편, 버텍스 보정부(55)는 텍스처 패치(602)에 포함된 버텍스의 컬러값을 보정할 수 있다.

텍스처 패치(602)는 이웃한 다른 텍스처 패치와 경계선을 형성할 수 있다. 이를 고려하여, 본 개시의 일 실시예에서는, 이러한 경계선에 접하는 버텍스는 경계 버텍스(603)로 정의하고, 텍스처 패치(602)의 경계선에 접하지 않고 텍스처 패치(602)의 내측에 존재하는 버텍스를 내부 버텍스(604)로 정의한다.

버텍스 보정부(55)는 텍스처 패치(602)에 포함된 경계 버텍스(603)의 컬러값에 대한 보정을 수행할 수 있다.

예컨대, 버텍스 보정부(55)는 경계 버텍스(603)에 대응되는 영역을 포함하는 모든 다시점 이미지의 컬러값을 사용하여 수행될 수 있다. 구체적으로, 버텍스 보정부(55)는 다시점 이미지의 픽셀 컬러값을 참조하여 경계 버텍스의 목표 컬러값을 산출할 수 있다. 다시점 이미지와 카메라 파라미터를 이용하여 텍스처 맵을 구성할 수 있는데, 텍스처 맵에서 카메라 파라미터를 기준으로 하여 역으로 프로젝션 이미지를 산출할 수 있다. 이에 기초하여, 버텍스 보정부(55)는 카메라 파라미터를 기준으로, 경계 버텍스에 해당되는 영역을 가시적으로 포함하고 있는 프로젝션 이미지에서 경계 버텍스에 해당되는 픽셀에 대한 위치를 산출할 수 있다. 이와 같이 버텍스 보정부(55)는 경계 버텍스를 포함하는 각 프로젝션 이미지들에서 경계 버텍스에 대응되는 영역에 대한 픽셀 컬러값을 추출할 수 있다.

그리고, 버텍스 보정부(55)는 추출된 픽셀 컬러값들에 대한 평균값을 산출하고, 이 평균값을 경계 버텍스의 목표 컬러값으로 결정할 수 있다. 경계 버텍스의 목표 컬러값은 해당 텍스처 패치의 경계 버텍스에 전역적으로 적용될 수 있다. 경계 버텍스의 목표 컬러값이 결정되면, 버텍스 보정부(55)는 경계 버텍스의 보정값을 산출할 수 있다. 버텍스 보정부(55)는 경계 버텍스의 목표 컬러값을 경계 버텍스의 현재 컬러값으로 나눗셈 연산함으로써 경계 버텍스의 보정값을 산출할 수 있다.

이후, 버텍스 보정부(55)는 경계 버텍스의 보정값을 경계 버텍스의 현재 컬러값에 곱셈 연산 처리 함으로써, 경계 버텍스의 컬러값을 보정할 수 있다.

추가적으로, 버텍스 보정부(55)는 내부 버텍스(604)의 컬러값을 더 보정할 수 있다. 버텍스 보정부(55)는 경계 버텍스(603)의 컬러값을 보정하며서 산출된 경계 버텍스(603)의 보정값을 사용하여 내부 버텍스(604)의 컬러값을 보정할 수 있다. 예컨대, 버텍스 보정부(55)는 내부 버텍스(604)와 이웃한 경계 버텍스(603)의 보정값의 평균값을 산출하여 내부 버텍스(604)의 보정값을 결정할 수 있고, 내부 버텍스(604)의 보정값을 내부 버텍스(604)의 현재 컬러값에 곱셈 연산함으로써 내부 버텍스(604)의 컬러값을 보정할 수 있다.

다른 예로써, 버텍스 보정부(55)는 경계 버텍스(307)의 컬러값을 이용한 barycentric coordinates 기법으로 보간(interpolation)하여 내부 버텍스(309)의 컬러값 보정을 처리할 수 있다. Barycentric coordinates 기법은 2D 또는 3D 지오메트리(geometry)의 임의의 위치를 주변 가이드 버텍스(guide vertex)들의 위치 관계로 표현하는 방법이다. 대표적인 기법으로써는 MVS(Mean Value Coordinates), Harmonics Coordinates, Green Coordinates 등이 있다.

다른 예로서, 버텍스 보정부(55)는 이웃한 경계 버텍스의 보정값과 동일한 값으로 내부 버텍스의 보정값을 설정할 수도 있다.

본 개시의 일 실시예에서, 버텍스 보정부(55)가 내부 버텍스의 보정값을 산출하는 방식을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 본 발명에서, 버텍스 보정부(55)는 경계 버텍스의 보정값을 이용하여 내부 버텍스의 보정값을 산출할 수 있으면 충분하며, 경계 버텍스의 보정값을 다양한 방식으로 참조하여 내부 버텍스의 보정값을 결정할 수 있다.

이러한 동작을 통해, 버텍스 보정부(55)는 텍스처 패치(305)에 포함된 버텍스의 컬러값을 보정한 결과(610, 도 6d 참조)를 출력할 수 있다.

렌더링 처리부(57)는 메쉬의 텍스쳐 맵에 보정된 버텍스(예, 경계 버텍스 및 내부 버텍스)의 컬러값을 적용하여 렌더링을 수행할 수 있다. 결국, 렌더링 처리부(57)는 보정된 버텍스(예, 경계 버텍스 및 내부 버텍스)의 컬러값을 적용한 렌더링 결과(620, 도 6e 참조)를 출력할 수 있다.

본 개시에 따르면, 다시점 이미지를 이용해 3차원 컬러 메쉬를 복원할 때 부드럽고 자연스러운 텍스쳐 맵을 생성할 수 있게 된다. 입력 이미지들의 밝기나 색감 차이로 인한 오류를 보정하고 끊어짐 없이 부드럽게 연결된 텍스쳐맵을 자동으로 생성할 수 있다. 이를 통해 실제 객체나 지형, 지물 등을 다시점 영상 만을 이용하여 3차원 컬러 메쉬로 자동 복원할 수 있다.

또한, 텍스쳐 끊어짐(seam)이 발생하는 경계 버텍스의 보정 컬러값을 연산할 때, 입력 이미지 전체의 컬러톤을 전역적으로 참조함으로써 좀 더 일관적인 텍스쳐 컬러 보정을 할 수 있다. 예를 들어 시스템 리소스 상의 문제로 대용량의 텍스쳐를 작은 단위로 분할해서 생성해야 할 경우 종래의 기술들은 지역적인 프로세싱만 고려하기 때문에 분할된 텍스쳐들끼리의 연결성을 보장할 수 없다. 그러나, 본 발명은 전체적인 입력 이미지들의 컬러톤을 참조해서 목표 보정 컬러값을 설정하기 때문에 대용량의 데이터를 분할해서 텍스쳐링할 때에도 연결성을 보장해줄 수 있다.

또한 텍스쳐 패치 내부의 버텍스 컬러값 보간을 통해 텍스쳐 컬러의 연속성을 보장해줄 수 있다. 텍스쳐 패치를 구성하는 페이스(face)들은 같은 소스 영상을 가지므로, 해당 2D 소스 영상에 2D polygon으로 프로젝션시켜 볼 수 있는데, 이를 기준으로 버텍스 컬러를 부드럽게 보간해서 보정했기 때문에 소스 영상의 왜곡을 최소화할 수 있다.

도 7은 본 개시의 일 실시예에 따른 3차원 컬러 메쉬 복원 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

3차원 컬러 메쉬 복원 방법에 있어서,
객체의 메쉬 정보, 상기 객체를 서로 다른 위치에서 촬영한 복수의 다시점 이미지, 및 상기 다시점 이미지에 대응되는 카메라 파라미터 정보를 입력받는 과정과,
상기 입력된 정보에 기초하여, 상기 객체에 대응되는 텍스처 맵을 구성하되, 동일한 다시점 이미지의 컬러값을 참조하는 텍스처 패치를 설정하는 과정과,
상기 텍스처 패치 단위에 포함되는 버텍스의 컬러값을 보정하는 과정과,
상기 텍스처 맵에 상기 보정된 버텍스의 컬러값을 반영하여 상기 객체에 대한 렌더링을 수행하는 과정을 포함하고,
상기 버텍스의 컬러값을 보정하는 과정은,
상기 텍스처 패치 단위에 포함되는 경계 버텍스 및 내부 버텍스를 추출하는 과정과,
상기 경계 버텍스의 컬러 보정값을 산출하는 과정과,
상기 내부 버텍스의 컬러 보정값을 산출하는 과정과,
상기 경계 버텍스의 컬러 보정값을 상기 경계 버텍스에 적용하여 상기 경계 버텍스의 컬러값을 보정하는 과정과,
상기 내부 버텍스의 컬러 보정값을 상기 내부 버텍스에 적용하여 상기 내부 버텍스의 컬러값을 보정하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제1항에 있어서,
상기 경계 버텍스의 컬러값을 보정하는 과정은,
상기 경계 버텍스의 컬러 보정값을 상기 경계 버텍스의 현재 컬러값에 곱셈연산하여 상기 경계 버텍스의 컬러값을 보정하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제2항에 있어서,
상기 경계 버텍스의 컬러 보정값을 산출하는 과정은,
상기 경계 버텍스의 목표 컬러값을 산출하는 과정과,
상기 경계 버텍스의 목표 컬러값을 상기 경계 버텍스의 현재 컬러값으로 나눗셈 연산하여 상기 경계 버텍스의 컬러 보정값을 산출하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제3항에 있어서,
상기 경계 버텍스의 컬러 보정값을 산출하는 과정은,
상기 경계 버텍스에 대응되는 영역을 포함하는 적어도 하나의 다시점 이미지를 검출하는 과정과,
상기 적어도 하나의 다시점 이미지로부터 상기 경계 버텍스에 대응되는 영역의 픽셀값을 확인하는 과정과,
확인된 상기 경계 버텍스에 대응되는 영역의 픽섹값을 참조하여, 상기 경계 버텍스의 목표 컬러값을 산출하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제3항에 있어서,
상기 경계 버텍스의 컬러 보정값을 산출하는 과정은,
상기 경계 버텍스에 대응되는 영역을 포함하는 적어도 하나의 다시점 이미지를 검출하는 과정과,
상기 적어도 하나의 다시점 이미지로부터 상기 경계 버텍스에 대응되는 영역의 픽셀값을 확인하는 과정과,
확인된 상기 경계 버텍스에 대응되는 영역의 픽섹값에 대한 평균값을 산출하고, 상기 산출된 평균값을 사용하여 상기 경계 버텍스의 컬러 보정값을 산출하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제2항에 있어서,
상기 내부 버텍스의 컬러값을 보정하는 과정은,
상기 내부 버텍스의 컬러 보정값을 상기 내부 버텍스의 현재 컬러값에 곱셈연산하여 상기 내부 버텍스의 컬러값을 보정하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제6항에 있어서,
상기 내부 버텍스의 컬러 보정값을 산출하는 과정은,
상기 텍스처 패치 단위에 포함된 상기 경계 버텍스의 컬러 보정값을 확인하는 과정과,
상기 경계 버텍스의 컬러 보정값을 참조하여, 상기 내부 버텍스의 컬러 보정값을 산출하는 과정을 포함하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제7항에 있어서,
상기 내부 버텍스의 컬러 보정값을 산출하는 과정은,
상기 텍스처 패치 단위에 포함된 상기 경계 버텍스의 컬러 보정값에 대한 평균값을 산출하고, 상기 산출된 평균값을 상기 내부 버텍스의 컬러 보정값으로 결정하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
제7항에 있어서,
상기 내부 버텍스의 컬러 보정값을 산출하는 과정은,
상기 텍스처 패치 단위에 포함된 상기 경계 버텍스의 컬러 보정값과 동일하게 상기 내부 버텍스의 컬러 보정값을 결정하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 방법.
3차원 컬러 메쉬 복원 장치에 있어서,
객체의 메쉬 정보, 상기 객체를 서로 다른 위치에서 촬영한 복수의 다시점 이미지, 및 상기 다시점 이미지에 대응되는 카메라 파라미터 정보를 입력받고, 상기 객체에 대응되는 텍스처 맵을 구성하는 텍스처 맵 생성부와,
동일한 다시점 이미지의 컬러값을 참조하는 페이스를 포함하는 텍스처 패치를 생성하는 텍스처 패치 생성부와,
상기 텍스처 패치 단위에 포함되는 버텍스의 컬러값을 보정하는 버텍스 보정부와,
상기 텍스처 맵에 상기 보정된 버텍스의 컬러값을 반영하여 상기 객체에 대한 렌더링을 수행하는 렌더링 처리부를 포함하고,
상기 버텍스 보정부는,
상기 텍스처 패치 단위에 포함되는 경계 버텍스 및 내부 버텍스를 추출하고,
상기 경계 버텍스의 컬러 보정값을 산출하고,
상기 내부 버텍스의 컬러 보정값을 산출하고,
상기 경계 버텍스의 컬러 보정값을 상기 경계 버텍스에 적용하여 상기 경계 버텍스의 컬러값을 보정하고,
상기 내부 버텍스의 컬러 보정값을 상기 내부 버텍스에 적용하여 상기 내부 버텍스의 컬러값을 보정하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 장치.
제10항에 있어서,
상기 버텍스 보정부는,
상기 경계 버텍스의 컬러 보정값을 상기 경계 버텍스의 현재 컬러값에 곱셈연산하여 상기 경계 버텍스의 컬러값을 보정하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 장치.
제11항에 있어서,
상기 버텍스 보정부는,
상기 경계 버텍스의 목표 컬러값을 산출하고, 상기 경계 버텍스의 목표 컬러값을 상기 경계 버텍스의 현재 컬러값으로 나눗셈 연산하여 상기 경계 버텍스의 컬러 보정값을 산출하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 장치.
제11항에 있어서,
상기 버텍스 보정부는,
상기 내부 버텍스의 컬러 보정값을 상기 내부 버텍스의 현재 컬러값에 곱셈연산하여 상기 내부 버텍스의 컬러값을 보정하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 장치.
제13항에 있어서,
상기 버텍스 보정부는,
상기 텍스처 패치 단위에 포함된 상기 경계 버텍스의 컬러 보정값을 확인하고, 상기 경계 버텍스의 컬러 보정값을 참조하여, 상기 내부 버텍스의 컬러 보정값을 산출하는 것을 특징으로 하는 3차원 컬러 메쉬 복원 장치.