KR20040043280A

KR20040043280A - 가상 현실 구현 시스템 및 방법

Info

Publication number: KR20040043280A
Application number: KR1020020071499A
Authority: KR
Inventors: 구본기; 김성예; 김해동; 김재철; 최병태
Original assignee: 한국전자통신연구원
Priority date: 2002-11-18
Filing date: 2002-11-18
Publication date: 2004-05-24
Also published as: US7174039B2; KR100443552B1; US20040095385A1

Abstract

가상 현실 구현 시스템에서, 카메라를 통하여 측정 물체를 촬영한 평면 영상 및 HDRI 데이터를 이용하여 가상 현실이 구현된다. 가상 현실 구현 시스템의 영상 기반 모델링부는, 평면 영상의 좌표와 실제 좌표를 비교하여 변환 행렬을 계산하고 변환 행렬로부터 기준 벡터의 소실점을 계산하며 소실점을 이용하여 카메라 행렬을 계산한다. 그리고 카메라 행렬과 변환 행렬을 이용하여 카메라의 회전 행렬 및 이동 벡터를 계산하고, 카메라의 회전 행렬 및 이동 벡터를 이용하여 평면 영상을 가상 모델로 모델링한다. 그리고 가상 현실 구현 시스템의 영상 기반 렌더링부는 HDRI 데이터를 텍스처로 사용하여 가상 모델을 렌더링하며, 가상 모델을 VRML 환경에 적용하기 위하여 HDRI를 확장 VRML 노드로 구현한다.

Description

가상 현실 구현 시스템 및 방법 {SYSTEM AND METHOD FOR EMBODYING VIRTUAL REALITY}

본 발명은 가상 현실 구현 시스템 및 방법에 관한 것이다.

최근, 실세계와 똑 같은 물체 및 환경을 가상 공간상에 구현하려는 다양한 방법들이 물체의 모델링 및 렌더링 연구 분야에서 행하여지고 있다. 기존의 모델링 방법에서는 고가의 장비를 이용하여 가상 현실을 모델링하였으므로, 모델링에 있어서 많은 비용이 소모되며 가상 현실의 구현에 어려움이 있었다.

따라서, 최소한의 장비와 쉬운 접근 방법에 대한 요구가 증가되고 있으며, 이러한 방법으로 카메라를 통하여 획득한 다수의 평면 영상만으로 3차원 가상 모델을 구현할 수 있는 방법이 개발되고 있다. 이와 함께 가상 물체의 렌더링에 HDRI(high dynamic range image)를 사용하는 것에 대한 연구가 활발하게 진행되고 있다. HDRI를 사용하는 경우에는 일반적인 영상(JPEG, BMP, TGA 등)을 사용하는 기존의 영상기반 기술을 이용한 렌더링 결과보다 훨씬 더 사실적인 결과를 얻을 수 있다. 그러나 현재의 기술은 HDRI를 이용한 렌더링 기술을 VRML 환경에 적용시킨 예가 아직까지 없으며, 이를 지원하는 클라이언트도 개발된 바가 없다.

본 발명이 이루고자 하는 기술적 과제는 평면 영상으로부터 간단하게 가상 현실을 구현할 수 있는 가상 현실 구현 시스템을 제공하는 것이다. 또한 본 발명은 HDRI를 이용한 렌더링 기술을 VRML 환경에 적용하여 가상 현실을 구현하는 것을 그 기술적 과제로 한다.

도 1은 본 발명은 실시예에 따른 가상 현실 구현 시스템의 개략적인 블록도이다.

도 2는 본 발명의 실시예에 따른 영상 기반 모델링부의 영상 획득 모듈의 개략적인 구조도이다.

도 3은 도 2의 영상 획득 모듈의 보정판에 대한 평면도이다.

도 4는 본 발명의 실시예에 따른 영상 기반 모델링부의 카메라 보정 모듈의 개략적인 블록도이다.

도 5는 본 발명의 실시예에 따른 영상 기반 모델링부의 모델링 모듈의 개략적인 블록도이다.

도 6은 본 발명의 실시예에 따른 영상 기반 렌더링부의 HDRI 분석 모듈의 개략적인 블록도이다.

도 7은 본 발명의 실시예에 따른 영상 기반 렌더링부의 확장 VRML 노드 처리 모듈의 VRML 노드 처리 방법을 나타내는 흐름도이다.

본 발명에 따른 가상 현실 구현 시스템은 카메라를 통하여 측정 물체를 촬영한 평면 영상 및 HDRI 데이터를 이용하여 가상 현실을 구현하며, 영상 기반 모델링부 및 영상 기반 렌더링부를 포함한다. 영상 기반 모델링부는, 평면 영상의 좌표와 실제 좌표를 비교하여 변환 행렬을 계산하고 변환 행렬로부터 기준 벡터의 소실점을 계산하며 소실점을 이용하여 카메라 행렬을 계산하고, 카메라 행렬과 변환 행렬을 이용하여 평면 영상을 가상 모델로 모델링한다. 영상 기반 렌더링부는 HDRI 데이터를 텍스처로 사용하여 가상 모델을 렌더링한다.

영상 기반 모델링부는 카메라 보정 모듈과 모델링 모듈을 포함하는 것이 바람직하다. 카메라 보정 모듈은, 변환 행렬을 계산하는 변환 행렬 계산부, 기준 벡터를 변환 행렬로 변환하여 소실점을 계산하는 소실점 계산부, 소실점으로 카메라의 주점을 결정하고 주점을 이용하여 카메라 행렬을 결정하는 카메라 행렬 계산부, 및 카메라 행렬과 변환 행렬을 통하여 카메라의 회전 행렬 및 이동 벡터를 계산하는 회전 및 이동값 계산부를 포함한다. 모델링 모듈은 평면 영상을 가상 모델로 대응시키고 가상 모델에 텍스처를 결합한다.

이때, 소실점 계산부는 기준 벡터로서 평면에서 직교하는 두 변을 이용하여 소실점을 계산하는 것이 바람직하다. 그리고 평면 영상은 측정 물체를 보정판 위에 올려놓은 상태에서 촬영되고, 보정판에는 적어도 두 가지 색상의 직사각형이 번갈아 가며 연속적으로 배열되어 있는 것이 좋다.

또한, 모델링 모듈은, 기본적인 3차원 모델에 대한 데이터가 좌표 형태로 저장되어 있는 프리미티브 데이터베이스, 측정 물체에 대한 평면 영상의 대응점을 카메라의 회전 행렬 및 이동 벡터를 이용하여 3차원 공간상으로 역 투사시킨 선들의 교차점을 구하는 삼각법 수단, 그리고 평면 영상으로부터 색 정보를 추출하여 가상 모델에 매핑하는 텍스처 매핑부를 포함하는 것이 바람직하다.

그리고 영상 기반 렌더링부는 HDRI 분석 모듈 및 렌더링 모듈을 포함하는 것이 좋다. HDRI 분석 모듈은 HDRI 데이터를 분석하고 HDRI 데이터로부터 3차원 조명 데이터를 추출하여 저장하고, HDRI 데이터의 디스플레이를 위한 톤 매핑을 수행한다. 렌더링 모듈은 HDRI 분석 모듈에서 생성된 데이터를 이용하여 가상 모델을 렌더링하기 위한 텍스처 매핑을 수행한다.

이때, HDRI 분석 모듈은, HDRI 데이터를 분산 및 반사 요소별로 분리하여 새로운 HDRI 데이터로 저장하는 HDRI 요소별 분리부, HDRI 데이터로부터 조명의 3차원 위치 정보와 색상 정보를 추출하는 3차원 조명 정보 추출부, 그리고 HDRI 데이터의 디스플레이를 위한 톤 매핑을 수행하는 톤 매핑부를 포함하는 것이 좋다.

또한, 영상 기반 렌더링부는, HDRI 데이터의 픽셀을 실수값으로 저장 및 관리하며 HDRI 데이터를 텍스처로 사용하는 경우에는 실수값의 정보를 확장 노드로 생성하여 장면 그래프에 추가하는 확장 노드 처리 모듈을 더 포함할 수 있다.

본 발명에 따르면, 카메라를 통하여 측정 물체를 촬영한 평면 영상 및 HDRI 데이터를 이용하여 가상 현실을 구현하는 방법이 제공된다. 이 방법에 의하면, 먼저 평면 영상의 좌표와 실제 좌표를 비교하여 변환 행렬을 계산하고, 평면 영상의 기준 벡터를 변환 행렬로 변환하여 기준 벡터의 소실점을 계산한다. 그리고 소실점을 이용하여 카메라의 주점을 직선 상에 제한하고 직선 상에 있는 주점 중 일정조건을 만족하는 주점을 카메라의 주점으로 결정하고, 주점으로 카메라 행렬을 계산한다. 다음, 카메라 행렬과 변환 행렬을 이용하여 카메라의 회전 행렬 및 이동 벡터를 계산하고, 카메라의 회전 행렬 및 이동 벡터로 평면 영상을 3차원 가상 모델로 모델링한다.

그리고 HDRI 데이터를 요소별로 분리하고 HDRI 데이터로부터 3차원 조명 정보를 추출하고, 생성된 데이터를 이용하여 가상 모델을 렌더링하기 위한 텍스처 매핑을 수행한다. 다음, HDRI 데이터를 텍스처로 사용하는 경우에 HDRI 데이터를 확장 노드로 생성하여 장면 그래프에 추가한다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

이제 본 발명의 실시예에 따른 가상 현실 구현 시스템 및 구현 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 가상 현실 구현 시스템은 영상 기반 모델링부(100) 및 영상 기반 렌더링부(200)를 포함한다. 영상 기반모델링부(100)는 카메라로 촬영된 복수의 평면 영상을 이용하여 컬러 정보가 포함된 3차원 가상 물체를 모델링하는 제반 방법을 제공한다. 이러한 영상 기반 모델링부(100)는 영상 획득 모듈(image capture module)(110), 카메라 보정 모듈(camera calibration module)(120) 및 모델링 모듈(modeling module)(130)로 이루어진다. 그리고 영상 기반 렌더링부(200)는 전반적인 영상 기반 렌더링 기능 및 모델 처리 기능을 제공하며 사용자 인터페이스를 지원한다. 이러한 영상 기반 렌더링부(200)는 HDRI(high dynamic range images) 분석 모듈(HDRI analysis module)(210), 렌더링 모듈(rendering module)(220) 및 확장 VRML 노드 처리 모듈(extended VRML node processing module)(230)로 이루어진다.

아래에서는 도 2 내지 도 5를 참조하여 본 발명의 실시예에 따른 영상 기반 모델링부 및 영상 기반 모델링 방법에 대해서 상세하게 설명한다.

도 2는 본 발명의 실시예에 따른 영상 기반 모델링부의 영상 획득 모듈의 개략적인 구조도이며, 도 3은 도 2의 영상 획득 모듈의 보정판에 대한 평면도이다. 도 4는 본 발명의 실시예에 따른 영상 기반 모델링부의 카메라 보정 모듈의 개략적인 블록도이며, 도 5는 본 발명의 실시예에 따른 영상 기반 모델링부의 모델링 모듈의 개략적인 블록도이다.

먼저, 도 2 및 도 3을 보면 영상 획득 모듈(110)은 보정판(111) 및 디지털 카메라(113)로 측정 물체(112)에 대한 영상을 획득한다. 도 3을 보면, 보정판(111)에는 가로 및 세로 길이비가 일정한 흰색 및 검정색의 정사각형이 일정한 크기로 연속적으로 나열되어 있으며, 보정판(111)은 종이, 아크릴, 철판 등의다양한 형태의 재질로 제작될 수 있다. 이러한 보정판(111) 위에 측정 물체(112)를 올려놓고 디지털 카메라(113)로 물체로 촬영한다. 보정판(111)에는 흰색 및 검정색의 사각형이 번갈아 가며 형성되어 있으므로, 측정 물체(112)와 함께 촬영된 보정판(111) 영상에서 물체(112)가 촬영될 때의 변화를 추정할 수 있는 기본 정보를 추출할 수 있다. 또한, 서로 다른 색깔의 격자는 격자 사이의 모서리를 쉽게 찾을 수 있는 수단을 제공하며 이와 함께 동그란 흰색을 번갈아 구성함으로 획득한 영상 구조를 분석하는 기본 특징점을 추출하는 기본 수단을 제공한다. 도 2의 디지털 카메라(113)를 이용하여 측정 물체에 대한 2차원 평면 영상을 다수 획득하여 메모리(121)에 디지털화하여 저장된다.

다음, 영상 획득 모듈(110)에서 획득된 영상을 계산하는 카메라 보정 모듈(120)에 대해 설명한다.

도 4에 나타낸 바와 같이, 카메라 보정 모듈(120)은 메모리(121), 모서리 검출 및 변환 행렬 계산부(corner detecter & transform matrix calculator)(122), 소실점 계산부(vanishing points calculator)(123), 카메라 행렬 계산부(camera matrix calculator)(124), 회전 및 이동값 계산부(rotation and translation calculator)(125)를 포함한다.

메모리(121)는 영상 획득 모듈(110)에서 획득된 복수의 평면 영상을 저장하고 있다. 모서리 검출 및 변환 행렬 계산부(122)는 메모리(121)에 저장된 평면 영상에서 보정판 영상의 모서리 점을 추출하여 추출된 영상의 모서리점 좌표(x')와 보정판(111)의 실제 측정치(x)를 비교하고, [수학식 1]을 이용하여 추출된 영상 좌표(x')와 실제 좌표(x)의 상관관계를 나타내는 변환 행렬(H)을 구한다.

여기서, x'는 추출된 영상의 모서리점 좌표를 나타내는 벡터이며, x는 보정판의 모서리점 좌표를 나타내는 벡터이며, H는 변환 행렬을 나타낸다.

소실점 계산부(123)는 변환 행렬(H)로부터 보정판의 직교하는 두 변([1,0,0], [0,1,0])의 소실점(v_x, v_y)을 계산하며, 소실점(v_x, v_y)은 [수학식 2]와 같이 주어진다.

,

카메라 행렬 계산부(124)는 [수학식 2]에서 계산된 소실점(v_x, v_y)를 이용하여 카메라 행렬(K)을 계산한다. 카메라 행렬(K)은 카메라의 초점 거리(f), CCD 화소의 가로 및 세로 길이비(aspect ratio)(), 그리고 카메라 주점(principal point)(ox, oy)의 위치를 인자로 가지며, [수학식 3]과 같이 주어진다.

여기서, f는 카메라의 초점 거리,는 화소의 가로 및 세로 길이비, ox 및 oy는 각각 주점의 x 및 y 좌표를 나타낸다.

일반적으로, 서로 직교하는 두 방향의 소실점(,)과 카메라 행렬(K) 사이에는 [수학식 4]와 같은 관계가 성립한다.

여기서,및를 각각 새로운 변수 fx 및 fy로 간주하면,는 fx, fy, ox 및 oy의 4개의 변수로 이루어진다. 카메라의 주점(ox, oy)이 주어진다면 직교하는 두 방향의 소실점(,)은 fx 및 fy에 대한 선형 방정식으로 이루어질 수 있다. 직사각형 평면에서 임의의 두 방향의 벡터를 각각라 하고 직사각형 평면의 직교하는 두 변을 기준 좌표계의 x 및 y축이라 하면,는 [수학식 5]와 같이 주어진다.

여기서, p₁, p₂, q₁, q₂는 스칼라 값이다.

그리고방향의 소실점은 변환 행렬(H)로부터 [수학식 6]과 같이 주어진다.

[수학식 6]을 [수학식 4]에 적용하면 [수학식 7]과 같이 두 개의 선형 방정식을 얻을 수 있다.

주점의 위치가 주어졌다고 가정하면, [수학식 7]은 한 개의 직사각형 평면으로부터 카메라 행렬(K)을 구할 수 있음을 제시한다. 종래에는 주점의 위치를 영상의 중심으로 가정하고 카메라 행렬을 계산한다. 그러나 주점의 위치는 영상 촬영 조건에 따라 민감하게 변화하므로, 본 발명의 실시예에서는 가로 및 세로의 길이비를 1로 가정한다. [수학식 7]에 의하면 이러한 가정을 만족하는 주점의 위치는 직선 상에 제한된다.

자세하게 설명하면, [수학식 7]에서 fx 및 fy를 ox 및 oy에 대한 식으로 전개한다. 먼저, [수학식 7]로부터 [수학식 8]을 만족하는 A, b를 유도한다.

여기서, A는 2×2 행렬이며 A의 (i,j)성분을 A(i,j)로 나타내며, f는 [fx, fy]^t를 만족하는 벡터이다.

즉, [수학식 7]의 (2)로부터 [수학식 9]를 유도할 수 있으며, [수학식 7]의 (1)로부터 [수학식 10]을 유도할 수 있다.

여기서,,이며, v_x(i)는 벡터 v_x의 i번째 성분이며 v_x(i)는 벡터 v_y의 i번째 성분이다.

[수학식 8] 내지 [수학식 10]으로부터 fx, fy를 [수학식 11]과 계산할 수 있다.

앞에서 가정한 것처럼 fx 및 fy는 각각및이므로 [수학식 11]로부터 가로 및 세로의 길이비()를 [수학식 12]와 같이 구할 수 있다.

앞에서 설명한 것처럼, 가로 및 세로의 길이비()를 1이라는 가정 하에, [수학식 12]를 풀면 [수학식 13]과 같이 된다. 즉, 카메라 행렬 계산부(124)는 직교하는 두 변의 소실점(v_x, v_y)을 이용하여 [수학식 13]과 같이 주점의 x 및 y 좌표(ox, oy)를 직선 상에 제한한다.

,

그리고 [수학식 13]을 만족하는 주점(p_i) 중에서 [수학식 14]의 E(ox,oy)를 최소로 하는 주점을 카메라 주점으로 선택한다.

,

여기서, p_i는 i번째 측정된 주점이며, (,)는 영상 중심의 좌표이다.는 각각의 주점 위치(ox, oy)에 대해 수행한 카메라 보정 결과로부터 직사각형 평면상에 존재하는 점들을 영상으로 재투사한 점을 나타낸다.

그리고 [수학식 14]에 나타낸 바와 같이 에너지 함수(E(ox,oy))의 최소화와 과정에서 영상 중심에서 특정 거리(r) 이내에 존재하는 점만이 고려된다. 이는 일반적으로 카메라 주점은 영상 중신 근방에 존재한다는 사실에 근거한다. 한편, 에너지 함수의 최소화와 관계된 비선형 최소 자승 문제(non-linear least square problem)는 예를 들어 Levenberg-Marquardt 방법을 적용하여 풀 수 있다. 이때, 초기 주점의 위치는 [수학식 12]의 직선 상의 점 중에서 영상의 중심까지의 거리가 최소인 점으로 할 수 있다.

이와 같이, 카메라 행렬 계산부(124)는 [수학식 14]에서 결정한 주점(ox. oy)과 [수학식 3]을 이용하여 카메라 행렬(K)을 계산한다.

다음, 회전 및 이동값 계산부(250)는 카메라 회전 행렬(R)과 카메라 이동 벡터(t)를 [수학식 15]를 사용하여 계산한다.

,

여기서,는 x의 놈(norm)이며는 외적(cross product)이다. 그리고 r₁, r₂, r₃는 카메라 회전 행렬(R)의 제1열, 제2열 및 제3열을 각각 나타내며, t는 카메라 이동 벡터를 나타낸다. 여기서 카메라 회전 행렬(R)은 3×3행렬이다.

이와 같이 계산한 카메라 회전 행렬(R)과 카메라 이동 벡터(t)를 이용하여, 모델링 모듈(130)은 획득한 영상을 3차원으로 모델링한다. 도 5에 나타낸 바와 같이, 모델링 모듈(130)은 프리미티브 데이터베이스(primitive database)(131), 삼각법(triangulation) 수단(132) 및 텍스처 매핑부(texture mapping)(133)를 포함한다.

프리미티브 데이터베이스(131)는 기본적인 모델 구성체인 원, 원기둥, 구, 삼각뿔 등의 3차원 프리미티브 객체의 기하구조를 (X, Y, Z) 좌표 형태의 데이터 파일로 저장하고 있다. 사용자는 모델링 작업시 프리미티브 데이터베이스(131)에서 프리미티브 객체를 불러와서 구축하고자 하는 물체를 형성할 수 있다.

삼각법 수단(132)은 3차원 모델을 형성하는 임의의 점을 구하기 위해 측정하는 3차원 모델을 촬영한 두 장 이상의 평면 영상에서 대응점을 구한다. 그리고 각 영상에 존재하는 대응점들을 각각 3차원 공간상으로 역 투사(back projection)시켜 역 투사된 선들의 교차점을 계산한다. 이때, 역 투사된 선(l)은 카메라 보정 모듈(120)에서 구한 카메라 행렬(K), 카메라 회전 행렬(R) 및 카메라 이동 벡터(t)를 이용하여 [수학식 16]과 같이 계산된다.

여기서,는 역 투사한 직선(l) 상의 점이며,는 대응점의 영상 좌표([x,y])를 등차 좌표([x,y,1])로 나타낸 벡터이다.

텍스처 매핑부(133)는 도 1의 영상획득 모듈(110)을 통하여 획득한 평면 영상에서 3차원 모델의 기하구조를 이루는 각 면들의 좌표점과 대응하는 컬러 정보를 추출하여 각 면에 해당하는 컬러 이미지를 획득하고 이를 구한 3차원 모델 기하구조와 병합한다.

이와 같이, 영상 기반 모델부(100)에서 획득한 3차원 영상 모델은 VRML 데이터로서 출력되어 영상 기반 렌더링부(200)에서 렌더링되기 위한 가상 모델로서 사용될 수 있다. 영상 기반 렌더링부(200)에서는 가상 모델을 화면에 디스플레이하기 위해 VRML 노드로 처리한다. 그리고 렌더링부(200)는 입력으로서 HDRI(high dynamic range image)를 사용한다. 입력으로 사용되는 HDRI는 HDRI를 촬영하는 고가의 카메라 장비를 이용하여 촬영되거나 또는 일반적인 디지털 카메라를 이용하여 서로 다른 노출 값을 가지는 여러 장의 사진을 촬영한 후 HDRI로 어셈블하기 위한 프로그램을 이용하여 생성될 수 있다.

아래에서는 도 6 및 도 7을 참조하여 본 발명의 실시예에 따른 영상 기반 렌더링부에 대하여 상세하게 설명한다.

도 6은 본 발명의 실시예에 따른 영상 기반 렌더링부의 HDRI 분석 모듈의 개략적인 블록도이며, 도 7은 본 발명의 실시예에 따른 영상 기반 렌더링부의 확장 VRML 노드 처리 모듈의 VRML 노드 처리 방법을 나타내는 흐름도이다.

HDRI 분석 모듈(210)은 HDR 영상을 렌더링 모듈(220)에서 사용하기 위한 분석 및 전처리 단계를 수행한다. 이러한 HDRI 분석 모듈(210)은 도 6에 나타낸 바와 같이 HDRI 로딩 및 저장 처리부(211), HDRI 요소별 분리부(212), 3D 조명 정보 추출부(213), 포맷 변환부(214) 및 톤 매핑부(215)를 포함한다.

HDRI 로딩 및 저장 처리부(211)는 입력으로 들어오는 HDRI를 관리 및 저장한다. HDRI 요소별 분리부(212)는 HDRI 로딩 및 저장 처리부(211)에 저장된 데이터를 분산(diffuse) 및 반사(specular) 요소별로 분리하고, 3D 조명 정보 추출부(213)는 HDRI 로딩 및 저장 처리부(211)에 저장된 데이터에서 그림자 생성을 위해 사용될 3차원 조명 정보를 추출한다. 포맷 변환부(214)는 여러 가지 매핑 형태를 지원하도록 하기 위해 HDRI의 포맷을 변환하고, 톤 매핑부(215)는 기본적인 HDRI의 디스플레이를 위한 톤 매핑(215)을 지원한다. HDRI 요소별 분리부(212)와 맵 포맷 변환부(214)에서는 각각 결과를 다시 HDRI 데이터로 저장하여 렌더링을 위한 텍스처 맵으로 사용될 수 있도록 한다. 그리고 3D 조명 정보 추출부(213)는 HDRI로부터 조명의 3차원 위치 정보와 색상 정보를 추출하여 텍스트 포맷으로 저장한다.

렌더링 모듈(220)은 가상 물체를 렌더링하기 위한 기본 기능을 제공할 뿐 아니라, HDRI 분석 모듈(210)에서 생성한 정보들을 이용하여 VRML 모델을 렌더링하기위한 텍스처 매핑(texture mapping)을 수행한다.

확장 VRML 노드 처리 모듈(230)은 HDRI 데이터의 픽셀을 32비트 실수값으로 저장 및 관리하며, VRML(virtual reality modeling language) 환경의 장면 그래프(scene graph)를 렌더링할 때 HDRI를 지원하기 위한 확장 노드로서 HDRImageTexture 노드를 지원한다. 그리고 확장 VRML 노드 처리 모듈(230)은 사용자에 의한 HDRI에 대한 변화를 즉시 VRML의 장면 그래프에 적용함으로써 인터렉티브한 렌더링 변화를 가능하게 한다.

아래에서는 도 7을 참조하여 확장 VRML 노드 처리 모듈에서 VRML 노드를 처리하는 방법에 대해서 상세하게 설명한다.

가상 공간을 형성할 때, 확장 VRML 노드 처리 모듈(230)은 사용자로부터 HDRI를 사용할 것인지 여부에 대한 입력을 수신하여 이를 판단한다(S331). HDRI를 텍스처로 사용하는 경우에는 저장되어 있던 실수 이미지 정보를 확장 VRML 노드인 HDRImageTexture로 생성하여 장면 그래프에 추가한다(S332). HDRI를 텍스처로 사용하지 않는 경우에는 기존의 VRML 노드를 사용하여 TextureImage 노드를 생성하여 장면 그래픽에 추가한다(S333). 장면 그래프는 렌더링 모듈(220)에 의해서 파싱 과정을 거쳐 화면에 디스플레이 된다. 그리고 확장 VRML 노드 처리 모듈(330)이 HDRI 텍스처의 변화를 적용한다는 사용자의 입력을 수신하면(S334), 장면 그래프내의 확장 VRML 노드에 대하여 업데이트를 수행한다(S335). 수신된 사용자가 입력이 HDRI의 변화가 아니면 사용자 입력은 이벤트로서 처리된다(S336).

그리고 본 발명의 실시예에 따른 영상 기반 렌더링부에서는 HDRI 분석모듈(210), 렌더링 모듈(220) 및 확장 VRML 노드 처리 모듈(330)을 관리하기 위한 사용자 인터페이스를 제공할 수 있다. 사용자 인터페이스는 HDRI 데이터를 처리하기 위한 노출(exposure) 조절, 포맷 변환, 뷰잉(viewing), 요소별 HDRI 데이터 추출 기능을 제공한다. 또한, 사용자 인터페이스는 가상 물체 및 VRML 데이터의 조작을 위한 3차원 공간상에서의 걷기(walk), 조사(examine), 슬라이드(slide), 포인트(point), 수평유지(straighten), 회전(rotation), 이동(translation), 크기 변화(scaling)와 같은 기능을 제공할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

이와 같이 본 발명에 의하면, 평면 영상만을 이용하여 컬러가 포함된 3차원 가상 모델을 형성하여 가상 공간을 구현할 수 있다. 또한, HDRI 데이터를 이용한 VRML 데이터의 렌더링 기능을 제공함으로써, 3차원 가상 공간을 구현할 때 실세계의 사실적인 효과를 충분히 반영할 수 있다.

Claims

카메라를 통하여 측정 물체를 촬영한 평면 영상 및 HDRI(high dynamic range image) 데이터를 이용하여 가상 공간을 형성하기 위한 가상 현실 구현 시스템에 있어서,

상기 평면 영상의 좌표와 실제 좌표를 비교하여 변환 행렬을 계산하고 상기 변환 행렬로부터 기준 벡터의 소실점을 계산하며 상기 소실점을 이용하여 카메라 행렬을 계산하고, 상기 카메라 행렬과 상기 변환 행렬을 이용하여 상기 평면 영상을 가상 모델로 모델링하는 영상 기반 모델링부, 그리고

상기 HDRI 데이터를 텍스처로 사용하여 상기 가상 모델을 렌더링하는 영상 기반 렌더링부

를 포함하는 가상 현실 구현 시스템.
제1항에 있어서,

상기 영상 기반 모델링부는,

상기 변환 행렬을 계산하는 변환 행렬 계산부, 상기 기준 벡터를 상기 변환 행렬로 변환하여 상기 소실점을 계산하는 소실점 계산부, 상기 소실점으로 상기 카메라의 주점(principal point)을 결정하고 상기 주점을 이용하여 상기 카메라 행렬을 결정하는 카메라 행렬 계산부, 및 상기 카메라 행렬과 상기 변환 행렬을 통하여 카메라 회전 행렬 및 카메라 이동 벡터를 계산하는 회전 및 이동값 계산부를 포함하는 카메라 보정 모듈, 그리고

상기 카메라 행렬과 상기 이동 벡터로 상기 평면 영상을 상기 가상 모델로 대응시키고 상기 가상 모델에 텍스처를 결합하는 모델링 모듈

을 포함하는 가상 현실 구현 시스템.
제2항에 있어서,

상기 소실점 계산부는 상기 기준 벡터로서 평면에서 직교하는 두 변을 이용하여 상기 소실점을 계산하는 가상 현실 구현 시스템.
제2항에 있어서,

상기 카메라 행렬 계산부는, 상기 카메라의 주점을 직선(여기서, ox 및 oy는 상기 주점의 x 및 y좌표이며,,및는 소실점에 의해 결정되는 변수임)에 제한하고 상기 직선을 만족하는 주점 중에서(여기서, p_i는 i번째 측정된 주점이며,는 각각의 주점 위치(ox, oy)에 대해 수행한 보정 결과를 나타냄)를 최소로 하는 점을 상기 카메라의 주점으로 결정하는 가상 현실 구현 시스템.
제4항에 있어서,

상기 카메라 행렬은

(여기서, f는 상기 카메라의 초점 거리,는 상기 카메라 화소의 가로 및 세로 길이비를 나타냄)로 주어지는 가상 현실 구현 시스템.
제2항에 있어서,

상기 회전 및 이동값 계산부는 상기 카메라의 회전 행렬 및 카메라 이동 벡터를 각각및(여기서 r₁, r₂, r₃, t는및를 만족하며, K는 상기 카메라 행렬, H는 상기 변환 행렬임)로 결정하는 가상 현실 구현 시스템
제1항에 있어서,

상기 평면 영상은 상기 측정 물체를 보정판 위에 올려놓은 상태에서 촬영되며,

상기 보정판에는 적어도 두 가지 색상의 직사각형이 번갈아 가며 연속적으로 배열되어 있는 가상 현실 구현 시스템.
제2항에 있어서,

상기 모델링 모듈은,

기본적인 3차원 모델에 대한 데이터가 좌표 형태로 저장되어 있는 프리미티브 데이터베이스,

상기 측정 물체에 대한 평면 영상의 대응점을 상기 카메라 회전 행렬 및 상기 카메라 이동 벡터를 이용하여 3차원 공간상으로 역 투사시킨 선들의 교차점을 구하는 삼각법 수단, 그리고

상기 평면 영상으로부터 색 정보를 추출하여 상기 가상 모델에 매핑하는 텍스처 매핑부

를 포함하는 가상 현실 구현 시스템.
제1항에 있어서,

상기 영상 기반 렌더링부는,

상기 HDRI 데이터를 분석하고 상기 HDRI 데이터로부터 3차원 조명 데이터를 추출하여 저장하고, 상기 HDRI 데이터의 디스플레이를 위한 톤 매핑을 수행하는 HDRI 분석 모듈, 그리고

상기 HDRI 분석 모듈에서 생성된 데이터를 이용하여 상기 가상 모델을 렌더링하기 위한 텍스처 매핑을 수행하는 렌더링 모듈

을 포함하는 가상 현실 구현 시스템.
제9항에 있어서,

상기 HDRI 분석 모듈은,

상기 HDRI 데이터를 분산(diffuse) 및 반사(specular) 요소별로 분리하여 새로운 HDRI 데이터로 저장하는 HDRI 요소별 분리부,

상기 HDRI 데이터로부터 조명의 3차원 위치 정보와 색상 정보를 추출하는 3차원 조명 정보 추출부, 그리고

상기 HDRI 데이터의 디스플레이를 위한 톤 매핑을 수행하는 톤 매핑부

를 포함하는 가상 현실 구현 시스템.
제10항에 있어서,

상기 HDRI 분석 모듈은 상기 HDRI 데이터의 포맷을 변환하는 포맷 변환부를 더 포함하는 가상 현실 구현 시스템.
제9항에 있어서,

상기 영상 기반 렌더링부는, 상기 HDRI 데이터의 픽셀을 실수값으로 저장 및 관리하며 상기 HDRI 데이터를 텍스처로 사용하는 경우에는 상기 실수값의 정보를 확장 노드로 생성하여 장면 그래프에 추가하는 확장 노드 처리 모듈을 더 포함하는 가상 현실 구현 시스템.
카메라를 통하여 측정 물체를 촬영한 평면 영상으로부터 3차원 가상 모델을 생성하는 영상 기반 모델링 시스템에 있어서,

상기 평면 영상의 좌표와 실제 좌표를 비교하여 변환 행렬을 계산하는 변환 행렬 계산부, 상기 평면 영상의 기준 벡터를 상기 변환 행렬로 변환하여 소실점을 계산하는 소실점 계산부, 상기 소실점을 이용하여 상기 카메라의 주점을 직선 상에 제한하고 상기 직선 상에 있는 주점 중 일정 조건을 만족하는 주점을 상기 카메라의 주점으로 선정하여 카메라 행렬을 계산하는 카메라 행렬 계산부, 및 상기 카메라 행렬과 상기 변환 행렬을 이용하여 상기 카메라의 회전 행렬 및 이동 벡터를 계산하는 회전 및 이동값 계산부를 포함하는 카메라 보정 모듈, 그리고

상기 카메라의 회전 행렬 및 이동 벡터를 이용하여 상기 평면 영상을 가상 모델로 모델링하는 모델링 모듈

을 포함하는 영상 기반 모델링 시스템.
제13항에 있어서,

상기 모델링 모듈은,

기본적인 3차원 모델에 대한 데이터가 좌표 형태로 저장되어 있는 프리미티브 데이터베이스,

상기 측정 물체에 대한 평면 영상의 대응점을 상기 카메라의 회전 행렬 및 이동 벡터를 이용하여 3차원 공간상으로 역 투사시킨 선들의 교차점을 구하는 삼각법 수단, 그리고

상기 평면 영상으로부터 색 정보를 추출하여 상기 가상 모델에 매핑하는 텍스처 매핑부

를 포함하는 영상 기반 모델링 시스템.
HDRI(high dynamic range image) 데이터를 이용하여 3차원 가상 모델을 렌더링하는 영상 기반 렌더링 시스템에 있어서,

상기 HDRI 데이터를 요소별로 분리하고 상기 HDRI 데이터로부터 3차원 조명 정보를 추출하며, 상기 HDRI 데이터의 디스플레이를 위한 톤 매핑을 수행하는 HDRI 분석 모듈, 그리고

상기 HDRI 분석 모듈에서 생성된 데이터를 이용하여 상기 가상 모델을 렌더링하기 위한 텍스처 매핑을 수행하는 렌더링 모듈

를 포함하는 영상 기반 렌더링 시스템.
제15항에 있어서,

상기 HDRI 분석 모듈은,

상기 HDRI 데이터를 분산(diffuse) 및 반사(specular) 요소별로 분리하여 새로운 HDRI 데이터로 저장하는 HDRI 요소별 분리부,

상기 HDRI 데이터로부터 조명의 3차원 위치 정보와 색상 정보를 추출하여 텍스터 포맷으로 저장하는 3차원 조명 정보 추출부, 그리고

상기 톤 매핑을 수행하는 톤 매핑부

를 포함하는 영상 기반 렌더링 시스템.
제15항에 있어서,

상기 HDRI 데이터의 픽셀을 실수값으로 저장 및 관리하며 상기 HDRI 데이터를 텍스처로 사용하는 경우에는 상기 실수값의 정보를 확장 노드로 생성하여 장면 그래프에 추가하는 확장 노드 처리 모듈을 더 포함하는 영상 기반 렌더링 시스템.
카메라를 통하여 측정 물체를 촬영한 평면 영상 및 HDRI(high dynamic range image) 데이터를 이용하여 가상 현실을 구현하는 방법에 있어서,

상기 평면 영상의 좌표와 실제 좌표를 비교하여 변환 행렬을 계산하는 제1 단계,

상기 평면 영상의 기준 벡터를 상기 변환 행렬로 변환하여 상기 기준 벡터의 소실점을 계산하는 제2 단계,

상기 소실점을 이용하여 상기 카메라의 주점을 직선 상에 제한하고 상기 직선 상에 있는 주점 중 일정 조건을 만족하는 주점을 상기 카메라의 주점으로 결정하고, 상기 주점으로 카메라 행렬을 결정하는 제3 단계,

상기 카메라 행렬과 상기 변환 행렬을 이용하여 상기 카메라의 회전 행렬 및 이동 벡터를 계산하는 제4 단계, 그리고

상기 카메라의 회전 행렬 및 이동 벡터로 상기 평면 영상을 3차원 가상 모델로 모델링하는 제5 단계

를 포함하는 가상 현실 구현 방법.
제18항에 있어서,

상기 제5 단계는 상기 평면 영상으로부터 색 정보를 추출하여 상기 가상 모델에 매핑하는 단계를 더 포함하는 가상 현실 구현 방법.
제18항에 있어서,

상기 HDRI 데이터를 요소별로 분리하고 상기 HDRI 데이터로부터 3차원 조명 정보를 추출하는 제6 단계, 그리고

상기 제6 단계에서 생성된 데이터를 이용하여 상기 가상 모델을 렌더링하기 위한 텍스처 매핑을 수행하는 제7 단계

를 더 포함하는 가상 현실 구현 방법.
제20항에 있어서,

상기 제6 단계는 상기 HDRI 데이터의 디스플레이를 위한 톤 매핑을 수행하는 단계를 더 포함하는 가상 현실 구현 방법.
제20항에 있어서,

상기 HDRI 데이터를 텍스처로 사용하는 경우에 상기 HDRI 데이터를 확장 노드로 생성하여 장면 그래프에 추가하는 제8 단계를 더 포함하는 가상 현실 구현 방법.