KR101319777B1 - 파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법 - Google Patents

Abstract

본 발명은 투영 축(11)에 따라 모상을 투영하도록 구성된 프로젝터(2)와, 모상을 적어도 부분적으로 반사하고 룸의 바닥, 천정, 하나 이상의 측벽, 및 내용물과 같은 3차원 환경(7, 8a, 8b)에 투영하도록 구성된 볼록 거울을 포함하는 투영 장치(1)에 관한 것이다. 프로젝터와 볼록 거울을 결합할 때, 모상은 예를 들어 2π 스테라디안(즉, 반구)보다 큰 입체각, 또는 4π 스테라디안(즉, 구)과 사실상 동일하거나 4π 스테라디안보다 약간 작은 입체각으로 투영될 수 있다. 본 발명은 또한 상기 장치에 의해 실행되는 방법에 관한 것이다. 본 발명 분야는 특히 가상 또는 혼합 현실 어플리케이션을 위한 비디오 프로젝터에 관한 것이다.

Description

파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법{PANORAMIC PROJECTION DEVICE AND METHOD IMPLEMENTED BY SAID DEVICE}

본 발명은 예를 들어, 룸(room)의 표면에 화상을 투영하기 위한 장치에 관한 것이다. 또한, 본 발명은 이러한 장치에 의해 실행되는 방법에 관한 것이다.

보다 구체적으로, 본 발명 분야는 가상 또는 혼합 현실 어플리케이션(virtual or mixed reality application)을 위한 비디오 프로젝터에 관한 것이다.

가상 현실 어플리케이션에 있어서, 예를 들어 본 발명에 따른 장치는, 투영된 화상이 가상 현실 환경을 생성시키도록 사용자가 룸의 표면에 화상을 투영할 수 있게 하고, 관찰자는 가상 시점(virtual viewpoint)에서 장면(scene) 관찰의 환영(illusion)을 갖는 투영된 화상을 관찰하게 된다.

혼합 현실 어플리케이션에 있어서, 예를 들어 본 발명에 따른 장치는, 투영된 화상이 룸의 실제 요소와 연합하여 혼합 현실 환경을 생성시키도록 사용자가 룸의 표면에 화상을 투영할 수 있게 한다.

체적에 연속된 화상을 투영하기 위한 예시적인 장치가 공지되어 있으며, 이러한 장치는 단일 프로젝터를 포함한다. 프로젝터는 투영 방향으로 화상을 투영하도록 배열되어 있으며, 투영 화상이 투영 방향을 중심으로 투영 입체각(solid angle)을 따라 전파됨에 따라 투영되는 화상의 크기는 커진다. 장치가 화상을 투영할 수 있는 내부 체적은 프로젝터의 구경(aperture), 즉 투영의 입체각의 값에 의해 제한된다. 따라서, 이러한 장치에서, 직사각형 룸의 중심에 위치되는 프로젝터는 룸의 네 개의 측벽으로 동시에 화상을 투영할 수 없다.

또한 수 개의 프로젝터를 포함하는 투영 장치도 알려져 있는데, 각각의 프로젝터는 체적의 특정 물체 또는 한 면(facet)을 조명한다. 이러한 장치는, 수 개의 프로젝터를 포함하고, 추가 비용을 형성하며, 일반적으로 프로젝터의 투영들이 조화되는 것을 요구한다는 단점이 있다.

본 발명의 목적은, 화상이 투영될 수 있는 체적 또는 환경이 프로젝터의 구경에 의해 제한되지 않고 단일 프로젝터로부터 화상을 투영하기 위한 장치를 제안하는 것이다.

본 발명의 목적은,

- 투영 축을 따라 모상(mother image)을 투영하도록 배열된 프로젝터와,

- 모상을 적어도 부분적으로 반사하고 3차원 환경으로 투영하도록 배열된 볼록 거울을 포함하는 투영 장치로 성취된다.

거울은 모상을 적어도 부분적으로 반사하고 모상을 환경에 투영하도록 배열된 볼록면을 포함하기 때문에 볼록 거울로 언급된다.

바람직하게, 프로젝터는, 예를 들어 비디오 스트림(video stream)의 연속적인 모상과 같은 다양한 모상을 연속적으로 투영하도록 배열된다. 이러한 다양한 모상은 투영 축에 대해, 다양한 위치 및 다양한 크기를 가질 수 있다.

거울은 돌림 축을 중심으로 사실상 회전 대칭성을 갖는 볼록 거울일 수 있다. 이 경우에, 거울의 돌림 축 및 투영 축은 사실상 합체되는 것이 바람직하다.

본 명세서에서는, 두 개의 축들이 정확히 합체되거나 불완전하게 합체될 때에도 이들은 사실상 합체된 것으로 본다.

바람직하게, 거울은 모상을 변형함으로써 모상을 반사하도록 배열된다. 예를 들어, 프로젝터는 제1 입체각 내에서 모상을 투영하도록 배열될 수 있으며, 거울은 제1 입체각보다 큰 제2 입체각 내에서 모상을 투영하도록 배열될 수 있다. 바람직하게, 제1 입체각은 2π 스테라디안, 즉 반구보다 작다.

본 명세서에서, 모상이 투영 방향을 따라 전파될 때 이러한 모상의 크기가 입체각을 따라 점진적으로 증가한다면, 모상은 입체각 내에서 투영되는 것으로 본다.

제2 입체각은 0 내지 4π 스테라디안에서 임의의 값을 가질 수 있으며, 제2 입체각의 값은 특히, 투영 축에 대한 모상의 위치, 거울 상의 투영 축의 기울기, 및 모상의 크기에 의존한다. 주어진 모상에 있어서, 제2 입체각은 2π 스테라디안(즉, 반구)보다 클 수 있거나, 4π 스테라디안(즉, 구)과 사실상 동일하거나 4π 스테라디안보다 보다 약간 작을 수도 있다.

유사하게, 거울은 투영 축을 중심으로 한 각 내에서 모상을 투영하도록 배열될 수 있으며, 이러한 각의 값은 0˚ 내지 360˚사이에 포함될 수 있으며, 특히 투영 축에 대한 화상의 위치, 거울 상의 투영 축의 기울기, 및 모상의 크기에 의존한다. 주어진 모상에 있어서, 거울은, 투영 축을 중심으로 180˚보다 큰 각 내에서, 또는 투영 축을 중심으로 사실상 360˚와 동일한 각 내에서 모상을 투영하도록 배열될 수 있다.

본 명세서에서, 축을 중심으로 한 각은 축에 수직인 평면에 형성된다.

본 발명에 따른 장치는 3차원 환경의 하나 이상의 화상을 취득하기 위한 수단을 더 포함할 수 있다. 환경의 화상은 3차원 환경의 일부 또는 전체를 화상 형성할 수 있다. 취득 수단은, 환경에 의해 방출되고 거울에 의해 반사되지 않는 광선으로부터 환경의 하나 이상의 화상을 취득하도록 배열될 수 있다. 취득 수단은 카메라, 및 회전 축을 중심으로 카메라를 회전시키는 수단을 포함할 수 있다. 바람직하게, 취득 수단은 환경의 수 개의 화상을 취득하도록 배열되며, 이러한 화상의 합은 회전 축과 같은 축을 중심으로 360˚에 걸쳐 환경을 화상 형성한다. 바람직하게, 투영 축 및 회전 축은 사실상 합체된다. 또한, 본 발명에 따른 장치는 환경의 하나 이상의 화상으로부터 3차원 환경을 모델링하는 수단을 더 포함할 수 있다.

본 발명에 따른 장치는, 관찰자의 위치에 따라 모상을 구성하는 수단, 및 선택적으로는 3차원 환경을 모델링하는 수단을 더 포함할 수 있어서, 환경으로의 모상의 투영을 관찰하는 관찰자는, 그의 위치에서, 주어진 가상 시점으로부터 장면을 관찰하게 된다.

또한, 본 발명에 따른 장치는 3차원 환경의 하나 이상의 방사상 특성을 측정하기 위한 수단 및 측정된 하나 이상의 방사상 특성에 따라 모상을 보정하기 위한 수단을 더 포함할 수 있다.

마지막으로, 본 발명에 따른 장치는 벽, 바닥, 또는 천정에 거울을 고정하기 위한 수단을 더 포함할 수 있다.

본 발명의 다른 태양에 따르면, 제안된 본 발명에 따른 장치에 의해 실행되는 투영 방법이 제안되며, 이 방법은

- 투영 축을 따른 모상의 투영과,

- 볼록 거울에 의한 모상의 적어도 일부분의 반사와,

- 볼록 거울에 의해 반사되는 모상의 3차원 환경으로의 투영을 포함한다.

모상의 일부는 거울에 의해 반사되지 않을 수 있는데, 모상의 이러한 부분은프로젝터에 의해 3차원 환경으로 직접 투영된다.

바람직하게, 거울은 모상을 변형시킴으로써 모상을 반사시킨다. 예를 들어, 프로젝터는 제1 입체각 내에서 모상을 투영할 수 있으며, 거울은 제1 입체각보다 큰 제2 입체각 내에서 모상을 투영할 수 있다. 바람직하게, 제1 입체각은 2π 스테라디안(즉, 반구)보다 작을 수 있다.

제2 입체각은 0 내지 4π 스테라디안 사이의 임의의 값을 가질 수 있으며, 제2 입체각의 값은 특히, 투영 축에 대한 화상의 위치, 거울 상의 투영 축의 기울기, 및 모상의 크기에 의존한다. 주어진 모상에서, 제2 입체각은 2π 스테라디안(즉, 반구)보다 클 수 있거나, 또는 4π 스테라디안(즉, 구)과 사실상 동일하거나 4π 스테라디안보다 약간 작을 수 있다.

유사하게, 거울은 투영 축을 중심으로 한 각 내에서 모상을 투영할 수 있으며, 이러한 각의 값은 0˚ 내지 360˚사이에 포함될 수 있다. 주어진 모상에 있어서, 거울은, 투영 축을 중심으로 180˚보다 큰 각 내에서, 또는 투영 축을 중심으로 사실상 360˚와 동일한 각 내에서 모상을 투영할 수 있다.

본 발명에 따른 방법은, 3차원 환경의 하나 이상의 화상을 취득하는 단계을 더 포함할 수 있다.

화상의 취득은,

- 회전 축을 중심으로 각 위치(angular position)에 카메라를 위치시키는 단계와,

- 3차원 환경에 의해 방출되는 광선으로부터 카메라의 상기 각 위치에 대해, 환경의 화상을 취득하는 단계를 포함한다.

본 발명에 따른 방법은, 3차원 환경의 모델링을 더 포함하고, 상기 모상은 하나 이상의 모델링 점을 포함하고, 화상의 취득은 모델링을 위해, 환경의 하나 이상의 화상의 취득을 포함하고, 상기 모델링은, 각각의 모델링 점 및 모델링을 위해 취득된, 환경의 각각의 화상에 대해,

- 거울에 의해 반사되고 환경의 제1 점으로 투영되는, 모델링 점으로부터 발원되는 광선의 경로를 계산하는 단계와,

- 환경의 제1 점으로부터 발원되고 모델링을 위해 취득된, 환경의 화상의 점에 의해 화상 형성되는 광선의 경로를 계산하는 단계와,

- 모델링 점으로부터 발원되는 광선의 경로와 환경의 제1 점으로부터 발원되는 광선의 경로의 교차점을 계산하는 단계를 포함한다.

모델링 점의 수가 많을수록 모델링 해상도가 높아진다. 모델링 점은 수 개의 연속적으로 투영된 모상에 걸쳐 분포될 수 있다. 바람직하게, 모델링을 위해 취득된, 환경의 화상은 수 개의 환경의 화상을 포함하며, 이러한 화상의 합은 회전 축과 같은 축을 중심으로 360˚에 걸쳐 환경을 화상 형성한다. 따라서, 축을 중심으로 360˚에 걸쳐 환경을 모델링할 수 있다.

경로의 계산은 계산 파라미터에 의존하며, 본 발명에 따른 방법은, 파라미터의 교정을 포함하고, 모상은 하나 이상의 교정 점을 포함하고, 화상의 취득은 교정을 위해 환경의 하나 이상의 화상의 취득을 포함한다.

교정을 위해 취득된 환경의 화상은, 상이하지만, 환경의 공통 부분을 화상 형성하는 하나 이상의 화상 쌍을 포함할 수 있으며, 상기 교정은, 각각의 교정 점 및 각각의 화상 쌍에 대해,

- 쌍 중의 제1 화상의 점 및 쌍 중의 제2 화상의 점과 교정 점을 관련시키는 단계로서, 쌍 중의 제1 화상의 점 및 쌍 중의 제2 화상의 점은 교정 점이 투영되는 환경의 제2 점을 화상 형성시키는, 관련시키는 단계와,

- 계산 파라미터 및 쌍 중의 제1 화상의 점의 위치로부터 쌍 중의 제2 화상의 점의 이론적 위치를 계산하는 단계를 포함하며,

상기 교정은, 교정 점 전체에 걸쳐서, 쌍 중의 제2 화상의 점의 위치와 쌍 중의 제2 화상의 이러한 점의 이론적 위치 사이의 거리의 합을 최소화하기 위해, 계산 파라미터들 중 하나 이상의 수정을 더 포함할 수 있다.

또한, 교정은 각각의 교정 점 및 교정을 위해 취득된 환경의 각각의 화상에 대해,

- 거울에 의해 반사되고 환경의 제3 점으로 투영되는, 교정 점으로부터 발원되는 광선의 경로를 계산하는 단계와,

- 환경의 제3 점으로부터 발원되고 교정을 위해 취득된 환경의 화상의 점에 의해 화상 형성되는 광선의 경로를 계산하는 단계를 포함할 수 있으며,

교정은, 교정 점 전체에 걸쳐서, 환경의 제3 점에 투영되는 광선의 경로와 환경의 제3 점으로부터 발원되는 광선의 경로 사이의 거리의 합을 최소화하기 위해, 계산 파라미터들 중 하나 이상을 수정하는 단계를 더 포함할 수 있다.

전술된 각각의 교정에 있어서, 교정 점의 수가 많을수록 파라미터의 교정은 양호해진다. 교정 점은 수 개의 연속적으로 투영된 모상에 걸쳐 분포될 수 있다. 바람직하게, 교정을 위해 취득된 환경의 화상은 수 개의 환경의 화상을 포함하며, 이러한 화상의 합은 회전 축과 같은 축을 중심으로 360˚에 걸쳐 환경을 화상 형성한다.

모상의 점은 모델링 점과 교정 점 모두로 사용될 수 있다. 따라서, 제1 환경의 점, 제2 환경의 점, 및 제3 환경의 점은 합체될 수 있다. 유사하게, 환경의 화상은 모델링 및 교정을 위해 동시에 취득될 수 있다.

본 명세서에서, "점"은 0이 아닌 표면을 가질 수 있다. 실제로, 모상의 "점"(예를 들어, 모델링 점 또는 교정 점)은 통상적으로 하나 이상의 픽셀, 바람직하게는 단일 픽셀로 구성될 수 있다. 환경의 점의 크기 및 환경의 화상의 점의 크기는 예를 들어, 프로젝터 또는 카메라의 광학적 특성(초점 길이 등), 프로젝터와 환경의 점 사이의 거리 등에 의존한다.

또한, "두 경로 사이의 거리"는 두 경로 사이에서 가장 짧은 직접적인 루트(route)의 길이를 의미한다.

본 발명에 따른 방법은 관찰자의 위치에 따른 모상의 구성, 및 선택적으로는 3차원 환경의 모델링을 더 포함할 수 있어서, 환경으로의 모상의 투영을 관찰하는 관찰자는, 관찰자의 위치에서, 주어진 가상 시점으로부터 장면을 관찰하게 된다.

마지막으로, 본 발명에 따른 방법은, 3차원 환경의 하나 이상의 방사상 특성의 측정, 및 측정된 하나 이상의 방사상 특성에 따른 모상의 보정을 더 포함할 수 있다.

본 발명의 다른 이점 및 특징은 제한되지 않는 실시예 및 예시의 상세한 기재를 읽음으로써 또한 하기에 첨부된 도면으로부터 명백해질 것이다.
도 1은 본 발명에 따른 장치의 실시예의 측면도이다.
도 2는 이 장치의 평면도이다.
도 3은 장치의 프로젝터의 메트릭스 상에 표시된, 이 장치에 의해 투영되기 전의 모상을 도시한다.
도 4는 6 개의 장면의 시계(perspective)이다.
도 5는 도 4의 시계로부터 도 3의 모상을 구성하는 것을 도시한다.

따라서 본 발명에 따른 방법을 실행하는 본 발명에 따른 장치(1)의 실시예는 도 1 내지 도 5를 참조하여 도시될 것이다.

장치(1)는 프로젝터(2), 볼록 거울(3), 카메라(4), 및 회전 축(6)을 중심으로 카메라(4)를 회전시키는 수단(5)을 포함한다. 장치(1)는, 투영 스크린으로서 작용하는 다양한 요소, 특히 룸의 측벽(7), 바닥(8a), 천정(8b) 및 룸에 포함된 물체를 포함하는 3차원 환경으로 둘러싸인다. 이러한 요소들 각각은 예를 들어 만곡된 물체 또는 지하실(cellar)의 천정과 같이 편평하지 않을 수 있다.

장치(1)는 하기와 같이 작동한다. 가장 먼저, 장면은, 바람직하게는 관찰자를 위한 원하는 시각적 효과(visual impression)를 내면서 3차원 환경에 투영되도록 유효하게 형성될 수 있다. 장치(1)는, 양호하게, 가능하면 큰 입체각 내에서 빔이 3차원 환경을 향할 수 있도록, 한편으로는 각이 제한되는 빔으로 모상을 투영하는 비디오 프로젝터(2)를 사용함으로써, 다른 한편으로는 각이 제한되는 빔을 반사시키는 윗 쪽에 위치되는 리테이크 거울(retake mirror; 3)을 사용함으로써, 사실상 환경의 모든 공간을 커버할 수 있다.

원하는 시각적 효과를 위한 충실한 투영을 위해서, 장치(1)는 투영 스크린의 사양, 즉, 위치, 색상, 반사 계수, 및 이들 사이의 상호작용을 고려한다.

이 때문에, 상이한 색상의 배경에 의해 조명되는 환경 또는 비디오 프로젝터 어레이에 의해 방출되는 기하학적 원형(geometric primitive)을 기록하는 취득 카메라(acquisition camera; 4)에 의해 포획된 화상을 이용한다. 카메라가 프로젝터의 방사 광학 축을 중심으로 회전한다면, 시차 효과(parallax effect)를 갖고 음영 영역(shadow area)이 없는 상태로, 투영 스크린으로서 작용하는 모든 물체 상에 정보를 제공할 수 있다.

카메라에 의해 수집된 정보는, 모상을 수정하여 스크린 상에의 장면의 충실한 재현을 위해 필요한 수정을 자체적으로 담고있는 보정된 모상을 생성시키기 위해, 모상의 보정에 관해 처리 및 유도됨으로써, 관찰자는 원하는 시각적 효과를 내는 이러한 장면 관찰의 효과를 보게 된다.

프로젝터(2)는 모상이 표시되는 픽셀의 메트릭스(9)를 포함하고 또한 렌즈(10)를 포함하는 메트릭스 비디오 프로젝터이다. 프로젝터는 투영된 화상의 파전면(wave front)과 직교하는 투영 축(11)을 따라 렌즈(10)를 통해 모상을 투영하도록 배열되며, 모상의 크기는 투영 축(11)을 중심으로 한 2π 스테라디안보다 작은 제1 투영 입체각(18)에 따라서 투영 축(11)을 따라 전파됨에 따라 점진적으로 커진다. 통상적으로, 프로젝터는 정점에서 30˚ 각을 갖는 투영 원추 내에서, 즉, π/4 스테라디안의 제1 입체각(18) 내에서 모상을 투영한다. 렌즈(10)의 광학 축(13)은 사실상 메트릭스(9)의 중심을 통과하고, 투영 축(11)과 사실상 합체된다.

거울(2)은 천정(8b)에 고정되고, 거울(3)의 볼록면은 프로젝터(2)를 향해 배향되며, 렌즈(10)는 거울(3)을 향해 배향됨으로써, 거울(3)의 볼록면은, 프로젝터에 의해 제1 입체각 내에서 투영된 모상의 적어도 일부를 반사시키고, 3차원 환경의 전체 또는 일부에 걸쳐 그리고 제2 입체각 내에서 반사된 모상의 일부를 투영하도록 배열된다. 따라서, 장치(1)는 반사 투영 장치(catadioptric projection device)이며, 이에 따라 이 장치는 메트릭스 비디오 프로젝터(2)를, 3차원 환경(7, 8a, 8b)에 모상을 반사시키도록 의도되는 볼록 거울(3)과 연합시킨다.

도 1에 도시된 예시에서, 모상의 투영은 수 개의 광선(14 내지 17)의 투영을 포함한다. 거울(3)은 이러한 광선의 일부(14 내지 16)를 반사시키도록 배열된다. 거울(3)은 바닥(8a)을 향해 이러한 광선(14)의 일부를 반사시키도록 배열되는데, 프로젝터(2)에 의해 투영 축(11)에 충분히 근접하게 투영된 광선들은 거울에 의해 다시 프로젝터(2)로 반사된다. 거울(3)은 또한 벽(7)을 향하는 이러한 광선(15)의 일부 및 천정(8b)을 향하는 이러한 광선(16)의 일부를 반사시키도록 배열된다. 또한 거울(3)은 모상의 주연부를 반사시키지 않도록 배열되는데, 모상의 이러한 부분으로부터 발원되는 광선(17)은 프로젝터(2)에 의해 3차원 환경(7, 8a, 8b)으로 바로 투영된다.

거울(3)은 돌림 축(axis of revolution; 12)을 중심으로 회전 대칭성을 갖는다. 거울(3)은 예를 들어 프로젝터(2)를 향해 볼록면이 배향된 구의 일부를 포함할 수 있다. 장치(1)의 구조를 단순화시키기 위해, 거울(3)의 돌림 축(12)은 사실상 카메라(4)의 회전 축(6), 투영 축(11), 및 광학 축(13)과 합체된다.

종래 기술에 따른 투영 장치와는 달리, 볼록 거울(3)을 사용한 장치(1)는 투영 축(11)을 중심으로 파노라마식으로 모상을 투영하도록 배열된다. 거울은 예를 들어 투영 축(11)을 중심으로 180˚ 보다 큰 각 내에서 주어진 모상을 투영할 수 있다. 예를 들어, 돌림 축(12)을 중심으로 하고 이에 따라 투영 축(11)을 중심으로 한 모상은, 거울에 의해 반사된 후 투영 축(11)을 중심으로 360˚에 걸쳐, 즉 투영 축 전체 둘레에 투영된다. 다른 한편으로, 메트릭스(9) 상에 표시될 때, 돌림 축(12) 및 이에 따른 투영 축(11)을 자르거나 둘러싸지 않고 메트릭스의 일부만을 차지하는 모상에 대하여, 이러한 모상은 거울(3)에 의해 반사된 후, 투영 축을 중심으로 360˚보다 작은 모든 임의의 값일 수 있는 각 내에서 투영된다. 그러므로 모상에 따라서, 이러한 모상은 측벽들 중 단 하나에 또는 측벽 모두에 투영될 수 있다.

거울(3)은 제1 투영 입체각(18)이 거울(3)의 볼록면을 포위하도록 프로젝터(2)에 대해 위치 설정된다. 거울(3)은 제2 입체각 내에서 모상을 투영하도록 배열되며, 모상의 크기는, 모상이 제2 입체각을 따라 환경을 향해 거울로부터 전파됨에 따라 점진적으로 커진다. 돌림 축(12)과 투영 축(11)이 사실상 합체되는 특정 경우에, 제2 입체각은 또한 자체적으로 투영 축(11)을 중심으로 하여 중심 설정된다. 제2 입체각은 0 내지 4π 스테라디안에서 임의의 값을 가질 수 있으며, 제2 입체각의 값은 특히, 거울의 돌림 축 또는 투영 축에 대한 모상의 위치 및 메트릭스(9) 상의 모상의 크기에 의존한다. 거울의 돌림 축을 중심으로 한, 이에 따라 메트릭스(9) 상에 중심 설정된 모상에 있어서, 이러한 제2 입체각은 통상적으로 2π 스테라디안보다 크다. 도 1에 도시된 바와 같이, 제2 입체각은 4π 스테라디안보다 약간 작을 수도 있으며, 거울은 반사 후에 바닥(8a)에서부터 천정(8b)까지 모상을 투영하도록 배열된다. 따라서, 모상은 룸의 측벽, 바닥, 및 천정 모두에 투영될 수 있다. 도 1에서, 제2 입체각은 거울(3)과 천정(8b) 사이에 위치된 광선(16)의 부분들에 의해 한정된다.

카메라(4) 및 회전 축(6)을 중심으로 카메라를 회전시키는 수단(5)은 3차원 환경(7, 8a, 8b)의 화상이 취득되게 허용한다. 카메라는 취득 카드에 연결된 CCD 카메라이거나, USB 접속부를 갖춘 웹캠이거나, 또는 USB 또는 무선 (블루투스 또는 WIFI) 접속부를 갖춘 단순한 디지털 포토 장치(digital photo device)일 수도 있다. 카메라는 스텝핑 형 모터에 의해 회전될 수 있는데, 그 축(6)을 중심으로 한 카메라의 움직임과 모터 사이의 동력전달은 임의의 전동 수단(예를 들어, 동기화 벨트)에 의해 이루어지고, 카메라는 기계 조립체[예를 들어 투영 축(11)을 둘러싸고 프로젝터에 의해 투영된 모상의 광선을 통과시키는 큰 직경 베어링]에 의해 회전식으로 안내된다. 그 축을 중심으로 한 카메라의 위치에 있어서, 카메라는 환경에 의해 방출되고 거울에 의해 반사되지 않는 광선(20)을 직접 수용한다. 따라서, 이러한 광선(20)으로부터, 카메라는 3차원 환경 일부, 즉 벽(7), 바닥(8a), 천정(8b)의 일부, 그리고 룸에 수용된 특정 물체의 화상을 취득한다.

카메라(4) 및 회전 수단(5)은 3차원 환경의 전방향성 취득 수단(omnidirectional acquisition means)을 형성하는데, 이러한 취득 수단은 투영 축(11)을 중심으로 180˚를 넘는 각에 걸쳐서 분산되는 3차원 환경의 부분들의 화상을 취득할 수 있다. 예를 들어, 회전 축(6)을 중심으로 카메라(4)가 360˚ 회전하면 회전축(6) 전체 둘레의 그에 따라 투영 축(11) 전체 둘레의 3차원 환경의 화상을 취득할 수 있게 된다. 그러나, 맹점, 즉 카메라에 의해 보이지 않는 3차원 환경의 부분, 예를 들어 프로젝터(2)에 의해 가려지는 바닥(8a) 부분이나 거울(3)에 의해 가려지는 천정(8b) 부분이 있을 수 있다. 이러한 맹점을 제한하기 위해서, 카메라는 통상적으로는 90˚정도의 상대적으로 넓은 시야(19) 및, 이에 따른 매우 짧은 초점 길이를 갖는다. 유사하게, 이러한 맹점을 제한하기 위해서, 카메라는 프로젝터(2)와 거울(3) 사이에 위치되어서, 카메라의 광학 축은 투영 축(11)에 대해 대체로 수직하거나, 투영 축의 수직에 대해 약간 기울어져 있게 된다. 마지막으로, 또한, 이러한 맹점을 제한하기 위해, 회전 수단(5)은, 회전 축(6)을 중심으로 360˚에 걸친 카메라(4)의 일련의 연속 회전을 수행하도록, 또한 이러한 각각의 연속 회전에 있어서의 투영 축(11) 또는 회전 축의 수직에 대해 카메라의 기울기를 수정하도록 배열될 수 있다.

그러므로 카메라는 3차원 환경을 감지하도록 배열된다. 장치(1)는 카메라(4)에 연결된 계산 수단(21)을 더 포함한다. 이러한 계산 수단은, 통상적으로 예를 들어 프로세서, 컴퓨터의 중앙 처리 유닛, 또는 전자 카드와 같은 소프트웨어 또는 알고리즘을 실행하기 위한 수단을 포함한다. 이러한 계산 수단은, 카메라(4)에 의한 3차원 환경의 감지를 고려한 후, 모상에서, 3차원 환경의 감지에 따른 다양한 타입의 보정을 수행하도록 배열된다.

먼저, 계산 수단은 카메라에 의해 취득된 환경의 하나 이상의 화상에 기초하여 3차원 환경을 모델링(model)하도록 배열된다. 모델링을 위해 사용되는 화상의 수가 크거나 회전 축(6)을 중심으로 분포되는 이러한 화상이 많을수록, 모델링될 수 있는 3차원 환경의 부분은 넓어진다. 계산 수단은 거울(3)과 취득 수단(4, 5) 사이의 삼각측량에 의해 환경의 3차원 모델링을 구성하도록 배열된다. 또한, 계산 수단은 관찰자(22)의 위치에 따라 모상에 가해지게 되는 왜곡(distortion)의 모델링으로부터의 계산을 위해 배열됨으로써, 3차원 환경으로의 모상의 투영을 관찰하는 관찰자는, 그의 위치에서, 주어진 가상 시점으로부터 장면을 관찰하게 된다. 그러므로, 계산 수단은 관찰자가 가상 시점의 환영을 볼 수 있도록 모상을 구성할 수 있다.

다른 한편, 카메라는 비색 특성 또는 3차원 환경의 반사율 함수와 같은, 3차원 환경의 하나 이상의 방사상 특성을 측정하기 위한 수단을 포함한다. 계산 수단은 측정된 방사상 특성에 따라 모상을 보정하도록 배열됨으로써, 관찰자(22)는 소정의 비색 렌더링(colorimetric rendering) 및 광도를 갖는 환경으로의 모상의 투영을 관찰한다. 따라서, 계산 수단은, 특히 모상이 투영되는 3차원 환경의 각각의 요소의 색상, 조직, 및 반사율 고려하여, 또한 3차원 환경에 존재하는 광 소스를 고려하여, 비색 시점의 모상 및 광도가 충실하게 재현되게 한다.

장치(1)에 의해 실행되는 방법은 하기의 단계를 포함한다.

- 투영 광학 축(11)을 따른, 프로젝터(2)에 의한 모상의 투영,

- 거울(3)에 의한 모상의 반사,

- 거울(3)에 의해 반사된 모상의 3차원 환경으로의 투영.

전술한 바와 같이, 거울은, 예를 들어, 투영 축을 중심으로 180˚보다 큰 각(A) 내에서, 또는 투영 축(11)을 중심으로 심지어 360˚를 넘는 각으로, 즉, 룸의 벽(7) 전체에, 바람직하게는 파노라마식으로 모상을 투영한다. 실제로, 이러한 각(A)은 0˚ 내지 360˚사이에 포함되는 모든 임의의 값을 가질 수 있으며, 이러한 값은 메트릭스(9)의 레벨에서의 모상의 크기, 및 메트릭스(9) 상의 모상의 위치에 의존한다.

도 3은 프로젝터(2)의 메트릭스(9) 상에 표시될 때의 모상(23)의 예시를 도시한다. 모상(23)이 메트릭스(9) 상에 중심 설정됨에 따라, 투영 축(11)에 의해 사실상 중간에서 절단된다. (점선으로 도시된) 폐곡선(25)의 외부에서 모상(23)의 주연부에 위치된 부분(24)은, 프로젝터(2)에 의해 투영된 후에 거울(3)에 의해 반사되지 않고, 프로젝터(2)에 의해 3차원 환경으로 직접 투영된다. 이러한 부분(24)의 픽셀로부터 발원되는 광선(17)은 거울(3)과 만나지 않고 천정(8b)으로 바로 투영된다. 화상의 이러한 부분(24)은 사용되거나 소거될 수 있는데, 사실 환경상으로 직접 투영되는 메트릭스의 부분(24) 소거되게 되고, 거울만으로의 조명이 제한되는 경향이 있다. 폐곡선(25) 내에 위치된 모상(23)의 다른 부분(26)은 프로젝터(2)에 의해 투영된 후에 미러(3)에 의해 3차원 환경으로 반사된다. 폐곡선(25)의 형상은 거울(3)의 형상에 의존한다. 볼록 거울이 구의 일부와 같은 돌림 형상을 갖는 경우, 폐곡선(25)은 원형이다. 모상(23)은 2π 스테라디안보다 크거나 또는 대체로 4π 스테라디안과 사실상 동일하거나 또는 4π 스테라디안 보다 약간 작은 제2 입체각 내에서, 프로젝터(2)에 의해 3차원 환경으로 투영된다.

이 방법은 관찰자 위치(22)에 따라 모상(23)을 구성하는 것을 더 포함함으로써, 환경으로의 모상의 투영을 관찰하는 관찰자(22)는, 그의 위치에서, 가상 시점(P)으로부터 장면을 관찰하게 된다.

이러한 구성은 하기와 같이 수행된다.

장면은 저장 수단에 의해 도 4에 도시된 6 개의 시계(perspective; 27 내지 32)의 형태로 프로젝터(2)에 저장된다. 이 모든 시계들은 시점(P)으로부터 본 장면의 모습이며, 이러한 시계들은 직교하는 3차원 기준 점의 3 개의 축을 따른 6 개 방향의 장면의 모습이다. 이러한 6 개의 시계가 사각형 내에 각각 수용됨에 따라, 도 5에 도시된 큐브(33)의 6 개의 내부 면 상에 이러한 6 개의 시계를 위치시킴으로써 이러한 큐브의 중심에 위치한 관찰자는 시점(P)로부터 장면을 관찰하게 된다. 이러한 시각은 실제 조감도의 사진일 수 있거나 또는 합성 화상일 수 있다.

그 후, 프로젝터(2)에 의해 투영된 모상(23)의 구성에 참여할 수 있도록, 6 개의 시계는 계산 수단(21)에 의해 실행된 알고리즘에 의해 처리된다. 이 때문에, 계산 수단은, 프로젝터(2)와 관련된 기준 틀(frame of reference) 내에서, 모상이 투영되는 환경의 점의 좌표의 결정을 포함하는 3차원 환경의 모델링을 사용한다. 이러한 모델링은, 모상(23)의 각 점 또는 픽셀에 대해, 모상(23)의 픽셀의 좌표(u, v), 이러한 픽셀이 투영되는 3차원 환경의 점(M_r)의 좌표, 및 점(M_r)과 관찰자 위치(22)를 연결하는 직선(D)의 방향 간의 상관 관계 테이블을 형성하게 허용하여, 이러한 픽셀과 점(M_v)의 색상과 밝기를 관련시키는데, 이러한 점(M_v)은 6 개의 시계(27 내지 32)들 중 하나의 시계의 점이며 큐브(33)와 직선(D)의 교차점에 위치되고, 상기 큐브(33)는 그 중심, 즉 시점(P)이 사실상 관찰자 위치(22)와 합체되도록 환경(7, 8a, 8b)에 위치된다.

관찰자의 위치는 프로젝터(2)의 위치로서 초기치로 한정될 수 있거나 임의의 위치일 수 있고, 입력 수단에 의해 관찰자에 의해 형성되거나 관잘자를 위치시키는 수단에 의해 결정될 수 있다.

일 실시예에서, 모상의 점이 투영되는 환경의 점의 좌표는, 예를 들어, 사용자가 장치(1)가 위치되는 룸의 치수를 규정할 수 있게 하는 입력 수단을 사용하는 사용자에 의해 규정되어, 이러한 룸 내에 프로젝터(2) 및 거울(3)의 위치를 규정할 수 있다.

또 다른 실시예에서, 환경의 기하학적 형상은 레이저 또는 초음파와 같은 광학 센서를 포함하는 외부 정보 소스에 의해 알려진다.

마지막으로, 본 발명에 따른 방법의 마지막 실시예에서, 환경의 모델링은,

- 프로젝터에 의한, 하나 이상의 모델링 점을 포함하는 모델링 모상의 투영과;

- 거울(3)에 의한 모델링 모상의 반사와;

- 거울(3)에 의해 반사되는 모델링 모상의 3차원 환경으로의 투영과;

- 모델링을 위해 취득된, 환경의 하나 이상의 화상의 취득으로서, 이러한 환경의 화상은 회전 축(6)을 중심으로 한 카메라(4)의 다양한 각 위치에 대해 양호하게 취득되는, 화상의 취득과;

- 각각의 모델링 점 및 모델링을 위해 취득된, 환경의 각 화상에 있어서,

ㆍ 모델링을 위해 취득된, 환경의 화상의 점과 모델링 점을 관련시키는 단계로서, 환경의 화상의 점은 모델링 점이 투영되는 환경의 제1 점(34)의 화상을 형성하는, 관련시키는 단계와,

ㆍ 거울에 의해 반사되고 환경의 제1 점으로 투영되는, 모델링 점으로부터 발원되는 광선(15)의 경로를 계산하는 단계와,

ㆍ 환경의 제1 점(34)으로부터 발원되고 모델링을 위해 취득된, 환경의 화상의 점에 의해 화상이 형성되는 광선(20)의 경로를 계산하는 단계와,

ㆍ 모델링 점으로부터 발원된 광선(15)의 경로와 환경의 제1 점(34)으로부터 발원되는 광선(20)의 경로의 교차점을 계산하는 단계로서, 이러한 두 경로 사이의 교차점의 좌표는 사실상 환경의 제1 점의 좌표인, 교차점을 계산하는 단계를 포함한다.

따라서, 수 개의 환경의 제1 점의 좌표는 수 개의 모델링 점을 사용하여 획득된다.

계산된 경로는, 기하 광학(geometrical optics)에서, 직선 또는 직선의 일부에 의해 구성됨에 따라 단순해 진다. 경로의 계산은 보다 상세히 후술되는 계산 파라미터에 의존한다.

실제로, 알려진 이러한 계산 파라미터에서 있을 수 있는 결점으로 인해, 모델링 점으로부터 발원되는 광선(15)의 계산된 경로와 환경의 제1 점으로부터 발원되는 광선(20)의 계산된 경로는 교차하지 않으며, 하나의 점에 매우 근접해진다. 근사하게, 이러한 두 경로를 연결하는 가장 짧은 세그먼트의 중간 지점의 좌표는 이러한 두 경로들 사이의 교차점의 좌표로 간주된다.

따라서, 모델링은, 모상(23)의 좌표(u, v)의 각 모델링 점 대해서 가능할 수 있어서, 모상(23)의 좌표(u, v)의 각 픽셀에 대한 확장에 의해서, 이러한 모델링 점 또는 픽셀의 좌표(u, v), 이러한 모델링 점 또는 픽셀이 투영되는 환경의 제1 점(34)(또는 M_r)의 좌표, 및 이러한 모델링 점(34)과 관찰자 위치(22)를 연결하는 직선(D)의 방향 간의 룩업 테이블(look-up table)을 형성할 수 있다. 이러한 모든 좌표 및 방향은 프로젝터(2)의 기준 틀 내에서 양호하게 표시된다.

예를 들어, 이러한 관련(association)은 모상을 투영하지 않고 카메라가 중립 환경의 화상을 관찰한 후, 단일 모델링 점을 포함하는 모상을 투영하고, 상기 카메라가 거울에 의해 반사되어 환경으로 투영되고 카메라를 향해 재방사되는 모델링 점의 신호가 추가된 중립 화상에 대응하는 환경의 다른 화상을 관찰함으로써 수행될 수 있다. 변형례에서, 예를 들어 특정 분포에 따라 분포되는 수 개의 모델링 점을 포함하는 모상을 투영하여, 모델링을 위해 취득된 환경의 화상이 이러한 분포를 실질적으로 재현하는 수 개의 점을 포함하게 되고, 이 후, 적어도 부분적으로 환경의 화상의 이러한 점 각각이 모델링 점들 중 하나와 용이하게 관련되게 됨으로써 이러한 관련이 이루어질 수 있다.

모상의 모델링 점의 밀도가 높을수록 3차원 환경의 모델링의 해상도가 좋아진다. 각각의 모상이 모델링을 위한 단 하나의 모델링 점만을 포함한다면, 모델링은 각각이 상이한 모델링 점을 갖는 모상의 연속적인 투영을 포함하게 되며, 모델링의 해상도는 연속적으로 투영되는 모상의 수에 따라 높아지게 된다.

바람직하게, 모델링을 위해 취득된 환경의 화상은, 카메라의 다양한 이웃하는 각 위치에 대해 실행된다. 실제로, 환경의 단일 화상이, 모든 모델링 점이 투영되는 환경의 모든 점을 화상 형성할 필요는 없다. 이러한 이웃하는 각 위치는 회전 축을 중심으로 360˚에 걸쳐 분포되는 것이 바람직하기 때문에, 두 개의 이웃하는 각 위치에 대해 취득된 두 개의 화상은 3차원 환경의 공통 부분을 화상 형성한다. 따라서, 모델링은, 회전 축(6)을 중심으로 360˚에 걸쳐 모델링할 수 있음으로써, 3차원 환경 전체, 또는 맹점이 존재한다면, 환경의 거의 전체를 모델링할 수 있게 된다.

따라서, 모상이 투영되는 환경의 점의 3차원 좌표는, 한 편으로는 거울(3)과 다른 한편으로는 카메라(4) 사이의 삼각측량에 의해, 프로젝터(2)에 연결된 기준 틀 내에서 획득될 수 있다. 실제로, 장치(1)의 알려진 파라미터는, 거울(3)로부터 발원되는 광선의 경로의 이큐에이션(equation) 및 카메라에 의해 포획된 광선의 경로의 이큐에이션, 그리고 그들의 교차점의 계산을 계산할 수 있다. 이에 따라, 산포도형(scattergram-type) 비 구조식 모델링 접근에 의해, 또는 그리딩형(gridding-type) 접근에 의해 3차원 환경이 완전히 모델링될 수 있다. 그리딩형 접근은, 획득된 환경의 점(34)을 어떻게 연결하는지를 알기 위해, 모델링 점이 잘 정돈된 방식으로 투영된다고 가정한다. 또한, 편평한 부분 또는 다른 기하학적 형상을 인지하기 위해 환경의 산포도를 분석할 수도 있다.

전술된 바와 같이, 경로 계산은 계산 파라미터에 의존하는 단순한 기하 광학의 계산이다. 이러한 계산은 프로젝터(2)의 기준 틀 내에서 실행되는 것이 바람직하다.

예를 들어, 거울에 의해 반사되고 환경의 제1 점(34)으로 투영되는, 모델링 점으로부터 발원되는 광선(15)의 경로의 계산은 특히 하기의 파라미터에 의존한다.

- 메트릭스(9) 상의 모델링 점의 위치로서, 이러한 점은 단일 픽셀을 포함하는 것이 바람직하거나, 조립된 픽셀 그룹을 포함할 수 있음,

- 메트릭스(9)의 치수 및 메트릭스(9)의 픽셀의 해상도,

- 렌즈(10)에 대한 메트릭스(9)의 상대적 위치로서, 특히, 렌즈(10)의 광학 축(13) 및 투영 축(11)은 사실상 메트릭스(9)의 중간 부분을 통과하지만, 이 중심과 이러한 축(11, 13) 사이에는 약간의 오프셋(offset)이나 기울기(inclination)가 있을 수 있고, 이러한 오프셋 및 이러한 기울기는 공지되어야 하거나 예측되어야 함,

- 렌즈(10)의 초점 길이,

- 렌즈(10)의 광학적 왜곡 또는 수차(aberration),

- 거울(3)의 형상 및 치수,

- 거울(3)에 대한 프로젝터(2)의 상대적 위치로서, 특히 프로젝터(2)와 거울(3) 사이의 거리 및 정렬; 실제로, 투영 축(11) 및 돌림 축(12)은 사실상 합체되지만, 이러한 두 축(11, 12)들 사이에는 오프셋 및/또는 기울기가 있을 수 있으며, 이러한 오프셋 및 이러한 기울기는 공지되어야 하거나 예측되어야 함.

유사하게, 환경의 제1 점(34)으로부터 발원되는 광선(20)의 경로의 계산은 특히 하기의 파라미터에 의존한다.

- 카메라(4)의 초점 길이,

- 카메라 센서에 있어서, 3차원 환경이 화상 형성되는 센서의 치수 및 해상도,

- 카메라(4)의 광학적 왜곡 또는 수차,

- 제1 화상이 취득되는 동안의 프로젝터(2)에 대한 카메라의 상대적 위치로서, 카메라(4)의 각 위치는 공지되어야 하는데, 그 축(6)을 중심으로 한 카메라의 회전 피치는 예를 들어, 카메라를 회전시키는 모터의 피치로부터 추론될 수 있으며, 또한, 투영 축(11)과 회전 축(6)은 사실상 합체되지만, 이러한 두 축(11, 6)들 사이에는 약간의 오프셋 및/또는 기울기가 있을 수 있으며, 이러한 오프셋 및 이러한 기울기는 공지되어야 하거나 예측되어야 함.

전술된 모델링 단계를 실행할 수 있기 위해, 이러한 모든 파라미터들은 공지되어 있어야 한다. 특정 파라미터는 저장 수단에 의해 메모리에 저장될 수 있다. 예를 들어, 초점 길이, 카메라 및 메트릭스(9)의 치수 및 해상도 회전은 제조업자에 의해 공급될 수 있다. 카메라 또는 렌즈(10)의 왜곡 또는 수차는 예를 들어 테스트 카드에 의해 공지될 수 있다.

그러나, 거울(3), 카메라(4)의 상대적 위치 및 프로젝터(2)에 대한 카메라의 회전식 움직임을 측정할 필요가 있다. 실제로, 사용자는 회전 축(6), 투영 축(11), 돌림 축(12)의 대략적인 정렬을 수행할 수 있다.

그러나, 이러한 정렬의 정밀도는 일반적으로 프로젝터, 거울, 및 카메라에 연결된 기준 틀들 사이의 변형을 식별하기에는 불충분하기 때문에, 경로의 계산을 정확하게 수행하기에는 불충분하다.

따라서, 본 발명에 따른 방법은 계산 파라미터의 최적화(optimization) 또는 교정(calibration)을 포함하는 것이 바람직하다.

교정의 일반적인 원리는, 모상의 알려진 위치를 갖는 3차원 환경으로 교정 점을 투영함으로써, 알려진 각 위치에 대한 카메라에 의해 취득된 화상의 교정 점의 투영 좌표에 기초된, 특정 파라미터로부터의 추론에 있다. 교정 점은 산포도의 형태 또는 선의 형태로 모상에 분포될 수 있다. 교정은, 교정 점이 투영되는 환경의 점의 3차원 좌표를 매번 요구하는 것이 아니어서, 3차원 환경의 형상에 독립적이게 된다. 통상적인 입체적 교정 방법에 의해 실행되는 바와 같이 환경의 특정 점을 탐지할 필요가 없지만, 프로젝터(2)는 이들을 생성하는데 사용된다.

이는 충분한 대비를 갖는 교정 점, 예를 들어 어두운 배경에 밝은 교정 점을 투영할 수 있다는 장점을 갖기 때문에, 환경의 소재의 특성에 상관없이 카메라에 의해 탐지될 수 있다. 화상 공제 방식(image subtraction procedure)은, 환경의 주변 광과 소재의 차이에서 벗어남으로써, 장치(1)의 대비를 상당히 높일 수 있다. 화상 공제 방식은 통상적으로, 교정 점을 포함하는 모상의 투영 동안 카메라에 의해 취득되는 화상으로부터의 공제를 포함하며, 교정 점을 포함하지 않는 모상의 투영 동안 카메라에 의해 취득되는 화상의 공제는 포함하지 않는다. 이 때문에, 카메라는, 카메라의 센서를 선형 범위 내에서 유지하기 위해, 바람직하게 자동 게인 제어 수단을 포함하여, 공제에 불리한 효과가 있는 포화를 피할 수 있다.

그 후, 교정은 하나 이상의 교정 점 및 교정을 위해 취득된 환경의 하나 이상의 화상의 취득을 포함하는 모상의 투영을 포함한다.

교정을 위해 취득된 환경의 화상은, 상이하지만, 환경의 공통 부분을 화상 형성하는 하나 이상의 화상 쌍을 포함할 수 있으며, 제1 교정 타입은 각각의 교정 점 및 각각의 화상 쌍에 대해,

- 쌍 중의 제1 화상의 점 및 쌍 중의 제2 화상의 점과 교정 점을 관련시키는 단계로서, 쌍 중의 제1 화상의 점 및 쌍 중의 제2 화상의 점은 교정 점이 투영되는 환경의 제2 점을 화상 형성시키는, 관련시키는 단계와,

- 계산 파라미터 및 쌍 중의 제1 화상의 점의 위치로부터 쌍 중의 제2 화상의 점의 이론적 위치를 계산하는 단계와,

- 쌍 중의 제2 화상의 점의 위치와 쌍 중의 제2 화상의 이러한 점의 이론적 위치 사이의 거리를 계산하는 단계를 포함한다.

이러한 연속 단계는, 교정 점 전체에 걸쳐서, 쌍 중의 제2 화상의 점의 위치와 쌍 중의 제2 화상의 이러한 점의 이론적 위치 사이의 거리의 합을 최소화하기 위해, 계산 파라미터들 중 하나 이상의 수정 및 이론적 위치의 새로운 계산에 의해, 수행된다.

따라서, 카메라의 다양한 각 위치에 대한 화상의 취득으로부터, 이러한 화상은 3차원 환경에 균형있게 분포된 환경의 화상 점을 화상 형성하고, 두 개의 연속 화상 간의 환경의 점의 중복성을 이용함으로써, 계산 파라미터는, 카메라에 의해 취득된 화상의 점과 회전 후 연속 화상의 점의 이론적 위치 사이의 2차원 거리를 최소화시켜 최적화될 수 있다.

제1 교정 타입은 특히, 카메라의 왜곡 파라미터, 및 카메라(4)의 광학 축과 회전 축(6) 사이의 각과 같은 회전 축(6)의 기준 틀에 대한 카메라(4)의 기준 틀의 강성 변형 파라미터를 최적화할 수 있다.

제2 교정 타입은 각각의 교정 점 및 교정을 위해 취득된 각각의 환경 화상에 대해,

- 거울에 의해 반사되고 환경의 제3 점으로 투영되는, 교정 점으로부터 발원되는 광선의 경로를 계산하는 단계와,

- 환경의 제3 점으로부터 발원되고 교정을 위해 취득된 환경의 화상의 점에 의해 화상 형성되는 광선의 경로를 계산하는 단계와,

- 환경의 제3 점에 투영되는 광선의 경로와 환경의 제3 점으로부터 발원되는 광선의 경로 사이의 거리를 계산하는 단계를 포함한다.

이러한 연속 단계는, 교정 점 전체에 걸쳐서, 환경의 제3 점으로 투영되는 광선의 경로와 환경의 제3 점으로부터 발원되는 광선의 경로 사이의 거리의 합을 최소화하기 위해, 계산 파라미터들 중 하나 이상의 수정, 그리고 교정 점으로부터 발원되는 광선의 경로 및 교정을 위해 취득된 환경의 하나 이상의 화상의 점에 의해 화상 형성되는 광선의 경로의 새로운 계산에 의해, 수행된다.

환언하면, 교정 점 전체에 걸쳐서, 교차점의 수는, 환경의 제3 점으로 투영되는 광선의 경로와 환경의 제3 점으로부터 발원되는 광선의 경로 사이에서 최대화된다.

이러한 제2 교정 타입은, 하기의 요소에 있어서 특정 값을 최적화할 수 있다.

- 예를 들어 거울과 프로젝터 사이의 거리, 및 거울의 돌림 축(12)과 투영 축(11) 사이의 오프셋 또는 기울기와 같은 거울(3)의 기준 틀과 프로젝터(2)의 기준 틀 사이의 강성 변형 파라미터,

- 예를 들어, 카메라(4)와 투영 축(11) 사이의 거리, 카메라(4)의 광학 축과 투영 축(11) 사이의 기울기, 및 회전 축(6)과 투영 축(11) 사이의 오프셋과 같은 카메라(4)의 회전 축(6)의 기준 틀과 프로젝터(2)의 기준 틀 사이의 강성 변형 파라미터.

제1 교정 타입 및 제2 교정 타입에 있어서, 모상의 교정 점의 수가 많을수록 파라미터의 최적화는 양호해진다.

마지막으로, 본 발명에 따른 방법은 3차원 환경의 하나 이상의 방사상 특성의 측정, 및 측정된 하나 이상의 방사상 특성에 따른 모상의 보정을 포함한다. 상기 보정은 모상의 비색 또는 강도 보정을 포함할 수 있다. 따라서, 프로젝터와 카메라의 연합은, 3차원 환경에 의해 반사된 색상 및 강도와 3차원 환경으로의 모상의 투영의 기대 색상 및 강도의 비교를 허용한다. 이는, 환경에 의한 색상의 재설정의 이해를 가능하게 하여, 모상의 구성에 기초가 되는 장면에 대해, 환경에 모상이 정확하게 투영되게 보장한다.

물론, 발명은 전술된 실시예로 제한되지 않으며, 다양한 적용이 본 발명의 범위 내에서 이러한 예시로 실행될 수 있다.

특히, 회전 축(6), 투영 축(11), 돌림 축(12), 및 광학 축(13)들은 사실상 합체되지 않을 수 있다. 이에 따르면, 프로젝터에 의해 방출된 광선의 경로와 환경의 점에 의해 방출된 광선의 경로의 계산은 더 복잡해져서, 이러한 축들 사이의 상당한 오프셋 및/또는 기울기를 고려해야 하기 때문에, 결과적으로, 3차원 환경의 모델링 및 모상의 구조는 그 자체로 더 복잡해 진다.

또한, 거울(3)의 볼록면이 구의 일부의 형상을 가질 필요는 없기 때문에, 구의 일부의 이러한 형상은 장치(1)의 수직 해상도를 불균질하게 만든다. 실제로, 전술된 장치(1)에서, 픽셀이 메트릭스(9)의 중심으로부터 더 멀어질수록, 이러한 픽셀에 의해 방출되는 광선(14 내지 16)을 반사하는 거울의 부분은 더 넓어지고, 이러한 광선이 투영되는 환경의 점의 크기는 더 커진다. 그러므로, 거울(3)의 프로파일은, 구형 거울에 대해 장치(1)의 수직 해상도를 균등하게 하는데 사용되는 것이 바람직하다.

Claims (30)

1. i) 투영 축(11)을 따라 모상(23)을 투영하도록 배열된 프로젝터(2)와,
   ii) 모상을 적어도 부분적으로 반사하고 3차원 환경(7, 8a, 8b)으로 투영하도록 배열된 볼록 거울(3)을 포함하는 투영 장치에 의해 실행되는 투영 방법이며,
   - 투영 축(11)을 따른 모상(23)의 투영 단계와,
   - 볼록 거울(3)에 의한 모상의 적어도 일부분의 반사 단계와,
   - 볼록 거울에 의해 반사되는 모상의 3차원 환경(7, 8a, 8b)으로의 투영 단계와,
   - 3차원 환경의 하나 이상의 화상을 취득하는 단계와,
   - 3차원 환경의 모델링 단계를 포함하고,
   상기 모상은 하나 이상의 모델링 점을 포함하고, 화상 취득 단계는 모델링을 위해 취득된, 환경의 하나 이상의 화상을 취득하는 단계를 포함하고, 상기 모델링 단계는, 각각의 모델링 점 및 모델링을 위해 취득된, 환경의 각각의 화상에 대해,
   ○ 거울에 의해 반사되고 환경의 제1 점으로 투영되는, 모델링 점으로부터 발원되는 광선(15)의 경로를 계산하는 단계와,
   ○ 환경의 제1 점(34)으로부터 발원되고 모델링을 위해 취득된, 환경의 화상의 점에 의해 화상 형성되는 광선(20)의 경로를 계산하는 단계와,
   ○ 모델링 점으로부터 발원되는 광선(15)의 경로와 환경의 제1 점(34)으로부터 발원되는 광선(20)의 경로의 교차점을 계산하는 단계를 포함하는, 투영 방법.
2. 제1항에 있어서,
   거울은 모상을 변형함으로써 모상을 반사시키는 것을 특징으로 하는, 투영 방법.
3. 제1항에 있어서,
   거울은 2π 스테라디안보다 큰 입체각 내에서 모상을 투영하는 것을 특징으로 하는, 투영 방법.
4. 제1항에 있어서,
   거울은, 투영 축(11)을 중심으로 180˚ 보다 큰 각 내에서 모상을 투영하는 것을 특징으로 하는, 투영 방법.
5. 제1항에 있어서,
   화상 취득 단계는,
   - 회전 축(6)을 중심으로 각 위치(angular position)에 카메라(4)를 위치시키는 단계와,
   - 3차원 환경에 의해 방출되는 광선(20)으로부터 카메라의 상기 각 위치에 대해, 환경의 화상을 취득하는 단계를 포함하는 것을 특징으로 하는, 투영 방법.
6. 제1항에 있어서,
   경로의 계산 단계는 계산 파라미터에 의존하며, 파라미터의 교정 단계를 포함하고, 모상은 하나 이상의 교정 점을 포함하고, 화상 취득 단계는 교정을 위해 취득된 환경의 하나 이상의 화상을 취득하는 단계를 포함하는 것을 특징으로 하는, 투영 방법.
7. 제1항에 있어서,
   환경으로의 모상의 투영을 관찰하는 관찰자가 관찰자의 위치에서, 가상 시점(P)으로부터 장면을 관찰하게 되도록 관찰자(22)의 위치에 따른 모상의 구성 단계를 더 포함하는 것을 특징으로 하는, 투영 방법.
8. 제1항에 있어서,
   3차원 환경의 하나 이상의 방사 특성의 측정 단계를 더 포함하며, 측정된 하나 이상의 방사 특성에 따른 모상의 보정 단계를 포함하는 것을 특징으로 하는, 투영 방법.
9. 제1항에 있어서,
   거울은 2π 스테라디안보다 크고 4π 스테라디안보다 작은 입체각 내에서 모상을 투영하는 것을 특징으로 하는, 투영 방법.
10. 제1항에 있어서,
    거울은, 투영 축을 중심으로 360˚와 동일한 각 내에서 모상을 투영하는 것을 특징으로 하는, 투영 방법.
11. 제2항에 있어서,
    모상은 제1 입체각 내에서 투영 축을 따라 투영되며, 거울은 제1 입체각 보다 큰 제2 입체각 내에서 모상을 투영하는 것을 특징으로 하는, 투영 방법.
12. 제6항에 있어서.
    교정을 위해 취득된 환경의 화상은, 상이하지만, 환경의 공통 부분을 화상 형성하는 하나 이상의 화상 쌍을 포함하며, 상기 교정 단계는, 각각의 교정 점 및 각각의 화상 쌍에 대해,
    - 쌍 중의 제1 화상의 점 및 쌍 중의 제2 화상의 점과 교정 점을 관련시키는 단계로서, 쌍 중의 제1 화상의 점 및 쌍 중의 제2 화상의 점은 교정 점이 투영되는 환경의 제2 점을 화상 형성시키는, 관련시키는 단계와,
    - 계산 파라미터 및 쌍 중의 제1 화상의 점의 위치로부터 쌍 중의 제2 화상의 점의 이론적 위치를 계산하는 단계를 포함하는 것을 특징으로 하는, 투영 방법.
13. 제6항에 있어서,
    상기 교정 단계는, 각각의 교정 점 및 교정을 위해 취득된 환경의 각각의 화상에 대해,
    - 거울에 의해 반사되고 환경의 제3 점으로 투영되는, 교정 점으로부터 발원되는 광선의 경로를 계산하는 단계와,
    - 환경의 제3 점으로부터 발원되고 교정을 위해 취득된 환경의 화상의 점에 의해 화상 형성되는 광선의 경로를 계산하는 단계를 포함하는 것을 특징으로 하는, 투영 방법.
14. 제12항에 있어서,
    상기 교정 단계는, 교정 점 전체에 걸쳐서, 쌍 중의 제2 화상의 점의 위치와 쌍 중의 제2 화상의 그 점의 이론적 위치 사이의 거리의 합을 최소화하기 위해, 계산 파라미터들 중 하나 이상을 수정하는 단계를 더 포함하는 것을 특징으로 하는, 투영 방법.
15. 제13항에 있어서,
    상기 교정 단계는, 교정 점 전체에 걸쳐서, 환경의 제3 점에 투영되는 광선의 경로와 환경의 제3 점으로부터 발원되는 광선의 경로 사이의 거리의 합을 최소화하기 위해, 계산 파라미터들 중 하나 이상을 수정하는 단계를 더 포함하는 것을 특징으로 하는, 투영 방법.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제

Images