KR20180117717A

KR20180117717A - 수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법

Info

Publication number: KR20180117717A
Application number: KR1020187030074A
Authority: KR
Inventors: 샘손 제이. 티모너; 타일러 엠. 존슨; 유진 슈; 라지브 제이. 수라티; 케빈 아마라툰가
Original assignee: 스케일러블 디스플레이 테크놀로지스, 인크.
Priority date: 2010-11-15
Filing date: 2011-11-15
Publication date: 2018-10-29
Also published as: US10503059B2; US20120120372A1; JP6475905B2; CN106228527A; US20200192201A1; CN103329540A; WO2012068112A1; EP2641400B1; CN103329540B; CN106228527B; EP2641400A1; JP2017161908A; US20160363842A1; US9369683B2; US11269244B2; JP2014503838A; KR20140048073A; JP6198605B2

Abstract

본 발명은 수동 정렬시의 지루함을 감소시키고 정확성을 확보함으로써 종래 기술의 단점을 극복하기 위한 시스템과 방법을 제공한다. 사용자는 프로젝터들 사이에서 또는 단일 프로젝터의 구성요소들 사이에서 대응점을 선택하여, 공통 좌표계를 구성한다. 디스플레이 시스템 모델과 프로젝터를 사용하여 상기 공통 좌표계는 전체 디스플레이로 신속하게 매핑될 수 있다. 이 과정에서 스크린 포인트를 계측할 필요가 없으며, 사용자는 상당히 적은 수의 포인트만 이동시키는 것이 가능해진다. 달리 말해, 본 발명에 따르면 수동 교정 기법에 머신비전 스타일의 알고리즘을 도입함으로써 성능이 개선된다. 수동 정렬 과정에 디스플레이 모델을 도입하여 종래 기술에서의 지루함 문제가 극복되어, 각 프로젝터에서 적은 개수의 포인트를 선택할 수 있게 되고, 정확하게 계측된 스크린 포인트를 선택하지 않아도 된다. 본 시스템은 그 대신에, 프로젝터 사이의 대응점을 구함으로써 공통 좌표계로의 프로젝터의 매핑과 이 좌표계의 스크린으로의 신속한 워핑이 가능해진다.

Description

수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법{SYSTEM AND METHOD FOR CALIBRATING A DISPLAY SYSTEM USING MANUAL AND SEMI-AUTOMATIC TECHNIQUES}

본 발명은 디스플레이에 관련된 것으로서, 다중 프로젝션 디스플레이 시스템에 초점을 두고 있지만, 이에 한정되는 것은 아니다. 특히, 본 발명은 이러한 디스플레이와 디스플레이 시스템의 교정에 관련된 것이다.

사람들은 자신들 모든 주위에 있는 영상을 보고 싶어한다. 크기, 밝기, 해상도, 명암비, 3D, 및 그 밖의 많은 특징들이 보는이(viewer)의 관심을 끈다. 디스플레이 시스템을 만드는 목적은 보는이에게 가능한 최상의 시각적 체험을 주기 위한 것이다. 최상의 시각 체험을 주는 것은 대개 화질을 최적화하는 것을 의미한다. 품질 계수(quality factor)에는 기하학적 정확성, 색상 정확성, 명암, 해상도, 집중을 방해하는 흠결로부터의 자유, 및 그 밖에, 전반적으로 만족스러운 영상 성질에 기여하는 성능상 특성들을 포함하지만, 이들에 국한되는 것은 아니다. 이러한 품질 계수는 또한, 표시되는 디지털 영상을, 원래의 디지털 영상 또는 자연에서 찾은 영상을 정확하게 재현할 수 있도록 해 주는 것도 포함할 수 있다. 사용자에 대한 최상의 경험을 위하여, 그리고/또는 디스플레이 품질을 달성하기 위해, 영상 정보에 대한 보정 조치를 적용하고 디스플레이 시스템의 동작 포인트를 조정함으로써, 디스플레이에서 생성된 영상에서의 소정의 부정확성을 보정하는 것이 바람직하다.

디스플레이 시스템은 하나 이상의 디스플레이 장치로 구성된다. 디스플레이 장치에는 평면 패널 디스플레이, 프로젝터, 발광형 디스플레이, 전자 잉크 디스플레이 등, 다양한 유형이 있다(그러나 이들에만 국한되는 것은 아님). 디스플레이는 평면형이거나 곡면형일 수 있다. 이러한 디스플레이의 예는 미국 특허공고 2008/246781A1(명칭: 광학식 피드백을 이용한 디스플레이 조정 및 영상처리에 의해 향상된 디스플레이 품질을 제공하는 시스템 및 방법(SYSTEM AND METHOD FOR PROVIDING IMPROVED DISPLAY QUALITY BY DISPLAY ADJUSTMENT AND IMAGE PROCESSING USING OPTICAL FEEDBACK))(미국 가출원 60/895,070에 기초한 출원임) 및 미국 특허출원 12/049,267(명칭: 매핑함수 삽입을 위한 시스템 및 방법(SYSTEM AND METHOD FOR INJECTION OF MAPPING FUNCTIONS))에 개시되어 있다. 이들 개시 내용을 유용한 배경기술로서 본 명세서에 참고자료로서 포함시킨다. 이러한 유형의 각 디스플레이 장치에는 다양한 흠결이 있다.

흔히 평판형 디스플레이는, 예를 들어, 패널 내에서의 색상 및 명도(intensity)의 눈부심(sheen)과 패널 전역에서의 색상 및 명도의 편차 문제를 겪는다. 또한 이들은 다른 입력-출력 곡선의 문제를 겪을 수 있다. 예를 들어, 두 개 이상의 개별 디스플레이에서는 낮은 명도의 회색도(그레이 레벨)는 매우 유사하게 표시되지만, 높은 명도의 그레이 레벨은 패널과 패널 간에 크게 차이가 날 수 있다. 문제시되는 기하학적 문제는, 베젤(bezel)의 패널 가림, 다중 패널에서의 오정렬, 패널에서의 일상적이지 않은 디스플레이 형상에 대한 요구, 패널을 예컨대 원통형으로 정렬하는 경우 등에서도 발생할 수 있다.

프로젝션 기반 디스플레이는 종종, 프로젝터 내의 불완전한 광학계로 인해서 기하학적 왜곡(때로는 색채널당의 왜곡)의 문제를 겪는다. 또한 프로젝터 내에서의 또는 프로젝터 전역에서의 명도 변화, 색상 눈부심, 프로젝터 전역에서의 색상 불일치, 흑색도(블랙 레벨)의 변동, 입력-출력 곡선의 차이 등의 문제를 겪는다.

3D 영상 디스플레이의 경우에는 대개 오른쪽 눈과 왼쪽 눈에 각각 다른 영상이 제공된다. 이를 실행하는 방법에는 각 눈에 전달되는 영상을 교번하기 위해 시간을 이용하는 것, 어느 눈에서 특정 영상을 받을 것인지를 선택하기 위하여 빛의 속성(가령 편광, 파장 등)을 이용하는 것, 눈의 공간적 위치에 근거하여 각 눈마다 다른 영상을 전달하기 위해 광학계를 이용하는 것 등이 있을 수 있다. 3D 영상의 경우에는, 표준 영상에서처럼, 기하학적 흠결, 색상 및 명도에 관한 흠결, 및 각 눈에 의도된 영상에 대한 잠재적 편차의 흠결 등이 있을 수 있다.

디스플레이 시스템의 보정을 영상 표시 절차 내의 여러 단계에서 시행할 수 있다. 일례를 들자면, 상기 문헌 "매핑함수 삽입을 위한 시스템 및 방법"에 자세히 설명된 것과 같이, 디지털 신호의 생성시에 보정을 실시할 수 있다. 프로젝터, 또는 OMTE 파라미터와 같은 중간 워핑박스(intermediate warping box)에 대한 한가지 특정 예는 상기 미국 특허출원 문헌 "광학식 피드백을 사용한 디스플레이 조정 및 영상처리에 의해 향상된 디스플레이 품질을 제공하는 시스템 및 방법"에 자세히 설명된 것과 같다.

본 발명에서 전반적으로 고려하는 유형의 보정은 스크린으로 투사되는 영상의 워핑(warping)을 포함한다. 프로젝터에 대한 교정에는, 다수의 프로젝터에 의해서 중첩되는 영역의 전체 명도가 나머지 디스플레이에 대한 명도와 유사해지도록 프로젝터들 전체에서 영상을 혼합(blending)하는 것이 수반된다. 디스플레이 장치들 전체에 걸쳐서의 그리고 디스플레이 장치 내에서의 색상 및 명도 변화에 대한 보정 둘 다에 대해서도 고려한다. 이러한 논의는 기하학적 변형에 초점을 두고 있다. 많은 종류의 영상이 장면상에 표시될 수 있다. 어떤 경우에 영상물(content)은, 혼합될 수 있고 스크린상으로 워핑될 수 있는 직사각형 영상인 것이 효과적이다. 또한 어떤 경우에 영상물은 3차원 장면을 이루는 많은 뷰(view)로 구성되는데, 여기서 각 디스플레이 장치에는 3차원 장면의 다른 뷰가 제공될 수 있고, 각 디스플레이 장치는 뷰를 늘리고(stretch) 휘어서(warp) 최종 디스플레이 시스템이 전체 시스템의 아주 큰 하나의 뷰를 표시하도록 할 수 있다. 이러한 경우의 영상물은 주로 OpenGL이나 DirectX와 같은 3차원 제작 엔진을 이용하여 제작된다.

수동식 기하학적 교정은 사용자로 하여금, 디스플레이 장치에 표시하고자 하는 영상의 기하학적 교정(워핑)을 지정하도록 하는 과정이다. 수동식 기하학적 교정에 있어서 현재의 기술에서는 일반적으로 상당한 정확성으로 적용해야 하는, 이는 대개 지루한 작업이다.

기존의 실시에 있어서 가장 일반적인 프로젝터 수동 교정 방법에서는 평면 스크린 상에서 완벽한 정렬이 이루어져야 한다. 예를 들어 1×N 프로젝터 배열의 경우에 이들 프로젝터는 투사 영상에 상대적 수직 편이(shift)와 알려진 수평 편이가 없도록 설치되어야 한다. 이 경우, 입력 영상으로부터 스크린으로의 매핑은 일반적으로 매우 직관적이다. 수평 설치의 경우, 영상의 왼쪽 부분은 왼쪽 프로젝터로 가고, 차순위 프로젝터에서는 동일한 픽셀의 일부(중첩 영역에 해당)를 표시한 다음에 픽셀들이 오른쪽으로 직접 간다. 입력 영상을 스크린으로 매핑하는 것은 따라서, 각 프로젝터에 분배되는 영상의 부분을 갖는 동일성 왜곡(identity warp)이 된다. 이 경우, 정확성과 지루함은 두 가지로부터 온다. 첫째, 프로젝터를 정렬해야 하는데, 이는 도전적이고 어려운 과정이다. 둘째, 프로젝터로부터 스크린으로의 투사 기능은 스케일 매핑 수준에 매우 근접해야 한다. 매핑시에 이 정도의 정확성을 달성하기 위해서는 고가의 광학계가 필요한 경우가 대부분이다.

수동 교정의 두 번째 방법에는, 프로젝터가 정확하게 정렬되지 않았거나 매핑이 완벽한 배율이 아닌 경우에, 각 프로젝터에 적용되어야 할 교정점(correction)을 나타내는 상당수의 포인트들을 이동시키는 것이 포함된다. 이들 포인트는 마우스 등의 포인팅 장치로써 선택된다. 두 가지 표준적인 예로서, Watchout™(스웨덴 린코핑의 Dataton사 제품)과 eWarpDesigner™(캐나다 온타리오 리치몬드힐의 Flexible Picture Systems사 제품)와 같은 응용 프로그램을 사용한다. 이들 각 예시적 응용 프로그램에서는, 프로젝터 전역에 일정한 간격으로 포인트 격자가 배열됨으로써 시작된다. 프로젝터로 보내지는 영상이 해당 프로젝터상에 실제로 표시되어야 하는 위치를 나타내기 위해 포인트들을 이동시킨다. 즉, 이들 포인트는 스크린에 투사해야 할 입력 영상에 대한 워프를 나타낸다. 종종, 7×9 포인트 격자(eWarpDesigner™에서 주로 수행됨)에서는 프로젝터당 63개 포인트를 이동시키되, 일반적으로 정확하게 이동시켜야 한다. 이 작업은 지루한 작업이다. 종종, 정확한 수행을 위해, 스크린을 사전에 계측해놓고 작은 점(dot)들을 스크린 상에 위치시킴으로써 사용자가 프로젝터상의 포인트들을 스크린의 정확한 위치로 이동시킬 수 있도록 하여 영상이 스크린에 정확하게 매핑되도록 한다. 최종 영상 표시시에 작은 오정렬이라도 그림자 효과에 의해 두드러져 보일 수 있는 중첩 영역에서는 특히 정확성이 요구된다. 전반적으로, 정확성의 결여는 영상의 디스플레이 시스템 전역에서의 이동시에 일어나는 영상 축소 및 확대, 또는 약간씩 위 아래로 흔들리는 흠결을 일으킬 수 있다.

수동 교정의 또 다른 예로서 노르웨이의 3D Perception사의 응용 프로그램이 있다. 이 회사의 compactUTM 워핑 박스와 함께 제공되는 소프트웨어에서는 각 프로젝터가 3D 공간에서 어디에 있는지의 모델, 프로젝터 영상을 어떻게 투사하는지의 모델, 그리고 스크린 모델이 사용자에게 제공될 수 있다. 해당 시스템에 대한 워프의 최초 추정이 있기 때문에 시작 포인트가 큰 도움이 될 수 있지만, 다시 한번 말하지만, 프로젝터들 간의 양호한 정렬을 이룰 수 있도록 모델을 재보수(refine)하기 위하여 각 프로젝터 상의 많은 포인트들을 개별적으로 이동해서 한 프로젝터로부터 다른 프로젝터로의 워프를 수정해야 한다.

워프를 수정하고 업데이트하는 이러한 유형의 수동식 방법은 일반적으로, 예컨대 방사상 왜곡(radial distortion)을 갖는 4×3 투사 행렬(projection matrix)로서의 프로젝터와 같은 스크린 형태를 이용하지 않거나, 또는, 디스플레이 장치가 이러한 프로젝터로 모델링될 수 있다는 사실을 이용하지 않는다. 그리고, 프로젝터들 간에 제약조건을 구성하는 어떠한 알고리즘도 사용하지 않는다. 사실상, 이러한 방법들은, 3D 장면을 효과적으로 모델링하기 위해 생성된 수학적 툴(가령, 머신비젼(machine vision)에 사용되는 수학적 툴), 그리고 기하학적 특성이 광학적 원리에 의해 주도되는 물건을 사용하지 않는다. 또한, 이들 방법은 일반적으로, 스크린에 무관하게 각 프로젝터의 워프를 시도한다. 중첩 영역에서 선택된 포인트를 사용하여 프로젝터를 공통 좌표계로 매핑하고 나서 상기 공통 좌표계를 취하여 스크린으로 워핑하지 않는다.

본 발명의 목적은 상술한 내용을 이용하여 시스템을 수동으로 기하학적 교정하는 데 있어서의 지루함을 줄이고 정확성을 확보하기 위한 것이다.

본 발명은 수동 정렬시의 지루함을 감소시키고 정확성을 확보함으로써 종래 기술의 단점을 극복한다. 사용자는 프로젝터들 사이에서 그리고/또는 단일 프로젝터의 구성요소들 사이에서 대응점을 선택하며, 이로써 프로젝터 시스템 전체에 걸쳐서 공통 좌표계를 구성하도록 한다. 사용자는 디스플레이 시스템 모델과 프로젝터를 사용하여 상기 공통 좌표계로부터 전체 디스플레이로의 매핑을 신속하게 수행할 수 있다. 이 과정에서, 예시적 구현형태에 따르면, 스크린 상의 포인트를 정확하게 계측할 필요가 없으며, 전반적으로, 교정 과정 중에 훨씬 적은 포인트만 이동시키는 것이 가능해진다.

다르게 말하자면, 본 발명의 목표는 수동 교정 기법에 머신비전 스타일의 알고리즘을 도입함으로써 교정을 더 빠르고 쉽고 덜 지루하게 하도록 하는 것이다. 따라서 본 시스템 및 방법은 수동 정렬 과정에 디스플레이 시스템 모델을 도입하여 종래 기술에서의 지루함 문제를 극복한다. 본 발명에 의해 사용자는 각 프로젝터에서 비교적 적은 개수의 포인트를 선택할 수 있게 되고, 스크린에서 정확하게 계측된 포인트를 선택하지 않아도 된다. 그 대신에, 본 시스템 및 방법은 프로젝터 사이의 대응점을 구하는데, 이로써 공통(세계) 좌표계로의 프로젝터의 매핑이 가능해지고, 이어서 사용자는 이 공통 좌표계로부터 스크린으로 신속하게 워핑 처리를 할 수 있다.

본 발명에 따르면 디스플레이 시스템에서의 수동 정렬 교정의 지루함을 덜 뿐만 아니라 빠르고 쉽게 교정을 할 수 있게 된다. 교정을 하기 위해서 사용자가 프로젝터 상에서 적은 수의 포인트를 선택할 수 있고, 스크린에서 정확하게 계측된 포인트를 선택하지 않아도 된다.

본 발명에 대한 이하의 설명에서는 아래와 같은 첨부도면을 참조한다.
도 1은 본 발명의 일반화된 구현형태에 따른 수동 교정에 관한 예시적 디스플레이 시스템의 블록도이다.
도 2는 수동으로 기하학적 교정을 하는 단계를 나타내는 흐름도이다.
도 3은 한 프로젝터로부터 다른 프로젝터로의 매핑 단계를 나타내는 흐름도이다.
도 4는 원통형 스크린을 이용한 수동 교정에 관한 예시적 디스플레이 시스템의 블록도이다.
도 5는 픽셀 이하의 정렬 정확성을 달성하기 위해 스크린에 표시되는 특징점의 단면을 예시하는 도면이다.
도 6은 프로젝터의 모델을 사전에 알고 있는 경우에 수동 교정을 처리하는 절차를 나타내는 흐름도이다.
도 7은 본 발명의 일 구현형태에 따른 프로젝터에서의 색상 간의 계측 왜곡을 수동으로 교정하는 예시적 디스플레이 시스템의 블록도이다.
도 8은 프로젝터로부터 공통 좌표계로의 매핑과 공통 좌표계로부터 스크린으로의 매핑이 동시에 업데이트되는 수동 교정을 행하는 절차를 나타내는 흐름도이다.

I. 예시적 구현형태

도 1은 두 개의 프로젝터로부터 온 두 개의 투사 영상의 평면 스크린(100) 영역 상에서의 윤곽선(101 및 103)을 보여준다. 윤곽선이 반드시 사각형일 필요는 없는바, 도 1에서는 사다리꼴의 예를 그려놓았다. 다양한 기하학적 형상에 대해서는 추후의 구현형태에서 명백히 고려할 것이다. 두 프로젝터는 스크린(100) 상의 중첩 영역(105)에서 중첩된다. 중첩 영역(105)에서, 두 프로젝터 각각에 대해서 위치가 선택된다. 사용자는, 중첩 위치에서 각 프로젝터를 예컨대 마우스로 클릭하여 상기 위치 선택을 수행할 수 있다. 'X'는 프로젝터 101 상에서 사용자에 의해 또는 다른 메커니즘에 의해 선택된 위치를 나타내고, 'O'는 프로젝터 103에서 선택된 위치를 나타낸다. 중첩 영역(105) 내에 네 개의 X-0 대응점 쌍이 표시되어 있다 - 즉, X(127)-O(129), X(131)-O(133), X(119)-O(121), 및 X(123)-O(125). 이 대응점 쌍들은 한 프로젝터로부터 다른 프로젝터로의 매핑을 수행하는 데 사용할 수 있다. 네 쌍이면 프로젝터 사이의 상동관계(homography)를 형성하는 데 충분하다. 상동관계는 한 프로젝터로부터 다른 프로젝터로의 매핑을 합리적으로 정확하게 나타내는 것이기 때문에, 이 상동관계는 평면 스크린용 프로젝터 사이의 매핑을 위한 좋은 선택이 된다. 그 밖에, 이중선형 매핑(bilinear mapping), 방사 기저함수(radial basis function), 쿼드릭(quadrics), 스플라인(spline), 삼각형 메쉬(triangle-mesh) 등에 기반한 매핑법 등의 수행도 가능하다. 매핑은 전반적으로 일정량의 고유 원활성(smoothness)을 포함하거나, 또는 어느 면에서는 원활한 매핑 전개를 위해 제약(constrain)되어야, 프로젝터의 입력 영상으로부터 투사 영상으로의 일반적으로 기대되는 원활한 매핑의 대표가 될 수 있다. 이중선형 매핑과 같은 일부 매핑에서는 네 개의 대응점이 필요하지 않지만, 반면에 다른 매핑 유형에서는 두 기하학적 형태를 서로 적절하게 매핑하기 위하여 보다 많은 대응점이 필요할 수도 있다. 선택된 포인트가 어느 특정의 계측된 위치에 있을 필요는 없다. 오히려, 선택된 포인트는 중첩 영역 내의 거의 아무 곳에나 있을 수 있는데, 여기서 우리는 이를, 대응 포인트를 임의 위치(즉, 스크린 상에서의 특정 장소에 있을 필요가 없는 위치)에 위치시킨다라고 지칭하기로 한다. 일반적으로, 대응점에 대한 유일한 제약 조건(constraint)은 매핑 자체의 제약 조건이다. 예를 들어, 상동관계의 경우에 있어서 네 개의 대응점은 동일 선상에 있지(co-linear) 않을 수도 있다.

일단 프로젝터 간에 매핑이 진행되면, 공통(세계) 좌표계를 정의할 수 있으며, 사용자는 영상을 이 좌표계로 매핑하고 두 프로젝터 전역에 걸쳐서 스크린으로 매핑할 수 있다.

일단 매핑이 확립되면, 사용자(또는 다른 메커니즘)는 스크린 모서리에서 포인트 111, 113, 115 및 117을 선택하고 공통 좌표계로부터 스크린으로의 상동관계를 구성할 수 있다. 이상적인 구현형태에서는, 사용자가 포인트를 선택함에 따라 영상이 이동하는 것을 사용자가 볼 수 있도록 스크린상에서 영상을 실시간으로 업데이트할 수 있다.

전체 그룹에 두 개보다 많은 프로젝터가 포함되는 시스템의 경우에는, 도 1에 나타낸 상기 과정은 전체 그룹 내의 각 프로젝터쌍별로 수행될 수 있다. 이 프로젝터쌍에 기반한 매핑들 간에 있는 불일치 문제를 해결하기 위해 기존의 예컨대 최소 제곱법(least squares approach)을 사용할 수 있다(그러나 이 방식에 국한되는 것은 아님). 즉, 각 대응점 쌍마다 오차제곱 합을 최소화하는 매핑 집합을 찾을 수 있다. 두 개보다 많은 프로젝터가 동일한 중첩 영역을 공유하는 경우에는 두 개 보다 많은 프로젝터 전역에 동일한 대응점을 사용하는 것이 도움이 될 수도 있지만, 일반적으로는 필요치 않다. 명도(intensity) 균형을 맞추기 위해 다중 프로젝터 시스템에서는 흔히 에지블렌딩(edge-blending)을 자주 사용하며, 이 블렌딩의 파라미터들은 구해진 매핑값들을 이용하여 주지의 방법으로 계산할 수 있다.

도 2는 다수의 프로젝터를 갖는 시스템에서 수동으로 기하학적 교정을 하는 개략 단계들을 포함하는 절차를 보여준다. 첫 번째 단계 210에서, 대응점을 사용하여한 프로젝터로부터 다른 프로젝터로의 매핑을 구한다. 이 단계에서는 프로젝터들 전역에서의 단일 좌표계의 형성이 가능하다. 두 번째 단계 220에서, 사용자 또는 다른 메커니즘에서는 단일 좌표계로부터 스크린으로의 매핑을 구한다. 마지막 단계 230에서는 선택사항으로서 사용자 또는 다른 메커니즘은 시스템을 재보수(refine)한다.

도 3은 프로젝터 간의 매핑을 완성하는 과정을 보여준다. 우선 사용자 또는 다른 메커니즘은 단계 310에서 대응점을 선택한다. 그런 다음 사용자 또는 다른 메커니즘은 프로젝터쌍 간의 매핑을 수행하고(단계 320), 최소한 프로젝터쌍의 중첩 영역에 영상을 표시한다(단계 330). 사용자 또는 다른 메커니즘은 프로젝터쌍에서의 중첩 영상을 관찰하여 해당 매핑이 수용가능한지 또는 재보수해야 할지를 판단할 수 있다(판단 단계 340). 바람직하다면, 사용자 또는 메커니즘은 추가 대응점을 선택하거나, 또는 현재의 대응점을 보다 더 정확하게 만들기 위하여 현재의 대응점을 선택할 수 있다(단계 360). 이 경우에 행하는 재보수 작업에는, 입력 영상이 스크린에 도달하는 정확한 위치를 미세 조정하는 것이 수반될 수 있다. 이에 대해서는 후술한다. 다음에, 단계 320에서는, 예를 들어, 매핑에 더 많은 파라미터를 추가하여 매핑의 복잡도를 증가시킬 수 있다. 또는 이의 대안으로서, 더 나은 적합도를 얻기 위해 매핑을 업데이트할 수 있다. 또다른 대안으로서, 매핑 후의 대응점 간의 불일치를 변위 필드(displacement field)로서 정의할 수 있는데, 이 변위 필드는, 스플라인 또는 다른 변위 필드 전개(representation)를 사용하여 보정할 수 있다. 사용자 또는 다른 메커니즘은, 완료시(단계 350)까지 대응점을 추가 및/또는 보정하는 과정을 반복할 수 있다.

주목할 것은, 일단 매핑이 이루어지면, 다양한 구현형태에 따른 추가적 단계가 실행될 수 있다. 한 프로젝터에서 하나의 위치를 선택하고 이 위치를 이동시켜서 제2 프로젝터 상의 위치와 일치되도록 한다. 즉, 일단 매핑이 이루어졌으면, 사용자 또는 다른 메커니즘은 한 프로젝터에서의 위치를 명시적으로 선택할 수 있지만 제2의 프로젝터에서의 위치는 묵시적으로 선택할 수 있다.

도 4를 참조하면, 도 1의 과정은 예시적인 원통형 스크린(400)에서 수행된다. 두 개의 프로젝터(401 및 403)로부터 투사된 영상의 윤곽선이 표시되어 있다. 앞에서 설명한 평면 스크린의 예에서 설명한 것과 사실상 동일한 방법으로 선택된 대응점 쌍 X-0, 즉, X(419)-O(421)과 X(423)-O(425)와 X(427)-O(429)와 X(431)-O(433)이 있는 중첩 영역(405)이 있다. 두 프로젝터(401, 403)를 상동관계를 이용하여 공통 좌표계로 매핑할 수 있으며, 하나의 영상을 본 명세서에서 전반적으로 설명한 방식으로 전체 시스템에 걸쳐서 표시할 수 있다. 이 예에서는 스크린이 곡면이기 때문에, 중첩 영역에서 수용가능한 정렬을 이루기에 네 개의 포인트는 충분하지 않을 수도 있다. 이 경우에는 도 3에 설명한 것과 같이 더 많은 대응점을 취함으로써 보다 정확한 매핑 전개를 구하기 위하여 상동관계를 재보수하여 보다 더 복잡한 변위 전개로 만든다. 일단 공통 좌표계가 구성되면, 하나의 영상을 전체 시스템에 걸쳐서 표시할 수 있다. 종종, 모서리의 포인트 411, 413, 415 및 417은 직관적으로 선택할 수 있는데, 그 이유는 이들 포인트가 스크린 상에서의 원하는 충만 영역(fill region)을 정의하기 때문이다. 또한, 사용자 또는 다른 메커니즘은 가장자리(일반적으로는 스크린의 상변과 하변)를 따라 포인트를 선택할 수 있다. 이 가장자리에는 곡선이 들어맞을 수 있고 충만 영역을 정의하도록 이를 조절할 수 있다. 이들 포인트는 투사된 영상에서의 포인트 435 및 437이다. 이들 포인트는 상기 곡선을 따라 균일한 간격으로 선택할 필요가 없으며, 따라서 그 위치를 정확히 알 필요가 없다. 영상의 상부와 하부의 곡선을 정확하게 표현하기 위해서는 충분한 개수의 포인트를 선택해야 한다.

프로젝터는 광학적 특성을 갖는 물건으로서 취급할 수 있다. 광학적 특성의 예를 들면 초점 거리, 위치, 방향, 투사 영상 중심으로부터의 광축의 변위를 포함할 수 있다. 이들 파라미터를 최적화하기 위하여, 프로젝터로 되돌아 투사되는 포인트로부터의 모서리 포인트의 거리의 최소제곱 오차, 현재의 파라미터 집합에 따라 프로젝터에서의 원통의 가장자리로부터 프로젝터로 되돌아 투사되는 선택된 가장자리 곡선 상의 포인트간의 거리의 제곱, 그리고 대응점에서 교차하게 되어 있는 두 프로젝터의 광선 간의 거리의 제곱을 최소화시키는 최소화법이 선택된다. 일단 최소화가 수렴되면, 영상은, 영상의 수평방향이 원통의 폭을 따라 균일하게 분포되고 영상의 수직 방향이 원통의 높이를 따라 균일하게 분포되도록 스크린에 투사될 수 있다.

도 5는 스크린 상에서 대응하는 위치를 픽셀 단위 이하의 정확성으로 찾기 위한 유용한 도구인 기준점(fiducial)을 예시한다. 도시한 기준점(501)은 2차원(즉, 영상 평면 내의 직교 XY 축)의 가우시안 함수이다. 이 함수는 각 프로젝터 상에 표시할 수 있고 서로를 향해 이동될 수 있으며, 정렬될 수 있다. 이러한 방식으로, 각 가우시안 함수의 중심이 대응점을 형성할 수 있다. 곡선(503)은 가우시안 함수의 명도 단면을 나타낸다. 이와 같은 블러(blur) 효과 처리한, 또는 안티알리어스 처리한(anti-aliased) 기준점은, 인간의 눈은 영역상에서의 평균화(averaging)에 익숙하다는 점에서 유용하다. 명도가 감소하는 두 기준점을 프로젝터쌍의 영역에 중첩하여 위치시킴으로써, 사용자는 기준점들을 1/2 픽셀 또는 그 이하만큼 이동시킬 수 있고, 눈은 중첩 일치성의 차이를 관찰하고 검출할 수 있으며 이 불일치를 참작하도록 기준점을 이동시킬 수 있다. 다른 구현형태에서는 중첩 일치성 판단을 실행하기 위하여 눈 대신에 다양한 숙달된 머신비전 툴로 대체할 수 있음을 명백히 고려하고 있다.

도 6은 강력한 모델 추정치를 사전에 입수가능한 특수한 경우를 함축하고 있는 프로세스의 구현형태를 도시한다. 이 구현형태는 디스플레이 시스템이 모델링되어 있고 프로젝터의 파라미터를 알고 있는 경우일 수 있다. 또한 이 구현형태는 파라미터와, 시스템의 디스플레이의 이들 파라미터로부터의 이탈이 자동 교정 시스템에 의해서 추정된 경우일 수 있다. 예를 들어, 어떤 경우에는 프로젝터의 위치 및 방향과 그 초점 거리, 방사상 왜곡과 렌즈 이동이 소정의 허용오차 이내로 알려져 있다. 다른 경우에, 사용자는 프로젝터와 스크린 사이의 적절한 매핑을 위해 이들 모든 정보를 활용할 수 있다. 그러나, 큰 허용 공차로 인해서, 전형적인 상황에서는 최종 정렬이 불완전할 수 있다.

앞에서 설명한 것처럼, 사용자 또는 다른 메커니즘은 중첩된 프로젝터쌍 사이의 대응점을 선택할 수 있다(단계 610). 이 정보는 모델을 업데이트하는 데 사용될 수 있는데(단계 620), 이는 한 프로젝터에서부터 다른 프로젝터로의 매핑을 묵시적으로 구성하는 것이다. 예시적 구현형태에서, 이 프로세스에는, 프로젝터 모델의 파라미터가 기지의(알고 있는) 허용공차 내에서 변화되는 것을 가능하게 하면서, 대응점을 통과하는 프로젝터에서 나오는 광선의 거리의 제곱오차 합을 비선형 최소화(non-linear minimization)하는 것이 포함된다. 일단 각 모델이 업데이트되면, 사용자 또는 다른 메커니즘은 시스템 전역에서 상을 표시할 수 있고(단계 630), 그 다음에 영상이 시스템 전역에서 시각적으로 잘 정렬되어 있는지를 판단할 수 있다(판단 단계 640). 영상이 제대로 정렬되지 않은 경우, 사용자 또는 다른 메커니즘은 각 모델을 업데이트 하기 위하여 프로젝터들 간의 추가 대응점을 선택할 수 있다(단계 660 및 단계 620). 관련된 단계 620, 630, 640 및 660은 종료시(단계 650)까지 반복할 수 있다. 앞에서 설명한 것처럼, 사용자 또는 다른 메커니즘은 프로젝터들 간의 매핑을 변위 필드로 정의함으로써 그리고 스크린에 투사하는 프로젝터 모델에 이 변위 필드를 부가함으로써, 모든 불일치를 보정할지에 대한 결정을 선택할 수 있다.

도 6에 나타낸 최소화에 있어서, 기지의 3차원(3D) 좌표로써 스크린 상에서 선택된 기준점(가령, 스크린의 모서리, 또는 스크린 부분 조각들 사이의 눈에 보이는 교차점)을 사용하는 것이 바람직할 수 있다. 이러한 3D 제약조건은 전체 절차의 속도를 증대시킬 수 있고 추가적인 견고성(강인성)을 제공할 수 있다.

도 7은 평면 스크린에 영상을 투사하는 단일 프로젝터의 예를 나타낸다. 예를 들어 이 프로젝터는 스크린(700)과 각 충만 영역(701, 703)에 도달하는 두 가지 색상을 갖는다. 이 실시예는 측면 색상 왜곡(lateral color distortion)의 예인데, 이 왜곡에서는 프로젝터의 색상들이, 이 색상들이 중첩되어야 하는 방식으로 중첩되지 않는다. 이 경우에 색채널 간의 매핑을 수행하기 위해 각 색상별로 포인트를 선택할 수 있다. 이 경우에는 4쌍의 X-O 대응점 쌍, 719-721, 723-725, 731-733, 727-729를 선택하였다. 일단 공통 좌표계로의 색상 간 매핑이 이루어지면, 공통 좌표계가 스크린으로 매핑될 수 있다. 이 경우, 포인트 711, 713, 715 및 717('X'로 표시함)이 선택된다. 따라서, 본 절차는 '도 1'의 경우와 사실상 동일해진다. 즉, 대응점들만 동일한 프로젝터에서 선택되고, 다른 색채널들은 선택되지 않는다.

도 8은 프로젝터로부터 공통 좌표계로의 매핑을 업데이트하는 데 추가 정보가 사용되는 구현형태를 나타낸다. 처음 몇 단계는 도 4에서 실행된 것과 동일하다. 단계 810에서, 공통 좌표계로의 매핑이 앞에서 설명한 것과 같이 이루어진다. 단계 820에서, 추가 정보를, 경계, 기지의 기준점 포인트, 가장자리, 및/또는 모서리 주위에서 수집한다.(도 4에서는 이러한 정보를 스크린의 경계와 모서리 포인트에서 수집하였음). 단계 830에서는, 결합된 정보를 사용하여, 도 4에서 수행한 것과 같이 공통 좌표계로부터 스크린으로의 매핑을 수행한다. 단계 840에서, 공통 좌표계로의 매핑과 공통 좌표계로부터 스크린으로의 매핑을 모두 동시에 업데이트한다. 예시적 구현형태에서, 이 단계는 프로젝터를 광학물로서 모델링함으로써 앞에서 설명한 것과 같이 실행된다. 이 경우에 프로젝터로부터 공통 좌표계로의 매핑은, 프로젝터의 투사 행렬을 추정함으로써 개선될 수 있다. 그리고, 공통 좌표계로의 해당 변경된 매핑은 공통 좌표계로부터 스크린으로의 매핑에 영향을 미칠 수 있다. 예를 들어, 결과는 프로젝터의 광학적 특성을 구하는 도 4에서 설명한 최소화법을 사용하여 공통 좌표계로의 매핑과 공통 좌표계로부터 스크린으로의 매핑을 모두 동시에 변경할 수 있다는 것이다.

II. 대체 및 추가 구현형태 및 실시예

다음은 본 발명 개념의 사상이 활용될 수 있는 특정 실시예들에 대한 설명이다.

배경 설명 및 추가 설명을 하는 데 있어서, 도 1을 참조할 때 각 프로젝터는 적, 녹, 청의 기본 색상으로 동작한다고 가정한다. 즉, 프로젝터는 적색, 녹색, 및 청색 픽셀을 서로 중첩 투사하여 영상을 형성한다. 이 경우, 각 프로젝터는 세 개의 프로젝터로 취급할 수 있다. 한 프로젝터 내에서의 색채널 간 매핑은 핀 쿠션 또는 원통왜곡 워프(pin-cushion or barrel distortion warp)에 기반할 수 있다. 사용자 또는 다른 메커니즘은 각 색상에서 포인트를 선택함으로써, 기지의 왜곡 함수의 파라미터를 구할 수 있고, 그런 다음에 도 7에 설명한 것과 같이 각 색상을 공통 좌표계로 개별적으로 이동시킬 수 있다. 그 다음에 위에서 설명한 절차를 앞에서 설명한 방식으로 계속 수행할 수 있다. 단, 예외로서, 본 실시예에서의 시스템은, 두 개의 프로젝터 대신에 실제로 여섯 개의 프로젝터를 사용하고 프로젝터간의 매핑을 프로젝터 내의 매핑과 다르게 모델링하는 것으로 취급한다.

다른 실시예는 다수의 버퍼를 나타내는 프로젝터의 경우이다. 이는 각각의 눈마다 다른 영상의 제공을 의도하는 3D 영상일 수 있을 것이다. 각 버퍼는 다양한 사람들이 보는 습관과 요구를 위해 의도될 수 있음을 고려하고 있다. 프로젝터에서 편광, 약간의 색채변화(color shift), 또는 각 눈에 대한 시분할 다중화(time division multiplexing) 등이 사용되고 있다면, 각 버퍼마다 별도의 색상이 저장될 수 있음을 고려하고 있다. 이러한 실시예에서 사용자는, 색채변화나 편광, 또는 버퍼의 타이밍을 가려내는 안경의 도움없이도, 도 7에도 나타낸 것과 같이 두 버퍼에서 생성된 영상을 볼 수 있다. 따라서 본 시스템은, 정확하게 앞에서 설명한 3색 시스템처럼 동작하는 2색 시스템으로서 사실상 취급할 수 있다.

예시적 실시예에서, 네 개의 프로젝터가 2×2 패턴의 평면 스크린을 채우도록 설치되는데, 각 프로젝터는 서로 다른 컴퓨터에 의해 구동된다. 컴퓨터들은 이더넷 케이블 또는 다른 허용가능한 통신 링크 및/또는 프로토콜을 통해 TCP/IP 통신을 한다. 그룹 내의 각 프로젝터는, 각 프로젝터 사이의 중첩 영역의 위치를 사용자 또는 다른 메커니즘에게 명확하게 보여주기 위하여 서로 다른 단색을 표시한다. 사용자 또는 다른 메커니즘은 프로젝터쌍의 중첩 영역에 있는 포인트들을 선택하여 두 프로젝터 간의 대응점들을 구성한다. 이 선택은 특히 마우스 또는 이와 유사한 포인팅 장치를 사용하여 수행할 수 있다. 이로써 사용자 또는 다른 메커니즘은 두 프로젝터 상에서 점을 선택함으로써, 두 프로젝터 사이의 대응점들을 구성한다. 컴퓨터 프로그램/소프트웨어 응용 프로그램은 각 프로젝터에 동일하지만 색상은 다른 영상(가령, 십자선)을 표시하여서 각 프로젝터에서의 대응점을 표시할 수 있다. 예시적 구현형태에서, 사용자가 픽셀 이하급 정렬 정확성으로 십자선을 위치시킬 수 있는 능력을 향상시키기 위한 명도감소 영상(intensity fall-off)을 만들기 위해서 십자선에 대해서 많은 수의(다수의) 픽셀에 대해서 안티알리어스 처리를 할 수 있다.

이러한 중첩 포인트를 사용하여, 예시적인 소프트웨어 프로세스 및/또는 알고리즘은 상동관계를 이용하여 4개의 모든 프로젝터에 걸쳐서 공통 좌표계를 구성할 수 있다. 더 많은 포인트가 선택되면, 프로젝터 간의 모델에는 과잉 제약이 있게 된다. 즉, 매핑에는 소정 개수의 파라미터가 있게 되는데, 너무 많은 포인트가 있게 되면 매핑을 정확하게 사용하여 중첩 포인트 간의 완벽한 매치가 일반적으로는 불가능해져서, 매핑시에 제2의 단계가 필요하게 될 수도 있게 된다.

박판 스플라인(thin plate spline), 또는 그 밖의 변위필드 전개를 사용하여, 각 프로젝터쌍 간에 생성된 공통 좌표계에서, 중첩되는 것으로 표시되었던 중첩 영역 내의 위치가 실제로 중첩되도록 매핑 함수에 대한 보정을 행할 수 있다. 일단 공통 좌표계가 구축되면, 전체 프로젝터 시스템 전역에서 포인트 격자와 같은 패턴을 표시하는 것이 가능하다. 사용자 또는 다른 메커니즘은 단일 좌표계로의 매핑에서의 오류를, 각 프로젝터상의 포인트들이 거의 완벽하게 중첩되지 않음을 살펴봄으로써 관찰할 수 있고, 이로써 오차가 표시되는데, 이 오차는 포인트들이 실제로 거의 완벽하게 중첩되었다면 존재하지 않았을 것이다. 그리하여 사용자 또는 다른 메커니즘은, 선택사항으로서, 프로젝터 사이의 매핑을 개선하는 데 도움이 되도록 더 많은 포인트를 선택할 수 있거나, 또는 매핑을 재보수하기 위하여 그리드 상에 현재 있는 포인트들을 각 프로젝터에서 개별적으로 이동시킬 수 있다.

일단 만족하게 되면, 사용자 또는 다른 메커니즘은 전체 프로젝터 시스템을 하나의 큰 좌표계로 취급하여 프로젝터들이 합쳐 있는 영역 주위로 포인트를 이동시킬 수 있다. 이때 포인트의 이동은 포인트 아래에 있는 모든 프로젝터에 영향을 준다. 예를 들자면, 포인트 아래에서, 영상은 스크린으로 워핑된 것으로 실시간 표시할 수 있다. 따라서 사용자 또는 다른 메커니즘은 입력 영상을 어떻게 스크린으로 매핑할 것인지를 결정할 수 있다. 다양한 영상을 사용할 수 있음을 주목해야 한다. 모든 사각형들의 크기가 균일하게 보이도록 하기 위해서는 사각형 격자가 유용하다. 또한, 선들을 평행하고 수직하게 하고 이렇게 만들기 위해서는 선 격자가 유용하다. 가능하다면, 사용자 또는 다른 메커니즘은 시스템 변경의 효과를 실시간으로 표시할 수 있다. 이를 수행하기 위한 한 가지 방법을 들자면, 워프를 전개하기 위하여 OpenGL 또는 DirectX를 사용하고, 워프를 신속히 업데이트하고 결과를 보여주기 위하여 기존의 처리장치(컴퓨터 등)의 그래픽카드를 사용한다.

본 발명이 제시한 예시적 개념을 채용한 또다른 실시예는 도 4와 같이 그 반경, 높이, 각도를 대략적으로 알고 있는 원통형 스크린 상의 수 개의 프로젝터를 제공한다. 이 스크린의 가장자리(변)는 가시적이며, 스크린 상의 소정 위치에서는 이음매(seam)를 볼 수 있다. 이 경우, 포인트는 위에서 설명한 것과 같이 중첩 영역에서 선택된다. 스크린의 모서리 포인트와, 스크린 상에 가시적인 기준점이 있는 위치(가령 스크린 내 이음매의 가장자리)의 포인트도 또한 선택될 수 있다. 이들 포인트를 선택하여, 프로젝터 내의 2D 위치에 대한 3D 대응점(스크린의 위치)이 효과적으로 생성된다. 프로젝터 입력으로부터 스크린으로의 매핑은, 프로젝터의 핀홀 모델 또는 유사 모델을 사용하여 모델링할 수 있다. 한 가지 방법으로서, 각 프로젝터에서 6개의 포인트를 선택함으로써, 스크린에 대한 투사 행렬을 각 프로젝터마다 구성할 수 있다. 다음에, 모델을 재보수하기 위하여 중첩 포인트가 선택되거나, 각 프로젝터를 서로의 위에 정확하게 매핑하기 위하여 모델 위에 보정을 부가한다. 또는 다른 방식으로서, 모델의 복잡도를 증가시키기 위한 노력의 일환으로서, 가령, 투사 렌즈에서의 방사상 왜곡에 대한 보정을 도입하는 것과 같은 추가 정보를 사용할 수 있음을 고려하고 있다.

예시적 실시예에 따르면, 6개 미만의 포인트를 사용할 수 있는 경우에 해결해야 할 문제는 머신비전 시스템에 채용되는 번들 조정(bundle adjustment) 프로세스/알고리즘과 동일하다. 이러한 프로세스/알고리즘에는, 프로젝터 파라미터의 결정을 가능케 하는 최소화가 포함된다. 여기서 상기 파라미터에는 위치, 방향, 초점 거리, 투사 중심 등이 포함된다. 목표는 프로젝터로 공통적으로 되돌아가도록 프로젝터가 선택한 포인트들의 재투사(re-projection)의 제곱 오차, 그리고 선택된 스크린 상의 포인트들의 제곱 오차를 최소화하기 위한 것이다. 스크린 크기를 대략적으로만 알고 있다면, 이들 파라미터를 최소화에 포함시킬 수 있으며, 여전히 좋은 결과를 얻을 수 있음을 주목해야 한다. 스크린의 가장자리에의 곡선을 제대로 매핑하는 단계를, 도 4의 설명에서와 같이, 이러한 유형의 최소화에 추가할 수 있다.

또한, 이러한 유형의 최소화가 완료되면, 그 결과를 이용하여 한 프로젝터로부터 다른 프로젝터로의 매핑을 수행할 수 있다. 즉, 스크린에 대한 정보와 투사에 관한 파라미터들을 사용하여 프로젝터 간의 매핑 구성 및 공통 좌표계로부터 스크린으로의 매핑 구성을 동시에 수행할 수 있다. 이러한 방법에 있어서, 스크린의 기하학적 형태는 프로젝터로부터 공통 좌표계로의 매핑을 수행하는 데 도움이 될 수 있다. 이 개념은 도 8의 단계 840에서 논의되었다.

몇 가지 스크린 유형에 유용한 절차는 소실점(vanishing point)을 사용한 절차이다. 때때로, 사용자 또는 다른 메커니즘은 스크린 상부에 있는 포인트의 연직 아래에 있는 포인트를 쉽게 선택할 수 있다. 모서리에 포인트를 추가하는 것은 프로젝터에 의해 투사되는 사각형을 나타낸다. 이 사각형은, 소실점 기법을 이용하여 프로젝터와 스크린 사이의 각도를 추정하기에 충분할 수 있다. 이 유형의 기법은 비선형 최소화를 시작하는 데 유용하다. 이 유형의 기법은 또한, 프로젝터의 일부 파라미터(예컨대, 내부 파라미터)를 알고 있는 상황에서 적용할 수도 있다. 이들 내부 파라미터에는 프로젝터의 위치 상의 초점을 포함할 수 있다. 따라서, 이 기법은 기지의 파라미터에 의해 제공되는 추가 정보와 연계하여 사용할 수 있다.

또 다른 실시예로서 스크린이 원통형이 아닌 아마도 압출(extrude)된 스크린, 즉, 이 사례에서는 수직으로 동일한 경우의 도 4의 스크린을 살펴본다. 이러한 상황에서조차도 양호한 결과를 얻을 수 있다. 충분한 포인트가 프로젝터의 상부 및 하부 경계에서 선택되는 경우에, 이 경계는 포인트에 대해서 수행되었던 것과 정확히 동일하게 프로젝터로 되돌려 재투사될 수 있다. 이에, 프로젝터의 투사 파라미터들은, 상변과 하변이 평행한 곡선이어야 하는 제약조건에 의존하는 스크린의 형상을 최소화함으로써 결정할 수 있다. 압출된 스크린을, Aditi Majundar 등에 의해 발표된 것, ScalableDesktop에서 사용되는 것, 매사추세츠주의 Scalable Display Technologies of Cambridge에서 발표된 제품 등, 여기서 사용할 수 있는 알고리즘을 제안하는 프로젝터 피드백 시스템/카메라를 이용해서 취급하는 몇가지 방법들이 있어 왔다.

각 스크린 유형에 있어서, 영상을 스크린으로 매핑하는 방법을 계산하는 많은 예시적인 절차가 있다. 원통형 스크린에 있어서, 일반적으로 영상 주위에는, 원통을 따라 일정한 각도가 픽셀에 주어지도록 원통이 둘러싸고, 픽셀들은 원통의 축에 수직인 방향으로 균일하게 분포된다. 중첩으로부터의 또는 프로젝터 위치로부터의 정보를 사용하여 시스템의 실효 해상도를 추정할 수 있고, 어느 해상도의 영상이 스크린 상에 최적으로 표시되는지를 추정할 수 있다. 이러한 추정을 수행하는 간단한 방법은, 중첩 영역에서 손실되는 픽셀의 수를 계산하는 것이다. 영상을 표시하기 위한 다른 방법에서는, 프러스타(frusta)에 기반하여 렌더링된 장면을 활용할 수 있다. 이 예시적 실시예에서는 시점(eye point)을 원통의 중심에 맞출 수 있으며, 적절한 프러스타들은 프로젝터의 각도 채워짐(fill) 정도에 따라, 각 프로젝터에 대해서 선택된다. 다른 실시예에서, 사용자 또는 다른 메커니즘은 원통의 중심과 다른 위치로 시점/관점을 이동시킬 수 있다.

일 실시예에서, 스크린은 구면(spherical) 스크린의 부분 조각(예시적으로, 좌우로 60도, 상하로 30도의 범위로 펼쳐져 있는 부분)으로 정의할 수 있다. 이러한 유형의 스크린에 대한 매핑은 앞에서 설명한 원통형 스크린과 거의 동일한 방법으로, 즉, 다수의 프로젝터를 제약하는 포인트들을 선택하고 나서 스크린의 가장자리에 있는 포인트들을 선택하여 곡선을 형성함으로써 해결할 수 있다. 그 다음에 프로젝터의 광학적 특성이 상기 곡선에 가장 잘 일치하도록 반복하기 위한 최소치를 생성하는 데 상기 곡선을 사용할 수 있는데, 이 때에는 프로젝터 간의 제약조건을 감안한다.

또다른 실시예에서 스크린은 그 안에 모서리를 포함할 수 있거나, 또는 뚜렷한 윤곽(hard edge)을 포함할 수 있다. 이 경우는, 방의 모서리로 투사하는 경우, 또는 여러 개의 평면 스크린이 연결부로 모이도록 구성된 전체 스크린 시스템으로 투사하는 경우가 이 실시예의 사례일 수 있다. 이 경우는, 급격한 방향 변경이 예상되는 매핑의 위치를 나타내기 위하여 사용자가 추가적으로 마우스를 이용하여 스크린의 가장자리나 모서리를 클릭하는 스크린의 경우와 거의 동일하다. 평면 스크린의 경우와 마찬가지로, 상동관계를 각 벽에 대해서 설정할 수 있고, 모서리 포인트를 선택하여 전체 매핑을 수행할 수 있다.

또 다른 실시예에서는, 스크린이 매끈하게 변하는 것이 아니라, 스크린에 대해서 아무 것도 모르는 스크린이 구비된다. 이 경우에도 여전히 단일 좌표계를 생성하기 위하여 모든 프로젝터 사이에서 매핑을 구성할 수 있다. 아무런 사전 정보도 알지 못하기 때문에 영상이 위치해야 할 위치를 나타내기 위하여 적은 수의 포인트가 균일 좌표계 내에서 이동된다. 이 절차는 모서리 포인트가 위치해야 할 곳(가령, 2×2 시스템)을 선택함으로써 시작될 수 있고, 그 다음에 포인트 개수를 반복적으로 배가시킬 수 있다. 각 반복시에, 이전 반복시로부터의 스플라인 기반 보간법(또는 그 밖의 보간 방법)을 사용하여 새로운 포인트를 정할 수 있다. 변경해야 할 포인트만이 실제로 이동된다. 제시된 원활성 제약 조건 때문에, 각 반복에 있어서, 매핑은 사용자가 바라는 정확성 수준에 한층 더 가까워질 것으로 기대된다. 스크린에 대해서 아무런 정보도 입수할 수 없으며, 상당 수의 포인트를 이동해야 하는 것이 가능한 이러한 경우에서조차도, 본 절차는 종래의 기법에 비해 상당한 시간을 단축함을 주목해야 한다. 현존 기술계에서는 사용자는 모든 단일 프로젝터 상에서 포인트들을 독립적으로 이동시킬 필요가 있을 것이지만, 이에 반해, 이상에서 설명한 새로운 절차에 따르면, 사용자 또는 다른 메커니즘은 개별 프로젝터가 아닌 전체 시스템에 대해서 포인트를 이동하기만 하면 된다.

한 가지 목표는 프로젝터 간의 대응점을 픽셀 이하 수준으로 결정하는 것이다. 따라서, 일반적으로는, 스크린 상에서 포인트를 이동시킬 때 포인트들은 단일 픽셀 수준에서 이동됨으로써, 프로젝터 간의 대응점들이 픽셀 이하 수준으로는 구성되지 않는다. 그러나 눈은, 영역에 대한 평균화에 매우 민감하며, 이러한 평균화를 이용해서 픽셀 이하급의 매칭을 수행할 수 있다. 예를 들어, 프로젝터 상의 포인트를 선택하는 대신에, 많은 픽셀 상에서 명도가 감소하는 함수 - 예를 들어, 가우시안 함수 - 를 스크린에 대해서 이동시킬 수 있다. 눈은 이 함수의 명도 최고치, 및 가장자리에서의 명도감소 영상의 매끈한 가장자리를 보간할 능력이 있다. 따라서, 사용자는 이 최고치를 픽셀 이하의 수준으로 이동시켜서 이 최고치와 가장자리를, 한 프로젝터로부터 다른 프로젝터로 매치시킬 수 있으며 이로써 픽셀 이하의 정확성을 갖는 대응점을 찾을 수 있다. 이와 유사한 접근 방식을, 많은 픽셀에 대해서 안티알리아스 처리한 십자선을 사용하거나, 명도 경사를 갖는 다른 영상을 사용하여 수행할 수 있다. 픽셀 이하급의 대응점을 결정하는 자동화 기술도 또한 사용할 수 있다.

여기서 설명한 시스템 및 방법은, 넓은 기하학적 영역의 단일 스크린에 영상을 투사하는 다중 프로젝터를 매핑하기 위한 매우 효과적인 기술을 제안함이 명확해졌다. 본 시스템 및 방법은 또한 다양한 특정 응용에 적용가능하다. 이러한 응용에는, (a) 프로젝터 값의 설정, (b) 워핑 박스 값의 설정, (c) EasyBlend™ SDK 값의 설정, (d) OMTE 파라미터의 설정, Nvidia(그래픽 카드 및 엔진) 색상 곡선의 설정, (e) DOPP 스크린의 원하는 해상도의 설정, (f) 연동되는 스크린에 대한 베젤의 고려, (g) 다중 프로젝터, 단일 프로젝터, 평판 디스플레이의 배치에의 일반적인 사용(예를 들어 감마 곡선 및 공간 명도의 보정), 화이트보드/SmartBoard, 터치스크린, 및/또는 비행 시뮬레이터 등이 포함되지만, 이들에만 국한되는 것은 아니다.

이상에서 본 발명의 예시적인 구현형태에 대하여 상세하게 설명하였다. 본 발명의 사상 및 범위를 벗어나지 않는 상태로 다양한 변경 및 추가가 가능하다. 위에서 설명한 다양한 구현형태 각각은, 설명된 다른 구현형태와 결합하여서 다양한 기능을 제공할 수 있다. 또한 이상에서는 본 발명의 장치 및 방법의 여러가지 개별 구현형태를 설명하였지만, 여기서 설명한 것은 본 발명의 원리를 적용한 예인 것에 불과하다. 예를 들어, 앞에서 설명한 것 이외에 추가적인 교정 단계를 채용할 수 있다. 이들 단계들은 특히, 디스플레이 장치의 유형 및 채택한 디스플레이 표면을 기초로 할 수 있다. 또한, 사람인 사용자가 절차 단계들을 수행할 경우에는 적절한 자동화 장치 또는 메커니즘(가령 스크린의 영상을 취득화고 영상에 대해서 기존의 프로그램된 비전장치 프로세스를 수행하는 머신비전)을 사람 대신에 사용할 수 있음을 명백히 고려하고 있다. 따라서 '수동(manual)'이라는 용어는 전체적으로 또는 적어도 부분적으로 자동화에 의해 보조되어서도 실행되는 단계를 포함하는 것으로 넓게 해석해야 한다. 마찬가지로, 여기서 제시한 기술들은 두 개 이상의 프로젝터의 일부일 수 있는 단일 프로젝터, 또는 프로젝터 시스템 내의 단일 장치를 교정하는 데에 적용할 수 있음을 명백히 고려하고 있다. 단일 프로젝터의 교정/정렬이 수행되는 경우, 용어 '프로젝터'는 단일 프로젝터 영상의 별도 '구성요소'를 포함하는 것으로 넓게 해석할 수 있다. 또한, 여기서 설명한 모든 절차와 기능들은, 하드웨어, 소프트웨어(프로그램 명령어로 구성되는 컴퓨터 판독가능한 매체를 포함함), 또는 하드웨어와 소프트웨어의 결합에 의해 구현될 수 있음을 고려하고 있다. 따라서, 본 설명은 예시일 뿐으로 본 발명의 범위를 한정하는 것이 아니다.

100 : 평면 스크린
101, 103 : 윤곽선
105: 중첩 영역
127-129, 131-133, 119-121, 123-125 : 대응점 쌍
111, 113, 115, 117 : 모서리 포인트
400 : 원통형 스크린
401, 403 : 프로젝터 윤곽선
419-421, 423-425, 427-429, 431-433 : 대응점 쌍
405 : 중첩 영역
411, 413, 415, 417 : 모서리 포인트
435, 437 : 가장자리 포인트
501 : 기준점
503 : 가우시안 함수 곡선
700 : 스크린
701, 703 : 충만 영역
719-721, 723-725, 731-733, 727-729 : 대응점 쌍
711, 713, 715, 717 : 모서리 포인트

Claims

하나 이상의 프로젝터를 교정하기 위한 방법
a. (i) 스크린을 정의하는 표면에 두 개 이상의 프로젝터에 의해서 생성되는 영상의 적어도 하나의 중첩 영역과, (ii) 적어도 하나의 프로젝터의 별도 구성요소의 스크린의 중첩 영역 중 적어도 하나에서 대응점을 선택하는 단계,
b. 선택된 대응점을 사용하여, (i) 두 개 이상의 프로젝터와 (ⅱ) 별도 구성요소 중 적어도 하나의 전역에 걸쳐서, 공통 좌표계로의 매핑을 구하는 단계,
c. 입력 영상으로부터 공통 좌표계로의 매핑을 구한 다음에 이를 이용해 스크린으로의 매핑을 구하는 단계를 포함하는, 프로젝터 교정 방법.
제1항에 있어서, 상기 선택된 대응점은 스크린 상의 임의의 위치에 있는, 프로젝터 교정 방법.
제1항에 있어서, (d) 투사된 영상을 포함하는 기지의 위치를 스크린에서 선택하고, 이 선택된 기지의 위치를 상기 공통 좌표계로 매핑하는 단계에서 이용하는 단계와, (e) 공통 좌표계로부터 스크린으로의 매핑을 재보수하는 단계 중 적어도 하나를 추가로 포함하는, 프로젝터 교정 방법.
제3항에 있어서, 스크린은, 적어도, 두 개 이상의 프로젝터가 각자의 영상을 투사하는 위치에서는 실질적으로 평평하고, 상기 선택된 기지의 위치는 투사 면적의 원하는 모서리들과 같은 수만큼 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 대응점 선택 단계에는, 스크린에서 추가 위치를 선택함에 의해 두 개 이상의 프로젝터의 투사 영상 간의 정렬을 향상하도록 재보수 알고리즘을 동작시키고, 재보수 알고리즘에 추가 위치를 제공하여서 두 개 이상의 프로젝터의 영상들 간의 중첩의 불일치를 원하는 양으로 감소시키는 것이 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 입력 영상으로부터 공통 좌표계로의 매핑을 구한 다음에 공통좌표계로부터 스크린으로의 매핑을 구하는 단계에는, 영상들 중 적어도 하나에서 경계 지점, 곡선, 모서리, 또는 가장자리 중 적어도 하나의 위치를 나타내기 위해 스크린상에서 추가 위치를 선택하는 것이 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 입력 영상으로부터 공통 좌표계로의 매핑을 구하는 단계는 실질적으로 실시간으로 업데이트되는, 프로젝터 교정 방법.
제1항에 있어서, 공통 좌표계로의 매핑을 구하는 단계는 적어도 부분적으로, 스크린에 의해 정의되는 기하학적 형상에 기반하는, 프로젝터 교정 방법.
제1항에 있어서, 상기 단계 (b)와 단계 (c) 중 적어도 하나에는 상동관계를 이용하는 것이 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 단계 (b)와 단계 (c) 중 적어도 하나에는 쿼드릭을 이용하는 것이 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 단계 (b)와 단계 (c) 중 적어도 하나에는 두 개 이상의 프로젝터를 광학적 특성을 갖는 물건으로서 모델링하는 것이 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 단계 (b)와 단계 (c)는 동시에 수행되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 대응점 선택 단계는, 명도감소 영상을 스크린상의 의도된 대응점에 표시하되, 여기서 두 개 이상의 프로젝터의 영상들은 두 개 이상의 프로젝터의 영상들 간에 픽셀 이하급의 정확도로 일치되도록 이동가능한, 프로젝터 교정 방법.
제1항에 있어서, 적어도 한 프로젝터 또는 두 개 이상의 프로젝터의 중첩 영역에서 대응점을 선택하는 단계에는, 상기 대응점들을 각 구성요소 또는 각 프로젝터 각각에서 상기 중첩 영역 내에 서로 다른 색상으로 표시하여, 적어도 두 가지 다른 색상이 결합되어 새로운 색상을 형성하는 것으로써, 보는이가 정렬상태를 확인하도록 보조하는, 프로젝터 교정 방법.
제1항에 있어서, 프로젝터에 의해 생성된 영상의 별도 구성요소는 개별적으로 취급되는, 프로젝터 교정 방법.
제1항에 있어서, 상기 별도 구성요소는 별개의 색상인, 프로젝터 교정 방법.
제1항에 있어서, 별도의 구성요소는 (i) 보는이의 각 눈에 수신되어 입체 영상을 형성하도록, 또는 (ⅱ) 다른 보는이의 눈에 수신되도록 각각 구성되고 배치되는 버퍼를 정의하는, 프로젝터 교정 방법.
제1항에 있어서, 상기 방법은 (a) 프로젝터 값, (b) 워핑 박스 값, (c) EasyBlend™ SDK 값, (d) OMTE 파라미터, (e) 색상 곡선 파라미터, (f) DOPP 스크린의 원하는 해상도 중 적어도 하나를 포함하는 설정 정보를 통신 링크를 통해서 두 개 이상의 프로젝터 중 적어도 하나에 전송하는 것을 추가로 포함하는 프로젝터 교정 방법.
제1항에 있어서, 프로젝터로 전송되는 입력 영상으로부터 스크린으로의 매핑의 최초 추정치를 수신하고, 적어도 부분적으로 상기 최초 추정치를 기반으로 하여 상기 단계 (b)와 단계 (c) 중 적어도 하나를 수행하는 것을 추가로 포함하는, 프로젝터 교정 방법.
제1항에 있어서, (d) 투사된 영상을 포함하는 기지의 위치를 스크린에서 선택하고, 이 선택된 기지의 위치를 상기 공통 좌표계로의 매핑을 수행하는 단계에서 이용하는 것, 그리고 (e) 공통 좌표계로부터 스크린으로의 매핑을 재보수하는 것 중 적어도 하나를 추가로 포함하는, 프로젝터 교정 방법.
제20항에 있어서, 공통 좌표계로의 매핑을 구하는 단계에는, 프로젝터로부터 두 개 이상의 프로젝터 중 적어도 하나의 스크린으로의 매핑 함수 모델의 파라미터를 업데이트하는 것이 포함되는, 프로젝터 교정 방법.
제1항에 있어서, 각 단계 (b)와 단계 (c)를 동시에 수행하는 것을 추가로 포함하는, 프로젝터 교정 방법.
하나 이상의 프로젝터를 기하학적으로 교정하는 방법에 있어서,
a. (i) 스크린을 정의하는 표면에 두 개 이상의 프로젝터에 의해서 생성되는 영상의 적어도 하나의 중첩 영역과 (ii) 적어도 하나의 프로젝터의 별도 구성요소의 스크린의 중첩 영역 중 적어도 하나에서 대응점을 선택하는 단계로서, 이 선택은 스크린 상의 임의의 위치에서 수행됨,
b. 선택된 대응점을 사용하여, (i) 두 개 이상의 프로젝터와 (ⅱ) 별도 구성요소 중 적어도 하나의 전역에 걸쳐서, 공통 좌표계로의 매핑을 구하는 단계,
c. 입력 영상으로부터 공통 좌표계로의 매핑을 구한 다음에 이를 이용해 스크린으로의 매핑을 구하는 단계를 포함하는, 프로젝터를 기하학적으로 교정하는 방법.
제23항에 있어서, (d) 투사된 영상을 포함하는 기지의 위치를 스크린에서 선택하고, 이 선택된 기지의 위치를 상기 공통 좌표계로의 매핑을 수행하는 단계에서 이용하는 것, 그리고 (e) 공통 좌표계로부터 스크린으로의 매핑을 재보수하는 것 중 적어도 하나를 추가로 포함하는, 프로젝터를 기하학적으로 교정하는 방법.
제24항에 있어서, 상기 방법은 (a) 프로젝터 값, (b) 워핑 박스 값, (c) EasyBlend™ SDK 값, (d) OMTE 파라미터, (e) 색상 곡선 파라미터, (f) DOPP 스크린의 원하는 해상도 중 적어도 하나를 포함하는 설정 정보를 통신 링크를 통해서 두 개 이상의 프로젝터 중 적어도 하나에 전송하는 것을 추가로 포함하는, 프로젝터를 기하학적으로 교정하는 방법.
프로젝터를 기하학적으로 교정하는 시스템에 있어서,
a. 스크린을 정의하는 표면에 두 개 이상의 프로젝터에 의해서 생성되는 영상의 적어도 하나의 중첩 영역에서 대응점을 선택하되 스크린 상의 임의의 위치에서 선택하는 수단,
b. 선택된 대응점을 사용하여 두 개 이상의 프로젝터의 전역에 걸쳐서, 공통 좌표계로의 매핑을 구하도록 구성된 프로세서,
c. 입력 영상으로부터 공통 좌표계로의 매핑을 구한 다음에 이를 이용해 스크린으로의 매핑을 구하도록 구성된 프로세서를 포함하는, 프로젝터를 기하학적으로 교정하는 시스템.
a. 스크린을 정의하는 표면에 두 개 이상의 프로젝터에 의해서 생성되는 영상의 적어도 하나의 중첩 영역에서 선택된 대응점에 기반하여, 프로세서가 이 선택된 대응점을 수신하는 단계,
b. 선택된 대응점을 사용하여 두 개 이상의 프로젝터의 전역에 걸쳐서, 공통 좌표계로의 매핑을 구하는 단계,
c. 입력 영상으로부터 공통 좌표계로의 매핑을 구한 다음에 이를 이용해 스크린으로의 매핑을 구하는 단계를 실행하는 비일시적 프로그램 명령어를 포함하는 컴퓨터 판독가능한 매체.