KR101094118B1 - 3차원 프로젝션 디스플레이 - Google Patents

3차원 프로젝션 디스플레이 Download PDF

Info

Publication number
KR101094118B1
KR101094118B1 KR1020097012767A KR20097012767A KR101094118B1 KR 101094118 B1 KR101094118 B1 KR 101094118B1 KR 1020097012767 A KR1020097012767 A KR 1020097012767A KR 20097012767 A KR20097012767 A KR 20097012767A KR 101094118 B1 KR101094118 B1 KR 101094118B1
Authority
KR
South Korea
Prior art keywords
projector
image
screen
image information
projectors
Prior art date
Application number
KR1020097012767A
Other languages
English (en)
Other versions
KR20090094824A (ko
Inventor
콜린 데이비드 카메론
크리스토퍼 폴 윌슨
안톤 데브랄
Original Assignee
에프. 포스잣 후, 엘.엘.씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에프. 포스잣 후, 엘.엘.씨. filed Critical 에프. 포스잣 후, 엘.엘.씨.
Publication of KR20090094824A publication Critical patent/KR20090094824A/ko
Application granted granted Critical
Publication of KR101094118B1 publication Critical patent/KR101094118B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

디스플레이 시스템은 스크린 및 광을 스크린에 조사하도록 구성되는 복수의 프로젝터들을 포함한다. 광은 뷰잉 영역(viewing region)에서 디스플레이를 위한 3차원(3D) 물체를 형성한다. 상기 시스템은 3D 물체와 관련된 이미지 정보를 생성시키도록 구성되는 하나 이상의 프로세서들을 더 포함한다. 상기 이미지 정보는 3D 물체의 프로젝터 관점(projector perspective)을 뷰잉 영역 관점(viewing region perspective)으로 변환함으로써 복수의 프로젝터들의 프로젝터 바이어스(project bias)를 보상하도록 캘리브레이팅(calibrating)된다.
3D 프로젝션 디스플레이 시스템, 프로젝터 바이어스, 프로젝터 관점, 뷰잉 영역 관점, 가상 프러스텀, 원근 프로젝터, 직교 프로젝터, 가상 카메라, 뷰 볼륨, 오토스테레오 이미지

Description

3차원 프로젝션 디스플레이{THREE DIMENSIONAL PROJECTION DISPLAY}
본 발명은 프로젝션 디스플레이 시스템(projection display system)들 및 오토스테레오스코픽(autostereoscopic) 3차원 디스플레이들을 포함하는 3차원 디스플레이 시스템들에 관한 것이다.
복수의 프로젝터(projector)들을 병합한 디스플레이 시스템들이 2차원(2D) 및 3차원(3D) 디스플레이 시스템들 둘 모두에서 사용된다. 3D 디스플레이들을 생성하는데 사용되는 것들은 다양한 형태들을 취한다. 하나의 형태는 프로젝션 스크린 상에 고해상도의 타일링된(tiled) 이미지를 생성하기 위하여 복수의 프로젝터들을 사용하고, 스크린 앞에 렌즈(lens)들의 어레이를 놓으며, 각각의 렌즈들은 스크린의 작은 부분을 이미지화하도록 배열된다. 이와 같은 시스템에서의 렌즈들은 종종 단일 축 렌즈형 어레이로 배열된다. 그 후, 뷰어(viewer)는 렌즈들의 작용으로 인하여, 자신의 관점에 따라 상이한 세트의 픽셀(pixel)들을 보므로, 적절하게 프로젝트된 이미지 데이터에 3D-형 외관을 제공한다. 이 방법은 복수의 프로젝터들에 의존하는 것이 아니고, 이들에 의해 제공된 부가적인 픽셀로부터 이익을 얻을 것이다.
3D 이미지는 또한 스크린에 대하여 복수의 프로젝터들을 배열하여 스크린의 상이한 부분들을 바라보는 관찰자가 상이한 프로젝터들로부터의 이미지들의 컴포넌트(component)들을 보게될 것이고, 상기 컴포넌트들이 3D-효과가 성취되도록 오퍼레이팅함으로써 형성될 수 있다. 이것은 렌즈들의 어레이를 필요로 하지 않고, 결과적인 이미지가, 상이한 관점들로부터 단지 상이하게 보일 뿐만이 아니라 감지 가능한 깊이를 가지므로 더 양호한 3D 효과를 제공할 수 있다. 더 양호한 결과들이 더 많은 프로젝터들로 성취되는데, 그 이유는 이것이 더 큰 화각(angle of view) 및 더 자연적인 3D 이미지 둘 모두를 제공하기 때문이다. 통상적으로, 이와 같은 디스플레이의 이미지 렌더링 요건(image rendering requirement)들은 프로젝터들의 수가 증가함에 따라 시스템에 대해 상당히 부담스러워지고, 성취 가능한 품질에 대한 경제적인 한계들을 초래한다. 또한, 프로젝터들의 수가 증가함에 따라, 각각의 다른 프로젝터에 대한 프로젝터들 각각의 셋업(setup)이 더 어려워진다.
이러한 시스템에 의해 수행된 렌더링은 개념이 비교적으로 간단하지만, 각각의 프로젝터 상에 디스플레이될 데이터가 오토스테레오스코픽 이미지가 보여질 수 있는 뷰잉 볼륨(viewing volume)에 위치된 가상 이미지 생성 카메라를 사용하여 렌더링되기 때문에, 비교적으로 상당한 처리 자원들을 필요로 한다. 가상 이미지 생성 카메라는 렌더링이 발생하는 포인트이다. 광선 트레이싱(ray tracing)에서, 이것은 모든 광선들이 방사된다고 가정되는 포인트이고, 통상적으로 이미지가 뷰잉되는 포인트를 나타낸다. 오토스테레오스코픽 디스플레이들에 대하여, 렌더링은 통상적으로 뷰잉 볼륨 내의 여러 가상 이미지 생성 카메라 위치들에 대해 수행되고, 상기 단락에서 기재된 바와 같이 계산 집중적인 작업이다.
다양한 실시예들이 이하 다음의 도식적으로 설명적인 도면들을 참조하여, 단지 예로서만, 더 상세히 설명될 것이다.
도 1은 3차원 프로젝션 디스플레이가 구현될 수 있는 프로젝션 시스템의 표현을 도시한 도면.
도 2는 도 1의 프로젝션 시스템에 의해 제공될 수 있는 프로젝터의 프러스텀(frustum)들, 및 이미지 정보의 렌더링의 설명적인 예를 도시한 도면.
도 3 및 도 4는 관찰자에 대한 정확한 공간적인 위치에서 나타날 포인트(p')를 통해 프로젝트되는 시스템-공간(system-space)에서의 포인트(p)를 도시한 도면.
도 5는 곡선형(curved) 스크린을 포함하는 3차원 프로젝션 디스플레이의 한 실시예를 도시한 도면.
도 6은 3차원 프로젝션 시스템들에 의해 생성된 특정 이미지들로 생성될 수 있는 왜곡(distortion) 효과를 도시한 도면.
도 1은 3차원 프로젝션 디스플레이가 구현될 수 있는 프로젝션 시스템을 도시한다. 프로젝션 시스템은 본원에 설명된 동작의 원리가 다른 시스템들에 적용될 수 있을지라도, 수평 패럴랙스 전용(Horizontal Parallax Only: HPO) 시스템이다. 복수의 프로젝터들(1)이 스크린(2) 상에 이미지를 프로젝트하도록 각각 배열된다. 스크린(2)은 분산 특성들을 가져서, 수평면에서, 분산 각도가 매우 작아서, 약 1.5°인 반면, 수직면에서, 분산 각도는 다소 넓어서, 약 60°이다.
프로젝터(1)는 2개의 인접한 프로젝터들 및 스크린 사이의 각도(θ)가 스크린(2)의 수평 분산 각도 이하이도록 배열될 수 있다. 이 배열은 스크린(2)의 다른 측 상의 뷰어(3)가 프로젝터들(1) 중 적어도 하나에 의해 조사될 수 없는 이미지에서의 임의의 갭(gap)들을 보지 않게 될 것을 보장한다.
프로젝터들(1)은 임의의 큰 정확도로 서로에 대해 또는 스크린에 대해 정렬되지는 않아도 된다. 프로젝터 포지셔닝(projector positioning) 또는 광학적 불규칙성(optical irregularity), 및 스크린에서의 불규칙성들을 보상하기 위하여 (후술되는) 캘리브레이션 단계(calibration step)가 수행될 수 있다.
디스플레이될 이미지들의 그래픽 처리 또는 렌더링을 수행하기 위하여 복수의 네트워킹된 컴퓨터들(4)을 포함하는 컴퓨터 클러스터(computer cluster)가 사용될 수 있다. 필요로 되는 개별적인 컴퓨터들의 수를 감소시키는 더 특수화된 하드웨어가 사용될 수 있다. 컴퓨터들(4) 각각은 프로세서, 메모리 및 하나 이상의 출력 포트들을 갖는 소비자 레벨 그래픽 카드를 포함할 수 있다. 그래픽 카드들 상의 각각의 포트는 개별적인 프로젝터에 접속될 수 있다. 컴퓨터들(4) 중 하나는 나머지 컴퓨터들에 대한 마스터 제어기(master controller)로서 구성될 수 있다.
도 1은 또한 프로젝터들(1)로부터 스크린(2) 쪽으로 프로젝트되는 일련의 광선들(5)을 도시한다. 실제로 각각의 프로젝터가 자신의 프로젝션 프러스텀 내에서 픽셀들의 그리드(grid)로부터 프로젝션들을 방출할지라도, 프로젝터들(1) 각각에 대해 단일 광선이 도시되어 있다. 도시된 각각의 광선(5)은 디스플레이된 이미지에서 단일 디스플레이 포인트, 예를 들어, 참조부호(7)를 생성하는 쪽으로 향한다. 이 디스플레이 포인트는 스크린(2)의 표면 상에 있는 것이 아니고, 스크린 앞에 좀 멀리 있도록 관찰자에게 보인다. 각각의 프로젝터(1)는 이미지 또는 이미지의 부분에 대응하는 광선을 스크린(2)의 상이한 부분에 송신하도록 구성될 수 있다. 이것은 이미지가 프로젝터 관점에 따라 디스플레이되는 프로젝터 바이어스(projector bias) 또는 왜곡된 이미지가 스크린 상에 나타나도록 할 수 있다. 일 실시예에서, 디스플레이될 3D 물체의 꼭지점(vertex)들은 프로젝터 바이어스를 수정하기 위하여 후술되는 방식으로 오퍼레이팅(operating)되거나 사전-왜곡된다.
일 실시예에 따른 3D 이미지의 디스플레이는 다음 방식으로 생성된다.
1. 3D 이미지 정보를 포함하는 애플리케이션 데이터가 일련의 꼭지점들로서 마스터 컴퓨터에서 수신된다. 이것은 예를 들어, AUTOCAD와 같은 CAD 패키지로부터의 정보, 또는 복수의 카메라들로부터 도출된 장면 정보일 수 있다. 마스터 컴퓨터(또는 프로세스)는 네트워크를 통해 렌더링 컴퓨터들(또는 프로세스들)로 데이터를 송신한다.
2. 각각의 렌더링 프로세스는 꼭지점들을 수신하고, 시스템에 의해 이미지에 추가된 왜곡들 또는 프로젝터 바이어스에 기인한 특정 시각적인 효과들을 보상하는, 자신의 할당된 프로젝터들 각각에 대한 렌더링을 수행한다. 시각적 효과들은 광이 렌더링되기 전에 이미지 정보에 오퍼레이팅함으로써 보상될 수 있다.
3. 일단 3D 데이터가 그래픽 카드의 2D 프레임 버퍼 내로 적절하게 프로젝트되면, 부가적으로 사전-왜곡된 꼭지점들을 조종하거나 오퍼레이팅함으로써, 프로젝터들, 미러들 및 스크린 표면의 오정렬들(misalignments)에 대해 수정하기 위하여 부가적인 캘리브레이션 데이터가 적용된다.
프로젝션 프러스텀들의 특성들을 고려하는 3D 이미지를 구성하는 꼭지점들의 맞춤화된 오퍼레이션(operation)이 수행될 수 있다. 시스템 내의 각각의 프로젝터에 대한 렌더링(또는 '카메라') 프러스텀은 물리적인 프로젝터의 프러스텀과 동일하지 않을 수 있다. 각각의 프로젝터(1)는 자신의 스크린의 후방의 전체 높이를 어드레스(address)하도록(즉, 자신이 상부 및 하부 영역들을 커버하도록) 셋업될 수 있다. 스크린의 HPO 특성들로 인하여, 렌더링 프러스텀들은 각각의 프러스텀의 원점이 ZX 평면에서 이것의 관련 프로젝터와 동일 평면 상에 있고 YZ 평면에서의 이것의 방향(orientation)이 선택된 뷰어 위치들에 의해 규정되도록 배열될 수 있다.
도 2는 도 1의 프로젝션 시스템에서 제공될 수 있는 프로젝터의 프러스텀들, 및 이미지 정보의 렌더링의 설명적인 예를 도시한다. '이상적인' 렌더링 프러스텀(8)(빗금 영역)을 따라, 스크린(2)의 부분, 및 물리적인 프로젝터 프러스텀(9)이 도시되어 있다. 프로젝터 프러스텀(9)은 전형적으로 '이상적인' 프로젝터 위치(10)로부터 오정렬된 프로젝터에 의해 생성된다. 이상적인 프로젝터 위치(10)가 ZX 평면에서의 실제 위치(10')와 동일 평면 상에 있다는 점에 주의하라.
렌더링 프러스텀들의 범위들은 모든 가능한 광선들이 대응하는 물리적인 프로젝터들에 의해 복제되도록 선택될 수 있다. 일 실시예에서, 시스템-공간에서의 렌더링 프러스텀들은 스크린의 물리적으로 어드레스된 부분들과 교차한다.
회전들 및 수직적 오프셋들(offsets)과 같은 물리적인 프로젝터들의 특정한 오정렬들은 이후에 설명되는 바와 같이, 캘리브레이션 및 이미지 워핑(image warping)에 의해 수정된다.
도 1을 다시 참조하면, 프로젝터들(1)의 뱅크(bank)의 측면들을 따라 미러들(11)을 배치함으로써, 복수의 가상 프로젝터들(12)이 프로젝터들의 프러스텀들의 반사된 부분에 의해 형성될 수 있다는 것이 인식될 수 있다. 이것은 프로젝터들의 수를 증가시키는 효과를 제공하여, 이미지(6)가 관찰자(3)에 의해 관찰될 수 있는 뷰 볼륨(view volume)의 크기를 증가시킨다. 미러링된 물리적인 프로젝터에 대한 실제 및 가상 프로젝터 프러스텀들 둘 모두를 계산함으로써, 정확한 부분적인 프러스텀들이 스크린 상으로 프로젝트된다. 예를 들어, 오토스테레오 디스플레이를 포함하는 한 실시예에서, 각각의 컴퓨터(4)의 그래픽 카드의 프레임-버퍼(frame-buffer)는 나란히 2개의 렌더링된 이미지로 로딩될 수 있다. 렌더링된 이미지들 사이의 분할은 미러 경계에 정렬될 수 있다.
위에 언급된 HPO 왜곡들에 대해 수정하기 위하여, 그리고 모든 관점들로부터 기하학적으로 정확한 월드-공간(world space)을 뷰어에게 제공하기 위하여, 이미지 기하구조가 렌더링 이전에 오퍼레이팅 또는 사전-왜곡될 수 있다. 완전히 정확한 왜곡 수정을 위해 스크린에 대해 뷰어의 궤적(locus)을 규정하기 위하여, 눈(eye)의 임의의 모션(motion)이 제공될 수 있다.
복수-뷰어 복수-관점 오토스테레오 시스템에 대하여, 모든 뷰어를 동시에 추적하는 것이 가능하지 않을 수 있다. 그러므로, 뷰어 궤적들이 가장 통상적인 것으로 규정되는 절충안이 수용된다. 일 실시예에서, 뷰잉 볼륨의 중심에 놓이는 뷰의 깊이가 선택된다. 그러나, 이 방법은 예를 들어, 시스템의 다음의 수학적인 표현에 서 좌표들을 가변하는 것을 통하여 뷰어의 위치의 실시간 갱신을 허용한다.
외부 3D 애플리케이션으로부터 이미지를 디스플레이할 때, 이것의 눈-공간(eye-space)(또는 애플리케이션-공간)을 실제대로 표현하는 것이 중요하고, 이것은 중심 관점을 보존하고 원근법적으로 정확한 물체를 생성하는 것을 포함한다.
시스템의 수학적인 표현은 눈의 중심 축으로(즉, 눈-공간에서 Z-축을 따라) 맵핑되는 것으로 (외부 애플리케이션으로부터) 사용자의 관점을 규정한다. 이것은 사용자의 주 관점이 애플리케이션의 주 관점과 닮도록 하고, 뷰-볼륨 내에서 돌아다님으로써 디스플레이되는 물체들 주위를 보는 능력을 사용자들에게 제공한다.
시스템의 수학적인 표현을 부가적으로 규정할 시에, 4×4 매트릭스(M A)가 식별되고, 여기서 상기 매트릭스(M A)는 애플리케이션의 눈-공간을 애플리케이션의 프로젝터-공간으로 변환할 수 있는 것으로 이해된다. 일단 프로젝터-공간에서, 프로젝션 매트릭스(P A)가 애플리케이션의 동질 클립 공간(homogeneous clip space) 내로의 프로젝션을 나타낸다고 하자.
우리는 이제 역의 눈 프로젝션 매트릭스(P E -1)를 적용함으로써 디스플레이 눈-공간 내로 "프로젝트하지 않고(un-project)", 역의 눈 변환 매트릭스(M E -1)를 사용하여 시스템-공간 내로 더 맵핑한다. 일단 시스템-공간에서, 예를 들어, 디스플레이의 서브-볼륨(sub-volume)에 애플리케이션의 포함(containment)을 허용하기 위하 여 일반적인 변환 매트릭스(T)가 적용될 수 있다. 렌더링 카메라 변환 매트릭스(M P )가 기하학적 사전-왜곡을 위해 프로젝터-공간 내로 맵핑하는데 사용될 수 있다.
프로젝터-공간에서 기하구조에 오퍼레이팅하거나 기하구조를 사전-왜곡한 후, 우리는 우리의 카메라의 의사범위 동질 클립 공간(pseudoscopic homogeneous clip space) 내로의 의사범위) 프로젝션 H Z P P을 수행한다. 의사범위 변환은 다음:
Figure 112009037159558-pct00001
로서 표현될 수 있다.
꺽쇠들 내의 부호들은 이미지의 플립핑(filpping) 또는 플롭핑(flopping)을 나타내는 것으로 이해될 수 있다. 일 실시예에서, 이미지는 프로젝터들의 프로젝션 모드를 보상하기 위하여 플립핑된다.
애플리케이션-공간에서의 동질 포인트(P=<P x , P y , P z , 1>)는 표준화된 디바이스 좌표들 내로 맵핑되기 전에, 다음:
Figure 112009037159558-pct00002
로서 표현될 수 있다.
여기서, D(x,y,z;E)는 후술되는 바와 같이, 프로젝터-공간에서, 포인트의 좌표들, 및 눈의 위치들에 기초한 함수로서의 오퍼레이션 및 사전-왜곡을 나타낸다.
도 3 및 도 4는 소정의 프로젝터에 의해 디스플레이되기 전에 이미지에 오퍼레이팅할 시에 수행될 수 있는 계산들을 도시한다. 프로젝터(13)는 스크린(14)으로부터 짧은 거리 뒤에 위치한 포인트(p)에 기여하도록 광선을 프로젝트하도록 구성될 수 있다. 3D 이미지의 포인트(p)를 보는 관찰자는 포인트(16)에서 스크린(14)을 통과하는 광선(15)을 본다.
포인트(p)를 구성하도록 광선(17)을 프로젝트하고 있는 프로젝터(13)는 포인트(p)에 직접적으로가 아니라, 포인트(p)가 관측자에게 나타나는 스크린(14)의 부분에(즉, 포인트(p')를 통해) 광선(17)을 지향시킬 수 있다. 광선(17)은 포인트(p)에 대한 사전-왜곡의 양을 제공하여, 프로젝터 관점 및 관찰자 관점 사이의 차이를 보상하기 위하여 오퍼레이팅될 수 있다. 3D 이미지를 구성하는 모든 포인트들, 또는 꼭지점들은 유사하게 오퍼레이팅될 수 있다. 하지만, 3D 이미지를 구성하는 것들 이외에, 스크린(14) 상에 있는 모든 나머지 포인트들이 변경 또는 유사하게 오퍼레이팅되지 않을 수 있다는 점이 이해되어야 한다.
프로젝터-공간에서 포인트(p)를 사전-왜곡하기 위하여, YZ 평면에서 프로젝터 원점으로부터 눈 원점까지의 거리(d)를 결정하고 스크린(z p)과의 프로젝터 광선 교차점의 Z-좌표의 위치를 파악하는 것이 가능하다.
소정의 깊이(z)에서의 프로젝터-공간의 포인트(p)의 높이(y e )의 눈의 뷰가 스크린에서의 공통 포인트를 통해 프로젝트되는 타겟 높이(target height)(y p)로 맵핑된다. 따라서, 스크린의 HPO 특성으로 인하여, 프로젝트된 포인트(p')는 뷰어에게 정확한 위치에 나타난다.
도 4를 더 참조하면, 소정의 프로젝터 광선에 대하여, 눈의 높이(E y) 및 X-축 회전(E θ)에 기초하여, 유효 높이(Py), 및 프로젝터 원점의 방향이 계산될 수 있다는 것이 인식될 수 있다.
따라서, 포인트의 사전-왜곡된 높이(y p)가 계산될 수 있다:
Figure 112009037159558-pct00003
도 5는 곡선형 스크린을 포함하는 3차원 프로젝션 디스플레이의 실시예를 도시한다. 프로젝션 좌표들은 곡선형 스크린이 사용될 때 왜곡을 수정하기 위하여 오퍼레이팅될 수 있다. 일 실시예에서, zp의 값은 스크린 및 특정 광선(식 x=mz에 의해 규정된)의 교차점으로부터 발견될 수 있다.
상술된 바와 같이, 뷰잉 볼륨의 상이한 영역들에 독립적인 이미지 정보를 제공하기 위하여 일반적인 변환 매트릭스(T)가 사용될 수 있다. 독립적인 이미지 정보는 예를 들어, 뷰잉 영역(viewing region)의 하나의 절반으로부터 볼 수 있는 하나의 이미지, 및 뷰잉 영역의 다른 절반으로부터 볼 수 있는 제 2 이미지를 포함할 수 있다. 대안적으로, 독립적인 이미지 정보는 제 1 이미지가 제 1 위치의 뷰어에게 프로젝트되고 제 2 이미지가 제 2 위치의 뷰어에게 프로젝트되도록 배열될 수 있다. 뷰어 위치들은 머리 추적(head tracking) 수단을 사용하고 추적된 위치들에 대응하는 매트릭스(T)의 값에 적절한 변화들을 행함으로써 추적될 수 있고, 각각의 뷰어는 자신들이 뷰잉 영역 내에서 이동할 때 가능한 경우에 자신들의 선택된 이미지의 뷰를 유지할 것이다.
본원에 설명된 다양한 실시예들의 프로젝터들 및 스크린은 극단적인 위치 정확도에 대한 근심들이 없이 위치될 수 있다. 소프트웨어 캘리브레이션 단계가 수행되어, 도 2의 위치들(10 및 10') 사이의 차이에서 볼 수 있는 바와 같은 프로젝터 위치 및 방향에서의 편차들이 보상될 수 있게 된다. 렌더링 프러스텀 원점이 ZX 평면에서의 프로젝터의 프러스텀과 동일 평면일 수 있다는 점에 다시 주의하라. 캘리브레이션은 일 실시예에서 다음에 의하여 행해진다:
1. 기준선들의 그리드(grid)를 인쇄하였던 투명한 시트(sheet)를 스크린 위에 배치한다;
2. 제 1 프로젝터에 대하여, 사전-프로그래밍된 그리드 패턴을 디스플레이하도록 프로젝터를 제어하는 컴퓨터에 대해 배열한다;
3. 디스플레이된 그리드가 인쇄된 그리드와 가깝게 정렬되도록 x 및 y 축들에서 프로젝션 프러스텀의 곡률 및 범위와 같은 디스플레이 매개변수를 조정한다;
4. 캘리브레이션 파일에서 프로젝터에 대해 행해진 조정들의 범위를 저장한다; 그리고
5. 시스템에서 프로젝터들 각각에 대하여 단계들 2 내지 4를 반복한다.
이와 같이 생성된 캘리브레이션 파일은 이전에 식별된 위치 및 방향 에러들을 보상하기 위하여 사전-왜곡된 이미지에 변환들을 적용하도록 사전-왜곡 렌더링 단계 이전 및 이후 둘 모두에서 사용될 수 있는 캘리브레이션 데이터를 포함한다.
프로젝터들 사이의 상이한 컬러 및 강도 표현을 수정하기 위하여 부가적인 캘리브레이션 단계들이 수행될 수 있다. 프로젝터 이미지들에서 컬러 및 강도 불균일성은 각각의 픽셀에 RGB 가중치들을 적용함으로써 동적 범위의 댓가로 수정될 수 있다.
다른 실시예들은 실-시간 이동 디스플레이들을 여전히 생성할 수 있으면서, 현대의 그래픽 카드들의 다른 기능들을 사용할 수 있다. 예를 들어, 상술된 기하학적 사전-왜곡은 비-선형 광학성(optic)에 대한 전체 처리를 포함하도록 강화될 수 있다. 현대의 그래픽 카드들은 매우 복잡하고 불완전한 광학성에 대한 오프-라인 수정(off-line correction)들을 계산하도록 하는, 꼭지점 처리 단에서 텍스처 맵(texture map)을 사용할 수 있다. 이와 같은 광학성의 예들은 곡선 미러들 또는 방사형 렌즈 왜곡들을 포함한다.
다양한 실시예들은 많은 상이한 영역들에서 용도를 갖는다. 이것들은 MRI/NMR, 스테레오리소그래피(stereolithography), PET 스캔들, CAT 스캔들 등과 같은 볼륨 데이터, 및 CAD/CAM, 3D 게임들, 애니메이션들 등으로부터의 3D 컴퓨터 기하구조를 포함하지만, 이에 국한되지 않는다. 복수의 2D 데이터 소스들은 또한 자신들을 3D 볼륨에서의 임의의 깊이들에서 평면들로 맵핑함으로써 디스플레이될 수 있다.
다양한 실시예들의 부가적인 애플리케이션들은 라이브 재생(live replay)으로 실제 "오토스테레오 3D 텔레비전"을 허용하기 위하여, 컴퓨터 생성된 이미지를 복수의 비디오 카메라들로부터의 이미지들로 교체하는 것을 포함한다. 이미지를 구성하기 위하여 상이한 위치들에서 복수의 카메라들을 사용하거나 시간 내에 상이한 위치들로 이동된 하나의 카메라를 사용함으로써, 장면의 복수의 뷰들이 수집될 수 있다. 이러한 개별적인 뷰들은 깊이 정보를 추출하는데 사용될 수 있다. 이 3D 비디오 피드(video feed)를 재생하기 위하여, 데이터는 상술된 정확한 사전-왜곡과 함께 의사범위적으로 재프로젝트될 수 있다. 레이저 범위-탐색 및 다른 3D 카메라 기술들과 같은 깊이 정보 수집의 다른 방법들이 복수의 비디오 이미지들을 보완하는데 사용될 수 있다.
비교적으로 저가의 프로그래밍 가능한 그래픽 하드웨어의 출현으로, 이미지의 사전-왜곡은 각각의 컴퓨터의 그래픽 카드 내의 그래픽 처리 장치(graphics processing unit:GPU)의 꼭지점 처리 단계 내에 성공적으로 구현되었다. 각각의 꼭지점을 사전-왜곡함으로써, 프래그먼트(fragment)들의 후속 보간이 사전-왜곡의 타겟량에 가까워진다. 충분한 수의 꼭지점들 -매우 균일하게 이격됨- 이 결과적인 이미지가 정확하게 렌더링되는 것을 보장하기 위하여 기하구조 전체에 걸쳐 제공될 수 있다. 각각의 꼭지점의 사전-왜곡을 GPU 상으로 오프로딩(offloading)함으로써, 실-시간 프레임 레이트들이 매우 큰 3D 데이터세트들로 성취될 수 있다.
일부의 시스템들은 도 6a에 도시된 바와 같이, 벤딩 현상(bending phenomenon)으로서 자신들을 나타내는 이미지 아티팩트(artifact)들을 나타낸다. 이것은 뷰 볼륨의 전방으로부터 후방으로 스트레칭(stretching)되거나 스크린의 어느 한 측에서 뷰 볼륨의 상당한 부분을 점유하는 요소들을 갖는 이미지들에서 생성할 수 있다. 이것은 주로 이미지 렌더링에서 원근 프로잭션(perspective projection)이 사용되는 경우에 생성한다.
특정 실시예는 하나 이상의 소실 포인트(vanishing point)들을 갖는 원근 프로잭션을 포함한다. 상기 프로젝션을 소실 포인트들을 갖지 않는(또는 그렇지 않으면 모든 소실 포인트들을 무한에 갖는 것으로 간주될 수 있는) 직교 프로젝션(orthogonal projection)으로 변화시킴으로써, 벤딩 현상이 감소될 수 있다. 그러나, 이것은 그 자체로 물체들의 부자연스러운 외관을 초래할 수 있다.
동일한 물체의 상이한 부분들의 프로젝션은 스크린으로부터의 물체의 각 부분의 어페어런트 거리(apparent distance)에 따라 적합화될 수 있다. 예를 들어, 스크린에 가까운 디스플레이되는 물체의 부분들은 원근 프로잭션으로 디스플레이될 수 있는 반면, 스크린으로부터 최대 거리에 있는 부분들은 직교 프로젝션을 사용하여 디스플레이될 수 있고, 중간 부분들은 원근 및 직교 프로젝션들 둘 모두의 어떤 조합을 사용하여 디스플레이된다. 프로젝션에서의 이 변화는 어페어런트 물체 거리가 증가함에 따라 점차적 방식으로 발생할 수 있어서, 더 만족스러운 이미지를 생성한다. 도 6b는 감소된 벤딩으로, 오퍼레이팅된 이미지를 도시한다.
현재의 프로젝트는, 뷰어 지향 렌더링(viewer oriented rendering)에 반대하여, 다양한 실시예들이 프로젝터의 시점(point of view)으로부터의 렌더링에 접근 하기 때문에 프로젝터 공간 이미지 생성(projector space image generation:PSIG)이라고 칭해졌다. 이미지 정보는 3D 물체를 나타내는 형태로 수신된다. 이미지 정보는 하나 이상의 프로젝터들과 관련된 프로젝터 바이어스를 보상하기 위하여 오퍼레이팅된다. 프로젝터 바이어스는 프로젝터 관점(projector perspective)을 뷰잉 영역 관점(viewing region perspective)으로 변환함으로써 보상된다. 오퍼레이팅된 이미지 정보에 대응하는 광선들이 하나 이상의 프로젝터들 각각으로부터 스크린을 통하여 뷰잉 영역으로 프로젝트된다.
실제로, PSIG 접근법은 광선 트레이싱에서 뷰어의 눈 또는 카메라인 가상 이미지 생성 시점 또는 가상 카메라를 프로젝터 자체와 같은 장소에 배치되는 프로젝터로부터 이미지 렌더링을 수행한다. 물론, 이것은 결과적인 이미지의 실제 시점이 프로젝터와 같은 장소에 배치된다는 것을 의미하지 않는다 - 용어 "가상 이미지 생성 시점"은 이미지 계산 또는 렌더링을 위하여 취해진 효율적인 시점을 지칭할 것이다. 이것은 광선 트레이싱 애플리케이션들에서 통상적으로 행해지는 바와 같이, 결과적인 이미지의 뷰어의 실제적인 시점과 대조된다. 가상 카메라들의 실제 위치들은 프로젝터 위치들과 정확하게 같은 장소에 배치되거나, 실제 프로젝터 위치들에 비교적으로 가까운 위치들일 수 있고, 이 경우에, 위치 차이를 고려하기 위하여 교정 인자(correction factor)가 사용될 수 있다. 렌더링 이후 정보 전달 오퍼레이션을 (거의 제로로) 감소시켜서, 카메라 대 프로젝터 맵핑 단계가 간소화된다.
따라서, 프로젝트될 이미지들을 렌더링하기 위한 고품질의, 그러나 처리력에 대한 훨씬 감소된 요건을 갖는 오토스테레오스코픽 이미지의 생성이 본원에서 설명 된다. 프로젝터 측으로부터 스크린으로, 그리고 이미지 관찰자에게 프로젝트될 정확한 광선들이 디스플레이될 기하학적으로 정확한 이미지를 생성하기 위하여 계산될 수 있다. 이와 같은 광선 트레이스 방법이 단일 프로젝터로부터의 이미지 프레임의 렌더링이 단일 경로에서 수행되도록 한다는 것이 발견되었다. 이것은 필요로 되는 수학적 오퍼레이션들의 수에서의 자리수 증가(orders of magnitude increase)를 발생시킬 수 있는, 스크린의 뷰어 측으로부터의 렌더링과 대조된다.
본원에 개시된 다양한 실시예들은 수평 패럴랙스 전용(Horizontal Parallax Only: HPO) 오토스테레오 프로젝션 시스템 상에 구현되는 것으로 설명된다. 하지만, 다양한 실시예들이 프로젝션 시스템 및 렌더링 소프트웨어의 구성에 대한 적절한 변화들을 행함으로써, 수직 패럴랙스 전용(vertical parallax only) 시스템, 또는 필요로 되면 풀 패럴랙스 시스템(full parallax system)에 적용될 수 있다.
다양한 실시예들에 대해 제공된 스크린은 이것의 확산 각도 면에서 비대칭인 것에 의하여 HPO 용도에 적합화될 수 있다. 프로젝터로부터 스크린에 충돌하는 광은 큰 뷰잉 각도를 제공하기 위하여 수직면에서 넓게, 대략 60°로, 그러나 수평면에서 비교적으로 매우 좁게 스캐터링(scattering)된다. 전형적으로, 수평적 스캐터링은 각도가 소정의 시스템 설계 매개변수들에 적절하도록 적합화될 수 있을지라도, 대략 1.5°, 2° 또는 3°일 수 있다. 이 확산 특성은 상기 시스템이 프로젝터들에 의해 방출된 광의 전파 방향을 매우 정확하게 제어할 수 있고, 이 방식으로 상기 시스템이 3D 효과를 생성하기 위하여 큰 볼륨으로 뷰어의 눈들 각각에 상이한 이미지들을 제공할 수 있다는 것을 의미한다. 스크린의 분산 각도는 사용된 프로젝 터들의 수, 선택된 최적의 뷰잉 거리, 및 프로젝터들 사이의 공간과 같은 다른 매개변수들에 따라 선택될 수 있다. 더 큰 수의 프로젝터들, 또는 서로 더 가깝게 이격된 프로젝터들은 전형적으로 더 작은 분산 각도를 갖는 스크린을 사용할 것이다. 이것은 더 많은 프로젝터들 또는 더 작은 뷰잉 볼륨 중 하나의 댓가로 더 양호한 품질 이미지를 생성시킬 것이다. 스크린은 투과형 또는 반사형일 수 있다. 다양한 실시예들이 투과형(transmissive) 스크린을 사용하는 것에 관하여 본원에서 설명되지만, 반사형(reflective) 스크린이 또한 사용될 수 있다.
수평-패럴랙스-전용(HPO) 특성들을 갖는 스크린 재료를 사용할 때, 특정 왜곡들은 두드러질 수 있다. 이러한 왜곡들은 모든 HPO 시스템들에 통상적이며, 정확한 수직 관점이 결여된 이미지에 관련된다. 이와 같은 효과들은 물체의 단축(foreshortening), 및 눈의 수직 모션에 의한 물체들의 명백한 트랙킹(tracking)을 포함한다.
부가적인 실시예에서, 스크린은 적어도 하나의 축에서 좁은 분산 각도를 갖는 재료를 포함한다. 오토스테레오스코픽 이미지가 스크린 상에 디스플레이된다. 하나 이상의 프로젝터들이 상이한 각도로부터 스크린을 조사하도록 배열될 수 있다.
뷰어 공간 이미지 생성 시스템들에 비하여, 처리력에서의 감소로 인하여, 비교적으로 저렴한 기성 컴퓨터 시스템들을 여전히 사용하면서 복잡한 실-시간 컴퓨터 애니메이션들의 디스플레이가 가능하다. 생방송 비디오 피드들의 가능한 포함은 또한 3D 오토스테레오 텔레비전 시스템을 생성하는데 적절한 카메라 시스템에 대한 용도를 개방시킨다.
하나 이상의 프로젝터들에 의해 수신된 이미지 정보는 디스플레이될 물체의 형상에 관한 정보를 포함할 수 있고, 디스플레이될 수 있는 컬러, 텍스처(texture), 밝기 레벨 또는 임의의 다른 특징에 관한 정보를 더 포함할 수 있다.
이미지 정보는 3D 물체를 나타내는 형태로 수신될 수 있다. 이미지 정보는 하나 이상의 프로젝터들과 관련된 프로세서 또는 프로세서들로 분배된다. 일 실시예에서, 각각의 프로젝터는 상이한 프로세서와 관련되며, 각각의 프로세서는 이미지 정보의 일부를 처리 또는 렌더링하도록 구성된다. 하나 이상의 프로젝터들 각각은 프로젝션 프러스텀 내의 이미지를 스크린으로 프로젝트하도록 배열된다. 각각의 프로젝터의 프러스텀 내에서의 프로젝트된 이미지의 상이한 부분들은 전체 이미지의 미리결정된 뷰를 나타내도록 렌더링된다. 하나 이상의 프로젝터들 각각으로부터의 이미지들은 결합되어 뷰 볼륨에서 오토스테레오 이미지를 생성한다. 일 실시예에서, 소정의 프로젝터에 대해 수행되는 렌더링은 이미지 프로젝터와 같은 장소에 배치되는 가상 이미지 생성 카메라를 사용한다.
본 명세서의 목적들을 위하여, 하나 이상의 프로젝터들이 광원, 특정 종류의 공간적인 광 변조기(spatial light modulator:SLM), 및 렌즈를 갖춘 종래 통상적으로 가용한 프로젝터 시스템을 포함할 수 있다는 점에 주의하라. 대안적으로, 하나 이상의 프로젝터는 이웃하는 광학적 개구와 공유된 SLM을 갖는 개별적인 광학적 개구를 포함할 수 있다. 광원 및 SLM은 일치할 수 있다.
본 명세서에서 사용된 용어들 중 일부의 용어집
ㆍ 애플리케이션-공간. 우리의 디스플레이 내로 맵핑될 외부 애플리케이션의 눈-공간.
ㆍ 오토스테레오. 특수 안경을 필요로 하지 않는 양안 부등(binocular disparity)(및 잠재적으로 모션 패럴랙스).
ㆍ 카메라-공간. 프로젝터-공간을 참조.
ㆍ 눈-공간. 월드-공간에서의 뷰어의 좌표, 시스템.
ㆍ 풀 패럴랙스(FP). 수평 및 수직 차원들 모두에서의 패럴랙스를 나타냄.
ㆍ 프러스텀(복수, 프러스텀들). 프로젝션 볼륨; 전형적으로 절두형 정사각형-기반(4각형) 피라미드와 유사함.
ㆍ 동질 클립 공간(HSP). 큐브(cube) 내로의 원근 프로잭션 이후의 좌표, 시스템.
ㆍ 동질 좌표들. 4차원에서의 벡터들의 표현, 여기서 제 4 컴포넌트가 w 좌표가 된다.
ㆍ 수평 패럴랙스 전용(HPO). 수평면에서의 패럴랙스만을 나타냄.
ㆍ 물체-공간. 3D 물체들이 규정되는 로컬 좌표, 시스템.
ㆍ 프로젝터-공간. 렌더링 또는 '카메라' 좌표, 시스템.
ㆍ 시스템 기하구조. 컴포넌트들의 비교적인 위치들과 방향들, 프로젝션 프러스텀들 및 스크린 기하구조를 포함하는 시스템의 특성.
ㆍ 시스템-공간. 디스플레이 하드웨어가 규정되는 좌표, 시스템.
ㆍ 뷰(잉) 볼륨. 사용자가 디스플레이 시스템에 의해 생성된 이미지를 볼 수 있는 볼륨. (전형적으로, 특정 시계 및 적절한 깊이 범위에 의해 클립핑됨.)
ㆍ 가상 프로젝터들. 프로젝터 이미지로부터 시작되는 것으로 나타나는 부분적인 프러스텀을 갖는, (예를 들어) 측면 미러의 프로젝터의 반사.
ㆍ 월드-공간. 모든 3D 물체들 및 대응하는 물체-공간들이 규정되는 글로벌 좌표, 시스템.

Claims (30)

  1. 3차원(3D) 물체를 나타내는 형태로 이미지 정보를 수신하는 단계로서, 상기 이미지 정보는 하나 이상의 프로젝터와 관련된 하나의 프로세서 또는 프로세서들에 의해 수신되는, 상기 수신하는 단계;
    상기 3D 물체의 프로젝터 관점(projector perspective)을 뷰잉 영역(viewing region)과 관련된 뷰잉 영역 관점(viewing region perspective)으로 변환함으로써 상기 수신된 이미지 정보를 오퍼레이팅(operating)하는 단계;
    상기 하나 이상의 프로젝터와 같은 장소에 배치되는(co-located) 하나 이상의 가상 이미지 생성 시점으로부터 상기 3D 물체의 이미지를 렌더링(rendering)하는 단계;
    상기 뷰잉 영역에서 상기 렌더링된 이미지를 디스플레이하기 위해, 상기 하나 이상의 프로젝터 각각으로부터 스크린을 통하여 상기 오퍼레이팅된 이미지 정보에 대응하는 광을 프로젝트하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 수신된 이미지 정보를 오퍼레이팅하는 단계는,
    뷰어 공간의 좌표 시스템을 상기 하나 이상의 가상 이미지 생성 시점의 좌표 시스템으로 변환하는 단계;
    상기 렌더링된 이미지에서의 포인트가 상기 뷰어에게 보여지는, 상기 스크린의 부분을 결정하기 위해, 상기 하나 이상의 프로젝터로부터 뷰어까지의 거리를 결정하는 단계; 및
    상기 3D 물체의 프로젝터 관점과 상기 렌더링된 이미지의 뷰잉 영역 관점 사이의 차이를 보상하기 위해 상기 스크린의 상기 부분에 광을 지향시키는(directing) 단계를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 수신된 이미지 정보는 상기 하나 이상의 프로젝터와 관련된 프로젝터 바이어스를 보상하기 위해 오퍼레이팅되며, 상기 프로젝터 바이어스는 상기 3D 물체의 프로젝터 관점과 상기 렌더링된 이미지의 뷰잉 영역 관점 사이의 차이를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 수신된 이미지 정보는 상기 이미지를 렌더링하기 전에 오퍼레이팅되는, 방법.
  5. 제 2 항에 있어서,
    상기 거리는 상기 뷰어의 위치를 트랙킹(tracking)하는 것에 의해 결정되는, 방법.
  6. 제 1 항에 있어서,
    상기 이미지 정보가 상기 3D 물체의 상이한 부분들의 상기 스크린으로부터의 어페어런트 거리(apparent distance)에 따라 상이한 프로젝터들에 의해 프로젝트되는, 방법.
  7. 제 6 항에 있어서,
    상기 스크린에 비교적으로 가까운 상기 3D 물체의 부분들은 원근 프로젝터(perspective projector)를 사용하여 디스플레이되고, 상기 스크린에 비교적으로 먼 상기 3D 물체의 부분들은 직교 프로젝터(orthogonal projector)를 사용하여 디스플레이되는, 방법.
  8. 제 6 항에 있어서,
    상기 스크린으로부터 상기 상이한 부분들의 상기 어페어런트 거리에 따라 상기 상이한 부분들의 프로젝션 매개변수들을 가변시키는 단계를 더 포함하는, 방법.
  9. 스크린;
    뷰잉 영역에서 디스플레이를 위한 3차원(3D) 물체를 형성하는 광을 상기 스크린에 조사하도록 구성되는 복수의 프로젝터들; 및
    상기 3D 물체와 관련된 이미지 정보를 오퍼레이팅하기 위해 구성되는 하나 이상의 프로세서를 포함하며,
    상기 이미지 정보는 상기 3D 물체의 프로젝터 관점을 뷰잉 영역 관점으로 변환함으로써 오퍼레이팅되고,
    상기 하나 이상의 프로세서는 상기 복수의 프로젝터들과 같은 장소에 배치되는(co-located) 복수의 가상 이미지 생성 관점들로부터 3D 물체를 렌더링하도록 더 구성되는, 시스템.
  10. 제 9 항에 있어서,
    상기 3D 물체는, 뷰어의 위치에 기초하여, 상기 복수의 가상 이미지 생성 관점들로부터 상기 3D 물체가 보여지는 상기 스크린의 부분들까지 광선 트레이싱(ray-tracing)함으로써 렌더링되는, 시스템.
  11. 제 9 항에 있어서,
    상기 이미지 정보는 상기 3D 물체를 렌더링하기 전에 오퍼레이팅되는, 시스템.
  12. 제 9 항에 있어서,
    상기 뷰잉 영역의 뷰 볼륨(view volume) 크기를 증가시키기 위하여 상기 광을 상기 스크린 쪽으로 반사시키도록 구성되는 미러를 더 포함하는, 시스템.
  13. 제 12 항에 있어서,
    상기 하나 이상의 프로세서는 미러 경계의 어느 한 측 상에 정렬되는 2개의 렌더링된 이미지들을 생성시키도록 구성되는, 시스템.
  14. 제 9 항에 있어서,
    상기 스크린은 적어도 하나의 축에서 넓은 분산 각도를 가지도록 배열되는, 시스템.
  15. 제 9 항에 있어서,
    상기 스크린은 적어도 하나의 축에서 좁은 분산 각도를 가지도록 배열되는, 시스템.
  16. 제 9 항에 있어서,
    상기 스크린은 곡선형인, 시스템.
  17. 제 9 항에 있어서,
    상기 하나 이상의 프로세서는 상기 복수의 프로젝터들 각각과 관련된 프로젝터 바이어스를 보상하도록 구성되는, 시스템.
  18. 제 17 항에 있어서,
    상기 하나 이상의 프로세서에 의해 오퍼레이팅되는 상기 이미지 정보를 제공하도록 구성되는 하나 이상의 비디오 카메라를 더 포함하는, 시스템.
  19. 제 9 항에 있어서,
    상기 스크린은 수평 분산 각도를 포함하고,
    상기 복수의 프로젝터들 중 2 개의 프로젝터들 사이의 각도는 상기 수평 분산 각도 이하인, 시스템.
  20. 저장된 명령들을 가지는 컴퓨터 판독가능한 매체에 있어서:
    상기 명령들이 적어도 하나의 디바이스에 의해 실행될 때,
    3D 물체를 나타내는 형태로 디스플레이될 이미지 정보를 수신하고;
    프로젝터들의 어레이의 각각의 프로젝터에 상기 이미지 정보의 적어도 일부를 분배하고;
    각각의 프로젝터의 프러스텀 내에서 분배된 이미지를 프로젝트하기 위하여 상기 이미지 정보의 상이한 부분들을 렌더링하고;
    프로젝터 바이어스를 보상하기 위하여 상기 상이한 부분들을 렌더링하기 전에 상기 이미지 정보에 오퍼레이팅하고;
    각각의 프로젝터에 대응하는 상이한 각도로부터 스크린을 광으로 조사하고;
    상기 분배된 이미지들을 뷰 볼륨에서 오토스테레오(autostereo) 이미지의 사전결정된 뷰 내로 결합하도록 동작 가능하며,
    상기 분배된 이미지는 각각의 프로젝터와 같은 장소에 배치된(co-located) 가상 이미지 생성 카메라를 사용하여 렌더링되는, 컴퓨터 판독가능한 매체.
  21. 제 20 항에 있어서,
    상기 가상 이미지 생성 카메라는 가상 이미지 생성 시점에 대응하는, 컴퓨터 판독가능한 매체.
  22. 제 20 항에 있어서,
    상기 스크린은 각각의 프로젝터로부터의 광이 상기 스크린을 통과하도록 하여 상기 뷰 볼륨에서 오토스테레오 이미지를 형성하도록 구성되는, 컴퓨터 판독가능한 매체.
  23. 제 20 항에 있어서,
    상기 이미지 정보에 오퍼레이팅하는 것은 상기 프로젝터의 프러스텀으로부터 오프셋되고 프로젝터의 프러스텀과 동일 평면에 있는 가상 프러스텀(virtual frustum)을 생성하고, 상기 분배된 이미지는 상기 가상 프러스텀 내에서 시작되는 것처럼 보이는, 컴퓨터 판독가능한 매체.
  24. 광을 스캐터링(scattering)하는 수단;
    상기 광 스캐터링 수단 상에 광을 프로젝트하는 수단으로서, 상기 광은 뷰잉 영역에서 디스플레이를 위한 3차원(3D) 물체를 형성하는, 상기 광 프로젝트 수단;
    상기 광을 프로젝트하는 수단과 함께 배치되는(co-located) 복수의 가상 이미지 생성 시점들로부터 상기 3D 물체를 렌더링하는 수단;
    상기 3D 물체와 관련된 이미지 정보를 오퍼레이팅하는 수단으로서, 상기 이미지 정보는 상기 3D 물체의 디스플레이 관점을 뷰잉 영역 관점으로 변환함으로써 오퍼레이팅되는, 상기 이미지 정보를 오퍼레이팅하는 수단을 포함하는, 시스템.
  25. 제 24 항에 있어서,
    상기 광 프로젝트 수단과 동일한 상기 광 스캐터링 수단의 측면 상에 위치되는 하나 이상의 가상 카메라를 더 포함하고, 상기 하나 이상의 가상 카메라는 상기 이미지 정보를 오퍼레이팅하도록 구성되는, 시스템.
  26. 제 24 항에 있어서,
    상기 이미지 정보는 상기 광을 프로젝트하는 수단과 관련된 왜곡을 보상하기 위해 캘리브레이팅(calibrating)되며,
    상기 왜곡은 상기 광을 프로젝트하는 수단의 위치, 방향 또는 광학적 변화 중 하나 이상을 포함하는, 시스템.
  27. 제 24 항에 있어서,
    상기 뷰잉 영역의 뷰 볼륨 크기를 증가시키기 위하여 상기 광 스캐터링 수단 쪽으로 상기 광을 반사시키는 수단을 더 포함하는, 시스템.
  28. 제 27 항에 있어서,
    상기 이미지 정보를 오퍼레이팅하는 수단은 상기 광을 반사시키는 수단의 경계의 어느 한 측 상에 정렬되는 2개의 렌더링된 이미지들을 생성시키는 수단을 포함하는, 시스템.
  29. 제 24 항에 있어서,
    상기 광을 프로젝트하는 수단은 개별적인 프로젝터들을 포함하고, 상기 이미지 정보를 오퍼레이팅하는 수단은 상기 개별적인 프로젝터들 각각과 관련된 왜곡을 보상하도록 구성되는 개별적인 프로세서들을 포함하는, 시스템.
  30. 제 24 항에 있어서,
    상기 광을 프로젝트하는 수단은 프로젝터들의 어레이를 포함하고,
    상기 시스템은 상기 프로젝터들의 어레이와 관련된 각각의 프로젝터에 상기 이미지 정보의 적어도 일부를 분배하는 수단을 포함하며,
    상기 렌더링하는 수단은 각각의 프로젝터의 프러스텀 내에서 분배된 이미지를 프로젝트하기 위하여 상기 이미지 정보의 상이한 부분들을 렌더링하는 수단을 포함하는, 시스템.
KR1020097012767A 2006-11-29 2007-11-29 3차원 프로젝션 디스플레이 KR101094118B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US86143006P 2006-11-29 2006-11-29
US60/861,430 2006-11-29
PCT/US2007/085964 WO2008067482A2 (en) 2006-11-29 2007-11-29 Three dimensional projection display

Publications (2)

Publication Number Publication Date
KR20090094824A KR20090094824A (ko) 2009-09-08
KR101094118B1 true KR101094118B1 (ko) 2011-12-15

Family

ID=39468724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097012767A KR101094118B1 (ko) 2006-11-29 2007-11-29 3차원 프로젝션 디스플레이

Country Status (6)

Country Link
US (1) US20090009593A1 (ko)
EP (1) EP2087742A2 (ko)
JP (1) JP5340952B2 (ko)
KR (1) KR101094118B1 (ko)
CN (1) CN101558655A (ko)
WO (1) WO2008067482A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
CN101496387B (zh) * 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的***和方法
CN103778635B (zh) * 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
FR2913552B1 (fr) * 2007-03-09 2009-05-22 Renault Sas Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8797377B2 (en) * 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8319819B2 (en) * 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) * 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) * 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) * 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US20100283829A1 (en) * 2009-05-11 2010-11-11 Cisco Technology, Inc. System and method for translating communications between participants in a conferencing environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8390677B1 (en) * 2009-07-06 2013-03-05 Hewlett-Packard Development Company, L.P. Camera-based calibration of projectors in autostereoscopic displays
US9082297B2 (en) * 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
JP2013509804A (ja) 2009-10-30 2013-03-14 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 立体表示システム
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US9225916B2 (en) * 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8842113B1 (en) * 2010-05-26 2014-09-23 Google Inc. Real-time view synchronization across multiple networked devices
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
WO2012079249A1 (zh) * 2010-12-17 2012-06-21 海尔集团公司 投影显示***
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
FR2983330B1 (fr) * 2011-11-24 2014-06-20 Thales Sa Procede et dispositif de representation d'environnements synthetiques
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
GB2498184A (en) * 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9308439B2 (en) * 2012-04-10 2016-04-12 Bally Gaming, Inc. Controlling three-dimensional presentation of wagering game content
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
JP2014006674A (ja) * 2012-06-22 2014-01-16 Canon Inc 画像処理装置及びその制御方法、プログラム
US9311771B2 (en) * 2012-08-28 2016-04-12 Bally Gaming, Inc. Presenting autostereoscopic gaming content according to viewer position
US8890812B2 (en) 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US8988430B2 (en) 2012-12-19 2015-03-24 Honeywell International Inc. Single pass hogel rendering
KR102049456B1 (ko) * 2013-04-05 2019-11-27 삼성전자주식회사 광 필드 영상을 생성하는 방법 및 장치
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
CN103458192B (zh) * 2013-09-04 2017-03-29 上海华凯展览展示工程有限公司 一种俯视剧场中透视变换的方法和***
KR101586249B1 (ko) * 2013-12-24 2016-01-18 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
CN103731622B (zh) * 2013-12-27 2017-02-15 合肥市艾塔器网络科技有限公司 一种单台投影仪三维表面投影呈现***
US9182606B2 (en) * 2014-01-29 2015-11-10 Emine Goulanian Rear-projection autostereoscopic 3D display system
CN103888757A (zh) * 2014-03-24 2014-06-25 中国人民解放军国防科学技术大学 众视点裸视三维数字立体投影显示***
US10095987B2 (en) 2014-04-25 2018-10-09 Ebay Inc. Integrating event-planning services into a payment system
JP2016001211A (ja) * 2014-06-11 2016-01-07 セイコーエプソン株式会社 表示装置
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
JOP20190237A1 (ar) * 2016-04-08 2017-06-16 Maxx Media Group Llc نظام، وطريقة وبرنامج لإنتاج صور ثلاثية الأبعاد افتراضية يتم عرضها لتسقط أمام أو فوق شاشة إلكترونية
CN105954960A (zh) * 2016-04-29 2016-09-21 广东美的制冷设备有限公司 球面投射显示方法、球面投射显示***和家用电器
US10180614B2 (en) 2016-07-15 2019-01-15 Zspace, Inc. Pi-cell polarization switch for a three dimensional display system
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
CN106412556B (zh) * 2016-10-21 2018-07-17 京东方科技集团股份有限公司 一种图像生成方法及装置
JP7086330B2 (ja) * 2017-10-06 2022-06-20 アドバンスド スキャナーズ,インコーポレイテッド 物体の三次元モデルを形成するための1つ又は複数の光度エッジの生成
US10593100B1 (en) * 2018-09-07 2020-03-17 Verizon Patent And Licensing Inc. Methods and systems for representing a scene by combining perspective and orthographic projections
CN115761197A (zh) * 2022-11-22 2023-03-07 北京字跳网络技术有限公司 图像渲染方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005112474A2 (en) * 2004-05-12 2005-11-24 Setred Ab 3d display method and apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL79822A (en) * 1985-12-19 1990-03-19 Gen Electric Method of comprehensive distortion correction for a computer image generation system
JP3323575B2 (ja) * 1993-03-16 2002-09-09 日本放送協会 眼鏡なし3次元画像表示装置
JP3157384B2 (ja) * 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
GB9713658D0 (en) * 1997-06-28 1997-09-03 Travis Adrian R L View-sequential holographic display
JPH1138953A (ja) * 1997-07-16 1999-02-12 F F C:Kk 計算機システムの複数画面表示制御方法
JP2001339742A (ja) * 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP2003035884A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd 画像表示装置
US7068274B2 (en) * 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
US6729733B1 (en) * 2003-03-21 2004-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for determining a largest inscribed rectangular image within a union of projected quadrilateral images
JP2005165236A (ja) * 2003-12-01 2005-06-23 Hidenori Kakeya 立体画像を表示する方法および装置
US7573491B2 (en) * 2004-04-02 2009-08-11 David Hartkop Method for formatting images for angle-specific viewing in a scanning aperture display device
JP2006050383A (ja) * 2004-08-06 2006-02-16 Toshiba Corp 立体画像表示装置およびその表示制御方法
JP4622570B2 (ja) * 2004-08-26 2011-02-02 パナソニック電工株式会社 仮想現実感生成装置およびそれに用いられるプログラム
JP4642443B2 (ja) * 2004-11-26 2011-03-02 オリンパスイメージング株式会社 マルチビジョンプロジェクターシステム
US7425070B2 (en) * 2005-05-13 2008-09-16 Microsoft Corporation Three-dimensional (3D) image projection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005112474A2 (en) * 2004-05-12 2005-11-24 Setred Ab 3d display method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치

Also Published As

Publication number Publication date
JP2010511360A (ja) 2010-04-08
EP2087742A2 (en) 2009-08-12
WO2008067482A3 (en) 2008-12-31
WO2008067482A8 (en) 2009-07-30
US20090009593A1 (en) 2009-01-08
JP5340952B2 (ja) 2013-11-13
KR20090094824A (ko) 2009-09-08
CN101558655A (zh) 2009-10-14
WO2008067482A2 (en) 2008-06-05

Similar Documents

Publication Publication Date Title
KR101094118B1 (ko) 3차원 프로젝션 디스플레이
US7973791B2 (en) Apparatus and method for generating CG image for 3-D display
Balogh The holovizio system
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
EP1143747B1 (en) Processing of images for autostereoscopic display
US6963431B2 (en) Rendering methods for full parallax autostereoscopic displays
Jones et al. Interpolating vertical parallax for an autostereoscopic three-dimensional projector array
JP2005252459A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
JPH10500498A (ja) 空間有効画像生成方法
WO2012140397A2 (en) Three-dimensional display system
Miyazaki et al. Floating three-dimensional display viewable from 360 degrees
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
GB2444301A (en) Autostereoscopic projection display
JP7394566B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Bimber et al. Interacting with augmented holograms
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
Harish et al. A view-dependent, polyhedral 3D display
CN115202174B (zh) 基于光场图像的全息体视图获取方法、***和应用
KR20150098252A (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
Li et al. 68‐2: View‐Dependent Light‐Field Display that Supports Accommodation Using a Commercially‐Available High Pixel Density LCD Panel
CN113597758B (zh) 用于校正柱状透镜失真的方法和装置
Lucas et al. Shooting and viewing geometries in 3DTV
Prévoteau et al. Real 3D video capturing for multiscopic rendering with controlled distortion
Xue et al. Tile-Based 3D Display Using A Reconfigurable Display Matrix

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee