KR102309397B1 - 크로스-렌더 멀티뷰 카메라, 시스템 및 방법 - Google Patents

크로스-렌더 멀티뷰 카메라, 시스템 및 방법 Download PDF

Info

Publication number
KR102309397B1
KR102309397B1 KR1020207018693A KR20207018693A KR102309397B1 KR 102309397 B1 KR102309397 B1 KR 102309397B1 KR 1020207018693 A KR1020207018693 A KR 1020207018693A KR 20207018693 A KR20207018693 A KR 20207018693A KR 102309397 B1 KR102309397 B1 KR 102309397B1
Authority
KR
South Korea
Prior art keywords
light
images
view
cross
image
Prior art date
Application number
KR1020207018693A
Other languages
English (en)
Other versions
KR20200083653A (ko
Inventor
데이비드 에이. 파탈
로저 다스
에드먼드 에이. 다오
Original Assignee
레이아 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레이아 인코포레이티드 filed Critical 레이아 인코포레이티드
Publication of KR20200083653A publication Critical patent/KR20200083653A/ko
Application granted granted Critical
Publication of KR102309397B1 publication Critical patent/KR102309397B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0036—2-D arrangement of prisms, protrusions, indentations or roughened surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

크로스-렌더 멀티뷰 카메라는 장면의 차이 맵으로부터 생성된 합성 이미지를 이용하여 장면의 멀티뷰 이미지를 제공한다. 크로스-렌더 멀티뷰 카메라는 제 1 축을 따라 복수의 카메라들을 포함하고, 장면의 복수의 이미지들을 캡처하도록 구성된다. 크로스-렌더 멀티뷰 카메라는 복수의 이미지들로부터 결정된 차이 맵으로부터 합성 이미지를 생성하도록 구성된 이미지 합성기를 더 포함하고, 합성 이미지는 제 1 축으로부터 변위된 제 2 축 상의 가상 카메라의 위치에 대응하는 시점으로부터의 장면의 뷰를 나타낸다. 크로스-렌더 멀티뷰 시스템은 멀티뷰 이미지를 디스플레이하도록 구성된 멀티뷰 디스플레이를 더 포함한다. 크로스-렌더 멀티뷰 이미징 방법은 장면의 복수의 이미지들을 캡처하는 단계 및 차이 맵을 이용하여 합성 이미지를 생성하는 단계를 포함한다.

Description

크로스-렌더 멀티뷰 카메라, 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 그 내용이 참조로서 본 명세서에 병합되는 2017년 12월 20일에 출원된 미국 가특허 출원 번호 62/608,551의 우선권 이익을 주장한다.
연방 후원 연구 또는 개발에 관한 진술
N/A
전자 디스플레이들은 매우 다양한 기기들 및 제품들의 사용자들에게 정보를 전달하기 위한 아주 보편적인 매체이다. 가장 일반적으로 이용되는 전자 디스플레이들은 음극선관(cathode ray tube; CRT), 플라즈마 디스플레이 패널(plasma display panel; PDP), 액정 디스플레이(liquid crystal display; LCD), 전계 발광(electroluminescent; EL) 디스플레이, 유기 발광 다이오드(organic light emitting diode; OLED) 및 능동 매트릭스(active matrix) OLED(AMOLED) 디스플레이, 전기 영동(electrophoretic; EP) 디스플레이 및 전자기계(electromechanical) 또는 전자유체(electrofluidic) 광 변조를 이용하는 다양한 디스플레이들(예를 들어, 디지털 미세거울(micromirror) 기기, 전기 습윤(electrowetting) 디스플레이 등)을 포함한다. 일반적으로, 전자 디스플레이들은 능동형 디스플레이들(즉, 광을 방출하는 디스플레이들) 또는 수동형 디스플레이들(즉, 다른 원천에 의하여 제공되는 광을 변조하는 디스플레이들)로 분류될 수 있다. 능동형 디스플레이들의 가장 명백한 예들로는 CRT, PDP 및 OLED/AMOLED가 있다. 방출광을 고려하면 일반적으로 수동형으로 분류되는 디스플레이들은 LCD 및 EP 디스플레이들이다. 수동형 디스플레이들은 본질적으로 낮은 전력 소모를 포함하는, 그러나 이에 제한되지 않는, 매력적인 성능 특성들을 종종 나타내지만, 광을 방출하는 능력이 부족한 많은 실제 응용들에서 다소 제한적으로 사용될 수 있다.
이미지 캡처 및 특히 3차원(three-dimensional; 3D) 이미지 캡처는 캡처된 이미지들(예를 들어, 일반적으로 2차원 이미지들)을 3D디스플레이 또는 멀티뷰 디스플레이 상에 디스플레이 하기 위하여 3D 이미지들로 변환하기 위하여 일반적으로 캡처된 이미지들의 실질적인 이미지 프로세싱을 수반한다. 이미지 프로세싱은 깊이 추정, 이미지 보간, 이미지 재구성, 또는 이미지들이 캡처되는 순간부터 이미지들이 디스플레이되는 순간까지의 상당한 시간 지연을 생성할 수 있는 다른 복잡한 프로세스들을 포함할 수 있지만, 이에 제한되지 않는다.
본 명세서에 설명된 원리들에 따른 예들 및 실시 예들의 다양한 특징들은 동일한 도면 부호가 동일한 구조적 요소를 나타내는 첨부된 도면과 관련하여 취해진 다음의 상세한 설명을 참조하여 보다 용이하게 이해될 수 있다.
도 1a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이의 사시도를 도시한다.
도 1b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이의 뷰 방향에 대응하는 특정 주 각도 방향을 갖는 광빔의 각도 성분들의 그래픽 표현을 도시한다.
도 2a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 카메라의 도면을 도시한다.
도 2b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 카메라의 사시도를 도시한다.
도 3a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 카메라와 관련된 이미지들의 그래픽 표현을 도시한다.
도 3b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 다른 예로서 크로스-렌더 멀티뷰 카메라와 관련된 이미지들의 그래픽 표현을 도시한다.
도 4는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 시스템(200)의 블록도를 도시한다.
도 5a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이의 단면도를 도시한다.
도 5b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이의 평면도를 도시한다.
도 5c는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이의 사시도를 도시한다.
도 6은 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 광각 백라이트를 포함하는 멀티뷰 디스플레이의 단면도를 도시한다.
도 7은 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 이미징 방법의 흐름도를 도시한다.
일부 예들 및 실시 예들은 상술한 도면들에 도시된 특징들에 부가되거나 그 대신에 포함되는 다른 특징들을 가질 수 있다. 이들 및 다른 특징들은 상술한 도면을 참조하여 이하에서 설명된다.
본 명세서에 설명된 원리들에 따른 실시 예들 및 예들은 멀티뷰 디스플레이에 대응하거나 멀티뷰 디스플레이와 함께 사용될 수 있는 멀티뷰(multiview) 또는 '홀로그램(holographic)' 이미징(imaging)을 제공한다. 특히, 본 명세서에 설명된 원리들의 다양한 실시 예들에 따르면, 장면(scene)의 멀티뷰 이미징은 제 1 축을 따라 배열된 복수의 카메라들에 의하여 제공될 수 있다. 복수의 카메라들은 장면의 복수의 이미지들을 캡처하도록 구성된다. 이후, 제 1 축으로부터 변위된(displaced) 제 2 축 상의 가상 카메라의 위치에 대응하는 시점(perspective)으로부터의 장면의 뷰(view)를 나타내는 합성 이미지(synthesized image)를 생성하기 위하여 이미지 합성(image synthesis)이 이용된다. 다양한 실시 예들에 따르면, 합성 이미지는 장면의 시차 또는 깊이 맵으로부터 이미지 합성에 의하여 생성된다. 다양한 실시 예들에 따르면, 이후 합성 이미지를 포함하는 멀티뷰 이미지가 제공되고 디스플레이될 수 있다. 멀티뷰 이미지는 복수의 이미지들의 이미지를 더 포함할 수 있다. 하나 이상의 합성 이미지들 및 복수의 이미지들 중 하나 이상의 이미지들이 함께 멀티뷰 이미지로서 멀티뷰 디스플레이 상에서 보여질 수 있다. 또한, 멀티뷰 디스플레이 상에서 멀티뷰 이미지를 보는 것은, 멀티뷰 디스플레이 상에서 볼 때 사용자로 하여금 물리적인 환경 내의 상이한 겉보기 깊이들에서 장면의 멀티뷰 이미지 내의 요소들을 인식하게끔 할 수 있으며, 여기에는 카메라들에 의하여 캡처된 복수의 이미지들 내에 존재하지 않는 장면의 시점 뷰들이 포함된다. 이와 같이, 일부 실시 예들에 따르면, 본 명세서에 설명된 원리들의 일 실시 예에 따른 크로스-렌더 멀티뷰 카메라(cross-render multiview camera)는, 멀티뷰 디스플레이 상에서 보았을 때, 시청자에게 복수의 카메라들만으로 가능할 수 있는 것에 비하여 '보다 완전한(more complete)' 3차원(3D) 시청 경험을 제공하는 멀티뷰 이미지를 생성할 수 있다.
본 명세서에서, '2차원 디스플레이' 또는 '2D 디스플레이'는 2D 디스플레이 상에서 디스플레이된 이미지가 보여지는 방향에 관계 없이 (즉, 2D 디스플레이의 정해진 시야각 또는 범위 내에서) 실질적으로 동일한 디스플레이된 이미지의 뷰를 제공하도록 구성된 디스플레이로서 정의된다. 스마트 폰들 및 컴퓨터 모니터들에서 찾아볼 수 있는 LCD는 2D 디스플레이들의 예들이다. 대조적으로, 본 명세서에서, '멀티뷰 디스플레이(multiview display)'는 상이한 뷰 방향들로 또는 상이한 뷰 방향들로부터 멀티뷰 이미지의 상이한 뷰들을 제공하도록 구성된 디스플레이 또는 디스플레이 시스템으로서 정의된다. 특히, 상이한 뷰들은 멀티뷰 이미지의 객체 또는 장면의 상이한 시점 뷰들(perspective views)을 나타낼 수 있다. 일부 예들에서, 멀티뷰 디스플레이는, 예를 들어 멀티뷰 이미지의 2개의 상이한 뷰들을 동시에 보는 것이 3차원(3D) 이미지를 보는 것이라는 인식을 제공하는 경우, 3차원(3D) 디스플레이로 언급될 수도 있다. 본 명세서에 설명된 멀티뷰 이미지들의 캡처 및 디스플레이에 적용 가능한 멀티뷰 디스플레이들 및 멀티뷰 시스템들의 용도들은, 이동식 전화기들(예를 들어, 스마트 폰들), 시계들, 태블릿 컴퓨터들, 이동식 컴퓨터들(예를 들어, 랩톱 컴퓨터들), 개인용 컴퓨터들 및 컴퓨터 모니터들, 차량 디스플레이 콘솔들, 카메라 디스플레이들 및 다양한 기타의 이동식뿐만 아니라 실질적으로 비-이동식 디스플레이 응용들 및 기기들을 포함하지만, 이에 제한되지 않는다.
도 1a는 본 명세서에 설명된 원리들에 일치하는 일 예에 따른 멀티뷰 디스플레이(10)의 사시도를 도시한다. 도시된 바와 같이, 멀티뷰 디스플레이(10)는 멀티뷰 이미지를 볼 수 있도록 보여지는 스크린(12)을 포함한다. 멀티뷰 디스플레이(10)는 스크린(12)에 대하여 상이한 뷰 방향들(16)로 멀티뷰 이미지의 상이한 뷰들(14)을 제공한다. 뷰 방향들(16)이 스크린(12)으로부터 여러 상이한 주 각도 방향들(principal angular directions)로 연장되는 화살표들로서 도시되었고, 상이한 뷰들(14)은 뷰 방향들(16)을 나타내는 화살표들의 말단에서 음영 표시된 다각형 박스들로서 도시되었으며, 제한이 아닌 예로서 단지 4개의 뷰들(14) 및 뷰 방향들(16)이 도시되었다. 도 1a에는 상이한 뷰들(14)이 스크린 위에 있는 것으로 도시되었지만, 멀티뷰 이미지가 멀티뷰 디스플레이(10) 상에 디스플레이될 때 뷰들(14)은 실제로 스크린(12) 상에 또는 스크린(120) 부근에 나타난다는 것을 유의한다. 뷰들(14)을 스크린(12) 위에 묘사한 것은 단지 도시의 단순함을 위한 것이고, 특정 뷰(14)에 대응하는 각각의 뷰 방향(16)으로부터 멀티뷰 디스플레이(10)를 바라보는 것을 나타내기 위함이다. 또한, 멀티뷰 디스플레이(10)의 뷰들(14) 및 그에 대응하는 뷰 방향들(16)은 일반적으로 멀티뷰 디스플레이(10)의 구현에 따라 좌우되는 특정 배열로 정렬되거나 배열된다. 예를 들어, 후술될 바와 같이, 뷰들(14) 및 대응하는 뷰 방향들(16)은 특정한 멀티뷰 디스플레이 구현에 의하여 좌우되는 직사각형 배열, 정사각형 배열, 원형 배열 및 육각형 배열 등을 가질 수 있다.
본 명세서의 정의에 의하면, 뷰 방향 또는 대등하게는 멀티뷰 디스플레이의 뷰 방향에 대응하는 방향을 갖는 광빔은 일반적으로 각도 성분들(angular components) {θ, φ}로 주어지는 주 각도 방향을 갖는다. 본 명세서에서 각도 성분(θ)은 광빔의 '고도 성분(elevation component)' 또는 '고도각(elevation angle)'으로 언급된다. 각도 성분(φ)은 광빔의 '방위 성분(azimuth component)' 또는 '방위각(azimuth angle)'으로 언급된다. 정의에 의하면, 고도각(θ)은 수직 평면(예를 들어, 멀티뷰 디스플레이의 스크린의 평면에 수직인)에서의 각도이고, 방위각(φ)은 수평 평면(예를 들어, 멀티뷰 디스플레이의 스크린의 평면에 평행인)에서의 각도이다.
도 1b는 본 명세서에 설명된 원리들의 일 예에 따른 멀티뷰 디스플레이의 뷰 방향에 대응하는 특정 주 각도 방향을 갖는 광빔(20)의 각도 성분들 {θ, φ}의 그래픽 표현을 도시한다. 또한, 본 명세서의 정의에 의하면, 광빔(20)은 특정 지점으로부터 방출되거나 발산된다. 즉, 정의에 의하면, 광빔(20)은 멀티뷰 디스플레이 내의 특정 원점(point of origin)과 관련된 중심 광선(central ray)을 갖는다. 또한, 도 1b는 광빔(또는 뷰 방향)의 원점(O)을 도시한다.
본 명세서에서, '멀티뷰 이미지(multiview image)' 및 '멀티뷰 디스플레이(multiview display)'라는 용어들에서 사용된 바와 같은 '멀티뷰(multiview)'는 복수의 뷰들의 뷰들 간의 각도 차이(angular disparity)를 포함하거나 상이한 시점들(perspectives)을 나타내는 복수의 뷰들로서 정의된다. 또한, 정의에 의하면 '멀티뷰'라는 용어는 3개 이상의 상이한 뷰들(즉, 최소 3개의 뷰들로서 일반적으로 4개 이상의 뷰들)을 명백히 포함한다. 따라서, 본 명세서에서 사용된 바와 같은 '멀티뷰'는, 예를 들어 장면을 나타내기 위하여 단지 2개의 상이한 뷰들만을 포함하는 스테레오스코픽(stereoscopic) 뷰들과는 명백히 구분된다. 그러나, 본 명세서의 정의에 의하면, 멀티뷰 이미지들 및 멀티뷰 디스플레이들은 3개 이상의 뷰들을 포함하지만, 뷰들 중 단지 2개만을 동시에 보게끔(예를 들어, 하나의 눈 당 하나의 뷰) 선택함으로써 멀티뷰 이미지들이 (예를 들어, 멀티뷰 디스플레이 상에서) 스테레오스코픽 쌍의 이미지들(stereoscopic pair of images)로 보일 수 있다는 것에 유의한다.
본 명세서에서, '멀티뷰 픽셀(multiview pixel)'은 멀티뷰 디스플레이의 복수의 상이한 뷰들의 각각의 뷰의 '뷰(view)' 픽셀들을 나타내는 한 세트 또는 그룹의 서브 픽셀들(sub-pixels)(광 밸브들과 같은)로서 정의된다. 특히, 멀티뷰 픽셀은 멀티뷰 이미지의 상이한 뷰들 각각의 뷰 픽셀에 대응하거나 그 뷰 픽셀을 나타내는 개별 서브 픽셀을 가질 수 있다. 또한, 본 명세서의 정의에 의하면, 멀티뷰 픽셀의 서브 픽셀들은, 서브 픽셀들 각각이 상이한 뷰들 중 대응하는 하나의 뷰의 정해진 뷰 방향과 관련된다는 점에서 소위 '지향성 픽셀들(directional pixels)'이다. 또한, 다양한 예들 및 실시 예들에 따르면, 멀티뷰 픽셀의 서브 픽셀들에 의하여 나타나는 상이한 뷰 픽셀들은 상이한 뷰들 각각에서 동등한 또는 적어도 실질적으로 유사한 위치들 또는 좌표들을 가질 수 있다. 예를 들어, 제 1 멀티뷰 픽셀은 멀티뷰 이미지의 상이한 뷰들 각각의 {x 1, y 1}에 위치하는 뷰 픽셀들에 대응하는 개별 서브 픽셀들을 가질 수 있고, 제 2 멀티뷰 픽셀은 상이한 뷰들 각각의 {x 2, y 2}에 위치하는 뷰 픽셀들에 대응하는 개별 서브 픽셀들을 가질 수 있다.
일부 실시 예들에서, 멀티뷰 픽셀 내의 서브 픽셀들의 개수는 멀티뷰 디스플레이의 상이한 뷰들의 개수와 동일할 수 있다. 예를 들어, 멀티뷰 픽셀은 8개, 16개, 32개 또는 64개의 상이한 뷰들을 갖는 멀티뷰 디스플레이와 각각 관련된 8개, 16개, 32개 또는 64개의 서브 픽셀들을 제공할 수 있다. 다른 예에서, 멀티뷰 디스플레이는 2x2 어레이의 뷰들(즉, 4개의 뷰들)을 제공할 수 있고, 멀티뷰 픽셀은 4개의 서브 픽셀들을 포함(즉, 각각의 뷰마다 하나)할 수 있다. 추가적으로, 각각의 상이한 서브 픽셀은, 예를 들어 상이한 뷰들에 대응하는 뷰 방향들 중 상이한 하나에 대응하는, 관련 방향(즉, 광빔의 주 각도 방향)을 가질 수 있다. 또한, 일부 실시 예들에 따르면, 멀티뷰 디스플레이의 멀티뷰 픽셀들의 개수는 멀티뷰 디스플레이의 뷰들 내의 '뷰' 픽셀들(즉, 선택된 뷰를 구성하는 픽셀들)의 개수와 실질적으로 동일할 수 있다. 예를 들어, 뷰가 640x480개의 뷰 픽셀들(즉, 640x480의 뷰 해상도)을 포함하는 경우, 멀티뷰 디스플레이는 307,200개의 멀티뷰 픽셀들을 가질 수 있다. 다른 예에서, 뷰들이 100x100개의 픽셀들을 포함하는 경우, 멀티뷰 디스플레이는 도합 10,000개(즉, 100x100=10,000)의 멀티뷰 픽셀들을 포함할 수 있다.
본 명세서에서, '도광체(light guide)'는 내부 전반사(total internal reflection)를 이용하여 그 내에서 광을 안내하는 구조물로서 정의된다. 특히, 도광체는 도광체의 동작 파장(operational wavelength)에서 실질적으로 투명한 코어(core)를 포함할 수 있다. '도광체'라는 용어는 일반적으로 도광체의 유전체 재료와 도광체를 둘러싸는 재료 또는 매질 사이의 경계에서 광을 안내하기 위하여 내부 전반사를 이용하는 유전체 광학 도파로(dielectric optical waveguide)를 지칭한다. 정의에 의하면, 내부 전반사를 위한 조건은 도광체의 굴절률이 도광체 재료의 표면에 인접한 주변 매질의 굴절률보다 커야 한다는 것이다. 일부 실시 예들에서, 도광체는 내부 전반사를 더 용이하게 하기 위하여 전술한 굴절률 차이에 부가하여 또는 그에 대신하여 코팅(coating)을 포함할 수 있다. 예를 들어, 코팅은 반사 코팅일 수 있다. 도광체는 판(plate) 또는 슬래브(slab) 가이드 및 스트립(strip) 가이드 중 하나 또는 모두를 포함하는, 그러나 이에 제한되지 않는, 다양한 도광체들 중 임의의 것일 수 있다.
또한, 본 명세서에서, '판 도광체(plate light guide)'에서와 같이 도광체에 적용되는 경우의 '판(plate)'이라는 용어는, 종종 '슬래브' 가이드로 지칭되는, 한 장씩의(piece-wise) 또는 구분적으로 평면인(differentially planar) 층 또는 시트로서 정의된다. 특히, 판 도광체는 도광체의 상단 표면 및 하단 표면(즉, 대향면들)에 의하여 경계를 이루는 2개의 실질적으로 직교하는 방향들로 광을 안내하도록 구성된 도광체로서 정의된다. 또한, 본 명세서의 정의에 의하면, 상단 및 하단 표면들은 서로 떨어져 있고 적어도 구별적인 의미에서 서로 실질적으로 평행할 수 있다. 즉, 판 도광체의 임의의 구별적으로 작은 영역 내에서, 상단 및 하단 표면들은 실질적으로 평행하거나 공면(co-planar) 상에 있다.
일부 실시 예들에서, 판 도광체는 실질적으로 편평할 수 있고(즉, 평면에 국한됨), 따라서 판 도광체는 평면형 도광체이다. 다른 실시 예들에서, 판 도광체는 1개 또는 2개의 직교하는 차원들로 만곡될 수 있다. 예를 들어, 판 도광체는 단일 차원으로 만곡되어 원통형 형상의 판 도광체를 형성할 수 있다. 그러나, 어떠한 곡률이든 광을 안내하기 위하여 판 도광체 내에서 내부 전반사가 유지되는 것을 보장하기에 충분히 큰 곡률 반경을 갖는다.
본 명세서에서, '회절 격자(diffraction grating)'는 회절 격자 상에 입사하는 광의 회절을 제공하기 위하여 배열된 복수의 특징부들(즉, 회절 특징부들)로서 정의된다. 일부 예들에서, 복수의 특징부들은 주기적 또는 준-주기적 방식으로 배열될 수 있다. 다른 예들에서, 회절 격자는 복수의 회절 격자들을 포함하는 혼합-주기(mixed-period) 회절 격자일 수 있고, 복수의 회절 격자들의 각각의 회절 격자는 특징부들의 상이한 주기적 배열을 가질 수 있다. 또한, 회절 격자는 1차원(one-dimensional; 1D) 어레이로 배열된 복수의 특징부들(예를 들어, 재료 표면 내의 복수의 홈들(grooves) 또는 융기들(ridges))을 포함할 수 있다. 대안적으로, 회절 격자는 특징부들의 2차원(two-dimensional; 2D) 어레이 또는 2차원으로 정의된 특징부들의 어레이를 포함할 수 있다. 예를 들어, 회절 격자는 재료 표면 상의 돌출들(bumps) 또는 재료 표면 내의 구멍들(holes)의 2D 어레이일 수 있다. 일부 예들에서, 회절 격자는 제 1 방향 또는 제 1 차원으로 실질적으로 주기적일 수 있고, 회절 격자를 가로지르는 또는 회절 격자를 따르는 다른 방향으로 실질적으로 비주기적(예를 들어, 일정, 무작위 등)일 수 있다.
이와 같이, 그리고 본 명세서의 정의에 의하면, '회절 격자(diffraction grating)'는 회절 격자 상에 입사하는 광의 회절을 제공하는 구조물이다. 광이 도광체로부터 회절 격자 상에 입사하면, 제공된 회절 또는 회절적 산란(diffractive scattering)은 회절 격자가 회절에 의하여 도광체로부터 광을 커플 아웃(couple out)시킬 수 있다는 점에서 '회절적 커플링(diffractive coupling)'을 야기할 수 있으며, 따라서 그와 같이 지칭될 수 있다. 또한, 회절 격자는 회절에 의하여(즉, 회절각(diffractive angle)으로) 광의 각도를 재지향시키거나 변경시킨다. 특히, 회절의 결과로서, 회절 격자를 떠나는 광(즉, 회절된 광)은 일반적으로 회절 격자 상에 입사하는 광(즉, 입사광)의 전파 방향과는 상이한 전파 방향을 갖는다. 본 명세서에서, 회절에 의한 광의 전파 방향의 변경은 '회절적 재지향(diffractive redirection)'으로 언급된다. 따라서, 회절 격자는 회절 격자 상에 입사하는 광을 회절적으로 재지향시키는 회절 특징부들을 포함하는 구조물인 것으로 이해될 수 있으며, 도광체로부터 광이 입사되면 회절 격자는 또한 도광체로부터의 광을 회절적으로 커플 아웃시킬 수 있다.
또한, 본 명세서의 정의에 의하면, 회절 격자의 특징부들은 '회절 특징부들(diffractive features)'로 언급되고, 표면(즉, '표면'은 2개의 재료들 사이의 경계를 지칭함)에, 표면 내에 및 표면 상에 중 하나 이상에 있을 수 있다. 표면은 판 도광체의 표면일 수 있다. 회절 특징부들은 홈들, 융기들, 구멍들 및 돌출들 중 하나 이상을 포함하는, 그러나 이에 제한되지 않는, 광을 회절시키는 다양한 구조물들 중 임의의 것을 포함할 수 있고, 이러한 구조물들은 표면에, 표면 내에 및 표면 상에 중 하나 이상에 있을 수 있다. 예를 들어, 회절 격자는 재료 표면 내에 복수의 평행한 홈들을 포함할 수 있다. 다른 예에서, 회절 격자는 재료 표면으로부터 상승하는 복수의 평행한 융기들을 포함할 수 있다. 회절 특징부들(홈들, 융기들, 구멍들, 돌출들 등 중 어느 것이라도)은 정현파 프로파일, 직사각형 프로파일(예를 들어, 이진 회절 격자), 삼각형 프로파일 및 톱니 프로파일(예를 들어, 블레이즈 격자) 중 하나 이상을 포함하는, 그러나 이에 제한되지 않는, 회절을 제공하는 다양한 단면 형상들 또는 프로파일들 중 임의의 것을 가질 수 있다.
본 명세서에 설명된 다양한 예들에 따르면, 회절 격자(예를 들어, 후술될 바와 같은 회절적 멀티빔 소자의 회절 격자)는 도광체(예를 들어, 판 도광체)로부터의 광을 광빔으로서 회절적으로 산란 또는 커플 아웃시키기 위하여 이용될 수 있다. 특히, 국부적으로 주기적인 회절 격자의 또는 이에 의하여 제공되는 회절각(diffraction angle; θ m )은 식(1)으로 주어질 수 있다.
Figure 112020066659211-pct00001
(1)
여기서, λ는 광의 파장, m은 회절 차수, n은 도광체의 굴절률, d는 회절 격자의 특징부들 간의 거리 또는 간격, θ i 는 회절 격자 상의 광의 입사각이다. 간략화를 위하여, 식(1)은 회절 격자가 도광체의 표면에 인접하고 도광체 외부의 재료의 굴절률은 1인 것(즉, n out = 1)으로 가정한다. 일반적으로, 회절 차수(m)는 정수로 주어진다(즉, m = ± 1, ± 2, ...). 회절 격자에 의하여 생성되는 광빔의 회절각(θ m )은 식(1)으로 주어질 수 있다. 회절 차수(m)가 1인 경우(즉, m = 1) 1차 회절, 더 구체적으로는 1차 회절각(θ m )이 제공된다.
또한, 일부 실시 예들에 따르면, 회절 격자의 회절 특징부들은 만곡될 수 있고 또한 광의 전파 방향에 대하여 정해진 배향(예를 들어, 경사 또는 회전)을 가질 수 있다. 예를 들어, 회절 특징부들의 커브(curve) 및 회절 특징부들의 배향 중 하나 또는 모두는 회절 격자에 의하여 커플 아웃되는 광의 방향을 제어하도록 구성될 수 있다. 예를 들어, 지향성 광의 주 각도 방향은 입사광의 전파 방향에 대하여 광이 회절 격자 상에 입사하는 지점에서의 회절 특징부의 각도의 함수일 수 있다.
본 명세서의 정의에 의하면, '멀티빔 소자(multibeam element)'는 복수의 광빔들을 포함하는 광을 생성하는 백라이트 또는 디스플레이의 구조물 또는 소자이다. 정의에 의하면, '회절적(diffractive)' 멀티빔 소자는 회절적 커플링에 의하여 또는 회절적 커플링을 이용하여 복수의 광빔들을 생성하는 멀티빔 소자이다. 특히, 일부 실시 예들에서, 회절적 멀티빔 소자는 도광체 내에서 안내된 광의 일부를 회절적으로 커플링 아웃(coupling out)시킴으로써 복수의 광빔들을 제공하기 위하여 백라이트의 도광체에 광학적으로 결합될 수 있다. 또한, 본 명세서의 정의에 의하면, 회절적 멀티빔 소자는 멀티빔 소자의 경계 또는 범위(extent) 내에 복수의 회절 격자들을 포함한다. 본 명세서의 정의에 의하면, 멀티빔 소자에 의하여 생성된 복수의 광빔들의 광빔들은 서로 상이한 주 각도 방향들을 갖는다. 특히, 정의에 의하면, 복수의 광빔들 중 어느 하나의 광빔은 복수의 광빔들 중 다른 하나의 광빔과는 상이한 정해진 주 각도 방향을 갖는다. 다양한 실시 예들에 따르면, 회절적 멀티빔 소자의 회절 격자들 내의 회절 특징부들의 간격 또는 격자 피치는 서브-파장(sub-wavelength)(즉, 안내된 광의 파장 미만)일 수 있다.
복수의 회절 격자들을 갖는 멀티빔 소자가 이후의 논의들에서 예시적인 예로서 이용되지만, 일부 실시 예들에서 미세(micro) 반사 소자 및 미세 굴절 소자 중 적어도 하나와 같은 다른 구성 요소들이 멀티빔 소자에 이용될 수 있다. 예를 들어, 미세 반사 소자는 삼각 형상 거울, 사다리 형상 거울, 피라미드 형상 거울, 직사각 형상 거울, 반구 형상 거울, 오목 거울 및/또는 볼록 거울을 포함할 수 있다. 일부 실시 예들에서, 미세 굴절 소자는 삼각 형성 굴절 소자, 사다리 형상 굴절 소자, 피라미드 형상 굴절 소자, 직사각 형상 굴절 소자, 반구 형상 굴절 소자, 오목 굴절 소자 및/또는 볼록 굴절 소자를 포함할 수 있다.
다양한 실시 예들에 따르면, 복수의 광빔들은 광 필드(light field)를 나타낼 수 있다. 예를 들어, 복수의 광빔들은 실질적으로 원추형 공간 영역에 국한되거나 복수의 광빔들 내의 광빔들의 상이한 주 각도 방향들을 포함하는 정해진 각도 확산(angular spread)을 가질 수 있다. 따라서, 광빔들의 정해진 각도 확산은 그 조합으로써(즉, 복수의 광빔들) 광 필드를 나타낼 수 있다.
다양한 실시 예들에 따르면, 복수의 광빔들 내의 여러 광빔들의 상이한 주 각도 방향들은 회절적 멀티빔 소자의 크기(예를 들어, 길이, 폭, 면적 등 중의 하나 이상)와 회절적 멀티빔 소자 내의 회절 격자의 배향 및 '격자 피치(grating pitch)' 또는 회절 특징부 간격을 포함하는, 그러나 이에 제한되지 않는, 특성에 의하여 결정된다. 본 명세서의 정의에 의하면, 일부 실시 예들에서, 회절적 멀티빔 소자는 '연장된 점 광원(extended point light source)', 즉 회절적 멀티빔 소자의 범위(extent)에 걸쳐(across) 분포된 복수의 점 광원들로 간주될 수 있다. 또한, 본 명세서의 정의에 의하면, 그리고 도 1b와 관련하여 전술한 바와 같이, 회절적 멀티빔 소자에 의하여 생성되는 광빔은 각도 성분들 {θ, φ}로 주어지는 주 각도 방향을 갖는다.
본 명세서에서, '시준기(collimator)'는 광을 시준하도록 구성된 실질적으로 임의의 광학 기기 또는 장치로서 정의된다. 예를 들어, 시준기는 시준 거울 또는 반사체, 시준 렌즈, 시준 회절 격자 및 이들의 다양한 조합들을 포함할 수 있지만, 이에 제한되지 않는다.
본 명세서에서, σ 로 표시되는 '시준 계수(collimation factor)'는 광이 시준되는 정도로서 정의된다. 특히, 본 명세서의 정의에 의하면, 시준 계수는 시준된 광의 빔 내의 광선들(light rays)의 각도 확산을 정의한다. 예를 들어, 시준 계수(σ)는 시준된 광의 빔 내의 대부분의 광선들이 특정한 각도 확산 내에(예를 들어, 시준된 광빔의 중심 또는 주 각도 방향에 대하여 +/- σ도) 있음을 명시할 수 있다. 일부 예들에 따르면, 시준된 광빔의 광선들은 각도 측면에서 가우시안(Gaussian) 분포를 가질 수 있고, 각도 확산은 시준된 광빔의 피크(peak) 세기의 절반만큼에서 결정되는 각도일 수 있다.
본 명세서에서, '광원(light source)'은 광의 원천(예를 들어, 광을 방출하는 장치 또는 기기)으로서 정의된다. 예를 들어, 광원은 활성화되는 경우 광을 방출하는 발광 다이오드(light emitting diode; LED)일 수 있다. 광원은 실질적으로 임의의 광의 원천이거나, LED, 레이저, OLED, 중합체 LED, 플라즈마-기반 광학 방출기, 형광 램프, 백열 램프 및 사실상 임의의 다른 광의 원천 중 하나 이상을 포함하는, 그러나 이에 제한되지 않는, 광학 방출기일 수 있다. 광원에 의하여 생성된 광은 컬러를 가질 수 있거나(즉, 광의 특정 파장을 포함할 수 있음), 광의 특정 파장을 포함할 수 있다(예를 들어, 백색광). 또한, 본 명세서에서 '상이한 컬러들의 복수의 광원들'은 한 세트 또는 그룹의 광원들로서 명시적으로 정의되며, 광원들 중 적어도 하나는 복수의 광원들 중 적어도 하나의 다른 광원에 의하여 생성되는 광의 컬러 또는 파장과는 상이한 컬러를, 또는 대등하게는 파장을, 갖는 광을 생성한다. 예를 들어, 상이한 컬러들은 원색들(예를 들어, 적색, 녹색, 청색)을 포함할 수 있다. 또한, 복수의 광원들 중 적어도 2개의 광원들이 상이한 컬러 광원들인 한(즉, 적어도 2개의 광원들은 상이한 광의 컬러들을 생성함), '상이한 컬러들의 복수의 광원들'은 동일하거나 실질적으로 유사한 컬러의 2개 이상의 광원들을 포함할 수 있다. 따라서, 본 명세서의 정의에 의하면, '상이한 컬러들의 복수의 광원들'은 광의 제 1 컬러를 생성하는 제 1 광원 및 광의 제 2 컬러를 생성하는 제 2 광원을 포함할 수 있고, 제 2 컬러는 제 1 컬러와 상이하다.
본 명세서에서, '배열(arrangement)' 또는 '패턴(pattern)'은 소자들의 상대적인 위치 및 소자들의 개수에 의하여 정의되는 소자 간의 관계로서 정의된다. 보다 구체적으로, 본 명세서에서 사용된 바와 같이, '배열' 또는 '패턴'은 소자들 간의 간격 또는 소자들의 어레이의 측부(side)의 크기를 정의하지 않는다. 본 명세서에 정의된 바와 같이, '정사각형(square)' 배열은 2개의 실질적으로 직교하는 방향들(예를 들어, x-방향 및 y-방향) 각각으로 동일한 개수의 소자들(예를 들어, 카메라들, 뷰들 등)을 포함하는 소자들의 직선으로 둘러싸인(rectilinear) 배열이다. 반면, '직사각형' 배열은 2개의 직교하는 방향들 각각으로 상이한 개수의 소자들을 포함하는 직선으로 둘러싸인 배열로서 정의된다.
본 명세서에서, 정의에 의하면, 어레이의 소자들 간의 간격 또는 틈(separation)은 '기준(baseline)' 또는 대등하게는 '기준 거리(baseline distance)'로서 언급된다. 예를 들어, 카메라들의 어레이의 카메라들은 카메라 어레이의 개별 카메라들 간의 간격 또는 거리를 정의하는 기준 거리만큼 서로 떨어져 있을 수 있다.
또한, 본 명세서의 정의에 의하면, '광각 방출광(broad-angle emitted light)'에서와 같이 '광각(broad-angle)'이라는 용어는 멀티뷰 이미지 또는 멀티뷰 디스플레이의 뷰의 원추각(cone angle)보다 큰 원추각을 갖는 광으로서 정의된다. 특히, 일부 실시 예들에서, 광각 방출광은 약 60도보다 큰 원추각을 가질 수 있다. 다른 실시 예들에서, 광각 방출광의 원추각은 약 50도보다 크거나, 또는 약 40도보다 클 수 있다. 예를 들어, 광각 방출광의 원추각은 약 120도일 수 있다. 대안적으로, 광각 방출광은 디스플레이의 법선(normal) 방향에 대하여 ± 45도보다 큰 각도 범위(예를 들어, ± 45도보다 큰)를 가질 수 있다. 다른 실시 예들에서, 광각 방출광의 각도 범위는 ± 50도보다 크거나(예를 들어, ± 50도보다 큰), 또는 ± 60도보다 크거나(예를 들어, ± 60도보다 큰), 또는 ± 65도보다 클 수 있다(예를 들어, ± 65도보다 큰). 예를 들어, 광각 방출광의 각도 범위는 디스플레이의 법선 방향의 양편에서 약 70도보다 클 수 있다(예를 들어, ± 70도보다 큰). 본 명세서의 정의에 의하면, '광각 백라이트(broad-angle backlight)'는 광각 방출광을 제공하도록 구성된 백라이트이다.
일부 실시 예들에서, 광각 방출광의 원추각은 LCD 컴퓨터 모니터, LCD 태블릿, LCD 텔레비전, 또는 이와 유사한 광각 시야(예를 들어, 약 ± 40-65도)를 위한 디지털 디스플레이 기기의 시야각(viewing angle)과 대략 동일한 것으로 정의될 수 있다. 다른 실시 예들에서, 광각 방출광은 또한 확산광(diffuse light), 실질적으로 확산광, 비-지향성 광(예를 들어, 특정한 또는 정의된 방향성이 결여된), 또는 단일한 또는 실질적으로 균일한 방향을 갖는 광으로서 특징지어지거나 또는 설명될 수 있다.
본 명세서에 설명된 원리들에 일치하는 실시 예들은 집적 회로들(integrated circuits; ICs), 초 대규모 집적(very large scale integrated; VLSI) 회로, 필드 프로그래머블 게이트 어레이들(field programmable gate arrays; FPGAs), 디지털 신호 프로세서들(digital signal processors; DSPs), 그래픽 프로세서 유닛(graphical processor unit; GPU), 펌웨어, 소프트웨어(프로그램 모듈 또는 명령어들의 세트와 같은) 및 이들의 둘 이상의 조합 중 하나 이상을 포함하는, 그러나 이에 제한되지 않는, 다양한 기기들 및 회로들을 이용하여 구현될 수 있다. 예를 들어, 후술되는 이미지 프로세서 또는 다른 소자들은 모두 ASIC 또는 VLSI 회로 내에 회로 소자들로서 구현될 수 있다. ASIC 또는 VLSI 회로를 이용하는 구현들은 하드웨어-기반 회로 구현들의 예들이다.
다른 예에서, 이미지 프로세서의 실시 예는 컴퓨터에 의하여 실행되는 동작 환경 또는 소프트웨어-기반 모델링 환경(예를 들어, MATLAB®, MathWorks, Inc., Natick, MA)에서 실행되는 컴퓨터 프로그래밍 언어(예를 들어, C/C++)를 이용하는 소프트웨어로서 구현될 수 있다(예를 들어, 메모리에 저장되고 컴퓨터의 프로세서 또는 그래픽 프로세서에 의하여 실행되는). 하나 이상의 컴퓨터 프로그램 또는 소프트웨어가 컴퓨터-프로그램 메커니즘을 구성할 수 있고, 프로그래밍 언어는 컴퓨터의 프로세서 또는 그래픽 프로세서에 의하여 실행되도록 컴파일 또는 해석될 수, 예를 들어 구성 가능할 수 또는 구성된 것일 수(본 논의에서 상호 교환적으로 사용될 수 있음), 있다.
또 다른 예에서, 본 명세서에 설명된 장치 또는 시스템(예를 들어, 이미지 프로세서, 카메라 등)의 일부 블록, 모듈 또는 소자는 실제적인 또는 물리적인 회로(예를 들어, IC 또는 ASIC)를 이용하여 구현될 수 있고, 다른 블록, 모듈 또는 소자는 소프트웨어 또는 펌웨어로 구현될 수 있다. 특히, 전술한 정의에 따르면, 본 명세서에 설명된 일부 실시 예들은 실질적으로 하드웨어-기반 회로 접근 또는 기기(예를 들어, ICs, VLSI, ASIC, FPGA, DSP, 펌웨어 등)를 이용하여 구현될 수 있고, 다른 실시 예들은 소프트웨어를 실행하기 위하여 컴퓨터 프로세서 또는 그래픽 프로세서를 이용하는 소프트웨어 또는 펌웨어로서 구현되거나, 예를 들어 소프트웨어 또는 펌웨어와 하드웨어-기반 회로의 조합으로서 구현될 수도 있다.
또한, 본 명세서에서 사용된 바와 같은, 단수 표현은 특허 분야에서의 통상적인 의미, 즉 '하나 이상'의 의미를 갖는 것으로 의도된다. 예를 들어, 본 명세서에서 '카메라'는 하나 이상의 카메라를 의미하며, 따라서 '상기 카메라'는 '상기 카메라(들)'을 의미한다. 또한, 본 명세서에서 '상단', '하단', '상부', '하부', '상', '하', '전', '후', '제1', '제 2', '좌' 또는 '우'에 대한 언급은 본 명세서에서 제한적인 것으로 의도되지 않는다. 본 명세서에서, 달리 명시적으로 특정되지 않는 한, 수치 값에 적용되는 경우의 '약'이라는 용어는 일반적으로 수치 값을 생성하기 위하여 이용되는 장비의 허용 오차 범위 내를 의미하거나, ±10%, 또는 ±5%, 또는 ±1%를 의미할 수 있다. 또한, 본 명세서에서 사용된 바와 같은 '실질적으로'라는 용어는 대부분, 또는 거의 전부, 또는 전부, 또는 약 51% 내지 약 100% 범위 내의 양을 의미한다. 또한, 본 명세서의 예들은 단지 예시적인 것으로 의도된 것이며, 제한이 아닌 논의의 목적으로 제시된다.
본 명세서에 설명된 원리들의 일부 실시 예들에 따르면, 크로스-렌더 멀티뷰 카메라가 제공된다. 도 2a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 카메라(100)의 도면을 도시한다. 도 2b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 카메라(100)의 사시도를 도시한다. 크로스-렌더 멀티뷰 카메라(100)는 장면(102)의 복수의 이미지들(104)을 캡처한 다음, 장면(102)의 합성 이미지를 합성하거나 생성하도록 구성된다. 특히, 크로스-렌더 멀티뷰 카메라(100)는 장면(102)의 상이한 시점 뷰들을 나타내는 장면(102)의 복수의 이미지들(104)을 캡처한 다음, 복수의 이미지들(104)에 의하여 나타나는 상이한 시점 뷰들과는 다른 시점으로부터의 장면(102)의 뷰를 나타내는 합성 이미지(106)를 생성하도록 구성될 수 있다. 따라서, 다양한 실시 예들에 따르면, 합성 이미지(106)는 장면(102)의 '새로운(new)' 시점 뷰를 나타낼 수 있다.
도시된 바와 같이, 크로스-렌더 멀티뷰 카메라(100)는 제 1 축을 따라 서로 이격된 복수의 카메라들(110)을 포함한다. 예를 들어, 도 2b에 도시된 바와 같이, 복수의 카메라들(110)은 x 방향으로 선형 어레이로서 서로 이격될 수 있다. 따라서, 제 1 축은 x-축을 포함할 수 있다. 공통 축 상에 존재하는 것으로 도시되었지만(즉, 선형 어레이), 일부 실시 예들에서 복수의 카메라들의 카메라들(110)의 세트들은 몇몇 상이한 축들(미도시)을 따라 배열될 수 있다는 점에 유의한다.
복수의 카메라들(110)은 장면(102)의 복수의 이미지들(104)을 캡처하도록 구성된다. 특히, 복수의 카메라들의 각각의 카메라(110)는 복수의 이미지들의 이미지들(104) 중 상이한 하나를 캡처하도록 구성될 수 있다. 예를 들어, 복수의 카메라들은 2개의 카메라들(110)을 포함할 수 있고, 각각의 카메라(110)는 복수의 이미지들의 2개의 이미지들(104) 중 상이한 하나를 캡처하도록 구성될 수 있다. 예를 들어, 2개의 카메라들(110)은 스테레오 쌍의 카메라들(a stereo pair of cameras) 또는 간략히 '스테레오 카메라(stereo camera)'를 나타낼 수 있다. 다른 예들에서, 복수의 카메라들은 3개의 이미지들(104)을 캡처하도록 구성된 3개의 카메라들, 또는 4개의 이미지들(104)을 캡처하도록 구성된 4개의 카메라들(110), 또는 5개의 이미지들(104)을 캡처하도록 구성된 5개의 카메라들을 포함할 수 있다. 또한, 복수의 이미지들 중 상이한 이미지들(104)은, 카메라들(110)이 제 1 축(예를 들어, 도시된 바와 같은 x-축)을 따라 서로 이격되어 있기 때문에, 장면(102)의 상이한 시점 뷰들을 나타낸다.
다양한 실시 예들에 따르면, 복수의 카메라들의 카메라들(110)은 실질적으로 임의의 카메라 또는 관련 이미징 또는 이미지 캡처 기기를 포함할 수 있다. 특히, 카메라들(110)은 디지털 이미지들을 캡처하도록 구성된 디지털 카메라들일 수 있다. 예를 들어, 디지털 카메라는 전자결합소자(charge-coupled device; CCD) 이미지 센서, 상보성 금속 산화막 반도체(complimentary metal-oxide semiconductor; CMOS) 이미지 센서, 또는 후면 조명(back-side-illuminated) CMOS(BSI-CMOS) 센서와 같은, 그러나 이에 제한되지 않는, 디지털 이미지 센서를 포함할 수 있다. 또한, 다양한 실시 예들에 따르면, 카메라들(110)은 정지영상들(예를 들어, 사진들) 및 동영상들(예를 들어, 비디오) 중 하나 또는 모두를 캡처하도록 구성될 수 있다. 일부 실시 예들에서, 카메라들(110)은 복수의 이미지들에서 진폭 또는 세기 및 위상 정보를 캡처한다.
도 2a 및 도 2b에 도시된 크로스-렌더 멀티뷰 카메라(100)는 이미지 합성기(image synthesizer; 120)를 더 포함한다. 이미지 합성기는 복수의 이미지들로부터 결정된 장면(102)의 차이 맵(disparity map) 또는 깊이 맵(depth map)을 이용하여 장면(102)의 합성 이미지(106)를 생성하도록 구성된다. 특히, 이미지 합성기(120)는 카메라 어레이에 의하여 캡처된 복수의 이미지들(예를 들어, 한 쌍의 이미지들)의 이미지들(104)로부터 차이 맵을 결정하도록 구성될 수 있다. 이후, 이미지 합성기(120)는 합성 이미지(106)를 생성하기 위하여, 복수의 이미지들의 이미지들(104) 중 하나 이상과 결정된 차이 맵을 이용할 수 있다. 다양한 실시 예들에 따르면, 차이 맵(또는 대등하게는 깊이 맵)을 결정하기 위한 다수의 상이한 접근법들 중 임의의 것이 이용될 수 있다. 일부 실시 예들에서, 이미지 합성기(120)는 차이 맵 및 합성 이미지(106) 중 하나 또는 모두에 홀 채움(hole-filling)을 제공하도록 더 구성된다. 예를 들어, 이미지 합성기(120)는, 각각이 참조로서 본원에 병합되는 문서(Hamzah et al. in, "Literature Survey on Stereo Vision Disparity Map Algorithms," J. of Sensor, Vol. 2016, Article ID 8742920), 문서(Jain et al., "Efficient Stereo-to-Multiview Synthesis," ICASSP 2011, pp. 889-892), 또는 문서(Nquyen et al., "Multiview Synthesis Method and Display Devices with Spatial and Inter-View Consistency, US 2016/0373715 A1)에 설명된 방법들 중 임의의 것을 이용할 수 있다.
다양한 실시 예들에 따르면, 이미지 합성기에 의하여 생성된 합성 이미지(106)는 제 1 축으로부터 변위된 제 2 축 상의 가상 카메라(110')의 위치에 대응하는 시점으로부터의 장면(102)의 뷰를 나타낸다. 예를 들어, 도 2b에 도시된 바와 같이, 복수의 카메라들의 카메라들(110)은 x-축을 따라 선형 방식으로 배열되고 서로 이격될 수 있으며, 가상 카메라(110')는 복수의 카메라들로부터 y 방향으로 변위될 수 있다.
일부 실시 예들에서, 제 2 축은 제 1 축에 수직이다. 예를 들어, 도 2b에 도시된 바와 같이, 제 1 축이 x-방향에 있는 경우 제 2 축은 y 방향(예를 들어, y-축)에 있을 수 있다. 다른 실시 예들에서, 제 2 축은 제 1 축에 평행하지만 제 1 축으로부터 횡방향으로 변위(laterally displaced)될 수 있다. 예를 들어, 제 1 및 제 2 축 모두는 x 방향에 있을 수 있지만, 제 2 축은 제 1 축에 대하여 y 방향으로 횡방향으로 변위될 수 있다.
일부 실시 예들에서, 이미지 합성기(120)는 차이 맵을 이용하여 복수의 합성 이미지들(106)을 제공하도록 구성된다. 특히, 복수의 합성 이미지들 중 각각의 합성 이미지(106)는 복수의 합성 이미지들 중 다른 합성 이미지들(106)에 비하여 장면(102)의 상이한 시점으로부터의 장면(102)의 뷰를 나타낼 수 있다. 예를 들어, 복수의 합성 이미지들(106)은 2개, 3개, 4개 또는 그 이상의 합성 이미지들(106)을 포함할 수 있다. 따라서, 복수의 합성 이미지들(106)은, 예를 들어 유사한 복수의 가상 카메라들(110')의 위치들에 대응하는 장면(102)의 뷰들을 나타낼 수 있다. 또한, 일부 예들에서, 복수의 가상 카메라들(110')은 제 2 축에 대응하는 하나 이상의 상이한 축 상에 위치할 수 있다. 일부 실시 예들에서, 합성 이미지들(106)의 개수는 복수의 카메라들에 의하여 캡처된 이미지들(104)의 개수와 동일할 수 있다.
일부 실시 예들에서, 복수의 카메라들(110)은 스테레오 카메라로서 구성된 한 쌍의 카메라들(110a, 110b)을 포함할 수 있다. 또한, 스테레오 카메라에 의하여 캡처된 장면(102)의 복수의 이미지들(104)은 장면(102)의 스테레오 쌍의 이미지들(104)을 포함할 수 있다. 이러한 실시 예들에서, 이미지 합성기(120)는 복수의 가상 카메라들(110')의 위치들에 대응하는 시점들로부터의 장면(102)의 뷰들을 나타내는 복수의 합성 이미지들(106)을 제공하도록 구성될 수 있다.
일부 실시 예들에서, 제 1 축은 수평 축이거나 수평 축을 나타낼 수 있고, 제 2 축은 수평 축에 직교하는 수직 축이거나 수직 축을 나타낼 수 있다. 이러한 실시 예들에서, 스테레오 쌍의 이미지들(104)은 수평 축에 대응하는 수평 방향으로 배열될 수 있고, 한 쌍의 합성 이미지들(106)을 포함하는 복수의 합성 이미지들은 수직 축에 대응하는 수직 방향으로 배열될 수 있다.
도 3a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 카메라(100)와 관련된 이미지들의 그래픽 표현을 도시한다. 특히, 도 3a의 좌측은 스테레오 카메라 역할을 하는 한 쌍의 카메라들(110)에 의하여 캡처된 장면(102)의 스테레오 쌍의 이미지들(104)을 도시한다. 도시된 바와 같이, 스테레오 쌍의 이미지들(104)은 수평 방향으로 배열되고, 따라서 가로 방향(landscape orientation)에 있는 것으로 언급될 수 있다. 도 3a의 우측은 크로스-렌더 멀티뷰 카메라(100)의 이미지 합성기(120)에 의하여 생성된 스테레오 쌍의 합성 이미지들(106)을 도시한다. 도시된 바와 같이, 스테레오 쌍의 합성 이미지들(106)의 합성 이미지들(106)은 수직 방향으로 배열되고, 따라서 세로 방향(portrait orientation)에 있는 것으로 언급될 수 있다. 좌측 및 우측 스테레오 이미지들 사이의 화살표는, 차이 맵을 결정하는 단계 및 스테레오 쌍의 합성 이미지들(106)을 생성하는 단계를 포함하는 이미지 합성기(120)의 동작을 나타낸다. 다양한 실시 예들에 따르면, 도 3a는 가로 방향의 복수의 카메라들에 의하여 캡처된 이미지들(104)을 세로 방향의 합성 이미지들(106)로 변환하는 것을 도시할 수 있다. 비록 명시적으로 도시되지는 않았으나, 반대로, 세로 방향의 이미지들(104)(즉, 수직으로 배열된 카메라들(110)에 의하여 캡처된)이 이미지 합성기(120)에 의하여 가로 방향의(즉, 수평 배열로) 합성 이미지들(106)로 변환되거나 합성 이미지들(106)을 제공하기 위하여 변환되는 것도 가능하다.
도 3b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 다른 예로서, 크로스-렌더 멀티뷰 카메라(100)와 관련된 이미지들의 그래픽 표현을 도시한다. 특히, 도 3b의 상단 부분은 스테레오 카메라로서의 역할을 하는 한 쌍의 카메라들(110)에 의하여 캡처된 장면(102)의 스테레오 쌍의 이미지들(104)을 도시한다. 도 3b의 하단 부분은 크로스-렌더 멀티뷰 카메라(100)의 이미지 합성기(120)에 의하여 생성된 스테레오 쌍의 합성 이미지들(106)을 도시한다. 또한, 스테레오 쌍의 합성 이미지들(106)은 복수의 카메라들의 카메라들(100)이 배열된 제 1 축과 평행하지만 제 1 축으로부터 변위된 제 2 축 상에 위치된 한 쌍의 가상 카메라들(110')에 대응한다. 다양한 실시 예들에 따르면, 카메라들(110)에 의하여 캡처된 스테레오 쌍의 이미지들(104)은, 장면(102)의 소위 4뷰(four-view; 4V) 멀티뷰 이미지를 제공하기 위하여 장면의 4개의 뷰들을 제공하기 위하여 스테레오 쌍의 합성 이미지들(106)과 결합될 수 있다.
일부 실시 예들에서(도 2a 및 도 2b에는 명시적으로 도시되지 않음), 크로스-렌더 멀티뷰 카메라(100)는 프로세싱 서브 시스템, 메모리 서브 시스템, 전력 서브 시스템 및 네트워킹 서브 시스템을 더 포함할 수 있다. 프로세싱 서브 시스템은, 마이크로 프로세서, 그래픽 프로세서 유닛(graphics processor unit; GPU) 또는 디지털 신호 프로세서(digital signal processor; DSP)와 같은, 그러나 이에 제한되지 않는, 연산 동작들을 수행하도록 구성된 하나 이상의 기기들을 포함할 수 있다. 메모리 서브 시스템은, 크로스-렌더 멀티뷰 카메라(100)의 동작을 제공하고 제어하기 위하여 프로세싱 서브 시스템에 의하여 이용될 수 있는 데이터 및 명령어들 중 하나 또는 모두를 저장하기 위한 하나 이상의 기기들을 포함할 수 있다. 예를 들어, 저장된 데이터 및 명령어들은, 복수의 카메라들(110)을 이용하여 복수의 이미지들의 캡처를 시작하고, 이미지 합성기(120)를 구현하고, 이미지들(104) 및 합성 이미지(들)(106)을 포함하는 멀티뷰 컨텐츠를 디스플레이(예를 들어, 멀티뷰 디스플레이) 상에 디스플레이하는 것 중 하나 이상을 하도록 구성된 데이터 및 명령어를 포함할 수 있지만, 이에 제한되지 않는다. 예를 들어, 메모리 서브 시스템은, 임의 접근 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 및 다양한 형태의 플래시 메모리를 포함하는, 그러나 이에 제한되지 않는, 하나 이상의 유형의 메모리를 포함할 수 있다.
일부 실시 예들에서, 메모리 서브 시스템에 저장되고 프로세싱 서브 시스템에 의하여 이용되는 명령어들은, 예를 들어 프로그램 명령어들 또는 명령어들의 세트들 및 운영 체제를 포함하지만, 이에 제한되지 않는다. 예를 들어, 프로그램 명령어들 및 운영 체제는, 크로스-렌더 멀티뷰 카메라(100)의 동작 동안 프로세싱 서브 시스템에 의하여 실행될 수 있다. 하나 이상의 컴퓨터 프로그램들이 컴퓨터 프로그램 메커니즘, 컴퓨터 판독가능 저장 매체 또는 소프트웨어를 구성할 수 있다는 점에 유의한다. 또한, 메모리 서브 시스템 내의 다양한 모듈들 내의 명령어들은, 고수준 절차 언어, 객체 지향 프로그래밍 언어 및 어셈블리 또는 기계어 중 하나 이상으로 구현될 수 있다. 또한, 다양한 실시 예들에 따르면, 프로그래밍 언어는 프로세싱 서브 시스템에 의하여 실행될 수 있도록 컴파일되거나 해석될 수, 예를 들어 구성 가능하거나 구성될 수(본 논의에서 상호 교환적으로 사용될 수 있음), 있다.
다양한 실시 예들에서, 전력 서브 시스템은, 크로스-렌더 멀티뷰 카메라(100) 내의 다른 구성 요소들에게 전력을 공급하도록 구성된 하나 이상의 에너지 저장 구성 요소(예를 들어, 배터리)를 포함할 수 있다. 네트워킹 서브 시스템은, 유선 및 무선 네트워크 중 하나 또는 모두에 결합되어 통신을 하도록(즉, 네트워크 동작들을 수행하도록) 구성된 하나 이상의 기기들 및 서브 시스템 또는 모듈들을 포함할 수 있다. 예를 들어, 네트워킹 서브 시스템은, 블루투스(BluetoothTM) 네트워킹 시스템, 셀룰러 네트워킹 시스템(예를 들어, UMTS, LTE 등과 같은 3G/4G/5G 네트워크), 범용 직렬 버스(universal serial bus; USB), IEEE 802.12에 기술된 표준에 기반한 네트워킹 시스템(예를 들어, 와이파이 네트워킹 시스템), 이더넷 네트워킹 시스템 중 임의의 것 또는 모두를 포함할 수 있다.
전술한 실시 예들에서의 동작들 중 일부는 하드웨어 또는 소프트웨어로 구현될 수 있지만, 전술한 실시 예들에서의 동작들은 일반적으로 매우 다양한 구성들 및 아키텍쳐들로 구현될 수 있다는 점에 유의한다. 따라서, 전술한 실시 예들에서의 동작들 중 일부 또는 전부는, 하드웨어로 수행되거나 소프트웨어로 수행되거나 또는 이들 둘 모두로 수행될 수 있다. 예를 들어, 디스플레이 기술에서의 동작들 중 적어도 일부는, 프로그램 명령어들, 운영 체제(예를 들어, 디스플레이 서브 시스템을 위한 드라이버) 또는 하드웨어를 이용하여 구현될 수 있다.
본 명세서에 설명된 원리들의 다른 실시 예들에 따르면, 크로스-렌더 멀티뷰 시스템이 제공된다. 도 4는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 시스템(200)의 블록도를 도시한다. 크로스-렌더 멀티뷰 시스템(200)은 장면(202)을 캡처하거나 이미지화하는 데 이용될 수 있다. 예를 들어, 이미지는 멀티뷰 이미지(208)일 수 있다. 또한, 다양한 실시 예들에 따르면, 크로스-렌더 멀티뷰 시스템(200)은 장면(202)의 멀티뷰 이미지(208)를 디스플레이하도록 구성될 수 있다.
도 4에 도시된 바와 같이, 크로스-렌더 멀티뷰 시스템(200)은 제 1 축을 따라 서로 이격된 카메라들을 갖는 멀티뷰 카메라 어레이(210)를 포함한다. 다양한 실시 예들에 따르면, 멀티뷰 카메라 어레이(210)는 장면(202)의 복수의 이미지들(204)을 캡처하도록 구성된다. 일부 실시 예들에서, 멀티뷰 카메라 어레이(210)는 크로스-렌더 멀티뷰 카메라(100)와 관련하여 전술한 복수의 카메라들(110)과 실질적으로 유사할 수 있다. 특히, 멀티뷰 카메라 어레이(210)는 제 1 축을 따라 선형 구성으로 배열된 복수의 카메라들을 포함할 수 있다. 일부 실시 예들에서, 멀티뷰 카메라 어레이(210)는 제 1 축 상에 있지 않는 카메라들을 포함할 수 있다.
도 4에 도시된 크로스-렌더 멀티뷰 시스템(200)은 이미지 합성기(220)를 더 포함한다. 이미지 합성기(220)는 장면(202)의 합성 이미지(206)를 생성하도록 구성될 수 있다. 특히, 이미지 합성기는, 복수의 이미지들의 이미지들(204)로부터 결정된 차이 맵을 이용하여 합성 이미지(206)를 생성하도록 구성된다. 일부 실시 예들에서, 이미지 합성기(220)는 전술한 크로스-렌더 멀티뷰 카메라(100)의 이미지 합성기(120)와 실질적으로 유사할 수 있다. 예를 들어, 이미지 합성기(220)는 합성 이미지(206)가 생성되는 차이 맵을 결정하도록 구성될 수 있다. 또한, 이미지 합성기(220)는 차이 맵 및 합성 이미지(206) 중 하나 또는 모두에 홀 채움을 제공할 수 있다.
도시된 바와 같이, 크로스-렌더 멀티뷰 시스템(200)은 멀티뷰 디스플레이(230)를 더 포함한다. 멀티뷰 디스플레이(230)는 합성 이미지(206)를 포함하는 장면(202)의 멀티뷰 이미지(208)를 디스플레이하도록 구성된다. 다양한 실시 예들에 따르면, 합성 이미지(206)는 제 1 축에 직교하는 제 2 축 상의 가상 카메라의 위치에 대응하는 시점으로부터의 장면(202)의 뷰를 나타낸다. 또한, 멀티뷰 디스플레이(230)는 합성 이미지(206)를 장면(202)의 멀티뷰 이미지(208)의 뷰로서 포함할 수 있다. 일부 실시 예들에서, 멀티뷰 이미지(208)는, 복수의 가상 카메라들에 대응하고 유사한 복수의 상이한 시점들로부터의 장면(202)의 복수의 상이한 뷰들을 나타내는, 복수의 합성 이미지들(206)을 포함할 수 있다. 다른 실시 예들에서, 멀티뷰 이미지(208)는 복수의 이미지들 중 하나 이상의 이미지들(204) 및 합성 이미지(206)를 포함할 수 있다. 예를 들어, 도 3b에 도시된 바와 같이, 멀티뷰 이미지(208)는 4개의 뷰들(4V)을 포함할 수 있고, 4개의 뷰들 중 첫 번째 2개의 뷰들은 한 쌍의 합성 이미지들(206)일 수 있고, 4개의 뷰들 중 두 번째 2개의 뷰들은 복수의 이미지들 중 한 쌍의 이미지들(204)일 수 있다.
일부 실시 예들에서, 복수의 카메라들은 장면(202)의 스테레오 쌍의 이미지들(204)을 제공하도록 구성된 멀티뷰 카메라 어레이(210)의 한 쌍의 카메라들을 포함할 수 있다. 이러한 실시 예들에서, 차이 맵은, 스테레오 쌍의 이미지들을 이용하여 이미지 합성기(220)에 의하여 결정될 수 있다. 일부 실시 예들에서, 이미지 합성기(220)는 장면(202)의 한 쌍의 합성 이미지(206)를 제공하도록 구성된다. 이러한 실시 예들에서, 멀티뷰 이미지(208)는 한 쌍의 합성 이미지들(206)을 포함할 수 있다. 일부 실시 예들에서, 멀티뷰 이미지(208)는 복수의 이미지들 중 한 쌍의 이미지들(204)을 더 포함할 수 있다.
일부 실시 예들에서, 이미지 합성기(220)는 원격 프로세서로 구현될 수 있다. 예를 들어, 원격 프로세서는 클라우드 컴퓨팅 서비스의 프로세서 또는 소위 '클라우드(cloud)' 프로세서일 수 있다. 이미지 합성기(220)가 원격 프로세서로서 구현되는 경우, 복수의 이미지들(204)이 크로스-렌더 멀티뷰 시스템에 의하여 원격 프로세서로 전송될 수 있고, 이후 합성 이미지(206)가 크로스-렌더 멀티뷰 시스템에 의하여 원격 프로세서로부터 수신되어 멀티뷰 디스플레이(230)를 이용하여 디스플레이될 수 있다. 다양한 실시 예들에 따르면, 원격 프로세서로의 또는 원격 프로세서로부터의 전송은, 인터넷 또는 유사한 전송 매체를 이용할 수 있다. 다른 실시 예들에서, 이미지 합성기(220)는, 예를 들어 크로스-렌더 멀티뷰 시스템(200)의 프로세서(예를 들어, GPU)와 같은 다른 프로세서를 이용하여 구현될 수 있지만, 이에 제한되지 않는다. 또 다른 실시 예들에 따르면, 크로스-렌더 멀티뷰 시스템(200)의 전용 하드웨어 회로(예를 들어, ASIC)가 이미지 합성기(220)를 구현하는 데 이용될 수 있다.
다양한 실시 예들에 따르면, 크로스-렌더 멀티뷰 시스템(200)의 멀티뷰 디스플레이(230)는 멀티뷰 이미지를 디스플레이할 수 있는 실질적으로 임의의 디스플레이 또는 멀티뷰 디스플레이일 수 있다. 일부 실시 예들에서, 멀티뷰 디스플레이(230)는 멀티뷰 이미지를 제공하거나 디스플레이하기 위하여 광의 지향성 산란(directional scattering) 및 후속하는 산란된 광의 변조를 이용하는 멀티뷰 디스플레이일 수 있다.
도 5a는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이(300)의 단면도를 도시한다. 도 5b는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이(300)의 평면도를 도시한다. 도 5c는 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 멀티뷰 디스플레이(300)의 사시도를 도시한다. 도 5c의 사시도는 단지 본 명세서에서의 논의를 용이하게 하기 위하여 부분적으로 절개되었다. 일부 실시 예들에 따르면, 멀티뷰 디스플레이(300)는 크로스-렌더 멀티뷰 시스템(200)의 멀티뷰 디스플레이(230)로서 이용될 수 있다.
도 5a 내지 도 5c에 도시된 멀티뷰 디스플레이(300)는 서로 상이한 주 각도 방향들을 갖는 복수의 지향성 광빔들(302)을 (예를 들어, 광 필드로서) 제공하도록 구성된다. 특히, 다양한 실시 예들에 따르면, 제공된 복수의 지향성 광빔들(302)은 멀티뷰 디스플레이(300)의 각각의 뷰 방향들에 대응하는 또는 대등하게는 멀티뷰 디스플레이(300)에 의하여 디스플레이되는 멀티뷰 이미지(예를 들어, 크로스-렌더 멀티뷰 시스템(200)의 멀티뷰 이미지(208))의 상이한 뷰들의 방향들에 대응하는 상이한 주 각도 방향들로 멀티뷰 디스플레이(300)로부터 산란되어 멀어지도록 구성된다. 다양한 실시 예들에 따르면, 지향성 광빔들(302)은 멀티뷰 컨텐츠, 즉 멀티뷰 이미지(208)를 갖는 정보의 디스플레이를 용이하게 하도록 변조(예를 들어, 후술될 바와 같은 광 밸브들을 이용하여)될 수 있다. 도 5a 내지 도 5c는 또한 후술될 서브 픽셀들과 광 밸브들(330)의 어레이를 포함하는 멀티뷰 픽셀(306)을 도시한다.
도 5a 내지 도 5c에 도시된 바와 같이, 멀티뷰 디스플레이(300)는 도광체(310)를 포함한다. 도광체(310)는 안내된 광(304)(즉, 안내된 광빔)으로서 도광체(310)의 길이를 따라 광을 안내하도록 구성된다. 예를 들어, 도광체(310)는 광학 도파로로서 구성된 유전체 재료를 포함할 수 있다. 유전체 재료는 유전체 광학 도파로를 둘러싸는 매질의 제 2 굴절률보다 큰 제 1 굴절률을 가질 수 있다. 예를 들어, 굴절률들의 차이는 도광체(310)의 하나 이상의 안내 모드에 따라 안내된 광(304)의 내부 전반사를 용이하게 하도록 구성된다.
일부 실시 예들에서, 도광체(310)는 연장된, 광학적으로 투명한 실질적으로 평면형 시트인, 유전체 재료를 포함하는 슬래브 또는 판 광학 도파로(즉, 판 도광체)일 수 있다. 실질적으로 평면형 시트의 유전체 재료는 내부 전반사를 이용하여 안내된 광(304)을 안내하도록 구성된다. 다양한 예들에 따르면, 도광체(310)의 광학적으로 투명한 재료는 다양한 유형의 유리(예를 들어, 규소 유리(silica glass), 알칼리-알루미노실리케이트 유리(alkali-aluminosilicate glass), 보로실리케이트 유리(borosilicate glass) 등) 및 실질적으로 광학적으로 투명한 플라스틱들 또는 중합체들(예를 들어, 폴리(메틸 메타크릴레이트)(poly(methyl methacrylate)) 또는 '아크릴 유리(acrylic glass)', 폴리카보네이트(polycarbonate) 등) 중 하나 이상을 포함하는, 그러나 이에 제한되지 않는, 다양한 유전체 재료들 중 임의의 것으로 구성되거나 이를 포함할 수 있다. 일부 예들에서, 도광체(310)는 도광체(310)의 표면(예를 들어, 상단 표면 및 하단 표면 중 하나 또는 모두)의 적어도 일부 상에 클래딩층(cladding layer)(미도시)을 더 포함할 수 있다. 일부 예들에 따르면, 클래딩층은 내부 전반사를 더 용이하게 하기 위하여 이용될 수 있다.
또한, 일부 실시 예들에 따르면, 도광체(310)는 도광체(310)의 제 1 표면(310')(예를 들어 '전'면 또는 앞쪽) 및 제 2 표면(310")(예를 들어, '후'면 또는 뒤쪽) 사이에서 0이 아닌 전파 각도로 내부 전반사에 따라 안내된 광(304)을 안내하도록 구성된다. 특히, 안내된 광(304)은 0이 아닌 전파 각도로 도광체(310)의 제 1 표면(310')과 제 2 표면(310") 사이에서 반사되거나 '바운싱(bouncing)'됨으로써 안내되고 전파한다. 일부 실시 예들에서, 광의 상이한 컬러들을 포함하는 안내된 광(304)의 복수의 안내된 광빔들은 상이한 컬러별, 0이 아닌 전파 각도들 각각으로 도광체(310)에 의하여 안내될 수 있다. 도시의 간략화를 위하여 도 5a 내지 도 5c에는 0이 아닌 전파 각도가 도시되지 않았음에 유의한다. 그러나, 도 5a에서 전파 방향(303)을 묘사하는 굵은 화살표는 도광체의 길이를 따른 안내된 광(304)의 일반적인 전파 방향을 도시한다.
본 명세서에 정의된 바와 같이, '0이 아닌 전파 각도(non-zero propagation angle)'는 도광체(310)의 표면(예를 들어, 제 1 표면(310') 또는 제 2 표면(310"))에 대한 각도이다. 또한, 다양한 실시 예들에 따르면, 0이 아닌 전파 각도는 0보다 크고 도광체(310) 내의 내부 전반사의 임계각보다 작다. 예를 들어, 안내된 광(304)의 0이 아닌 전파 각도는 약 10도 내지 약 50도 사이, 또는 일부 예들에선 약 20도 내지 약 40도 사이, 또는 약 25도 내지 약 35도 사이일 수 있다. 예를 들어, 0이 아닌 전파 각도는 약 30도일 수 있다. 다른 예들에서, 0이 아닌 전파 각도는 약 20도, 또는 약 25도, 또는 약 35도일 수 있다. 또한, 도광체(310) 내의 내부 전반사의 임계각보다 작게 선택되는 한, 특정한 0이 아닌 전파 각도가 특정한 구현을 위하여 선택(예를 들어, 임의로)될 수 있다.
도광체(310) 내의 안내된 광(304)은 0이 아닌 전파 각도(예를 들어, 약 30도 내지 약 35도)로 도광체(310) 내부로 유입되거나 커플될 수 있다. 일부 예들에서, 격자, 렌즈, 거울 또는 이와 유사한 반사체(예를 들어, 경사진 시준 반사체), 회절 격자 및 프리즘(미도시) 뿐만 아니라 이의 다양한 조합들과 같은, 그러나 이에 제한되지 않는, 커플링 구조물이 안내된 광(304)으로서 0이 아닌 전파 각도로 도광체(310)의 입력 단부의 내부로 광을 커플링하는 것을 용이하게 할 수 있다. 다른 예들에서, 커플링 구조물 없이 또는 실질적으로 커플링 구조물의 이용 없이, 광은 도광체(310)의 입력 단부 내부로 직접 유입될 수 있다(즉, 직접 또는 '버트(butt)' 커플링이 이용될 수 있음). 도광체(310) 내부로 커플되면, (예를 들어, 안내된 광빔으로서) 안내된 광(304)은 일반적으로 입력 단부로부터 멀어질 수 있는 전파 방향(303)(예를 들어, 도 5a에서 x-축을 따라 가리키는 굵은 화살표들로서 도시됨)으로 도광체(310)를 따라 전파하도록 구성된다.
또한, 다양한 실시 예들에 따르면, 도광체(310) 내부로 광을 커플링함으로써 생성된 안내된 광(304)은, 또는 대등하게는 안내된 광빔은, 시준된 광빔일 수 있다. 본 명세서에서, '시준된 광(collimated light)' 또는 '시준된 광빔(collimated light beam)'은 일반적으로 광빔의 광선들이 광빔(예를 들어, 안내된 광빔) 내에서 실질적으로 서로 평행한 광의 빔으로서 정의된다. 또한 본 명세서의 정의에 의하면, 시준된 광빔으로부터 분기되거나 산란되는 광의 광선들은 시준된 광빔의 일부인 것으로 간주되지 않는다. 일부 실시 예들에서(미도시), 멀티뷰 디스플레이(300)는 예를 들어 광원으로부터의 광을 시준하기 위하여, 전술한 바와 같은 격자, 렌즈, 반사체 또는 거울과 같은 시준기(예를 들어, 경사진 시준 반사체)를 포함할 수 있다. 일부 실시 예들에서, 광원은 자체적으로 시준기를 포함한다. 어느 경우이든, 도광체(310)에 제공된 시준된 광은 시준된 안내된 광빔이다. 다양한 실시 예들에서, 안내된 광(304)은 시준 계수(σ)에 따라 시준되거나 시준 계수(σ)를 가질 수 있다. 대안적으로, 다른 실시 예들에서, 안내된 광(304)은 비-시준될 수 있다.
일부 실시 예들에서, 도광체(310)는 안내된 광(304)을 '재순환(recycle)' 시키도록 구성될 수 있다. 특히, 도광체의 길이를 따라 안내되었던 안내된 광(304)은 전파 방향(303)과는 상이한 다른 전파 방향(303')으로 도광체의 길이를 따라 다시 재지향될 수 있다. 예를 들어, 도광체(310)는 광원에 인접한 입력 단부에 대향하는 도광체(310)의 단부에 반사체(미도시)를 포함할 수 있다. 반사체는 안내된 광(304)을 재순환된 안내된 광으로서 입력 단부를 향하여 다시 반사하도록 구성될 수 있다. 일부 실시 예들에서, 광 재순환(예를 들어, 반사체를 이용하는) 대신에 또는 그에 부가하여 또 다른 광원이 다른 전파 방향(303')으로 안내된 광(304)을 제공할 수 있다. 다른 전파 방향(303')을 갖는 안내된 광(304)을 제공하기 위한 안내된 광(304)의 재순환 및 또 다른 광원의 이용 중 하나 또는 모두는, 안내된 광을, 예를 들어 후술되는 멀티빔 소자들에게, 두 번 이상 이용 가능하게 함으로써 멀티뷰 디스플레이(300)의 밝기를 증가(예를 들어, 지향성 광빔들(302)의 세기를 증가)시킬 수 있다.
도 5a에서, 재순환된 안내된 광의 전파 방향(303')을 지시하는 굵은 화살표(예를 들어, 음의 x-방향으로 향하는)는 도광체(310) 내의 재순환된 안내된 광의 일반적인 전파 방향을 도시한다. 대안적으로(예를 들어, 안내된 광을 재순환하는 것과 반대로), 다른 전파 방향(303')으로 전파하는 안내된 광(304)은, 다른 전파 방향(303')으로 광을 도광체(310) 내부로 유입시킴으로써(예를 들어, 전파 방향(303)을 갖는 안내된 광(304)에 부가하여) 제공될 수 있다.
도 5a 내지 도 5c에 도시된 바와 같이, 멀티뷰 디스플레이(300)는 도광체의 길이를 따라 서로 이격된 멀티빔 소자들(320)의 어레이를 더 포함한다. 특히, 멀티빔 소자 어레이의 멀티빔 소자들(320)은 유한한 공간만큼 서로 분리되어 있으며, 도광체의 길이를 따라 개별적이고 구분되는 소자들을 나타낸다. 즉, 본 명세서의 정의에 의하면, 멀티빔 소자 어레이의 멀티빔 소자들(320)은 유한한(즉, 0이 아닌) 소자간 거리(예를 들어, 유한한 중심간 거리)에 따라 서로 이격되어 있다. 또한, 일부 실시 예들에 따르면, 복수의 멀티빔 소자들의 멀티빔 소자들(320)은 일반적으로 서로 교차하거나, 중첩되거나 또는 다른 방식으로 접촉하지 않는다. 즉, 복수의 멀티빔 소자들의 각각의 멀티빔 소자(320)는 일반적으로 멀티빔 소자들(320)의 다른 것들로부터 구분되고 떨어져 있다.
일부 실시 예들에 따르면, 멀티빔 소자 어레이의 멀티빔 소자들(320)은 1D 어레이 또는 2D 어레이로 배열될 수 있다. 예를 들어, 멀티빔 소자들(320)은 선형 1D 어레이로 배열될 수 있다. 다른 예에서, 멀티빔 소자들(320)은 직사각형 2D 어레이 또는 원형 2D 어레이로 배열될 수 있다. 또한, 일부 예들에서, 어레이(즉, 1D 어레이 또는 2D 어레이)는 규칙적이거나 균일한 어레이일 수 있다. 특히, 멀티빔 소자들(320) 간의 소자간 거리(예를 들어, 중심간 거리 또는 간격)는 어레이에 걸쳐(across) 실질적으로 균일하거나 일정할 수 있다. 다른 예들에서, 멀티빔 소자들(320) 간의 소자간 거리는 어레이에 걸쳐 변할 수 있거나, 도광체(310)의 길이를 따라 변할 수 있거나, 또는 두 경우 모두에 대하여 변할 수 있다.
다양한 실시 예들에 따르면, 멀티빔 소자 어레이의 멀티빔 소자(320)는 안내된 광(304)의 일부를 복수의 지향성 광빔들(302)로서 제공, 커플 아웃 또는 산란시키도록 구성될 수 있다. 예를 들어, 다양한 실시 예들에 따르면, 안내된 광의 일부는 회절적 산란, 반사적 산란, 및 굴절적 산란 또는 커플링 중 하나 이상을 이용하여 커플 아웃되거나 산란될 수 있다. 도 5a 및 도 5c는 지향성 광빔들(302)을 도광체(310)의 제 1(또는 전방) 표면(310')으로부터 향하게 묘사된 복수의 분기되는 화살표들로서 도시한다. 또한, 이상에서 정의된 바와 같이 그리고 후술될 바와 같이 그리고 도 5a 내지 도 5c에 도시된 바와 같이, 다양한 실시 예들에 따르면, 멀티빔 소자(320)의 크기는 멀티뷰 픽셀(306)의 서브-픽셀(또는 대등하게는 광 밸브(330))의 크기와 유사하다. 본 명세서에서, '크기'는 길이, 폭, 또는 면적을 포함하는, 그러나 이에 제한되지 않는, 다양한 방식들 중 임의의 것으로 정의될 수 있다. 예를 들어, 서브-픽셀 또는 광 밸브(330)의 크기는 이들의 길이일 수 있고, 멀티빔 소자(320)의 유사한 크기 또한 멀티빔 소자(320)의 길이일 수 있다. 다른 예에서, 크기는 면적을 지칭할 수 있고, 멀티빔 소자(320)의 면적은 서브-픽셀(또는 대등하게는 광 밸브(330))의 면적과 유사할 수 있다.
일부 실시 예들에서, 멀티빔 소자(320)의 크기는 서브-픽셀 크기와 유사하고, 멀티빔 소자 크기는 서브-픽셀 크기의 약 50% 내지 약 200% 사이일 수 있다. 예를 들어, 멀티빔 소자의 크기를 's'로 나타내고 서브-픽셀의 크기를 'S'로 나타내면(예를 들어, 도 5a에 도시된 바와 같이), 멀티빔 소자의 크기(s)는 다음과 같이 주어질 수 있다.
Figure 112020066659211-pct00002
다른 예에서, 멀티빔 소자의 크기는 서브-픽셀 크기의 약 60%보다 큰, 또는 서브-픽셀 크기의 약 70%보다 큰, 또는 서브-픽셀 크기의 약 80%보다 큰, 또는 서브-픽셀 크기의 약 90%보다 큰 범위 내에 있을 수 있고, 그리고, 서브-픽셀 크기의 약 180% 보다 작은, 또는 서브-픽셀 크기의 약 160%보다 작은, 또는 서브-픽셀 크기의 약 140%보다 작은, 또는 서브-픽셀 크기의 약 120%보다 작은 범위 내에 있을 수 있다. 예를 들어, '유사한 크기(comparable size)'에 의하면, 멀티빔 소자의 크기는 서브-픽셀 크기의 약 75% 내지 약 150% 사이일 수 있다. 다른 예에서, 멀티빔 소자(320)는 크기면에서 서브-픽셀과 유사할 수 있고, 멀티빔 소자의 크기는 서브-픽셀의 크기의 약 125% 내지 약 85% 사이이다. 일부 실시 예들에 따르면, 멀티빔 소자(320)와 서브-픽셀의 유사한 크기들은 멀티뷰 디스플레이의 뷰들 간의 암 영역들(dark zones)을 감소시키도록, 또는 일부 예들에서는 최소화시키도록, 선택될 수 있다. 또한, 멀티빔 소자(320)와 서브-픽셀의 유사한 크기들은 멀티뷰 디스플레이의 뷰들(또는 뷰 픽셀들) 간의 중첩을 감소시키도록, 일부 예들에서는 최소화시키도록, 선택될 수 있다.
도 5a 내지 도 5c에 도시된 멀티뷰 디스플레이(300)는 복수의 지향성 광빔들의 지향성 광빔들(302)을 변조하도록 구성된 광 밸브들(330)의 어레이를 더 포함한다. 다양한 실시 예들에서, 액정 광 밸브들, 전기 영동 광 밸브들, 및 전기 습윤 기반의 광 밸브들 중 하나 이상을 포함하는, 그러나 이에 제한되지 않는, 다양한 유형들의 광 밸브들이 광 밸브 어레이의 광 밸브들(330)로서 이용될 수 있다.
도 5a 내지 도 5c에 도시된 바와 같이, 상이한 주 각도 방향들을 갖는 지향성 광빔들(302) 중 상이한 것들은 광 밸브 어레이 내의 광 밸브들(330) 중 상이한 것들을 통과하고 그에 의하여 변조된다. 또한, 도시된 바와 같이, 어레이의 광 밸브(330)는 멀티뷰 픽셀(306)의 서브-픽셀에 대응하고, 한 세트의 광 밸브들(330)은 멀티뷰 디스플레이의 멀티뷰 픽셀(306)에 대응한다. 특히, 도시된 바와 같이, 광 밸브 어레이의 상이한 세트의 광 밸브들(330)은 멀티빔 소자들(320) 중 대응하는 하나로부터 지향성 광빔들(302)을 수신하고 변조하도록 구성되며, 즉 각각의 멀티빔 소자(320)마다 하나의 고유한 세트의 광 밸브들(330)이 존재한다.
도 5a에 도시된 바와 같이, 제 1 광 밸브 세트(330a)는 제 1 멀티빔 소자(320a)로부터 지향성 광빔들(302)을 수신하고 변조하도록 구성된다. 또한, 제 2 광 밸브 세트(330b)는 제 2 멀티빔 소자(320b)로부터 지향성 광빔들(302)을 수신하고 변조하도록 구성된다. 따라서, 도 5a에 도시된 바와 같이, 광 밸브 어레이 내의 각각의 광 밸브 세트들(예를 들어, 제 1 및 제 2 광 밸브 세트들(330a, 330b))은 각각 상이한 멀티빔 소자(320)(예를 들어, 소자들(320a, 320b)) 및 상이한 멀티뷰 픽셀(306) 모두에 대응하고, 광 밸브 세트들의 개별 광 밸브들(330)은 각각의 멀티뷰 픽셀들(306)의 서브-픽셀들에 대응한다.
도 5a에 도시된 바와 같이, 멀티뷰 픽셀(306)의 서브-픽셀의 크기는 광 밸브 어레이 내의 광 밸브(330)의 크기에 대응할 수 있다는 것에 유의한다. 다른 예들에서, 서브-픽셀의 크기는 광 밸브 어레이의 인접한 광 밸브들(330) 간의 거리(예를 들어, 중심간 거리)로서 정의될 수 있다. 예를 들어, 광 밸브들(330)은 광 밸브 어레이 내의 광 밸브들(330) 간의 중심간 거리보다 작을 수 있다. 예를 들어, 서브-픽셀의 크기는 광 밸브(330)의 크기 또는 광 밸브들(330) 간의 중심간 거리에 대응하는 크기로 정의될 수 있다.
일부 실시 예들에서, 멀티빔 소자들(320)과 대응하는 멀티뷰 픽셀들(306)(즉, 서브-픽셀들의 세트들과 대응하는 광 밸브들(330)의 세트들) 간의 관계는 일대일 관계일 수 있다. 즉, 멀티뷰 픽셀들(306)의 개수와 멀티빔 소자들(320)의 개수는 동일할 수 있다. 도 5b는 상이한 세트의 광 밸브들(330)(그리고 대응하는 서브-픽셀들)을 포함하는 각각의 멀티뷰 픽셀(306)이 점선으로 둘러싸인 것으로 도시된 일대일 관계를 예로서 명시적으로 도시한다. 다른 실시 예들에서(미도시), 멀티뷰 픽셀들(306)의 개수와 멀티빔 소자들(320)의 개수는 서로 상이할 수 있다.
일부 실시 예들에서, 복수의 멀티빔 소자들 중 한 쌍의 멀티빔 소자들(320) 간의 소자간 거리(예를 들어, 중심간 거리)는, 예를 들어 광 밸브 세트들에 의해 표시되는, 대응하는 한 쌍의 멀티뷰 픽셀들(306) 간의 픽셀간 거리(예를 들어, 중심간 거리)와 동일할 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 제 1 멀티빔 소자(320a)와 제 2 멀티빔 소자(320b) 간의 중심간 거리(d)는 제 1 광 밸브 세트(330a)와 제 2 광 밸브 세트(330b) 간의 중심간 거리(D)와 실질적으로 동일할 수 있다. 다른 실시 예들에서(미도시), 멀티빔 소자들(320)들의 쌍들과 대응하는 광 밸브 세트들의 상대적인 중심간 거리들은 다를 수 있다. 예를 들어, 멀티빔 소자들(320)은 멀티뷰 픽셀들(306)을 나타내는 광 밸브 세트들 간의 간격(즉, 중심간 거리 D)보다 크거나 작은 소자간 간격(즉, 중심간 거리 d)을 가질 수 있다.
일부 실시 예들에서, 멀티빔 소자(320)의 형상은 멀티뷰 픽셀(306)의 형상과, 또는 대등하게는 멀티뷰 픽셀(306)에 대응하는 광 밸브들(330)의 세트(또는 '서브-어레이')의 형상과, 유사하다. 예를 들어, 멀티빔 소자(320)는 정사각 형상을 가질 수 있고, 멀티뷰 픽셀(306)(또는 대응하는 한 세트의 광 밸브들(330)의 배열)은 실질적으로 정사각형일 수 있다. 다른 예에서, 멀티빔 소자(320)는 직사각 형상을, 즉 폭 또는 가로 방향 치수보다 큰 길이 또는 세로 방향 치수를, 가질 수 있다. 이 예에서, 멀티빔 소자(320)에 대응하는 멀티뷰 픽셀(306)(또는 대등하게는 한 세트의 광 밸브들(330)의 배열)은 유사한 직사각형 형상을 가질 수 있다. 도 5b는 정사각 형상의 멀티빔 소자(320) 및 광 밸브들(330)의 정사각형 세트들을 포함하는 대응하는 정사각 형상의 멀티뷰 픽셀들(306)의 평면도를 도시한다. 또 다른 예들에서(미도시), 멀티빔 소자들(320) 및 대응하는 멀티뷰 픽셀들(306)은, 삼각형, 육각형 및 원형을 포함하는 또는 적어도 이러한 형상들에 근사하는, 다양한 형상들을 가질 수 있지만, 이에 제한되는 것은 아니다.
또한 (예를 들어, 도 5a에 도시된 바와 같이), 일부 실시 예들에 따르면, 각각의 멀티빔 소자(320)는 특정한 멀티뷰 픽셀(306)에 할당된 서브-픽셀들의 세트를 기반으로 주어진 시간에 단지 하나의 멀티뷰 픽셀(306)에게 지향성 광빔들(302)을 제공하도록 구성된다. 특히, 도 5a에 도시된 바와 같이, 멀티빔 소자들(320) 중 주어진 하나와 특정 멀티뷰 픽셀(306)에 대한 서브-픽셀들의 세트의 할당과 관련하여, 멀티뷰 디스플레이의 상이한 뷰들에 대응하는 상이한 주 각도 방향들을 갖는 지향성 광빔들(302)은 하나의 대응하는 멀티뷰 픽셀(306)과 이의 서브-픽셀들에, 즉 멀티빔 소자(320)에 대응하는 한 세트의 광 밸브들(330)에, 실질적으로 국한된다. 이와 같이, 멀티뷰 디스플레이(300)의 각각의 멀티빔 소자(320)는 멀티뷰 디스플레이(300)의 상이한 뷰들에 대응하는 한 세트의 상이한 주 각도 방향들을 갖는 대응하는 한 세트의 지향성 광빔들(302)을 제공한다(즉, 한 세트의 지향성 광빔들(302)은 상이한 뷰 방향들 각각에 대응하는 방향을 갖는 광빔을 포함함).
도시된 바와 같이, 멀티뷰 디스플레이(300)는 광원(340)을 더 포함할 수 있다. 다양한 실시 예들에 따르면, 광원(340)은 도광체(310) 내에서 안내될 광을 제공하도록 구성될 수 있다. 특히, 광원(340)은 도광체(310)의 입구 표면 또는 단부(입력 단부)에 인접하여 위치할 수 있다. 다양한 실시 예들에서, 광원(340)은 LED, 레이저(예를 들어, 레이저 다이오드) 또는 이들의 조합을 포함하는, 그러나 이에 제한되지 않는, 실질적으로 임의의 광의 원천(예를 들어, 광학 방출기)을 포함할 수 있다. 일부 실시 예들에서, 광원(340)은 특정한 컬러로 나타나는 협대역 스펙트럼을 갖는 실질적으로 단색광(monochromatic light)을 생성하도록 구성된 광학 방출기를 포함할 수 있다. 특히, 단색광의 컬러는 특정한 색 공간 또는 색 모델(예를 들어, 적-녹-청(red-green-blue; RGB) 색 모델)의 원색일 수 있다. 다른 예들에서, 광원(340)은 실질적으로 광대역 또는 다색의(polychromatic) 광을 제공하도록 구성된 실질적으로 광대역 광원일 수 있다. 예를 들어, 광원(340)은 백색광을 제공할 수 있다. 일부 실시 예들에서, 광원(340)은 광의 상이한 컬러들을 제공하도록 구성된 복수의 상이한 광학 방출기들을 포함할 수 있다. 상이한 광학 방출기들은 광의 상이한 컬러들 각각에 대응하는 안내된 광의 상이한, 컬러별, 0이 아닌 전파 각도들을 갖는 광을 제공하도록 구성될 수 있다.
일부 실시 예들에서, 광원(340)은 시준기를 더 포함할 수 있다. 시준기는 광원(340)의 광학 방출기들 중 하나 이상으로부터 실질적으로 비-시준된(uncollimated) 광을 수신하도록 구성될 수 있다. 또한, 시준기는 실질적으로 비-시준된 광을 시준된 광으로 변환하도록 구성될 수 있다. 특히, 일부 실시 예들에 따르면, 시준기는, 0이 아닌 전파 각도를 가지며 정해진 시준 계수(σ)에 따라 시준되는, 시준된 광을 제공할 수 있다. 또한, 상이한 컬러들의 광학 방출기들이 이용되는 경우, 시준기는 상이한, 컬러별, 0이 아닌 전파 각도들 및 상이한 컬러별 시준 계수들 중 하나 또는 모두를 갖는 시준된 광을 제공하도록 구성될 수 있다. 또한, 시준기는 전술한 안내된 광(304)으로서 전파될 수 있도록 시준된 광빔을 도광체(310)에게 전달하도록 구성된다.
일부 실시 예들에서, 멀티뷰 디스플레이(300)는 안내된 광(304)의 전파 방향(303, 303')에 직교하는(또는 실질적으로 직교하는) 도광체(310)를 관통하는 방향에서 광에 대하여 실질적으로 투명하게 구성된다. 특히, 일부 실시 예들에서, 도광체(310) 및 이격된 멀티빔 소자들(320)은 제 1 표면(310') 및 제 2 표면(310'') 모두를 통하여 광이 도광체(310)를 통과할 수 있도록 한다. 투명화(transparency)는, 적어도 부분적으로, 멀티빔 소자들(320)의 비교적 작은 크기 및 멀티빔 소자(320)의 비교적 큰 소자간 간격(예를 들어, 멀티뷰 픽셀들(306)과의 일대일 대응) 모두에 기인하여 용이해질 수 있다. 또한, 일부 실시 예들에 따르면, 멀티빔 소자들(320)은 도광체의 표면들(310', 310'')에 직교하게 전파하는 광에 대하여도 실질적으로 투명할 수 있다.
다양한 실시 예들에 따르면, 안내된 광빔(304)을 지향성 광빔들(302)로서 산란시키기 위하여 도광체(310)에 광학적으로 연결된 회절 격자들, 미세 반사 소자들 및/또는 미세 굴절 소자들을 포함하는, 매우 다양한 광학 구성 요소들이 지향성 광빔들(302)을 생성하는 데 이용될 수 있다. 이러한 광학적 구성 요소들은 도광체(310)의 제 1 표면(310'), 제 2 표면(310'') 또는 심지어 제 1 및 제 2 표면들(310', 310'') 사이에 위치할 수 있음에 유의한다. 또한, 일부 실시 예들에 따르면, 광학적 구성 요소는 제 1 표면(310') 또는 제 2 표면(310'')으로부터 돌출되는 '양성 특징(positive feature)'이거나, 또는 제 1 표면(310') 또는 제 2 표면(310'')으로부터 오목한 '음성 특징(negative feature)'일 수 있다.
일부 실시 예들에서, 도광체(310), 멀티빔 소자들(320), 광원(340) 및/또는 선택적인 시준기는 멀티뷰 백라이트로서 기능할 수 있다. 이러한 멀티뷰 백라이트는 멀티뷰 디스플레이(300)의 광 밸브 어레이와 함께, 예를 들어 멀티뷰 디스플레이(230)로서 이용될 수 있다. 예를 들어, 멀티뷰 백라이트는, 전술한 바와 같이, 멀티뷰 이미지(208)의 지향성 뷰들을 제공하기 위하여 멀티뷰 백라이트에 의하여 제공되는 지향성 광빔들(302)을 변조하는 광 밸브들(330)의 어레이에 대한 광의 원천(종종 패널 백라이트로서)으로서 기능할 수 있다.
일부 실시 예들에서, 멀티뷰 디스플레이(300)는 광각 백라이트를 더 포함할 수 있다. 특히, 멀티뷰 디스플레이(300)(또는 크로스-렌더 멀티뷰 시스템(200)의 멀티뷰 디스플레이(230))는 전술한 멀티뷰 백라이트에 부가하여 광각 백라이트를 포함할 수 있다. 예를 들어, 광각 백라이트는 멀티뷰 백라이트에 인접할 수 있다.
도 6은 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 광각 백라이트(350)를 포함하는 멀티뷰 디스플레이(300)의 단면도를 도시한다. 도시된 바와 같이, 광각 백라이트(350)는 제 1 모드 동안 광각 방출광(broad-angle emitted light)(352)을 제공하도록 구성된다. 다양한 실시 예들에 따르면, 멀티뷰 백라이트(예를 들어, 도광체(310), 멀티빔 소자들(320), 및 광원(340))는 지향성 방출광을 제 2 모드 동안 지향성 광빔들(302)로서 제공하도록 구성될 수 있다. 또한, 광 밸브들의 어레이는 제 1 모드 동안 2차원(2D) 이미지를 제공하기 위하여 광각 방출광(352)을 변조하도록 구성되고, 제 2 모드 동안 멀티뷰 이미지를 제공하기 위하여 지향성 방출광(또는 지향성 광빔들(302))을 변조하도록 구성된다. 예를 들어, 도 6에 도시된 멀티뷰 디스플레이(300)가 크로스-렌더 멀티뷰 시스템(200)의 멀티뷰 디스플레이(230)로서 이용되는 경우, 멀티뷰 카메라 어레이(210)의 카메라들 또는 카메라에 의하여 2차원(2D) 이미지가 캡처될 수 있다. 이와 같이, 일부 실시 예들에 따르면, 2D 이미지는 제 2 모드 동안 장면(202)의 지향성 뷰들 중 하나를 간단히 나타낼 수 있다.
도 6의 좌측에 도시된 바와 같이, 멀티뷰 이미지(MULTIVIEW)는 멀티빔 소자들(320)을 이용하여 도광체(310)로부터 산란되는 지향성 광빔들(302)을 제공하기 위하여 광원(340)을 활성화시킴으로써 멀티뷰 백라이트를 이용하여 제공될 수 있다. 대안적으로, 도 5의 우측에 도시된 바와 같이, 2D이미지는 광원(340)을 비활성화시키고 광각 방출광(352)을 광 밸브들(330)의 어레이에 제공하기 위하여 광각 백라이트(350)를 활성화시킴으로써 제공될 수 있다. 이와 같이, 다양한 실시 예들에 따르면, 광각 백라이트(350)를 포함하는 멀티뷰 디스플레이(300)는 멀티뷰 이미지의 디스플레이 및 2D 이미지의 디스플레이 간에 전환될 수 있다.
본 명세서에 설명된 원리들의 다른 실시 예들에 따르면, 크로스-렌더 멀티뷰 이미징 방법이 제공된다. 도 7은 본 명세서에 설명된 원리들에 일치하는 일 실시 예에 따른 일 예로서 크로스-렌더 멀티뷰 이미징 방법(400)의 흐름도를 도시한다. 도 7에 도시된 바와 같이, 크로스-렌더 멀티뷰 이미징 방법(400)은, 제 1 축을 따라 서로 이격된 복수의 카메라들을 이용하여 장면의 복수의 이미지들을 캡처(410)하는 단계를 포함한다. 일부 실시 예들에서, 복수의 이미지들 및 복수의 카메라들은, 각각 크로스-렌더 멀티뷰 카메라(100)의 복수의 이미지들(104) 및 복수의 카메라들(110)과 실질적으로 유사할 수 있다. 마찬가지로, 일부 실시 예들에서, 장면은 장면(102)과 실질적으로 유사할 수 있다.
도 7에 도시된 크로스-렌더 멀티뷰 이미징 방법(400)은 복수의 이미지들로부터 결정된 장면의 차이 맵을 이용하여 장면의 합성 이미지를 생성(420)하는 단계를 더 포함한다. 다양한 실시 예들에 따르면, 합성 이미지는 제 1 축으로부터 변위된 제 2 축 상의 가상 카메라의 위치에 대응하는 시점으로부터의 장면의 뷰를 나타낸다. 일부 실시 예들에서, 이미지 합성기는 전술한 크로스-렌더 멀티뷰 카메라(100)의 이미지 합성기(120)와 실질적으로 유사할 수 있다. 특히, 다양한 실시 예들에 따르면, 이미지 합성기는 복수의 이미지들의 이미지들로부터 차이 맵을 결정할 수 있다.
일부 실시 예들에서(미도시), 크로스-렌더 멀티뷰 이미징 방법(400)은 차이 맵 및 합성 이미지 중 하나 또는 모두에 홀 채움을 하는 단계를 더 포함할 수 있다. 예를 들어, 홀 채움은 이미지 합성기에 의하여 구현될 수 있다.
일부 실시 예들에서, 복수의 카메라들은 장면의 스테레오 쌍의 이미지들을 캡처하도록 구성된 한 쌍의 카메라들을 포함할 수 있다. 이러한 실시 예들에서, 차이 맵은 스테레오 쌍의 이미지들을 이용하여 결정될 수 있다. 또한, 합성 이미지를 생성(420)하는 단계는, 유사한 복수의 가상 카메라들의 위치들에 대응하는 시점들로부터의 장면의 뷰들을 나타내는 복수의 합성 이미지들을 생성할 수 있다.
일부 실시 예들에서(미도시), 크로스-렌더 멀티뷰 이미징 방법(400)은 멀티뷰 디스플레이를 이용하여 합성 이미지를 멀티뷰 이미지의 뷰로서 디스플레이하는 단계를 더 포함한다. 특히, 멀티뷰 이미지는, 멀티뷰 디스플레이에 의하여 디스플레이되는 멀티뷰 이미지의 상이한 뷰들을 나타내는 하나 이상의 합성 이미지를 포함할 수 있다. 또한, 멀티뷰 이미지는 복수의 이미지들 중 하나 이상의 이미지를 나타내는 뷰들을 포함할 수 있다. 예를 들어, 멀티뷰 이미지는 도 3a에 도시된 바와 같은 스테레오 쌍의 합성 이미지들을 포함할 수 있거나, 도 3b에 도시된 바와 같은 스테레오 쌍의 합성 이미지들과 복수의 이미지들 중 한 쌍의 이미지들을 포함할 수 있다. 일부 실시 예들에서, 멀티뷰 디스플레이는 전술한 크로스-렌더 멀티뷰 시스템(200)의 멀티뷰 디스플레이(230)와 실질적으로 유사할 수도 있고, 또는 전술한 멀티뷰 디스플레이(300)와 실질적으로 유사할 수 있다.
이상에서는, 복수의 카메라들에 의하여 캡처된 이미지들의 차이/깊이 맵으로부터 합성 이미지를 제공하는 크로스-렌더 멀티뷰 카메라, 크로스-렌더 멀티뷰 시스템 및 크로스-렌더 멀티뷰 이미징 방법의 예들 및 실시 예들이 설명되었다. 전술한 예들은 단지 본 명세서에 설명된 원리들을 나타내는 많은 구체적인 예들 중 일부를 예시하는 것임을 이해하여야 한다. 명백히, 당업자는 다음의 청구 범위에 의하여 정의되는 범위를 벗어나지 않고 수 많은 다른 구성들을 쉽게 고안할 수 있다.

Claims (20)

  1. 크로스-렌더(cross-render) 멀티뷰(multiview) 카메라로서,
    제 1 축을 따라 서로 이격되며, 장면의 복수의 이미지들을 캡처하도록 구성된 복수의 카메라들; 및
    상기 복수의 이미지들로부터 결정되는 상기 장면의 차이 맵(disparity map)을 이용하여 상기 장면의 합성 이미지를 생성하도록 구성된 이미지 합성기를 포함하되,
    상기 합성 이미지는 상기 제 1 축으로부터 변위된 제 2 축 상의 가상 카메라의 위치에 대응하는 시점으로부터의 상기 장면의 뷰를 나타내는
    크로스-렌더 멀티뷰 카메라.
  2. 제 1 항에 있어서,
    상기 제 2 축은, 상기 제 1 축에 수직인
    크로스-렌더 멀티뷰 카메라.
  3. 제 1 항에 있어서,
    상기 이미지 합성기는 상기 차이 맵을 이용하여 복수의 합성 이미지들을 제공하도록 구성되고,
    상기 복수의 합성 이미지들 중 각각의 합성 이미지는, 상기 복수의 합성 이미지들 중 다른 합성 이미지들에 비하여 상기 장면의 상이한 시점으로부터의 상기 장면의 뷰를 나타내는
    크로스-렌더 멀티뷰 카메라.
  4. 제 1 항에 있어서,
    상기 복수의 카메라들은 스테레오 카메라로서 구성된 한 쌍의 카메라들을 포함하고,
    상기 스테레오 카메라에 의하여 캡처된 상기 장면의 상기 복수의 이미지들은 상기 장면의 스테레오 쌍의 이미지들(a stereo pair of images)을 포함하며,
    상기 이미지 합성기는 복수의 가상 카메라들의 위치들에 대응하는 시점들로부터의 상기 장면의 뷰들을 나타내는 복수의 합성 이미지들을 제공하도록 구성된
    크로스-렌더 멀티뷰 카메라.
  5. 제 4 항에 있어서,
    상기 제 1 축은 수평 축이고,
    상기 제 2 축은 상기 수평 축에 직교하는 수직 축이며,
    상기 스테레오 쌍의 이미지들은 상기 수평 축에 대응하는 수평 방향으로 배열되고,
    상기 복수의 합성 이미지들은 상기 수직 축에 대응하는 수직 방향으로 배열된 한 쌍의 합성 이미지들을 포함하는
    크로스-렌더 멀티뷰 카메라.
  6. 제 1 항에 있어서,
    상기 이미지 합성기는, 상기 차이 맵에 홀 채움(hole-filling)을 제공하도록 더 구성된
    크로스-렌더 멀티뷰 카메라.
  7. 제 1 항의 크로스-렌더 멀티뷰 카메라를 포함하는 크로스-렌더 멀티뷰 시스템으로서,
    상기 합성 이미지를 상기 장면을 나타내는 멀티뷰 이미지의 뷰로서 디스플레이하도록 구성된 멀티뷰 디스플레이를 더 포함하는
    크로스-렌더 멀티뷰 시스템.
  8. 제 7 항에 있어서,
    상기 멀티뷰 디스플레이는, 상기 복수의 카메라들의 카메라들로부터의 상기 복수의 이미지들을 상기 멀티뷰 이미지의 다른 뷰들로서 디스플레이하도록 더 구성된
    크로스-렌더 멀티뷰 시스템.
  9. 크로스-렌더 멀티뷰 시스템으로서,
    제 1 축을 따라 서로 이격된 카메라들을 가지며, 장면의 복수의 이미지들을 캡처하도록 구성된 멀티뷰 카메라 어레이;
    상기 복수의 이미지들로부터 결정되는 차이 맵을 이용하여 상기 장면의 합성 이미지를 생성하도록 구성된 이미지 합성기; 및
    상기 합성 이미지를 포함하는 상기 장면의 멀티뷰 이미지를 디스플레이하도록 구성된 멀티뷰 디스플레이를 포함하되,
    상기 합성 이미지는 상기 제 1 축에 직교하는 제 2 축 상에 위치한 가상 카메라에 대응하는 시점으로부터의 상기 장면의 뷰를 나타내는
    크로스-렌더 멀티뷰 시스템.
  10. 제 9 항에 있어서,
    상기 멀티뷰 카메라 어레이는 상기 장면의 스테레오 쌍의 이미지들을 제공하도록 구성된 한 쌍의 카메라들을 포함하고,
    상기 차이 맵은 상기 스테레오 쌍의 이미지들을 이용하여 상기 이미지 합성기에 의하여 결정되는
    크로스-렌더 멀티뷰 시스템.
  11. 제 9 항에 있어서,
    상기 이미지 합성기는 상기 장면의 한 쌍의 합성 이미지들을 제공하도록 구성되고,
    상기 멀티뷰 이미지는 상기 복수의 이미지들 중 한 쌍의 이미지들 및 상기 한 쌍의 합성 이미지들을 포함하는
    크로스-렌더 멀티뷰 시스템.
  12. 제 9 항에 있어서,
    상기 이미지 합성기는 원격 프로세서로 구현되고,
    상기 복수의 이미지들은 상기 크로스-렌더 멀티뷰 시스템에 의하여 상기 원격 프로세서로 전송되며,
    상기 합성 이미지는 상기 크로스-렌더 멀티뷰 시스템에 의하여 상기 원격 프로세서로부터 수신되고 상기 멀티뷰 디스플레이를 이용하여 디스플레이되는
    크로스-렌더 멀티뷰 시스템.
  13. 제 9 항에 있어서,
    상기 멀티뷰 디스플레이는,
    광을 안내하도록 구성된 도광체;
    서로 이격되고, 상기 도광체로부터의 안내된 광을 상기 멀티뷰 이미지의 뷰 방향들에 대응하는 방향들을 갖는 지향성 광빔들로서 산란시키도록 구성된 멀티빔 소자들의 어레이; 및
    상기 멀티뷰 이미지를 제공하기 위하여 상기 지향성 광빔들을 변조하도록 구성된 광 밸브 어레이를 포함하되,
    상기 멀티빔 소자들의 어레이의 멀티빔 소자는, 상기 광 밸브 어레이의 광 밸브의 크기와 유사한 크기 및 상기 멀티빔 소자와 관련된 멀티뷰 픽셀의 형상과 유사한 형상을 갖는
    크로스-렌더 멀티뷰 시스템.
  14. 제 13 항에 있어서,
    상기 멀티빔 소자들의 어레이의 상기 멀티빔 소자는, 상기 안내된 광을 상기 지향성 광빔들로서 산란시키기 위하여 상기 도광체에 광학적으로 연결된 회절 격자, 미세 반사 소자 및 미세 굴절 소자 중 하나 이상을 포함하는
    크로스-렌더 멀티뷰 시스템.
  15. 제 13 항에 있어서,
    상기 멀티뷰 디스플레이는 상기 도광체의 입력에 광학적으로 결합된 광원을 더 포함하고,
    상기 광원은, 0이 아닌 전파 각도를 갖는 것 및 정해진 시준 계수에 따라 시준되는 것 중 하나 또는 모두에 해당하는 상기 안내된 광을 제공하도록 구성된
    크로스-렌더 멀티뷰 시스템.
  16. 제 13 항에 있어서,
    상기 멀티뷰 디스플레이는 제 1 모드 동안 광각 방출광을 제공하도록 구성된 광각 백라이트를 더 포함하고,
    상기 도광체 및 상기 멀티빔 소자 어레이는 제 2 모드 동안 상기 지향성 광빔들을 제공하도록 구성되며,
    상기 광 밸브 어레이는, 상기 제 1 모드 동안 2차원 이미지를 제공하기 위하여 상기 광각 방출광을 변조하고, 상기 제 2 모드 동안 상기 멀티뷰 이미지를 제공하기 위하여 상기 지향성 광빔들을 변조하도록 구성된
    크로스-렌더 멀티뷰 시스템.
  17. 크로스-렌더 멀티뷰 이미징(imaging) 방법으로서,
    제 1 축을 따라 서로 이격된 복수의 카메라들을 이용하여 장면의 복수의 이미지들을 캡처하는 단계; 및
    상기 복수의 이미지들로부터 결정되는 상기 장면의 차이 맵을 이용하여 상기 장면의 합성 이미지를 생성하는 단계를 포함하되,
    상기 합성 이미지는 상기 제 1 축으로부터 변위된 제 2 축 상의 가상 카메라의 위치에 대응하는 시점으로부터의 상기 장면의 뷰를 나타내는
    방법.
  18. 제 17 항에 있어서,
    상기 차이 맵에 홀 채움(hole-filling)을 제공하는 단계를 더 포함하는
    방법.
  19. 제 17 항에 있어서,
    상기 복수의 카메라들은 상기 장면의 스테레오 쌍의 이미지들을 캡처하도록 구성된 한 쌍의 카메라들을 포함하고,
    상기 차이 맵은 상기 스테레오 쌍의 이미지들을 이용하여 결정되며,
    상기 합성 이미지를 생성하는 단계는, 유사한 복수의 가상 카메라들의 위치들에 대응하는 시점들로부터의 상기 장면의 뷰들을 나타내는 복수의 합성 이미지들을 생성하는
    방법.
  20. 제 17 항에 있어서,
    멀티뷰 디스플레이를 이용하여 상기 합성 이미지를 멀티뷰 이미지의 뷰로서 디스플레이하는 단계를 더 포함하는
    방법.
KR1020207018693A 2017-12-20 2018-12-08 크로스-렌더 멀티뷰 카메라, 시스템 및 방법 KR102309397B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762608551P 2017-12-20 2017-12-20
US62/608,551 2017-12-20
PCT/US2018/064632 WO2019125793A1 (en) 2017-12-20 2018-12-08 Cross-render multiview camera, system, and method

Publications (2)

Publication Number Publication Date
KR20200083653A KR20200083653A (ko) 2020-07-08
KR102309397B1 true KR102309397B1 (ko) 2021-10-06

Family

ID=66992796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018693A KR102309397B1 (ko) 2017-12-20 2018-12-08 크로스-렌더 멀티뷰 카메라, 시스템 및 방법

Country Status (8)

Country Link
US (1) US20200322590A1 (ko)
EP (1) EP3729804A4 (ko)
JP (1) JP7339259B2 (ko)
KR (1) KR102309397B1 (ko)
CN (1) CN111527749A (ko)
CA (1) CA3085185C (ko)
TW (1) TWI695189B (ko)
WO (1) WO2019125793A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183638B (zh) * 2017-10-02 2022-06-17 镭亚股份有限公司 具有带有共享相机的相机子阵列的多视图相机阵列、多视图***及方法
CA3134527C (en) 2019-04-22 2023-12-12 Leia Inc. Time-multiplexed backlight, multiview display, and method
CN110393916B (zh) * 2019-07-26 2023-03-14 腾讯科技（深圳）有限公司 视角转动的方法、装置、设备及存储介质
US11815679B2 (en) 2021-04-16 2023-11-14 Industrial Technology Research Institute Method, processing device, and display system for information display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192148A1 (en) * 2011-08-15 2014-07-10 Telefonaktiebolaget L M Ericsson (Publ) Encoder, Method in an Encoder, Decoder and Method in a Decoder for Providing Information Concerning a Spatial Validity Range
WO2017041073A1 (en) * 2015-09-05 2017-03-09 Leia Inc. Multiview display with head tracking

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3032414B2 (ja) * 1993-10-29 2000-04-17 キヤノン株式会社 画像処理方法および画像処理装置
JP2001256482A (ja) * 2000-03-08 2001-09-21 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法
JP4363224B2 (ja) * 2004-03-04 2009-11-11 ソニー株式会社 立体表示装置および立体表示方法
JP2006030753A (ja) * 2004-07-20 2006-02-02 Matsushita Electric Ind Co Ltd 三次元画像表示装置
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
JP4780046B2 (ja) * 2007-06-19 2011-09-28 日本ビクター株式会社 画像処理方法、画像処理装置及び画像処理プログラム
TW201004361A (en) * 2008-07-03 2010-01-16 Univ Nat Cheng Kung Encoding device and method thereof for stereoscopic video
CN101754042B (zh) * 2008-10-30 2012-07-11 华为终端有限公司 图像重构方法和图像重构***
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2011121920A1 (ja) * 2010-03-30 2011-10-06 パナソニック株式会社 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法
JP5468482B2 (ja) * 2010-07-14 2014-04-09 シャープ株式会社 画像撮像装置
JP5269027B2 (ja) * 2010-09-30 2013-08-21 株式会社東芝 三次元画像表示装置および画像処理装置
JP4807537B2 (ja) * 2010-12-01 2011-11-02 株式会社 日立ディスプレイズ 表示装置
JP5464280B2 (ja) 2010-12-28 2014-04-09 コニカミノルタ株式会社 情報処理装置および情報処理方法
GB201106111D0 (en) * 2011-04-11 2011-05-25 Mccormick Malcolm Rendering images for autostereoscopic display
JP2012237961A (ja) * 2011-04-28 2012-12-06 Sony Corp 表示装置および電子機器
JP2012235338A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理方法、画像処理装置及び表示装置
US9041771B2 (en) * 2011-06-08 2015-05-26 City University Of Hong Kong Automatic switching of a multi-mode display for displaying three-dimensional and two-dimensional images
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
JP5708395B2 (ja) * 2011-09-16 2015-04-30 株式会社Ｊｖｃケンウッド 映像表示装置及び映像表示方法
US9401041B2 (en) 2011-10-26 2016-07-26 The Regents Of The University Of California Multi view synthesis method and display devices with spatial and inter-view consistency
CA2861868A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
KR20150120659A (ko) * 2014-04-18 2015-10-28 한국과학기술원 다시점 컨텐츠의 생성 방법 및 장치
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
EP3243093A4 (en) * 2015-01-10 2018-09-19 LEIA Inc. Diffraction grating-based backlighting having controlled diffractive coupling efficiency
JP6567058B2 (ja) * 2015-01-10 2019-08-28 レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． ２次元／３次元（２ｄ／３ｄ）切り替え可能ディスプレイバックライトおよび電子ディスプレイ
WO2017204840A1 (en) * 2016-05-23 2017-11-30 Leia Inc. Diffractive multibeam element-based backlighting
CN105895023B (zh) * 2016-06-03 2019-03-15 深圳市华星光电技术有限公司 微机电光阀、显示屏和显示装置
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US10530751B2 (en) 2017-03-06 2020-01-07 The Boeing Company Virtual transponder utilizing inband telemetry

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192148A1 (en) * 2011-08-15 2014-07-10 Telefonaktiebolaget L M Ericsson (Publ) Encoder, Method in an Encoder, Decoder and Method in a Decoder for Providing Information Concerning a Spatial Validity Range
WO2017041073A1 (en) * 2015-09-05 2017-03-09 Leia Inc. Multiview display with head tracking

Also Published As

Publication number Publication date
US20200322590A1 (en) 2020-10-08
WO2019125793A1 (en) 2019-06-27
EP3729804A4 (en) 2021-11-10
EP3729804A1 (en) 2020-10-28
KR20200083653A (ko) 2020-07-08
TWI695189B (zh) 2020-06-01
CA3085185A1 (en) 2019-06-27
CN111527749A (zh) 2020-08-11
JP7339259B2 (ja) 2023-09-05
TW201930960A (zh) 2019-08-01
CA3085185C (en) 2024-04-09
JP2021508965A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US10728533B2 (en) Multibeam diffraction grating-based near-eye display
KR102309395B1 (ko) 공유 카메라를 구비하는 카메라 서브-어레이들을 갖는 멀티뷰 카메라 어레이, 멀티뷰 시스템, 및 방법
KR102309397B1 (ko) 크로스-렌더 멀티뷰 카메라, 시스템 및 방법
EP3326358B1 (en) Multiview camera
EP3729168A1 (en) Multibeam element-based near-eye display, system, and method
KR102609200B1 (ko) 다방향 백라이트, 다중 사용자 멀티뷰 디스플레이 및 방법
KR20210052574A (ko) 홀로그래픽 현실 시스템, 멀티뷰 디스플레이 및 방법
KR20210069729A (ko) 광학 마스크 소자들을 갖는 멀티뷰 백라이트, 디스플레이 및 방법
TW202014761A (zh) 具有使用者追蹤功能的多視像顯示器、系統和方法
KR102586385B1 (ko) 컨텍스트적 광 필드 디스플레이 시스템, 멀티뷰 디스플레이 및 방법
KR102609196B1 (ko) 동적으로 재구성 가능한 멀티뷰 픽셀들을 갖는 멀티뷰 디스플레이 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant