KR102491749B1 - 파노라마 입체 이미징 시스템 - Google Patents

파노라마 입체 이미징 시스템 Download PDF

Info

Publication number
KR102491749B1
KR102491749B1 KR1020177025129A KR20177025129A KR102491749B1 KR 102491749 B1 KR102491749 B1 KR 102491749B1 KR 1020177025129 A KR1020177025129 A KR 1020177025129A KR 20177025129 A KR20177025129 A KR 20177025129A KR 102491749 B1 KR102491749 B1 KR 102491749B1
Authority
KR
South Korea
Prior art keywords
reflector
light
camera
optical system
external
Prior art date
Application number
KR1020177025129A
Other languages
English (en)
Other versions
KR20170123635A (ko
Inventor
마이클 해리 로즈
조나단 엠마뉴엘 로즈
브라이언 즈아 코블러
Original Assignee
아카이브 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아카이브 코퍼레이션 filed Critical 아카이브 코퍼레이션
Publication of KR20170123635A publication Critical patent/KR20170123635A/ko
Application granted granted Critical
Publication of KR102491749B1 publication Critical patent/KR102491749B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/143—Beam splitting or combining systems operating by reflection only using macroscopically faceted or segmented reflective surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

파노라마 입체 이미징용 광학 시스템은 광을 카메라로 반사시키도록 구성될 수 있는, 외부 반사기 및 내부 반사기를 포함할 수 있다. 상기 외부 반사기는, (예를 들어, 입체 3D 보기에 적합한) 서로 평행하고 오프셋된 제1 및 제2 광선이 각각의 상기 외부 반사기 및 내부 반사기에 의해 상기 카메라로 반사될 수 있도록 상기 카메라로 반사되는 광을 편향시키는 스트라이에이션들 또는 다른 반사 요소들을 포함할 수 있다. 상기 외부 반사기는 부분적으로 반사성이고 부분적으로 투과성이어서 일부 광은 상기 외부 반사기를 통과하여 상기 내부 반사기에 의해 상기 카메라로 반사될 수 있다. 상기 카메라는 상기 내부 반사기에 의해 생성된 뷰에 대응하는 제1 부분 및 상기 외부 반사기에 의해 생성된 입체적으로 오프셋된 뷰에 대응하는 제2 부분을 갖는 단일 이미지를 캡처할 수 있다.

Description

파노라마 입체 이미징 시스템
관련 출원에 대한 상호 참조
본 출원은 미국 가특허 출원 제62/126,660호(출원일: 2015년 3월 1일, 발명의 명칭: "GLOBAL PANORAMIC STEREOSCOPIC 3D PHOTOGRAPHY")의 35 U.S.C.§ 119(e) 하의 이익을 주장하며, 이의 전체 내용은 본 명세서에 편입된다.
기술분야
본 명세서에 개시된 일부 실시예는 입체 파노라마 이미지 캡처 시스템과 같은 이미지 캡처 시스템에 관한 것이다.
다양한 이미지 캡처 시스템이 이용 가능하지만, 특히 입체 파노라마 이미지 캡처 시스템을 위한 개선된 이미지 캡처 시스템이 요구된다.
특정 예시적인 실시예들이 이하에 간략히 제시된다. 추가적인 실시예는 본 명세서의 다른 곳에서 개시된다.
본 명세서에 개시된 다양한 실시예는 파노라마 입체 이미징을 위한 광학 시스템과 관련될 수 있다. 상기 광학 시스템은 카메라, 외부 반사기, 내부 반사기를 포함할 수 있다. 상기 외부 반사기는 넓은 단부 및 좁은 단부를 갖는 일반적으로 포물면 형상의 주 구조부(major structure)를 포함할 수 있으며, 상기 좁은 단부는 상기 카메라를 향할 수 있다. 상기 외부 반사기는 상기 좁은 단부에 구멍(hole)을 포함할 수 있다. 상기 외부 반사기는 상기 넓은 단부로부터 상기 좁은 단부로 연장되는 복수의 스트라이에이션(striation)을 포함할 수 있다. 상기 외부 반사기는 부분적으로 반사성이고 부분적으로 투과성일 수 있으며, 상기 외부 반사기는 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 내부 반사기는 넓은 단부와 좁은 단부를 갖는 일반적으로 포물면 형상의 반사 표면을 포함할 수 있다. 상기 좁은 단부는 상기 카메라를 향할 수 있다. 상기 내부 반사기는 상기 외부 반사기 내에 있을 수 있다. 상기 내부 반사기는 상기 외부 반사기를 통해 투과된 광을 반사하도록 구성될 수 있다. 상기 내부 반사기는 상기 광을 상기 외부 반사기의 상기 좁은 단부에 있는 상기 구멍을 통해 상기 카메라로 반사하도록 구성될 수 있다.
상기 내부 반사기는 광을 반사시켜 원형의 내부 이미지 부분을 상기 카메라에 제공하도록 구성될 수 있고, 상기 외부 반사기는 광을 반사시켜 외부 이미지 부분을 상기 내부 이미지 부분 주위의 링으로서 상기 카메라에 제공하도록 구성될 수 있다. 상기 스트라이에이션들은, 상기 광을 상기 카메라로 반사하도록 구성된 가시적인 면(visible face), 및 상기 카메라에 보이지 않는 은닉된 면(hidden face)을 포함할 수 있다. 상기 스트라이에이션들은 상기 외부 반사기 주위에 나선형으로 비틀어져(twisted) 있을 수 있다. 상기 스트라이에이션들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 경로를 따라 진행하는 축외(off-axis) 광을 수신하고, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상(on-axis) 경로를 갖도록 반사에 의해 상기 광을 편향(turn)시키도록 구성될 수 있다.
상기 내부 반사기는, 제1 광 경로를 따라 진행하는 제1 광을 수신하고, 상기 제1 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 외부 반사기는 상기 제1 광 경로와 평행하고 오프셋 거리만큼 상기 제1 광 경로로부터 이격된 제2 광 경로를 따라 진행하는 제2 광을 수신하도록 구성될 수 있으며, 상기 외부 반사기는 상기 제2 광을 상기 카메라로 반사하도록 구성될 수 있다. 상기 내부 반사기는, 상기 제1 광 경로보다 낮은 제3 광 경로를 따라 진행하는 제3 광을 수신하고, 상기 제3 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 외부 반사기는 상기 제2 광 경로보다 낮은 제4 광 경로를 따라 진행하는 제4 광을 수신하도록 구성될 수 있으며, 상기 제4 광 경로는 상기 제3 광 경로와 평행하고 동일한 상기 오프셋 거리만큼 상기 제3 경로로부터 이격될 수 있다. 상기 외부 반사기는 상기 제4 광을 상기 카메라로 반사시키도록 구성될 수 있다. 물체로부터 상기 내부 반사기로 그리고 상기 카메라로 가는 상기 제1 광의 광 경로 길이는 상기 물체로부터 상기 외부 반사기로 그리고 상기 카메라로 상기 제2 광의 광 경로 길이와 동일한 거리일 수 있다.
상기 광학 시스템은 상기 외부 반사기의 외부 측 상에 외부 기판 재료를 포함할 수 있고, 상기 외부 기판 재료는 상기 외부 반사기를 통해 투과된 광을 굴절시키도록 구성될 수 있다. 상기 외부 기판 재료는 상기 광을 제1 방향으로 굴절시키도록 구성될 수 있다. 상기 광학 시스템은 상기 외부 반사기의 내부 측 상에 내부 기판 재료를 포함할 수 있고, 상기 내부 기판 재료는 상기 외부 반사기를 통해 투과된 상기 광을 굴절시키도록 구성될 수 있다. 상기 내부 기판 재료는 상기 광을 상기 제1 방향과 반대쪽인 제2 방향으로 굴절시키도록 구성될 수 있다.
상기 광학 시스템은 상기 외부 반사기의 외부 측 또는 내부 측 상에 기판을 포함할 수 있으며, 상기 기판은 상기 스트라이에이션들의 형상을 따르는 내부 표면 및 외부 표면을 가질 수 있다. 상기 기판은 상기 외부 반사기를 통해 진행하는 광을 굴절시키도록 구성될 수 있으며, 상기 기판의 상기 외부 표면은 상기 광을 제1 방향으로 굴절시킬 수 있고, 상기 기판의 상기 내부 표면은 상기 광을 상기 제1 방향과 반대쪽인 제2 방향으로 굴절시킬 수 있다.
상기 광학 시스템은 상기 외부 반사기, 상기 내부 반사기 및 상기 카메라를 지지하도록 구성된 하우징을 포함할 수 있다. 상기 외부 반사기는 상기 카메라에 대해 회전 가능할 수 있고, 상기 외부 반사기는 길이방향 축을 중심으로 회전하도록 구성될 수 있다. 상기 광학 시스템은 상기 외부 반사기를 회전 구동하기 위한 모터 또는 액추에이터를 포함할 수 있다.
상기 내부 반사기는 상기 내부 반사기의 중심에 구멍을 포함할 수 있으며, 상기 광학 시스템은, 상기 내부 반사기 및 상기 외부 반사기로부터 반사된 광을 수신하고, 상기 수신된 광을 상기 외부 반사기의 상기 구멍과 상기 내부 반사기의 상기 구멍을 통해 상기 카메라로 반사시키도록 구성된 1차 반사기를 포함할 수 있다.
본 명세서에 개시된 다양한 실시예는 카메라, 외부 반사기 및 내부 반사기를 포함할 수 있는 광학 시스템에 관련될 수 있다. 상기 외부 반사기는 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 내부 반사기는 상기 외부 반사기 내에 배치될 수 있으며, 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 외부 반사기 및 상기 내부 반사기 중 하나 또는 둘 모두는, 상기 광학 시스템의 길이방향 축과 교차하지 않는 경로를 따라 진행하는 축외 광을 수신하고, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 상기 광을 편향시키도록 구성될 수 있다.
상기 외부 반사기는 상기 외부 반사기에 의해 반사된 상기 광을 상기 카메라로 가는 축상 경로를 갖도록 제1 방향으로 편향시키도록 각져 있는(angled) 복수의 스트라이에이션을 포함할 수 있다. 상기 내부 반사기는 상기 내부 반사기에 의해 반사된 상기 광을 상기 카메라로 가는 축상 경로를 갖도록 제2 방향으로 편향시키도록 각져 있는 복수의 스트라이에이션을 포함할 수 있다.
상기 내부 반사기는, 제1 광 경로를 따라 진행하는 제1 광을 수신하고, 상기 제1 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 외부 반사기는, 상기 제1 광 경로와 평행하고 오프셋 거리만큼 상기 제1 광 경로로부터 이격된 제2 광 경로를 따라 진행하는 제2 광을 수신하도록 구성될 수 있다. 상기 외부 반사기는 상기 제2 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 내부 반사기는, 상기 제1 광 경로보다 낮은 제3 광 경로를 따라 진행하는 제3 광을 수신하고, 상기 제3 광을 상기 카메라로 반사시키도록 구성될 수 있다. 상기 외부 반사기는 상기 제2 광 경로보다 낮은 제4 광 경로를 따라 진행하는 제4 광을 수신하도록 구성될 수 있다. 상기 제4 광 경로는 상기 제3 광 경로와 평행하고 동일한 상기 오프셋 거리만큼 상기 제3 경로로부터 이격될 수 있다. 상기 외부 반사기는 상기 제4 광을 상기 카메라로 반사시키도록 구성될 수 있다. 물체로부터 상기 내부 반사기로 그리고 상기 카메라로 상기 제1 광의 광 경로 길이는 상기 물체로부터 상기 외부 반사기로 그리고 상기 카메라로 상기 제2 광의 광 경로 길이와 동일한 거리이다.
상기 외부 반사기는 복수의 반사 패널을 포함할 수 있고 상기 복수의 반사 패널은 상기 반사 패널들 사이의 갭들만큼 서로 이격된다. 상기 외부 반사기는 상기 카메라에 대해 회전 가능할 수 있고, 상기 외부 반사기는 길이방향 축을 중심으로 회전하도록 구성될 수 있다. 상기 광학 시스템은 상기 외부 반사기를 회전 구동하기 위한 모터 또는 액추에이터를 포함할 수 있다. 상기 반사 패널들은 상기 내부 반사기로부터 반사된 광을 흡수하도록 구성된 어두운 후면(back side)을 가질 수 있다.
상기 외부 반사기는 일반적으로 포물면 형상의 주 구조부를 가질 수 있다. 상기 내부 반사기는 일반적으로 포물면 형상의 주 구조부를 가질 수 있다. 상기 외부 반사기는 원뿔대 형상의 주 구조부를 가질 수 있다. 상기 내부 반사기는 원추 형상의 주 구조부를 가질 수 있다.
상기 외부 반사기는 중심에 구멍을 포함할 수 있다. 상기 내부 반사기는 중심에 구멍을 포함할 수 있다. 상기 광학 시스템은, 상기 내부 반사기 및 상기 외부 반사기로부터 반사된 광을 수신하고, 상기 수신된 광을 상기 외부 반사기의 상기 구멍을 통해 그리고 상기 내부 반사기의 상기 구멍을 통해 상기 카메라로 반사시키도록 구성된 1차 반사기를 포함할 수 있다.
상기 외부 반사기 및 상기 내부 반사기 중 하나 또는 둘 모두는 상기 반사된 광을 편향시키도록 구성된 불연속 반사 요소들의 그리드(grid)를 포함할 수 있다. 상기 내부 반사기는 광을 반사시켜 원형의 내부 이미지 부분을 상기 카메라에 제공하도록 구성될 수 있고, 상기 외부 반사기는 광을 반사하여 외부 이미지 부분을 상기 내부 이미지 부분 주위의 링으로서 상기 카메라에 제공하도록 구성될 수 있다. 상기 외부 반사기는 부분적으로 반사성이고 부분적으로 투과성일 수 있다.
상기 광학 시스템은 상기 외부 반사기의 외부 측 상에 외부 기판 재료를 포함할 수 있고, 상기 외부 기판 재료는 상기 외부 반사기를 통해 투과된 광을 굴절시키도록 구성될 수 있다. 상기 외부 기판 재료는 상기 광을 제1 방향으로 굴절시키도록 구성될 수 있다. 상기 광학 시스템은 상기 외부 반사기의 내부 측 상에 내부 기판 재료를 포함할 수 있다. 상기 내부 기판 재료는 상기 외부 반사기를 통해 투과된 상기 광을 굴절시키도록 구성될 수 있으며, 상기 내부 기판 재료는 상기 광을 상기 제1 방향과 반대쪽인 제2 방향으로 굴절시키도록 구성될 수 있다.
상기 광학 시스템은 상기 외부 반사기의 외부 측 또는 내부 측 상에 기판을 포함할 수 있다. 상기 기판은 상기 외부 반사기 상의 스트라이에이션들의 형상을 따르는 내부 표면 및 외부 표면을 가질 수 있다. 상기 기판은 상기 외부 반사기를 통해 진행하는 광을 굴절시키도록 구성될 수 있다. 상기 기판의 상기 외부 표면은 상기 광을 제1 방향으로 굴절시킬 수 있고, 상기 기판의 상기 내부 표면은 상기 광을 상기 제1 방향과 반대쪽인 제2 방향으로 굴절시킬 수 있다.
상기 광학 시스템은 상기 내부 반사기 및 상기 외부 반사기에 의해 반사된 광을 수신하여 다수의 위치로부터 오는 이미지를 캡처하도록 각각 구성된 카메라들의 어레이를 포함할 수 있다. 상기 광학 시스템은, 상기 내부 반사기 및 상기 외부 반사기에 의해 반사된 광을 수신하여 다수의 위치로부터 오는 이미지를 캡처하도록 각각 구성된 합성 카메라들의 어레이를 포함할 수 있다. 상기 합성 카메라들은 단일 이미지 센서를 위한 복수의 애퍼처(aperture)를 포함할 수 있다.
상기 내부 반사기의 좁은 단부는 상기 카메라에 의해 생성된 이미지들로부터 상기 카메라를 생략하도록 구성될 수 있다. 상기 내부 반사기의 좁은 단부는 상기 카메라로부터 오는 광이 상기 카메라로 되반사되는 것을 방지하도록 얕은 팁(shallow tip)을 구비할 수 있다. 상기 외부 반사기의 내부 림(rim)은 내측으로 만곡되어 상기 외부 반사기의 내부로 되연장될 수 있다. 상기 외부 반사기의 내부 림은 내측으로 만곡되어 상기 카메라로부터 오는 광을 이미징을 위해 상기 카메라로 되반사시킬 수 있다. 상기 외부 반사기의 내부 림은 내측으로 만곡되어 상기 카메라의 후방으로부터 오는 광을 이미징을 위해 상기 카메라로 반사시킬 수 있다.
본 명세서에 개시된 다양한 실시예들은 파노라마 입체 이미징을 위한 광학 시스템과 관련될 수 있다. 상기 광학 시스템은 카메라, 및 우측 면(right-side face)들과 좌측 면(left-side face)들을 포함하는 스트라이에이션들을 갖는 반사기를 포함할 수 있다. 상기 우측 면들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 제1 경로를 따라 진행하는 제1 축외 광을 수신하고, 상기 길이방향 축으로부터 보았을 때, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 제1 방향으로 상기 제1 광을 편향시키도록 구성될 수 있다. 상기 좌측 면들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 제2 경로를 따라 진행하는 제2 축외 광을 수신하고, 상기 길이방향 축으로부터 보았을 때, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 상기 제1 방향과 반대쪽인 제2 방향으로 상기 제2 광을 편향시키도록 구성될 수 있다.
상기 반사기는 일반적으로 포물면 형상의 주 구조부를 가질 수 있다. 상기 반사기는 중심에 구멍을 가질 수 있고, 상기 광학 시스템은, 상기 반사기로부터 반사된 광을 수신하고, 상기 수신된 광을 상기 카메라로 반사시키는 1차 반사기를 포함할 수 있다. 상기 우측 면들과 상기 좌측 면들은 상기 스트라이에이션들의 각 중심을 따라 연장되는 각 평면에 걸쳐 서로 대칭적일 수 있다.
특정 실시예는 동일한 도면 부호가 전체적으로 유사한 특징을 나타내는 이하의 도면을 참조하여 상세히 설명될 것이다. 이들 도면은 예시적인 목적으로 제공되며, 이들 실시예는 도면에 도시된 특정 구현예로 제한되지 않는다.
도 1은 파노라마 입체 이미징용 광학 시스템의 예시적인 실시예의 분해도이다.
도 2는 파노라마 입체 이미징용 광학 시스템의 예시적인 실시예를 도시한다.
도 3은 카메라의 관점(perspective)으로부터 외부 반사기 및 내부 반사기를 도시한다.
도 4는 내부 반사기 및 외부 반사기에 의해 생성된 이미지의 예시적인 실시예를 도시한다.
도 5는 외부 반사기의 예시적인 실시예를 도시한다.
도 6은 외부 반사기의 또 다른 예시적인 실시예를 도시한다.
도 7은 스트라이에이션들을 갖는 외부 반사기의 예시적인 실시예를 도시하며, 여기서 하나의 스트라이에이션은 설명을 위한 목적으로 외부 반사기로부터 분리되어 도시된다.
도 8a 내지 도 8f는 스트라이에이션의 예시적인 실시예의 다양한 도면을 도시한다.
도 9a 내지 도 9c는 스트라이에이션들의 예시적인 실시예를 도시한다.
도 10은 광이 외부 반사기 및 내부 반사기에 의해 카메라로 반사되는 예시적인 실시예를 도시한다.
도 11은 광이 외부 반사기 및 내부 반사기에 의해 카메라로 반사되는 예시적인 실시예의 카메라를 후방에서 본 도면을 도시한다.
도 12는 광학 시스템의 예시적인 실시예에서 광이 카메라로 반사되는 예를 도시한다.
도 13은 광학 시스템의 예시적인 실시예에서 광이 카메라로 반사되는 예를 도시한다.
도 14는 광이 광학 시스템의 예시적인 실시예에서 카메라로 반사되는 예를 도시한다.
도 15는 외부 반사기에 의해 반사되는 광과 내부 반사기에 의해 카메라로 반사되는 광이 일관적인(consistent) 경로 길이를 갖는 예시적인 실시예의 카메라를 후방에서 본 것을 도시한다.
도 16은 외부 반사기에 의해 카메라로 반사된 광과 내부 반사기에 의해 카메라로 반사된 광에 대한 경로 길이들을 도시한다.
도 17은 외부 반사기의 예시적인 실시예를 도시한다.
도 18은 내부 반사기의 예시적인 실시예를 도시한다.
도 19는 내부 반사기 상의 상이한 수직 장소(location)들로부터 카메라로 반사되는 광의 예를 도시한다.
도 20은 광이 외부 반사기 상의 상이한 수직 장소들로부터 카메라로 반사되는 예를 도시한다.
도 21은 외부 반사기가 반사된 광을 제1 양만큼 편향시켜 제1 입체 오프셋을 생성하도록 구성된 예시적인 실시예를 도시한다.
도 22는 외부 반사기가 반사된 광을 제2의 더 큰 양만큼 편향시켜 제2의 더 큰 입체 오프셋을 생성하도록 구성된 예시적인 실시예를 도시한다.
도 23은 광이 외부 반사기 상의 상이한 수직 장소들로부터 카메라로 반사되는 예를 도시한다.
도 24는 외부 반사기 및 내부 반사기 상의 상이한 수직 장소들로부터 카메라로 반사되는 광이 일관적인 입체 오프셋을 갖는 예를 도시한다.
도 25는 수직 방향과 수평 방향으로 불연속적인 반사 요소들을 갖는 외부 반사기의 예시적인 실시예를 도시한다.
도 26은 광이 외부 반사기에 의해 부분적으로 반사되고 부분적으로 투과되고, 투과된 광이 내부 반사기에 의해 카메라로 반사되는 예를 도시한다.
도 27은 광이 외부 반사기에 의해 부분적으로 반사되고 부분적으로 투과되고, 투과된 광이 내부 반사기에 의해 카메라로 반사되는 예를 도시한다.
도 28은 광학 시스템을 지지하는 하우징의 예시적인 실시예를 도시한다.
도 29는 광학 시스템을 지지하는 하우징의 예시적인 실시예를 도시한다.
도 30은 외부 반사기를 지지하는 기판의 예시적인 실시예를 도시한다.
도 31은 외부 반사기를 지지하는 기판의 또 다른 예시적인 실시예를 도시한다.
도 32는 입체 파노라마 이미지를 캡처, 저장, 변환 및 디스플레이하기 위한 공정의 흐름도를 도시한다.
도 33은 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 34는 도 33의 광학 시스템에 의해 생성된 이미지의 예시적인 실시예를 도시한다.
도 35는 도 34의 이미지로부터 생성된 우안(right-eye) 이미지 및 좌안(left-eye) 이미지의 예시적인 실시예를 도시한다.
도 36은 입체 파노라마 이미징을 위한 광학 시스템을 위한 반사기의 예시적인 실시예를 도시한다.
도 37은 도 36의 반사기를 사용하여 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 38은 입체 파노라마 이미징을 위한 광학 시스템을 위한 반사기의 또 다른 예시적인 실시예를 도시한다.
도 39는 도 38의 반사기를 사용하여 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 40은 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 41은 원뿔대 형상의 외부 반사기를 갖는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 42는 외부 반사기 및 내부 반사기가 모두 스트라이에이션들을 갖는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 43은 원뿔대 형상의 외부 반사기 및 원추 형상의 내부 반사기가 모두 스트라이에이션들을 갖는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 44는 1차 반사기, 외부 반사기 및 내부 반사기를 갖는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예의 분해도를 도시한다.
도 45는 도 44의 광학 시스템의 분해되지 않은 도면을 도시한다.
도 46은 카메라로 반사되는 광을 보여주는 선택된 광선들을 갖는 도 45의 광학 시스템을 도시한다.
도 47은 1차 반사기, 2차 반사기, 외부 반사기 및 내부 반사기를 갖는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예의 분해도를 도시한다.
도 48은 도 47의 광학 시스템의 분해되지 않은 도면을 도시한다.
도 49는 카메라로 반사되는 광을 보여주는 선택 광선들을 갖는 도 48의 광학 시스템을 도시한다.
도 50은 1차 반사기, 2차 반사기, 외부 반사기 및 내부 반사기를 갖는 입체 파노라마 이미징을 위한 광학 시스템의 다른 예시적인 실시예를 도시한다.
도 51은 갭에 의해 분리된 패널들을 갖는 내부 반사기 및 외부 반사기의 예시적인 실시예를 도시한다.
도 52는 카메라들의 어레이를 포함하는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
도 53은 카메라들의 어레이를 포함하는 입체 파노라마 이미징을 위한 광학 시스템의 예시적인 실시예를 도시한다.
본 명세서에 개시된 다양한 시스템 및 방법은 주어진 환경의 이미지들의 공간적으로 오프셋된 조합을 캡처하기 위해 카메라와 함께 광학 기기를 사용하는 것에 관한 것이다. 본 명세서에 개시된 시스템은 수평 평면에서 오프셋된 별개의 입체 정보를 포함하는 (예를 들어, 확장된 범위의 피치 각도(pitch angle) 및 완전한 360도 범위의 요우 각도(yaw angle)를 갖는) 환경의 2개의 상이한 원형의 전역 파노라마 뷰(circular global panoramic view)를 동시에 캡처하고 재구성하는데 사용될 수 있다. 재구성된 이미지들의 관찰자는 입체 3D의 환경을 볼 수 있고, 일부 실시예에서 관찰자는 거의 모든 방향으로 (예를 들어, (요우 각도에 걸쳐) 수평으로 모든 방향 및 (피치 각도에 걸쳐) 수직 방향으로 넓은 범위를) 볼 수 있다. 일부 실시예에서, 계산적 이미지 처리는 이미지들을 캡처 및/또는 재구성하는데 사용될 수 있다.
광학 시스템은 공간에서 입체적으로 분리된 2개의 별개의 시점(viewpoint)을 제공하지만, 각 시점은 피치 평면과 요우 평면에서 완전한 또는 거의 완전한 전역 파노라마 이미징을 제공하는 방식으로 환경의 이미지를 캡처하도록 설계될 수 있다.
적절한 모션 추적(motion tracking)을 갖는 가상 현실 헤드 장착형 디스플레이와 같은 적절한 디스플레이 디바이스를 사용할 때, 한 쌍의 캡처된 이미지가 사용자의 각 눈에 독립적으로 대응하여 디스플레이될 수 있어서 이 눈은 다양한 상이한 수평 또는 수직 방향을 볼 수 있고, 원래 환경을 보는 경우 할 수 있는 것처럼 재생된 뷰의 적절한 부분을 볼 수 있다. 이 재생된 뷰는 또한 원래의 실제 장면을 보는 경우 할 수 있는 것처럼 사용자의 각 눈에 대해 올바른 입체 변위를 디스플레이할 수 있어서, 사용자의 뇌가 자연적으로 하는 것처럼 사용자의 뇌가 입체 삼각 측량을 사용하여 사용자의 시점으로부터 깊이 감을 정확히 재생할 수 있게 된다.
시스템은 헤드 장착형 디스플레이, 또는 다른 적절한 전역 또는 의사 전역 입체 디스플레이를 사용하여 디스플레이될 수 있는 환경의 이미지들을 현실감 있게 캡처할 수 있게 한다. 일부 실시예에서, 시스템은, 우안 이미지 및 좌안 이미지 모두가 단일 카메라로 (예를 들어, 단일 이미지 센서에서) 캡처될 수 있고, 모든 필요한 데이터가 하나의 이미지에 한번 캡처될 수 있도록 설계될 수 있다. 따라서, 정적인 3D 파노라마 장면은 단일 이미지를 사용하여 캡처될 수 있고, 시간에 따라 이벤트를 캡처하는 동화상이나 애니메이션용 3D 파노라마 장면은 각 개별 이미지가 동화상이나 애니메이션용 장면에서 서로 다른 시간에 대응하는 비디오 또는 일련의 이미지를 사용하여 캡처될 수 있다.
그리하여, 캡처된 데이터는 사용자가 광학적으로 진짜 같은 관점 또는 심지어 의도적으로 워핑된(warped) 관점을 갖게 원격으로 기록된 장면을 보거나 재방문할 수 있게 하면서 사용자에게 관점의 정확도를 파괴함이 없이 임의로 주변을 둘러볼 수 있는 일부 자유도를 부여할 수 있게 한다. 캡처된 데이터는 사용자가 이전 시간을 재방문할 수 있도록 저장될 수 있다. 캡처된 데이터는 사용자가 (예를 들어, 실시간으로 또는 또한 시간에 따라 저장된) 사실상 다른 장소를 방문할 수 있도록 전송될 수 있다. 이 시스템은 한 사람이 다른 사람의 시점에 존재하거나 또는 시프트된 시점으로부터 환경을 볼 수 있게 한다.
주 구조부
도 1은 파노라마 입체 이미징용 광학 시스템(100)의 예시적인 실시예의 분해도이다. 시스템(100)은 카메라(102), 제1 반사기(104)(예를 들어, 외부 반사기) 및 제2 반사기(106)(예를 들어, 내부 반사기)를 포함할 수 있다. 카메라(102)는 이미지 센서(예를 들어, CMOS, CCD, 또는 임의의 다른 적절한 유형의 이미지 센서)를 포함할 수 있다. 카메라(102)는 선택적으로 셔터, 하나 이상의 렌즈, 하나 이상의 반사기, 광 입력 애퍼처, 이미지를 저장하기 위한 메모리 디바이스 등과 같은 다양한 다른 특징부를 포함할 수 있다. 이미지 센서는 (예를 들어, 우안 또는 좌안에 대한 뷰를 제공하기 위해) 제1 반사기(104) 및/또는 (예를 들어, 우안 또는 좌안 중 다른 쪽 눈에 대한 뷰를 제공하기 위해) 제2 반사기(106)로부터 반사된 광을 수신하도록 위치될 수 있다.
일부 실시예에서, 시스템은 임의의 이동하는 부분을 포함하지 않지만, 다른 실시예에서는 일부 구성 요소들이 본 명세서에 설명된 바와 같이 이동할 수 있다. 일부 구현예에서, 제1 반사기(104) 및/또는 제2 반사기(106)는 카메라(102)의 단부에 부착될 수 있고 또는 그렇지 않고 제1 반사기(104) 및/또는 제2 반사기(106)가 카메라(102)에 대해 이동될 수 없도록 카메라(102)에 결합될 수 있다. 광학 시스템(100)은 반사형일 수 있으며, 카메라(102) 내로 주변 환경의 뷰를 반사할 수 있다. 시스템은 환경의 2개의 상이한 뷰를 카메라(102)에 반사할 수 있는 적어도 2개의 주 반사 표면(예를 들어, 제1 반사기(104) 및 제2 반사기(106))을 가질 수 있다. 제1 반사기(104) 및 제2 반사기(106)는 카메라(102)가 반사기(104)와 반사기(106)를 동시에 볼 수 있는 방식으로 배열될 수 있다. 카메라(102)는 제1 반사기(104) 및 제2 반사기(106) 모두로부터 반사된 이미지를 동시에 캡처할 수 있다.
도 2는, 내부 반사기(106)가 (예를 들어, 러시아 둥지 인형(Russian nesting doll)과 유사한) 외부 반사기(104) 내에 물리적으로 위치된, 광학 시스템(100)의 예시적인 실시예를 도시한다. 외부 반사기(104)는 내부 공동을 형성할 수 있고, 내부 반사기(106)의 일부 또는 전부는 외부 반사기(104)의 내부 공동 내에 배치될 수 있다. 제1 (예를 들어, 외부) 반사기는 부분적으로 반사성이고 부분적으로 투과성인 (예를 들어, 절반이-은으로 도포된(half-silvered) 재료로 만들어진) 반사 표면을 가질 수 있다. 제2 (예를 들어, 내부) 반사기는 완전 반사 재료로 만들어진 반사 표면을 가질 수 있다. "완전 반사 재료"란 용어는 (예를 들어, 허용가능한 제조 및 예산 조건 내에서) 광의 반사를 최대화하도록 설계된 재료를 지칭하고, 재료와 접촉하는 광의 모든 부분을 반사한다는 것을 의미하도록 의도된 것은 아니다. 오히려, 이 기술 분야에 통상의 지식을 가진 자라면, 일부 소량의 광이 완전 반사 재료에 의해 흡수되거나 그 밖에 반사될 수 없다는 것을 이해할 수 있을 것이다. 입사광(108)의 제1 부분은 외부 반사기(104)로부터 카메라(102)로 반사될 수 있다. 외부 반사기(104)로부터 카메라(102)로 반사된 광의 경로는 종종 복잡 광 경로(complex light path)라고 지칭된다. 입사광(110)의 제2 부분은 외부 반사기(104)를 투과할 수 있고, 내부 반사기(106)로부터 카메라(102)로 반사될 수 있다. 내부 반사기(106)로부터 반사된 광의 경로는 종종 단순 광 경로(simple light path)로 지칭된다.
도 3은 카메라(102)의 관점에서 본 제1 반사기(104) 및 제2 반사기(106)의 도면이다. 도 4는 제1 이미지 부분(112) 및 제2 이미지 부분(114)을 갖는 카메라(102)의 이미지 센서의 예시적인 실시예를 도시한다. 이미지 센서 상의 이미지는, (제2 반사기(106)에 의해 반사된 광으로부터 온) 원형의 제2 이미지 부분(114)을 중심에 포함하고, (제1 반사기(104)에 의해 반사된 광으로부터 온) 제1 이미지 부분(112)을 두꺼운 링 형상으로 원형의 제2 이미지 부분(114) 주위에 포함할 수 있다.
시스템(100)이 수직으로 동작될 때, 카메라(102)가 y-축을 따라 디바이스 내에서 상향을 향하는 상태에서, 제1 반사기 및 제2 반사기(104 및 106)의 물고기의 눈(fish-eye)과 같은 곡률 및 배치가 시스템(100)을 둘러싼 환경의 넓고 거의 전역 시점을 각각 반사하도록 설계된다. 시스템(100)은 피치 평면 내의 넓은 각도 범위를 두 이미지 부분(사용자의 관점에서 수직 평면)의 방사방향으로 압축할 수 있다. 시스템은, 요우 평면의 완전한, 360도, 원형의 파노라마 범위를 두 이미지 부분(사용자의 관점에서 수평 평면)의 원주 방향으로 압축할 수 있다. 일부 실시예에서, 단일 이미지 센서는 제1 이미지 부분(112) 및 제2 이미지 부분(114) 모두를 캡처하는데 사용될 수 있다. 일부 실시예에서, 두 개의 개별 이미지 센서가 제1 이미지 부분(112) 및 제2 이미지 부분(114)에 사용될 수 있다.
도 1 및 도 2 및 많은 다른 도면은, 카메라(102) 바로 위에 배치된 제1 반사기 및 제2 반사기(104 및 106) 아래 바닥에 배향된 카메라(102)가 배향된 광학 시스템(100)을 도시한다. 본 명세서의 많은 부분은 이러한 특정 배향을 갖는 시스템(100)의 구조를 설명한다. 그러나, 광학 시스템(100)은 원하는 대로 임의의 특정 방향으로 배향될 수 있는 것으로 이해된다. 많은 응용에서 상향 방향이 (예를 들어, 하늘 또는 천장을 이미징하여) 덜 주목할만한 것이기 때문에, 상향 대신에 대부분의 시야 범위(viewing range)를 피치 방향으로 아래쪽을 지시하는 것이 종종 바람직하다. 일반적으로, 본 명세서에 사용된 바와 같이, 위로, 아래로, 상부, 하부(바닥), 상향, 하향 등의 용어는 전술한 배향에서의 광학 시스템(100)과 관련될 수 있다(도 2 및 도 10 등 참조). 일반적으로, 본 명세서에서 참조되는 수평 평면은 (예를 들어, 심지어 시스템(100)이 그 측면으로 회전하여 시스템의 수평 평면이 실제로 세계 좌표(world coordinates)에서 수직으로 연장되는 경우에도) 길이방향 축(122)에 수직인 평면일 수 있다. 일반적으로, 본 명세서에서 참조되는 수직 평면은 수평 평면(예를 들어, 길이방향 축(122)이 놓여 있는 평면)에 수직인 평면일 수 있다. 요우, 요우 방향, 요우 각도, 수평 각도, 수평 방향 등의 용어는 광학 시스템(100)에 대해 (예를 들어, 사람이 머리를 좌우로 흔드는 것과 유사한) 수평 평면에 걸쳐 움직이는 것을 지칭할 수 있다. 예를 들어, 광학 시스템이 그 측면으로 회전된 경우에도, 요우 방향은 세계 좌표에서 수직으로 연장될 수 있다. 피치, 피치 방향, 피치 각도, 수직 각도, 수직 방향 등의 용어는 광학 시스템(100)에 대해 (예를 들어, 사람이 머리를 위아래로 끄덕이는 것과 유사한) 수직 평면에 걸쳐 움직이는 것을 지칭할 수 있다. 예를 들어, 광학 시스템(100)이 그 측면으로 회전된 경우에도, 피치 방향은 세계 좌표에서 수평으로 연장될 수 있다.
스트라이에이션 및 다른 사소한(minor) 구조부
외부 반사기(104)는 외부 반사기(104)의 주 구조부의 일반적인 형상을 변화시키지 않는 사소한 구조부를 가질 수 있지만, 주 구조부에 의해서만 반사되는 것에 비해 사소한 구조부에 의해 반사되는 광의 반사 방향을 변화시킨다. 사소한 구조부는 때때로 본 명세서에서 반사 요소로 지칭되며, 사소한 구조부는 스트라이에이션, 마이크로-미러 어레이 등과 같은 다양한 상이한 형상 및 형태를 가질 수 있다.
일부 실시예에서, 외부 반사기(104)는, 외부 반사기(104)의 내부 림(118)으로부터 외부 림(120)으로 이어지는, 연속적으로 연결될 수 있는 스트라이에이션(116)들을 포함할 수 있다. 스트라이에이션(116)들은 예를 들어 도 5에 도시된 바와 같이 내부 림(118)으로부터 외부 림(120)으로 바로 연장될 수 있다. 하나 이상의 또는 모든 스트라이에이션(116)이 길이방향 축(122)과 교차하는 각 평면 상에 놓여 있는 각 경로를 따라 연장될 수 있다. 일부 구현예에서, 각 스트라이에이션(116)은 (예를 들어, 도 5에 도시된 바와 같이) 길이방향 축(122)과 동일 평면인 경로를 따라 연장될 수 있다. 일부 실시예에서, 스트라이에이션(116)들은 (예를 들어, 도 6에 도시된 바와 같이) 나선형 패턴들을 형성하는 원주 주위에 비틀어질 수 있다. 스트라이에이션(116)들은 예를 들어 도 8a 내지 도 8f에서 볼 수 있는 바와 같이 하위-구조부에 비틀림을 가질 수 있다. 스트라이에이션(116)들은 내부 림(118)으로부터 외부 림(120)으로 연장하는 연속적인 표면을 가질 수 있거나, 또는 스트라이에이션(116)들은 원하는 대로 다양한 크기의 개별 구획들로 세분화될 수 있다. 상이한 실시예들은 스트라이에이션(116)들에 대해 상이한 양의 비틀림을 포함할 수 있다. 예를 들어, 스트라이에이션(116)의 (예를 들어, 제2 단부(105) 또는 내부 림(118)에 있는) 바닥은 동일한 스트라이에이션(116)의 (예를 들어, 제1 단부(103) 또는 외부 림(120)에 있는) 상부로부터 약 10도 내지 약 135도의 각도만큼 각지게 오프셋될 수 있다. 예를 들어, 이 각도 오프셋은 약 10도, 약 15도, 약 30도, 약 45도, 약 60도, 약 90도, 약 120도, 약 135도 또는 이들 사이의 임의의 값 또는 이들 값의 임의의 조합에 의해 한정된 임의의 범위 내의 값일 수 있다. 일부 실시예에서, 스트라이에이션(116)들은 외부 반사기(104)의 (예를 들어, 제1 단부(103) 또는 외부 림(120)에 있는) 상부에서보다 (예를 들어, 제2 단부(105) 또는 내부 림(118)에 있는) 바닥 근처에서 더 비틀릴 수 있다.
도 6은 비틀린 스트라이에이션(116)들을 갖는 제1 반사기(104)의 예시적인 실시예를 도시한다. 도 7은 분해도로 확대 도시된 단일의 비틀린 스트라이에이션(116)을 갖는 제1 반사기(104)의 예시적인 실시예를 도시한다. 도 8a 내지 도 8f는 비틀린 스트라이에이션(116)의 예시적인 실시예의 다양한 도면을 도시한다. 도 8a는 상면도를 도시한다. 도 8b는 저면도를 도시한다. 도 8c는 배면도를 도시한다. 도 8d는 측면도를 도시한다. 도 8e는 정면도이다. 도 8f는 사시도를 도시한다.
스트라이에이션(116)들의 어레이는 비틀린(예를 들어, 도 6) 또는 비틀리지 않은(예를 들어, 도 5) 랩핑된 톱니형(wrapped saw-tooth) 구조부를 형성할 수 있다. 스트라이에이션(116)들은 전체 외부 반사기(104)의 대규모 기저(underlying) 구조부에 매립된 소규모 골(valley) 구조부를 형성할 수 있다. 각 골은, 일부 실시예에서는 비대칭일 수 있는 적어도 2개의 측면(side)을 가질 수 있다. 유사하게, 스트라이에이션(116)의 각 산(peak)은 일부 실시예에서 비대칭일 수 있는 적어도 2개 측면을 가질 수 있다. 제1 측면(124)(때때로 은닉된 면으로 지칭됨)은 스트라이에이션(116)의 장소에서 더 큰 만곡된 기저 구조부의 접선에 대해 상대적으로 급경사각(steep angle)을 형성할 수 있다. 일부 실시예에서, 제1 측면(124)은 은닉된 면일 수 있으며, 직선으로 보았을 때 (예를 들어, 보다 큰 만곡된 기저 구조부의 접선에 수직인 방향을 따라) 제2 측면(126) 뒤에 은닉될 수 있다. 제2 측면(126)(때로는 경사 면 또는 가시적인 면이라 지칭됨)은 스트라이에이션(116)의 장소에서 보다 큰 만곡된 기저 구조부의 접선에 대해 더 얕은 각도를 형성할 수 있다. 제2 (예를 들어, 얕은) 측면(126)은 제1 (예를 들어, 가파른) 측면(124)을 이웃한(neighboring) 골 또는 산(ridge)의 제1 (예를 들어, 가파른) 측면에 연결할 수 있다. 스트라이에이션(116)의 제2 측면(126)은 중심으로부터 관찰하였을 때 또는 (예를 들어, 길이방향 축(122)과 교차하는 방향을 따라) 외부로부터 관찰하였을 때 제1 측면(124)보다 외부 반사기(104)의 거시적인 구조부의 입체각(solid angle)의 상당히 많은 또는 전부를 차지할 수 있다.
일부 구현예에서, 제1 측면(124)의 가파른 각도는, 예를 들어 도 9a에 도시된 바와 같이, 더 큰 만곡 구조부의 접선에 수직이 되도록 (예를 들어, 길이방향 축(122)을 바로 향하도록) 정렬될 수 있다. 제1 측면 및 제2 측면(124 및 126)의 교차점은 교대로 우각(reflex angle)을 형성할 수 있다. 일부 구현예에서, 가파른 각도는 도 9a에 도시된 것보다 훨씬 더 가파를 수 있다. 예를 들어, 도 9b는 제1 측면(124)이 제2 측면(126) 아래로 (예를 들어, 접선에 수직한 방향으로) 리세스(recess)될 수 있는 예시적인 실시예를 도시한다. 제2 측면(126)의 외부 단부는 제1 측면(124)(예를 들어, 도 9b 참조) 위에 매달려 있을 수 있다. 일부 구현예에서, 제1 측면(124)은 제2 측면(126) 아래로 (예를 들어, 접선에 수직한 방향으로) 리세스되어 있지 않으며, 제1 측면(124)은 예를 들어 도 9c에 도시된 바와 같이 대응하는 제2 측면(126)을 넘어서 원주방향으로 연장되도록 각져 있을 수 있다. 일부 실시예에서, 이미지를 형성하기 위해 스트라이에이션(116)의 제2 측면(126)으로부터 카메라(102)로 반사된 광은 접선에 수직인 라인으로부터 오프셋되어 있기 때문에, 제1 측면(124)은 이 측면(124)이 카메라(102)로 상당한 광을 반사시키지 않고 대응하는 제2 측면(126)의 단부를 넘어서 원주방향으로 연장될 수 있다(예를 들어, 도 9c 참조). 일부 경우, 도 9c의 실시예는 제조 상의 장점을 가질 수 있다.
스트라이에이션(116)은 우안 이미지와 좌안 이미지 사이에 입체 오프셋을 제공하는 데 사용될 수 있다. (예를 들어, 상향을 향하는) 카메라의 관점에서, 만약 외부 반사기(104)가 (예를 들어, 내부 반사기(106)와 같은) 스트라이에이션(116) 없이 평활한(smooth) 윤곽을 갖는다면, 카메라가 보는 제1 반사기(104)의 표면 상의 지점은 장면 내 물체를, 중심으로부터 제2 반사기(106)와 동일한 방사방향 라인으로 반사시킬 것이다. 이 예에서, 제1 반사기(104)에 의해 반사된 광에 대응하는 이미지 부분은 제2 반사기(106)에 의해 반사된 광에 대응하는 이미지 부분으로부터 오프셋되지 않을 수 있다.
스트라이에이션들에 의해, 전체 외부 반사기(104)의 곡률의 접선에 대해 제2 측면(126)의 각도가 얕다는 것은, 카메라(102)가 이 제2 측면(126)들 중 하나의 측면 상의 지점을 볼 때, 반사된 뷰 및 그에 따라 보이는 물체들이 축방향 라인에 더 이상 존재하지 않고 대신 새로운 반사 각도로 회전된다는 것을 의미한다. 따라서, 시점은 축을 중심으로 "회전"되고, 카메라의 뷰는, 카메라(102)가 보고 있는 외부 반사기(104) 부분의 방향에 대해 시계 방향 또는 반시계 방향으로 회전된 시야 라인(viewing line)으로 장면 내 물체를 보게 된다. 일부 실시예에서, 각 스트라이에이션(116)의 제1 측면(124)은, 예를 들어, 축방향 라인 상에 놓여 있어서(예를 들어, 도 9a 참조) 가시적인 단면을 제공하지 않는다면, (초구조 접선(superstructure tangent)에 수직인 경우) 카메라의 관점에서 보는 면만을 항상 볼 수 있다. 더 가파른 각도(예를 들어, 도 9b 참조)에서, 각 제1 측면(124)(예를 들어, 은닉된 면)은 카메라(102)의 관점으로부터 (더 클 수 있는) 각 제2 측면(126)(예를 들어, 경사 면) 뒤에 완전히 은닉될 수 있다.
도 10 및 도 11은 (예를 들어, 입체 효과를 제공할 만큼 충분히) 서로 오프셋되어 있는 경로들을 따라 시스템(100)에 진입하는 광 부분(108) 및 광 부분(110)을 도시한다. 도 10은 사시도이고, 도 11은 카메라(102)의 후방으로부터 제1 반사기 및 제2 반사기(104 및 106)를 보는 (예를 들어, 상향을 향하는) 도면이다. 광 부분(110)은 길이방향 축(122)과 교차하는 경로를 따라 진행할 수 있다. 광 부분(110)은 (부분적으로 투과성일 수 있는) 제1 반사기(104)를 통과할 수 있고, 장소(130)에서 제2 반사기(106)에 의해 카메라(102)로 반사될 수 있다. 장소(130)에서 제2 반사기(106)에 의한 반사는, 예를 들어 도 11에서 볼 수 있는 바와 같이, 광이 길이방향 축(122)과 교차하는 경로 상에 유지되도록 하면서 광을 카메라(102) 쪽으로 편향시킬 수 있다. 일부 경우에, 제2 반사기(106)는 요우 방향으로 (예를 들어, 수평 평면으로) 광을 편향시키지 않고 광을 (예를 들어, 카메라(102)를 향해) 반사시킨다. 광 부분(108)은 (예를 들어, 광 부분(110)의 경로와 평행하고 이 경로로부터 오프셋된 경로를 따라) 길이방향 축(122)과 교차하지 않는 경로를 따라 시스템(100)에 진입할 수 있다. 광 부분(108)은 장소(128)에서 제1 반사기(104)에 의해 (예를 들어, 스트라이에이션(116)의 제2 측면(126)에 의해) 카메라(102)로 반사될 수 있다. 제1 반사기(104)는 (예를 들어 도 11에서 볼 수 있는 바와 같이) 예를 들어 길이방향 축(122)과 교차하도록 요우 방향으로 (예를 들어, 수평 평면으로) 광을 편향시키도록 구성될 수 있으며, 이에 의해 축외 광이 카메라(102)에 의해 캡처되어 입체적으로 오프셋된 이미지 부분을 생성할 수 있다. 제1 반사기(104)는 또한 광을 (예를 들어 도 10에서 볼 수 있는 바와 같이) 피치 방향으로 (예를 들어, 아래쪽으로) 카메라(102)를 향해 편향시킬 수 있다.
일부 구현예에서, 스트라이에이션(116)들은 반사된 이미지가 분리되고 불연속일 때 명백히 가시적인 스트라이에이션 아티팩트(artifact)를 생성할 수 있다. 그러나, 또한 개별 스트라이에이션(116)에 대한 크기가 감소하는 것을 의미하는 스트라이에이션(116)의 수가 증가할 때, 반사된 각도는 연속성에 접근하고 아티팩트 규모는 감소한다. 스트라이에이션 밀도가 카메라(12)의 관점에서 카메라의 각도 해상도에 접근할 때, 이러한 아티팩트는 자연적으로 사라진다. 상이한 수(및 사이즈)의 스트라이에이션이 상이한 시스템들에서 사용될 수 있다. 예를 들어, 더 높은 해상도의 카메라(102), 더 큰 크기의 외부 반사기(104) 및/또는 이미징 정확도에 대한 더 높은 요구 등을 갖는 시스템은 더 낮은 해상도의 카메라(102), 더 작은 크기의 외부 반사기(104) 및/또는 이미징 정확도에 대한 더 낮은 요구를 갖는 (더 적은 수의 스트라이에이션(116) 및/또는 더 큰 크기의 스트라이에이션을 사용할 수 있는) 시스템보다 많은 수의 스트라이에이션(116) 및/또는 더 작은 크기의 스트라이에이션(116)을 가질 수 있다. 일부 실시예에서, 시스템(100)은 적어도 약 10개의 스트라이에이션, 적어도 약 25개의 스트라이에이션, 적어도 약 50개의 스트라이에이션, 적어도 약 75개의 스트라이에이션, 적어도 약 100개의 스트라이에이션, 적어도 약 150개의 스트라이에이션, 적어도 약 200개의 스트라이에이션, 적어도 약 300개의 스트라이에이션, 적어도 약 500개의 스트라이에이션, 적어도 약 1000개의 스트라이에이션, 적어도 약 2,000개의 스트라이에이션, 적어도 약 3000개의 스트라이에이션, 적어도 약 4000개의 스트라이에이션, 적어도 약 5000개의 스트라이에이션, 적어도 약 7500개의 스트라이에이션, 적어도 약 10,000개의 스트라이에이션, 또는 그 이상, 또는 상기 언급된 값들 사이의 임의의 다른 값들, 또는 상기 언급된 값들의 임의의 조합으로 한정된 임의의 범위를 사용할 수 있다.
스트라이에이션 아티팩트는 또한 평균화 기술에 의해 완화될 수 있다. 예를 들어, 제1 반사기(104)를 축(122) 주위로 회전시키는 것은 카메라의 노출 지속기간 동안 많은 스트라이에이션(116)의 시간-평균을 생성할 수 있다. 제1 반사기(104)는 모터 또는 임의의 다른 적절한 액추에이터를 사용하여 (예를 들어, 카메라(102)에 대해 및/또는 내부 커넥터(106)에 대해) 회전될 수 있다. 일부 실시예에서, 내부 반사기(106)는 외부 반사기(104)와 함께 회전할 수 있고, 내부 반사기(106)는 축(122)에 대해 회전 대칭이어서 내부 반사기(106)의 회전은 이미지에 실질적으로 영향을 미치지 않을 수 있을 수 있다. 일부 실시예에서, 디지털 이미지 처리는 이웃한 스트라이에이션(116)들의 반사로부터 이미지 부분들을 보간하거나 워핑하여, 이 이미지 부분들이 그 면에서 매치(match)하거나 또는 평균적으로 매치하는데 사용될 수 있다.
곡률의 최적화
내부 반사기 및 외부 반사기(104 및 106)(및 시스템(100)의 다른 특징부) 모두의 주 곡률은 다수의 인자 중 하나 이상의 인자의 최적화와 균형을 이루도록, 일부 경우에는 동시에 균형을 이루도록 선택될 수 있다. 예를 들어, 시스템(100)은 결정된 바람직한 시야 평면(viewing plane)을 따라 해상도의 현명한 할당을 제공하도록 구성될 수 있다. 일부 실시예에서, 시스템은 피치 방향 및/또는 요우 방향으로 전체 시야 범위에 걸쳐 1도당 픽셀의 균일한 분포를 갖는 이미지를 제공할 수 있다. 1도당 픽셀의 수는 약 30% 이하, 약 20% 이하, 약 10% 이하, 약 5% 이하, 약 2% 이하, 약 1% 이하, 또는 미만, 또는 이들 값 사이의 임의의 값들, 또는 상기 언급된 값들로 한정된 임의의 범위만큼 (예를 들어, 요우 방향 및/또는 피치 방향으로) 변할 수 있다. 일부 실시예에서, 시스템은 피치 방향으로 더 불균일한 픽셀 분포를 제공할 수 있다. 예를 들어, 수평면 근처의 피치 방향에 대한 픽셀 밀도는 피치 범위의 상부 단부 및 하부 단부 근처의 피치 방향에 대한 픽셀 밀도보다 더 높을 수 있다. 일부 예시적인 실시예에서, 시스템(100)은, 축으로부터 0도 내지 30도에 각도 해상도의 약 11.5%가 할당되고, 축으로부터 30도 내지 130도에 각도 해상도의 77%가 할당되고, 축으로부터 130도 내지 160도에 각도 해상도의 11.5%가 할당되도록 구성될 수 있다. 수평면에서 피치 방향에 대한 각도 해상도 또는 픽셀 밀도는 피치 범위의 상부 단부 및/또는 하부 단부에서 피치 방향에 대한 각도 해상도 또는 픽셀 밀도보다 적어도 약 10%, 적어도 약 25%, 적어도 약 50%, 적어도 약 75%, 적어도 약 100%, 적어도 약 125%, 적어도 약 150% 이상, 또는 약 200% 이하, 약 150% 이하, 약 100% 이하, 약 75% 이하, 약 50% 이하, 약 25% 이하, 미만, 또는 이들 사이의 임의의 값들, 또는 상기 언급된 값들의 임의의 조합에 의해 한정된 임의의 범위만큼 더 높을 수 있다.
시스템은 카메라(102)의 관점으로부터 내부 반사기 및 외부 반사기(104 및 106)로부터 오는 이미지 부분들에 대해 유사한 또는 매치하는 2-차원 각도 해상도를 제공하도록 구성될 수 있다. 예를 들어, 이미지는 내부 이미지 부분(114)과 외부 이미지 부분(112) 사이에 균일하게 분배될 수 있다. 내부 이미지 부분(114)의 반경의 두께는 (예를 들어 외부 이미지 부분이 더 긴 원주를 갖기 때문에) 외부 이미지 부분(112)의 반경의 두께보다 클 수 있다. 내부 이미지 부분(114)의 영역은 외부 이미지 부분(112)의 영역보다 약 50% 미만, 약 40% 미만, 약 30% 미만, 약 20% 미만, 약 10% 미만, 약 5% 미만, 약 2% 미만, 또는 미만, 또는 이들 사이의 임의의 값들, 또는 위에 언급된 값들의 임의의 조합에 의해 한정된 임의의 범위만큼 더 크거나 작을 수 있다.
시스템은 수직/피치 범위에 걸쳐 외부 반사기(104)에 의해 도입된 일관적인 입체 상관 및 각도 회전을 제공하도록 구성될 수 있다. 예를 들어, 2개의 이미지들 사이의 오프셋 거리는 피치 범위에 걸쳐 (그리고 예를 들어, 또한 요우 방향에 걸쳐) 일관적일 수 있다. 스트라이에이션(116) 각도의 경사를 조정하는 것은 (예를 들어 도 13에서 볼 수 있는 바와 같이) 반사의 요우 각도(123)를 제어할 수 있다. 스트라이에이션(116)의 경사와 함께 스트라이에이션(116)의 비틀림을 조합하여 조정함으로써 (예를 들어 도 12에서 볼 수 있는 바와 같이) 반사의 피치 각도(121)를 제어할 수 있다. 스트라이에이션(116)을 구성하는 것에 의해, (예를 들어, 도 14에 도시된 바와 같이 피치 각도(121) 및 요우 각도(123)에서) 외부 반사기(104)로부터 반사된 빔을 제어하여, 외부 반사기(104) 상의 반사 장소가 내부 반사기(106) 상의 대응하는 빔 및 반사 장소에 비해 원하는 시차 오프셋을 가지게 하고 및/또는 외부 반사기(104) 및 내부 반사기(106)에 의해 반사된 대응하는 광 경로들에 대한 총 거리가 동일한 전체 광 경로 거리를 갖도록 할 수 있다.
시스템은, 반사에 의해 야기된 각도 회전 및 중심으로부터의 방사방향 거리를 모두 고려하여, 카메라의 위치로부터 환경 내의 피사체 공간(subject space)과 일관적인 거리를 제공하도록 구성될 수 있다. 도 15 및 도 16을 참조하면, 축상 광(110)은 피사체로부터 광(110)이 제2 반사기(106)에 의해 반사되는 반사 장소(130)까지의 광 경로(A), 및 이 반사 장소(130)로부터 카메라(102)까지의 광 경로(B)를 가질 수 있다. 축외 광(108)은 피사체로부터 광(108)이 제1 반사기(104)에 의해 반사되는 반사 장소(128)까지의 광 경로(C), 및 반사 장소(128)로부터 카메라(102)까지의 광 경로(D)를 가질 수 있다. 일부 실시예에서, 광 경로(A)와 광 경로(B)의 합산 거리는 광 경로(C)와 광 경로(D)의 합산 거리와 실질적으로 동일할 수 있다. 시스템(100)은 광 경로(A)와 광 경로(B)의 합산 거리가 광 경로(C)와 광 경로(D)의 합산 거리와 동일하도록 설계될 수 있고, 제조 공차 등은 광 경로(C)와 광 경로(D)의 합산 거리에 비해 광 경로(A)와 광 경로(B)의 합산 거리의 변화를 작게 할 수 있다. 예를 들어, 광 경로(A)와 광 경로(B)의 합산 거리와 광 경로(C)와 광 경로(D) 사이의 합산 거리 사이의 차이는 광 경로들 사이의 오프셋 거리(132)의 약 10% 미만 또는 약 5% 미만일 수 있고 및/또는 내부 반사기(106)의 반경의 약 10% 미만 또는 약 5% 미만일 수 있지만, 이러한 범위를 벗어나는 값이 일부 구현예에서 사용될 수 있다. 일부 실시예에서, 광 경로(A)와 광 경로(B)의 합산 거리와 광 경로(C)와 광 경로(D)의 합산 거리 사이의 차이는 약 100 mm 미만, 약 75 mm 미만, 약 50 mm 미만, 약 40 mm 미만, 약 30 mm 미만, 약 20 mm 미만, 약 10 mm 미만, 약 5 mm 미만, 약 2 mm 미만, 또는 미만, 또는 이들 사이의 임의의 값들, 또는 상기 언급된 값들의 임의의 조합으로 한정된 임의의 범위일 수 있다.
시스템(100)은 예를 들어 응용에 따라 서로 다른 크기의 오프셋 거리(132)를 제공하도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 약 20 mm 내지 약 100 mm, 또는 약 50 mm 내지 약 80 mm, 또는 이들 범위에 포함된 임의의 값 또는 범위의 오프셋 거리(132)를 제공하도록 구성될 수 있다. 오프셋 거리(132)는 인간 사용자의 눈들 사이의 거리를 시뮬레이션하도록 구성될 수 있다. 오프셋 거리(132)에 대해 다른 값들이 사용될 수 있는데, 이는 예를 들어 의도적으로 이미지의 3차원 효과를 왜곡하기 위해 위에 상기 언급된 값들보다 훨씬 낮거나 높을 수 있다.
내부 반사기(106)는 시스템에 의해 생성된 입체 오프셋에 대응하는 거리만큼 (예를 들어, 수평 방향으로) 외부 반사기(104)로부터 이격될 수 있다. 예를 들어, 내부 반사기(106)는 (예를 들어, 수평 방향으로) 외부 반사기(104)로부터 약 10 mm 내지 약 100 mm, 예를 들어, 약 10 mm, 약 25 mm, 약 30 mm, 약 40 mm, 약 50 mm, 약 75 mm, 약 100 mm 또는 이들 사이의 임의의 값 또는 상기 언급된 값들의 임의의 조합으로 한정된 임의의 범위만큼 이격될 수 있다. 시스템(100)은 내부 반사기(106)와 외부 반사기(104) 사이에 (예를 들어, 수평 방향으로 측정했을 때) 일관적인 거리를 제공하도록 구성될 수 있다. 시스템(100)은 사람이 해석할 수 있는 이미지 평면의 반사를 제공하도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 내부 반사기(106)의 표면의 일부 또는 대다수 또는 전부에 걸쳐 (예를 들어, 수평 방향으로 측정했을 때) 내부 반사기(106)와 외부 반사기(104) 사이의 균일한 거리를 갖도록 설계될 수 있고, 일부 구현예에서 제조 공차 등은 작은 변화를 생성할 수 있다. 일부 실시예에서, 내부 반사기(106)와 외부 반사기(104) 사이의 간격의 일부 변화가 시스템 내에 설계될 수 있다. 일부 실시예에서, 내부 반사기(106)와 외부 반사기(104) 사이의 거리는 내부 반사기(106)의 표면의 일부, 대다수 또는 전부에 걸쳐 (예를 들어, 수평 방향으로 측정했을 때) 내부 반사기(106)의 반경의 약 50% 미만, 약 40% 미만, 약 30% 미만, 약 20% 미만, 약 10% 미만, 약 5% 미만, 약 2% 미만 또는 미만 또는 이들 사이의 임의의 값, 또는 상기 언급된 값들에 의해 한정된 임의의 범위만큼 변할 수 있다.
각도 범위 및 각도 해상도 밀도의 할당은 제2 반사기(106) 및/또는 제1 반사기(104)의 주 곡률의 설계를 통해 다양한 상이한 값으로 조정될 수 있다. 일부 실시예에서, 상대적인 거리 분리는 제1 반사기 및 제2 반사기(104 및 106)의 2개의 곡률의 유사성에 의해 제어될 수 있다.
예를 들어 도 1에서 볼 수 있는 바와 같이, 제2 (예를 들어, 내부) 반사기(106)는 돔 형상, 또는 포물면 같은 형상 또는 일반적으로 포물면 형상의 만곡 형상을 가질 수 있다. 일부 구현예에서, 제2 반사기(106)의 형상은 진짜(true) 기하학적 포물면 형상일 수 있지만, 다른 구현예에서, 이 형상은 일반적으로 포물면 또는 단지 포물면 같은 형상일 수 있다. 예를 들어, 제2 반사기(106)는 넓은 원형의 제1 단부(107) 및 반대 측에 정점 또는 좁은 원형의 제2 단부(109)를 가질 수 있다. 측벽들은 만곡될 수 있고, 더 넓은 제1 단부(107)로부터 제2 단부(109)를 향해 테이퍼질 수 있다. 넓은 제1 단부(107)로부터 제2 단부(109)를 향하는 방향을 따라 취한 제2 반사기(106)의 단면은 원형이고 직경이 연속적으로 감소할 수 있고, 직경이 감소하는 율(rate)은 제2 단부(109)에 더 가까울수록 증가할 수 있다. 제2 반사기(106)는 보다 넓은 제1 단부(107)에 의해 상부 측 상에서 개방 또는 폐쇄될 수 있다. 예를 들어, 제2 반사기(106)는 반사성이거나 반사성 재료로 덮일 수 있는 중실 또는 중공 재료로 구성될 수 있다.
제1 (예를 들어, 외부) 반사기(104)는 전술한 제2 반사기(106)와 유사한, 돔형 또는 일반적으로 포물면 형상으로 형성될 수 있다. 제1 반사기(104)는 넓은 원형의 제1 단부(103) 및 반대 측에 좁은 원형의 제2 단부(105)를 가질 수 있다. 제2 단부(105)는 길이방향 축(122)을 통해 구멍을 가질 수 있다. 구멍은 내부 반사기(106)와 외부 반사기(104) 사이의 각도 해상도가 거의 내지 전혀 사용되지 않고 카메라의 관점에서 내부 반사기(106)가 구멍을 통해 이용 가능한 각도 뷰를 채우기에 충분한 크기일 수 있다. 예를 들어, 도 3은 카메라(102)로부터 제1 반사기 및 제2 반사기(104, 106)를 향하는 (예를 들어 상향을 향하는) 도면이고, 내부 반사기(106)는 카메라(102)의 관점에서 외부 반사기(104)의 제2 단부(105)의 구멍을 채울 수 있다. 일부 실시예에서, 제1 반사기(104)는 구멍을 형성하도록 제거된 정점 단부를 갖는 진짜 기하학적 포물면 형상을 가질 수 있다. 일부 실시예에서, 제1 반사기(104)의 형상은 일반적으로 포물면 형상이거나 또는 단지 포물면 같은 형상일 수 있다. 제1 반사기(104)의 측벽들은 만곡될 수 있고, 더 넓은 제1 단부(103)로부터 제2 단부(105) 쪽으로 테이퍼질 수 있다. 넓은 제1 단부(103)로부터 제2 단부(105) 쪽 방향을 따라 취해진 제1 반사기(104)의 단면은 원형이고 직경이 연속적으로 감소할 수 있고, 직경이 감소하는 율은 제2 단부(105)에 가까울수록 증가할 수 있다. 제1 반사기(104)는 더 넓은 제1 단부(103)에 의해 상부 측에서 개방되거나 폐쇄될 수 있다.
카메라(102)에 대한 제1 반사기 및 제2 반사기(104 및 106)의 크기 및 배치는 해상도를 낭비하지 않도록 예를 들어 렌즈에 따라 카메라(102)의 각도 범위의 사용을 최대화하도록 설계될 수 있다. 일부 실시예에서, 내부 반사기(106)는 축(122)의 중심에 걸쳐 연속적인 표면을 형성하기 때문에, 이 내부 반사기는 카메라(102) 쪽을 포함하는 하향 각도로 반사할 수 있다. 도 17을 참조하면, 일부 실시예에서, 외부 반사기(104)의 내부 림(예를 들어, 제2 단부(105))은 내측으로 만곡되어, 수직선 아래쪽 뷰라인(viewline)으로 반사할 뿐만 아니라 수직선을 넘어 연장되는 립(lip)을 형성하여, (카메라(102)가 내부 반사기(106) 및 외부 반사기(104) 둘 모두에서 잠재적으로 자기 자신을 볼 수 있도록) 카메라(102)로 가는 내내 뷰라인을 제공할 수 있다. 도 17에 도시된 바와 같이, 일부 실시예에서, 외부 반사기(104)의 제2 단부(105)는 (예를 들어, 매달려 있는 부분을 갖게) 내측으로 만곡될 수 있다. 일부 구현예에서, 제2 단부(105)(예를 들어, 내부 림)에 있는 및 이에 매우 근접해 있는 카메라로부터 투사된 반사된 뷰라인은 내측으로 되반사될 수 있어, 이 뷰라인은 카메라(102) 뒤를 지시하여, 카메라가 자기 자신 뒤에 있는 영역(134)을 관찰할 수 있게 한다. 이 관찰된 범위는 또한 외부 반사기(104) 상의 스트라이에이션의 곡률에 의해 제어된다. 일부 구현예에서, 외부 반사기(104)로부터의 이미지(예를 들어, 카메라(102) 뒤의 영역의 이미지) 부분은 내부 반사기(106)로부터의 대응하는 이미지 부분을 가지지 않고, 이 이미지 부분은 입체 3D 효과를 갖지 않을 것이다.
이미지 내 카메라(102)의 존재는 해상도를 낭비하는 폐색을 생성할 수 있다. 따라서, 카메라(102)가 이미지에서 자기 자신을 캡처하지 않도록 제1 반사기(104) 및/또는 제2 반사기(106)를 구성하는 것이 바람직할 수 있다. 일부 실시예에서, 제2 단부(105)의 구멍 및/또는 제2 단부(105) 근처의 외부 반사기(104)의 곡률은 이미지로부터 카메라(102)를 제외하면서 하향 방향으로 이미지를 형성하도록 구성될 수 있다. 예를 들어 도 18에 도시된 바와 같이 내부 반사기(106)의 단부를 얕은 팁으로 형성하면, 이용 가능한 뷰라인을 카메라(102) 외부의 것으로 제한할 수 있다. 따라서, 카메라(102)는 카메라(102)가 관찰할 수 없는 원추(cone)(136) 내에 은닉될 수 있다. 이미지로부터 카메라(102)를 제외하는 것은 나머지 이미지 공간에 대한 이미지 해상도의 사용을 최대화할 수 있다. 외부 반사기(104)의 제2 단부(105)의 형상 및 내부 반사기(106)의 단부(109)의 형상은 제1 반사기 및 제2 반사기(104 및 106)에 의해 생성된 이미지 부분들의 범위가 카메라(102) 주위의 동일한 영역을 생략하도록 구성될 수 있다.
단순 광 경로
단순 광 경로는 주변 환경으로부터 들어오는 광선(예를 들어, 광(110))이 내부 반사기(106)에서 반사되고 카메라(102)에 의해 캡처되는 이미지 평면으로 반사되는 것으로 묘사할 수 있다. 내부 반사기(106)의 표면에서 반사된 각 지점은 외부 반사기(104)에서 반사된 것으로부터 캡처된 대응 지점을 가질 수 있고, 두 점은 함께 환경의 유사한 관점들을 제공하는 이미지 면에서 2개의 쌍을 이루는 픽셀들을 생성할 수 있다. 일부 예에서, 외부 반사기(104)가 스트라이에이션(116)(또는 유사한 특징부)을 가지지 않고 내부 반사기(106)와 같이 평활한 경우, 두 픽셀은 동일한 단일 반사 라인을 주변 환경으로 분해(resolve)할 수 있다. 따라서, 2개의 쌍을 이루는 픽셀은 오프셋 시야 위치를 나타내지 않으며 원하는 입체 3D 효과를 생성하지 않을 것이다. 본 명세서에서 논의된 바와 같이, 외부 반사기(104)는 입체 3D 보기를 가능하게 하기 위해 2개의 쌍을 이루는 픽셀에 대한 오프셋 시야 위치를 제공하기 위해 (예를 들어, 요우 방향으로) 축외 광(108)을 편향시키도록 구성될 수 있다.
보다 상세한 시야점(point of view)으로부터, 카메라(102)의 초점 평면 상에 있는 장면 내의 물체의 주어진 지점으로부터 확산 방출/방사/반사하는 임의의 주어진 광 원추는 반사기의 표면에 걸쳐 반사되고, 확산된 광선 부분은 각 반사기의 작은 구역으로부터 카메라의 애퍼처로 반사되고, 나머지 광은 카메라로부터 멀어지는 방향으로 반사기에 의해 반사되거나 또는 반사기로부터 완전히 벗어난다. 일부 실시예에서, 카메라(102)는 렌즈를 가질 수 있고, 이 렌즈는, 원래의 방사 지점으로부터 카메라의 검출기의 표면 상의 단일 지점을 향해 광의 작은 확산을 굴절시켜 이미지 평면을 형성할 수 있다. (예를 들어) 카메라의 초점 거리와 구경(aperture)으로 제어될 수 있는 임의의 주어진 광 원추에 대한 반사 제한 구역은 반사기의 곡률에 의해 왜곡이 발생할 수 있는 경우에도 초점 평면 상의 장면에서 임의의 주어진 지점이 이미지 평면에 초점을 유지해야 하는 것을 보장한다. 일부 구현예에서, 초점 평면에서 벗어난 지점으로부터 도달하는 광선은 이미지 평면 내의 다수의 픽셀로 지향되고, 가우시안 피사계 심도 흐려짐 효과(Gaussian blur depth of field effect)를 형성한다. 그러나, 이 효과는, 카메라 렌즈가 무한대에 초점을 맞추도록 설정되고, 피사계 심도를 넓힐 수 있고, 및/또는 카메라 구경이 (예를 들어, 휴대폰 카메라에서와 같이) 비교적 작을 때, 최소화될 수 있다.
복잡 광 경로
내부 반사기(106) 및 외부 반사기(104)에서 반사되는 입사 광의 어레이에서, (예를 들어, 수평 평면에서) 요우 각도에 걸쳐 모든 뷰라인은 제1 반사기 및 제2 반사기(104 및 106) 각각의 전체 360도 표면에 걸쳐 덮혀, 이미지 평면 상의 단일 픽셀에 각각 대응하는 반사 지점을 생성할 수 있다. 그러나, 일부 실시예에서, 제1 반사기 및 제2 반사기(104 및 106)로부터 이들 반사된 뷰라인은 (스트라이에이션(116) 또는 유사한 특징부가 없는 경우일 수 있는 바와 같이) 주어진 방사 방향으로 서로 매치되지 않고, 대신에 스트라이에이션(116)의 제2 측면(126)(예를 들어, 경사 면)의 방향 각도에 따라 시계 방향 또는 반시계 방향으로 반사기 주위로 시프트된다. 복잡 광 경로는 이미지 평면 상에 각 픽셀 쌍을 형성하는 오프셋된 평행한 뷰라인을 달성하기 위해 스트라이에이션(116)에서 반사된 뷰라인의 회전을 설명할 수 있다.
(예를 들어, 외부 반사기(104)의 기저 곡률에 대해) 각각의 스트라이에이션(116)의 주어진 경사 각도를 제어함으로써, 반사된 뷰라인이 분광학적으로 내부 반사기(106) 상의 반사 장소(130)의 뷰라인에 대응하는, 외부 반사기(104)의 표면 상의 반사 장소(128)는 원하는 대로 외부 반사기(104) 상의 다양한 상이한 위치로 축을 중심으로 회전될 수 있다. 스트라이에이션(116)의 각도(예를 들어, 스트라이에이션(116)의 제2 표면(126)의 각도)를 변화시키면, 내부 반사기(106) 상의 대응하는 반사 장소(130)에 대한 반사 장소(128)의 위치를 변경할 수 있다. 예를 들어, 스트라이에이션(116)이 (예를 들어, 요우 각도에 걸쳐) 수평면에서 광을 더 편향시키도록 더 각지면 각질수록, 외부 반사기(104) 상의 반사 장소(128)가 내부 반사기(106) 상의 대응하는 반사 장소(130)로부터 더 많이 오프셋된다. 따라서, 일부 경우에 스트라이에이션(116)의 각도를 변화시키면 사실상 내부 반사기(106) 상의 대응하는 반사 장소(130)에 대해 외부 반사기(104) 상의 반사 장소(128)의 위치를 회전시킬 수 있다. 도 21은 스트라이에이션(116)이 반사된 광을 (예를 들어, 요우 방향으로) 제1 양만큼 편향시켜 반사 장소(128)를 반사 장소(130)에 대해 제1 양만큼 효과적으로 회전시킴으로써 픽셀 쌍에 대한 제1 오프셋 양을 생성하도록 각져 있는 예시적인 실시예를 도시한다. 도 22는 스트라이에이션(116)이 반사된 광을 (예를 들어, 요우 방향으로) 제1 양보다 큰 제2 양만큼 편향시켜 반사 장소(128)를 반사 장소(130)에 대해 제1 양보다 큰 제2 양만큼 효과적으로 회전시킴으로써 제1 오프셋 양보다 큰 제2 오프셋 양을 픽셀 쌍에 대해 생성하도록 각져 있는 예시적인 실시예를 도시한다. 외부 반사기(104) 상의 스트라이에이션(116)(또는 유사한 특징부)은 광을 적절한 정도로 편향시켜, 입체적 삼각 측량을 달성할 수 있는 입체적 분리를 구성하는 상수 거리(예를 들어, 평행한 오프셋된 뷰라인들)만큼 장소(128 및 130)들에 대한 뷰라인들이 분리되게 하는 위치에 반사 장소(128)를 위치시키도록 구성될 수 있다.
(예를 들어, 스트라이에이션(116) 또는 유사한 특징부에 의해) 반사 조절을 적절히 적용하는 것에 의해, (수평 평면에서 완전한 360도를 덮을 수 있는) 내부 반사기(106)에서 반사된 모든 볼 수 있는 방향은 입체적으로 분리되고 정확히 동일한 방향으로 (예를 들어, 외부 반사기(104)로부터) 대응하는 볼 수 있는 이미지 라인을 가질 수 있다. 따라서, (예를 들어, 내부 반사기(106) 및 외부 반사기(104)에 의해 생성된) 2개의 이미지를 사용하여, 인접한 전역 파노라마(contiguous global panoramic)를 형성하는 입체 이미지를 추출할 수 있고, (예를 들어, 수평면에 걸쳐) 모든 방사 방향으로 정확하고 일관적인 시차 분리를 유지할 수 있다.
도 19는 카메라(102)로 광을 반사시키는 제2 (예를 들어, 내부) 반사기(106)의 예시적인 실시예를 도시한다. 도 20은 카메라(102)로 광을 반사시키는 제1 (예를 들어, 외부) 반사기(104)의 예시적인 실시예를 도시한다. 예시적인 목적을 위해, 외부 반사기(104)는 도 19에서 도시되지 않았으며, 내부 반사기(106)는 도 20에서 도시되지 않았다. 도 19에서, 3개의 예시적인 광선(110a, 110b 및 110c)은 카메라(102)를 향해 수직면에서 상이한 각도(예를 들어, 상이한 피치 각도)들에서 반사된 것으로 도시되어 있다. 광선(110a, 110b 및 110c)은 길이방향 축(122)과 교차하는 경로를 따라 시스템(100)에 접근하는 축상 광일 수 있다. 광선(110a, 110b 및 110c)은 요우 방향에 걸쳐 광선(110a, 110b 및 110c)을 편향시키지 않고 내부 반사기(106)에 의해 카메라로 반사될 수 있다.
도 20에서, 3개의 예시적인 광선(108a, 108b 및 108c)이 카메라(102)를 향해 수직면에서 상이한 각도(예를 들어, 상이한 피치 각도)들에서 반사된 것으로 도시되어 있다. 광선(108a, 108b 및 108c)은 길이방향 축(122)과 교차하지 않는 경로를 따라 시스템(100)에 접근하는 축외 광일 수 있다. 광선(108a, 108b, 및 108c)은 외부 반사기(104)에 의해 카메라(102)로 반사될 수 있다. 외부 반사기(104)는 길이방향 축(122)과 교차하는 경로를 따라 카메라를 향해 진행하도록 광을 (예를 들어, 요우 방향으로) 편향시킬 수 있다. 도 19에서, 스트라이프(138)는 도 4에 도시된 카메라(102)의 이미지 센서 부분(137)에 대응하는 내부 반사기(106) 상의 반사된 뷰 영역을 나타낸다. 도 20에서, 스트라이프(140)는 다수의 만곡 스트라이에이션(116)에 걸쳐 회전된 각도로 외부 반사기(104)에서 반사된 뷰 영역을 나타낸다. 외부 반사기(104)의 스트라이프(140)는 도 4에 도시된 바와 같이 카메라(102)의 이미지 센서 부분(139)에 대응하는 카메라(102) 상으로 광을 반사시킬 수 있다.
도 19 및 도 20에서 볼 수 있는 바와 같이, 외부 반사기(104) 및/또는 내부 반사기(106)의 더 높은 부분으로부터 오는 뷰라인은 더 큰 둔각으로 반사될 수 있고, 외부 반사기(104) 및/또는 내부 반사기(106)의 중간 영역으로부터 오는 뷰라인은 더 작은 둔각으로 반사될 수 있고, 외부 반사기(104) 및/또는 내부 반사기(106)의 하부 부분으로부터의 뷰라인은 예각으로 반사될 수 있다. 따라서, 넓은 범위의 피치 각도에 걸친 광이 카메라(102)에 의해 캡처될 수 있다.
도 2를 참조하면, 시야 범위는 수평면에서 (예를 들어, 요우 각도에 걸쳐) 전체 360도에 걸쳐 연장될 수 있고, 시야 범위는 180도 미만의 피치 각도 범위(142)를 가질 수 있다(이는 임의의 방향으로 완전한 시야 범위를 제공할 것이다). 일부 실시예에서, 광학 시스템(100)은 시스템(100) 바로 위의 영역을 이미징하지 않도록 구성된다. 예를 들어, 일부 구현예에서, 광학 시스템(100)은, 예를 들어, 약 15도 내지 약 120도의 피치 각도 범위(144)를 갖는, 시스템(100) 위의 원뿔대 형상의 영역 내의 영역을 이미징하지 않도록 구성된다. 시스템(100) 위의 비 시야 영역의 피치 각도 범위(144)는 약 180도 미만, 약 120도 미만, 약 90도 미만, 약 60도 미만, 약 45도 미만, 약 30도 미만 또는 미만, 또는 이들 사이의 임의의 다른 값 또는 상기 언급된 값들의 임의의 조합으로 한정된 임의의 범위 내에 있을 수 있다. 본 명세서에서 논의된 바와 같이, 일부 실시예에서, 시스템은 (예를 들어, 심지어 카메라(102) 그 자체를 이미징하는 것을 포함하여) 전체 범위의 하향 방향에 걸쳐 이미징할 수 있는 반면, 다른 실시예에서는 카메라 주위의 영역이 이미징 영역으로부터 생략될 수 있다. 시야 범위는 약 45도 내지 약 165도 또는 약 90도 내지 약 135도인 피치 각도 범위(142)를 가질 수 있다. 시야 범위는 적어도 약 45도, 적어도 약 90도, 적어도 약 135도, 적어도 약 165도 또는 이들 사이의 임의의 다른 값들, 또는 상기 언급된 값들의 임의의 조합으로 한정된 임의의 범위 내에 있는 피치 각도 범위(142)를 가질 수 있다.
도 19 및 도 20을 다시 참조하면, 광선(108a, 108b 및 108c)이 광선(110a, 110b 및 110c)과 각각 평행한(그러나 오프셋된) 경우, 그리고 스트라이에이션(116)들이 (예를 들어, 스트라이에이션(116)들이 도 5에 도시된 바와 같이 비틀리지 않도록 스트라이에이션(116)을 조정함으로써) 도 20에 도시된 바와 같이 방사방향 스트립(140) 상의 상이한 수직 장소들에 있는 광선(108a, 108b 및 108c)을 카메라(102)로 반사시키도록 구성된 경우, 광선(110b, 108b)들 사이의 측방향 오프셋은 광선(110a, 108a)들 사이의 측방향 오프셋보다 작을 수 있으며, 광선(110c, 108c)들 사이의 측방향 오프셋은 여전히 더 작을 수 있다. 이것은 외부 반사기(104)가 예를 들어 광(108c)과 광(110c) 사이의 거리가 광(108a)과 광(110a) 사이의 거리보다 작도록 하향 방향으로 내측으로 테이퍼질 수 있기 때문이다.
도 23은 상이한 수직 위치들에서 반사된 광이 내부 반사기(106)에 의해 반사된 대응하는 평행한 광에 대해 일관적인 측방향 변위를 갖도록 외부 반사기(104) 상의 다양한 상이한 수직 위치들로부터 광을 반사시키도록 구성된 스트라이에이션(116)을 갖는 광학 시스템(100)의 예시적인 실시예를 도시한다. 도 24는 도 23의 광학 시스템과 유사한 예시적인 광학 시스템(100)을 도시하는 카메라(102)를 아래로부터 본 도면이다. 도 23에서, 내부 반사기(106)는 설명의 용이함을 위해 생략되었다. 도 23의 시스템의 내부 반사기(106)는 도 19와 유사한 광선(110a, 110b 및 110c)을 반사할 수 있다. 내부 반사기(106)는 각각의 반사 장소(130a, 130b, 130c)에서 광선(110a, 110b 및 110c)을 카메라(102)로 반사시킬 수 있다. 외부 반사기(104)는 각각의 반사 장소(128a, 128b 및 128c)에서 광선(108a, 108b 및 108c)을 카메라(102)로 반사시킬 수 있다. 광선(108a 및 110a)들 사이의 측방향 오프셋은 광선(108b 및 110b)들 사이의 측방향 오프셋과 동일할 수 있고 및/또는 광선(108c 및 110c)들 사이의 측방향 오프셋과 동일할 수 있다. 따라서, 외부 반사기(104)는 외부 반사기(104) 상의 다양한 상이한 수직 위치들로부터의 광을 카메라(102)로 반사시켜, 상이한 수직 위치들에서 반사되는 광이 내부 반사기(106)에 의해 카메라(102)로 반사되는 대응하는 평행한 광에 대해 일관적인 측방향 오프셋을 가지도록 구성될 수 있다. 이것은 (예를 들어, 다양한 피치 각도에 걸쳐) 우안 이미지와 좌안 이미지 사이에 일관적인 입체적 분리를 제공할 수 있다.
(예를 들어, 중심으로부터 외부 림으로) 내부 반사기(106)의 임의의 주어진 방사방향 슬라이스(예를 들어, 도 24의 스트라이프(138))를 따라, 바닥으로부터 (예를 들어, 카메라의 관점에서) 보았을 때, 내부 반사기(106)의 방사방향 슬라이스(138)에 평행한 부분 코드(chord)에 걸쳐 연장될 수 있는 외부 반사기(104) 상에 대응하는 슬라이스(예를 들어, 도 23 및 24의 스트라이프(146))가 존재한다. 슬라이스(146) 상의 지점들은, 정확한 입체 이미지를 제공하기 위해, 예를 들어, 안구간 거리(interoccular distance)에 의해 분리된, 내부 반사기(106)의 슬라이스(138) 상의 대응하는 지점들에 대응하는 입체적으로-분리된 뷰라인들을 제공할 수 있다. (예를 들어, 스트라이에이션(116) 또는 다른 유사한 특징부들을 포함하는) 시스템(100)은 내부 반사기(106)와 외부 반사기(104)로부터 반사된 대응하는 투사된 뷰라인들이 일관적인 입체 분리를 갖게 동일한 피치 방향과 요우 방향을 지시할 뿐만 아니라 동일한 높이로 정렬될 수 있는 상태에서 이미지를 캡처하도록 구성될 수 있다. 또한, 카메라(102)로부터 반사를 통해 장면까지의 총 경로 거리는 두 광 경로를 따라 매치할 수 있고, 카메라로부터 내부 반사기(106) 상의 지점까지의 길이에 비해 대응하는 뷰라인을 갖는 외부 반사기(104) 상의 지점으로부터 여분의 피타고라스 길이(Phythagorean length)는 외부 반사기(104)의 방사방향 폭을 증가시킴으로써 동일한 길이만큼 장면 내의 피사체에 더 가까워지도록 오프셋될 수 있다.
외부 반사기(104)의 반사된 뷰라인들을 (예를 들어, 입체적 오프셋과 평행하도록) 내부 반사기(106)의 반사된 뷰라인들에 대응하게 하는 것은 외부 반사기(104)가 반사하는 광에 부여하는 피치 회전 및/또는 요우 회전을 조정하여 (예를 들어, 프레넬 마이크로-구조부, 스트라이에이션(116) 또는 다른 유사한 특징부에 의해) 적절한 반사를 달성하는 것에 의해 구현된다. 일부 실시예에서, 제1 반사기(104)에 의해 반사된 광에 단지 요우 조정뿐만 아니라 피치 조정의 조합을 달성하기 위해, 프레넬 마이크로-구조부, 스트라이에이션(116) 등이 방사방향으로 뿐만 아니라 원주 방향으로 형성될 수 있다(예를 들어, 그리드를 형성할 수 있다). 마이크로-구조부는 두 방향으로 외부 반사기(104)의 표면의 연속성을 파괴할 수 있으며, 이는 일 방향으로 (예를 들어, 상부에서 하부로) 연속적인 스트라이에이션(116)에 비해 제조의 용이성을 감소시킬 수 있다.
도 25는 (예를 들어, 원주 방향 및/또는 수직 방향으로) 불연속일 수 있는 다수의 반사 요소(148)를 갖는 제1 (예를 들어, 외부) 반사기(104)의 예시적인 실시예이다. 반사 요소(148)들은 본 명세서에 논의된 바와 같이 원하는 반사를 달성하기 위해 상이한 반사 동작들을 수행할 수 있다. 반사 요소(148)들은 마이크로-구조부일 수 있다. 반사 요소(148)는 마이크로-미러 어레이일 수 있다. 일부 실시예에서, 시스템(100)은 적어도 약 50개의 반사 요소, 적어도 약 100개의 반사 요소, 적어도 약 250개의 반사 요소, 적어도 약 500개의 반사 요소, 적어도 약 750개의 반사 요소, 적어도 약 1000개의 반사 요소, 적어도 약 1500개의 반사 요소, 적어도 약 2000개의 반사 요소, 적어도 약 5000개의 반사 요소, 적어도 약 10,000개의 반사 요소, 적어도 약 50,000개의 반사 요소, 적어도 약 100,000개의 반사 요소, 적어도 약 500,000개의 반사 요소, 적어도 약 1,000,000개의 반사 요소, 적어도 약 2,000,000개의 반사 요소, 적어도 약 5,000,000개의 반사 요소, 적어도 약 10,000,000개의 반사 요소, 적어도 약 20,000,000개의 반사 요소, 적어도 약 30,000,000개의 반사 요소, 적어도 약 50,000,000개의 반사 요소, 적어도 약 75,000,000개의 반사 요소, 적어도 약 100,000,000개의 반사 요소 또는 그 이상, 또는 상기 값들 사이의 임의의 다른 값 또는 상기 언급된 값들의 임의의 조합에 의해 한정된 임의의 범위를 사용할 수 있다. 반사 요소들의 수는 카메라의 해상도에 접근하여 이들 반사 요소들은 카메라에는 효과적으로 보이지 않고 연속적일 수 있다.
도 25의 제1 (예를 들어, 외부) 반사기(104)는 본 명세서에 개시된 다른 외부 반사기(104)와 유사하게 동작할 수 있으며, 도 25의 제1 반사기(104)는 다른 제1 반사기(104) 대신 본 명세서에 개시된 다양한 실시예에 병합될 수 있다. 따라서, 스트라이에이션(116)과 관련하여 본 명세서에서 논의된 많은 설명은 또한 (예를 들어, 도 25의) 본 명세서에 개시된 다른 반사 요소(148)에도 적용될 수 있다. 입사하는 환경 광을 반사하는 외부 반사기(104)는 긴 인접한 스트라이에이션으로 형성될 필요가 없으며, 실제로 표면에 걸쳐 인접하지 않는 별개의 미러 표면들의 2차원 어레이로 구성될 수 있다.
외부 반사기(104)의 임의의 주어진 동심 반경의 광학적 요구조건이 내내 동일하기 때문에, 이 외부 반사기는 임의의 원하는 위치로 회전되어 하나의 동심 링의 프레넬 마이크로-구조부, 스트라이에이션(116) 등의 세트가 이웃한 링의 스트라이에이션에 가장 잘 매치하도록 할 수 있으며, 이 스트라이에이션들은 하나의 스트립을 형성하도록 접합되어 자연스럽게 점차적으로 비틀리게 될 수 있다. 일부 실시예에서, 디바이스의 길이를 따라 이어지는 이러한 비틀린 스트라이에이션은 방사방향 라인 또는 전술한 슬라이스를 따르지 않을 수 있다. 그럼에도 불구하고, 내부 반사기(106)로부터의 방사방향 슬라이스는 외부 반사기(104)의 평행한 부분 코드 슬라이스에 매치되어, 방사방향 나선형을 형성하는 많은 비틀림 프레넬 스트립을 이등분할 수 있다.
반사율
내부 반사기(106)는 완전 반사 재료로 구성될 수 있지만, 외부 반사기(104)는 부분적으로 반사성이고 부분적으로 투과성(partially-reflective and partially-transmissive: PRPT)이어서, 예를 들어 도 26 및 도 27에서 볼 수 있는 바와 같이, 광의 일부가 외부 반사기(104)를 방해 없이 투과하고, 내부 반사기(106)에서 반사될 수 있다. 일부 구현예에서, 최적의 재료는 광을 균등하게 분할할 수 있으나, 투과 및 반사의 다양한 다른 할당이 사용될 수 있다. PRPT는 재료 선택과 제조 공정의 혼합을 통해 달성될 수 있다. 예를 들어, 은 또는 알루미늄 얇은 코팅(예를 들어, 퍼세펙스(persepex) 또는 아크릴과 같은 얇은 투명 기판 상에 진공 기상 증착 또는 스퍼터링에 의해 증착됨)이 사용될 수 있다. 일부 실시예에서, 금속의 얇은 충분한 층은 일부 광을 투과시키면서 일부 광을 반사시킬 수 있다. (예를 들어, 스퍼터링된 것을 사용하는) 일부 실시예에서, 미러링은 광이 통과하는 미시적(microscopic) 갭들로 스위스 치즈와 같이 균일하게 얼룩지게 될 수 있고, 갭들 사이의 미러 재료는 광을 반사할 수 있다. 대안적으로, 상이한 굴절률(예를 들어, 2종의 상이한 플라스틱 중합체)을 갖는 2개의 투명한 재료가 경계면(interface)에서 광을 부분적으로 반사시키고 부분적으로 투과시키는데 사용될 수 있다. 외부 반사기(104)는 외부 반사기(104)를 통해, 내부 반사기(106) 상으로 그리고 카메라(102)로 광에 방해 없이 및/또는 동일하게 굴절된 투과율을 제공할 수 있다(예를 들어, 본 명세서의 단순 광 경로 부분 참조). 외부 반사기(104)는 스트라이에이션(116)(또는 다른 반사 요소)에서 광의 반사를 조절하여 외부 반사기(104)를 따라 그리고 카메라(102)로 성공적으로 제공하게 할 수 있다(본 명세서의 복잡 광 경로 부분 참조).
하우징
도 28 및 도 29를 참조하면, 제1 반사기(104) 및/또는 제2 반사기(106)는 외부 하우징(150)에 의해 지지될 수 있고, 이 외부 하우징은 제1 (예를 들어, 외부) 반사기(104)의 외부 림(120)에 (예를 들어, 넓은 원형의 제1 단부(103)에) 부착될 수 있고, 카메라(102)로 연장되어 외부 반사기(104)를 카메라(102)에 결합시킬 수 있다. 하우징(150)은 요우 평면에서 모든 방향으로 이음매가 없어서 카메라(102)에 보이지 않는 투명한 측벽들을 가질 수 있다. 하우징(150)은 외부 반사기(104)의 외부 림(120)으로부터 내측으로 연장되는 상부 부분을 포함할 수 있다. 내부 반사기(106)의 상부(예를 들어, 내부 반사기(106)의 원형의 제1 단부(107) 또는 외부 림)는 내부 반사기(106)를 제 위치에서 (예를 들어, 외부 반사기(104) 내에서) 지지하기 위해 하우징(150)의 상부 부분에 부착될 수 있다. 내부 반사기(106)는 하우징(150)의 상부 부분으로부터 아래쪽으로 외부 반사기(104)의 내부 공동으로 연장될 수 있다. 일부 실시예에서, (예를 들어, 정점을 갖는) 내부 반사기(106)의 하부 단부는 외부 반사기(106)의 하부의 개구(opening)를 넘어 아래로 연장될 수 있다.
다양한 실시예에서, 내부 반사기(106)는 외부 반사기(104)의 높이와 동일한 높이를 가질 수 있다. 일부 실시예에서, 내부 반사기(106)는 외부 반사기(104)의 높이보다 낮은 높이를 가질 수 있다. 내부 반사기(106)의 높이는 외부 반사기(104) 높이의 약 20%, 약 30%, 약 40%, 약 50%, 약 60%, 약 70%, 약 80%, 약 90% 또는 약 100%, 또는 이들 사이의 임의의 값, 또는 상기 언급된 값들의 임의의 조합으로 한정된 임의의 범위 내에 있을 수 있다. 일부 실시예에서, 하우징(150)은 내부 반사기(106)에 결합되어 내부 반사기(106)를 적절한 위치에서 지지하기 위해 하우징(150)의 상부 부분으로부터 아래쪽으로 외부 반사기(104)의 내부 공동으로 연장되는 지지 요소를 포함할 수 있다. 일부 실시예에서, 내부 반사기(106)의 제2 단부(109)는 외부 반사기(104)의 내부 공동 내에 있을 수 있다(예를 들어, 내부 림(118)과 동일한 높이 또는 위에 위치되거나 또는 외부 반사기(104)의 제2 단부(105)와 동일한 높이 또는 위에 있을 수 있다).
하우징(150)은 스탠드 또는 삼각대 또는 고정식 카메라 리그와 같은 적절한 외부 지지부에 장착되는 카메라(102)에 장착될 수 있거나, 둘 모두는 외부 지지부에 직접 부착될 수 있다. 예를 들어, 하우징은 하우징(150)을 카메라(102)에 및/또는 외부 지지부(도시되지 않음)에 장착하기 위한 장착부(152)를 포함할 수 있다. 하우징(150)은, 상부 부분에서 외부 반사기(104)로부터 직선 아래로 연장되고, 하부 부분에서 장착부(152) 쪽으로 테이퍼진 측벽들을 가질 수 있다(예를 들어, 도 28 참조). 또는 하우징(150)은 외부 반사기(104)로부터 장착부(152)로 내측으로 만곡되는 (예를 들어, 일반적으로 포물면 형상을 갖는) 측벽들을 가질 수 있다(도 29 참조). 하우징(150)은 예를 들어 그 형상에서 이음매를 제거하고 카메라가 기록할 수 있는 시각적 아티팩트를 줄이거나 제거하기 위해 외부 반사기(104)로부터 장착부(152)로 하나의 연속적인 만곡 표면을 갖게 연장될 수 있다. 다양한 다른 형상이 하우징(150)에 사용될 수 있으며, 다양한 다른 기계적 메커니즘 및 시스템이 광학 시스템(100)의 구성 요소들을 서로에 대해 위치시키는데 사용될 수 있다.
이동 구성 요소(예를 들어, 디바이스의 회전 형태)들을 갖는 실시예에서, 하우징(150) 및 제1 반사기(104) 및/또는 제2 반사기(10)는 카메라를 정지 상태에 유지하면서 자유로이 회전할 수 있도록 링 베어링에 장착될 수 있으며, 카메라는 베어링의 구멍을 통해 관찰하고, 또는 적절한 지지 암(arm)에 의해 이 구멍을 통해 매달려 있다.
광학 시스템(100)은 입체 효과를 위한 오프셋 거리에 영향을 줄 수 있는 다양한 상이한 크기로 제조될 수 있다. 예를 들어, 외부 반사기(104)는 약 50 mm 내지 약 1000 mm, 또는 약 200 mm 내지 약 500 mm의 직경을 가질 수 있다. 예를 들어 시스템의 크기를 감소시키도록 설계된 본 명세서에서 논의된 특징의 일부를 사용하는 것에 의해, 다양한 상이한 크기가 시스템(100)에 사용될 수 있다. 일부 실시예에서, 광학 시스템은 예를 들어 오프셋 거리를 변화시킴으로써 왜곡된 입체 효과를 생성하기 위해 상기 논의된 값들보다 충분히 밖에 있는 크기를 가질 수 있다.
외부 반사기 기판
외부 반사기(104)는 투명한 재료일 수 있는 기판(154)에 의해 지지될 수 있다. 예를 들어, 기판(154)은 외부 반사기(104)의 내부 표면 또는 외부 표면 상에 존재할 수 있다. 그러나, 투명한 기판(154)이 (공기와 같은) 주변 환경의 매질보다 더 높은 굴절률을 가질 수 있기 때문에, 기판이 하나의 표면(예를 들어, 스트라이에이션(116)을 갖는 외부 반사기(104)의 반사 재료와 접촉하는 표면) 상에서 주름진(또는 각져 있는) 경우, 스트라이에이션에 의해 도입된 각도 회전과 조합된 기판 재료의 굴절률은 내부 반사기(106)에 도달하는 광에 원치 않는 회전 왜곡을 유도할 수 있다. 예를 들어, 외부 반사기(104) 및 기판(154)을 통해 투과되는 광은 (예를 들어, 기판(154)에 진입할 때 및/또는 기판(154)을 빠져 나갈 때) 굴절될 수 있다. 기판(154)의 한 측면이 기판(154)의 다른 측면에 대해 각져 있는 경우, 기판(154)은 광이 내부 반사기(106)에 도달하기 전에 광을 굴절시켜 광에 원치 않는 편향을 생성할 수 있다.
도 30을 참조하면, 일부 실시예에서, 원치 않는 굴절은 기판(154) 재료를 단지 하나의 측면에만 아니라 외부 반사기(104)의 내부 표면 및 외부 표면 모두에 위치시킴으로써 어느 정도 상쇄될 수 있다. 도 30은 (예를 들어, 약 3개의 스트라이에이션(116)에 걸쳐 연장되는) 제1 반사기(104) 부분을 도시하는 부분 단면도이다. 제1 반사기(104)는 (본 명세서에서 논의된 바와 같이) 부분적으로 투명하고 부분적으로 투과성인 얇은 재료를 포함할 수 있고, 본 명세서에 개시된 바와 같이, 스트라이에이션(116), 마이크로-구조부 또는 다른 반사 요소들을 제공하도록 주름지거나 각져 있을 수 있다. 외부 기판 재료(154a)는 제1 반사기(104)의 외부 표면에 또는 그 위에 배치될 수 있다. 내부 기판 재료(154b)는 제1 반사기(104)의 내부 표면에 또는 그 위에 배치될 수 있다. 외부 반사기(104)는 기판(154) 내에 매립될 수 있다.
외부 기판 재료(154a)의 외부 표면은 광이 기판(154) 및 제1 반사기(104)를 통과할 때 굴절에 의한 광의 편향을 방해하도록 내부 기판 재료(154b)의 내부 표면의 형상에 대응하는 형상을 가질 수 있다. 예를 들어, 외부 기판 재료(154a)의 외부 표면은 외부 반사기(104)의 주 곡률(예를 들어, 일반적으로 포물면 형상)을 추적하는 평활한 표면일 수 있으며, 내부 기판 재료(154b)의 내부 표면은 또한, 외부 반사기(104)의 주 곡률(예를 들어, 일반적으로 포물면 형상)을 추적하되 외부 기판 재료(154a)의 외부 표면보다 더 작아서 그 내부에 포개지는(nested) 평활한 표면일 수 있다. 외부 기판 재료(154a)의 외부 표면에 진입시 굴절된 광은 내부 기판 재료(154b)의 내부 표면을 빠져나갈 때 다른 방향으로 (예를 들어, 동일한 정도로) 되굴절될 수 있다.
외부 기판 재료(154a)의 내부 표면은 외부 반사기(104)의 형상에 따라 주름지게(또는 각지게) 형성될 수 있고, 내부 기판 재료(154b)의 외부 표면은 외부 반사기(104)의 형상에 따라 주름지게(또는 각지게) 형성될 수 있다. 광이 외부 기판 재료(154a)의 내부 표면으로부터 전이에 의해 굴절되면, 광은 내부 기판 재료(154b)의 각진 외부 표면으로 진입시 다른 방향으로 (예를 들어 동일한 정도로) 되굴절될 수 있다. 주름이 적절히 정렬되고 기판(154)이 얇으면, 외부 반사기 조립체로 진입시 굴절되는 횡단하는 광은 외부 반사기 조립체를 빠져 나올 때 동일한 정도로 되굴절될 것이다.
일부 실시예는 반사 재료의 상부에 걸쳐 내부 표면 및 외부 표면 상에 평활한 기판을 적층시키는 것을 포함할 수 있다. 반사 재료가 내부 기판 재료(154a)의 외부 표면의 적절한 스트라이에이션 상에 존재하는 상태에서, 제2 투명 기판(154b)이 외부 평활한 쉘(smooth shell)을 형성하도록 상부에 증착될 수 있으며, 이는 제1 층 상의 박막 반사성 증착물과 제2 층 상의 평활한 표면 사이의 융합된 경계면을 초래할 수 있다. 내부 기판 재료(154a)는 그 내부 표면 상에 평활한 마무리를 갖고 외부 표면 상에 스트라이에이션 형성된 형상을 갖는 투명한 재료(예를 들어, 몰딩 기술을 통한 플라스틱)로 제조될 수 있다. 반사 층(154)은 (예를 들어, 주름진 형상을 갖는) 내부 기판(154a)의 외부 표면 상에 적용될 수 있다. 이 반사 층은 이후, 스트라이에이션(116)들 사이의 갭들에 채워지고, 외부 측 상에 평활한 마무리로 종료하는 제2 투명한 (예를 들어, 플라스틱) 층(154b)으로 (예를 들어, 전체 유닛을 수용할 수 있는 스핀 코팅으로 또는 다른 몰드에서) 코팅될 수 있다. 2개의 투명한 (예를 들어, 플라스틱) 층은 층(154a 및 154b)을 통해 전파되는 광의 굴절이 상쇄되도록 (예를 들어, 적어도 이들 층이 설정될 때) 굴절률이 매치될 수 있다. 외부 반사기 조립체의 전체 직경에 비해 얇은 상태로 유지되면서 매치하는 굴절률로 구성된 외부 표면의 제1 (반사) 및 제2 (평활한) 층을 위한 2개의 기판을 선택함으로써, 이들 기판의 굴절은 상쇄될 수 있고, 그 결과 횡단하는 광은 회전 없이 평활한 외부 표면에 의해 최소로 굴절된다.
도 31을 참조하면, 일부 실시예에서, 기판(154)은 기판(154)의 외부 표면 및 기판(154)의 내부 표면 모두에서 (예를 들어, 주름 또는 스트라이에이션(116)을 따라) 외부 반사기(104)의 형상을 추적할 수 있다. 따라서, 광은 기판(154)의 외부 표면으로 들어갈 때 굴절될 수 있고, 광은 기판(154)의 내부 표면을 빠져나갈 때 반대 방향으로 (예를 들어, 동일한 정도로) 되굴절될 수 있다. 기판(154)의 내부 표면은 대응하는 부분들을 따라 기판(154)의 외부 표면에 평행할 수 있다. 기판(154)의 내부 표면 및/또는 외부 표면은 대응하는 부분들에서 외부 반사기(104)와 평행할 수 있다. 예를 들어, 제1 측면(124) 및 제2 측면(126)을 갖는 스트라이에이션의 경우, 기판(154)은 제1 측면(124)과 동일한 방향으로 연장되는 대응하는 제1 부분(154c)을 가질 수 있고, 기판(154)은 제2 측면(126)과 동일한 방향으로 연장되는 대응하는 제2 부분(154d)을 가질 수 있다. 도 31은 외부 반사기(154)의 내부 측면에 배치된 외부 반사기(104)의 형상을 추적하는 기판(154)을 도시한다. 일부 실시예에서, 기판(154)은 외부 반사기(104)의 외부 측면에 배치될 수 있고 외부 반사기(104)의 형상을 추적할 수 있다(예를 들어, 도 31과 유사하지만, 기판(154)만이 외부 반사기(104)의 반대쪽 측면 상에 배치됨). 일부 실시예에서, 외부 반사기(104)의 형상을 추적하는 기판 재료는 외부 반사기(104)의 두 측면에 배치될 수 있다.
외부 반사기(104)의 외부에 외부 표면을 위치시키는 것은 예를 들어 마모 및 먼지로부터 외부 반사기(104)를 보호할 수 있다. 외부 반사기(104)에 대한 부분 반사 표면은 이색성 코팅의 사용을 포함하는 다른 기술을 통해 또는 또한 전술한 한 쌍의 기판 사이에 샌드위치된 박막 광학 수지를 통해 달성될 수 있다. 일부 실시예에서, 외부 반사기 조립체에 대한 보다 간단한 구조는 단순한 플라스틱 또는 금속 기판 상에 있을 수 있는 단일의 통상의 금속 미러 표면을 사용하여 달성될 수 있다. 일부 실시예에서, 임의의 노출된 금속 기판은 얇은 플라스틱 막에 의해 부식 및 산화되는 것이 방지될 수 있다.
제조
본 명세서에 개시된 디바이스 구조부의 제조는 다음 기술, 즉 사출 성형, 절삭 성형, 압출, 진공 및 열 성형, 박막 증착 공정, 열/광/화학 첨가제 제조 기술, 밀링, 스핀 코팅, 만입, 전기 도금, 열적, 전기적 또는 진공 기상 증착, 스퍼터링, 미시적 부분 코팅, 스탬핑(stamping) 등에서 하나를 선택하거나 이들을 조합하는 것에 의해 달성될 수 있다.
이미지 캡처 및 처리
도 32를 참조하면, 한정된 구조 설계 구성 요소를 활용하는 실세계의 장면을 캡처하는 것은 캡처, 저장, 변환 및 디스플레이를 수반하는 공정을 따를 수 있다.
A. 캡처
실세계의 장면 또는 환경은 다수의 방향으로 진행하는 광자의 스트림을 갖는 광의 필드를 생성할 수 있다. 이 광의 일부는 디바이스의 반사 표면에 입사할 수 있다. 반사된 광의 일부가 본 명세서에 논의된 바와 같이 카메라 쪽으로 반사된다. 카메라는 이 광을 광자를 카메라의 이미지 센서에 포커싱하기 위한 렌즈 장치를 가질 수 있고, 이 이미지 센서는 광을 측정될 수 있는 전기 신호로 변환하고 증폭시키는 검출기를 갖는 평평한 표면일 수 있다. 단일 이미지(156)에서, 카메라(102)는, 링 내 원과 유사한, 시스템의 내부 반사기 및 외부 반사기(104 및 106)로부터 반사 지점들을 캡처하여, 카메라의 이미지 프레임에 함께 맞춰 넣을 수 있다. 도 33 및 도 34에서 볼 수 있는 바와 같이, 이미지(156)의 원 부분(158)은 하나의 입체 관점과 동등한 파노라마일 수 있고, 이미지(156)의 링 부분(160)은 다른 입체 관점과 동등한 파노라마일 수 있다. 이미지(156)의 원 부분(158)은 입체 시야에서 우안 이미지 또는 좌안 이미지로 사용될 도 35의 이미지(162)를 제공하도록 변환될 수 있다. 이미지(156)의 링 부분(160)은 입체 시야에서 우안 이미지 또는 좌안 이미지 중 다른 이미지로 사용될 도 35의 이미지(164)를 제공하도록 변환될 수 있다.
B. 저장
카메라 센서가 측정을 통해 캡처하는 이미지는 인코딩되거나, 카메라 또는 다른 디바이스에 저장되거나, 및/또는 데이터 스트림으로 직접 변환될 수 있다. 공간적 및 시간적 중복성을 이용하면 단일 이미지 및/또는 이미지들의 인접한 시퀀스를 인코더로 압축하여 전체 파일 크기를 줄일 수 있다. 데이터는 메타 데이터, 카메라 설정, 오디오 기록, 모션 센서 판독 등과 같은 다른 정보와 함께 다중화될 수 있는 파일로 파싱될 수 있다. 결과적인 데이터 파일은 임의의 적절한 데이터 전달 수단을 통해 저장 및/또는 전송되어 실시간으로 또는 나중에 사용될 수 있다.
C. 변환
적절한 디코더는 파일로부터 압축되거나 압축되지 않은 이미지 데이터를 추출할 수 있고, 이 이미지 데이터를 디코딩하여 디바이스로부터 캡처된 실세계 장면의 팩시밀리를 포함하는 단일 이미지 또는 이미지들의 인접한 시퀀스를 재형성할 수 있다. 적절한 하드웨어 또는 소프트웨어 렌더러 프로그램(또는 심지어 적절한 광학 장치 세트)은 내부 반사기 및 외부 반사기(104 및 106)로부터의 반사를 나타내는 2개의 하위-뷰를 변환할 수 있고 (예를 들어) 2차원 벡터 필드 워핑 변환(vector field warping transformation)을 적용할 수 있다. 렌더러는 반사기의 주 곡률에 의해 도입된 불균일한 각도 분포가 상쇄될 수 있도록 두 이미지의 부분들을 적절하게 크롭(crop)하거나, 차동적으로 신장시키거나, 스쿼시(squash)하거나 및/또는 절삭(cut-out)할 수 있다. 추가적인 이미지 워핑 변환이 예를 들어 도 35에서 볼 수 있는 바와 같이 각 하위-이미지(예를 들어, 각각의 눈에 대해 하나씩)에 적용되어, 주어진 디스플레이 디바이스를 통해 관찰자에 적절한 각도 분포를 제공할 수 있다.
D. 렌더링/디스플레이
능동 렌더링이 사용될 수 있다. 변환된 단일 이미지 또는 이미지들의 인접한 시퀀스를 사용하여 렌더링 디바이스/디스플레이는 사용자의 재량에 따라 입체 뷰-평면을 조작하고 조정할 수 있다. 워핑과 크롭은 사용자의 예상된 뷰 방향에 대해 대응하는 시점을 적절하게 디스플레이하도록 능동적으로 조정될 수 있다. 이러한 조정은 물리적 핸드 제어기, 머리와 눈의 모션 추적 기능이 있는 파노라마 헤드업 디스플레이 장치, 및/또는 모션 추적 센서와 같은 다양한 센서 기술을 사용하여 렌더링 디바이스/디스플레이에 공급되는 사용자의 머리와 눈의 움직임에 관한 모션 제어 정보에 기초할 수 있다.
또한, 렌더러는 기록된 이미지에서 신속한, 정밀한 또는 오프-수평선 모션을 고려하기 위해 동적 크롭 및/또는 적절한 워핑을 적용함으로써 캡처 동안 도입된 진동 또는 의도치 않은 모션을 상쇄하는 것을 도와줄 수 있다. 동적 크롭 및/또는 워핑은 실시간으로 또는 나중에 검사를 통해 관련된 데이터 스트림을 풍부하게 하면서 센서에 의해 모션 변수를 캡처하고 분석하는 것에 의해 달성될 수 있다.
수동 렌더링이 사용될 수 있다. 기록된 이미지는 본 명세서에서 논의된 바와 같이 동일한 캡처, 저장 및 변환 절차를 따르고, 이후 디코딩되고 적절히 워핑되고 및/또는 다른 이미지 형식으로 (예를 들어, 도 34의 링 포맷의 원으로부터 도 35의 직사각형 이미지로) 변환될 수 있으며, 의도치 않은 모션을 고려하기 위해 재-인코딩되거나, 및/또는 나중에 렌더링 디바이스/디스플레이에 의해 처리되기에 보다 편리한 파일 유형으로 변환될 수 있다. 이러한 작업 흐름은 선행-공정(pre-process)으로서 발생할 수 있으므로, 이들 단계는 관찰자에 의해 사용되는 최종 디코더 및 렌더러에 의해 디코딩되는 지점에서는 필요치 않다.
일부 설정에서, 디코더와 렌더러는 결합되어, 적절한 변환을 적용하기 위해 렌더러에 보내지기 전 임의의 주어진 시간에, 보이는 이미지 공간 부분만을 디코딩함으로써, 디코더는 모든 프레임에 대해 전체 이미지 공간을 디코딩하고 제출하는 것이 아니어서 작업 부하를 감소시킨다. 이미지는 디스플레이에 송신되고 이 디스플레이는 관찰자의 눈으로 포커싱되고 캡처되는 광을 방출할 수 있다. 사용자의 두 눈에 입체적인 이미지 쌍을 공급함으로써 사용자의 뇌는 실제 장면에서 하는 것과 같은 방식으로 원래의 기록된 환경에 대해 3D 인식을 재구성할 수 있다.
예시적인 구조부
이 절은 (예를 들어, 단일 시점을 통해) 360도 입체 장면을 캡처하는 시스템을 위한 특정 예시적인 실시예 및 조립체 옵션을 설명한다. 다양한 실시예에서, 반사기의 일부는 수평 방향으로 360도 미만의 시야 범위를 제공하기 위해 사용될 수 있다. 예를 들어, (예를 들어, 길이방향 축을 삭감하여) 반사기의 절반을 사용하여, 이미징을 (360도가 아닌) 180도에 걸쳐 수행할 수 있다.
A. 예 1
도 36 및 도 37은 대칭형 반사기(204)를 형성하는 하나의 주름진 포물면 같은 형상의 (또는 돔 형상의) 반사기(204)를 덮는 매치하는 "경사" 면 및 "은닉된" 면 스트라이에이션들을 갖는 예시적인 구조를 도시한다. 도 36은 카메라(202)의 시야에서 본 반사기(204)를 도시한다. 스트라이에이션(216)의 각 교대 면(alternate face)은 중심 축에서 보았을 때 반사된 뷰라인들을 시계 방향 또는 반시계 방향으로 각각 회전시킬 수 있다. 표면 상의 각각의 홀수 면 또는 짝수 면이 함께 합성시, 홀수 면은 하나의 방향에서 접선을 중심으로 회전된 제1 파노라마 시점을 효과적으로 형성할 것이고, 짝수 면은 다른 방향에서 접선을 중심으로 회전된 제2 파노라마 시점을 효과적으로 형성할 것이다. 따라서, 각각의 시점의 대응하는 뷰라인들은 본 명세서에서 논의된 다른 실시예에서와 거의 동일한 방식으로 공간에서 분리되지만, 이들 둘 모두는 하나의 주 표면 상에 인터리브되고, 디바이스의 중심에 대해 공통 회전 중심점을 갖는다. 입체 분리가 내부 반사기-외부 반사기의 관계에 의존하는 것이 아니라, 단일 반사기(204) 상의 2개의 반사 지점으로부터의 관계에 의존하기 때문에, 각 스트라이에이션의 각도 회전이 충분하여 극성 반대 면을 생성하는 한, 내부 반사기 및 외부 반사기를 사용하는 시스템에 비해 더 작은 디바이스를 통해 유사한 분리 레벨이 이제 달성될 수 있다.
또한, 단 하나의 반사기(204)로부터만 캡처하기 위해, 반사 표면은 부분적으로 반사성인 것이 아니라 (예를 들어, 본 명세서에서 논의된 내부 반사기(106)와 유사하게) 전체적으로 반사성으로 만들어지면서, 좌안 시점과 우안 시점 모두에 대해 정확히 대응하는 반사된 각도 범위 및 밀도를 여전히 커버할 수 있다. 그러나, 두 세트의 이미지를 하나의 표면으로 인터리빙함으로써, 두 이미지를 서로 분리할 때 새로운 문제가 도입될 수 있다. 하나의 접근법은 소프트웨어가 이산적으로 또는 주파수 분석을 통해 서로 교대로 슬라이스를 디지털 방식으로 절단(cut)하는 것이다. 그러나 해상도를 최대화하기 위해 스트라이에이션의 밀도를 높임으로써 각 교대하는 표면을 카메라 비전에서 결합하여 디지털로 분리하는 것을 어렵거나 불가능하게 만드는 가능성이 있다. 이것은 흡수 편광 층과 반사 편광 층을 교대로 적용하고 장면 캡처 지점에서 대응하는 편광 카메라 필터와 이들 층이 쌍을 이루게 하는 것에 의해 해결될 수 있다. 이후 대응하는 필터는 회전된 이미지 반사와 회전되지 않은 이미지 반사를 별도로 볼 수 있게 하여 추가적인 분해 및 저장을 할 수 있게 한다. 비교적 큰 스트라이에이션이 사용되고 각 표면의 교대하는 이미지 스트립들이 인터리브되어야 하는 경우에 각 표면에 추가적인 볼록 곡률을 추가하면 이미징된 요우 범위가 약간 넓어져서 스티칭 과정에서 중첩(overlap)하는 것을 도와주어 일관성이 향상된다.
B. 예 2
디바이스의 예 1의 변형 예는 (예를 들어, 프레넬 반사기일 수 있는) 반사기(304)의 중심에 구멍(305)을 병합할 수 있으며, 이 구멍(305)을 통해 1차 만곡 반사기(306)가 카메라(302)에서 보일 수 있다. 반사기(304)는 세계 뷰를 1차 반사기(306)로 반사시킬 수 있으며, 이 반사기는 이 뷰를 구멍(308)을 통해 카메라(302)로 반사시킬 수 있다. 이것은, 더 작은 특징부들이 더 이상 축 상의 한 점에서 수렴하지 않기 때문에, 디바이스의 가시적인 피치 범위(342)를 확장시키고 및/또는 내부 반경에서 스트라이에이션 마이크로구조부(316)의 필요한 밀도를 감소시키는 장점을 갖는다. 또한, 이 형태에서, 대응하는 뷰 라인들은 프레넬 반사기에 걸쳐 일관적인 입체 분리로 구성될 수 있으며, 이후 이 뷰라인들은 단일 반사기(204)를 단독으로 사용하는 경우와 같이 물리적 제한 없이 1차 반사기에 의해 카메라의 시야 범위로 압축된다.
C. 예 3
반사 표면(예를 들어, 프레넬 반사 표면)의 사용에서 전술한 바와 같이, 스트라이에이션의 길이를 따라 조정된 적절한 나선 곡률 및 경사 면 각도를 병합함으로써, 반사된 뷰라인은 요우 평면에서 임의로 회전될 수 있을 뿐만 아니라, 복제될 때 전체 원형 어레이는 피치 평면에 대한 대응하는 뷰라인에서 임의의 회전을 제공할 수도 있으므로 공간에서 부분적으로 임의의 배치를 가능하게 한다(이에 의해 상기와 같이 피사체 거리를 교정(correction)할 수 있다). 뷰라인을 따라 임의의 위치 지정을 가능하게 하는 것과 동등한, 피치 평면에서 임의의 반사 곡률을 생성하는 능력은 기저 구조부의 곡률을 보상하여 다소 임의로 이를 만들 수 있다는 것을 의미한다. 이러한 방식으로, 3D 형태로 360도 확장되었을 때 포물면 같은 형상의 볼록한 기저 구조부를 갖는 대신, 이것은 평면 형상을 가져서 3D 형태로 360도 확장될 때 원추(또는 원뿔대)를 형성할 수 있다. 평면 표면은, 이후 볼록한 왜곡이 없는 적절한 원추 형상으로 구부러지는 편평한 시트로서 제조되는 것이 보다 간단하고 보다 저렴할 수 있고, 제조용 사출 성형 공정에서 몰드로부터 삽입물이 방출하는 것을 향상시킬 수 있다.
도 40은 내부 반사기(406)가 (예를 들어, 도 19와 관련하여 논의된 바와 같이) 일반적으로 포물면 또는 돔 형상을 갖고 광을 환경으로부터 카메라(402)로 반사시킬 수 있는 예시적인 실시예를 도시한다. 외부 반사기(404)는, (예를 들어, 도 23 및 도 24와 관련하여 논의된 바와 같이) 일반적으로 포물면 또는 돔 형상을 갖고, 광을 환경으로부터 카메라(402)로 반사시킬 수 있다.
도 41은 내부 반사기(506)가 (예를 들어, 도 19와 관련하여 논의된 바와 같이) 일반적으로 포물면 또는 돔 형상을 갖고 광을 환경으로부터 카메라(502)로 반사시킬 수 있는 예시적인 실시예를 도시한다. 외부 반사기(504)는 원뿔대 형상의 주 형상을 가질 수 있고, 측벽들은 외부 반사기(504)의 상부로부터 외부 반사기(504)의 하부까지 일반적으로 직선으로 연장될 수 있다. 스트라이에이션(516)(또는 유사한 반사 요소)의 각도는 (일반적으로 포물면 형상과 대조되는) 외부 반사기(504)의 원뿔대 형상을 고려하기 위해 도 40의 실시예에 대해 조정된다.
D. 예 4
디바이스의 또 다른 형태는, 외부 반사기 상에 또는 내부 반사기와 외부 반사기의 둘 모두 상이 아니라 내부 반사기 상에 스트라이에이션(예를 들어, 프레넬 스트라이에이션) 또는 다른 반사 요소를 병합할 수 있다. 내부 반사기(606) 및 외부 반사기(604) 모두 상에 스트라이에이션 또는 다른 사소한 반사 요소들을 포함하면 내부 반사기(606)의 대응하는 뷰라인을 회전시킬 수 있을 뿐만 아니라 외부 반사기(604)의 대응하는 뷰라인도 회전시킬 수 있다. 외부 반사기(604) 상의 뷰라인의 회전과 반대 방향으로 표면 주위로 내부 반사기(606)의 대응하는 뷰라인을 회전시키는 것에 의해, 2개의 뷰라인은 (단 하나의 반사기만이 스트라이에이션을 갖는 시스템에 비해) 중심 축 주위로 균일하게 위치되도록 더 근접할 수 있고, 이는 이들 뷰라인이 시야 방향을 회전시킬 때 최종 사용자의 인식된 위치에서 축방향 오프셋을 부분적으로 교정할 수 있다. 이것은 또한, 예를 들어, 분리 거리가, 이제, 내부 반사기의 방사방향 라인과 이로부터 떨어져 있는 외부 반사기 상의 표면 사이를 신장시키는 것이 아니라, 내부 반사기와 외부 반사기의 먼 측면들의 코드 사이를 신장시킬 수 있기 때문에, 디바이스의 최소 크기를 감소시키는 효과를 갖는다.
도 42는 내부 반사기(606)가 다른 실시예에서 본 명세서에서 논의된 것과 유사하게 동작할 수 있는 스트라이에이션(617) 또는 다른 사소한 반사 요소를 포함하는 예시적인 실시예를 도시한다. 외부 반사기(604)는 다른 실시예와 관련하여 논의된 것과 유사한 스트라이에이션(616)을 포함할 수 있다. 스트라이에이션(617)은 광을 수평면에서 카메라(602)로 가는 제1 방향으로 편향시킬 수 있고, 스트라이에이션(616)은 광을 수평면에서 카메라(602)로 가는 제2 반대 방향으로 편향시킬 수 있다. 도 42에서, 내부 반사기(606)는 일반적으로 포물면 형상을 갖고, 외부 반사기(604)는 원뿔대 형상을 갖는다. 일부 실시예에서, 내부 반사기(606) 및 외부 반사기(604)는 (예를 들어, 도 1 및 도 10과 관련하여 논의된 바와 같이) 주 형상으로 일반적으로 포물면 형상을 가질 수 있다. 도 43에서, 내부 반사기(706)는 원추 형상의 주 형상을 갖고, 외부 반사기(704)는 원뿔대 형상의 주 형상을 갖는다. 스트라이에이션(717)은 광을 수평면에서 카메라(702)로 가는 제1 방향으로 편향시킬 수 있고, 스트라이에이션(716)은 광을 수평면에서 카메라(702)로 가는 제2 반대 방향으로 편향시킬 수 있다.
E. 예 5
도 44 내지 도 46을 참조하면, 디바이스의 다른 예시적인 실시예는 일부 구현예에서 내부 반사기(806) 및 외부 반사기(804)(예를 들어, 하나 또는 둘 모두는 프레넬 스트라이에이션을 가짐)의 절단된(sawn-off) 원추형 배열의 구멍을 통해 보는 카메라(702)의 전체 시야를 차지할 수 있고, 카메라의 시야를 2개의 반사기(804 및 806)로 반사시키는 추가적인 1차 만곡 반사기(701)를 병합할 수 있다. 이것은 이용가능한 피치 각도의 범위(842)를 잠재적으로 확장시키는 장점을 갖고, 그리고 추가적인 1차 반사기(801)의 결과 카메라(802)가 관찰할 수 있는 최소 간극으로 내부 반사기 및 외부 반사기(806 및 804)가 놓일 수 있어서 디바이스의 크기를 감소시킬 수 있고, 이것은, 일부 실시예에서, 사용자가 자신의 시야 방향을 회전시킬 때 관찰되는 축방향 오프셋을 더 감소시키는 효과를 더 가질 수 있다. 또한 이것은 카메라의 입체각당 스트라이에이션을 보다 균일하게 분포시켜, 스트라이에이션 제조 공정 및 밀도의 변동시 특히 중심 축 근처 내부 반사기에 대해 더 적은 이미징 아티팩트를 생성하는 효과를 더 제공할 수 있다. 내부 반사기(806) 및 외부 반사기(804)는 (내부 반사기(806)가 중심의 구멍을 통해 1차 반사기(801)를 보는 카메라(802)를 수용하도록 중심에 구멍을 가질 수 있다는 것을 제외하고는) 본 명세서에 개시된 다양한 다른 실시예의 것들과 유사할 수 있다.
F. 예 6
도 47 내지 도 50을 참조하면, 디바이스의 다른 실시예는 1차 반사기(901)를 가질 수 있으며, 이 1차 반사기는 2차 만곡 반사기(909) 상으로 반사하고, 이 제2 만곡 반사기는 상기와 같이 내부 반사기와 외부 반사기의 절단된 원추형 배열로 또는 대안적으로 원통형 내부 반사기 및 외부 반사기(906 및 904)로 위 또는 아래로 반사하며, 여기서 이들 내부 반사기와 외부 반사기 중 하나 또는 둘 모두는 스트라이에이션(917 및 916)(또는 다른 사소한 반사 특징부)을 가질 수 있다.
G. 예 7
도 51은 외부 반사기(1004) 및 내부 반사기(1006)를 갖는 예시적인 실시예를 도시한다. 내부 반사기(1006)는 본 명세서에 개시된 내부 반사기(106)와 동일하거나 유사할 수 있다. 외부 반사기(1004)는, 아래에 논의된 것을 제외하고는, 본 명세서에 개시된 외부 반사기(1004)와 유사할 수 있다. 외부 반사기(1004)는 회전식, 비-인접한 및/또는 완전 반사 패널(1011)을 포함할 수 있다. 반사기(104)와 관련하여 논의된 바와 같이 부분적으로 반사성이고 부분적으로 투과성(PRPT)인 특성을 갖는 하나의 인접한 표면으로서 외부 반사기(1004)를 구성하기보다는, 외부 반사기(1004)는 (예를 들어, 본 명세서에서 논의된 내부 반사기(106)와 유사하게) 완전히 반사성일 수 있다. 예를 들어, 외부 반사기(1004)는 완전 반사 재료로 코팅될 수 있다. 외부 반사기(1004) 및 내부 반사기(1006)는 본 명세서에 개시된 다른 실시예와 유사하게 대응하는 입체 뷰라인(예를 들어, 평행한 오프셋된 뷰라인)을 달성하기 위해 카메라(도 51에 도시되지 않음)에 필요한 광 경로를 제공하도록 구성될 수 있다.
외부 반사기(1004)는 완전 반사 코팅으로 덮이기 (또는 부분적으로 반사성이 아니라 완전히 반사성이도록 만들어지기) 때문에, 외부 반사기(1004)는 PRPT 외부 반사기(104)를 구비하는 실시예에서 내부 반사기를 통과하여 도달할 수 있는 광을 차단할 수 있다. 불투명한 외부 반사기(1004)는, 서로 이격되어 패널(1011)들 사이에 복수의 갭(1013)을 형성하는 복수의 패널(1011)을 포함할 수 있다. 이미징되는 환경으로부터의 광은 패널(1011)들 사이의 갭(1013)을 통과하여 내부 반사기(1006)에 도달할 수 있으며, 내부 반사기는 다른 실시예와 관련하여 논의된 바와 같이 카메라로 광을 반사시킬 수 있다. 외부 환경으로부터 도달하는 광은 교대로 (예를 들어, 본 명세서에서 논의된 복잡 광 경로와 유사하게) 외부 반사기 패널(1011)에 부딪쳐 카메라로 반사되거나 또는 (예를 들어, 본 명세서에 논의된 단순 광 경로와 유사하게) 패널(1011)들 사이의 갭(1013)을 통과하여 내부 반사기(1006)에서 반사되어 카메라로 반사될 수 있다.
외부 반사기(1004)는 중심 축을 중심으로 회전될 수 있으며, 이는 각 패널 사이의 시간에 걸쳐 누적된 평균이 카메라에 의해 캡처되게 할 수 있다. 갭 크기에 대한 패널 크기의 각도 비를 제어하면 내부 반사기(1006)에 도달하는 광에 대해 외부 반사기(1004)에서 반사되는 광의 양을 비례적으로 제어할 수 있고, 이에 따라 갭 크기에 대한 패널 크기의 비를 심지어 50:50으로 함으로써, 균일하게 분포된 광량이 내부 반사기(1006) 및 외부 반사기(1004)에 도달하게 할 수 있다. 일부 실시예에서, 회전 동안, 내부 반사기 및 외부 반사기(1006 및 1004)로부터 대응하는 입체 뷰라인(예를 들어, 평행한 오프셋된 뷰라인)들이 분해될 수 있다. 카메라의 노출 길이 및/또는 외부 반사기(1004)에 대한 회전 속도는 카메라에 대한 노출 시간 길이가 전체 패널(1011) 및 하나의 전체 갭(1013)이 주어진 지점을 통과하는데 요구되는 시간 이상이 되도록 선택될 수 있다. 예를 들어, 24 프레임/초의 노출 율에 대해, 8개의 패널(1011) 및 8개의 갭(1013)을 갖는 도 51에 도시된 외부 반사기는 초당 3회전의 속도로 회전할 수 있다. 따라서, 이미지의 노출에 대해 1/24초 동안, 외부 반사기는 1/8 회전을 완료할 수 있으며, 이에 임의의 주어진 광 경로가 노출 시간 동안 하나의 전체 패널(1011) 및 하나의 전체 갭(1013)과 교차할 수 있다. 많은 수의 얇은 패널(1011)을 가짐으로써 또는 패널(1011)들의 어레이를 신속하게 회전시킴으로써, 시스템은 예를 들어 카메라에 의한 비디오 기록을 이동시키기 위해 신속한 노출과 양립할 수 있다. 이 방법에 따라, 카메라는 인접한 PRPT 외부 반사기(104)를 사용하는 것처럼 도 51의 외부 반사기(1004)를 사용하여 유사한 이미지를 캡처할 수 있다. 외부 반사기(1004)를 선회시키면 또한 스트라이에이션(1016)에 의해 야기된 외부 반사기(1004)의 이미지에서 "계단식-변위(stair-stepping)" 왜곡을 일시적으로 평활화시키는 전술한 효과를 가질 수 있다.
1개의 패널 및 갭, 2개의 패널 및 갭, 4개의 패널 및 갭, 8개의 패널 및 갭(도 51에 도시된 바와 같은 것), 12개의 패널 및 갭, 16개의 패널 및 갭, 24개의 패널 및 갭, 32개의 패널 및 갭, 64개의 패널 및 갭, 128개의 패널 및 갭, 또는 이들 사이의 임의의 값 또는 상기 언급된 값들에 의해 한정된 임의의 범위와 같은 다양한 상이한 수의 패널(1011) 및 갭(1013)이 사용될 수 있다.
시스템은 외부 반사기(1004)를 회전 구동할 수 있는 모터(도시되지 않음)를 포함할 수 있다. 일부 실시예에서, 외부 반사기(1004)는 고정 유지될 수 있는 내부 반사기(1006)에 대해 회전할 수 있다. 일부 실시예에서, 내부 반사기(1006)는 외부 반사기(1004)와 함께 회전하고, 내부 반사기(1006)는 회전 대칭이어서 내부 반사기(1006)의 회전이 이미지에 크게 영향을 주지 않을 수 있다.
일부 예에서, 내부 반사기(1006)와 외부 반사기(1004) 사이의 원치 않는 반사가 도입될 수 있으며, 이는 카메라에 의해 캡처된 이미지를 잠재적으로 왜곡시킬 수 있다. 일부 실시예에서, 외부 반사기(1004)의 내부 표면(예를 들어, 패널(1011)의 내측을 향하는 측면)은 내부 반사기의 내외로 반사하는 스트레이 광을 흡수하기 위해 어두운 (예를 들어, 흑색) 코팅을 가질 수 있다. 이런 특징의 추가적인 장점은 내부 반사기에 있는 스트라이에이션의 은닉된 면과 경사진 면 사이의 다수의 반사 소스가 제거될 수 있다는 것이다.
정지 이미징(still imaging)
단일 카메라 설정으로, 하나의 정지 이미지는, 적절한 디스플레이(가상 현실 헤드 장착형 디스플레이, 플래니타리움(planetarium) 유형의 투사된 이미지 등)를 사용하여, 입체 3D 및 전역 파노라마에서 정물화(still life)로 재검사될 수 있는 환경의 정지 프레임 이미지를 제공하는 본 명세서에 개시된 시스템을 사용하여 캡처될 수 있다.
이미지 시퀀스
비디오 이미징 디바이스 또는 버스트 캡처 모드에서 동작하는 카메라를 사용하여 캡처된 수 개의 연속적인 프레임을 커버하는 짧은 비디오 시퀀스를 통해, 이들 이미지의 루프는 전술한 바와 같이 동일한 디스플레이 설정으로 미묘한 시간적 뉘앙스를 가지고 진짜 같은 묘사를 디스플레이할 수 있다.
전체 비디오 기록 및 방송
비디오 기록 디바이스를 이용하여, 이벤트는 주어진 관점에서 캡처될 수 있고, 이후 시퀀스로서 연속적인 장면(footage)으로 재이미징될 수 있다. 라이브 피드(live feed)는 또한 하나의 장소에서 방송되고, 실시간으로 (예를 들어, 임의의 적절한 정보 채널을 통해 전송되는) 다른 원격 장소에서 볼 수 있다. 정지 이미징, 짧은 이미지 시퀀스 또는 전체 비디오 이미징에서 다수의 캡처 지점을 사용하면 관찰자는 임의의 방향으로도 볼 수 있는 기능을 유지하면서 시점들 사이를 스위칭할 수 있고, 다수의 사용자는 동일한 시점에 동시에 액세스할 수 있으면서 여전히 파노라마 범위 내에서 임의의 원하는 바에 따라 각자 독립적으로 볼 수 있다.
비디오 경로 캡처
장면을 통해 움직이는 캡처 지점으로부터 비디오를 기록하면, 관찰자는, 모션 위치에 대응하는 지점으로 비디오를 빨리 감기 또는 되감기를 하는 것에 의해, 모션 경로를 따라 임의로 이동할 수 있다. 이것은 캡처 장비의 모션 추적 디바이스로부터 취해지거나, 또는 이미지 자체로부터 추론된 데이터와 매치되고, 시야 지점에서 대응하는 모션 검출과 결합되어, 관찰자에게 경로를 따라 진짜 같은 위치를 경험할 수 있게 한다.
원격 현장감(telepresence) 및 원격 측정(telemetry)
라이브 피드로 동작하면, 디바이스는 라이브 상황을 원격 장소로 중계하는데 사용될 수 있다. 이 데이터는 원격 장소로부터 보고 분석하기 위한 추가적인 유용한 정보를 제공하는 추가적인 센서로부터 취한 측정값과 결합될 수 있다. 또한, 디바이스가 적절한 작동과 결합되면, 원격 장소에 있는 제어기로부터 피드백된 정보가 디바이스를 이동시키고 및/또는 관련 장비를 동작시킴으로써 실시간으로 뷰를 변경할 수 있다. 이것은 드론(drone)을 포함하는 원격 현장감용 원격 로봇에서 사용할 수 있으며, 로컬 또는 원격 반자동 제어(drive-by-wire) 차량에 대한 원격 뷰를 제공하는데 사용될 수 있다.
자동 안정화
일부 실시예에서, 입체 측정과 결합된 모든 요우 방향으로 이용 가능한 넓은 각도 범위는 사실상 모든 환경에서 이미지 데이터만으로 절대 회전 및 가속을 결정할 수 있다는 것을 의미한다. 본 발명에 따라 기록된 비디오에서 이미지들의 시퀀스에 있는 픽셀 값들을 비교함으로써, 하나의 프레임 내의 이미지에서의 동일한 전체(aggregate) 픽셀 특징을 나중에 기록된 다른 프레임 내의 이미지에서의 것과 매치시켜, 카메라의 움직임과 관련이 있는 구역에서 이미지 평면에 걸쳐 그 변위를 계산할 수 있다. 디바이스가 공간에서 회전하기 때문에 기록된 이미지는 이 회전을 계산하는 데 사용될 수 있는 일관적인 변위를 보여줄 수 있다. 유사하게, 기록 동안 공간에서 디바이스가 병진 이동하면 이동 방향에 수직인 이미지 부분에서 이미지 평면이 변위하고 디바이스가 움직이는 방향으로 특징부가 확대되며 디바이스가 멀어지는 방향으로 특징부가 수축할 수 있고, 이것을 함께 취하면 추가적인 센서 없이 시간에 따라 기록된 디바이스의 모션 및 회전을 계산할 수 있다. 계산된 회전 데이터를 또한 실시간으로 또는 후 처리 공정에서 사용하여, 디스플레이된 이미지 공간을 반대로 회전시켜 물리적 공간에서 디바이스의 기록된 회전을 보상하면 원래의 기록이 불안정한 경우에도 이미지 데이터의 관찰자의 관점으로부터 안정적인 시점을 생성할 수 있다.
다중 디바이스 어레이
캡처된 이미지의 장래의 위치 조성을 가능하게 하기 위해 추가적인 이용 가능한 관점 및 잠재적인 홀로그래픽 데이터를 제공하도록 디바이스의 수 개의 사본이 어레이로 배열될 수 있다. 동일한 환경 내 다수의 인근 장소에 있는 디바이스의 다수의 사본을 사용하여, 최종 사용자는 캡처된 이미지를 관찰하여 관찰할 디바이스를 선택하고 이에 의해 임의의 주어진 시간에 선호하는 관점을 선택할 수 있다. 또한, 디바이스의 다수의 사본이 적절히 배열되면, 하나의 디바이스 및 다른 디바이스로부터 캡처된 매치하는 픽셀 데이터 및 전체 픽셀 특징부들을 수학적으로 보간하여 디바이스들 중간 위치에 대응하는 합성 관점을 생성할 수 있어서, 이에 의해 최종 사용자가 자신의 관점을 디바이스들의 수집 공간 내에서 임의로 이동하게 할 수 있다. 또한, 정확한 입체 이미지 쌍들이 디바이스에 의해 직접 캡처되기 때문에, 입체 이미지는 동일한 변위된 이미지 세트로부터 합성될 필요가 없고 대신에 별도의 좌측 시점과 우측 시점으로부터 직접 개별적으로 보간될 수 있다. 따라서 좌측 이미지와 우측 이미지의 작은 차이가 보존되어서, 변위의 보간이 픽셀 아티팩트를 생성하는 경우에도 정확한 시차 뷰를 제공하고, 비-입체 쌍의 소스들로부터 합성물을 생성하는 것에 비해 계산이 간단하게 유지된다.
광 필드/홀로그래픽 캡처
렌티큘러 렌즈릿 어레이(lenticular lenslet array), 코딩된 애퍼처(coded aperture) 또는 구조화된 조명을 포함하되 이들로 국한되지 않는 광 필드 캡처 기술과 함께 사용되는, 카메라 또는 카메라 어레이 또는 (2개 또는 3개의 공간 차원에 걸쳐 2개 또는 3개의 각도 차원에 걸쳐 광을 동시에 기록하는) 다른 이러한 4차원 내지 6차원 캡처 기술은 카메라가 통상적으로 위치하는 위치로부터 공간적으로 오프셋된 많은 상이한 장소로부터 디바이스의 시점을 캡처하거나 재구성할 수 있고, 통과하는 광 필드, 즉 어레이에 도달하는 광의 배치 및 방향을 검출하고 기록할 수 있는 홀로그래픽 캡처 시스템을 구성한다. 일부 실시예에서, 카메라들의 어레이가 사용될 수 있다. 일부 실시예에서, 합성 카메라들의 어레이가 사용될 수 있다. 예를 들어, 합성 카메라들을 제공하기 위해 단일 이미지 센서와 함께 복수의 애퍼처가 사용될 수 있다.
도 52 및 도 53을 참조하면, 이러한 배열의 예시적인 실시예는, 카메라가 본 명세서에 개시된 다른 실시예에서 통상 위치되는 곳과 대략 근사한 수평면 상에 배치되거나, 또는 대략 초점이 디바이스 반사기(1104 및 1106)의 중심에 형성되고 카메라 어레이의 다중 시점들이 반사기(1104 및 1106)를 지시하는, 오목 표면에 걸쳐 배치된 카메라(1102)들의 어레이 또는 카메라들의 합성 어레이의 형태를 취하여, 다른 실시예에서 단일 카메라(102)가 하는 것처럼 하지만 중심축으로부터 각각 상이하게 오프셋된 다수의 관점에서 외부 반사기 및 내부 반사기(1104 및 1106)로부터 반사된 광을 캡처할 수 있다. 그 위치에 따라, 중심으로부터 오프셋되어서 다른 것보다 디바이스의 일측에 더 가깝게 위치된 하위-카메라 또는 합성 애퍼처 카메라 관점으로부터 캡처된 이미지는, 내부 반사기(1106) 및 외부 반사기(1104) 모두를 통해 반사된 외부 환경의 피사체로 가는 방향으로 감소된 총 거리 또는 시프트된 각도 관점을 가져서, 중심 카메라로부터 캡처된 동일한 방향의 이미지에 비해 피사체에 사실상 더 가까운 이미지 공간의 방향에 있는 위치로부터 대응하는 입체 이미지를 생성하도록 배열될 수 있다. 이에 따라, 동일한 오프셋 카메라로부터 역방향으로 캡처된 이미지는 결과적으로 그 반대 방향으로 피사체로부터 더 멀어지고, 그 사이의 측면 위치로부터 캡처된 이미지는 중심에 대해 하위 카메라의 방향으로 공간적으로 시프트될 것이다. 따라서, 이 오프셋 장소로부터 오는 캡처된 이미지는 중심으로부터 오프셋 방향으로 공간적으로 시프트된 이미지 공간을 생성하도록 배열될 수 있다. 따라서 서로 다른 오프셋을 각각 갖는 어레이에 많은 카메라를 수집하면, 최종 사용자는 입체 이미지를 디스플레이할 카메라를 선택하고, 이에 의해 평면 표면 또는 볼록 표면의 카메라의 범위 내에서 최종 사용자의 관찰 위치를 시프트할 수 있고, 또 이러한 개별 이미지 쌍들 사이의 픽셀들 또는 이미지 특징부들을 추가적으로 보간하여, (디바이스의 중심축이 수직으로 배향된 경우) 수평 평면에 대략 대응하는 캡처된 공간 내의 임의의 위치를 재구성할 수 있다. 특성상 홀로그래픽인 이러한 데이터세트를 통해, 최대 회전 자유도로 장면의 정확한 전역 입체 파노라마를 구성할 수 있을 뿐만 아니라 어느 정도 이용가능한 병진 자유도를 갖게 이를 재생할 수 있고, 이는 예를 들어 가상 현실 헤드셋을 통해 디스플레이될 때 관찰자가 자신의 관점을 회전시킬 수 있게 할 뿐만 아니라 상대적인 캡처 지점으로부터 자신의 관점을 약간 이동시킬 수 있게 하여, 관찰자의 모션 캡처에 의해 잠재적으로 제어되는 관점을 시프트시킬 수 있어서, 완전히 몰입하는 경험을 생성할 수 있다.
카메라들의 어레이(1102) 또는 합성 카메라들은, 카메라가 다른 실시예에서 위치된 곳과 대략 근사한, 디바이스의 중심 축에 수직인 평면 상에 위치될 수 있고, 본 명세서에 개시된 다른 카메라와 유사한 외부 반사기(1104) 및 내부 반사기(1106) 모두를 관찰하도록 지향될 수 있다. 카메라(1102)들의 어레이는 대안적으로 편평한 평면과 대조적으로 만곡된 표면 상에 장착될 수 있어서, 어레이 내 각 카메라로부터 반사기(1104 및 1106)까지의 거리가 변할 수 있다. 이 어레이는, 도 53에는 2개가 도시된, 상이한 수직 차원들로 중심으로부터 오프셋된 각도 관점으로부터 반사기(1104 및 1106)로부터 반사된 이미지를 캡처할 수 있다. 임의의 주어진 지점에서 어레이의 위치와 반사기의 표면 각도에 따라 주변 환경의 피사체를 반사하는 뷰라인의 길이 또는 위치는 시프트될 수 있고 그리하여 카메라 시점의 어레이에 의해 사용자는 다른 관점으로부터 장면을 관찰할 수 있어서, 최종 사용자는 카메라 어레이의 크기로 제한된 움직임 자유도를 가지고 캡처된 장면 내에서 일부 자유로이 움직일 수 있다.
사진 측량 조사(Photogrammetry Surveying)
설명된 광학 시스템을 사용하여 장면을 캡처하면 3D 시뮬레이션에서 장면을 계산으로 재구성하기 위한 기준으로 사용될 수 있는 환경 물체 및 조명의 이미지를 제공할 수 있다. 물체를 삼각 측량하기 위해 다수의 장소에서 다수 회 캡처하는 것이 아니라, 캡처의 입체 특성에 의해, 하나의 장소에서 한번 캡처된 입체 이미지 쌍만으로 깊이 추적 및 절대 위치를 참조할 수 있다. 입체 쌍으로 매치된 물체에 걸쳐 조명을 분석하는 것을 통해 정확한 장면 조명이 추론되어, 장면의 렌더링에 시뮬레이션된 컴퓨터 렌더링된 물체가 도입될 수 있어서 정확히 유도된 조명 계산이 적용될 수 있다. 장면에서 물체 특징과 텍스처 데이터를 완전히 계산으로 삼각 측량하는 것을 사용하여 장면의 환경과 내용 및 광학 특성에 대한 정확한 3D 모델을 신속하고 단일 이미지로 얻을 수 있다. 원래의 데이터 세트에서 액세스할 수 없는 폐색된 이미지 공간은 원시 형태로 이용할 수 없다는 제한 속에서 이러한 렌더는 계산적으로 임의로 조작될 수 있고 계산 렌더링을 통해 임의의 시점에서 임의의 방식으로 디스플레이될 수 있다. 다수의 디바이스가 동일한 장면을 기록하는 경우 또는 디바이스가 장면을 통해 이동하고 다수의 이미지 또는 비디오를 기록하는 경우 이러한 폐색된 이미지를 신속히 보완할 수 있어서 이로부터 다수의 관점을 획득하여 이전에 폐색된 공간을 관찰할 수 있다.
증강 현실(augmented reality)/혼합 현실(mixed reality) 기록
디바이스에 의해 캡처된 전역 입체 이미지 공간을 사용하여 주어진 환경을 가상-현실로 생성하는 것은 증강 현실이라고도 지칭되는 합성으로 렌더링된 컴퓨터 생성된 요소들로 증강될 수 있다. 이러한 방식으로, 인위적인 물체(artificial object) 및 모습(visage)이 적절한 디스플레이를 사용하여 관찰자가 관찰하면서 적절한 휴먼 인터페이스 디바이스(물리적 핸드 제어기, 모션 추적 센서 등)를 사용하여 상호 작용할 수 있는 장면에 배치될 수 있다. 따라서 입체경(stereoscopy)으로는 모든 방향으로 관찰할 수 있지만 상호 작용이-제한되거나-없는 미리-기록된 배경 장면에서 대화식 요소(interactive element)들이 사용 지점에서 실시간으로 삽입되고 합성으로 생성되고 수정(modified)될 수 있다. 이것은 관찰자의 변하는 관점, 및 캡처 지점에서 외부 모션 센서로부터 캡처되거나 또는 전술한 비디오 이미지 데이터의 시간적 모션으로부터 계산되거나 또는 정지 이미지의 특징을 분석하는 것으로부터 취득된 모션 데이터와 결합될 수 있다. 올바른 조합은 인위적으로 렌더링된 증강 요소들을 기하학적으로 재-계산할 수 있게 하여, 증강 요소들이 현실감 있게 환경을 추적하고 이미지 공간의 요소들을 지능적으로 분석하는 것을 통해 이러한 요소들이, 지시된 방식(중력, 폐색, 거리 스케일링, 물리적 움직임, 사람의 식별, 뷰라인, 표시판(signpost), 문자 인식 등)으로, 관찰된 환경의 예상된 구조적, 물리적 및 통상의 규칙을 잠재적으로 따르거나 또는 그 반대로 뒤집을 수 있게 한다. 이러한 인위적인 요소들은 예를 들어 관찰자가 명령할 때 웹 링크를 열고 시각적 및 청각적 반응 등을 제공하는 대화식 특성을 가질 수 있다.
또한, 이것은 캡처된 이미지를 분석한 결과로 증강되어, 장면의 사진 측량법을 사용하여 정확한 광 및 그림자 계산을 제공하여, 인위적 요소들이 따라야 할 장면에 대한 삼각 측량된 표면-깊이 분석을 지원할 수 있다. 이를 통해 디스플레이 디바이스/관찰자는 사용자의 시점을 캡처 지점 또는 캡처 라인을 넘어 실제 장면의 합성으로 렌더링된 관점으로 변환할 수 있고, 추가적인 인위적인 요소들도 합성으로 렌더링된 새로운 관점과 매치하도록 렌더링되고 올바르게 변환된다.
이것은 또한 비디오 경로 캡처 또는 광 필드 어레이 맵핑(mapping)을 사용하여 광학 시스템에 의해 캡처된 이동 시점/시야점을 지원하면서 가상 장면에 인위적인 요소들을 위치시키는 데에도 적용될 수 있다. 각 인위적인 요소는 공간에서 움직이는 시점과 매치될 수 있고, 데이터 해석을 통해, 합성 렌더링 없이 능동적으로 위치를 지정할 수 있다.
이러한 인위적인 요소들은 또한 실세계 장면 캡처시 래스터화되고 실시간으로 디스플레이될 수 있으므로, 실황으로 또는 원격 현장감/원격 측정을 통해 실세계 환경을 향상시킬 수 있다. 이러한 인위적인 요소들은 정보 형태(정보 그래픽(infographics), 웹 링크, 표시판, 건물 프로파일, 개인 프로파일 등), 장식 형태(합성 조각, 회화, 애니메이션 등), 대화식 형태(게임, 타깃, 가상 디스플레이 등), 또는 무수한 다른 잠재적인 형태일 수 있다.
다른 입체적인 대화식 가상 현실 체험에 비해, 제어된 또는 제어되지 않은 기록으로 실제 환경을 캡처한 다음, 대화식 요소들로 이들 기록을 증강하면 완전히 시뮬레이션된 3D 모델에서 동등한 환경 특성을 설계하고 식재하는데 필요한 노력에 비해 쉽게 구성할 수 있거나 실제 세계의 주민 또는 배우가 미리-존재할 수 있어서 생성 과정이 유리한 것으로 입증될 수 있다. 이것은 또한 동일한 레벨의 품질 또는 정확도로 인위적인 등가물을 생성하거나 렌더링하기에는 너무 복잡할 수 있기 때문에 추가된 레벨의 물리적 및 광학적 현실감으로부터 이익을 얻는다. 또한, 전체 렌더링 공정의 계산 비용은 미리-기록된 비디오와 추가된 희소하게 채워진 인위적인 요소들을 디코딩하고 변환하는 것으로 제한되기 때문에 계산 비용은 스크래치로부터 완전히 합성된 시뮬레이션의 조명, 텍스처 및 기하학 계산을 래스터화하는 것보다 상당히 낮을 수 있다. 설명된 기능으로 인해 여전히 더 높은 프레임 율을 달성하고 장면 및 요소 배치를 더 정확히 달성하는 동시에 필요한 전력 요구량을 낮추고 배터리 수명을 늘릴 수 있다. 이는 잠재적으로 저렴하고 보다 컴팩트한 계산 하드웨어 구성 요소를 사용하여 몰입 레벨을 향상시킨다.
혼합된 환경 접합(splicing) 및 합성
합성 컴퓨터에 의해 생성된 물체 이미지 및 배경 이미지를 캡처된 이미지 데이터와 혼합하는 것뿐만 아니라, 다수의 캡처된 환경 이미지의 이미지 공간을 또한 혼합 및/또는 합성하여, 하나의 반구에 있는 해변 표면을 다른 반구에 있는 건물 옥상에 연결하는 것과 같은 비정상적으로 연결된 공간을 최종 이미지에서 생성할 수 있다. 또한 각 이미지 세트의 입체 데이터는, 물체의 에지 및 디바이스로부터 물체의 거리를 검출하여, 위치에 따라 서로 다른 이미지로부터 오는 물체를 정확히 접합하고 합성할 수 있게 하는 유리한 깊이 큐(depth cue)를 제공할 수 있다. 예를 들어, 이에 의해 눈이 오는 것과 같은 전경 장면을 사막과 같은 다른 배경 장면에 접합할 수 있다.
일인칭(First Person)/헬멧 형태
반사기는 헬멧으로 착용될 수 있도록 중공으로 만드는 것을 포함하여 다양한 적용 범위에 적합하도록 크기 조절되어, 착용자로부터 적절한 일인칭 시점을 제공할 수 있다. 이러한 경우, 프레넬 스트리에이션은, 기록된 이미지의 임의의 레벨의 방사방향 오프셋을 가능하게 하기 때문에 반사된 뷰라인들이 항상 매치하도록 교정되면서 적절한 입체 간격을 항상 제공하도록 크기 조절될 수 있어서, 내부 표면의 큰 중공 내부가 외부 반사기를 입체적으로 분리하는데 영향을 미치지 않는다.
입체 선택
입체적 분리를 변화시키지 않고 디바이스의 내부 공간을 다수 크기로 조정하는 것 외에도, 입체적 분리의 레벨은 특이한 입체 경험을 제공하도록 의도적으로 조정될 수 있다. 더 넓은 간격은 입체 감도를 확장시킬 수 있어서 환경을 더 작아 보이게 하고, 더 적은 분리는 감도를 감소시켜 환경을 더 크게 보이게 한다. 이는, 예를 들어, 통상 눈에 보이지 않는 수렴을 가질 수 있는 산과 같은 대규모 지형에 개선된 깊이 감을 조종사에게 제공하는 비행 응용에서 사용되거나, 또는 외과의사가 매우 작은 내장에 대한 정확한 깊이 감을 갖는 에워싸는 뷰를 요구하는 마이크로-수술 응용에 사용될 수 있다. 또한, 부분적으로 투과성이고/부분적으로 반사성인 외부 표면의 추가적인 쉘은 단일 캡처된 이미지에서 다수의 상이한 입체 분리 폭으로부터 동시에 캡처를 제공할 수 있어, 관찰자가 이 깊이 감도를 선택할 수 있게 하고 또한 홀로그래픽 분석을 위한 추가적인 관점 데이터를 제공할 수 있게 한다. 광학 강도를 최적으로 분포시키기 위해, 각 쉘 이미지가 동일한 양의 전체 광을 수신하도록 각 쉘 층의 반사율의 비율을 조정해야 한다.
본 명세서에 논의된 실시예들은 예로서 제공되고, 본 명세서에 설명된 실시예에 다양한 변형이 이루어질 수 있다. 별개의 실시예의 상황에서 본 명세서에 설명된 특정 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 상황에서 설명된 다양한 특징은 다수의 실시예에서 개별적으로 또는 다양한 적절한 하위조합으로 구현될 수 있다. 또한, 하나의 조합과 관련하여 설명된 특징들은 그 조합으로부터 삭제될 수 있고, 다양한 조합 및 하위조합으로 다른 특징과 결합될 수 있다. 다양한 특징들이 본 명세서에 개시된 예시적인 실시예들에 추가될 수 있다. 또한, 본 명세서에 개시된 예시적인 실시예로부터 다양한 특징이 생략될 수 있다. 예를 들어, 도 51의 실시예는 스트라이에이션 대신 마이크로미러의 그리드, 외부 반사기를 위해 편평한 표면, 중심 및 1차 반사기를 통한 구멍, 내부 반사기 상의 스트라이에이션 등과 같은, 다른 실시예들에 있는 다양한 특징들을 포함하도록 변형될 수 있다.
특징들의 다양한 상이한 조합을 기술하는 다양한 예시적인 청구범위가 이하에 제공된다. 본 명세서에 설명되고 이 기술 분야에 통상의 지식을 가진 자에게 이해되는 바와 같이, 다양한 추가적인 특징들의 조합이 또한 고려된다.

Claims (50)

  1. 파노라마 입체 이미징(panoramic stereoscopic imaging)을 위한 광학 시스템으로서,
    카메라;
    중공형 외부 반사기로서,
    넓은 단부와 좁은 단부를 갖는 일반적으로 포물면 형상의 주 구조부(major structure)로서, 상기 좁은 단부는 상기 카메라를 향하는, 상기 일반적으로 포물면 형상의 주 구조부;
    좁은 단부의 구멍(hole);
    상기 넓은 단부로부터 상기 좁은 단부로 연장된 복수의 스트라이에이션(striation)을 포함하고;
    상기 외부 반사기는 부분적으로 반사성이고 부분적으로 투과성이며, 상기 외부 반사기는 광을 상기 카메라로 반사시키도록 구성된, 상기 중공형 외부 반사기; 및
    넓은 단부 및 좁은 단부를 갖는 일반적으로 포물면 형상의 반사 표면을 포함하는 내부 반사기로서, 상기 좁은 단부는 상기 카메라를 향하는, 상기 내부 반사기를 포함하되;
    상기 내부 반사기는 상기 외부 반사기 내에 있고, 상기 내부 반사기는 상기 외부 반사기를 통해 투과되는 광을 반사시키도록 구성되고, 상기 내부 반사기는 상기 광을 상기 외부 반사기의 상기 좁은 단부의 상기 구멍을 통해 상기 카메라로 반사하도록 구성된, 광학 시스템.
  2. 제1항에 있어서, 상기 내부 반사기는 광을 반사시켜 원형의 내부 이미지 부분을 상기 카메라에 제공하도록 구성되고, 상기 외부 반사기는 광을 반사시켜 외부 이미지 부분을 상기 내부 이미지 부분 주위에 링으로서 상기 카메라에 제공하도록 구성된, 광학 시스템.
  3. 제1항에 있어서, 상기 스트라이에이션들은 상기 광을 상기 카메라에 반사시키도록 구성된 가시적인 면, 및 상기 카메라에 보이지 않는 은닉된 면을 포함하는, 광학 시스템.
  4. 제1항에 있어서, 상기 스트라이에이션들은 상기 외부 반사기 둘레에 나선형으로 비틀어져(twisted) 있는, 광학 시스템.
  5. 제1항에 있어서, 상기 스트라이에이션들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 경로를 따라 진행하는 축외(off-axis) 광을 수신하고, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상(on-axis) 경로를 갖도록 반사에 의해 상기 광을 편향시키도록 구성된, 광학 시스템.
  6. 제1항에 있어서, 상기 내부 반사기는, 제1 광 경로를 따라 진행하는 제1 광을 수신하고, 상기 제1 광을 상기 카메라로 반사시키도록 구성되고, 상기 외부 반사기는, 상기 제1 광 경로와 평행하고 오프셋 거리만큼 상기 제1 광 경로로부터 이격된 제2 광 경로를 따라 진행하는 제2 광을 수신하도록 구성되고, 상기 외부 반사기는 상기 제2 광을 상기 카메라로 반사시키도록 구성된, 광학 시스템.
  7. 제6항에 있어서, 상기 내부 반사기는, 상기 제1 광 경로보다 낮은 제3 광 경로를 따라 진행하는 제3 광을 수신하고, 상기 제3 광을 상기 카메라로 반사시키도록 구성되고, 상기 외부 반사기는 상기 제2 광 경로보다 낮은 제4 광 경로를 따라 진행하는 제4 광을 수신하도록 구성되고, 상기 제4 광 경로는 상기 제3 광 경로와 평행하고 동일한 상기 오프셋 거리만큼 상기 제3 광 경로로부터 이격되고, 상기 외부 반사기는 상기 제4 광을 상기 카메라로 반사시키도록 구성된, 광학 시스템.
  8. 제7항에 있어서, 물체로부터 상기 내부 반사기로 그리고 상기 카메라로 가는 상기 제1 광의 광 경로 길이는 상기 물체로부터 상기 외부 반사기로 그리고 상기 카메라로 가는 상기 제2 광의 광 경로 길이와 동일한 거리인, 광학 시스템.
  9. 제1항에 있어서,
    상기 외부 반사기의 외부 측 상의 외부 기판 재료로서, 상기 외부 기판 재료는 상기 외부 반사기를 통해 투과된 광을 굴절시키도록 구성되고, 상기 외부 기판 재료는 상기 광을 제1 방향으로 굴절시키도록 구성된, 상기 외부 기판 재료; 및
    상기 외부 반사기의 내부 측 상의 내부 기판 재료로서, 상기 내부 기판 재료는 상기 외부 반사기를 통해 투과된 광을 굴절시키도록 구성되고, 상기 내부 기판 재료는 상기 제1 방향과 반대쪽인 제2 방향으로 상기 광을 굴절시키도록 구성된, 광학 시스템.
  10. 제1항에 있어서, 상기 외부 반사기의 외부 측 또는 내부 측 상에 기판을 더 포함하고, 상기 기판은 상기 스트라이에이션들의 형상을 따르는 내부 표면 및 외부 표면을 구비하고, 상기 기판은 상기 외부 반사기를 통해 진행하는 광을 굴절시키도록 구성되고, 상기 기판의 상기 외부 표면은 제1 방향으로 상기 광을 굴절시키고, 상기 기판의 상기 내부 표면은 상기 제1 방향과 반대쪽인 제2 방향으로 상기 광을 굴절시키는, 광학 시스템.
  11. 제1항에 있어서, 상기 외부 반사기, 상기 내부 반사기 및 상기 카메라를 지지하도록 구성된 하우징을 더 포함하는, 광학 시스템.
  12. 제1항에 있어서, 상기 외부 반사기는 상기 카메라에 대해 회전 가능하고, 상기 외부 반사기는 길이방향 축을 중심으로 회전하도록 구성된, 광학 시스템.
  13. 제12항에 있어서, 상기 외부 반사기를 회전 구동하기 위한 모터 또는 액추에이터를 더 포함하는, 광학 시스템.
  14. 제1항에 있어서, 상기 내부 반사기는 상기 내부 반사기의 중심에 구멍을 포함하고, 상기 광학 시스템은, 상기 내부 반사기 및 상기 외부 반사기로부터 반사된 광을 수신하고, 상기 수신된 광을 상기 외부 반사기의 상기 구멍을 통해 및 상기 내부 반사기의 상기 구멍을 통해 상기 카메라로 반사하도록 구성된 1차 반사기를 더 포함하는, 광학 시스템.
  15. 광학 시스템으로서,
    카메라;
    상기 카메라로 광을 반사시키도록 구성된 중공형 외부 반사기; 및
    상기 외부 반사기 내에 배치되고 상기 카메라로 광을 반사시키도록 구성된 내부 반사기를 포함하되;
    상기 외부 반사기 및 상기 내부 반사기 중 하나 또는 둘 모두는, 상기 광학 시스템의 길이방향 축과 교차하지 않는 경로를 따라 진행하는 축외 광을 수신하고, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 상기 광을 편향시키도록 구성되고, 상기 외부 반사기 및 상기 내부 반사기 중 하나 또는 둘 모두는 상기 카메라로 가는 축상 경로를 갖도록 상기 외부 반사기와 상기 내부 반사기 중 하나 또는 둘 모두에 의해 반사된 광을 편향시키도록 각져 있는 복수의 스트라이에이션(striation)을 포함하는, 광학 시스템.
  16. 제15항에 있어서, 상기 외부 반사기는 상기 외부 반사기에 의해 반사된 상기 광을 상기 카메라로 가는 축상 경로를 갖도록 제1 방향으로 편향시키도록 각져 있는 복수의 스트라이에이션을 포함하는, 광학 시스템.
  17. 제16항에 있어서, 상기 내부 반사기는 상기 내부 반사기에 의해 반사된 상기 광을 상기 카메라로 가는 축상 경로를 갖도록 제2 방향으로 편향시키도록 각져 있는 복수의 스트라이에이션을 포함하는, 광학 시스템.
  18. 제17항에 있어서, 상기 내부 반사기는, 제1 광 경로를 따라 진행하는 제1 광을 수신하고, 상기 제1 광을 상기 카메라로 반사시키도록 구성되고, 상기 외부 반사기는, 상기 제1 광 경로와 평행하고 오프셋 거리만큼 상기 제1 광 경로로부터 이격된 제2 광 경로를 따라 진행하는 제2 광을 수신하도록 구성되고, 상기 외부 반사기는 상기 제2 광을 상기 카메라로 반사시키도록 구성된, 광학 시스템.
  19. 제18항에 있어서, 상기 내부 반사기는, 상기 제1 광 경로보다 낮은 제3 광 경로를 따라 진행하는 제3 광을 수신하고, 상기 제3 광을 상기 카메라로 반사시키도록 구성되고, 상기 외부 반사기는, 상기 제2 광 경로보다 낮은 제4 광 경로를 따라 진행하는 제4 광을 수신하도록 구성되고, 상기 제4 광 경로는 상기 제3 광 경로와 평행하고 동일한 상기 오프셋 거리만큼 상기 제3 광 경로로부터 이격되고, 상기 외부 반사기는 상기 제4 광을 상기 카메라로 반사시키도록 구성된, 광학 시스템.
  20. 제19항에 있어서, 물체로부터 상기 내부 반사기로 그리고 상기 카메라로 가는 상기 제1 광의 광 경로 길이는 상기 물체로부터 상기 외부 반사기로 그리고 상기 카메라로 상기 제2 광의 광 경로 길이와 동일한 거리인, 광학 시스템.
  21. 제20항에 있어서, 상기 외부 반사기는 복수의 반사 패널을 포함하고, 상기 복수의 반사 패널은 상기 반사 패널들 사이의 갭들만큼 서로 이격된, 광학 시스템.
  22. 제21항에 있어서, 상기 외부 반사기는 상기 카메라에 대해 회전 가능하고, 상기 외부 반사기는 길이방향 축을 중심으로 회전하도록 구성된, 광학 시스템.
  23. 제22항에 있어서, 상기 외부 반사기를 회전 구동하기 위한 모터 또는 액추에이터를 더 포함하는, 광학 시스템.
  24. 제23항에 있어서, 상기 반사 패널들은 상기 내부 반사기로부터 반사된 광을 흡수하도록 구성된 어두운 후면(dark back)을 구비하는, 광학 시스템.
  25. 제24항에 있어서, 상기 외부 반사기는 일반적으로 포물면 형상의 주 구조부를 구비하는, 광학 시스템.
  26. 제24항에 있어서, 상기 외부 반사기는 원뿔대 형상의 주 구조부를 갖는, 광학 시스템.
  27. 제15항에 있어서, 상기 내부 반사기는 일반적으로 포물면 형상의 주 구조부를 갖는, 광학 시스템.
  28. 제15항에 있어서, 상기 내부 반사기는 원추 형상의 주 구조부를 갖는, 광학 시스템.
  29. 제15항에 있어서, 상기 외부 반사기는 중심에 구멍을 포함하는, 광학 시스템.
  30. 제29항에 있어서, 상기 내부 반사기는 상기 중심에 구멍을 포함하는, 광학 시스템.
  31. 제30항에 있어서, 상기 내부 반사기 및 상기 외부 반사기로부터 반사된 광을 수신하고, 상기 수신된 광을 상기 외부 반사기의 상기 구멍을 통해 및 상기 내부 반사기의 상기 구멍을 통해 상기 카메라로 반사시키도록 구성된 1차 반사기를 더 포함하는, 광학 시스템.
  32. 제15항에 있어서, 상기 외부 반사기 및 상기 내부 반사기 중 하나 또는 둘 모두는 상기 반사된 광을 편향시키도록 구성된 불연속 반사 요소들의 그리드(grid)를 포함하는, 광학 시스템.
  33. 제15항에 있어서, 상기 내부 반사기는 광을 반사시켜 원형의 내부 이미지 부분을 상기 카메라에 제공하도록 구성되고, 상기 외부 반사기는 광을 반사시켜 외부 이미지 부분을 상기 내부 이미지 부분 주위의 링으로서 상기 카메라에 제공하도록 구성된, 광학 시스템.
  34. 제15항에 있어서, 상기 외부 반사기는 부분적으로 반사성이고 부분적으로 투과성인, 광학 시스템.
  35. 제34항에 있어서,
    상기 외부 반사기의 외부 측 상의 외부 기판 재료로서, 상기 외부 기판 재료는 상기 외부 반사기를 통해 투과된 광을 굴절시키도록 구성되고, 상기 외부 기판 재료는 상기 광을 제1 방향으로 굴절시키도록 구성된, 상기 외부 기판 재료;
    상기 외부 반사기의 내부 측 상의 내부 기판 재료로서, 상기 내부 기판 재료는 상기 외부 반사기를 통해 투과된 상기 광을 굴절시키도록 구성되고, 상기 내부 기판 재료는 상기 광을 상기 제1 방향과 반대쪽인 제2 방향으로 굴절시키도록 구성된, 광학 시스템.
  36. 제34항에 있어서, 상기 외부 반사기의 외부 측 또는 내부 측 상에 기판을 더 포함하고, 상기 기판은 상기 외부 반사기 상의 스트라이에이션들의 형상을 따르는 내부 표면 및 외부 표면을 구비하고, 상기 기판은 상기 외부 반사기를 통해 진행하는 광을 굴절시키도록 구성되고, 상기 기판의 상기 외부 표면은 상기 광을 제1 방향으로 굴절시키고, 상기 기판의 상기 내부 표면은 상기 광을 상기 제1 방향의 반대쪽인 제2 방향으로 굴절시키는, 광학 시스템.
  37. 제15항에 있어서, 상기 내부 반사기 및 상기 외부 반사기에 의해 반사된 광을 수신하여 다수의 위치로부터 오는 이미지를 캡처하도록 각각 구성된 카메라들의 어레이를 포함하는, 광학 시스템.
  38. 제15항에 있어서, 상기 내부 반사기 및 상기 외부 반사기에 의해 반사된 광을 수신하여 다수의 위치로부터 오는 이미지를 캡처하도록 각각 구성된 합성 카메라들의 어레이를 포함하고, 상기 합성 카메라들은 단일 이미지 센서용 복수의 애퍼처(aperture)를 포함하는, 광학 시스템.
  39. 제15항에 있어서, 상기 내부 반사기의 좁은 단부는 상기 카메라에 의해 생성된 이미지들로부터 상기 카메라를 생략하도록 구성된, 광학 시스템.
  40. 제15항에 있어서, 상기 내부 반사기의 좁은 단부는 상기 카메라로부터 오는 광이 상기 카메라로 되반사되는 것을 방지하도록 얕은 팁(shallow tip)을 갖는, 광학 시스템.
  41. 제15항에 있어서, 상기 외부 반사기의 내부 림(rim)은 내측으로 만곡되어 상기 외부 반사기의 내부로 되연장되는, 광학 시스템.
  42. 제15항에 있어서, 상기 외부 반사기의 내부 림은 내측으로 만곡되어 상기 카메라로부터 오는 광을 이미징을 위해 상기 카메라로 되반사시키는, 광학 시스템.
  43. 제15항에 있어서, 상기 외부 반사기의 내부 림은 내측으로 만곡되어 상기 카메라의 후방으로부터 오는 광을 이미징을 위해 상기 카메라로 반사시키는, 광학 시스템.
  44. 파노라마 입체 이미징을 위한 광학 시스템으로서,
    카메라; 및
    우측 면(right-side face)들 및 좌측 면(left-side face)들을 포함하는 스트라이에이션들을 갖는 반사기를 포함하되;
    상기 우측 면들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 제1 경로를 따라 진행하는 제1 축외 광을 수신하고, 상기 길이방향 축으로부터 보았을 때, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 제1 방향으로 상기 제1 축외 광을 편향시키도록 구성되고;
    상기 좌측 면들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 제2 경로를 따라 진행하는 제2 축외 광을 수신하고, 상기 길이방향 축으로부터 보았을 때, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 상기 제1 방향과 반대쪽인 제2 방향으로 상기 제2 축외 광을 편향시키도록 구성된, 광학 시스템.
  45. 제44항에 있어서, 상기 반사기는 일반적으로 포물면 형상의 주 구조부를 갖는, 광학 시스템.
  46. 제44항에 있어서, 상기 반사기는 중심에 구멍을 갖고, 상기 반사기로부터 반사된 광을 수신하고, 상기 수신된 광을 상기 카메라로 반사시키는 1차 반사기를 더 포함하는, 광학 시스템.
  47. 제44항에 있어서, 상기 우측 면들과 상기 좌측 면들은 상기 스트라이에이션들의 각 중심을 따라 연장되는 각 평면에 걸쳐 서로 대칭적인, 광학 시스템.
  48. 파노라마 입체 이미징을 위한 광학 시스템으로서,
    카메라;
    외부 반사기로서,
    넓은 단부와 좁은 단부를 갖는 일반적으로 포물면 형상의 주 구조부로서, 상기 좁은 단부는 상기 카메라를 향하는, 상기 일반적으로 포물면 형상의 주 구조부;
    좁은 단부의 구멍;
    상기 넓은 단부로부터 상기 좁은 단부로 연장된 복수의 스트라이에이션으로서, 상기 외부 반사기 둘레에 나선형으로 비틀어져 있는, 상기 복수의 스트라이에이션을 포함하고;
    상기 외부 반사기는 부분적으로 반사성이고 부분적으로 투과성이며, 상기 외부 반사기는 광을 상기 카메라로 반사시키도록 구성된, 상기 외부 반사기; 및
    넓은 단부 및 좁은 단부를 갖는 일반적으로 포물면 형상의 반사 표면을 포함하는 내부 반사기로서, 상기 좁은 단부는 상기 카메라를 향하는, 상기 내부 반사기를 포함하되;
    상기 내부 반사기는 상기 외부 반사기 내에 있고, 상기 내부 반사기는 상기 외부 반사기를 통해 투과되는 광을 반사시키도록 구성되고, 상기 내부 반사기는 상기 광을 상기 외부 반사기의 상기 좁은 단부의 상기 구멍을 통해 상기 카메라로 반사하도록 구성된, 광학 시스템.
  49. 제44항에 있어서, 상기 반사기는 중공형인, 광학 시스템.
  50. 파노라마 입체 이미징을 위한 광학 시스템으로서,
    카메라; 및
    우측 면들 및 좌측 면들을 포함하는 스트라이에이션들을 갖는 단일 반사기로서, 상기 광학 시스템에서 유일한 반사기인, 상기 단일 반사기를 포함하되;
    상기 우측 면들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 제1 경로를 따라 진행하는 제1 축외 광을 수신하고, 상기 길이방향 축으로부터 보았을 때, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 제1 방향으로 상기 제1 축외 광을 편향시키도록 구성되고;
    상기 좌측 면들은, 상기 광학 시스템의 길이방향 축과 교차하지 않는 제2 경로를 따라 진행하는 제2 축외 광을 수신하고, 상기 길이방향 축으로부터 보았을 때, 상기 길이방향 축과 교차하는, 상기 카메라로 가는 축상 경로를 갖도록 반사에 의해 상기 제1 방향과 반대쪽인 제2 방향으로 상기 제2 축외 광을 편향시키도록 구성된, 광학 시스템.
KR1020177025129A 2015-03-01 2016-02-29 파노라마 입체 이미징 시스템 KR102491749B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562126660P 2015-03-01 2015-03-01
US62/126,660 2015-03-01
PCT/US2016/020125 WO2016140928A1 (en) 2015-03-01 2016-02-29 Panoramic stereoscopic imaging systems

Publications (2)

Publication Number Publication Date
KR20170123635A KR20170123635A (ko) 2017-11-08
KR102491749B1 true KR102491749B1 (ko) 2023-01-25

Family

ID=56848568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025129A KR102491749B1 (ko) 2015-03-01 2016-02-29 파노라마 입체 이미징 시스템

Country Status (4)

Country Link
US (1) US10983312B2 (ko)
KR (1) KR102491749B1 (ko)
CN (1) CN107407859B (ko)
WO (1) WO2016140928A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176963B1 (ko) * 2016-06-20 2020-11-10 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
WO2018006266A1 (zh) * 2016-07-05 2018-01-11 博立多媒体控股有限公司 全景感应装置
JP6632766B2 (ja) * 2017-06-01 2020-01-22 株式会社アスカネット 立体像結像装置の製造方法及び立体像結像装置
US11062149B2 (en) * 2018-03-02 2021-07-13 Honda Motor Co., Ltd. System and method for recording images reflected from a visor
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
CN109597596B (zh) * 2018-11-02 2022-03-18 北京盈迪曼德科技有限公司 相机透视方法及装置
FI128501B (en) * 2018-12-13 2020-06-30 Teknologian Tutkimuskeskus Vtt Oy Stereo imaging device
TWI688817B (zh) * 2019-03-07 2020-03-21 旭智科技股份有限公司 投射光源裝置
WO2021179332A1 (zh) * 2020-03-13 2021-09-16 华为技术有限公司 一种光学***以及电子设备
CN111447433A (zh) * 2020-03-24 2020-07-24 京东方科技集团股份有限公司 显示装置、数据生成装置及方法、显示***
CN114651202A (zh) * 2020-10-15 2022-06-21 亚斯卡奈特股份有限公司 空中像成像元件和空中像成像装置
CN114466174B (zh) * 2022-01-21 2023-04-28 南方科技大学 一种多视点3d图像编码方法、设备、***和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2508183A1 (fr) * 1981-06-23 1982-12-24 Thomson Csf Dispositif de surveillance panoramique optique
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
FR2806809B1 (fr) * 2000-03-22 2002-11-22 Powell Group Dispositif d'aquisition d'image panoramique
GB2425363A (en) * 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
GB0613048D0 (en) * 2006-07-01 2006-08-09 Pano Pro Ltd Dome-like convex mirror for a panoramic imaging system
US7441927B1 (en) * 2007-07-02 2008-10-28 Osram Sylvania Inc. Lamp with a lens lenticule pattern based on the golden ratio
CN101349799B (zh) * 2008-08-28 2010-06-16 浙江工业大学 宽动态全方位视觉传感器
JP2009153217A (ja) * 2009-04-06 2009-07-09 Panasonic Corp 全方位視覚カメラ
US20140362232A1 (en) * 2012-01-03 2014-12-11 Pan-Vision S.R.L. Objective lens with hyper-hemispheric field of view
IL223489A (en) * 2012-12-06 2015-10-29 Rafael Advanced Defense Sys An observation system and method that provides multi-directional coverage

Also Published As

Publication number Publication date
WO2016140928A1 (en) 2016-09-09
CN107407859A (zh) 2017-11-28
KR20170123635A (ko) 2017-11-08
US20180039050A1 (en) 2018-02-08
CN107407859B (zh) 2021-03-09
US10983312B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
KR102491749B1 (ko) 파노라마 입체 이미징 시스템
US10397556B2 (en) Perspective altering display system
US9036003B2 (en) Multi-pitching angle suspended 3D display device with 360-degree field of view
Jones et al. Rendering for an interactive 360 light field display
US7703924B2 (en) Systems and methods for displaying three-dimensional images
CN108141578B (zh) 呈现相机
US9310769B2 (en) Coarse integral holographic display
US20140327748A1 (en) Rendering for an interactive 360 degree light field display
US8746894B2 (en) 3D display system
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
US10078228B2 (en) Three-dimensional imaging system
WO2006112536A1 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
JP2007517264A (ja) 多次元の撮像装置、システムおよび方法
Luo et al. Pepper's Cone: An Inexpensive Do-It-Yourself 3D Display
CN105324995A (zh) 用于生成多投影图像的方法和***
CN105324994A (zh) 用于生成多投影图像的方法和***
CN110458953A (zh) 一种三维图像重构***及方法
JP6712557B2 (ja) ステレオ立体視装置
JP6595591B2 (ja) 没入ビデオを生成する目的のための画像データを収集する方法及びそれらの画像データに基づく空間可視化方法
WO2009109804A1 (en) Method and apparatus for image processing
JP2012008298A (ja) ３次元映像表示装置
JPH04500415A (ja) 三次元の静止画像又は動画像の再生用改良型スクリーン及びその製造方法
JP2005026772A (ja) 立体映像表示方法及び立体映像表示装置
US11653024B2 (en) Method and technical equipment for encoding and decoding volumetric video
Lucas et al. Multiview acquisition systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant