KR102176963B1 - 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법 - Google Patents

수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법 Download PDF

Info

Publication number
KR102176963B1
KR102176963B1 KR1020187033309A KR20187033309A KR102176963B1 KR 102176963 B1 KR102176963 B1 KR 102176963B1 KR 1020187033309 A KR1020187033309 A KR 1020187033309A KR 20187033309 A KR20187033309 A KR 20187033309A KR 102176963 B1 KR102176963 B1 KR 102176963B1
Authority
KR
South Korea
Prior art keywords
panorama
camera
eye
scene
multifaceted
Prior art date
Application number
KR1020187033309A
Other languages
English (en)
Other versions
KR20190019059A (ko
Inventor
남부디리 아눕 엠.
라자트 애가왈
암리스하 보라
Original Assignee
인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드 filed Critical 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드
Publication of KR20190019059A publication Critical patent/KR20190019059A/ko
Application granted granted Critical
Publication of KR102176963B1 publication Critical patent/KR102176963B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/09—Multifaceted or polygonal mirrors, e.g. polygonal scanning mirrors; Fresnel mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

수평 시차 스테레오 파노라마를 캡쳐하기 위한 시스템이 개시된다. 이러한 시스템은 다면 선택적 광 반사기 유닛(104), 이차 반사기(106) 및 컴퓨팅 유닛(102)을 포함한다. 다면 선택적 광 반사기 유닛(104)은 (a) 외부 세계의 3D 장면으로부터 (i) 좌안 파노라마 및 (ii) 우안 파노라마를 생성하는 데에 관련된 광선을 획득하고 (b) 이러한 광선을 광선들 사이의 내부 반사가 없이 반사한다. 이차 반사기(106)는 (a) 다면 선택적 광 반사기 유닛(104)으로부터 이러한 반사된 광선을 획득하고 (b) 이러한 광선을 시청 애퍼쳐(116)를 통해 반사한다. 컴퓨팅 유닛(102)은 (i) 이차 반사기(106)로부터의 반사된 광선 및 (ii) 오목 렌즈(116)로부터의 3D 장면의 상부를 워프된 이미지로서 캡쳐하며, 워프된 이미지를 (a) 좌안 파노라마 및 (b) 우안 파노라마로 처리한다.

Description

수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
본 명세서의 실시예들은 일반적으로 광학 시스템 및 처리 방법에 관한 것이고, 특히, 이미지 및 비디오를 포함하는 수평 시차 스테레오 파노라마를 단일 카메라 또는 여러 카메라와 함께 동작하는 파노라믹 스테레오 광학 시스템을 사용하여 캡쳐하기 위한 광학 시스템 및 처리 방법에 관한 것이다.
수평 시차 스테레오 파노라마를 캡쳐하기 위한 현존하는 접근법은 하나의 이동식 카메라 또는 다수의 카메라 중 어느 하나를 사용하는 것을 수반한다. 단일 이동식 카메라는 수평 시차 스테레오 파노라마를 시간 분리된 이미지들의 시퀀스로 캡쳐하고, 이미지를 이어붙이려면 자세 정정 및 정렬을 더 요구한다. 또한, 단일 이동식 카메라는 사람이 소비하기에 적합하게 만들려면 수평 시차를 극복할 필요가 있다. 단일 이동식 카메라를 사용하는 주된 단점은, 이것이 정적 장면에만 적용가능하다는 점이다. 수평 시차 스테레오 파노라마를 캡쳐하기 위한 다수 카메라 솔루션은, 통상적으로 동기화된 다중-카메라 장비를 필요로 하는데, 그러면 크기가 커지고 비용이 올라간다. 또한, 다수 카메라 솔루션도 다수의 이미지 및 수평 시차 양자 모두를 이어붙이는 어려움을 극복하고 이러한 이미지가 사람이 소비하기에 적합하게 하기 위한 큰 계산 부담을 수반한다.
따라서, 정적 및 동적 장면 양자 모두에 대한 수평 시차 스테레오 파노라마를 캡쳐하기 위한 콤팩트한 파노라믹 스테레오 광학 시스템 및 처리 방법이 요구된다.
전술한 바를 감안하여, 본 명세서의 일 실시예는 수평 시차 스테레오 파노라마를 캡쳐하기 위한 시스템을 제공한다. 이러한 시스템은 다면 선택적 광 반사기 유닛, 이차 반사기 및 컴퓨팅 유닛을 포함한다. 다면 선택적 광 반사기 유닛은 (a) 복수 개의 미러면 및 (b) 시청 애퍼쳐를 포함한다. 복수 개의 미러면은 (a) 외부 세계의 3차원(3D) 장면으로부터 (i) 좌안 파노라마 및 (ii) 우안 파노라마를 생성하는 데에 관련되는 광선을 획득하고 (b) 이러한 광선을 광선들 사이의 내부 반사가 없이 반사하도록 적응되는 결합 형상으로 배치된다. 이차 반사기는 다면 선택적 광 반사기 유닛에 부착되도록 적응된다. 이차 반사기는 (a) 다면 선택적 광 반사기 유닛으로부터 이러한 반사된 광선을 획득하고 (b) 이러한 광선을 시청 애퍼쳐를 통해 반사한다. 이차 반사기는 3D 장면의 상부를 반사하도록 적응되는 오목 렌즈를 포함한다. 컴퓨팅 유닛은, (i) 이차 반사기로부터의 반사된 광선 및 (ii) 오목 렌즈로부터의 3D 장면의 상부를 시청 애퍼쳐를 통해 워프된 이미지의 형태로 캡쳐하는 카메라를 포함한다. 프로세서는 워프된 이미지를 (a) 좌안 파노라마 및 (b) 우안 파노라마로 처리한다.
일 실시예에서, 프로세서는 카메라 배향 모듈, 워프 이미지 획득 모듈, 교정 모듈, 파노라마 생성 모듈 및 디스플레이 모듈을 포함한다. 카메라 배향 모듈은 (a) 카메라의 시청축을 컴퓨팅 유닛의 중심축과 정렬하고 (b) 이진 광 패턴을 3D 장면의 스크린 상에 투영한다. 이진 광 패턴은 (i) 정상 이진 시퀀스 패턴 및 (ii) 반전 이진 시퀀스 패턴을 포함한다. 정상 이진 시퀀스 패턴 및 반전 이진 시퀀스 패턴은 워프된 이미지를 교정하도록 적응된다. 워프 이미지 획득 모듈은 워프된 이미지를 카메라로부터 획득한다. 교정 모듈은 (a) 각각의 픽셀에서 워프된 이미지로부터의 워프된 이미지를 디코딩함으로써, 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하고; (b) (i) 카메라 및 (ii) 다면 선택적 광 반사기 유닛 내의 결함을 분석하며; (c) 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하는 동안 분석된 결함을 최소화한다. 파노라마 생성 모듈은 (a) 각각의 픽셀에서의 워프된 이미지의 정밀 시도를 결정하고, (b) 워프된 이미지를 (i) 좌안 파노라마 및 (ii) 우안 파노라마로 디워핑한다. 디스플레이 모듈은 (a) 좌안 파노라마 및 (b) 우안 파노라마를 스테레오 디스플레이 유닛 상에 디스플레이한다. 스테레오 디스플레이 유닛은 (a) 헤드-마운트 디스플레이 (b) 3차원(3D) 프로젝터 또는(C) 3차원(3D) 디스플레이 중 적어도 하나이다.
다른 실시예에서, 복수 개의 미러면은 (a) 복수 개의 좌측 미러 페이스 및 (b) 복수 개의 우측 미러 페이스의 연속 배치구성을 포함한다. 복수 개의 좌측 미러 페이스 및 복수 개의 우측 미러 페이스는 (a) 좌안 파노라마에 대응하는 관련된 광선 및 (b) 우안 파노라마에 대응하는 관련된 광선 각각을 획득하도록 적응된다.
또 다른 실시예에서, 복수 개의 좌측 미러 페이스 및 복수 개의 우측 미러 페이스의 상기 연속 배치구성은, (i) (a) 좌안 파노라마 및 (b) 우안 파노라마의 이어붙임 아티팩트를 최소화하고, (ii) 3D 장면 내의 암점을 최소화하며, (iii) (a) 좌안 파노라마를 생성하도록 적응되는 연속 좌측 미러면(mirror surface) 또는 (b) 우안 파노라마를 생성하도록 적응되는 연속 우측 미러면 중 적어도 하나 사이의 뷰-포인트 시차를 최소화하고, (iv) 3D 장면으로부터 캡쳐된 광선의 비-균일성을 최소화한다.
또 다른 실시예에서, 복수 개의 미러면은 곡선형이다. 곡선형 복수 개의 미러면은 3D 장면의 가시 범위를 증가시키도록 적응된다. 가시 범위는 (a) 수평 가시 범위 및 (b) 수직 가시 범위를 포함한다. 또 다른 실시예에서, 카메라는 복수 개의 카메라로 대체된다.
또 다른 실시예에서, (i) 복수 개의 좌측 미러 페이스 중 개별 좌측 미러 페이스 및 (ii) 복수 개의 우측 미러 페이스 중 개별 우측 미러 페이스의 수직 단면은 (a) 선형 형상, (b) 포물선 형상, (c) 쌍곡선 형상 또는 (d) 타원형 형상 중 적어도 하나이다. (i) 복수 개의 좌측 미러 페이스 중 개별 좌측 미러 페이스 및 (ii) 복수 개의 우측 미러 페이스 중 개별 우측 미러 페이스의 수평 단면은 (a) 원형 형상 또는 (b) 선형 형상 중 적어도 하나이다.
또 다른 실시예에서, 카메라는 (i) 디지털 카메라 센서, (ii) 하이퍼 스펙트럼 이미징 센서, (iii) 적외선 이미지 센서 또는 (iv) 암시(night vision) 센서 중 적어도 하나이다.
또 다른 실시예에서, 카메라는, 다면 선택적 광 반사기 유닛으로부터의 좌안 뷰 및 우안 뷰에 대응하는 광선을 파노라믹 스테레오 디스플레이로서의 역할을 하는 스크린 상에 투영하는 프로젝터로 대체된다.
또 다른 실시예에서, 카메라는 다면 선택적 광 반사기 유닛으로부터 반사된 광선을 직접적으로 획득하도록 이차 반사기의 위치에 대체된다. 오목 렌즈는 다면 선택적 광 반사기 유닛의 하단에 위치설정되어 3D 장면의 상부를 카메라로 반사한다.
다른 양태에서, 수평 시차 스테레오 파노라마를 캡쳐하는 방법이 개시된다. 이러한 방법은, (a) 다면 선택적 광 반사기 유닛을 사용하여, 외부 세계의 3차원(3D) 장면으로부터 (i) 좌안 파노라마 및 (ii) 우안 파노라마를 생성하는 데에 관련되는 광선을 획득하는 단계; (b) 상기 다면 선택적 광 반사기 유닛을 사용하여, 상기 광선을 (i) 이차 반사기 또는 (ii) 카메라 중 적어도 하나로 반사하는 단계; (c) 카메라를 사용하여, (i) 상기 이차 반사기 또는 (ii) 상기 다면 선택적 광 반사기 유닛 중 적어도 하나로부터의 워프된 이미지의 형태인 상기 반사된 광선, 및 오목 렌즈로부터의 상기 3D 장면의 상부를 획득하는 단계; 및 (d) 컴퓨팅 유닛을 사용하여, 상기 워프된 이미지를 (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마로 처리하는 단계를 포함한다.
일 실시예에서, 상기 처리하는 단계는, (a) 카메라 배향 모듈을 사용하여, 상기 카메라의 시청축을 상기 컴퓨팅 유닛의 중심축과 정렬하는 단계; (b) 상기 카메라 배향 모듈을 사용하여, 이진 광 패턴을 상기 3D 장면의 스크린 상에 투영하는 단계; (c) 워프 이미지 획득 모듈을 사용하여, 상기 카메라로부터 상기 워프된 이미지를 획득하는 단계; (d) 교정 모듈을 사용하여, 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하는 단계; (e) 상기 교정 모듈을 사용하여, (i) 상기 카메라 및 (ii) 상기 다면 선택적 광 반사기 유닛 내의 결함을 분석하는 단계; (f) 상기 교정 모듈을 사용하여, 상기 세계 좌표로부터 상기 워프 이미지 좌표로의 상기 매핑을 계산하는 동안 분석된 상기 결함을 최소화하는 단계; (g) 파노라마 생성 모듈을 사용하여, 각각의 픽셀에서의 상기 워프된 이미지의 정밀 시도를 결정하는 단계; (h) 상기 파노라마 생성 모듈을 사용하여, 상기 워프된 이미지를 상기 좌안 파노라마 및 상기 우안 파노라마로 디워핑하는 단계; 및 (i) 디스플레이 모듈을 사용하여, (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마를 스테레오 디스플레이 유닛 상에 디스플레이하는 단계를 포함한다.
파노라믹 스테레오 광학 시스템은 수평 시차 스테레오 파노라마를 균일한 분해능으로 캡쳐한다. 파노라믹 스테레오 광학 시스템은 워프된 이미지를 수평 시차 스테레오 파노라마로 실시간으로 신속 처리한다. 파노라믹 스테레오 광학 시스템은 워프된 이미지를 캡쳐하기 위하여 사용되고, 더 나아가 컴퓨팅 디바이스에서의 사후 처리를 허용한다.
본 명세서의 실시예들의 이러한 양태 및 다른 양태들은 후속하는 상세한 설명 및 첨부 도면을 함께 고려하면 더욱 잘 인정되고 이해될 것이다. 그러나, 후속하는 상세한 설명은 비록 바람직한 실시예들 및 그것의 다수의 구체적인 세부내용들을 표시하고는 있지만 이것들은 예시의 방법으로 제공된 것이고 한정하는 것이 아니라는 것이 이해되어야 한다. 많은 변형 및 변경들이 실시예들의 기술적 사상에서 벗어나지 않으면서 본 명세서의 실시예들의 범위 내에서 이루어질 수도 있으며, 본 명세서의 실시예들은 모든 이러한 변경들을 포함한다.
본 명세서의 실시예들은 도면을 참조하여 후술하는 상세한 설명으로부터 더욱 잘 이해될 것이다.
도 1a 는 본 발명의 제 1 실시예에 따르는, 수평 시차 스테레오 파노라마를 캡쳐하기 위한 이차 반사기를 포함하는 파노라믹 스테레오 광학 시스템의 측면도를 도시한다;
도 1b 는 본 발명의 제 2 실시예에 따르는, 이차 반사기가 없이 수평 시차 스테레오 파노라마를 캡쳐하는 파노라믹 스테레오 광학 시스템을 도시한다;
도 2 는 본 발명의 일 실시예에 따르는 컴퓨팅 유닛의 프로세서의 전개도를 도시한다;
도 3 은 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛의 사시도를 도시한다;
도 4 는 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛 내의 복수 개의 미러면의 평면도이다;
도 5 는 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛 내의 미러면의 수평 단면의 예시적인 실시예를 도시한다;
도 6 은 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛 내의 복수 개의 미러면에 의해 캡쳐되는 가시 범위를 도시한다;
도 7 은 본 발명의 제 1 실시예에 따르는 도 1a 의 파노라믹 스테레오 광학 시스템을 사용하여 수평 시차 스테레오 파노라마를 캡쳐하는 방법을 예시한다;
도 8 은 본 발명의 제 2 실시예에 따르는 도 1b 의 파노라믹 스테레오 광학 시스템을 사용하여 수평 시차 스테레오 파노라마를 캡쳐하는 방법을 예시한다;
도 9 는 본 발명의 일 실시예에 따라서 워프된 이미지를 좌안 파노라마 및 우안 파노라마로 처리하는 방법을 예시한다;
도 10 은 본 발명의 일 실시예에 따르는 다면 선택적 반사기 유닛을 제작하는 프로세스를 예시한다; 그리고
도 11 은 본 발명의 실시예에 따라서 사용되는 컴퓨터 아키텍처의 개략도이다.
본 명세서의 실시예들 및 그들의 다양한 피쳐 및 유익한 세부사항들은 첨부 도면에 도시되며 후속하는 발명을 실시하기 위한 구체적인 내용에서 상세히 설명되는 비한정적인 실시예를 참조하여 더욱 완전하게 설명된다. 주지된 컴포넌트 및 처리 기법들의 설명은 본 명세서의 실시예들을 불필요하게 모호하게 하지 않기 위하여 생략된다. 본 명세서에서 사용되는 예들은 본 명세서의 실시예들이 실시될 수 있는 방식의 이해를 용이화하고 더 나아가 당업자들이 본 명세서의 실시예들을 실시할 수 있도록 하기 위한 의도만을 가진다. 이에 상응하여, 예들은 본 명세서의 실시예들의 범위를 한정하는 것으로 해석되어서는 안 된다.
언급된 바와 같이, 정적 및 동적 장면 양자 모두에 대하여 수평 시차 스테레오 파노라마(예를 들어, 이미지 및 비디오를 포함함)를 캡쳐하기 위한 시스템이 필요하다. 본 발명의 실시예는, 다면 선택적 광 반사기 유닛, 컴퓨팅 유닛 및 수평 시차 스테레오 파노라마를 캡쳐하기 위한 카메라를 포함하는 파노라믹 스테레오 광학 시스템을 제공함으로써 이러한 목적을 달성한다. 이제 도면들, 특히 도 1a 내지 도 11 을 참조하여 바람직한 실시예들이 도시되는데, 여기에서 유사한 참조 문자들은 도면 전체에서 일관적으로 대응하는 피쳐들을 나타낸다.
도 1a 는 본 발명의 제 1 실시예에 따르는, 수평 시차 스테레오 파노라마를 캡쳐하기 위한 이차 반사기(106)를 포함하는 파노라믹 스테레오 광학 시스템의 측면도를 도시한다. 파노라믹 스테레오 광학 시스템은 컴퓨팅 유닛(102), 다면 선택적 광 반사기 유닛(104) 및 이차 반사기(106)를 포함한다. 다면 선택적 광 반사기 유닛(104)은 복수 개의 미러면(112A-N) 및 시청 애퍼쳐(114)를 포함한다. 복수 개의 미러면(112A-N)은 (a) 외부 세계의 3차원(3D) 장면으로부터 (i) 좌안 파노라마 및 (ii) 우안 파노라마를 생성하는 데에 관련되는 광선을 획득하고 (b) 이러한 광선을 광선들 사이의 내부 반사가 없이 반사하도록 적응되는 결합 형상(cohesive shape)으로 배치된다. 이차 반사기(106)는 다면 선택적 광 반사기 유닛(104)의 상단에 부착되도록 적응된다. 이차 반사기(106)는 (a) 다면 선택적 광 반사기 유닛(104)으로부터 이러한 반사된 광선을 획득하고 (b) 이러한 광선을 시청 애퍼쳐(114)를 통해 반사하도록 적응된다. 이차 반사기(106)는 3D 장면의 상부를 반사하도록 적응된 오목 렌즈(116)를 중앙에 포함한다. 컴퓨팅 유닛(102)은 카메라(110) 및 프로세서를 포함한다. 일 실시예에서, 컴퓨팅 유닛(102)은 스마트 폰, 개인 휴대정보 단말기, 탭, 전자 노트북 등이다. 카메라(110)는 (i) 이차 반사기(106)로부터의 반사된 광선 및 (ii) 3D 장면의 상부를 워프된 이미지의 형태로 오목 렌즈(116)로부터 시청 애퍼쳐(114)를 통해 캡쳐한다. 워프된 이미지는 사람이 시청할 수 없다. 프로세서는 워프된 이미지를 (a) 좌안 파노라마 및 (b) 우안 파노라마로 처리한다. 일 실시예에서, 프로세서는 워프된 이미지를 사후 처리 중에 원격 유닛에서 처리한다.
이차 반사기(106)는 (i) 포물선 반사기 또는 (ii) 평평한 반사기 중 적어도 하나이다. 포물선 반사기는 광선을 3D 장면의 상부에서보다 3D 장면의 하부에서 더 양호한 분해능으로 카메라(110)로 반사하도록 적응된다. 파노라믹 스테레오 광학 시스템은 다면 선택적 반사기 유닛(104) 및 이차 반사기(106)를 연결하도록 적응되는 커넥터(108)를 더 포함한다. 커넥터(108)는 외부 세계의 3D 장면으로부터 광선을 캡쳐할 때 장애가 되는 것을 피하기 위해서 투명하다. 일 실시예에서, 파노라믹 스테레오 광학 시스템은 수평 시차 스테레오 파노라마를 따라서 오디오를 캡쳐하도록 적응되는 하나 이상의 마이크로폰을 포함한다.
도 1b 는 본 발명의 제 2 실시예에 따르는, 도 1a 의 이차 반사기(106)가 없이 수평 시차 스테레오 파노라마를 캡쳐하는 파노라믹 스테레오 광학 시스템을 도시한다. 파노라믹 스테레오 광학 시스템은 컴퓨팅 유닛(102) 및 다면 선택적 광 반사기 유닛(104)을 포함한다. 다면 선택적 광 반사기 유닛(104)은 이차 반사기(106)가 없이 컴퓨팅 유닛(102)에 부착되도록 적응되어 콤팩트한 설정을 제공한다. 다면 선택적 광 반사기 유닛(104)은 (a) 복수 개의 미러면(112A-N), (b) 시청 애퍼쳐(114) 및 (c) 오목 렌즈(116)를 포함한다. 다면 선택적 광 반사기 유닛(104)은 3D 장면으로부터 광선을 획득하고, 광선을 이차 반사기(106)가 없이 카메라(110)로 직접적으로 반사한다. 오목 렌즈(116)는 3D 장면의 상부를 카메라(110)로 반사한다. 카메라(110)는 다면 선택적 광 반사기 유닛(104)으로부터의 반사된 광선 및 오목 렌즈(116)로부터의 3D 장면의 상부를 워프된 이미지의 형태로 획득한다. 프로세서는 워프된 이미지를 (a) 좌안 파노라마 및 (b) 우안 파노라마로 처리한다.
도 2 는 본 발명의 일 실시예에 따르는 컴퓨팅 유닛(102)의 프로세서의 전개도를 도시한다. 프로세서는 (a) 데이터베이스(202), (b) 카메라 배향 모듈(204), (c) 워프 이미지 획득 모듈(206), (d) 교정 모듈(208), (d) 파노라마 생성 모듈(210) 및 (e) 디스플레이 모듈(212)을 포함한다. 데이터베이스(202)는 추후 참조하기 위하여 워프된 이미지 및 수평 시차 스테레오 파노라마를 저장한다. 카메라 배향 모듈(204)은 (a) 카메라(110)의 시청축을 컴퓨팅 유닛(102)의 중심축과 정렬하고 (b) 이진 광 패턴을 3D 장면의 스크린 상에 투영한다. 워프 이미지 획득 모듈(206)은 카메라(110)로부터 워프된 이미지를 획득한다. 교정 모듈(208)은 (a) 각각의 픽셀에서 워프된 이미지로부터의 워프된 이미지를 디코딩함으로써, 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하고; (b) (i) 카메라(110) 및 (ii) 다면 선택적 광 반사기 유닛(104) 내의 결함을 분석하며; (c) 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하는 동안 분석된 결함을 최소화한다. 이진 광 패턴은 (i) 정상 이진 시퀀스 패턴 및 (ii) 반전 이진 시퀀스 패턴을 포함한다. 정상 이진 시퀀스 패턴 및 반전 이진 시퀀스 패턴은 워프된 이미지를 교정하고 디워핑하도록 적응된다. 파노라마 생성 모듈(210)은 (a) 각각의 픽셀에서의 워프된 이미지의 정밀 시도(exact eye view)를 결정하고, (b) 워프된 이미지를 (i) 좌안 파노라마 및 (ii) 우안 파노라마로 디워핑한다. 디스플레이 모듈(212)은 (a) 좌안 파노라마 및 (b) 우안 파노라마를 스테레오 디스플레이 유닛 상에 디스플레이한다. 스테레오 디스플레이 유닛은 (a) 헤드-마운트 디스플레이 (b) 3차원(3D) 프로젝터 또는(C) 3차원(3D) 디스플레이 중 적어도 하나이다.
도 3 은 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛(104)의 사시도를 도시한다. 다면 선택적 광 반사기 유닛(104)은 복수 개의 미러면(112A-N) 및 시청 애퍼쳐(114)를 포함하는 결합형 강성 미러(cohesive shaped rigid mirror)이다. 복수 개의 미러면(112A-N) 내의 미러면의 개수는 애플리케이션에 따라서 달라질 수 있다. 복수 개의 미러면(112A-N)은 (a) 복수 개의 좌측 미러 페이스 및 (b) 복수 개의 우측 미러 페이스의 연속 배치구성을 포함한다. 복수 개의 좌측 미러 페이스는 좌안 파노라마에 대응하는 관련된 광선을 획득하도록 적응된다. 복수 개의 우측 미러 페이스는 우안 파노라마에 대응하는 관련된 광선을 획득하도록 적응된다. 일 실시예에서, 복수 개의 좌측 미러 페이스 및 복수 개의 우측 미러 페이스는 가시 범위를 증가시키도록 적응되는 만곡형이다. 가시 범위는 (a) 수평 가시 범위 및 (b) 수직 가시 범위를 포함한다.
도 4 는 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛(104) 내의 복수 개의 미러면(112A-N)의 평면도이다. 복수 개의 미러면(112A-N)의 복수 개의 좌측 미러 페이스로부터 획득된 관련된 광선은 복수 개의 미러면(112A-N)을 위에서 바라보았을 때 반-시계방향이다. 이와 유사하게, 복수 개의 미러면(112A-N)의 복수 개의 우측 미러 페이스로부터 획득된 관련된 광선은 복수 개의 미러면(112A-N)을 위에서 바라보았을 때 시계방향이다. 일 실시예에서, 복수 개의 좌측 미러 페이스 및 복수 개의 우측 미러 페이스 각각의 좌측 미러 페이스 및 각각의 우측 미러 페이스의 중심은 시청 애퍼쳐(114)에 대한 접선에 각각 놓인다. 일 실시예에서, 복수 개의 미러면(112A-N)은 시청 애퍼쳐(114)에 수직으로 위치설정되어 접선 광선을 캡쳐한다. 접선 광선은 좌안 파노라마 및 우안 파노라마를 구성하도록 적응된다.
도 5 는 본 발명의 일 실시예에 따르는 다면 선택적 광 반사기 유닛(104) 내의 미러면(112A)의 수평 단면의 예시적인 실시예를 도시한다. 수평 단면은, 좌측 파노라마 및 우측 파노라마를 본 발명의 일 실시예에 따르는 단일 디자인에서 각각 캡쳐하기 위한, 미러면(112A) 상의 좌측 미러 페이스 및 우측 미러 페이스의 배치구성을 예시한다. 미러면(112A)은 (a) 우안 파노라마의 관련된 광선을 획득하도록 적응되는 우측 미러 페이스 P1P2 및 (b) 좌안 파노라마의 관련된 광선을 획득하도록 적응되는 좌측 미러 페이스 P2P3를 포함한다. 일 실시예에서, 우측 미러 페이스 P1P2 및 좌측 미러 페이스 P2P3는 동일한 각도 분리로 배치되어, P1이 원 Cmin에 놓이고 P2가 Cmax에 놓여서, 우안 파노라마 및 좌안 파노라마 각각을 구성하기 위하여 요구되는 모든 접선 광선을 캡쳐하도록 적응되게 한다. 이와 유사하게, 복수 개의 미러면(112A-N) 중 연속하는 우측 미러 페이스 및 좌측 미러 페이스는 동일한 각도 분리로 배치되어, Pi(i = 우수)가 원 Cmax에 놓이고 Pj(j=기수)가 원 Cmin에 놓여서 좌안 파노라마 및 우안 파노라마 각각을 구성하기 위하여 요구되는 모든 접선 광선을 캡쳐하도록 적응되게 한다.
도 6 은 본 발명의 일 실시예에 따르는 도 1a 의 다면 선택적 광 반사기 유닛(104) 내의 복수 개의 미러면(112A-N)에 의해 캡쳐되는 가시 범위를 도시한다. 일 실시예에서, 복수 개의 미러면(112A-N)은 곡선형상이다. 복수 개의 미러면(112A-N)의 곡선형상은 가시 범위를 증가시킨다. 가시 범위는 (a) 수평 가시 범위, 및 (b) 수직 가시 범위를 포함한다. 수평 가시 범위는 수평 방향으로 복수 개의 미러면(112A-N)에 의해 캡쳐되는 3D 장면의 양이다. 수직 가시 범위는 수직 방향으로 복수 개의 미러면(112A-N)에 의해 캡쳐되는 3D 장면의 양이다. 일 실시예에서, 수평 가시 범위는 다면 선택적 광 반사기 유닛(104) 내의 미러면(112A-N)의 개수에 따라서 달라진다. 곡선형상인 복수 개의 좌측 미러 페이스 및 복수 개의 우측 미러 페이스의 연속 배치구성은 복수 개의 좌측 미러 페이스 및 복수 개의 우측 미러 페이스의 가시 범위들 사이의 중첩을 증가시킨다. 가시 범위들 사이의 중첩은 이어붙임 아티팩트를 최소화하고 3D 장면의 누락 지역을 캡쳐하도록 증가된다. 일 실시예에서, 복수 개의 미러면(112A-N)의 곡선형상은, 이어붙임 아티팩트를 극복하고 복수 개의 미러면(112A-N) 중 이웃하는 페이스들 사이의 상호-반사를 회피하기 위한 최적의 중첩량을 제공하기에 충분하게 제한된다. (i) 복수 개의 좌측 미러 페이스 중 개별 좌측 미러 페이스 또는 (ii) 복수 개의 우측 미러 페이스 중 개별 우측 미러 페이스 중 적어도 하나의 수직 단면은 (a) 선형 형상, (b) 포물선 형상, (c) 쌍곡선 형상 또는 (d) 타원형 형상 중 적어도 하나이다. (i) 복수 개의 좌측 미러 페이스 중 개별 좌측 미러 페이스 또는 (ii) 복수 개의 우측 미러 페이스 중 개별 우측 미러 페이스 중 적어도 하나의 수평 단면은 (a) 원형 형상 또는 (b) 선형 형상 중 적어도 하나이다. 일 실시예에서, 수평 단면에 있는 원형 형상은 수평 가시 범위를 증가시키도록 적응된다. 수직 단면에 있는 포물선 형상은 수직 방향으로 3D 장면의 균일한 분해능을 제공하고 수직 가시 범위를 증가시키도록 적응된다. 캡쳐된 3D 장면의 범위(즉 가시 범위)는 다면 선택적 광 반사기 유닛(104)의 포물선 형상 내에 상이한 수직 치수를 선택하고 이것을 요구된 크기로 스케일링함으로써 변경된다. 다면 선택적 광 반사기 유닛(104)의 가시 범위는, 포물선 형상의 베이스에 더 가까운 다면 선택적 광 반사기 유닛(104)의 부분을 선택할 때에 포물선 형상의 베이스를 향해 틸팅된다. 일 실시예에서, 가시 범위를 틸팅하는 것은 다양한 애플리케이션(예를 들어 드론 플랫폼, 방의 천정 등)에서 더 높은 유리한 지점으로부터 수평 시차 스테레오 파노라마를 캡쳐하도록 적응된다.
도 7 은 본 발명의 일 실시예에 따르는 도 1a 의 파노라믹 스테레오 광학 시스템을 사용하여 수평 시차 스테레오 파노라마를 캡쳐하는 방법을 예시한다. 단계 702 에서, 다면 선택적 광 반사기 유닛(104)을 사용하여 광선이 외부 세계의 3D 장면으로부터 획득된다. 단계 704 에서, 다면 선택적 광 반사기 유닛(104)을 사용하여 광선이 이차 반사기(106)로 반사된다. 단계 706 에서, (a) 이차 반사기(106)로부터의 반사된 광선 및 (b) 오목 렌즈(116)로부터의 3D 장면의 상부가 워프된 이미지의 형태로 카메라(110)를 사용하여 캡쳐된다. 단계 708 에서, 워프된 이미지는 컴퓨팅 유닛(102)을 사용하여 (a) 좌안 파노라마 및 (b) 우안 파노라마로 처리된다. 이차 반사기(106)는 상이한 실시예들에서 평평한 반사기 또는 포물선 반사기 중 어느 하나일 수 있다.
도 8 은 본 발명의 일 실시예에 따르는 도 1b 의 파노라믹 스테레오 광학 시스템을 사용하여 수평 시차 스테레오 파노라마를 캡쳐하는 방법을 예시한다. 단계 802 에서, 다면 선택적 광 반사기 유닛(104)을 사용하여 광선이 외부 세계의 3D 장면으로부터 획득된다. 단계 804 에서, 카메라(104)를 사용하여 광선이 이차 반사기(110)로 반사된다. 단계 806 에서, (a) 다면 선택적 광 반사기 유닛(104)으로부터의 반사된 광선 및 (b) 오목 렌즈(116)로부터의 3D 장면의 상부가 워프된 이미지의 형태로 카메라(110)를 사용하여 캡쳐된다. 단계 808 에서, 워프된 이미지는 컴퓨팅 유닛(102)을 사용하여 (a) 좌안 파노라마 및 (b) 우안 파노라마로 처리된다.
도 9 는 본 발명의 일 실시예에 따라서, 워프된 이미지를 도 2 의 좌안 파노라마 및 우안 파노라마로 처리하는 방법을 예시한다. 단계 902 에서, 카메라 배향 모듈(204)을 사용하여 카메라(110)의 시청축이 컴퓨팅 유닛(102)의 중심축과 정렬된다. 단계 904 에서, 카메라 배향 모듈(204)을 사용하여 이진 광 패턴이 3D 장면의 스크린 상에 투영된다. 단계 906 에서, 워프된 이미지가 워프 이미지 획득 모듈(206)을 사용하여 카메라(110)로부터 획득된다. 단계 908 에서, 세계 좌표- 워프 이미지 좌표 매핑이 교정 모듈(208)을 사용하여 계산된다. 단계 910 에서, 카메라(110) 및 다면 선택적 광 반사기 유닛(104) 내의 결함이 교정 모듈(208)을 사용하여 분석된다. 단계 912 에서, 분석된 결함이 세계 좌표-이미지 좌표가 교정 모듈(208)을 사용하여 매핑되는 동안에 최소화된다. 단계 914 에서, 워프된 이미지의 정밀 시도(exact eye view)가 파노라마 생성 모듈(210)을 사용하여 각각의 픽셀에서 결정된다. 단계 916 에서, 워프된 이미지는 파노라마 생성 모듈(210)을 사용하여 좌안 파노라마 및 우안 파노라마로 디워핑된다. 단계 918 에서, 좌안 파노라마 및 우안 파노라마는 디스플레이 모듈(212)을 사용하여 스테레오 디스플레이 유닛 상에 디스플레이된다. 일 실시예에서, 스테레오 디스플레이 유닛은 (a) 헤드-마운트 디스플레이 (b) 3차원(3D) 프로젝터 또는(C) 3차원(3D) 디스플레이 중 적어도 하나이다.
도 10 은 본 발명의 일 실시예에 따르는 다면 선택적 반사기 유닛(104)을 제작하는 프로세스를 예시하는 흐름도이다. 단계 1002 에서, 제어 포인트가 선택되고 각각의 각도에서의 다면 선택적 반사기 유닛(104)의 수직 단면에 대한 기초 스플라인(B-spline) 표현이 생성된다. 단계 1004 에서, NURBS(Non-uniform rational basis spline) 면이 복수 개의 미러면(112A-N)의 각각의 미러면에 대해서 생성된다. 단계 1006 에서, 컴퓨터 수치 제어(Computer Numeric Control; CNC) 모델이 컴퓨터 보조 디자인(Computer Aided Design; CAD) 포맷으로 내보내기함으로써 생성된다. 단계 1008 에서, 고정밀도 몰드가 생성되고 몰드의 대량 생산을 위하여 진공 캐스팅이 수행된다. 단계 1010 에서, 알루미늄 도금이 몰드에 수행되어 다면 선택적 광 반사기 유닛(104)이 획득된다. 단계 1012 에서, 다면 선택적 반사기 유닛(104)이 카메라(110)와 조립되어 파노라믹 스테레오 광학 시스템을 형성한다. 일 실시예에서, 제어 포인트는 애플리케이션에 따라서 상이한 값으로 생성된다. 일 실시예에서, 컴퓨터 보조 디자인(CAD) 포맷은 (i) 초기 그래픽 교환 사양(Initial Graphics Exchange Specification) 또는 (ii) CNC 모델을 생성하기 위한 STEP 중 적어도 하나이다.
본 발명의 실시예를 실시하기 위한 대표적인 하드웨어 환경이 도 11 에 도시된다. 이러한 개략도는 본 발명의 실시예에 따른 정보 처리/컴퓨팅 유닛의 하드웨어 구성을 예시한다. 컴퓨팅 유닛은 하나의 프로세서 또는 중앙 처리 유닛(CPU)(10)을 포함한다. CPU(10)는 시스템 버스(12)를 통해 랜덤 액세스 메모리(RAM)(14), 판독-전용 메모리(ROM)(16), 및 입력/출력(I/O) 어댑터(18)와 같은 다양한 디바이스로 상호연결된다. I/O 어댑터(18)는, 디스크 유닛(11) 및 테이프 드라이브(13), 또는 컴퓨팅 유닛에 의해 판독될 수 있는 다른 프로그램 저장 디바이스로 연결할 수 있다. 컴퓨팅 유닛은 프로그램 저장 디바이스 상의 진보적인 명령을 판독하여 본 발명의 실시예의 방법을 실행할 수 있다.
컴퓨팅 유닛은, 키보드(15), 마우스(17), 스피커(24), 마이크로폰(22)을 연결하는 사용자 인터페이스 어댑터(19), 및/또는 사용자 입력을 수집하기 위한 터치 스크린 디바이스(미도시) 또는 버스(12)로 가는 리모트 콘트롤과 같은 다른 사용자 인터페이스 디바이스를 더 포함한다. 또한, 통신 어댑터(20)는 버스(12)를 데이터 처리 네트워크(25)에 연결하고, 및 디스플레이 어댑터(21)는 버스(12)를 예를 들어 모니터, 프린터, 또는 송신기와 같은 출력 디바이스로서 구현될 수 있는 디스플레이 디바이스(23)에 연결한다.
특정한 실시예의 앞선 설명은 본 명세서의 실시예들의 총괄적인 속성을 완전하게 드러낼 것이며, 다른 이들은 이러한 실시예들을 현재의 지식을 적용함으로써 총괄적인 개념으로부터 벗어나지 않으면서 용이하게 변경하고 및/또는 이러한 특정 실시예들과 같은 다양한 애플리케이션들에 대하여 적응시킬 수 있고, 그러므로, 이러한 적응 및 변경들은 개시된 실시예들의 균등물의 의미 및 범위 내에서 이해되어야 하고 또한 그렇게 이해되는 것이 의도된다. 본 명세서에서 채용된 어법 또는 용어는 설명하기 위한 목적을 위한 것이며 한정하는 목적이 아님이 이해되어야 한다. 그러므로, 본 명세서의 실시예들이 바람직한 실시예들의 관점에서 지금까지 설명되어 왔지만, 당업자들은 본 명세서의 실시예들이 첨부된 청구범위의 사상 및 범위 내에서 변형되어 실시될 수 있다는 것을 인식할 것이다.

Claims (12)

  1. 수평 시차(horizontal disparity) 스테레오 파노라마를 캡쳐하기 위한 시스템으로서,
    (a) 복수 개의 미러면(112A-N) 및 (b) 시청 애퍼쳐(viewing aperture; 114)를 포함하는 다면 선택적 광 반사기 유닛(multi surface selective light reflector unit; 104) - 상기 복수 개의 미러면(112A-N)은, (a) (i) 좌안 파노라마 및 (ii) 우안 파노라마를 생성하도록 관련된 광선을 외부 세계의 3 차원(3D) 장면으로부터 획득하고 (b) 상기 광선 사이의 내부 반사가 없이 상기 광선을 반사하도록 적응된 결합 형상(cohesive shape)으로 배치됨 -;
    상기 다면 선택적 광 반사기 유닛(104)에 부착되도록 적응되는 이차 반사기(106) - 상기 이차 반사기(106)는 (a) 상기 반사된 광선을 상기 다면 선택적 광 반사기 유닛(104)으로부터 획득하고 (b) 상기 광선을 상기 시청 애퍼쳐(114)를 통하여 반사하며, 상기 이차 반사기(106)는 상기 3D 장면의 상부를 반사하도록 적응되는 오목 렌즈(116)를 포함함 -; 및
    컴퓨팅 유닛(102)을 포함하고, 상기 컴퓨팅 유닛은,
    (i) 상기 이차 반사기(106)로부터의 상기 반사된 광선 및 (ii) 상기 오목 렌즈(116)로부터의 상기 3D 장면의 상부를 상기 시청 애퍼쳐(114)를 통해 워프된 이미지의 형태로 캡쳐하는 카메라(110); 및
    상기 워프된 이미지를 (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마로 처리하는 프로세서를 포함하는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    카메라 배향 모듈(204) - 상기 카메라 배향 모듈은, 상기 카메라(110)의 시청축을 상기 컴퓨팅 유닛(102)의 중심축과 정렬시키고;
    이진 광 패턴을 상기 3D 장면의 스크린 상에 투영하며,
    상기 이진 광 패턴은 (i) 정상 이진 시퀀스 패턴 및 (ii) 반전 이진 시퀀스 패턴을 포함하고, 상기 정상 이진 시퀀스 패턴 및 상기 반전 이진 시퀀스 패턴은 상기 워프된 이미지를 교정하도록 적응됨 -;
    상기 카메라(110)로부터 상기 워프된 이미지를 획득하는 워프 이미지 획득 모듈(206);
    교정 모듈(208) - 상기 교정 모듈은,
    (a) 각각의 픽셀에서 상기 워프된 이미지로부터의 상기 이진 광 패턴을 디코딩함으로써, 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하고;
    (b) (i) 상기 카메라(110) 및 (ii) 상기 다면 선택적 광 반사기 유닛(104) 내의 결함을 분석하며;
    (c) 상기 세계 좌표로부터 상기 워프 이미지 좌표로의 상기 매핑을 계산하는 동안 분석된 상기 결함을 최소화함 -;
    (a) 각각의 픽셀에서 상기 워프된 이미지의 정밀 시도(exact eye view)를 결정하고, (b) 상기 워프된 이미지를 (i) 상기 좌안 파노라마 및 (ii) 상기 우안 파노라마로 디워핑(de-warp)하는 파노라마 생성 모듈(210); 및
    (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마를 스테레오 디스플레이 유닛 상에 디스플레이하는 디스플레이 모듈(212)을 포함하고,
    상기 스테레오 디스플레이 유닛은 (a) 헤드-마운트 디스플레이 (b) 3차원(3D) 프로젝터 또는(C) 3차원(3D) 디스플레이중 적어도 하나인, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  3. 제 1 항에 있어서,
    상기 복수 개의 미러면(112A-N)은 (a) 복수 개의 좌측 미러 페이스(mirror face) 및 (b) 복수 개의 우측 미러 페이스의 연속 배치구성을 포함하고,
    (i) 상기 복수 개의 좌측 미러 페이스 및 (ii) 상기 복수 개의 우측 미러 페이스는, (a) 상기 좌안 파노라마에 대응하는 관련된 광선 및 (b) 상기 우안 파노라마에 대응하는 관련된 광선을 각각 획득하도록 적응되는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  4. 제 3 항에 있어서,
    상기 복수 개의 좌측 미러 페이스 및 상기 복수 개의 우측 미러 페이스의 상기 연속 배치구성은, (i) (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마의 이어붙임 아티팩트를 최소화하고, (ii) 상기 3D 장면 내의 암점을 최소화하며, (iii) (a) 상기 좌안 파노라마를 생성하도록 적응되는 연속 좌측 미러면(mirror surface) 또는 (b) 상기 우안 파노라마를 생성하도록 적응되는 연속 우측 미러면 중 적어도 하나 사이의 뷰-포인트 시차(view-point disparity)를 최소화하고, (iv) 상기 3D 장면으로부터 캡쳐된 상기 광선의 비-균일성을 최소화하는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  5. 제 1 항에 있어서,
    상기 복수 개의 미러면(112A-N)은 곡선형이고, 상기 곡선형 복수 개의 미러면(112A-N)은 상기 3D 장면의 가시 범위를 증가시키도록 적응되며, 상기 가시 범위는 (a) 수평 가시 범위 및 (b) 수직 가시 범위를 포함하는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  6. 제 1 항에 있어서,
    상기 카메라(110)는 복수 개의 카메라로 대체되는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  7. 제 3 항에 있어서,
    (i) 상기 복수 개의 좌측 미러 페이스 중 개별 좌측 미러 페이스 및 (ii) 상기 복수 개의 우측 미러 페이스 중 개별 우측 미러 페이스의 수직 단면은 (a) 선형 형상, (b) 포물선 형상, (c) 쌍곡선 형상 또는 (d) 타원형 형상 중 적어도 하나이고,
    (i) 상기 복수 개의 좌측 미러 페이스 중 상기 개별 좌측 미러 페이스 및 (ii) 상기 복수 개의 우측 미러 페이스 중 상기 개별 우측 미러 페이스의 수평 단면은 (a) 원형 형상 또는 (b) 선형 형상 중 적어도 하나인, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  8. 제 1 항에 있어서,
    상기 카메라(110)는 (i) 디지털 카메라 센서, (ii) 하이퍼 스펙트럼 이미징 센서, (iii) 적외선 이미지 센서 또는 (iv) 암시(night vision) 센서 중 적어도 하나인, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  9. 제 1 항에 있어서,
    상기 카메라(110)는, 상기 다면 선택적 광 반사기 유닛(104)로부터의 좌안 뷰 및 우안 뷰에 대응하는 상기 광선을 파노라믹 스테레오 디스플레이로서의 역할을 하는 스크린 상에 투영하는 프로젝터로 대체되는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  10. 제 1 항에 있어서,
    상기 카메라(110)는, 상기 다면 선택적 광 반사기 유닛(104)으로부터 상기 반사된 광선을 직접적으로 획득하도록 상기 이차 반사기(106)의 위치에 대체되고,
    상기 오목 렌즈(116)는, 상기 3D 장면의 상기 상부를 상기 카메라(110)로 반사하도록 상기 다면 선택적 광 반사기 유닛(104)의 하단에 위치설정되는, 수평 시차 스테레오 파노라마 캡쳐 시스템.
  11. 수평 시차 스테레오 파노라마를 획득하는 방법으로서,
    다면 선택적 광 반사기 유닛(104)을 사용하여, 외부 세계의 3차원(3D) 장면으로부터 (i) 좌안 파노라마 및 (ii) 우안 파노라마를 생성하는 데에 관련되는 광선을 획득하는 단계;
    상기 다면 선택적 광 반사기 유닛(104)을 사용하여, 상기 광선을 이차 반사기(106)로 반사하는 단계;
    카메라(110)를 사용하여, (i) 상기 이차 반사기(106)로부터의 워프된 이미지의 형태인 상기 반사된 광선 및 (ii) 오목 렌즈(116)로부터의 상기 3D 장면의 상부를 획득하는 단계; 및
    컴퓨팅 유닛(102)을 사용하여, 상기 워프된 이미지를 (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마로 처리하는 단계를 포함하는, 수평 시차 스테레오 파노라마 획득 방법.
  12. 제 11 항에 있어서,
    상기 처리하는 단계는,
    카메라 배향 모듈(204)을 사용하여, 상기 카메라(110)의 시청축을 상기 컴퓨팅 유닛(102)의 중심축과 정렬하는 단계;
    상기 카메라 배향 모듈(204)을 사용하여, 이진 광 패턴을 상기 3D 장면의 스크린 상에 투영하는 단계;
    워프 이미지 획득 모듈(206)을 사용하여, 상기 카메라(110)로부터 상기 워프된 이미지를 획득하는 단계;
    교정 모듈(208)을 사용하여, 세계 좌표로부터 워프 이미지 좌표로의 매핑을 계산하는 단계;
    상기 교정 모듈(208)을 사용하여, (i) 상기 카메라(110) 및 (ii) 상기 다면 선택적 광 반사기 유닛(104) 내의 결함을 분석하는 단계;
    상기 교정 모듈(208)을 사용하여, 상기 세계 좌표로부터 상기 워프 이미지 좌표로의 상기 매핑을 계산하는 동안 분석된 상기 결함을 최소화하는 단계;
    파노라마 생성 모듈(210)을 사용하여, 각각의 픽셀에서의 상기 워프된 이미지의 정밀 시도를 결정하는 단계;
    상기 파노라마 생성 모듈(210)을 사용하여, 상기 워프된 이미지를 상기 좌안 파노라마 및 상기 우안 파노라마로 디워핑하는 단계; 및
    디스플레이 모듈(212)을 사용하여, (a) 상기 좌안 파노라마 및 (b) 상기 우안 파노라마를 스테레오 디스플레이 유닛 상에 디스플레이하는 단계를 포함하는, 수평 시차 스테레오 파노라마 획득 방법.
KR1020187033309A 2016-06-20 2017-06-19 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법 KR102176963B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201641021124 2016-06-20
IN201641021124 2016-06-20
PCT/IN2017/050248 WO2017221266A1 (en) 2016-06-20 2017-06-19 System and method for capturing horizontal disparity stereo panorama

Publications (2)

Publication Number Publication Date
KR20190019059A KR20190019059A (ko) 2019-02-26
KR102176963B1 true KR102176963B1 (ko) 2020-11-10

Family

ID=60659136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187033309A KR102176963B1 (ko) 2016-06-20 2017-06-19 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US10154249B2 (ko)
EP (1) EP3472667B1 (ko)
JP (1) JP7295641B2 (ko)
KR (1) KR102176963B1 (ko)
ES (1) ES2884323T3 (ko)
WO (1) WO2017221266A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102401168B1 (ko) * 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR20200122323A (ko) 2018-02-17 2020-10-27 드림뷰, 인크. 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
USD943017S1 (en) 2018-02-27 2022-02-08 Dreamvu, Inc. 360 degree stereo optics mount for a camera
USD931355S1 (en) 2018-02-27 2021-09-21 Dreamvu, Inc. 360 degree stereo single sensor camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515984A (ja) 1996-06-24 2002-05-28 ビイ ヒア・コーポレーション パノラマ・カメラ
JP2008537157A (ja) * 2005-04-18 2008-09-11 シャープ株式会社 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ
US20150358539A1 (en) * 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333826B1 (en) * 1997-04-16 2001-12-25 Jeffrey R. Charles Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article
AU752405B2 (en) * 1998-03-27 2002-09-19 Hideyoshi Horimai Three-dimensional image display
WO2001068540A2 (en) 2000-03-16 2001-09-20 Lee Scott Friend Imaging apparatus
WO2002008817A2 (en) * 2000-07-21 2002-01-31 Lee Scott Friend Stereoscopic omnidirectional imaging devices
JP2010181826A (ja) 2009-02-09 2010-08-19 Panasonic Corp 立体画像形成装置
CN102053475A (zh) * 2010-10-15 2011-05-11 肖继忠 单相机全方位立体视觉***
JP5910157B2 (ja) 2012-02-23 2016-04-27 株式会社リコー 画像投射装置
KR102491749B1 (ko) * 2015-03-01 2023-01-25 아카이브 코퍼레이션 파노라마 입체 이미징 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515984A (ja) 1996-06-24 2002-05-28 ビイ ヒア・コーポレーション パノラマ・カメラ
JP2008537157A (ja) * 2005-04-18 2008-09-11 シャープ株式会社 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ
US20150358539A1 (en) * 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System

Also Published As

Publication number Publication date
EP3472667A1 (en) 2019-04-24
ES2884323T3 (es) 2021-12-10
US10154249B2 (en) 2018-12-11
EP3472667B1 (en) 2021-05-19
KR20190019059A (ko) 2019-02-26
JP7295641B2 (ja) 2023-06-21
US20170366800A1 (en) 2017-12-21
WO2017221266A1 (en) 2017-12-28
JP2019525509A (ja) 2019-09-05
EP3472667A4 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
US7079173B2 (en) Displaying a wide field of view video image
US9918011B2 (en) Omnistereo imaging
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
KR102176963B1 (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
US9436973B2 (en) Coordinate computation device and method, and an image processing device and method
EP1702475A2 (en) Multi-dimensional imaging apparatus, systems, and methods
JP2009175866A (ja) 立体像生成装置、その方法およびそのプログラム
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
TW202008064A (zh) 投影機校正方法與使用此方法的投影系統
US10802390B2 (en) Spherical omnipolar imaging
CN113259642B (zh) 一种影片视角调节方法及***
KR20150099008A (ko) 3d 영상 촬영용 파노라마 카메라장치
KR102112491B1 (ko) 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
WO2020244273A1 (zh) 双摄像机三维立体成像***和处理方法
Lin et al. Single-view-point omnidirectional catadioptric cone mirror imager
JP6608208B2 (ja) 画像表示装置
WO2022044806A1 (ja) 情報処理装置および方法
JP6984583B2 (ja) 情報処理装置および情報処理方法
JP2023174456A (ja) イメージ内の座標間の実際距離を算出する方法及び装置
CN113132715A (zh) 一种图像处理方法、装置、电子设备及其存储介质
JP2002354302A (ja) 撮像装置及び撮像システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant