KR20180054622A - 광학 취득 시스템을 교정하기 위한 장치 및 방법 - Google Patents
광학 취득 시스템을 교정하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20180054622A KR20180054622A KR1020187007687A KR20187007687A KR20180054622A KR 20180054622 A KR20180054622 A KR 20180054622A KR 1020187007687 A KR1020187007687 A KR 1020187007687A KR 20187007687 A KR20187007687 A KR 20187007687A KR 20180054622 A KR20180054622 A KR 20180054622A
- Authority
- KR
- South Korea
- Prior art keywords
- acquisition system
- optical acquisition
- conjugate
- ray
- optical
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims description 24
- 210000001747 pupil Anatomy 0.000 claims description 42
- 238000013461 design Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000003491 array Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H04N5/225—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Input (AREA)
- Focusing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
마켓에서 입수가능한 여러 종류의 플렌옵틱 디바이스 및 카메라 어레이가 있고, 이들 라이트 필드 취득 디바이스 모두는 그 주변 파일 포맷을 갖는다. 하지만, 다차원 정보의 획득 및 송신을 지원하는 표준은 없다. 상기 광학 취득 시스템의 센서의 픽셀과 상기 광학 취득 시스템의 물체 공간 사이의 대응에 관한 정보를 얻는 것은 흥미롭다. 실제로, 광학 취득 시스템의 센서에 속하는 픽셀이 광학 취득 시스템의 물체 공간의 어느 부분을 감지하는지를 아는 것은, 신호 프로세싱 동작의 개선을 가능하게 한다. 이러한 정보를 저장하기 위한 컴팩트 포맷과 함께 카메라의 광학 시스템의 물체 공간에서 광선들의 세트에 의해 점유된 볼륨을 나타내는 픽셀 빔의 개념이 소개된다.
Description
본 발명은 라이트 필드 (light field) 를 나타내는 데이터의 생성에 관한 것이다.
4D 라이트 필드의 샘플링, 즉, 광선들의 레코딩으로서 볼 수 있는 4-차원 또는 4D 라이트-필드 데이터의 취득은, ECCV 2008의 컨퍼런스 회의록에서 공표된 Anat Levin 등에 의한 논문 " Understanding camera trade-offs through a Bayesian analysis of light field projections "에서 설명되며, 열띤 연구 주제이다.
카메라로부터 획득되는 고전적인 2-차원 또는 2D 이미지들에 비해, 4D 라이트-필드 데이터는 사용자가 이미지들의 렌더링 및 사용자와의 상호작용성을 향상시키는 더 많은 후처리 특징들에 대한 액세스를 가질 수 있게 한다. 예를 들어, 4D 라이트-필드 데이터에 의하면, 초점 면의 위치가 사후에 (a posteriori) 특정/선택될 수 있음을 의미하는 초점화의 자유롭게 선택된 거리들에 의한 이미지들의 리포커싱뿐만 아니라, 이미지의 장면에서의 시점을 약간 변경시키는 것을 수행하는 것이 가능하다. 4D 라이트-필드 데이터를 획득하기 위해, 몇몇 기법들이 사용될 수 있다. 예를 들어, 플렌옵틱 카메라 (plenoptic camera) 는 4D 라이트-필드 데이터를 취득할 수 있다. 플렌옵틱 카메라의 아키텍처의 상세항목들이 도 1a에 제공된다. 도 1a는 플렌옵틱 카메라 (100) 를 개략적으로 나타내는 도면이다. 플렌옵틱 카메라 (100) 는 메인 렌즈 (101), 2-차원 어레이로 배열되는 복수의 마이크로-렌즈들 (103) 을 포함하는 마이크로렌즈 어레이 (102) 및 이미지 센서 (104) 를 포함한다.
4D 라이트-필드 데이터를 취득하는 또다른 방식은 도 1b에 도시된 바와 같이 카메라 어레이를 사용하는 것이다. 도 1b는 멀티-어레이 카메라 (110) 를 나타낸다. 멀티-어레이 카메라 (110) 는 렌즈 어레이 (112) 및 이미지 센서 (114) 를 포함한다.
도 1a에 도시된 바와 같은 플렌옵틱 카메라 (100) 의 예에서, 메인 렌즈 (101) 는 메인 렌즈 (101) 의 물체 필드에서 물체 (도면에 미도시됨) 로부터의 광을 수신하고, 그 광을 메인 렌즈 (101) 의 이미지 필드를 통해 통과시킨다.
마지막으로, 4D 라이트 필드를 취득하는 또다른 방식은 상이한 초점 면들에서 동일한 장면의 2D 이미지들의 시퀀스를 캡처하도록 구성되는 종래의 카메라를 사용하는 것이다. 예를 들어, 문헌 [" Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays " by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014]에 기술된 기법은 종래의 카메라에 의한 4D 라이트 필드 데이터의 취득을 달성하기 위해 사용될 수 있다.
4D 라이트-필드 데이터를 표현하는 몇몇 방식들이 있다. 실제로, 2006년 7월에 공표된, Ren Ng에 의한 " Digital Light Field Photography "라는 명칭의 박사 학위 논문의 챕터 3.3에는, 4D 라이트-필드 데이터를 표현하기 위한 3가지 상이한 방식이 기술된다. 첫째, 4D 라이트-필드 데이터는, 마이크로-렌즈 이미지들의 컬렉션에 의해 플렌옵틱 카메라에 의해 레코딩될 때 표현될 수 있다. 이 표현에서의 4D 라이트-필드 데이터는 미가공 이미지들 또는 미가공 4D 라이트-필드 데이터라 명명된다. 둘째, 4D 라이트-필드 데이터는, 플렌옵틱 카메라에 의해 또는 카메라 어레이에 의해 레코딩될 때, 서브 애퍼처 이미지들 (sub-aperture images) 의 세트에 의해 표현될 수 있다. 서브 애퍼처 이미지는 시점으로부터 장면의 캡처된 이미지에 대응하며, 시점은 2개의 서브 애퍼처 이미지 사이에 약간 상이하다. 이러한 서브 애퍼처애퍼처지들은 이미징된 장면의 시차 및 깊이에 관한 정보를 제공한다. 셋째, 4D 라이트-필드 데이터는 등극 (epipolar) 이미지들의 세트에 의해 표현될 수 있는데, 예를 들어, ISVC 2011의 컨퍼런스 회의록에 공표된, S. Wanner 등에 의한 " Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camer "라는 명칭의 논문을 참조한다.
마켓에서 입수가능한 여러 종류의 플렌옵틱 디바이스 및 카메라 어레이가 있고, 이들 라이트 필드 취득 디바이스 모두는 그 주변 파일 포맷을 갖는다. 따라서, 다-차원 정보의 취득 및 송신을 지원하는 표준이 없으므로 규치적인 2D 또는 3D 이미징 이외에 라이트 필드 기술은 생존할 수 없다는 것이 명백하다. 본 발명은 전술내용을 염두에 두고 고안되었다.
본 발명의 제 1 양태에 따르면, 광학 취득 시스템을 교정하기 위한 장치가 제공되며, 상기 장치는 프로세서를 포함하고, 프로세서는
- 광학 취득 시스템의 이미지 공간에서
- 상기 광학 취득 시스템의 물체 공간에서 상기 제 1 광선 및 상기 제 2 광선의 콘주게이트들의 파라미터들을 컴퓨팅하는 것으로서, 상기 제 2 광선의 콘주게이트의 집합체는 상기 제 1 광선의 콘주게이트를 중심으로 회전함으로써 상기 픽셀의 콘주게이트 및 상기 광학 취득 시스템의 퓨필을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면을 생성하고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리는, 상기 제 1 광선 및 상기 제 2 광선의 콘주게이트들의 파라미터들을 컴퓨팅하도록 구성된다.
본 발명의 일 실시형태에 따라서, 광선을 정의하는 파라미터들은 상기 광선이 통과하는 포인트의 좌표들 및 3개의 좌표축들을 포함하는 좌표계에서 상기 광선을 정의한 방향 벡터의 방향 코사인들의 세트를 포함한다.
본 발명의 일 실시형태에 따라서, 상기 제 1 광선을 정의하는 파라미터들은 상기 픽셀의 중심의 좌표들 (x p , y p , z p ) 및 방향 코사인들의 세트이고:
상기 좌표계의 원점은 상기 퓨필의 중심이다.
본 발명의 일 실시형태에 따라서, 상기 제 2 광선을 정의하는 파라미터들은 상기 센서 평면에 위치하고 상기 방향 코사인들의 세트 및 상기 픽셀의 중심에서 반경 a인 원에 속하는 제 1 포인트의 좌표들이고:
상기 좌표계의 원점은 상기 퓨필의 중심이다.
본 발명의 일 실시형태에 따라서, 상기 프로세서는 상기 광학 취득 시스템의 물체 공간에서의 상기 제 1 광선 및 상기 제 2 광선의 콘주게이트들의 파라미터들을 컴퓨팅하도록 구성되며, 이는 상기 이미지 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 정의하는 파라미터들 및 상기 광학의 설계 파라미터들에 기초하여 상기 물체 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 추적하는 것에 있다.
본 발명의 또한 목적은 광학 취득 시스템을 교정하기 위한 방법에 관한 것으로,
- 광학 취득 시스템의 이미지 공간에서
- 상기 광학 취득 시스템의 물체 공간에서 상기 제 1 광선 및 상기 제 2 광선의 콘주게이트들의 파라미터들을 컴퓨팅하는 단계로서, 상기 제 2 광선의 콘주게이트의 집합체는 상기 제 1 광선의 콘주게이트를 중심으로 회전함으로써 상기 픽셀의 콘주게이트 및 상기 광학 취득 시스템의 퓨필을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면을 생성하고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리는, 상기 제 1 광선 및 상기 제 2 광선의 콘주게이트들의 파라미터들을 컴퓨팅하는 단계를 포함한다.
본 발명의 일 실시형태에 따라서, 광선을 정의하는 파라미터들은 상기 광선이 통과하는 포인트의 좌표들 및 3개의 좌표축들을 포함하는 좌표계에서 상기 광선을 정의한 방향 벡터의 방향 코사인들의 세트를 포함한다.
본 발명의 일 실시형태에 따라서, 상기 제 1 광선을 정의하는 파라미터들은 상기 픽셀의 중심의 좌표들 (x p , y p , z p ) 및 방향 코사인들의 세트이고:
상기 좌표계의 원점은 상기 퓨필의 중심이다.
본 발명의 일 실시형태에 따라서, 상기 제 2 광선을 정의하는 파라미터들은 상기 센서 평면에 위치하고 상기 방향 코사인들의 세트 및 상기 픽셀의 중심에서 반경 a인 원에 속하는 제 1 포인트의 좌표들이고:
상기 좌표계의 원점은 상기 퓨필의 중심이다.
본 발명의 일 실시형태에 따라서, 상기 광학 취득 시스템의 물체 공간에서의 상기 제 1 광선 및 상기 제 2 광선의 콘주게이트들의 파라미터들을 컴퓨팅하는 것은 상기 이미지 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 정의하는 파라미터들 및 상기 광학의 설계 파라미터들에 기초하여 상기 물체 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 추적하는 것에 있다.
본 발명의 또 다른 목적은:
- 규칙적 격자 구조로 배열되는 마이크로 렌즈들의 어레이;
- 마이크로 렌즈들의 어레이로부터 광센서 상에 투사되는 광을 캡처하도록 구성되는 광센서로서, 상기 광센서는 픽셀들의 세트들을 포함하고 픽셀들의 각각의 세트는 마이크로 렌즈들의 어레이의 각각의 마이크로 렌즈와 광학적으로 연관되는, 상기 광센서; 및
- 본 발명에 따라서 상기 라이트 필드 이미징 디바이스를 교정하기 위한 디바이스를 포함하는 라이트 필드 이미징 디바이스이다.
본 발명의 또 다른 목적은 광학 취득 시스템의 교정 데이터를 포함하는 디지털 파일로서, 상기 교정 데이터는,
- 상기 광학 취득 시스템의 물체 공간에 있어서, 제 1 광선의 콘주게이트의 파라미터들로서, 상기 제 1 광선은 상기 광학 취득 시스템의 센서의 픽셀의 중심 및 상기 광학 취득의 퓨필의 중심을 통과하는, 상기 제 1 광선의 콘주게이트의 파라미터들,
- 상기 광학 취득 시스템의 물체 공간에 있어서, 제 2 광선의 콘주게이트의 파라미터들로서, 상기 제 2 광선은 상기 광학 취득 시스템의 센서 평면에 속하는 상기 제 2 광선의 제 1 포인트 및 퓨필 평면에 속하는 상기 제 2 광선의 제 2 포인트를 포함하는, 상기 제 2 광선의 콘주게이트의 파라미터들을 포함하고,
상기 제 2 광선의 콘주게이트의 집합체는 상기 제 1 광선의 콘주게이트를 중심으로 회전함으로써 상기 픽셀의 콘주게이트 및 상기 광학 취득 시스템의 퓨필을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면을 생성하고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불린다.
본 발명의 엘리먼트들에 의해 구현되는 일부 프로세스들은 컴퓨터로 구현될 수 있다. 따라서, 이러한 엘리먼트들은 완전한 하드웨어 실시형태, 완전한 소프트웨어 실시형태 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 모두가 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합한 실시형태의 형태를 취할 수 있다. 또한, 이러한 엘리먼트들은 매체에 구현되는 컴퓨터 사용가능 프로그램 코드를 갖는 표현의 임의의 유형의 매체로 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명의 엘리먼트들은 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적절한 캐리어 매체 상에서 프로그래밍가능 장치로의 제공을 위한 컴퓨터 판독가능 코드로서 구현될 수 있다. 유형의 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 솔리드 스테이트 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 일시적인 캐리어 매체는 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어, 마이크로파 또는 RF 신호와 같은 신호를 포함할 수 있다.
이제, 본 발명의 실시형태들이 단지 예시의 방식으로, 하기 도면들을 참조하여 설명될 것이다.
도 1a는 플렌옵틱 카메라를 개략적으로 나타낸 다이어그램이다.
도 1b는 멀티-어레이 카메라를 나타낸다.
도 2는 카메라 또는 광학 취득 시스템의 광학 시스템의 물체 공간에서의 광선들의 세트에 의해 점유된 볼륨을 나타낸다.
도 3은 일 시트의 쌍곡면을 나타낸다.
도 4는 일 시트의 쌍곡면의 다른 뷰를 나타낸다.
도 5는 본 개시의 일 실시형태에 따른 광학 취득 시스템을 교정하기 위한 장치의 일례를 나타낸 개략적인 블록도이다.
도 6은 본 발명의 일 실시형태에 따른 광학 취득 시스템을 교정하기 위한 프로세스를 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시형태에 따른 픽셀 빔을 정의하는 주 광선 및 생성 광선을 나타낸다.
도 8은 본 발명의 일 실시형태에 따른 픽셀 빔을 정의하는 생성 광선을 나타낸다.
도 9는 가우시안 빔의 기하학적 형상을 나타낸다.
도 1a는 플렌옵틱 카메라를 개략적으로 나타낸 다이어그램이다.
도 1b는 멀티-어레이 카메라를 나타낸다.
도 2는 카메라 또는 광학 취득 시스템의 광학 시스템의 물체 공간에서의 광선들의 세트에 의해 점유된 볼륨을 나타낸다.
도 3은 일 시트의 쌍곡면을 나타낸다.
도 4는 일 시트의 쌍곡면의 다른 뷰를 나타낸다.
도 5는 본 개시의 일 실시형태에 따른 광학 취득 시스템을 교정하기 위한 장치의 일례를 나타낸 개략적인 블록도이다.
도 6은 본 발명의 일 실시형태에 따른 광학 취득 시스템을 교정하기 위한 프로세스를 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시형태에 따른 픽셀 빔을 정의하는 주 광선 및 생성 광선을 나타낸다.
도 8은 본 발명의 일 실시형태에 따른 픽셀 빔을 정의하는 생성 광선을 나타낸다.
도 9는 가우시안 빔의 기하학적 형상을 나타낸다.
본 기술분야의 통상의 기술자에 의해 인식될 바와 같이, 본 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능 매체로서 구현될 수 있다. 따라서, 본 원리들의 양태들은 완전한 하드웨어 실시형태, 완전한 소프트웨어 실시형태 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 모두가 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합한 실시형태의 형태를 취할 수 있다. 또한, 본 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 활용될 수 있다.
플렌옵틱이거나 그렇지 않을 수 있는 임의의 광학 취득 시스템에 대해, 원시 이미지 또는 광학 취득 시스템에 의해 캡처된 4D 라이트-필드 데이터를 표현하는 에피폴라 (epipolar) 이미지에 추가로, 상기 광학 취득 시스템의 센서의 픽셀과 상기 광학 취득 시스템의 물체 공간 사이의 대응과 관련된 정보를 취득하는 것은 흥미롭다. 광학 취득 시스템의 센서에 속하는 픽셀이 상기 광학 취득 시스템의 물체 공간 중 어느 부분을 감지하고 있는지를 아는 것은, 디-멀티플렉싱, 디-모자이킹, 리포커싱 등과 같은 신호 프로세싱 동작, 및 상이한 특성을 갖는 상이한 광학 시스템에 의해 캡처된 이미지의 믹싱의 개선을 가능하게 한다. 또한, 광학 취득 시스템의 센서의 픽셀과 상기 광학 취득 시스템의 물체 공간 사이의 대응에 관한 정보는 광학 취득 시스템과는 독립적이다.
본 개시는 도 2에 도시된 픽셀 빔 (10) 의 개념을 도입하는데, 이는 카메라 또는 광학 취득 시스템 (도 2에는 도시되지 않음) 의 광학 시스템 (11) 의 물체 공간에서의 광선들의 세트에 의해 점유되는 볼륨을 나타낸다. 광선들의 세트는 상기 광학 시스템 (21) 의 퓨필 (24) 을 통해 카메라의 센서 (23) 의 픽셀 (22) 에 의해 감지된다. 광학 시스템 (21) 은 사진 또는 비디오 카메라에 적합한 렌즈의 조합일 수 있다. 광학 시스템의 입사 퓨필은 상기 광학 시스템의 정의된 렌즈를 통해 보이는 애퍼처 스톱의 이미지로서 정의되고, 즉, 광학 취득 시스템의 렌즈는 상기 애퍼처 스톱에 선행한다. 애퍼처 스톱은 광학 취득 시스템의 광학 시스템을 통과하는 광의 양을 제한하는 개구이다.
예를 들어, 카메라 렌즈의 정면 가까이에 위치된 조절가능한 다이아프램 (diaphragm) 이 렌즈에 대한 애퍼처 스톱이다. 다이아프램을 통해 허용된 광의 양은 카메라의 사용자가 허용하기를 원하는 광의 양에 따라 적응될 수 있는 다이아프램의 개구의 직경에 의해 제어된다. 예를 들어, 애퍼처를 더 작게 만드는 것은 다이아프램을 통해 허용되는 광의 양을 감소시키지만, 초점 깊이를 증가시킨다. 스톱의 유효 크기는 렌즈의 굴절 작용으로 인해 이의 물리적 크기보다 크거나 작을 수 있다. 공식적으로, 퓨필은 광학 취득 시스템의 광학 시스템의 선행하는 렌즈를 통과한 애퍼처 스톱의 이미지이다.
픽셀 빔 (10) 은 입사 퓨필 (24) 을 통해 광학 시스템 (21) 에 걸쳐 전파되는 경우 주어진 픽셀 (22) 에 도달하는 광선 다발 (Pencil of rays of light) 로 정의된다. 광이 자유 공간에서 직선 상에서 이동하기 때문에, 이러한 픽셀 빔 (20) 의 형상은 2개의 섹션으로 정의될 수 있어서, 하나는 픽셀 (22) 의 콘주게이트 (25) 이고, 다른 하나는 입사 퓨필 (24) 이다. 픽셀 (22) 은 이의 넌-널 (non-null) 표면 및 이의 감도 맵에 의해 정의된다.
따라서, 픽셀 빔 (30) 은 도 3에 도시된 바와 같이, 물체 공간에서 픽셀 (22) 의 퓨필 (34) 및 콘주게이트 (35) 의 2개의 엘리먼트에 의해 지지되는 일 시트의 쌍곡면으로 표현될 수 있다.
일 시트의 쌍곡면은 광선 다발의 개념을 지원할 수 있는 규정된 표면이고, 물리적 광 빔의 "에텐듀 (etendue)" 라는 개념과 양립가능하며, 즉 물리적 광 빔의 섹션에 걸친 에너지의 보존과 양립가능하다.
일 시트의 쌍곡면은 가우시안 빔의 기하학에 해당한다. 실제로, 광학에서, 가우시안 빔운 횡 자기장 및 전기장 진폭 프로파일이 가우시안 함수에 의해 주어지는 단색 전자기 방사선 빔이고; 이는 또한 가우시안 강도 프로파일을 의미한다. 이 기본 트랜스버스 가우스 모드 (transverse Gaussian mode) 는 대부분의 레이저의 의도한 출력을 나타내며, 이러한 광의 빔은 가장 집중된 스폿으로 집중될 수 있기 때문이다.
아래 방정식은 z의 모든 값에서 원형 단면을 갖는 빔을 가정하며; 이것은 단일 트랜스버스 치수, r 이 표현하는 것을 알면 알 수 있다.
(포커스로부터 측정 된) 빔을 따른 위치 z 에서, 스폿 크기 파라미터 w 는 다음과 같이 주어진다.
여기서 w0 는 웨이스트 크기이다.
도 9에 나타낸 바와 같이, 웨이스트로부터의 거리는 zR 이고, 빔 w의 폭은 
이다.
가우스 함수의 테일이 실제로 0에 도달하지는 않는다. 이것은 웨이스트에서 멀어지면서 빔 "에지"가 원뿔 형상이 된다는 것을 의미한다. 그 원뿔을 따르는 라인들 사이의 각도 (r = w(z)) 및 빔의 중심 축 (r=0) 은 빔의 발산이라고 불린다.
웨이스트로부터 멀리 있는 빔의 총 각도 확산은 
로 주어진다.
도 4에 표현된 바와 같이, 일 시트의 쌍곡면 (40) 은 물체 공간에서 픽셀 (22) 에 대응하는 웨이스트 (45) 로 지칭되는 이의 가장 작은 섹션의 기본적 영역을 제외하고는 이의 점근 원뿔 (41, 42) 과 대부분 동일하다. 라이트-필드 카메라와 같은 플렌옵틱 시스템의 경우, 이는 다중 경로 광선에 의한 공간 샘플링이 수행되는 영역이다. 픽셀 (22) 감도가 표면 상의 수십 평방 마이크론 상에서 중요하고, 원뿔 팁일 수 있는 무한히 작은 표면을 갖는 수학적 포인트에 의해서는 표현될 수 없기 때문에, 이러한 영역에서 원뿔을 갖는 샘플링 공간은 적절하지 않다.
도 5는 본 개시의 일 실시형태에 따른 광학 취득 시스템을 교정하기 위한 장치의 일례를 나타낸 개략적인 블록도이다.
장치 (500) 는 버스 (506) 에 의해 접속되는 프로세서 (501), 저장 유닛 (502), 입력 디바이스 (503), 디스플레이 디바이스 (504) 및 인터페이스 유닛 (505) 을 포함한다. 물론, 컴퓨터 장치 (500) 의 구성 엘리먼트는 버스 접속 이외의 접속에 의해 접속될 수 있다.
프로세서 (501) 는 장치 (500) 의 동작을 제어한다. 저장 유닛 (502) 은, 픽셀 빔이 프로세서 (501) 에 의해 실행될 광학 취득 시스템을 교정할 수 있는 적어도 하나의 프로그램, 및 광학 취득 시스템의 픽셀 빔 (10, 20, 30, 40) 을 정의하는 광선과 관련된 파라미터와 광학 취득 시스템의 광학 시스템 (21) 과 관련된 파라미터, 프로세서 (501) 에 의해 수행되는 계산에 의해 사용되는 파라미터, 프로세서 (501) 에 의해 수행되는 계산의 중간 데이터 등을 포함하는 다양한 데이터를 저장한다. 프로세서 (501) 는 임의의 공지되고 적합한 하드웨어, 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 형성될 수 있다. 예를 들어, 프로세서 (501) 는 프로세싱 회로와 같은 전용 하드웨어에 의해 또는 메모리에 저장된 프로그램을 실행하는 CPU (Central Processing Unit) 와 같은 프로그래밍가능 프로세싱 유닛에 의해 형성될 수 있다.
저장 유닛 (502) 은 프로그램, 데이터 등을 컴퓨터 판독가능 방식으로 저장할 수 있는 임의의 적절한 스토리지 또는 수단에 의해 형성될 수 있다. 저장 유닛 (502) 의 예는 반도체 메모리 디바이스와 같은 비일시적 컴퓨터 판독가능 저장 매체, 및 판독 및 기록 유닛에 로딩된 자기, 광학 또는 광-자기 기록 매체를 포함한다. 프로그램은 프로세서 (501) 로 하여금, 도 6을 참조하여 후술되는 바와 같은 본 개시의 실시형태에 따라 광학 취득 시스템을 교정하는 프로세스를 수행하게 한다.
입력 디바이스 (503) 는, 광학 시스템의 물체 공간에서 광선들의 세트에 의해 점유되는 볼륨의 파라메트릭 표현을 생성하기 위해 사용되는 파라미터의 사용자 선택을 행하기 위해, 입력 커맨드에 대해 사용자에 의해 사용하기 위한 키보드, 마우스와 같은 포인팅 디바이스 등에 의해 형성될 수 있다. 출력 디바이스 (504) 는, 예를 들어, 본 개시의 일 실시형태에 따른 광학 취득 시스템의 교정 동안 프로세서 (501) 에 의해 컴퓨팅된 다른 픽셀 빔의 파라미터들을 포함하는 파일, 또는 그래픽 사용자 인터페이스 (GUI) 를 표시하기 위해 디스플레이 디바이스에 의해 형성될 수 있다. 입력 디바이스 (503) 및 출력 디바이스 (504) 는 예를 들어 터치스크린 패널에 의해 일체형으로 형성될 수 있다.
인터페이스 유닛 (505) 은 장치 (500) 와 외부 장치 사이의 인터페이스를 제공한다. 인터페이스 유닛 (505) 은 케이블 또는 무선 통신을 통해 외부 장치와 통신가능할 수 있다. 일 실시형태에서, 외부 장치는 광학 취득 시스템일 수 있다.
도 6은 본 발명의 일 실시형태에 따른 광학 취득 시스템을 교정하기 위한 프로세스를 설명하기 위한 흐름도이다.
이러한 교정 방법은 광학 취득 시스템의 센서 (23) 의 픽셀과 관련된 상이한 픽셀 빔을 정의하는 파라미터를 얻는 것을 가능하게 한다.
픽셀 빔 (10, 20, 30, 40) 은 일 시트의 쌍곡면으로 표현된다. 일 시트의 쌍곡면의 일반적인 방정식에서 세 좌표축 x, y, z를 포함하는 좌표계의 축 z 는 다음과 같다:
식중 z p 는 z 축에서의 픽셀 빔의 웨이스트 (35) 의 위치이고, a, a 및 c는 각각 x, y, z 축을 따른 쌍곡면의 세미-축이 길이이고 각각 Ox, Oy, Oz 를 따른 세미-축의 길이와 유사하며, 여기서 a는 Ox 를 따른 웨이스트의 반경을 나타내고, b는 Oy 를 따른 웨이스트의 반경을 나타내고, c는 픽셀 빔의 각도 애퍼처를 나타낸다. 본 발명의 일부 실시형태에서, a 및 b는 이 경우 동일한 값을 가지며, 웨이스트는 원형 형상을 갖는다. 좌표계의 원점은 그 좌표가 (0, 0, 0) 인 퓨필의 중심이다.
도 7에 나타낸 바와 같이, 광학 취득 시스템의 이미지 공간에서, 즉 광학 취득 시스템의 센서 (23) 와 광학 시스템 (21) 사이에 위치한 공간 부분에서, 픽셀 빔은 2개의 선들, 주 광선 (70) 및 생성 광선 (71) 으로 나타내진다. 주 광선 (70) 은 좌표계 (x, y, z) 의 좌표가 (x p , y p , z p ) 인 픽셀 (72) 의 중심 및 좌표가 (0, 0, 0) 인 퓨필 (73) 의 중심을 통과하는 직선이다.
규제된 표면으로서, 쌍곡면은 광선 (71) 을 생성함으로써 생성될 수 있다. 생성 광선은 쌍곡면의 표면을 묘사하는 직선이다. 생성 광선 (71) 은 쌍곡면의 표면에 속하는 2개의 포인트를 통과하는 직선이고, 제 1 포인트는 광학 취득 시스템의 센서 (23) 의 평면 및 쌍곡면의 표면에 속하고, 제 2 포인트는 퓨필 (73) 의 평면 및 쌍곡면의 표면에 속한다. 쌍곡면의 주 광선과 표면을 묘사하는 생성 광선은 서로 평행하지 않으며 서로 가로막지 않는다.
직선은 6개의 파라미터에 의해 정의될 수 있다: 직선이 통과하는 포인트의 3개 좌표들 (x, y, z) 및 좌표계에서의 상기 직선을 정의하는 방향 벡터의 3개의 방향 코사인 (l, m, n).
단계 601에서, 프로세서 (501) 는 광학 취득 시스템의 이미지 공간에서의 주 광선 (70) 을 정의하는 파라미터들을 컴퓨팅한다.
주 광선이 방향 (θ x , θ y ) 으로 배향되는 쌍곡면은 다음 식에 의해 정의된다:
여기서 
및 
이다.
이 경우, 주 광선 (7) 은 다음과 같이 정의된다:
식중 (x p , y p , z p ) 는 좌표계에서의 픽셀 (22) 의 중심의 좌표이다.
주 광선을 정의하는 방향 벡터의 방향 코사인은 이로써:
좌표계의 원점은 퓨필의 중심이다.
따라서 단계 602에서, 프로세서 (501) 는 식 (4)에 기초하여 픽셀 (22) 과 연관된 픽셀 빔의 주 광선을 정의하는 방향 코사인의 값 및 픽셀 (22) 의 중심의 좌표의 값들, 및 픽셀 빔을 정의하는 퓨필과 픽셀 (22) 사이의 거리와 같은 광학 취득 시스템의 광학 시스템 (21) 의 파라미터들을 컴퓨팅한다.
단계 602 동안 컴퓨팅된 픽셀 빔의 주 광선을 정의하는 파라미터들은 장치 (500) 의 저장 유닛 (502) 에 저장된다.
단계 603에서, 프로세서 (501) 는 주 광선 (70) 의 쉐어의 보정을 컴퓨팅한다. 주 광선의 언쉐어링은 기록에 있다: (5) :
단계 604에서, 프로세서는 광학 취득 시스템의 이미지 공간에서의 생성 광선 (71) 을 정의하는 파라미터들을 컴퓨팅한다.
하기 식을 고려한다:
식 중 r 은 퓨필의 반경이다.
도 8을 참조하여, 평면 yOz 에 평행한 직선 g를 고려한다. 직선 g는 좌표계에서의 좌표가 (a, 0, z p ) 인 포인트 G 를 통과한다.
따라서 직선 g는 2개의 포인트에 의해 정의된다 : 좌표가 (a, 0, z p ) 인 포인트 G 및 좌표가 (a, 
, 0) 인 포인트 I.
직선 g를 정의하는 벡터 
의 좌표는 다음과 같다.
따라서 벡터 
의 방향 코사인은 다음과 같다.
픽셀 평면이 
만큼 쉬프트되는 경우, 직선 g는 좌표가 
인 포인트 G 및 좌표가 (a, 
, 0) 인 포인트 I를 통과한다.
직선 g를 정의하는 벡터 
의 좌표는 다음과 같다.
따라서 벡터 
의 방향 코사인은 다음과 같다.
생성 광선 (71) 은 포인트 G 의 좌표 
및 방향 코사인에 의해 정의된다:
따라서 단계 (605) 에서, 프로세서 (501) 는 식 (6)에 기초하여 픽셀 (22) 과 연관된 픽셀 빔의 생성 광선 (71) 을 정의하는 방향 코사인의 값 및 포인트 G의 좌표의 값들, 및 픽셀 빔을 정의하는 퓨필과 픽셀 (22) 사이의 거리와 같은 광학 취득 시스템의 광학 시스템 (21) 의 파라미터들을 컴퓨팅한다.
단계 605 동안 컴퓨팅된 픽셀 빔의 생성 광선을 정의하는 파라미터들은 장치 (500) 의 저장 유닛 (502) 에 저장된다.
단계 606 동안, 이미지 공간에서의 주 광선 (70) 및 생성 광선 (71) 을 나타내는 파라미터들을 알면, 프로세서 (501) 는 물체 공간에서 상기 파라미터들의 값들을 컴퓨팅하고 이로써 픽셀 빔의 파라미터들을 획득한다.
이러한 계산은 예를 들어 광학 시스템 (11) 을 통한 광선의 전파를 모델링할 수 있는 프로그램을 실행하는 장치 (500) 의 프로세서 (501) 에 의해 실현된다. 이러한 프로그램은 예를 들어 Zemax ⓒ, ASAP ⓒ 또는 Code V ⓒ와 같은 광학 설계 프로그램이다. 광학 설계 프로그램은 광학 시스템 (11) 을 설계하고 분석하기 위해 사용된다. 광학 설계 프로그램들은 광학 시스템 (11) 을 통한 광선들의 전파를 모델링하고; 그리고 단순 렌즈, 비구면 렌즈, 굴절률 분포형 렌즈 (gradient index lense), 거울, 및 회절성 광학 엘리먼트들 등과 같은 광학 엘리먼트들의 효과를 모델링할 수 있다. 상업용 렌즈의 라이브러리는 장치의 저장 유닛 (502) 에 저장되고 광학 설계 프로그램을 실행할 때 프로세서 (501) 에 접근가능하다.
본 발명은 특정 실시형태를 참조하여 위에서 설명되었지만, 본 발명은 특정 실시형태로 제한되지 않으며, 본 발명의 범위 내에 있는 수정은 본 기술분야의 통상의 기술자에게 자명할 것이다.
단지 예로서 주어지며 본 발명의 범위를 제한하도록 의도되지 않고 첨부된 청구항에 의해서만 결정되는 전술된 예시적인 실시형태를 참조할 때 본 기술분야의 통상의 기술자에게 많은 추가적인 수정 및 변경이 착안될 것이다. 특히, 상이한 실시형태로부터의 상이한 특징부는 적절한 경우에 상호교환될 수 있다.
Claims (17)
- 광학 취득 시스템을 교정하기 위한 장치로서,
상기 장치는 프로세서를 포함하고,
상기 프로세서는
- 광학 취득 시스템의 이미지 공간에서
상기 광학 취득 시스템의 센서의 픽셀의 중심 및 상기 광학 취득의 퓨필의 중심을 통과하는 제 1 광선, 및
상기 광학 취득 시스템의 퓨필 및 상기 광학 취득 시스템의 센서의 픽셀을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면에 속하는 2개의 포인트들을 통과하는 제 2 광선으로서, 상기 제 2 광선의 제 1 포인트는 상기 광학 취득 시스템의 센서 평면에 속하고 상기 제 2 광선의 제 2 포인트는 퓨필 평면에 속하는, 상기 제 2 광선
을 정의하는 파라미터들을 컴퓨팅하고,
- 상기 광학 취득 시스템의 물체 공간에서 상기 제 1 광선의 콘주게이트 및 상기 제 2 광선의 콘주게이트의 파라미터들을 컴퓨팅하는 것으로서, 상기 제 2 광선의 콘주게이트는 상기 제 1 광선의 콘주게이트를 중심으로 회전함으로써 상기 픽셀의 콘주게이트 및 상기 광학 취득 시스템의 퓨필을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면을 생성하고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리는, 상기 제 1 광선의 콘주게이트 및 상기 제 2 광선의 콘주게이트의 파라미터들을 컴퓨팅하도록 구성되는, 광학 취득 시스템을 교정하기 위한 장치. - 제 1 항에 있어서,
광선을 정의하는 파라미터들은 상기 광선이 통과하는 포인트의 좌표들 및 3개의 좌표축들을 포함하는 좌표계에서 상기 광선을 정의한 방향 벡터의 방향 코사인들의 세트를 포함하는, 광학 취득 시스템을 교정하기 위한 장치. - 제 2 항에 있어서,
상기 제 1 광선을 정의하는 파라미터들은 상기 픽셀의 중심의 좌표들 (x p , y p , z p ) 및 방향 코사인들의 세트이고:
상기 좌표계의 원점은 상기 퓨필의 중심인, 광학 취득 시스템을 교정하기 위한 장치. - 제 2 항에 있어서,
상기 제 2 광선을 정의하는 파라미터들은 상기 센서 평면에 위치하고 상기 방향 코사인들의 세트 및 상기 픽셀의 중심에서 반경 a인 원에 속하는 제 1 포인트의 좌표들이고:
상기 좌표계의 원점은 상기 퓨필의 중심인, 광학 취득 시스템을 교정하기 위한 장치. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 프로세서는 상기 광학 취득 시스템의 물체 공간에서의 상기 제 1 광선의 콘주게이트 및 상기 제 2 광선의 콘주게이트의 파라미터들을 컴퓨팅하도록 구성되며, 이는 상기 이미지 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 정의하는 파라미터들 및 상기 광학의 설계 파라미터들에 기초하여 상기 물체 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 추적하는 것으로 이루어지는, 광학 취득 시스템을 교정하기 위한 장치. - 광학 취득 시스템을 교정하기 위한 방법으로서,
- 광학 취득 시스템의 이미지 공간에서
상기 광학 취득 시스템의 센서의 픽셀의 중심 및 상기 광학 취득의 퓨필의 중심을 통과하는 제 1 광선, 및
상기 광학 취득 시스템의 퓨필 및 상기 광학 취득 시스템의 센서의 픽셀을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면에 속하는 2개의 포인트들을 통과하는 제 2 광선으로서, 상기 제 2 광선의 제 1 포인트는 상기 광학 취득 시스템의 센서 평면에 속하고 상기 제 2 광선의 제 2 포인트는 퓨필 평면에 속하는, 상기 제 2 광선
을 정의하는 파라미터들을 컴퓨팅하는 단계,
- 상기 광학 취득 시스템의 물체 공간에서 상기 제 1 광선의 콘주게이트 및 상기 제 2 광선의 콘주게이트의 파라미터들을 컴퓨팅하는 단계로서, 상기 제 2 광선의 콘주게이트는 상기 제 1 광선의 콘주게이트를 중심으로 회전함으로써 상기 픽셀의 콘주게이트 및 상기 광학 취득 시스템의 퓨필을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면을 생성하고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리는, 상기 제 1 광선의 콘주게이트 및 상기 제 2 광선의 콘주게이트의 파라미터들을 컴퓨팅하는 단계를 포함하는, 광학 취득 시스템을 교정하기 위한 방법. - 제 6 항에 있어서,
광선을 정의하는 파라미터들은 상기 광선이 통과하는 포인트의 좌표들 및 3개의 좌표축들을 포함하는 좌표계에서 상기 광선을 정의한 방향 벡터의 방향 코사인들의 세트를 포함하는, 광학 취득 시스템을 교정하기 위한 방법. - 제 6 항에 있어서,
상기 제 1 광선을 정의하는 파라미터들은 상기 픽셀의 중심의 좌표들 (x p , y p , z p ) 및 방향 코사인들의 세트이고:
좌표계의 원점은 상기 퓨필의 중심인, 광학 취득 시스템을 교정하기 위한 방법. - 제 6 항에 있어서,
상기 제 2 광선을 정의하는 파라미터들은 상기 센서 평면에 위치하고 방향 코사인들의 세트 및 상기 픽셀의 중심에서 반경 a인 원에 속하는 제 1 포인트의 좌표들이고:
좌표계의 원점은 상기 퓨필의 중심인, 광학 취득 시스템을 교정하기 위한 방법. - 제 6 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 광학 취득 시스템의 물체 공간에서의 상기 제 1 광선의 콘주게이트 및 상기 제 2 광선의 콘주게이트의 파라미터들을 컴퓨팅하는 단계는 상기 이미지 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 정의하는 파라미터들 및 광학 시스템의 설계 파라미터들에 기초하여 상기 물체 공간에서의 상기 제 1 광선 및 상기 제 2 광선을 추적하는 것으로 이루어지는, 광학 취득 시스템을 교정하기 위한 방법. - 라이트 필드 이미징 디바이스로서,
- 규칙적 격자 구조로 배열되는 마이크로 렌즈들의 어레이;
- 상기 마이크로 렌즈들의 어레이로부터 광센서 상에 투사되는 광을 캡처하도록 구성되는 광센서로서, 상기 광센서는 픽셀들의 세트들을 포함하고 픽셀들의 각각의 세트는 마이크로 렌즈들의 어레이의 각각의 마이크로 렌즈와 광학적으로 연관되는, 상기 광센서; 및
- 제 1 항에 따른 상기 라이트 필드 이미징 디바이스를 교정하기 위한 디바이스를 포함하는, 라이트 필드 이미징 디바이스. - 제 6 항 내지 제 10 항 중 어느 한 항에 기재된 방법에 따라 교정된 광학 취득 디바이스에 의해 획득된 라이트 필드 데이터로부터 이미지를 렌더링하기 위한 디바이스.
- 광학 취득 시스템의 교정 데이터를 포함하는 디지털 파일로서,
상기 교정 데이터는,
- 상기 광학 취득 시스템의 물체 공간에 있어서, 제 1 광선의 콘주게이트의 파라미터들로서, 상기 제 1 광선은 상기 광학 취득 시스템의 센서의 픽셀의 중심 및 상기 광학 취득의 퓨필의 중심을 통과하는, 상기 제 1 광선의 콘주게이트의 파라미터들,
- 상기 광학 취득 시스템의 물체 공간에 있어서, 제 2 광선의 콘주게이트의 파라미터들로서, 상기 제 2 광선은 상기 광학 취득 시스템의 센서 평면에 속하는 상기 제 2 광선의 제 1 포인트 및 퓨필 평면에 속하는 상기 제 2 광선의 제 2 포인트를 포함하는, 상기 제 2 광선의 콘주게이트의 파라미터들을 포함하고,
상기 제 2 광선의 콘주게이트는 상기 제 1 광선의 콘주게이트를 중심으로 회전함으로써 상기 픽셀의 콘주게이트 및 상기 광학 취득 시스템의 퓨필을 통과하는 광선들의 세트에 의해 점유된 볼륨의 표면을 생성하고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리는, 광학 취득 시스템의 교정 데이터를 포함하는 디지털 파일. - 제 13 항에 있어서,
제 6 항 내지 제 10 항 중 어느 한 항에 기재된 방법에 의해 획득된, 광학 취득 시스템의 교정 데이터를 포함하는 디지털 파일. - 프로그램이 프로세서에 의해 실행될 때 제 6 항 내지 제 10 항 중 어느 한 항에 기재된 광학 취득 시스템을 교정하기 위한 방법의 구현을 위한 프로그램 코드 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
- 명령들이 저장된 프로세서 판독가능 매체로서,
상기 명령들은 프로세서로 하여금 제 6 항 내지 제 10 항 중 어느 한 항에 기재된 광학 취득 시스템을 교정하기 위한 방법을 수행하게 하는, 명령들이 저장된 프로세서 판독가능 매체. - 제 6 항 내지 제 10 항 중 어느 한 항에 기재된 광학 취득 시스템을 교정하기 위한 방법을 실행하기 위한 프로그램 코드의 명령들을 운반하는 비일시적 저장 매체로서,
상기 프로그램은 컴퓨팅 디바이스 상에 실행되는, 비일시적 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306447.2A EP3144890A1 (en) | 2015-09-17 | 2015-09-17 | An apparatus and a method for calibrating an optical acquisition system |
| EP15306447.2 | 2015-09-17 | ||
| PCT/EP2016/072072 WO2017046397A1 (en) | 2015-09-17 | 2016-09-16 | An apparatus and a method for calibrating an optical acquisition system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180054622A true KR20180054622A (ko) | 2018-05-24 |
Family
ID=54293193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187007687A KR20180054622A (ko) | 2015-09-17 | 2016-09-16 | 광학 취득 시스템을 교정하기 위한 장치 및 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10613338B2 (ko) |
| EP (2) | EP3144890A1 (ko) |
| JP (1) | JP6902529B2 (ko) |
| KR (1) | KR20180054622A (ko) |
| CN (1) | CN108780574A (ko) |
| BR (1) | BR112018005413A2 (ko) |
| CA (1) | CA2998676A1 (ko) |
| MX (1) | MX2018003268A (ko) |
| RU (1) | RU2018113710A (ko) |
| WO (1) | WO2017046397A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
| EP3279864B1 (en) | 2016-08-05 | 2019-03-06 | Thomson Licensing | A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device |
| WO2018173551A1 (ja) * | 2017-03-21 | 2018-09-27 | オリンパス株式会社 | 較正装置、較正方法、光学装置、撮影装置および投影装置 |
| KR102632960B1 (ko) * | 2018-02-19 | 2024-02-02 | 인티그럴 스코프스 피티와이 엘티디 | 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템 |
| US10873693B2 (en) * | 2018-12-03 | 2020-12-22 | Samsung Electronics Co.. Ltd. | Calibration method and apparatus |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4248536B2 (ja) * | 2005-07-29 | 2009-04-02 | 京立電機株式会社 | 一眼レフデジタルカメラにおけるピクセル面とマット面の取付位置の測定方法とそのための装置 |
| US7528932B2 (en) * | 2005-12-21 | 2009-05-05 | Micronic Laser Systems Ab | SLM direct writer |
| US8243157B2 (en) | 2006-02-07 | 2012-08-14 | The Board Of Trustees Of The Leland Stanford Junior University | Correction of optical aberrations |
| US8358354B2 (en) | 2009-01-26 | 2013-01-22 | The Board Of Trustees Of The Leland Stanford Junior University | Correction of optical abberations |
| US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
| DE102008044522A1 (de) * | 2008-09-12 | 2010-03-18 | Degudent Gmbh | Verfahren und Vorrichtung zur Erfassung von Konturdaten und/oder optischen Eigenschaften eines dreidimensionalen semitransparenten Objekts |
| CN102494771A (zh) * | 2011-12-14 | 2012-06-13 | 中国科学院光电研究院 | 一种衍射光学成像***及包含该衍射光学成像***的成像光谱仪 |
| JP5854984B2 (ja) * | 2012-02-20 | 2016-02-09 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
| JP5988643B2 (ja) | 2012-03-26 | 2016-09-07 | キヤノン株式会社 | 計測装置、計測方法及び光学部品の製造方法 |
| JP2014010783A (ja) * | 2012-07-02 | 2014-01-20 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
| JP5942757B2 (ja) * | 2012-09-28 | 2016-06-29 | 株式会社ニコン | 焦点検出装置および撮像装置 |
| US9658443B2 (en) * | 2013-03-15 | 2017-05-23 | The Board Of Trustees Of The Leland Stanford Junior University | Optics apparatus with detection of light rays received at different angles for output indicative of aliased views |
| US20150146032A1 (en) | 2013-11-22 | 2015-05-28 | Vidinoti Sa | Light field processing method |
| CN104121990B (zh) | 2014-07-22 | 2016-05-11 | 中国科学院上海光学精密机械研究所 | 基于随机光栅的压缩感知宽波段高光谱成像*** |
| CN107003109B (zh) * | 2014-11-13 | 2019-11-05 | 奥林巴斯株式会社 | 校准装置、校准方法、光学装置、摄影装置、投影装置、测量***以及测量方法 |
| CN104849852B (zh) * | 2015-05-07 | 2017-03-08 | 清华大学 | 基于相机阵列的光场显微成像***及方法 |
-
2015
- 2015-09-17 EP EP15306447.2A patent/EP3144890A1/en not_active Withdrawn
-
2016
- 2016-09-16 JP JP2018514263A patent/JP6902529B2/ja active Active
- 2016-09-16 CN CN201680064895.2A patent/CN108780574A/zh active Pending
- 2016-09-16 RU RU2018113710A patent/RU2018113710A/ru not_active Application Discontinuation
- 2016-09-16 BR BR112018005413A patent/BR112018005413A2/pt not_active Application Discontinuation
- 2016-09-16 KR KR1020187007687A patent/KR20180054622A/ko unknown
- 2016-09-16 MX MX2018003268A patent/MX2018003268A/es unknown
- 2016-09-16 WO PCT/EP2016/072072 patent/WO2017046397A1/en active Application Filing
- 2016-09-16 EP EP16769968.5A patent/EP3350772B1/en active Active
- 2016-09-16 US US15/759,222 patent/US10613338B2/en not_active Expired - Fee Related
- 2016-09-16 CA CA2998676A patent/CA2998676A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017046397A1 (en) | 2017-03-23 |
| US10613338B2 (en) | 2020-04-07 |
| EP3350772B1 (en) | 2020-04-08 |
| CA2998676A1 (en) | 2017-03-23 |
| RU2018113710A3 (ko) | 2019-10-29 |
| CN108780574A (zh) | 2018-11-09 |
| RU2018113710A (ru) | 2019-10-17 |
| JP6902529B2 (ja) | 2021-07-14 |
| US20180252928A1 (en) | 2018-09-06 |
| JP2018531448A (ja) | 2018-10-25 |
| MX2018003268A (es) | 2018-11-09 |
| BR112018005413A2 (pt) | 2018-10-09 |
| EP3350772A1 (en) | 2018-07-25 |
| EP3144890A1 (en) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180054622A (ko) | 광학 취득 시스템을 교정하기 위한 장치 및 방법 | |
| JP2018538709A (ja) | ピクセルビームを表すデータを生成する方法及び装置 | |
| JP2018531448A6 (ja) | 光学的捕捉システムを校正する装置及び方法 | |
| US10872442B2 (en) | Apparatus and a method for encoding an image captured by an optical acquisition system | |
| KR102562696B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
| KR20190026014A (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
| US11092820B2 (en) | Apparatus and a method for generating data representative of a pixel beam | |
| EP3145195A1 (en) | An apparatus and a method for encoding an image captured by an optical acquisition system |