KR102585129B1 - 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 - Google Patents
픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR102585129B1 KR102585129B1 KR1020187010679A KR20187010679A KR102585129B1 KR 102585129 B1 KR102585129 B1 KR 102585129B1 KR 1020187010679 A KR1020187010679 A KR 1020187010679A KR 20187010679 A KR20187010679 A KR 20187010679A KR 102585129 B1 KR102585129 B1 KR 102585129B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- light
- pixel
- representing
- ray
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims description 54
- 210000001747 pupil Anatomy 0.000 claims description 20
- 229910052704 radon Inorganic materials 0.000 claims description 11
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 12
- 238000003491 array Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000014509 gene expression Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011980 disaster recovery test Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
시장에서 입수가능한 몇몇 타입들의 플렌옵틱 디바이스들 및 카메라 어레이들이 존재하며, 모든 이러한 라이트 필드 취득 디바이스들은 이들의 독점적 파일 포맷을 가진다. 그러나, 다-차원 정보의 취득 및 전송을 지원하는 표준이 없다. 상기 광 취득 시스템의 센서의 픽셀들과 상기 광 취득 시스템의 오브젝트 공간 사이의 대응성에 관련된 정보를 획득하는 것이 흥미롭다. 실제로, 광 취득 시스템의 오브젝트 공간의 어느 부분을 상기 광 취득 시스템의 센서에 속하는 픽셀이 감지하는지를 아는 것은, 신호 처리 동작들의 개선을 가능하게 한다. 따라서, 이러한 정보를 저장하기 위한 간소한 포맷과 함께 카메라의 광학 시스템의 오브젝트 공간 내에서 광선들의 세트에 의해 점유되는 볼륨을 나타내는 픽셀 빔의 개념이 도입된다.
Description
본 발명은 라이트 필드를 나타내는 데이터의 생성에 관한 것이다.
4D 라이트 필드 데이터의 샘플링, 즉, 광선들의 레코딩으로서 볼 수 있는 4-차원 또는 4D 라이트-필드 데이터의 취득은, ECCV 2008의 컨퍼런스 회의록에서 공표된 Anat Levin 등에 의한 논문 " Understanding camera trade-offs through a Bayesian analysis of light field projections "에서 설명되며, 열띤 연구 주제이다.
카메라로부터 획득된 고전적인 2차원 또는 2D 이미지들과 비교하여, 4D 라이트-필드 데이터는 사용자가 이미지들의 렌더링 및 사용자와의 상호작용성(interactivity)을 향상시키는 더 많은 후처리 특징들에 액세스할 수 있게 한다. 예를 들어, 4D 라이트-필드 데이터를 사용하면, 자유롭게 선택된 초점화 거리(distance of focalization)들로 이미지들을 리포커싱(refocusing)하는 것 - 초점 면(focal plane)의 위치가 사후에 지정/선택될 수 있음을 의미함 - 은 물론, 이미지의 장면에서의 시점(point of view)을 약간 변경하는 것을 수행하는 것이 가능하다. 4D 라이트-필드 데이터를 취득하기 위해서, 몇몇 기술들이 사용될 수 있다. 예를 들어, 플렌옵틱 카메라(plenoptic camera)는 4D 라이트-필드 데이터를 취득할 수 있다. 플렌옵틱 카메라의 아키텍처의 세부사항들이 도 1a에 제공된다. 도 1a는 플렌옵틱 카메라(100)를 개략적으로 나타내는 다이어그램이다. 플렌옵틱 카메라(100)는 메인 렌즈 101, 2-차원 어레이로 배열되는 복수의 마이크로-렌즈(103)를 포함하는 마이크로렌즈 어레이(102) 및 이미지 센서(104)를 포함한다.
4D 라이트-필드 데이터를 취득하는 또 다른 방식은 도 1b에 도시된 바와 같이 카메라 어레이를 사용하는 것이다. 도 1b는 멀티-어레이 카메라(110)를 나타낸다. 멀티-어레이 카메라(110)는 렌즈 어레이(112) 및 이미지 센서(114)를 포함한다.
도 1a에 도시된 바와 같은 플렌옵틱 카메라(100)의 예에서, 메인 렌즈(101)는 메인 렌즈(101)의 오브젝트 필드에서 오브젝트(도면에 도시되지 않음)로부터의 광을 수신하고, 그 광을 메인 렌즈(101)의 이미지 필드를 통해 통과시킨다.
마지막으로, 4D 라이트 필드를 취득하는 또 다른 방식은 상이한 초점 면들에서 동일한 장면의 2D 이미지들의 시퀀스를 캡처하도록 구성되는 종래의 카메라를 사용하는 것이다. 예를 들어, 2014년 10월 21일, OPTICS EXPRESS, Vol. 22에 공표된 J.-H. Park 등의 문헌 " Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays "에서 설명된 기술은 종래의 카메라를 이용하여 4D 라이트 필드 데이터의 취득을 달성하는 데 사용될 수 있다.
4D 라이트-필드 데이터를 표현하는 몇몇 방식들이 있다. 실제로, 2006년 7월에 공표된 Ren Ng에 의한 " Digital Light Field Photography "라는 제목의 박사 학위 논문의 챕터 3.3에서, 4D 라이트-필드 데이터를 표현하는 3가지 상이한 방식들이 설명된다. 첫째로, 4D 라이트-필드 데이터는 마이크로-렌즈 이미지들의 컬렉션에 의해 플렌옵틱 카메라에 의해 레코딩될 때 표현될 수 있다. 이러한 표현에서 4D 라이트-필드 데이터는 원시 이미지들 또는 원시 4D 라이트-필드 데이터로 명명된다. 둘째로, 4D 라이트-필드 데이터는 플렌옵틱 카메라 또는 카메라 어레이 중 어느 하나에 의해 레코딩될 때, 서브 구경(sub-aperture) 이미지들의 세트에 의해 표현될 수 있다. 서브 구경 이미지는 시점으로부터 캡처된 장면의 이미지에 대응하고, 이 시점은 2개의 서브 구경 이미지들 사이에서 다소 상이하다. 이러한 서브 구경 이미지들은 촬영된 장면의 시차(parallax) 및 심도(depth)에 대한 정보를 제공한다. 셋째로, 4D 라이트-필드 데이터는 에피폴라 이미지들의 세트로 표현될 수 있는데, 예를 들어 ISVC 2011의 컨퍼런스 회의록에서 공표된, S. Wanner 등에 의한 " Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera "라는 제목의 논문을 참조한다.
라이트-필드 데이터는 대량의 저장 공간을 차지할 수 있고, 이는 저장을 까다롭게 하고 처리를 덜 효율적으로 만들 수 있다. 또한, 라이트-필드 취득 디바이스들은 극단적으로 이종이다. 라이트-필드 카메라들은 예를 들어, 플렌옵틱 또는 카메라 어레이들과 같이 상이한 타입들이다. 각각의 타입 내에서, 상이한 광학적 배열들 또는 상이한 초점 길이들의 마이크로-렌즈들과 같은 많은 차이들이 존재한다. 각각의 카메라는 그 자신의 독점적 파일 포맷을 갖는다. 현재, 라이트-필드가 의존하는 상이한 파라미터들의 포괄적인 개요에 대한 다-차원 정보의 취득 및 전송을 지원하는 표준이 없다. 따라서 상이한 카메라들에 대해 취득된 라이트-필드 데이터는 다양한 포맷들을 갖는다. 본 발명은 상기한 점을 염두에 두고 고안되었다.
본 발명의 제1 양태에 따르면, 광 취득 시스템의 오브젝트 공간에서, 상기 광 취득 시스템의 센서의 적어도 하나의 픽셀의 공액(conjugate) 및 상기 광 취득 시스템의 동공(pupil)을 통과하는 광선들의 세트에 의해 점유된 볼륨을 나타내는 데이터를 생성하기 위한 컴퓨터로 구현된 방법이 제공되는데, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리고, 상기 방법은 다음을 포함한다:
- 광선들의 컬렉션 － 상기 컬렉션의 각각의 광선들은 픽셀 빔을 나타냄 －, 및 상기 픽셀의 공액을 정의하는 적어도 제1 파라미터를 취득하는 단계;
- 상기 픽셀 빔을 나타내는 광선과 복수의 주어진 기준 면과의 교차들을 정의하는 교차 데이터를 획득하는 단계 － 상기 기준 면들은 서로 평행하고 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 －;
- 2D 광선 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 광선 다이어그램 파라미터들을 획득하는 단계, 및
- 상기 광선 다이어그램 파라미터들을 상기 픽셀의 공액을 정의하는 상기 적어도 제1 파라미터와 연관시켜 상기 픽셀 빔을 나타내는 데이터를 제공하는 단계.
본 발명의 실시예에 따르면, 상기 방법은 다음을 추가로 포함한다:
- 상기 픽셀의 공액을 정의하는 상기 제1 파라미터의 제1 값과 제2 값 간의 차이를 인코딩하는 단계 － 상기 차이는 상기 픽셀 빔을 나타내는 데이터를 제공하기 위해 상기 광선 다이어그램 파라미터와 연관된다.
본 발명의 실시예에 따르면, 상기 픽셀 빔을 나타내는 광선에 대응하는 교차 데이터는 상기 광선 다이어그램에서 데이터라인들로서 그래픽으로 표현되고 상기 광선 다이어그램 파라미터들은 다음 중 적어도 하나를 나타내는 데이터를 포함한다:
- 데이터라인의 기울기; 및
- 데이터라인과 상기 광선 다이어그램의 축과의 절편.
본 발명의 실시예에 따르면, 상기 데이터라인들은 라돈 변환(Radon transform)을 적용함으로써 2D 광선 다이어그램에서 검출된다.
본 발명의 실시예에 따르면, 상기 그래픽 표현은 디지털 데이터라인을 제공하도록 셀들의 행렬로서 제공되고, 각각의 디지털 데이터라인 포맷은, 상기 라인과 축과의 절편을 나타내는 적어도 하나의 제1 셀 및 상기 라인의 기울기가 결정될 수 있는 적어도 하나의 제2 셀을 포함하는, 복수의 셀에 의해 정의된다.
본 발명의 실시예에 따르면, 각각의 디지털 데이터라인은 브레젠험(Bresenham)의 알고리즘의 적용에 의해 생성된다.
본 발명의 실시예에 따르면, 상기 픽셀 빔을 나타내는 데이터는 상기 픽셀 빔을 나타내는 대응하는 광선의 컬러를 나타내는 컬러 데이터를 추가로 포함한다.
본 발명의 실시예에 따르면, 상기 픽셀 빔을 나타내는 데이터는 메타데이터로서 제공되고, 상기 메타데이터의 헤더는 2D 광선 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 광선 다이어그램 파라미터들을 포함하고, 상기 메타데이터의 바디는 상기 광선의 컬러를 나타내는 데이터를 포함하고 상기 파라미터들은 상기 오브젝트 공간에서 상기 픽셀의 공액의 위치 및 크기를 정의한다.
본 발명의 또 다른 목적은 광 취득 시스템의 오브젝트 공간에서, 상기 광 취득 시스템의 센서의 적어도 하나의 픽셀의 공액 및 상기 광 취득 시스템의 동공을 통과하는 광선들의 세트에 의해 점유된 볼륨을 나타내는 데이터를 생성하기 위한 디바이스에 관한 것이고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리고, 상기 디바이스는 프로세서를 포함하고 이 프로세서는:
- 광선들의 컬렉션 － 상기 컬렉션의 각각의 광선들은 픽셀 빔을 나타냄 －, 및 상기 픽셀의 공액을 정의하는 적어도 제1 파라미터를 취득하고;
- 상기 픽셀 빔을 나타내는 광선과 복수의 주어진 기준 면과의 교차들을 정의하는 교차 데이터를 획득하고 － 상기 기준 면들은 서로 평행하고 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 －;
- 2D 광선 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 광선 다이어그램 파라미터들을 획득하고,
- 상기 광선 다이어그램 파라미터들을 상기 픽셀의 공액을 정의하는 상기 적어도 제1 파라미터와 연관시켜 상기 픽셀 빔을 나타내는 데이터를 제공하도록 구성된다.
본 발명의 실시예에 따르면, 상기 디바이스의 프로세서는 추가로:
- 상기 픽셀의 공액을 정의하는 상기 제1 파라미터의 제1 값과 제2 값 간의 차이를 인코딩하도록 구성되고, 상기 차이는 상기 픽셀 빔을 나타내는 데이터를 제공하기 위해 상기 광선 다이어그램 파라미터와 연관된다. 라이트 필드 촬영 디바이스로서,
- 규칙적인 격자 구조로 배열된 마이크로 렌즈들의 어레이;
- 상기 마이크로 렌즈들의 어레이로부터 광센서 상에 투사된 광을 캡처하도록 구성된 광센서 － 상기 광센서는 픽셀들의 세트들을 포함하고, 각각의 픽셀들의 세트는 상기 마이크로 렌즈들의 어레이의 각각의 마이크로 렌즈와 광학적으로 연관됨 －; 및
- 제11항에 따른 메타데이터를 제공하기 위한 디바이스.
본 발명의 또 다른 목적은 광 취득 시스템의 오브젝트 공간에서, 상기 광 취득 시스템의 센서의 적어도 하나의 픽셀의 공액 및 상기 광 취득 시스템의 동공을 통과하는 광선들의 세트에 의해 점유된 볼륨을 나타내는 데이터를 포함하는 디지털 파일에 관한 것이고, 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불리고, 상기 데이터는 다음을 포함한다:
- 상기 픽셀 빔을 나타내는 광선의 교차 데이터의 2D 광선 다이어그램에서 그래픽 표현을 정의하는 광선 다이어그램 파라미터 － 상기 교차 데이터는 상기 픽셀 빔을 나타내는 라이트 필드 광선과 복수의 주어진 기준 면과의 교차들을 정의하고, 상기 기준 면들은 서로 평행하고 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 －;
- 상기 픽셀 빔을 나타내는 라이트 필드 광선의 컬러들을 정의하는 컬러 데이터, 및
- 상기 광 취득 시스템의 오브젝트 공간 내의 상기 픽셀의 공액의 위치 및 크기를 정의하는 파라미터들. 본 발명의 요소들에 의해 구현되는 일부 프로세스들은 컴퓨터로 구현될 수 있다. 따라서, 그러한 요소들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함), 또는 본 명세서에서 "회로", "모듈", "시스템"이라고 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있다. 더욱이, 그러한 요소들은 매체에 구체화된 컴퓨터 사용 가능 프로그램 코드를 갖는 임의의 유형의(tangible) 표현 매체에 구체화된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명의 요소들이 소프트웨어로 구현될 수 있으므로, 본 발명은 임의의 적합한 캐리어 매체 상의 프로그램 가능 디바이스에 제공하기 위한 컴퓨터 판독가능 코드로서 구체화될 수 있다. 유형의 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 일시적 캐리어 매체는 전기 신호, 전자 신호, 광 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어 마이크로웨이브 또는 RF 신호와 같은 신호를 포함할 수 있다.
이제 본 발명의 실시예들이, 단지 예로서, 다음의 도면들을 참조하여 설명될 것이다:
도 1a는 플렌옵틱 카메라를 개략적으로 표현하는 다이어그램이다.
도 1b는 멀티-어레이 카메라를 나타낸다.
도 2a는 본 발명의 실시예에 따른 라이트-필드 카메라의 기능 다이어그램이다.
도 2b는 본 발명의 실시예에 따른 라이트-필드 데이터 포맷터(light-field data formator) 및 라이트-필드 데이터 프로세서의 기능 다이어그램이다.
도 3은 광센서 어레이 상에 형성되는 2D 라이트-필드 이미지의 예이다.
도 4는 카메라의 광학 시스템 또는 광 취득 시스템의 오브젝트 공간에서 광선들의 세트에 의해 점유되는 볼륨을 나타낸다.
도 5는 하나의 시트의 쌍곡면을 나타낸다.
도 6a 및 도 6b는 본 발명의 하나 이상의 실시예에 따른 라이트-필드 데이터의 파라미터화를 위한 기준 면들의 사용을 그래픽으로 예시한다.
도 7은 본 발명의 실시예들에 따른 기준 면들에 대한 라이트-필드 광선들의 표현을 그래픽으로 예시한다.
도 8a는 본 발명의 하나 이상의 실시예에 따른 방법의 단계들을 예시하는 플로우차트이다.
도 8b는 본 발명의 하나 이상의 실시예에 따른 광 데이터 포맷을 제공하기 위한 디바이스의 모듈들을 예시하는 기능 블록 다이어그램이다.
도 9는 본 발명의 실시예들에 따른 라이트-필드 광선들의 표현을 위한 파라미터들을 개략적으로 예시한다.
도 10은 본 발명의 실시예들에 따른 교차 데이터를 그래픽으로 예시하는 2D 광선 다이어그램이다.
도 11은 본 발명의 실시예들에 따라 생성된 디지털 라인을 그래픽으로 예시한다.
도 12는 본 발명의 실시예들에 따라 생성된 디지털 라인을 그래픽으로 예시한다.
도 13 내지 도 13c는 본 발명의 실시예에 따라 디지털 라인에 적용된 라돈 변환을 그래픽으로 예시한다.
도 14는 본 발명의 실시예들에 따른 복수의 카메라에 대한 교차 데이터를 그래픽으로 예시하는 2D 광선 다이어그램이다.
도 15a 및 도 15b는 본 발명의 하나 이상의 실시예에 따른 방법의 단계들을 예시하는 플로우차트들이다.
도 16은 가우시안 빔의 기하학적 형상을 나타낸다.
도 1a는 플렌옵틱 카메라를 개략적으로 표현하는 다이어그램이다.
도 1b는 멀티-어레이 카메라를 나타낸다.
도 2a는 본 발명의 실시예에 따른 라이트-필드 카메라의 기능 다이어그램이다.
도 2b는 본 발명의 실시예에 따른 라이트-필드 데이터 포맷터(light-field data formator) 및 라이트-필드 데이터 프로세서의 기능 다이어그램이다.
도 3은 광센서 어레이 상에 형성되는 2D 라이트-필드 이미지의 예이다.
도 4는 카메라의 광학 시스템 또는 광 취득 시스템의 오브젝트 공간에서 광선들의 세트에 의해 점유되는 볼륨을 나타낸다.
도 5는 하나의 시트의 쌍곡면을 나타낸다.
도 6a 및 도 6b는 본 발명의 하나 이상의 실시예에 따른 라이트-필드 데이터의 파라미터화를 위한 기준 면들의 사용을 그래픽으로 예시한다.
도 7은 본 발명의 실시예들에 따른 기준 면들에 대한 라이트-필드 광선들의 표현을 그래픽으로 예시한다.
도 8a는 본 발명의 하나 이상의 실시예에 따른 방법의 단계들을 예시하는 플로우차트이다.
도 8b는 본 발명의 하나 이상의 실시예에 따른 광 데이터 포맷을 제공하기 위한 디바이스의 모듈들을 예시하는 기능 블록 다이어그램이다.
도 9는 본 발명의 실시예들에 따른 라이트-필드 광선들의 표현을 위한 파라미터들을 개략적으로 예시한다.
도 10은 본 발명의 실시예들에 따른 교차 데이터를 그래픽으로 예시하는 2D 광선 다이어그램이다.
도 11은 본 발명의 실시예들에 따라 생성된 디지털 라인을 그래픽으로 예시한다.
도 12는 본 발명의 실시예들에 따라 생성된 디지털 라인을 그래픽으로 예시한다.
도 13 내지 도 13c는 본 발명의 실시예에 따라 디지털 라인에 적용된 라돈 변환을 그래픽으로 예시한다.
도 14는 본 발명의 실시예들에 따른 복수의 카메라에 대한 교차 데이터를 그래픽으로 예시하는 2D 광선 다이어그램이다.
도 15a 및 도 15b는 본 발명의 하나 이상의 실시예에 따른 방법의 단계들을 예시하는 플로우차트들이다.
도 16은 가우시안 빔의 기하학적 형상을 나타낸다.
본 기술 분야의 통상의 기술자라면 이해할 수 있는 바와 같이, 본 원리의 양태들은 시스템, 방법, 또는 컴퓨터 판독가능 매체로서 구체화될 수 있다. 따라서, 본 개시내용의 양태들은 하드웨어 실시예, 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 소프트웨어와 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있고, 이들 모두는 일반적으로 본 명세서에서 "회로", "모듈" 또는 "시스템"이라고 지칭될 수 있다. 더욱이, 본 발명의 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 이용될 수 있다.
본 발명의 실시예들은 포맷 변환, 리포커싱, 시점 변경 및 3D 이미지 생성과 같은 추가적인 처리 응용예들을 위한 라이트-필드 데이터의 포맷팅을 제공한다.
도 2a는 본 발명의 실시예에 따른 라이트-필드 카메라 디바이스의 블록 다이어그램이다. 라이트-필드 카메라는 도 1a의 라이트-필드 카메라에 따른 조리개(aperture)/셔터(202), 메인(대물) 렌즈(201), 마이크로 렌즈 어레이(210) 및 광센서 어레이(220)를 포함한다. 일부 실시예들에서, 라이트-필드 카메라는 피사체 또는 장면의 라이트-필드 이미지를 캡처하기 위해 활성화되는 셔터 릴리스(shutter release)를 포함한다. 기능 특징들은 또한 도 1b의 라이트-필드 카메라에도 적용될 수 있다는 점이 이해될 것이다.
광센서 어레이(220)는 라이트-필드 데이터 포맷팅 모듈(250)에 의한 라이트-필드 데이터 포맷의 생성을 위한, 그리고/또는 라이트-필드 데이터 프로세서(255)에 의한 처리를 위한, LF 데이터 취득 모듈(240)에 의해 취득되는 라이트-필드 이미지 데이터를 제공한다. 라이트-필드 데이터는, 본 발명의 실시예들에 따라, 취득 이후 그리고 처리 이후, 메모리(290)에 원시 데이터 포맷으로, 서브 구경 이미지들 또는 초점 스택들로서, 또는 라이트-필드 데이터 포맷으로 저장될 수 있다.
예시된 예에서, 라이트-필드 데이터 포맷팅 모듈(150) 및 라이트-필드 데이터 프로세서(255)는 라이트-필드 카메라(200)에 배치되거나 또는 그에 통합된다. 본 발명의 다른 실시예들에서, 라이트-필드 데이터 포맷팅 모듈(250) 및/또는 라이트-필드 데이터 프로세서(255)는 라이트-필드 캡처 카메라에 대해 외부에 있는 별도의 컴포넌트 내에 제공될 수 있다. 별도의 컴포넌트는 라이트-필드 이미지 캡처 디바이스에 대해 로컬 또는 원격일 수 있다. 임의의 적합한 유선 또는 무선 프로토콜이 라이트-필드 이미지 데이터를 포맷팅 모듈(250) 또는 라이트-필드 데이터 프로세서(255)에 전송하기 위해 사용될 수 있다는 것이 이해될 것인데; 예를 들어, 라이트-필드 데이터 프로세서는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스 통신 프로토콜, 및/또는 임의의 다른 적합한 수단을 통해 캡처된 라이트-필드 이미지 데이터 및/또는 다른 데이터를 전달할 수 있다.
본 발명의 실시예들에 따르면, 라이트-필드 데이터 포맷팅 모듈(250)은 취득된 라이트-필드를 나타내는 데이터를 생성하도록 구성된다. 라이트-필드 데이터 포맷팅 모듈(250)은 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다.
라이트-필드 데이터 프로세서(255)는 LF 데이터 취득 모듈(240)로부터 직접 수신되는 원시 라이트-필드 이미지 데이터에 대해 동작하여, 예를 들어, 본 발명의 실시예들에 따른 초점 스택들 또는 뷰들의 행렬을 생성하도록 구성된다. 예를 들어, 캡처된 장면의 스틸 이미지(still image)들, 2D 비디오 스트림들 등과 같은, 출력 데이터가 생성될 수 있다. 라이트-필드 데이터 프로세서는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
적어도 하나의 실시예에서, 라이트-필드 카메라(200)는 사용자가 제어기(270)에 의한 카메라(100)의 동작을 제어하기 위한 사용자 입력을 제공할 수 있게 하기 위한 사용자 인터페이스(260)를 또한 포함할 수 있다. 카메라의 제어는 셔터 속도와 같은 카메라의 광학 파라미터들의 제어, 또는 조절가능 라이트-필드 카메라의 경우에, 마이크로렌즈 어레이와 광센서 사이의 상대 거리, 또는 대물 렌즈와 마이크로렌즈 어레이 사이의 상대 거리의 제어 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 라이트-필드 카메라의 광학 요소들 사이의 상대 거리들이 수동으로 조절될 수 있다. 카메라의 제어는 또한 카메라의 다른 라이트-필드 데이터 취득 파라미터들, 라이트-필드 데이터 포맷팅 파라미터들 또는 라이트-필드 처리 파라미터들의 제어를 포함할 수 있다. 사용자 인터페이스(260)는 터치스크린, 버튼, 키보드, 포인팅 디바이스 및/또는 유사물과 같은 임의의 적합한 사용자 입력 디바이스(들)를 포함할 수 있다. 이러한 방식으로, 사용자 인터페이스에 의해 수신되는 입력은 데이터 포맷팅을 제어하기 위한 LF 데이터 포맷팅 모듈(250), 취득된 라이트-필드 데이터의 처리를 제어하기 위한 LF 데이터 프로세서(255) 및 라이트-필드 카메라(200)를 제어하기 위한 제어기(270)를 제어하고 그리고/또는 구성하기 위해 사용될 수 있다.
라이트-필드 카메라는 하나 이상의 교체가능한 또는 재충전가능한 배터리와 같은 전원(280)을 포함한다. 라이트-필드 카메라는 본 발명의 실시예들의 방법들을 구현하기 위한 소프트웨어와 같은 캡처된 라이트-필드 데이터 및/또는 렌더링된 최종 이미지들 또는 다른 데이터를 저장하기 위한 메모리(290)를 포함한다. 메모리는 외부 및/또는 내부 메모리를 포함할 수 있다. 적어도 하나의 실시예에서, 메모리는 카메라(200)와는 별도의 디바이스 및/또는 위치에 제공될 수 있다. 일 실시예에서, 메모리는 메모리 스틱과 같은 제거가능한/교환가능한 저장 디바이스를 포함한다.
라이트-필드 카메라는 캡처하기 전에 카메라 전방의 장면들을 보기 위한 그리고/또는 이전에 캡처된 그리고/또는 렌더링된 이미지들을 보기 위한 디스플레이 유닛(265)(예를 들어, LCD 스크린)을 또한 포함할 수 있다. 스크린(265)은 하나 이상의 메뉴 또는 다른 정보를 사용자에게 디스플레이하기 위해 또한 사용될 수 있다. 라이트-필드 카메라는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스 통신 프로토콜 및/또는 임의의 다른 적당한 수단을 통한 데이터 통신을 위한, 파이어와이어(FireWire) 또는 범용 직렬 버스(Universal Serial Bus)(USB) 인터페이스들, 또는 유선 또는 무선 통신 인터페이스들과 같은, 하나 이상의 I/O 인터페이스(295)를 추가로 포함할 수 있다. I/O 인터페이스(295)는, 애플리케이션들을 렌더링하기 위해, 컴퓨터 시스템들 또는 디스플레이 유닛들과 같은 외부 디바이스들에 그리고 외부 디바이스들로부터, 본 발명의 실시예들에 따라 LF 데이터 포맷팅 모듈에 의해 생성되는 라이트-필드 대표 데이터와 같은 데이터 또는 LF 데이터 프로세서(255)에 의해 처리되는 데이터 또는 원시 라이트-필드 데이터와 같은 라이트-필드 데이터를 전달하기 위해 사용될 수 있다.
도 2b는 라이트-필드 데이터 포맷팅 모듈(250) 및 라이트-필드 데이터 프로세서(253)의 잠재적 구현의 특정 실시예를 예시하는 블록 다이어그램이다.
회로(2000)는 메모리(2090), 메모리 제어기(2045) 및 하나 이상의 처리 유닛들(CPU(들))을 포함하는 처리 회로(2040)를 포함한다. 하나 이상의 처리 유닛들(2040)은 메모리(2090)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령들의 세트를 실행하여 라이트-필드 데이터 포맷팅 및 라이트-필드 데이터 처리를 포함하는 다양한 기능들을 수행하도록 구성된다. 메모리에 저장되는 소프트웨어 컴포넌트들은 발명의 실시예들에 따라 취득된 광 데이터를 나타내는 데이터를 생성하기 위한 데이터 포맷팅 모듈(또는 명령들의 세트)(2050) 및 본 발명의 실시예들에 따른 라이트-필드 데이터를 처리하기 위한 라이트-필드 데이터 처리 모듈(또는 명령들의 세트)(2055)을 포함한다. 일반적인 시스템 작업들(예를 들어, 전력 관리, 메모리 관리)을 제어하기 위한 그리고 디바이스(2000)의 다양한 하드웨어 컴포넌트와 소프트웨어 컴포넌트 사이의 통신을 용이하게 하기 위한 운영 체제 모듈(2051), 및 I/O 인터페이스 포트들을 통해 다른 디바이스들과의 통신을 제어하고 관리하기 위한 인터페이스 모듈(2052)과 같은, 다른 모듈들이 라이트-필드 카메라 디바이스의 애플리케이션들을 위해 메모리에 포함될 수 있다.
도 3은 도 1a의 광센서 어레이(104) 또는 도 1b의 광센서 어레이(114) 상에 형성되는 2D 이미지의 예를 예시한다. 종종 원시 4D 라이트-필드 이미지라고 지칭되는 2D 이미지는 마이크로 이미지들의 어레이(MI)로 구성되며, 각각의 마이크로 이미지는 마이크로렌즈 어레이(102, 112)의 각자의 마이크로 렌즈(i, j))에 의해 생성된다. 마이크로 이미지들은 축들 i 및 j에 의해 정의된 직사각형 격자 구조의 어레이로 배열된다. 마이크로 렌즈 이미지가 각각의 마이크로 렌즈 좌표들 (i, j)에 의해 참조된다. 광센서(104, 114)의 픽셀(PI)은 그것의 공간 좌표들 (x, y)에 의해 참조될 수 있다. 주어진 픽셀과 연관된 4D 라이트-필드 데이터는 (x, y, i, j)로 참조될 수 있다.
4D 라이트-필드 이미지를 나타내는(또는 정의하는) 몇몇 방식들이 존재한다. 예를 들어, 4D 라이트-필드 이미지는 도 3에 관련하여 이전에 기술된 바와 같이 마이크로-렌즈 이미지들의 컬렉션에 의해 표현될 수 있다. 4D 라이트-필드 이미지는, 서브 구경 이미지들의 세트에 의해 플렌옵틱 카메라에 의해 레코딩될 때, 또한 표현될 수 있다. 각각의 서브 구경 이미지는 각각의 마이크로렌즈 이미지로부터 선택되는 동일한 위치의 픽셀들로 구성된다. 더욱이, 4D 라이트-필드 이미지는 등극 이미지들의 세트에 의해 표현될 수 있으며, 이는 픽셀 빔의 경우가 아니다.
본 발명의 실시예들은 픽셀 빔의 개념(notion)에 기초하는 라이트-필드 데이터의 표현을 제공한다. 이러한 방식으로, 포맷들 및 라이트-필드 디바이스들의 다양성이 고려될 수 있다. 실제로, 광선 기반 포맷들의 한가지 결점은, 파라미터화 면들이 픽셀 포맷들 및 크기들을 반영하도록 샘플링되어야 한다는 것이다. 따라서, 샘플링은 물리적으로 의미 있는 정보를 복원하기 위해 다른 데이터를 따라 정의될 필요가 있다.
도 4에 도시된 바와 같은, 픽셀 빔(40)은 카메라의 광학 시스템(41)의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨을 나타낸다. 광선들의 세트는 상기 광학 시스템(41)의 동공(44)을 통해 카메라의 센서(43)의 픽셀(42)에 의해 감지된다. 광선들과는 반대로, 픽셀 빔들(40)은 그 자체로, 물리적 광선들의 단면들을 가로지르는 에너지의 보전에 대응하는 "에탕듀()"를 전달하기 때문에 마음대로 샘플링될 수 있다.
광학 시스템의 동공은 상기 광학 시스템을 통해 보여지는 바와 같은 구경 조리개(aperture stop)의 이미지로서 정의되며, 상기 광학 시스템은 즉 상기 구경 조리개에 선행하는 카메라의 렌즈들이다. 구경 조리개는 카메라의 광학 시스템을 통과하는 광의 양을 제한하는 개구이다. 예를 들어, 카메라 렌즈의 전방 근처에 위치되는 조정가능한 다이어프램이 렌즈에 대한 구경 조리개이다. 다이어프램을 통해 허용된 광의 양은 카메라의 사용자가 허용하기를 원하는 광의 양에 따라 적응될 수 있는 다이어프램의 개구의 직경에 의해 제어된다. 예를 들어, 구경을 더 작게 만드는 것은 다이어프램을 통해 허용되는 광의 양을 감소시키지만, 초점의 깊이를 증가시킨다. 조리개의 유효 크기는 렌즈의 굴절 작용으로 인해 그것의 물리적 크기보다 더 크거나 더 작을 수 있다. 공식적으로, 동공은 카메라의 광학 시스템을 통하는 구경 조리개의 이미지이다.
픽셀 빔(40)은 입사 동공(44)을 통해 광학 시스템(41)을 통하여 전파할 때 주어진 픽셀(42)에 도달하는 광선들의 펜슬로서 정의된다. 광이 자유 공간 내의 직선 상에서 이동함에 따라, 이러한 픽셀 빔(40)의 형상은 2개의 섹션에 의해 정의될 수 있는데, 하나는 픽셀(42)의 공액(45)이고, 다른 하나는 입사 동공(44)이다. 픽셀(42)은 그것의 넌-널(non-null) 표면 및 그것의 감도 맵에 의해 정의된다.
따라서, 픽셀 빔은 도 5에 도시된 바와 같이, 카메라의 오브젝트 공간에서 픽셀(42)의 동공(54) 및 공액(55)의 2개의 요소에 의해 지지되는, 하나의 시트(50)의 쌍곡면에 의해 표현될 수 있다.
하나의 시트의 쌍곡면은 광선들의 펜슬의 개념을 지원할 수 있는 규정된 표면이며, 물리적 광 빔들의 "에탕듀"의 개념과 호환가능하다.
하나의 시트의 쌍곡면은 가우시안 빔의 지오메트리에 대응한다. 실제로, 광학에서, 가우시안 빔은 그의 횡방향 자기 및 전기 필드 진폭 프로파일들이 가우시안 함수에 의해 주어지는 단색 전자기 복사의 빔이다; 이는 또한 가우시안 강도 프로파일을 의미한다. 이 기본적인 횡방향 가우시안 모드는 대부분의 레이저의 의도한 출력을 기술하는데, 그 이유는 그러한 광의 빔이 가장 집중된 스폿으로 포커싱될 수 있기 때문이다.
아래의 수학식들은 z의 모든 값들에서 원형 단면을 갖는 빔을 가정한다; 이것은 단일의 횡방향 치수 r이 나타난다는 점에 주목함으로써 알 수 있다.
(포커스로부터 측정된) 빔을 따른 위치 z에서, 스폿 크기 파라미터 w는
에 의해 주어지고
여기서 는 허리(waist) 크기이다.
도 16에 도시된 바와 같이, zR과 동일한 허리로부터의 거리에서, 빔의 폭 w는 와 동일하다.
에 대해, 가우시안 함수의 꼬리들은 실제로는 결코 0에 도달하지 않지만. 이것은 허리에서 멀리 떨어져, 빔 "에지"는 원뿔 형상임을 의미한다. 해당 원뿔을 따른 라인들(그것의 r = w(z))과 빔의 중심 축(r = 0) 사이의 각도를 빔의 발산(divergence)이라고 한다.
허리로부터 멀어지는 빔의 전체 각도 확산은 로 주어진다. 본 발명의 실시예에서, 픽셀 빔(40, 50)은 동공(44, 54)의 전방의 픽셀 공액(45, 55)의 위치 및 크기를 정의하는 4개의 독립적인 파라미터: 에 의해 정의된다.
픽셀 빔을 나타내는 하나의 시트의 쌍곡면은 다음 수학식에 의해 정의될 수 있다:
여기서 이고 이다.
픽셀 빔(40, 50)의 파라미터들이 정의되는 좌표계(x, y, z)의 원점 O는 도 4에 도시된 픽셀의 공액의 중심에 대응하고, a, b, c는 Ox, Oy, Oz를 따르는 반축들의 길이에 상응하고, a는 Ox를 따른 허리의 반경을 나타내고; b는 Oy를 따른 허리의 반경을 나타내고 c는 픽셀 빔의 각도 구경을 나타낸다. 본 발명의 일부 실시예들에서, a와 b는 동일한 값들을 가지며, 이러한 경우, 허리는 원형 형상을 갖는다.
파라미터들 는 동공(44) 중심의 입구에 대한 주 광선 방향들을 정의한다. 이들은 센서(43) 상의 그리고 광학 시스템(41)의 광학 엘리먼트들 상의 픽셀(42) 위치에 의존한다. 더 정확하게는, 파라미터들 는 동공(44)의 중심으로부터 픽셀(42)의 공역(45)의 방향을 정의하는 전단 각들(shear angles)을 나타낸다.
파라미터 zP는 z 축을 따라, 픽셀 빔(40, 50)의 허리(55), 또는 픽셀(42)의 공액(45)의 거리를 나타낸다.
파라미터 a는 픽셀 빔(40, 50)의 허리(55)의 반경을 나타내며, c는 다음 수학식에 의해 주어진다:
여기서, r은 동공(44, 54)의 반경이다.
파라미터들 zP, a 및 c의 값들의 계산은 상기 카메라의 캘리브레이션 단계 동안 주어진 카메라의 각각의 픽셀 빔에 대해 실현된다. 이러한 캘리브레이션 상태는, 예를 들어, 카메라의 광학 시스템을 통한 광선들의 전파를 모델링할 수 있는 프로그램을 실행하는 것으로 구성된다. 이러한 프로그램은 예를 들어 Zemax, ⓒ, ASAP ⓒ 또는 Code V ⓒ와 같은 광학 설계 프로그램이다. 광학 설계 프로그램은 광학 시스템들을 설계하고 분석하기 위해 사용된다. 광학 설계 프로그램들은 광학 시스템을 통한 광선들의 전파를 모델링하고; 그리고 단순 렌즈들, 비구면 렌즈들, 굴절률 분포형 렌즈들(gradient index lens), 거울들, 및 회절성 광학 엘리먼트들 등과 같은 광학 엘리먼트들의 효과를 모델링할 수 있다.
따라서, 픽셀 빔(40, 50)은 그의 주 광선 및 파라미터들 zP, a 및 c에 의해 정의될 수 있다.
그러나, 광선들을 저장하기 위한 고전적 파일 포맷이 3D 공간 내의 위치 및 방향을 저장하는 것으로 구성되기 때문에, 픽셀 빔(40, 50)의 이러한 표현은 대량의 저장 공간을 차지한다.
더 적은 저장 공간을 필요로 하는 광선들을 저장하기 위한 파일 포맷을 제안하기 위해, 라이트-필드 복사의 4개 차원들을 파라미터화하기 위한 방법은 도 6a에 예시된 정육면체를 참조할 수 있다. 정육면체의 모든 6개 면들은 라이트-필드를 파라미터화하기 위해 사용될 수 있다. 방향을 파라미터화하기 위해, 정육면체 면들에 대해 평행한 면들의 제2 세트가 추가될 수 있다. 이러한 방식으로, 라이트-필드는 축 방향들을 따르는 법선들을 이용하여 면들의 6개 쌍들에 대해 다음과 같이 정의될 수 있다:
도 6b는 서로 평행하게 위치되며 각자 알려진 깊이들 z1 및 z2에 위치하는 파라미터화를 위해 사용되는 2개의 기준 면 P1 및 P2을 통과하는 라이트-필드 광선을 예시한다. 라이트-필드 광선은 교점 (x1, y1)에서 z1의 깊이에서 제1 기준 면 P1에 교차하고, 교점 (x2, y2)에서 z2의 깊이에서 제2 기준 면 P2에 교차한다. 이러한 방식으로, 라이트-필드 광선은 4개의 좌표 (x1, y1, x2, y2)에 의해 식별될 수 있다. 따라서, 라이트-필드는 각각의 라이트-필드 광선이 4D 광선 공간에서 포인트 로 표현되는, 본 명세서에서 파라미터화 면들이라고도 지칭되는 파라미터화를 위한 기준 면들 P1, P2의 쌍에 의해 파라미터화될 수 있다.
예를 들어, 기준 좌표계의 원점은 좌표축 시스템의 기본 벡터들 에 의해 생성되는 면 P1의 중심에 배치될 수 있다. 축은 생성된 면 P1 에 대해 직교하며 제2 면 P2은 간략함을 위해, 축을 따라 면 P1으로부터 거리 z=Δ에 배치될 수 있다. 6개의 상이한 전파 방향들을 고려하기 위해, 전체 라이트-필드는 이러한 면들의 6개 쌍에 의해 특성화될 수 있다. 종종 라이트 슬래브(light slab)로서 지칭되는 한 쌍의 면들은 전파 방향을 따라 라이트-필드 카메라의 센서 또는 센서 어레이와 상호작용하는 라이트-필드를 특성화한다.
파라미터화를 위한 기준 면의 위치는 다음과 같이 주어질 수 있다:
여기서 은 법선이고 d는 법선 방향을 따라 3D 좌표계의 원점으로부터의 오프셋이다.
파라미터화를 위한 기준 면의 데카르트 수학식(Cartesian equation)은 다음과 같이 주어질 수 있다:
라이트-필드 광선이 알려진 위치:
및 정규화된 전파 벡터:
를 갖는다면 3D에서 광선의 일반적인 파라미터 수학식은 다음과 같이 주어질 수 있다:
라이트-필드 광선과 기준 면 사이의 교차 의 좌표는 다음과 같이 주어진다:
다음 조건이 만족되지 않는 경우 라이트-필드 광선들과 기준 파라미터화 사이의 교차가 존재하지 않는다:
라이트-필드를 파라미터화하기 위해 사용되는 기준 면들의 쌍의 시스템의 축들 중 하나와의 직교성으로 인해, 광선 교차의 컴포넌트들 중 하나는 각각의 면에 대해 항상 일정하다. 따라서, 라이트-필드 광선과 제1 기준 면과의 교차 및 상기 라이트-필드의 제2 기준 면과의 교차 가 존재하지 않는 경우, 4개의 좌표는 달라지고, 수학식 A는 라이트-필드 광선의 4개의 파라미터를 계산하기 위해 사용될 수 있다. 이러한 4개의 파라미터는 라이트-필드의 4D 광선 다이어그램을 구축하기 위해 사용될 수 있다.
2개의 파라미터화 기준 면에 대한 라이트-필드 파라미터화를 가정하면, 라이트-필드를 나타내는 데이터는 다음과 같이 획득될 수 있다. 기준 시스템이 도 7에 도시된 바와 같이 설정되는 경우, 제1 파라미터화 면 P1은 z = z1에서 z축에 대해 직교하고, 제2 파라미터화 면 P2는 z = z2에서 z 축에 대해 직교하며, 그것의 라이트-필드 파라미터들이 L(x1; y1; x2; y2)인 광선은, 라이트-필드 카메라의 광센서 어레이가 위치되는 위치 z = z3에서 렌더링되어야 한다. 수학식 (A)로부터:
여기서
위의 표현식을 전개하면 다음 식이 주어진다:
두 수학식 세트들 양자는 새로운 위치에서 렌더링된 라이트-필드 광선과 동일한 포인트 를 전달해야 한다. 를 과 의 함수들로서 이들의 대응하는 표현식과 대체함으로써, 이전 블록으로부터의 수학식의 제2 세트가 사용되고 x3와 y3가 함께 더해지는 경우:
다음 표현식으로 이어진다:
(B)
아래 첨자 3을 가지는 좌표들은 라이트-필드가 렌더링되는 알려진 포인트 (x3, y3, z3)에 관련된다. 모든 깊이 좌표들 zi가 알려져 있다. 파라미터화 면들은 전파 방향 또는 렌더링 방향에 있다. 라이트-필드 데이터 파라미터 L은 (x1, y1, x2, y2)이다.
포인트 (x3, y3, z3)에서 이미지를 형성하는 라이트-필드 광선들은 에 하이퍼 면을 정의하는 표현식 (B)에 의해 링크된다.
이는, 이미지들이 2-면 파라미터화된 라이트-필드로부터 렌더링될 경우, 하이퍼면들 근처의 광선들만이 렌더링될 필요가 있으며, 이들을 추적할 필요가 없음을 의미한다. 도 8a는 본 발명의 하나 이상의 실시예에 따른 라이트-필드를 나타내는 데이터를 생성하기 위한 방법의 단계들을 예시하는 플로우차트이다. 도 8b는 본 발명의 하나 이상의 실시예에 따른 라이트-필드를 나타내는 데이터를 생성하기 위한 시스템의 메인 모듈들을 개략적으로 예시하는 블록 다이어그램이다.
방법의 예비 단계(S801)에서, 카메라의 센서의 픽셀들에 연관되는 상이한 픽셀 빔들을 정의하는 파라미터들이 카메라를 캘리브레이팅함으로써 또는 원격 서버에 또는 카메라의 메모리(290) 또는 카메라에 접속된 플래시 디스크와 같은 로컬 저장 유닛 상에 저장된 데이터 파일로부터 이러한 파라미터들을 검색함으로써 취득된다.
이러한 파라미터들은 상이한 픽셀 빔들의 주 광선들의 좌표 및 카메라의 캘리브레이션 동안 각각의 픽셀 빔에 대해 획득된 동공의 전방의 픽셀 공액의 위치 및 크기를 정의하는 파라미터들 zP 및 a이다. 픽셀 빔의 주 광선은 허리의 중심 및 픽셀 빔을 지지하는 동공의 중심을 통과하는 직선이다. 또 다른 예비 단계(S802)에서, 원시 라이트-필드 데이터가 라이트-필드 카메라에 의해 취득된다(801). 원시 라이트-필드 데이터는 예를 들어, 도 3에 관해 기술된 바와 같은 마이크로 이미지들의 형태일 수 있다. 라이트-필드 카메라는 도 1a 또는 도 1b 및 도 2a 및 도 2b에 도시된 바와 같은 라이트-필드 카메라 디바이스일 수 있다.
단계(S803)에서, 취득된 라이트-필드 데이터는, 각자의 깊이 z1, z2에서 파라미터화를 위한 기준 면들 P1, P2의 쌍을 가지는, 픽셀 빔들(40, 50)의 주 광선들에 대응하는, 캡처된 라이트-필드 광선들의 교차를 정의하는 교차 데이터(x1, y1, x2, y2)를 제공하도록 광선 파라미터 모듈(802)에 의해 처리된다.
카메라의 캘리브레이션으로부터 다음의 파라미터들이 결정될 수 있다: 투사의 중심(x3, y3, z3) 카메라의 광학 축의 배향 및 카메라의 핀홀로부터 광센서의 면까지의 거리 f. 도 9에 라이트-필드 카메라 파라미터들이 예시되어 있다. 광센서 면은 깊이 zP에 위치한다. 광센서의 픽셀 출력은 라이트-필드 광선들의 기하학적 표현으로 전환된다. 2개의 기준 면 P1 및 P2을 포함하는 라이트-슬래브가 광센서에 대한 카메라의 투사의 중심의 다른 측면에, z3를 지나, 각자 깊이 z1 및 z2에 위치한다. 광선들에 대해 삼각 원리를 적용함으로써, 마이크로렌즈들의 어레이로부터 투사되는 광을 레코딩하는 픽셀 좌표 (xp, yp, zp)는 다음의 표현식을 적용함으로써 광선 파라미터들, 즉, 기준 면 교점들 (x1, y1, x2, y2)에 매핑될 수 있다:
상기 계산은 상이한 트리플렛 쌍들 (xp, yp, zp)(x3, y3, z3)을 이용하여 다수의 카메라들로 확장될 수 있다.
플렌옵틱 카메라의 경우, 구경을 가지는 카메라 모델이 사용되며, 라이트-필드 광선은 원점 (xp, yp, zP) 및 방향 (x'3, y'3, 1)을 가지는 것으로서 위상 공간에서 기술된다. 깊이 z3에서의 면 (x3, y3)으로의 그것의 전파는 행렬 변환으로서 기술될 수 있다. 렌즈는 광선을 회절시키도록 ABCD 행렬로서 작용할 것이고, 또 다른 ABCD 전파 행렬은 라이트-슬래브 기준 면들 P1 및 P2 상에 광선을 가져올 것이다.
이 단계로부터 라이트-필드 광선들의 기준 면들 P1, P2과의 교차를 기하학적으로 정의하는 교차 데이터 (x1, y1, x2, y2)가 획득된다.
단계(S804)에서, 교차 데이터 (x1, y1, x2, y2)를 그래픽으로 나타내는 2D 광선 다이어그램이 광선 다이어그램 생성기 모듈(803)에 의해 획득된다.
도 10은 구경 |A| < 0.5이고 위치 x3= 2 및 깊이 z3 =2에서 카메라에 의해 캡처되는 라이트-필드 광선들의 교차 데이터(x1, x2)를 그래픽으로 나타내는 2D 광선 다이어그램이다. 파라미터화하기 위해 사용되는 광선 다이어그램의 데이터 라인들은 256x256 픽셀의 이미지를 제공하는 256개 셀에 의해 샘플링된다.
도 10에 예시된 광선 다이어그램이 행렬로서 해석되는 경우, 그것이 희박하게 점유됨을 알 수 있다. 광선들이 4D 위상 공간 행렬 대신 파일 내에 개별적으로 저장되는 경우, 이는 각각의 광선에 대해, 각각의 위치 xi 또는 x3에 대한 적어도 2 바이트(int16) 더하기 컬러에 대한 3 바이트, 즉, 2D 슬라이스 라이트-필드에 대한 광선당 7 바이트, 및 그의 풀 4D 표현을 위한 광선당 11 바이트의 절감을 요구할 것이다. 그 후에도, 광선들은 표현을 조작할 필요가 있는 애플리케이션들에 대해 부적합한 파일 내에 랜덤으로 저장될 것이다. 본 발명의 발명자들은 광선 다이어그램 행렬로부터 대표 데이터만을 추출하고, 구성된 방식으로 파일 내에 그 데이터를 저장하는 방법을 결정하였다.
라이트-필드 광선들이 2D 광선 다이어그램의 데이터 라인들을 따라 매핑되기 때문에, 라인 값들 자체보다는 데이터 라인을 정의하는 파라미터들을 저장하는 것이 더 효율적이다. 예를 들어, 기울기 정의 파라미터 s 및 축 절편 d와 같은 데이터 라인을 정의하는 파라미터들은 그 데이터 라인에 속하는 라이트-필드 광선들의 세트와 함께 저장될 수 있다.
이것은 예를 들어, 기울기 파라미터 s에 대해 2 바이트만큼 조금, 기울기 파라미터 d에 대해 2 바이트, 그리고 광선당 단지 3 바이트를 요구할 수 있다. 또한, 광선들은 파일 내의 라인들을 따라 순서화될 수 있다. 행렬 셀들을 통하도록 라인들을 설정하기 위해, 최소 에러들을 가지고 광선 라인들에 근접하는 소위 디지털 라인들이 생성된다.
단계(S805)에서 데이터 라인들의 위치를 알아내고 기울기 파라미터 s 및 절편 파라미터 d를 획득하기 위해, 단계(S804)에서 생성된 광선 다이어그램에 대해 라인 검출 모듈(804)에 의해 라돈 변환이 수행된다.
획득된 기울기 파라미터 s 및 절편 파라미터 d로부터, 대표 디지털 라인이 단계(S806)에서 디지털 라인 생성 모듈(805)에 의해 생성된다. 이 단계에서, 디지털 라인들은 분석 라인을 그것의 가장 근접한 그리드 포인트에 접근시킴으로써, 예를 들어, 브레젠험의 알고리즘을 적용함으로써 생성된다. 실제로, 브레젠험의 알고리즘은 최소 동작을 가지고 디지털 라인을 제공하는 방식을 제공한다. 다른 방법들은 고속 이산 라돈 변환 계산을 적용할 수 있다. 브레젠험 애플리케이션의 예는 다음 참조로부터 수정된 것이다: http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html.
디지털 포맷은 그리드의 2개 포인트 (0,d) 및 (N-1, s)에 의해 데이터 라인을 정의하며, d는 x1=0일 때 x2의 값에 대응하는 절편이고, s는 x1=N-1일 때 x2의 값에 대응하는 기울기 파라미터이다. 생성된 디지털 포맷으로부터, 각각의 개별 라인의 기울기 a는 및 s의 함수로서 다음과 같이 표현될 수 있다:
여기서:
및 이다.
도 11은 브레젠험의 알고리즘의 적용에 의해 생성된 디지털 라인의 예를 예시한다.
도 12는 동일한 기울기 a(또는 s - d)를 가지지만 상이한 절편들 d을 가지는 디지털 라인들의 그룹을 예시하며, 데이터 라인들의 그룹은 인접한다. 데이터 라인들의 그룹은 본 명세서에서 라인들의 번들이라고 지칭되며, 이상적으로 정확한 것이 아닌, 카메라로부터 초래되는 빔에 대응한다. 각각의 라인은 상이한 픽셀들을 어드레스 지정한다. 다시 말해, 하나의 픽셀은 동일한 기울기를 가지지만 상이한 절편들을 가지는 번들의 고유 라인에만 속한다. 축 절편들 d의 상부 경계 및 하부 경계는 각자 dmax 및 dmin로서 주어진다.
샘플링된 라인들의 쌍(2D로)에 의해 파라미터화된 그리고 하나의 카메라에 속하는 광선 데이터는 그 데이터를 표현하기 위해 사용되는 위상 공간 내의 디지털 라인들의 계열(빔)에 속한다. 빔의 헤더는 축 절편들의 상부 경계 및 하부 경계 dmax - dmin에 의해 정의되는 빔의 두께 및 기울기 a를 단순히 포함할 수 있다. 광선 값들은 그것의 헤더가 d 및 s일 수 있는 디지털 라인들을 따라 RGB 컬러들로서 저장될 것이다. 샘플링된 공간에서 광선 다이어그램의 빈 셀(void cell)들은 저장될 필요가 없다. 광선들의 좌표들 x1; x2은 파라미터들 d, s로부터, 그리고 디지털 라인들을 따르는 셀의 위치로부터 추론될 수 있다.
라이트필드로부터 또는 카메라의 기하학으로부터 추정될 파라미터들은 기울기 a 디지털 라인 절편들의 하부 경계와 상부 경계(dmin,dmax), 및 디지털 라인 파라미터들(di,si)이다. 이산 라돈 변환은 광선 다이어그램에서 라이트-필드의 지원 위치를 측정하기 위한 툴로서 이미 논의되었다.
도 13b는 도 13a의 데이터라인들의 디지털 라인 파라미터 공간 (d,s)에서의 이산 라돈 변환을 도시한다. 도 13c는 도 12b에 포함된 관심 있는 영역의 줌(zoom)이다. 디지털 라인들의 빔은 최댓값 파라미터들에 대한 탐색에 의해 위치가 정해진다. 이미지 콘텐츠로 인해 DRT의 대칭의 기하학적 중심과 최댓값의 실제 위치 사이에 일부 오프셋이 존재할 수 있으며, 따라서, 추후에, 알고리즘은 최댓값 대신 대칭의 중심을 정확히 찾아내기 위해 사용된다. 그 후, 도 13c에 도시된 바와 같은 빔 변환의 허리는 찾아서 값들(dmin,dmax)을 제공하기에 용이하다. 포인트(dmin = 74, s = 201)는 도 12a로부터의 디지털 라인들의 빔의 하부 엔벨로프이고, 포인트(dmax = 81, s = 208)는 디지털 라인들의 빔의 상부 엔벨로프이다.
수학식 B로부터의 2개의 직교 2D 슬라이스된 공간들의 수학식들은 다음과 같이 주어진다.
xi 좌표에 대한 2D 슬라이스가 취해지는 경우, (x3, y3, z3)에서 크기 A의 구경을 통과하는 광선 데이터가 매핑될 라인들의 빔의 수학식은 다음과 같이 주어진다:
유사하게, 2D 슬라이스가 좌표에 대해 취해지는 경우:
전술한 바와 같이, 및 의 값들을 이산 도메인에서 평가하여 이전에 논의된 포맷에 의해 정의된 바와 같이 라이트-필드의 특성들의 위치를 알아낼 수 있으며, 4D 이산 라돈 변환을 수행할 필요가 없다. 2개의 직교하는 2D DRT가 획득되면, 모든 데이터가 4D 광선 다이어그램에서 집중하는 하이퍼 면의 기울기 m과 디지털 하이퍼 면들의 빔 폭의 측정들이 수행될 수 있다.
위치를 찾아내는 이 더 간단한 절차는 원형 입사 동공 A를 가정하므로 는 모든 하이퍼 면들의 절편들을 포함할 것이고, 그 포맷으로 작성된 일부 값들은 아무 값도 포함하지 않을 것이다.
2D 사례에 대해 제안된 것과 유사한 4D 사례에 대한 포맷을 획득하는 것이 흥미로울 것이다. 이렇게 하기 위해, 면 상에서 발견되는 2D 라인들을 면 상에서 발견되는 라인들, 즉, , 및 의 2개의 직교 슬라이스와의 대응하는 하이퍼 면의 교차의 결과들인 라인들을 연관시키는 것이 흥미로울 것이다. 표현식 D와 표현식 E로부터, 대응하는 라인들은 동일한 기울기 m을 갖는 것이 알려져 있다. 이는 특정 깊이에서의 카메라에 대해 내의 각각의 라인을 내의 라인에 연관시키는 제1 파라미터이다. 동일한 깊이에 다수의 카메라가 있는 경우(즉, 도 13a의 경우에), 동일한 추정된 기울기 m을 갖는, 내의 3개의 라인, 내의 3개의 라인이 존재한다. 그 후 이 2개의 면 내의 라인들 사이에 라인 오프셋들의 대응들이 결정된다. 이를 위해, 표현식 D와 표현식 E에서의 라인들의 공식이 이용된다. 특히,
라고 나타내면, 오프셋들은 다음과 같다:
및
이 수학식들의 세트들은 k, x3 및 y3에 대해 해가 구해질 수 있다. (x3,y3,z3)은 카메라의 좌표, 또는 다시 말해, 광의 대응하는 번들이 반경 A의 원 내로 포커싱되는 복셀(voxel)에 대응한다는 점에 주목한다. z3에 위치된 면 상의 구경이 원형이라고 가정하였고, 따라서 이고, 이전의 수학식들의 세트의 해를 구함으로써:
디지털 라인들은 브레젠험 디지털 라인들을 이용하여 상에서 이전과 같이 스캐닝될 수 있다; 각각의 개개의 (x1, x2)에 대해, 라이트-필드에서 캡처된 대응하는 (y1, y2) 값들이 저장된다. 이러한 값들을 구하기 위해, 표현식 C가 이용된다. 다음 모두는 표현식 F와 G x3; y3; z3; z1; z2로부터 알려지거나 추정된 것들이다.
내의 각각의 라인으로 이동하면, 각각의 에 대해, (y1, y2)에서 다음 관계식이 획득된다:
또는,
내의 각각의 포인트에 대해, 내의 라인들의 컬렉션이 저장된다. 는 에 대해 스캔되고 저장된 라인들의 오프셋에 대응한다. 다음에 주목한다:
도 12를 참조하면, 각각의 정사각형은 포인트이고, 이들 포인트 각각에 대해, 도시된 데이터라인들에 직교하지만, 4D 공간 내에 있는, 수학식:
에 의해 정의되는 디지털 번들을 따라 도면의 면 밖에서 진행하는 브레젠험 디지털 라인들의 세트가 존재한다.
카메라 당 데이터 라인들의 번들에 대한 예시적인 데이터 포맷이 표 1에 예시된다.
먼저 4개의 축 x1, x2, y1, y2의 경계들과 그들의 대응하는 샘플링을 포함하여, 4D 공간의 일반 메타데이터가 제공된다. 카메라들(번들들)의 개수가 또한 제공된다. 각각의 카메라 j에 대해, 다음 파라미터들이 저장된다:
픽셀 빔의 동공의 직경에 대응하는, 구경의 크기: Aj,
카메라의 포커스 포인트: camj; focusPoint = (u3, u3, w3)
(x1x,2)= dj에서의 최저 d 절편
경사도 = mj
(x1, x2)에서의 디지털 라인 개수 =
(y1, y2)에서의 디지털 라인 개수 =
각각의 카메라 상에서, 각각의 에 대해, 브레젠험 디지털 라인들을 이용하여 표현식 (K)에 대해 (y1, y2) 상에서 스캐닝이 시작되며, 각각의 라이트-필드 광선들의 RGB 값들이 저장된다. 특히 내지 및 대응하는 doff가 표현식 (K)에 따라 계산된다.
라이트-필드 광선들은 픽셀 빔들의 주 광선들에 대응하기 때문에, 주어진 픽셀 빔의 파라미터들 zP, a의 값들은 표 1에 나타낸 바와 같은 대응하는 라이트-필드 광선의 RGB 값들과 함께 저장되어야 한다. 이들 2개의 파라미터는 부동 수(float number)들로 저장되므로, 이는 카메라 당 데이터 라인들의 번들의 데이터 포맷을 훨씬 더 크게 만든다. 사실, 표 1에서, 각각의 광선은 3 바이트를 차지하고 파라미터 zP, a는 각각 4 바이트를 차지한다. 따라서, 파라미터들 zP, a는 전체적인 파일 크기에 큰 영향을 미친다.
따라서, 저장 공간의 양을 줄이기 위해, 이들 2개의 파라미터 zP, a는, 예를 들어 라이트-필드 데이터 포맷팅 모듈(250)에 의해 실행되고 도 15a 및 15b에 나타낸 다음의 방법에 따라 인코딩된다.
부동 수는 significand라고도 불리는 유효 숫자들, 및 지수(exponent)를 사용한 스케일(scale)로 표현되고, 부동(float)이라는 용어는 significand에서 부동할 수 있는 해당 기수(radix) 또는 콤마 부호에서 유래한다.
따라서, 표 1에 나타낸 바와 같은 카메라 당 데이터 라인들의 번들에 대한 데이터 포맷으로 저장된 부동 수의 양을 줄이기 위해, 시작 값과 관련하여 그 수의 증분들을 인코딩하는 것이 제안된다. 양 또는 음의 수의 변동들은 예를 들어 -254에서 +255까지, 512개의 레벨로 인코딩된다. 본 발명의 다른 실시예들에서, 수의 변동들은 256개 또는 128개의 레벨로 인코딩될 수 있다. 증분들의 값은 주어진 파라미터의 값들 및 변동들에 따라 조정된다.
따라서, 단계(S150)에서, 시작 부동 수가 기준으로 사용되고, 그것은 예를 들어 카메라의 픽셀 빔들의 컬렉션의 제1 픽셀 빔에 대한 파라미터 zP의 제1 값이다.
본 발명의 실시예에서, 단계(S151) 동안, 픽셀 빔의 컬렉션 내의 다른 픽셀 빔에 대한 zP 파라미터의 제2 값을 나타내는 제2 부동 수와 파라미터 zP의 제1 값 간의 차이가 계산된다. 파라미터 zP의 제2 값과 제1 값은 라이트 필드를 나타내는 데이터 스트림 내의 연속적인 부동 수들이다. 이 차이는 파라미터 zP의 제2 값 대신 표 1에 저장된다. 픽셀 빔들을 정의하는 파라미터들이 순서화된 공간-각도 방식으로 저장되므로, 동일한 파라미터의 2개의 연속적인 값들은 매우 작은 양만큼 달라진다.
단계(S152) 동안, 픽셀 빔의 컬렉션 내의 다른 픽셀 빔에 대한 zP 파라미터의 제3 값을 나타내는 제3 부동 수와 파라미터 zP의 제2 값 간의 차이가 계산된다. 본 발명의 실시예에서, 파라미터 zP의 제3 값과 제2 값은 라이트 필드를 나타내는 데이터 스트림 내의 연속적인 부동 수들이고, 즉 동일한 파라미터의 상이한 값들이 RGB,RGB,...,z,z,...,a,a....와 같이 데이터 스트림 내에서 함께 그룹화된다. 본 발명의 이 실시예에서는, "수축(deflate)"이라 불리는 방법들을 이용하여 데이터를 압축하는 것이 더 쉽고 그 예는 https://en.wikipedia.org/wiki/DEFLATE에 의해 주어진다. 이 차이는 파라미터 zP의 제3 값 대신 표 1에 저장된다.
이들 단계(S151, S152)는 카메라의 픽셀 빔들의 컬렉션을 나타내는 파라미터 zP의 값들에 대해 실행된다. 동일한 단계들이 파라미터 a의 값들에 대해 실행된다.
데이터의 스트림을 동기화하고, 픽셀 빔을 나타내는 상이한 파라미터들의 인코딩된 값들이 신뢰할 만하도록 보장하기 위해, 단계(S153)에서, zP 파라미터의 제4 값이 파라미터 zP의 2개의 연속적인 값 간의 차이로서가 아니라 부동 수로서 저장된다. 단계(S153)는1 예를 들어 100개의 모든 부동 수에 대해 실행된다.
본 발명의 다른 실시예에서, 단계(S250)에서, 시작 부동 수가 기준으로 사용되고, 그것은 예를 들어 카메라의 픽셀 빔들의 컬렉션의 제1 픽셀 빔에 대한 파라미터 zP의 제1 값이다.
단계(S251)에서, 픽셀 빔의 컬렉션 내의 다른 픽셀 빔에 대한 zP 파라미터의 제2 값을 나타내는 제2 부동 수와 파라미터 zP의 제1 값 간의 차이가 계산된다. 본 발명의 실시예에서, 파라미터 zP의 제2 값과 제1 값은 라이트 필드를 나타내는 데이터 스트림 내의 연속적인 부동 수들이고, 즉 동일한 파라미터의 상이한 값들이 RGB,RGB,...,z,z,...,a,a....와 같이 데이터 스트림 내에서 함께 그룹화된다. 본 발명의 이 실시예에서는, "수축(deflate)"이라 불리는 방법들을 이용하여 데이터를 압축하는 것이 더 쉽고 그 예는 https://en.wikipedia.org/wiki/DEFLATE에 의해 주어진다. 이 차이는 파라미터 zP의 제2 값 대신 표 1에 저장된다.
단계(S252) 동안, 픽셀 빔의 컬렉션 내의 다른 픽셀 빔에 대한 zP 파라미터의 제3 값을 나타내는 제3 부동 수와 파라미터 zP의 제1 값 간의 차이가 계산된다. 이 차이는 파라미터 zP의 제3 값 대신 표 1에 저장된다.
이들 단계(S251, S252)는 카메라의 픽셀 빔들의 컬렉션을 나타내는 파라미터 zP의 값들에 대해 실행된다. 따라서, 파라미터 zP의 각각의 값에 대해, 기준값인 파라미터 zP의 제1 값과의 차이가 계산되어 표 1에 저장된다. 동일한 단계들이 파라미터 a의 값들에 대해 실행된다.
데이터 스트림을 동기화하고, 픽셀 빔을 나타내는 상이한 파라미터들의 인코딩된 값들이 신뢰할 만하도록 단계(S253)에서, zP 파라미터의 제4 값이 파라미터 zP의 2개의 연속적인 값 간의 차이로서가 아니라 부동 수로서 저장되고 파라미터 zP의 대응하는 값들 대신 표 1에 저장될 차이들을 계산하기 위한 새로운 기준으로 간주된다. 단계(S253)는 예를 들어 100개의 모든 부동 수에 대해 실행된다.
이 방법은 2개의 연속적인 부동 수가 작은 변동만을 갖는다는 주장에 의존한다; . 이 작은 차이 는 8 비트로 인코딩된다. 본 발명의 다른 실시예들에서, 차이는 4, 12 또는 16 비트로 인코딩될 수 있다. 이는 디바이스들에서 사용되는 메모리 및 네트워크 대역폭들을 최적화하는 것을 가능하게 한다.
동일한 계산들이 저장된 메타데이터를 이용하여 디코딩 단계에서 수행된다. 특히, k는 수학식 (H)를 이용하여 구해진다. 따라서, 포맷은 간소하게 유지된다. 시스템에서 각각의 광선에 대해 4개의 인덱스를 저장하고 픽셀 빔을 정의하는 파라미터들에 대해 2개의 부동 수를 저장할 필요가 없다. 상기 하이퍼-면의 샘플링이 4D 광선-공간의 샘플링이며 따라서 단일의 x1; y1; x2; y2 위치가 유실되지 않는다는 점에 주목한다. 이는 매우 간소한 형태로 모든 데이터를 저장하기 위한 4D 광선-공간의 체계적 스캐닝의 단지 일 예이다. 다른 프로세스들이 물론 적용될 수 있다. 파라미터 형태가 하이퍼-면을 탐색하기 위해 채택된 것으로 보이는데, 그 이유는 그것이 인터리빙된 공간 탐색을 허용하기 때문이다.
하이퍼-면들의 몇몇 번들들을 포함하는 데이터에 대해 작용할 다수의 카메라들의 경우(다수의 카메라들로 인한 라돈 변환에서의 몇몇 최댓값들), 더 복잡한 알고리즘이 사용될 수 있다. 전-처리 단계로서, 파라미터들 (m, k)가 의 라돈 변환에서 모든 피크들에 대해 발견되며, 하나의 세트에 배치된다. 동일한 내용이 (y1, y2) 내의 피크들에 대해 수행되며, 파라미터들은 또 다른 세트에 배치된다. 이제, 그리디(greedy) 알고리즘의 각각의 반복에서, 최대 피크 강도가 (x1, x2)의 2D 라돈 변환에서 발견되며, (y1, y2)에서의 대응하는 피크가 이전에 발견된 파라미터들 (m, k)을 매칭시킴으로써 발견된다. 마지막 섹션에서 언급된 바와 같이 데이터를 저장한 이후, 이러한 피크들은 라돈 변환으로부터 삭제되며(clean), 라이트-필드 내에 어떠한 의미 있는 것도 남아있지 않을 때까지, 다음 반복이 시작된다.
본 발명이 특정 실시예를 참조하여 앞에서 설명되었지만, 본 발명은 특정 실시예에만 한정되지 않으며, 본 발명의 범위 내에 있는 수정들이 본 기술 분야의 통상의 기술자에게는 명백할 것이다.
많은 추가의 수정 및 변형이 전술한 예시적인 실시예들을 참조할 때 본 기술 분야의 통상의 기술자에게 그들 자신을 드러낼 것이며, 전술한 예시적 실시예들은 예로서만 주어진 것으로서, 오직 첨부된 청구항들에 의해서만 결정되는 본 발명의 범위를 제한하고자 의도된 것은 아니다. 특히, 상이한 실시예들로부터의 상이한 특징들은 적절한 경우에 상호 교환될 수 있다.
Claims (15)
- 광 취득 시스템의 오브젝트 공간에서, 상기 광 취득 시스템의 센서의 적어도 하나의 픽셀의 공액(conjugate) 및 상기 광 취득 시스템의 동공(pupil)을 통과하는 광선들의 세트에 의해 점유된 볼륨을 나타내는 데이터를 생성하기 위한 컴퓨터로 구현된 방법으로서 － 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불림 －,
광선들의 컬렉션 － 상기 컬렉션의 각각의 광선들은 픽셀 빔을 나타냄 －, 및 상기 픽셀의 공액을 정의하는 적어도 제1 파라미터를 취득하는 단계;
상기 픽셀 빔을 나타내는 광선과 복수의 주어진 기준 면과의 교차들을 정의하는 교차 데이터를 획득하는 단계 － 상기 기준 면들은 서로 평행하며 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 －;
2D 광선 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 광선 다이어그램 파라미터들을 획득하는 단계; 및
상기 광선 다이어그램 파라미터들을 상기 픽셀의 공액을 정의하는 상기 적어도 제1 파라미터와 연관시켜 상기 픽셀 빔을 나타내는 데이터를 제공하는 단계
를 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 픽셀의 공액을 정의하는 상기 제1 파라미터의 제1 값과 제2 값 간의 차이를 인코딩하는 단계를 추가로 포함하고, 상기 차이는 상기 픽셀 빔을 나타내는 데이터를 제공하기 위해 상기 광선 다이어그램 파라미터들과 연관되는, 컴퓨터로 구현된 방법. - 제2항에 있어서,
상기 픽셀 빔을 나타내는 광선에 대응하는 교차 데이터는 상기 광선 다이어그램에서 데이터라인들로서 그래픽으로 표현되고,
상기 광선 다이어그램 파라미터들은,
데이터라인의 기울기; 및
데이터라인과 상기 광선 다이어그램의 축과의 절편
중 적어도 하나를 나타내는 데이터를 포함하는, 컴퓨터로 구현된 방법. - 제3항에 있어서,
상기 데이터라인들은 라돈 변환(Radon transform)을 적용함으로써 2D 광선 다이어그램에서 검출되는, 컴퓨터로 구현된 방법. - 제3항 또는 제4항에 있어서,
상기 그래픽 표현은 디지털 데이터라인을 제공하도록 셀들의 행렬로서 제공되고, 각각의 디지털 데이터라인 포맷은, 상기 라인과 축과의 절편을 나타내는 적어도 하나의 제1 셀 및 상기 라인의 기울기가 결정될 수 있는 적어도 하나의 제2 셀을 포함하는, 복수의 셀에 의해 정의되는, 컴퓨터로 구현된 방법. - 제5항에 있어서,
각각의 디지털 데이터라인은 브레젠험(Bresenham)의 알고리즘의 적용에 의해 생성되는, 컴퓨터로 구현된 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 픽셀 빔을 나타내는 데이터는 상기 픽셀 빔을 나타내는 대응하는 광선의 컬러를 나타내는 컬러 데이터를 추가로 포함하는, 컴퓨터로 구현된 방법. - 제7항에 있어서,
상기 픽셀 빔을 나타내는 데이터는 메타데이터로서 제공되고, 상기 메타데이터의 헤더는 2D 광선 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 광선 다이어그램 파라미터들을 포함하고, 상기 메타데이터의 바디는 상기 광선의 컬러를 나타내는 데이터를 포함하고, 상기 파라미터들은 상기 오브젝트 공간에서 상기 픽셀의 공액의 위치 및 크기를 정의하는, 컴퓨터로 구현된 방법. - 광 취득 시스템의 오브젝트 공간에서, 상기 광 취득 시스템의 센서의 적어도 하나의 픽셀의 공액 및 상기 광 취득 시스템의 동공을 통과하는 광선들의 세트에 의해 점유된 볼륨을 나타내는 데이터를 생성하기 위한 디바이스로서 － 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불림 －,
프로세서를 포함하고,
상기 프로세서는,
광선들의 컬렉션 － 상기 컬렉션의 각각의 광선들은 픽셀 빔을 나타냄 －, 및 상기 픽셀의 공액을 정의하는 적어도 제1 파라미터를 취득하고;
상기 픽셀 빔을 나타내는 광선과 복수의 주어진 기준 면과의 교차들을 정의하는 교차 데이터를 획득하고 － 상기 기준 면들은 서로 평행하며 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 －;
2D 광선 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 광선 다이어그램 파라미터들을 획득하고;
상기 광선 다이어그램 파라미터들을 상기 픽셀의 공액을 정의하는 상기 적어도 제1 파라미터와 연관시켜 상기 픽셀 빔을 나타내는 데이터를 제공하도록
구성되는, 디바이스. - 제9항에 있어서,
상기 프로세서는, 상기 픽셀의 공액을 정의하는 상기 제1 파라미터의 제1 값과 제2 값 간의 차이를 인코딩하도록 추가로 구성되고, 상기 차이는 상기 픽셀 빔을 나타내는 데이터를 제공하기 위해 상기 광선 다이어그램 파라미터와 연관되는, 디바이스. - 라이트 필드 촬영 디바이스로서,
규칙적인 격자 구조로 배열된 마이크로 렌즈들의 어레이;
상기 마이크로 렌즈들의 어레이로부터 광센서 상에 투사된 광을 캡처하도록 구성된 광센서 － 상기 광센서는 픽셀들의 세트들을 포함하고, 각각의 픽셀들의 세트는 상기 마이크로 렌즈들의 어레이의 각각의 마이크로 렌즈와 광학적으로 연관됨 －; 및
제9항에 따른 상기 픽셀 빔을 나타내는 데이터를 제공하기 위한 디바이스
를 포함하는, 라이트 필드 촬영 디바이스. - 제1항 내지 제4항 중 어느 한 항의 방법에 따라 획득된 것을 이용하여 라이트 필드 데이터로부터 이미지를 렌더링하기 위한 디바이스.
- 컴퓨터 판독가능 기록 매체로서, 광 취득 시스템의 오브젝트 공간에서, 상기 광 취득 시스템의 센서의 적어도 하나의 픽셀의 공액 및 상기 광 취득 시스템의 동공을 통과하는 광선들의 세트에 의해 점유된 볼륨을 나타내는 데이터를 저장하고 － 상기 광선들의 세트에 의해 점유된 상기 볼륨은 픽셀 빔으로 불림 －,
상기 데이터는,
상기 픽셀 빔을 나타내는 광선의 교차 데이터의 2D 광선 다이어그램에서 그래픽 표현을 정의하는 광선 다이어그램 파라미터 － 상기 교차 데이터는 상기 픽셀 빔을 나타내는 라이트 필드 광선과 복수의 주어진 기준 면과의 교차들을 정의하고, 상기 기준 면들은 서로 평행하며 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 －;
상기 픽셀 빔을 나타내는 라이트 필드 광선의 컬러들을 정의하는 컬러 데이터; 및
상기 광 취득 시스템의 오브젝트 공간 내의 상기 픽셀의 공액의 위치 및 크기를 정의하는 파라미터들
을 포함하는, 컴퓨터 판독가능 기록 매체. - 제13항에 있어서,
상기 데이터는 제1항 내지 제4항 중 어느 한 항의 방법에 의해 획득되는, 컴퓨터 판독가능 기록 매체. - 프로그램가능한 장치를 위해 기록 매체에 저장된 컴퓨터 프로그램으로서,
상기 프로그램가능한 장치에 로딩되어 실행될 때, 제1항 내지 제4항 중 어느 한 항에 따른 방법을 구현하기 위한 명령어들의 시퀀스를 포함하는, 기록 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306449.8A EP3144888A1 (en) | 2015-09-17 | 2015-09-17 | An apparatus and a method for generating data representing a pixel beam |
| EP15306449.8 | 2015-09-17 | ||
| PCT/EP2016/072071 WO2017046396A1 (en) | 2015-09-17 | 2016-09-16 | An apparatus and a method for generating data representing a pixel beam |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180054737A KR20180054737A (ko) | 2018-05-24 |
| KR102585129B1 true KR102585129B1 (ko) | 2023-10-06 |
Family
ID=54293195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187010679A KR102585129B1 (ko) | 2015-09-17 | 2016-09-16 | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10909704B2 (ko) |
| EP (2) | EP3144888A1 (ko) |
| JP (1) | JP6832919B2 (ko) |
| KR (1) | KR102585129B1 (ko) |
| CN (1) | CN108352061B (ko) |
| TW (1) | TWI709108B (ko) |
| WO (1) | WO2017046396A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
| US10880576B2 (en) * | 2015-09-17 | 2020-12-29 | Interdigital Vc Holdings, Inc. | Method for encoding a light field content |
| EP3270589A1 (en) * | 2016-07-11 | 2018-01-17 | Thomson Licensing | An apparatus and a method for generating data representative of a pixel beam |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009518877A (ja) | 2006-04-04 | 2009-05-07 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | ３次元ライトフィールドを取得し、表示するための方法およびシステム |
| WO2015074718A1 (en) | 2013-11-22 | 2015-05-28 | Vidinoti Sa | A light field processing method |
| JP2015119395A (ja) | 2013-12-19 | 2015-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020014533A1 (en) * | 1995-12-18 | 2002-02-07 | Xiaxun Zhu | Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps |
| US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| US7128266B2 (en) * | 2003-11-13 | 2006-10-31 | Metrologic Instruments. Inc. | Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture |
| CN1685220B (zh) * | 2002-09-30 | 2010-04-28 | 应用材料以色列股份有限公司 | 暗场检测*** |
| US7841533B2 (en) * | 2003-11-13 | 2010-11-30 | Metrologic Instruments, Inc. | Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system |
| US7407105B2 (en) * | 2004-08-30 | 2008-08-05 | Intermec Ip Corp. | Apparatus for diagonal progressive scanning video and method of improving aiming visibility, reducing tilt dependence and improving read range |
| JP2006113371A (ja) * | 2004-10-15 | 2006-04-27 | Seiko Epson Corp | 画像表示装置 |
| JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
| KR101321303B1 (ko) * | 2005-12-08 | 2013-10-25 | 어드밴스트 사이언티픽 컨셉츠 인크. | 3ｄ 초점면을 사용하는 레이저 범위측정과 추적 및 지정 |
| US7768652B2 (en) * | 2006-03-16 | 2010-08-03 | Carl Zeiss Meditec, Inc. | Methods for mapping tissue with optical coherence tomography data |
| CN100549871C (zh) * | 2007-07-31 | 2009-10-14 | 哈尔滨师范大学 | 将三维数字信息记录在全息底片上的记录方法 |
| WO2009057114A2 (en) * | 2007-10-31 | 2009-05-07 | Ben Gurion University Of The Negev Research And Development Authority | Optical sensor measurement and crosstalk evaluation |
| CN100501773C (zh) * | 2007-11-20 | 2009-06-17 | 中交第二公路勘察设计研究院有限公司 | 基于三维机载lidar的公路测设方法 |
| JP5552214B2 (ja) * | 2008-03-11 | 2014-07-16 | キヤノン株式会社 | 焦点検出装置 |
| KR101483714B1 (ko) * | 2008-06-18 | 2015-01-16 | 삼성전자 주식회사 | 디지털 촬상 장치 및 방법 |
| JP2010165423A (ja) * | 2009-01-16 | 2010-07-29 | Sony Corp | 記録再生方法、ホログラム記録媒体 |
| JP5529568B2 (ja) * | 2010-02-05 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法及びプログラム |
| JP5499778B2 (ja) * | 2010-03-03 | 2014-05-21 | 株式会社ニコン | 撮像装置 |
| CN101968625B (zh) * | 2010-04-20 | 2013-01-16 | 中山大学 | 一种基于非共轴多透镜光路的三维图像显示方法及*** |
| HU1000640D0 (en) | 2010-11-29 | 2011-02-28 | Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft | Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content |
| JP5623356B2 (ja) * | 2011-08-29 | 2014-11-12 | キヤノン株式会社 | 撮像装置 |
| US9599805B2 (en) * | 2011-10-19 | 2017-03-21 | National Synchrotron Radiation Research Center | Optical imaging system using structured illumination |
| US9300932B2 (en) * | 2012-05-09 | 2016-03-29 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
| JP6055332B2 (ja) * | 2013-02-12 | 2016-12-27 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
| US9412172B2 (en) * | 2013-05-06 | 2016-08-09 | Disney Enterprises, Inc. | Sparse light field representation |
| CN104349096B (zh) * | 2013-08-09 | 2017-12-29 | 联想(北京)有限公司 | 一种图像标定方法、装置及电子设备 |
| KR101670808B1 (ko) * | 2013-09-03 | 2016-10-31 | 삼성전자주식회사 | 알림을 제공하는 방법 및 그 전자 장치 |
| CN103472457B (zh) * | 2013-09-13 | 2015-06-10 | 中国科学院空间科学与应用研究中心 | 稀疏孔径压缩计算关联飞行时间的三维成像***及方法 |
| CN104159094B (zh) * | 2014-07-09 | 2016-04-06 | 四川大学 | 一种改善光学扫描全息层析成像效果的方法 |
| EP3144879A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | A method and an apparatus for generating data representative of a light field |
-
2015
- 2015-09-17 EP EP15306449.8A patent/EP3144888A1/en not_active Withdrawn
-
2016
- 2016-09-16 CN CN201680067343.7A patent/CN108352061B/zh active Active
- 2016-09-16 JP JP2018514443A patent/JP6832919B2/ja active Active
- 2016-09-16 US US15/760,397 patent/US10909704B2/en active Active
- 2016-09-16 KR KR1020187010679A patent/KR102585129B1/ko active IP Right Grant
- 2016-09-16 WO PCT/EP2016/072071 patent/WO2017046396A1/en active Application Filing
- 2016-09-16 EP EP16769967.7A patent/EP3350770B1/en active Active
- 2016-09-19 TW TW105130178A patent/TWI709108B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009518877A (ja) | 2006-04-04 | 2009-05-07 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | ３次元ライトフィールドを取得し、表示するための方法およびシステム |
| WO2015074718A1 (en) | 2013-11-22 | 2015-05-28 | Vidinoti Sa | A light field processing method |
| JP2015119395A (ja) | 2013-12-19 | 2015-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019502277A (ja) | 2019-01-24 |
| KR20180054737A (ko) | 2018-05-24 |
| WO2017046396A1 (en) | 2017-03-23 |
| TWI709108B (zh) | 2020-11-01 |
| CN108352061B (zh) | 2022-11-25 |
| TW201727578A (zh) | 2017-08-01 |
| US20180260968A1 (en) | 2018-09-13 |
| CN108352061A (zh) | 2018-07-31 |
| EP3350770B1 (en) | 2022-01-05 |
| EP3350770A1 (en) | 2018-07-25 |
| US10909704B2 (en) | 2021-02-02 |
| JP6832919B2 (ja) | 2021-02-24 |
| EP3144888A1 (en) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102583723B1 (ko) | 라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치 | |
| JP2018538709A (ja) | ピクセルビームを表すデータを生成する方法及び装置 | |
| EP3398161B1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
| KR102585129B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
| KR102562696B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
| KR20180098565A (ko) | 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치 | |
| KR102402432B1 (ko) | 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |