KR20170005009A - ３ｄ 라돈 이미지의 생성 및 사용 - Google Patents

Abstract

소정의 양태들은 캡처된 플렌옵틱 이미지 데이터를 효율적으로 기록하기 위한 그리고 캡처된 플렌옵틱 이미지 데이터로부터의 이미지들을 렌더링하기 위한 시스템들 및 기법들에 관련된다. 플렌옵틱 이미지 데이터는 플렌옵틱 또는 다른 라이트 필드 카메라에 의해 캡처될 수 있다. 일부 구현들에 있어서, 4 차원 라디언스 데이터는 광선들 대신 평면들에 의한 이미지를 정의하기 위해 라돈 변환을 수행하는 것에 의해 3 차원 데이터로 변환될 수 있다. 결과의 라돈 이미지는 각각의 평면에 걸쳐 에너지의 합산된 값들을 나타낼 수 있다. 장면의 원래의 3 차원 시감 농도는, 예를 들어 역 라돈 변환을 수행하는 것에 의해, 복구될 수 있다. 상이한 뷰들로부터 및/또는 상이한 초점을 갖는 이미지들은 시감 농도로부터 렌더링될 수 있다.

Description

３Ｄ 라돈 이미지의 생성 및 사용{GENERATION AND USE OF A 3D RADON IMAGE}

본 명세서에 개시된 시스템들 및 방법들은 이미지 데이터에 관한 것이고, 특히 플렌옵틱 데이터의 캡처 및 플렌옵틱 데이터로부터의 렌더링에 관한 것이다.

포토그라피의 분야는 개발이 계속되어, 포토그래퍼에게 더 많은 옵션들을 제공한다. 아날로그 포토그라피에 의하면, 현상된 필름이 이미지 캡처 시에 존재했던 대로, 컬러 밸런스, 초점 및 다른 이미지 캡처 팩터들의 최종 결과를 드러낸다. 최근까지, 디지털 포토그라피는 예전에 아날로그 프로세스였던 것을 거의 디지털화하고 있다. 디지털 포토그라피는, 프로세싱 어플리케이션들이 노출, 컬러 밸런스, 포화도 및 다른 것들과 같은 소정의 품질들에 관하여 이미지를 강화하고 클린업하기 위해 사용될 수 있기 때문에, 이미지가 캡처된 후에 아날로그 포토그라피보다 포토그래퍼들에서 더 많은 옵션들을 제공한다. 하지만, 캡처된 디지털 이미지의 초점이 오프이거나, 포토그래퍼가 상이한 시점 (viewpoint) 으로 시프트하기를 원하는 경우, 기존 프로세싱 어플리케이션은 이들 팩터들에 대해 보정할 수 없다.

플렌옵틱 포토그라피는, 또한 라디언스 (radiance) 라고도 지칭되는, 타겟 이미지 장면의 라이트 필드 (light field) 를 캡처하는 것에 의한 오브젝트들의 직접 관측에 의해 제공된 다양한 전체 시야각들 및 다중 초점들을 렌더링하는 것에 더 접근하고 있다. 플렌옵틱 이미지를 캡처하기 위해서, 마이크로렌즈 어레이가 이미지 센서의 전면에 탑재될 수 있어서, 타겟 장면의 많은 이미지들을 효과적으로 캡처하며, 각각이 이미지는 약간 상이한 시점으로부터 타겟 이미지의 일부를 캡처한다. 이로써, 장면의 합성된 최종 이미지의 각각의 화소에 대해 변화하는 시점들로부터 다중 광선들이 캡처된다. 이것은 타겟 장면의 잠재적 최종 이미지에서의 각각의 화소 지점에 관하여 4 차원 라디언스 데이터를 포함하는 원 (raw) 센서 데이터를 제공한다: 광선의 공간적 포지션의 2 차원 및 화소에서의 광선의 배향의 2 차원. 소프트웨어에 의해, 이 데이터는 라디언스 데이터에 의해 표현되는 우세 지점들 또는 초점들 중 어느 것으로부터 최종 2D 또는 3D 로 합성될 수 있어서, 디지털 포토그라피의 능력들을 확장하고 이미지 캡처 후 우세 지점 또는 초점을 변경하는데 더 큰 유연성을 포토그래퍼들에게 제공한다.

플렌옵틱 카메라 기술은, 풀 3D 이미징, 재포커싱능력, 및 HDR (High Dynamic Range) 이미징을 포함하지만 이에 제한되지 않는, 모바일 디바이스들에서 요망될 수도 있는 몇몇 이미징 능력들을 제공한다. 하지만, 플렌옵틱 센서 데이터를 프로세싱하는 것은, 통상적으로 중앙 프로세싱 유닛들 (CPU들) 상의 병렬 프로세싱 또는 그래픽스 프로세싱 유닛 (GPU) 상의 집중적인 프로세싱을 필요로 하여, 산출적으로 비용이 높다. 따라서, 플렌옵틱 포토그라피는, 종래 모바일 디바이스들의 상대적으로 제한된 GPU 메모리가 주어지면, 모바일 포토그라피에서의 구현을 위해 엄청나게 많은 양의 데이터 스토리지 및 프로세싱을 필요로 한다.

발명의 양태들은, (예를 들어 플렌옵틱 카메라에서) 적절하게 변환된 캡처된 플렌옵틱 이미지 데이터를 효율적으로 기록하기 위한 기법들 및 본 명세서에서 "라돈 포토그라피" 로서 지칭되는, 그러한 변환된 캡처된 플렌옵틱 데이터로부터의 이미지들을 렌더링하기 위한 기법에 관련된다. 예를 들어, 캡처된 플렌옵틱 데이터의 구조는 4 차원으로부터 3 차원으로 차원수가 감소되도록 라돈 변환을 사용하는 것에 의해 변화될 수 있으며, 이에 의해 전형적인 플렌옵틱 이미지들보다 더 작은 사이즈를 갖는 이미지 데이터 (본 명세서에서 "라돈 이미지" 로서 지칭됨) 를 생성한다. 최종 이미지는 플렌옵틱 데이터의 라디언스 또는 시감 농도 (luminous density) 를 복구하기 위해 역 라돈 변환 또는 다른 산출된 토모그라피 (tomography) 기법들을 사용하여 라돈 이미지로부터 렌더링될 수 있다. 기존 방법들과 비교하여, 이것은 거의 자릿수 만큼 데이터의 양을 감소시킬 수 있어서, 예를 들어 모바일 디바이스 상에서, 기존 플렌옵틱 렌더링 기법들 보다 훨씬 더 적은 GPU 메모리를 사용하여 렌더링을 수행하는 것을 가능하게 한다.

따라서, 일 양태는 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템에 관련되며, 시스템은, 마이크로렌즈 어레이 및 이미지 센서를 포함하는 플렌옵틱 카메라로서, 이미지 장면이 플렌옵틱 이미지 데이터를 캡처하도록 구성된, 상기 플렌옵틱 카메라, 및 플렌옵틱 카메라와 데이터 통신하는 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 캡처된 플렌옵틱 이미지 데이터를 적어도 수신하는 것으로서, 캡처된 플렌옵틱 이미지 데이터는 이미지 센서 상으로 이미지 장면으로부터 광을 포커싱하는 마이크로렌즈 어레이에서의 복수의 마이크로렌즈들 중 하나에 의해 각각 형성된 복수의 마이크로이미지들을 포함하는, 상기 수신하고, 마이크로렌즈 어레이를 이등분하는 평면 내에 위치된 복수의 인터그레이션 (integration) 의 라인들을 결정하는 것으로서, 복수의 인터그레이션의 라인들의 각각은 이미지 장면의 3 차원 공간을 통해 연장하는 평면에 대응하는, 상기 결정하며, 그리고 복수의 인터그레이션의 라인들에 대응하는 플렌옵틱 이미지 데이터의 복수의 화소들에 적어도 부분적으로 기초하여 라돈 이미지를 생성하도록 구성된다.

다른 양태는 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템에 관련되며, 시스템은, 라돈 이미지를 나타내는 데이터에 적어도 액세스하도록 구성된 제 1 모듈로서, 라돈 이미지는 이미지 장면의 복수의 샘플링된 평면들의 각각의 샘플링된 평면에 대해, 샘플링된 평면에서의 광 에너지의 총합을 나타내는, 상기 제 1 모듈; 라돈 이미지의 복수의 샘플링된 평면들의 각각의 샘플링된 평면으로부터의 광 에너지의 총합을 인터그레이팅하는 것에 적어도 부분적으로 기초하여 이미지 장면의 시감 농도를 적어도 결정하도록 구성된 제 2 모듈; 및 최종 이미지를 생성하기 위해 이미지 평면 상으로 시감 농도를 적어도 투영하도록 구성된 제 3 모듈을 포함한다.

다른 양태는 플렌옵틱 이미지 데이터를 압축하기 위한 방법에 관련되며, 방법은, 마이크로렌즈 어레이 및 이미지 센서를 갖는 플렌옵틱 카메라로부터 3 차원 이미지 공간의 플렌옵틱 이미지를 나타내는 데이터의 적어도 일부를 수신하는 단계; 마이크로렌즈 평면을 교차시키는 인터그레이션의 평면을 식별하는 단계로서, 마이크로렌즈 평면은 마이크로렌즈 어레이를 이등분하는, 상기 식별하는 단계; 마이크로렌즈 평면으로부터 제 1 거리에 위치된 이미지 평면 및 인터그레이션의 평면을 교차시키는 이미지 라인을 결정하는 단계; 마이크로렌즈 평면 및 인터그레이션의 평면을 교차시키는 마이크로렌즈 라인을 결정하는 단계; 마이크로렌즈 및 마이크로렌즈 라인의 교차에 적어도 부분적으로 기초하여 이미지 라인을 마이크로이미지에 매핑하는 단계로서, 마이크로이미지는 마이크로렌즈 어레이의 마이크로렌즈에 의해 이미지 센서 상에 형성되는, 상기 매핑하는 단계; 및 마이크로이미지에서 복수의 화소들의 각각에 대해 화소 값들을 합산하는 단계로서, 복수의 화소들은 마이크로이미지에 매핑된 이미지 라인을 따라 위치되는, 상기 합산하는 단계를 포함한다.

다른 양태는 명령들을 저장하는 비일시적 컴퓨터 판독가능 매체와 관련되며, 명령들은, 실행될 때, 하나 이상의 컴퓨팅 디바이스들로 하여금, 이미지 장면의 라돈 이미지 데이터를 수신하는 것으로서, 라돈 이미지 데이터는 이미지 장면의 복수의 평면들의 각각에서 광 에너지의 합산된 값들로서 이미지 장면의 시감 농도를 나타내는, 상기 수신하는 것; 라돈 이미지의 역 투영 (back projection) 을 사용하여 라돈 이미지의 중간 함수를 산출하는 것; 라돈 이미지의 중간 함수에 적어도 부분적으로 기초하여 이미지 장면의 시감 농도를 복구하는 것; 및 이미지 장면의 동적으로 재포커스가능한 렌더링된 이미지를 생성하기 위해 이미지 평면 상으로 시감 농도를 투영하는 것을 포함하는 동작들을 수행하게 한다.

이하, 개시된 양태들을 한정하는 것이 아니라 예시하기 위해 제공된, 첨부된 도면들 및 부록들과 연계하여 개시된 양태들이 설명될 것이고, 여기서 같은 지정들은 같은 엘리먼트들을 지칭한다.
도 1a 는 종래 플렌옵틱 카메라의 실시형태를 도시한다.
도 1b 는 일부 실시형태들에 따른, 예시의 포커싱된 플렌옵틱 카메라 (케플러 망원경의 경우) 를 도시한다.
도 1c 는 일부 실시형태들에 따른, 예시의 포커싱된 플렌옵틱 카메라 (갈릴레오 망원경의 경우) 를 도시한다.
도 1d 는 일부 실시형태들에 따른, 마이크로스피어들에 기초한 예시의 얇은 플렌옵틱 카메라를 도시한다.
도 2 는 라돈 포토그라피 능력들을 갖는 이미지 캡처 디바이스의 실시형태의 하이 레벨의 개략적 블록 다이어그램을 도시한다.
도 3 은 라돈 포토그라피 프로세스의 실시형태를 도시한다.
도 4a 는 라돈 이미지 생성을 위해 플렌옵틱 카메라 평면들을 사용하는 기법의 실시형태를 도시한다.
도 4b 는 라돈 이미지 생성에서 사용될 수 있는 마이크로이미지들 또는 화소들의 세트의 실시형태를 도시한다.
도 4c 는 3D 라돈 이미지 생성의 방법에서 사용될 수 있는 인터그레이션의 라인들의 밀도의 실시형태를 도시한다.
도 5 는 입력 라이트 필드 데이터로부터 라돈 이미지를 생성하기 위한 프로세스의 실시형태를 도시한다.
도 6 은 라돈 이미지로부터 플렌옵틱 이미지 데이터를 생성하기 위한 프로세스의 실시형태를 도시한다.

도입

개시물의 실시형태들은 플렌옵틱 이미지 데이터를 캡처하고, 효율을 증가시키기 위해 플렌옵틱 이미지 데이터를 프로세싱하며, 그리고 프로세싱된 플렌옵틱 이미지 데이터로부터 렌더링하기 위한 시스템들 및 기법들에 관련된다. 본 명세서에 기재된 라돈 포토그라피 기법들은 1 차원 광선들 내에서 보다는 오히려 2 차원 평면들 내에 포함된 에너지에 관하여 타겟 이미지 장면의 라디언스를 정의하기 위해 캡처된 플렌옵틱 데이터의 구조를 변경할 수 있으며, 이는 대략 자릿수 만큼 이미지 데이터의 양을 효과적으로 감소시킬 수 있다. 예를 들어, 이것은 일부 구현들에 있어서 라돈 변환을 플렌옵틱 이미지 데이터에 적용하여, 라돈 이미지를 생성하는 것에 의해 달성될 수 있다. 동적으로 재포커스가능한 이미지는 라돈 이미지로부터 이미지 장면의 라디언스를 복구하기 위해 역 라돈 변환을 적용하는 것에 의해 라돈 이미지로부터 렌더링될 수 있다. 일 예에서, 라돈 이미지는 대략 1 메가바이트 (MB) 의 데이터일 수 있는 한편, 통상의 플렌옵틱 이미지는 대략 50 MB 의 데이터일 수 있다. 이것은 제한된 GPU 용량을 갖는 모바일 디바이스들, 예를 들어 스마트 폰들 및 테블릿 컴퓨터들 상에서 플렌옵틱 이미징을 가능하게 할 수 있다.

본 명세서에 기재된 라돈 포토그라피 기법은 캡처된 플렌옵틱 데이터의 양을 감소시키기 위해 라돈 변환과 관련된 변환을 사용하여 캡처된 플렌옵틱 데이터를 기록할 수 있다. 플렌옵틱 카메라들에 의해 캡처된 정보는 라이트 필드, 플렌옵틱 기능, 또는 라디언스로서 지칭될 수도 있다. 산출적 포토그라피에 있어서, 라이트 필드 (또한 라디언스, 시감 농도 또는 플렌옵틱 기능으로서 지칭될 수도 있음) 는 타겟 이미지 장면의 3 차원 공간에서 모든 1 차원 광선들의 4 차원 기록이다. 라디언스는 공간 및 각도 정보의 양자 모두를 기술하며, (라디언스에서) 스테레오 각도의 단위 당 면적의 단위 당 에너지의 밀도로서 정의된다. 플렌옵틱 카메라는 플렌옵틱 이미지들 (또한 플랫 (flat) 이미지들 또는 플랫들로서 지칭됨) 에서 라디언스를 캡처한다. 프로세싱될 때, 플렌옵틱 이미지들은 디지털로 재포커싱될 수도 있고, 노이즈가 감소될 수도 있고, 시점들이 변경될 수도 있으며, 다른 플렌옵틱 효과들이 달성될 수도 있다. 문헌에서는, 플렌옵틱 카메라들이 또한 라이트 필드 카메라들로서 지칭될 수도 있고, 플렌옵틱 이미지들은 또한 라이트 필드 이미지들로서 지칭될 수도 있다는 것을 유의한다.

라돈 변환을 사용하여, 이미지 장면의 4 차원 라디언스 데이터는, 가상 광 소스들의 밀도의 라돈 이미지인, 단지 3 개의 변수들에만 의존하여 대안의 플렌옵틱 함수로서 나타낼 수 있다. 라돈 포토그라피 기법들은 이미지 장면에서의 3 차원 바디의 에너지 밀도를 다중의 얇은 가상 평면들로 그것을 커팅하고 각각의 평면을 통해 인터그레이팅하는 것에 의해 캡처하거나 나타낼 수 있다. 각각의 평면에서의 에너지는 라돈 이미지를 구성하기 위해 측정될 수 있다. 따라서, 결과의 라돈 이미지는, 이미지 평면과 센서 평면 사이에서 각각의 광선의 에너지의 값들을 나타내는 전형적인 플렌옵틱 이미지 데이터 보다는 오히려 이미지 평면과 센서 평면 사이에서 각각의 평면을 통한 에너지의 합산된 값들을 나타낼 수 있다. 이에 따라, 이미지 장면의 4 차원 라디언스의 3 차원 표현인 라돈 이미지는, 메모리에 관하여 훨씬 더 경제적이고, 이로써 이전의 플렌옵틱 이미징 방법들과 비교하여 렌더링하기에 더 빠르다.

장면의 원래의 3 차원 시감 농도는, 예를 들어 역 라돈 변환을 수행하는 것에 의해 복구될 수 있고, 상이한 뷰들로부터 및/또는 초점의 상이한 심도들을 갖는 이미지들은 시감 농도로부터 렌더링될 수 있다. 일 구현에 있어서, 라돈 포토그라피 기법은 평면에 포함되는 광선들을 효과적으로 인터그레이팅할 수 있고 역 투영을 수행하기 위해 지점을 통과하는 모든 평면들에 걸쳐 라돈 변환을 평가할 수 있다. 역 투영은 그 지점에서 역 라돈 변환을 도출하기 위해서 행해진 첫번째 스텝일 수 있다. 인터그레이션의 특정 라인들은 리던던트 정보를 유도하게 되는, 동일한 화소들의 세트를 샘플링하는 것을 회피하기 위해 인터그레이션의 인접 라인들 사이에서 충분한 스텝 사이즈로 어레이에서의 각각의 마이크로렌즈를 샘플링하도록 선택될 수 있다. 역 투영, 가우시안 연산자의 라플라시안의 적용 및 디노이징을 통해, 라돈 포토그라피 기법은 라돈 이미지로부터의 장면에서 시감 농도를 결정할 수 있다. 이미지 평면 상으로 시감 농도를 투영하는 것은 최종 이미지를 생성할 수 있으며, 최종 이미지는 캡처된 이미지 장면의 초점의 상이한 심도 및 상이한 뷰들을 갖도록 조정될 수 있다.

예시의 플렌옵틱 카메라들의 개요

도 1a 내지 도 1d 는 라돈 포토그라피 기법에 따라 라돈 이미지 데이터를 캡처하기 위해 사용될 수 있는 플렌옵틱 카메라의 다양한 실시형태들을 도시한다. 도 1a 내지 도 1d 의 플렌옵틱 이미징 시스템은, 다양한 이미징 어플리케이션들, 예를 들어 스틸 포토그라피, 비디오그라피, 입체적 포토그라피, 입체적 비디오그라피, 멀티스펙트럼 포토그라피, 및 멀티스펙트럼 비디오그라피에서 구현될 수 있다. 디바이스들, 예컨대 핸드헬드 카메라들, 테블릿 컴퓨터들, 모바일 폰들, 게이밍 콘솔들, 랩탑들, 개인용 컴퓨터들, 증강 현실 디바이스들, 예컨대 헤즈업 (heads-up) 디스플레이 시스템들, 보안 카메라들 등이 도 1a 내지 도 1d 의 플렌옵틱 이미징 시스템들을 통합할 수 있다.

도 1a 는 종래의 플렌옵틱 카메라 (100a) 를 도시한다. 도면들에 나타낸 컴포넌트들은 서로에 대해 반드시 일정 비율인 것은 아니다. 종래 플렌옵틱 카메라는 메인 렌즈 (105) 및 포토 센서 (115) 의 전면에서의 거리 (f) 에 배치된 마이크로렌즈 어레이 (110) 를 포함할 수 있다. 일부 구현들에 있어서, 전하 커플형 디바이스 (CCD) 가 포토 센서 (115) 로서 사용될 수 있다. 다른 구현들에 있어서, COMS 이미징 센서가 포토 센서 (115) 로서 사용될 수 있다. 마이크로렌즈 (110) 는 개구 (d) 및 초점 길이 (f) 를 갖고, 간격 (d) 으로 동등하게 이격된다고 가정된다. 메인 렌즈 (105) 는 마이크로렌즈 어레이 (110)("마이크로렌즈 평면") 의 중심에 의해 형성된 평면에서 포커싱될 수 있고, 마이크로렌즈 (110) 는 광학적 무한대로 (메인 렌즈 (105) 에서 동등하게) 포커싱될 수 있다.

메인 카메라 렌즈 (105) 의 초점 길이가 마이크로렌즈 (110) 의 초점 길이보다 훨씬 큰 것을 고려하면, 각각의 "마이크로 카메라" 는 메인 카메라 렌즈 개구에서 포커싱될 수 있고, 포토그라피되고 있는 오브젝트 상에서는 포커싱될 수 없다. 따라서, 각각의 마이크로렌즈 이미지는 그 오브젝트에 대해 완전히 디포커싱될 수 있고, 라디언스의 각도 분포만을 나타낸다. 이로써, 이들 마이크로이미지들은 희미하게 보이고 인간 인식가능 이미지를 나타내지 않는다. 각각의 마이크로렌즈 이미지가 그 포지션에 의존하여 주어진 위치를 샘플링하고 다른 마이크로렌즈 이미지들과 동일한 각도 범위에 걸치기 때문에, 종래 플렌옵틱 카메라 라디언스 이미지로부터 출력 이미지를 렌더링하는 것은 각각의 마이크로렌즈 하에서 모든 화소들을 인터그레이팅하는 것에 의해 달성될 수 있다. 각각의 마이크로렌즈 하에서 화소들의 고정된 부분을 인터그레이팅하는 것은 하나의 소정 뷰의 이미지를 생성할 수 있다. 일부 실시형태들에 있어서, 각각의 마이크로렌즈는 최종 생성된 이미지에서 단일 화소에 기여한다.

도 1b 및 도 1c 는 일부 실시형태들에 따른 예시의 포커싱된 플렌옵틱 카메라들 (100b 및 100c) 을 각각 도시한다. 도 1b 및 도 1c 에 나타낸 컴포넌트들은 반드시 서로에 대해 일정 비율인 것은 아니고, 또한 컴포넌트들 사이의 거리들도 반드시 일정 비율인 것도 아니며, 컴포넌트들의 사이즈들도 반드시 일정 비율인 것은 아니다. 포커싱된 플렌옵틱 카메라들 (100b, 100c) 은 적어도 메인 렌즈 (105), 마이크로렌즈 어레이 (110), 및 포토 센서 (115) 를 포함할 수도 있다. 도 1a 의 종래 플렌옵틱 카메라 시스템 (100a) 과 대조적으로, 포커싱된 플렌옵틱 카메라 (100b, 100c) 의 마이크로렌즈 어레이 (110) 는 무한대로 대신 메인 카레라 렌즈의 이미지 평면 (120) 상에 포커싱될 수 있다. 포커싱된 플렌옵틱 카메라 (100b, 100c) 에 의하면, 각각의 마이크로렌즈는 포토 센서 (115) 상으로 메인 렌즈 이미지를 재이미징할 수 있다. 마이크로렌즈 (110) 는 릴레이 시스템으로서 메인 렌즈 이미지의 사실 이미지들의 어레이를 형성할 수 있고, 이에 의해 포토 센서 (115) 상에 마이크로이미지를 각각 형성한다.

마이크로 카메라들의 어레이 (포토 센서 (115) 상으로 마이크로렌즈 (110) 의 투영에 의해 형성됨) 는 그들의 전면에서 "오브젝트" 를 관측한다. 이 "오브젝트" 는 도 1b 및 도 1c 에서 셰이딩된 타원으로서 나타낸, 메인 카메라 렌즈 (105) 뒤에 형성된다. 따라서, 도 1b 및 도 1c 에서 타원의 셰이딩된 영역 (125) 은 메인 카메라 렌즈에 의해 카메라 내부에 형성된 3 차원 (3D) 이미지를 나타낸다. 도시된 바와 같이, 이 3D 이미지 (125) 는 마이크로렌즈 (110) 뒤로 연장할 수도 있다.

도 1b 는 이미징되고 있는 이미지 평면 (120) 이 마이크로렌즈 (110) 의 전면에 있는 케플러 망원경 시스템 (100b) 의 예를 도시한다. 메인 렌즈 (105) 가 마이크로렌즈 (110) 뒤에서 이미지를 형성하는 경우, 도 1c 의 예시의 갈릴레오 망원경 카메라 (100c) 와 같은, 포토 센서 (115) 상에 실제 이미지를 형성하도록 그 가상 이미지 상으로 마이크로렌즈 (110) 를 포커싱하는 것이 여전히 가능하다. 케플러 망원경 카메라 (110b) 및 갈릴레오 망원경 카메라 (100c) 의 양자에 있어서, 마이크로렌즈 이미징은 렌즈 식:

로 기술될 수 있고, 각각 포지티브 a (케플러 망원경 시스템 (100b)) 또는 네거티브 a (갈릴레오 망원경 시스템 (100c)) 를 갖는다. 포토센서 상으로 리매핑될 때, 메인 렌즈의 이미지는 사이즈가 감소될 수 있다. 이러한 감소는 다음과 같이 나타낼 수도 있다:

이러한 스케일링의 결과로서, 플렌옵틱 카메라에 의해 캡처된 라디언스의 공간 해상도는 마이크로렌즈 이미지들의 해상도 및 렌더링에 있어서의 오버랩의 양의 함수이며, 마이크로렌즈의 개수의 함수는 아니다. 마이크로렌즈의 개수 및 해상도의 이러한 디커플링은 종래 플렌옵틱 카메라 (100a) 와 포커싱된 플렌옵틱 카메라 (100b, 100c) 를 구별한다.

종래 플렌옵틱 카메라 (100a) 와 포커싱된 플렌옵틱 카메라 (100b, 100c) 사이의 또 다른 차이는 각각의 마이크로렌즈에 의해 캡처되는 정보의 본질에 있다. 종래 플렌옵틱 카메라 (100a) 에 있어서, 각각의 마이크로렌즈는 장면에서 하나의 포지션을 이미징하여, 거기의 모든 각도 정보를 캡처한다. 포커싱된 플렌옵틱 카메라 (100b, 100c) 에 있어서, 상이한 마이크로렌즈는 동일한 포지션을 캡처하고; 각도 정보는 마이크로렌즈에 걸쳐 확산된다. 따라서, 포커싱된 플렌옵틱 카메라 (100b, 100c) 로 캡처된 플랫들을 렌더링하기 위해, 렌더링 알고리즘은 단일 마이크로렌즈 이미지 내에서 보다는 오히려 마이크로렌즈 이미지들에 걸쳐 인터그레이팅할 수 있다. 즉, 태스크가 초점에 있는 "이미지를 이미징하는 것" 이라고 가정하면, 알고리즘을 렌더링하는 것은 고정된 피치에서 그들을 오버랩하는 것에 의해 이미지에서 동일한 포지션에 대응하는 마이크로렌즈들에서의 지점들을 인터그레이팅한다.

도 1d 는 일부 실시형태들에 따른 마이크로스피어들에 기초한 예시의 얇은 플렌옵틱 카메라 시스템 (100d) 을 도시한다. 이러한 예시의 얇은 플렌옵틱 카메라 (100d) 는 도 1c 에 도시된 포커싱된 플렌옵틱 카메라 (100c) 와 유사할 수도 있다. 마이크로스피어들 (130) 은 몇몇 기법들 중 임의의 것에 의해 포토 센서 (115) 의 표면에 부착되거나 고정될 수도 있다: 예를 들어, 투명 접착 재료의 얇은 층 (예를 들어, 수 나노미터 두께) 이 포토 센서 (115) 의 화소 표면 상에 성막될 수도 있고, 용융 유리 또는 유사한 물질이 포토 센서 (115) 의 화소 표면 상에 성막될 수도 있으며, 또는 마이크로스피어들 (130) 이, 마이크로스피어들 (130) 을 커버하면서 최상단에서 매우 평탄한 물질에 임베딩될 수도 있다. 적절히 선택되고 배열된 컴포넌트들에 의해, 도 1d 에 도시된 얇은 플렌옵틱 카메라는 대략 5 mm (밀리미터) 두게 또는 심지어 더 얇을 수도 있으며, 이로써 얇은 모바일 디바이스들에 사용하기에 적합하다.

도 1a 내지 도 1d 는 본 명세서에 기재된 라돈 포토그라피 기법들을 수행할 수 있는 예시의 플렌옵틱 카메라 시스템들 (110a 내지 110d) 를 도시하기 위해 의도된다. 하지만, 캡처된 이미지 데이터의 양을 감소시키기 위해서 이미지 장면의 라디언스를 캡처할 수 있는 임의의 플렌옵틱 또는 라이트 필드 카메라가 라돈 포토그라피 기법들을 구현할 수 있다는 것을 알 것이다. 일부 실시형태들에 있어서, 카메라는 4D 라디언스 데이터를 캡처하고 4D 라디언스 데이터로부터 3D 라돈 이미지를 생성하는 대신 3D 라돈 이미지를 직접 캡처할 수 있다.

예시의 시스템의 개요

도 2 는 라돈 포토그라피 능력들을 갖는 이미지 캡처 디바이스 (200) 의 실시형태의 하이 레벨의 개략적 블록 다이어그램을 도시하며, 디바이스 (200) 는 카메라 어셈블리 (201) 에 링크된 이미지 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 갖는다. 이미지 프로세서 (220) 는 또한 작업 메모리 (265), 메모리 (230), 및 디바이스 프로세서 (255) 와 통신하며, 결국 스토리지 (270) 및 광 전자 디스플레이 (260) 와 통신한다.

디바이스 (200) 는 셀 폰, 디지털 카메라, 테블릿 컴퓨터, 개인용 디지털 보조기 등일 수도 있다. 본 명세서에 기재된 것과 같은 플렌옵틱 이미지의 감소된 양으로부터의 렌더링이 이점을 제공하게 되는 많은 포터블 컴퓨팅 디바이스들이 있다. 디바이스 (200) 는 또한 라돈 포토그라피 기법이 이롭게 되는 정지식 컴퓨팅 디바이스 또는 임의의 디바이스일 수도 있다. 복수의 어플리케이션들이 디바이스 (200) 상의 사용자에게 이용가능할 수도 있다. 이러한 어플리케이션들은 전형적인 포토그래픽 및 비디오 어플리케이션들, 높은 동적 범위 이미징, 파노라마식 포토 및 비디오, 멀티스펙트럼 포토 및 비디오, 입체적 이미징, 예컨대 3D 이미지들 또는 3D 비디오들, 및 플렌옵틱 포토 및 비디오를 포함할 수도 있다.

이미지 캡처 디바이스 (200) 는 외부 이미지들을 캡처하기 위해 플렌옵틱 카메라 어셈블리 (201) 를 포함한다. 카메라 (201) 는 일부 실시형태들에서 도 1a 내지 도 1d 에 대해 위에 기재된 플렌옵틱 카메라 구성들 (100a-100d) 중 어느 것일 수 있다. 메인 렌즈 (205), 마이크로렌즈 A (210a) 내지 마이크로렌즈 N (210n), 및 단일 이미지 센서 (215) 로 도시되어 있지만, 예시의 도시 이외의 카메라 (201) 의 실시형태들은 메인 렌즈 (205), 마이크로렌즈 어레이 (210a-210n) 및 타겟 이미지 장면의 라디언스 데이터를 캡처할 수 있는 센서 (215) 의 일부 또는 전부의 임의의 조합을 가질 수 있다. 일반적으로, N 개의 마이크로렌즈들이 사용될 수 있으며, 여기서 N ≥ 2. 플렌옵틱 카메라 어셈블리 (201) 의 일부 실시형태들은, 부가 컴포넌트들, 예를 들어 부가 렌즈 어셈블리들 및 입체적 또는 멀티스펙트럼 플렌옵틱 이미지 데이터의 캡처를 위한 대응 부가 이미지 센서들을 가질 수 있다. 일부 실시형태들에 있어서, 디바이스 (200) 는 플렌옵틱 카메라 어셈블리 (201) 에 부가하여 부가 카메라 어셈블리들, 예를 들어 전형적인 (비플렌옵틱) 카메라 어셈블리를 포함할 수 있다. 플렌옵틱 카메라 어셈블리 (201) 는 캡처된 이미지를 이미지 프로세서 (220) 에 송신하기 위해 이미지 프로세서 (220) 에 커플링될 수 있다.

이미지 프로세서 (220) 는 라돈 포토그라피 기법을 실행하기 위해서 N 개의 마이크로렌즈들에 대응하는 N 개의 마이크로이미지들을 포함하는 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (220) 는 범용 프로세싱 유닛 또는 이미징 어플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 이미징 프로세싱 동작들의 예들은 크롭핑, 스케일링 (예를 들어, 상이한 해상도로), 이미지 스티칭, 이미지 포맷 컨버전, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 프로세서 (220) 는, 일부 실시형태들에 있어서, 복수의 프로세서들을 포함할 수도 있다. 프로세서 (220) 는 하나 이상의 전용된 이미지 신호 프로세서들 (ISP들) 또는 프로세서의 소프트웨어 구현일 수도 있다.

나타낸 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (265) 에 접속된다. 예시된 실시형태에 있어서, 메모리 (230) 는 캡처 제어 모듈 (235), 라돈 포토그라피 모듈 (240), 및 오퍼레이팅 시스템 (250) 을 저장한다. 라돈 포토그라피 모듈 (240) 은 서브 모듈들: 라돈 이미지 생성기 (242), 시감 농도 계산기 (244), 및 플랫 렌더링 모듈 (246) 을 포함한다. 메모리 (230) 의 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하기 위해 디바이스 프로세서 (255) 의 이미지 프로세서 (22) 를 구성하는 명령들을 포함한다. 작업 메모리 (265) 는 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 이미지 프로세서 (220) 에 의해 사용될 수도 있다. 대안으로, 작업 메모리 (255) 는 또한 디바이스 (200) 의 동작 동안 생성된 동작 데이터를 저장하기 위해 이미지 프로세서 (220) 에 의해 사용될 수도 있다.

위에서 언급된 바와 같이, 이미지 프로세서 (220) 는 메모리들에 저장된 수개의 모듈들로 구성된다. 캡처 제어 모듈 (235) 은 플렌옵틱 카메라 어셈블리 (201) 의 초점 포지션을 조정하기 위해 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (235) 은 디바이스 (200) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (235) 은 플렌옵틱 카메라 어셈블리 (201) 를 사용하여 타겟 이미지 장면의 원 플렌옵틱 이미지 데이터를 캡처하기 위해 이미지 프로세서 (220) 를 구성하도록 서브루틴들을 호출하는 명령들을 포함할 수도 있다, 일 실시형태에 있어서, 캡처 제어 모듈 (235) 은 그 후 라돈 포토그라피 모듈 (240) 을 호출하여 캡처된 플렌옵틱 이미지의 사이즈를 감소시키고 감소된 사이즈의 이미지 데이터를 이미징 프로세서 (220) 에 출력한다. 다른 실시형태에 있어서, 캡처 제어 모듈 (235) 은 그 후 플랫, 재포커스가능한 이미지를 이미징 프로세서 (220) 에 출력하기 위해서 원 플렌옵틱 데이터에 대해 렌더링 동작을 수행하기 위해 라돈 포토그라피 모듈 (240) 을 호출할 수도 있다. 캡처 제어 모듈 (235) 은 또한 라돈 포토그라피 모듈 (240) 을 호출하여 캡처될 장면의 프리뷰 이미지를 출력하기 위해서 원 플렌옵틱 이미지 데이터에 대해 렌더링 동작을 수행하고, 원 이미지 데이터에서의 장면이 변화할 때, 또는 사용자가 프리뷰 이미지의 초점을 변경할 때, 소정의 시간 간격들에서 프리뷰 이미지를 업데이트할 수도 있다.

라돈 포토그라피 모듈 (240) 은 서브 모듈들, 라돈 이미지 생성기 (242), 시감 농도 계산기 (244), 및 플랫 렌더링 모듈 (246) 을 호출하여 플렌옵틱 데이터 프로세싱 및 이미지 렌더링 동작들의 상이한 부분들을 수행할 수 있다. 라돈 이미지 생성기 (242) 는 라돈 이미지를 생성하기 위해 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있고, 라돈 이미지는 원 플렌옵틱 이미지 데이터와 비교하여 상대적으로 더 적은 양의 데이터이다. 예를 들어, 라돈 이미지 생성기 (242) 는 라돈 변환을 플렌옵틱 이미지 데이터에 적용하기 위해 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다. 라돈 이미지 생성기 (242) 의 일부 실시형태들은 저장된 플렌옵틱 이미지 데이터 상에서 동작할 수 있는 한편, 라돈 이미지 생성기 (242) 의 다른 실시형태들은 저장 전에 캡처된 대로 플렌옵틱 이미지 데이터를 구조를 변경할 수 있다. 예를 들어, 포토 센서의 화소들 또는 마이크로이미지들은, 하기에서 더 상세하게 논의될 바와 같이, 인터그레이션의 평면과의 교차 라인들에 대응하는 로우들 또는 라인들에서 스캔될 수 있고, 마이크로이미지들 또는 그러한 화소들에 입사하는 광선들의 값들이 인터그레이팅될 수 있다. 일부 실시형태들에 있어서, 라돈 포토그라피 모듈 (240) 은 스토리지 모듈 (270) 에서의 저장을 위해 라돈 이미지를 이미지 프로세서 (220) 로 송신할 수 있다. 일부 실시형태들에서, 라돈 포토그라피 모듈 (240) 은 라돈 이미지를 시감 농도 계산기 (244) 에 송신할 수 있다.

시감 농도 계산기 (244) 는 라돈 이미지로부터 플렌옵틱 이미지 데이터를 생성하기 위해 라돈 이미지에 대한 프로세싱 동작들을 수행하도록 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다. 예를 들어, 시감 농도 계산기 (244) 는 플렌옵틱 카메라 어셈블리 (201) 에 의해 캡처된 원래 시감 농도를 복구하기 위해, 또는 원래 시감 농도의 근사치를 복구하기 위해 라돈 이미지에 역 라돈 변환을 적용하도록 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다.

플랫 렌더링 모듈 (246) 은 시감 농도 계산기 (244) 의 출력에 대해 렌더링 동작을 수행하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다. 예를 들어, 플랫 렌더링 모듈 (246) 은 상이한 시점들 또는 상이한 초점 심도들을 생성할 수 있는, 이미지 평면 상으로 시감 농도를 투영하는 것에 의해 이미지 (때때로 플렌옵틱 포토그라피에서 "플랫" 으로서 지칭됨) 를 출력하기 위해 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다. 프로세서 (220) 는 이미지를 저장하거나 사용자에게 디스플레이를 위해 이미지를 출력할 수 있고, 사용자는 플렌옵틱 이미지 데이터에 의해 캡처된 초점 심도들의 범위를 통해 이미지를 동적으로 재포커싱할 수 있으며 플렌옵틱 이미지 데이터에 의해 캡처된 시점들의 범위를 통해 이미지의 시점을 동적으로 조정할 수 있다. 사용자가 이미지의 초점 및/또는 시점을 조정하기 위해 커맨드들을 입력하기 때문에, 플랫 렌더링 모듈 (246) 은 이미지 프로세서 (220) 가 사용자 커맨드들에 응답하고 업데이트된 이미지를 렌더링하게 하는 명령들을 포함할 수 있다. 일부 실시형태들에 있어서, 플랫 렌더링 모듈 (246) 은 사용자 입력에 기초하여 3 차원 또는 입체적 이미지를 출력하고 이미지를 업데이트하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수 있다.

오퍼레이팅 시스템 모둘 (250) 은 디바이스 (200) 의 프로세싱 리소스들 및 작업 메모리 (265) 를 관리하도록 이미지 프로세서 (220) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (250) 은 카메라 어셈블리 (201) 와 같은 하드웨어 리소스들을 관리하기 위해 디바이스 드라이버들을 포함할 수도 있다. 이에 따라, 일부 실시형태들에 있어서, 위에서 논의된 이미징 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접 상호작용하지 않을 수도 있지만, 오퍼레이팅 시스템 컴포넌트 (250) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 오퍼레이팅 시스템 (250) 내의 명령들은 그 후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (250) 은 또한 디바이스 프로세서 (225) 와 정보를 공유하도록 이미지 프로세서 (220) 를 구성할 수도 있다.

디바이스 프로세서 (255) 는 캡처된 이미지 또는 캡처된 이미지의 프리뷰를 사용자에게 디스플레이하기 위해 디스플레이 (260) 를 제어하도록 구성될 수도 있다. 디스플레이 (260) 는 이미징 디바이스 (200) 외부에 있을 수도 있거나 이미징 디바이스 (200) 의 부분일 수도 있다. 디스플레이 (260) 는 또한 이미지를 캡처하기 전에 사용자에 대해 프리뷰 이미지를 디스플레이하는 뷰 파인더를 제공하도록 구성될 수도 있으며, 또는 사용자에 의해 최근에 캡처된 또는 메모리에 저장된 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (260) 는 LCD 또는 LED 스크린을 포함할 수도 있고, 터치 감응형 기술들을 구현할 수도 있다.

디바이스 프로세서 (255) 는 데이터, 예를 들어 캡처된 이미지들을 나타내는 데이터를 스토리지 모듈 (270) 에 기입할 수도 있다. 스토리지 모듈 (270) 이 전형적인 디스크 디바이스로서 그래픽으로 나타나 있지만, 당업자는 스토리지 모듈 (270) 이 임의의 저장 매체 디바이스로서 구성될 수도 있다는 것을 이해하게 된다. 예를 들어, 스토리지 모듈 (270) 은 디스크 드라이브, 예컨대 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 자기 광학 디스크 드라이브, 또는 고체 상태 메모리, 예컨대 플래시 (FLASH) 메모리, RAM, ROM, 및/또는 EEPROM 을 포함할 수도 있다. 스토리지 모듈 (270) 은 또한 다중 메모리 유닛들을 포함할 수도 있고, 이 메모리 유닛들 중 어느 하나는 이미지 캡처 디바이스 (200) 내에 있도록 구성될 수도 있고, 또는 이미지 캡처 디바이스 (200) 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (270) 은 이미지 캡처 디바이스 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 스토리지 모듈 (270) 은 또한, 카메라로부터 탈착가능할 수도 있는 캡처된 이미지들을 저장하도록 구성된 고속 메모리들 또는 메모리 카드들을 포함할 수도 있다. 스토리지 모듈 (270) 은 또한 디바이스 (200) 외부에 있을 수도 있고, 일 예에서 디바이스 (200) 는 예를 들어 네트워크 접속을 통해 스토리지 모듈 (270) 에 데이터를 무선으로 송신할 수도 있다.

도 2 는 프로세서, 이미징 센서, 및 메모리를 포함하도록 별도의 컴포넌트들을 갖는 디바이스를 도시하지만, 당업자는 이들 별도의 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있다는 것을 인식하게 된다. 예를 들어, 대안의 실시형태에 있어서, 메모리 컴포넌트들은, 예를 들어 비용을 절약하고 및/또는 성능을 개선하기 위해서, 프로세서 컴포넌트들과 결합될 수도 있다.

부가적으로, 도 2 는 수개의 모듈들을 포함하는 메모리 컴포넌트 (230) 및 작업 메모리를 포함하는 별도의 메모리 (265) 를 포함한, 2 개의 메모리 컴포넌트들을 도시하지만, 당업자는 상이한 메모리 아키텍처들을 활용하는 몇몇 실시형태들을 알것이다. 예를 들어, 설계는 메모리 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (220) 에 의한 실행을 용이하게 하기 위해 RAM 으로 로딩될 수도 있다. 예를 들어, 작업 메모리 (265) 는 RAM 메모리를 포함할 수도 있고, 명령들은 프로세서 (220) 에 의한 실행 전에 작업 메모리 (265) 로 로딩된다.

예시의 라돈 포토그라피 프로세스의 개요

도 3 은 라돈 포토리소그라피 프로세스 (300) 의 일 실시형태를 도시한다. 프로세서 (300) 는 도 2 에 관하여 위에서 기재된, 라돈 포토그라피 모듈 (240) 및 그 서브컴포넌트들에 의해 실행되는 것으로 기재된다. 하지만, 이것은 예시의 목적들을 위해서이고 라돈 포토리소그라피 능력들을 갖는 임의의 디바이스 또는 시스템에 의해 실행될 수 있는, 프로세스 (300) 를 제한하는 것을 의미하지 않는다.

블록 (305) 에서, 라돈 포토그라피 모듈 (240) 은 예를 들어, 도 1a 내지 도 1d 에 의해 나타낸 플렌옵틱 카메라들 (100a-100d) 중 임의의 것 또는 플렌옵틱 또는 라이트 필드 이미지 데이터를 캡처할 수 있는 임의의 다른 카메라일 수 있는, 플렌옵틱 카메라 어셈블리 (201) 로부터, 플렌옵틱 이미지 데이터를 수신할 수 있다. 일부 실시형태들에서, 라돈 포토그라피 모듈 (240) 은, 이미지 캡처 후, 플렌옵틱 이미지의 완전 세트를 수신할 수도 있다. 다른 실시형태들에서, 라돈 포토그라피 모듈 (240) 은 이미지 캡처 동안 플렌옵틱 이미지 데이터를 수신할 수도 있다. 예를 들어, 라돈 포토그라피 모듈 (240) 은 일 예에서 미리결정된 인터그레이션의 평면들에 대응하는 부분들에서 플렌옵틱 이미지 데이터를 수신할 수도 있다.

블록 (310) 에서, 라돈 포토그라피 모듈 (240) 의 라돈 이미지 생성기 (242) 는 입력 플렌옵틱 이미지 데이터로부터 라돈 이미지를 생성할 수 있다. 예를 들어, 라돈 이미지 생성기 (242) 는 하나 이상의 인터그레이션의 평면들에서 광선들의 값의 인터그레이션을 계산하기 위해 라돈 변환을 적용할 수 있다.

일 실시형태에서, 시감 농도

가 주어지면, 라돈 이미지

는 모든 가능한 평면들에 걸쳐 함수 값을 인터그레이팅하는 것에 의해 산출될 수 있다. 다른 실시형태에서, 모든 가능한 평면들의 서브세트는 라돈 이미지

를 산출하기 위해 식별될 수 있다. 인터그레이션의 평면(들) 은 플렌옵틱 카메라의 센서 평면에 법선인 평면들이고 센서 평면과 교차할 수 있으며, 인터그레이션의 평면(들) 의 포지션 및 위치는 센서의 각각의 별개의 화소 (또는 마이크로렌즈 어레이에 의해 센서 상에 형성된 각각의 별개의 마이크로이미지) 가 적어도 하나의 인터그레이션의 평면에 의해 샘플링되도록 센서의 구성에 기초하여 결정될 수 있다.

3 차원들에서의 라돈 변환은,

로서 표현될 수 있다.

파라미터들

로 주어진 평면의 파라미터화는, 라돈 이미지로부터 이미지들을 렌더링하기 위해 사용된 역 라돈 변환을 산출하기 위해 일부 실시형태들에서 이로울 수 있다. 따라서, 극좌표들에서 정의된 평면에 대한 라돈 변환은 하기의 식 (4) 로서 표현될 수 있다:

라돈 포토그라피 기법의 예는 평면에 포함되는 모든 광선들을 효과적으로 인터그레이팅하고 그 후 블록 (315) 에 관하여 더 상세하게 설명될 바와 같이, 역 라돈 변환 (즉, 식들 (3) 또는 (4) 의 역) 을 적용할 수 있다.

블록 (315) 에서, 라돈 포토그라피 모듈 (240) 의 시감 농도 계산기 (244) 는 지점을 통과하는 라돈 이미지의 모든 평면들에 걸쳐 합산할 수 있다. 이것은 라돈 이미지의 역 투영을 계산할 수 있다. 예를 들어, 시감 농도 계산기 (244) 는 하기 식 (5) 에 기재된 바와 같이 라돈 이미지에 역 라돈 변환을 적용할 수 있다. 시감 농도 계산기 (244) 는 입력 라돈 이미지

를 취하고 시감 농도

를 재생할 수 있다. 역 푸리에 변환 (inverse Fourier transform) 및 푸리에 슬라이스 정리 (Fourier Slice Theorem) 를 적용하는 것에 의해, 역 라돈 변환을 결정하기 위한 표현은

일 수 있다:

식중, r 은

로 주어진다.

특히, 식 (5) 는 푸아송 방정식 (Poisson equation) 과 동일한 형태를 갖는다. 따라서, 라돈 이미지의 역 투영은,

로서 표현될 수 있다:

식중, r 은 식 (6) 으로 주어지고,

는 역 투영된 라돈 이미지를 나타낸다. 일부 실시형태들에서,

는 실제 함수의 버리드 버전 (burred version) 처럼 보일 수 있다.

블록 (320) 에서, 시감 농도 계산기 (244) 는 이미지 장면의 원래 시감 농도 또는 그 근사치를 복구하기 위해서, 역 투영

에 가우시안의 3 차원 라풀라시안을 적용할 수 있다. 일부 실시형태들에서, 이것은 디노이징 후에 가상 광 소스들의 밀도를 제공할 수 있는, 원래 함수

의 노이지 버전을 생성할 수 있다. 따라서, 일부 실시형태들에서, 시감 농도 계산기 (244) 는 가우시안의 3 차원 라플라시안을 적용한 후 역 투영

에 대해 디노이징을 수행할 수 있다.

블록 (325) 에서, 라돈 포토그라피 모듈 (240) 은 예를 들어 동적 초점 및 우세 지점으로 이미지를 렌더링하기 위한 일 실시형태에서, 플렌옵틱 데이터의 시감 농도를 출력할 수 있다. 이미지 평면 상으로 시감 농도를 투영하는 것은 상이한 초점의 심도 또는 상이한 우세 지점들에서 타겟 이미지 장면의 이미지들을 생성할 수 있다. 일 실시형태에서, 플랫 렌더링 모듈 (246) 은 시감 농도로부터 이미지들의 렌더링을 수행할 수 있다. 다른 실시형태에서, 라돈 포토그라피 모듈 (240) 은 저장을 위해 시감 농도를 출력할 수 있다.

블록 (330) 에서, 플랫 렌더링 모듈 (246) 은 이미지 장면의 동적으로 재포커스가능한 렌더링된 이미지를 생성하기 위해 이미지 평면 상으로 시감 농도를 투영할 수 있다. 렌더링된 이미지는 시감 농도에 기초하여 상이한 시점들로부터 및/또는 상이한 초점의 심도들을 갖는 이미지들이 렌더링될 수 있다는 사실에 기인하여 동일한 이미지 장면의 "동적으로 재포커스가능한" 것으로 지칭될 수 있다.

선택적 블록 (335) 에서, 플랫 렌더링 모듈 (246) 은 사용자 입력에 기초하여 렌더링된 이미지의 초점 및/또는 우세 지점을 조정할 수 있다. 예를 들어, 플랫 렌더링 모델 (246) 은 렌더링된 이미지의 초점의 심도 또는 렌더링된 이미지가 취해진 것으로 나타나는 우세 지점 중 하나 또는 양자를 조정하기 위해 사용자가 옵션을 선택한 것을 나타내는 사용자 입력의 표시를 디바이스 프로세서 (255) 로부터 수신할 수 있다.

예시의 라돈 이미지 생성 프로세스의 개요

도 4a 는 라돈 이미지 생성에서 사용될 수 있는 플렌옵틱 카메라 평면들 (400) 의 실시형태를 도시한다. 평면들 (400) 은 이미지 평면 (405), 마이크로렌즈 평면 (430), 인터그레이션의 평면 (415), 및 센서 평면 (435) 을 포함할 수 있다. 이미지 평면 (405) 은 이미지 평면, 예를 들어 플렌옵틱 카메라의 메인 렌즈의 초점을 통과하는 평면에 의해 형성된 평면을 나타낼 수 있다. 마이크로렌즈 평면 (430) 은 플렌옵틱 카메라의 마이크로렌즈 어레이를 통해 형성된 평면, 예를 들어 마이크로어레이의 렌즈들의 각각을 이등분하는 평면을 나타낼 수 있다. 인터그레이션의 평면 (415) 은 이미지 평면 (405) 및 마이크로렌즈 평면 (430) 의 양자와 교차하는 평면을 나타낼 수 있다. 인터그레이션의 평면 (415) 이 다른 평면들에 대해 소정의 위치에 도시되어 있지만, 일부 실시형태들에서, 인터그레이션의 평면 (415) 의 위치는 포토 센서의 파라미터들에 기초하여 달라질 수 있고, 부가적으로 인터그레이션의 다중 평면들이 하기에서 더 상세하게 논의될 바와 같이, 라돈 이미지를 생성하는데 사용될 수 있다. 센서 평면 (435) 은 플렌옵틱 카메라의 포토 센서의 표면에 의해 형성된 표면을 나타낼 수 있고, 마이크로렌즈 어레이 내에서 마이크로렌즈에 의해 형성된 마이크로이미지에 대응하는 복수의 영역들 (440) 을 포함할 수 있다.

수반된 오브젝트들의 보정 파라미터화는 라돈 이미지의 효율적인 산출을 보조할 수 있다. 일 실시형태에서, 2-평면 파라미터화는 라이트 필드들을 나타내기 위해 사용될 수 있으며, 여기서 첫번째 2 개의 파라미터들 (제 1 좌표) 은 이미지 평면 (405) 에 대한 고려하에서 광선 (420) 의 시작 지점의 위치를 나타내고 마지막 2 개의 파라미터들 (제 2 좌표) 는 마이크로렌즈 평면 (430) 상의 광선 (420) 의 종료 지점의 위치를 나타내며, 여기서 이미지 평면 (405) 및 마이크로렌즈 평면 (430) 은 거리 (A) 만큼 이격될 수 있다.

인터그레이션의 평면 (415) 에 놓인 광선들 (420) 에 걸쳐 인터그레이션을 산출하기 위해, 라돈 포토그라피 기법은 마이크로렌즈 라인 (425) 을 따라 놓인 마이크로렌즈들의 대응 마이크로이미지들 (440) 에서 이미지 라인 (410) 이 매핑되는 화소들을 결정할 수 있다. 일 실시형태에서, 각각의 마이크로렌즈는 하나의 마이크로이미지에 대응할 수 있고, 각각의 마이크로이미지는 이미지 센서의 하나의 화소에 대응할 수 있다. 다른 실시형태에서, 각각의 마이크로이미지는 이미지 센서의 복수의 화소들에 대응할 수 있다. 이미지 라인 (410) 은 인터그레이션의 평면 (415) 및 이미지 평면 (405) 의 교차지점을 통과하는 벡터를 나타낼 수 있다. 마이크로렌즈 라인 (425) 은 인터그레이션의 평면 (415) 및 마이크로렌즈 평면 (430) 의 교차지점을 통과하는 벡터를 나타낼 수 있다.

마이크로렌즈 라인 (425) 를 따라 놓인 화소들/마이크로이미지들을 위치시키기 위해서, 라돈 포토그라피 기법은 위의 식 (1) 을 사용하여 마이크로렌즈의 초점 길이를 산출할 수 있고 마이크로렌즈의 배율을 산출할 수 있다. 이것은, 일부 실시형태들에서, 마이크로렌즈 라인과 교차하는 어레이에서 각각의 마이크로렌즈에 대해 산출될 수 있어서, 라돈 포토그라피 기법이 인터그레이션의 평면에 놓인 광선들 (420) 에 대응하는 화소들을 위치시키는 것을 허용한다.

플렌옵틱 카메라에 대한 간단한 모델의 예가 도 4a 에 도시되어 있으며, 여기서 광선들은, 메인 렌즈를 통해 카메라에 진입한 후, 평면 P1 (405) 에서 실제 이미지를 형성한다. 이 이미지는 센서 평면 (435) 상으로 평면 P2 (430) 에 위치된 마이크로렌즈의 각각에 의해 재이미징된다. 라돈 포토그라피 기법은 임의의 평면 P (415) 에 놓이는 모든 광선들 (420) 에 걸친 총합을 결정할 수도 있다.

평면 P (415) 에 놓인 광선들의 인터그레이션을 산출하기 위해, 센서 평면 (435) 상에서 대응 화소들을 결정하기 위한 것이 필요하며, 여기서 광선들은 마이크로렌즈들의 각각에 의해 매핑된다. 이러한 목적을 위해, 라돈 포토그라피 기법은

에 배치된, 임의의 마이크로렌즈에 의해 생성된 바와 같은 라인

(410) 의 이미지를 결정할 수 있다. 라인

의 식은,

로 주어질 수 있다.

유사하게, 라인

의 식은,

로 주어질 수 있다.

에 배치된 마이크로렌즈에 의한 지점

의 이미지는,

로 주어질 수 있다.

식중, M 은 마이크로렌즈의 배율이다. 위의 식들로부터 x 및 y 의 값을

의 형태로 기입된 라인

(410) 의 식으로 치환하면,

를 얻는다.

식 (11) 에 대하여, 근원 (origin) 은 센서 평면 (430) 및 마이크로렌즈 평면 (430) 의 광축의 교차에서 고정되며, M 은 마이크로렌즈 배율이고, m 은 마이크로렌즈 라인 (425) 의 기울기와 같으며,

.

라돈 이미지

는 평면 P (415) 에 의해 교차되는 각각의 마이크로렌즈에 대해, 식 (11) 로 나타낸 라인 상에 놓이는 모든 화소들에 걸친 총합으로 획득될 수 있다. 이들 화소들은 도 4a 에서 교차의 라인 (445) 으로 나타낸다.

도 4b 는 라돈 이미지 생성에서 사용될 수 있는 마이크로이미지들 (440) 또는 화소들의 세트의 실시형태를 도시한다. 도 4b 는 교차 라인 (445) 이 위의 식들 (8) 내지 (11) 에 따라 결정되면, 플렌옵틱 카메라 포토 센서의 복수의 마이크로이미지들 또는 화소들 (440) 로부터 마이크로이미지들 또는 화소들 (440) 의 세트가 어떻게 선택될 수 있는지의 일 예를 도시한다. 도시된 예에서, 라인 (445) 이 통과하는 각각의 마이크로이미지/화소 (오렌지 컬러를 사용하여 도시됨) 는 셰이딩된 마이크로이미지들 (450) 로 나타낸 바와 같이, 인터그레이션 (415) 의 대응 평면의 라돈 변환을 산출하기 위해 선택될 수 있다. 라돈 변환은 선택된 마이크로이미지들 (450) 의 화소값들을 사용하여 계산될 수 있다. 도 4b 는 화소 강도 값들을 가산하는 것에 의해 행해질 수 있는, 주어진 마이크로이미지에서 화소들 (450) 에 걸쳐 인터그레이팅하는 일 예를 도시한다. 라돈 이미지

를 산출하기 위해서, 도 3 의 블록 (315) 에 대해 위에서 논의된 바와 같이, 인터그레이션의 다중 평면들이 사용된다.

도 4c 는 라돈 이미지 생성에서 사용될 수 있는 인터그레이션의 라인들 (460) 의 실시형태를 도시한다. 인터그레이션의 라인들 (460) 은 복수의 교차 라인들에 대응할 수 있으며 - 즉, 센서 평면 (435) 상으로의 이미지 라인들/마이크로렌즈 라인들의 매핑- 그리고 이에 따라 라돈 이미지

를 생성하기 위해 사용된 복수의 인터그레이션의 평면들의 에지들을 나타낼 수 있다.

도 4c 에 나타낸 바와 같이, 복수의 인터그레이션의 라인들 (460) 은,

(455) 가 달라지는 스텝들이 충분히 높을 때 플렌옵틱 카메라의 마이크로렌즈들에 대응하는 별개의 마이크로이미지들 (440) 을 샘플링한다. 각각의 마이크로이미지 (440) 가 적어도 하나의 인터그레이션의 라인 (460) 에 의해 샘플링되는 것을 보장하기 위한 하나의 방식은, 센서 평면 (435) 의 적어도 하나의 보더 (border)(여기에서는 대략 각각의 마이크로이미지 (440) 의 외부 에지의 중심에서 종료하는 것으로 도시되며, 외부 에지는 센서 평면 (435) 의 보더임) 를 따라 각각의 마이크로이미지들 (440) 에 대해 센서 평면 (435) 상의 시작 지점으로부터 라인들 (여기에서는 센서 평면 (435) 의 코너로서 도시됨) 을 생성하는 것이다. 인접 라인들의 각각의 쌍에 의해 형성된 각도들이 측정될 수 있고, 최소 각도는 스텝 사이즈

(455) 로서 선택될 수 있다. 이것은

에 대한 스텝 사이즈를 결정하는 일 예를 나타낸다.

위의 식들에 있어서 파라미터들

및

에 대한 스텝 사이즈 및 시작 및 종료 값들에 대한 선택들은 라이트 필드 공간의 샘플링을 결정할 수 있다. 파라미터

는 플렌옵틱 센서에 걸친 인터그레이션의 라인들 사이의 스텝 사이즈를 나타낼 수 있다.

에 대한 스텝 사이즈를 결정하기 위한 일 실시형태는 도 4c 를 참조하여 위에 기재되어 있다. 다른 실시형태에 있어서,

는 0 360 으로부터 1 도 사이즈의 스텝들에서 변화된다. 이러한 샘플링은 75X75 면적을 갖는 플렌옵틱 센서를 사용하여 캡처된 이미지들에 대한 일 예에서 충분할 수 있다. 더 조밀한 샘플링 (예를 들어

에 대해 더 작은 스텝 사이즈) 은 동일한 화소들의 세트를 샘플링하는 인접 라인들로 인해 부가 정보를 제공하지 않을 수도 있어서, 리던던트 정보, 라돈 이미지에 대한 더 큰 데이터 사이즈, 더 큰 프로세서 사용량, 및 더 긴 실행 시간을 유도한다.

평면들을 파라미터화하기 위해 사용된 구 (sphere) 의 중심인, 근원에 대한 위치의 선정은 라돈 변환을 위해 필요한 산출에 영향을 미칠 수 있다. 메인 렌즈에 의해 이미징된 대로 장면의 포인트 클라우드의 중심에서 근원을 위치시키는 것은 아주 조금 더 우수한 품질의 샘플링을 제공할 수도 있지만, 중심을 정확히 산출하는 것은 비용이 높을 수 있고 필요하지 않을 수도 있다. 따라서, 일부 실시형태들은 중심을 산출할 수 있는 한편, 다른 실시형태들은 다음의 식을 사용하여 중심을 근사화할 수 있다:

식중,

및

은 마이크로렌즈 어레이에 관한 고려하에서 장면에 대한 배율의 최소 및 최대 값들이고, B 는 마이크로렌즈 평면 (430) 과 센서 평면 (435) 사이의 거리를 나타낸다. 마이크로렌즈 어레이에 관하여 주어진 지점의 대략적인 배율을 산출하는 일 예는 배수 사이의 비율로 주어지며, 그 지점은 마이크로이미지에서의 수평 화소들의 수 및 로우에서 반복된다.

파라미터

은 인터그레이션의 평면에 또한 수직인 근원을 통과하는 벡터를 나타낼 수 있다. 일 실시형태에서

가 가질 수 있는 최대 값

은 수직 및 수평 방향들에서 화소들의 수로부터 결정된, 센서 상에 형성된 이미지의 대각선의 길이이다. 일 실시형태에서, 더 작은 스텝 사이즈는 하나의 화소의 센서 공차에 기인하는 라돈 이미지로부터의 플렌옵틱 함수의 재구성을 현저하게 개선할 수 없을 수도 있기 때문에,

은 1 과

사이 중 하나의 스텝들에서 달라질 수 있다. 하지만, 더 작은 스텝 사이즈는 더 조밀한 샘플링으로 인해 실행 시간에서의 상당한 증가에 기여할 수도 있다.

파라미터

는 3 차원 이미지 장면에 매핑된 (x,y,z) 좌표계에서 벡터

및 z 축 사이의 각도를 나타낼 수 있다. 위의 식들에서,

가 변화되는 간격은 3 차원 타겟 이미지 장면을 나타내는 데이터에서 z 축을 따르는 깊이 값들과의 그 연관성으로 인해 재포커싱에 실질적으로 기여한다. 일 실시형태에서,

는 1 의 스텝 사이즈로 80 과 100 사이에서 변화될 수 있다.

도 5 는 입력된 라이트 필드 데이터로부터 라돈 이미지를 생성하기 위한 프로세스 (500) 의 실시형태를 도시한다. 프로세스 (500) 는 도 2 에 관하여 위에 기재된, 라돈 포토그라피 모듈 (240) 및 그 서브컴포넌트들에 의해 실행되는 것으로 기재된다. 하지만, 이것은 예시적인 목적을 위해서이며 라돈 포토그라피 능력들을 갖는 임의의 디바이스 또는 시스템에 의해 실행될 수 있는 프로세스 (500) 를 제한하는 것으로 의미되지 않는다.

블록 (505) 에서, 라돈 포토그라피 모듈 (240) 은 예를 들어, 도 1a 내지 도 1d 로 나타낸 플렌옵틱 카메라들 (100a-100d) 중 임의의 것 또는 플렌옵틱 또는 라이트 필드 이미지 데이터를 캡처할 수 있는 임의의 다른 카메라일 수 있는, 플렌옵틱 카메라 어셈블리 (201) 로부터 플렌옵틱 이미지 데이터를 수신할 수 있다. 일부 실시형태들에서, 라돈 포토그라피 모듈 (240) 은 이미지 캡처 후에 플렌옵틱 이미지 데이터의 완전 세트를 수신할 수도 있다. 다른 실시형태들에서, 라돈 포토그라피 모듈 (240) 은 이미지 캡처 동안 플렌옵틱 이미지 데이터를 수신할 수도 있다. 예를 들어, 라돈 포토그라피 모듈 (240) 은 일 예에서 미리결정된 인터그레이션의 평면에 대응하는 부분들에서 플렌옵틱 이미지 데이터를 수신할 수도 있다.

블록 (510) 에서, 라돈 이미지 생성기 (242) 는 인터그레이션의 평면을 식별할 수 있다. 일부 실시형태들에서, 라돈 이미지 생성기 (242) 는 화소 사이즈와 같은 센서 파라미터들을 표시하는 데이터를 수신할 수 있고, 도 4c 에 관하여 위에 기재된 바와 같이, 센서 상에, 형성된 마이크로이미지 또는 센서의 각각의 개별 화소를 샘플링하기 위해 총괄적으로 동작하는 하나 이상의 인터그레이션의 평면들을 결정할 수 있다. 다른 실시형태들에서, 라돈 이미지 생성기 (242) 는 예를 들어, 데이터 스토어 (270) 로부터 그러한 정보를 취출하는 이미지 프로세서 (220) 으로부터, 인터그레이션의 평면들의 위치 및 개수를 표시하는 데이터를 수신할 수 있다. 예를 들어, 라돈 이미지를 생성하기 위해 필요한 인터그레이션의 평면 또는 평면들은 센서에 대해 미리결정될 수 있다. 일부 실시형태들에서, 블록 (510) 은 선택적일 수도 있다. 인터그레이션의 미리결정된 평면들은 인터그레이션의 평면과 교차하기 위해 미리결정된 마이크로이미지들 또는 화소들에 대해, 마이크로이미지들에 대응하는 화소들, 또는 복수의 화소들만을 스캔하기 위해 사용될 수 있고, 이러한 부분적인 플렌옵틱 이미지 데이터는 라돈 변환의 적용을 위해 라돈 포토그라피 모듈 (240) 로 전송될 수 있다.

블록 (515) 에서, 라돈 이미지 생성기 (242) 는 플렌옵틱 카메라의 마이크로렌즈 어레이 및 인터그레이션의 미리결정된 평면의 교차지점을 나타내는 마이크로렌즈 라인을 결정할 수 있다. 예를 들어, 마이크로렌즈 라인 (425) 은 도 4a 에 관하여 위에 도시되어 있다. 블록 (520) 에서, 라돈 이미지 생성기 (242) 는 센서 상의 특정 화소들 및/또는 마이크로이미지들에 마이크로렌즈 라인을 매핑할 수 있다. 일 예에서, 이것은 위에 기재된 식 (11) 에 의해 달성될 수 있다. 일부 실시형태들에서, 마이크로렌즈 라인들에 매핑된 화소들/마이크로이미지들 및 인터그레이션의 평면들 및 그 대응 마이크로렌즈 라인들은 이미지 캡처 보다 먼저 산출될 수 있고, 이 데이터는 입력 플렌옵틱 이미지 데이터로의 라돈 변환의 적용 동안 라돈 이미지 생성기 (242) 에 의해 취출될 수 있다. 추가 실시형태들에서, 미리결정된 마이크로렌즈 라인들에 매핑된 화소들을 표시하는 미리산출된 데이터는 센서에 의해 캡처될 때 세그먼트 데이터로서 사용될 수 있어서, 현재 인터그레이션의 평면과 관련된 화소 값들만을 라돈 이미지 생성기에 전송하며, 블록들 (515 및 520) 은 선택적일 수 있다.

블록 (525) 에서, 라돈 이미지 생성기 (242) 는 마이크로렌즈 라인에 매핑되는 화소 값들의 총합을 계산할 수 있다. 이것은 일 실시형태에서 마이크로렌즈 라인에 매핑되는 마이크로이미지 내에서 각각의 화소에 대한 마이크로이미지에 의해 개별적으로 행해질 수 있다. 일 예에서, 라돈 이미지 생성기 (242) 는 위의 식들 (3) 및 (4) 중 어느 하나를 사용하여 화소 값들의 총합을 계산할 수 있다.

일부 실시형태들에서, 라돈 이미지를 산출하기 위해 필요하게 될 각각의 결정된 인터그레이션의 평면에 대해, 위에 상세된 바와 같은 프로세스 (500) 가 반복될 수 있다.

프로세스 (500) 의 일부 실시형태들은 기존의 또는 저장된 플렌옵틱 이미지 데이터의 구조를 변경하기 위해 이미지 캡처 후 구현될 수 있다. 프로세스 (500) 의 다른 실시형태들은 캡처된 대로 플렌옵틱 이미지 데이터의 구조를 변경하기 위해 이미지 캡처 동안 구현될 수 있다. 예를 들어, 교차 라인들은, 도 4c 에 의해 도시된 바와 같이, 교차 라인들이 각각의 개별 화소 또는 마이크로이미지를 샘플링하도록 이미지 캡처 전에 미리결정될 수 있다. 교차 라인들에 대응하는 화소들은 위의 식 (11) 에 따라 결정될 수 있다. 이미지 캡처 동안, 포토 센서의 화소들은 대응 교차 라인들을 따라 라인들 또는 로우들에서 스캔될 수 있다. 일부 실시형태들은 각각의 교차 라인에 대해 순차적으로 화소들을 스캔할 수도 있고, 따라서 교차 라인들에 대응하는 각각의 인터그레이션의 평면에 대한 인터그레이션 값은 예를 들어, 화소 강도 값들에 적어도 부분적으로 기초하여 순차적으로 계산될 수 있다. 다른 실시형태들에서, 인터그레이션의 평면들에 대한 값들은 병렬로 산출될 수 있다. 그러한 화소들 또는 마이크로이미지들에 입사하는 광선들의 값들 (화소 값들로 나타냄) 은 식 (4) 에서 표현된 평면의 라돈 변환에 따라 합산되거나 인터그레이팅될 수 있다. 인터그레이션의 평면들에 걸친 광선들의 총합을 나타내는 결과의 값들은 라돈 이미지로서 저장될 수 있다. 일 실시형태에서, 라돈 이미지 데이터는 각각의 샘플링된 평면에 대해 하나의 값으로 값들의 어레이로서 나타낼 수 있으며, 어레이에서의 값들은 그 평면에 걸친 광선들의 총합이다.

라돈 이미지의 인터그레이션을 위한 예시의 프로세스의 개요

도 6 은 라돈 이미지로부터 플렌옵틱 이미지 데이터를 생성하기 위한 프로세스 (600) 의 실시형태를 도시한다. 프로세스 (600) 는 도 2 를 참조하여 위에 기재된, 라돈 포토그라피 모듈 (240) 및 그 서브컴포넌트들에 의해 실행되는 것으로 기재된다. 하지만, 이것은 예시의 목적들을 위해서이며, 라돈 포토그라피 능력들을 갖는 임의의 디바이스 또는 시스템에 의해 실행될 수 있는 프로세스 (600) 를 제한하는 것으로 의미되지 않는다.

블록 (605) 에서, 시감 농도 계산기 (244) 는, 예를 들어 스토리지 (270) 에 저장된 라돈 이미지를 취출하는 이미지 프로세서로부터 또는 라돈 이미지 계산기 (242) 로부터, 라돈 이미지 데이터를 취출할 수 있다. 라돈 이미지는 이미지 센서에 입사하는 광선들의 합산된 에너지에 관한 플렌옵틱 이미지 데이터의 전형적인 표현이기 보다는 플렌옵틱 카메라를 캡처하는 이미지 센서를 교차시키는 평면들에 걸쳐 합산된 에너지에 관한 플렌옵틱 함수의 표현일 수 있다.

블록 (610) 에서, 시감 농도 계산기 (244) 는 라돈 이미지의 역 투영을 통해 중간 함수를 계산할 수 있다. 일 실시형태에서, 이것은 위에 정의된 식 (7) 을 통해 달성될 수 있다. 역 투영은 3 차원 이미지 공간에서 각각의 평면 상에 정의된 라돈 이미지 함수를 취할 수 있고, 원래의 시감 농도를 재생하기 위해서 이미지 공간에 걸쳐 평면들을 투영한다. 일부 실시형태들에서, 역 투영은 원래의 플렌옵틱 함수의 블러리 버전일 수 있다.

블록 (615) 에서, 시감 농도 계산기 (244) 는 역 투영을 선명하게 하고 그것을 원래의 플렌옵틱 함수에 더 근접하게 가져오기 위해서 블러리 역 투영에 가우시안 연산자의 라플라시안을 적용할 수 있다. 하지만, 가우시안 연산자의 라플라시안의 적용은 일부 실시형태들에서 역 투영에 바람직하지 않은 노이즈를 부가할 수 있다.

따라서, 블록 (620) 에서, 시감 농도 계산기 (244) 는 원래의 플렌옵틱 함수를 복구하기 위해서 또는 원래의 플렌옵틱 함수를 실질적으로 복구하기 위해서, 가우시안 연산자의 라플라시안의 적용 후 역 투영을 디노이즈 (denoise) 할 수 있다.

구현 시스템들 및 용어

본 명세서에 개시된 구현들은 플렌옵틱 이미지 데이터부터 캡처하고 렌더링하기 위한 시스템들, 방법들 및 장치들을 제공한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합에서 구현될 수 있다는 것을 알 것이다.

일부 실시형태들에서, 위에 논의된 회로들, 프로세스들 및 시스템들은 무선 통신 디바이스에서 사용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하기 위해 사용된 전자 디바이스의 종류일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인용 디지털 보조기들 (PDA들), e-리더들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩탑 컴퓨터들, 테블릿 디바이스들 등을 포함한다.

무선 통신 디바이스는 하나 이상의 이미지 센서들, 2 이상의 이미지 신호 프로세서들, 명령들을 포함하는 메모리, 또는 위에 논의된 CNR 프로세스를 수행하기 위한 모듈들을 포함할 수도 있다. 디바이스는 또한 데이터, 메모리로부터의 데이터 및/또는 명령들을 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 예컨대 디스플레이 디바이스 및 전력 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 부가적으로 송신기 및 수신기를 포함할 수도 있다. 송신기 및 수신기는 송수신기로서 공동으로 지칭될 수도 있다. 송수신기는 무선 신호들을 송신하고 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.

무선 통신 디바이스는 또 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안으로 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩탑 또는 데스크탑 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 테블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스는 제 3 세대 파트너쉽 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 명명들을 달리하여 기재된 무선 통신 디바이스들 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등) 을 포함할 수도 있다.

본 명세서에 기재된 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 가용 매체를 지칭한다. 한정이 아닌 예시로서, 그러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM, 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 본 명세서에서 사용된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 컴팩 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이® 디스크를 포함하며, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 데이터를 레이저에 의해 광학적으로 재생한다. 컴퓨터 판독가능 매체는 유형일 수도 있고 비일시적일 수도 있다는 것을 유의해야 한다. 용어 "컴퓨터 프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행되고, 프로세싱되거나 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 조합하여 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.

소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 무선 기술들, 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 무선 기술들, 예컨대 적외선, 라디오 및 마이크로파가 송신 매체의 정의에 포함된다.

본 명세서에 개시된 방법들은 기재된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 벗어나지 않으면서 서로 상호교환될 수도 있다. 즉, 기재되어 있는 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 청구항들의 범위로부터 벗어나지 않으면서 수정될 수도 있다.

본 명세서에서 사용된 바와 같이 용어들 "커플", "커플링", 또는 "커플링된" 또는 단어 커플의 다른 변형들은 간접 접속 또는 직접 접속 중 어느 하나를 표시할 수도 있다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링된" 경우, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되거나 또는 제 2 컴포넌트에 직접적으로 접속될 수도 있다. 본 명세서에서 사용된 바와 같이, 용어 "복수" 는 2 이상을 지칭한다. 예를 들어, 복수의 컴포넌트들은 2 이상의 컴포넌트들을 나타낸다.

용어 "결정하는 것" 은 매우 다양한 액션들을 포함하고, 이에 따라 "결정하는 것" 은 계산하는 것, 산출하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 검색하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 검색하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어 메모리에서의 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.

구절 "기초하여" 는 달리 명백하게 특정되지 않으면. "단지 기초하여만" 을 의미하지 않는다. 즉, 구절 "기초하여" 는 "단지 기초하여만" 및 "적어도 기초하여" 의 양자를 기술한다.

위에 언급한 기재에 있어서, 특정 상세들은 예시들의 철저한 이해를 제공하기 위해 주어진다. 하지만, 당업자는 이들 특정 상세들 없이도 예시들이 실시될 수도 있다는 것을 이해할 것이다. 예를 들어, 전자 컴포넌트들/디바이스들은 불필요한 상세로 예시들을 모호하게 하지 않기 위해서 블록 다이어그램들로 나타낸다. 다른 경우들에서, 그러한 컴포넌트들, 다른 구조들 및 기법들은 예시들을 추가로 설명하기 위해 상세하게 나타낼 수도 있다.

참조를 위해 그리고 다양한 섹션들을 위치시키는 것을 보조하기 위해 제목들이 본 명세서에 포함된다. 이들 제목들은 그에 관하여 기재된 개념들의 범위를 한정하는 것으로 의도되지 않는다. 그러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.

예시들은 또한, 플로우챠트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램 또는 블록 다이어그램으로서 도시되는, 프로세스로서 기재될 수도 있다는 것을 유의한다. 플로우챠트가 순차적 프로세스로서 동작들을 기재할 수도 있지만, 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스가 반복될 수 있다. 부가적으로, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 때 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응할 때, 그 종료는 호출 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.

개시된 구현들의 이전 기재는 당업자가 본 발명을 제작하거나 사용하는 것을 가능하게 하기 위해 제공된다. 이들 구현들에 대한 다양한 수정들이 당업자에게 쉽게 자명할 것이고, 본 명세서에 정의된 일반적인 원리들은 발명의 사상 또는 범위로부터 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 이와 같이, 본 발명은 본 명세서에 나타낸 구현들에 제한되는 것으로 의도되는 것이 아니라 본 명세서에 개시된 신규한 피처들 및 원리들과 일치하는 최광 범위에 부합되는 것으로 의도된다.

Claims (30)

1. 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템으로서,
   마이크로렌즈 어레이 및 이미지 센서를 포함하는 플렌옵틱 카메라로서, 이미지 장면의 플렌옵틱 이미지 데이터를 캡처하도록 구성된, 상기 플렌옵틱 카메라; 및
   상기 플렌옵틱 카메라와 데이터 통신하는 하나 이상의 프로세서들을 포함하고,
   상기 하나 이상의 프로세서들은, 적어도,
   캡처된 상기 플렌옵틱 이미지 데이터를 수신하는 것으로서, 상기 캡처된 플렌옵틱 이미지 데이터는 상기 이미지 센서 상으로 상기 이미지 장면으로부터의 광을 포커싱하는 상기 마이크로렌즈 어레이에서의 복수의 마이크로렌즈들 중 하나에 의해 각각 형성된 복수의 마이크로이미지들을 포함하는, 상기 캡처된 플렌옵틱 이미지 데이터를 수신하고,
   상기 마이크로렌즈 어레이를 이등분하는 평면 내에 위치된 복수의 인터그레이션 (integration) 의 라인들을 결정하는 것으로서, 상기 복수의 인터그레이션의 라인들의 각각은 상기 이미지 장면의 3 차원 공간을 통해 연장하는 평면에 대응하는, 상기 복수의 인터그레이션의 라인들을 결정하며, 그리고
   상기 복수의 인터그레이션의 라인들에 대응하는 상기 플렌옵틱 이미지 데이터의 복수의 화소들에 적어도 부분적으로 기초하여 라돈 이미지를 생성하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
2. 제 1 항에 있어서,
   상기 하나 이상의 프로세서들은 또한, 상기 복수의 인터그레이션의 라인들의 각각에 대해, 상기 복수의 마이크로이미지들 중 적어도 하나의 대응 마이크로이미지에 상기 복수의 인터그레이션의 라인들 중 하나의 라인을 매핑하는 것에 의해 대응 이미지 라인을 결정하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
3. 제 2 항에 있어서,
   상기 하나 이상의 프로세서들은 또한, 상기 복수의 화소들과 상기 대응 이미지 라인의 교차에 적어도 부분적으로 기초하여 상기 복수의 화소들을 식별하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
4. 제 3 항에 있어서,
   상기 하나 이상의 프로세서들은 또한, 상기 복수의 인터그레이션의 라인들의 각각에 대해, 상기 대응 이미지 라인을 교차시키는 상기 복수의 화소들의 각각과 연관된 화소 값들의 총합을 결정하는 것에 의해, 복수의 합산된 화소 값들을 생성하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
5. 제 4 항에 있어서,
   상기 하나 이상의 프로세서들은 또한, 상기 복수의 합산된 화소 값들의 어레이로서 상기 라돈 이미지를 생성하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
6. 제 4 항에 있어서,
   상기 화소 값들은 강도 값들인, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
7. 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템으로서,
   라돈 이미지를 나타내는 데이터에 적어도 액세스하도록 구성된 제 1 모듈로서, 상기 라돈 이미지는 이미지 장면의 복수의 샘플링된 평면들의 각각의 샘플링된 평면에 대해, 상기 샘플링된 평면에서의 광 에너지의 총합을 나타내는, 상기 제 1 모듈;
   상기 라돈 이미지의 상기 복수의 샘플링된 평면들의 각각의 샘플링된 평면으로부터의 광 에너지의 총합을 인터그레이팅하는 것에 적어도 부분적으로 기초하여 상기 이미지 장면의 시감 농도 (luminous density) 를 적어도 결정하도록 구성된 제 2 모듈; 및
   상기 최종 이미지를 생성하기 위해 이미지 평면 상으로 상기 시감 농도를 적어도 투영하도록 구성된 제 3 모듈을 포함하는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
8. 제 7 항에 있어서,
   상기 최종 이미지는 캡처된 상기 이미지 장면의 상이한 초점의 심도 또는 상이한 시점들을 갖도록 조정될 수 있는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
9. 제 7 항에 있어서,
   상기 라돈 이미지는 상기 이미지 장면의 캡처된 플렌옵틱 이미지 데이터로부터 생성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
10. 제 9 항에 있어서,
    상기 캡처된 플렌옵틱 이미지 데이터는 상기 이미지 장면에서 오브젝트들로부터 이미지 센서 상에 입사하는 복수의 광선들의 강도에 관하여 상기 이미지 장면의 라이트 필드 (light field) 를 표현하는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
11. 제 10 항에 있어서,
    상기 라돈 이미지는 상기 이미지 장면에 위치된 평면들에 포함된 에너지에 관하여 상기 라이트 필드를 표현하며, 상기 평면들은 상기 이미지 센서를 교차시키는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
12. 제 9 항에 있어서,
    상기 제 1 모듈은 또한, 상기 캡처된 플렌옵틱 이미지 데이터를 수신하고 상기 캡처된 플렌옵틱 이미지 데이터로부터 상기 라돈 이미지를 생성하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
13. 제 9 항에 있어서,
    상기 이미지 장면의 플렌옵틱 이미지 데이터의 캡처를 위해 구성된 플렌옵틱 카메라를 더 포함하는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
14. 제 13 항에 있어서,
    상기 플렌옵틱 카메라는 메인 렌즈, 복수의 마이크로렌즈들을 포함하는 마이크로렌즈 어레이, 및 이미지 센서를 포함하는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
15. 제 14 항에 있어서,
    상기 복수의 마이크로렌즈들은 각각 마이크로스피어를 포함하는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
16. 제 7 항에 있어서,
    상기 제 1 모듈은 데이터 스토어로부터 상기 라돈 이미지를 취출하는 것에 의해 상기 라돈 이미지를 나타내는 데이터에 액세스하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
17. 제 7 항에 있어서,
    상기 제 2 모듈은 상기 라돈 이미지의 역 투영을 계산하는 것에 적어도 부분적으로 기초하여 상기 이미지 장면의 시감 농도를 결정하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
18. 제 17 항에 있어서,
    상기 제 2 모듈은 또한, 가우시안 연산자의 라플라시안을 상기 역 투영에 적어도 적용하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
19. 제 18 항에 있어서,
    상기 제 2 모듈은 또한, 상기 가우시안 연산자의 라플라시안을 적용한 후 상기 역 투영을 적어도 디노이즈 (denoise) 하도록 구성되는, 최종 이미지를 렌더링하기 위한 전자 디바이스에서의 시스템.
20. 플렌옵틱 이미지 데이터를 압축하기 위한 방법으로서,
    마이크로렌즈 어레이 및 이미지 센서를 갖는 플렌옵틱 카메라로부터 3 차원 이미지 공간의 플렌옵틱 이미지를 나타내는 데이터의 적어도 일부를 수신하는 단계;
    마이크로렌즈 평면을 교차시키는 인터그레이션의 평면을 식별하는 단계로서, 상기 마이크로렌즈 평면은 상기 마이크로렌즈 어레이를 이등분하는, 상기 식별하는 단계;
    상기 마이크로렌즈 평면으로부터 제 1 거리에 위치된 이미지 평면 및 상기 인터그레이션의 평면을 교차시키는 이미지 라인을 결정하는 단계;
    상기 마이크로렌즈 평면 및 상기 인터그레이션의 평면을 교차시키는 마이크로렌즈 라인을 결정하는 단계;
    상기 마이크로렌즈 및 마이크로렌즈 라인의 교차에 적어도 부분적으로 기초하여 상기 이미지 라인을 마이크로이미지에 매핑하는 단계로서, 상기 마이크로이미지는 상기 마이크로렌즈 어레이의 마이크로렌즈에 의해 상기 이미지 센서 상에 형성되는, 상기 매핑하는 단계; 및
    상기 마이크로이미지에서 복수의 화소들의 각각에 대해 화소 값들을 합산하는 단계로서, 상기 복수의 화소들은 상기 마이크로이미지에 매핑된 상기 이미지 라인을 따라 위치되는, 상기 합산하는 단계를 포함하는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
21. 제 20 항에 있어서,
    합산된 상기 화소 값들에 적어도 부분적으로 기초하여 라돈 이미지를 생성하는 단계를 더 포함하는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
22. 제 20 항에 있어서,
    상기 마이크로렌즈 어레이의 복수의 마이크로렌즈들의 각각은 상기 이미지 센서 상에 별개의 마이크로이미지를 형성하는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
23. 제 20 항에 있어서,
    극좌표계를 사용하여 상기 3 차원 이미지 공간을 파라미터화하는 단계를 더 포함하는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
24. 제 20 항에 있어서,
    상기 마이크로렌즈 평면을 교차시키는 복수의 인터그레이션의 평면들을 식별하는 단계를 더 포함하는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
25. 제 24 항에 있어서,
    상기 복수의 인터그레이션의 평면들은 그룹으로서 상기 복수의 인터그레이션의 평면들이 상기 이미지 센서의 복수의 센서 화소들의 각각을 샘플링하도록 포지셔닝되는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
26. 제 25 항에 있어서,
    상기 복수의 인터그레이션의 평면들 중 2 개의 인접 평면들의 교차에 의해 형성된 인접 라인들 사이의 스텝 사이즈는 상기 이미지 센서 상의 마이크로이미지들의 리던던트 샘플링을 최소화하도록 선택되는, 플렌옵틱 이미지 데이터를 압축하기 위한 방법.
27. 명령들을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은, 실행될 때, 하나 이상의 컴퓨팅 디바이스들로 하여금,
    이미지 장면의 라돈 이미지 데이터를 수신하는 것으로서, 상기 라돈 이미지 데이터는 상기 이미지 장면의 복수의 평면들의 각각에서 광 에너지의 합산된 값들로서 상기 이미지 장면의 시감 농도를 나타내는, 수신하는 것;
    상기 라돈 이미지의 역 투영을 사용하여 상기 라돈 이미지의 중간 함수를 산출하는 것;
    상기 라돈 이미지의 중간 함수에 적어도 부분적으로 기초하여 상기 이미지 장면의 상기 시감 농도를 복구하는 것; 및
    상기 이미지 장면의 동적으로 재포커스가능한 렌더링된 이미지를 생성하기 위해 이미지 평면 상으로 상기 시감 농도를 투영하는 것
    을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
28. 제 27 항에 있어서,
    상기 동작들은 상기 중간 함수를 산출하기 위해 상기 라돈 이미지의 역 투영에 라플라시안 연산자를 적용하는 것을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
29. 제 28 항에 있어서,
    상기 동작들은 상기 중간 함수를 산출하기 위해 상기 라돈 이미지의 역 투영을 디노이즈하는 것을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
30. 제 27 항에 있어서,
    사용자 입력에 응답하여 상기 동적으로 재포커스가능한 렌더링된 이미지의 초점 심도를 조정하는 것을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.

Images