KR20180000696A

KR20180000696A - 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치

Info

Publication number: KR20180000696A
Application number: KR1020170079757A
Authority: KR
Inventors: 쥐르겐 스토데; 브누아 방담; 세드릭 떼보
Original assignee: 톰슨 라이센싱
Priority date: 2016-06-23
Filing date: 2017-06-23
Publication date: 2018-01-03
Also published as: CN108305293A; US20170374345A1; US10594999B2; JP2017229067A; EP3264761A1

Abstract

적어도 하나의 라이트필드 카메라(1)를 사용하여 입체 이미지 쌍을 생성하는 방법은: 좌측 뷰(41) 및 우측 뷰(42)에 대한 각자의 요구된 카메라 파라미터를 수신하는 단계 - 요구된 카메라 파라미터는 이론적인 스테레오 이미지 쌍을 정의함 -; 라이트필드 카메라들(1)에 의해 포착된 이미지에 기초하여 생성되는 각자의 서브 어퍼처 이미지들(411, 421; 400)에 대한 각자의 실제 카메라 파라미터들을 취득하는 단계(S3); 좌측 뷰(41)에 대한 요구된 카메라 파라미터를 각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들과 비교함으로써 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(L4)를 결정하는 단계(S5); 우측 뷰(42)에 대한 요구된 카메라 파라미터를 각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들과 비교함으로써 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(R4)를 결정하는 단계(S5); 및 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(L4)와 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(R4)를 입체 이미지 쌍으로서 연관시키는 단계(S6)를 포함한다.

Description

적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치{A METHOD AND APPARATUS FOR CREATING A PAIR OF STEREOSCOPIC IMAGES USING LEAST ONE LIGHTFIELD CAMERA}

본 개시내용은 일반적으로 이미징 분야에 관한 것으로서, 보다 상세하게는 플렌옵틱 카메라(plenoptic camera)들을 사용하는 라이트필드 이미징 기법들에 관한 것이다.

이 섹션은, 이하에서 기술되고 그리고/또는 청구되는 본 개시내용의 다양한 양태들에 관련되어 있을 수 있는, 기술 분야의 다양한 양태들을 읽는 사람에게 소개하기 위한 것이다. 이 논의는 본 개시내용의 다양한 양태들의 보다 나은 이해를 용이하게 하기 위해 배경 정보를 읽는 사람에게 제공하는 데 도움이 될 것으로 생각된다. 그에 따라, 이 서술들이 종래 기술의 인정으로서가 아니라 이 관점에서 읽혀져야 한다는 것이 이해되어야 한다.

스테레오(또는 다중 뷰) 이미징의 프레임워크에서, 스테레오(또는 다중 뷰) 비디오 콘텐츠는 3D 지원 화면에서 생성, 처리 및 재생될 필요가 있다. 스테레오 비디오 콘텐츠를 처리하는 것은 3D 정보의 생성 또는 향상(예를 들어, 시차 추정(disparity estimation))을 가능하게 한다. 이는 또한 3D 정보를 사용하여 2D 이미지들을 향상시키는 것(예를 들어, 뷰 보간(view interpolation))을 가능하게 한다.

통상적으로, 스테레오 비디오 콘텐츠는 2개(또는 그 이상)의 포착된 2D 비디오들로부터 생성된다. 2D 비디오들은 시계열의 프레임들을 갖는 고전적인 의미에서의 비디오들이고, 각각의 프레임은 픽셀들의 라인들로 이루어진 고전적인 2D 이미지이다. 각각의 픽셀은, 색 공간에서의 색 좌표들에 의해 정의되는, 색상을 갖는다. 일반적으로, 스테레오 이미징은 2개 초과의 2D 비디오들이 장면으로부터 포착되는 다중 뷰 이미징이다. 스테레오 이미징은 또한 3D 모델들 및 컴퓨터 그래픽들로부터 합성 방식으로 생성될 수 있다. 이러한 방식으로, 애니메이션이 생성되어, 입체 이미지들 및 다수의 뷰들을 갖는 다른 관련 이미지들이 얻어질 수 있다.

도 1은 다수의 뷰들을 생성하는 종래의 프로세스를 도시한 것이다. 원시 이미지 뷰들(33)을 생성하기 위해 리그 출력(rig output) 상에 고정되어 있는 몇몇 종래의 2D 카메라들(22)이 도시되어 있다. 일 실시예에서, 카메라 캘리브레이션 모듈(44)은 카메라 캘리브레이션을 수행한다. 이 캘리브레이션은 포착된 원시 이미지 뷰들(33)에 기초하여 외부 및 내부 카메라 파라미터들의 추정을 제공한다. 이어서, 뷰 생성기 모듈(55)은 캘리브레이션된 뷰들(66)을 생성한다.

각각의 카메라는 외부 및 내부 파라미터들에 의해 정의된다. 외부 파라미터들은 월드 좌표계(world-coordinate system)로 표현되고 카메라의 위치 및 배향을 정의한다. 외부 파라미터들은 3D 회전 행렬(3D rotation matrix) R 및 3D 이동 벡터(3D translation vector) t를 포함한다. 내부 카메라 파라미터들은 초점 거리 f와 이미지 평면에서의 주점(principal point)의 좌표들 p_x,p_y를 포함한다.

예를 들어, 핀 홀 카메라(pin hole camera)의 경우, 동차 장면-월드 좌표(homogeneous scene-world-coordinate)들로 된 점

이 x=PX에 따라 이미지 위치

상으로 투영되고, 여기서 P는 P=K[R|Rt]에 따른 카메라 행렬이고 여기서 R은 3x3 회전 행렬이며, t는 3D 이동 벡터이고,

여기서 K는

2개의 파라미터를 갖는

또는

3개의 파라미터를 갖는

, 또는

4개의 파라미터를 갖는

에 따라 정의되는 카메라 캘리브레이션 행렬이다.

카메라 캘리브레이션은, 예를 들어, 동차 장면-월드 좌표들로 된 위치들

에 있는 기지의 특징점들을 갖는 캘리브레이션용 객체 및 동차 좌표(homogeneous coordinate)들을 갖는 위치들

에 있는 이미지 평면에의 특징점들의 투영들을 사용하여, 수행될 수 있다. 카메라 파라미터들은 Richard Hartley와 Andrew Zissermann이 2004년 3월 24일에 Cambridge press에서 출간한 "Multiple view geometry in computer vision"이라는 제목의 저서에서 기술한 방법에 따라 추정될 수 있다.

다중 뷰 이미징에서의 기지의 처리의 다음 단계는 뷰 조정(view rectification)이다. 조정은 스테레오 리그(stereo rig) 상의 카메라들에 의해 촬영된 뷰들(2개 이상의 뷰들)을 지오메트리들이 보정된 뷰들로 변환(transform)하는 데 필요한 단계이다. 뷰들의 조정을 수행하는 것에 의해, 각각의 뷰가 동일한 이미지 평면을 갖는 카메라들에 의해 촬영된 것처럼 보이도록 뷰들의 지오메트리를 보정한다. 그렇지만, 조정에 대한 몇몇 제한들이 있다. 예를 들어, 수직 시차는 뷰들을 회전시키는 일 - 이는 대부분의 경우에 용인될 수 없음 - 이 없이는 쉽게 보정될 수 없다. 수직 시차는, 예를 들어, 카메라들의 광학 중심들이 수평으로 정렬되지 않은 경우에 - 즉, 상이한 수직 위치들을 가지는 경우에 - 나타난다.

수직 시차와 관련된 이 문제는, 예를 들어, Simon Reeve 등에 의해 2010년에 BskyB의 백서로서 그의 프레젠테이션 "Basic principles of stereoscopic 3D"에서 설명되고 있다. 수직 시차는 수직 방향에서 동일한 위치 또는 주시 방향(viewing direction)을 갖지 않는 카메라들에 의해 야기된다. 스테레오 카메라들의 리그들이 기계적으로 캘리브레이션되더라도, 잔여 수직 오정렬(residual vertical misalignment)이 종종 남아 있다. 수직 오정렬은 스테레오 콘텐츠를 보는 데 문제들을 발생시킨다.

본 원리들에 따르면, 적어도 하나의 라이트필드 카메라(lightfield camera)를 사용하여 입체 이미지 쌍을 생성하는 방법은: 좌측 뷰 및 우측 뷰에 대한 각자의 요구된 카메라 파라미터를 취득하는 단계 - 요구된 카메라 파라미터는 이론적인 스테레오 이미지 쌍을 정의함 -; 라이트필드 카메라에 의해 포착된 이미지에 기초하여 생성되는 각자의 서브 어퍼처 이미지(sub aperture image)들에 대한 각자의 실제 카메라 파라미터들을 취득하는 단계; 좌측 뷰에 대한 요구된 카메라 파라미터를 각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들과 비교함으로써 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지를 결정하고 우측 뷰에 대한 요구된 카메라 파라미터를 각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들과 비교함으로써 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지를 결정하는 단계; 및 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지와 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지를 스테레오 쌍 이미지들로서 연관시키는 단계를 포함한다.

본 원리들은 또한 좌측 뷰 및 우측 뷰에 대한 각자의 요구된 카메라 파라미터를 취득하는 단계 - 요구된 카메라 파라미터는 이론적인 스테레오 이미지 쌍을 정의함 -; 라이트필드 카메라에 의해 포착된 이미지에 기초하여 생성되는 각자의 서브 어퍼처 이미지들에 대한 각자의 실제 카메라 파라미터들을 취득하는 단계; 좌측 뷰에 대한 요구된 카메라 파라미터를 각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들과 비교함으로써 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지를 결정하고 우측 뷰에 대한 요구된 카메라 파라미터를 각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들과 비교함으로써 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지를 결정하는 단계; 및 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지와 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지를 스테레오 쌍 이미지들로서 연관시키는 단계를 수행하여 스테레오 쌍 이미지들을 생성하는 디바이스에 관한 것이다.

도 1은 종래 기술에서의 다중 뷰 이미징의 처리를 나타낸 도면.
도 2는 본 개시내용의 일 실시예에 따른, 라이트필드 카메라의 구성을 나타낸 도면.
도 3a는 본 개시내용의 일 실시예에 따른, 포착된 라이트필드 이미지와 일련의 서브 어퍼처 이미지들 사이의 변환(conversion)을 나타낸 도면.
도 3b는 본 개시내용의 일 실시예에 따른, 포착된 라이트필드 이미지와 일련의 서브 어퍼처 이미지들 사이의 변환을 나타낸 도면.
도 4는 본 개시내용의 일 실시예에 따른, 디바이스의 하이 레벨 기능 블록도.
도 5는 본 개시내용의 일 실시예에 따른, 디바이스의 하드웨어 구성을 나타낸 블록도.
도 6은 본 개시내용의 일 실시예에 따른, 회전 행렬 R 파라미터 및 이동 벡터 t 파라미터를 포함하는 요구된 카메라 파라미터들의 일 예를 나타낸 도면.
도 7은 본 개시내용의 일 실시예에 따른, 요구된 카메라 파라미터들과 실제 카메라 파라미터들 간의 비교에 기초한 서브 어퍼처 이미지들의 연관을 나타낸 도면.
도 8은 본 개시내용의 일 실시예에 따른, 실제 카메라 파라미터들을 계산하고 서브 어퍼처 이미지들을 연관시키는 단계들을 수행하는 플로차트 예시를 나타낸 도면.
도 9는 본 개시내용의 일 실시예에 따른, 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지와 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지 간의 연관에 대한 플로차트 예시를 나타낸 도면.
도 10은 본 개시내용의 일 실시예에 따른, 2개의 라이트필드 카메라들이 사용되는 경우에 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지와 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지 간의 연관을 나타낸 도면.
도 11은 본 개시내용의 일 실시예에 따른, 단일의 라이트필드 카메라가 스테레오 쌍을 생성하는 데 사용될 때 서브 어퍼처 이미지들을 연관시키는 예시적인 실시예를 나타낸 도면.
도 12는 본 개시내용의 일 실시예에 따른, 단일의 라이트필드 카메라가 사용될 때 서브 어퍼처 이미지들을 상이한 클래스들로 분류하는 예시적인 실시예를 나타낸 도면.
도 13은 본 개시내용의 일 실시예에 따른, 단일의 라이트필드 카메라를 사용하여 서브 어퍼처 이미지들을 분류하는 플로차트 예시를 나타낸 도면.

본 개시내용의 일 실시예에서, 특히 다수의 뷰들이 하나 이상의 플렌옵틱 카메라들(이후부터 라이트필드 카메라들이라고 서로 바꾸어 불릴 수 있음)에 의해 생성될 때, 종래 기술과 연관된 캘리브레이션 문제들 중 일부를 극복하기 위해 입체 이미지 쌍을 생성하는 방법이 제공된다. 라이트필드 카메라들은 전통적으로 특정 주시 방향들에 대해 일련의 상이한 서브 어퍼처 이미지들을 출력한다. 캘리브레이션 단계들에서, 서브 어퍼처 이미지들과 관련하여 각자의 카메라 파라미터들(이후부터, 이 파라미터는 "실제 카메라 파라미터들"이라고 지칭됨)이 추정된다. 이어서, 실제 카메라 파라미터들이 입체 이미지 쌍들에 대한 이상적인 값을 나타내는 이론적인 요구된 카메라 파라미터(이후부터, 이 파라미터는 "요구된 카메라 파라미터"라고 지칭됨)와 비교된다.

스테레오 이미지 쌍에 대한 이상적인 또는 이론적인 값을 정의하는 이 요구된 카메라 파라미터들은 또한 내부 및/또는 외부 카메라 파라미터(들)를 포함한다. 요구된 카메라 파라미터는 표준화 단체에서 테이블에 둘러앉아 이론적 토론을 통해 준비될 수 있거나, (예를 들어, 카메라들의 생산 라인에서의) 기준 스테레오 카메라(reference stereo camera)들의 평균된 파라미터들일 수 있다. 요구된 카메라 파라미터는 어떤 유형의 카메라들이 입체 이미지 쌍을 생성할 것으로 예상되는지를 기술한다. 예를 들어, 스테레오 이미징 시스템에서, 요구된 카메라 파라미터는 카메라들 사이의 특정 거리, 평행 주시(parallel viewing), 특정 초점 길이, 및 주점이 이미지 중심에 있는 것을 포함할 수 있다.

요구된 카메라 파라미터의 값들은, 시차 및 몇몇 다른 다양한 요구사항들과 같은, 스테레오 쌍 이미지들에 대한 요구사항들에 따라 달라질 수 있다. 요구된 카메라 파라미터의 값들은 또한 라이트필드 카메라(1)의 설정 또는 구성에 따라 변화될 수 있다. 스테레오 쌍 이미지들에 대한 요구사항들이 변함에 따라, 요구된 카메라 파라미터가 변경되거나 업데이트될 수 있다. 요구된 카메라 파라미터는, 예를 들어, 외부에 있는 소스로부터 사전에 취득되고 실제 카메라 파라미터들과의 비교를 위해 디바이스의 메모리에 저장될 수 있다.

일 실시예에서, 논의될 것인 바와 같이, 적어도 하나 이상의 라이트필드 카메라들로부터 나오는 서브 어퍼처 이미지들로부터 스테레오 쌍 이미지들을 생성하는 방법이 제공된다. 각각의 라이트필드 카메라는 일련의 서브 어퍼처 이미지들을 출력한다. 각자의 서브 어퍼처 이미지들은, 서브 카메라 파라미터(sub camera parameter)들(실제 카메라 파라미터들)에 의해 기술되는, 개별 주시 방향을 갖는다.

본 개시내용 이외에, 도면들에 도시된 요소들이 널리 공지되어 있고, 상세히 기술되지 않을 것이다. 예를 들어, 본 개시내용 이외에, 프로세서 기반인 디바이스가 널리 공지되어 있고 본원에서 상세히 기술되지 않는다. 프로세서 기반 디바이스들의 일부 예들은 휴대폰, 테이블, 디지털 스틸 카메라, 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 텔레비전 등이다. 또한, 본 발명 개념이 종래의 프로그래밍 기법들, 예컨대, API(application programming interface)들 - 이에 따라, 본원에 기술되지 않을 것임 - 을 사용하여 구현될 수 있다는 것에 유의해야 한다. 마지막으로, 도면들 상의 유사한 번호들은 유사한 요소들을 나타낸다.

도 2는 본 개시내용의 일 실시예에 따른, 라이트필드 카메라의 구성을 나타낸 것이다. 라이트필드 카메라(1)는 이미지 센서 어레이(13)와 연관된 렌즈 배열(lens arrangement)을 포함한다. 이미지 센서 어레이(13)는 N_x개의 열들과 N_y개의 라인들의 격자의 형태로 배열된 많은 수의(m개의) 픽셀들(131, 132, 133 내지 13m) - m은 N_x x N_y에 대응함 - 을 포함한다. 렌즈 배열은, 메인 렌즈(main lens)라고도 불리우는, 주 렌즈(primary lens)(10)와, 복수의(n개의) 마이크로렌즈들(111, 112, 11n) - n은 2 이상의 양의 정수임 - 을 포함하는, 렌즈릿 어레이(lenslet array)(11)를 포함한다. 마이크로렌즈들(111, 112, 11n)은 각각이 복수의 픽셀들과 광학적으로 연관되는 방식으로 배열된다. 하나의 마이크로렌즈와 광학적으로 연관된 p x p 픽셀들의 수는 라이트필드 카메라로 취득된 장면의 뷰들의 수에 대응한다. 도 2에서, 각각의 마이크로렌즈(111, 112, 11n)는 (i, j)에 의해 참조되고, 주 렌즈(10) 상의 좌표는 (u, v)에 의해 참조된다. 센서 어레이(13)는 2D 이미지 내에 배열된 2D 소형 이미지들의 모음으로 이루어진 이미지를 기록한다.

도 3a와 도 3b는 본 개시내용의 일 실시예에 따른, 포착된 라이트필드 이미지와 일련의 서브 어퍼처 이미지들 사이의 변환을 나타낸 것이다. 포착된 라이트필드 이미지 좌표들 L(x, y, i, j)는 일련의 서브 어퍼처 이미지 S(α, β, u, v)로 변환되고, 여기서 (u, v)는 서브 어퍼처 이미지 좌표를 식별해주고, (α, β)는 좌표 (u, v)의 서브 어퍼처 이미지 내의 픽셀 좌표이다. 서브 어퍼처 이미지들의 수는 p x p이다. 센서 어레이(13)를 덮고 있는 마이크로렌즈들(111, 112, 11n)의 수는 (I, J)에 의해 참조된다. 정의에 의해,

이고

이다. 서브 어퍼처 이미지의 축은

이도록 (α, β)에 의해 표시된다.

이도록 정의된 서브 어퍼처 이미지들은 (u, v) 좌표에 의해 식별된다. 상이한 서브 어퍼처 이미지들을 획득하기 위해, 원시 이미지(즉, 이미지 센서 어레이(13)로 취득된 컬러 센서 데이터)는 디모자이킹(demosaicking)되고 이어서 역다중화된다. 디모자이킹 단계 후에, RGB 이미지 데이터 값들이 각각의 뷰에 대한 각각의 픽셀 위치에서 획득된다. 서브 어퍼처 이미지는 주 렌즈(10) 상의 좌표들(u 및 v)과 상관되는 동일한 (u, v) 좌표들을 갖는, 즉 동일한 주시 방향을 갖는 모든 4D 라이트필드 픽셀들을 모은 것이다.

역다중화 프로세스는 특정 입사각을 갖는 광선들을 포착하는 모든 픽셀들이 서브 어퍼처 이미지들을 생성하는 동일한 이미지에 저장되는 방식으로 원시 이미지의 픽셀들을 재조직화(reorganize)하는 것을 포함한다.

도 4는 본 개시내용의 일 실시예에 따른, 디바이스의 하이 레벨 기능 블록도를 나타낸 것이다. 본 발명 개념과 관련성있는 그 부분들만이 도시되어 있다. 이에 따라, 디바이스(5)는 다른 기능들을 수행할 수 있다.

본 시스템은 적어도 하나의 라이트필드 카메라(1)와 디바이스(5)를 포함한다. 디바이스(5) 내에 도시된 기능들이 라이트필드 카메라(1) 내에서 구현될 수 있거나 라이트필드 카메라(1)와 별도로 구현될 수 있다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 도 4에서, 좌측 뷰에 대한 라이트필드 카메라(1L)와 우측 뷰에 대한 라이트필드 카메라(1R)가 기술되어 있지만, 본 개시내용의 구현들은 단일의 라이트필드 카메라를 사용하여 달성될 수 있다. 좌측 뷰에 대한 라이트필드 카메라(1L)와 우측 뷰에 대한 라이트필드 카메라(1R)를 사용하는 경우에, 그 라이트필드 카메라들(1L 및 1R)은 관련 이미지들을 포착하기 위해 리그 상에 고정될 필요가 있다. 각각의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들을 추정하기 위해, 라이트필드 카메라(1)는 체커판 패턴과 같은 기지의 크기 또는 기하학적 형태를 갖는 객체일 수 있는 객체(2)를 포착한다. 말할 필요도 없이, 캘리브레이션용의 다른 객체들 - 그의 특징들이 기지의 크기 또는 기하학적 형태를 가짐 - 이 사용될 수 있다. (체커판 패턴과 같은) 객체(2)의 흑백 정사각형의 코너들이 서브 어퍼처 이미지 S(α, β, u, v)의 픽셀 좌표들(α, β)에서 검출된다.

객체(2)의 특징점들의 동차 장면-월드 좌표들 및 서브 어퍼처 이미지 S(α, β, u, v) 내의 대응하는 픽셀 좌표들에 기초하여, 파라미터 추정 유닛(32)이 최소 제곱 추정을 사용하여 회전 행렬 R 및 이동 벡터 t를 계산하는 것이 가능하다. 널리 공지된 체커판 패턴을 사용하여 회전 행렬 R 및 이동 벡터 t를 추정하는 것은 Barbara Frank, Cyrill Stachniss, Giorgio Grisetti, Kai Arras, Wolfram Burgard의 문서 "Robotics 2 Camera Calibration"에 설명되어 있다. 본 개시내용에 따르면, "실제 카메라 파라미터들"은 라이트필드 카메라(1)에 의한 객체(2)의 "실제로 포착된" 이미지 및 앞서 언급된 객체(2)의 특징점들의 대응하는 동차 장면-월드 좌표들에 기초하여 계산된 서브 어퍼처 이미지에 대한 카메라 파라미터들(회전 행렬 R 및 이동 벡터 t)을 의미한다.

라이트필드 카메라(1)가 객체(2)의 이미지를 포착한 후에, 이 포착된 이미지는 서브 어퍼처 이미지 생성 유닛(31)으로 송신되고, 이어서 원시 이미지들이 서브 어퍼처 이미지 생성 유닛(31)에 의해 디모자이킹되고 역다중화된다. i x j 마이크로렌즈들(111, 112, 11n)의 어레이들 및 하나의 마이크로렌즈와 광학적으로 연관된 p x p개의 픽셀들이 있는 경우에, 각각의 라이트필드 카메라(1)로부터 p x p개의 서브 어퍼처 이미지들이 생성된다.

파라미터 추정 유닛(32)은 서브 어퍼처 이미지 생성 유닛(31)에 의해 역다중화된 각자의 서브 어퍼처 이미지들에 대한 R 행렬 및 t 이동 벡터를 계산하기 위한 것이다. 앞서 기술된 바와 같이, 파라미터 추정 유닛(32)은, 객체(2)의 기지의 특징점들의 기지의 장면-월드 좌표들과 서브 어퍼처 이미지 S(α, β, u, v) 내의 기지의 특징점들의 픽셀 좌표들 간의 대응관계에 기초하여, 각자의 서브 어퍼처 이미지들에 대한 회전 행렬 R 및 이동 벡터 t를 계산한다. 예를 들어, 캘리브레이션 행렬 K가 알려져 있는 경우, 예를 들어, Barbara Frank 등의 "Robotics 2 Camera Calibration"에 기술된 방법을 사용하여 각각의 서브 어퍼처 이미지에 대해 회전 행렬 R 및 이동 벡터 t가 결정될 수 있다. 다른 예에서, 라이트필드 카메라가 3x3개의 픽셀들(p = 3)을 커버하는 마이크로렌즈들로 이루어져 있는 경우, 총 9개의 서브 어퍼처 이미지들이 추출된다.

파라미터 추정 유닛(32)은 3x3개, 총 9개의 서브 어퍼처 이미지들

에 대해, 서브 어퍼처 이미지 각각마다 R_uvt_uv 및 K_uv(R, t 및 K는, 각각, 각각의 서브 어퍼처 이미지들에 대한 회전 행렬, 이동 벡터, 및 캘리브레이션 행렬을 나타냄)의 총 8 내지 10개의 파라미터(예를 들면, t에 대한 3개의 파라미터, R에 대한 3개의 파라미터, K에 대한 2개 또는 3개 또는 4개의 파라미터)를 추정한다. 각각이 마이크로렌즈당 3x3 픽셀들, 따라서 3x3 서브 어퍼처 이미지들

을 갖는 좌측(1L) 및 우측(1R) 라이트필드 카메라 쌍들을 사용하는 경우에, 파라미터 추정 유닛(32)은 총 18개의 카메라 파라미터 세트들, 즉 9개의

세트들(좌측 뷰에 대한 라이트필드 카메라(1L)에 의해 포착된 각자의 서브 어퍼처 이미지에 대한 각자의 카메라 파라미터들) 및 9개의

세트들(우측 뷰에 대한 라이트필드 카메라(1R)에 의해 포착된 각자의 서브 어퍼처 이미지들의 각자의 카메라 파라미터들)을 추정한다. 파라미터 추정 유닛(32)은 이전에 언급된 바와 같은 공지된 방법에 따라 실제 카메라 파라미터들을 추정한다. 실제 카메라 파라미터 세트들이 몇몇 다른 접근법들로 추정될 수 있다는 것이 이해될 것이다.

파라미터 분석 유닛(33)은 각자의 실제 카메라 파라미터들을 요구된 카메라 파라미터와 비교함으로써 최상의 매칭 서브 어퍼처 이미지들을 찾아내는 일을 맡고 있다. 파라미터 분석 유닛(33)은 최상의 매치를 찾아내기 위해 각자의 서브 어퍼처 이미지들에 대한 계산된 각자의 실제 카메라 파라미터들(예를 들어, 회전 행렬 R과 이동 벡터 t)을 R 행렬 및 t를 포함하는 요구된 카메라 파라미터와 비교한다. 파라미터 분석 유닛(33)은 1개의 라이트필드 카메라의 경우에 ActR_uvt_uv로부터 검색한다. 좌측 및 우측 라이트필드 카메라 쌍(1L 및 1R)에 대해, 파라미터 분석 유닛(33)은 좌측 뷰에 대한 라이트필드 카메라(1L)에 의해 포착된 서브 어퍼처 이미지들 중

에 대해서는 Req_R_Lt_L(좌측 뷰에 대한 요구된 카메라 파라미터)를 ActR_L,uvt_L,uv와 비교하고 우측 뷰에 대한 라이트필드 카메라(1R)에 의해 포착된 서브 어퍼처 이미지들 중

에 대해서는 Req_R_R,t_R(우측 뷰에 대한 요구된 카메라 파라미터)을 ActR_R,uvt_R,uv와 비교한다. 정확히 매칭하는 서브 어퍼처 이미지가 없는 경우에, 파라미터 분석 유닛(33)은 실제 카메라 파라미터가 요구된 카메라 파라미터에 가장 가까운 서브 어퍼처 이미지가 최상의 매칭 서브 어퍼처 이미지라고 결정할 수 있다. 모든 서브 어퍼처 이미지들에 대해, 파라미터 분석 유닛(33)은 서브 어퍼처 이미지의 실제 카메라 파라미터와 요구된 카메라 파라미터 사이의 차이가 문턱값 내에 있는지를 결정할 수 있다. 실제 카메라 파라미터들과 요구된 카메라 파라미터 간의 차이가 문턱값 내에 있는 서브 어퍼처 이미지가 없는 경우, 파라미터 분석 유닛(33)은 결과를 "매칭하는 서브 어퍼처 이미지가 발견되지 않음"으로서 반환할 수 있다. 파라미터 분석 유닛(33)이, 실제 카메라 파라미터의 값이 요구된 카메라 파라미터와 문턱값 미만만큼 차이가 있는, 몇 개의 서브 어퍼처 이미지들을 찾아낼 수 있는 경우가 있을 수 있다. 파라미터 분석 유닛(33)은 실제 카메라 파라미터가 요구된 카메라 파라미터에 가장 가까운 서브 어퍼처 이미지가 최상의 매칭 서브 어퍼처 이미지라고 결정할 수 있다. 미리 정의된 3D 위치들을 2D 위치들 상으로 투영하고 이어서 2D 위치들의 차이들을 평가하는 것과 같은, 다른 매칭 방법들이 사용될 수 있을 것이다. 다른 매칭 방법들은 미리 정의된 2D 위치들을 3D 위치들 상으로 재투영하고 3D 위치들의 차이들을 평가하는 것일 수 있다.

뷰 연관 유닛(34)은 파라미터 분석 유닛(33)에 의해 제공된 비교 결과에 기초하여 각자의 서브 어퍼처 이미지들을 연관시키는 데 사용된다. 연관 단계들은 도 5 내지 도 7 및 이하의 설명에 잘 기술되어 있다.

도 5는 본 개시내용의 일 실시예에 따른, 디바이스의 하드웨어 구성을 나타낸 블록도를 나타낸 것이다. 도 5에 예시된 바와 같이, 디바이스(5)는 라이트필드 카메라(1)를 포함하지만, 라이트필드 카메라(1)는 디바이스(5)와 별도로 구성될 수 있다. 디바이스(5)는, 예를 들어, 스마트폰, 스마트워치, 태블릿, 컴퓨터, 휴대폰, PDA(portable/personal digital assistant), 및 최종 사용자들 간의 정보의 전달을 용이하게 하는 다른 디바이스들은 물론 라이트필드 카메라(1)와 같은 임의의 디바이스 일 수 있다.

디바이스(5)는, 클록 신호를 전달하기도 하는 주소 및 데이터의 버스(54)에 의해 서로 연결되는, 프로세서(51)(또는 CPU), ROM(Read Only Memory) 유형의 비휘발성 메모리(52), 랜덤 액세스 메모리 또는 RAM(53), 무선 인터페이스(56), 데이터의 전송에 적합하게 되어 있는 인터페이스(55), 라이트필드 카메라(1), 사용자를 위해 정보를 디스플레이하는 것 및/또는 데이터 또는 파라미터들을 입력하는 것에 적합하게 되어 있는 MMI(Man Machine Interface)(58)를 포함한다.

메모리들(52 및 53)의 설명에서 사용되는 "레지스터(register)" 또는 "저장소(store)"라는 단어가 언급된 메모리들 각각에서 저용량의 메모리 구역은 물론 대용량의 메모리 구역을 가리킨다는 것에 유의한다(전체 프로그램이 저장될 수 있게 하거나 데이터의 전부 또는 일부가 수신 및 디코딩되는 데이터를 나타냄).

ROM(52)은 상세하게는 프로그램 "prog"를 포함한다. 이하에서 기술되는 본 개시내용에 따른 방법의 단계들을 구현하는 알고리즘들은 이 단계들을 구현하는 디바이스(5)와 연관된 ROM(52) 메모리에 저장된다. 전원이 켜질 때, 프로세서(51)는 이 알고리즘들의 명령어들을 로딩하고 실행한다.

RAM(53)은 특히, 레지스터에, 디바이스(5)를 스위칭 온시키는 일을 맡고 있는 프로세서(51)의 운영 프로그램(operating program), 수신 파라미터들(예를 들어, 변조, 인코딩, MIMO, 프레임의 반복에 대한 파라미터들), 전송 파라미터들(예를 들어, 변조, 인코딩, MIMO, 프레임의 반복에 대한 파라미터들), 무선 인터페이스(56)에 의해 수신 및 디코딩되는 데이터에 대응하는 착신 데이터(incoming data), 애플리케이션(58)에 대한 인터페이스에서 전송되도록 형성된 디코딩된 데이터, 주 렌즈(10)의 파라미터들 및/또는 마이크로렌즈 어레이의 마이크로렌즈들에 의해 형성된 마이크로-이미지들의 중심들을 나타내는 정보를 포함한다.

도 5와 관련하여 기술된 것들 이외의 디바이스(5)의 다른 구조들이 본 개시내용과 부합할 수 있다. 상세하게는, 변형들에 따르면, 디바이스(5)는 순수 하드웨어 실현에 따라, 예를 들어, 전용 컴포넌트의 형태로(예를 들어, ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array) 또는 VLSI (Very Large Scale Integration)로) 또는 장치에 내장된 몇 개의 전자 컴포넌트들의 형태로 또는 심지어 하드웨어 요소들과 소프트웨어 요소들의 혼합의 형태로 구현될 수 있다.

무선 인터페이스(56)와 인터페이스(55)는 IEEE 802.11(Wi-Fi), IMT-2000 규격들(3G라고도 함)에 부합하는 표준들, 3GPP LTE(4G라고도 함)에 부합하는 표준들, IEEE 802.15.1(Bluetooth라고도 함)과 같은 하나 또는 몇 개의 통신 표준들에 따라 신호들의 수신 및 전송에 적합하게 되어 있다.

일 변형에 따르면, 디바이스(5)는 어떤 ROM도 포함하지 않고 RAM만을 포함하며, 본 개시내용에 따른 방법의 단계들을 구현하는 알고리즘들은 RAM에 저장된다.

도 6은 본 개시내용의 일 실시예에 따른, 이론적인 스테레오 이미지 쌍을 정의하는 회전 행렬 R 파라미터 및 이동 벡터 t 파라미터를 포함하는 요구된 카메라 파라미터들의 일 예를 나타낸 것이다. 요구된 카메라 파라미터는, 이 경우에, 본 개시내용의 일 실시예에 따른, 회전 행렬 R 및 이동 벡터 t 파라미터들의 세트를 포함한다. 좌측 뷰 및 우측 뷰에 대한 요구된 카메라 파라미터 쌍이 준비되고 메모리에 저장된다. 좌측 뷰(41)에 대한 요구된 카메라 파라미터는 Req_R_Lt_L로서 표시되어 있는 반면, 우측 뷰(42)에 대한 요구된 카메라 파라미터는 Req_R_Rt_R로서 표시되어 있다.

[제1 실시예]

본 발명의 제1 양태의 바람직한 실시예는 2개의 라이트필드 카메라(1L 및 1R)가 스테레오 쌍을 생성하는 데 사용되고 있는 경우에 관한 것이다.

도 7은 본 개시내용의 일 실시예에 따른, 요구된 카메라 파라미터들과 실제 카메라 파라미터들 간의 비교에 기초한 서브 어퍼처 이미지들의 연관을 나타낸 것이다. 좌측 뷰에 대한 각자의 서브 어퍼처 이미지들(411)에 대한 실제 카메라 파라미터들 및 우측 뷰에 대한 각자의 서브 어퍼처 이미지들(421)에 대한 실제 카메라 파라미터들이 추정된다. 이 예에서, 각자의 좌우 서브 어퍼처 이미지들에 대한 9개의 실제 카메라 파라미터 세트들이 추정되도록, 3x3개, 총 9개의 서브 어퍼처 이미지들이 생성된다. 이 도면에서, 좌측 뷰에 대한 서브 어퍼처 이미지들(411)에 대한 실제 카메라 파라미터들은 Act_R_Lt_L로서 표시되어 있는 반면, 우측 뷰에 대한 서브 어퍼처 이미지들(421)에 대한 실제 카메라 파라미터들은 Act_R_Rt_R로서 표시되어 있다. 좌측 뷰(41)에 대한 요구된 카메라 파라미터(Req_R_Lt_L)는 좌측 뷰에 대한 서브 어퍼처 이미지들(411)에 대한 각자의 실제 카메라 파라미터들(Act_R_Lt_L)과 비교될 수 있다. 우측 뷰(42)에 대한 요구된 카메라 파라미터(Req_R_Rt_R)는 우측 뷰에 대한 서브 어퍼처 이미지들(421)에 대한 각자의 실제 카메라 파라미터들(Act_R_Rt_R)과 비교될 수 있다. 비교는, 예를 들어, Req_R_Lt_L 행렬과 Act_R_Lt_L 행렬 사이의 거리 또는 Req_R_Rt_R 행렬과 Act_R_Rt_R 행렬 사이의 거리의 계산이다_.

이 예시적인 실시예에서, 파라미터 분석 유닛(33)은 (좌측 뷰에 대한 서브 어퍼처 이미지들(411)의 모든 실제 카메라 파라미터들 중에서) 도 7에서의 중심 서브 어퍼처 이미지의 실제 카메라 파라미터 (u,v) = (1,1) ActR_L,1 _, ₁t_L,1 _,1L4가 좌측 뷰(41)에 대한 요구된 카메라 파라미터(Req_R_Lt_L)에 가장 가깝다고 결정할 수 있다. 이 경우에, 파라미터 분석 유닛(33)은 도 7에서의 중심 서브 어퍼처 이미지 (u,v) = (1,1) L4가 좌측 뷰(411)에 대한 최상의 매칭 서브 어퍼처 이미지라고 결정할 수 있다.

파라미터 분석 유닛(33)은 또한 (우측 뷰에 대한 서브 어퍼처 이미지들(421)에 대한 모든 실제 카메라 파라미터들 중에서) 도 7에서 좌측 끝의 가운데에 있는 서브 어퍼처 이미지의 실제 카메라 파라미터 (u,v) = (1,0) Act_R_R,1,0t_R,1,0 R4가 우측 뷰(42)에 대한 요구된 카메라 파라미터(Req_R_Rt_R)에 가장 가깝다고 결정할 수 있다. 이 경우에, 파라미터 분석 유닛(33)은 도 7에서 좌측 끝의 가운데에 있는 서브 어퍼처 이미지 (u,v) = (1,0) R4가 우측 뷰(421)에 최상의 매칭 서브 어퍼처 이미지라고 결정할 수 있다.

뷰 연관 유닛(34)은 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(도 7의 L4)를 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(도 7의 R4)와 연관시킨다. 도 7에 나타낸 바와 같이, 뷰 연관 유닛(34)은 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지를 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지와 연관시킨다. 본 개시내용에서, "남아 있는 서브 어퍼처 이미지(들)"는 최상의 매칭 서브 어퍼처 이미지들 이외의 각자의 서브 어퍼처 이미지들을 지칭한다. 하나의 예시적인 실시예에서, 도 7에 도시된 바와 같이, 뷰 연관 유닛(34)은 좌측 뷰에 대한 각자의 서브 어퍼처 이미지들을 최상의 매칭 서브 어퍼처 이미지들(도 7에서의 L4 또는 R4)로부터 비교적 동일한 위치에 있는 우측 뷰에 대한 각자의 서브 어퍼처 이미지들과 연관시킬 수 있다. 좌측 뷰에 대한 각자의 남아 있는 서브 어퍼처 이미지를 우측 뷰에 대한 각자의 남아 있는 서브 어퍼처 이미지와 연관시키는 상세한 단계는 이 설명에서의 나중의 섹션에서 기술된다.

도 7에 예시된 바와 같이, 어떤 서브 어퍼처 이미지들(도 7에서의 N4)는 서브 어퍼처 이미지들의 다른 뷰와 연관될 수 없으며, 그 서브 어퍼처 이미지들은 무시되거나 매칭하는 뷰 없음으로서 기록될 수 있다. 뷰 연관 유닛(34)은 그의 연관 결과들을 메모리에 저장한다.

도 8은 본 개시내용의 일 실시예에 따른, 실제 카메라 파라미터들을 계산하고 서브 어퍼처 이미지들을 연관시키는 단계들을 수행하는 예시적인 플로차트를 나타낸 것이다. 이 예시적인 플로차트에서, 2개의 라이트필드 카메라(1L, 1R)가 사용되고 있는 구성에 따라 설명되지만, 말할 필요도 없이, 이 단계들은 단일의 라이트필드 카메라를 사용하여 수행될 수 있다.

단계(S1)에서, 라이트필드 카메라(1L, 1R)는 라이트필드 카메라(1L, 1R)의 전방에 위치되는 장면 내의 객체(2)의 이미지를 포착한다. 객체(2)는 장면 내의 객체(2)의 월드 좌표들을 적절하게 설정하거나 측정하기 위해 미리 결정된 위치에 배치될 수 있다. 이 단계에서 또는 후속 단계에서, 객체(2)의 각자의 특징점들의 장면-월드 좌표들이 취득될 수 있다. 객체(2)의 각자의 특징점들의 장면-월드 좌표들은 ToF(Time-of-Flight) 카메라들, 스테레오 삼각측량(stereo triangulation), 또는 기술분야에서의 어떤 다른 공지된 방법 등으로 취득될 수 있다. 객체(2)의 각자의 특징점들의 장면-월드 좌표들은 또한 사용자에 의해 입력되거나 등록될 수 있고 시스템에 사전 등록(preregister)될 수 있다. 객체(2)의 각자의 특징점들의 포착된 이미지 신호 및 취득된 장면-월드 좌표들이 디바이스(5)로 송신될 수 있다. 말할 필요도 없이, 라이트필드 카메라(1L 및 1R)는, 각각의 뷰가 거의 동일한 이미지 평면을 갖는 카메라들에 의해 촬영되는 것처럼 보이도록, 스테레오 리그에 기계적으로 설치된다. 2개의 카메라를 정렬함에 있어서의 불완전은 제안된 개시내용에 의해 해결된다.

단계(S2)에서, 서브 어퍼처 이미지 생성 유닛(31)은 단계(S1)에서 취득된 이미지로부터 서브 어퍼처 이미지들을 생성한다. 앞서 설명된 바와 같이, 이 단계 및 후속 단계는 라이트필드 카메라(1) 또는 디바이스(5)에 의해 수행될 수 있다. 라이트필드 카메라(1)의 외부에 있는 디바이스(5)가 이 단계들을 수행하는 경우에, 포착된 이미지 신호는 통신 네트워크 인터페이스를 통해 디바이스(5)로 송신될 수 있다. 모든 단계들이 라이트필드 카메라(1)에서 수행되는 경우에, 포착된 이미지 신호는 라이트필드 카메라(1)에서 디모자이킹되고 이어서 역다중화될 수 있다.

단계(S3)에서, 파라미터 추정 유닛(32)는 각자의 서브 어퍼처 이미지들에 대한 각자의 실제 카메라 파라미터들을 추정한다. 앞서 언급된 바와 같이, 파라미터 추정 유닛(32)은 이전 섹션에서 설명된 공지된 방법을 사용하여 실제 카메라 파라미터들을 추정한다. 예를 들어, 파라미터 추정 유닛(32)은 서브 어퍼처 이미지 S_i(α_i, β_i, 0, 0)에서의 각자의 특징점들의 픽셀 좌표들 및 대응하는 특징점들 (X_i, Y_i, Z_i)(i는 i=1…n과 같은 양의 정수일 수 있음)의 장면-월드 좌표들에 기초하여 서브 어퍼처 이미지 (u, v) = (0, 0)에 대한 실제 카메라 파라미터들을 추정한다. 이미지에 설정된 각자의 특징점들의 픽셀 좌표들이 α₁, β₁ … α_n, β_n이라고 가정하면, 대응하는 장면-월드 좌표들은 X₁, Y₁, Z₁ … X_n, Y_n, Z_n으로 표시될 수 있다.

실제 카메라 파라미터들을 계산하기 위한 단계들은 객체(2)를 라이트필드 카메라들 전방에 위치시킨 후에 (예를 들어, "실제 카메라 파라미터들을 계산하기 시작"또는 개시 명령과 같은) (도면에 제시되지 않은) 시작 버튼을 누르는 것에 의해 수신되는) 개시 신호를 수신한 후에 자동화될 수 있다. 실제 카메라 파라미터들을 계산하기 위한 개시 신호 또는 명령이 주어지면, 단계(S1) 내지 단계(S3)가 단계(S4)에서 실제 카메라 파라미터들이 성공적으로 도출된 것으로 결정될 때까지 반복하여 수행될 수 있다.

각자의 서브 어퍼처 이미지들에 대한 실제 카메라 파라미터들이 도출되면, 프로세스는 단계(S5)로 넘어간다. 단계(S5)에서, 파라미터 분석 유닛(33)은 최상의 매칭 서브 어퍼처 이미지들을 결정한다. 단계(S5)에서, 파라미터 분석 유닛(33)은 메모리에 저장되거나 사용자에 의해 명시되는 요구된 카메라 파라미터(좌측 뷰(41)에 대한 Req_R_Lt_L 및 우측 뷰(42)에 대한 Req_R_Rt_R)에 액세스하고, 이어서 요구된 카메라 파라미터(Req_R_Lt_L 또는 Req_R_Rt_R)를 각자의 서브 어퍼처 이미지들에 대한 각자의 실제 카메라 파라미터들과 비교한다. 2개의 라이트필드 카메라(1L 및 1R)가 사용되는 경우에, 파라미터 분석 유닛(33)은 좌측 뷰(41)에 대한 요구된 카메라 파라미터(Req_R_Lt_L)를 좌측 뷰에 대한 각자의 서브 어퍼처 이미지들(411)에 대한 각자의 실제 카메라 파라미터들(Act_R_Lt_L)과 비교하고, 또한 우측 뷰(42)에 대한 요구된 카메라 파라미터(Req_R_Rt_R)를 우측 뷰에 대한 서브 어퍼처 이미지들(421)에 대한 각자의 실제 카메라 파라미터들(Act_R_Rt_R)과 비교한다.

단계(S6)에서, 뷰 연관 유닛(34)은 좌측 뷰에 대한 서브 어퍼처 이미지들을 우측 뷰에 대한 각자의 서브 어퍼처 이미지들과 연관시킨다. 이 단계는 도 9를 참조하여 이 설명의 나중의 섹션에서 자세하게 기술될 것이다.

단계(S7)에서, 뷰 연관 유닛(34)은 연관 결과들을 메모리에 등록할 것이다.

도 9는 본 개시내용의 일 실시예에 따른, 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지와 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지 간의 연관에 대한 플로차트 예시를 나타낸 것이다. 2개의 라이트필드 카메라(1L 및 1R)가 사용되는 경우에 따라 설명되고 있지만, 단일의 라이트필드 카메라가 사용되는 경우에 이 단계들이 수행될 수 있다.

단계(S11)에서, 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지에 대해, 뷰 연관 유닛(34)은 실제 카메라 파라미터 Act_R_Lrem,uvt_Lrem,uv를 좌측 뷰에 대한 앞서 언급된 최상의 매칭 서브 어퍼처 이미지의 실제 카메라 파라미터 Act_R_Lbestt_Lbest로 변환할 수 있는 전달 행렬(transfer matrix) D_Lrem,uv를 계산한다. 전달 행렬은, 예를 들어, 하기의 수식에 의해 계산될 수 있다:

단계(S11)에서, 뷰 연관 유닛(34)은 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지의 실제 카메라 파라미터 Act_R_Lrem,uvt_Lrem,uv 및 좌측 뷰에 대한 앞서 언급된 최상의 매칭 서브 어퍼처 이미지의 실제 카메라 파라미터 Act_R_Lbestt_Lbest로부터 전달 행렬 D_Lrem,uv를 계산한다.

단계(S12)에서, 우측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지에 대해, 뷰 연관 유닛(34)은 실제 카메라 파라미터 Act_R_Rrem,uvt_Rrem,uv를 우측 뷰에 대한 앞서 언급된 최상의 매칭 서브 어퍼처 이미지의 실제 카메라 파라미터 Act_R_Rbestt_Rbest로 변환할 수 있는 전달 행렬 D_Rrem,uv를 계산한다. 전달 행렬은, 예를 들어, 하기의 수식에 의해 계산될 수 있다:

단계(S12)에서, 뷰 연관 유닛(34)은 우측 뷰에 대한 제(u, v) 남아 있는 우측 서브 어퍼처 이미지의 실제 카메라 파라미터 Act_R_Rrem,uvt_Rrem,uv 및 우측 뷰에 대한 앞서 언급된 최상의 매칭 서브 어퍼처 이미지의 실제 카메라 파라미터 Act_R_Rbestt_Rbest로부터 전달 행렬을 계산한다.

단계(S13)에서, 좌측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 모든 D_Lrem 및 우측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 모든 D_Rrem이 계산되었는지가 결정된다. 단계(S11) 및 단계(S12)는 좌측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 모든 D_Lrem 및 우측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 모든 D_Rrem이 계산될 때까지 반복된다. 라이트필드 카메라(1L 및 1R)가 9개의 서브 어퍼처 이미지 세트들를 생성할 수 있는 경우에, 8개의 D_Lrem 및 D_Rrem 세트들이 계산될 수 있다. 좌측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 모든 D_Lrem 및 우측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 모든 D_Rrem이 계산되지 않은 것으로 결정되면, 프로세스는 단계(S11)로 돌아간다.

단계(S14)에서, 뷰 연관 유닛(34)은, D_Rrem이 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지의 D_Lrem에 가장 가까운 (또는 가장 유사한), 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지를 결정한다. 예를 들어, 뷰 연관 유닛(34)은 (제(u,v) 남아 있는 서브 어퍼처 이미지에 대한) D_Lrem과 우측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지의 각자의 D_Rrem 사이의 거리를 계산하고, D_Rrem이 (제(u,v) 남아 있는 서브 어퍼처 이미지에 대한) D_Lrem에 가장 가까운, 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지를 결정한다,

D_Rrem과 D_Lrem 사이의 거리는 하기의 수식을 사용하여 계산될 수 있다:

단계(S15)에서, 뷰 연관 유닛(34)은 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem과 우측 뷰에 대한 결정된 남아 있는 서브 어퍼처 이미지의 D_Rrem 사이의 거리가 문턱값 이하라고 결정한다. 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem과 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem에 가장 가까운 D_Rrem 사이의 거리가 문턱값 이하가 아니라고 결정되면, 프로세스는 단계(S17)로 진행하고, 그렇지 않으면 단계(S16)로 진행한다.

뷰 연관 유닛(34)이 거리가 문턱값 이하가 아니라고 결정하는 경우에, 단계(S17)에서, 뷰 연관 유닛(34)은 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지에 연관될 수 있는 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지가 없다고 결정하고 그의 결과(연관 없음)를 메모리에 등록한다.

단계(S16)에서, 뷰 연관 유닛(34)이 제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem과 (제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem에 가장 가까운) D_Rrem 사이의 거리가 문턱값 이하라고 결정하는 경우에, 뷰 연관 유닛(34)은 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지를, D_Rrem이 좌측 뷰에 대한 제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem에 가장 가까운, 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지와 연관시킨다.

단계(S18)에서, 뷰 연관 유닛(34)은 좌측 뷰에 대한 모든 남아 있는 서브 어퍼처 이미지에 대한 연관이 완료되었는지를 결정한다. 모든 계산 및 연관이 완료되었다고 결정되면, 프로세스가 종료될 것이다. 그렇지 않으면, 프로세스는, 좌측 뷰에 대한 다음의 제(u, v) 남아 있는 좌측 서브 어퍼처 이미지에 대한 연관을 위한 단계들을 반복하기 위해, 단계(S14)로 돌아갈 것이다.

도 10은 본 개시내용의 일 실시예에 따른, 2개의 라이트필드 카메라들이 사용되는 경우에 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지와 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지 간의 연관을 나타낸 것이다. 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411) 또는 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM421)가 좌측 뷰(411)에 대한 또는 우측 뷰(421)에 대한 최상의 서브 어퍼처 이미지들로부터의 각자의 거리들에 따라 연관될 수 있다. 도 10에서, 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411)는 도트 필(dot fill) 유형으로 표시되는 반면, 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM421)는 보더 필(border fill) 유형으로 표시된다. 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411)는, 전달 행렬(D_Rrem)이 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411)의 전달 행렬(D_Lrem)에 가장 가까운, 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM421)와 연관될 수 있다.

[제2 실시예]

본 발명의 제2 양태의 바람직한 실시예는 단일의 라이트필드 카메라가 스테레오 쌍을 생성하는 데 사용되고 있는 경우에 관한 것이다. 제1 실시예에서 기술된 구성들 및 프로세스에 대한 중복된 설명이 여기에서 생략될 것이다.

도 11은 본 개시내용의 일 실시예에 따른, 단일의 라이트필드 카메라가 스테레오 쌍을 생성하는 데 사용될 때 서브 어퍼처 이미지들을 연관시키는 예시적인 실시예를 나타낸 것이다. 이 예시적인 실시예는 라이트필드 카메라가 많은 마이크로렌즈들(및 비교적 더 큰 센서 평면 크기)을 가지며 단일의 라이트필드 카메라에 의해 촬영된 서브 어퍼처 이미지들로부터 스테레오 쌍을 찾아내기에 충분한 상이한 뷰들을 갖는 많은 서브 어퍼처 이미지들(400)을 생성하는 경우에 적용될 것이다.

대안의 실시예에서, 파라미터 분석 유닛(33)은 좌측 뷰(41)에 대한 요구된 카메라 파라미터(Req_R_Lt_L)를 각자의 서브 어퍼처 이미지들(400)에 대한 각자의 실제 카메라 파라미터들과 비교하는 것에 의해 도 11에서의 L4 (u, v) = (2,1)이 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지라고 결정할 수 있다. 파라미터 분석 유닛(33)은 또한 우측 뷰(42)에 대한 요구된 카메라 파라미터(Req_R_Rt_R)를 각자의 서브 어퍼처 이미지들(400)에 대한 각자의 실제 카메라 파라미터들과 비교하는 것에 의해 도 11에서의 R4 (u, v) = (2, 5)가 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지라고 결정할 수 있다.

(매칭) 결과에 기초하여, 뷰 연관 유닛(34)은 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(L4) 및 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(R4)에 따라 남아 있는 서브 어퍼처 이미지들(RM4)을 연관시킨다. 도 11에 예시된 바와 같이, 대응관계를 갖지 않는 서브 어퍼처 이미지들(도 11에서의 N4)이 있을 수 있다. 도 11에서, 연관된 서브 어퍼처 이미지들은 동일한 필링(filling) 유형으로 예시되어 있다. 남아 있는 서브 어퍼처 이미지들(RM4)은 최상의 매칭 서브 어퍼처 이미지들 이외의 모든 서브 어퍼처 이미지들을 지칭한다.

도 12는, 본 개시내용의 일 실시예에 따라 단일의 라이트필드 카메라가 사용되는 경우에, 각각의 서브 어퍼처 이미지가 2개의 클래스들 - 하나의 클래스는 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지이고 제2 클래스는 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지임 - 로 분할되는, 분류 기법의 일 예를 도시한 것이다. 하나의 라이트필드 카메라가 사용되고 있는 경우에, 각각의 서브 어퍼처 이미지들(400)은 제(u, v) 남아 있는 서브 어퍼처 이미지의 실제 카메라 파라미터(Act_R_Rrem,uvt_Rrem,uv)와 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(L4)의 실제 카메라 파라미터(Act_R_Lbestt_Lbest) 사이의 거리 및 제(u, v) 남아 있는 서브 어퍼처 이미지의 실제 카메라 파라미터(Act_R_Rrem,uvt_Rrem,uv)와 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(R4)의 실제 카메라 파라미터(Act_R_Rbestt_Rbest) 사이의 차이를 고려하여 분류되어야만 한다. 도 12에서, 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411)로 분류된 남아 있는 서브 어퍼처 이미지들은 도트 필 유형으로 표시되는 반면, 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM421)로 분류된 남아 있는 서브 어퍼처 이미지들은 보더 필 유형으로 표시된다. 도 12에서, 남아 있는 서브 어퍼처 이미지 (0, 0)은 D_Lrem,00 < D_Rrem,00을 고려하여 좌측 뷰에 대한 서브 어퍼처 이미지(RM411)로 분류될 수 있는 반면, 남아 있는 서브 어퍼처 이미지 (0, 4)는 D_Lrem,04 > D_Rrem,04를 고려하여 우측 뷰에 대한 서브 어퍼처 이미지(RM421)로 분류될 수 있다.

도 13은 본 개시내용의 일 실시예에 따른, 단일의 라이트필드 카메라를 사용하여 각자의 서브 어퍼처 이미지들을 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지 또는 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지로 분류하는 것에 대한 플로차트 예시를 나타낸 것이다.

단계(S111)에서, 제(u, v) 남아 있는 서브 어퍼처 이미지에 대해, 뷰 연관 유닛(34)은 제(u, v) 남아 있는 서브 어퍼처 이미지의 실제 카메라 파라미터들 Act_R_Rrem,uvt_Rrem,uv와 좌측 뷰에 대한 앞서 언급된 최상의 매칭 서브 어퍼처 이미지(L4)의 실제 카메라 파라미터들 Act_R_Lbestt_Lbest 사이의 전달 행렬을 나타내는 전달 행렬 D_Lrem,uv를 계산한다.

단계(S112)에서, 제(u, v) 남아 있는 서브 어퍼처 이미지에 대해, 뷰 연관 유닛(34)은 제(u, v) 남아 있는 서브 어퍼처 이미지의 실제 카메라 파라미터들 Act_R_Rrem,uvt_Rrem,uv와 우측 뷰에 대한 앞서 언급된 최상의 매칭 서브 어퍼처 이미지(R4)의 실제 카메라 파라미터들 Act_R_Rbestt_Rbest 사이의 전달 행렬을 나타내는 전달 행렬 D_Rrem,uv를 계산한다.

단계(S113)에서, 뷰 연관 유닛(34)은 제(u, v) 남아 있는 서브 어퍼처 이미지의 D_Lrem,uv와 D_Rrem,uv를 비교하고, 이어서 제(u, v) 남아 있는 서브 어퍼처 이미지가 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(411) 또는 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(421) 중 어느 하나에 속한다고 결정한다. 예를 들어, D_Lrem,uv< D_Rrem,uv라고 결정되는 경우에, 이 제(u, v) 남아 있는 서브 어퍼처 이미지는 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411)에 속하는 것으로 결정된다. D_Lrem= D_Rrem이라고 결정되는 경우에, 이 제(u, v) 남아 있는 서브 어퍼처 이미지는 대응관계를 갖지 않는 것으로서 등록될 수 있다.

예를 들어, 경우

는

을 검증하는 것에 의해 체크될 수 있고, 여기서 e는 3 차원 테스트 벡터이고, 예를 들어,

이다. 다른 예에서, 경우

는

을 검증하는 것에 의해 체크될 수 있다. 이 후자의 예에서,

또는

중 어느 것도 참이 아닌 경우들이 있을 수 있다. 그 서브 어퍼처 이미지들은 추가 처리를 위해 사용되지 않을 것이다.

단계(S114)에서, 뷰 연관 유닛(34)은 모든 서브 어퍼처 이미지들이 분류되었는지를 결정한다. 이것이 분류될 마지막 서브 어퍼처 이미지가 아니면, 프로세스는 단계(S111)로 돌아가고, 그렇지 않으면 프로세스는 종료될 것이다.

모든 남아 있는 서브 어퍼처 이미지들을 좌측 뷰에 대한 또는 우측 뷰에 대한 서브 어퍼처 이미지들로 분류한 후에, 앞서 언급된 단계(11) 내지 단계(18)가 연관을 위해 수행될 수 있다. 이것들은 예시적인 플로차트에 불과하다. 계산 및 프로세스 흐름의 순서가 이 예로 제한될 필요가 없다.

본 개시내용의 일 실시예에 따면, 각자의 서브 어퍼처 이미지들의 각자의 실제 파라미터들이 좌측 뷰 또는 우측 뷰에 대한 요구된 카메라 파라미터와 비교된다. 좌측 뷰 및 우측 뷰에 대한 요구된 카메라 파라미터는 스테레오 이미지 쌍들에 대한 이론적이고 이상적인 카메라 파라미터들이다. 본 개시내용에 따르면, 각각의 서브 어퍼처 이미지들의 실제 파라미터와 좌측 뷰 또는 우측 뷰에 대한 요구된 카메라 파라미터 사이의 관계를 고려하여 서브 어퍼처 이미지들이 서로 연관될 수 있다.

당연히, 본 개시내용이 이전에 기술된 실시예들로 제한되지 않는다.

상세하게는, 본 개시내용이 라이트필드 카메라로 제한되지 않고 또한 라이트필드 카메라를 제어 및/또는 캘리브레이션하는 방법 및 제어/캘리브레이션 방법을 구현하는 하드웨어 회로로 확장된다.

본 기술 분야의 통상의 기술자에게 명백할 것인 바와 같이, 구현들은, 예를 들어, 저장 또는 전송될 수 있는 정보를 전달하도록 포맷팅된 각종의 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하는 명령어들, 또는 기술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 구문(syntax)을 작성하거나 판독하는 것에 대한 규칙들을 데이터로서 전달하도록, 또는 기술된 실시예에 의해 작성된 실제 구문-값(syntax-value)들을 데이터로서 전달하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어, 전자기파(예를 들어, 무선 주파수 스펙트럼 부분을 사용함)로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 반송파를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 각종의 상이한 유선 또는 무선 링크들을 거쳐 전송될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다수의 구현들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수 있다는 것을 잘 알 것이다. 예를 들어, 다른 구현들을 생성하기 위해 상이한 구현들의 요소들이 결합, 보완, 수정, 또는 제거될 수 있다. 그에 부가하여, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고 그 결과 얻어진 구현들이 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 기능(들)을, 적어도 실질적으로 동일한 방식(들)으로, 수행할 것임을 이해할 것이다. 그에 따라, 이들 및 다른 구현들이 본 출원에 의해 생각되고 있다.

이상의 내용을 고려하면, 전술한 내용은 본 개시내용의 원리들을 설명하기 위한 것에 불과하고, 따라서 본 기술분야의 통상의 기술자가, 본원에 명시적으로 기술되지는 않았지만, 본 개시내용의 원리들을 구현하고 그의 사상 및 범주 내에 있는 수많은 대안의 구성들을 고안할 수 있을 것임을 잘 알 것이다. 따라서, 예시적인 실시예들에 대해 수많은 수정들이 행해질 수 있고, 본 원리들의 범주를 벗어나지 않고 다른 구성들이 고안될 수 있다는 것을 잘 알 것이다.

Claims

적어도 하나의 라이트필드 카메라(lightfield camera)(1)를 사용하여 입체 이미지 쌍(a pair of stereoscopic images)을 생성하는 방법으로서,
좌측 뷰(left view)(41) 및 우측 뷰(right view)(42)에 대한 각자의 요구된 카메라 파라미터를 수신하는 단계 - 상기 요구된 카메라 파라미터는 이론적인 스테레오 이미지 쌍을 정의함 -;
상기 라이트필드 카메라(1)에 의해 포착된 이미지에 기초하여 생성되는 각자의 서브 어퍼처 이미지들(sub aperture images)(411, 421; 400)에 대한 각자의 실제 카메라 파라미터들을 취득하는 단계(S3)(S4);
상기 좌측 뷰(41)에 대한 상기 요구된 카메라 파라미터를 상기 각자의 서브 어퍼처 이미지들에 대한 상기 실제 카메라 파라미터들과 비교함으로써 상기 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(L4)를 결정하고(S5) 상기 우측 뷰(42)에 대한 상기 요구된 카메라 파라미터를 상기 각자의 서브 어퍼처 이미지들에 대한 상기 실제 카메라 파라미터들과 비교함으로써 상기 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(R4)를 결정하는 단계(S5); 및
상기 좌측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(L4)와 상기 우측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(R4)를 입체 이미지 쌍으로서 연관시키는 단계(S6)
를 포함하는 방법.
제1항에 있어서, 상기 서브 어퍼처 이미지(411, 421; 400)에 대한 상기 실제 카메라 파라미터는:
상기 라이트필드 카메라(1)에 의해 포착된 상기 이미지에서의 장면 내의 객체(2)의 이미지를 수신하고 상기 객체(2)의 각자의 특징점들의 장면-월드 좌표(scene-world-coordinate)들을 취득하는 단계(S1);
상기 객체(2)의 상기 수신된 이미지로부터 복수의 서브 어퍼처 이미지들(411, 421; 400)을 생성하는 단계(S2); 및
상기 객체의 각자의 특징점들의 상기 장면-월드 좌표들 및 상기 서브 어퍼처 이미지에서의 각자의 특징점들의 상기 장면-월드 좌표들의 대응하는 픽셀 좌표들에 기초하여 상기 실제 카메라 파라미터들을 추정하는 단계(S2)
에 의해 추정되는, 방법.
제1항에 있어서, 상기 실제 카메라 파라미터 및 상기 요구된 카메라 파라미터는, 각각, 회전 행렬(rotation matrix) R 및 이동 벡터(translation vector) t를 포함하는, 방법.
제1항에 있어서, 좌측 뷰에 대한 상기 결정된 최상의 매칭 서브 어퍼처 이미지(L4)의 상기 실제 카메라 파라미터는 좌측 뷰(41)에 대한 상기 요구된 카메라 파라미터에 가장 가까운 값을 갖고 우측 뷰에 대한 상기 결정된 최상의 매칭 서브 어퍼처 이미지(R4)의 상기 실제 카메라 파라미터는 우측 뷰(42)에 대한 상기 요구된 카메라 파라미터에 가장 가까운 값을 갖는, 방법.
제1항에 있어서, 상기 라이트 필드 카메라(1)는 좌측 뷰에 대한 라이트필드 카메라(1L) 및 우측 뷰에 대한 라이트필드 카메라(1R)를 포함하고, 상기 결정하는 단계는:
좌측 뷰(41)에 대한 상기 요구된 카메라 파라미터를 좌측 뷰에 대한 상기 라이트필드 카메라(1L)에 의해 포착된 상기 이미지에 기초하여 생성된 각자의 서브 어퍼처 이미지들에 대한 상기 각자의 실제 카메라 파라미터들과 비교함으로써 좌측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(L4)를 결정하는 단계(S5); 및
우측 뷰(42)에 대한 상기 요구된 카메라 파라미터를 우측 뷰에 대한 상기 라이트필드 카메라(1R)에 의해 포착된 상기 이미지에 기초하여 생성된 각자의 서브 어퍼처 이미지들에 대한 상기 각자의 실제 카메라 파라미터들과 비교함으로써 우측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(R4)를 결정하는 단계(S5)를 추가로 포함하는, 방법.
제4항에 있어서, 상기 연관시키는 단계는:
좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM411)의 상기 실제 카메라 파라미터를 좌측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(L4)의 상기 실제 카메라 파라미터로 변환(transfer)할 수 있는 전달 행렬(transfer matrix) D_Lrem을 계산하는 단계 - 상기 D_Lrem은 좌측 뷰에 대한 각자의 서브 어퍼처 이미지들(411)에 대해 계산됨 - (S11);
우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(RM421)의 상기 실제 카메라 파라미터를 우측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(R4)의 상기 실제 카메라 파라미터로 변환할 수 있는 전달 행렬 D_Rrem을 계산하는 단계 - 상기 D_Rrem은 우측 뷰에 대한 각자의 서브 어퍼처 이미지들(421)에 대해 계산됨 - (S12); 및
좌측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(RM411)를, D_Rrem이 상기 D_Lrem에 가장 가까운 값을 갖는, 우측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(RM421)와 연관시키는 단계(S14)를 추가로 포함하고,
상기 남아 있는 서브 어퍼처 이미지들은 상기 최상의 매칭 서브 어퍼처 이미지들 이외의 서브 어퍼처 이미지들인, 방법.
제1항에 있어서,
상기 최상의 매칭 서브 어퍼처 이미지 이외의 남아 있는 서브 어퍼처 이미지(RM4)를 좌측 뷰에 대한 남아 있는 서브 어퍼처 이미지(411) 또는 우측 뷰에 대한 남아 있는 서브 어퍼처 이미지(421) 중 어느 하나로 분류하는 단계를 추가로 포함하고, 상기 분류하는 단계는:
상기 남아 있는 서브 어퍼처 이미지의 상기 실제 카메라 파라미터를 좌측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(L4)의 상기 실제 카메라 파라미터로 변환할 수 있는 D_Lrem을 계산하는 단계(S111);
상기 남아 있는 서브 어퍼처 이미지의 상기 실제 카메라 파라미터를 우측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(R4)의 상기 실제 카메라 파라미터로 변환할 수 있는 D_Rrem을 계산하는 단계(S112); 및
상기 D_Lrem과 상기D_Rrem을 비교하고, D_Lrem이D_Rrem보다 작으면, 상기 남아 있는 서브 어퍼처 이미지(RM4)를 좌측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(RM411)로 분류하고, 그렇지 않으면, 우측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(RM421)로 분류하는 단계(S113)를 포함하는, 방법.
제7항에 있어서,
상기 D_Lrem과상기D_Rrem을 비교하고(S113), D_Lrem이 D_Rrem과 같으면, 좌측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(411) 또는 우측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(421) 중 어느 것으로도 분류하지 않는 단계를 추가로 포함하는, 방법.
제7항에 있어서,
좌측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(RM411)로 분류된 상기 남아 있는 서브 어퍼처 이미지를, D_Rrem이 좌측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지(RM411)로 분류된 상기 남아 있는 서브 어퍼처 이미지의 상기 D_Lrem에 가장 가까운 값을 갖는, 우측 뷰에 대한 상기 남아 있는 서브 어퍼처 이미지로 분류된 상기 남아 있는 서브 어퍼처 이미지(RM421)와 연관시키는 단계(S14)를 추가로 포함하는, 방법.
입체 이미지 쌍을 생성하는 디바이스(5)로서,
프로세서(51)를 포함하고, 상기 프로세서(51)는,
좌측 뷰(41) 및 우측 뷰(42)에 대한 각자의 요구된 카메라 파라미터를 수신하고 - 상기 요구된 카메라 파라미터는 이론적인 스테레오 이미지 쌍을 정의함 -;
라이트필드 카메라(1)에 의해 포착된 이미지에 기초하여 생성되는 각자의 서브 어퍼처 이미지들(411, 421; 400)에 대한 각자의 실제 카메라 파라미터들을 취득하며;
상기 좌측 뷰(41)에 대한 상기 요구된 카메라 파라미터를 상기 각자의 서브 어퍼처 이미지들에 대한 상기 실제 카메라 파라미터들과 비교함으로써 상기 좌측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(L4)를 결정하고 상기 우측 뷰(42)에 대한 상기 요구된 카메라 파라미터를 상기 각자의 서브 어퍼처 이미지들에 대한 상기 실제 카메라 파라미터들과 비교함으로써 상기 우측 뷰에 대한 최상의 매칭 서브 어퍼처 이미지(R4)를 결정하며;
상기 좌측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(L4)와 상기 우측 뷰에 대한 상기 최상의 매칭 서브 어퍼처 이미지(R4)를 입체 이미지 쌍으로서 연관시키도록 구성되는, 디바이스(5).
제10항에 있어서, 상기 서브 어퍼처 이미지(411, 421; 400)에 대한 상기 실제 카메라 파라미터는:
상기 라이트필드 카메라(1)에 의해 포착된 장면 내의 객체(2)의 이미지를 수신하고 상기 객체(2)의 각자의 특징점들의 장면-월드 좌표들을 취득하는 것;
상기 객체(2)의 상기 수신된 이미지로부터 복수의 서브 어퍼처 이미지들(411, 421; 400)을 생성하는 것; 및
상기 객체의 각자의 특징점들의 상기 장면-월드 좌표들 및 상기 서브 어퍼처 이미지에서의 각자의 특징점들의 상기 장면-월드 좌표들의 대응하는 픽셀 좌표들에 기초하여 상기 실제 카메라 파라미터를 추정하는 것(S2)
에 의해 추정되는, 디바이스(5).
제1항 내지 제9항 중 적어도 하나의 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 통신 네트워크로부터 다운로드가능하고 그리고/또는 컴퓨터에 의해 판독가능한 및/또는 프로세서에 의해 실행가능한 매체 상에 기록되는 컴퓨터 프로그램 제품.
제1항 내지 제9항 중 적어도 하나의 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 제품이 기록되어 있는 비일시적 컴퓨터 판독가능 매체.