KR20170088859A - 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치 - Google Patents

비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치 Download PDF

Info

Publication number
KR20170088859A
KR20170088859A KR1020177014285A KR20177014285A KR20170088859A KR 20170088859 A KR20170088859 A KR 20170088859A KR 1020177014285 A KR1020177014285 A KR 1020177014285A KR 20177014285 A KR20177014285 A KR 20177014285A KR 20170088859 A KR20170088859 A KR 20170088859A
Authority
KR
South Korea
Prior art keywords
pixels
microlens
homogeneity
image
optic data
Prior art date
Application number
KR1020177014285A
Other languages
English (en)
Other versions
KR102541363B1 (ko
Inventor
모즈드 세피
뉴스 사베떼르
발떼르 드라직
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170088859A publication Critical patent/KR20170088859A/ko
Application granted granted Critical
Publication of KR102541363B1 publication Critical patent/KR102541363B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

비집속 플렌옵틱 데이터의 깊이를 추정하는 방법들 및 장치가 제안된다. 방법은: 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨을 결정하는 단계; 제로와 동일한 시차들을 갖거나 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 계산된 레벨의 함수로서 균질 영역들에 속하는 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 픽셀들을 결정하는 단계; 및 결정된 픽셀들을 고려하지 않고 시차 추정에 의해 비집속 플렌옵틱 데이터의 깊이를 추정하는 단계를 포함한다. 본 개시내용에 의하면, 미가공 데이터를 사전-프로세싱함으로써, 임의의 시차 추정 방법이 (ⅰ) 초점이 맞춰진 픽셀들, (ⅱ) 장면의 균질 영역들에 속하는 픽셀들에 대한 시차들을 추정하는데 시간을 소비하는 것을 방지할 수 있다.

Description

비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING DEPTH OF UNFOCUSED PLENOPTIC DATA}
본 개시내용은 라이트 필드(light field)의 기술에 관한 것으로, 특히, 비집속 플렌옵틱(unfocused plenoptic) 데이터의 깊이를 추정하는 방법 및 장치에 관한 것이다.
본 섹션은 본 개시내용에 설명되는 기술의 다양한 실시예들에 대한 배경을 제공하려는 것이다. 본 섹션에서의 설명은 추구될 수 있는 개념들을 포함할 수 있지만, 반드시 이전에 구상되거나 추구된 개념들은 아니다. 따라서, 본원에서 다르게 나타내지 않으면, 본 섹션에 설명된 것은 본 개시내용의 설명 및/또는 청구항들에 대한 종래 기술이 아니고, 본 섹션에 단지 포함되는 것으로 종래 기술인 것으로 인정되지 않는다.
라이트 필드는, 공간에서의 모든 포인트에서 모든 광선들이 모든 방향들로 이동하는 것으로서 정의되는 컴퓨터 그래픽 및 시각 기술에서 제안된 개념이다. 플렌옵틱 카메라로 또한 칭하는 라이트-필드 카메라는, 3차원 공간에서의 모든 포인트가 방향에 또한 기인하기 때문에 장면에 관한 4차원(4D) 라이트 필드 정보를 캡처하기 위해 마이크로렌즈를 사용하는 카메라의 타입이다. 라이트 필드 카메라는, 미세한 초점 거리들을 갖는 다수의 현미경 렌즈들로 구성될 수 있는 이미징 센서의 바로 앞에 마이크로렌즈를 갖고 2D-픽셀(길이 및 폭)이 되는 것을 센서에 도달하기 직전에 개별 광선들로 분할한다. 이것은 필름/센서의 2개의 이용가능한 차원들만을 사용하는 종래의 카메라와 상이하다. 플렌옵틱 카메라에 의해 캡처된 결과적인 미가공 이미지는 마이크로렌즈들이 존재하기 때문에 다수의 미세한 이미지들의 합성이다.
플렌옵틱 카메라는 장면의 라이트 필드 정보를 캡처할 수 있다. 그 후, 라이트 필드 정보는 이들 이미지들이 취해진 이후에 뷰들의 상이한 포인트로부터 장면의 이미지들을 재구성하기 위해 사후-처리될 수 있다. 이것은 또한, 사용자가 이미지들의 초점을 변경하는 것을 허용한다. 상술한 바와 같이, 종래의 카메라와 비교하여, 플렌옵틱 카메라는 언급한 목적을 달성하기 위해 여분의 광학 컴포넌트들을 포함한다.
비집속 플렌옵틱 카메라에 의해 캡처된 플렌옵틱 데이터는 비집속(타입 1) 플렌옵틱 데이터로서 공지되어 있으며, 집속 플렌옵틱 카메라에 의해 캡처된 플렌옵틱 데이터는 집속(타입 2) 플렌옵틱 데이터로서 공지되어 있다.
(Lytro와 같은) 타입 1 플렌옵틱 카메라에서, 마이크로렌즈의 어레이가 센서의 정면에 배치된다. 모든 마이크로렌즈는 동일한 초점 길이를 갖고, 마이크로렌즈의 어레이는 센서로부터 1 초점 길이 떨어져 배치된다. 이러한 구성은 최대 각도 해상도 및 낮은 공간 해상도를 획득한다.
장면의 여러 정렬된 뷰들이 있다면, 비집속 플렌옵틱 카메라에 의해 캡처된 타입 1 플렌옵틱 데이터의 하나의 직관적 적용은 장면의 깊이를 추정하는 것이다. 깊이 추정의 공지된 솔루션들은, 뷰들 사이의 픽셀들의 시차(disparity)를 추정함으로써 일반적으로 수행된다.
하나의 예시적인 알고리즘인, 블록-매칭 방법이 N. Sabater, V. Drazic, M. Seifi, G. Sandri, 및 P. Perez에 의해 기재된 참조문헌 "Light field demultiplexing and disparity estimation" HAL, 2014(이하, 참조문헌 1)에 논의된다.
더욱 구체적으로, 참조문헌 1의 알고리즘에서, 뷰의 상이한 포인트로부터 장면의 제1 상이한 이미지들이 캡처된 플렌옵틱 데이터로부터 추출된다. 그 후, 플렌옵틱 데이터의 모든 뷰들을 추출함으로써, 뷰들의 매트릭스가 플렌옵틱 데이터로부터 재구성된다. 그 후, 이러한 뷰들의 매트릭스는, 상이한 뷰들에 대한 모든 픽셀의 변위가 대응하는 오브젝트의 깊이에 비례한다는 사실의 관점에서 장면 오브젝트들의 깊이를 추정하기 위해 사용된다.
비집속 플렌옵틱 데이터에 대한 공지된 솔루션들의 추정 방법들은, 일반적으로 시간 소모적이고 넌-텍스처된(non-textured) 영역들에 대해 매우 정확하지 않다.
장면의 에피폴라(Epipolar) 이미지들에 기초하는 다른 예시적인 깊이 추정 방법이, S. Wanner 및 B. Goldleuke에 의해 기재된 참조문헌 "Variational light field analysis for disparity estimation and super-resolution", IEEE transaction of pattern analysis and machine intelligence, 2013(이하, 참조문헌 2로 칭함)에 논의된다. 참조문헌 2는 시차들을 추정하기 위해 어느 픽셀들이 사용되는지 결정하기 위해 구조 텐서(기울기)를 계산하는 것을 제안한다.
그러나, 참조문헌 2에서의 깊이 추정 방법은 집속 카메라에 의해 캡처된 플렌옵틱 데이터에 대해 제안되고, 따라서, 에피폴라 이미지들의 낮은 해상도로 인해 비집속 플렌옵틱 데이터에 대해서는 최적이 아니다.
본 개시내용은 상기 언급한 단점들 중 적어도 일부를 다룬다. 본 개시내용은 예시적인 실시예들을 참조하여 상세히 설명될 것이다. 그러나, 본 개시내용은 실시예들에 제한되지 않는다.
본 개시내용의 제1 양태에 따르면, 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법이 제공된다. 방법은: 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨을 결정하는 단계; 제로와 동일한 시차들을 갖거나 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 결정된 레벨의 함수로서 균질 영역에 속하는 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 픽셀들을 결정하는 단계; 및 결정된 픽셀들을 제외하고 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 시차 추정에 의해 비집속 플렌옵틱 데이터의 깊이를 추정하는 단계를 포함한다.
실시예에서, 각각의 마이크로렌즈 이미지의 균질성의 레벨은 각각의 마이크로렌즈 이미지로부터 균질성의 측정치를 추정하고, 추정된 메트릭을 대응하는 마이크로렌즈 이미지의 모든 픽셀들에 할당함으로써 결정될 수 있다. 실시예에서, 균질성 이미지가 생성된다.
실시예에서, 각각의 마이크로렌즈 이미지의 균질성의 레벨은 3개의 컬러 채널상의 그 마이크로렌즈 이미지에서 픽셀들의 표준 편차들을 계산하고, 추정된 메트릭을 대응하는 마이크로렌즈 이미지의 모든 픽셀들에 할당함으로써 결정될 수 있다. 실시예에서, 균질성 이미지가 생성된다.
실시예에서, 메트릭 뷰들의 매트릭스가: 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 비집속 플렌옵틱 데이터로부터 추정하고; 모든 마이크로렌즈 이미지의 중심에 대한 공간 좌표(u,v)에서 픽셀을 균질성 이미지에서 모든 마이크로렌즈 이미지로부터 추출함으로써 균질성 이미지의 대응하는 메트릭 뷰(u,v)를 모든 각도 좌표들(u,v)에 대해 디멀티플렉싱함으로써, 생성된 균질성 이미지로부터 결정될 수 있다.
실시예에서, 각각의 마이크로렌즈 이미지의 균질성의 레벨은 3개의 컬러 채널들상의 뷰들의 매트릭스에서 복수의 뷰들에 대해 각각의 마이크로렌즈 이미지의 대응하는 픽셀들의 균질성의 측정치(예를 들어, 표준 편차)를 계산함으로써, 뷰들의 라이트 필드를 나타내기 위한 비집속 플렌옵틱 데이터의 뷰들의 매트릭스로부터 결정될 수 있다. 실시예에서, 미가공 데이터에 대한 공간 좌표들(x,y)에서 마이크로렌즈 이미지에 대한 대응하는 픽셀들은 뷰들의 매트릭스의 모든 뷰들에 대한 공간 위치들(x,y)에서 모든 픽셀들을 고려하여 결정된다. 실시예에서, 메트릭들의 매트릭스가 생성된다.
실시예에서, 뷰의 매트릭스가: 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 비집속 플렌옵틱 데이터로부터 추정하고; 모든 마이크로렌즈 이미지의 중심에 대한 공간 좌표(u,v)에서 픽셀을 모든 마이크로렌즈 이미지로부터 추출함으로써 비집속 플렌옵틱 데이터의 대응하는 뷰(u,v)를 모든 각도 좌표들(u,v)에 대해 디멀티플렉싱함으로써 결정될 수 있다.
실시예에서, 각각의 마이크로렌즈 이미지의 균질성의 레벨은 뷰들의 매트릭스에서 각각의 마이크로렌즈 이미지에 대한 대응하는 픽셀들을 고려하여 균질성의 측정치를 추정하고, 추정된 메트릭을 각각의 마이크로렌즈 이미지에 대한 대응하는 픽셀들의 모든 픽셀들에 할당함으로써 결정될 수 있다. 실시예에서, 메트릭 뷰들의 매트릭스가 생성된다.
실시예에서, 픽셀들은 결정된 균질성 이미지에서의 값들을 임계화함으로써 결정될 수 있다.
실시예에서, 픽셀들은 메트릭 뷰들의 결정된 매트릭스에서의 값들을 임계화함으로써 결정될 수 있다.
실시예에서, 방법은 형태적 필터들로 비어 있는 픽셀들을 채워 시차 추정을 위해 사용된 프로세싱된 매트릭스를 형성하기 위해 메트릭 뷰들의 임계화된 매트릭스를 프로세싱하는 단계를 더 포함한다.
실시예에서, 마이크로렌즈 이미지의 균질성의 레벨은 3개의 컬러 채널들상의 마이크로렌즈 이미지들의 표준 편차들을 계산함으로써 결정될 수 있다. 대응하는 마이크로렌즈 이미지의 픽셀들은 추정된 균질성 메트릭(예를 들어, 표준 편차)을 공유한다. 다른 예가, 마이크로렌즈 이미지들의 DCT 변환을 고려하는 것이며, 고주파수 대역에서 신호의 에너지의 합은 균질성의 하나의 측정치를 제공한다.
실시예에서, 각각의 마이크로렌즈 이미지에 대해 추정된 메트릭(예를 들어, 표준 편차)은 그 마이크로렌즈의 모든 픽셀들에 할당되고, 따라서, 미가공 데이터에서의 모든 픽셀들이 그에 할당된 균질성 측정치를 갖는다. 이들 픽셀들의 집합은 치수들에서 미가공 데이터와 유사한 균질성 이미지를 제공한다.
실시예에서, 균질성 측정치들의 매트릭스가: 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 미가공 비집속 플렌옵틱 데이터로부터 추정하고; 모든 마이크로렌즈 이미지로부터 픽셀을 추출함으로써 균질성 이미지의 뷰를 디멀티플렉싱함으로써 결정될 수 있다. 이러한 접근방식은 균질성 메트릭들의 매트릭스를 제공한다.
실시예에서, 균질한 픽셀들을 갖는지의 판정은 추정된 메트릭(예를 들어, 표준 편차, 또는 DCT 변환의 고주파수 에너지)의 재구성된 매트릭스를 임계화함으로써 결정될 수 있다.
실시예에서, 방법은 형태적 필터들로 비어 있는 픽셀들을 채워 시차 추정을 위해 사용된 프로세싱된 매트릭스를 형성하기 위해 재구성된 매트릭스를 프로세싱하는 단계를 더 포함할 수 있다.
본 개시내용의 제2 양태에 따르면, 비집속 플렌옵틱 데이터의 깊이를 추정하는 장치가 제공된다. 장치는: 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨을 결정하는 제1 결정 유닛; 제로와 동일한 시차들을 갖거나 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 계산된 레벨의 함수로서 균질 영역에 속하는 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 픽셀들을 결정하는 제2 결정 유닛; 및 결정된 픽셀들을 고려하지 않고 시차 추정에 의해 비집속 플렌옵틱 데이터의 깊이를 추정하는 추정 유닛을 포함한다.
실시예에서, 제1 결정 유닛은 각각의 마이크로렌즈 이미지로부터 균질성의 측정치를 추정하고, 추정된 메트릭을 대응하는 마이크로렌즈의 모든 픽셀들에 할당함으로써 균질성의 레벨을 결정하도록 구성된다.
실시예에서, 제1 결정 유닛은: 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 비집속 플렌옵틱 데이터로부터 추정하고; 모든 마이크로렌즈 이미지의 중심에 대한 공간 좌표(u,v)에서 픽셀을 균질성 이미지에서 모든 마이크로렌즈 이미지로부터 추출함으로써 균질성 이미지의 대응하는 메트릭 뷰(u,v)를 모든 각도 좌표들(u,v)에 대해 디멀티플렉싱함으로써, 생성된 균질성 이미지로부터 메트릭들의 매트릭스를 결정하도록 구성된다.
실시예에서, 제1 결정 유닛은 3개의 컬러 채널들상의 뷰들의 매트릭스에서 복수의 뷰들에 대해 각각의 마이크로렌즈 이미지의 대응하는 픽셀들의 균질성의 측정치(예를 들어, 표준 편차)를 계산함으로써, 뷰들의 라이트 필드를 나타내기 위한 비집속 플렌옵틱 데이터의 뷰들의 매트릭스로부터 각각의 마이크로렌즈 이미지의 균질성의 레벨을 결정하도록 구성된다. 실시예에서, 미가공 데이터에 대한 공간 좌표들(x,y)에서 마이크로렌즈 이미지에 대한 대응하는 픽셀들은 뷰들의 매트릭스의 모든 뷰들에 대한 공간 위치들(x,y)에서 모든 픽셀들을 고려하여 결정된다.
실시예에서, 제1 결정 유닛은: 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 비집속 플렌옵틱 데이터로부터 추정하고; 모든 마이크로렌즈 이미지의 중심에 대한 공간 좌표(u,v)에서 픽셀을 모든 마이크로렌즈 이미지로부터 추출함으로써 비집속 플렌옵틱 데이터의 대응하는 뷰(u,v)를 모든 각도 좌표들(u,v)에 대해 디멀티플렉싱함으로써 뷰들의 매트릭스를 결정하도록 구성된다.
실시예에서, 제2 결정 유닛은 메트릭들의 결정된 매트릭스를 임계화함으로써 픽셀들을 결정하도록 구성된다.
실시예에서, 제1 결정 유닛은 형태적 필터들로 비어 있는 픽셀들을 채워 시차 추정을 위해 사용된 프로세싱된 매트릭스를 형성하기 위해 메트릭들의 임계화된 재구성된 매트릭스를 프로세싱하도록 구성된다.
실시예에서, 제1 결정 유닛은 뷰들의 라이트 필드를 나타내기 위한 플렌옵틱 데이터의 균질성 메트릭들의 매트릭스를 재구성함으로써 균질성의 레벨을 결정하도록 구성될 수 있다.
실시예에서, 제1 결정 유닛은 3개의 컬러 채널들상의 뷰들의 매트릭스에서 복수의 뷰들에 대해 각각의 마이크로렌즈 이미지의 대응하는 픽셀들의 균질성의 측정치(예를 들어, 표준 편차)를 계산함으로써, 뷰들의 라이트 필드를 나타내기 위한 비집속 플렌옵틱 데이터의 뷰들의 매트릭스로부터 각각의 마이크로렌즈 이미지의 균질성의 레벨을 결정하도록 구성될 수 있다. 미가공 데이터에 대한 공간 좌표들(x,y)에서 마이크로렌즈 이미지에 대한 대응하는 픽셀들은 (메트릭들의 매트릭스를 생성하는) 뷰들의 매트릭스의 모든 뷰들에 대한 공간 위치들(x,y)에서 모든 픽셀들을 고려하여 결정된다.
실시예에서, 제1 결정 유닛은: 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 비집속 플렌옵틱 데이터로부터 추정하고; 모든 마이크로렌즈 이미지로부터 픽셀을 추출함으로써 비집속 플렌옵틱 데이터의 뷰를 디멀티플렉싱함으로써 균질성의 레벨을 결정하도록 구성될 수 있다.
실시예에서, 제1 결정 유닛은 3개의 컬러 채널들상의 마이크로렌즈 이미지들의 표준 편차들을 계산함으로써 균질성의 레벨을 결정하도록 구성될 수 있다.
실시예에서, 제2 결정 유닛은 메트릭들의 재구성된 매트릭스를 임계화함으로써 픽셀들을 결정하도록 구성될 수 있다.
실시예에서, 제1 결정 유닛은 형태적 필터들로 비어 있는 픽셀들을 채워 시차 추정을 위해 사용된 프로세싱된 매트릭스를 형성하기 위해 재구성된 매트릭스를 프로세싱하도록 구성될 수 있다.
본 개시내용의 제3 양태에 따르면, 본 개시내용의 제1 양태에 따른 방법의 단계들을 구현하는 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램이 제공된다.
본 개시내용의 제4 양태에 따르면, 비일시적 컴퓨터 판독가능 매체에 저장되고 본 개시내용의 제1 양태에 따른 방법의 단계들을 구현하는 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공된다.
본 개시내용의 상기 및 다른 목적들, 특징들, 및 이점들은 도면들을 참조하여 본 개시내용의 실시예들에 대한 아래의 설명들로부터 명백해질 것이다.
도 1은 본 개시내용의 실시예에 따른 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법의 플로우차트이다.
도 2는 뷰 디멀티플렉싱을 예시한다.
도 3은 비집속 플렌옵틱 카메라에 의해 캡처된 플렌옵틱 데이터의 시차를 추정하는 프로세스의 플로우차트이다.
도 4는 Lytro 카메라에 의해 획득된 이미지를 예시한다.
도 5는 화이트 이미지에 의한 분할에 의해 비네팅(vignetting)의 정정 이후 미가공 데이터를 예시한다.
도 6은 도 3의 직사각형에 의해 도시된 영역에서 줌-인(zoom-in)을 예시한다.
도 7a 및 도 7b는 레드(Red) 채널에 대한 표준 편차 매트릭스 및 줌 인을 예시한다.
도 8a 및 도 8b는 그린(Green) 채널에 대한 표준 편차 매트릭스 및 줌 인을 예시한다.
도 9a 및 도 9b는 블루(Blue) 채널에 대한 표준 편차 매트릭스 및 줌 인을 예시한다.
도 10a 및 도 10b는 임계화된 이진 마스크 및 줌 인을 예시한다.
도 11a 및 도 11b는 팽창(제1 단계)의 결과 및 줌 인을 예시한다.
도 12a 및 도 12b는 침식(제2 단계)의 결과 및 줌 인을 예시한다.
도 13은 본 개시내용의 실시예의 방법을 사용하지 않고 참조문헌 1에 설명된 블록 매칭 방법을 사용하여 추정된 시차들을 도시하는 이미지를 예시한다.
도 14는 이러한 예측 단계를 고려한 추정된 시차들을 도시하는 이미지를 예시한다.
도 15는 본 개시내용의 실시예에 따른 비집속 플렌옵틱 데이터의 깊이를 추정하는 장치의 블록도이다.
이하, 첨부한 도면들에 도시된 실시예들을 참조하여 본 개시내용이 설명된다. 그러나, 이들 설명들은 본 개시내용을 제한하기 보다는 단지 예시 목적을 위해 제공되는 것으로 이해되어야 한다. 추가로, 아래에서, 공지된 구조들 및 기법들의 설명은 본 개시내용의 개념을 불필요하게 모호하게 하지 않도록 생략된다.
도 1은 본 개시내용의 실시예에 따른 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법의 플로우차트이다.
단계(S101)에서, 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨이 결정된다.
균질성의 레벨은 라이트 필드의 표현인, 플렌옵틱 데이터로부터의 추정된 메트릭들의 매트릭스를 재구성함으로써 결정될 수 있다. (예를 들어, 표준 편차, 또는 DCT 변환의 고주파수 대역들에서 신호의 에너지의 합을 계산함으로써) 각각의 마이크로렌즈 이미지에 대한 균질성 측정치를 추정한 이후에, 각각의 마이크로렌즈 이미지에 대한 추정이 그 마이크로렌즈의 모든 픽셀들에 할당되고, 따라서, 미가공 데이터에서의 모든 픽셀이 그에 할당된 균질성 측정치를 갖는다. 이들 픽셀들의 집합은 치수들에서 미가공 데이터와 유사한 균질성 이미지를 제공한다.
뷰들의 매트릭스(및 유사하게는 균질성 이미지로부터 메트릭들의 매트릭스)의 재구성의 예에서, 뷰의 상이한 포인트들로부터 장면의 상이한 이미지들이 예를 들어, (ⅰ) 각각의 마이크로렌즈의 중심의 위치를 미가공 데이터로부터 추정하고; (ⅱ) 모든 마이크로렌즈 이미지에서의 공간 위치(u,v)에서 픽셀을 추출함으로써 모든 각도 좌표들(u,v)에 대해 뷰(u,v)를 디멀티플렉싱함으로써, 캡처된 데이터로부터 먼저 추출된다. 여기서, 마이크로렌즈 이미지는 센서상의 각각의 마이크로렌즈 아래에서 형성되는 이미지에 대응한다. 본원에서 미가공 데이터는 프로세싱되지 않는, 카메라에 의해 수집된 데이터를 지칭한다. 이는 이러한 실시예에서 비집속 플렌옵틱 데이터를 지칭한다.
이러한 실시예에서, 디멀티플렉싱 방법은 매트릭스를 재구성하기 위해 사용된다. 하지만, 디멀티플렉싱에 제한되지 않으며 다른 적합한 방법을 또한 적용할 수 있다는 것에 유의해야 한다.
도 2는 플렌옵틱 미가공 데이터, 또는 생성된 균질성 이미지에 적용될 수 있는 뷰 디멀티플렉싱을 예시한다. 뷰 디멀티플렉싱이 2D 미가공 이미지로부터 뷰들의 매트릭스로의 데이터의 변환을 다룬다는 것이 이해될 수 있다. 디멀티플렉싱 프로세스는 특정한 입사각을 갖는 광선들을 캡처하는 모든 픽셀들이 소위 뷰들을 생성하는 동일한 이미지에 저장되는 방식으로 미가공 이미지의 픽셀들을 재구성하는 것으로 이루어진다. 각각의 뷰는 상이한 각도하에서 장면의 투영이다. 뷰들의 세트는 블록 매트릭스를 생성하고, 여기서, 중심 뷰가 메인 렌즈의 중심부를 통과하고 센서에 충돌하는 광선들을 캡처하는 픽셀들을 저장한다. 사실, 광선의 각도 정보는 마이크로렌즈 이미지 중심들에 관한 마이크로렌즈 이미지들에서의 상대적 픽셀 위치들에 의해 제공된다. 따라서, 도 2에서, 뷰(2,3)가 미가공 데이터로부터 "#"에 의해 마킹된 픽셀들을 취함으로써 생성된다. 도 2의 제2 부분은 각도 좌표들 (2,3) 및 (5,6)에서의 2개의 디멀티플렉싱된 뷰들을 도시한다.
이에 관한 더욱 상세한 프로세스가 참조문헌 1에 제공된다. 메트릭들의 매트릭스가 균질성의 레벨을 활용하는 단지 하나의 예이라는 것에 유의해야 한다. 임의의 다른 적합한 균질성 추정 방법이 이러한 목적을 위해 사용될 수 있다. 예를 들어, 계산은 메트릭들의 매트릭스를 생성하지 않고, 비집속 플렌옵틱 데이터에 대해 직접 행해질 수 있다. 또한, 후술하는 바와 같이, 본 개시내용의 실시예는 마이크로렌즈 이미지 균질성의 결정을 위해 단지 2개의 예들(표준 편차 및 DCT 변환의 고주파수 에너지)을 제공한다. 그러나, 예를 들어, 2차 통계, 동시-발생 매트릭스들을 사용하는, 임의의 다른 접근방식이 사용될 수 있다.
단계(S102)에서, 제로와 동일한 시차들을 갖거나 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨의 함수로서 균질 영역들에 속하는 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 픽셀들이 결정된다.
결정의 추가의 상세사항들이 아래의 예에서 제공될 것이다.
단계(S102)로, 비집속 플렌옵틱 카메라에 의해 캡처된 비집속 플렌옵틱 데이터의 구조가 (ⅰ) 초점이 맞는 장면의 부분들에 속하는 픽셀들(이들 픽셀들의 추정된 시차들은 제로와 동일함), 또는 (ⅱ) 장면의 넌-텍스처된 영역들에 속하는 픽셀들을 예상하기 위해 활용될 것이다.
단계(S103)에서, 시차 추정에 의한 비집속 플렌옵틱 데이터의 깊이가 단계(S102)에 의해 결정된 픽셀들을 고려하지 않고 추정된다. 이것은 낮은 계산 전력을 갖는 디바이스들, 예를 들어, 모바일 폰들에 대해 특히 바람직할 수 있고, 여기서, 시차 추정의 부담이 정확성의 손실 없이 낮춰진다.
참조문헌 2에 개시된 장면의 에피폴라 이미지들에 기초한 것과 같은 임의의 적합한 공지된 시차 추정 방법이 단계(S103)에서 사용될 수 있다. 시차 추정을 위한 최대 사후 확률(Maximum a posteriori) 접근방식이 T.E. Bishop 및 P. Favaro에 의해 기재된 참조문헌 "Full-resolution depth map estimation from an aliased plenoptic light field", ACCV 2010 (이하, 참조문헌 3으로서 지칭함)에 개시되어 있고, 이는 단계(S103)에서 또한 사용될 수 있다.
실시예의 방법을 설명하기 위해, 도 2를 참조하여 뷰(Ii,j)의 고도로 텍스처된 영역들에 속하는 픽셀들을 먼저 고려하기로 한다. 여기서, 뷰(Ii,j)는 뷰들의 매트릭스의 행(i)과 열(j)에서의 뷰를 표기한다. 뷰(Ii,j)상의 픽셀(x,y)에 대한 넌-제로 시차값(d)은, 장면(Ik,l)의 다른 뷰상에서(뷰(Ik,l)는 뷰들의 매트릭스의 행(k)과 열(l)에서의 뷰를 표기함), 동일한 장면 포인트가 픽셀 좌표들(x+d*[k-i], y+d*[j-l])에서 샘플링된다는 것을 의미한다. 즉, 동일한 장면 포인트가, 도 2에 도시된 바와 같이 뷰들이 변화될 때 상이한 마이크로렌즈 이미지에서 샘플링된다. 이것은, (x,y)에 중심이 있는 마이크로렌즈가 균질인 경우에, 이미징된 장면 포인트가 모든 뷰들상의 동일한 공간 좌표들(x,y)에서 샘플링된다는 것을 추론할 수 있다는 것을 의미한다. 이것은 또한, 카메라 렌즈가 장면의 텍스처된 부분에 초점이 맞춰진다는 것을 배타적으로 의미한다.
넌-텍스처된 영역들에 대해, 3D 포인트가 상이한 공간 좌표들에서 상이하게 캡처되더라도, 변위는 상기 언급한 블록-매칭 접근방식들을 사용하여 추정될 수 없다. 블록 매칭 접근방식들은 균질 영역들에서 다소 동일한 픽셀 강도들을 비교함으로써 ?牡㎏? 로컬하게 추정하려 한다. 이러한 경우들에서, 픽셀 시차들을 추정하려는 것은 실용성이 없다. 이러한 균질 영역들에 대한 시차들이 0으로서 개시된다.
본 개시내용의 실시예의 방법에 따르면, 미가공 데이터를 사전-프로세싱함으로써, 임의의 시차 추정 방법이 (ⅰ) 초점이 맞춰진 픽셀들, (ⅱ) 장면의 균질 영역들에 속하는 픽셀들에 대한 시차들을 추정하는데 시간을 소비하는 것을 방지할 수 있다. 따라서, 방법은 균질 영역들 뿐만 아니라 캡처된 장면의 초점이 맞춰진 영역들에 대한 시차 추정의 계산 비용을 제거한다. 블록-매칭 솔루션들에 기초하는 시차 추정 방법들에 의해 도입되는 전경 패트닝(fattening)의 양을 또한 감소시킨다.
다음으로, 비집속 플렌옵틱 카메라에 의해 캡처된 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨을 결정하는 프로세스가 상세히 설명될 것이다. 도 3은 비균질 마이크로렌즈 이미지들에 대해 1, 및 균질 마이크로렌즈 이미지들에 대해 0을 포함하는 마스크를 획득하는 프로세스를 예시하는 플로우차트이다. 단계(S301)에서, 마이크로렌즈 이미지들의 균질성의 레벨이 예를 들어, 3개의 컬러 채널들상의 마이크로렌즈 이미지들의 표준 편차들에 따라 결정된다.
이러한 실시예에서, 3개의 컬러 채널들상의 각각의 마이크로렌즈 이미지의 모든 픽셀들 중에서 표준 편차를 계산하는 것이 제안된다. 일 실시예에서, 각각의 마이크로렌즈에 대한 추정은 대응하는 마이크로렌즈의 모든 픽셀들에 할당되고, 따라서, 미가공 데이터에서의 모든 픽셀들이 그에 할당된 균질성 측정치를 갖는다. 이들 픽셀들의 집합은 치수들에서 미가공 데이터와 유사한 균질성 이미지를 제공한다.
도 3의 프로세스의 방법은, 카메라의 비네팅이 임의의 유효 접근방식에 의해 대략적으로 회피될 때 바람직하게 작용한다는 것에 유의해야 한다. 비네팅의 정정은 상이한 방법들을 사용하여 행해질 수 있으며, 비네팅 정정의 상세사항은 본 개시내용의 초점에서 벗어난다. 일 실시예에서, 이미지들이 제공되면, 미가공 데이터는 비네팅을 정정하기 위해 카메라의 동일한 초점 및 줌에 대응하는 화이트 이미지에 의해 분할된다.
도 4는 공지된 Lytro 카메라에 의해 획득된 이미지를 예시한다.
도 5는 대응하는 화이트 이미지에 의한 분할에 의해 비네팅의 정정 이후 미가공 데이터를 예시한다. 비네팅을 갖는 주요 단점은, 뷰들의 매트릭스에서 조도의 차이이고, 즉, 주변 서브-어퍼처 뷰들이 낮게 조사된다. 현재, 이러한 조도 차이는 대응하는 화이트 이미지에 의해 미가공 데이터를 분할함으로써 감소된다. 대응하는 화이트 이미지를 사용하는 이유는, 센서상의 마이크로렌즈 이미지들의 위치가 카메라 파라미터들, 예를 들어, 카메라의 줌 및 초점에 의존하고, 따라서, 평탄한 화이트 장면의 이미지가 각각의 카메라 파라미터 세트에 대한 각각의 픽셀에 대해 최대 달성가능한 캡처를 제공하기 때문이다. 따라서, 화이트 이미지에 대한 값들은 비네팅으로 인한 가중 계수들을 제공한다.
도 6은 도 5에서 직사각형에 의해 도시된 영역에서 줌-인을 예시한다. 도 6에서, 고주파수들에 대한 마이크로렌즈 이미지들의 불균질성 및 장면의 탈초점(out of focus) 부분들이 도시되어 있다.
마이크로렌즈 이미지들의 균질성의 레벨을 평가할 수 있기 위해, 3개의 컬러 채널들이 이러한 실시예에서 개별적으로 취급될 것이다.
마이크로렌즈 이미지 중심들은 예를 들어, 참조문헌 1에 설명된 방법을 사용하여 추정될 수 있다. 그 후, 마이크로렌즈 이미지 중심들을 이용하여, 모든 마이크로렌즈 이미지가 고려되며, 그 이미지의 3개의 컬러 채널들이 에너지에 관하여 독립적으로 정규화된다. 모든 채널에 대해, 정규화된 픽셀들의 표준 편차(Std)가 계산된다. 일 실시예에서, 추정된 균질성 메트릭(표준 편차)이 출력 균질성 이미지의 대응하는 컬러 채널에 저장되는 모든 마이크로렌즈 이미지 픽셀들에 할당된다. 일 실시예에서, 이러한 균질성 이미지는 그 후 메트릭 뷰들의 매트릭스를 획득하기 위해 디멀티플렉싱된다. 도 7a 및 도 7b는 레드 채널에 대해 획득된 하나의 표준 편차 메트릭 뷰 및 줌 인을 예시한다. 도 7a 및 도 7b에 도시되어 있는 바와 같이, 레드 채널에서의 픽셀들만이 고려된다. 레드 픽셀들의 표준 편차가 마이크로렌즈 이미지 마다 계산된다. 후술하는 바와 같이, 이러한 실시예에서의 디멀티플렉싱으로, 비어 있는 픽셀들이 샘플링을 다루기 위해 삽입되고, 따라서, 표준 편차들이 없이 픽셀들을 갖는다.
도 8a 및 도 8b는 그린 채널에 대한 표준 편차 매트릭스 및 줌 인을 예시한다. 레드 채널과 유사하게, 마이크로렌즈 이미지들의 그린 채널에서의 픽셀들만이 고려된다.
도 9a 및 도 9b는 블루 채널에 대한 표준 편차 매트릭스 및 줌 인을 예시한다. 블루 채널에서의 픽셀들만이 고려된다. 단계(S302)에서, 단계(S301)의 결과가, 어느 픽셀들이 제로와 동일한 시차들을 갖거나 균질 영역들에 속하는 것으로 추정는지를 나타내는, 이진 마스크를 획득하기 위해 임계화된다. 일 실시예에서, 이진 마스크는 라이트 필드의 샘플링을 적절하게 다루기 위해 추출된 뷰와 동일한 디멀티플렉싱 패턴을 갖는다.
모든 픽셀에 대해, 3개의 표준 편차들이 컬러 채널들을 개별적으로 다루기 위해 추정된다는 사실을 고려하면, 정보를 단일-채널 판정 마스크로 병합하기 위해 이들 값들을 동시에 임계화하는 것이 제안된다.
이렇게 하기 위해, 모든 채널에 대해, 표준 편차에 대한 임계치가 설정된다. 다음으로, 메트릭 매트릭스의 모든 픽셀에 대해, 모든 3개의 컬러 값들이 설정 임계치 미만이면, 그 위치에서의 출력 이진 마스크는 0으로 설정된다. 그렇지 않으면, 이진 마스크는 1로 설정된다.
도 10a 및 도 10b는 하나의 뷰에 대한 임계화된 이진 마스크 및 줌 인을 예시한다. 자연적 이미지들에서, 크로매틱(chromatic) 채널들은 패턴들에서 상관되고, 이것은 유사한 고주파수 콘텐츠가 3개의 채널들에서 보일 수 있다는 것을 의미한다. 이것은 일 실시예에서, 3개의 채널들이 동시에 임계화되는 이유이다.
단계(S303)에서, 디멀티플렉싱의 비어 있는 픽셀들은 형태적 필터들로 채워진다. 이것은 메트릭들의 매트릭스에 대해 또한 수행될 수 있다.
단계(S303)에서, 이웃하는 픽셀들에 관하여, 샘플링을 다루기 위해 삽입되는 비어 있는 픽셀들을 채우기 위해 형태적 필터링을 적용한다. 이것은 메트릭들의 매트릭스에 대해 또한 수행될 수 있다. 이러한 단계의 결과가 시차들이 추정되어야 하는지 여부를 판정하기 위해 사용될 수 있다.
단계(S301)에 의해 획득된 메트릭 매트릭스 및 단계(S302)에 의해 획득된 이진 마스크 양자는 라이트 필드의 디멀티플렉싱 패턴에 후속하고, 즉, 비어 있는 픽셀들이 라이트 필드의 샘플링에 후속하도록 존재하지 않는(non-existing) 마이크로렌즈들의 위치들에 삽입된다. 시차 추정에 대해 이루어진 판정에 대한 단계(S301)에 의해 획득된 이진 마스크를 직접적으로 사용하는 경우와 비교하여, 추가의 단계들(S302 및 S303)을 갖는 이러한 실시예는 시차 추정의 계산 비용을 감소시킨다.
일 실시예에 따르면, 형태적 필터링이 이웃하는 픽셀들에 따라 비어 있는 픽셀들에 채우기 위해 단계(S302)의 결과들에 대해 적용된다. 이것은 (참조문헌 1에서 논의한 것과 같은) 디멀티플렉싱이 사용될 때 필요하다. 다음으로, 더욱 상세한 설명이 이러한 단계에서 제공될 것이다.
일 실시예에서, 1들의 2x2 매트릭스로서 구조 엘리먼트(SE)가 정의되고, (제1) 이진 마스크가 이러한 구조 엘리먼트(SE)에 의해 팽창되며; 제1 단계의 (제2) 결과들이 동일한 구조 엘리먼트(SE)에 의해 침식된다. 이들 2개의 단계들의 조합을 마스크의 형태적 클로징(morphological closing)이라 칭한다.
도 11a 및 도 11b는 팽창(dilation)(제1 단계)의 결과 및 줌 인을 예시한다.
도 12a 및 도 12b는 침식(erosion)(제2 단계)의 결과 및 줌 인을 예시한다.
결과 이미지는 0들 및 1들만을 포함하고, 여기서, 0들은 시차 추정이 필요하지 않다는 것이 이미 공지된 결정된 픽셀들을 다루고, 1들은 시차 추정이 필요한 픽셀들을 지칭한다.
단계(S303)의 결과는 비집속 플렌옵틱 데이터의 깊이를 추정하기 위해 임의의 시차 추정 방법에서 사용될 수 있다. 따라서, 깊이는 제로와 동일한 시차들을 갖거나 균질 영역들에 속하는 결정된 픽셀들을 고려하지 않고 시차 추정에 의해 추정될 것이다.
도 4에 도시된 이미지에 대해, 결과는 70% 이상의 픽셀들에 대해 시차 추정이 요구되지 않는다는 것을 나타낸다.
다음으로, 이러한 실시예의 방법으로 생성되는 시차 맵이 이러한 방법을 사용하지 않는 것과 비교된다.
도 13은 본 개시내용의 실시예의 방법을 사용하지 않고 참조문헌 1에 설명된 블록 매칭 방법을 사용하여 추정된 시차들을 도시하는 이미지를 예시한다.
도 14는 본 개시내용의 실시예의 방법을 이용한 추정된 시차들을 도시하는 이미지를 예시한다. 도 14에 도시되어 있는 바와 같이, 더 적은 수의 픽셀들이 도 13의 경우와 비교하여 시차 추정을 요구한다. 이들 픽셀들은 장면의 탈초점 부분들에 대한 고주파수들을 포함하도록 양호하게 검출된다. 그 외에, 블록 매칭 방법의 전경 패트닝이 제거되고, 이는 도 13에서의 것들과 비교하여, 이러한 시차 맵에서 얇은 에지들을 확인함으로써 관찰될 수 있다.
참조문헌 1에서 설명한 블록 매칭 방법이 깊이 추정을 위해 사용되는 경우에서, 시차 예상의 제안된 사전-프로세싱 모듈로 인해, 결과의 정확도가 증가된다. 블록 매칭 방법들은 전경 패트닝 효과를 받고, 이것은 장면 에지들에 대한 추정된 시차들이 정확하지만, 근접한 이웃에서 에지들에서 멀리 이동하고, 전경 픽셀들의 시차들이 에지들의 시차와 동일한 것으로서 잘못 추정되고, 즉, 시차 맵들상의 에지들이 패트닝된다는 것을 의미한다. 이것은 전경의 에지 주위에서 배경의 잘못된 시차 값들을 발생시킨다. 본 개시내용의 실시예들은 에지들 및 블러링된(blurred) 고주파수들을 정확하게 검출하고 다른 곳에서는 시차 추정을 폐기함으로써 시차 맵의 이러한 부정확성들을 방지할 수 있다.
도 15는 본 개시내용의 실시예에 따른 비집속 플렌옵틱 데이터의 깊이를 추정하는 장치의 블록도이다.
도 15에 도시되어 있는 바와 같이, 비집속 플렌옵틱 데이터의 깊이를 추정하는 장치(1500)는 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨을 결정하는 제1 결정 유닛(1501)을 포함한다.
장치(1500)는 제로와 동일한 시차들을 갖거나 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 계산된 레벨의 함수로서 균질 영역들에 속하는 비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 픽셀들을 결정하는 제2 결정 유닛(1502)을 더 포함한다.
장치(1500)는 결정된 픽셀들을 고려하지 않고 시차 추정에 의해 비집속 플렌옵틱 데이터의 깊이를 추정하는 추정 유닛(1503)을 더 포함한다.
장치(1500)는 플렌옵틱 카메라에 의해 캡처된 비집속 플렌옵틱 데이터의 사후 프로세싱을 위해 사용될 수 있다. 이러한 목적을 위해, 장치(1500)는 플렌옵틱 카메라에 내장될 수 있거나 개별 디바이스로서 제공될 수 있다.
본 개시내용이 하드웨어, 소프트웨어, 펌웨어, 특수용 프로세서들, 또는 이들의 조합의 다양한 형태들로 구현될 수 있다는 것을 이해해야 한다. 더욱이, 소프트웨어는 프로그램 저장 디바이스상에 유형으로 수록된 애플리케이션 프로그램으로서 바람직하게 구현된다. 애플리케이션 프로그램은 임의의 적합한 아키텍처를 포함하는 머신에 업로딩될 수 있고, 그 머신에 의해 실행될 수 있다. 바람직하게, 머신은 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 및 입/출력(I/O) 인터페이스(들)와 같은 하드웨어를 갖는 컴퓨터 플랫폼상에 구현된다. 컴퓨터 플랫폼은 운영 시스템 및 마이크로명령어 코드를 또한 포함한다. 본원에 설명하는 다양한 프로세스들 및 기능들은 운영 시스템을 통해 실행되는 마이크로명령어 코드의 일부 또는 애플리케이션 프로그램의 일부(또는 이들의 조합)일 수 있다. 또한, 다양한 다른 주변 디바이스들이 추가의 데이터 저장 디바이스 및 프린팅 디바이스와 같은 컴퓨터 플랫폼에 연결될 수 있다.
본 개시내용은 본 개시내용의 실시예들을 참조하여 상술되었다. 그러나, 이들 실시예들은 본 개시내용을 제한하기 보다는, 예시 목적을 위해서만 제공된다. 본 개시내용의 범위는 첨부한 청구항들 뿐만 아니라 이들의 등가물들에 의해 정의된다. 본 기술분야의 통상의 기술자는 본 개시내용의 범위를 벗어나지 않고 다양한 수정들 및 변형들을 할 수 있으며, 이들 모두는 본 개시내용의 범위 내에 있다.

Claims (15)

  1. 비집속 플렌옵틱(unfocused plenoptic) 데이터의 깊이를 추정하는 방법으로서,
    비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성(homogeneity)의 레벨을 결정하는 단계(S101);
    제로와 동일한 시차들(disparities)을 갖거나 상기 비집속 플렌옵틱 데이터의 상기 마이크로렌즈 이미지들의 균질성의 결정된 레벨의 함수로서 균질 영역들에 속하는 상기 비집속 플렌옵틱 데이터의 상기 마이크로렌즈 이미지들의 픽셀들을 결정하는 단계(S102); 및
    상기 결정된 픽셀들을 제외하고 상기 비집속 플렌옵틱 데이터의 상기 마이크로렌즈 이미지들의 픽셀들의 시차 추정에 의해 상기 비집속 플렌옵틱 데이터의 깊이를 추정하는 단계(S103)
    를 포함하는, 방법.
  2. 제1항에 있어서,
    각각의 마이크로렌즈 이미지의 균질성의 레벨은 각각의 마이크로렌즈 이미지로부터 균질성의 측정치를 추정하고, 추정된 메트릭을 대응하는 마이크로렌즈 이미지의 모든 픽셀들에 할당함으로써 결정되는, 방법.
  3. 제1항에 있어서,
    각각의 마이크로렌즈 이미지의 균질성의 레벨은 3개의 컬러 채널상의 그 마이크로렌즈 이미지에서 픽셀들의 표준 편차들을 계산하고, 추정된 메트릭을 대응하는 마이크로렌즈 이미지의 모든 픽셀들에 할당함으로써 결정되는, 방법.
  4. 제1항에 있어서,
    각각의 마이크로렌즈 이미지의 균질성의 레벨은 3개의 컬러 채널들상의 뷰들의 매트릭스에서 복수의 뷰들에 대해 각각의 마이크로렌즈 이미지의 대응하는 픽셀들의 균질성의 측정치를 계산함으로써, 상기 뷰들의 라이트 필드를 나타내기 위한 상기 비집속 플렌옵틱 데이터의 뷰들의 매트릭스로부터 결정되는, 방법.
  5. 제4항에 있어서,
    상기 뷰의 매트릭스는
    상기 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 상기 비집속 플렌옵틱 데이터로부터 추정하고;
    모든 마이크로렌즈 이미지의 중심에 대하여 공간 좌표(u,v)에서 픽셀을 모든 마이크로렌즈 이미지로부터 추출함으로써 상기 비집속 플렌옵틱 데이터의 대응하는 뷰(u,v)를 모든 각도 좌표들(u,v)에 대해 디멀티플렉싱함으로써
    결정되는, 방법.
  6. 제1항 또는 제5항에 있어서,
    각각의 마이크로렌즈 이미지의 균질성의 레벨은 상기 뷰들의 매트릭스에서 각각의 마이크로렌즈 이미지에 대한 대응하는 픽셀들을 고려하여 균질성의 측정치를 추정하고, 추정된 메트릭을 각각의 마이크로렌즈 이미지에 대한 대응하는 픽셀들의 모든 픽셀들에 할당함으로써 결정되는, 방법.
  7. 제5항에 있어서,
    픽셀들은 결정된 균질성 이미지에서의 값들을 임계화함으로써 결정되는, 방법.
  8. 제1항 또는 제5항 또는 제7항에 있어서,
    픽셀들은 상기 메트릭 뷰들의 결정된 매트릭스에서의 값들을 임계화함으로써 결정되는, 방법.
  9. 비집속 플렌옵틱 데이터의 깊이를 추정하는 장치(1500)로서,
    비집속 플렌옵틱 데이터의 마이크로렌즈 이미지들의 균질성의 레벨을 결정하는 제1 결정 유닛(1501);
    제로와 동일한 시차들을 갖거나 상기 비집속 플렌옵틱 데이터의 상기 마이크로렌즈 이미지들의 균질성의 계산된 레벨의 함수로서 균질 영역들에 속하는 상기 비집속 플렌옵틱 데이터의 상기 마이크로렌즈 이미지들의 픽셀들을 결정하는 제2 결정 유닛(1502); 및
    상기 결정된 픽셀들을 고려하지 않고 시차 추정에 의해 상기 비집속 플렌옵틱 데이터의 깊이를 추정하는 추정 유닛(1503)
    을 포함하는, 장치(1500).
  10. 제9항에 있어서,
    상기 제1 결정 유닛(1501)은 각각의 마이크로렌즈 이미지로부터 균질성의 측정치를 추정하고, 추정된 메트릭을 대응하는 마이크로렌즈의 모든 픽셀들에 할당함으로써 균질성의 레벨을 결정하도록 구성되는, 장치(1500).
  11. 제10항에 있어서,
    상기 제1 결정 유닛(1501)은 3개의 컬러 채널들상의 뷰들의 매트릭스에서 복수의 뷰들에 대해 각각의 마이크로렌즈 이미지의 대응하는 픽셀들의 균질성의 측정치를 계산함으로써, 뷰들의 라이트 필드를 나타내기 위한 상기 비집속 플렌옵틱 데이터의 뷰들의 매트릭스로부터 각각의 마이크로렌즈 이미지의 균질성의 레벨을 결정하도록 구성되는, 장치(1500).
  12. 제11항에 있어서,
    상기 제1 결정 유닛(1501)은
    상기 비집속 플렌옵틱 데이터를 캡처하는 플렌옵틱 카메라의 각각의 마이크로렌즈의 중심의 위치를 상기 비집속 플렌옵틱 데이터로부터 추정하고;
    모든 마이크로렌즈 이미지의 중심에 대하여 공간 좌표(u,v)에서 픽셀을 모든 마이크로렌즈 이미지로부터 추출함으로써 상기 비집속 플렌옵틱 데이터의 대응하는 뷰(u,v)를 모든 각도 좌표들(u,v)에 대해 디멀티플렉싱함으로써,
    상기 뷰들의 매트릭스를 결정하도록 구성되는, 장치(1500).
  13. 제12항에 있어서,
    상기 제2 결정 유닛(1502)은 상기 메트릭들의 결정된 매트릭스를 임계화함으로써 픽셀들을 결정하도록 구성되는, 장치(1500).
  14. 제1항 내지 제8항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는, 컴퓨터 프로그램.
  15. 비일시적 컴퓨터 판독가능 매체상에 저장되고 제1항 내지 제8항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는, 컴퓨터 프로그램 제품.
KR1020177014285A 2014-11-26 2015-11-24 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치 KR102541363B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306887.2 2014-11-26
EP14306887.2A EP3026628A1 (en) 2014-11-26 2014-11-26 Method and apparatus for estimating depth of unfocused plenoptic data
PCT/EP2015/077531 WO2016083393A1 (en) 2014-11-26 2015-11-24 Method and apparatus for estimating depth of unfocused plenoptic data

Publications (2)

Publication Number Publication Date
KR20170088859A true KR20170088859A (ko) 2017-08-02
KR102541363B1 KR102541363B1 (ko) 2023-06-09

Family

ID=52023419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177014285A KR102541363B1 (ko) 2014-11-26 2015-11-24 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치

Country Status (6)

Country Link
US (1) US10510156B2 (ko)
EP (2) EP3026628A1 (ko)
JP (1) JP2017537396A (ko)
KR (1) KR102541363B1 (ko)
CN (1) CN107004274B (ko)
WO (1) WO2016083393A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106570A (ko) * 2018-03-09 2019-09-18 한국과학기술원 라이트 필드 이미지의 깊이 추정 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10757390B2 (en) * 2016-08-05 2020-08-25 Interdigital Ce Patent Holdings Method for obtaining at least one sub-aperture image being associated with one view
JP7256368B2 (ja) * 2019-02-06 2023-04-12 ミツミ電機株式会社 測距カメラ
CN114638875A (zh) * 2022-05-23 2022-06-17 武汉依迅北斗时空技术股份有限公司 基于区域均匀度的立体匹配优化方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191661A (ja) * 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法
KR20110124701A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8817015B2 (en) * 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
CN101883291B (zh) * 2010-06-29 2012-12-19 上海大学 感兴趣区域增强的视点绘制方法
JP5900017B2 (ja) 2012-02-28 2016-04-06 カシオ計算機株式会社 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
US9478036B2 (en) * 2014-04-14 2016-10-25 Nokia Technologies Oy Method, apparatus and computer program product for disparity estimation of plenoptic images
GB2525851B (en) * 2014-04-30 2017-03-29 Canon Kk Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
CN104101331B (zh) * 2014-07-24 2016-03-09 合肥工业大学 基于全光场相机的非合作目标位姿测量

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191661A (ja) * 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法
KR20110124701A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
markus steffens 등, Probabilistic Scene Analysis for Robust Stereo Correspondence, ICIAR 2009(2009.07.06.) *
Neus Sabater 등, Light-Field Demultiplexing and Disparity Estimation, hal archives(2014.01.08.) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106570A (ko) * 2018-03-09 2019-09-18 한국과학기술원 라이트 필드 이미지의 깊이 추정 방법 및 장치

Also Published As

Publication number Publication date
CN107004274B (zh) 2021-08-10
EP3224805B1 (en) 2020-04-01
WO2016083393A1 (en) 2016-06-02
CN107004274A (zh) 2017-08-01
US20170330339A1 (en) 2017-11-16
EP3224805A1 (en) 2017-10-04
JP2017537396A (ja) 2017-12-14
KR102541363B1 (ko) 2023-06-09
US10510156B2 (en) 2019-12-17
EP3026628A1 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
CN109813251B (zh) 用于三维测量的方法、装置以及***
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US9818199B2 (en) Method and apparatus for estimating depth of focused plenoptic data
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
CN111107337B (zh) 深度信息补全方法及其装置、监控***和存储介质
KR102541363B1 (ko) 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치
JP6800650B2 (ja) 信頼度生成装置、信頼度生成方法、および撮像装置
JP6009206B2 (ja) ３次元計測装置
JP5900017B2 (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
JP4337203B2 (ja) 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体
KR20160120533A (ko) 라이트 필드 영상에서 객체 분할방법
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
EP3099054A1 (en) Method and apparatus for determining a focal stack of images from light field data associated with a scene, and corresponding computer program product
JP6655869B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN115514877B (zh) 图像处理装置和降低噪声的方法
CN111080689B (zh) 确定面部深度图的方法和装置
JP6066765B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal