KR101915843B1 - 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치 - Google Patents

복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치 Download PDF

Info

Publication number
KR101915843B1
KR101915843B1 KR1020160081370A KR20160081370A KR101915843B1 KR 101915843 B1 KR101915843 B1 KR 101915843B1 KR 1020160081370 A KR1020160081370 A KR 1020160081370A KR 20160081370 A KR20160081370 A KR 20160081370A KR 101915843 B1 KR101915843 B1 KR 101915843B1
Authority
KR
South Korea
Prior art keywords
depth
image
ray
birefringence
camera
Prior art date
Application number
KR1020160081370A
Other languages
English (en)
Other versions
KR20180002199A (ko
Inventor
김민혁
백승환
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160081370A priority Critical patent/KR101915843B1/ko
Priority to US15/236,911 priority patent/US10217233B2/en
Publication of KR20180002199A publication Critical patent/KR20180002199A/ko
Application granted granted Critical
Publication of KR101915843B1 publication Critical patent/KR101915843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/27—Optical coupling means with polarisation selective and adjusting means
    • G02B6/2726—Optical coupling means with polarisation selective and adjusting means in or on light guides, e.g. polarisation means assembled in a light guide
    • G02B6/274—Optical coupling means with polarisation selective and adjusting means in or on light guides, e.g. polarisation means assembled in a light guide based on light guide birefringence, e.g. due to coupling between light guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 깊이 추정 시스템은 복굴절 매질; 및 카메라를 포함하고, 상기 카메라는 상기 복굴절 매질을 통과하여 획득된 영상에 기초하여 픽셀의 깊이를 추정하는 것을 특징으로 한다.

Description

복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치 {Method for estimating depth of image using birefringent medium with a camera and apparatus therefor}
본 발명은 영상 깊이 정보를 추정하는 기술에 관한 것으로서, 보다 상세하게는 하나의 카메라 앞에 복굴절 매질 예를 들어, 복굴절 평판을 설치하여 깊이 정보를 추정할 수 있는 방법 및 장치에 관한 것이다.
이미지 깊이 추정은 컴퓨터 그래픽, 로보틱스, 자율 차량(autonomous vehicles) 또는 증강 현실과 같은 많은 어플리케이션에서 매우 유용하다. 일반 양안 또는 다안식 스테레오(stereo) 영상 기술은 불일치(disparity)를 추정하기 위해서 적어도 두 개의 카메라를 필요로 하며, 이는 추가적인 비용과 큰 폼 팩터를 발생시킨다. 싱글 카메라를 필요로 하는 많은 다른 방법들이 제시되었으나, 다른 단점들을 제시하거나 모든 시나리오에서 적용을 방해하는 추가적인 하드웨어를 필요로 한다. 예를 들어, 어떤 방법은 구조광에 의존하고, 복 프리즘 스테레오는 유효 센서 해상도를 절반으로 감소시킨다. 공간적인 해상도와 캡쳐 영상의 수 사이의 트레이드 오프는 광 분야 깊이 영상에서 주요 제한 사항들 중 하나이다.
반사 기반 스테레오는 우측 각도로 기울어진 양면 하프 미러 판(double-sided half-mirror plate)을 통해 이미지화된 장면을 필요로 한다. DFS(depth-from-defocus) 기술들은 깊이 감도를 증가시키기 위하여 얕은 피사계 심도(shallow depth-of-field)를 요구하고, 저주파 신호로 인하여 깊이 모호성이 발생할 수 있다. 기존 굴절 기반 스테레오 기술들은 복수의 입력 영상들을 요구하기 때문에 정적 장면에만 적합하다.
복굴절은 일부 이방성, 투과성 재료의 광학적 특성으로, 입사광이 복굴절을 일으키는 두 광선 즉, 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)으로 분할된다. 장면의 중복 정보를 포함하는 이러한 현상은 깊이 정보로부터 싱글 영상을 캡쳐할 수 있도록 도와준다.
하지만, 복굴절로부터 깊이를 추정하기 위해서는 기술적으로 극복해야 할 많은 문제점이 있다. 첫째, 몇몇의 연구가 컴퓨터 그래픽스 시뮬레이션에 대한 복굴절에 맞춰져 있지만, 입체 영상에 적합한 복굴절 영상 모델은 존재하지 않는다. 비록, 정상 굴절을 통해 깊이와 픽셀 배치 간의 기하학적 관계가 기존 굴절 스테레오에서 연구되었으나, 이 모델은 이상 굴절의 특별한 특성이 주어진 복굴절 스테레오에는 적합하지 않다. 복굴절에 의한 깊이와 픽셀 배치 간의 관계가 아직 공식화되지 않았다. 또한, 기존 굴절 스테레오 교정 방법은 복굴절 물질에 대해 연구되지 않았다. 마지막으로, 기존 굴절 스테레오는 한 쌍의 영상 즉, 직접 영상과 굴절 영상에서 대응되게 찾는다. 그러나, 복굴절은 두 굴절된 영상들이 하나의 영상으로 중첩되기 때문에 영상에서 중첩 정보를 처리할 수 있는 새로운 대응 검색 전략이 고안되어야 한다.
따라서, 복굴절 스테레오에 대하여 깊이 정보를 추정할 수 있는 방법의 필요성이 대두된다.
본 발명의 실시예들은, 하나의 카메라 앞에 복굴절 매질을 설치하여 깊이 정보를 추정할 수 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 깊이 추정 시스템은 복굴절 매질; 및 카메라를 포함하고, 상기 카메라는 상기 복굴절 매질을 통과하여 획득된 영상에 기초하여 픽셀의 깊이를 추정하는 것을 특징으로 한다.
상기 복굴절 매질을 통과하여 획득된 영상은 단일 광학계에서 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득될 수 있다.
상기 카메라는 적어도 두 개의 영상들이 중첩된 상기 획득된 영상으로부터 상기 적어도 두 개의 영상들을 분리하고, 상기 적어도 두 개의 영상들에 기초하여 상기 픽셀의 깊이를 추정할 수 있다.
상기 카메라는 상기 복굴절 매질의 특성에 기초하여 복굴절 모델을 생성하고, 상기 복굴절 모델과 상기 획득된 영상에 기초하여 상기 픽셀의 깊이를 추정할 수 있다.
상기 카메라는 상기 획득된 영상에 포함된 픽셀의 그래디언트와 상기 복굴절 모델을 이용하여 비용 함수를 선택하고, 상기 선택된 비용 함수에 기초하여 상기 픽셀의 깊이를 추정할 수 있다.
상기 카메라는 상기 선택된 비용 함수가 최소가 되는 값을 해당 픽셀의 깊이로 추정할 수 있다.
본 발명의 일 실시예에 따른 영상 깊이 추정 방법은 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 단계; 및 상기 복굴절 모델을 이용하여 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 영상 깊이 추정 방법은 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상이 서로 중첩되는 중첩 영상에 포함된 픽셀의 그래디언트와 상기 복굴절 모델을 이용하여 비용 함수를 선택하는 단계를 더 포함하고, 상기 픽셀의 깊이를 추정하는 단계는 상기 선택된 비용 함수에 기초하여 상기 픽셀의 깊이를 추정할 수 있다.
상기 비용 함수를 선택하는 단계는 상기 중첩 영상에 대하여 제1 방향과 제2 방향에 따라 그래디언트 벡터를 계산하는 단계; 상기 계산된 그래디언트 벡터의 크기와 미리 결정된 특정 값의 비교를 통해 검출된 픽셀들의 맵을 생성하는 단계; 상기 정상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제1 매칭 비용을 평가하고, 상기 이상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제2 매칭 비용을 평가하는 단계; 및 상기 제1 매칭 비용과 상기 제2 매칭 비용에 기초하여 제1 비용 함수와 제2 비용 함수 중 어느 하나의 비용 함수를 선택하는 단계를 포함할 수 있다.
상기 깊이를 추정하는 단계는 상기 선택된 어느 하나의 비용 함수가 최소가 되는 깊이 값을 해당 픽셀의 깊이로 추정할 수 있다.
상기 복굴절 모델을 생성하는 단계는 상기 깊이에 따른 상기 정상 광선의 격차 함수를 도출하는 단계; 입사 광선과 미리 정의된 광학 중심을 통해 출력되는 이상 광선에 의해 정의된 워크-오프 평면을 이용하여 상기 깊이에 따른 상기 이상 광선의 격차 함수를 도출하는 단계; 및 상기 도출된 두 격차 함수를 결합하여 상기 워크-오프 평면이 적용된 상기 복굴절 모델을 생성하는 단계를 포함할 수 있다.
나아가, 본 발명의 일 실시예에 따른 영상 깊이 추정 방법은 상기 복굴절 매질의 광학 특성과 상기 카메라의 영상 설정에 대한 파라미터들을 교정하는 단계를 더 포함하고, 상기 복굴절 모델을 생성하는 단계는 상기 교정하는 단계에 의해 교정된 상기 복굴절 매질의 광학 특성과 상기 영상 설정에 대한 파라미터들을 반영하여 상기 복굴절 모델을 생성할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 깊이 추정 방법은 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 단계; 및 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상의 두 영상이 합쳐진 중첩 영상에 대한 그래디언트 도메인 검색, 상기 복굴절 모델 및 상기 정상 광선과 상기 이상 광선에 대한 비용 함수에 기초하여 상기 중첩 영상에 포함된 픽셀의 깊이를 추정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 깊이 추정 장치는 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 생성부; 및 상기 복굴절 모델을 이용하여 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 추정부를 포함한다.
나아가, 본 발명의 일 실시예에 따른 영상 깊이 추정 장치는 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상이 서로 중첩되는 중첩 영상에 포함된 픽셀의 그래디언트와 상기 복굴절 모델을 이용하여 비용 함수를 선택하는 선택부를 더 포함하고, 상기 추정부는 상기 선택된 비용 함수에 기초하여 상기 픽셀의 깊이를 추정할 수 있다.
상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상은 단일 광학계에서 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득될 수 있다.
상기 선택부는 상기 중첩 영상에 대하여 제1 방향과 제2 방향에 따라 그래디언트 벡터를 계산하고, 상기 계산된 그래디언트 벡터의 크기와 미리 결정된 특정 값의 비교를 통해 검출된 픽셀들의 맵을 생성하며, 상기 정상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제1 매칭 비용을 평가하고, 상기 이상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제2 매칭 비용을 평가하며, 상기 제1 매칭 비용과 상기 제2 매칭 비용에 기초하여 제1 비용 함수와 제2 비용 함수 중 어느 하나의 비용 함수를 선택할 수 있다.
상기 추정부는 상기 선택된 어느 하나의 비용 함수가 최소가 되는 깊이 값을 해당 픽셀의 깊이로 추정할 수 있다.
상기 생성부는 상기 깊이에 따른 상기 정상 광선의 격차 함수를 도출하고, 입사 광선과 미리 정의된 광학 중심을 통해 출력되는 이상 광선에 의해 정의된 워크-오프 평면을 이용하여 상기 깊이에 따른 상기 이상 광선의 격차 함수를 도출하며, 상기 도출된 두 격차 함수를 결합하여 상기 워크-오프 평면이 적용된 상기 복굴절 모델을 생성할 수 있다.
나아가, 본 발명의 일 실시예에 따른 영상 깊이 추정 장치는 상기 복굴절 매질의 광학 특성과 상기 카메라의 영상 설정에 대한 파라미터들을 교정하는 교정부를 더 포함하고, 상기 생성부는 상기 교정부에 의해 교정된 상기 복굴절 매질의 광학 특성과 상기 영상 설정에 대한 파라미터들을 반영하여 상기 복굴절 모델을 생성할 수 있다.
본 발명의 실시예들에 따르면, 하나의 카메라 앞에 복굴절 평판과 같은 복굴절 매질을 설치하여 깊이 정보를 측정할 수 있기 때문에 스테레오 시스템과 같은 여러 대의 카메라를 사용할 필요가 없고, 카메라 앞에 복굴절 특징을 가진 평판을 설치하고 사진을 촬영하며 해당 사진에서 복굴절로 형성된 두 개의 영상이 떨어진 정도로부터 깊이 정보를 추정할 수 있다.
본 발명의 실시예들에 따르면, 복굴절에서 싱글 샷 깊이 추정을 수행할 수 있기 때문에 일반적인 카메라 렌즈 앞에 복굴절 물질을 배치함으로써 쉽고 간단하게 달성할 수 있다. 따라서 저렴하면서 설정의 폼 팩터에 영향을 최소화하고, 공간적인 해상도를 희생하지 않으며, 시각적인 영상 저하가 발생하지 않고, 사용자들이 복잡한 추가적인 하드웨어나 설정에 대한 부담없이 영상을 촬영할 수 있기 때문에 개인 사진에 유용할 수 있다.
이러한 본 발명은 기존에 존재하는 카메라에 복굴절 매질을 설치하여 가상현실, 자율주행자동차 등을 포함하는 다양한 응용분야에 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 깊이 추정 시스템에 대한 개념을 설명하기 위한 도면을 나타낸 것이다.
도 2는 복굴절에 대해 설명하기 위한 예시도를 나타낸 것이다.
도 3은 복굴절 영상 형성 모델을 생성하는 과정에 대한 개념의 동작 흐름도를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 복굴절 영상 형성 모델을 도식화한 것이다.
도 5는 도 4g에 대한 상세 도면을 나타낸 것이다.
도 6은 복굴절 영상과 이에 대한 부족 깊이 맵(sparse depth map)에 대한 예시도를 나타낸 것이다.
도 7은 분리된 두 영상과 복굴절의 오버랩된 영상에 대한 강도를 설명하기 위한 예시도를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 영상 깊이 추정 장치에 대한 구성을 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명은 복굴절 매질 예를 들어, 복굴절 평판을 카메라 렌즈 앞에 설치하고, 복굴절에서 싱글 샷 깊이 추정을 수행하는 것을 그 요지로 한다.
본 발명은 다음과 같은 주요 특징을 가진다.
(1) 본 발명에서는 이상 굴절을 설명할 수 있는 워크-오프 평면(walk-off plane)을 도입한 복굴절 영상 형성 모델을 공식화한다. 복굴절 영상 형성 모델은 가능한 깊이에 이상 격차(extraordinary disparity)에서 매핑을 만들고, 싱글-샷 복굴절 스테레오가 가능하다.
(2) 본 발명에서는 그래디언트 도메인에서 에지 인식 대응 검색 알고리즘을 제공하고, 에지 인식 대응 검색 알고리즘은 중첩 복굴절 영상에서 차이를 판별 또는 확인할 수 있다.
(3) 본 발명에서는 복굴절 스테레오에 대한 교정 방법을 제공한다. 교정 방법은 매질의 물리적인 방향 뿐만 아니라 스크린 좌표계에서 광축의 고유 방향을 판별 또는 확인할 수 있다.
이러한 본 발명은 기존 방법에 비해 재 초점, 입체 생성, 자동 객체 분할 및 깊이 인식 영상 편집 등 다양한 어플리케이션에서 장점을 보여줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 깊이 추정 시스템에 대한 개념을 설명하기 위한 도면을 나타낸 것이다.
도 1에 도시된 바와 같이, 영상 깊이 추정 시스템은 복굴절 매질과 카메라를 포함한다.
복굴절 매질은 피사체와 카메라 사이의 적어도 하나의 위치에 설치될 수 있다.
이 때, 복굴절 매질은 카메라와 별도로 구성되어 피사체와 카메라 사이에 위치하는 것으로 도시되었지만, 이에 한정하지 않으며 카메라를 구성하는 렌즈에 일체형으로 형성됨으로써, 카메라와 피사체 사이에 위치할 수도 있다. 물론, 복굴절 매질이 카메라의 렌즈와 일체형으로 형성된 경우 카메라 렌즈 앞쪽에 복굴절 매질이 위치하도록 형성되는 것이 바람직하며, 이하 본 발명의 설명에 대한 편의를 위하여 복굴절 매질이 카메라 렌즈와 일체형으로 형성된 경우가 아닌 별도로 형성된 경우에 대해 설명한다.
카메라는 복굴절 매질을 통해 획득된 적어도 하나의 영상 예를 들어, 중첩 영상에 기초하여 픽셀의 깊이를 추정한다.
이 때, 카메라는 도 1에 도시된 바와 같이, 중첩 영상을 획득하고, 획득된 중첩 영상을 제1 영상 예를 들어, 정상 광선에 대한 영상과 제2 영상 예를 들어, 이상 광선에 대한 영상으로 분리한 후 제1 영상과 제2 영상을 포함하는 적어도 두 개의 영상들에 기초하여 픽셀의 깊이를 추정할 수 있다.
이러한 카메라는 복굴절 매질을 통해 획득된 중첩 영상에 기초하여 픽셀의 깊이를 추정하기 위하여, 복굴절 모델을 생성하고, 생성된 복굴절 모델과 획득된 영상(즉, 중첩 영상)에 기초하여 픽셀의 깊이를 추정할 수 있으며, 나아가 획득된 중첩 영상에 포함된 픽셀의 그래디언트와 복굴절 모델을 이용하여 비용 함수를 선택하고, 선택된 비용 함수에 기초하여 픽셀의 깊이를 추정할 수도 있다.
이 때, 카메라는 비용 함수가 최소가 되는 값을 해당 픽셀의 깊이로 추정할 수 있다.
이러한 본 발명의 영상 깊이 추정 시스템의 카메라에서 복굴절 모델을 생성하는 과정, 비용 함수에 대한 내용 그리고, 복굴절 모델 및 비용 함수 등을 이용하여 픽셀의 깊이를 추정하는 과정에 대해서는 도 2 내지 도 7에서 상세히 설명하며, 본 발명에 따른 영상 깊이 추정 시스템은 도 2 내지 도 7에서 설명한 모든 내용을 포함할 수 있다.
도 2는 복굴절에 대해 설명하기 위한 예시도를 나타낸 것으로, 도 2에 도시된 바와 같이, 입사 광선 Ii는 복굴절 매질의 표면에 도달하면 입사 광선 Ii는 정상 광선 Io r과 이상 광선 Ie r의 두 광선으로 분리되고, 이상 광선은 입사 평면에서 정상 광선으로부터 일정 각도만큼 워크 오프됨으로써, 복굴절 현상이 일어나게 된다.
본 발명은 이러한 복굴절 매질을 카메라 앞에 설치한 후 싱글 샷 깊이 추정을 수행하는 것으로, 이에 대해 상세히 설명한다.
본 발명은 일반적인 굴절 스테레오와 달리, 정상 광선과 이상 광선간의 변위를 활용하여 깊이 z를 추정할 수 있다. 따라서, 본 발명은 추가 직접 영상을 캡쳐할 필요없이 싱글 샷 굴절 스테레오를 활성화할 수 있다.
본 발명의 복굴절 스테레오 방법은 (1) 정상 광선과 이상 광선 차이와 깊이 간의 관계를 확립할 수 있는 영상 형성 모델의 형성 과정, (2) 그래디언트 도메인 검색과 매칭 비용 볼륨의 듀얼 유도(또는 도출)(dual derivation)에 기초하여 정상 정보와 이상 정보가 중첩되어 나타나는 싱글 영상으로부터 깊이 정보를 획득하는 방법, 및 (3) 대응 모델의 파라미터들을 획득하기 위한, 복굴절 물질과 영상 설정에 대한 교정 방법을 포함하고, 이에 대해 설명한다.
도 3은 복굴절 영상 형성 모델을 생성하는 과정에 대한 개념의 동작 흐름도를 나타낸 것으로, 본 발명에서의 복굴절 영상 형성 모델은 깊이에 따른 정상 광선의 격차 함수를 도출하는 과정(S210), 워크-오프 평면을 이용하여 깊이에 따른 이상 광선의 격차 함수를 도출하는 과정(S220) 및 도출된 두 격차 함수를 결합하여 워크-오프 평면이 적용된 복굴절 모델을 생성하는 과정(S230)을 통해 생성될 수 있으며, 이러한 복굴절 영상 형성 모델에 대해 도 4를 참조하여 설명하면 다음과 같다.
1. 복굴절 영상 형성 모델
도 4는 본 발명의 일 실시예에 따른 복굴절 영상 형성 모델을 도식화한 것이고, 표 1은 본 발명에서 사용되는 심볼들과 기호를 설명한 것이며, 표 2는 각 평면과 벡터를 열거한 것으로, 도 4를 참조하여 설명하면 다음과 같다.
Figure 112016062800018-pat00001
Figure 112016062800018-pat00002
기존 모델(예를 들어, 불굴적 모델)에서, 장면 포인트 Ps는 실선과 같이 렌즈의 광학 중심 O를 통해 센서 상의 포인트 Pd에 프로젝션된다. 굴절 매질이 렌즈 앞에 배치되는 경우 Ps는 실선과 같이 스넬(Snell)의 법칙에 따라 광학 중심 O를 통해 새로운 포인트 Po로 프로젝션될 것이다.
Po 1과 Po 2는 굴절 매질과의 제1, 제2교차점을 각각 나타내고, 벡터
Figure 112016062800018-pat00003
,
Figure 112016062800018-pat00004
및
Figure 112016062800018-pat00005
는 입사 평면(plane of incidence)에 놓이기 때문에 전체 정상 광선은 입사 평면에 남아 있게 된다. 만약 굴절 매질을 복굴절 매질로 대체하게 되면, Ps로부터 두 광선이 광학 중심 O를 통과하여 센서의 다른 위치에 도달하게 된다. 예컨대, Po에 정상 광선(ordinary ray)이 도달하고, 점선과 같이 Pe에 이상 광선(extraordinary ray)이 도달하게 된다.
본 발명에서는 광학 중심 O을 통해 진행하는 굴절 광선 자체에 관심을 가지기 때문에 기존 복굴절 연구와는 다른 특징이 있다. 본 발명에서의 모델은 싱글 입사 광선으로부터 만들어지는 정상 광선과 이상 광선 대신에 두 개의 다른 입력 광선
Figure 112016062800018-pat00006
와
Figure 112016062800018-pat00007
을 포함한다. 본 발명에서는
Figure 112016062800018-pat00008
,
Figure 112016062800018-pat00009
,
Figure 112016062800018-pat00010
이 놓이는 워크-오프 평면을 정의한다. 이는 본 발명의 모델에서 중요한 점으로, 전체 이상 광선이 워크-오프 평면에 남아 있고, 이상 굴절에서 워크-오프 평면은 이런 점에서 정상 굴절에서 입사 평면과 유사하다.
본 발명의 복굴절 영상 형성 모델에서 다른 중요한 특징은 센서 평면 상의 필수 포인트 E이다, 필수 포인트 E는 굴절 매질의 표면과 수직인 벡터 n이 광학 중심 O를 통해 센서 평면과 교차되는 포인트로 정의될 수 있다.
여기서, 벡터 n은 본 발명에 따른 방법에서 렌즈의 광축과 반드시 일치할 필요는 없다.
따라서, 필수 포인트 E는 투과성 매질의 방향에 의해 주로 결정될 수 있으며, 이 포인트는 후술할 교정을 통해 획득될 수 있다. 포인트들 Pd, Po 그리고 E는 필수 라인 상에 놓이게 되는 반면 Pe는 필수 라인 상에 놓이지 않게 된다. 이러한 특성은 대응 검색 범위를 좁힐 수 있다.
본 발명에서는 갭쳐된 정상 광선, 이상 광선 교차점인 Po, Pe와 깊이 간의 관계에 대한 두 함수 즉,
Figure 112016062800018-pat00011
과
Figure 112016062800018-pat00012
를 정의한다. 이를 위해, 먼저 Po(또는 Pe), Pd와 z 간의 관계를 나타내는 정상 광선(또는 이상 광선)에 대한 별도의 표현식을 도출해야 한다. 이러한 표현식은 Pd 의존성을 제거하기 위해 결합될 수 있고, 이는 깊이를 추정하는데 사용될 수 있다.
여기서, 본 발명의 싱글 샷 접근 방법은 복굴절 매질없이 직접 캡쳐를 요구하지 않기 때문에 Pd는 이미지화될 수 없다.
이를 위해, 본 발명은 정상 광선의 차이, 투 샷에 대해 잘 알려진 기술, 깊이 추정 방법들로부터 깊이를 추정하는 방법에 대해 간략하게 설명한다. 본 발명은 이상 굴절로부터 깊이를 개발하고, 복굴절 영상에 나타나는 서로 다른 두 소스 정보를 어떻게 결합하는지 보여준다. 정상 광선
Figure 112016062800018-pat00013
와 이상 광선
Figure 112016062800018-pat00014
에 대한 광축 a, 수직 방향 n 및 굴절 인덱스들과 같은 파라미터들의 의존성은 교정 후에 해결될 수 있다.
1.1 깊이에 따른 정상 광선 차이(또는 격차)(S210)
장면 포인트 Ps는 굴절 매질에 의하여 광학 중심 O를 통해 Po로 프로젝션된다. 센서 평면 상의 거리
Figure 112016062800018-pat00015
는 매질의 두께 t와 굴절의 인덱스
Figure 112016062800018-pat00016
에 의존적인 굴절 차이(또는 격차)이다. 장면 평면 상에서 O를 통한 Po의 가상 프로젝션을 Po'이라 하고, 굴절이 없다 가정하고 초점 길이 f가 주어지면, 포인트 Ps의 깊이 z는 아래 <수학식 1>과 같이 추정할 수 있다.
[수학식 1]
Figure 112016062800018-pat00017
여기서,
Figure 112016062800018-pat00018
는 장면 평면 상에서 정의될 수 있고, 정상 굴절을 처리하기 때문에 ro와 ro'는 입사 평면 상에 놓이게 된다. 기본 삼각법(basic trigonometry)으로부터,
Figure 112016062800018-pat00019
이고
Figure 112016062800018-pat00020
이다. do는 정상 광선의 횡 방향 변위로 두 병렬 벡터
Figure 112016062800018-pat00021
와
Figure 112016062800018-pat00022
간의 거리로 계산될 수 있으며, 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure 112016062800018-pat00023
여기서,
Figure 112016062800018-pat00024
일 수 있다.
상기 수학식 1은 ro를 깊이 z의 함수로 정의하고 있으며, 캡쳐된 정상 광선 위치 Po와 ro 간의 매핑을 제공하는 함수
Figure 112016062800018-pat00025
는 아래 <수학식 3>과 같이 정의될 수 있다.
[수학식 3]
Figure 112016062800018-pat00026
여기서,
Figure 112016062800018-pat00027
는 필수 라인 상에 정의된
Figure 112016062800018-pat00028
에 대응하는 단위 벡터일 수 있다.
굴절 스테레오 알고리즘에서의 기존 깊이와는 달리, 본 발명에서는 직접 영상을 사용하지 않기 때문에 Pd를 알 수 없다. 따라서, 본 발명에서는 이상 광선에 대한 유사 함수
Figure 112016062800018-pat00029
를 유도 또는 도출한다. 본 발명은 두 함수
Figure 112016062800018-pat00030
과
Figure 112016062800018-pat00031
를 결합함으로써, 제2 캡쳐 즉, 직접 캡쳐의 필요성을 제거하고, 이를 통해 싱글 샷 복굴절 스테레오가 가능하다.
1.2 깊이에 따른 이상 광선 차이(또는 격차)(S220)
정상 광선이 스넬의 법칙을 따르는 반면, 이상 광선은 호이겐스(Huygens)의 원리와 맥스웰 방정식에 따라 입사 평면으로부터 워크 오프된다. 본 발명에서 중요한 개념은 워크-오프 평면이다.
워크-오프 평면: 워크-오프 평면은 입사 광선
Figure 112016062800018-pat00032
과 광학 중심 O를 통해 출력되는 이상 광선
Figure 112016062800018-pat00033
에 의해 정의된다. 또한, 상기 평면 상에 포함되는 센서 평면 상의 벡터
Figure 112016062800018-pat00034
와
Figure 112016062800018-pat00035
를 찾는다. 본 발명은 Pd를 획득하기 위한 직접 캡쳐가 없기 때문에 워크-오프 평면의 법선(또는 수직) ne을 획득하기 위하여
Figure 112016062800018-pat00036
를 사용한다.
Figure 112016062800018-pat00037
가 주어지면,
Figure 112016062800018-pat00038
로 정의된 이상 광선의 방향 코사인은 리앙의 방법(Liang's method)를 이용한 위상 매칭에 의해 획득될 수 있다.
이상 광선 격차(또는 차이)에서 깊이: 깊이 도출을 위한 정상 광선 격차와 마찬가지로, 센서 평면 상에서
Figure 112016062800018-pat00039
를 이상 광선 격차로 정의하고, 이상 광선 격차는 매질의 두께 t와 이상 굴절의 인덱스
Figure 112016062800018-pat00040
에 의존적이다. 장면 평면 상에서 O를 통한 Pe의 가상 프로젝션을 Pe'이라 하고, 굴절이 없다 가정하면 워크-오프 평면 상의 두 삼각형
Figure 112016062800018-pat00041
과
Figure 112016062800018-pat00042
로부터 깊이 z와 이상 광선 격차 re 간의 관계를 아래 <수학식 4>와 같이 정의할 수 있다.
[수학식 4]
Figure 112016062800018-pat00043
여기서,
Figure 112016062800018-pat00044
는 장면 평면 상에서 정의되고, re와 re'는 워크-오프 평면 상에 놓일 수 있다.
삼각법 관계에 의해 re'=
Figure 112016062800018-pat00045
일 수 있고,
Figure 112016062800018-pat00046
이 된다.
여기서, de는 이상 광선의 횡 방향 변위일 수 있으며, 이상 광선의 횡 방향 변위는 두 병렬 벡터
Figure 112016062800018-pat00047
과
Figure 112016062800018-pat00048
간의 거리로 계산될 수 있다. 도 4f에 도시된 바와 같이 삼각형
Figure 112016062800018-pat00049
가 정의되고,
Figure 112016062800018-pat00050
을
Figure 112016062800018-pat00051
와
Figure 112016062800018-pat00052
의 정규화된 내적을 통해 획득함으로써,
Figure 112016062800018-pat00053
를 획득할 수 있다. 도 4e와 도 4f에 도시된 바와 같이, 각도 는 워크-오프 평면 상의 두 삼각형
Figure 112016062800018-pat00055
과
Figure 112016062800018-pat00056
으로부터
Figure 112016062800018-pat00057
와
Figure 112016062800018-pat00058
간의 정규화된 내적을 통해 획득될 수 있다.
상기 수학식 4로부터, 캡쳐된 이상 광선 위치 Pe와 re를 매핑하는 함수
Figure 112016062800018-pat00059
를 정의하면, 직접 광선 위치 Pd는 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure 112016062800018-pat00060
여기서,
Figure 112016062800018-pat00061
는
Figure 112016062800018-pat00062
에 대응하는 단위 벡터일 수 있으며, 워크-오프 평면과 센서 평면 간의 교차 라인 상에 정의될 수 있다.
Figure 112016062800018-pat00063
는 이상 광산 격차의 방향을 정의한다. 하지만, 정상 광선 도출과 달리 Pe, Pd와 E는 공동 정렬되지 않기 때문에
Figure 112016062800018-pat00064
는 필수 포인트 E에 의존하여 정의되지 않는다.
대신,
Figure 112016062800018-pat00065
는 도 5에 도시된 바와 같이, 워크-오프 평면의 수직(또는 법선) ne와
Figure 112016062800018-pat00066
간의 기하학적 관계를 통해 획득될 수 있다. 먼저, ne를 센서 평면 상에 프로젝션함으로써,
Figure 112016062800018-pat00067
를 획득한다. 센서 평면 상
Figure 112016062800018-pat00068
에 수직인 단위 벡터
Figure 112016062800018-pat00069
를 정의하고,
Figure 112016062800018-pat00070
와
Figure 112016062800018-pat00071
의 정규화된 내적으로부터
Figure 112016062800018-pat00072
를 획득한다.
여기서, 획득된 각도를 이용하여
Figure 112016062800018-pat00073
에 대응하는 단위 벡터
Figure 112016062800018-pat00074
를 결정할 수 있으며, 구체적으로 센서 평면 상에서
Figure 112016062800018-pat00075
의 정규화된 벡터를 Pe를 중심으로 시계 방향으로
Figure 112016062800018-pat00076
각도만큼 회전시킴으로써, 단위 벡터
Figure 112016062800018-pat00077
를 결정할 수 있다.
1.3 두 함수들 결합(S230)
상술한 바와 같이, 깊이 z와 정상 광선 격차에 대한 관계를 정의한 분석적인 매핑 함수인 수학식 3과 깊이 z와 이상 광선 격차에 대한 관계를 정의한 분석적인 매핑 함수인 수학식 5가 획득되었지만, 싱글 샷 방식을 통해 캡쳐되지 않았기에, 두 함수들 모두 Pd에 의존적이다.
이러한 의존성을 제거하기 위해, 수학식 3과 5의 두 분석 맵핑 함수들을
Figure 112016062800018-pat00078
과
Figure 112016062800018-pat00079
으로 반전시키고, 이를 통해 입력 파라미터들 Pd와 z에 대하여 Po와 Pe 각각에 대한 값들을 저장하는 두 테이블들을 미리 계산한다. 두 함수들이 같은 입력 파라미터들을 가지기 때문에 두 테이블들을 4차원 매핑 함수
Figure 112016062800018-pat00080
로 나타나는 하나의 함수로 결합될 수 있고, 아래 <수학식 6>의 두 역수(reciprocal) 함수들로부터 획득될 수 있다.
[수학식 6]
Figure 112016062800018-pat00081
이 대응 모델은 각 깊이에 대한 정상 광선 격차와 이상 광선 격차를 계산하는데 사용될 수 있다.
2. 복굴절 영상에 따른 깊이
기존 DFS 알고리즘들은 잠정적 z 후보들의 집합으로 출발하고, 주어진 좌측 (x, y)와 우측 (x', y') 뷰에 대하여 각 픽셀 P에 깊이 값을 할당한다. 두 뷰에서 대응 픽셀 좌표계들 간의 관계는 에피폴라 라인 방정식(epipolar line equation)
Figure 112016062800018-pat00082
에 의해 주어진다.
여기서, r은 깊이 d에 반비례하는 격차를 의미할 수 있다.
비용 볼륨 함수 C(P, z)는 에피폴라 라인 방정식을 이용하여 정의될 수 있고, 두 대응 픽셀들이 얼마나 잘 매치되는지를 나타낸다. 즉, 각 깊이 후보를 각 픽셀에 할당하는 비용을 저장한다. 성능을 개선하기 위하여, 에지 인식 필터링 프로세스 즉, 비용 집계가 비용 볼륨 함수 C의 모든 깊이 슬라이스에 대해 요구된다.
기존 스테레오 알고리즘들과 달리, 복굴절 영상에서의 대응을 추정하는데 있어서 두 가지의 큰 문제가 있다.
첫 번째 문제는, 정상 영상과 이상 영상이 하나로 결합되기 때문에 도 4a에 도시된 바와 같이 중첩으로 인하여 대응 픽셀이 다른 컬러를 가지게 된다. 이는 기존에 사용된 컬러 유사성에 기초한 대응 알고리즘을 적용할 수 없다는 것을 의미한다. 대신, 본 발명에서는 그래디언트 도메인에서 부족 대응 검색(sparse correspondence search)을 이용한다.
두 번째 문제는, 정상 영상과 이상 영상을 구분하기 어려운 복굴절의 고유 모호성을 가지고 있다는 것이다. 본 발명에서는 복굴절에 대해 두 개의 서로 다른 픽셀 당 비용 볼륨 함수 Co와 Ce를 정의하고 수학식 6의 두 매핑 함수를 이용한 깊이 후보 검색을 통해 두 번째 문제를 해결할 수 있다. 이에 대해 설명하면 다음과 같다.
그래디언트 도메인 검색: 정상 광선과 이상 광선 Xo, Xe로부터 두 스테레오 영상의 합인 중첩 영상 Y를 캡쳐한다. 하나의 영상은 다른 영상의 변위 버전이다. 본 발명에서는 x와 y 방향에 따라 그래디언트 벡터
Figure 112016062800018-pat00083
를 계산하고, 그래디언트 크기
Figure 112016062800018-pat00084
를 가지는 모든 픽셀들 P로 만들어진 맵
Figure 112016062800018-pat00085
를 정의한다. 여기서, |2는 l2-표준을 나타낸다. 이렇게 검출된 픽셀들
Figure 112016062800018-pat00086
은 Y 상 대응 신호를 가진다. 따라서,
Figure 112016062800018-pat00087
에서 깊이를 추정하고, 이러한 결과를 Y의 모든 픽셀에 전달한다.
에지 픽셀 상에서 검출된 그래디언트
Figure 112016062800018-pat00088
는 Xo 또는 Xe에 포함될 수 있고, P가 Xo에 포함되는 경우 해당 에지 픽셀은 Xe에 포함되어야 하며, P가 Xe에 포함되는 경우 해당 에지 픽셀은 Xo에 포함되어야 한다. 그러나 도 6a와 도 6b에 도시된 바와 같이, 그래디언트는 에지 방향이 복굴절 영상에서 격차 방향과 일치하는 경우 Xo 또는 Xe에 할당할 수 없기 때문에 오버랩될 수 있다. 깊이 추정을 강건하게 만들기 위하여, 그래디언트 방향이 격차 방향에 가까운 픽셀들은
Figure 112016062800018-pat00089
에서 제외시킬 수 있으며, 예를 들어 다양한 기존 방식들을 이용하고
Figure 112016062800018-pat00090
45도의 임계 각도를 설정함으로써, 도 5c에 도시된 바와 같이 모호한 그래디언트를 제거할 수 있다. 또한, 복굴절의 해당 픽셀들의 그래디언트 크기는 금속 표면 상 그레이징 각도(grazing angle)를 제외하고 실질적으로 동일하다. 예를 들어, 도 7a의 두 개의 분리된 영상에 대한 강도에 도시된 바와 같이, 정상 광선 영상(점선 라인)과 이상 광선 영상(실선 라인)은 금속 표면 상 그레이징 각도를 제외하고는 서로 다른 영상에서 같은 픽셀당 강도를 가지는 것을 알 수 있고, 도 7b의 복굴절의 오버랩된 영상에 대한 강도에 도시된 바와 같이, 오버랩된 영상은 해당 픽셀들에 대하여 같은 그래디언트를 공유하는 것을 알 수 있다.
이러한 그래디언트 크기를 비교함으로써, 두 개의 주어진 픽셀들이 유효한 대응 쌍을 형성하는지 여부를 테스트할 수 있다. 본 발명에서 매칭 비용 함수는 복굴절의 특별한 특성들을 활용하여 그래디언트 도메인에서 잠재적인 스테레오 대응들과 비교된다.
듀얼 매칭 비용 볼륨: 여전히, 픽셀 에지
Figure 112016062800018-pat00091
가 정상 굴절 영상 Xo에 속하는지 이상 굴절 영상 Xe에 속하는지 여부를 명확하게 알 수 없다. 따라서, 본 발명에서는 아래 <수학식 7>과 같은 두 옵션들을 고려하여 모든 그래디언트 픽셀들에 대한 두 매칭 비용 함수를 계산한다.
[수학식 7]
Figure 112016062800018-pat00092
비용 함수 Co(P, z)는 각 깊이 z에 대하여 정상 광선 영상 Xo에서 픽셀 P의 매칭 비용을 평가하고,
Figure 112016062800018-pat00093
를 이용한 해당 이상 광선 격차를 찾는다. 다른 한편으로, Ce(P, z)는 각 깊이 z에 대하여 이상 광선 영상 Xe에서 픽셀 P의 매칭 비용을 평가하고
Figure 112016062800018-pat00094
를 이용하여 해당 정상 광선 격차를 찾는다. 매칭 비용은 두 그래디언트 벡터들 간의 차이의 l1-표준을 계산함으로써, 획득할 수 있다.
본 발명에서는 모든 깊이 후보들에 대해 가장 작은 오류를 가지는 비용 함수를 선택함으로써, 굴절 특성을 명확하게 할 수 있다.
본 발명에서는 R(red) 채널, G(green) 채널과 B(blue) 채널을 분리하여 비용 함수를 계산하고, 이렇게 계산된 RGB 채널들 각각의 비용 함수를 합산함으로써, 전체 비용을 획득한다. 매칭 비용 함수는 픽셀 당 연산자이기 때문에 영상에서 추정된 매칭 함수는 본질에서 결핍(spare)되거나 노이지(noisy)할 수 있다. 본 발명은 도 7d와 도 7e에 도시된 바와 같이 강건한 성능을 달성하기 위하여, 비용 볼륨 C(기존 스테레오에서는 비용 집합(aggregation))에서 각 깊이 레벨에 에지-인식 필터(edge-aware filter)를 적용할 수 있다.
따라서, 각 픽셀 P에 대한 가장 합당 깊이 추정은 해당 픽셀에 대하여 깊이에 따른 비용 볼륨이 최소가 되는 깊이 값을 해당 픽셀의 깊이로 추정할 수 있다.
각 픽실에 대한 깊이 추정 값이 선택되면, 선택된 값을 매팅 라플라시안(Matting Laplacian) 최적화를 이용하여 영상의 나머지로 전달한다.
3. 복굴절 교정(calibration of birefringence)
복굴절 영상에 대한 교정 방법이 존재하지 않기 때문에 본 발명은 간단하면서 실용적인 복굴절 영상에 대한 교정 방법을 제공한다. 프로젝션 매트릭스, 렌즈 왜곡 계수와 같은 카메라의 고유 특성을 판별하기 위하여, 기존 카메라 교정 방법을 선택할 수 있으며, 예를 들어, 장(Zhang)의 체커보드(checkerboard) 기반 방법을 선택할 수 있다.
이하, 광축 뿐만 아니라 필수 포인트와 같은 복굴절 물질의 광학 특성을 교정하는 방법에 대해 설명하며, 이러한 교정 프로세스는 단지 한번 수행될 필요가 있다.
필수 포인트: 본 발명에서, 복굴절 매질의 법선(또는 수직) n은 어느 방향으로 향할 수 있다. n의 방향을 판별(또는 결정)하는 것은 센서 평면 상의 E의 위치를 판별하는 것과 같다. 이를 위해, 본 발명은 매질이 없는 직접 영상, 정상 광선(센서의 Po 포인트)와 이상 광선(센서의 Pe 포인트)를 이미지화한 매질이 있는 두 개의 선형 편광 영상들인 세 개의 다른 영상을 체커보드의 입력으로 사용한다.
본 발명은 이상 포인트로부터 정상 포인트를 정확하게 식별하기 위하여, 기존 굴절 스테레오 기술을 수행하고, 정상 광선의 필수 라인들이 센서 평면 상의 필수 포인트 E에 수렴한다는 사실을 활용한다. 이에 반하여, 이상 광선은 특별한 기하학적 관계를 제외하고는 수렴하지 않는다.
따라서, 본 발명은 체커보드 영상의 쌍을 중첩하고, 해당 포인트를 정상 굴절 또는 이상 굴절을 포함하는 영상에 명확하게 연결한다. 이 때, 본 발명은 체커보드의 영상들 중 직접 영상과 굴절 매체를 가지는 각 영상을 중첩함으로써, 체커보드 영상의 쌍을 중첩할 수 있다.
특히, 필수 포인트 E의 좌표계를 추정하기 위하여, 암묵적인 함수(implicit function)
Figure 112016062800018-pat00095
로 N 연결 라인들을 정의하고, 최소 제곱 근사를 사용하여 N 방정식을 가지는 선형 시스템을 해결한다. 본 발명은 필수 라인 수렴의 전체 변화를 평가하고
Figure 112016062800018-pat00096
로 최적화 에러를 계산함으로써, 라인 수렴을 측정한다. 여기서,
Figure 112016062800018-pat00097
이고 센서 평면 상에 놓일 수 있다. 더 작은 오류는 정상 광선 영상을 나타내고 필수 포인트 E의 좌표를 차례로 산출한다.
광축(optical axis): 상용 기성품 단축 크리스털은 교정되어 복굴절의 광축을 제공한다. 그러나, 복굴절 스테레오의 경우 광축은 카메라 좌표계에 따라 교정될 필요가 있다. 본 발명에서는 광축을 추정하기 위한 교정 방법을 제공한다.
본 발명은 필수 포인트 E를 교정하기 위해 이미 획득된 세 개의 체커보드 영상들을 다시 사용한다. 먼저, 직접 영상, 정상 광선 영상 및 이상 광선 영상에 대한 체커보드 상 각 코너의 위치를 추출하고, 세 영상들 각각에 대한 코너의 해당 픽셀들 위치를 Pd, Po 및 Pe라 하면 필수 포인트 E는 이미 교정되었기 때문에 Pd와 Po 간의 정상 광선 대응을 상술한 수학식 1을 사용하여 깊이 z를 추정할 수 있다.
복굴절 매질의 광축 a로
Figure 112016062800018-pat00098
를 매개 변수화함으로써 복굴절 매질의 광축 a를 찾아서
Figure 112016062800018-pat00099
로 결과를 제공할 수 있다. 이 함수는 미지 변수 a를 가지고 알려진 값 Pe와 z로부터 직접 광선의 위치를 재구성할 수 있다. 직선 광선의 지상 실측 정보(ground truth) 위치 Pd를 알 수 있기 때문에 오류를 최소화하는 a의 최적 값을 검색할 수 있다.
본 발명에서는 제약 비선형 최소화 솔버(constrained nonlinear minimization solver)를 이용하여 최적화 문제를 해결할 수 있다.
이와 같이, 본 발명의 실시예에 따른 영상 깊이 추정 방법은 하나의 카메라 앞에 복굴절 평판과 같은 복굴절 매질을 설치하여 깊이 정보를 측정할 수 있기 때문에 스테레오 시스템과 같은 여러 대의 카메라를 사용할 필요가 없고, 카메라 앞에 복굴절 특징을 가진 평판을 설치하고 사진을 촬영하며 해당 사진에서 복굴절로 형성된 두 개의 영상이 떨어진 정도로부터 깊이 정보를 추정할 수 있다.
또한 본 발명에 따른 방법은 복굴절에서 싱글 샷 깊이 추정을 수행할 수 있기 때문에 일반적인 카메라 렌즈 앞에 복굴절 물질을 배치함으로써 쉽고 간단하게 달성할 수 있다. 따라서 저렴하면서 설정의 폼 팩터에 영향을 최소화하고, 공간적인 해상도를 희생하지 않으며, 시각적인 영상 저하가 발생하지 않고, 사용자들이 복잡한 추가적인 하드웨어나 설정에 대한 부담없이 영상을 촬영할 수 있기 때문에 개인 사진에 유용할 수 있다.
본 발명의 실시예에 따른 방법의 설명에서, 복굴절 매질이 카메라 앞에 설치된 것으로 설명하였지만, 이에 한정하지 않으며, 복굴절 매질은 피사체와 카메라의 이미지 센서 사이의 어느 곳에나 위치할 수 있다.
그리고, 본 발명은 상술한 바와 같이, 카메라의 렌즈, 경통, 이미지 센서를 공통으로 사용하는 단일 광학계에서 얻어지는 두 영상을 이용하여 픽셀의 깊이를 추정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 깊이 추정 장치에 대한 구성을 나타낸 것으로, 상술한 도 2 내지 도 7의 기능을 수행하는 장치에 대한 구성을 나타낸 것이다.
여기서, 본 발명의 영상 깊이 추정 장치는 카메라를 구비한 기기 예를 들어, 스마트 폰, 디지털 카메라 등의 모든 기기에 탑재될 수 있다.
도 8을 참조하면, 본 발명의 실시예에 따른 장치(800)는 생성부(810), 선택부(820), 추정부(830) 및 교정부(840)를 포함한다.
생성부(810)는 카메라 앞에 배치된 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성한다.
이 때, 생성부(810)는 깊이에 따른 정상 광선의 격차 함수를 도출하고, 입사 광선과 광학 중심을 통해 출력되는 이상 광선에 의해 정의된 워크-오프 평면을 이용하여 깊이에 따른 이상 광선의 격차 함수를 도출하며, 도출된 두 격차 함수를 결합하여 워크-오프 평면이 적용된 복굴절 모델을 생성할 수 있다.
나아가, 생성부(810)는 교정부에 의해 교정된 복굴절 매질의 광학 특성과 영상 설정에 대한 파라미터들을 반영하여 복굴절 모델을 생성할 수 있다.
선택부(820)는 카메라의 센서 평면을 통해 획득되는, 정상 광선과 이상 광선의 두 영상이 합쳐진 중첩 영상에 포함된 픽셀의 그래디언트와 복굴절 모델을 이용하여 비용 함수를 선택할 수 있다.
이 때, 선택부(820)는 중첩 영상에 대하여 제1 방향과 제2 방향 예를 들어, x 방향과 y 방향에 따라 그래디언트 벡터를 계산하고, 계산된 그래디언트 벡터의 크기와 미리 결정된 특정 값의 비교를 통해 검출된 픽셀들의 맵을 생성하며, 정상 광선 영상과 맵에 포함된 픽셀들 간의 제1 매칭 비용을 평가하고, 이상 광선 영상과 맵에 포함된 픽셀들 간의 제2 매칭 비용을 평가하며, 계산된 제1 매칭 비용과 제2 매칭 비용에 기초하여 제1 비용 함수와 제2 비용 함수 중 어느 하나의 비용 함수를 선택할 수 있다.
나아가, 선택부(820)는 해당 픽셀에 대하여, 미리 결정된 깊이 후보들에 대한 제1 매칭 비용과 제2 매칭 비용을 계산하고, 가장 작은 오류를 가지는 매칭 비용에 대응하는 비용 함수를 어느 하나의 비용 함수로 선택할 수 있다.
추정부(830)는 선택된 비용 함수에 기초하여 중첩 영상에 포함된 픽셀의 깊이를 추정한다.
이 때, 추정부(830)는 선택부(820)에 의해 선택된 어느 하나의 비용 함수가 최소가 되는 깊이 값을 해당 픽셀의 깊이로 추정할 수 있다.
교정부(840)는 복굴절 매질의 광학 특성과 카메라의 영상 설정에 대한 파라미터들을 교정한다.
이 때, 교정부(840)는 체커보드 기반 방법을 이용하여 복굴절 매질의 광학 특성을 교정할 수 있다.
물론, 이 뿐만 아니라 본 발명의 일 실시예에 따른 따른 장치가 도 2 내지 도 7에서 설명한 방법에 기재된 기능을 모두 수행할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매질 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매질에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매질에 기록될 수 있다. 상기 컴퓨터 판독 가능 매질은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매질에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매질의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매질(magnetic media), CD-ROM, DVD와 같은 광기록 매질(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매질(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 복굴절 매질; 및
    카메라
    를 포함하고,
    상기 카메라는
    상기 복굴절 매질을 통과하여 획득된 영상에 기초하여 픽셀의 깊이를 추정하며,
    상기 카메라는
    상기 복굴절 매질의 특성에 기초하여 복굴절 모델을 생성하고, 상기 복굴절 모델과 상기 획득된 영상에 기초하여 상기 픽셀의 깊이를 추정하며, 상기 복굴절 모델을 이용하여 비용 함수를 선택하고, 상기 선택된 비용 함수에 기초하여 상기 픽셀의 깊이를 추정하는 영상 깊이 추정 시스템.
  2. 제1항에 있어서,
    상기 복굴절 매질을 통과하여 획득된 영상은
    단일 광학계에서 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득되는 것을 특징으로 하는 영상 깊이 추정 시스템.
  3. 제1항에 있어서,
    상기 카메라는
    적어도 두 개의 영상들이 중첩된 상기 획득된 영상으로부터 상기 적어도 두 개의 영상들을 분리하고, 상기 적어도 두 개의 영상들에 기초하여 상기 픽셀의 깊이를 추정하는 것을 특징으로 하는 영상 깊이 추정 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 카메라는
    상기 획득된 영상에 포함된 픽셀의 그래디언트와 상기 복굴절 모델을 이용하여 비용 함수를 선택하는 것을 특징으로 하는 영상 깊이 추정 시스템.
  6. 제5항에 있어서,
    상기 카메라는
    상기 선택된 비용 함수가 최소가 되는 값을 해당 픽셀의 깊이로 추정하는 것을 특징으로 하는 영상 깊이 추정 시스템.
  7. 삭제
  8. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 단계; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 단계
    를 포함하고,
    상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상이 서로 중첩되는 중첩 영상에 포함된 픽셀의 그래디언트와 상기 복굴절 모델을 이용하여 비용 함수를 선택하는 단계
    를 더 포함하고,
    상기 픽셀의 깊이를 추정하는 단계는
    상기 선택된 비용 함수에 기초하여 상기 픽셀의 깊이를 추정하는 것을 특징으로 하는 영상 깊이 추정 방법.
  9. 제8항에 있어서,
    상기 비용 함수를 선택하는 단계는
    상기 중첩 영상에 대하여 제1 방향과 제2 방향에 따라 그래디언트 벡터를 계산하는 단계;
    상기 계산된 그래디언트 벡터의 크기와 미리 결정된 특정 값의 비교를 통해 검출된 픽셀들의 맵을 생성하는 단계;
    상기 정상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제1 매칭 비용을 평가하고, 상기 이상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제2 매칭 비용을 평가하는 단계; 및
    상기 제1 매칭 비용과 상기 제2 매칭 비용에 기초하여 제1 비용 함수와 제2 비용 함수 중 어느 하나의 비용 함수를 선택하는 단계
    를 포함하는 것을 특징으로 하는 영상 깊이 추정 방법.
  10. 제9항에 있어서,
    상기 깊이를 추정하는 단계는
    상기 선택된 어느 하나의 비용 함수가 최소가 되는 깊이 값을 해당 픽셀의 깊이로 추정하는 것을 특징으로 하는 영상 깊이 추정 방법.
  11. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 단계; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 단계
    를 포함하고,
    상기 복굴절 모델을 생성하는 단계는
    상기 깊이에 따른 상기 정상 광선의 격차 함수를 도출하는 단계;
    입사 광선과 미리 정의된 광학 중심을 통해 출력되는 이상 광선에 의해 정의된 워크-오프 평면을 이용하여 상기 깊이에 따른 상기 이상 광선의 격차 함수를 도출하는 단계; 및
    상기 도출된 두 격차 함수를 결합하여 상기 워크-오프 평면이 적용된 상기 복굴절 모델을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 깊이 추정 방법.
  12. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 단계; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 단계
    를 포함하고,
    상기 복굴절 매질의 광학 특성과 상기 카메라의 영상 설정에 대한 파라미터들을 교정하는 단계
    를 더 포함하고,
    상기 복굴절 모델을 생성하는 단계는
    상기 교정하는 단계에 의해 교정된 상기 복굴절 매질의 광학 특성과 상기 영상 설정에 대한 파라미터들을 반영하여 상기 복굴절 모델을 생성하는 것을 특징으로 하는 영상 깊이 추정 방법.
  13. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 단계; 및
    카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상의 두 영상이 합쳐진 중첩 영상에 대한 그래디언트 도메인 검색, 상기 복굴절 모델 및 상기 정상 광선과 상기 이상 광선에 대한 비용 함수에 기초하여 상기 중첩 영상에 포함된 픽셀의 깊이를 추정하는 단계
    를 포함하는 영상 깊이 추정 방법.
  14. 삭제
  15. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 생성부; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 추정부
    를 포함하고,
    상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상이 서로 중첩되는 중첩 영상에 포함된 픽셀의 그래디언트와 상기 복굴절 모델을 이용하여 비용 함수를 선택하는 선택부
    를 더 포함하고,
    상기 추정부는
    상기 선택된 비용 함수에 기초하여 상기 픽셀의 깊이를 추정하는 것을 특징으로 하는 영상 깊이 추정 장치.
  16. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 생성부; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 추정부
    를 포함하고,
    상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상은
    단일 광학계에서 상기 카메라의 적어도 하나의 이미지 센서를 통해 획득되는 것을 특징으로 하는 영상 깊이 추정 장치.
  17. 제15항에 있어서,
    상기 선택부는
    상기 중첩 영상에 대하여 제1 방향과 제2 방향에 따라 그래디언트 벡터를 계산하고, 상기 계산된 그래디언트 벡터의 크기와 미리 결정된 특정 값의 비교를 통해 검출된 픽셀들의 맵을 생성하며, 상기 정상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제1 매칭 비용을 평가하고, 상기 이상 광선 영상과 상기 맵에 포함된 픽셀들 간의 제2 매칭 비용을 평가하며, 상기 제1 매칭 비용과 상기 제2 매칭 비용에 기초하여 제1 비용 함수와 제2 비용 함수 중 어느 하나의 비용 함수를 선택하는 것을 특징으로 하는 영상 깊이 추정 장치.
  18. 제17항에 있어서,
    상기 추정부는
    상기 선택된 어느 하나의 비용 함수가 최소가 되는 깊이 값을 해당 픽셀의 깊이로 추정하는 것을 특징으로 하는 영상 깊이 추정 장치.
  19. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 생성부; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 추정부
    를 포함하고,
    상기 생성부는
    상기 깊이에 따른 상기 정상 광선의 격차 함수를 도출하고, 입사 광선과 미리 정의된 광학 중심을 통해 출력되는 이상 광선에 의해 정의된 워크-오프 평면을 이용하여 상기 깊이에 따른 상기 이상 광선의 격차 함수를 도출하며, 상기 도출된 두 격차 함수를 결합하여 상기 워크-오프 평면이 적용된 상기 복굴절 모델을 생성하는 것을 특징으로 하는 영상 깊이 추정 장치.
  20. 복굴절 매질을 통해 수신되는 정상 광선(ordinary ray)과 이상 광선(extraordinary ray)의 차이와 깊이 간의 관계에 대한 복굴절 모델을 생성하는 생성부; 및
    상기 복굴절 모델을 이용하여 카메라의 적어도 하나의 이미지 센서를 통해 획득되는, 상기 정상 광선에 대응하는 영상과 상기 이상 광선에 대응하는 영상에 기초하여 픽셀의 깊이를 추정하는 추정부
    를 포함하고,
    상기 복굴절 매질의 광학 특성과 상기 카메라의 영상 설정에 대한 파라미터들을 교정하는 교정부
    를 더 포함하고,
    상기 생성부는
    상기 교정부에 의해 교정된 상기 복굴절 매질의 광학 특성과 상기 영상 설정에 대한 파라미터들을 반영하여 상기 복굴절 모델을 생성하는 것을 특징으로 하는 영상 깊이 추정 장치.
KR1020160081370A 2016-06-29 2016-06-29 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치 KR101915843B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160081370A KR101915843B1 (ko) 2016-06-29 2016-06-29 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
US15/236,911 US10217233B2 (en) 2016-06-29 2016-08-15 Method of estimating image depth using birefringent medium and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160081370A KR101915843B1 (ko) 2016-06-29 2016-06-29 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180002199A KR20180002199A (ko) 2018-01-08
KR101915843B1 true KR101915843B1 (ko) 2018-11-08

Family

ID=60807637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160081370A KR101915843B1 (ko) 2016-06-29 2016-06-29 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치

Country Status (2)

Country Link
US (1) US10217233B2 (ko)
KR (1) KR101915843B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102209915B1 (ko) * 2018-11-09 2021-02-01 한국과학기술원 복굴절 스테레오 영상 복원 방법 및 그 장치
JP2022081926A (ja) * 2020-11-20 2022-06-01 ソニーグループ株式会社 信号処理装置と信号処理方法およびプログラム
KR102361133B1 (ko) * 2021-09-23 2022-02-14 주식회사 멀티플아이 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097132A (ja) * 2011-10-31 2013-05-20 Canon Inc 撮像装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3902805A (en) * 1973-09-17 1975-09-02 Vishay Intertechnology Inc Automatic birefringence measuring apparatus
FR2381300A1 (fr) * 1977-02-21 1978-09-15 France Etat Photo-elasticimetre dynamique a birefringent tournant
JP3009521B2 (ja) 1990-10-23 2000-02-14 オリンパス光学工業株式会社 計測内視鏡
US5703726A (en) * 1995-08-28 1997-12-30 Eastman Kodak Company Reverse telephoto lens
JP3705869B2 (ja) * 1996-09-06 2005-10-12 富士写真フイルム株式会社 デジタル画像形成装置
EP0913795B1 (en) * 1997-10-28 2003-05-02 Matsushita Electric Industrial Co., Ltd. Image generation apparatus, image generation method, image generation program recording medium, image composition apparatus, image composition method, and image composition program recording medium
US6249379B1 (en) * 1999-04-15 2001-06-19 Agere Systems Guardian Optical beam power controller using a tiltable birefringent plate
FR2831962B1 (fr) * 2001-11-08 2004-06-25 Geophysique Cie Gle Procede de traitement sismique, notamment pour la compensation de birefringence sur des traces sismiques
US20050117117A1 (en) * 2003-12-02 2005-06-02 Dan Bourla Intraoperative biometry
US8164721B2 (en) * 2003-12-11 2012-04-24 Tan Kim L Grating trim retarders
JP2006243311A (ja) * 2005-03-03 2006-09-14 Fuji Photo Film Co Ltd 光学媒体の光学特性の解析方法、解析装置及製造監視方法
EP1764644B1 (en) * 2005-09-09 2017-08-30 Viavi Solutions Inc. Optimally oriented trim retarders
US8125648B2 (en) * 2006-06-05 2012-02-28 Board Of Regents, The University Of Texas System Polarization-sensitive spectral interferometry
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
US7763841B1 (en) * 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
JP5750864B2 (ja) * 2010-10-27 2015-07-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8674965B2 (en) * 2010-11-18 2014-03-18 Microsoft Corporation Single camera display device detection
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US9020230B2 (en) * 2011-11-02 2015-04-28 General Electric Company Method and apparatus for iterative reconstruction
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
EP4296963A3 (en) * 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US8928715B2 (en) * 2012-12-25 2015-01-06 Ricoh Company, Ltd. Light source driver, light source-driving method, image-forming apparatus, light source-driving circuit, and optical scanner
JP2015046777A (ja) * 2013-08-28 2015-03-12 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20150206337A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for visualization of geo-located media contents in 3d rendering applications
WO2016044465A1 (en) * 2014-09-16 2016-03-24 Sirona Dental, Inc. Methods, systems, apparatuses, and computer programs for processing tomographic images
US20160377782A1 (en) * 2015-06-27 2016-12-29 Cory Salar Hague Birefringent methods to create optical effects for photography and videography
JP2017104343A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9900579B2 (en) * 2015-12-26 2018-02-20 Intel Corporation Depth-sensing camera device having a shared emitter and imager lens and associated systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097132A (ja) * 2011-10-31 2013-05-20 Canon Inc 撮像装置

Also Published As

Publication number Publication date
US20180005398A1 (en) 2018-01-04
KR20180002199A (ko) 2018-01-08
US10217233B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
US11570423B2 (en) System and methods for calibration of an array camera
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US8406510B2 (en) Methods for evaluating distances in a scene and apparatus and machine readable medium using the same
JP6608763B2 (ja) 画像処理装置及び撮影装置
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
US9916689B2 (en) Apparatus and method for estimating camera pose
CN107533763B (zh) 图像处理装置、图像处理方法及程序
US10412370B2 (en) Photographing device and vehicle
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
US20130077859A1 (en) Method and system for color look up table generation
US9430834B2 (en) Visual perception matching cost on binocular stereo images
KR101915843B1 (ko) 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
CN105335959B (zh) 成像装置快速对焦方法及其设备
US11393116B2 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
JP7132501B2 (ja) 測距カメラ
Nozick Camera array image rectification and calibration for stereoscopic and autostereoscopic displays
KR102288237B1 (ko) 이미지 연관 방법, 시스템 및 장치
JP6655869B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112262411A (zh) 图像关联方法、***和装置
KR101632069B1 (ko) 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치
KR101229376B1 (ko) 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치
KR102112019B1 (ko) 중간시점 영상 생성 장치 및 방법
JP5358137B2 (ja) 画像生成装置、方法及びプログラム
Tanaka et al. Depth map estimation with unknown fixed pattern projection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right