KR20130019080A - 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 - Google Patents

플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20130019080A
KR20130019080A KR1020110081022A KR20110081022A KR20130019080A KR 20130019080 A KR20130019080 A KR 20130019080A KR 1020110081022 A KR1020110081022 A KR 1020110081022A KR 20110081022 A KR20110081022 A KR 20110081022A KR 20130019080 A KR20130019080 A KR 20130019080A
Authority
KR
South Korea
Prior art keywords
image
information
images
camera
depth
Prior art date
Application number
KR1020110081022A
Other languages
English (en)
Other versions
KR101857977B1 (ko
Inventor
이승규
김도균
심현정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110081022A priority Critical patent/KR101857977B1/ko
Publication of KR20130019080A publication Critical patent/KR20130019080A/ko
Application granted granted Critical
Publication of KR101857977B1 publication Critical patent/KR101857977B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

플래놉틱 카메라와 깊이 카메라를 결합하여 상기 플래놉틱 카메라에서 생성된 다시점 영상과 상기 깊이 카메라에서 생성된 깊이 영상을 정합함으로써, 3차원 영상을 생성하는 영상 장치 및 영상 처리 방법에 관한 것이다.

Description

플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법{IMAGE APPARATUS FOR COMBINING PLENOPTIC CAMERA AND DEPTH CAMERA, AND IMAGE PROCESSING METHOD}
두 카메라 간의 결합을 통해 생성된 영상을 처리하는 기술에 관한 것이다.
한 개 이상의 다시점 영상을 획득할 수 있는 집적 영상(Integral Imaging) 기술은 라이트 필드(Light Field) 영상을 획득할 수 있는 방식으로 알려져 있다. 그러나, 다시점 영상을 획득하는 플래놉틱 카메라(Plenoptic Camera)의 렌즈 어레이(array)를 정밀하게 제작하는데 한계가 있다. 또한, 플래놉틱 카메라는 공간 해상도와 시점 해상도의 제약으로 리얼 3차원 영상을 획득하는 데는 한계를 보인다.
한편, 컬러 카메라와 깊이 카메라를 결합한 컬러-깊이 카메라는 다양한 시점 영상의 라이트 필드(Light Field) 획득이 불가능하다. 따라서, 다수의 컬러-깊이 카메라를 사용하는 방식이 제안되고 있으나, 이는 카메라 시스템의 크기 등의 문제로 소비자 장치(Consumer Device)화하는 데에 문제가 발생한다.
일실시예에 따른 영상 장치는 시점이 서로 상이한 복수의 시점 영상들을 포함하는 집적 영상을 생성하는 플래놉틱 카메라, 깊이 영상을 생성하는 깊이 카메라, 및 상기 집적 영상과 상기 깊이 영상을 정합하여 3차원 영상을 생성하는 영상 정합부를 포함한다.
상기 영상 정합부는 상기 플래놉틱 카메라와 상기 깊이 카메라의 상대적 위치를 측정하고, 상기 측정된 상대적 위치에 기초하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
상기 영상 정합부는 상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 회전 정보 또는 이동 정보를 계산하고, 계산된 회전 정보 또는 이동 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
상기 영상 정합부는 상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 호모그라피를 획득하고, 획득한 호모그라피를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
상기 영상 정합부는 상기 복수의 시점 영상들 중에서 소수 시점 영상들의 픽셀값들을 과반수 시점 영상들의 픽셀값들로 변경하여 상기 집적 영상과 상기 깊이 영상 간의 형상 정보를 개선하고, 개선된 형상 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
상기 영상 정합부는 상기 복수의 시점 영상들과 연관된 컬러 정보의 변화량을 산출하고, 산출된 변화량에 기초하여 상기 복수의 시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측하고, 예측된 재질 정보, 조명 정보 및 컬러 정보 각각에 따라 상기 복수의 시점 영상들에 포함된 픽셀을 세분화할 수 있다.
상기 영상 정합부는 선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드를 이용하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득하고, 획득한 대표 라이트 필드 정보에 기초하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
다른 실시예에 따른 영상 장치는 시점이 각각 상이한 다시점 영상들을 생성하는 플래놉틱 카메라, 깊이 영상을 생성하는 깊이 카메라, 및 상기 다시점 영상들간의 조명 정보 또는 재질 정보를 매칭하고, 상기 매칭된 조명 정보 또는 재질 정보에 기초하여 상기 다시점 영상들과 상기 깊이 영상 간의 3차원 형상 정보를 획득하는 형상 캡처링부를 포함한다.
상기 형상 캡처링부는 상기 다시점 영상들에 포함된 소수 다시점 영상들의 픽셀값들을 과반수 다시점 영상들의 픽셀값들로 변경하여 상기 다시점 영상들간의 조명 정보 또는 재질 정보를 매칭할 수 있다.
상기 영상 장치는 상기 3차원 형상 정보를 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합하는 영상 처리부를 더 포함할 수 있다.
또 다른 실시예에 따른 영상 장치는 시점이 서로 상이한 다시점 영상들을 생성하는 플래놉틱 카메라, 깊이 영상을 생성하는 깊이 카메라, 상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보에 따라 상기 다시점 영상들에 포함된 픽셀을 세분화하는 픽셀 세분화부, 및 상기 세분화된 픽셀을 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합하는 영상 처리부를 포함한다.
상기 픽셀 세분화부는 상기 다시점 영상들로부터 획득한 컬러 정보의 변화량을 이용하여 상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측하고, 예측된 재질 정보, 조명 정보 및 컬러 정보에 따라 상기 다시점 영상들에 포함된 픽셀을 세분화할 수 있다.
상기 영상 처리부는 선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드값을 합하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득하고, 획득한 대표 라이트 필드 정보에 기초하여 상기 다시점 영상들과 상기 깊이 영상을 정합할 수 있다.
영상 처리 방법은 시점이 서로 상이한 복수의 시점 영상들을 생성하는 플래놉틱 카메라의 기능을 제공하는 단계, 깊이 영상을 생성하는 깊이 카메라의 기능을 제공하는 단계, 및 상기 플래놉틱 카메라의 기능과 상기 깊이 카메라의 기능을 결합한 카메라를 구현하는 단계를 포함한다.
플래놉틱 카메라와 깊이 카메라 간의 결합을 통해 리얼 3차원 영상을 획득할 수 있다.
플래놉틱 카메라와 깊이 카메라가 결합된 영상 장치로부터 3차원 형상 정보를 획득할 수 있다.
라이트 필드의 재질 정보, 조명 정보를 쉽게 획득할 수 있다.
작은 크기의 카메라로 라이트 필드 형상을 캡쳐링하는 장치의 구현이 가능하다.
플래놉틱 카메라와 깊이 카메라의 결합을 통해 공간 해상도와 시점 해상도를 높일 수 있다.
덴스(Dense) 라이트 필드를 획득할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 장치의 구성을 도시한 블록도이다.
도 2는 종래기술과 비교하여 본 발명에서 시점 해상도를 높이는 일례를 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 영상 장치의 구성을 도시한 블록도이다.
도 4는 형상 정보를 개선하는 일례를 도시한 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 영상 장치의 구성을 도시한 블록도이다.
도 6은 영상 내에서 재질 정보와 조명 정보를 예측하는 일례를 도시한 도면이다.
도 7은 픽셀 세분화를 통해 대표 라이트 필드 정보를 획득하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 영상 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 영상 장치(100)는 플래놉틱 카메라(110), 깊이 카메라(120), 및 영상 정합부(130)를 포함할 수 있다.
실시예에 따라, 영상 장치(100)는 플래놉틱 카메라(110)와 깊이 카메라(120)를 하나의 보디(body)로 연결한 카메라이거나, 하나의 보디 안에 플래놉틱 카메라(110)와 깊이 카메라(120)의 기능이 구현된 카메라일 수도 있다.
플래놉틱 카메라(110, Plenoptic Camera)는 시점이 서로 상이한 복수의 시점 영상들을 포함하는 집적 영상(integral Image)을 생성한다. 플래놉틱 카메라(110)는 복수의 렌즈들을 어레이(array)를 통해 복수의 서로 상이한 시점을 가지는 복수의 시점 영상들을 생성할 수 있다. 이러한, 복수의 시점 영상들이 포함된 영상이 집적 영상이다.
깊이 카메라(120, Depth Camera)는 한 시점에서의 깊이 영상을 생성한다.
영상 정합부(130)는 복수의 시점 영상을 포함하는 집적 영상과 한 시점의 깊이 영상을 정합(Calibration)함으로써, 3차원 영상을 생성할 수 있다.
실시예로, 영상 정합부(130)는 플래놉틱 카메라(110)와 깊이 카메라(120)의 상대적 위치를 측정할 수 있다. 상대적 위치는 플래놉틱 카메라(110)와 깊이 카메라(120)간에 떨어져 있는 거리, 또는 플래놉틱 카메라(110)와 깊이 카메라(120)간의 초점거리의 차이일 수 있다. 영상 정합부(130)는 상기 측정된 상대적 위치에 기초하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
다른 실시예로, 영상 정합부(130)는 상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 회전 정보 또는 이동 정보를 계산할 수 있다. 회전(rotation) 정보 또는 이동(translation) 정보는 서로 다른 두 개의 영상간의 정합을 위해 많이 사용되는 방식 중 하나이다. 참고로, 영상 정합부(130)는 플래놉틱 카메라(110)의 상기 복수의 렌즈들의 어레이 구성에 따라 상기 복수의 시점 영상간의 시점 차이를 알 수 있다. 따라서, 영상 정합부(130)는 상기 집적 영상 내에 포함된 모든 시점 영상과 상기 깊이 영상간의 회전 정보 또는 이동 정보를 모두 계산할 수 있다. 영상 정합부(130)는 상기 계산된 회전 정보 또는 이동 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
또 다른 실시예로, 영상 정합부(130)는 상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 호모그라피(homography)를 획득할 수 있다. 호모그라피는 영상을 보정하기 위해 많이 사용되는 방식 중 하나이다. 영상 정합부(130)는 상기 획득한 호모그라피를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
또 다른 실시예로, 영상 정합부(130)는 상기 복수의 시점 영상들 중에서 소수 시점 영상들의 픽셀값들을 과반수 시점 영상들의 픽셀값들로 변경함으로써, 상기 집적 영상과 상기 깊이 영상 간의 형상 정보를 개선할 수 있다. 예컨대, 상기 복수의 시점 영상들이 '10개' 있다고 가정한다면, 10개 중 3개의 소수 시점 영상들의 픽셀값이 7개의 과반수 시점 영상들의 픽셀값과 다를 수 있다. 영상 정합부(130)는 상기 소수 시점 영상들 3개의 픽셀값을 상기 과반수 시점 영상들의 픽셀값으로 변경할 수 있다.
즉, 영상 정합부(130)는 포토메트리(photometry), 텍스처(texture) 등 시점간 일관성(consistency)을 최대화함으로써, 3차원 형상 정보의 정밀도를 향상시킬 수 있다. 이렇게, 영상 정합부(130)는 상기 깊이 영상의 정밀도를 향상시킬 수 있다. 영상 정합부(130)는 상기 개선된 형상 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다.
도 2는 종래기술과 비교하여 본 발명에서 시점 해상도를 높이는 일례를 도시한 도면이다.
도 2를 참고하면, 컬러 카메라와 깊이 카메라를 결합한 카메라(210, 'cdCam'라고도 함)에서는 깊이 카메라에서 얻어진 3차원 픽셀과 컬러 정보를 획득할 수 있다. 이때, 얻어진 컬러 정보는 하나의 시점에서 관찰된 라이트 레이 정보를 나타낸다.
반면, 플래놉틱 카메라와 깊이 카메라를 결합한 카메라(220, 'pdCam'라고도 함)에서는 깊이 카메라에서 얻어진 3차원 픽셀과, 복수의 시점에서의 컬러 정보를 획득할 수 있다. 즉, 제한적인 개수(시점 해상도)의 라이트 필드 정보를 획득할 수 있는 것이다.
예컨대, 플래놉틱 카메라(110)는 렌즈 어레이가 서로 다른 위치에 놓여 있어, 각 3차원 픽셀도 서로 다른 깊이를 가진다. 따라서, 각 3차원 픽셀에서 관찰되는 라이트 필드 정보는 모두 동일한 각도에서 얻어지는 것이라고 볼 수 없다. 그러나, 상기 라이트 필드 정보는 시점 해상도를 높이는데 활용될 수 있다.
또 다른 실시예로, 영상 정합부(130)는 상기 복수의 시점 영상들과 연관된 컬러 정보의 변화량을 산출할 수 있다. 영상 정합부(130)는 상기 산출된 변화량에 기초하여 상기 복수의 시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측할 수 있다. 영상 정합부(130)는 예측된 재질 정보, 조명 정보 및 컬러 정보 각각에 따라 상기 복수의 시점 영상들에 포함된 픽셀을 세분화할 수 있다.
예컨대, 영상 정합부(130)는 하나의 3차원 픽셀에 대하여, 상기 예측된 재질 정보에 따라 픽셀을 세분화하여 제1 픽셀을 만들고, 상기 예측된 조명 정보에 따라 픽셀을 세분화하여 제2 픽셀을 만들며, 상기 예측된 컬러 정보에 따라 픽셀을 세분화하여 제3 픽셀을 만들 수 있다.
이후, 영상 정합부(130)는 상기 3차원 픽셀에 대하여, 세분화된 상기 제1 픽셀 내지 상기 제3 픽셀에 포함된 라이트 필드를 합하여, 상기 3차원 픽셀을 대표하는 대표 라이트 필드 정보를 획득할 수 있다. 영상 정합부(130)는 상기 획득한 대표 라이트 필드 정보에 기초하여 상기 집적 영상과 상기 깊이 영상을 정합할 수 있다. 따라서, 영상 정합부(130)는 상기 대표 라이트 필드 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합함으로써, 정합한 3차원 영상에 대한 시점 해상도를 높일 수 있다.
도 3은 본 발명의 다른 실시예에 따른 영상 장치의 구성을 도시한 블록도이다.
도 3을 참고하면, 영상 장치(300)는 플래놉틱 카메라(310), 깊이 카메라(220), 형상 캡쳐링부(330), 및 영상 처리부(340)를 포함할 수 있다.
실시예에 따라, 영상 장치(300)는 플래놉틱 카메라(310)와 깊이 카메라(320)를 하나의 보디로 연결한 카메라이거나, 하나의 보디 안에 플래놉틱 카메라(310)와 깊이 카메라(320)의 기능이 구현된 카메라일 수도 있다.
플래놉틱 카메라(310)는 시점이 서로 상이한 다시점 영상들을 생성한다. 플래놉틱 카메라(310)는 복수의 렌즈들을 어레이를 통해 복수의 서로 상이한 시점을 가지는 다시점 영상들을 생성할 수 있다.
깊이 카메라(320)는 한 시점에서의 깊이 영상을 생성한다.
형상 캡쳐링부(330)는 상기 다시점 영상들간의 조명 정보 또는 재질 정보를 매칭한다. 실시예로, 형상 캡쳐링부(330)는 상기 다시점 영상들에 포함된 소수 다시점 영상들의 픽셀값들을 과반수 다시점 영상들의 픽셀값들로 변경함으로써, 상기 다시점 영상들간의 조명 정보 또는 재질 정보를 매칭할 수 있다.
형상 캡쳐링부(330)는 상기 매칭된 조명 정보 또는 재질 정보에 기초하여 상기 다시점 영상들과 상기 깊이 영상 간의 3차원 형상 정보를 획득할 수 있다. 형상 캡쳐링부(330)는 상기 조명 정보 또는 상기 재질 정보의 일관성을 최대화함으로써, 상기 3차원 형상 정보의 정밀도를 향상시킬 수 있다.
영상 처리부(340)는 상기 3차원 형상 정보를 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합할 수 있다. 상기 3차원 형상 정보의 정밀도를 향상시키면, 상기 깊이 영상의 정밀도도 향상시킬 수 있다. 따라서, 영상 처리부(340)는 상기 깊이 영상의 정밀도를 향상시켜, 상기 다시점 영상들과 상기 깊이 영상을 정합을 용이하게 처리할 수 있다.
도 4는 형상 정보를 개선하는 일례를 도시한 도면이다.
도 4를 참고하면, 플래놉틱 카메라(310)에서 획득한 다시점 영상은 주변 다시점 영상에 해당한다. 따라서, 형상 캡쳐링부(330)는 상기 다시점 영상들 간의 시점을 일관성 높게 처리함으로써, 3차원 형상 정보의 정밀도를 향상시킬 수 있다.
도면부호(410)를 참고하면, 형상 캡쳐링부(330)는 상기 다시점 영상들에 포함된 소수 다시점 영상들의 픽셀값들(점선 표시 화살표)을 과반수 다시점 영상들의 픽셀값들(실선 표시 화살표)로 변경할 수 있다. 이를 통해, 형상 캡쳐링부(330)는 상기 다시점 영상들간의 조명 정보 또는 재질 정보를 일관되게 매칭할 수 있다.
이 경우, 도면부호(410)의 3차원 형상 정보(점선 동그라미)가 도면부호(420)의 3차원 형상 정보(실선 동그라미)와 같이 개선되는 것을 알 수 있다. 이렇게, 상기 3차원 형상 정보의 정밀도를 향상시켜, 상기 깊이 영상의 정밀도도 향상시킬 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 영상 장치의 구성을 도시한 블록도이다.
도 5를 참고하면, 영상 장치(500)는 플래놉틱 카메라(510), 깊이 카메라(520), 픽셀 세분화부(530), 및 영상 처리부(540)를 포함할 수 있다.
실시예에 따라, 영상 장치(500)는 플래놉틱 카메라(510)와 깊이 카메라(520)를 하나의 보디로 연결한 카메라이거나, 하나의 보디 안에 플래놉틱 카메라(510)와 깊이 카메라(520)의 기능이 구현된 카메라일 수도 있다.
플래놉틱 카메라(510)는 시점이 서로 상이한 다시점 영상들을 생성한다. 플래놉틱 카메라(510)는 복수의 렌즈들을 어레이를 통해 복수의 서로 상이한 시점을 가지는 다시점 영상들을 생성할 수 있다.
깊이 카메라(520)는 한 시점에서의 깊이 영상을 생성한다.
픽셀 세분화부(530)는 상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보에 따라 상기 다시점 영상들에 포함된 픽셀을 세분화한다. 실시예로, 픽셀 세분화부(530)는 상기 다시점 영상들로부터 획득한 컬러 정보의 변화량을 산출할 수 있다. 픽셀 세분화부(530)는 상기 산출된 변화량을 이용하여 상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측할 수 있다.
도 6은 영상 내에서 재질 정보와 조명 정보를 예측하는 일례를 도시한 도면이다.
도 6을 참고하면, 위에 표시된 두 개의 동그라미 색상(흰색)과 아래 표시된 두 개의 동그라미(검은색) 색상이 다른 것을 알 수 있다. 또한, 위에 표시된 두 개의 동그라미에 포함된 라이트 레이(실선 화살표)와, 아래 표시된 두 개의 동그라미에 포함된 라이트 레이(점선 화살표, 실선 화살표)가 다른 것을 알 수 있다. 실제 화살표는 라이트 레이에 따른 색상 변화를 나타내는 것이나, 도면 상에서는 색상 변화의 직관적 표시가 어려워 모양 변화로 표시하였다. 상기 표시된 동그라미의 색상, 화살표 모양은 객체의 재질 정보, 조명 정보(조명 환경) 및 컬러 정보에 따라 각각 다른 색상 또는 모양을 가질 수 있다. 따라서, 픽셀 세분화부(530)는 상기 산출된 변화량을 이용하여 상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측할 수 있다.
픽셀 세분화부(530)는 상기 예측된 재질 정보, 조명 정보 및 컬러 정보에 따라 상기 다시점 영상들에 포함된 픽셀을 세분화할 수 있다. 예컨대, 픽셀 세분화부(530)는 하나의 3차원 픽셀에 대하여, 상기 예측된 재질 정보에 따라 픽셀을 세분화하여 제1 픽셀을 만들고, 상기 예측된 조명 정보에 따라 픽셀을 세분화하여 제2 픽셀을 만들며, 상기 예측된 컬러 정보에 따라 픽셀을 세분화하여 제3 픽셀을 만들 수 있다.
영상 처리부(540)는 상기 세분화된 픽셀을 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합한다. 영상 처리부(540)는 선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드값을 합하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득할 수 있다. 선정된 영역은 픽셀을 세분화한 영역으로서, 예컨대, 하나의 픽셀 또는 하나 이상의 픽셀을 포함하는 영역일 수 있다.
영상 처리부(540)는 상기 획득한 대표 라이트 필드 정보에 기초하여 상기 다시점 영상들과 상기 깊이 영상을 정합할 수 있다.
도 7은 픽셀 세분화를 통해 대표 라이트 필드 정보를 획득하는 일례를 도시한 도면이다.
도 7을 참고하면, 픽셀 세분화부(530)는 하나의 3차원 픽셀을 재질 정보, 조명 정보 및 컬러 정보 각각에 따라 제1 픽셀(710), 제2 픽셀(720), 제3 픽셀(730)로 세분화할 수 있다. 영상 처리부(540)는 제1 픽셀(710)의 라이트 필드, 제2 픽셀(720)의 라이트 필드, 제3 픽셀(730)의 라이트 필드를 모두 합하여, 상기 3차원 픽셀을 대표하는 대표 라이트 필드 정보(740)를 획득할 수 있다.
따라서, 영상 처리부(540)는 상기 대표 라이트 필드 정보를 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합함으로써, 정합한 3차원 영상에 대한 시점 해상도를 높일 수 있다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법의 순서를 도시한 흐름도이다. 도 8의 영상 처리 방법은 도 1, 도 3, 또는 도 5에 도시한 영상 장치에 의해 구현될 수 있다.
도 8을 참고하면, 단계 810에서, 영상 처리 방법은 시점이 서로 상이한 복수의 시점 영상들을 생성하는 플래놉틱 카메라의 기능을 제공한다.
단계 820에서, 상기 영상 처리 방법은 깊이 영상을 생성하는 깊이 카메라의 기능을 제공한다.
단계 830에서, 상기 영상 처리 방법은 상기 플래놉틱 카메라의 기능과 상기 깊이 카메라의 기능을 결합한 카메라를 구현할 수 있다.
실시예로, 상기 영상 처리 방법은 상기 플래놉틱 카메라와 상기 깊이 카메라의 상대적 위치를 측정하고, 상기 측정된 상대적 위치에 기초하여 상기 복수의 시점 영상들과 상기 깊이 영상을 정합할 수 있다.
다른 실시예로, 상기 영상 처리 방법은 상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 회전 정보 또는 이동 정보를 계산하고, 상기 계산된 회전 정보 또는 이동 정보를 이용하여 상기 복수의 시점 영상들과 상기 깊이 영상을 정합할 수 있다.
또 다른 실시예로, 상기 영상 처리 방법은 상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 호모그라피를 획득하고, 상기 획득한 호모그라피를 이용하여 상기 복수의 시점 영상들과 상기 깊이 영상을 정합할 수 있다.
또 다른 실시예로, 상기 영상 처리 방법은 상기 복수의 시점 영상들 중에서 소수의 시점 영상들의 픽셀값들을 과반수의 시점 영상들의 픽셀값들로 변경함으로써, 상기 복수의 시점 영상들과 상기 깊이 영상 간의 3차원 형상 정보를 개선할 수 있다.
또 다른 실시예로, 상기 영상 처리 방법은 상기 복수의 시점 영상들과 연관된 컬러 정보의 변화량을 산출하고, 상기 산출된 변화량에 기초하여 상기 복수의 시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측함으로써, 상기 예측된 재질 정보, 조명 정보 및 컬러 정보 각각에 따라 상기 복수의 시점 영상들에 포함된 픽셀을 세분화할 수 있다. 상기 영상 처리 방법은 선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드를 이용하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 장치
110: 플래놉틱 카메라
120: 깊이 카메라
130: 영상 정합부

Claims (20)

  1. 시점이 서로 상이한 복수의 시점 영상들을 포함하는 집적 영상(integral Image)을 생성하는 플래놉틱(Plenoptic) 카메라;
    깊이(Depth) 영상을 생성하는 깊이 카메라; 및
    상기 집적 영상과 상기 깊이 영상을 정합(Calibration)하여 3차원 영상을 생성하는 영상 정합부
    를 포함하는, 영상 장치.
  2. 제1항에 있어서,
    상기 영상 정합부는,
    상기 플래놉틱 카메라와 상기 깊이 카메라의 상대적 위치를 측정하고, 상기 측정된 상대적 위치에 기초하여 상기 집적 영상과 상기 깊이 영상을 정합하는, 영상 장치.
  3. 제1항에 있어서,
    상기 영상 정합부는,
    상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 회전 정보 또는 이동(translation) 정보를 계산하고, 계산된 회전 정보 또는 이동 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합하는, 영상 장치.
  4. 제1항에 있어서,
    상기 영상 정합부는,
    상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 호모그라피(homography)를 획득하고, 획득한 호모그라피를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합하는, 영상 장치.
  5. 제1항에 있어서,
    상기 영상 정합부는,
    상기 복수의 시점 영상들 중에서 소수 시점 영상들의 픽셀값들을 과반수 시점 영상들의 픽셀값들로 변경하여 상기 집적 영상과 상기 깊이 영상 간의 형상 정보를 개선하고, 개선된 형상 정보를 이용하여 상기 집적 영상과 상기 깊이 영상을 정합하는, 영상 장치.
  6. 제1항에 있어서,
    상기 영상 정합부는,
    상기 복수의 시점 영상들과 연관된 컬러 정보의 변화량을 산출하고, 산출된 변화량에 기초하여 상기 복수의 시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측하고, 예측된 재질 정보, 조명 정보 및 컬러 정보 각각에 따라 상기 복수의 시점 영상들에 포함된 픽셀을 세분화하는, 영상 장치.
  7. 제1항에 있어서,
    상기 영상 정합부는,
    선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드를 이용하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득하고, 획득한 대표 라이트 필드 정보에 기초하여 상기 집적 영상과 상기 깊이 영상을 정합하는, 영상 장치.
  8. 시점이 각각 상이한 다시점 영상들을 생성하는 플래놉틱 카메라;
    깊이 영상을 생성하는 깊이 카메라; 및
    상기 다시점 영상들간의 조명 정보 또는 재질 정보를 매칭하고, 상기 매칭된 조명 정보 또는 재질 정보에 기초하여 상기 다시점 영상들과 상기 깊이 영상 간의 3차원 형상 정보를 획득하는 형상 캡처링부
    를 포함하는, 영상 장치.
  9. 제8항에 있어서,
    상기 형상 캡처링부는,
    상기 다시점 영상들에 포함된 소수 다시점 영상들의 픽셀값들을 과반수 다시점 영상들의 픽셀값들로 변경하여 상기 다시점 영상들간의 조명 정보 또는 재질 정보를 매칭하는, 영상 장치.
  10. 제8항에 있어서,
    상기 3차원 형상 정보를 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합하는 영상 처리부
    를 더 포함하는, 영상 장치.
  11. 시점이 서로 상이한 다시점 영상들을 생성하는 플래놉틱 카메라;
    깊이 영상을 생성하는 깊이 카메라;
    상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보에 따라 상기 다시점 영상들에 포함된 픽셀을 세분화하는 픽셀 세분화부; 및
    상기 세분화된 픽셀을 이용하여 상기 다시점 영상들과 상기 깊이 영상을 정합하는 영상 처리부
    를 포함하는, 영상 장치.
  12. 제11항에 있어서,
    상기 픽셀 세분화부는,
    상기 다시점 영상들로부터 획득한 컬러 정보의 변화량을 이용하여 상기 다시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측하고, 예측된 재질 정보, 조명 정보 및 컬러 정보에 따라 상기 다시점 영상들에 포함된 픽셀을 세분화하는, 영상 장치.
  13. 제11항에 있어서,
    상기 영상 처리부는,
    선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드값을 합하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득하고, 획득한 대표 라이트 필드 정보에 기초하여 상기 다시점 영상들과 상기 깊이 영상을 정합하는, 영상 장치.
  14. 시점이 서로 상이한 복수의 시점 영상들을 생성하는 플래놉틱 카메라의 기능을 제공하는 단계;
    깊이 영상을 생성하는 깊이 카메라의 기능을 제공하는 단계; 및
    상기 플래놉틱 카메라의 기능과 상기 깊이 카메라의 기능을 결합한 카메라를 구현하는 단계
    를 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 카메라를 구현하는 단계는,
    상기 복수의 시점 영상들과 상기 깊이 영상을 정합하는 단계
    를 포함하는, 영상 처리 방법.
  16. 제15항에 있어서,
    상기 복수의 시점 영상들과 상기 깊이 영상을 정합하는 단계는,
    상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 회전 정보 또는 이동 정보를 계산하는 단계; 및
    상기 계산된 회전 정보 또는 이동 정보를 이용하여 상기 복수의 시점 영상들과 상기 깊이 영상을 정합하는 단계
    를 포함하는, 영상 처리 방법.
  17. 제15항에 있어서,
    상기 복수의 시점 영상들과 상기 깊이 영상을 정합하는 단계는,
    상기 복수의 시점 영상들 중에서 어느 하나의 시점 영상과 상기 깊이 영상 간의 호모그라피를 획득하는 단계; 및
    상기 획득한 호모그라피를 이용하여 상기 복수의 시점 영상들과 상기 깊이 영상을 정합하는 단계
    를 포함하는, 영상 처리 방법.
  18. 제14항에 있어서,
    상기 복수의 시점 영상들 중에서 소수 시점 영상들의 픽셀값들을 과반수 시점 영상들의 픽셀값들로 변경하는 단계; 및
    상기 복수의 시점 영상들과 상기 깊이 영상 간의 3차원 형상 정보를 개선하는 단계
    를 더 포함하는, 영상 처리 방법.
  19. 제14항에 있어서,
    상기 복수의 시점 영상들과 연관된 컬러 정보의 변화량을 산출하는 단계;
    상기 산출된 변화량에 기초하여 상기 복수의 시점 영상들에 포함된 객체의 재질 정보, 조명 정보 및 컬러 정보를 예측하는 단계; 및
    상기 예측된 재질 정보, 조명 정보 및 컬러 정보 각각에 따라 상기 복수의 시점 영상들에 포함된 픽셀을 세분화하는 단계
    를 더 포함하는, 영상 처리 방법.
  20. 제19항에 있어서,
    상기 복수의 시점 영상들에 포함된 픽셀을 세분화하는 단계는,
    선정된 영역 내의 세분화된 픽셀들에 포함된 라이트 필드를 이용하여 상기 선정된 영역 내의 픽셀과 연관된 대표 라이트 필드 정보를 획득하는 단계
    를 포함하는, 영상 처리 방법.
KR1020110081022A 2011-08-16 2011-08-16 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 KR101857977B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110081022A KR101857977B1 (ko) 2011-08-16 2011-08-16 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110081022A KR101857977B1 (ko) 2011-08-16 2011-08-16 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20130019080A true KR20130019080A (ko) 2013-02-26
KR101857977B1 KR101857977B1 (ko) 2018-05-15

Family

ID=47897303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110081022A KR101857977B1 (ko) 2011-08-16 2011-08-16 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101857977B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116615A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법
US11092820B2 (en) 2016-06-30 2021-08-17 Interdigital Ce Patent Holdings Apparatus and a method for generating data representative of a pixel beam

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116195240A (zh) * 2020-09-25 2023-05-30 Lg电子株式会社 移动终端及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116615A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법
US11092820B2 (en) 2016-06-30 2021-08-17 Interdigital Ce Patent Holdings Apparatus and a method for generating data representative of a pixel beam

Also Published As

Publication number Publication date
KR101857977B1 (ko) 2018-05-15

Similar Documents

Publication Publication Date Title
EP3516626B1 (en) Device and method for obtaining distance information from views
US10237532B2 (en) Scan colorization with an uncalibrated camera
US8988317B1 (en) Depth determination for light field images
JP6456156B2 (ja) 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
KR101903619B1 (ko) 구조화된 스테레오
JP6786225B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US9704255B2 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP6589636B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
WO2016081118A1 (en) Measuring accuracy of image based depth sensing systems
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
CN106170086B (zh) 绘制三维图像的方法及其装置、***
JP6292327B2 (ja) プレノプティック撮像システムの深度及び視差のマッピングを較正するための方法及びコンピュータプログラム
Shim et al. Time-of-flight sensor and color camera calibration for multi-view acquisition
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
JP5900017B2 (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
GB2569609A (en) Method and device for digital 3D reconstruction
EP3048581B1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
CN116704111A (zh) 图像处理方法和设备
JP5310890B2 (ja) 画像生成装置、画像生成方法及びプログラム
KR101314101B1 (ko) 3차원 계측 시스템 및 그 방법
JP2009244229A (ja) 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム
JP2011252835A (ja) 三次元形状計測装置
Rumin et al. All-focused light field image rendering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant