KR20110082736A

KR20110082736A - 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라

Info

Publication number: KR20110082736A
Application number: KR1020100002617A
Authority: KR
Inventors: 이진경; 김태경; 정택성
Original assignee: 삼성전자주식회사
Priority date: 2010-01-12
Filing date: 2010-01-12
Publication date: 2011-07-20
Also published as: US20150381967A1; US11184603B2; US10659767B2; US20180041748A1; US9819931B2; US20200280714A1; US9154684B2; KR101214536B1; US20110169921A1

Abstract

뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라가 제공된다. 본 아웃 포커스 수행 방법은 동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고, 제2 렌즈로 제2 이미지를 촬영하고, 촬영된 제1 이미지와 제2 이미지를 이용하여 촬영된 제1 이미지 및 제2 이미지의 뎁스 정보를 추출하며. 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행한다. 이에 따라, 사용자는 DSC 또는 폰 카메라와 같은 종래 소형 디지털 카메라를 이용하여 중대형 디지털 카메라(DSLR)보다 저비용으로 동일한 효과를 구현 가능할 수 있게 된다.

Description

뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라{Method for performing out-focus using depth information and camera using the same }

본 발명은 스테레오 카메라 및 이의 아웃 포커스 수행 방법에 대한 것으로, 보다 상세하게는 복수의 렌즈을 갖는 카메라 및 이의 아웃 포커스 수행 방법에 대한 것이다.

아웃 포커스(out-focus)란 초점심도(depth of field)에서 벗어난 배경 화상이 흐려지는 것을 말하는 것으로 관심이 되는 주 피사체를 초점심도 내에 위치시키고 배경을 초점 심도 밖에 위치시켜 흐리게 함으로써 주 피사체를 부각시키는 촬영 기법이다. 이것은 기하광학적으로 착란원 (circle of confusion :COC)을 이용하여 설명이 된다. 즉, 착란원의 크기에 따라, 아웃 포커스 효과를 제대로 나타낼 수 있을 지 여부에 대해서 설명할 수 있다.

착란원의 크기 k는 아래와 같은 수학식(1)과 같이 표현되는데 N는 F number, f 는 초점거리, u는 카메라로부터 초점면까지 거리, ud는 배경 거리이다.

수학식 (1)에서와 같이 착란원의 크기는 동일한 u, ud 값에 대해서도 카메라의 F number 및 초점거리에 따라 다르다. 또한, 수학식(1)에서 알 수 있듯이 대략 착란원의 크기 k는 F number에 반비례, f의 제곱에 비례한다.

일반적으로, 착란원이 거리에 따라서 증가하는 비율이 크면 클수록 아웃 포커스 효과는 커지며, 착란원이 거리에 따라서 증가하는 비율이 작을수록 아웃 포커스 효과는 작아진다.

종래에 아웃 포커스 효과를 구현하는 방법은 주로 DSLR(digital single-lens reflex) 카메라를 이용해서 이루어졌다. DSLR 카메라는 렌즈 교환식 카메라로써 F number를 작게, 초점거리를 길게 하는 것이 가능하므로 착란원의 크기 또는 크기의 증가율을 크게 할 수 있어 아웃 포커스 효과를 잘 나타낼 수 있다.

그러나, DSC(digitall still camera)나 폰 카메라(phone camera)는 소형화의 필요성에 의해 초점거리가 작으며 또한 F number도 크게 되기 때문에 아웃 포커스 효과를 제대로 나타낼 수가 없었다. DSLR 카메라와 비교하여, F number와 초점거리에 따라 아웃 포커스 효과는 상대적으로 수 십배에서 수 백배의 차이를 보였다.

따라서, 초점거리가 작고 F number가 큰 카메라들의 아웃 포커스를 구현하는 방법의 모색이 요청된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 제1 이미지와 제2 이미지를 통해 뎁스 정보을 추출하고, 추출된 뎁스 정보를 이용해 아웃 포커스 효과를 구현하는 카메라 및 이의 아웃 포커스 수행 방법에 대한 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 아웃 포커스 수행 방법은, 제1 렌즈, 제2 렌즈를 갖는 카메라의 아웃 포커스 수행 방법에 있어서, 동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고, 제2 렌즈로 제2 이미지를 촬영하는 단계; 상기 촬영된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지 및 제2 이미지의 뎁스(depth) 정보를 추출하는 단계;및 상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하는 단계;를 포함한다.

그리고, 상기 뎁스 정보는, 상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것이 바람직하다.

또한, 상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것이 바람직하다.

그리고, 상기 뎁스 맵 추출 단계는, 상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링(down sampling)하는 단계; 상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 제1 이미지를 보정하는 단계; 상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것이 바람직하다.

또한, 상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것이 바람직하다.

그리고, 제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것이 바람직하다.

또한, 상기 뎁스 맵 추출 단계는, 상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하는 단계; 상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하는 단계; 상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하는 단계; 상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것이 바람직하다.

그리고, 상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것이 바람직하다.

또한, 상기 아웃 포커스 효과를 수행하는 단계는. 컨볼루션 필터(convolution filter)를 이용하여 아웃 포커스 효과를 수행하는 것이 바람직하다.

그리고, 상기 스테레오 카메라는, 디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것이 바람직하다.

또한, 상기 아웃 포커스 수행 단계는, 상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하여 아웃 포커스를 수행하는 것이 바람직하다.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 제1 렌즈부, 제2 렌즈부을 갖는 카메라는, 제1 렌즈부; 제2 렌즈부; 제1 렌즈부를 통해 제1 이미지를 획득하는 제1 이미지 센서부; 상기 제1 이미지와 동일한 피사체에 대하여 제2 렌즈부를 통해 제2 이미지를 획득하는 제2 이미지 센서부; 상기 획득된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지와 제2 이미지의 뎁스 정보를 추출하는 이미지 처리부; 상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하도록 제어하는 제어부;를 포함한다.

그리고, 상기 이미지 처리부는, 상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링하고, 상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하며, 상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 것이 바람직하다.

또한, 상기 이미지 처리부는, 상기 추출된 뎁스 맵을 업 샘플링하여 처리하는 것이 바람직하다.

또한, 상기 이미지 처리부는, 상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하고, 상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하며, 상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하고, 상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 것이 바람직하다.

그리고, 상기 이미지 처리부는, 상기 추출된 뎁스 맵을 업 샘플링(up sampling)하여 처리하는 것이 바람직하다.

또한, 상기 스테레오 카메라는, 컨볼루션 필터를 이용하여 아웃 포커스 효과를 수행하는 것이 바람직하다.

또한, 상기 제어부는, 상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하도록 이미지 처리부를 제어하여 아웃 포커스를 수행하는 것이 바람직하다.

상술한 바와 같이, 본 발명의 다양한 실시예에 따르면, 종래 소형 디지털 카메라(예를 들어, DSC 또는 폰 카메라)에서 구현하기 어려웠던 아웃 포커스 효과를 중대형 디지털 카메라(DSLR)에 비하여 저비용으로 동일한 효과를 구현 가능하다. 또한, 본 발명은 두 개의 렌즈가 동시에 촬영하므로 움직이는 피사체를 촬영할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른, 스테레오 카메라를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 스테레오 카메라의 블럭도를 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기 위해 제공되는 흐름도
도 4는 본 발명의 일 실시예에 따른, 제1 이미지 센서와 제2 이미지 센서에 의해 획득된 서로 다른 해상도를 가지는 두 사진
도 5는 본 발명의 일 실시예에 따른, 서로 다른 배율의 광학줌 효과를 가지는 제1 렌즈부와 제2 렌즈부에 의해 촬영된 두 사진, 그리고
도 6a 내지 6e는 뎁스 정보를 이용한 아웃 포커스 효과를 수행하는 과정을 설명하기 위한 사진이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른, 스테레오 카메라(100)를 도시한 도면이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 스테레오 카메라(100)는 두 개의 렌즈(110,115)와 두 개의 이미지 센서(미도시)를 구비한 카메라이다. 따라서 스테레오 카메라(100)를 이용하여 임의의 배경을 촬영하는 경우, 스테레오 카메라(100)는 서로 다른 두 개의 렌즈(110,115)로 촬영하기 때문에 동일한 배경에 대하여 서로 다른 이미지인 제1 이미지와 제2 이미지를 획득하게 된다.

이때, 획득되는 서로 다른 두 이미지는 서로 다른 해상도를 가진 이미지이거나 서로 다른 배율의 광확줌에 의해 획득된 이미지이다. 예를 들어 제1 이미지는 해상도가 10Mega pixel 이상인 고해상도 이미지이고, 제2 이미지는 해상도가 1,3,5 Mega pixel 등인 이미지로 제1 이미지보다 저해상도 이미지이다. 또는, 제1 이미지는 5배줌 이상의 고배율 광확줌에 의해 획득된 이미지이고, 제2 이미지는 광학줌이 없거나 2배율 등인 이미지로 제1 이미지보다 저배율 광학줌에 의해 획득된 이미지일 수 있다.

스테레오 카메라(100)는 동일한 배경에 대해 획득된 두 개의 이미지를 이용하여 촬영된 배경의 뎁스 정보를 추출한다. 추출된 뎁스 정보를 이용하여, 스테레오 카메라(100)는 제1 이미지 또는 제2 이미지에 대하여 아웃 포커스를 수행하게 된다. 뎁스 정보를 추출하는 자세한 과정에 대해서는 추후 도 3을 이용하여 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른, 스테레오 카메라(100)의 블럭도를 도시한 도면이다.

도 2에 도시된 바와 같이, 스테레오 카메라(100)는 제1 렌즈부(110), 제2 렌즈부(115), 제1 이미지 센서(120), 제2 이미지 센서(125), 이미지 처리부(130), 디스플레이부(140), 저장부(150), 및 제어부(160)를 포함한다.

제1 렌즈부(110) 및 제2 렌즈부(115)는 피사체의 빛을 모아서 각각 제1 이미지 센서(120)및 제2 이미지 센서(125) 영역에 상이 맺히게 한다. 여기서, 제1 렌즈부(110)와 제2 렌즈부(115)는 서로 다른 배율의 광학줌 효과를 가진다. 예를 들어, 제1 렌즈부(110)가 X5,X10의 고배율의 광학줌 효과를 가지는데 반해, 제2 렌즈부(115)는 광학줌 기능이 없거나 X2와 같은 저배율의 광학줌 효과를 가진다.

도 5는 서로 다른 배율의 광학줌 효과를 가지는 제1 렌즈부(110)와 제2 렌즈부(115)에 의해 촬영된 사진이다. 도 5의 좌측의 사진(510)은 제1 렌즈부에 의해 촬영된 사진으로서, X5의 배율를 가진 고배율 광학줌 기능의 렌즈에 의해 촬영된 사진이다. 도 5의 우측의 사진(520)은 제2 렌즈부에 의해 촬영된 사진으로, X1의 저배율 광학줌 기능의 렌즈에 의해 촬영된 사진이다.

다시 도 2에 대하여 설명하면, 제1 이미지 센서(120)와 제2 이미지 센서(125)는 각각 제1 렌즈부(110)와 제2 렌즈부(115)를 통해 입사된 빛을 전기신호로 광전변환한다. 여기서 제1 이미지 센서(120)는 고해상도 이미지를 촬상할 수 있는 센서이고, 제2 이미지 센서(125)는 제1 이미지 센서(125)에 비해 저해상도 이미지를 촬상할 수 있는 센서이다.

스테레오 카메라(100)는 제1 이미지 센서(120)와 제2 이미지 센서(125)를 통해 제1 이미지와 제2 이미지를 촬상한다. 여기서, 제1 이미지 센서(120)에 의해 촬상된 제1 이미지는 고해상도의 이미지이다. 예를 들어, 제1 이미지는 10Mega pixel 이상의 해상도를 가진 고해상도 이미지가 될 수 있다. 반면, 제2 이미지 센서(125)에 의해 촬상된 제2 이미지는 저해상도의 이미지이다. 예를 들어, 제2 이미지는 1,3,5 Mega pixel 중 적어도 하나의 해상도를 가진 저해상도 이미지가 될 수 있다.

도 4는 제1 이미지 센서(120)와 제2 이미지 센서(125)에 의해 촬상된 서로 다른 해상도를 가지는 두 사진이다. 도 4의 좌측의 사진(410)은 제1 이미지 센서(120)에 의해 촬상된 이미지로서, 10 Mega fixel의 해상도를 가지는 고 해상도의 이미지인 것을 확인할 수 있다. 도 4의 우측의 사진(420)은 제2 이미지 센서(125)에 의해 촬상된 이미지로서, 5 Mega fixel의 해상도를 가지는 저해상도의 이미지인 것을 확인할 수 있다.

다시 도 2에 대하여 설명하면, 이미지 처리부(130)는 제1 이미지 센서(120)와 제2 이미지 센서(125)로부터 입력되는 제1 이미지와 제2 이미지에 대한 신호처리를 수행하여, 촬영된 영상을 디스플레이하기 위해 처리된 영상신호를 디스플레이부(140)로 전송한다.

또한, 이미지 처리부(130)는 제1 이미지와 제2 이미지를 이용하여 뎁스(depth) 정보를 추출하고, 추출한 뎁스 정보를 이용하여 아웃 포커스를 수행할 수 있다. 여기서 뎁스 정보는 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵(depth map)을 통해 알 수 있다.

우선, 이미지 처리부(130)는 배율이 서로 다른 광학줌에 의해 촬영된 제1 이미지와 제2 이미지의 촬영된 부분을 맞추기 위해, 저배율의 광학줌에 의해 촬영된 제2 이미지의 전체영역 중 제1 이미지에 대응되는 영역을 크롭(crop)한다. 여기서, 크롭이라 함은, 화면의 일정 영역을 잘라내는 것을 말한다.

제2 이미지를 크롭한 후, 이미지 처리부(130)는 고해상도인 제1 이미지를 저해상도인 제2 이미지의 해상도로 맞추기 위하여 다운 샘플링(down sampling)한다.

그리고, 이미지 처리부(130)는 다운 샘플링된 제1 이미지와 제2 이미지를 매칭(matching)시키기 위하여 제1 이미지와 제2 이미지를 보정한다. 여기서, 제1 이미지와 제2 이미지를 매칭시킨다는 것은 제1 이미지와 제2 이미지의 초점, 노출 조건, 화이트 밸런스 등을 맞추고, 제1 이미지와 제2 이미지의 에피폴라 라인(epipolar line)을 맞추는 것을 의미한다. 따라서, 이미지 처리부(130)는 제1 이미지와 제2 이미지의 이미지를 처리하고 초점, 노출 조건, 화이트 밸런스 등이 일치되도록 제1 이미지 또는 제2 이미지를 회전, 이동한다.

제1 이미지와 제2 이미지의 보정 작업 후, 이미지 처리부(130)는 매칭된 제1 이미지와 제2 이미지를 이용하여 뎁스 맵을 추출한다. 여기서 뎁스맵을 추출하는 방법은 스테레오 매칭(stereo matching) 방법을 사용한다. 스테레오 매칭이란 한쪽 이미지의 임의의 한 점이 다른 쪽 이미지의 어느 위치에 있는지를 검출하고, 검출된 결과 점의 이동된 량을 구하여 뎁스 값을 산출하는 방법을 말한다.

이미지 처리부(130)는 스테레오 매칭을 이용하여 각 픽셀의 뎁스 값을 산출하고, 모든 픽셀에 대한 뎁스 값을 모아 뎁스 맵을 생성한다.

그리고 이미지 처리부(130)는 추출된 뎁스 맵을 업샘플링하고, 업샘플링한 뎁스 맵을 이용하여 아웃 포커스를 수행하게 된다.

제1 이미지와 제2 이미지를 이용하여 뎁스 정보를 추출하는 방법은 도 3을 참조하여 자세히 설명하기로 한다.

디스플레이부(140)는 이미지 처리부(130)로부터 수신된 영상을 디스플레이한다. 사용자는 디스플레이부(140)에 표시된 영상을 확인함으로써, 촬영될 영상을 확인할 수 있게 된다.

저장부(150)는 제1 이미지 센서(120)와 제2 이미지 센서(125)에서 촬영된 영상을 압축된 형태로 저장한다. 저장부(160)는 비휘발성 메모리, 하드디스크 등이 될 수 있다.

제어부(160)는 조작부(미도시)로부터 전달되는 사용자의 조작 내용을 기초로 사용자 명령을 파악하고, 파악한 사용자 명령에 따라 스테레오 카메라(100)의 전반적인 동작을 제어한다.

또한, 제어부(160)는 스테레오 카메라(100)의 자동 초점 기능(Auto focusing), 자동 노출(Auto Exposure), 화이트 밸런스 조절 기능(Auto White Balancing) 등을 수행하도록 이미지 처리부(130)를 제어한다.

또한, 제어부(160)는 제1 이미지와 제2 이미지를 이용하여 뎁스 정보를 추출하고, 추출된 뎁스 정보를 이용하여 제1 이미지 또는 제2 이미지에 대해 아웃 포커스가 수행되도록 이미지 처리부(130)를 제어한다. 제1 이미지와 제2 이미지의 뎁스 정보를 이용한 아웃 포커스 수행 방법은 도 3을 이용하여 자세히 설명하기로 한다.

이하에서는, 도 3 및 도 6a 내지 도 6e을 참조하여 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른, 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기 위해 제공되는 흐름도이다.

일단, 스테레오 카메라(100)는 제1 이미지 센서와 제2 이미지 센서를 통해 서로 다른 해상도를 가지는 제1 이미지와 제2 이미지가 촬영되었는지 판단한다(S210). 서로 다른 해상도의 제1 이미지와 제2 이미지가 촬영되었다면(S210-Y), 스테레오 카메라(100)는 제1 이미지와 제2 이미지가 같은 배율의 광학줌에 의해 촬영된 것인지를 판단한다(S220).

제1 이미지와 제2 이미지가 같은 배율의 광학줌에 의해 촬영된 것이라면(S220-Y), 스테레오 카메라(100)는 스테레오 매칭 방법에 의한 뎁스 맵을 추출하기 위해 고해상도의 제1 이미지를 저해상도의 제2 이미지와 같은 해상도로 다운 샘플링한다(S240). 예를 들어, 도 4의 좌측 사진(410)과 같이 10Mega fixel의 고해상도의 이미지와 도 4의 우측 사진(420)과 같이 5Mega fixel의 저해상도 이미지가 촬영된 경우, 스테레오 카메라(100)는 고해상도 이미지를 저해상도 이미지와 같은 해상도로 맞추기 위해 고해상도 이미지를 다운 샘플링한다. 즉, 고해상도 이미지는 저해상도 이미지보다 해상도가 2배 높기 때문에 해상도를 1/2배 다운 샘플링하게 된다. 따라서, 도 6a에 도시된 고해상도의 이미지에서 도 6b에 도시된 바와 같이 저해상도의 이미지로 다운 샘플링된다.

스테레오 카메라(100)는 다운 샘플링된 제1 이미지와 제2 이미지을 이용하여 뎁스 맵을 추출하기 위해, 제1 이미지와 제2 이미지를 매칭한다. 따라서 스테레오 카메라(100)는 제1 이미지와 제2 이미지를 매칭하기 위해 제1 이미지와 제2 이미지를 보정해야 한다(S250). 상술하였듯이, 제1 이미지와 제2 이미지를 매칭하는 작업은 제1 이미지와 제2 이미지의 초점, 노출 조건, 화이트 밸런스 등을 조절하는 것 이외에도, 제1 이미지와 제2 이미지의 에피폴라 라인(epipolar line)을 맞추기 위해 제1 이미지 또는 제2 이미지를 회전, 이동하는 것을 말한다.

제1 이미지와 제2 이미지를 매칭하기 위하여 제1 이미지와 제2 이미지를 보정을 한 후, 스테레오 카메라(100)는 제1 이미지와 제2 이미지를 이용하여 뎁스 맵을 추출한다(S260). 이때 뎁스 맵을 추출하는 방법은 스테레오 매칭 방법을 이용한다. 구체적으로, 제1 이미지의 임의의 한 점이 제2 이미지의 어느 위치에 있는지를 검출하고, 검출된 결과 임의의 점의 이동된 양을 구한다. 임의의 점이 이동된 양을 구하면, 구한 양을 바탕으로 뎁스 맵을 추출하게 된다. 도 6c는 스테레오 매칭 방법을 이용하여, 추출된 뎁스 맵을 도시한 도면이다. 도 6의 뎁스 맵에서, 밝은 부분일수록 카메라로부터 가깝운 부분(즉, 뎁스값이 낮은 부분)을 나타내고, 어두운 부분일수록 카메라로부터 먼 부분(즉, 뎁스값이 높은 부분)을 나타낸다.

뎁스 맵이 추출되면, 뎁스 맵을 고해상도 이미지와 같은 해상도로 업 샘플링해 준다(S270), 이는, 고해상도인 제1 이미지를 이용하여 아웃 포커싱을 수행하기 위해서이다. 예를 들어, 도 6c에 도시된 5Mega fixel의 뎁스 맵을 도 6d에 도시된 10Mega fixel의 뎁스 맵으로 2배 업 샘플링해준다. 도 6a에 도시된 10Mega fixel의 고화질 이미지와 해상도를 일치시키기 위해서이다. 이때, 도 6c의 610부분과 같이 경우, 거리가 가까움에도 뎁스 맵은 어둡게 표시되어 있다. 이 경우, joint bilateral filter 방법을 이용하여 오류가 난 부분에 대해 이미지 보정을 하고, 도 6d와 같은 업 샘플링된 뎁스 맵 정보를 얻게 된다.

추출된 뎁스 맵을 업 샘플링한 후, 스테레오 카메라(100)는 업 샘플링된 뎁스 맵을 이용하여 고해상도인 제1 이미지의 일정 영역을 블러링한다(S280). 여기서 일정 영역이라 함은, 상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀 영역을 말한다. 이때, 블러링 방법은 컨볼루션 필터(convolution filter)를 이용한 블러링 방법을 사용할 수 있다. 도 6e는 일정 영역에 대한 블러링이 수행되어, 아웃 포커스 효과가 표현된 제1 이미지를 도시한 도면이다.

블러링 작업 후, 일정 영역이 블러링된 제1 이미지는 디스플레이부(140)로 출력된다(S290).

즉, 서로 다른 해상도를 가진 제1 이미지와 제2 이미지를 이용하여 뎁스 맵을 추출한 후, 추출된 뎁스 맵을 이용하여 아웃 포커스 효과를 수행하면, 종래 소형 디지털 카메라(예를 들어, DSC 또는 폰 카메라)를 이용하여 중대형 디지털 카메라(DSLR)보다 저비용으로 동일한 효과를 구현 가능하다.

한편, 제1 이미지와 제2 이미지의 배율이 서로 다른 경우(S220-N), 스테레오 카메라(100)는 스테레오 매칭 방법을 이용한 뎁스 맵을 추출하기 위해서 저배율의 광학줌에 의해 획득된 이미지를 크롭한다(S230). 즉, 도 5에 도시된 바와 같이, 스테레오 카메라(100)는 저배율의 광학줌에 의해 획득된 이미지 중 고배율의 광학줌에 의해 획득된 이미지와 동일한 영역(510)을 크롭한다. 상술한 크롭 작업을 통하여, 제1 이미지와 제2 이미지는 해상도는 상이하나 동일한 피사체에 대한 이미지가 된다.

이후의 아웃 포커스 과정은 상술한 S240 내지 S290 과정과 동일한 방법으로수행된다.

본 실시예에서는 제1 이미지가 10Mega fixel, 제2 이미지가 5Mega fixel로 상정하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하다. 제1 이미지와 제2 이미지가 서로 상이한 해상도를 가진 것이라면 본 발명의 기술적 사상을 적용할 수 있다.

또한, 본 실시예에서는 블러링 방법을 콘볼루션 필터를 이용한 블러링 방법으로 상정하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하다. 콘볼루션 필터를 이용한 블러링 방법 이외의 블러링 방법도 본 발명의 기술적 사상을 적용할 수 있다

뿐만 아니라, 이상에서는, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110: 제1 렌즈부 115:제2 렌즈부
120: 제1 이미지 센서 125: 제2 이미지 센서
130: 이미지 처리부 140: 디스플레이부
150: 저장부 160:제어부

Claims

제1 렌즈, 제2 렌즈를 갖는 카메라의 아웃 포커스 수행 방법에 있어서,
동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고, 제2 렌즈로 제2 이미지를 촬영하는 단계;
상기 촬영된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지 및 제2 이미지의 뎁스(depth) 정보를 추출하는 단계;및
상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하는 단계;를 포함하는 아웃 포커스 수행 방법.
제1항에 있어서,
상기 뎁스 정보는,
상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것을 특징으로 하는 아웃 포커스 수행 방법.
제2항에 있어서,
상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것을 특징으로 하는 아웃 포커스 수행 방법.
제2항에 있어서,
상기 뎁스 맵 추출 단계는,
상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링(down sampling)하는 단계;
상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 제1 이미지를 보정하는 단계;
상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것을 특징으로 하는 아웃 포커스 수행 방법.
제4항에 있어서,
상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것을 특징으로 하는 아웃 포커스 수행 방법.
제2항에 있어서,
제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것을 특징으로 하는 아웃 포커스 수행 방법.
제6항에 있어서,
상기 뎁스 맵 추출 단계는,
상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하는 단계;
상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하는 단계;
상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하는 단계;
상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것을 특징으로 하는 아웃 포커스 수행 방법.
제7항에 있어서,
상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것을 특징으로 하는 아웃 포커스 수행 방법.
제1항에 있어서,
상기 아웃 포커스 효과를 수행하는 단계는.
컨볼루션 필터(convolution filter)를 이용하여 아웃 포커스 효과를 수행하는 것을 특징으로 하는 아웃 포커스 수행 방법.
제1항에 있어서,
상기 스테레오 카메라는,
디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것을 특징으로 하는 아웃 포커스 수행 방법.
제1항에 있어서,
상기 아웃 포커스 수행 단계는,
상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하여 아웃 포커스를 수행하는 것을 특징으로 하는 아웃 포커스 수행 방법.
제1 렌즈부, 제2 렌즈부을 갖는 카메라에 있어서,
제1 렌즈부;
제2 렌즈부;
제1 렌즈부를 통해 제1 이미지를 획득하는 제1 이미지 센서부;
상기 제1 이미지와 동일한 피사체에 대하여 제2 렌즈부를 통해 제2 이미지를 획득하는 제2 이미지 센서부;
상기 획득된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지와 제2 이미지의 뎁스 정보를 추출하는 이미지 처리부;
상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하도록 제어하는 제어부;를 포함하는 카메라.
제12항에 있어서,
상기 뎁스 정보는,
상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것을 특징으로 하는 카메라.
제13항에 있어서,
상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것을 특징으로 하는 카메라.
제14항에 있어서,
상기 이미지 처리부는,
상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링하고, 상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하며, 상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 것을 특징으로 하는 카메라.
제15항에 있어서,
상기 이미지 처리부는,
상기 추출된 뎁스 맵을 업 샘플링하여 처리하는 것을 특징으로 하는 카메라.
제13항에 있어서,
제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것을 특징으로 하는 카메라.
제17항에 있어서,
상기 이미지 처리부는,
상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하고, 상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하며, 상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하고, 상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 것을 특징으로 하는 카메라.
제18항에 있어서,
상기 이미지 처리부는,
상기 추출된 뎁스 맵을 업 샘플링(up sampling)하여 처리하는 것을 특징으로 하는 카메라.
제12항에 있어서,
상기 스테레오 카메라는,
컨볼루션 필터를 이용하여 아웃 포커스 효과를 수행하는 것을 특징으로 하는 카메라
제12항에 있어서,
상기 스테레오 카메라는,
디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것을 특징으로 하는 카메라.
제13항에 있어서,
상기 제어부는,
상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하도록 이미지 처리부를 제어하여 아웃 포커스를 수행하는 것을 특징으로 하는 카메라.