KR20110082736A - 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 - Google Patents
뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 Download PDFInfo
- Publication number
- KR20110082736A KR20110082736A KR1020100002617A KR20100002617A KR20110082736A KR 20110082736 A KR20110082736 A KR 20110082736A KR 1020100002617 A KR1020100002617 A KR 1020100002617A KR 20100002617 A KR20100002617 A KR 20100002617A KR 20110082736 A KR20110082736 A KR 20110082736A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- focus
- camera
- depth information
- depth map
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Cameras In General (AREA)
- Studio Devices (AREA)
Abstract
뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라가 제공된다. 본 아웃 포커스 수행 방법은 동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고, 제2 렌즈로 제2 이미지를 촬영하고, 촬영된 제1 이미지와 제2 이미지를 이용하여 촬영된 제1 이미지 및 제2 이미지의 뎁스 정보를 추출하며. 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행한다. 이에 따라, 사용자는 DSC 또는 폰 카메라와 같은 종래 소형 디지털 카메라를 이용하여 중대형 디지털 카메라(DSLR)보다 저비용으로 동일한 효과를 구현 가능할 수 있게 된다.
Description
본 발명은 스테레오 카메라 및 이의 아웃 포커스 수행 방법에 대한 것으로, 보다 상세하게는 복수의 렌즈을 갖는 카메라 및 이의 아웃 포커스 수행 방법에 대한 것이다.
아웃 포커스(out-focus)란 초점심도(depth of field)에서 벗어난 배경 화상이 흐려지는 것을 말하는 것으로 관심이 되는 주 피사체를 초점심도 내에 위치시키고 배경을 초점 심도 밖에 위치시켜 흐리게 함으로써 주 피사체를 부각시키는 촬영 기법이다. 이것은 기하광학적으로 착란원 (circle of confusion :COC)을 이용하여 설명이 된다. 즉, 착란원의 크기에 따라, 아웃 포커스 효과를 제대로 나타낼 수 있을 지 여부에 대해서 설명할 수 있다.
착란원의 크기 k는 아래와 같은 수학식(1)과 같이 표현되는데 N는 F number, f 는 초점거리, u는 카메라로부터 초점면까지 거리, ud는 배경 거리이다.
수학식 (1)에서와 같이 착란원의 크기는 동일한 u, ud 값에 대해서도 카메라의 F number 및 초점거리에 따라 다르다. 또한, 수학식(1)에서 알 수 있듯이 대략 착란원의 크기 k는 F number에 반비례, f의 제곱에 비례한다.
일반적으로, 착란원이 거리에 따라서 증가하는 비율이 크면 클수록 아웃 포커스 효과는 커지며, 착란원이 거리에 따라서 증가하는 비율이 작을수록 아웃 포커스 효과는 작아진다.
종래에 아웃 포커스 효과를 구현하는 방법은 주로 DSLR(digital single-lens reflex) 카메라를 이용해서 이루어졌다. DSLR 카메라는 렌즈 교환식 카메라로써 F number를 작게, 초점거리를 길게 하는 것이 가능하므로 착란원의 크기 또는 크기의 증가율을 크게 할 수 있어 아웃 포커스 효과를 잘 나타낼 수 있다.
그러나, DSC(digitall still camera)나 폰 카메라(phone camera)는 소형화의 필요성에 의해 초점거리가 작으며 또한 F number도 크게 되기 때문에 아웃 포커스 효과를 제대로 나타낼 수가 없었다. DSLR 카메라와 비교하여, F number와 초점거리에 따라 아웃 포커스 효과는 상대적으로 수 십배에서 수 백배의 차이를 보였다.
따라서, 초점거리가 작고 F number가 큰 카메라들의 아웃 포커스를 구현하는 방법의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 제1 이미지와 제2 이미지를 통해 뎁스 정보을 추출하고, 추출된 뎁스 정보를 이용해 아웃 포커스 효과를 구현하는 카메라 및 이의 아웃 포커스 수행 방법에 대한 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 아웃 포커스 수행 방법은, 제1 렌즈, 제2 렌즈를 갖는 카메라의 아웃 포커스 수행 방법에 있어서, 동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고, 제2 렌즈로 제2 이미지를 촬영하는 단계; 상기 촬영된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지 및 제2 이미지의 뎁스(depth) 정보를 추출하는 단계;및 상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하는 단계;를 포함한다.
그리고, 상기 뎁스 정보는, 상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것이 바람직하다.
또한, 상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것이 바람직하다.
그리고, 상기 뎁스 맵 추출 단계는, 상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링(down sampling)하는 단계; 상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 제1 이미지를 보정하는 단계; 상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것이 바람직하다.
또한, 상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것이 바람직하다.
그리고, 제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것이 바람직하다.
또한, 상기 뎁스 맵 추출 단계는, 상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하는 단계; 상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하는 단계; 상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하는 단계; 상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것이 바람직하다.
그리고, 상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 아웃 포커스 효과를 수행하는 단계는. 컨볼루션 필터(convolution filter)를 이용하여 아웃 포커스 효과를 수행하는 것이 바람직하다.
그리고, 상기 스테레오 카메라는, 디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것이 바람직하다.
또한, 상기 아웃 포커스 수행 단계는, 상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하여 아웃 포커스를 수행하는 것이 바람직하다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 제1 렌즈부, 제2 렌즈부을 갖는 카메라는, 제1 렌즈부; 제2 렌즈부; 제1 렌즈부를 통해 제1 이미지를 획득하는 제1 이미지 센서부; 상기 제1 이미지와 동일한 피사체에 대하여 제2 렌즈부를 통해 제2 이미지를 획득하는 제2 이미지 센서부; 상기 획득된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지와 제2 이미지의 뎁스 정보를 추출하는 이미지 처리부; 상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하도록 제어하는 제어부;를 포함한다.
그리고, 상기 뎁스 정보는, 상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것이 바람직하다.
또한, 상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것이 바람직하다.
그리고, 상기 이미지 처리부는, 상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링하고, 상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하며, 상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 것이 바람직하다.
또한, 상기 이미지 처리부는, 상기 추출된 뎁스 맵을 업 샘플링하여 처리하는 것이 바람직하다.
그리고, 제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것이 바람직하다.
또한, 상기 이미지 처리부는, 상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하고, 상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하며, 상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하고, 상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 것이 바람직하다.
그리고, 상기 이미지 처리부는, 상기 추출된 뎁스 맵을 업 샘플링(up sampling)하여 처리하는 것이 바람직하다.
또한, 상기 스테레오 카메라는, 컨볼루션 필터를 이용하여 아웃 포커스 효과를 수행하는 것이 바람직하다.
그리고, 상기 스테레오 카메라는, 디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것이 바람직하다.
또한, 상기 제어부는, 상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하도록 이미지 처리부를 제어하여 아웃 포커스를 수행하는 것이 바람직하다.
상술한 바와 같이, 본 발명의 다양한 실시예에 따르면, 종래 소형 디지털 카메라(예를 들어, DSC 또는 폰 카메라)에서 구현하기 어려웠던 아웃 포커스 효과를 중대형 디지털 카메라(DSLR)에 비하여 저비용으로 동일한 효과를 구현 가능하다. 또한, 본 발명은 두 개의 렌즈가 동시에 촬영하므로 움직이는 피사체를 촬영할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른, 스테레오 카메라를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 스테레오 카메라의 블럭도를 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기 위해 제공되는 흐름도
도 4는 본 발명의 일 실시예에 따른, 제1 이미지 센서와 제2 이미지 센서에 의해 획득된 서로 다른 해상도를 가지는 두 사진
도 5는 본 발명의 일 실시예에 따른, 서로 다른 배율의 광학줌 효과를 가지는 제1 렌즈부와 제2 렌즈부에 의해 촬영된 두 사진, 그리고
도 6a 내지 6e는 뎁스 정보를 이용한 아웃 포커스 효과를 수행하는 과정을 설명하기 위한 사진이다.
도 2는 본 발명의 일 실시예에 따른, 스테레오 카메라의 블럭도를 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기 위해 제공되는 흐름도
도 4는 본 발명의 일 실시예에 따른, 제1 이미지 센서와 제2 이미지 센서에 의해 획득된 서로 다른 해상도를 가지는 두 사진
도 5는 본 발명의 일 실시예에 따른, 서로 다른 배율의 광학줌 효과를 가지는 제1 렌즈부와 제2 렌즈부에 의해 촬영된 두 사진, 그리고
도 6a 내지 6e는 뎁스 정보를 이용한 아웃 포커스 효과를 수행하는 과정을 설명하기 위한 사진이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 스테레오 카메라(100)를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 스테레오 카메라(100)는 두 개의 렌즈(110,115)와 두 개의 이미지 센서(미도시)를 구비한 카메라이다. 따라서 스테레오 카메라(100)를 이용하여 임의의 배경을 촬영하는 경우, 스테레오 카메라(100)는 서로 다른 두 개의 렌즈(110,115)로 촬영하기 때문에 동일한 배경에 대하여 서로 다른 이미지인 제1 이미지와 제2 이미지를 획득하게 된다.
이때, 획득되는 서로 다른 두 이미지는 서로 다른 해상도를 가진 이미지이거나 서로 다른 배율의 광확줌에 의해 획득된 이미지이다. 예를 들어 제1 이미지는 해상도가 10Mega pixel 이상인 고해상도 이미지이고, 제2 이미지는 해상도가 1,3,5 Mega pixel 등인 이미지로 제1 이미지보다 저해상도 이미지이다. 또는, 제1 이미지는 5배줌 이상의 고배율 광확줌에 의해 획득된 이미지이고, 제2 이미지는 광학줌이 없거나 2배율 등인 이미지로 제1 이미지보다 저배율 광학줌에 의해 획득된 이미지일 수 있다.
스테레오 카메라(100)는 동일한 배경에 대해 획득된 두 개의 이미지를 이용하여 촬영된 배경의 뎁스 정보를 추출한다. 추출된 뎁스 정보를 이용하여, 스테레오 카메라(100)는 제1 이미지 또는 제2 이미지에 대하여 아웃 포커스를 수행하게 된다. 뎁스 정보를 추출하는 자세한 과정에 대해서는 추후 도 3을 이용하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 스테레오 카메라(100)의 블럭도를 도시한 도면이다.
도 2에 도시된 바와 같이, 스테레오 카메라(100)는 제1 렌즈부(110), 제2 렌즈부(115), 제1 이미지 센서(120), 제2 이미지 센서(125), 이미지 처리부(130), 디스플레이부(140), 저장부(150), 및 제어부(160)를 포함한다.
제1 렌즈부(110) 및 제2 렌즈부(115)는 피사체의 빛을 모아서 각각 제1 이미지 센서(120)및 제2 이미지 센서(125) 영역에 상이 맺히게 한다. 여기서, 제1 렌즈부(110)와 제2 렌즈부(115)는 서로 다른 배율의 광학줌 효과를 가진다. 예를 들어, 제1 렌즈부(110)가 X5,X10의 고배율의 광학줌 효과를 가지는데 반해, 제2 렌즈부(115)는 광학줌 기능이 없거나 X2와 같은 저배율의 광학줌 효과를 가진다.
도 5는 서로 다른 배율의 광학줌 효과를 가지는 제1 렌즈부(110)와 제2 렌즈부(115)에 의해 촬영된 사진이다. 도 5의 좌측의 사진(510)은 제1 렌즈부에 의해 촬영된 사진으로서, X5의 배율를 가진 고배율 광학줌 기능의 렌즈에 의해 촬영된 사진이다. 도 5의 우측의 사진(520)은 제2 렌즈부에 의해 촬영된 사진으로, X1의 저배율 광학줌 기능의 렌즈에 의해 촬영된 사진이다.
다시 도 2에 대하여 설명하면, 제1 이미지 센서(120)와 제2 이미지 센서(125)는 각각 제1 렌즈부(110)와 제2 렌즈부(115)를 통해 입사된 빛을 전기신호로 광전변환한다. 여기서 제1 이미지 센서(120)는 고해상도 이미지를 촬상할 수 있는 센서이고, 제2 이미지 센서(125)는 제1 이미지 센서(125)에 비해 저해상도 이미지를 촬상할 수 있는 센서이다.
스테레오 카메라(100)는 제1 이미지 센서(120)와 제2 이미지 센서(125)를 통해 제1 이미지와 제2 이미지를 촬상한다. 여기서, 제1 이미지 센서(120)에 의해 촬상된 제1 이미지는 고해상도의 이미지이다. 예를 들어, 제1 이미지는 10Mega pixel 이상의 해상도를 가진 고해상도 이미지가 될 수 있다. 반면, 제2 이미지 센서(125)에 의해 촬상된 제2 이미지는 저해상도의 이미지이다. 예를 들어, 제2 이미지는 1,3,5 Mega pixel 중 적어도 하나의 해상도를 가진 저해상도 이미지가 될 수 있다.
도 4는 제1 이미지 센서(120)와 제2 이미지 센서(125)에 의해 촬상된 서로 다른 해상도를 가지는 두 사진이다. 도 4의 좌측의 사진(410)은 제1 이미지 센서(120)에 의해 촬상된 이미지로서, 10 Mega fixel의 해상도를 가지는 고 해상도의 이미지인 것을 확인할 수 있다. 도 4의 우측의 사진(420)은 제2 이미지 센서(125)에 의해 촬상된 이미지로서, 5 Mega fixel의 해상도를 가지는 저해상도의 이미지인 것을 확인할 수 있다.
다시 도 2에 대하여 설명하면, 이미지 처리부(130)는 제1 이미지 센서(120)와 제2 이미지 센서(125)로부터 입력되는 제1 이미지와 제2 이미지에 대한 신호처리를 수행하여, 촬영된 영상을 디스플레이하기 위해 처리된 영상신호를 디스플레이부(140)로 전송한다.
또한, 이미지 처리부(130)는 제1 이미지와 제2 이미지를 이용하여 뎁스(depth) 정보를 추출하고, 추출한 뎁스 정보를 이용하여 아웃 포커스를 수행할 수 있다. 여기서 뎁스 정보는 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵(depth map)을 통해 알 수 있다.
우선, 이미지 처리부(130)는 배율이 서로 다른 광학줌에 의해 촬영된 제1 이미지와 제2 이미지의 촬영된 부분을 맞추기 위해, 저배율의 광학줌에 의해 촬영된 제2 이미지의 전체영역 중 제1 이미지에 대응되는 영역을 크롭(crop)한다. 여기서, 크롭이라 함은, 화면의 일정 영역을 잘라내는 것을 말한다.
제2 이미지를 크롭한 후, 이미지 처리부(130)는 고해상도인 제1 이미지를 저해상도인 제2 이미지의 해상도로 맞추기 위하여 다운 샘플링(down sampling)한다.
그리고, 이미지 처리부(130)는 다운 샘플링된 제1 이미지와 제2 이미지를 매칭(matching)시키기 위하여 제1 이미지와 제2 이미지를 보정한다. 여기서, 제1 이미지와 제2 이미지를 매칭시킨다는 것은 제1 이미지와 제2 이미지의 초점, 노출 조건, 화이트 밸런스 등을 맞추고, 제1 이미지와 제2 이미지의 에피폴라 라인(epipolar line)을 맞추는 것을 의미한다. 따라서, 이미지 처리부(130)는 제1 이미지와 제2 이미지의 이미지를 처리하고 초점, 노출 조건, 화이트 밸런스 등이 일치되도록 제1 이미지 또는 제2 이미지를 회전, 이동한다.
제1 이미지와 제2 이미지의 보정 작업 후, 이미지 처리부(130)는 매칭된 제1 이미지와 제2 이미지를 이용하여 뎁스 맵을 추출한다. 여기서 뎁스맵을 추출하는 방법은 스테레오 매칭(stereo matching) 방법을 사용한다. 스테레오 매칭이란 한쪽 이미지의 임의의 한 점이 다른 쪽 이미지의 어느 위치에 있는지를 검출하고, 검출된 결과 점의 이동된 량을 구하여 뎁스 값을 산출하는 방법을 말한다.
이미지 처리부(130)는 스테레오 매칭을 이용하여 각 픽셀의 뎁스 값을 산출하고, 모든 픽셀에 대한 뎁스 값을 모아 뎁스 맵을 생성한다.
그리고 이미지 처리부(130)는 추출된 뎁스 맵을 업샘플링하고, 업샘플링한 뎁스 맵을 이용하여 아웃 포커스를 수행하게 된다.
제1 이미지와 제2 이미지를 이용하여 뎁스 정보를 추출하는 방법은 도 3을 참조하여 자세히 설명하기로 한다.
디스플레이부(140)는 이미지 처리부(130)로부터 수신된 영상을 디스플레이한다. 사용자는 디스플레이부(140)에 표시된 영상을 확인함으로써, 촬영될 영상을 확인할 수 있게 된다.
저장부(150)는 제1 이미지 센서(120)와 제2 이미지 센서(125)에서 촬영된 영상을 압축된 형태로 저장한다. 저장부(160)는 비휘발성 메모리, 하드디스크 등이 될 수 있다.
제어부(160)는 조작부(미도시)로부터 전달되는 사용자의 조작 내용을 기초로 사용자 명령을 파악하고, 파악한 사용자 명령에 따라 스테레오 카메라(100)의 전반적인 동작을 제어한다.
또한, 제어부(160)는 스테레오 카메라(100)의 자동 초점 기능(Auto focusing), 자동 노출(Auto Exposure), 화이트 밸런스 조절 기능(Auto White Balancing) 등을 수행하도록 이미지 처리부(130)를 제어한다.
또한, 제어부(160)는 제1 이미지와 제2 이미지를 이용하여 뎁스 정보를 추출하고, 추출된 뎁스 정보를 이용하여 제1 이미지 또는 제2 이미지에 대해 아웃 포커스가 수행되도록 이미지 처리부(130)를 제어한다. 제1 이미지와 제2 이미지의 뎁스 정보를 이용한 아웃 포커스 수행 방법은 도 3을 이용하여 자세히 설명하기로 한다.
이하에서는, 도 3 및 도 6a 내지 도 6e을 참조하여 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른, 뎁스 정보를 이용한 아웃 포커싱 방법을 설명하기 위해 제공되는 흐름도이다.
일단, 스테레오 카메라(100)는 제1 이미지 센서와 제2 이미지 센서를 통해 서로 다른 해상도를 가지는 제1 이미지와 제2 이미지가 촬영되었는지 판단한다(S210). 서로 다른 해상도의 제1 이미지와 제2 이미지가 촬영되었다면(S210-Y), 스테레오 카메라(100)는 제1 이미지와 제2 이미지가 같은 배율의 광학줌에 의해 촬영된 것인지를 판단한다(S220).
제1 이미지와 제2 이미지가 같은 배율의 광학줌에 의해 촬영된 것이라면(S220-Y), 스테레오 카메라(100)는 스테레오 매칭 방법에 의한 뎁스 맵을 추출하기 위해 고해상도의 제1 이미지를 저해상도의 제2 이미지와 같은 해상도로 다운 샘플링한다(S240). 예를 들어, 도 4의 좌측 사진(410)과 같이 10Mega fixel의 고해상도의 이미지와 도 4의 우측 사진(420)과 같이 5Mega fixel의 저해상도 이미지가 촬영된 경우, 스테레오 카메라(100)는 고해상도 이미지를 저해상도 이미지와 같은 해상도로 맞추기 위해 고해상도 이미지를 다운 샘플링한다. 즉, 고해상도 이미지는 저해상도 이미지보다 해상도가 2배 높기 때문에 해상도를 1/2배 다운 샘플링하게 된다. 따라서, 도 6a에 도시된 고해상도의 이미지에서 도 6b에 도시된 바와 같이 저해상도의 이미지로 다운 샘플링된다.
스테레오 카메라(100)는 다운 샘플링된 제1 이미지와 제2 이미지을 이용하여 뎁스 맵을 추출하기 위해, 제1 이미지와 제2 이미지를 매칭한다. 따라서 스테레오 카메라(100)는 제1 이미지와 제2 이미지를 매칭하기 위해 제1 이미지와 제2 이미지를 보정해야 한다(S250). 상술하였듯이, 제1 이미지와 제2 이미지를 매칭하는 작업은 제1 이미지와 제2 이미지의 초점, 노출 조건, 화이트 밸런스 등을 조절하는 것 이외에도, 제1 이미지와 제2 이미지의 에피폴라 라인(epipolar line)을 맞추기 위해 제1 이미지 또는 제2 이미지를 회전, 이동하는 것을 말한다.
제1 이미지와 제2 이미지를 매칭하기 위하여 제1 이미지와 제2 이미지를 보정을 한 후, 스테레오 카메라(100)는 제1 이미지와 제2 이미지를 이용하여 뎁스 맵을 추출한다(S260). 이때 뎁스 맵을 추출하는 방법은 스테레오 매칭 방법을 이용한다. 구체적으로, 제1 이미지의 임의의 한 점이 제2 이미지의 어느 위치에 있는지를 검출하고, 검출된 결과 임의의 점의 이동된 양을 구한다. 임의의 점이 이동된 양을 구하면, 구한 양을 바탕으로 뎁스 맵을 추출하게 된다. 도 6c는 스테레오 매칭 방법을 이용하여, 추출된 뎁스 맵을 도시한 도면이다. 도 6의 뎁스 맵에서, 밝은 부분일수록 카메라로부터 가깝운 부분(즉, 뎁스값이 낮은 부분)을 나타내고, 어두운 부분일수록 카메라로부터 먼 부분(즉, 뎁스값이 높은 부분)을 나타낸다.
뎁스 맵이 추출되면, 뎁스 맵을 고해상도 이미지와 같은 해상도로 업 샘플링해 준다(S270), 이는, 고해상도인 제1 이미지를 이용하여 아웃 포커싱을 수행하기 위해서이다. 예를 들어, 도 6c에 도시된 5Mega fixel의 뎁스 맵을 도 6d에 도시된 10Mega fixel의 뎁스 맵으로 2배 업 샘플링해준다. 도 6a에 도시된 10Mega fixel의 고화질 이미지와 해상도를 일치시키기 위해서이다. 이때, 도 6c의 610부분과 같이 경우, 거리가 가까움에도 뎁스 맵은 어둡게 표시되어 있다. 이 경우, joint bilateral filter 방법을 이용하여 오류가 난 부분에 대해 이미지 보정을 하고, 도 6d와 같은 업 샘플링된 뎁스 맵 정보를 얻게 된다.
추출된 뎁스 맵을 업 샘플링한 후, 스테레오 카메라(100)는 업 샘플링된 뎁스 맵을 이용하여 고해상도인 제1 이미지의 일정 영역을 블러링한다(S280). 여기서 일정 영역이라 함은, 상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀 영역을 말한다. 이때, 블러링 방법은 컨볼루션 필터(convolution filter)를 이용한 블러링 방법을 사용할 수 있다. 도 6e는 일정 영역에 대한 블러링이 수행되어, 아웃 포커스 효과가 표현된 제1 이미지를 도시한 도면이다.
블러링 작업 후, 일정 영역이 블러링된 제1 이미지는 디스플레이부(140)로 출력된다(S290).
즉, 서로 다른 해상도를 가진 제1 이미지와 제2 이미지를 이용하여 뎁스 맵을 추출한 후, 추출된 뎁스 맵을 이용하여 아웃 포커스 효과를 수행하면, 종래 소형 디지털 카메라(예를 들어, DSC 또는 폰 카메라)를 이용하여 중대형 디지털 카메라(DSLR)보다 저비용으로 동일한 효과를 구현 가능하다.
한편, 제1 이미지와 제2 이미지의 배율이 서로 다른 경우(S220-N), 스테레오 카메라(100)는 스테레오 매칭 방법을 이용한 뎁스 맵을 추출하기 위해서 저배율의 광학줌에 의해 획득된 이미지를 크롭한다(S230). 즉, 도 5에 도시된 바와 같이, 스테레오 카메라(100)는 저배율의 광학줌에 의해 획득된 이미지 중 고배율의 광학줌에 의해 획득된 이미지와 동일한 영역(510)을 크롭한다. 상술한 크롭 작업을 통하여, 제1 이미지와 제2 이미지는 해상도는 상이하나 동일한 피사체에 대한 이미지가 된다.
이후의 아웃 포커스 과정은 상술한 S240 내지 S290 과정과 동일한 방법으로수행된다.
본 실시예에서는 제1 이미지가 10Mega fixel, 제2 이미지가 5Mega fixel로 상정하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하다. 제1 이미지와 제2 이미지가 서로 상이한 해상도를 가진 것이라면 본 발명의 기술적 사상을 적용할 수 있다.
또한, 본 실시예에서는 블러링 방법을 콘볼루션 필터를 이용한 블러링 방법으로 상정하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하다. 콘볼루션 필터를 이용한 블러링 방법 이외의 블러링 방법도 본 발명의 기술적 사상을 적용할 수 있다
뿐만 아니라, 이상에서는, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 제1 렌즈부 115:제2 렌즈부
120: 제1 이미지 센서 125: 제2 이미지 센서
130: 이미지 처리부 140: 디스플레이부
150: 저장부 160:제어부
120: 제1 이미지 센서 125: 제2 이미지 센서
130: 이미지 처리부 140: 디스플레이부
150: 저장부 160:제어부
Claims (22)
- 제1 렌즈, 제2 렌즈를 갖는 카메라의 아웃 포커스 수행 방법에 있어서,
동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고, 제2 렌즈로 제2 이미지를 촬영하는 단계;
상기 촬영된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지 및 제2 이미지의 뎁스(depth) 정보를 추출하는 단계;및
상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하는 단계;를 포함하는 아웃 포커스 수행 방법. - 제1항에 있어서,
상기 뎁스 정보는,
상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것을 특징으로 하는 아웃 포커스 수행 방법. - 제2항에 있어서,
상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것을 특징으로 하는 아웃 포커스 수행 방법. - 제2항에 있어서,
상기 뎁스 맵 추출 단계는,
상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링(down sampling)하는 단계;
상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 제1 이미지를 보정하는 단계;
상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것을 특징으로 하는 아웃 포커스 수행 방법. - 제4항에 있어서,
상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것을 특징으로 하는 아웃 포커스 수행 방법. - 제2항에 있어서,
제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것을 특징으로 하는 아웃 포커스 수행 방법. - 제6항에 있어서,
상기 뎁스 맵 추출 단계는,
상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하는 단계;
상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하는 단계;
상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하는 단계;
상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 단계; 인 것을 특징으로 하는 아웃 포커스 수행 방법. - 제7항에 있어서,
상기 추출된 뎁스 맵을 업 샘플링(up sampling)하는 단계;를 더 포함하는 것을 특징으로 하는 아웃 포커스 수행 방법. - 제1항에 있어서,
상기 아웃 포커스 효과를 수행하는 단계는.
컨볼루션 필터(convolution filter)를 이용하여 아웃 포커스 효과를 수행하는 것을 특징으로 하는 아웃 포커스 수행 방법. - 제1항에 있어서,
상기 스테레오 카메라는,
디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것을 특징으로 하는 아웃 포커스 수행 방법. - 제1항에 있어서,
상기 아웃 포커스 수행 단계는,
상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하여 아웃 포커스를 수행하는 것을 특징으로 하는 아웃 포커스 수행 방법. - 제1 렌즈부, 제2 렌즈부을 갖는 카메라에 있어서,
제1 렌즈부;
제2 렌즈부;
제1 렌즈부를 통해 제1 이미지를 획득하는 제1 이미지 센서부;
상기 제1 이미지와 동일한 피사체에 대하여 제2 렌즈부를 통해 제2 이미지를 획득하는 제2 이미지 센서부;
상기 획득된 제1 이미지와 제2 이미지를 이용하여 상기 촬영된 제1 이미지와 제2 이미지의 뎁스 정보를 추출하는 이미지 처리부;
상기 추출된 뎁스 정보을 이용하여 상기 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하도록 제어하는 제어부;를 포함하는 카메라. - 제12항에 있어서,
상기 뎁스 정보는,
상기 제1 이미지 또는 제2 이미지의 각 픽셀에 대한 뎁스 정보가 포함된 뎁스 맵인 것을 특징으로 하는 카메라. - 제13항에 있어서,
상기 제1 이미지는 상기 제2 이미지보다 고해상도의 이미지인 것을 특징으로 하는 카메라. - 제14항에 있어서,
상기 이미지 처리부는,
상기 제1 이미지를 상기 제2 이미지의 해상도로 다운 샘플링하고, 상기 다운 샘플링된 제1 이미지를 상기 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하며, 상기 보정된 제1 이미지와 상기 제2 이미지를 통해 뎁스 맵을 추출하는 것을 특징으로 하는 카메라. - 제15항에 있어서,
상기 이미지 처리부는,
상기 추출된 뎁스 맵을 업 샘플링하여 처리하는 것을 특징으로 하는 카메라. - 제13항에 있어서,
제1 이미지는 제2 이미지보다 높은 배율의 광학 줌에 의해 획득된 것을 특징으로 하는 카메라. - 제17항에 있어서,
상기 이미지 처리부는,
상기 제2 이미지에 획득된 이미지 영역과 상기 제1 이미지에 획득된 이미지 영역을 일치시키기 위해 제2 이미지의 특정 부분을 크롭(crop)하고, 상기 제1 이미지를 상기 크롭된 제2 이미지의 해상도로 다운 샘플링하며, 상기 다운 샘플링된 제1 이미지를 상기 크롭된 제2 이미지와 매칭하기 위해 상기 다운 샘플링된 제1 이미지를 보정하고, 상기 보정된 제1 이미지와 상기 크롭된 제2 이미지를 통해 뎁스 맵을 추출하는 것을 특징으로 하는 카메라. - 제18항에 있어서,
상기 이미지 처리부는,
상기 추출된 뎁스 맵을 업 샘플링(up sampling)하여 처리하는 것을 특징으로 하는 카메라. - 제12항에 있어서,
상기 스테레오 카메라는,
컨볼루션 필터를 이용하여 아웃 포커스 효과를 수행하는 것을 특징으로 하는 카메라 - 제12항에 있어서,
상기 스테레오 카메라는,
디지털 스틸 카메라(digital still camera) 또는 폰 카메라(phone camera)인 것을 특징으로 하는 카메라. - 제13항에 있어서,
상기 제어부는,
상기 추출된 뎁스 정보가 포함된 픽셀 중 뎁스 정보가 특정 기준 이상인 픽셀에 대하여 블러링(blurring)하도록 이미지 처리부를 제어하여 아웃 포커스를 수행하는 것을 특징으로 하는 카메라.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100002617A KR101214536B1 (ko) | 2010-01-12 | 2010-01-12 | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 |
US13/004,363 US9154684B2 (en) | 2010-01-12 | 2011-01-11 | Method for performing out-focus using depth information and camera using the same |
US14/851,829 US9819931B2 (en) | 2010-01-12 | 2015-09-11 | Method for performing out-focus using depth information and camera using the same |
US15/786,082 US10659767B2 (en) | 2010-01-12 | 2017-10-17 | Method for performing out-focus using depth information and camera using the same |
US16/865,059 US11184603B2 (en) | 2010-01-12 | 2020-05-01 | Method for performing out-focus using depth information and camera using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100002617A KR101214536B1 (ko) | 2010-01-12 | 2010-01-12 | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110082736A true KR20110082736A (ko) | 2011-07-20 |
KR101214536B1 KR101214536B1 (ko) | 2013-01-10 |
Family
ID=44258243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100002617A KR101214536B1 (ko) | 2010-01-12 | 2010-01-12 | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 |
Country Status (2)
Country | Link |
---|---|
US (4) | US9154684B2 (ko) |
KR (1) | KR101214536B1 (ko) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150012976A (ko) * | 2013-07-26 | 2015-02-04 | 삼성전자주식회사 | 다시점 영상 처리 장치 및 그 영상 처리 방법 |
KR20150057714A (ko) * | 2013-11-20 | 2015-05-28 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
KR20150126192A (ko) * | 2014-05-02 | 2015-11-11 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 촬영 방법 |
US9584723B2 (en) | 2013-02-27 | 2017-02-28 | Electronics And Telecommunications Research Institute | Apparatus and method for creating panorama |
US9613403B2 (en) | 2013-03-28 | 2017-04-04 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
KR20180027183A (ko) * | 2016-09-06 | 2018-03-14 | 삼성전자주식회사 | 전자 장치 및 복수의 영상을 처리하는 방법 |
KR20180027937A (ko) * | 2016-09-07 | 2018-03-15 | 삼성전자주식회사 | 이미지 합성 방법 및 이를 지원하는 전자 장치 |
US11582391B2 (en) | 2017-08-22 | 2023-02-14 | Samsung Electronics Co., Ltd. | Electronic device capable of controlling image display effect, and method for displaying image |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
KR101214536B1 (ko) | 2010-01-12 | 2013-01-10 | 삼성전자주식회사 | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 |
KR101630307B1 (ko) * | 2010-05-12 | 2016-06-14 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 |
US9344701B2 (en) | 2010-07-23 | 2016-05-17 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation |
WO2012061549A2 (en) | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8928737B2 (en) * | 2011-07-26 | 2015-01-06 | Indiana University Research And Technology Corp. | System and method for three dimensional imaging |
US9007441B2 (en) * | 2011-08-04 | 2015-04-14 | Semiconductor Components Industries, Llc | Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers |
IN2014CN02708A (ko) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
KR101792641B1 (ko) | 2011-10-07 | 2017-11-02 | 엘지전자 주식회사 | 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법 |
JP5911292B2 (ja) * | 2011-12-19 | 2016-04-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
WO2013108339A1 (ja) * | 2012-01-20 | 2013-07-25 | パナソニック株式会社 | ステレオ撮影装置 |
US10477184B2 (en) | 2012-04-04 | 2019-11-12 | Lifetouch Inc. | Photography system with depth and position detection |
KR20130127867A (ko) * | 2012-05-15 | 2013-11-25 | 삼성전자주식회사 | 스테레오 비전 장치와 이의 제어 방법 |
KR101888956B1 (ko) * | 2012-05-31 | 2018-08-17 | 엘지이노텍 주식회사 | 카메라 모듈 및 그의 오토 포커싱 방법 |
SG11201500910RA (en) * | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
US9124762B2 (en) * | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US20150086127A1 (en) * | 2013-09-20 | 2015-03-26 | Samsung Electronics Co., Ltd | Method and image capturing device for generating artificially defocused blurred image |
US20150103200A1 (en) * | 2013-10-16 | 2015-04-16 | Broadcom Corporation | Heterogeneous mix of sensors and calibration thereof |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
CN105205796A (zh) * | 2014-06-30 | 2015-12-30 | 华为技术有限公司 | 广域图像获取方法和装置 |
CN105491277B (zh) * | 2014-09-15 | 2018-08-31 | 联想(北京)有限公司 | 图像处理方法和电子设备 |
JP6263461B2 (ja) * | 2014-09-26 | 2018-01-17 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
US9905041B2 (en) * | 2014-11-24 | 2018-02-27 | Adobe Systems Incorporated | Depth of field synthesis using ray tracing approximation |
KR102336447B1 (ko) * | 2015-07-07 | 2021-12-07 | 삼성전자주식회사 | 촬영 장치 및 그 동작 방법 |
KR102372711B1 (ko) | 2015-10-13 | 2022-03-17 | 삼성전자주식회사 | 영상 촬영 장치 및 이의 제어 방법 |
KR102509819B1 (ko) | 2015-11-04 | 2023-03-14 | 삼성전자주식회사 | 신호 처리 장치 및 신호 처리 방법 |
KR102636272B1 (ko) | 2016-07-26 | 2024-02-14 | 삼성전자주식회사 | 영상 촬상 장치 및 이를 포함하는 전자 시스템 |
CN106296570B (zh) * | 2016-07-28 | 2020-01-10 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
KR102229811B1 (ko) * | 2016-10-28 | 2021-03-18 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 단말기를 위한 촬영 방법 및 단말기 |
US10325354B2 (en) | 2017-04-28 | 2019-06-18 | Qualcomm Incorporated | Depth assisted auto white balance |
US10334232B2 (en) | 2017-11-13 | 2019-06-25 | Himax Technologies Limited | Depth-sensing device and depth-sensing method |
TWI646504B (zh) * | 2017-11-21 | 2019-01-01 | 奇景光電股份有限公司 | 深度感測裝置及深度感測方法 |
JP7206602B2 (ja) * | 2018-03-16 | 2023-01-18 | 株式会社リコー | 撮像装置、車両、及び撮像方法 |
KR102438771B1 (ko) * | 2018-03-20 | 2022-08-31 | 김정훈 | 휴대전자기기의 아웃포커스 시뮬레이터 |
WO2019230813A1 (ja) * | 2018-05-30 | 2019-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元再構成方法および三次元再構成装置 |
JP7227454B2 (ja) * | 2018-07-18 | 2023-02-22 | ミツミ電機株式会社 | 測距カメラ |
KR102105028B1 (ko) | 2018-11-15 | 2020-04-27 | 주식회사 아이에스피디 | 심도 예측을 이용한 아웃포커스 장치 및 방법 |
US11323603B2 (en) * | 2019-09-18 | 2022-05-03 | Gopro, Inc. | Auto exposure for spherical images |
CN114556422A (zh) * | 2019-10-14 | 2022-05-27 | 谷歌有限责任公司 | 来自双相机与双像素的联合深度预测 |
KR20210098292A (ko) * | 2020-01-31 | 2021-08-10 | 삼성전자주식회사 | 카메라를 포함하는 전자 장치 및 그 동작 방법 |
US11172139B2 (en) * | 2020-03-12 | 2021-11-09 | Gopro, Inc. | Auto exposure metering for spherical panoramic content |
CN113573038A (zh) * | 2020-04-29 | 2021-10-29 | 思特威(上海)电子科技股份有限公司 | 双目***及深度图获取方法 |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5781198A (en) * | 1995-12-22 | 1998-07-14 | Intel Corporation | Method and apparatus for replacing a background portion of an image |
JP2000354257A (ja) * | 1999-06-10 | 2000-12-19 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム提供媒体 |
US7053953B2 (en) * | 2001-12-21 | 2006-05-30 | Eastman Kodak Company | Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image |
US8134637B2 (en) * | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
US8243123B1 (en) * | 2005-02-02 | 2012-08-14 | Geshwind David M | Three-dimensional camera adjunct |
KR20060124176A (ko) * | 2005-05-31 | 2006-12-05 | 주식회사 팬택 | 아웃포커싱 방법 및 이를 구현하는 카메라 |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
EP1922701B1 (en) * | 2005-08-22 | 2009-08-12 | Koninklijke Philips Electronics N.V. | Triangulation method of a surface of a physical object |
KR100822832B1 (ko) * | 2006-03-28 | 2008-04-17 | 엠텍비젼 주식회사 | 카메라의 피사계 심도 조정 장치 및 방법 |
US7573489B2 (en) * | 2006-06-01 | 2009-08-11 | Industrial Light & Magic | Infilling for 2D to 3D image conversion |
US8139142B2 (en) * | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
KR100801088B1 (ko) | 2006-10-02 | 2008-02-05 | 삼성전자주식회사 | 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 |
DE102006055641B4 (de) * | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes |
US7729602B2 (en) * | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
US20090128644A1 (en) * | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
KR101361516B1 (ko) * | 2007-11-21 | 2014-02-11 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
JP4959535B2 (ja) * | 2007-12-13 | 2012-06-27 | 株式会社日立製作所 | 撮像装置 |
JP4513906B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP4513905B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム及び記録媒体 |
US8780172B2 (en) * | 2009-01-27 | 2014-07-15 | Telefonaktiebolaget L M Ericsson (Publ) | Depth and video co-processing |
WO2010108119A2 (en) * | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Dual sensor camera |
US20100289904A1 (en) * | 2009-05-15 | 2010-11-18 | Microsoft Corporation | Video capture device providing multiple resolution video feeds |
US8917956B1 (en) * | 2009-08-12 | 2014-12-23 | Hewlett-Packard Development Company, L.P. | Enhancing spatial resolution of an image |
US20110075257A1 (en) * | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
US20110080466A1 (en) * | 2009-10-07 | 2011-04-07 | Spatial View Inc. | Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images |
KR101214536B1 (ko) | 2010-01-12 | 2013-01-10 | 삼성전자주식회사 | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 |
KR101887099B1 (ko) * | 2010-12-29 | 2018-08-09 | 삼성전자주식회사 | 이미지 처리 시스템 및 이미지 처리 방법 |
CN104769611A (zh) * | 2012-11-06 | 2015-07-08 | 诺基亚技术有限公司 | 用于基于脸部表情的概括的方法和装置 |
US9124762B2 (en) * | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
US9202129B2 (en) * | 2013-03-12 | 2015-12-01 | Qualcomm Incorporated | Reducing object detection time by utilizing space localization of features |
KR102622754B1 (ko) * | 2016-09-07 | 2024-01-10 | 삼성전자주식회사 | 이미지 합성 방법 및 이를 지원하는 전자 장치 |
US10325354B2 (en) * | 2017-04-28 | 2019-06-18 | Qualcomm Incorporated | Depth assisted auto white balance |
-
2010
- 2010-01-12 KR KR1020100002617A patent/KR101214536B1/ko active IP Right Grant
-
2011
- 2011-01-11 US US13/004,363 patent/US9154684B2/en active Active
-
2015
- 2015-09-11 US US14/851,829 patent/US9819931B2/en active Active
-
2017
- 2017-10-17 US US15/786,082 patent/US10659767B2/en active Active
-
2020
- 2020-05-01 US US16/865,059 patent/US11184603B2/en active Active
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9584723B2 (en) | 2013-02-27 | 2017-02-28 | Electronics And Telecommunications Research Institute | Apparatus and method for creating panorama |
US9613403B2 (en) | 2013-03-28 | 2017-04-04 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
KR20150012976A (ko) * | 2013-07-26 | 2015-02-04 | 삼성전자주식회사 | 다시점 영상 처리 장치 및 그 영상 처리 방법 |
KR20150057714A (ko) * | 2013-11-20 | 2015-05-28 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
KR20150126192A (ko) * | 2014-05-02 | 2015-11-11 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 촬영 방법 |
KR20180027183A (ko) * | 2016-09-06 | 2018-03-14 | 삼성전자주식회사 | 전자 장치 및 복수의 영상을 처리하는 방법 |
WO2018048177A1 (ko) * | 2016-09-06 | 2018-03-15 | 삼성전자 주식회사 | 전자 장치 및 복수의 영상을 처리하는 방법 |
US11138707B2 (en) | 2016-09-06 | 2021-10-05 | Samsung Electronics Co., Ltd | Electronic device and method for processing multiple images |
KR20180027937A (ko) * | 2016-09-07 | 2018-03-15 | 삼성전자주식회사 | 이미지 합성 방법 및 이를 지원하는 전자 장치 |
US11582391B2 (en) | 2017-08-22 | 2023-02-14 | Samsung Electronics Co., Ltd. | Electronic device capable of controlling image display effect, and method for displaying image |
Also Published As
Publication number | Publication date |
---|---|
US20150381967A1 (en) | 2015-12-31 |
US11184603B2 (en) | 2021-11-23 |
US10659767B2 (en) | 2020-05-19 |
US20180041748A1 (en) | 2018-02-08 |
US9819931B2 (en) | 2017-11-14 |
US20200280714A1 (en) | 2020-09-03 |
US9154684B2 (en) | 2015-10-06 |
KR101214536B1 (ko) | 2013-01-10 |
US20110169921A1 (en) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101214536B1 (ko) | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 | |
CN109089047B (zh) | 控制对焦的方法和装置、存储介质、电子设备 | |
EP3499863B1 (en) | Method and device for image processing | |
WO2017045558A1 (zh) | 景深调节方法、装置及终端 | |
CN110536057B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP4497211B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
CN112087580B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
JP4935302B2 (ja) | 電子カメラおよびプログラム | |
CN112866549B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
US10484612B2 (en) | Image pickup apparatus, image pickup method, and Storage medium for picking up a plurality of images different in in-focus positions | |
CN110177212B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
KR20190068618A (ko) | 단말기를 위한 촬영 방법 및 단말기 | |
CN112019734B (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
CN112087571A (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
JP7422843B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2009284056A (ja) | 画像処理装置および方法並びにプログラム | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2008053787A (ja) | 多眼電子カメラ及び多眼電子カメラの視差補正方法 | |
JP6006506B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
CN112866547B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
JP6961423B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体 | |
JP7409604B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151127 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161129 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20171129 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20181129 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20191128 Year of fee payment: 8 |