KR102105028B1 - 심도 예측을 이용한 아웃포커스 장치 및 방법 - Google Patents

심도 예측을 이용한 아웃포커스 장치 및 방법 Download PDF

Info

Publication number
KR102105028B1
KR102105028B1 KR1020180140751A KR20180140751A KR102105028B1 KR 102105028 B1 KR102105028 B1 KR 102105028B1 KR 1020180140751 A KR1020180140751 A KR 1020180140751A KR 20180140751 A KR20180140751 A KR 20180140751A KR 102105028 B1 KR102105028 B1 KR 102105028B1
Authority
KR
South Korea
Prior art keywords
depth
region
outline
focus
depth level
Prior art date
Application number
KR1020180140751A
Other languages
English (en)
Inventor
정한별
김경훈
Original Assignee
주식회사 아이에스피디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이에스피디 filed Critical 주식회사 아이에스피디
Priority to KR1020180140751A priority Critical patent/KR102105028B1/ko
Application granted granted Critical
Publication of KR102105028B1 publication Critical patent/KR102105028B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H04N5/23212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

단안 카메라에서 촬영된 화면내의 각각의 객체 및 그 주변의 심도를 예측하여 아웃포커스를 구현하는 심도 예측을 이용한 아웃포커스 장치 및 방법을 제시한다. 제시된 장치는 수신된 화면에 대하여 외곽선을 설정하는 외곽선 설정부, 외곽선의 내부에 다수의 마커를 배열하는 마커 배열부, 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 영역 분할부, 영역 분할부에서 분할된 마커별 영역을 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 심도맵 생성부, 및 심도맵을 분석하여 각각의 마커별 영역의 겹쳐진 부위에 대한 심도 레벨을 예측하는 심도 레벨 예측부를 포함한다.

Description

심도 예측을 이용한 아웃포커스 장치 및 방법{Out-focus apparatus and method using depth estimation}
본 발명은 심도 예측을 이용한 아웃포커스 장치 및 방법에 관한 것으로, 보다 상세하게는 단안 카메라에서 촬영된 화면에 대하여 심도 예측을 이용하여 아웃포커스 효과를 구현할 수 있는 아웃포커스 장치 및 방법에 관한 것이다.
이미지 촬영을 위한 촬영 장치가 과거에는 카메라 또는 캠코더 등에 한정되었던 것에 반해, 근래에는 핸드폰, 노트북에 이르기까지 다양한 장치에 응용되어 탑재되어 있다.
또한, 탑재된 촬영 장치의 기능도 더욱 향상되고 다양해져서, 실제에 가까운 이미지의 촬영이 가능하고, 촬영된 이미지를 이미지 처리함으로써 다양한 효과를 줄 수도 있다. 예를 들어, 촬영된 이미지의 처리를 통하여 다양한 필터 효과뿐만 아니라, 아웃포커스 효과 등을 구현할 수 있게 되었다.
여기서, 아웃포커스 효과는 영상에서 초점을 두고자 하는 객체를 선명하게 나오게 하고, 나머지 사물 또는 배경을 흐릿하게 처리하여 관심 영역을 더욱 뚜렷하게 보이도록 하는 것이다. 즉, 아웃포커스 효과란 초점 심도(Depth of field)에서 벗어난 배경 화상을 흐려지게 하는 것을 말한다. 이는 렌즈의 초점 거리가 길어지면 더욱 잘 나타나게 되지만, 일반적으로 핸드폰, 스마트폰, 태블릿 PC 등의 휴대용 통신단말에 장착되는 카메라의 렌즈의 초점 거리는 짧아서 상술한 아웃포커스 효과를 광학적으로 내기가 어렵다.
선행기술 1 : 대한민국 등록특허 제10-0657522호(휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법) 선행기술 2 : 대한민국 공개특허 제10-2015-0002167호(스테레오 카메라 아웃-포커싱 장치 및 방법) 선행기술 3 : 대한민국 등록특허 제10-1294735호(이미지 처리 방법 및 이를 이용한 촬영 장치) 선행기술 4 : 대한민국 등록특허 제10-1214536호(뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 단안 카메라에서 촬영된 화면내의 각각의 객체 및 그 주변의 심도를 예측하여 아웃포커스를 구현하는 심도 예측을 이용한 아웃포커스 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 심도 예측을 이용한 아웃포커스 장치는, 수신된 화면에 대하여 외곽선을 설정하는 외곽선 설정부; 상기 외곽선의 내부에 다수의 마커를 배열하는 마커 배열부; 상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 영역 분할부; 상기 영역 분할부에서 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 심도맵 생성부; 및 상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 대한 심도 레벨을 예측하는 심도 레벨 예측부;를 포함한다.
상기 심도 레벨 예측부는, 상기 심도맵에서 각각의 마커별 영역에서 서로 겹쳐진 부위에 대한 겹쳐진 갯수에 따라 해당 겹쳐진 부위의 심도 레벨을 예측할 수 있다.
상기 겹쳐진 갯수가 많을수록 해당 부위의 심도 레벨은 낮고, 상기 겹쳐진 갯수가 적을수록 해당 부위의 심도 레벨은 높을 수 있다.
삭제
상기 외곽선 설정부는, 상기 화면내에 존재하는 객체를 많이 포함할 수 있도록 최대한 넓게 외곽선을 설정할 수 있다.
상기 수신된 화면은 단안 카메라에서 촬영된 화면일 수 있다.
상기 심도 레벨 예측부로부터의 겹쳐진 부위별 심도 레벨에 따라 해당 겹쳐진 부위에 대한 블러(blur) 가중 처리를 행하여 아웃포커스를 수행하는 블러링부;를 추가로 포함할 수 있다.
상기 블러링부는, 상기 겹쳐진 부위별 심도 레벨이 낮을수록 해당 부위를 보다 선명하게 처리할 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 심도 예측을 이용한 아웃포커스 방법은, 아웃포커스 장치에서의 아웃포커스 방법으로서, 수신된 화면에 대하여 외곽선을 설정하는 단계; 상기 외곽선의 내부에 다수의 마커를 배열하는 단계; 상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 단계; 상기 영역 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 단계; 및 상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 대한 심도 레벨을 예측하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 실시간 촬영 화면에 외곽선을 설정하고 외곽선내에 다수의 마커를 배열하여 마커별로 영역 분할을 한 후에 마커별 영역을 근거로 심도맵을 생성하고 심도맵을 분석함으로써, 심도에 따른 심도효과(블러링)를 제공하여 아웃포커스를 완성할 수 있다.
도 1은 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 방법을 설명하기 위한 플로우차트이다.
도 3 내지 도 20은 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 방법의 설명에 채용되는 화면예이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 장치의 구성도이다.
본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 장치는 촬영가능한 카메라 등을 포함하는 기기인 휴대용 단말기 등에 탑재될 수 있다.
다르게는, 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 장치는 스탠드 얼론(stand alone)형 컴퓨터에 탑재될 수도 있는데, 여기서 스탠드 얼론형 컴퓨터는 촬영가능한 카메라 등을 포함하는 휴대용 단말기와 연결된 것으로 한다.
여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, 휴대용 단말기는 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기로 구성될 수 있다.
본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 장치는 화면 수신부(10), 외곽선 설정부(12), 마커 배열부(14), 영역 분할부(16), 심도맵 생성부(18), 심도 레벨 예측부(20), 및 블러링부(22)를 포함한다.
화면 수신부(10)는 휴대용 단말기 등의 카메라에서 촬영한 화면을 수신한다. 여기서, 카메라는 단안 카메라이다. 양안 카메라를 사용하지 않아도 된다.
외곽선 설정부(12)는 화면 수신부(10)에 수신된 화면에 대하여 외곽선을 설정한다. 이때, 외곽선 설정부(12)는 해당 화면내에 존재하는 객체를 가급적 많이 포함할 수 있도록 최대한 넓게 외곽선을 설정할 수 있다.
마커 배열부(14)는 외곽선 설정부(12)에 의해 설정된 외곽선 내에 다수의 마커를 배열한다. 이때, 배열되는 각각의 마커의 위치는 고정적으로 미리 정해져 있다. 예를 들어, 마커의 형태는 정사각형, 직사각형, 원형, 계란형 등과 같이 다양할 수 있다. 이러한 마커의 형태 및 사이즈는 필요에 따라 가변가능하다.
심도를 예측하기 위해서는 화면내에서 예측할 부위를 선정하는 것이 우선적으로 필요한데, 이러한 예측할 부위의 선정을 위해 마커 배열부(14)는 마커를 배열하는 것이다.
마커 배열부(14)는 심도 레벨 예측부(20)에서 외곽선 내부에 존재하는 모든 객체의 심도 및 객체 주변의 심도를 예측할 수 있도록 하기 위해, 외곽선 내부에 여러 개의 마커를 촘촘히 배열한다.
영역 분할부(16)는 외곽선 내부의 각각의 마커를 기준으로 영역 분할(regional segmentation)을 행한다.
삭제
영역 분할부(16)에서 영역 분할을 하게 되면, 각각의 마커와 접촉된 객체(즉, 외곽선 내의 객체(피사체))가 해당 마커별 영역에 포함될 것이다.
여기서, 영역 분할부(16)에서의 영역 분할에 대한 보다 구체적인 설명을 하지 않더라도, 동종업계에 종사하는 자라면 주지의 기술을 통해 충분히 이해할 수 있으리라 본다.
심도맵 생성부(18)는 영역 분할부(16)에서 분할된 마커별 영역을 외곽선 내부의 자신의 위치에 그대로 배치(즉, 투영)시킨 심도맵을 생성한다. 그에 따라, 심도맵 생성부(18)에 의해 생성된 심도맵에는 마커별 영역의 일부 또는 전부가 서로 겹쳐질 수 있다.
심도 레벨 예측부(20)는 심도맵을 분석하여 각각의 마커별 영역의 서로 겹쳐진 부위에 대한 심도 레벨을 예측한다. 즉, 심도 레벨 예측부(20)는 심도맵에서 각각의 마커별 영역의 서로 겹치는 부위의 갯수에 따라 해당 겹쳐진 부위의 심도 레벨을 예측할 수 있다.
예를 들어, 심도 레벨 예측부(20)는 0(최대 9개가 겹침) ~ 9(겹치는 부분이 없음)의 심도 레벨을 두고서 각각의 마커별 영역에서 서로 겹쳐진 부위에 대한 겹쳐진 갯수에 따라 해당 겹쳐진 부위의 심도 레벨을 예측한다. 겹쳐진 갯수가 많을수록 해당 부위의 심도 레벨은 낮을 것이고, 겹쳐진 갯수가 적을수록 해당 부위의 심도 레벨은 높을 것이다. 이때, 심도 레벨이 0인 경우가 가장 얕은 심도를 가지는 것으로 하고, 심도 레벨이 9인 경우가 가장 깊은 심도를 가지는 것으로 한다.
심도 레벨 예측부(20)는 가장 많이 겹쳐진 부위를 원하는 피사체로 인식하여 해당 부위의 심도 레벨을 가장 낮은 것(즉, 심도 레벨 0)으로 예측하고, 가장 적게 겹치는 부위의 심도 레벨을 가장 높은 것(예컨대, 심도 레벨 9)으로 예측할 수 있다.
블러링부(22)는 심도 레벨 예측부(20)로부터의 겹쳐진 부위별 심도 레벨에 따라 해당 겹쳐진 부위에 대한 블러(blur) 가중 처리를 행하여 아웃포커스를 수행한다.
예를 들어, 겹쳐진 부위별 심도 레벨에 따른 블러(blur) 가중 처리를 행하는 경우에 있어서, 심도 레벨 예측부(20)로부터의 심도레벨이 0인 부위에 대해서는 블러링부(22)는 0(zero)의 가중치를 제공하여 blur×0(zero)으로 할 수 있다. 심도레벨이 1인 부위에 대해서는 블러링부(22)는 1의 가중치를 제공하여 blur×1로 할 수 있다. 심도레벨이 2인 부위에 대해서는 블러링부(22)는 2의 가중치를 제공하여 blur×2로 할 수 있다. 심도레벨이 3인 부위에 대해서는 블러링부(22)는 3의 가중치를 제공하여 blur×3으로 할 수 있다. 심도레벨이 4인 부위에 대해서는 블러링부(22)는 4의 가중치를 제공하여 blur×4로 할 수 있다. 심도레벨이 5인 부위에 대해서는 블러링부(22)는 5의 가중치를 제공하여 blur×5로 할 수 있다. 심도레벨이 6인 부위에 대해서는 블러링부(22)는 6의 가중치를 제공하여 blur×6으로 할 수 있다. 심도레벨이 7인 부위에 대해서는 블러링부(22)는 7의 가중치를 제공하여 blur×7로 할 수 있다. 심도레벨이 8인 부위에 대해서는 블러링부(22)는 8의 가중치를 제공하여 blur×8로 할 수 있다. 심도레벨이 9인 부위에 대해서는 블러링부(22)는 9의 가중치를 제공하여 blur×9로 할 수 있다.
블러링부(22)는 심도레벨이 0인 부위에 대해서는 블러 처리를 하지 않는다. 그에 따라, 심도레벨이 0인 부위가 가장 선명하게 될 것이다.
한편, 블러링부(22)는 심도레벨이 9인 부위에 대해서는 가장 많은 블러 처리를 행한다. 그에 따라, 심도레벨이 9인 부위가 가장 선명하지 않게 될 것이다.
다시 말해서, 블러링부(22)는 심도레벨이 낮을수록 해당 부위를 보다 선명하게 처리한다. 즉, 블러링부(22)는 심도레벨이 높을수록 해당 부위를 보다 흐리게 처리한다.
도 2는 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 방법을 설명하기 위한 플로우차트이고, 도 3 내지 도 20은 본 발명의 실시예에 따른 심도 예측을 이용한 아웃포커스 방법의 설명에 채용되는 화면예이다.
먼저, 화면 수신부(10)가 휴대용 단말기 등의 카메라(즉, 단안 카메라)에서 촬영한 화면을 실시간으로 수신한다(S10).
이어, 외곽선 설정부(12)는 화면 수신부(10)에 실시간으로 수신되는 화면에 대하여 외곽선을 설정한다(S12). 이때, 외곽선 설정부(12)는 도 3에 예시한 바와 같이 해당 화면내에 존재하는 객체를 가급적 많이 포함할 수 있도록 최대한 넓게 외곽선(30)을 설정한다.
그리고, 마커 배열부(14)는 외곽선 설정부(12)에 의해 설정된 외곽선(30)의 내에 하나 이상의 마커(M)를 배열한다(S14). 즉, 마커 배열부(14)는 외곽선(30)의 내부에 존재하는 모든 객체 및 객체 주변의 심도를 예측할 수 있도록 하기 위해, 도 4에 예시한 바와 같이 여러 개의 마커(M1 ~ M9)를 외곽선(30)의 내부에 촘촘히 배열한다. 도 4에서는 마커의 갯수를 9개로 하였는데, 필요에 따라서는 마커의 형태 및 사이즈를 변경하여 마커의 갯수를 더 많이 하거나 더 적게 하여도 무방하다.
이후, 영역 분할부(16)가 외곽선(30)의 내부에 존재하는 각각의 마커를 기준으로 영역 분할(regional segmentation)을 행한다(S16). 영역 분할의 경우, 각각의 마커와 접촉된 객체(즉, 외곽선 내의 객체(피사체))가 해당 마커별 영역에 포함될 것이다. 물론, 각각의 마커와 접촉된 객체(피사체)가 없다면 해당 마커별 영역에는 객체(피사체)가 포함되지 않을 것이다. 도 5에서는 마커(M1)가 차지하는 고유 영역 및 해당 마커(M1)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R1)으로 하여 분할하였다. 도 6에서는 마커(M2)가 차지하는 고유 영역 및 해당 마커(M2)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R2)으로 하여 분할하였다. 도 7에서는 마커(M3)가 차지하는 고유 영역 및 해당 마커(M3)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R3)으로 하여 분할하였다. 도 8에서는 마커(M4)가 차지하는 고유 영역 및 해당 마커(M4)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R4)으로 하여 분할하였다. 도 9에서는 마커(M5)가 차지하는 고유 영역 및 해당 마커(M5)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R5)으로 하여 분할하였다. 도 10에서는 마커(M6)가 차지하는 고유 영역 및 해당 마커(M6)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R6)으로 하여 분할하였다. 도 11에서는 마커(M7)가 차지하는 고유 영역 및 해당 마커(M7)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R7)으로 하여 분할하였다. 도 12에서는 마커(M8)가 차지하는 고유 영역 및 해당 마커(M8)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R8)으로 하여 분할하였다. 도 13에서는 마커(M9)가 차지하는 고유 영역 및 해당 마커(M9)와 유사한 색상 및 명암 등을 갖는 주변 영역을 하나의 영역(R9)으로 하여 분할하였다.
그리고 나서, 심도맵 생성부(18)는 영역 분할부(16)에서 분할된 마커별 영역(R1 ~ R9)을 외곽선(30) 내부의 자신의 위치에 그대로 배치(즉, 투영)시킨 심도맵을 생성한다(S18). 이 경우, 생성된 심도맵은 도 14와 같은 형태가 될 수 있다. 여기서, 생성된 심도맵에는 각각의 마커별 영역의 일부 또는 전부가 서로 겹쳐질 수 있다.
이후, 심도 레벨 예측부(20)는 심도맵을 분석하여 각각의 마커별 영역의 서로 겹쳐진 부위에 대한 심도 레벨을 예측한다(S20). 즉, 심도 레벨 예측부(20)는 도 15 내지 도 20에 예시한 바와 같이 심도맵에서 각각의 마커별 영역에서 서로 겹쳐진 부위에 대한 겹쳐진 갯수에 따라 해당 겹쳐진 부위의 심도 레벨을 예측한다. 심도 레벨 예측부(20)는 가장 많이 겹쳐진 부위를 원하는 피사체로 인식하여 해당 부위의 심도 레벨을 가장 낮은 것으로 예측할 수 있다. 도 15를 보면 마커(M5)가 존재하는 영역이 가장 많이 겹치기 때문에 심도 레벨 예측부(20)는 해당 부위의 심도 레벨을 0(zero)으로 예측한다. 도 16을 보면 마커(M5)가 존재하는 영역의 주변이 심도 레벨이 0으로 예측된 부위보다 조금 덜 겹쳐지기 때문에 심도 레벨 예측부(20)는 해당 부위의 심도 레벨을 1로 예측한다. 도 17을 보면 심도 레벨이 1인 부위의 주변이 심도 레벨이 1로 예측된 부위보다 조금 덜 겹쳐지기 때문에 심도 레벨 예측부(20)는 해당 부위의 심도 레벨을 2로 예측한다. 도 18을 보면 심도 레벨이 2인 부위의 주변이 심도 레벨이 2로 예측된 부위보다 조금 덜 겹쳐지기 때문에 심도 레벨 예측부(20)는 해당 부위의 심도 레벨을 3으로 예측한다. 도 19를 보면 심도 레벨이 3인 부위의 주변이 심도 레벨이 3으로 예측된 부위보다 조금 덜 겹쳐지기 때문에 심도 레벨 예측부(20)는 해당 부위의 심도 레벨을 4로 예측한다. 도 20을 보면 심도 레벨이 4인 부위의 주변이 심도 레벨이 4로 예측된 부위보다 조금 덜 겹쳐지기 때문에 심도 레벨 예측부(20)는 해당 부위의 심도 레벨을 5로 예측한다.
마지막으로, 블러링부(22)는 심도 레벨 예측부(20)로부터의 겹쳐진 부위별 심도 레벨에 따라 해당 겹쳐진 부위에 대한 블러(blur) 가중 처리를 행하여 아웃포커스를 수행한다(S22). 예를 들어, 심도레벨이 0인 부위에 대해서는 블러링부(22)는 blur×0(zero)으로 가중 처리하고, 심도레벨이 1인 부위에 대해서는 블러링부(22)는 blur×1로 가중 처리하고, 심도레벨이 2인 부위에 대해서는 블러링부(22)는 blur×2로 가중 처리하고, 심도레벨이 3인 부위에 대해서는 블러링부(22)는 blur×3으로 가중 처리하고, 심도레벨이 4인 부위에 대해서는 블러링부(22)는 blur×4로 가중 처리하고, 심도레벨이 5인 부위에 대해서는 블러링부(22)는 blur×5로 가중 처리할 수 있다.
그에 따라, 블러링부(22)에서의 부위별 심도 레벨에 따른 블러 가중 처리가 완료되면 해당 화면에 대한 아웃포커스가 최종적으로 완성된다. 즉, 도 20에서 심도 0으로 표시된 영역이 가장 선명하고, 심도 5로 표시된 영역이 가장 흐리게 된다. 다시 말해서, 심도 0으로 표시된 영역이 가장 선명하고, 이후 심도 1-> 심도 2-> 심도 3-> 심도 5-> 심도 5로 표시된 영역으로 갈수록 점점 흐리게 된다.
또한, 상술한 본 발명의 심도 예측을 이용한 아웃포커스 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 화면 수신부 12 : 외곽선 설정부
14 : 마커 배열부 16 : 영역 분할부
18 : 심도맵 생성부 20 : 심도 레벨 예측부
22 : 블러링부

Claims (16)

  1. 수신된 화면에 대하여 외곽선을 설정하는 외곽선 설정부;
    상기 외곽선의 내부에 다수의 마커를 배열하는 마커 배열부;
    상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 영역 분할부;
    상기 영역 분할부에서 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 심도맵 생성부; 및
    상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 대한 심도 레벨을 예측하는 심도 레벨 예측부;를 포함하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  2. 청구항 1에 있어서,
    상기 심도 레벨 예측부는,
    상기 심도맵에서 각각의 마커별 영역에서 서로 겹쳐진 부위에 대한 겹쳐진 갯수에 따라 해당 겹쳐진 부위의 심도 레벨을 예측하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  3. 청구항 2에 있어서,
    상기 겹쳐진 갯수가 많을수록 해당 부위의 심도 레벨은 낮고, 상기 겹쳐진 갯수가 적을수록 해당 부위의 심도 레벨은 높은 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 외곽선 설정부는,
    상기 화면내에 존재하는 객체를 많이 포함할 수 있도록 최대한 넓게 외곽선을 설정하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  6. 청구항 1에 있어서,
    상기 수신된 화면은 단안 카메라에서 촬영된 화면인 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  7. 청구항 1에 있어서,
    상기 심도 레벨 예측부로부터의 겹쳐진 부위별 심도 레벨에 따라 해당 겹쳐진 부위에 대한 블러(blur) 가중 처리를 행하여 아웃포커스를 수행하는 블러링부;를 추가로 포함하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  8. 청구항 7에 있어서,
    상기 블러링부는,
    상기 겹쳐진 부위별 심도 레벨이 낮을수록 해당 부위를 보다 선명하게 처리하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 장치.
  9. 아웃포커스 장치에서의 아웃포커스 방법으로서,
    수신된 화면에 대하여 외곽선을 설정하는 단계;
    상기 외곽선의 내부에 다수의 마커를 배열하는 단계;
    상기 외곽선의 내부의 각각의 마커를 기준으로 영역 분할을 행하는 단계;
    상기 영역 분할된 마커별 영역을 상기 외곽선 내부의 자신의 위치에 그대로 배치시킨 심도맵을 생성하는 단계; 및
    상기 심도맵에서 상기 마커별 영역의 서로 겹쳐진 부위에 대한 심도 레벨을 예측하는 단계;를 포함하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
  10. 청구항 9에 있어서,
    상기 심도 레벨을 예측하는 단계는,
    상기 심도맵에서 각각의 마커별 영역에서 서로 겹쳐진 부위에 대한 겹쳐진 갯수에 따라 해당 겹쳐진 부위의 심도 레벨을 예측하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
  11. 청구항 10에 있어서,
    상기 겹쳐진 갯수가 많을수록 해당 부위의 심도 레벨은 낮고, 상기 겹쳐진 갯수가 적을수록 해당 부위의 심도 레벨은 높은 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
  12. 삭제
  13. 청구항 9에 있어서,
    상기 외곽선을 설정하는 단계는,
    상기 화면내에 존재하는 객체를 많이 포함할 수 있도록 최대한 넓게 외곽선을 설정하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
  14. 청구항 9에 있어서,
    상기 수신된 화면은 단안 카메라에서 촬영된 화면인 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
  15. 청구항 9에 있어서,
    상기 심도 레벨을 예측하는 단계 이후에,
    상기 심도 레벨을 예측하는 단계에서의 겹쳐진 부위별 심도 레벨에 따라 해당 겹쳐진 부위에 대한 블러(blur) 가중 처리를 행하여 아웃포커스를 수행하는 단계;를 추가로 포함하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
  16. 청구항 15에 있어서,
    상기 아웃포커스를 수행하는 단계는,
    상기 겹쳐진 부위별 심도 레벨이 낮을수록 해당 부위를 보다 선명하게 처리하는 것을 특징으로 하는 심도 예측을 이용한 아웃포커스 방법.
KR1020180140751A 2018-11-15 2018-11-15 심도 예측을 이용한 아웃포커스 장치 및 방법 KR102105028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140751A KR102105028B1 (ko) 2018-11-15 2018-11-15 심도 예측을 이용한 아웃포커스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140751A KR102105028B1 (ko) 2018-11-15 2018-11-15 심도 예측을 이용한 아웃포커스 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102105028B1 true KR102105028B1 (ko) 2020-04-27

Family

ID=70467902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140751A KR102105028B1 (ko) 2018-11-15 2018-11-15 심도 예측을 이용한 아웃포커스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102105028B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100657522B1 (ko) 2006-03-31 2006-12-15 삼성전자주식회사 휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법
KR101214536B1 (ko) 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
KR101294735B1 (ko) 2010-03-31 2013-08-08 삼성전자주식회사 이미지 처리 방법 및 이를 이용한 촬영 장치
KR20150002167A (ko) 2013-06-28 2015-01-07 삼성전기주식회사 스테레오 카메라 아웃-포커싱 장치 및 방법
JP2015170919A (ja) * 2014-03-05 2015-09-28 オリンパス株式会社 撮像装置，撮像装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100657522B1 (ko) 2006-03-31 2006-12-15 삼성전자주식회사 휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법
KR101214536B1 (ko) 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
KR101294735B1 (ko) 2010-03-31 2013-08-08 삼성전자주식회사 이미지 처리 방법 및 이를 이용한 촬영 장치
KR20150002167A (ko) 2013-06-28 2015-01-07 삼성전기주식회사 스테레오 카메라 아웃-포커싱 장치 및 방법
JP2015170919A (ja) * 2014-03-05 2015-09-28 オリンパス株式会社 撮像装置，撮像装置の制御方法

Similar Documents

Publication Publication Date Title
JP7106679B2 (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム
JP7041284B2 (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
US10516877B2 (en) Light field collection control methods and apparatuses, light field collection devices
JP2021528742A (ja) 画像処理方法及び装置、電子機器、並びに記憶媒体
CN111340731B (zh) 图像处理方法及装置、电子设备和存储介质
CN106331504B (zh) 拍摄方法及装置
US9478036B2 (en) Method, apparatus and computer program product for disparity estimation of plenoptic images
CN110324532B (zh) 一种图像虚化方法、装置、存储介质及电子设备
KR20070097550A (ko) 이미지 데이터 처리를 위한 전자 장치 및 전자 장치에서의방법
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN108702457B (zh) 用于自动图像校正的方法、装置和计算机可读存储媒体
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
CN106415348B (zh) 摄像装置及对焦控制方法
CN112767288A (zh) 图像处理方法及装置、电子设备和存储介质
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
JP6283329B2 (ja) 拡張現実対象認識装置
CN107730443B (zh) 图像处理方法、装置及用户设备
KR102105028B1 (ko) 심도 예측을 이용한 아웃포커스 장치 및 방법
CN113747067A (zh) 拍照方法、装置、电子设备及存储介质
CN111311588B (zh) 重定位方法及装置、电子设备和存储介质
CN114666490B (zh) 对焦方法、装置、电子设备和存储介质
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant