KR20160121569A

KR20160121569A - 이미지 처리 방법 및 이미지 처리 장치

Info

Publication number: KR20160121569A
Application number: KR1020167025332A
Authority: KR
Inventors: 징 쉬
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2014-05-28
Filing date: 2015-05-28
Publication date: 2016-10-19
Also published as: EP3101624B1; US20170076430A1; KR101893047B1; JP2017517794A; EP3101624A1; CN105335950B; JP6736471B2; WO2015180659A1; CN105335950A; EP3101624A4

Abstract

본 발명의 실시예들은 이미지 처리 방법 및 이미지 처리 장치를 제공한다. 방법은: 다수의 깊이 평면의 깊이 정보를 결정하는 단계, 그리고 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계를 포함하고, 다수의 깊이 평면의 깊이 정보는 다수의 깊이 평면을 지시하는 데 사용되고, 다수의 깊이 평면은 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 다수의 리포커싱된 이미지는 다수의 리포커싱된 이미지들의 원시 데이터(raw data)에 기초하여 생성되고, 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어진다. 본 발명의 기술적 솔루션에서, 다수의 깊이 평면 내의 장면들의 선명한 이미지가 동시에 획득된다.

Description

이미지 처리 방법 및 이미지 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE}

본 발명은 이미지 처리 기술에 관한 것으로, 특히 이미지 처리 방법 및 이미지 처리 장치에 관한 것이다.

본 발명은 중국 특허청에 2014년 5월 28일에 출원된 중국 특허 출원 제201410230506.1호(명칭: IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS)를 우선권으로 청구하고, 상기 출원의 전체 내용은 본 출원에 참조로서 합체된다.

일반적인 사진에서, 피사체 장면을 강조하기 위해, 피사체 장면이 센서 상에 선명하게 결상될 수 있도록, 카메라는 보통 피사체 장면이 위치한 깊이 평면 상에 포커싱하지만, 다른 깊이 평면의 객체의 영상은 흐릿하다.

디지털 이미징 기술, 이미지 처리, 및 머신 비전(machine vision)의 발전에 따라, 리포커싱 기술이 부상한다. 리포커싱 기술에 따라, 이미지가 생성된 후에, 사용자의 요구에 따라, 포커싱 평면 또는 피사계 심도가 재선택될 수 있고, 여기서, 피사계 심도는 촬상 장치가 선명한 이미지를 제공할 수 있는 범위를 의미한다.

예를 들어, 리포커싱 기술은 라이트 필드 카메라에서 사용된다. 마이크로 렌즈 어레이는 라이트 필드 카메라에 포함된다. 촬영 시에, 마이크로 렌즈 어레이 내의 각 마이크로 렌즈는 센서 상에서 이미지를 형성하고, 따라서 영상 어레이가 획득된다. 또한, 이미지 어레이는 깊이 평면의 리포커싱된 이미지를 획득할 수 있도록, 리포커싱 알고리즘을 사용하여 처리될 수 있다. 리포커싱된 이미지가 형성된 후에, 사용자는 매번 필요에 따라 하나의 깊이 평면에서 장면의 포커싱된 이미지를 획득할 수 있다. 이 방식에서, 사용자에 의해 시청되는 다른 깊이 평면에서 장면의 이미지가 흐릿한 반면, 사용자는 하나의 깊이 평면에서 장면의 선명한 이미지를 볼 수 있다.

본 발명의 실시예들은 다수의 깊이 평면 내의 장면들의 선명한 이미지가 동시에 획득될 수 있도록 하는, 이미지 처리 방법 및 이미지 처리 장치를 제공한다.

제1 측면에 따르면, 다수의 깊이 평면의 깊이 정보를 결정하는 단계, 그리고 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계를 포함하고, 다수의 깊이 평면의 깊이 정보는 다수의 깊이 평면을 지시하는 데 사용되고, 다수의 깊이 평면은 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 다수의 리포커싱된 이미지는 다수의 리포커싱된 이미지들의 원시 데이터(raw data)에 기초하여 생성되고, 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어지는, 이미지 처리 방법이 제공된다.

제1 측면을 참조하여, 첫 번째 가능한 구현 방식으로, 다수의 깊이 평면은 다수의 리포커싱된 이미지들의 원시 데이터에 각각 대응하고, 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는, 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하는 단계, 그리고 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루지는 다수의 깊이 평면의 리포커싱된 이미지를 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성하는 단계를 포함한다.

첫 번째 가능한 구현 방식을 참조하여, 두 번째 가능한 구현 방식으로, 다수의 깊이 평면의 리포커싱된 이미지를 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성하는 단계는, 리포커싱 알고리즘을 사용함으로써 다수의 리포커싱된 이미지들의 원시 데이터에 기초한 리포커싱 처리를 수행하여, 다수의 리포커싱된 이미지들을 생성하는 단계, 그리고 다수의 깊이 평면의 리포커싱된 이미지를 생성하기 위해, 다수의 리포커싱된 이미지들을 결합하는 단계를 포함한다.

두 번째 가능한 구현 방식을 참조하여, 세 번째 가능한 구현 방식으로, 다수의 리포커싱된 이미지들을 결합하는 단계는, 이미지 합성 방법(image fusion method)을 사용하여 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합하는 단계를 포함한다.

세 번째 가능한 구현 방식을 참조하여, 네 번째 가능한 구현 방식으로, 이미지 합성 방법을 사용하여 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합하는 단계는, 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수(point spread function)를 결정하는 단계, 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿(fusion weight template)을 생성하는 단계, 그리고 합성 웨이트 템플릿에 따라 다수의 리포커싱된 이미지들 상에서 이미지 합성을 수행하는 단계를 포함하고, 합성 웨이트 템플릿은 화소들의 합성 웨이트를 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

두 번째 가능한 구현 방식을 참조하여, 다섯 번째 가능한 구현 방식으로, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지는 포커싱된 부분들 및 포커싱되지 않은 부분들을 포함하고, 다수의 리포커싱된 이미지들을 결합하는 단계는, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 선택하는 단계, 그리고 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱(splicing)하는 단계를 포함한다.

첫 번째 가능한 구현 방식을 참조하여, 여섯 번째 가능한 구현 방식으로, 다수의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는, 다수의 리포커싱된 이미지들의 원시 데이터에 따라, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들을 생성하는 단계, 그리고 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱하는 단계를 포함한다.

첫 번째 가능한 구현 방식을 참조하여, 일곱 번째 가능한 구현 방식으로, 모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 모든 깊이 평면에 대응하는 리포커싱된 이미지들을 생성하는 단계를 더 포함하고, 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는, 다수의 깊이 평면의 깊이 정보에 따라 모든 깊이 평면의 리포커싱된 이미지들로부터 다수의 깊이 평면의 리포커싱된 이미지들을 선택하는 단계, 그리고 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계를 포함하며, 모든 깊이 평면은 모든 깊이 평면의 리포커싱된 이미지들에 각각 대응하며, 다수의 깊이 평면의 리포커싱된 이미지는 포커싱된 부분들을 포함하여 이루어진다.

일곱 번째 가능한 구현 방식을 참조하여, 여덟 번째 가능한 구현 방식으로, 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하는 단계, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하는 단계, 그리고 합성 웨이트 템플릿에 따라 모든 리포커싱된 이미지들 상에서 이미지 합성을 수행하는 단계를 포함하고, 합성 웨이트 템플릿은 모든 리포커싱된 이미지들의 화소들의 합성 웨이트를 포함하고, 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 모든 리포커싱된 이미지들에서 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

일곱 번째 가능한 구현 방식을 참조하여, 아홉 번째 가능한 구현 방식으로, 다수의 깊이 평면의 리포커싱된 이미지를 다수의 깊이 평면의 리포커싱된 이미지들에 따라 생성하는 단계는, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하는 단계, 그리고 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱하는 단계를 포함한다.

일곱 번째 가능한 구현 방식을 참조하여, 열 번째 가능한 구현 방식으로, 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들로부터 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 조회하는 단계를 더 포함하고, 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱하는 단계를 포함하며, 포커싱된 부분들 및 포커싱되지 않은 부분들은 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들에 저장된다.

다섯 번째, 여섯 번째, 아홉 번째, 또는 열 번째 가능한 구현 방식을 참조하여, 열한 번째 가능한 구현 방식으로, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱하는 단계는 포커싱된 부분들의 이미지들 및 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성을 수행하는 단계를 포함한다.

제1 측면 또는 전술한 가능한 구현 방식들 중 어느 하나를 참조하여, 열두 번째 가능한 구현 방식으로, 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하는 단계, 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하는 단계, 그리고 표시 장치 상에 다수의 깊이 평면의 생성된 리포커싱된 이미지를 출력하는 단계를 더 포함하고, 다수의 깊이 평면의 깊이 정보를 결정하는 단계는 다수의 사용자 입력에 따라 다수의 깊이 평면의 깊이 정보를 결정하는 단계를 포함한다.

열두 번째 가능한 구현 방식을 참조하여, 열세 번째 가능한 구현 방식으로, 사용자 입력은: 사용자에 의한 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력, 입력 장치의 자세 센서에 의해 검출된 사용자 자세, 또는 입력 장치의 동작 추적 모듈에 의해 검출된 사용자 동작 중 하나이다.

제1 측면 또는 전술한 가능한 구현 방식들 중 어느 하나를 참조하여, 열네 번째 가능한 구현 방식으로, 다수의 깊이 평면의 깊이 정보를 결정하는 단계는 미리 정의된 입력에 따라, 미리 정의된 입력에 대응하는 다수의 깊이 평면을 결정하는 단계를 포함하고, 이미지 처리 방법은 미리 정의된 입력에 대응하는 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 단계를 더 포함한다.

제2 측면에 따르면, 다수의 깊이 평면의 깊이 정보를 결정하도록 구성된 결정 모듈, 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하도록 구성된 생성 모듈을 포함하고, 다수의 깊이 평면의 깊이 정보는 다수의 깊이 평면을 지시하는 데 사용되고, 다수의 깊이 평면은 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어지는, 이미지 처리 장치가 제공된다.

제2 측면을 참조하여, 첫 번째 가능한 구현 방식으로, 다수의 깊이 평면은 각각 다수의 리포커싱된 이미지들의 원시 데이터에 대응하고, 생성 모듈은 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루어지는 다수의 깊이 평면의 리포커싱된 이미지를 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성한다.

첫 번째 가능한 구현 방식을 참조하여, 두 번째 가능한 구현 방식으로, 생성 모듈은, 리포커싱 알고리즘을 사용함으로써 다수의 리포커싱된 이미지들의 원시 데이터에 기초한 리포커싱 처리를 수행하여, 다수의 리포커싱된 이미지들을 생성하고, 다수의 리포커싱된 이미지들을 결합하여, 다수의 깊이 평면의 리포커싱된 이미지를 생성한다.

제2 측면의 두 번째 가능한 구현 방식을 참조하여, 세 번째 가능한 구현 방식으로, 생성 모듈은 이미지 합성 방법(image fusion method)을 사용하여 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합한다.

제2 측면의 세 번째 가능한 구현 방식을 참조하여, 네 번째 가능한 구현 방식으로, 생성 모듈은, 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수(point spread function)를 결정하고, 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿(fusion weight template)을 생성하며, 합성 웨이트 템플릿에 따라 다수의 리포커싱된 이미지들에 대해 이미지 합성을 수행하고, 합성 웨이트 템플릿은 화소들의 합성 웨이트를 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

제2 측면의 두 번째 가능한 구현 방식을 참조하여, 다섯 번째 가능한 구현 방식으로, 생성 모듈은, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 선택하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

제2 측면의 첫 번째 가능한 구현 방식을 참조하여, 여섯 번째 가능한 구현 방식으로, 생성 모듈은, 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 다수의 리포커싱된 이미지들의 원시 데이터에 따라, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들을 생성하며, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

제2 측면을 참조하여, 일곱 번째 가능한 구현 방식으로, 생성 모듈은, 모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 모든 깊이 평면에 대응하는 리포커싱된 이미지들을 더 생성하고, 다수의 깊이 평면의 깊이 정보에 따라 모든 깊이 평면의 리포커싱된 이미지들로부터 다수의 깊이 평면의 리포커싱된 이미지들을 선택하며, 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하고, 모든 깊이 평면은 모든 깊이 평면의 리포커싱된 이미지들에 각각 대응하며, 다수의 깊이 평면의 리포커싱된 이미지는 포커싱된 부분들을 포함한다.

제2 측면의 일곱 번째 가능한 구현 방식을 참조하여, 여덟 번째 가능한 구현 방식으로, 생성 모듈은, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 합성 웨이트 템플릿에 따라 모든 리포커싱된 이미지들에 대해 이미지 합성을 수행하고, 합성 웨이트 템플릿은 모든 리포커싱된 이미지들의 화소들의 합성 웨이트를 포함하고, 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 모든 리포커싱된 이미지들에서 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

제2 측면의 일곱 번째 가능한 구현 방식을 참조하여, 아홉 번째 가능한 구현 방식으로, 생성 모듈은, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

제2 측면의 일곱 번째 가능한 구현 방식을 참조하여, 열 번째 가능한 구현 방식으로, 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들로부터 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 조회하도록 구성된 조회 모듈을 더 포함하고, 생성 모듈은 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

다섯 번째, 여섯 번째, 아홉 번째, 또는 열 번째 가능한 구현 방식을 참조하여, 열한 번째 가능한 구현 방식으로, 생성 모듈은 스플라이싱을 수행하는 때, 포커싱된 부분들의 이미지들 및 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성을 수행한다.

제2 측면 또는 전술한 가능한 구현 방식들 중 어느 하나를 참조하여, 열두 번째 가능한 구현 방식으로, 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하도록 구성된 표시 모듈, 그리고 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하도록 구성된 획득 모듈을 더 포함하고, 표시 모듈은 표시 장치 상의 다수의 깊이 평면의 생성된 리포커싱된 이미지를 출력하고, 결정 모듈은 다수의 사용자 입력에 따라 다수의 깊이 평면의 깊이 정보를 결정한다.

열두 번째 가능한 구현 방식을 참조하여, 열세 번째 가능한 구현 방식으로, 사용자 입력은: 사용자에 의한 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력, 입력 장치 상의 자세 센서에 의해 검출된 사용자 자세, 또는 입력 장치 상의 동작 추적 모듈에 의해 검출된 사용자 동작 중 하나이다.

제1 측면 또는 전술한 가능한 구현 방식들 중 어느 하나를 참조하여, 열네 번째 가능한 구현 방식으로, 결정 모듈은 미리 정의된 입력에 따라, 미리 정의된 입력에 대응하는 다수의 깊이 평면을 결정하고, 이미지 처리 장치는 미리 정의된 입력에 대응하는 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 표시 모듈을 더 포함한다.

본 발명의 기술적 솔루션에서, 다수의 깊이 평면들의 리포커싱된 이미지가 깊이 정보에 따라 생성될 수 있다. 다수의 깊이 평면의 리포커싱된 이미지가 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하기 때문에, 다수의 리포커싱된 이미지들의 포커싱된 부분들은 동시에 표시될 수 있고, 따라서, 다수의 깊이 평면 내의 장면들의 선명한 이미지가 동시에 획득될 수 있다.

본 발명의 실시예들의 기술적 솔루션을 더욱 명확하게 설명하기 위해, 실시예들을 설명하기 위해 요구되는 첨부 도면을 다음에서 간단하게 설명한다. 명백하게, 다음의 설명에 첨부된 도면은 단지 본 발명의 일부 실시예를 나타내고, 당업자는 여전히 창의적인 노력없이 이러한 첨부한 도면들에서 다른 도면을 유도할 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 개략적인 순서도이다.
도 2는 본 발명의 다른 실시예에 따른 이미지 처리 과정의 개략적인 순서도이다.
도 3은 깊이 평면 및 사용자 입력 사이의 대응 관계의 개략도이다.
도 4는 본 발명의 실시예에 따른 이중-평면 표현 방법의 두 개의 평면의 개략도이다.
도 5는 본 발명의 실시예에 따른 합성 이미지 촬영 원리의 개략도이다.
도 6은 본 발명의 실시예에 따른 합성 이미지 촬영 원리의 모델의 기하학적 관계의 개략도이다.
도 7은 본 발명의 또 다른 실시예에 따른 이미지 처리 과정의 개략적인 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 처리 과정의 개략적인 순서도이다.
도 9는 본 발명의 또 다른 실시예에 따른 이미지 처리 과정의 개략도이다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 개략적인 구조도이다.
도 11은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 개략적인 구조도이다.

다음은 본 발명의 실시예들 내의 첨부된 도면을 참조하여, 본 발명의 실시예들 내의 기술적 솔루션을 명확하고, 완전하게 설명한다. 명백하게, 전술한 실시예들은 본 발명의 실시예들의 전체가 아닌 일부이다. 창의적인 노력없이, 본 발명의 실시예들에 기초하여 당업자에 의해 얻어진 다른 모든 실시예들은 본 발명의 보호 범위 내에 포함된다.

본 발명의 실시예들에서, 깊이는 장면과 카메라 사이의 거리를 의미할 수 있다. 다수의 깊이 평면은 깊이가 연속적일 수 있고, 본 발명의 실시예들 내에서 제한되지 않으며, 예를 들어, 다수의 깊이 평면은 깊이가 불연속적일 수 있다. 각 깊이 평면은 하나의 초점 평면에 대응할 수 있고, 또한 필드의 하나의 깊이에 대응할 수 있음이 이해되어야 한다. 본 명세서에서 "다수"는 둘 이상을 포함하는 것을 주목해야 한다.

본 발명의 실시예들은 카메라에 적용될 수 있거나, 또는 다른 사용자 단말(휴대폰 또는 컴퓨터와 같은)에 적용될 수 있고, 카메라 또는 다른 사용자 단말은 다수의 깊이 평면의 리포커싱된 이미지를 생성할 수 있도록, 리포커싱된 이미지의 원시 데이터를 처리하도록 구성된다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 개략적인 순서도이다. 도 1의 방법은 이미지 처리 장치에 의해 실행될 수 있다. 도 1의 방법은 다음의 콘텐츠를 포함한다.

단계(110). 다수의 깊이 평면의 깊이 정보를 결정하고, 여기서 다수의 깊이 평면의 깊이 정보는 다수의 깊이 평면을 지시하는 데 사용되고, 다수의 깊이 평면은 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 다수의 리포커싱된 이미지는 다수의 리포커싱된 이미지들의 원시 데이터(raw data)에 기초하여 생성된다.

깊이 정보는 깊이 평면들에 대한 정보, 화소 좌표들에 대한 정보, 화소 색상들에 대한 정보, 화소들의 점 확산 함수에 대한 정보, 화소들에 대응하는 광 선들의 라이트 필드 정보, 또는 화소들에 대응하는 광선들의 궤적 정보, 또는 그것들의 임의의 조합 중 적어도 하나를 포함할 수 있다. 다수의 깊이 평면의 깊이 정보를 결정하는 방식은 본 발명의 실시예에서 제한되지 않는다. 깊이 정보는 사용자로부터 입력될 수 있거나, 미리 정의될 수 있다.

이미지 처리 장치는 사용자 입력 또는 미리 정의된 입력에 따라, 리포커싱되어야 하는 영역들에 대응하는 깊이 평면들을 획득한다. 예를 들어, 리포커싱되어야 하는 영역들에 대응하는 깊이 평면들은 사용자 인터페이스 상의 사용자의 실시간 입력 또는 선택에 따라 결정될 수 있다. 사용자가 사용자 인터페이스 상의 다수의 영역을 선택하는 경우, 다수의 영역은 깊이 평면들에 대응하고, 이미지 처리 장치는 이것에 따라, 리포커싱되어야 하는 영역들에 대응하는 깊이 평면들을 학습할 수 있다. 본 발명의 실시예에 따라, 다수의 깊이 평면의 깊이 정보를 결정하기 위한 방식은 여기에서 제한되지 않으며, 이미지 처리 장치는 미리 정의된 정보에 따라 다수의 깊이 평면의 깊이 정보를 결정할 수도 있다.

단계(120). 깊이 정보에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하고, 여기서 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어진다.

예를 들어, 각 깊이 평면에 대응하는 리포커싱된 이미지 내에서, 이미지의 일부분이 포커싱되고, 즉, 이미지의 일부분은 선명하지만, 이미지의 다른 부분이 포커싱되지 않고, 즉, 이미지의 다른 부분은 흐릿하다. 다수의 깊이 평면의 깊이 정보를 결정하는 것은 리포커싱되어야 하는 이미지들의 깊이 평면을 결정하는 것이다. 이 경우, 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는 다수의 깊이 평면에 대응하는 포커싱된 부분들을 결합하는 것일 수 있다. 또한, 다수의 깊이 평면의 생성된 리포커싱된 이미지에서, 다수의 깊이 평면에 대응하는 포커싱된 부분들과 포커싱되지 않은 부분들이 결합될 수 있고, 따라서, 완전한 이미지가 표현될 수 있다.

본 발명의 실시예에 따르면, 다수의 깊이 평면의 리포커싱된 이미지는 깊이 정보에 따라 생성될 수 있다. 다수의 깊이 평면의 리포커싱된 이미지가 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하기 때문에, 다수의 리포커싱된 이미지들의 포커싱된 부분들은 동시에 표시될 수 있고, 따라서, 다수의 깊이 평면 내의 장면들의 선명한 이미지가 동시에 획득될 수 있다.

단계(120)에서, 이미지 처리 장치는 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정할 수 있고, 다수의 리포커싱된 이미지들의 원시 데이터에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하고, 여기서 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루어진다.

예를 들어, 깊이 평면들에 대응하는 리포커싱된 이미지들의 원시 데이터는 사용자에 의해 입력된 깊이 정보에 따라 결정될 수 있거나, 또는 리포커싱되어야 하는 깊이 평면 및 깊이 평면들에 대응하는 리포커싱된 이미지들의 원시 데이터는 미리 정의된 깊이 정보에 따라 결정될 수 있다. 사용자의 입력 또는 미리 정의된 입력에 따라 리포커싱된 깊이 평면들에 대한 정보를 획득하는 방법은 원시 데이터의 유형에 따라 다를 수 있다.

이미지 처리 장치는 리포커싱된 이미지들의 원시 데이터에 따라 포커싱된 부분들을 생성할 수 있거나, 리포커싱된 이미지들의 원시 데이터에 따라 포커싱되지 않은 부분들을 생성할 수 있거나, 또는 리포커싱된 이미지들의 원시 데이터에 따라 포커싱된 부분들 및 포커싱되지 않은 부분들 모두를 생성할 수 있다. 예를 들어, 원시 데이터는 마이크로 렌즈 어레이를 구비한 카메라 모듈(예를 들어, 라이트 필드 카메라)에 의한 촬영에 의해 획득될 수 있다. 각 깊이 평면은 깊이 평면의 리포커싱된 이미지의 원시 데이터를 가지고, 원시 데이터는 요구에 따라, 깊이 평면에 대응하는 리포커싱된 이미지를 생성하는 데 사용된다.

본 발명의 실시예에 따라, 다수의 깊이 평면의 리포커싱된 이미지는 다수의 깊이 평면들에 대응하는 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성될 수 있다. 다수의 깊이 평면들의 리포커싱된 이미지가 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하기 때문에, 다수의 리포커싱된 이미지들의 포커싱된 부분들은 동시에 표시될 수 있고, 따라서 다수의 깊이 평면들 내의 장면들의 선명한 이미지가 동시에 획득될 수 있다. 또한, 다수의 깊이 평면들의 리포커싱된 이미지로서, 전술한 깊이 공간의 다수의 부분들에 대응하는 리포커싱된 이미지가 깊이 정보에 따라 원시 데이터에 기초하여 생성되기 때문에, 모든 리포커싱된 이미지들을 생성할 필요가 없다. 그러므로, 다량의 저장 공간이 절약된다.

전술한 리포커싱된 이미지들의 원시 데이터는 리포커싱된 이미지를 생성하는 데 사용되는 모든 데이터일 수 있고, 다음의 이미지 데이터 또는 다음의 이미지 데이터들의 조합을 포함하며 이에 한정되지 않음을 유의해야 한다.

예를 들어, 전술한 원시 데이터는 상용 카메라 모듈에 의해 촬영된 하나 이상의 이미지일 수 있다. 전술한 더 많은 이미지들은 동일한 장면에 대해 상이한 촬영 파라미터 설정들, 예를 들어, 상이한 초점 거리들, 상이한 조리개 값들, 상이한 노출 값들, 그리고 상이한 감지 파장들 하에서 촬영된 이미지들을 나타내거나, 또는 동일한 장면에 대해 상이한 위치들에서 촬영된 이미지들을 나타낸다.

대안적으로, 다른 실시예에서, 전술한 원시 데이터는 조리개 마스크 플레이트, 위상 마스크 플레이트, 또는 다른 유형의 마스크 플레이트를 구비한 카메라 모듈에 의해 촬영된 하나 이상의 조리개 코딩된 이미지들일 수 있다. 또한, 전술한 원시 데이터는 다양한 이미지 처리 알고리즘을 사용하여 조리개 코딩된 이미지들을 처리함으로써 획득된 이미지들일 수도 있다.

대안적으로, 다른 실시예에서, 전술한 원시 데이터는 마이크로 렌즈 어레이 또는 조리개 어레이를 구비하는 카메라 모듈에 의해 촬영된 하나 이상의 이미지 어레이들일 수 있다. 또한, 전술한 원시 데이터는 다양한 다양한 이미지 처리 알고리즘을 사용하여 이미지 어레이들을 처리함으로써 획득된 이미지들, 예를 들어 단일 깊이 평면의 리포커싱된 이미지, 완전히 포커싱된 이미지, 및 가상 핀홀 이미지일 수도 있다.

대안적으로, 다른 실시예에서, 전술한 원시 데이터는 동일한 또는 상이한 구성으로 제공되는 다수의 카메라 모듈에 의해 구성되는 이미지 촬영 어레이에 의해 촬영된 하나 이상의 이미지 어레이들일 수 있다. 또한, 전술한 원시 데이터는 다양한 다양한 이미지 처리 알고리즘을 사용하여 이미지 어레이를 처리함으로써 획득된 이미지들일 수도 있다.

대안적으로, 다른 실시예에서, 전술한 원시 데이터는 동일한 장면에 대한 깊이 감지 장치 및 카메라 모듈에 의해 각각 획득된 깊이 정보 및 이미지들의 조합일 수 있다. 깊이 감지 장치는 TFL(Time-of-Flight of Light), 광의 위상차, 또는 구조 광(structured light)의 광과 같은 원리를 사용하여 깊이 감지를 구현하는 모든 장치를 포함한다.

단계(120)에서, 이미지 처리 장치는 다수의 리포커싱된 이미지들을 생성하고, 다수의 리포커싱된 이미지들을 결합하여, 다수의 싶이 평면의 리포커싱된 이미지를 생성할 수 있도록, 리포커싱 알고리즘을 사용하여 다수의 리포커싱된 이미지들의 원시 데이터에 기초하여 리포커싱 처리를 수행할 수 있다.

본 발명의 실시예에 따르면, 리포커싱 알고리즘은 콘볼루션 알고리즘, 디콘볼루션 알고리즘, 합성 알고리즘, 스플라이싱 알고리즘, 광선 추적 알고리즘, 필터링 알고리즘, 단일 깊이 평면의 다른 리포커싱 알고리즘, 또는 이러한 알고리즘들의 조합일 수 있다.

단계(120) 에서, 다수의 리포커싱된 이미지들의 포커싱된 부분들은 이미지 합성(Image Fusion) 방법을 사용하여 결합될 수 있다.

예를 들어, 이미지 합성 방법은 이미지 분석 방법이다. 이미지 처리 장치는 이미지 합성 방법을 사용하여 둘 이상의 이미지를 하나의 이미지로 결합할 수 있다. 동일한 장면의 다수의 이미지에 대한 정보가 중복되고 상보적이기 때문에, 이미지 합성 방법을 사용하여 획득된 합성 이미지는 더욱 포괄적이고 정확하게 이미지들을 표현할 수 있다. 이미지 합성 방법은 계조-기반 알고리즘(직접 평균 방법, 가중 평균 방법, 중앙값 필터링 방법, 또는 다중 해상도 스플라인(multi-resolution spline) 기술과 같은), 관심 영역에 기초한 이미지 합성 알고리즘, 색 공간 변환에 기초한 합성 방법, 도메인 변환에 기초한 합성 방법을 포함한다.

단계(120)에서, 이미지 합성 방법을 사용하여 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합하는 경우, 이미지 처리 장치는 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 합성 웨이트 템플릿에 따라 다수의 리포커싱된 이미지들 에 대해 이미지 합성을 수행하고, 여기서 합성 웨이트 템플릿은 화소들의 합성 웨이트들을 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다. 즉, 화소의 포커싱 정도는 합성 웨이트에 비례한다. 이 방식으로, 깊이 공간의 다수의 조각에 대응하는 포커싱된 부분들은 선명하게 표현된다.

예를 들어, 포커싱 정도는 선명도로서도 지칭되고, 포커싱 정도의 레벨은 점 확산 함수를 사용하여 측정될 수 있다. 또한, 포커싱 정도는 포커싱 평가 함수를 사용하여 평가될 수 있다.

본 발명의 실시예에 따르면, 다수의 리포커싱된 이미지들 내의 각 포커싱된 이미지는 포커싱된 부분들과 포커싱되지 않은 부분들을 포함한다. 단계(120)에서, 다수의 리포커싱된 이미지들이 결합되는 경우, 포커싱된 부분들 및 포커싱되지 않은 부분들이 다수의 리포커싱된 이미지들 내의 각 리포커싱된 이미지들로부터 선택될 수 있고, 포커싱된 부분들 및 포커싱되지 않은 부분들이 스플라이싱된다(spliced). 예를 들어, 포커싱된 부분들 및 포커싱되지 않은 부분들은 다수의 리포커싱된 이미지들 내의 각 리포커싱된 이미지들로부터 선택될 수 있다.

대안적으로, 이미지는 무작위적으로 선택될 수 있고, 포커싱된 부분들 및 포커싱되지 않은 부분들 사이의 변화(transition)이 더 자연스러울 수 있도록, 다수의 깊이 평면에 대응하는 다수의 리포커싱된 이미지들의 포커싱된 부분들은 그 이미지와 합성된다.

단계(120)에서, 다수의 리포커싱된 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들은 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성되고, 포커싱된 부분들 및 포커싱되지 않은 부분들은 스플라이싱된다.

즉, 포커싱된 부분들 및 포커싱되지 않은 부분들은 원시 데이터에 직접적으로 기초하여 생성된다. 이 경우, 포커싱된 부분들 및 포커싱되지 않은 부분들을 캡처하는 단계가 절약되고, 이미지 처리 과정이 단순화된다.

본 발명의 실시예에 따르면, 단계(120)에서, 이미지 처리 장치는 모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 모든 깊이 평면에 대응하는 리포커싱된 이미지들을 더 생성하고, 다수의 깊이 평면의 깊이 정보에 따라 모든 깊이 평면의 리포커싱된 이미지들로부터 다수의 깊이 평면의 리포커싱된 이미지들을 선택하며, 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하고, 여기서 모든 깊이 평면은 모든 깊이 평면의 리포커싱된 이미지들에 각각 대응하며, 다수의 깊이 평면의 리포커싱된 이미지는 포커싱된 부분들을 포함한다.

즉, 깊이 정보가 결정되고, 다수의 깊이 평면의 리포커싱된 이미지가 생성되기 전에, 모든 리포커싱된 이미지가 미리 생성된다. 이 방식으로, 깊이 정보가 결정된 후에 대응하는 리포커싱된 이미지들이 미리 생성된 리포커싱 이미지들로부터 선택될 수 있고, 이는 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 시간을 단축하고, 사용자의 경험을 향상시킨다.

본 발명의 실시예에 따르면, 단계(120)에서, 이미지 처리 장치는 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성할 수 있으며, 여기서 합성 웨이트 템플릿은 모든 리포커싱된 이미지들의 호소들의 합성 웨이트를 포함하고, 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 모든 리포커싱된 이미지들에서 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 크고, 이미지 처리 장치는 합성 웨이트 템플릿에 따라 모든 리포커싱된 이미지들에 대해 이미지 합성을 수행할 수 있다.

즉, 깊이 정보에 따라 결정된, 다수의 리포커싱된 이미지들의 합성 웨이트는 다른 리포커싱된 이미지들의 웨이트보다 크고, 다수의 리포커싱 이미지에 대해서, 화소의 포커싱 정도는 합성 웨이트에 비례한다. 이 방식으로, 깊이 공간의 다수의 부분들에 대응하는 포커싱된 부분들이 선명하게 표현된다.

본 발명의 실시예에 따르면, 단계(120)에서, 이미지 처리 장치는 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱할 수 있다.

대안적으로, 다른 실시예에서, 도 1의 방법은 모든 리포커싱된 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 선택하는 단계, 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 포커싱된 부분들 및 포커싱되지 않은 부분들을 쿼리 테이블에 저장하는 단계, 그리고 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들로부터 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 조회하는 단계를 더 포함하고, 여기서 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱하는 단계를 포함한다.

예를 들어, 깊이 평면의 깊이는 각 깊이 평면 및 기준 평면(예를 들어, 카메라) 사이의 거리이고, 각 깊이 평면은 하나의 깊이 거리에 대응할 수 있다. 이미지 상의, 각 깊이 평면에 대응하는 일부분은 다수의 화소를 포함할 수 있다. 각 화소의 좌표들은 하나의 깊이 평면에 대응할 수 있다. 각 깊이 평면은 다수의 화소의 좌표들에 대응할 수 있다. 깊이 평면의 깊이 또는 화소 좌표들 및 포커싱된 부분들 사이의 대응관계, 및/또는 깊이 평면의 깊이 또는 화소 좌표들 및 포커싱되지 않은 부분들 사이의 대응관계는 포커싱된 부분들 및 포커싱되지 않은 부분들이 스플라이싱되기 전에 확립될 수 있고, 전술한 대응관계들은 쿼리 테이블에 저장된다. 대응관계들을 확립하는 시점은 본 발명의 실시예에서 제한되지 않으며, 예를 들어, 대응관계들은 촬영 과정 내에서 또는 촬영 과정 후에 확립될 수 있거나, 또는 포커싱된 부분들 및 포커싱되지 않은 부분들이 스플라이싱되지 전의 임의의 시간에서 확립될 수 있다. 예를 들어, 모든 깊이 평면들의 포커싱된 부분들 및 깊이 평면의 깊이 또는 화소 좌표들 사이의 대응관계, 및 모든 깊이 평면들의 포커싱되지 않은 부분들 및 깊이 평면의 깊이 또는 화소 좌표들 사이의 대응관계는 미리 확립될 수 있다. 이 방식으로, 사용자 입력이 사용자 인터페이스 상에서 수신되는 경우, 깊이 평면의 깊이 또는 화소 좌표들이 사용자 입력에 따라 먼저 결정될 수 있고, 그 다음에 포커싱된 부분들 및 포커싱되지 않은 부분들이 깊이 평면의 깊이 또는 화소 좌표들에 따라 쿼리 테이블로부터 획득될 수 있으며, 포커싱된 부분들 및 포커싱되지 않은 부분들이 다수의 깊이 평면들의 포커싱된 이미지로 스플라이싱되어, 사용자 경험을 향상시킨다. 또한, 저장 공간을 절약하기 위해, 사용자에 의해 선택된 깊이 평면에 대응하는 원시 데이터의 포커싱된 부분들과 포커싱되지 않은 부분들 및 깊이 평면의 깊이 또는 화소 좌표들 사이의 대응관계는 단독으로 저장될 수 있다.

본 발명의 실시예에 따르면, 포커싱된 부분들 및 포커싱되지 않은 부분들이 스플라이싱되는 경우, 포커싱된 부분들의 이미지들 및 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성이 수행될 수 있다.

대안적으로, 다른 실시예에서, 도 1의 방법은 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하는 단계, 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하는 단계, 그리고 표시 장치 상에 다수의 깊이 평면의 생성된 리포커싱된 이미지를 출력하는 단계를 더 포함하고, 여기서 다수의 사용자 입력은 다수의 깊이 평면에 대응하고, 깊이 정보가 결정되는 때, 다수의 깊이 평면의 깊이 정보가 다수의 사용자 입력에 따라 결정될 수 있다.

예를 들어, 다수의 깊이 평면의 리포커싱된 이미지가 표시되기 전에, 단일 깊이 평면의 리포커싱된 이미지는 사용자 인터페이스 상에서 표시될 수 있다. 이미지 처리 장치는 사용자 요구에 따라 다수의 상이한 깊이 평면 내의 객체들 또는 다수의 불연속적인 깊이 평면 내의 객체들에 대해 리포커싱을 수행할 수 있고, 표시 장치 상에 다수의 깊이 평면의 리포커싱 이미지를 출력하거나, 상이한 깊이 평면 내의 리포커싱된 장면들의 이미지들을 출력한다. 본 발명의 실시예에서, 다수의 깊이 평면의 생성된 리포커싱된 이미지는 단독으로 표시될 수 있거나, 원본 이미지들 및/또는 다수의 깊이 평면의 리포커싱된 이미지들로서 리포커싱된 이미지가 완전히 생성되기 전의 중간 상태에서 생성된 상이한 깊이 평면의 리포커싱된 이미지들이 표시될 수 있다.

선택적으로, 다른 실시예에서, 다수의 깊이 평면의 리포커싱된 이미지가 생성된 후에, 다수의 깊이 평면의 리포커싱된 이미지는 사용자 인터페이스 상에서 즉시 표시된다.

본 발명의 실시예에 따르면, 사용자 입력은 사용자에 의한 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력, 입력 장치의 자세 센서에 의해 검출된 사용자 자세, 또는 입력 장치의 동작 추적 모듈에 의해 검출된 사용자 동작 중 하나이다.

단계(110)에서, 미리 정의된 입력에 대응하는 다수의 깊이 평면이 미리 정의된 입력에 따라 결정될 수 있다. 도 1의 방법은 미리 정의된 입력에 대응하는 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 단계를 더 포함한다.

다음은 구체적인 예를 참조하여 보다 상세하게 본 발명의 실시예를 설명한다.

도 2는 본 발명의 다른 실시예에 따른 이미지 처리 과정의 개략적인 순서도이다. 도 2의 실시예는 도 1의 이미지 처리 방법의 예이다. 도 3은 깊이 평면 및 사용자 입력 사이의 대응 관계의 개략도이다.

단계(210). 사용자 인터페이스 상에서 이미지를 표시한다.

예를 들어, 이미지는 사용자 장치(예를 들어, 카메라)의 사용자 인터페이스 상에서 표시될 수 있다. 이미지는 공통 이미지일 수 있다. 이미지는 상이한 깊이 평면들 내에서 위치된 장면들을 표시할 수 있으나, 하나의 깊이 평면 내에서만 장면을 선명하게 표시할 수 있다. 사용자 장치는 상이한 깊이 평면들의 리포커싱된 이미지들의 원시 데이터를 저장할 수 있다. 이미지 상의 각 장면의 영역 또는 위치는 장면이 위치된 깊이 평면에 대응한다.

단계(220). 사용자 인터페이스 상의 사용자 입력을 획득한다.

예를 들어, 사용자가 사용자 인터페이스 상에 표시된 이미지의 다수의 영역 또는 위치를 탭핑 또는 터치하는 때, 사용자 입력은 다수의 영역 또는 위치 내에서 수신될 수 있다. 전술한 사용자 입력은 입력 장치를 사용하여 사용자에 의해 입력된 불연속적인 명령들의 입력, 예를 들어, 마우스 상의 클릭, 마우스 상의 더블 클릭, 버튼 누름, 또는 터치 스크린 상의 스타일러스의 부드러운 누름을 포함할 수 있다. 대안적으로, 전술한 사용자 입력은 입력 장치를 사용하여 사용자에 의해 입력된 연속적인 명령들의 입력, 예를 들어, 마우스의 단순 이동 및 마우스의 위치의 기록일 수 있고, 이는 연속적인 클릭 동작을 구현한다. 본 발명의 실시예의 입력 장치는 마우스, 터치패드, 멀티 터치 감지 스크린(multi-finger sensing touchscreen), 태블릿 또는 스크린 상에서 사용되는 스타일러스, 시선 추적 장치, 조이스틱, 네 방향 버튼 네비게이션 제어, 압력 감지 방향 네비게이션 제어, 슬라이더, 스크롤 휠, 둥근 터치패드, 적외선 체성감각 장치 등일 수 있다.

다수의 깊이 평면은 깊이 간격을 구성할 수 있음을 이해해야 한다. 따라서, 다수의 깊이 평면은 다수의 깊이 간격을 선택하는 방식으로 선택될 수 있다. 도 3을 참조하면, 사용자 인터페이스 상에 표시된 이미지 상의 영역(1) 및 영역(2)는 깊이 간격(1) 및 깊이 간격(2)에 각각 대응한다. 이러한 방식으로, 사용자는 두 개의 깊이 간격에 대응하는 영역을 선택함으로써, 두 개의 깊이 간격에 대응하는 깊이 평면을 선택할 수 있다. 더 많은 깊이 평면의 리포커싱된 이미지를 획득할 수 있도록, 사용자가 이미지 상의 더 많은 영역 또는 위치를 선택하거나 탭핑할 수 있다는 것을 이해해야 한다.

단계(230). 사용자 입력에 따라 다수의 깊이 평면의 깊이 정보를 결정한다.

깊이 정보는 리포커싱되어야 하는 다수의 깊이 평면에 대한 정보를 지시하는 데 사용될 수 있다. 깊이 정보는 깊이 평면들에 대한 정보, 화소 좌표들에 대한 정보, 화소 색상들에 대한 정보, 화소들의 점 확산 함수에 대한 정보, 화소들에 대응하는 광 선들의 라이트 필드 정보, 또는 화소들에 대응하는 광선들의 궤적 정보, 또는 그것들의 임의의 조합 중 적어도 하나를 포함할 수 있다.

리포커싱된 이미지들의 원시 데이터는 마이크로 렌즈 어레이 또는 조리개 어레이가 구비되는 카메라 모듈에 의해 촬영된 하나 이상의 이미지 어레이들, 동일한 또는 상이한 구성으로 제공되는 다수의 카메라 모듈에 의해 구성되는 이미지 촬영 어레이에 의해 촬영된 하나 이상의 이미지 어레이들, 또는 동일한 장면에 대해 상이한 위치들에서 단일의 카메라 모듈에 의해 촬영된 이미지들일 수 있다. 이미지 어레이 내의 시각 차이 정보가 장면의 깊이 정보를 포함하기 때문에, 요구되는 깊이 평면 정보를 획득할 수 있도록, 화소의 깊이 정보는 블록 매칭 방법, 그래프 컷(Graph Cuts) 방법, 또는 멀티-베이스라인(Multi-Baseline) 방법과 같은 방법을 이용하여 획득될 수 있다. 각 화소에 대응하는 객체 지점에 대한 깊이 정보(예를 들어, 깊이 및 화소 좌표들 사이의 대응관계)는 깊이 추출 방법을 사용하여 획득될 수 있다. 사용자 입력은 선택된 화소들의 좌표들을 지시할 수 있다. 선택된 깊이 평면들에 대한 정보는 사용자에 의해 선택된 화소들의 좌표들에 기초하여 획득될 수 있다.

리포커싱 이미지들의 원시 데이터는 단일의 공통 카메라에 의해 촬영된 다수의 이미지일 수 있다. 다수의 이미지들은 동일한 장면에 대해 상이한 촬영 파라미터 설정들, 예를 들어, 렌즈의 상이한 초점 거리들, 상이한 조리개 값들, 상이한 노출 값들, 렌즈와 센서 사이의 상이한 거리들, 렌즈들 사이의 상이한 거리들, 렌즈들의 상이한 곡률, 또는 상이한 감지 파장들 하에서 촬영된 이미지들을 나타낸다. 하나의 장면이 상이한 깊이 평면들 내에 있을 때 이미지의 포커싱 정도들 및/또는 광 세기 정보가 다르기 때문에, 요구되는 깊이 평면 정보는 이러한 정보를 사용하여 획득될 수 있다. 예를 들어, 사용자 입력은 화소 좌표들에 대한 정보를 지시한다. 화소들의 상이한 포커싱 정도들은 다른 깊이 정보에 대응하므로, 사용자에 의해 선택된 깊이 평면들에 대한 정보는 사용자 입력에 따라 획득될 수 있다.

리포커싱된 이미지들의 원시 데이터는 조리개 마스크 플레이트, 위상 마스크 플레이트, 또는 다른 유형의 마스크 플레이트를 구비한 카메라 모듈에 의해 촬영된 하나 이상의 조리개 코딩된 이미지들일 수 있다. 객체가 다른 깊이 평면 내에 있는 경우 코딩된 이미지가 상이하기 때문에, 요구되는 깊이 평면 정보는 이러한 정보를 사용하여 획득될 수 있다. 예를 들어, 사용자 입력은 화소 좌표들에 대한 정보를 지시하고, 다른 깊이들의 화소들에 기초하여 생성된 코딩된 이미지들은 상이하며, 화소의 깊이 정보는 코딩된 이미지의 특징으로부터 도출될 수 있다.

리포커싱된 이미지들의 원시 데이터는 깊이 정보 및 동일한 장면에 대해 깊이 감지 장치 및 카메라 모듈에 의해 각각 획득된 이미지들의 조합일 수 있다. 깊이 감지 장치는 TFL, 광의 위상차, 또는 구조 광의 광과 같은 원리를 사용하여 깊이 감지를 구현하는 모든 장치를 포함한다. 그러므로, 요구되는 깊이 평면 정보는 깊이 감지 장치에 의해 제공되는 깊이 맵을 이용하여 획득될 수 있다. 예를 들어, 사용자 입력은 선택된 화소 좌표들에 대한 정보를 지시하고, 사용자에 의해 선택된 깊이 평면들에 대한 정보는 화소 좌표들에 대한 정보 및 화소들에 대한 깊이 정보 사이의 대응관계(즉, 깊이 맵)가 결정되는 것으로 결정되어 제공될 수 있다.

전술한 여러 방법들에서, 화소 좌표들에 대한 정보 및 화소들의 깊이 정보 사이의 맵핑 관계 또는 대응관계는 상이한 방식들로 획득된다.

단계(240). 결정된 깊이 평면에 따라 대응하는 원시 데이터를 결정한다.

결정된 깊이 정보에 따라 리포커싱되어야 하는 깊이 평면들이 결정될 수 있고, 따라서 리포커싱되어야 하는 깊이 평면들에 대응하는 원시 데이터가 결정될 수 있다.

단계(250). 결정된 원시 데이터에 기초하여, 상이한 깊이 평면들(또는 평면들)의 리포커싱된 이미지를 생성하기 위해 리포커싱 동작을 수행한다.

상이한 깊이 평면들의 리포커싱된 이미지들을 생성하기 위한 방법은 콘볼루션 알고리즘, 디콘볼루션 알고리즘, 합성 알고리즘, 스플라이싱 알고리즘, 광선 추적 알고리즘, 필터링 알고리즘, 단일 깊이 평면의 다른 리포커싱 알고리즘, 또는 이러한 알고리즘들의 조합을 포함한다. 상이한 리포커싱 알고리즘들에 따르면, 상이한 깊이 평면들의 리포커싱된 이미지들이 생성되기 전에, 화소의 포커싱 정도, 착란 원(circle of confusion)의 반경, 점 확산 함수, 경사(gradient), 강도 차이, 또는 구조 텐서(structure tensor), 또는 그것들의 임의의 조합이 획득될 수 있다. 화소의 포커싱 정도, 착란 원의 반경, 점 확산 함수, 경사, 강도 차이, 및 구조 텐서는 콘볼루션, 디콘볼루션, 푸리에 변환, 역푸리에 변환, 보간(interpolation), 또는 유도(derivation), 또는 그것들의 임의의 조합에 의해 계산될 수 있거나, 또는 기계 학습(machine learning), 통계, 또는 이론 에뮬레이션(theory emulation)과 같은 방법을 사용하여 획득될 수 있다.

본 발명의 실시예에서, 다른 깊이 평면들의 리포커싱된 이미지들은 라이트 필드 재구성, 3차원 재구성, 또는 합성 조리개(synthetic aperture)와 같은 기술을 사용하여 획득될 수 있다. 리포커싱 동작의 구체적인 예에 대한 구체적인 내용에 대해서, 도 6의 실시예를 참조하라

동작을 감소시키기 위해, 사용자 입력에 따라 선택된 다수의 깊이 평면에 대응하는 리포커싱된 이미지들만이 사용자 입력이 수신되는 때 생성된다. 본 발명의 실시예는 여기에서 제한되지 않으며, 예를 들어, 모든 깊이 평면들의 리포커싱된 이미지들은 미리 생성될 수 있고, 그 다음에, 사용자의 입력이 수신되는 때, 사용자 입력에 따라 선택된 다수의 깊이 평면의 리포커싱된 이미지들이 리포커싱된 이미지들로부터 직접적으로 선택될 수 있다.

단계(260). 다수의 깊이 평면의 리포커싱된 이미지를 생성하기 위해, 다수의 리포커싱된 이미지들을 결합한다.

본 발명의 실시예에서, 다수의 리포커싱된 이미지들은 이미지 합성 방법을 사용하여 결합될 수 있다. 이미지 합성 방법에서, 웨이트-기반 합성이 사용될 수 있다. 본 발명의 실시예에서, 합성 웨이트는 상이한 깊이 평면들의 리포커싱된 이미지들이 합성되기 전에 계산될 수 있다. 계산을 감소시키기 위해, 선택된 다수의 깊이 평면들에 대응하는 리포커싱된 이미지들만이 합성된다. 합성 웨이트들에 대한 정보는 동일한 파일 내에 리포커싱된 이미지들로서 저장될 수 있거나, 또는 합성 웨이트 템플릿 또는 쿼리 테이블이 별도로 형성되어 다른 파일 내에 별도로 저장될 수 있다.

대안적으로, 본 발명의 실시예에서, 다수의 리포커싱된 이미지들은 이미지 스플라이싱 방법을 사용하여 결합될 수 있다.

단계(270). 다수의 깊이 평면의 생성되고 리포커싱된 이미지를 표시한다.

예를 들어, 상이한 깊이 평면들의 리포커싱된 이미지들을 생성한 후에, 카메라는 사용자 인터페이스 상에서 다수의 깊이 평면들의 생성되고 리포커싱된 이미지를 즉시 표시할 수 있다. 또한, 상이한 깊이 평면들의 생성되고 리포커싱된 이미지가 표시되는 경우, 원본 이미지들 및/또는 다수의 깊이 평면의 리포커싱된 이미지들로서 리포커싱된 이미지가 완전히 생성되기 전의 중간 상태에서 생성된 상이한 깊이 평면의 리포커싱된 이미지들도 표시될 수 있다. 예를 들어, 다수의 이미지들은 동일한 사용자 인터페이스 상에서 화면 분할 방식으로 표시될 수 있다.

상이한 깊이 평면들의 리포커싱된 이미지들을 생성하는 단계는 다수의 깊이 평면의 리포커싱된 이미지가 합성에 의해 획득되기 전에, 수행될 수 있고, 예를 들어, 촬영 과정 내에서 수행될 수 있거나, 촬영 과정이 완료된 직후에 수행될 수 있거나, 또는 다수의 깊이 평면의 리포커싱된 이미지가 합성에 의해 획득될 필요가 있는 때 수행될 수 있으며, 본 발명의 실시예에서 제한되지 않음을 이해해야 한다.

다음은 일례로서 라이트 필드 카메라를 사용하여 상이한 깊이 평면들의 리포커싱된 이미지들을 생성하는 방법에 대해 설명한다. 도 4는 본 발명의 실시예에 따른 이중-평면 표현 방법의 두 개의 평면의 개략도이다. 도 5는 본 발명의 실시예에 따른 합성 이미지 촬영 원리의 개략도이다. 도 6은 본 발명의 실시예에 따른 합성 이미지 촬영 원리의 모델의 기하학적 관계의 개략도이다.

라이트 필드 카메라는 마스터 렌즈 및 이미지 센서(도시되지 않음)를 포함하고, 마이크로 렌즈 어레이는 마스터 렌즈 및 이미지 센서 사이에 배치된다. 이미지 센서는 각 마이크로 렌즈 어레이 내에 형성되는 작은 이미지들을 기록하고, 다수의 작은 이미지들은 이미지 어레이를 구성한다. 라이트 필드 카메라는 기록된 이미지 어레이를 사용자에 의해 수용될 수 있으며, 상이한 깊이 평면들 상에서 포커싱을 수행하는 효과 및 상이한 시점들로부터 하나의 장면을 보는 효과를 가져오는 공용 이미지 형식으로 재구성할 수 있도록, 대응하는 이미지 처리 소프트웨어를 더 구비할 수 있다. 촬영 과정이 완료된 후에, 라이트 필드 카메라가, 사용자의 요구에 따라 소프트웨어를 사용하여, 사용자에 의해 선택된 깊이 평면들 상에서 리포커싱을 수행할 수 있다. 이미지의 포커싱 깊이는 고정되지 않을 수 있고, 사용자의 요구에 따라 변경될 수 있다. 광선의 강도 정보를 기록하는 것에 부가적으로, 라이트 필드 카메라는 광선의 각도 정보도 기록한다. 광선의 각도 정보는 하나의 장면 내의 장면의 깊이 정보를 포함한다. 즉, 라이트 필드 카메라는 장면에 대한 3차원 정보(예를 들어, 3차원 라이트 필드 데이터)를 수집한다. 장면에 대한 3차원 정보를 획득한 후에, 라이트 필드 카메라는 사용자의 요구에 따라, 리포커싱 알고리즘을 사용하여 상이한 깊이 평면들을 개별적으로 포커싱할 수 있다. 사용자가 사용자 인터페이스 상에 표시된 이미지 내에서 일 영역(일 영역은 장면 내의 일 깊이 평면에 대응할 수 있음)을 선택하는 때, 카메라는 리포커싱 알고리즘을 사용하여 이미지를 처리할 수 있고, 결국에는 선택된 깊이 평면 상에서 포커싱의 효과를 나타낸다. 사용자가 사용자 인터페이스 상에 표시된 이미지 내에서 다수의 영역들을 선택하는 경우, 카메라는 다수의 깊이 평면의 리포커싱된 이미지가 생성되기 전에, 먼저 원시 데이터에 따라, 다수의 영역들에 대응하는 다수의 깊이 평면의 리포커싱된 이미지들을 생성할 수 있고, 그 다음에 다수의 깊이 평면의 리포커싱된 이미지를 획득하기 위해 리포커싱된 이미지를 합성 또는 스플라이싱할 수 있다.

도 4에 도시된 바와 같이, 이중-평면 표현 방법은 라이트 필드를 나타내는 데 사용될 수 있고, 즉, 광선(L)의 좌표들은 광선이 두 개의 평행한 평면들(u-v 및 s-t) 내에 있는 경우 형성되는 교차점들의 좌표이다. 예를 들어, 라이트 필드 카메라에 의해 수집된 라이트 필드 정보는 L (u, v, s, t)를 사용하여 표현되고, 라이트 필드 카메라의 합성 라이트 필드의 라이트 필드 정보는 L' (u', v', s', t')를 사용하여 표현된다. 라이트 필드 카메라에 의해 수집된 라이트 필드 정보와 합성 라이트 필드의 라이트 필드 정보 사이의 관계는 도 5에서 도시된다.

합성 이미지 평면의 조도 값은:

이고, 여기서 D는 합성 이미지 평면 및 합성 조리개 사이의 거리이고, A는 조리개 함수이며, 예를 들어, 조리개 내부의 값이 1이고, 조리개 외부의 값이 0이며, θ는 합성 이미지 평면 및 광선 (u', v', s', t') 사이의 경사 각이다. 근축 근사(paraxial approximation)의 원리에 따르면, 전술한 수식의

는 무시될 수 있고, 이후의

는 무시되며, 다음의 수식이 구해진다.

L 및 L' 사이의 관계는 도 6에 도시되고, 필드 정보 L (u, v, s, t)은 수학식 2를 표현하는 데 사용될 수 있다. 합성 이미지 포토그래피(synthetic image photography)의 원리에 따라, L 과 L' 사이의 관계가 다음과 같이 획득될 수 있다.

여기서 α는 마스터 렌즈 평면 및 합성 이미지 평면 사이의 거리의 비례 계수를 나타내고, β는 합성 조리개 평면 및 마이크로 렌즈 평면 사이의 거리의 비례 계수를 나타낸다.

합성 이미지 포토그래피 수식은 수학식 4 및 수학식 2에 따라 획득된다.

상이한 깊이 평면들의 리포커싱된 이미지들은 수학식 5에 따라 이미지들을 도시하여 획득될 수 있다.

도 7은 본 발명의 또 다른 실시예에 따른 이미지 처리 과정의 개략적인 순서도이다. 도 7의 실시예는 도 1의 이미지 처리 방법의 예이고, 구체적인 설명은 여기에서 적절히 생략된다. 도 7의 단계들(710 내지 740)은 각각 도 2의 단계들(210 내지 240)과 유사하므로, 구체적인 내용은 여기에서 설명되지 않는다.

단계(710). 사용자 인터페이스 상에서 이미지를 표시한다.

단계(720). 사용자 인터페이스 상에서 사용자 입력을 획득한다.

단계(730). 사용자 입력에 따라 대응하는 깊이 정보를 결정한다.

단계(740). 상이한 깊이 평면들의 리포커싱 이미지들을 생성할 수 있도록, 원시 데이터에 기초하여, 깊이 평면을 이용하여 리포커싱 동작을 수행한다.

단계(745). 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정한다.

단계(750). 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성한다.

단계(760). 합성 웨이트 템플릿에 따라 다수의 리포커싱된 이미지들에 대해 이미지 합성을 수행한다.

단계(770). 다수의 깊이 평면들의 생성되고 리포커싱된 이미지를 표시한다. 단계(745)의 함수들의 점 확산 함수를 결정하는 단계는 화소들의 포커싱 정도, 착란 원의 반경, 점 확산 함수, 경사, 강도 차이, 구조 텐서, 화소들에 대응하는 광선들의 라이트 필드 정보, 또는 화소들에 대응하는 광선들의 궤적 정보, 또는 그것들의 임의의 조합을 결정하는 단계로 대체될 수 있음을 이해해야 한다. 즉, 점 확산 함수는 이러한 파라미터들에 의해 대체될 수 있다.

점 확산 함수를 결정하는 단계는 합성 웨이트 템플릿이 생성되기 전의 모든 단계 내에서 수행될 수 있음을 이해해야 한다.

도 8은 본 발명의 다른 실시예에 따른 이미지 처리 과정의 개략적인 순서도이다. 도 8의 실시예는 도 1의 이미지 처리 방법의 예이고, 구체적인 설명은 여기에서 적절히 생략된다. 도 8의 단계들(810 내지 840)은 각각 도 2의 단계들(210 내지 240)과 유사하므로, 구체적인 내용은 여기에서 설명되지 않는다.

단계(810). 사용자 인터페이스 상에서 이미지를 표시한다.

단계(820). 사용자 인터페이스 상에서 사용자 입력을 획득한다.

단계(830). 사용자 입력에 따라 대응하는 깊이 정보를 결정한다.

단계(840). 상이한 깊이 평면들의 리포커싱 이미지들을 생성할 수 있도록, 원시 데이터에 기초하여, 깊이 평면을 이용하여 리포커싱 동작을 수행한다.

단계(850). 리포커싱된 이미지들의 화소들의 포커싱 정도들에 따라 화소들의 합성 웨이트들을 결정하고, 여기서 동일한 리포커싱된 이미지 내의 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 더 크다.

단계(860). 다수의 깊이 평면의 합성 웨이트에 따라 다수의 리포커싱된 이미지에 대한 이미지 합성을 수행한다.

단계(870). 다수의 깊이 평면의 생성되고 리포커싱된 이미지를 표시한다.

도 9는 본 발명의 또 다른 실시예에 따른 이미지 처리 과정의 개략도이다. 도 9의 실시예는 도 1의 이미지 처리 방법의 예이고, 구체적인 설명은 여기에서 적절히 생략된다.

단계(910). 사용자 인터페이스 상에서 이미지를 표시한다. 단계(910)는 도 2의 단계(210)와 유사하므로, 구체적인 내용은 여기에서 설명되지 않는다.

단계(920). 사용자 인터페이스 상에서 사용자 입력을 획득한다. 단계(920)는 도 2의 단계(220)와 유사하므로, 구체적인 내용은 여기에서 설명되지 않는다.

단계(930). 사용자 입력에 따라 대응하는 깊이 정보를 결정한다.

예를 들어, 깊이 정보는 깊이 평면의 깊이 또는 화소 좌표들을 포함할 수 있고, 여기서 깊이 평면의 깊이 또는 화소 좌표들은 각 사용자 입력 영역에 대응한다. 화소 좌표들은 영역 내의 모든 화소의 좌표들일 수 있고, 예를 들어, 영역의 중앙 지점의 좌표들일 수 있다.

단계(940). 상이한 깊이 평면들의 리포커싱 이미지들을 생성할 수 있도록, 원시 데이터에 기초하여, 깊이 평면을 이용하여 리포커싱 동작을 수행한다.

단계(945). 상이한 깊이 평면들의 리포커싱된 이미지들로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 캡처하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 포커싱된 부분 쿼리 테이블 및 포커싱되지 않은 부분 쿼리 테이블에 각각 저장한다.

대안적으로, 다른 실시예에서, 모든 깊이 평면들의 리포커싱된 이미지들은 원시 데이터에 따라 미리 생성될 수 있고(예를 들어, 사용자 입력이 수신되기 전에), 그 다음에 포커싱된 부분들 및 포커싱되지 않은 부분들이 모든 깊이 평면들의 리포커싱된 이미지들로부터 캡처되며, 포커싱된 부분 쿼리 테이블 및 포커싱되지 않은 부분 쿼리 테이블에 각각 저장된다. 또는 모든 깊이 평면들의 포커싱된 부분들 및 포커싱되지 않은 부분들이 원시 데이터에 따라 미리 생성되고, 포커싱된 부분들 및 포커싱되지 않은 부분들이 포커싱된 부분 쿼리 테이블 및 포커싱되지 않은 부분 쿼리 테이블에 각각 저장된다. 이 경우, 단계들(940 및 945)이 생략될 수 있다.

전술한 포커싱된 부분 쿼리 테이블에서, 깊이 평면의 깊이 또는 화소 좌표들 및 포커싱된 부분들 사이의 대응관계가 저장된다. 전술한 포커싱되지 않은 부분 쿼리 테이블에서, 깊이 평면의 깊이 또는 화소 좌표들 및 포커싱되지 않은 부분들 사이의 대응관계가 저장된다.

단계(950). 깊이 정보에 따라, 각 사용자 입력의 깊이 평면의 깊이 또는 화소 좌표들을 결정하고, 깊이 평면의 깊이 또는 화소 좌표들에 따라 쿼리 테이블을 조회함으로써, 사용자 입력에 대응하는 깊이 평면들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 획득한다.

단계(960). 다수의 깊이 평면에 대응하는 포커싱된 부분들 및 포커싱되지 않은 부분들을 다수의 깊이 평면의 리포커싱된 이미지로 결합한다.

본 발명의 실시예에서, 다수의 깊이 평면에 대응하는 포커싱된 부분들 및 포커싱되지 않은 부분들은 이미지 스플라이싱 방법을 사용하여 다수의 깊이 평면의 리포커싱된 이미지로 결합될 수 있다. 예를 들어, 포커싱된 부분들 및 포커싱되지 않은 부분들은 이미지들로부터 캡처될 수 있고, 다수의 깊이 평면의 리포커싱된 이미지는 전술한 영역들을 스플라이싱하여 생성된다. 포커싱된 부분들 및 포커싱되지 않은 부분들 각각은 적어도 하나의 화소를 개별적으로 포함한다. 이미지 스플라이싱 과정은 주로 세 단계: 전처리, 등록, 및 합성을 포함할 수 있다. 전처리는 이미지 노이즈 제거, 이미지 보정, 및 이미지 투사를 포함한다. 이미지 투사는 평면 투사법, 구면 투사법, 입방체 투사법(cube projection method), 또는 원통 투사법(cylinder projection method)을 사용하여 수행될 수 있고, 이미지 노이즈 제거는 인접 평균법(neighborhood average method), 공간 도메인 로-패스 필터링법(spatial domain low-pass filtering method), 또는 공간 도메인 비선형 필터링법(spatial domain non-linear filtering method)을 사용하여 수행될 수 있다. 이미지 보정은 계조 값 편차에 대한 보정, 또는 기하학적 변형(geometric deformation)에 대한 보정일 수 있다. 예를 들어, 계조 값 편차에 대한 보정 방법은 다음과 같다. 평균화된 이미지 계조 값은:

이고, 여기서 F는 기준 이미지의 계조를 나타내고,

는 기준 이미지의 평균 계조를 나타내며,

는 기준 이미지의 표준 편차를 나타내고, g는 스플라이싱 대상 이미지의 계조를 나타내며,

는 스플라이싱 대상 이미지의 평균 계조를 나타내고,

는 스플라이싱 대상 이미지의 표준 편차를 나타낸다. 이미지 등록 방법은 블록 매칭 알고리즘(block matching algorithm), 패스트 푸리에 변환(fast Fourier Transform)에 기초한 이미지 등록 방법, 푸리에 변환에 기초한 위상 관계 이미지 등록 방법, 윤곽 특징(contour feature)에 기초한 알고리즘, 코너 검출(corner detection) 알고리즘, 스케일-불변 기능 변환(Scale-invariant feature transform, SIFT) 알고리즘, 가속 로버스트 특징(Speeded Up Robust Features, SURF) 알고리즘, 광학 플로 기반 방법(optical flow based method), 또는 SIFT 플로 기반 방법일 수 있다. 스플라이싱 대상 이미지의 대응하는 위치는 등록 알고리즘을 사용하여 결정될 수 있고, 재-샘플링이 이미지들간의 변환 관계가 결정된 후에 수행되며, 그 다음에 이미지들이 스플라이싱될 수 있다. 이미지 변환 모델은 이미지 이동, 회전, 스케일링, 반사, 및 전단 또는 이들의 임의의 조합일 수 있다.

단계(970). 다수의 깊이 평면의 생성되고 리포커싱된 이미지를 표시한다. 단계(970)는 도 2의 단계(270)와 유사하므로, 구체적인 내용은 여기에서 설명되지 않는다.

본 발명의 실시예들에 따른 이미지 처리 방법 및 과정이 상기에서 설명된다. 본 발명의 실시예들에 따른 이미지 처리 장치가 도 10 및 도 11을 별도로 참조하여 다음에서 설명된다.

도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 개략적인 구조도이다. 이미지 처리 장치(1000)는 결정 모듈(1010) 및 생성 모듈(1020)을 포함한다.

결정 모듈(1010)은 다수의 깊이 평면의 깊이 정보를 결정하도록 구성되고, 여기서 다수의 깊이 평면의 깊이 정보는 다수의 깊이 평면을 지시하는 데 사용되고, 다수의 깊이 평면은 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 다수의 리포커싱된 이미지들은 다수의 리포커싱된 이미지들의 원시 데이터에 기초하여 생성된다. 생성 모듈(1020)은 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하도록 구성된다. 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어진다.

본 발명의 실시예에 따르면, 다수의 깊이 평면은 각각 다수의 리포커싱된 이미지들의 원시 데이터에 대응하고, 생성 모듈(1020)은 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루어지는 다수의 깊이 평면의 리포커싱된 이미지를 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성한다.

생성 모듈(1020)은 리포커싱 알고리즘을 사용함으로써 다수의 리포커싱된 이미지들의 원시 데이터에 기초한 리포커싱 처리를 수행하여, 다수의 리포커싱된 이미지들을 생성하고, 다수의 리포커싱된 이미지들을 결합하여, 다수의 깊이 평면의 리포커싱된 이미지를 생성한다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 이미지 합성 방법을 사용하여 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합한다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 합성 웨이트 템플릿에 따라 다수의 리포커싱된 이미지들에 대해 이미지 합성을 수행하고, 여기서 합성 웨이트 템플릿은 화소들의 합성 웨이트를 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 캡처하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 다수의 리포커싱된 이미지들의 원시 데이터에 따라, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들을 생성하며, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 모든 깊이 평면에 대응하는 리포커싱된 이미지들을 더 생성하고, 모든 깊이 평면은 모든 깊이 평면의 리포커싱된 이미지들에 각각 대응한다. 생성 모듈(1020)은 다수의 깊이 평면의 깊이 정보에 따라 모든 깊이 평면의 리포커싱된 이미지들로부터 다수의 깊이 평면의 리포커싱된 이미지들을 선택하며, 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하고, 다수의 깊이 평면의 리포커싱된 이미지는 포커싱된 부분들을 포함한다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 합성 웨이트 템플릿에 따라 모든 리포커싱된 이미지들에 대해 이미지 합성을 수행하고, 합성 웨이트 템플릿은 모든 리포커싱된 이미지들의 화소들의 합성 웨이트를 포함하고, 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 모든 리포커싱된 이미지들에서 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

선택적으로, 다른 실시예에서, 이미지 처리 장치(1000)는 저장 모듈(1030), 선택 모듈(1040), 및 조회 모듈(1050)을 더 포함한다. 선택 모듈(1040)은 모든 리포커싱된 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 선택하도록 구성된다. 저장 모듈(1030)은 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 포커싱된 부분들 및 포커싱되지 않은 부분들을 쿼리 테이블로 각각 저장한다. 조회 모듈(1050)은 깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들로부터 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 조회한다. 생성 모듈(1020)은 다수의 깊이 평면의 리포커싱된 이미지들의 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

본 발명의 실시예에 따르면, 생성 모듈(1020)은 스플라이싱을 수행하는 때, 포커싱된 부분들의 이미지들 및 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성을 수행한다.

선택적으로, 다른 실시예에서, 이미지 처리 장치(1000)는 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하도록 구성된 표시 모듈(1070), 그리고 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하도록 구성된 획득 모듈(1060)을 더 포함한다. 표시 모듈(1030)은 표시 장치 상의 다수의 깊이 평면의 생성된 리포커싱된 이미지를 출력한다. 결정 모듈(1010)은 다수의 사용자 입력에 따라 다수의 깊이 평면의 깊이 정보를 결정한다.

본 발명의 실시예에 따르면, 사용자 입력은: 사용자에 의한 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력, 입력 장치 상의 자세 센서에 의해 검출된 사용자 자세, 또는 입력 장치 상의 동작 추적 모듈에 의해 검출된 사용자 동작 중 하나이다.

선택적으로, 본 발명의 다른 실시예에서, 결정 모듈(1010)은 미리 정의된 입력에 따라, 미리 정의된 입력에 대응하는 다수의 깊이 평면을 결정한다. 이미지 처리 장치(1000)는 미리 정의된 입력에 대응하는 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 표시 모듈(1030)을 더 포함한다.

이미지 처리 장치(1000)의 각 유닛의 동작 및 기능에 대해, 도 1의 방법이 참조될 수 있다. 반복을 피하기 위해 상세한 설명을 생략한다.

도 11은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 개략적인 구조도이다. 이미지 처리 장치(1100)는 프로세서(1110), 메모리(1120), 및 통신 버스(1130)를 포함한다.

통신 버스(1130)을 사용하여 메모리(1120)에 저장된 코드를 호출함으로써, 프로세서(1110)는, 다수의 깊이 평면의 깊이 정보를 결정하고, 깊이 정보에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하도록 구성된다. 여기서, 다수의 깊이 평면의 깊이 정보는 다수의 깊이 평면을 지시하는 데 사용되고, 다수의 깊이 평면은 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 다수의 리포커싱된 이미지들은 다수의 리포커싱된 이미지들의 원시 데이터에 기초하여 생성되고, 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어진다.

본 발명의 실시예에 따르면, 다수의 깊이 평면은 각각 다수의 리포커싱된 이미지들의 원시 데이터에 대응하고, 프로세서(1110)는 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루어지는 다수의 깊이 평면의 리포커싱된 이미지를 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 리포커싱 알고리즘을 사용함으로써 다수의 리포커싱된 이미지들의 원시 데이터에 기초한 리포커싱 처리를 수행하여, 다수의 리포커싱된 이미지들을 생성하고, 다수의 리포커싱된 이미지들을 결합하여, 다수의 깊이 평면의 리포커싱된 이미지를 생성한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 이미지 합성 방법을 사용하여 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 합성 웨이트 템플릿에 따라 다수의 리포커싱된 이미지들에 대해 이미지 합성을 수행하고, 여기서 합성 웨이트 템플릿은 화소들의 합성 웨이트를 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

본 발명의 실시예에 따르면, 프로세서(1110)는 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱되지 않은 부분들을 캡처하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 다수의 깊이 평면의 깊이 정보에 따라 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 다수의 리포커싱된 이미지들의 원시 데이터에 따라, 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들을 생성하며, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 모든 깊이 평면에 대응하는 리포커싱된 이미지들을 더 생성하고, 모든 깊이 평면은 모든 깊이 평면의 리포커싱된 이미지들에 각각 대응한다. 프로세서(1110)는 다수의 깊이 평면의 깊이 정보에 따라 모든 깊이 평면의 리포커싱된 이미지들로부터 다수의 깊이 평면의 리포커싱된 이미지들을 선택하며, 다수의 깊이 평면의 리포커싱된 이미지들에 따라 다수의 깊이 평면의 리포커싱된 이미지를 생성하고, 다수의 깊이 평면의 리포커싱된 이미지는 포커싱된 부분들을 포함한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 합성 웨이트 템플릿에 따라 모든 리포커싱된 이미지들에 대해 이미지 합성을 수행하고, 합성 웨이트 템플릿은 모든 리포커싱된 이미지들의 화소들의 합성 웨이트를 포함하고, 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 모든 리포커싱된 이미지들에서 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 크다.

본 발명의 실시예에 따르면, 프로세서(1110)는 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하고, 포커싱된 부분들 및 포커싱되지 않은 부분들을 스플라이싱한다.

본 발명의 실시예에 따르면, 프로세서(1110)는 스플라이싱을 수행하는 때, 포커싱된 부분들의 이미지들 및 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성을 수행한다.

선택적으로, 다른 실시예에서, 이미지 처리 장치(1100)는 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하도록 구성된 모니터(1140), 그리고 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하도록 구성된 입력 인터페이스(1150)를 더 포함한다. 모니터(1140)는 다수의 깊이 평면의 생성된 리포커싱된 이미지를 출력한다. 프로세서(1110)는 다수의 사용자 입력에 따라 다수의 깊이 평면의 깊이 정보를 결정한다.

본 발명의 실시예에 따르면, 사용자 입력은: 사용자에 의한 모니터(1140)의 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력, 입력 장치 상의 자세 센서에 의해 검출된 사용자 자세, 또는 입력 장치 상의 동작 추적 모듈에 의해 검출된 사용자 동작 중 하나이다.

선택적으로, 다른 실시예에서, 프로세서(1110)는 미리 정의된 입력에 따라, 미리 정의된 입력에 대응하는 다수의 깊이 평면을 결정한다. 이미지 처리 장치(1100)는 미리 정의된 입력에 대응하는 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 모니터(1140)를 더 포함한다.

이미지 처리 장치(1100)의 각 유닛의 동작 및 기능에 대해, 도 1의 방법이 참조될 수 있다. 반복을 피하기 위해 상세한 설명을 생략한다.

당업자는 본 명세서에 개시된 실시예에서 설명된 예와 함께, 유닛 및 알고리즘 단계가 전자식 하드웨어, 컴퓨터 소프트웨어, 또는 전자식 하드웨어 및 컴퓨터 소프트웨어의 조합에 의해 구현될 수 있음을 인식할 수 있다. 기능이 하드웨어 또는 소프트웨어에 의해 수행되는지 여부는 특정 어플리케이션 또는 기술적 솔루션의 설계 제약 조건에 따라 달라진다. 당업자는 각각의 특정 애플리케이션에 대해 설명된 기능을 실현하기 위해 다른 방법을 사용할 수 있지만, 구현은 본 발명의 범위를 넘어서는 것으로 간주되어서는 안 된다.

편리하고 간단한 설명을 목적으로, 전술한 시스템, 장치 및 유닛의 상세한 작업 과정에 대해, 참조는 전술한 방법 실시예 내의 대응하는 과정으로 이루어질 수 있음이 당업자에 의해 명확하게 이해될 수 있으며, 세부 사항은 여기에서 다시 설명하지 않는다.

본 명세서 내에서 제공되는 여러 실시예에서, 개시된 시스템, 장치, 및 방법은 다른 방법들로 구현될 수 있음을 이해해야 한다. 예를 들어, 설명된 장치 실시예는 단지 예시적이다. 예를 들어, 유닛 부문은 단순히 논리적 기능 부문이며, 실제 구현에서 다른 부문일 수 있다. 예를 들어, 복수의 유닛들 또는 구성요소들은 결합되거나, 다른 시스템에 통합될 수 있거나, 또는 일부 기능들이 무시되거나 수행되지 않을 수 있다. 또한, 표시되고 논의된 상호 연결 또는 직접 연결 또는 통신 연결은 일부 인터페이스를 사용하여 구현될 수 있다. 장치들 또는 유닛들 사이의 간접적인 연결 또는 통신 연결은 전자적, 기계적, 또는 다른 형태로 구현될 수 있다.

분리된 부분들로서 설명된 유닛들은 물리적으로 분리되어 있거나, 분리되어 있지 않을 수 있고, 유닛들로서 표시된 부분들은 물리적인 유닛들일 수 있거나, 물리적인 유닛들이 아닐 수 있으며, 하나의 위치에 위치될 수 있거나, 복수의 네트워크 유닛 상에 분배될 수 있다. 유닛들의 일부 또는 전부는 실시예의 솔루션의 목적을 달성하기 위해, 실제 필요에 따라 선택될 수 있다.

또한, 본 발명의 실시예에서의 기능적인 유닛은 하나의 처리 유닛에 통합될 수도 있거나, 각각의 유닛은 단독으로 물리적으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합된다.

전술한 집적 유닛이 소프트웨어 기능적인 유닛의 형태로 구현되는 경우, 집적 유닛은 컴퓨터로 판독 가능한 저장 매체에 저장 될 수 있다. 이러한 이해를 바탕으로, 본질적으로 본 발명의 기술적 솔루션, 종래 기술에 기여하는 부분, 또는 기술적 솔루션의 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 소프트웨어 제품은 저장 매체에 저장되고 (개인용 컴퓨터, 서버, 또는 네트워크 장치일 수 있는) 컴퓨터 장치가 본 발명의 실시예에서 설명된 방법의 단계들 중 일부를 수행하도록 지시하는 여러 가지 지시를 포함한다. 전술한 기억 매체는 USB 플래시 드라이브, 이동식 하드 디스크, ROM(Read-Only Memory), RAM(Random Access Memory), 자기 디스크, 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 매체를 포함한다.

전술한 설명은 단지 본 발명의 특정 구현 방식이지만, 본 발명의 보호 범위를 제한하고자 하는 것은 아니다. 본 발명에 개시된 기술적 범위 내에서 당업자에 의해 파악되는 모든 변형 또는 교체는 본 발명의 보호 범위 내에 있다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위에 따른다.

Claims

다수의 깊이 평면의 깊이 정보를 결정하는 단계, 그리고
상기 깊이 정보에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계
를 포함하고,
상기 다수의 깊이 평면의 깊이 정보는 상기 다수의 깊이 평면을 지시하는 데 사용되고, 상기 다수의 깊이 평면은 상기 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 상기 다수의 리포커싱된 이미지는 상기 다수의 리포커싱된 이미지들의 원시 데이터(raw data)에 기초하여 생성되고, 상기 다수의 깊이 평면의 리포커싱된 이미지는 상기 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어지는,
이미지 처리 방법.
제1항에 있어서,
상기 다수의 깊이 평면은 상기 다수의 리포커싱된 이미지들의 원시 데이터에 각각 대응하고, 상기 깊이 정보에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는,
상기 다수의 깊이 평면의 깊이 정보에 따라 상기 다수의 리포커싱된 이미지들의 원시 데이터를 결정하는 단계, 그리고
상기 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루지는 상기 다수의 깊이 평면의 리포커싱된 이미지를 상기 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성하는 단계를 포함하는,
이미지 처리 방법.
제2항에 있어서,
상기 다수의 깊이 평면의 리포커싱된 이미지를 상기 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성하는 단계는,
리포커싱 알고리즘을 사용함으로써 상기 다수의 리포커싱된 이미지들의 원시 데이터에 기초한 리포커싱 처리를 수행하여, 상기 다수의 리포커싱된 이미지들을 생성하는 단계, 그리고
상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하기 위해, 상기 다수의 리포커싱된 이미지들을 결합하는 단계를 포함하는,
이미지 처리 방법.
제3항에 있어서,
상기 다수의 리포커싱된 이미지들을 결합하는 단계는, 이미지 합성 방법(image fusion method)을 사용하여 상기 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합하는 단계를 포함하는,
이미지 처리 방법.
제4항에 있어서,
상기 이미지 합성 방법을 사용하여 상기 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합하는 단계는,
상기 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수(point spread function)를 결정하는 단계,
상기 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿(fusion weight template)을 생성하는 단계, 그리고
상기 합성 웨이트 템플릿에 따라 상기 다수의 리포커싱된 이미지들 상에서 이미지 합성을 수행하는 단계
를 포함하고,
상기 합성 웨이트 템플릿은 상기 화소들의 합성 웨이트를 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 큰,
이미지 처리 방법.
제3항에 있어서,
상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지는 포커싱된 부분들 및 포커싱되지 않은 부분들을 포함하고,
상기 다수의 리포커싱된 이미지들을 결합하는 단계는,
상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 선택하는 단계, 그리고
상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱(splicing)하는 단계
를 포함하는,
이미지 처리 방법.
제2항에 있어서,
상기 다수의 리포커싱된 이미지들에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는,
상기 다수의 리포커싱된 이미지들의 원시 데이터에 따라, 상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들을 생성하는 단계, 그리고
상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는 단계
를 포함하는,
이미지 처리 방법.
제1항에 있어서,
모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 상기 모든 깊이 평면에 대응하는 상기 리포커싱된 이미지들을 생성하는 단계를 더 포함하고,
상기 깊이 정보에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는,
상기 다수의 깊이 평면의 깊이 정보에 따라 상기 모든 깊이 평면의 리포커싱된 이미지들로부터 상기 다수의 깊이 평면의 리포커싱된 이미지들을 선택하는 단계, 그리고
상기 다수의 깊이 평면의 리포커싱된 이미지들에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계
를 포함하며,
상기 모든 깊이 평면은 상기 모든 깊이 평면의 상기 리포커싱된 이미지들에 각각 대응하며, 상기 다수의 깊이 평면의 리포커싱된 이미지는 상기 포커싱된 부분들을 포함하여 이루어지는,
이미지 처리 방법.
제8항에 있어서,
상기 다수의 깊이 평면의 리포커싱된 이미지들에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는,
상기 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하는 단계,
상기 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하는 단계, 그리고
상기 합성 웨이트 템플릿에 따라 상기 모든 리포커싱된 이미지들 상에서 이미지 합성을 수행하는 단계를 포함하고,
상기 합성 웨이트 템플릿은 상기 모든 리포커싱된 이미지들의 화소들의 합성 웨이트를 포함하고, 상기 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 상기 모든 리포커싱된 이미지들에서 상기 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 상기 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 상기 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 큰,
이미지 처리 방법.
제8항에 있어서,
상기 다수의 깊이 평면의 리포커싱된 이미지를 상기 다수의 깊이 평면의 리포커싱된 이미지들에 따라 생성하는 단계는,
상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하는 단계, 그리고
상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는 단계
를 포함하는,
이미지 처리 방법.
제8항에 있어서,
깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들로부터 상기 다수의 깊이 평면의 리포커싱된 이미지들의 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 조회하는 단계를 더 포함하고,
상기 다수의 깊이 평면의 리포커싱된 이미지들에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는 단계는 상기 다수의 깊이 평면의 리포커싱된 이미지들의 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는 단계를 포함하며,
상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들은 상기 깊이 평면의 깊이 또는 상기 화소 좌표들을 상기 인덱스로서 사용하여 상기 쿼리 테이블들에 저장되는,
이미지 처리 방법.
제6항, 제7항, 제10항, 또는 제11항 중 어느 한 항에 있어서,
상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는 단계는 상기 포커싱된 부분들의 이미지들 및 상기 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성을 수행하는 단계를 포함하는,
이미지 처리 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하는 단계,
상기 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 상기 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하는 단계, 그리고
표시 장치 상에 상기 다수의 깊이 평면의 상기 생성된 리포커싱된 이미지를 출력하는 단계
를 더 포함하고,
상기 다수의 깊이 평면의 깊이 정보를 결정하는 단계는 상기 다수의 사용자 입력에 따라 상기 다수의 깊이 평면의 깊이 정보를 결정하는 단계를 포함하는,
이미지 처리 방법.
제13항에 있어서,
상기 사용자 입력은:
상기 사용자에 의한 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력,
입력 장치의 자세 센서에 의해 검출된 사용자 자세, 또는
입력 장치의 동작 추적 모듈에 의해 검출된 사용자 동작
중 하나인,
이미지 처리 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 다수의 깊이 평면의 깊이 정보를 결정하는 단계는 미리 정의된 입력에 따라, 상기 미리 정의된 입력에 대응하는 상기 다수의 깊이 평면을 결정하는 단계를 포함하고,
상기 이미지 처리 방법은 상기 미리 정의된 입력에 대응하는 상기 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 단계를 더 포함하는
이미지 처리 방법.
다수의 깊이 평면의 깊이 정보를 결정하도록 구성된 결정 모듈,
상기 깊이 정보에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하도록 구성된 생성 모듈,
을 포함하고,
상기 다수의 깊이 평면의 깊이 정보는 상기 다수의 깊이 평면을 지시하는 데 사용되고, 상기 다수의 깊이 평면은 상기 다수의 깊이 평면의 다수의 리포커싱된 이미지들에 각각 대응하며, 상기 다수의 깊이 평면의 리포커싱된 이미지는 다수의 리포커싱된 이미지들 중 포커싱된 부분들을 포함하여 이루어지는,
이미지 처리 장치.
제16항에 있어서,
상기 다수의 깊이 평면은 각각 상기 다수의 리포커싱된 이미지들의 원시 데이터에 대응하고,
상기 생성 모듈은 상기 다수의 깊이 평면의 깊이 정보에 따라 상기 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 상기 다수의 리포커싱된 이미지들의 포커싱된 부분들을 포함하여 이루어지는 상기 다수의 깊이 평면의 리포커싱된 이미지를 상기 다수의 리포커싱된 이미지들의 원시 데이터에 따라 생성하는,
이미지 처리 장치.
제17항에 있어서,
상기 생성 모듈은, 리포커싱 알고리즘을 사용함으로써 상기 다수의 리포커싱된 이미지들의 원시 데이터에 기초한 리포커싱 처리를 수행하여, 상기 다수의 리포커싱된 이미지들을 생성하고, 상기 다수의 리포커싱된 이미지들을 결합하여, 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하는,
이미지 처리 장치.
제18항에 있어서,
상기 생성 모듈은 이미지 합성 방법(image fusion method)을 사용하여 상기 다수의 리포커싱된 이미지들의 포커싱된 부분들을 결합하는,
이미지 처리 장치.
제19항에 있어서,
상기 생성 모듈은, 상기 다수의 리포커싱된 이미지들의 화소들의 점 확산 함수(point spread function)를 결정하고, 상기 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿(fusion weight template)을 생성하며, 상기 합성 웨이트 템플릿에 따라 상기 다수의 리포커싱된 이미지들에 대해 이미지 합성을 수행하고,
상기 합성 웨이트 템플릿은 상기 화소들의 합성 웨이트를 포함하고, 높은 포커싱 정도의 화소의 합성 웨이트는 낮은 포커싱 정도의 화소의 합성 웨이트보다 큰,
이미지 처리 장치.
제18항에 있어서,
상기 생성 모듈은, 상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 선택하고, 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는,
이미지 처리 장치.
제17항에 있어서,
상기 생성 모듈은, 상기 다수의 깊이 평면의 깊이 정보에 따라 상기 다수의 리포커싱된 이미지들의 원시 데이터를 결정하고, 상기 다수의 리포커싱된 이미지들의 원시 데이터에 따라, 상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지의 포커싱된 부분들 및 포커싱되지 않은 부분들을 생성하며, 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는,
이미지 처리 장치.
제16항에 있어서,
상기 생성 모듈은, 모든 깊이 평면의 리포커싱된 이미지들의 원시 데이터에 따라, 상기 모든 깊이 평면에 대응하는 상기 리포커싱된 이미지들을 더 생성하고, 상기 다수의 깊이 평면의 깊이 정보에 따라 상기 모든 깊이 평면의 리포커싱된 이미지들로부터 상기 다수의 깊이 평면의 리포커싱된 이미지들을 선택하며, 상기 다수의 깊이 평면의 리포커싱된 이미지들에 따라 상기 다수의 깊이 평면의 리포커싱된 이미지를 생성하고,
상기 모든 깊이 평면은 상기 모든 깊이 평면의 상기 리포커싱된 이미지들에 각각 대응하며, 상기 다수의 깊이 평면의 리포커싱된 이미지는 상기 포커싱된 부분들을 포함하는,
이미지 처리 장치.
제23항에 있어서,
상기 생성 모듈은, 상기 모든 리포커싱된 이미지들의 화소들의 점 확산 함수를 결정하고, 상기 모든 리포커싱된 이미지들의 화소들의 점 확산 함수에 따라 합성 웨이트 템플릿을 생성하며, 상기 합성 웨이트 템플릿에 따라 상기 모든 리포커싱된 이미지들에 대해 이미지 합성을 수행하고,
상기 합성 웨이트 템플릿은 상기 모든 리포커싱된 이미지들의 화소들의 합성 웨이트를 포함하고, 상기 다수의 리포커싱된 이미지들의 화소들의 합성 웨이트는 상기 모든 리포커싱된 이미지들에서 상기 다수의 리포커싱된 이미지들을 제외한 다른 리포커싱된 이미지들의 화소들의 합성 웨이트보다 크며, 상기 다수의 리포커싱된 이미지들 내의 높은 포커싱 정도의 화소의 합성 웨이트는 상기 다수의 리포커싱된 이미지들 내의 낮은 포커싱 정도의 화소의 합성 웨이트보다 큰,
이미지 처리 장치.
제23항에 있어서,
상기 생성 모듈은, 상기 다수의 리포커싱 이미지들 내의 각 리포커싱된 이미지로부터 포커싱된 부분들 및 포커싱 되지 않은 부분들을 선택하고, 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는,
이미지 처리 장치.
제23항에 있어서,
깊이 평면의 깊이 또는 화소 좌표들을 인덱스로서 사용하여 쿼리 테이블들로부터 상기 다수의 깊이 평면의 리포커싱된 이미지들의 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 조회하도록 구성된 조회 모듈을 더 포함하고,
상기 생성 모듈은 상기 다수의 깊이 평면의 리포커싱된 이미지들의 상기 포커싱된 부분들 및 상기 포커싱되지 않은 부분들을 스플라이싱하는,
이미지 처리 장치.
제21항, 제22항, 제25항, 또는 제26항 중 어느 한 항에 있어서,
상기 생성 모듈은 상기 스플라이싱을 수행하는 때, 상기 포커싱된 부분들의 이미지들 및 상기 포커싱되지 않은 부분들의 이미지들에 대해 전처리, 이미지 등록, 및 이미지 합성을 수행하는,
이미지 처리 장치.
제16항 내지 제27항 중 어느 한 항에 있어서,
상기 다수의 리포커싱된 이미지들 내의 리포커싱된 이미지를 표시하도록 구성된 표시 모듈, 그리고
상기 표시된 리포커싱된 이미지의 다수의 영역들 내에서, 상기 다수의 깊이 평면에 대응하는 다수의 사용자 입력을 획득하도록 구성된 획득 모듈
을 더 포함하고,
상기 표시 모듈은 표시 장치 상의 상기 다수의 깊이 평면의 상기 생성된 리포커싱된 이미지를 출력하고, 상기 결정 모듈은 상기 다수의 사용자 입력에 따라 상기 다수의 깊이 평면의 깊이 정보를 결정하는,
이미지 처리 장치.
제28항에 있어서,
상기 사용자 입력은:
상기 사용자에 의한 터치스크린 상의 단일-지점 탭 입력, 다수-지점 탭 입력, 단일-지점 슬라이딩 입력, 또는 다수-지점 슬라이딩 입력,
입력 장치 상의 자세 센서에 의해 검출된 사용자 자세, 또는
입력 장치 상의 동작 추적 모듈에 의해 검출된 사용자 동작
중 하나인,
이미지 처리 장치.
제16항 내지 제29항 중 어느 한 항에 있어서,
상기 결정 모듈은 미리 정의된 입력에 따라, 상기 미리 정의된 입력에 대응하는 상기 다수의 깊이 평면을 결정하고,
상기 이미지 처리 장치는 상기 미리 정의된 입력에 대응하는 상기 다수의 깊이 평면의 리포커싱된 이미지를 표시 장치 상에서 출력하는 표시 모듈을 더 포함하는,
이미지 처리 장치.