KR101124878B1

KR101124878B1 - 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치

Info

Publication number: KR101124878B1
Application number: KR1020100039450A
Authority: KR
Inventors: 이석한; 브이쾅람
Original assignee: 성균관대학교산학협력단
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2012-03-27
Also published as: KR20110119989A

Abstract

종래의 영상의 흐림반경을 추정하는 방법과 비교하여 영상의 흐림반경값을 보다 정확히 예측할 수 있고 영상에 존재하는 노이즈에도 강한 특성을 가지는 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치가 개시되어 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법에 있어 영상데이타를 제공받는 단계와 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 이용해 영상의 흐림반경을 추정하여 영상을 보정할 수 있다. 따라서, 정확한 영상의 흐림반경을 추정하여 영상촬영장치 또는 디스플레이장치 등에서 영상을 보정할 경우 실제의 영상데이타에 가까운 영상으로 보정할 수 있다.

Description

추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치 {METHOD OF DE-BLURRING IMAGE BASED ON ESTIMATED BLUR RADIUS AND APPARATUS FOR DE-BLURRING IMAGE BASED ON ESTIMATED BLUR RADIUS}

본 발명은 영상을 흐림반경을 추정하는 기술에 관한 것으로, 더욱 상세하게는 영상의 흐림반경을 추정하는 방법과 추정된 흐림반경을 이용하여 영상을 보정하는 기술에 관한 것이다.

카메라나 캠코더를 사용하여 촬영된 영상이 흐려지는 현상(Blurring)은 카메라의 초점이 피사체의 거리와 불일치하거나 장시간의 CCD노출, 촬영시 손떨림 현상 또는 전기적 원인등과 같은 요인에 의해 발생하거나 피사체의 빠른 움직임 또는 대기의 불안정과 같은 외부의 요인으로 인해 발생할 수 있다. 이와 같이 다양한 이유로 흐려진 영상을 보정하는 기술은 영상촬영장치나 디스플레이장치 또는 프로젝터와 같이 영상을 입력받고 출력하는 장치에 필수적인 기술이다.

이뿐만 아니라 사진이나 동영상과 같은 멀티미디어 파일이 가진 영상정보를 읽어들여 파일의 정보(예를 들어 사진속의 사람의 수, 물건에 표시된 텍스트)를 추출하여 멀티미디어파일의 메타데이타를 생성하는 기술이나, 외부로부터 영상장치를 통해 받아들여진 시각정보를 이용해 외부의 사물을 분석하는 로보틱스 분야에서도 영상으로부터 정확한 정보를 얻기 위해 흐려진 영상의 윤곽(Blurred edge)을 복원하는 기술이 사용될 수 있다.

흐려진 영상의 윤곽(Blurred edge)을 복원하기 위해서는 우선 윤곽추출(Edge Detection)이 필요하다. 영상의 윤곽(Blurred edge)은 영상이 흐려진 정도를 가장 명확하게 나타나는 부분으로 영상에 나타난 사물과 사물의 윤곽선이다. 이러한 윤곽추출 방법으로는 Canny Algorithm을 사용하거나 Hough Transform등을 사용할 수 있다. 윤곽추출을 한 후 추출된 윤곽의 흐려진 정도를 알아낼 수 있다면 흐려진 영상의 윤곽(Blurred edge)을 흐려진 정도만큼 복원하는 함수를 사용하여 흐려진 영상을 다시 명료한 영상(Sharp Image)으로 보정할 수 있다.

흐려진 영상(B, Blurred Image)을 수학적으로 표현하면 수학식 1과 같이 표현할 수 있다. 명료한 영상(I, Sharp Image)에 블러커널(K, Blur Kernel)이라고도 불리는 점확산함수(PSF, Point Spread Function)을 콘볼루션한 값을 구하고 콘볼루션한 값에 일정한 가우시안 백색잡음(N, Additive Gaussian White Noise)를 더하면 흐려진 영상(B, Blurred Image) 의 함수가 만들어 질 수 있다.

점확산함수(PSF)로 가우시안 함수(Gaussian Function)을 사용할 경우 흐려진 영상을 복원하기 위한 블러커널(점확산함수)를 알기 위해 가우시안 함수의 표준편차값인 영상의 흐려진 정도를 나타내는 영상의 흐림반경(Blur radius)을 알아야 한다. 흐림반경을 알 수 있다면 흐려진 영상(B, Blurred Image)에서 명료한 영상(I, Sharp Image)으로 복원할 수 있고 또한 특정한 흐림반경값을 임의로 정해서 명료한 영상을 흐려진 영상으로 만드는 것 역시 가능하다.

종래의 흐려진 영상을 복원하는 기술로는 Elder가 그의 논문인 "Local Scale Control for Edge Detection and Blur Estimation"(J.H. Elder, S.W. Zucker, IEEE Trans. Pattern Analysis and Machine Intelligence 20, 1998, pp. 699-716)에서 제시한 방법이 있다. 도 1은 Elder의 방법을 이용하여 흐림반경(Blur Radius)을 측정하는 방법을 나타낸 그래프이다. Elder는 상기의 논문에서 처음에 임의로 추정한 1차 흐림반경(

)값을 이용하여 만든 가우시안함수(Gaussian Function)를 두번 미분하는 방법을 제시한다. Elder가 제시한 방법을 사용하면 두번 미분한 가우시안 함수는 도 1과 같이 Positive Peak Value(110)와 Negative Peak Value(120)을 가지는 함수로 표현되는데 상기 두 Peak Value 사이의 거리를 d라고 할 때 다음의 수학식 2을 이용하여 영상의 2차 흐림반경(

, Blur radius)를 추정한다.

Elder의 흐림반경을 추정하는 방법은 기존의 방식에 비하여 흐림반경을 계산하는 절차와 방법이 간단하여 흐려진 영상의 빠른 보정이 가능하다. 만약에 영상데이타가 크거나 빠른 시간안에 보정을 원할 경우 Elder의 방법을 사용하면 빠른 시간안에 간편하게 영상의 흐림반경을 측정할 수 있다.

또 다른 흐림반경 추정방법은 Hu에 의해 "Low Cost Robust Blur Estimator"(H. Hu, G.d. Haan, Proc. of IEEE Int. Conf. on Image Processing, Atlanta, 2006, pp. 617-620)에서 제시된 방법이 있다.

도 2는 Hu의 방법을 이용하여 흐려진 영상에 사용자가 임의로 추정한 두가지 흐림반경(

,

)을 가지는 각각의 가우시안 블러커널(Gaussian Blur Kernel)을 콘볼루션한 것을 나타낸 그래프이다. 콘볼루션의 결과 두 개의 영상의 흐려진 정도를 표현하는 함수(

,

)를 구할 수 있다. 구해진 함수(

,

)를 이용하여

,

를 변수로 가지며 두 함수의 차와 실제 입력된 영상으로부터 구해진 함수의 비를 나타내는 함수

를 도출해내고 수식전개를 통해 도출된 수학식 3을 사용하면 원래의 흐려진 영상의 흐림반경을 추정할 수 있다.

Elder의 방법이 영상의 흐림반경을 추정함에 있어 주변영상의 윤곽이 가진값에 영향을 받는 것과 달리 Hu의 방법은 주변의 영상의 윤곽값에 의해 영향을 받지 않는다. 또한 Hu의 방법은 영상의 윤곽(Edge)의 색의 강도(Intensity)를 몰라도 영상의 흐림반경을 구할 수 있고 또한 함수

의 Peak Value를 이용하면 영상의 윤곽(Edge)을 윤곽추출기(Edge Detector)가 없는 경우에도 알 수 있다.

도 3은 Elder의 방법이 가진 문제점을 나타낸 그래프이다. 이웃하는 두 영상의 윤곽이 가지는 Intensity값이 도 3과 같을 경우 가우시안 블러커널(Gaussian Blur Kernel)의 흐림반경(

)값을 임의로 추정하여 만든 가우시안함수(Gaussian Function)를 두번 미분하여 구한 함수의 Negative Peak Value값을 정확하게 구할 수 없다. 따라서 Elder의 방법은 서로 이웃하는 영상의 윤곽에 의해 서로의 Peak Value값이 영향을 받게 되어 흐려진 영상의 정확한 흐림반경값을 추정하지 못한다는 단점이 있다. 또한 처음에 임의로 추정한 흐림반경값인

가 최적값이 아닌 경우 정확한 흐림반경값에서 큰 오차를 가질 수 있다.

또한 종래의 기술로 전술된 Hu의 방법은

의 값이

의 값에 종속되어 있다. 따라서 정확한 흐림반경을 추정하기 위해서는

을 최적값으로 선택하는 것이 필요하다.

값을 잘못 선택하면 추정된 흐림반경값은 정확한 값을 가지지 못한다. 또한 영상의 흐림정도가 심한경우 Hu의 방법을 쓰기위한 전제조건인

을 만족하기 힘들다. 또한 Hu의 방법은 실제의 영상에 존재하는 Noise에 약한 특성이 존재하기 때문에 정확한 영상의 흐림반경의 추정치를 도출해낼 수 없다.

따라서 본 발명의 제 1목적은 주변영상의 윤곽에 영향받지 않고 예상치가 최적으로 선택되지 않더라도 영상의 흐림반경 추정의 정확도를 개선하기 위한 방법으로 추정된 흐림반경에 기초하여 영상을 보정하는 방법을 제공하는 것이다.

또한, 본 발명의 제 2목적은 상기 추정된 흐림반경에 기초하여 영상을 보정하는 장치를 제공하는 것이다.

상술한 본 발명의 제 1목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 영상데이타를 제공받는 단계와 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 포함할 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 제공된 영상의 윤곽 데이터와 상기 오차함수의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정할 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림 정도를 모델링한 오차함수와 상기 제공된 영상의 흐림에 관한 데이터값을 이용해 제1 방향을 따라서 구하는 단계와 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림 정도를 모델링한 오차함수와 상기 제공된 영상의 흐림에 관한 데이터값을 이용해 제2 방향을 따라서 구하는 단계를 포함할 수 있다. 상기 제1 방향은 수평 방향이고, 상기 제2 방향은 수직 방향일 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐려진 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 흐려진 영상의 윤곽(Blurred Edge)를 표현하는 함수의 세기(Intensity)값을 나타내는 제1 변수값

과 제2 변수값

를 예측하는 1단계, 상기 예측된 제1 변수값

및 제2 변수값

와 상기 제공받은 영상데이타로부터 상기 영상의 흐려진 윤곽(Blurred Edge)의 중심을 나타내는 제3 변수값

, 상기 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 제4 변수값

을 도출하는 2단계, 상기 2단계를 통해 도출된

,

와 상기 제공받은 영상데이타로부터 상기 예측된 제1 변수값

및 제2 변수값

를 재추정하는 3단계를 포함할 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐려진 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 3단계 종료 후 상기 2단계로 돌아가 상기 3단계를 통해 상기 재추정된 제1 변수값

및 제2 변수값

를 이용해 상기 2단계와 상기 3단계 절차를 소정의 횟수로 반복하는 4단계를 포함할 수 있다. 제3 변수값

, 제4 변수값

을 도출하는 2단계는 상기 예측한 제1 변수값

와 제2 변수값

값을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제1 방향을 따라서 구할 수 있다. 상기 예측된 제1 변수값

및 제2 변수값

를 재추정하는 3단계는 상기 예측한 제3 변수값

, 제4 변수값

을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제2 방향을 따라서 구할 수 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 상기 영상데이타를 제공받는 단계 후 사용자에 의해 영상을 보정할 정도를 선택받는 단계, 상기 사용자에 의해 영상을 보정할 정도를 선택받는 단계 후 상기 제공받은 영상데이타에서 영상의 경계를 검출하는 단계를 더 포함할 수 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 상기 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 통해 추정된 흐림반경을 이용하여 영상의 흐림을 제거하는 단계, 상기 추정된 흐림반경을 이용하여 흐림이 제거된 영상을 출력하는 단계를 더 포함할 수 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 통해 추정된 흐림반경이 수렴하는지 여부에 대한 판단과 상기 흐림반경값에 대한 추정을 반복함에 따라 흐림반경이 수렴하는 정도를 이용하여 상기 흐림 반경을 추정할 수 있다.

또한 상술한 본 발명의 제 2목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상 보정 장치에 있어는 영상을 제공하는 영상제공부, 상기 영상제공부로부터 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 흐림추정부를 포함할 수 있다. 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상보정장치는 상기 흐림추정부에 의해 추정된 흐림반경을 기초로 영상의 흐림을 제거하는 흐림제거부, 상기 흐림제거부로터 흐림이 제거된 영상을 출력하는 영상출력부, 상기 제어부의 동작을 지시하거나 상기 흐려진 영상을 보정하는 장치의 이용여부를 결정하기 위해 사용자가 제어할 수 있는 사용자 인터페이스, 상기 영상을 보정하는 영상보정장치의 동작을 제어하는 제어부를 더 포함할 수 있다. 상기 흐림추정부는 상기 제공된 영상의 윤곽 데이터와 상기 영상의 흐림정도를 모델링한 오차함수의 형태로 표현한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정할 수 있다. 상기 흐림추정부는 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림정도를 모델링한 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값을 이용해 제1 방향을 따라서 구하고 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림정도를 모델링한 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값을 이용해 제2 방향을 따라서 구할 수 있다. 상기 제1 방향은 수평 방향이고, 상기 제2 방향은 수직 방향일 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 흐림추정부는 상기 흐려진 영상의 윤곽(Blurred Edge)를 표현하는 함수의 세기(Intensity)값을 나타내는 제1 변수값

과 제2 변수값

를 예측하고 상기 예측된 제1 변수값

및 제2 변수값

를 도출하며 상기 도출된 제3 변수값

, 제4 변수값

과 상기 제공받은 영상데이타로부터 상기 예측된 제1 변수값

및 제2 변수값

를 재추정하여 상기 재추정된 제1 변수값

및 제2 변수값

를 이용해 제3 변수값

및 제4 변수값

을 재추정할 수 있다. 상기 제3 변수값

및 상기 제4 변수값

는 상기 예측한 제1 변수값

와 제2 변수값

값을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제1 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정할 수 있다. 상기 예측된 제1 변수값

및 제2 변수값

를 재추정함에 있어서 상기 예측한 제3 변수값

, 제4 변수값

을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제2 방향을 따라서 구할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치에 따르면 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 표현 한 후 수평적 맞춤방법(Horizontal Fitting)과 수직적 맞춤방법(Vertical Fitting)을 사용해 제공된 영상의 흐림반경(Blur Radius)를 추정한다.

따라서, 종래의 영상의 흐림반경을 추정하는 방법과 비교하여 정확한 영상의 흐림반경값을 예측할 수 있고 영상에 존재하는 노이즈에도 강한 특성을 가질 수 있어 영상촬영장치 또는 디스플레이장치 등에서 영상을 보정할 경우 실제의 이미지와 가까운 명확한 영상을 얻을 수 있다. 또한 카메라 또는 프로젝터에서 포커싱 기능에 흐림 반경정보를 사용하여 명확한 영상을 얻을 수 있고 물체의 3D 입체화면을 구성하기 위한 정보로서 흐림 반경정보를 사용할 수 있다.

도 1은 Elder의 방법을 이용하여 흐림반경(Blur Radius)을 측정하는 방법을 나타낸 그래프이다.
도 2는 Hu의 방법을 이용하여 흐림반경(Blur Radius)을 측정하는 방법을 나타낸 그래프이다.
도 3은 Elder의 방법이 가진 문제점을 나타낸 그래프이다.
도 4는 영상의 경계를 표현하기 위해 모델링 함수로 사용한 스텝함수와 영상의 흐려진 윤곽(Blurred Edge)을 나타내기 위한 가우시안 블러커널(Gaussian Blur Kernel)을 이용하여 표현한 함수를 나타낸 그래프이다.
도 5는 본 발명의 일실시예에 따른 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 나타낸 것이다.
도 6은 본 발명의 일실시예에 따른 수평적 맞춤방법(Horizontal Fitting)을 나타낸 그래프이다.
도 7은 본 발명의 일실시예에 따른 수직적 맞춤방법(Vertical Fitting)을 나타낸 그래프이다.
도 8은 본 발명의 일실시예에 따른 영상의 흐림반경을 추정하는 방법과 종래의 영상의 흐림반경을 추정하는 방법들을 비교하여 나타낸 것이다.
도 9a는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 9b는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 9c는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 9d는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 10은 본 발명의 일실시예에 따른 영상의 흐림반경 추정치을 이용하여 흐려진 영상을 보정하는 방법을 나타내는 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 영상의 흐림반경을 추정한 값을 이용해 영상을 보정하는 방법을 나타내는 순서도이다.
도 12는 본 발명의 일실시예에 따른 흐려진 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 장치를 구성하는 부분을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들은 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예들은 영상의 흐림반경(

, Blur Radius)를 구하여 내부적 원인이나 외부적 요인에 의해 흐려진 영상의 윤곽(Blurred Edge)를 보정하여 명확한 영상을 얻기 위한 것이다.

흐림 반경을 예측하는 것은 많은 산업분야에서 활용될 수 있다. 영상의 흐림 반경을 예측하여 영상을 보정(Revising)하거나 흐림을 제거(De-blurring)할 수 있을 뿐만 아니라, 프로젝터나 카메라의 오토포커싱(Autofocusing)에도 활용될 수 있다. 프로젝터 또는 카메라의 피사계 심도(Depth of Field)가 짧기 때문에 만약 물체가 피사계 심도(Depth of Field)의 범위를 벋어나는 경우 프로젝터에서 프로젝트 물체의 패턴이 흐려질 수 있고, 카메라에서 캡쳐된 이미지 또한 흐려질 수 있다. 따라서 흐림반경을 예측할 수 있다면 초점 조절 기능에 이를 활용하여 명확한 이미지를 얻을 수 있다.

이뿐만 아니라 물체의 깊이정보(Depth) 또는 형태정보(Shape)와 흐림 반경 정보의 관계를 사용하여 물체의 3D정보를 얻을 수 있다.

예를 들어, 하나의 카메라를 이용하여 물체를 여러 각도로 촬영하는 경우, 각도에 따라 다르게 영상의 흐림이 생성될 수 있고 이러한 흐림에 관한 정보값을 사용하여 물체의 형태와 깊이를 예측하여 물체의 3D 이미지를 생성할 수 있다.

도 4은 영상의 경계를 표현하기 위해 모델링 함수로 사용한 스텝함수(a)와 가우시안 블러커널(Gaussian Blur Kernel)을 이용하여 영상의 흐려진 윤곽(Blurred Edge)을 나타낸 함수(b)를 나타낸다. 상기 수학식 1과 동일하게 블러커널, 즉 점확산함수(PSF, Point Spread Function)로 가우시안 함수를 사용하면 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수는 가우시안 함수와 스텝함수(a)의 콘볼루션값인 수학식 4와 같이 표현할 수 있다.

여기서,

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 영상이 가진 최소 Intensity값을 나타내고,

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 영상이 가진 최대 Intensity값을 나타낸다. 또한,

는 영상의 흐려진 윤곽(Blurred Edge)의 중심을 나타내는 파라미터,

는 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 파라미터이다.

상기 수학식 4의 형태는 오차함수(erf, Error Function)의 형태와 동일하게 표현할 수 있는 데 수학식 5는 수학식 4에서 가우시안 함수의 형태로 표현된 영상의 흐려진 윤곽(Blurred Edge)을 오차함수(erf, Error Function)의 형태로 나타낸 것이다.

수학식 5를 간단히 표현하면 수학식 6과 같은 형태를 가질 수 있다.

수학식 6에서 볼 수 있듯이 오차함수는 미지수로

,

값을 포함하고 있다.

와

는 각각 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수의 Y축 값인 픽셀에 따른 색의 Intensity값을 나타내는 파라미터로 수학식 4의 변수인

,

로 표현될 수 있다.

는 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 파라미터이다. 수학식 6을 그래프의 형태로 표현하면 도 5와 같은 형태로 표현할 수 있다. 도 5에서 확인 할 수 있듯이 오차함수 역시 블러 커널로 가우시안 블러커널(Gaussian Blur Kernel)을 이용하여 영상의 흐려진 윤곽(Blurred Edge)을 나타낸 그래프(도 4의 b)와 유사한 형태를 가진다.

본 발명의 일실시예에 따르면 수학식 6과 같이 오차함수(erf, Error Function)의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)을 실제의 흐려진 영상이 가진 데이터값과 비교하여 수평적 맞춤방법(Horizontal Fitting)과 수직적 맞춤방법(Vertical Fitting)을 사용하여 영상의 흐림반경(Blur Radius)을 구하는 것이다. 수평적 맞춤방법과 수직적 맞춤방법은 예를 들어 실제 영상의 윤곽 데이터와 오차함수(erf, Error Function)의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승오차(Mean Square Error, 이하 'MSE'라 함)값을 최소화하는 방법을 사용할 수 있다. 여기서, MSE값외의 예측값과 실제값과의 차이를 사용하는 함수는 MMSE(Mimimum Mean Square Error), 평균절대편차(MAD, Mean absolute deviation), 평균절대백분비오차(MAPE, Mean absolute percentage error) 가 사용될 수도 있다.

1. 수평적 맞춤방법(Horizontal Fitting)

도 6는 영상의 흐림반경(Blur Radius)을 구하기 위해 사용되는 수평적 맞춤방법(Horizontal Fitting)을 그래프를 통해 나타낸 것이다. 실선으로 표시된 그래프(Blurred edge)은 실제의 영상으로부터 얻어낸 데이터를 통해 표현한 함수이다. 점선으로 표시된 그래프(Erf based fitting model)은 도 5에서 나타낸 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 나타낸 것과 동일한 그래프이다. 수학식 6을 Intensity값에 따른 픽셀의 위치함수로 변화하여 표현하면 수학식 7과 같이 표현 할 수 있다.

수학식 7에서

는 오차함수의 역함수로 정의한다. 수학식 7에서 포함된 파라미터값인

와

는 수학식 4에서 수학식 5로 변환하는 과정에서 유추하면 수학식 8의 형태로 추정할 수 있다.

본 발명의 일실시예에 따르면

와

를 추정함에 있어서, 흐림반경(Blur Radius)을 측정하기 위한 종래의 방법인 Elder의 방법이나 Hu의 방법과 달리 실제영상의 입력데이타를 활용하여

와

의 추정치를 결정한다. 즉, 수학식 5에서 수학식 6으로 변환과정을 보면 알 수 있듯이 수학식 5에서 표현된

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 흐려진 영상이 가진 최소 Intensity값을 나타내고

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 흐려진 영상이 가진 최대 Intensity값을 나타낸다. 따라서 새롭게 수학식 6에서 표현된

와

는 임의로 추정하는 수가 아니라 수학식 8과 같이 일정한 범위로 좁혀서 추정하기 때문에 처음에 임의로 선택한 영상의 흐림반경의 추정치에 의해 흐림반경의 정확도가 크게 변하는 Elder의 방법이나 Hu의 방법보다 정확하게 영상의 흐림반경을 예측할 수 있다.

수학식 8에서 예측한

와

값을 이용해 영상의 흐려진 윤곽(Blurred Edge)을 오차함수(erf, Error Function)의 형태로 모델링한 함수와 실제의 흐려진 영상이 가진 데이터값의 수평적 값의 차이- 즉 같은 Intensity값을 가지는 픽셀의 위치값의 차이-를 이용하면 수학식 9를 통해 MSE(Mean Square Error)값을 알 수 있다.

영상의 흐려진 윤곽을 표현하는 함수와 실제 데이터 값 사이의 오차를 표현하는 값인 MSE(Mean Square Error)를 작게 하기 위해서는 수학식10을 만족하여야 한다.

수학식 10을 전개하면 수학식 11과 같이 표현할 수 있고

수학식 11을

,

에 대하여 정리하면 수학식 12와 같다.

결과적으로 수학식 12는 수학식 8에서 예측한

와

값에 기초해 예측된

,

값이다.

수평적 맞춤방법에서 사용되는 수평방향은 제 1방향으로 표현될 수 있으며, 본 발명의 실시예에 따르면 영상의 흐림반경을 추정함에 있어 수평적으로 맞추는 방향에 한정되지 않는다. 또 다른 수학적 보간방법을 이용하여 제공된 영상의 흐려진 정도를 나타내는 함수와 오차함수간의 차이를 줄일 수 있다. 따라서 수평적 방향이 아닌 다른 방향을 활용하여 상기 두 함수간의 오차를 줄일 수 있다.

2. 수직적 맞춤방법(Vertical Fitting)

도 7은 수직적 맞춤방법(Vertical Fitting)을 나타낸 그래프이다. 실선으로 표시된 그래프(Blurred Edge)은 실제의 영상으로부터 얻어낸 데이터를 통해 표현한 함수이다. 점선으로 표시된 그래프(Erf based fitting model)은 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 나타낸 그래프이다. 수직적 맞춤방법은 수평적 맞춤방법과 반대로 수평적 맞춤방법에의해 얻어진

,

값을 이용하여

와

값을 다시 한번 도출하여 좀 더 정확하게 영상의 흐림반경(Blur Radius)을 얻어내기 위한 방법이다. 수평적 맞춤방법과 마찬가지로 수직적 맞춤방법도 오차함수(erf, Error Function)의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수와 실제의 흐려진 영상이 가진 데이터값의 수직적 값의 차이, 즉 같은 픽셀의 위치에서 영상이 가진 Intensity값과 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수의 Intensity값의 오차가 최대한 작아지도록 하는 방법이다. 수학식 13은 영상이 가진 데이터와 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수사이의 수직적 차이를 MSE(Mean Square Error)로 나타낸 것이다.

수학식 13에 나타난 MSE를 최소화 하기 위해서는 수학식 14를 만족해야 한다.

수학식 14를 전개하면 수학식 15와 같이 표현할 수 있다.

수학식 15를

와

값으로 정리하면 수학식 16과 같이 표현된다.

즉, 수직적 맞춤방법(Vertical Fitting)은 수평적 맞춤방법에의해 얻어진

,

값을 이용하여

와

값을 다시 한번 정확한 값으로 보간하는 절차이다.

수직적 맞춤방법을 이용하여 얻어낸

와

값을 이용해 다시 수평적 맞춤방법을 한다면 좀 더 정확한

,

값을 얻어낼 수 있고 이러한 절차를 반복하면서 영상의 흐림반경(

, Blur Radius)값이 점차 수렴한다. 도 8은 수직적 맞춤절차와 수평적 맞춤절차를 반복(Iteration)하면서 얻어낸 영상의 흐림반경(

, Blur Radius)값이 점차 수렴하는 모습을 나타낸 것이다.

수평적 맞춤방법과 마찬가지로 수직적 맞춤방법에서 사용되는 수직방향은 제 2방향으로 표현될 수 있으며, 본 발명의 실시예에 따르면 영상의 흐림반경을 추정함에 있어 수직적으로 맞추는 방향에 한정되지 않는다. 또 다른 수학적 보간방법을 이용하여 제공된 영상의 흐려진 정도를 나타내는 함수와 오차함수간의 차이를 줄일 수 있다. 따라서 수직적 방향이 아닌 다른 방향을 활용하여 상기 두 함수간의 오차를 줄일 수 있다.

도 8은 본 발명의 일실시예에 따른 수직적 맞춤절차와 수평적 맞춤절차를 이용하여 영상의 흐림반경을 추정하는 방법과 종래의 영상의 흐림반경을 추정하는 기술들인 Elder의 방법, Hu의 방법을 비교하여 나타낸 것이다. 오른쪽으로 갈수록 경계가 흐려지는 그림(a)은 각 방법을 사용하였을 때 영상의 흐림반경을 추정하는 정확도를 비교하기 위한 그림이다. 그림(a)은 영상의 흐림반경(

, Blur Radius)값으로 왼쪽에 표현된 가장 명확한 영상의 윤곽은 흐림반경이 0이다. 오른쪽으로 갈수록 흐림반경이 커져서 가장 흐려진 윤곽은 흐림반경값으로 10을 가진다. 그래프(b), 그래프(c)은 그림(a)을 이용해 Elder의 방법(Estimated by Elder's method), Hu의 방법(Estimated by Hu's method) 그리고 본 발명의 일실시예에 따른 방법(Estimated blur radii)을 사용하여 영상의 흐림반경 추정의 정확도를 비교하여 볼 수 있도록 나타낸 그래프이다. 그래프(b)를 보면 알 수 있듯이 Hu의 방법은

값을 잘못 선택하면 흐림반경값은 정확한 추정치를 가지지 못한다. 또한 영상의 흐림정도가 심한경우 Hu의 방법을 사용하기 위한 전제조건인

을 만족하기 힘들어 그래프(Estimated by Hu's method)에서 확인할 수 있듯이 흐림반경이 커질수록 흐림반경의 실제값과 예측치는 점점 오차가 커짐을 알 수 있다. Elder의 방법(Estimated by Elder's method)은 영상의 흐림반경이 증가하는 것은 예측하나 흐림반경의 변화가 크지 않은 경우 같은 흐림반경을 가지는 것으로 예측하여 그래프의 형태가 계단과 같은 형태를 가지고 정확한 흐림반경값을 예측하지 못한다.

그래프(Estimated blur radii)은 본 발명의 일실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정한 것이다. 종래의 영상의 흐림반경추정방법인 Elder의 방법(Estimated by Elder's method)과 Hu의 방법(Estimated by Hu's method)과 달리 영상의 흐림반경이 증가함에 따라 흐림반경의 예측치 또한 거의 실제의 흐림반경값과 유사하게 추정할 수 있다. 즉, 본 발명의 일실시예에 따르면, 종래에 사용되었던 영상의 흐림반경을 예측하는 방법보다 흐림반경을 더 정확하게 예측할 수 있고 영상의 미세한 흐림반경의 변화 역시 더 정확하게 감지할 수 있다.

실제의 영상을 복원하기 위해서는 영상의 흐림반경뿐만 아니라 영상을 흐려지게 하는 다른 원인인 영상의 Noise에 대해서도 알수 있어야 한다. 영상의 Noise는 감광판에 의해서 발생하기도 하고 기기내의 과열, 디지털카메라의 경우 영상의 압축과 복원과정에서도 생길 수 있다. 영상에 노이즈가 있다면 영상이 가진 흐림반경의 정확한 값 예측하는 것이 노이즈에 의해 방해받을 수 있다. 따라서 영상의 흐림반경을 추정하는 방법은 영상에 존재하는 Noise에 강한 특성을 가져야 한다.

도 9a, 9b, 9c, 9d는 영상에 가우시안 노이즈(Gaussian Noise)를 0.5%(도 9a), 1%(도 9b), 2%(도 9c), 3%(도 9d)씩 점차적으로 부과한 후, Elder의 방법과 Hu의 방법, 그리고 본 발명의 일실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정한 것을 비교한 그래프이다.

도 9a, 9b, 9c, 9d의 그래프(b)는 Hu의 방법과 Elder의 방법을 사용하여 가우시안 노이즈가 0.5%에서 3%로 점차 증가함에 따라 영상의 흐림반경을 추정하는 것을 나타낸 그래프이다. 그래프에서 확인 할 수 있듯이 Hu의 방법은 영상의 흐림반경을 추정함에 있어 Noise에 약한 특성을 가진다. 가우시안 노이즈가 작을 때는 조금씩이라도 흐림반경 추정값이 증가하는 모습을 확인할 수 있지만 가우시안노이즈의 정도가 증가할수록 영상의 흐림반경값을 전혀 추정하지 못함을 볼 수 있다.

Elder의 방법은 영상의 흐림반경이 작을 때에는 가우시안 노이즈에 강한 특성을 보이지만 영상의 흐림반경이 커질수록 가우시안 노이즈의 영향을 많이 받아 영상의 흐림반경을 예측한 수치의 오차가 점점 커짐을 확인 할 수 있다. 또한 가우시안 노이즈가 많아 질수록 추정치가 발산하는 모습을 가지면서 영상의 흐림반경추정치의 오차가 커지는 모습을 보인다.

도 9a, 9b, 9c, 9d의 그래프(a)는 본 발명의 일실시예에 따른 방법을 사용하여 가우시안 노이즈 변화에 따른 영상의 흐림반경예측 정도를 나타낸 그래프이다. 본 발명 역시 가우시안 노이즈의 영향을 받기는 하지만 오차의 정도는 Hu의 방법과 Elder의 방법에 비하여 그 영향을 받는 정도가 상당히 감소함을 확인할 수 있다. 즉, 본 발명은 실제의 영상에 노이즈가 있을 때에도 기존의 방법들과 비교하여 정확하게 흐림반경을 예측함으로써 노이즈에 강한 특성을 가진다.

도 10은 본 발명의 일실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경 추정치를 이용하여 흐려진 영상을 보정하는 방법을 나타내는 순서도이다.

도 10을 참조하면, 실제 사물의 이미지나 영상을 영상신호형태로 변환한 영상데이타를 제공받는다(단계 1000). 제공받은 영상데이타값을 분석하여 제공받은 영상의 흐림정도를 예측하기 위해 사용되는 영상의 흐려진 윤곽(Blurred Edge)를 표현하기 위하여 오차함수(erf, Error Function)의 형태로 모델링한 함수에 포함되는 미지수 값인

와

값을 수학식 8을 이용해 예측한다(단계 1010). 예측된

와

값을 기초로 수학식 12를 이용해

,

값을 예측한다(단계 1020). 예측된

,

값을 기초로

와

값을 수학식 16을 이용해 예측한다(단계 1030). 단계 1020, 1030, 1040을 다시 반복해서 새로운

(Blur Radius, 흐림반경)값을 얻어낼 것인지를 판단한다(단계 1040). 단계 1020, 1030, 1040을 다시 반복하여 새로운

(Blur Radius, 흐림반경)값을 얻어낼 경우 단계 1020으로 돌아가 다시

,

값을 추정하는 절차를 실시하고, 다시 반복하지 않을 경우 마지막

값을 이용해 영상의 흐림을 제거한다(단계 1050).

도 11은 본 발명의 다른 실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정한 값을 이용해 영상을 보정하는 방법을 나타내는 순서도이다.

도 11을 참조하면, 도 10과 달리 영상을 제공받는 단계(1101)과 영상의 윤곽의 흐린 정도를 모델링한 오차함수(Erf)의

,

값을 수학식 8을 이용해 예측하는 단계(1109)사이에 추가적인 단계가 포함될 수 있다.

단계 1101을 통해 제공받은 영상은 사용자의 선택에 따라 영상의 보정여부를 결정할 수 있고 또한 사용자의 선택에 의해 영상을 보정할 수 있는 장치에 의해 자동적으로 영상의 흐림정도가 판단되어 보정을 할 수 있다. 사용자는 사용자인터페이스와 같은 입력수단을 이용해 영상을 보정할 정도를 선택할 수 있다(단계 1103). 단계 1103에서 사용자는 보정할 정도를 선택함으로써 결정된 사용자의 보정요구정도에 따라 도 10과 동일한 영상보정 절차인 단계 1109, 1111, 1113 절차의 반복의 횟수를 달리 할 수 있어 흐림반경값을 추정함에 있어 정확도를 달리할 수 있다. 또한 제공받은 영상의 흐림정도를 판단하여 자동적으로 영상보정장치에서 영상보정정도를 선택할 수 있다.

단계 1103를 통해 흐려진 영상의 보정정도를 선택함에 있어 사용자가 영상보정을 원하지 않는 경우 바로 영상을 출력할 수 있다(단계 1105, 단계 1121)

또한 단계 1103의 사용자의 영상보정 요구정도 또는 영상보정장치에 의해 판단된 영상의 흐림정도에 따라 제공받은 영상데이타에서 윤곽추출(Edge Detection)의 정도를 달리 하여 흐림이 많이 발생한 영상은 윤곽추출을 많이 하여 영상의 위치에 따라 달라질 수 있는 영상의 흐림반경 추정치를 더욱 정확히 판단할 수 있도록 할 수 있다. (단계 1107)

단계 1107 후 흐려진 영상의 윤곽에 대한 정보에 기초해 상기 도 10에서와 동일한 절차를 반복하여

,

값을 추정한다 (단계 1109, 1111, 1113). 단계 1103를 통해 선택된 보정의 정도에 따라 단계 1109, 1111, 1113를 반복하는 횟수를 달리하기 때문에 사용자가 선택한 보정정도에 따라, 단계 1109, 1111, 1113를 반복하는 횟수를 만족하였는지를 판단한다(단계 1115). 단계 1115을 통해 단계 1109, 1111, 1113를 반복하는 횟수가 만족된 경우 단계 1109, 1111, 1113를 반복함에 따라 도출된 영상의 흐림반경값(

)이 수렴하는지 여부와 수렴의 정도를 판단해 영상의 흐림반경의 정확도를 추정할 수 있다. 만약에 흐림반경값(

)이 수렴하지 않는 경우 영상데이터에서 윤곽추출(Edge Detection)절차를 다시 실시해 올바른 흐림반경값을 구할 수 있도록 한다(단계 1117).

단계 1117의 판단을 통해 흐림반경값(

)이 수렴하는 경우, 수렴된 흐림반경값을 이용해 흐려진 영상을 보정할 수 있다(단계 1119). 영상촬영장치에 영상을 표시할 수 있는 화면표시장치가 있을 때 화면표시장치를 통해 보정된 영상을 출력하여 사용자가 보정된 영상을 확인 할 수 있다(단계 1121).

도 12는 본 발명의 일실시예에 따른 흐려진 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 장치를 나타낸 블록도이다.

도 12를 참조하면, 흐려진 영상을 보정하는 장치는 제어부(1210), 영상제공부(1220), 흐림반경추정부(1230), 흐림제거부(1240), 영상출력부(1250), 및 사용자인터페이스(1260)를 포함할 수 있다.

영상제공부(1220)은 영상을 보정하는 장치의 외부에 존재하는 실제의 사물들로부터 광학적 신호인 영상을 제공받고 제공된 영상을 영상을 보정하는 장치가 처리할 수 있는 영상신호의 형태로 변환할 수 있다. 영상제공부(1220)는 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 센서로 구현될 수 있다.

흐림반경추정부(1230)은 영상제공부(1220)로부터 받은 영상에 대한 정보를 이용해 영상의 흐림반경을 추정할 수 있다. 흐림반경추정부(1230)에서는 본 발명의 일실시예에 따른 수직적 맞춤방법 및 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정할 수 있다. 또한 흐림반경추정부(1230)에서 영상의 윤곽추출(Edge Detection)을 할 수도 있다.

흐림제거부(1240)은 도 12에서는 흐림반경추정부(1230)와 별개의 블록으로 도시하였으나 흐림반경추정부(1230)과 함께 동일한 블록내에서 구현될 수도 있다. 흐림제거부(1240)는 흐림반경추정부(1230)에 의해 추정된 영상의 흐림반경을 이용해 영상에 존재하는 흐림을 제거할 수 있다.

영상출력부(1250)는 흐림이 제거된 영상을 출력하거나 사용자가 영상에 존재하는 흐림을 제거하기를 원하지 않는 경우 영상제공부에서 제공된 영상을 영상보정장치의 사용자가 시각정보로 확인할 수 있도록 할 수 있다.

사용자인터페이스(1260)은 사용자가 보정여부나 보정의 정도를 결정하는데 활용 될 수 있고 사용자가 영상에 대한 정보를 입력할 수 있다. 또한 영상보정장치의 기계적인 조작을 할 수 있으며 기타 영상을 처리하는데 필요한 제어를 사용자가 할 수 있도록 하는 것이 바람직하다.

제어부(1210)는 영상제공부(1220), 흐림반경추정부(1230), 흐림제거부(1240), 영상출력부(1250), 사용자인터페이스(1260)를 통해 입출력되는 정보를 활용하여 영상보정장치의 작동을 제어할 수 있다.

상기에서는 수평적 맞춤방법을 먼저 적용한 후 수직적 맞춤방법을 적용하는 경우를 예로 들어 설명하였으나, 본 발명은

,

를 먼저 추정하는 수직적 맞춤방법을 먼저 적용한 후

,

를 추정하는 수평적 맞춤방법을 적용하는 경우에도 적용할 수 있음은 물론이다. 또한, 상기에서는 수평적 맞춤방법 및 수직적 맞춤방법을 적용하는 경우를 예로 들어 설명하였으나, 본 발명은 수평적 맞춤방법 및 수직적 맞춤 방법에 한정되는 것은 아니며 서로 다른 임의의 2가지 방향에 따른 맞춤 방법을 적용하는 경우에도 적용할 수 있음은 물론이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법에 있어서,
영상데이타를 제공받는 단계; 및
상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 포함하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제1항에 있어서, 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 제공된 영상의 윤곽 데이터와 상기 오차함수의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제2항에 있어서, 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는
상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림 정도를 모델링한 오차함수와 상기 제공된 영상의 흐림에 관한 데이터값을 이용해 제1 방향을 따라서 구하는 단계; 및
상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림 정도를 모델링한 오차함수와 상기 제공된 영상의 흐림에 관한 데이터값을 이용해 제2 방향을 따라서 구하는 단계를 포함하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제3항에 있어서, 상기 제1 방향은 수평 방향이고, 상기 제2 방향은 수직 방향인 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제1항에 있어서, 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐려진 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는,
상기 흐려진 영상의 윤곽(Blurred Edge)를 표현하는 함수의 세기(Intensity)값을 나타내는 제1 변수값
과 제2 변수값
를 예측하는 1단계;
상기 예측된 제1 변수값
및 제2 변수값
와 상기 제공받은 영상데이타로부터 상기 영상의 흐려진 윤곽(Blurred Edge)의 중심을 나타내는 제3 변수값
, 상기 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 제4 변수값
을 도출하는 2단계;및
상기 2단계를 통해 도출된
,
와 상기 제공받은 영상데이타로부터 상기 예측된 제1 변수값
및 제2 변수값
를 재추정하는 3단계를 포함하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제5항에 있어서, 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐려진 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는,
상기 3단계 종료 후 상기 2단계로 돌아가 상기 3단계를 통해 상기 재추정된 제1 변수값
및 제2 변수값
를 이용해 상기 2단계와 상기 3단계 절차를 소정의 횟수로 반복하는 4단계를 포함하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제5항에 있어서, 제3 변수값
, 제4 변수값
을 도출하는 2단계는,
상기 예측한 제1 변수값
와 제2 변수값
을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제1 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제 5항에 있어서, 상기 예측된 제1 변수값
및 제2 변수값
를 재추정하는 3단계는,
상기 예측한 제3 변수값
, 제4 변수값
을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제2 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
제1항에 있어서, 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은,
상기 영상데이타를 제공받는 단계 후 사용자에 의해 영상을 보정할 정도를 선택받는 단계;및
상기 사용자에 의해 영상을 보정할 정도를 선택받는 단계 후 상기 제공받은 영상데이타에서 영상의 경계를 검출하는 단계를 더 포함하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상 보정 방법.
제1항에 있어서, 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은,
상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 통해 추정된 흐림반경을 이용하여 영상의 흐림을 제거하는 단계;및
상기 추정된 흐림반경을 이용하여 흐림이 제거된 영상을 출력하는 단계를 더 포함하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상 보정 방법.
제1항에 있어서, 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은,
상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 통해 추정된 흐림반경이 수렴하는지 여부에 대한 판단과 상기 흐림반경에 대한 추정을 반복함에 따라 흐림반경이 수렴하는 정도를 이용하여 상기 흐림 반경을 추정하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법.
영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상 보정 장치에 있어서,
영상을 제공하는 영상제공부;
상기 영상제공부로부터 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 흐림추정부를 포함하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상 보정 장치.
제12항에 있어서, 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상보정장치는,
상기 흐림추정부에 의해 추정된 흐림반경을 기초로 영상의 흐림을 제거하는 흐림제거부;
상기 흐림제거부로터 흐림이 제거된 영상을 출력하는 영상출력부;
상기 영상을 보정하는 영상보정장치의 동작을 제어하는 제어부; 및
상기 제어부의 동작을 지시하거나 상기 흐려진 영상을 보정하는 장치의 이용여부를 결정하기 위해 사용자가 제어할 수 있는 사용자 인터페이스를 더 포함하는 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상 보정 장치.
제12항에 있어서, 상기 흐림추정부는 상기 제공된 영상의 윤곽 데이터와 상기 영상의 흐림정도를 모델링한 오차함수의 형태로 표현한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상 보정 장치.
제 14항에 있어서, 상기 흐림추정부는
상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림정도를 모델링한 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값을 이용해 제1 방향을 따라서 구하고 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림정도를 모델링한 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값을 이용해 제2 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정장치.
제 15항에 있어서, 상기 제1 방향은 수평 방향이고, 상기 제2 방향은 수직 방향인 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정장치.
제12항에 있어서, 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 흐림추정부는 상기 흐려진 영상의 윤곽(Blurred Edge)를 표현하는 함수의 세기(Intensity)값을 나타내는 제1 변수값
과 제2 변수값
를 예측하고 상기 예측된 제1 변수값
및 제2 변수값
와 상기 제공받은 영상데이타로부터 상기 영상의 흐려진 윤곽(Blurred Edge)의 중심을 나타내는 제3 변수값
, 상기 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 제4 변수값
을 도출하며 상기 도출된 제3 변수값
, 제4 변수값
과 상기 제공받은 영상데이타로부터 상기 예측된 제1 변수값
및 제2 변수값
를 재추정하여 상기 재추정된 제1 변수값
및 제2 변수값
를 이용해 제3 변수값
및 제4 변수값
을 재추정하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정장치.
제17항에 있어서, 상기 제3 변수값
및 상기 제4 변수값
는,
상기 예측한 제1 변수값
와 제2 변수값
을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제1 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정장치.
제17항에 있어서, 상기 예측된 제1 변수값
및 제2 변수값
를 재추정함에 있어서,
상기 예측한 제3 변수값
, 제4 변수값
을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제2 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정장치.
영상의 흐림반경을 추정하는 방법에 있어서,
영상데이타를 제공받는 단계; 및
상기 제공된 영상의 윤곽 데이터와 오차함수의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정하는 단계를 포함하는 영상의 흐림반경을 추정하는 방법.