KR101152525B1 - 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치 - Google Patents

Abstract

모션 블러 제거 방법 및 이러한 방법을 수행하는 장치가 개시되어 있다. 비균일 모션 블러를 제거하는 방법은 비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하는 단계, 비균일 모션 블러 영상 및 상기 제1 레이턴트 영상을 정합하여 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 비균일 모션 블러 정보를 추정하는 단계와 추정된 비균일 모션 블러 정보를 기초로 비균일 블러가 제거된 제2 레이턴트 영상을 추정하는 단계를 포함할 수 있다. 따라서, 비균일 모션 블러가 포함된 영상에서 비균일 모션 블러를 추정하여 제거할 수 있고, 종래의 비균일 모션 블러를 제거할 수 없는 블러 예측 및 제거 방법보다 정확하게 영상에 발생한 비균일 모션 블러를 추정하여 블러가 발생한 영상을 더 선명하게 복원할 수 있다.

Description

모션 블러 제거 방법 및 이러한 방법을 수행하는 장치{METHODS OF REMOVING MOTION BLUR AND APPARATUSES FOR THE SAME}

본 발명은 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치에 관한 것으로 더욱 상세하게는, 영상에 발생한 블러를 제거하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.

블러 현상은 영상 획득 장치를 이용하여 영상을 획득하는 과정에서 흔히 발생할 수 있는 현상으로 영상의 품질을 저하시키는 주요한 원인 중 하나이다.

어두운 실내나 저녁 무렵의 야외와 같이 광량이 부족한 환경에서 카메라 등의 장치를 이용하여 영상을 획득하는 경우, 선명한 영상을 얻기 위해서는 충분한 광량이 있어야 하고 이를 위해 영상 센서를 빛에 오래 노출시켜야 한다. 그러나 노출 시간이 길어지면 영상 센서의 흔들림으로 인해 획득한 영상에 블러가 발생하게 된다.

이외에도 카메라나 캠코더를 사용하여 촬영된 영상이 흐려지는 블러 현상은 카메라의 초점이 피사체의 거리와 불일치하거나 장시간의 CCD노출, 촬영시 손떨림 현상 또는 전기적 원인 등과 같은 다양한 요인에 의해 발생하거나 피사체의 빠른 움직임 또는 대기의 불안정과 같은 외부의 요인으로 인해 발생할 수 있다. 이와 같이 다양한 이유로 흐려진 영상을 보정하는 디블러링(De-Blurring)기술은 영상 촬영 장치나 디스플레이 장치 또는 프로젝터와 같이 영상을 입력받고 출력하는 장치에 필수적인 기술이다.

블러 현상을 제거하기 위해 그 동안 많은 연구가 있었지만, 영상에서 블러를 제거하는 것은 여전히 해결하기 어려운 문제이다. 이는 영상으로부터 블러를 추정하고 제거하는 문제가 주어진 정보의 양에 비해 알아내야 하는 정보의 양이 더 많이 필요하기 때문이다.

종래의 대부분의 해결책들은 상기와 같은 문제를 해결하기 위해 영상의 각 픽셀이 모두 같은 방식으로 흔들린 균일 블러를 가진다고 가정하여 문제를 해결하였다.

Ytizhakey 등은 그의 눈문인 "Direct method for restoration of motion-blurred images"(YTIZHZKEY, Y., MOR, I., A., And KOPEIKA, N. S., Journal of Opt. Soc. Am. A. 15, 6, 1512-1519)에서 영상이 등방성을 가질 것이라는 가정을 이용하여 2D 벡터로 표현될 수 있는 블러를 추정하였다.

Rav-Acha와 Peleg 등은 그의 논문인 "Two motion-blurred images are better than one."(RAV-ACHA, A., AND PELEG, S. 2005. Pattern Recognition Letters 26, 311??317.)에서 두 장의 블러가 있는 영상을 이용하여 블러를 추정하는 방법을 제시하였으며, Yuan 등은 "Image deblurring with blurred/noisy image pairs."(YUAN, L., SUN, J., QUAN, L., AND SHUM, H.-Y. 2007. ACM Trans. Graphics 26, 3, 1.)에서 블러는 없지만 노이즈가 있는 영상과 블러가 있는 영상을 이용하여 블러를 추정하고 제거하는 방법을 제시하였다.

Money와 Kang은 "Total variation minimizing blind deconvolution with shock filter reference."(MONEY, J. H. AND KANG, S. H. 2008. Image and Vision Computing 26, 2, 302??314.)에서 블러가 있는 영상에 쇼크 필터(shock filter)를 적용하여 선명한 에지(sharp edges)를 복원한 후, 이를 이용하여 가우시안 블러(Gaussian blur) 및 2D 벡터로 표현 가능한 블러를 추정하는 방법을 제시하였다.

최근에는 한 장의 영상으로부터 적은 수의 파라미터로 표현 가능한 모션 블러 보다 일반적인 블러를 추정하고 제거하는 방법들이 소개되었다. Fergus 등은 "Removing camera shake from a single photograph."(FERGUS, R., SINGH, B., HERTZMANN, A., ROWEIS, S. T., AND FREEMAN, W. 2006. ACM Trans. Graphics 25, 787??794.)에서 일반적인 영상이 갖는 통계적인 특성을 이용하여 블러를 추정하는 방법을 제시하였으며, Jia는 "Single image motion deblurring using transparency."(JIA, J. 2007. In Proc. CVPR 2007, 1??8.)에서 영상에서 블러가 발생된 영역에 대한 정보를 알파 매트(alpha matte) 기법을 이용하여 알아낸 후 영상의 블러를 제거하는 방법을 제시하였다.

그러나, Fergus 등이 그의 논문에서 제시한 방법은 통계적 모델의 복잡도로 인하여 좋은 결과를 내기 힘들고 많은 시간이 소모된다는 단점이 있으며, Jia가 그의 논문에서 제시한 방법의 경우 알파 매트 기법의 결과에 매우 의존적이기 때문에 정확한 알파 매트를 구할 수 있어야만 만족스러운 결과를 얻을 수 있다는 단점이 있다.

Shan 등은 "High-quality motion deblurring from a single image."(SHAN, Q., JIA, J., AND AGARWALA, A. 2008. ACM Trans. Graphics 27, 73.)에서 Fergus 등이 제시한 일반적인 영상이 갖는 통계적 특성을 보다 계산하기 쉬운 형태로 제시하여 이를 이용한 블러의 추정 및 제거를 수행하는 방법을 제시하였다. 그러나, 한 장의 영상을 처리하는데 수 분에서 십여 분 이상의 처리 시간을 필요로 하기 때문에 실용적으로 사용하기 어려운 단점이 있다.

이를 극복하기 위해 Cho와 Lee는 "Fast Motion Deblurring."(CHO, S. AND LEE, S. 2009. ACM Trans. Graphics (SIGGRAPH ASIA 2009) 28, 5.)에서 에지 예측 기법을 도입하여 블러 추정 및 제거에 소요되는 처리 시간을 수십 배 이상 빠르게 개선하였고, 처리 시간을 수 초 이내로 줄였다.

이러한 방법들은 모두 영상의 모든 픽셀들이 같은 방식으로 흔들렸다는 균일 블러 현상을 가정하였다. 그러나 실제로는 카메라의 회전에 의한 흔들림 등에 의해 비균일 블러가 쉽게 발생할 수 있으며, 기존의 방법들은 이러한 비균일 블러를 처리하지 못한다는 단점이 있다.

기존 블러 추정에 관한 연구들은 균일 모션 블러를 가정하고 있기 때문에, 영상 전체가 카메라의 평행 이동에 의해 생기는 균일 모션 블러를 가질 때에만 선명한 영상을 얻을 수 있다는 단점이 있다. 하지만 대부분의 일반적인 경우에는 영상의 각 픽셀들이 카메라의 병진 움직임(translational motion) 뿐 아니라 회전 움직임(rotational motion)에 의해 서로 다른 방향과 크기의 블러를 포함하게 되는 비균일 모션 블러를 띄게 되며, 따라서 균일 모션 블러를 가정하는 기존의 기술들은 비균일 모션 블러를 가지는 영상에서 블러를 제거하기 어렵다.

따라서, 본 발명의 제1 목적은 비균일 모션 블러를 포함하는 영상에서 블러를 제거하는 방법이다.

또한, 본 발명의 제2 목적은 비균일 모셜 블러를 포함하는 영상에서 블러를 제거하는 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 비균일 모션 블러를 제거하는 방법은 비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하는 단계와 상기 비균일 모션 블러 영상 및 상기 제1 레이턴트 영상을 정합하여 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 비균일 모션 블러 정보를 추정하는 단계와 상기 추정된 비균일 모션 블러 정보를 기초로 상기 비균일 모션 블러 영상에서 비균일 모션 블러가 제거된 제2 레이턴트 영상을 추정하는 단계를 포함할 수 있다. 상기 비균일 모션 블러를 제거하는 방법은 상기 제2 레이턴트 영상 및 상기 비균일 모션 블러 영상을 정합하여 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 비균일 블러 정보를 재추정하는 단계를 더 포함할 수 있다. 상기 비균일 모션 블러를 제거하는 방법은 상기 비균일 모션 블러 영상의 해상도를 변화시켜 상기 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 상기 비균일 블러 정보를 추정할 수 있다. 상기 비균일 모션 블러를 제거하는 방법은 상기 비균일 모션 블러 영상을 입력받는 단계와 상기 추정된 제2 레이턴트 영상을 출력하는 단계를 더 포함할 수 있다. 상기 제1 레이턴트 영상은 상기 비균일 모션 블러 영상에서 에지만을 남긴 후 그라디어트 맵을 이용하여 추정된 것일 수 있다.

또한 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 비균일 모션 블러를 제거하는 장치는 비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하는 영상 예측부, 상기 제1 레이턴트 영상 및 상기 비균일 모션 블러가 포함된 영상을 기초로 호모그라피 정보 및 상기 호모그라피에 대한 가중치 정보를 포함하는 비균일 모션 블러 정보를 추정하고, 상기 추정된 비균일 모션 블러 정보를 기초로 추정된 제2 레이턴트 영상 및 상기 비균일 모션 블러가 포함된 영상을 기초로 상기 비균일 모션 블러 정보를 재추정하는 블러 정보 추정부를 포함할 수 있다. 상기 비균일 모션 블러를 제거하는 장치는 상기 블러 정보 추정부를 통해 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러 영상을 상기 비균일 모션 블러 영상에서 비균일 모션 블러가 제거된 제2 레이턴트 영상으로 복원하는 영상 복원부를 더 포함할 수 있다. 비균일 모션 블러를 제거하는 장치는 상기 비균일 모션 블러 영상의 해상도를 변화시켜 상기 비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하고 상기 제1 레이턴트 영상 및 상기 비균일 모션 블러 영상을 기초로 호모그라피 정보 및 상기 호모그라피에 대한 가중치 정보를 포함하는 비균일 모션 블러 정보를 추정하여 상기 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러 영상을 제2 레이턴트 영상으로 복원할 수 있다. 상기 비균일 모션 블러를 제거하는 장치는 상기 비균일 모션 블러가 포함된 상기 비균일 모션 블러 영상을 상기 영상 예측부에 제공하는 입력부와 상기 추정된 비균일 블러 정보를 기초로 상기 비균일 모션 블러 영상을 제거된 제2 레이턴트 영상을 출력하는 출력부를 더 포함할 수 있다. 상기 입력부는 상기 비균일 모션 블러 영상이 해상도를 달리하여 상기 영상 예측부에 상기 비균일 모션 블러 영상을 제공할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치는 비균일 모션 블러가 포함된 영상에서 비균일 모션 블러를 추정하여 제거할 수 있고, 종래의 비균일 모션 블러를 제거할 수 없는 블러 예측 및 제거 방법보다 정확하게 영상에 발생한 비균일 모션 블러를 추정하여 블러가 발생한 영상을 더 선명하게 복원할 수 있다.

도 1은 본 발명의 일실시예에 따른 비균일 모션 블러 제거 방법을 나타내는 순서도이다.
도 2는 영상의 정합을 이용한 비균일 모션 블러 정보 추정하는 단계 130을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 영상의 비균일 모션 블러 제거 방법에서 서로 다른 스케일에서 추정된 비균일 모션 블러 정보를 나타낸다.
도 4는 본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법으로 블러 제거를 수행한 결과를 나타낸다.
도 5는 본 발명의 일실시예에 따른 비균일 모션 블러를 예측하여 영상을 복원하는 단계별 영상을 나타낸 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하 본 발명의 실시예에서는 본 발명에서 제시한 비균일 모션 블러를 제거하는 방법을 사용하여 비균일 모션 블러가 제거된 영상의 경우 제2 레이턴트 영상이라는 용어로 표현하고, 본 발명에서 제시한 비균일 모션 블러를 제거하는 방법을 사용하기 위해 비균일 모션 블러가 포함된 비균일 모션 블러 영상과 정합하는 단계에 필요한 종래의 비균일 모션 블러 영상에서 비균일 모션 블러를 제거하는 방법을 통해 산출된 영상을 제1 레이턴트 영상으로 구분하여 표현한다.

또한 이하 본 발명의 실시예에서는 비균일 모션 블러를 제거하기 위해 입력되는 영상을 비균일 모션 블러 영상이라고 정의한다.

일반적으로 영상에 존재하는 모션 블러는 수학식 1과 같이 표현될 수 있다.

수학식 1에서 B는 블러가 포함된 영상(blurred image)를 의미하고, K는 영상의 블러 정보를 나타내는 모션 블러 커널(blur kernel) 또는 점 확산 함수(PSF: Point Spread Function)를 의미하며, L은 레이턴트 영상(latent image) 즉, 블러가 없는 영상을 의미한다. 또한, N은 영상 획득 과정에서 도입된 알 수 없는 잡음을 의미하고, *는 컨볼루션 연산자(convolution operator)를 의미한다.

상기 수학식 1은 아래의 수학식 2와 같은 벡터 형태의 식으로 표현될 수 있다.

수학식 2에서 b, l, n은 각각 수학식 1에서 B, L, N의 벡터 표현을 의미한다. 여기서 Ti는 시점 ti에서 카메라의 병진 움직임(Translational Motion)을 대표하는 행렬식이며, wi는 ti에서 카메라가 멈추어 있는 시간의 상대적인 길이(단,

)를 의미하며, 즉, 시점 ti에서 카메라의 노출 시간을 의미한다.

수학식 2가 의미하는 바는 블러 영상(b)은 카메라가 움직인 경로상의 각 지점(Ti)에서의 레이턴트 영상(l)의 합으로 표현된다는 것이다. 수학식 1 및 수학식 2는 동일한 모델을 다른 표현 방법으로 나타낸 것이다.

종래의 방법들은 수학식 1 또는 수학식 2의 모션 블러 모델에 근거하여 레이턴트 영상(l)을 계산한다. 결과적으로 레이턴트 영상 추정을 위한 블러 모델 자체가 영상의 모든 픽셀들이 균일하게 움직인 경우를 가정하고 있기 때문에 카메라의 병진 움직임 외에 회전 움직임(rotational motion)에 의해 발생하는 비균일 모션 블러를 제거할 수 없다는 한계가 있다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에서는 비균일 모션 블러를 표현할 수 있는 다른 모델에 기초하여 비균일 모션 블러 제거 방법을 제공한다.

카메라의 흔들림이 비병진 움직임(non-translational motion)을 나타내는 경우, 수학식 1의 형태로는 이러한 비병진 움직임을 표현하기 어렵다. 호모그라피(Homography)는 두 평면 사이의 기하학적 사영 관계를 산출하는 방법으로 호모그라피를 이용하여 카메라의 병진 움직임 외에 회전 움직임(rotational motion)을 반영한 영상 사이의 관계를 구할 수 있다.

호모그라피(homography)는 사영 변환(projective transform)이라는 용어로도 사용될 수 있다. 호모그라피는 3차원 상의 한 평면이 서로 다른 평면상으로 사영(projection)되었을 경우, (예를 들어, 3차원 상의 평면이 서로 다른 위치의 카메라로 찍혀서 사영되었을 경우) 이 두 사영된 평면 간에 좌표 변화를 기술해 주는 변환이다. 비균일 모션 블러에서는 찍히는 장면이 3차원 상의 평면이라고 가정하고, 이 평면을 카메라로 찍을 때, 카메라가 흔들려서 서로 다른 위치에 사영되기 때문에, 이를 다루기 위하여 호모그라피를 사용하여 표현할 수 있다.

회전 움직임과 같은 비병진 움직임은 수학식 2에서 Ti를 호모그라피 Pi로 치환하여 얻을 수 있다. 수학식 2에서 Ti를 호모그라피 Pi로 치환하여 얻어진 카메라의 비균일 모션 블러 효과를 기술하는 비균일 모션 블러 모델은 수학식 3과 같다.

본 발명의 일실시예에 따른 영상의 비균일 블러 제거 방법에서는 상기 수학식 3을 이용하여 블라인드 모션 디블러링(Blind Motion Deblurring)을 수행한다. 블라인드 모션 디블러링은 입력된 영상 b만을 이용하여 레이턴트 영상 l과 비균일 모션 블러 정보(Pi,wi)를 추정한다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에서는 수학식 3을 만족하는 비균일 모션 블러 정보(Pi,wi)와 제2 레이턴트 영상을 구하기 위해서 비균일 모션 블러 영상에서 기존의 레이턴트 영상 예측 방법을 사용하여 제1 레이턴트 영상을 추정하고, 추정된 제1 레이턴트 영상과 비균일 모션 블러 영상을 기초로 비균일 모션 블러 정보를 추정한다. 추정된 비균일 모션 블러 정보를 이용하여 제2 레이턴트 영상을 추정한다. 추정된 제2 레이턴트 영상은 다시 비균일 모션 블러 영상을 기초로 비균일 모션 블러 정보를 추정하는데 사용될 수 있고 재추정된 비균일 모션 블러 정보를 기초로 다시 제2 레이턴트 영상을 추정할 수 있다.

제2 레이턴트 영상을 이용하여 다시 비균일 모션 블러 정보를 추정하고 재추정된 비균일 모션 블러 정보를 이용하여 다시 제2 레이턴트 영상을 추정하는 반복 처리 과정(iterative process)를 통해 비균일 모션 블러 정보를 포함 하는 P와 w의 정확도를 점진적으로 개선(refine)하여 비균일 모션 블러를 효과적으로 제거할 수 있다.

비균일 모션 블러가 제거된 최종 제2 레이턴트 영상은 최종적으로 계산된 비균일 모션 블러 정보 (P, w)와 주어진 비균일 모션 블러가 포함된 영상 b를 이용하여 얻어진다. 제2 레이턴트 영상 추정 및 비균일 모션 블러 정보 추정을 번갈아 가면서 반복적으로 최적화하는 과정에서 추정된 중간 제2 레이턴트 영상은 비균일 모션 블러가 제거된 최종 영상에 직접적인 영향을 미치지 않고, 비균일 모션 블러 정보 (P, w) 추정에 누적하여 영향을 미침으로써 비균일 모션 블러가 제거된 최종 선명한 영상에는 간접적으로 영향을 미칠 수 있다.

본 발명의 일 실시 예에 따른 영상의 비균일 모션 블러 제거 방법에서 비균일 모션 블러 정보 추정은 영상 정합(image registration)을 이용하여 수행된다.

영상의 정합 (image registration)은 같은 장면(scene)을 담은 두 영상이 있을 때, 두 영상이 카메라의 이동이나 회전 등으로 인해 같은 장면이 어긋나게 담겨 있는 경우, 이것을 맞춰주는 과정이다. 즉, 한 영상이 다른 영상을 시계방향으로 1도 돌린 영상이라고 할 때, 두 영상을 비교하여 하나의 영상이 다른 영상에 비해 시계 방향으로 1도가 돌아간 영상이라고 판단할 수 있다.

본 발명의 일실시예에 따르면 두 영상간의 관계를 나타내기 위해 호모그라피를 사용하고 영상 정합을 통해서 호모그라피를 구할 수 있다.

비균일 모션 블러를 표현하는 정보는 호모그라피 정보와 해당 호모그라피의 가중치 정보가 포함될 수 있다.

본 발명의 일실시예에 따르면 처음으로 비균일 모션 블러 정보를 구하기 위해서는 비균일 블러 정보가 포함된 영상에서 기존의 레이턴트 영상을 구하는 방법을 사용하여 제1 레이턴트 영상을 이용할 수 있다. 이후에는 산출된 비균일 모션 블러 정보를 기초로 본 발명에서 개시된 비균일 모션 블러 예측 방법을 사용하여 추정된 제2 레이턴트 영상을 이용하여 비균일 모션 블러 정보를 추정할 수 있다.

제1 레이턴트 영상 l이 주어진 경우, 먼저 비균일 모션 블러를 표현하는 호모그라피 P를 계산한다. 호모그라피를 계산하기 위해 수학식 3을 재배열하여 아래의 수학식 4를 얻는다.

수학식 4에서 하나의 호모그라피 Pi를 계산하기 위해, 좌변의

와 우변의

사이의 차이를 최소화하는 호모그라피(Pi)를 영상 정합 방법을 적용하여 계산한다.

본 발명의 일실시예에 따르면 호모그라피를 추정하기 위해 수학식 4에 처음에 사용되는 레이턴트 영상은 기존의 비균일 모션 블러 영상에서 레이턴트 영상을 예측하는 방법을 사용하여 입력된 제1 레이턴트 영상이고 그 이후 수학식 4에 입력되어 호모그라피를 추정하기 위해 입력되는 레이턴트 영상은 본 발명의 실시예에 따른 비균일 모션 블러를 제거하는 방법에 의해 비균일 모션 블러가 제거된 제2 레이턴트 영상이다.

전체 호모그라피 집합 P를 계산하기 위해, 상기 수학식 4에서 각각의 호모그라피 Pi는 전체 호모그라피 중의 하나로 번갈아 가며 선택되어 모든 호모그라피들을 계산한다.

전체 호모그라피 P를 계산한 후에는, 계산된 호모그라피 P를 이용하여 호모그라피의 가중치 w를 계산하며, 가중치 w를 계산하기 위해 먼저 수학식 3을 다음 수학식 5과 같이 표현할 수 있다.

여기서,

이며, L은 크기가 mㅧn 인 행렬이다. 여기서 m은 영상의 픽셀의 개수이고, n은 호모그라피의 개수이다. 일반적으로 m >> n 이므로, 수학식 5에서 가중치 w는 0 이상의 값을 가져야 하기 때문에 비음수 최소제곱법(non-negative least square method)을 이용하여 해결할 수 있다. 비음수 최소제곱법을 이용하기 위해서 수학식 5을 아래의 수학식 6의 정규 방정식(normal equation) 형태로 표현하여 가중치 w를 계산한다.

수학식 6에서

는 괄호 안의 행렬식의 역행렬을 구할 때 역행렬이 존재하지 않는 문제를 해결하기 위한 정규화 파라미터이고, I는 단위 행렬(identity matrix)이다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에서 비균일 모션 블러 정보 추정은 상기 수학식 4 및 상기 수학식 6을 이용해 반복적으로 호모그라피 값과 가중치 값을 구하는 과정을 통해 현재 주어진 레이턴트 영상 l에 대응하는 최적화된 호모그라피 P와 가중치 w를 계산한다. 비균일 모션 블러 정보(P, w)의 추정은 레이턴트 영상 l이 업데이트 될 때마다 반복적으로 수행되며, 이러한 반복 처리 과정을 통해 최적화된 제2 레이턴트 영상 l과 그에 대응하는 비균일 모션 블러 정보(P, w)를 계산할 수 있다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에서 레이턴트 영상 추정 단계는 아래의 수학식 7을 풀어 제2 레이턴트 영상 l를 추정한다.

수학식 7에서

이며,

은

의 가중치이다.

는 벡터의 L-α 노름(norm)을 의미한다.

수학식 7에서 산출되는 레이턴트 영상은 본 발명의 실시예에 따른 비균일 모션 블러 영상에서 비균일 모션 블러를 제거한 제2 레이턴트 영상이다.

정규화 함수

에

,

는 영상의 유한차분(finite difference) 연산자 역할을 하는 행렬이다. 즉,

은 벡터 l에 해당하는 영상(벡터 l의 원소의 값들로 이루어진 영상)에서 x방향 유한차분을 구한 결과 영상의 픽셀 값으로 이루어진 벡터가 된다. 예를 들어, 벡터 l에 대응하는 영상을 L(x,y)라고 할 때, L(x,y)의 x방향 유한 차분 영상은 L_x(x,y) = L(x+1,y)-L(x,y) 와 같이 (또는 이와 비슷한 방식으로) 정의할 수 있다. 이 때,

은 영상 L_x에 대응하는 벡터가 된다.

수학식 7에서

은 수학식 3을 만족하는 해 l을 최소 자승법(Least-Square)를 이용하여 찾은 것이다.

이식을 푸는 것은 불안정한 해가 나올 수 있으므로 이를 방지하고 원하는 해를 얻기 위해 정규화(Regularization) 항

을 추가할 수 있다.

은 정규화 항의 가중치이고

은 l에 대한 정규화 함수이다.

일반적인 자연 영상에서는 평탄한 영역이 선명한 에지 영역보다 더 많은 영역을 차지하기 때문에 평탄한 영역에서의 잡음을 억제하는 것이 중요하며, 선명한 에지를 효과적으로 복원해 내는 것이 중요하다. 본 발명에서는 이러한 문제를 해결하기 위해서 스파스니스 프라이어(Sparseness prior)를 사용하며 이 때의 알파값은 을

를 사용한다.

스파스니스 프라이어는 영상 복원시 자주 사용되는 정규화항으로, 복원된 영상이 적은 수의 에지와 그 외의 부분은 평탄한 영역으로 이루어진 영상이 되도록 할 수 있다.

수학식 7에서 제2 레이턴트 영상 l은 반복적인 가중치-재계산 최소제곱법 (iterative reweighted least square method)에 의해 계산되며, 다음 수학식 8에서 정규화 항을 근사하여 계산된다.

수학식 8에서

와

는 대각 행렬 (diagonal matrix)로써 k번째 대각 원소가 각각

와

이다.

와

는 각각 벡터

과

의

번째 원소를 의미한다. 상기 수학식 8을 해결하여 제2 레이턴트 영상 l을 계산하기 위해서 켤레 구배법(conjugate gradient method)을 다음 수학식 9에 적용한다.

수학식 9에서

이다.

본 발명의 일실시예에 따른 비균일 모션 블러 제거 방법에 사용되는 모델은 수학식 7에서처럼 비균일 모션 블러를 포함하는 하나의 영상에 적용될 수 있고 우선적으로 비균일 모션 블러 정보 추정을 하기 위해 제1 레이턴트 영상을 추정하는 과정이 필요하고 수학식 7내지 9에서 개시된 방법을 사용해 본 발명의 일실시예에 따른 제2 레이턴트 영상을 추정할 수 있다.

도 1은 본 발명의 일실시예에 따른 비균일 모션 블러 제거 방법을 나타내는 순서도이다.

도 1을 참조하면, 비균일 모션 블러가 포함된 영상을 입력받는다(단계 110).

입력받은 비균일 모션 블러가 포함된 영상을 기초로 제1 레이턴트 영상을 추정한다(단계 120).

비균일 모션 블러가 포함된 영상이 제공되었을 때 비균일 모션 블러 정보 추정을 위한 초기값을 제공하기 위해 제1 레이턴트 영상을 예측할 수 있다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에서 블러 정보 추정 방법은 영상 정합을 이용하여 블러 정보를 추정하는 방법을 사용하기 때문에 비균일 모션 블러를 포함하는 영상과 정합을 수행할 제1 레이턴트 영상이 필요하다. 그러므로 제1 레이턴트 영상을 추정하고 추정된 제1 레이턴트 영상을 이용하여 비균일 모션 블러를 추정하고 제거한다.

본 발명의 일실시예에 따르면 제1 레이턴트 영상 예측 단계(단계 120)에서는 비균일 블러 영상에서 선명한 에지를 예측할 수 있는 종래의 어떠한 방법도 사용할 수 있고 이러한 종래의 제1 레이턴트 영상을 예측하는 방법을 사용하는 본 발명의 일실시예에 따른 비균일 모션 블러 추정 방법은 본 발명의 권리 범위에 속한다.

예를 들어, 본 발명의 일 실시예에 따른 영상 비균일 모션 블러 추정 방법에서는 "Fast Motion Deblurring."(CHO, S. AND LEE, S. 2009. ACM Trans. Graphics (SIGGRAPH ASIA 2009) 28, 5.)의 예측 방법을 사용하여 제1 레이턴트 영상을 예측할 수 있다. Cho와 Lee의 제1 레이턴트 영상 예측 방법은 단계 110에서 제공된 비균일 모션 블러가 포함된 영상에서 두드러진 에지만 남기고 그라디언트 맵 {Px, Py}을 계산하여 비균일 모션 블러가 포함된 영상에서 제1 레이턴트 영상을 예측한다.

그라디언트 맵 {Px, Py}은 다음과 같이 계산될 수 있다. 단계 110에서 제공된 비균일 모션 블러가 포함된 영상에서 노이즈를 없애기 위해 양방향 필터(Bilateral Filter)를 적용하고, 에지를 살리기 위해 쇼크 필터(Shock Filter)를 적용한다. 이렇게 필터가 적용된 영상으로부터 x 방향, y 방향의 편미분 영상들 (유한차분 연산자 이용)을 계산한다. 그리고 계산된 편미분 영상들로부터 임계값을 이용하여 그라디언트(미분값)의 크기가 작은 픽셀의 그라디언트 값(편미분값)들을 0으로 설정하는 방법을 통해서 구해질 수 있다.

따라서 영상의 정합을 이용한 비균일 블러 정보 추정하는 단계 130에서는 두드러진 에지를 포함하는 그라디언트 맵과 영상 정합을 수행하기 위해서 제공된 비균일 모션 블러가 포함된 영상 역시 그라디언트를 산출한 후 정합을 수행하여야 한다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 추정 방법은 제1 레이턴트 영상 추정 단계(단계 120)의 출력에 따라 그라디언트 영상들을 정합할 수도 있고, 입력된 영상 자체에서 두드러진 에지를 예측할 수 있는 경우에는 그라디언트 맵을 산출하는 과정을 거치지 않고 바로 예측된 선명한 영상과 제공된 블러가 포함된 영상을 정합할 수도 있다.

영상의 정합을 이용한 비균일 블러 정보 추정한다(단계 130).

단계 120을 통해 예측된 선명한 영상을 이용하여 비균일 블러 정보를 추정한다.

수학식 3을 이용하여 모델링한 비균일 모션 블러 모델을 기초로 영상의 정합(image Registration)을 이용하여 비균일 모션 블러 정보가 추정될 수 있다. 비균일 모션 블러 정보가 추정은 비균일 모션 블러를 표현하는 호모그라피(Homography)를 추정하는 단계와 추정된 해당 호모그라피의 가중치를 계산하는 단계로 이루어질 수 있다.

호모그라피는 수학식 4를 이용하여 추정하고, 호모그라피의 가중치는 수학식 6을 이용하여 산출할 수 있다.

영상의 정합을 이용한 비균일 블러 정보 추정하는 단계 130에서는 제1 레이턴트 영상을 기초로 비균일 모션 블러 영상과 정합을 하여 비균일 블러 정보를 추정할 수 있고 이후 단계 140에 의해 추정된 본 발명의 일실시예에 따른 제2 레이턴트 영상을 이용하여 비균일 모션 블러 영상과 제2 레이턴트 영상과 정합을 하여 비균일 블러 정보를 추정할 수 있다.

도 2는 영상의 정합을 이용한 비균일 모션 블러 정보 추정하는 단계 130을 나타낸 순서도이다.

도 2를 참조하면, 비균일 모션 블러 정보 추정 단계는 수학식 4를 이용하여 제공된 영상들을 정합하여 비균일 모션을 표현하는 호모그라피 Pi를 산출하고, 영상 정합은 호모그라피의 개수만큼 반복하여 전체 호모그라피 P를 산출할 수 있다(단계 131).

산출된 호모그라피를 기초로 수학식 5과 수학식 6을 이용해 해당 호모그라피에 적용할 가중치 w를 계산한다(단계 132).

비균일 모션 블러 정보는 호모그라피와 가중치(P, w)의 집합에 의해 표현이 되며 호모그라피 계산과 가중치 계산 단계는 비균일 모션 블러 정보의 추정 정확도를 높이기 위해 반복적으로 수행될 수 있다.

이미지 정합을 이용하여 호모그라피를 산출하고 해당 호모그라피에 해당하는 가중치를 계산하는 반복 횟수는 영상 복원의 필요성에 따라 적응적으로 조절할 수 있다.

추정된 비균일 모션 블러 정보를 기초로 제2 레이턴트 영상을 추정한다(단계 140).

추정된 비균일 모션 블러 정보인 호모그라피 정보와 해당 호모그라피에 따른 가중치 정보를 이용하여 제2 레이턴트 영상을 추정한다.

단계 140에서 얻어지는 제2 레이턴트 영상은 제1 레이턴트 영상 예측 단계(단계 120)에서 예측된 영상보다 더 선명하고 품질이 좋은 영상이 된다.

여기서, 추정된 제2 레이턴트 영상은 단계 130의 정합을 이용한 블러 정보 추정 단계로 제공되어 비균일 모션 블러 영상과 함께 정합되어 비균일 모션 블러를 추정할 수 있다.

본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에 따르면 비균일 모션 블러 영사을 입력받아 비균일 모션 블러 정보를 추정하고 레이턴트 영상을 복원하기 위한 단계 110, 단계 120, 단계 130 및 단계 140은 비균일 모션 블러 영상의 해상도를 변화시켜가며 반복적으로 수행함으로써 추정 및 복원의 정확도를 향상 시키는 방법을 사용할 수 있다.

예를 들어, 단계 120에 입력되는 비균일 모션 블러 영상의 해상도를 변화시켜 비균일 모션 블러 정보를 예측할 수 있다.

도 3은 본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법에서 서로 다른 스케일에서 추정된 비균일 모션 블러 정보를 나타낸다.

도 3에서는 입력되는 비균일 모션 블러 영상의 해상도를 변화시켜 반복적으로 비균일 모션 블러 정보를 예측하는 것을 나타낸다.

입력 영상을 원래의 사이즈보다 작게 크기를 변환한 후 (예를 들어, 입력 영상이 1000x1000의 해상도를 가진 영상인 경우, 100x100의 해상도로 변환함.) 비균일 모션 블러 정보를 추정하게 되면 작고 디테일한 블러 정보는 추정되지 않고, 큰 블러 정보만이 추정될 수 있다. 큰 스케일의 블러 정보를 추정한 후에 입력 영상을 다시 200x200과 같은 크기로 변환하여 (앞에서 추정된 블러 정보를 기반으로) 다시 비균일 모션 블러 정보를 추정하게 되면 앞의 큰 블러 정보에 더하여 보다 작고 디테일한 블러 정보를 추정할 수 있다. 이런 식으로 입력되는 비균일 모션 블러 영상의 해상도를 가장 작은 크기에서부터 차례로 키워 나가면서 블러 정보를 추정하면 보다 자세한 블러 정보를 추정할 수 있다.

도 3을 참조하여 멀티-스케일(multi-scale) 반복 처리 과정을 설명하면, 먼저, 비균일 모션이 큰 경우의 블러 정보를 추정할 수 있는 낮은 해상도(low resolution)에서 비균일 모션 블러 정보를 추정한다. 도 3의 상단은 낮은 해상도에서 추정된 비균일 모션 블러 정보를 나타낸다.

높은 해상도에서는 이전의 낮은 해상도를 통해 획득한 비균일 모션 블러 정보를 업샘플링하여 작은 크기의 모션으로 인해 발생되는 블러 정보를 추정한다. 도 3의 중단 및 하단은 상단의 낮은 해상도를 높여가면서 카메라의 회전 움직임(rotational motion)을 추정한 예를 나타낸다.

멀티-스케일 반복 처리 과정은 하나의 스케일을 이용해서는 다루지 못했던 큰 모션으로 인해 발생하는 비균일 모션 블러를 추정할 수 있게 한다. 또한, 큰 모션을 먼저 추정함으로 인해서 처리 속도를 가속화 할 수 있는 장점이 있다.

비균일 모션 블러가 포함된 영상의 최종 디블러링 결과를 출력한다(단계 150).

반복적 수행을 통해 최종 비균일 모션 블러 정보가 얻어진 후 비균일 모션 블러가 제거된 제2 레이턴트 영상인 최종 제2 레이턴트 영상을 얻기 위해 상기 최종 비균일 모션 블러 정보와 비균일 모션 블러가 포함된 입력 영상을 이용하여 디컨볼루션을 수행한다.

디컨볼루션은 수학식 7을 이용하여 수행된다. 최종 디컨볼루션 과정이 중간에 반복적으로 수행되는 제2 레이턴트 영상 추정과 다른 점은, 반복적으로 수행되는 제2 레이턴트 영상 추정은 비균일 모션 블러 정보를 추정하는 것이 목적이기 때문에, 흑백으로 된 레이턴트 영상을 추정하지만, 최종 디컨볼루션 단계에서는 컬러로 된 레이턴트 영상을 추정할 수 있다. 이 때 컬러 영상은 R,G,B 각각의 채널에 대해서 각각 레이턴트 영상을 추정하는 디컨볼루션 과정을 거쳐서 얻을 수 있다.

순서도의 우측에 도시된 이미지는 각 단계에 해당하는 이미지를 나타낸다.

도 4는 본 발명의 일실시예에 따른 영상의 비균일 모션 블러 제거 방법으로 블러 제거를 수행한 결과를 나타낸다.

도 4를 참조하면, 도 4의 좌측 상단은 블러가 포함된 원본 영상을 나타내고, 도 4의 우측 상단은 도 4의 좌측 상단을 입력으로 하여 비균일 모션 블러가 제거된 최종 영상을 나타난다.

도 4의 좌측 하단은 도 4의 좌측 상단의 일부 영역을 확대한 영상을 나타낸 것이고 도 4의 우측 하단은 도 4의 우측 상단의 일부 영역을 확대한 영상을 나타낸 것이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 영상의 비균일 모션 블러 제거 방법에서는 한 장의 입력 영상을 이용하여 블러가 제거된 최종 제2 레이턴트 영상을 얻을 수 있고 좌측에 도시된 입력 이미지에서 발생한 비균일 모션 블러가 본 발명의 일실시예에 따른 비균일 모션 블러 제거 방법을 사용함으로써 제거된 제2 레이턴트 영상을 얻을 수 있다.

도 5는 본 발명의 일실시예에 따른 비균일 모션 블러를 예측하여 영상을 복원하는 단계별 영상을 나타낸 것이다.

도 5를 참조하면, 도 5의 좌측 상단은 제공된 비균일 모션 블러를 포함하는 영상이고, 우측 상단은 수학식 4의 좌변(

)을 나타내는 레지듀얼(residual) 영상이며, 좌측 하단은 수학식 4의 우변 중에서 호모그라피 Pi가 곱해지지 않은, 즉, 정합되지 않은 레이턴트 영상(

)을 나타낸다. 도 5의 우측 하단은 도 5의 좌측 하단의 레이턴트 영상과 우측 상단의 레지듀얼 영상을 정합하여 계산된 호모그라피 Pi를 도 5의 좌측 하단의 레이턴트 영상에 곱하여 얻은 정합된 제2 레이턴트 영상(

)를 나타낸다. 이렇게 각각의 호모그라피 Pi를 차례로 계산하면서 비균일 모션 블러 정보를 표현하는 호모그라피 행렬인 P를 구할 수 있다.

도 6은 본발명의 일실시예에 따른 비균일 모션 블러를 예측하여 영상을 복원하는 장치를 나타낸 블록도이다.

도 6을 참조하면, 비균일 모션 블러를 예측하여 영상을 복원하는 장치는 입력부(600), 영상 예측부(610), 블러 정보 추정부(620), 영상 복원부(630), 출력부(640)를 포함할 수 있다.

입력부(600)는 비균일 모션 블러가 포함된 영상을 입력받을 수 있다. 입력부에서는 비균일 모션 블러 영상의 해상도를 변화시켜 입력받을 수 있다.

영상 예측부(610)는 입력받은 비균일 모션 블러가 포함된 영상을 기초로 제1 레이턴트 영상을 예측할 수 있다.

본 발명의 일실시예에 따르면 영상 예측부(610)에서는 선명한 에지를 예측할 수 있는 종래의 어떠한 방법도 사용할 수 있고 이러한 종래의 선명한 영상을 예측하는 방법을 사용하여 제1 레이턴트 영상을 예측하는 방법을 사용한 본 발명의 일실시예에 따른 비균일 모션 블러 추정 방법은 본 발명의 권리 범위에 속한다.

예를 들어, 본 발명의 일실시예에 따른 영상 비균일 모션 블러 추정 방법에서는 "Fast Motion Deblurring."(CHO, S. AND LEE, S. 2009. ACM Trans. Graphics (SIGGRAPH ASIA 2009) 28, 5.)의 예측 방법을 사용할 수 있다. Cho와 Lee의 선명한 영상 예측 방법은 입력된 비균일 모션 블러가 포함된 영상에서 두드러진 에지만 남기고 그라디언트 맵 {Px, Py}을 계산하여 비균일 모션 블러가 포함된 영상에서 제1 레이턴트 영상을 예측한다.

블러 정보 추정부(620)는 비균일 모션 블러 모델을 기초로 영상의 정합을 이용하여 비균일 모션 블러 정보를 추정하는 경우 비균일 모션 블러 정보의 추정은 비균일 모션 블러를 표현하는 호모그라피(Homography)를 추정하는 단계와 추정된 해당 호모그라피의 가중치를 계산하는 단계로 이루어질 수 있다.

블러 정보 추정부(620)에서는 우선적으로 제1 레이턴트 영상을 이용하여 호모그라피 정보와 해당 호모그라피에 대한 가중치 정보를 예측할 수 있고 이후에는 영상 복원부(630)에서 제공된 제2 레이턴트 영상을 입력받아 호모그라피 정보와 해당 호모그라피에 대한 가중치 정보를 예측할 수 있다.

영상 복원부(630)는 블러 정보 추정부로부터 산출된 비균일 모션 블러 정보를 기초로 비균일 모션 블러를 포함하는 영상을 비균일 모션 블러가 제거된 제2 레이턴트 영상으로 복원할 수 있다.

비균일 모션 블러가 제거되어 복원된 영상은 블러 정보 추정부(620)로 다시 제공되어 레이턴트 영상을 예측하고 블러 정보 추정부(620)를 통해 재예측된 비균일 모션 블러 정보를 기초로 영상복원부(630)에서 비균일 모션 블러가 제거된 제2 레이턴트 영상을 복원할 수 있다.

출력부(640)는 영상복원부(630)에서 비균일 모션 블러 정보를 기초로 복원된 제2 레이턴트 영상을 출력할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

1. 비균일 모션 블러를 제거하는 방법에 있어서,
   비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하는 단계;및
   상기 비균일 모션 블러 영상 및 상기 제1 레이턴트 영상을 정합하여 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 비균일 모션 블러 정보를 추정하는 단계;및
   상기 추정된 비균일 모션 블러 정보를 기초로 상기 비균일 모션 블러 영상에서 비균일 모션 블러가 제거된 제2 레이턴트 영상을 추정하는 단계를 포함하는 포함하는 비균일 모션 블러를 제거하는 방법.
2. 제1항에 있어서, 상기 비균일 모션 블러를 제거하는 방법은,
   상기 제2 레이턴트 영상 및 상기 비균일 모션 블러 영상을 정합하여 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 비균일 블러 정보를 재추정하는 단계를 더 포함하는 비균일 모션 블러를 제거하는 방법.
3. 제1항에 있어서, 상기 비균일 모션 블러 정보를 추정하는 단계는,
   상기 비균일 모션 블러 영상의 해상도를 변화시켜 상기 호모그라피 및 상기 호모그라피에 대한 가중치를 포함하는 상기 비균일 블러 정보를 추정하는 것을 특징으로 하는 비균일 모션 블러를 제거하는 방법.
4. 제1항에 있어서, 상기 비균일 모션 블러를 제거하는 방법은,
   상기 추정된 제2 레이턴트 영상을 출력하는 단계를 더 포함하는 비균일 모션 블러를 제거하는 방법.
5. 제1항에 있어서, 상기 제1 레이턴트 영상은,
   상기 비균일 모션 블러 영상에서 에지만을 남긴 후 그라디어트 맵을 이용하여 추정된 것을 특징으로 하는 비균일 모션 블러를 제거하는 방법.
6. 비균일 모션 블러를 제거하는 장치에 있어서,
   비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하는 영상 예측부;및
   상기 제1 레이턴트 영상 및 상기 비균일 모션 블러가 포함된 영상을 기초로 호모그라피 정보 및 상기 호모그라피에 대한 가중치 정보를 포함하는 비균일 모션 블러 정보를 추정하고, 상기 추정된 비균일 모션 블러 정보를 기초로 추정된 제2 레이턴트 영상 및 상기 비균일 모션 블러가 포함된 영상을 기초로 상기 비균일 모션 블러 정보를 재추정하는 블러 정보 추정부를 포함하는 비균일 모션 블러를 제거하는 장치.
7. 제6항에 있어서, 상기 비균일 모션 블러를 제거하는 장치는,
   상기 블러 정보 추정부를 통해 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러 영상을 상기 비균일 모션 블러 영상에서 비균일 모션 블러가 제거된 제2 레이턴트 영상으로 복원하는 영상 복원부를 더 포함하는 비균일 모션 블러를 제거하는 장치.
8. 제7항에 있어서, 비균일 모션 블러를 제거하는 장치는
   상기 비균일 모션 블러 영상의 해상도를 변화시켜 상기 비균일 모션 블러 영상을 기초로 제1 레이턴트 영상을 예측하고 상기 제1 레이턴트 영상 및 상기 비균일 모션 블러 영상을 기초로 호모그라피 정보 및 상기 호모그라피에 대한 가중치 정보를 포함하는 비균일 모션 블러 정보를 추정하여 상기 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러 영상을 제2 레이턴트 영상으로 복원하는 것을 특징으로 하는 비균일 모션 블러를 제거하는 장치.
9. 제6항에 있어서, 상기 비균일 모션 블러를 제거하는 장치는,
   상기 비균일 모션 블러가 포함된 상기 비균일 모션 블러 영상을 상기 영상 예측부에 제공하는 입력부;및
   상기 추정된 비균일 블러 정보를 기초로 상기 비균일 모션 블러 영상을 제거된 제2 레이턴트 영상을 출력하는 출력부를 더 포함하는 비균일 모션 블러를 제거하는 장치.
10. 제9항에 있어서, 상기 입력부는,
    상기 비균일 모션 블러 영상이 해상도를 달리하여 상기 영상 예측부에 상기 비균일 모션 블러 영상을 제공하는 것을 특징으로 하는 비균일 모션 블러를 제거하는 장치.

Images