KR101265956B1

KR101265956B1 - 블록 기반의 영상 복원 시스템 및 방법

Info

Publication number: KR101265956B1
Application number: KR1020070111716A
Authority: KR
Inventors: 황규영; 이호영; 박두식
Original assignee: 삼성전자주식회사
Priority date: 2007-11-02
Filing date: 2007-11-02
Publication date: 2013-05-22
Also published as: KR20090045743A; US8107765B2; US20090116763A1

Abstract

블록 기반의 영상 복원 시스템 및 방법이 개시된다. 블록 기반의 영상 복원 시스템은 영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 상기 영상의 경계를 처리하는 경계 처리부 및 상기 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 복원 파라미터 추출부 및 상기 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 상기 영상에 대해 복원을 수행하는 영상 복원부를 포함한다.

스케일러, 해상도, 복원 파라미터, 푸리에 변환 영역 필터링, 웨이블릿 변환 영역 필터링

Description

블록 기반의 영상 복원 시스템 및 방법 {SYSTEM AND METHOD FOR RESTORATION IMAGE BASED BLOCK OF IMAGE}

본 발명은 블록 기반의 영상 복원 시스템 및 방법에 관한 것으로, 특히 영상의 해상도를 향상시킬 때 발생하는 영상의 고주파 영역 손실을 복원하고, 영상의 디테일을 강조할 수 있는 블록 기반의 영상 복원 시스템 및 방법에 관한 것이다. 본 발명은 CRT, PDP, LCD, 프로젝션 TV 등의 디스플레이 장치에 적용될 수 있으며, 특히 UD(Ultra Definition) TV 나 디지털 시네마와 같은 초고해상도 디스플레이 장치에 적용될 수 있다.

영상의 디스플레이 장치는 화면의 대형화, 고해상도 영상을 표현하는 것을 목표로 발전하고 있다. 이러한 상황에서, 영상 컨텐츠도 대형화된 화면에 표현되기 위해 저해상도에서 고해상도로 향상될 필요가 있다. 특히, 영상 기술의 발전에 따라 영상 스케일러(scaler)를 이용하여, SD(Standard Definition -720*480)나 HD(High Deifintion-1920*1080)의 해상도를 나타내는 영상을 고해상도 영상 장치에서 사용할 수 있는 UD(Ultra Definition-7680*4320)급의 해상도를 가지는 영상으로 변환할 필요성이 발생하였다.

이 때, 해상도가 낮은 영상을 해상도가 높은 영상으로 해상도를 변환할 때 일반적으로 영상 스케일러가 사용된다. 그런데, 영상 스케일러는 보간에 기초하여 영상의 해상도를 향상시키기 때문에 영상의 고주파 영역(특히, 오브젝트의 엣지 영역)에서 손실이 발생하고, 영상의 세밀한 부분에 대한 표현이 부족한 문제점이 있다. 특히, 영상의 고주파 영역에서의 손실은 오브젝트의 경계 부분에서 발생하는 블러(blur)로 나타난다. 블러는 영상을 획득할 때 발생하는 블러와 스케일러에서 수행하는 보간 때문에 발생하는 블러 등 여러 블러가 복합적으로 나타난 결과라고 할 수 있다.

이러한 고주파 영역의 손실로 영상에 나타나는 블러를 제거하기 위해 영상 복원 과정이 필요하다. 종래의 영상 복원 장치는 영상의 영역별 특징을 고려하지 않고, 영상의 블러를 제거하여 영상의 고주파 성분을 복원하였기 때문에, 영상을 전체적으로 봤을 때 시각적인 통일감이 부족한 결과를 나타내었다. 특히, 초고해상도 영상의 경우, 화면의 크기가 크기 때문에 영역별로 영상의 특징이 다르게 나타난다. 왜냐하면, 영상 데이터 자체가 공간적으로 변화하는 통계적인 특징을 보이기 때문이다.

따라서, 영상의 전체 정보와 세부 정보를 고려하여 영상의 시각적인 통일감을 유지하면서, 동시에 영상의 고주파 영역의 손실을 복원할 수 있는 방법이 절실히 요구되고 있다.

본 발명의 일실시예에 따른 영상 복원 시스템은 영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 상기 영상의 경계를 처리하는 경계 처리부 및 상기 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 복원 파라미터 추출부 및 상기 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 영상 복원을 수행하는 영상 복원부를 포함한다.

본 발명의 일측면에 따르면, 상기 경계 처리부는 상기 영상의 오브젝트 컬러와 백그라운드 컬러의 경계에서 오브젝트 컬러와 백그라운드 컬러를 각 대표 컬러로 천이시킴으로써 상기 영상의 경계 영역의 링잉(ringing) 성분을 제거할 수 있다.

따라서, 본 발명에 따르면, 경계 처리를 통해 영상의 경계 영역의 링잉 성분을 제거함으로써 화질의 열화를 가져오지 않고 영상 복원이 수행될 수 있다. 또한 링잉 성분이 제거됨으로써, 영상 복원시 영상의 선명도가 향상되고, 전체적으로 영상 복원의 성능이 향상될 수 있다.

본 발명의 일측면에 따르면, 상기 복원 파라미터 추출부는 상기 블록 각각의 공간적 활성도(spatial activity)에 대한 분석 결과를 이용하여 상기 블록 각각의 블러값 및 노이즈 제거 임계값을 추출할 수 있다.

본 발명의 일측면에 따르면, 상기 복원 파라미터 추출부는 상기 영상 전체에 대한 글로벌 복원 정보 및 상기 블록 각각에 대한 로컬 복원 정보에 기초하여 복원 파라미터를 추출할 수 있다.

따라서, 본 발명에 따르면, 블록 별로 복원 파라미터를 추출함으로써, 보다 빠르게 영상 복원이 이루어지고, 영상 전체에 대한 글로벌 복원 정보를 고려함으로써 블록킹 아티팩트의 발생을 방지할 수 있다.

본 발명의 일측면에 따르면, 상기 영상 복원부는 상기 복원 파라미터를 이용하여 상기 블록 각각에 대해 푸리에(Fourier) 변환 영역 필터링과 웨이블릿(wavelet) 변환 영역 필터링을 적용할 수 있다.

따라서, 본 발명에 따르면, 푸리에 변환 영역 필터링을 통해 영상의 해상도 향상에 따른 발생된 블러가 효과적으로 제거되고, 웨이블릿 변환 영역 필터링을 통해 노이즈 발생이 억제되고, 영상 전체의 선명도가 향상될 수 있다.

본 발명의 일실시예에 따른 영상 복원 방법은 영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 상기 영상의 경계를 처리하는 단계, 상기 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 단계 및 상기 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 영상 복원을 수행하는 단계를 포함한다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 영상 복원 시스템의 구체적인 구성을 도 시한 블록 다이어그램이다.

도 1을 참조하면, 영상 복원 시스템(101)은 영상 스케일러부(102), 경계 처리부(103), 복원 파라미터 추출부(104) 및 영상 복원부(105)를 포함할 수 있다.

영상 스케일러부(102)는 영상을 업샘플링하고, 상기 업샘플링된 영상을 보간하여 상기 영상의 해상도를 향상할 수 있다. 특히, 저해상도의 영상을 고해상도의 영상으로 해상도를 향상시킬 때, 영상 스케일러부(102)가 사용될 수 있다.

일례로, 영상 스케일러부(102)는 제로 데이터를 이용하여 영상을 업샘플링하고, 저대역 필터를 통해 업샘플링된 영상을 보간할 수 있다. 구체적으로, 영상 스케일러부(102)는 제로 데이터를 삽입하여, 영상의 사이즈를 증가시키고, 보간을 이용하여 불필요한 성분을 제거할 수 있다. 즉, 영상 스케일러부(102)는 보간을 기반으로 영상의 해상도를 향상시킬 수 있다.

다만, 영상 스케일러부(102)를 단독으로 사용하여, 영상의 해상도를 향상시키는 경우, 영상 전체에 대해 블러(blur)가 발생하는 문제점이 발생할 수 있다. 이 때, 발생하는 블러는 영상을 획득할 때 발생하는 블러와 영상 스케일러부(102)에서 수행하는 보간 때문에 발생하는 블러 등 여러 블러가 복합적으로 나타난 결과라고 할 수 있다. 여기서, 발생된 블러는 블러의 점확산 함수(point spread function)로 나타낼 수 있다. 점확산 함수는 저대역 필터의 형태를 나타내기 때문에, 영상의 블러 정도가 클수록 노이즈 성분은 억제된다. 이 때, 노이즈 성분은 영상 신호와 독립적이므로 노이즈 분산 값을 이용하면 영상의 블러 정도를 예측할 수 있다.

영상 스케일러부(102)는 보간을 할 때, 저대역 필터(LPF: Low Pass Filter)를 이용할 수 있다. 다만, 보간할 때 저대역 필터를 사용하기 때문에, 영상 고유의 고주파 성분(예를 들면, 엣지 영역)이 손실될 수 있으며, 엣지 영역의 손실에 따라 영상의 선명도가 감소할 수 있다. 특히, 영상을 UD(ultra definition)과 같은 초고해상도 영상으로 향상시키는 경우, 해상도 향상 배율이 크기 때문에 고주파 성분의 손실이 더욱 크게 나타날 수 있다. 따라서, 본 발명의 일실시예에 따른 영상 복원 시스템은 기존의 영상의 해상도 향상 과정에서 불가피하게 발생하는 고주파 성분의 손실을 복원하여, 영상의 선명도를 향상시킬 수 있다.

경계 처리부(103)는 영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 상기 영상의 경계를 처리할 수 있다. 이 때, 영상은 영상 스케일러부(102)를 거쳐 해상도가 향상된 영상을 의미한다. 일례로, 경계 처리부(103)는 영상의 오브젝트 컬러 또는 백그라운드 컬러 중 어느 하나의 컬러의 신호 대역폭을 증가시켜 상기 영상의 경계 영역의 링잉(ringing) 성분을 제거할 수 있다. 이 때, 링잉 성분은 오브젝트의 엣지와 백그라운드의 엣지 사이에 발생하는 것으로, 영상 스케일러부(102)에서 수행한 영상의 해상도 향상 과정에서 발생한 블러 때문에 나타날 수 있다.

본 발명의 일실시예에 따른 영상 복원 시스템은 해상도가 향상된 영상의 고주파 성분을 강조하여 영상 복원을 수행할 수 있다. 이 때, 영상의 경계 영역에 링잉 성분이 존재하는 경우, 고주파 성분을 강조하면 링잉 성분도 함께 향상되기 때문에 화질 열화(degradation)가 발생할 수 있다. 따라서, 본 발명의 일실시예에 따르면, 경계 처리부(103)는 영상의 경계에 존재하는 링잉 성분을 제거하는 경계 처리를 수행하여 영상 복원의 성능을 향상시킬 수 있다. 즉, 경계 처리부(103)는 링잉 성분의 컬러를 오브젝트 컬러 또는 백그라운드 컬러로 지정하여 링잉 성분을 제거할 수 있다. 경계 처리부(103)의 구체적인 동작은 도 2 및 도 3을 통해 상세히 설명된다.

복원 파라미터 추출부(104)는 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출할 수 있다. 복원 파라미터는 분할된 영역별로 독립적으로 추출되며, 이 때 분할되는 영역의 개수는 제한되지 않는다. 만약 영상이 UD 해상도로 향상된 경우 영상 데이터는 매우 크기 때문에, 복원 파라미터 추출부(104)가 해당 영상 전체에 대해 복원 파라미터를 추출하는 것은 비효율적일 수 있다. 따라서, 복원 파라미터 추출부(104)는 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출할 수 있다.

일례로, 복원 파라미터 추출부(104)는 블록 각각의 공간적 활성도(spatial activity)에 대한 분석 결과를 이용하여 상기 블록 각각의 블러값 및 노이즈 제거 임계값을 추출할 수 있다. 일반적으로, 초고해상도 영상과 같이 크기가 큰 영상은 영상의 각 영역별로 다른 특징을 나타내기 때문에, 영상 전체에 대해 동일한 복원 파라미터를 추출하는 것보다 각 영역별로 다른 파라미터를 추출하는 것이 효과적으로 영상 복원이 이루어질 수 있다. 따라서, 본 발명의 일실시예에 다른 복원 파라미터 추출부(104)는 블록 각각의 블러값 및 노이즈 제거 임계값을 추출할 수 있다.

이 때, 해상도가 큰 영상의 경우 블록간 복원 파라미터의 과도한 차이로 인 해 블록 경계 현상인 블록킹 아티팩트(blocking artifact)가 발생할 수 있다. 따라서, 일례로, 복원 파라미터 추출부(104)는 영상 전체에 대한 글로벌 복원 정보 및 블록 각각에 대한 로컬 복원 정보에 기초하여 복원 파라미터를 추출할 수 있다. 복원 파라미터 추출부(104)에 대해 도 4와 도 5에서 구체적으로 설명된다.

영상 복원부(105)는 추출된 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 해상도가 향상된 영상에 대해 복원을 수행할 수 있다. 일례로, 영상 복원부(105)는 복원 파라미터를 이용하여 블록 각각에 대해 푸리에 변환 영역 필터링(Fourier transformation domain filtering)과 웨이블릿 변환 영역 필터링(wavelet transformation domain filtering)을 적용할 수 있다.

일례로, 영상 복원부(105)는 푸리에 변환 영역 필터링을 적용하여 영상의 블러를 제거할 수 있다. 즉, 영상 복원부(105)는 푸리에 변환 영역 필터링을 통해 블러값에 대한 함수를 역변환하여 블러가 효과적으로 제거할 수 있다. 그러나, 푸리에 변환 영역 필터링을 적용하는 경우 블러 제거에는 효과적이지만, 노이즈 부스트(noise boost)가 발생할 수 있다.

따라서, 본 발명에 일실시예에 따르면, 영상 복원부(105)는 푸리에 변환 영역 필터링과 함께 웨이블릿 변환 영역 필터링을 적용하여, 해상도가 향상된 영상에 대해 노이즈를 제거하는 동시에 선명도를 향상시킬 수 있다.

다만, 해상도가 큰 영상인 경우, 변환 영역 필터링을 직렬적으로 적용하면 처리 속도 면에서 문제가 있다. 따라서, 일례로, 영상 복원부(105)는 분할된 영역별로 필터링 진행 과정을 고려하여, 블러값을 이용하는 푸리에 변환 영역 필터링과 노이즈 제거 임계값을 이용하는 웨이블릿 변환 영역 필터링을 병렬적으로 적용함으로써, 보다 빠르게 영상 복원을 수행할 수 있다. 푸리에 변환 영역 필터링과 웨이블릿 변환 영역 필터링은 각각 도 6 및 도 7에서 상세히 설명된다.

도 2는 본 발명의 일실시예에 따라 고주파 성분을 복원할 때 경계 처리의 효과를 설명하기 위한 도면이다. 구체적으로, 도 2는 링잉 성분이 존재하는 영상과 링잉 성분이 제거된 영상에 대해 고주파 성분을 강조하는 경우의 효과를 비교하여 경계 처리의 효과를 설명하기 위한 도면이다.

그래프(201)는 영상 스케일러부(102)를 통과한 영상의 신호를 나타낸 것이다. 이미 언급했듯이, 영상 스케일러부(102)는 보간을 기초로 영상의 해상도를 향상시키기 때문에 영상의 경계 영역에 블러를 발생시킬 수 있다. 결국, 영상의 경계 영역에 발생한 블러 때문에, 오브젝트와 백그라운드 사이의 링잉(ringing) 성분이 발생할 수 있다. 그래프(201)에 의하면, 밝기값이 큰 부분에는 오버슈트(overshoot)가 존재하고, 밝기값이 낮은 부분에는 언더슈트(undershoot)가 존재하는 것으로 볼 때, 영상의 경계 부분에 링잉 성분이 존재하였음을 알 수 있다.

그래프(202)는 경계 영역에 링잉 성분이 존재하는 영상에 대해서 고주파 성분을 강조하였을 때의 영상 신호를 나타낸 것이다. 즉, 영상 복원을 통해 경계 영역에 링잉 성분이 존재하는 영상을 그대로 고주파 성분을 강조하면, 링잉 성분도 함께 강조되어 그래프(202)에서와 같이 화질 열화가 발생할 수 있다.

그래프(203)는 경계 처리를 통해 링잉 성분을 제거된 영상 신호를 나타낸 것이다. 일례로, 경계 처리부(103)는 컬러 쉬프팅을 통해 경계 처리하여 링잉 성 분을 제거할 수 있다. 그래프(203)을 통해 영상 신호에서 링잉 성분을 의미하는 오버슈트나 언더슈트가 나타나지 않는 것을 알 수 있다.

그래프(204)는 경계 처리가 된 영상에 대해 고주파 성분을 강조하였을 때의 영상 신호를 나타낸 것이다. 그래프(202)와는 달리, 그래프(204)는 화질 열화가 발생하지 않는 것을 알 수 있다. 또한, 그래프(204)를 참조하면, 밝기값이 큰 영역과 밝기값이 작은 영역 간의 차이가 더 증가하여, 영상의 경계 영역의 콘트라스트가 향상되고, 결국 영상의 경계 부분의 선명도는 더 증가한 것을 알 수 있다. 결국, 본 발명의 일실시예에 따르면, 경계 처리를 통해 링잉 성분이 제거된 영상에 대해서 고주파 성분을 강조하면, 영상 경계의 블러 현상이 제거됨과 동시에 영상의 선명도가 증가된 영상이 획득될 수 있다.

도 3은 본 발명의 일실시예에 따른 영상 복원 시스템의 경계 처리부의 동작을 설명하기 위한 도면이다. 구체적으로, 도 3은 영상 복원 시스템(101)의 경계 처리부(103)가 링잉 성분을 제거하는 과정을 도시한 도면이다.

도면 부호(301)는 영상의 경계 영역에 링잉 성분이 존재하는 것을 나타내고 있다. 이미 언급했듯이, 링잉 성분은 영상 스케일러부(102)가 영상의 해상도를 향상하는 과정에서 발생되는 영상의 블러를 의미한다.

도면 부호(302)는 경계 처리부(103)가 영상의 경계 영역에서 컬러 쉬프팅을 수행하여 영상의 경계를 처리하는 것을 나타내고 있다. 이 때, 경계 처리부(103)는 영상의 오브젝트 컬러와 백그라운드 컬러의 경계에서 오브젝트 컬러와 백그라운드 컬러를 각 대표 컬러로 천이시킴으로써 영상의 경계 영역의 링잉(ringing) 성분 을 제거할 수 있다.

즉, 링잉 성분은 영상의 오브젝트와 백그라운드의 경계에서 양쪽 면에 각각 존재하므로 경계 처리부(103)는 경계 주위의 오브젝트 영상의 컬러와 백그라운드 영상의 컬러를 각각의 대표 컬러로 천이시키는 과정을 통해 신호 대역폭을 증가시켜서 영상의 경계 영역에 존재하는 링잉 성분을 제거할 수 있다. 그러면, 도면 부호(303)과 같이, 컬러 쉬프팅을 통해 영상의 경계 영역에 링잉 성분이 제거된 것을 볼 수 있다. 링잉 성분을 제거하는 경계 처리 과정을 거치고 난 후에 영상 복원을 수행하면, 선명도가 향상되고 동시에 링잉 성분의 증폭이 최소화되는 결과 영상이 도출될 수 있다.

도 4는 본 발명의 일실시예에 따른 블록 기반의 영상 복원을 수행하는 과정을 설명하기 위한 도면이다.

구체적으로 보면, 도 4와 같이 복원 파라미터 추출부(104)는 영상 전체를 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출할 수 있다. 이 때, 복원 파라미터 추출부(104)는 분할된 영역에 따라 독립적으로 복원 파라미터를 추출할 수 있다. 또한, 영상 복원부(105)는 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 영상 복원을 수행할 수 있다. 이 때, 영상 전체를 분할하는 영역의 개수는 제한되지 않는다.

예를 들어, UD 해상도를 나타내는 초고해상도 영상은 데이터 양이 매우 크기 때문에 영상 전체를 대상으로 영상 복원을 수행하는 것은 매우 복잡하고 비효율적이다. 따라서, 본 발명의 일실시예에 따르면, 복원 파라미터 추출부(104)와 영 상 복원부(105)는 블록 기반으로 영상 복원을 수행할 수 있다. 도 4를 참조하면, 영상 전체가 4개의 영역으로 나누어 지고, 각 영역에 포함된 블록들에 대해 왼쪽에서 오른쪽 방향으로 복원 파라미터가 추출되고, 영상 복원이 수행되는 과정을 나타내고 있다. 복원 파라미터의 추출 방향은 임의적일 수 있다.

다만, 앞에서도 언급했듯이, 블록 별로 복원 파라미터를 추출하는 경우, 블록간 파라미터의 차이가 크면, 블록 경계 현상(blocking artifact)이 발생할 수 있다. 따라서, 블록 파라미터 추출부(104)는 영상 전체에 대한 글로벌 복원 정보 및 블록 각각에 대한 로컬 복원 정보에 기초하여 복원 파라미터를 추출할 수 있다. 구체적으로, 복원 파라미터 추출부(104)는 영상 전체에 대한 글로벌 복원 정보를 가이드 라인으로 하여 블록 파라미터를 추출함으로써, 블록 간의 복원 파라미터에 대한 과도한 차이를 방지할 수 있다.

도 5는 본 발명의 일실시예에 따른 영상 복원 시스템의 블록 파라미터 추출부의 구체적인 동작을 설명하기 위한 도면이다.

앞에서 이미 언급했듯이, 블록 파라미터 추출부(501)는 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출할 수 있다. 일례로, 도 5를 참조하면, 블록 파라미터 추출부(501)는 블록 각각의 공간적 활성도(spatial activity) 분석 과정(502)과 복원 파라미터 추출 과정(503)을 수행할 수 있다. 이 때, 블록 파라미터는 블록 각각의 블러값 및 노이즈 제거 임계값을 포함할 수 있다. 일례로, 공간적 활성도는 하기 수학식 1를 통해 표현될 수 있다. 이 때, 블록 파라미터 추출부(501)는 로컬 복원 정보(504)에 포함된 블록의 크기를 이용할 수 있다.

여기서,

,

는 각각 x축, y축 방향으로의 그레디언트(gradient) 값을 나타낸다. a는 각 블록의 공간적 활성도를 나타내고, k는 블록의 인덱스를 나타낸다.

복원 파라미터 추출부(501)는 로컬 복원 정보(504)과 함께 글로벌 복원 정보(505)를 고려하여 영상의 분할된 영역에 따라 독립적으로 복원 파라미터를 추출함으로써 블록킹 아티팩트의 발생을 방지할 수 있다. 복원 파라미터 추출부(501)가 로컬 복원 정보(504)과 함께 글로벌 복원 정보(505)를 고려하여 복원 파라미터인 블록 각각의 블러값 및 노이즈 제거 임계값을 추출할 수 있다. 일례로, 블러값과 노이즈 제거 임계값은 하기 수학식 2를 통해 표현될 수 있다.

여기서,

와

는 복원 파라미터인 블록 각각의 블러값과 노이즈 제거 임계값을 평균한 값으로, 글로벌 복원 정보(505)에 해당한다. 이 때, 글로벌 복원 정보(505)는 영상 스케일러부(102)가 영상의 해상도를 향상시킬 때 적용한 배율 정보에 따라 결정될 수 있다. 이는 영상 스케일러부(102)의 배율이 일정할 경우, 블러 되는 정도와 노이즈 부스트 정도가 평균적으로 일정함을 이용한 것이다.

일례로, 공간적 활성도의 평균값은 영상의 현재 프레임 내에서 계산하는 것이 가장 정확하지만, 하드웨어 구현을 위해 영상에 포함된 오브젝트의 움직임이 그리 크지 않은 경우, 직전 프레임 내에서 계산될 수 있다.

그리고,

와

는 step-size이고,

와

는 임의의 매핑 함수이며, 각각 로컬 복원 정보(504)에 해당한다. 또한,

는 블록의 공간적 활성도이고,

는 블록 각각의 공간적 활성도를 평균한 값이다.

일례로, 블록의 공간적 활성도가 클수록 블록은 영상의 디테일(detail)이 강한 영역으로 분류될 수 있고, 블록의 공간적 활성도가 작을수록 블록은 영상의 디테일이 약한 영역으로 분류될 수 있다. 이 때, 디테일이 강한 영역은 고주파 성분의 향상 정도가 클수록 선명한 영상으로 출력되지만, 디테일이 약한 영역은 고주파 성분의 향상 정도가 클수록 노이즈 부스트와 같은 문제점이 발생할 수 있다.

결국, 상기 문제점을 방지하기 위해, 상기 수학식 2와 같이, 복원 파라미터 추출부(501)는 공간적 활성도가 클수록 블러값을 크게 추출하고, 공간적 활성도가 작을수록 블러값을 작게 추출할 수 있다. 또한, 복원 파라미터 추출부(501)는 공 간적 활성도가 클수록 노이즈 제거 임계값을 작은 값으로 추출하고, 상기 공간적 활성도가 작을수록 노이즈 제거 임계값을 큰 값으로 추출할 수 있다.

결국, 복원 파라미터 추출부(501)는 블록 각각의 공간적 활성도(spatial activity)에 대한 분석 결과를 이용하여 블록 각각의 블러값 및 노이즈 제거 임계값을 추출할 수 있다. 이 때, 복원 파라미터 추출부(501)는 영상 전체에 대한 글로벌 복원 정보(505) 및 블록 각각에 대한 로컬 복원 정보(504)에 기초하여 복원 파라미터를 추출함으로써 블록킹 아티팩트가 발생하는 것을 방지할 수 있다.

이 때, 블러값은 영상을 획득할 때 발생하는 블러와 영상 스케일러부(102)가 영상의 해상도를 향상할 때 발생하는 블러 등 여러 가지 블러가 컨벌루션(convolution)된 결과를 의미할 수 있다. 이 때, 여러 가지 블러가 컨벌루션 될 경우, 블러값은 중심 극한 이론(central limit theorem)에 의해 가우시안 함수(Gaussian function)에 가깝다고 가정할 수 있다. 일례로, 가우시안 함수는 하기 수학식 3으로 표현될 수 있다.

여기서,

는 블러값을 가우시안 함수 형태로 나타낸 것이고, K는 가우시안 함수를 정규화하기 위한 상수이며,

는 블록 파라미터인 블러값 을 의미한다.

가 클수록, 가우시안 함수

는 전 영역으로 확산된 형태를 나타내기 때문에, 영상의 블러 정도도 높게 나타난다. 반대로,

가 작을수록, 가우시안 함수

는 특정 지점에서 집중된 형태를 나타내기 때문에 영상의 블러 정도는 낮게 나타난다. 일례로, 각 블록의

는 현재 블록의 노이즈와 이전 블록의 노이즈를 이용하여 예측될 수 있다.

도 6은 본 발명의 일실시예에 따른 영상 복원 시스템의 영상 복원부가 수행하는 푸리에 변환 영역 필터링의 과정을 구체적으로 설명하기 위한 도면이다.

일례로, 영상 복원부(105)는 복원 파라미터(603)를 이용하여 블록 각각에 대해 푸리에(Fourier) 변환 영역 필터링(601)을 적용할 수 있다. 이 때, 푸리에 변환 영역 필터링(601)은 복원 파라미터(603) 중 블러값인

을 이용할 수 있다. 푸리에 변환 영역 필터링(601)은 입력 영상을 푸리에 변환(602)하고, 복원 파라미터(603)인 블록의 블러값을 푸리에 변환(602)할 수 있다.

도 6에서 볼 수 있듯이, 푸리에 변환(602)된 입력 영상인

와 푸리에 변환(602)된 블러값인

을 이용하여 필터링 영상(604)인

를 결정할 수 있다. 일례로, 영상 복원부(105)는 하기 수학식 4를 통 해 필터링 영상(604)을 결정할 수 있다.

이 때,

,

는 블록의 위치를 나타내며, G는 정규화를 위한 함수를 의미한다. 상기 수학식 4를 참고하면, 고주파일수록 분모 값이 크게 설정되어 역푸리에 변환(605)의 효과를 감소시킨다. 따라서, 필터링 영상(604)인

을 역푸리에 변환(605)할 때 지나친 고주파의 강조를 막을 수 있다. 상기 수학식 4는 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다.

도 7은 본 발명의 일실시예에 따른 영상 복원 시스템의 영상 복원부가 수행하는 웨이블릿 변환 영역 필터링의 과정을 구체적으로 설명하기 위한 도면이다.

일례로, 영상 복원부(105)는 복원 파라미터(705)를 이용하여 블록 각각에 대해 웨이블릿 변환 영역 필터링(701)을 적용할 수 있다. 일례로, 영상 복원부(105)는 블록 각각에 대해 푸리에 변환 영역 필터링이 종료되고 난 후 웨이블릿 변환 영역 필터링을 적용할 수 있다. 다만, 영상 복원부(105)는 분할된 영역별로 필터링 진행 과정을 고려하여 블러값을 이용하는 푸리에 변환 영역 필터링과 노이즈 제거 임계값을 이용하는 웨이블릿 변환 영역 필터링을 병렬적으로 적용할 수 있다.

이 때, 웨이블릿 변환 영역 필터링(701)은 복원 파라미터(705) 중 노이즈 제거 임계값인 을 이용할 수 있다. 도 7에서 볼 수 있듯이, 웨이블릿 변환(702)된 입력 영상인

와 복원 파라미터(705)인 노이즈 제거 임계값인

를 이용하여 필터링 영상(703)인

을 결정할 수 있다. 일례로, 영상 복원부(105)는 하기 수학식 5를 통해 필터링 영상(703)을 결정할 수 있다.

영상 복원부(105)는 웨이블릿 변환 영역 필터링(701)의 웨이블릿 계수인

를 조절하여 푸리에 변환 영역 필터링에서 발생한 노이즈 부스트가 제거되고, 영상의 선명도가 향상될 수 있다. 이 때, 웨이블릿 계수인

는 로컬 복원 정보(706)에 포함된다. 웨이블릿 변환 영역 필터링(701)은 신호의 특징점(예: 영상의 에지)을 잘 표현할 수 있기 때문에, 노이즈 제거와 선명도 향상에 효율적이다. 이 때, 영상 복원부(105)는 영상이 노이즈로 판단되면 (

), 필터링 영상(703)을 0으로 결정하여 노이즈를 제거하고, 영상이 신호 성분으로 판단되 면(

), 필터링 영상(703)을 웨이블릿 계수인

를 통해 스케일링하여 영상의 선명도를 향상시킬 수 있다. 이 때, 웨이블릿 계수인

는 1보다 큰 값을 가질 수 있다. 필터링 영상(703)이 결정되면, 역 웨이블릿 변환(704)를 통해 노이즈가 제거됨과 동시에 선명도가 향상된 영상이 도출될 수 있다.

도 8은 본 발명의 일실시예에 따른 영상 복원 방법을 도시한 플로우 차트이다.

본 발명의 일실시예에 따른 영상 복원 방법은 영상을 업샘플링하고, 상기 업샘플링된 영상을 보간하여 상기 영상의 해상도를 향상시킨다(S801).

이 때, 영상의 해상도를 향상시키는 방법(S801)은 제로 데이터를 이용하여 상기 영상을 업샘플링하고, 저대역 필터를 통해 상기 업샘플링된 영상을 보간할 수 있다.

본 발명의 일실시예에 따른 영상 복원 방법은 영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 영상의 경계를 처리한다(S802).

이 때, 영상의 경계를 처리하는 단계(S802)는 해상도가 향상된 영상의 경계를 처리할 수 있다. 그리고, 영상의 경계를 처리하는 단계(S802)는 상기 영상의 오브젝트 컬러와 백그라운드 컬러의 경계에서 오브젝트 컬러와 백그라운드 컬러를 각 대표 컬러로 천이시킴으로써 상기 영상의 경계 영역의 링잉(ringing) 성분을 제거할 수 있다.

영상의 오브젝트 컬러 또는 백그라운드 컬러 중 어느 하나의 컬러의 신호 대역폭을 증가시켜 영상의 경계 영역의 링잉(ringing) 성분을 제거할 수 있다.

본 발명의 일실시예에 따른 영상 복원 방법은 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출한다(S803).

이 때, 블록 별로 복원 파라미터를 추출하는 단계(S803)는 블록 각각의 공간적 활성도(spatial activity)에 대한 분석 결과를 이용하여 블록 각각의 블러값 및 노이즈 제거 임계값을 추출할 수 있다.

구체적으로, 블록 별로 복원 파라미터를 추출하는 단계(S803)는 블록 각각에 대한 공간적 활성도가 클수록 블러값을 크게 추출하고, 공간적 활성도가 작을수록 블러값을 작게 추출할 수 있다. 또한, 블록 별로 복원 파라미터를 추출하는 단계(S803)는 블록 각각에 대한 공간적 활성도가 클수록 노이즈 제거 임계값을 작은 값으로 추출하고, 공간적 활성도가 작을수록 노이즈 제거 임계값을 큰 값으로 추출할 수 있다.

이 때, 블록 별로 복원 파라미터를 추출하는 단계(S803)는 영상 전체에 대한 글로벌 복원 정보 및 상기 블록 각각에 대한 로컬 복원 정보에 기초하여 복원 파라미터를 추출할 수 있다.

본 발명의 일실시예에 따른 영상 복원 방법은 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 영상 복원을 수행한다. 이 때, 영상 복원을 수행하는 단계는 복원 파라미터를 이용하여 상기 블록 각각에 대해 푸리 에(fourier) 변환 영역 필터링(S804)과 웨이블릿(wavelet) 변환 영역 필터링(S805)을 적용할 수 있다.

이 때, 영상 복원을 수행하는 단계는 분할된 영역별로 필터링 진행 과정을 고려하여 블러값을 이용하는 푸리에 변환 영역 필터링(S804)과 노이즈 제거 임계값을 이용하는 웨이블릿 변환 영역 필터링(S805)을 병렬적으로 적용할 수 있다.

또한 본 발명의 일실시예에 따른 영상 복원 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에 서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 일실시예에 따른 영상 복원 시스템의 구체적인 구성을 도시한 블록 다이어그램이다.

도 2는 본 발명의 일실시예에 따라 고주파 성분을 복원할 때 경계 처리의 효과를 설명하기 위한 도면이다.

도 3은 본 발명의 일실시예에 따른 영상 복원 시스템의 경계 처리부의 동작을 설명하기 위한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

101: 영상 복원 시스템

102: 영상 스케일러부

103: 경계 처리부

104: 복원 파라미터 추출부

105: 영상 복원부

Claims

영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 상기 영상의 경계를 처리하는 경계 처리부; 및

상기 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 복원 파라미터 추출부; 및

상기 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 영상 복원을 수행하는 영상 복원부

를 포함하는 영상 복원 시스템.
제1항에 있어서,

영상을 업샘플링하고, 상기 업샘플링된 영상을 보간하여 상기 영상의 해상도를 향상하는 영상 스케일러부

를 더 포함하고,

상기 경계 처리부는,

해상도가 향상된 상기 영상의 경계를 처리하는 것을 특징으로 하는 영상 복원 시스템.
제2항에 있어서,

상기 영상 스케일러부는,

제로 데이터를 이용하여 상기 영상을 업샘플링하고, 저대역 필터를 통해 상기 업샘플링된 영상을 보간하는 것을 특징으로 하는 영상 복원 시스템.
제1항에 있어서,

상기 경계 처리부는,

상기 영상의 오브젝트 컬러와 백그라운드 컬러의 경계에서 오브젝트 컬러와 백그라운드 컬러를 각 대표 컬러로 천이시킴으로써 상기 영상의 경계 영역의 링잉(ringing) 성분을 제거하는 것을 특징으로 하는 영상 복원 시스템.
제1항에 있어서,

상기 복원 파라미터 추출부는,

상기 블록 각각의 공간적 활성도(spatial activity)에 대한 분석 결과를 이용하여 상기 블록 각각의 블러값 및 노이즈 제거 임계값을 추출하는 것을 특징으로 하는 영상 복원 시스템.
제5항에 있어서,

상기 복원 파라미터 추출부는,

상기 공간적 활성도가 클수록 블러값을 크게 추출하고, 상기 공간적 활성도가 작을수록 블러값을 작게 추출하는 것을 특징으로 하는 영상 복원 시스템.
제5항에 있어서,

상기 복원 파라미터 추출부는,

상기 공간적 활성도가 클수록 노이즈 제거 임계값을 작은 값으로 추출하고, 상기 공간적 활성도가 작을수록 노이즈 제거 임계값을 큰 값으로 추출하는 것을 특징으로 하는 영상 복원 시스템.
제1항에 있어서,

상기 복원 파라미터 추출부는,

상기 영상 전체에 대한 글로벌 복원 정보 및 상기 블록 각각에 대한 로컬 복원 정보에 기초하여 복원 파라미터를 추출하는 것을 특징으로 하는 영상 복원 시스템.
제1항에 있어서,

상기 영상 복원부는,

상기 복원 파라미터를 이용하여 상기 블록 각각에 대해 푸리에(Fourier) 변환 영역 필터링과 웨이블릿(wavelet) 변환 영역 필터링을 적용하는 것을 특징으로 하는 영상 복원 시스템.
제9항에 있어서,

상기 영상 복원부는,

상기 분할된 영역별로 필터링 진행 과정을 고려하여 블러값을 이용하는 푸리에 변환 영역 필터링과 노이즈 제거 임계값을 이용하는 웨이블릿 변환 영역 필터링을 병렬적으로 적용하는 것을 특징으로 하는 영상 복원 시스템.
영상의 경계 영역에서 컬러 쉬프팅(color shifting)을 수행하여 상기 영상의 경계를 처리하는 단계;

상기 영상을 적어도 하나의 영역으로 분할하고, 상기 분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 단계; 및

상기 복원 파라미터에 따른 블록 기반의 변환 영역 필터링을 적용하여 영상 복원을 수행하는 단계

를 포함하는 영상 복원 방법.
제11항에 있어서,

영상을 업샘플링하고, 상기 업샘플링된 영상을 보간하여 상기 영상의 해상도를 향상하는 단계

를 더 포함하고,

영상의 경계를 처리하는 상기 단계는,

해상도가 향상된 상기 영상의 경계를 처리하는 것을 특징으로 하는 영상 복원 방법.
제12항에 있어서,

영상의 해상도를 향상하는 상기 단계는,

제로 데이터를 이용하여 상기 영상을 업샘플링하고, 저대역 필터를 통해 상기 업샘플링된 영상을 보간하는 것을 특징으로 하는 영상 복원 방법.
제11항에 있어서,

영상의 경계를 처리하는 상기 단계는,

상기 영상의 오브젝트 컬러 또는 백그라운드 컬러 중 어느 하나의 컬러의 신호 대역폭을 증가시켜 상기 영상의 경계 영역의 링잉(ringing) 성분을 제거하는 것을 특징으로 하는 영상 복원 방법.
제11항에 있어서,

분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 상기 단계는,

상기 블록 각각의 공간적 활성도(spatial activity)에 대한 분석 결과를 이용하여 상기 블록 각각의 블러값 및 노이즈 제거 임계값을 추출하는 것을 특징으로 하는 영상 복원 방법.
제15항에 있어서,

분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 상기 단계는,

상기 블록 각각에 대한 공간적 활성도가 클수록 블러값을 크게 추출하고, 공간적 활성도가 작을수록 블러값을 작게 추출하는 것을 특징으로 하는 영상 복원 방법.
제15항에 있어서,

분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 상기 단계는,

상기 블록 각각에 대한 공간적 활성도가 클수록 노이즈 제거 임계값을 작은 값으로 추출하고, 공간적 활성도가 작을수록 노이즈 제거 임계값을 큰 값으로 추출하는 것을 특징으로 하는 영상 복원 방법.
제11항에 있어서,

분할된 영역에 포함된 블록 별로 복원 파라미터를 추출하는 상기 단계는,

상기 영상 전체에 대한 글로벌 복원 정보 및 상기 블록 각각에 대한 로컬 복원 정보에 기초하여 복원 파라미터를 추출하는 것을 특징으로 하는 영상 복원 방법.
제11항에 있어서,

영상에 대해 복원을 수행하는 상기 단계는,

상기 복원 파라미터를 이용하여 상기 블록 각각에 대해 푸리에(Fourier) 변환 영역 필터링과 웨이블릿(wavelet) 변환 영역 필터링을 적용하는 것을 특징으로 하는 영상 복원 방법.
제19항에 있어서,

영상에 대해 복원을 수행하는 상기 단계는,

상기 분할된 영역별로 필터링 진행 과정을 고려하여 블러값을 이용하는 푸리에 변환 영역 필터링과 노이즈 제거 임계값을 이용하는 웨이블릿 변환 영역 필터링을 병렬적으로 적용하는 것을 특징으로 하는 영상 복원 방법.
제11항 내지 제20항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.