KR100565209B1

KR100565209B1 - 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법

Info

Publication number: KR100565209B1
Application number: KR1020040063239A
Authority: KR
Inventors: 박수진
Original assignee: 엘지전자 주식회사
Priority date: 2004-08-11
Filing date: 2004-08-11
Publication date: 2006-03-30
Also published as: KR20060014622A; US20060033844A1; RU2005125520A

Abstract

본 발명은 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법에 관한 것으로, 종래에는 선명도를 적용하는 파라미터 설정이 수동적이고 영상의 전 화소에 적용됨으로써 국부적인 영상의 특징을 반영하는데 부족하다는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 입력 휘도신호의 고주파 영역을 필터링으로 통과시켜 휘도변화신호를 출력하는 고역통과필터와, 상기 입력 휘도신호와 휘도변화신호를 이용하여 선명도 파라미터를 생성하는 선명도 파라미터 추출부와, 상기 입력 휘도신호와 선명도 파라미터를 이용하여 선명도가 향상된 출력 휘도신호를 생성하는 선명도 조절부로 구성되어 사람이 인식하기에 최적의 선명도로 영상을 개선할 수 있는 효과가 있다.

Description

인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING IMAGE SHARPNESS BASED ON HUMAN VISUAL SYSTEM}

도 1은 종래 기술에 의한 언샤프 마스킹에 의한 선명도 개선 방법을 보여주는 그래프도.

도 2는 본 발명에 의한 영상 선명도 개선 장치를 보여주는 구성도.

도 3은 본 발명에 의한 선명도 파라미터 추출 방법을 보여주는 흐름도.

도 4는 본 발명에 의한 임시 선명도 파라미터와 휘도변화신호 크기의 관계를 보여주는 그래프도.

도 5는 본 발명에 의한 영상 선명도 개선 방법을 보여주는 흐름도.

**도면의 주요부분에 대한 부호의 설명**

10 : 고역통과필터 20 : 선명도 파라미터 추출부

30 : 선명도 조절부

본 발명은 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법에 관한 것으로, 특히 인간 시각 시스템이 가진 특징 중의 하나인 JND(Just Noticeable Difference)의 특성을 이용해 인간이 인식할 수 있는 휘도 변화에 대해서만 선명도를 증가시켜 자연스럽게 선명도를 개선할 수 있게 한 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법에 관한 것이다.

신소재 디스플레이 패널들이 개발되면서 이와 더불어 화질을 개선하기 위한 장치 및 소프트웨어에 대한 개발이 병행되고 있다. 화질 개선을 위한 노력 중의 하나로써 선명도 개선에 대한 다양한 방법이 제시되고 있으며, 그 중 널리 사용되고 있는 방법 중의 하나가 언샤프 마스킹(unsharp masking) 방법이다.

언샤프 마스킹은 영상의 세세한 부분을 더욱 강조하고 경계 부분의 대비 효과를 증대시키므로 영상 이미지의 불필요한 노이즈를 제거함으로써 획득 영상이 모호한 경우 이미지를 뚜렷하게 하기 위하여 사용한다.

도 1은 종래 기술에 의한 언샤프 마스킹에 의한 선명도 개선 방법을 보여주는 그래프도로서, 이에 도시된 바와 같이 경계 영역에서 상대적으로 휘도가 낮은 영역은 휘도를 더욱 낮게 하고, 상대적으로 휘도가 높은 영역은 더욱 높게 하여 경계를 뚜렷하게 한다.

즉, 밝은 영역은 더 밝게 하고 어두운 영역은 더 어둡게 하여 명암 대비를 뚜렷하게 함으로써 물체의 윤곽이 선명하게 드러나므로 이미지를 식별하기 쉽게 하는 장점이 있다.

그러나 상기와 같은 종래 기술에 있어서, 선명도를 적용하는 파라미터 설정이 수동적이고, 영상의 전 화소에 적용됨으로써 국부적인 영상의 특징을 반영하는 데 미흡하다는 문제점이 있다.

또한, 이러한 파라미터 설정은 수많은 실험을 통하여 얻을 수 있는 결과로써 실제 제품 적용에는 부적합하다.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 인간 시각 시스템의 특징인 JND를 적용함으로써 수동적인 파라미터 설정 없이 자동으로 영상의 선명도를 최적으로 개선할 수 있도록 한 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 입력 휘도신호 y_i(m, n)의 고주파 영역을 필터링으로 통과시켜 휘도변화신호 hpv(m, n)를 출력하는 고역통과필터와, 상기 입력 휘도신호 y_i(m, n)와 휘도변화신호 hpv(m, n)를 이용하여 선명도 파라미터 sp(m, n)를 생성하는 선명도 파라미터 추출부와, 상기 입력 휘도신호 y_i(m, n)와 선명도 파라미터 sp(m, n)를 이용하여 선명도가 향상된 출력 휘도신호 y_o(m, n)를 생성하는 선명도 조절부로 구성된 것을 특징으로 한다.

또한, 입력 휘도신호 y_i(m, n)를 고역통과필터링 하여 휘도변화신호 hpv(m, n)를 출력하는 단계와, 상기 휘도변화신호의 크기 abs[hpv(m, n)]와 JND 수치 JND[y_i(m, n)]를 비교하여 선명도 파라미터 sp(m, n)를 생성하는 단계와, 상기 선명도 파라미터 sp(m, n)를 언샤프 마스킹하여 출력 휘도신호 y_o(m, n)를 생성하는 단 계로 이루어진 것을 특징으로 한다.

이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 2는 본 발명에 의한 영상 선명도 개선 장치를 보여주는 구성도로서, 이에 도시된 바와 같이 입력 휘도신호 y_i(m, n)로부터 휘도변화신호 hvp(m, n)를 생성하는 고역통과필터(10)와, 입력 휘도신호 y_i(m, n)와 휘도변화신호 hvp(m, n)로부터 선명도 파라미터 sp(m, n)를 획득하는 선명도 파라미터 추출부(20)와, 입력 휘도신호 y_i(m, n)와 선명도 파라미터 sp(m, n)로부터 선명도가 조절된 출력 휘도신호 y_o(m, n)를 생성하는 선명도 조절부(30)으로 구성된다.

참고로, 본 발명에 의한 선명도 개선 방법은 다양한 색공간에서 적용될 수 있으며, 단순한 설명을 위하여 YUV 공간에서 Y신호를 처리하는 과정을 예로 보일 것이다.

…………(1)

상기 수식 (1)은 고역통과필터(10)를 이용한 연산 방법을 보여준다. 고역통과필터(10)를 이용한 연산은 현재 화소 y_i(m, n)을 중심으로 3×3의 영역내의 화소들과 고역통과필터(10) 계수를 내적한 결과이다.

이 때 사용되는 고역통과필터(10)의 계수는 버터워스 필터, 체비세프 필터 또는 워너 필터의 계수를 이용한다.

선명도 파라미터 추출부(20)는 상기 입력 색신호 y_i(m, n)와 고역통과필터(10)의 계수를 내적한 결과인 휘도변화신호 hvp(m, n)를 이용하여 선명도 파라미터 sp(m, n)을 획득한다.

이와 같은 선명도 파라미터 추출부의 동작 과정을 좀더 구체적으로 살펴보면, 도 3에 도시된 바와 같이 선명도 파라미터 추출부에 입력 휘도신호 y_i(m, n)와 휘도변화신호 hvp(m, n)가 입력되는 단계(S1)와, 입력 휘도신호 y_i(m, n)의 JND 수치인 JND[y_i(m, n)]를 계산하는 단계(S2)와, 상기 JND 수치 JND[y_i(m, n)]가 휘도변화신호의 크기 abs[hpv(m, n)]보다 작은지 판단하여(S3), 작은 경우 임시 선명도 파라미터 sp_tmp(m, n)를 0으로 하고(S4), 작지 않은 경우 임의 선명도 파라미터 sp_tmp(m, n)를 225-abs[hpv(m, n)]+JND[y_i(m, n)]로 하는 단계(S5)와, 상기 얻어진 임시 선명도 파라미터 sp_tmp(m, n)로 선명도 파라미터 sp(m, n)을 생성하는 단계(S6)로 이루어진다.

선명도 파라미터의 장점은 인간의 시각 시스템(Human Visual System : HVS)이 가진 특징 중 하나인 JND(Just Noticeable Difference)의 특성을 이용하는데 있다. JND는 두 자극간의 차이를 알아차릴 수 있는 최소의 수치를 말하는 것으로서, 본 발명에서는 인간이 식별할 수 있는 휘도 변화량을 말한다.

우선 입력 색신호 y_i(m, n)의 JND 수치인 JND[y_i(m, n)]를 구하는데, 이를 위한 수식 JND[y_i(m, n)]=a×y_i(m, n)+b에 있어서 상수 a는 0.4, 상수 b는 0.12301임은 널리 알려진 사실이다.

상기와 같이 얻어진 JND 수치와 휘도변화신호의 크기 abs[hpv(m, n)]를 비교하여, 휘도변화신호의 크기 abs[hpv(m, n)]가 JND 수치 JND[y_i(m, n)]보다 작은 경우에는 인간이 인식할 수 없는 정도의 휘도 변화이므로 임시 선명도 파라미터 sp_tmp(m,n)를 0으로 하고, 그렇지 않은 경우에 한하여 휘도변화신호의 크기abs[hpv(m, n)]에 반비례하는 임시 선명도 파라미터 sp_tmp(m,n)의 수치를 획득한다.

따라서 선명도 파라미터는 JND 수치를 문턱치로 이용하여 휘도변화신호의 크기가 클수록 감쇄하는 파라미터임을 알 수 있다.

도 4는 본 발명에 의한 임시 선명도 파라미터와 휘도변화신호 크기의 관계를 보여주는 그래프도로서, 이에 도시된 바와 같이 x축에 나타나는 휘도변화신호의 크기 abs[hpv(m, n)]가 인간이 감지할 수 있는 휘도 변화 수치인 JND[y_i(m, n)]보다 작은 경우 임시 선명도 파라미터 sp_tmp(m, n)는 0인 값을 가지므로 선명도 파라미터 sp(m, n)가 최소값을 나타내고, JND[y_i(m, n)]인 경우 y축의 sp_tmp(m, n)가 255의 최고치를 가리키며 휘도변화신호의 크기 abs[hpv(m, n)]가 증가함에 따라 JND[y_i(m, n)]까지 감소한다. 따라서 휘도변화신호의 크기 abs[hpv(m, n)]가 증가함에 따라 선명도 파라미터 sp(m, n)가 감소됨을 알 수 있다.

그러므로 인간이 인식할 수 없는 휘도 변화에 대해서는 임시 선명도 파라미터를 증가시키지 않음으로써 자연스러운 선명도 개선 효과를 얻을 수 있으며, 인식할 수 있는 휘도의 변화에 대해서는 휘도 변화의 크기가 증가함에 따라 선명도 개선량을 줄임으로써 인위적인 왜곡현상(artifact)을 막을 수 있는 장점을 가진다.

최종적으로, 선명도 조절부는 다음과 같은 연산을 수행한다.

y_o(m, n) = y_i(m, n)+w×sp(m, n)×hpv(m, n) ………… (2)

상기 수식 (2)에서 w는 전역 파라미터로써 수동 조절을 가능하게 한다. 자동모드일 경우 0.5의 디폴트 값으로 설정되며, 수동모드일 경우 0에서 1 사이의 값을 가지며 사용자가 조절 가능하다.

이와 같은 연산 방식은 영상의 국부적인 특징에 따라 자동적으로 선명도를 개선할 뿐만 아니라 수동적으로 영상 전역의 선명도를 조절할 수 있는 특징을 가진다.

도 5는 본 발명에 의한 영상 선명도 개선 방법을 보여주는 흐름도로서, 이에 도시된 바와 같이 입력 휘도신호 y_i(m, n)에 대하여 고역통과필터를 이용한 연산을 하는 단계(S10)와, 상기 연산에 의하여 휘도변화신호 hvp(m, n)를 추출하는 단계(S20)와, 입력 휘도신호 y_i(m, n)의 JND 수치 JND[y_i(m, n)]를 계산하는 단계(S30)와, 휘도변화신호의 크기 abs[hpv(m, n)]가 상기 JND[y_i(m, n)]보다 작은지 판단하여(S40), 작은 경우 임시 선명도 파라미터 sp_tmp(m, n)를 0으로 하고(S50), 작지 않은 경우 임시 선명도 파라미터 sp_tmp(m, n)를 수식 sp_tmp(m, n)=255-abs[hpv(m, n)]+JND[y_i(m, n)]에 의해 구하는 단계(S60)와, 상기 임시 선명도 파라미터를 이용하여 수식 sp(m, n)={sp_tmp(m, n)+sp_tmp(m-1, n)}/2에 의해 선명도 파라미터 sp(m, n)를 구하는 단계(S70)와, 상기 선명도 파라미터 sp(m, n)를 이용하여 수식 y_o(m, n)=y_i(m, n)+w×sp(m, n)×hpv(m, n)에 의해 출력 휘도신호 y_o(m, n)를 생성하는 단계(S80)로 이루어진다.

즉, 휘도변화신호의 크기가 JND 수치보다 큰 경우에 한하여 선명도를 조절하며, 휘도변화신호의 크기가 클수록 선명도 파라미터 값을 작게하여 자연스럽게 선명도가 조절될 수 있도록 한다.

이상에서 상세히 설명한 바와 같이, 본 발명은 기존의 선명도 개선 방법과 달리 인간의 시각 시스템 특징에 기반을 두어 JND를 적용함으로써, 사람이 인식하기에 최적의 선명도로 영상을 개선할 수 있는 효과가 있다.

또한, 본 발명에서 제안한 방법은 간단하게 구현 가능하여, 디스플레이 기기 및 소프트웨어 등의 분야에 널리 적용함으로써 선명도가 저하된 영상을 개선시키는데 효과가 크다.

Claims

입력 휘도신호 y_i(m, n)의 고주파 영역을 필터링으로 통과시켜 휘도변화신호 hpv(m, n)를 출력하는 고역통과필터와,

상기 입력 휘도신호 y_i(m, n)와 휘도변화신호 hpv(m, n)를 이용하여 선명도 파라미터 sp(m, n)를 생성하는 선명도 파라미터 추출부와,

상기 입력 휘도신호 y_i(m, n)와 선명도 파라미터 sp(m, n)를 이용하여 선명도가 향상된 출력 휘도신호 y_o(m, n)를 생성하는 선명도 조절부로 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 1 항에 있어서,

상기 고역통과필터는 입력 휘도신호와 고역통과필터의 계수를 내적한 결과인 휘도변화신호를 출력하도록 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 2 항에 있어서,

상기 고역통과필터는 버터워스 필터, 체비세프 필터, 워너 필터 중 어느 하나로 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 1 항에 있어서,

상기 선명도 파라미터 추출부는, 입력 휘도신호에 대한 JND(Just Noticeable Difference) 수치와 휘도변화신호의 크기를 비교하는 연산을 수행하도록 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 4 항에 있어서,

상기 선명도 파라미터 추출부는, 입력 휘도신호의 크기가 JND 수치보다 작은 경우 임시 선명도 파라미터 sp_tmp(m, n)를 0으로 하고, 작지 않은 경우 수식 sp_tmp(m, n)=255-abs[hpv(m, n)]+JND[y_i(m, n)]가 성립하도록 하며, 상기 임시 선명도 파라미터를 이용한 선명도 파라미터를 획득하는데 있어서 수식 sp(m, n)={sp_tmp(m, n)+sp_tmp(m-1, n)}/2가 성립하게 연산하도록 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 1 항에 있어서,

상기 선명도 조절부의 출력 휘도신호를 사용자가 조절할 수 있는 수동모드와 사용자의 조절 없이 기본 설정에 따라 결정되는 자동모드로 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 6 항에 있어서,

상기 수동모드의 경우 출력 휘도신호가 수식 y_o(m, n)=y_i(m, n)+w×sp(m, n)×hpv(m, n)를 성립하도록 연산하며, 파라미터 w는 사용자의 조작에 따라 0과 1 사이의 값을 갖도록 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
제 6 항에 있어서,

상기 수동모드의 경우 출력 휘도신호가 수식 y_o(m, n)=y_i(m, n)+w×sp(m, n)×hpv(m, n)를 성립하도록 연산하며, 파라미터 w는 0.5로 구성된 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 장치.
입력 휘도신호 y_i(m, n)를 고역통과필터링 하여 휘도변화신호 hpv(m, n)를 출력하는 단계와,

상기 휘도변화신호의 크기 abs[hpv(m, n)]와 JND 수치 JND[y_i(m, n)]를 비교하여 선명도 파라미터 sp(m, n)를 생성하는 단계와,

상기 선명도 파라미터 sp(m, n)를 언샤프 마스킹하여 출력 휘도신호 y_o(m, n)를 생성하는 단계로 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.
제 9 항에 있어서,

상기 입력 휘도신호를 고역통과필터링 하여 휘도변화신호를 출력하는 단계는, 입력 휘도신호와 고역통과필터의 계수를 내적하여 휘도변화신호가 얻어지도록 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.
제 10 항에 있어서,

상기 고역통과필터의 계수는 버터워스 필터, 체비세프 필터 또는 워너 필터 중 어느 하나의 계수로 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.
제 9 항에 있어서,

상기 휘도변화신호의 크기와 JND 수치를 비교하여 선명도 파라미터를 생성하는 단계에 있어서, 입력 휘도신호의 크기가 JND 수치보다 작은 경우 임시 선명도 파라미터 sp_tmp(m, n)를 0으로 하고, 작지 않은 경우 수식 sp_tmp(m, n)=255-abs[hpv(m, n)]+JND[y_i(m, n)]가 성립하도록 하며, 상기 임시 선명도 파라미터를 이용한 선명도 파라미터를 획득하는데 있어서 수식 sp(m, n)={sp_tmp(m, n)+sp_tmp(m-1, n)}/2가 성립하도록 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.
제 9 항에 있어서,

상기 출력 휘도신호를 사용자가 조절할 수 있는 수동모드와 사용자의 조절 없이 기본 설정에 따라 결정되는 자동모드로 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.
제 13 항에 있어서,

상기 수동모드의 경우 출력 휘도신호는 수식 y_o(m, n)=y_i(m, n)+w×sp(m, n)×hpv(m, n)를 성립하며, 파라미터 w는 사용자의 조작에 따라 0과 1 사이의 값을 갖도록 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.
제 13 항에 있어서,

상기 자동모드의 경우 출력 휘도신호는 수식 y_o(m, n)=y_i(m, n)+w×sp(m, n)×hpv(m, n)를 성립하며, 파라미터 w는 0.5로 이루어진 것을 특징으로 하는 인간 시각 시스템에 기초한 영상 선명도 개선 방법.