KR100360882B1 - 디인터레이싱 방법 및 장치 - Google Patents

Abstract

본 발명은 디인터레이싱 방법 및 장치에 관한 것으로 특히, 현재 보간하고자 하는 필드의 에지 방향을 산출하여 그 에지 방향에 따라 필드내 보간값을 산출하고 이를 현재 보간하고자 하는 필드의 평균값과 움직임 정도에 따라 혼합하도록 하여 화질을 개선하도록 함에 목적이 있다. 이러한 목적의 본 발명은 격행 주사 방식의 영상에 해당하는 m개의 필드 데이터에서 보간할 화소를 포함하는 일정 영역의 영상 데이터를 검출하는 단계와, 상기 일정 영역의 영상 데이터를 입력으로 현재 필드를 기준으로 이전 필드와 이후 필드 간의 밝기 변화 및 밝기 윤곽 패턴을 비교하여 움직임 정도를 검출하는 단계와, 상기 일정 영역의 영상 데이터를 입력으로 현재 보간할 화소와 이전 및 이후 화소를 평균하여 필드 평균값을 산출하는 단계와, 상기 일정 영역의 영상 데이터를 입력으로 현재 보간할 화소를 기준으로 화소간 상관 관계를 산출하여 현재 보간할 화소의 에지 방향을 검출하고 그 검출된 에지 방향을 참조하여 필드내 보간값을 산출하는 단계와, 상기 움직임 정도에 따라 상기 필드 평균값과 보간값을 혼합하여 디스플레이 화면에 적합하게 수직 라인을 변경하는 단계를 수행함을 특징으로 한다.

Description

디인터레이싱 방법 및 장치{DEINTERLACING METHOD AND APPARATUS}

본 발명은 움직임 적응 보간 기술에 관한 것으로 특히, 디인터레이싱 방법 및 장치에 관한 것이다.

디인터레이싱 방법이란 영상 처리 방법에 있어서, 격행 주사(interlaced scanning) 방식의 영상 데이터를 순행 주사(progressive scanning) 방식의 영상 데이터로 변환하는 기법이다.

격행 주사 방식의 영상 데이터는 한 프레임(frame)의 화면을 도1에 도시된 바와 같이, 홀수 필드(odd field)와 짝수 필드(even field)의 두 필드의 화면으로 구현하는 것이다.

그런데, 디스플레이 장치에 따라서는 격행 주사 방식의 영상 데이터를 처리하지 않고 컴퓨터 모니터등에서 사용되는 순행 주사 방식의 영상 데이터로 처리하여 화면을 구현한다.

이때, 격행 주사 방식의 영상 신호를 순행 주사 방식의 영상 데이터로 처리하는 디스플레이 장치에서 정상적으로 처리되려면 그러한 디스플레이 장치의 내부에 격행 주사 방식의 영상 신호를 순행 주사 방식의 영상 신호로 변환시키는 별도의 시스템이 설치되어야 한다.

격행 주사 방식의 영상 신호를 순행 주사 방식의 영상 신호로 변환하는 방법은 도2a 내지 도2c에 도시된 바와 같이 여러 방법으로 구현될 수 있다.

우선, 도2a와 같은 라인 반복(line repetition) 방법은 현재 필드(field)의 라인(line) 정보를 단순하게 반복시켜 한 프레임(frame)을 구현하는 것이다.

또한, 도2b에 도시된 바와 같은 움직임 보상이 없는 필드간 보간법(inter-field interpolation without motion-compensation)은 현재 필드의 라인사이에 직전 필드의 라인을 단순히 끼움으로써 한 프레임을 구현하는 것이다.

마지막으로, 도2c에 도시된 바와 같은 필드내 보간법(intra-field interpolation)은 하나의 필드에서 두 라인사이의 영역에 그 두 라인의 데이터를 이분한 데이터를 삽입함으로써 새로운 한 필드를 구현하는 것이다.

그러나, 라인 반복 방법은 단순한 하드웨어로 구현할 수 있지만, 보간후 화질이 떨어지는 단점이 있다.

또한, 움직임 보상이 없는 필드간 보간법 역시 단순한 하드웨어로 구현할 수 있지만, 움직임이 있는 영상을 보간하는 경우에는 오류가 발생하거나 화면이 열화되어 화질이 떨어지는 단점이 있다.

그리고, 필드내 보간법은 라인 반복 방법보다 화질이 깨끗해지고 움직임 보상이 없는 필드간 보간법보다 오류 발생이 낮지만, 정지 영상을 보간하는 경우 화면이 열화되어 화질이 떨어지는 단점이 있다.

즉, 상기와 같은 도2a 내지 도2c의 보간 방법들은 모두 보간후 화질이 떨어지는 단점이 있다.

따라서, 이전 화면의 필드 데이터와 장차 구현될 화면의 필드 데이터를 이용하여 현재 화면을 보간하는 움직임 보상 보간 방법이 제시되었다.

이러한 움직임 보상 보간 방법은 현재 필드 데이터를 기준으로 시간적으로 연속적인 필드 데이터를 이용하여 화면중에 움직임 벡터를 추정하고 그 움직임 벡터를 참조하여 현재 프레임 화면을 보간하는 것이다.

그런데, 움직임 보상 보간 방법은 보간후 화질은 향상되지만, 상당히 복잡한 하드웨어로 구성된다.

따라서, 상기 움직임 보상 보간 방법의 문제점을 해소하기 위하여 움직임의 정도를 추정하여 움직임에 따라 프레임을 보간하는 움직임 적응 보간 방법이 제시되었다.

이러한 움직임 적응 보간 방법은 움직임 보상 보간 방법에 비하여 비교적 단순한 하드웨어로 구현되고 보간후 화질도 전반적으로 향상되는 장점이 있다.

움직임 적응 보간 방법의 일례로는 미국 특허 제5,027,201호에 제시된 Bernard 방식과 미국 특허 제5,159,451호에 제시된 Faroudja 방식등이 있다.

그러나, 종래의 움직임 적응 보간 방법은 움직임 보상 보간 방법에 비하여 비교적 단순한 하드웨어로 구현되고 보간후 화질도 전반적으로 향상되는 장점이 있지만, 움직임이 큰 에지(edge)등에서는 단순한 수직 방향 보간으로 인하여 계단형 잡음이 발생하며 또한, 다수의 필드 메모리(field memory)를 사용하고 처리 과정이 복잡하여 구현 회로의 제조 비용이 상승하는 문제점이 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 현재 보간하고자 하는 필드의 에지 방향을 산출하여 그 에지 방향에 따라 필드내 보간값을 산출하고 이를 현재 보간하고자 하는 필드의 평균값과 움직임 정도에 따라 혼합하도록 하여 화질을 개선하도록 창안한 디인터레이싱 방법 및 장치를 제공함에 목적이 있다.

또한, 본 발명은 회로를 단순화하여 구현하려는 회로의 제조 비용을 감소시키도록 함에 다른 목적이 있다.

도1은 일반적인 인터레이싱 방법에 따른 화면의 예시도.

도2는 종래의 라인 보간을 필드 생성을 보인 예시도로서,

도2a는 종래의 라인 반복 방법을 보인 예시도이고,

도2b는 종래의 움직임 보상없는 필드간 보간법을 보인 예시도이며,

도2c는 종래의 필드내 보간법을 보인 예시도이다.

도3은 본 발명의 실시예를 위한 디인터레이싱 장치의 블럭도.

도4는 에지 부분의 매핑을 위한 영역 분할을 보인 예시도.

도5는 에지 방향과 경사도 방향의 관계를 보인 예시도.

도6은 화소값의 방향 변화량을 구하기 위한 소벨 마스크의 예시도로서,

도6a는 3x3 크기의 영상 영역을 보인 예시도이고,

도6b는 화소값의 y축 방향 변화량을 구하기 위한 소벨 마스크의 예시도이며,

도6c는 화소값의 x축 방향 변화량을 구하기 위한 소벨 마스크의 예시도이다.

도7은 광각 에지 검출을 위한 서브샘플링 방법을 보인 예시도.

도8은 필드 영상 영역과 2차원 가우시안 필터를 보인 예시도로서,

도8a는 보간에 사용될 화소와 주변 화소를 보인 예시도.

도8b는 잡음 성분 제거를 위한 2차원 가우시안 필터의 예시도.

도9는 경사도 및 계층적 규칙을 기반으로 한 에지 방향 검출 방법을 보인 예시도.

도10은 보간 방향 검출을 위한 구간 매칭 방법을 보인 예시도.

도11은 본 발명에서 구간 매칭 방법을 위한 관측 영역 분할을 보인 예시도.

도12는 메디안 필터링되는 화소들과 필드 데이터를 보인 예시도.

* 도면의 주요부분에 대한 부호 설명 *

100 : 필드 저장부 200 : 움직임 검출부

300 : 공간적 보간부 400 : 시간적 보간부

500 : 소프트 스위치 600 : 메디안 필터부

700 : 움직임 확정부 800 : 수직라인 변환부

본 발명은 상기의 목적을 달성하기 위하여 격행 주사 방식의 영상에 해당하는 m개의 필드 데이터에서 보간할 화소를 포함하는 일정 영역의 영상 데이터를 검출하는 단계와, 상기 일정 영역의 영상 데이터를 입력으로 현재 필드를 기준으로 이전 필드와 이후 필드 간의 밝기 변화 및 밝기 윤곽 패턴을 비교하여 움직임 정도를 검출하는 단계와, 상기 일정 영역의 영상 데이터를 입력으로 현재 보간할 화소와 이전 및 이후 화소를 평균하여 필드 평균값을 산출하는 단계와, 상기 일정 영역의 영상 데이터를 입력으로 현재 보간할 화소를 기준으로 화소간 상관 관계를 산출하여 현재 보간할 화소의 에지 방향을 검출하고 그 검출된 에지 방향을 참조하여 필드내 보간값을 산출하는 단계와, 상기 움직임 정도에 따라 상기 필드 평균값과 보간값을 혼합하여 디스플레이 화면에 적합하게 수직 라인을 변경하는 단계를 수행함을 특징으로 한다.상기 필드내 보간값을 산출하는 단계는 상기 일정 영역의 화소간 상관 관계를 산출하여 현재 보간할 화소가 수평 또는 수직 에지 상에 존재하는지 판단하는 단계와, 상기에서 현재 보간할 화소가 수평 또는 수직 에지 상에 존재하는 경우 에지 방향을 0。로 판단하는 단계와, 상기에서 현재 보간할 화소가 수평 또는 수직 에지 상에 수평 또는 수직 에지상에 존재하지 않는 경우 현재 보간할 화소를 중심으로 임의의 영역내의 주변 화소에 대해 서브샘플링(sub-sampling)하는 단계와, 상기에서 서브샘플링된 화소 영역에서 현재 보간할 화소와 그 주변 화소의 상관 관계를 구하여 현재 보간할 화소가 수직 또는 수평 에지 상에 존재하는지의 여부에 따라 현재 보간할 화소의 에지 방향을 다시 검출하는 단계와, 상기에서 검출된 현재 보간할 화소의 에지 방향을 기준으로 일정 영역을 분할하여 화소의 에지 방향에 대한 구간 매칭 에러를 구하고 그 구간 매칭 에러에 따라 필드내 보간값을 산출하는 제5 단계로 이루어짐을 특징으로 한다.

또한, 본 발명은 상기 단계를 수행하기 위하여 보간할 임의의 필드 데이터를 기준으로 그 필드 데이터를 포함하는 이전, 이후의 연속적인 다수의 필드 데이터로부터 밝기 및 밝기 윤곽 패턴의 차이를 검출하여 움직임 정보를 산출하고 그 움직임 정보와 보간할 화소의 에지 방향을 참조하여 선형 보간된 값을 산출하도록 움직임 결정부, 시간적 보간부, 공간적 보간부를 구비하는 디인터레이싱 장치에 있어서, 상기 공간적 보간부는 현재 보간할 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 검출하였을 때 에지 방향이 수평 또는 수직 에지에 존재하지 않는 경우 경사도(gradient)에 의해 에지 방향 검출을 시도하고 이때의 에지 방향이이면 광각의 에지 여부를 결정하기 위해 보간할 화소를 기준으로 소정 영역을 서브샘플링(sub-sampling)하여 보간할 화소가 서브샘플링된 영역에 대해 수평 또는 수직 에지에 존재하지 않으면 경사도(gradient)에 의한 에지 방향을 검출하며 그 검출된 방향을 기준으로 임의로 설정한 관측 영역을 다수개로 분할하여 각각의 영역의 구간 매칭 에러중 최소 구간 매칭 에러를 나타내는 방향에 따른 필드내 보간값을 산출하도록 구성함을 특징으로 한다.

즉, 본 발명은 보간할 화소가 주변의 일정 영역에 대해 수평 또는 수직 에지상에 존재하지 않는 경우 소정 범위의 주변 화소의 영역 및 보간할 화소와 소정 범위의 주변 화소에 대해 서브 샘플링(sub-sampling)된 영역에 대하여 "경사도(gradient) 및 규칙(rule)을 기반으로 한 에지 방향 검출 방법"을 적용하여 에지 방향을 검출하며 그 에지 방향을 기준으로 분할한 관측 영역에 대해 "구간 매칭 방법"을 적용하여 구간 매칭 에러들을 검출한 후 그 검출된 구간 매칭 에러중 최소의 구간 매칭 에러를 나타내는 방향으로 보간값을 산출하는 것이다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

도3은 본 발명의 실시예를 위한 디인터레이싱 장치의 블록도로서 이에 도시한 바와 같이, 시간적으로 연속적인 현재 필드 데이터, 이전 2장의 필드 데이터 및 다음 필드 데이터의 4장의 필드 데이터를 저장하는 필드 저장부(100)와, 이 필드 저장부(100)에서의 각 필드 데이터간의 밝기 차이(BD : Brightness Difference) 및 밝기 윤곽 패턴 차이(BPPD : Brightness Profile Pattern Difference)를 산출하여 그 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)가 소정 문턱값 이상이면 기설정된 값으로 매핑하고 그 밝기 차이(BD) 및 밝기 윤곽 패턴차이(BPPD)를 참조하여 움직임 정도값을 산출하는 움직임 결정부(200)와, 상기 움직임 정도값에 포함된 잡음 성분을 제거하여 그 움직임 정도값이 있는 영역을 군집화하는 메디안 필터부(600)와, 이 메디안 필터부(600)의 출력값을 입력으로 움직임 정도값을 주변 화소들로 확산시키는 움직임 확장부(700)와, 상기 필드 저장부(100)로부터 현재 보간을 실시할 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 산출하고 그 에지 방향을 기준으로 영역을 분할하여 현재 보간할 화소에 대한 최소 구간 매칭 에러를 구한 후 그 에러 방향에 따라 필드내 보간값을 산출하는 공간적 보간부(300)와, 현재 보간할 필드 영상에 대하여 이전 필드의 화소값과 이후 필드의 화소값을 평균하여 필드 평균값을 산출하는 시간적 보간부(400)와, 상기 움직임 확장부(700)에서의 밝기 차이 및 밝기 윤곽 패턴차이를 참조하여 상기 공간적 보간부(300)에서의 에지 방향을 고려한 필드내 보간값과 시간적 보간부(400)에서의 필드 평균값을 혼합하는 소프트 스위치(500)와, 상기 필드 저장부(100)에서의 현재 필드의 데이터를 입력으로 상기 소프트 스위치(500)에서의 보간 라인 데이터를 참조하여 디스플레이에 적합하도록 수직 라인수를 변환하는 수직 라인 변환부(800)로 구성한다.

상기 움직임 결정부(200)는 필드 저장부(100)에서의 각 필드 데이터의 밝기 변화및 밝기 윤곽 패턴을 검출하여 현재 필드를 기준으로 이전 필드와 이후 필드간의 밝기 변화 및 밝기 윤곽 패턴을 비교함에 의해 밝기 차이(BD) 및 밝기 윤곽 패턴 차이(BPPD)를 산출하는 BD/BPPD 검출부(210)와, 상기 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)가 각각의 기설정된 문턱값 이상이면 기설정된 값으로 매핑하고 움직임 정도값을 결정하는 BD/BPPD 합성부(220)로 구성한다.

이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 설명하면 다음과 같다.

필드 저장부(100)는 출력 영상을 구현하기 위한 다수개의 필드 데이터중에서 현재 필드 즉, n번째 필드를 기준으로 n번째 필드에 해당하는 영상 데이터와 이전 필드 및 이후 필드 등 시간적으로 연속적인 m개의 필드에 해당하는 영상 데이터를 저장한다.

다시 말해서, 필드 저장부(100)는 n번째 필드 데이터를 포함하여 그 이전 및 이후의 필드 데이터를 저장하고 그 저장된 필드 데이터를 움직임 결정부(200), 공간적 보간부(300) 및 시간적 보간부(400)로 제공한다.

이때, 움직임 결정부(200)는 필드 저장부(100)에 저장된 각 필드 데이터간에 존재하는 특정 라인들의 화소값과 밝기 윤곽 패턴의 차이를 검출하여 동영상의 움직임 정도를 계산한다.

즉, 움직임 결정부(200)는 BD/BPPD 검출부(210)가 필드 저장부(100)에서의 각 필드 데이터의 밝기 변화 및 밝기 윤곽 패턴을 검출하여 현재 필드를 기준으로 이전 필드와 이후 필드간의 밝기 변화 및 밝기 윤곽 패턴을 비교함에 의해 밝기 차이(BD)및 밝기 윤곽 패턴 차이(BPPD)를 산출하고 BD/BPPD 합성부(220)가 상기에서 산출된 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 입력으로 움직임 정도값을 결정한다.

만일, 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)가 각각의 기설정된 문턱값 이상이면 상기 BD/BPPD 합성부(220)는 그 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 기설정된 값으로 매핑하여 움직임 정도값을 결정한다.

여기서, 밝기 차이(BD : Brightness Difference)에 대한 개념은 디지털 티브이등의 영상 처리 분야에서 라인 보간을 실시하기 위해 이미 많이 사용되고 있으며,

밝기 윤곽 패턴 차이(BPPD : Brightness Profile Pattern Difference)에 대한 개념은 본 출원인이 기출원한 국내특허출원 97-80719호에 제시되어 있다.

상기 국내특허출원 97-80719호는 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 산출하기 위한 밝기 윤곽 패턴의 정량화를 위하여 응용에 따라 요구된 임의의 여러 라인에 대해 라인 보간을 실시한다.

예를 들어, 시간적으로 연속적인 n-2, n-1, n, n+1의 4장의 필드 데이터를 가정하여 움직임 결정부(200)에서의 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)의 산출 과정을 설명하면 다음과 같다.

먼저, n-2번째 필드 데이터의 화소값을 이용하여 n-2번째 필드 데이터의 밝기 윤곽 패턴을 추출한다.

즉, n-2번째 필드가 입력된 시각에서의 밝기 윤곽 패턴을 추출한다.

그리고, n번째 필드 데이터의 화소값을 이용하여 n번째 필드 데이터의 밝기 윤곽패턴을 추출한다.

즉, n번째 필드가 입력되는 시각에서의 밝기 윤곽 패턴을 추출한다.

이 후, 움직임 결정부(200)는 n-2번째 필드의 밝기 윤곽 패턴과 n번째 필드의 밝기 윤곽 패턴을 비교하여 n-2번째 필드와 n번째 필드의 밝기 윤곽 패턴의 차이(BPPD)를 산출하며 또한, n-2번째 필드와 n번째 필드의 밝기 차이(BD)를 산출한다.

그리고, 움직임 결정부(200)는 상기와 동일한 과정으로 n-1번째 필드와 n+1번째 필드의 밝기 차이와 밝기 윤곽 패턴차이를 산출한다.

그런데, 방송 채널등으로 전송된 화상은 부호 단계 또는 전송 단계에서 필연적으로 잡음이 섞이게 된다.

따라서, 본 발명에서는 움직임 결정부(200) 특히, BD/BPPD 합성부(220)의 출력값을 정확하게 설정하기 위하여 그 BD/BPPD 합성부(220)의 출력값에서 잡음 성분을 제거하고 화상중 움직임이 검출된 영역을 군집화(grouping)하는 메디안 필터부(600)와, 이 메디안 필터부(600)에서 출력값을 입력으로 움직임이 있는 화소와 인접한 다른 화소로 움직임 정도값을 확장시키는 움직임 확장부(700)가 구비된다.

이때, 상기 움직임 확장부(700)가 움직임 정도값을 인접한 화소로 확장시키는 이유는 다음과 같다.

일반적으로 동영상의 움직임은 특정 화소에서만 이루어지는 것이 아니라 일정 영역의 화소군들에서 이루어진다.

따라서, 특정 화소에 움직임 정도값이 감지되었다면 그 화소의 잡음 성분에 의한 것이거나 그 특정 화소 및 인접한 주변 화소가 움직임 상태에 있는 것이다.

그런데, 메디안 필터부(600)에서 잡음 성분에 해당하는 움직임 정도값이 이미 제거된 상태이므로 이 주변 화소들이 움직임 상태에 있을 가능성이 높다.

따라서, 움직임 확장부(700)는 메디안 필터부(600)에서 출력된 움직임 정도값을 그 움직임 정도값이 감지된 화소의 주변으로 확산시키는 것이다.

한편, 공간적 보간부(300)는 필드 저장부(100)로부터 현재 보간을 실시할 영역의 필드 데이터를 입력으로 라인 보간을 실시할 영역에 해당하는 n번째 필드 데이터의 화소값과 필드내 주변화소들을 검출하고 그때 필드내 화소들의 상관 관계를 이용하여 보간할 화소 주변의 화소값들이 포함되어 있는 에지(edge) 방향을 산출하여 그 에지 방향에 따른 적정한 보간값을 추출한다.

특히, 본 발명에서는 공간적 보간부(300)는 보간할 화소의 공간적인 일관성과 시간적인 일관성을 유지하기 위하여 보간할 화소를 그 보간할 화소로부터 공간적으로 인접한 화소들의 화소값 및 보간할 화소의 현재 필드로부터 시간적으로 인접한 필드의 화소값과 필터링하여 보간할 화소의 보간값을 추출하는 것으로, "경사도(gradient) 및 규칙(rule)에 의한 에지 방향 검출 방법"과 "구간 매칭(region matching) 방법"을 적용한다.

이러한 "경사도 및 규칙에 의한 에지 방향 검출 방법"과 "구간 매칭(region matching) 방법"의 동작 원리 등은 본 출원인에 의해 1999년 6월 30일자로 기출원된 국내특허출원 제99-26084호에 상세히 기술되어 있으므로 본 발명에서는 개략적으로 설명하기로 한다.

먼저, 공간적 보간부(300)는 필드내의 화소들의 상관관계를 이용하여 에지 방향을검출한다.

이때, 보간하려는 화소의 에지 방향을 검출하기 위하여 전체 영역을 도4의 예시도에 도시한 바와 같이, 크게,,의 3방향으로 분할하였다고 가정할 때 공간적 보간부(300)는 보간할 화소가 어느 방향의 에지에 속하는가를 판단하기 위해 보간할 화소를 중심으로 상,하,좌,우에 인접하는 화소들에 대해 상관 관계를 구하여 보간할 화소가 수직 또는 수평 에지에 속하는지 여부를 먼저 판단한다.

예를 들어, i번째 라인의 j번째 화소를 보간하려는 경우라면 아래와 같은 식에 의해 보간하려는 화소와 인접 화소간의 수직 방향에 대한 상관 관계를 구할 수 있다.

------ (1)

------ (2)

----- (3)

이 후, 공간적 보간부(300)는 아래의 프로그램과 동일한 과정을 수행하여 보간하려는 화소의 에지 방향을 산출한다.

여기서, 보간하고자 하는 화소는이고, 이는 n번째 필드의 i행 j열에 있는 화소를 의미한다.

상기 식(1)-(3)에 사용된에 대해서도 동일한 의미를 적용할 수 있다.

즉, 공간적 보간부(300)는 식(1)∼(3)에 의해 구한 로우 패스 필티링된 화소간 차이값(a,b,c)의 최대값()을 산출하여 그 최대값()이 소정 문턱값(Threshold)보다 작으면 보간하려는 화소의 에지 방향을로 판단한다.

또한, 위의 수직 방향 상관관계 검출과 유사한 방법으로 위와 같이 로우 패스 필터링된 화소에 대해 수평 방향 상관관계를 검출하여 그 산출된 값이 수평 방향의 소정의 문턱값보다 작으면 보간하려는 화소의 에지 방향을로 판단한다.

반대로, 로우 패스 필터링된 화소간 차이값(a,b,c)의 최대값()이 소정 문턱값(Threshold)과 같거나 보다 크면 즉, 보간하고자 하는 화소가 수직 혹은 수평 방향으로 낮은 상관관계를 나타내는 영역에 존재하면 공간적 보간부(300)는 "경사도(gradient)에 의한 에지 방향 검출 방법"을 이용하여 에지 방향을 검출하는데, 이 과정을 설명하면 다음과 같다.

보간하고자 하는 화소가 수직 또는 수평 에지에 속하지 않으므로 보간하려는 화소가 속한 에지 방향을 산출하기 위하여 우선, 도6의 예시도에 도시한 바와 같은 3x3 소벨 마스크를 이용하여 화소값의 경사도(gradient)를 구하게 된다.

도6에서 도6a는 3x3 소벨 마스크를 도시한 것이고, 도6b는 화소(x5)에서의 y축 기울기를 구하기 위해 이용하는 3x3 소벨 마스크를 도시한 것이며, 도6c는 화소(x5)에서의 x축 기울기를 구하기 위해 이용하는 3x3 소벨 마스크를 도시한 것이다.

이때, 도6에서의 소벨 마스크내의 화소값을 아래의 식(4)(5)에 대입하여 화소값의 경사도를 산출한다.

------- (4)

------- (5)

여기서,는 x축에 대하여 측정된 각도이다.

따라서, 경사도(gradient)의 방향은 도5 에 도시한 바와 같이, 에지 방향()에 대하여 수직이므로 그 에지 방향()은 아래 식(6)과 같은 연산으로 구할 수 있다.

------ (6)

이에 따라, 공간적 보간부(300)는 상기에서 경사도에 의해 검출된 에지 방향이에 속하는지 판단하게 된다.

이때, 상기 연산 결과의 에지 방향이가 아니라고 판단하면 보간하려는 화소가 보다 넓은 범위의 에지상에 존재하는가를 판별하기 위해 도7의 예시도와 같이, 현재 보간하려는 화소를 중심으로 j-n∼j+n열에 대해 서브샘플링하여 소벨 마스크를 얻는다.

여기서, 서브샘플링시 화소의 겹침(aliasing)을 방지하기 위해 저역 통과 필터링을 수행하여 원하는 주파수 대역으로 제한한 후 서브샘플링을 수행할 수 있다.

이 후, 공간적 보간부(300)는 도7와 같이 서브샘플링에 의해 얻은 소벨 마스크에 대해 상기 식(1)∼(3)과 같은 연산을 수행하고 그때의 화소간 차이값(a,b,c)의 최대값()을 문턱값(Threshold)과 비교하여 앞에서 언급한 바와 같이 보간하려는 화소가 수평 또는 수직 에지에 존재하는지 판단하게 된다.

이에 따라, 서브샘플링된 화소에 대한 판단 결과 보간하려는 화소가 수평 또는 수직 에지에 존재하면 공간적 보간부(300)는 보간하려는 화소의 에지 방향을로 판단한다.

반대로, 보간하려는 화소가 수평 또는 수직 에지에 존재하지 않으면 공간적 보간부(300)는 상기 식(4)∼(6)과 같은 연산을 수행하여 에지 방향을 산출하게 된다.

그리고, 상기에서 경사도에 의한 에지 방향을 검출할 때 주어진 화소에서 사용되는 보간하고자 하는 라인의 초기 추정 화소값은 도8의 예시도와 같이 단순히 수직 방향으로 선형보간한 값이나 이 값에 2차원 가우시안 필터를 적용한 값을 사용한다.

즉, 도8a는 격행 주사 필드 영상의 3x3 영상 영역을 나타내고, 도8b는 잡음 성분 제거를 위한 2차원 가우시안 필터의 예를 나타낸 것으로, 도8a와 같은 영상 영역에서 수직 방향으로 선형 보간한 x에서의 초기 추정 화소값은이 되며, 수직 방향으로 선형 보간하여 도8b와 같은 2차원 가우시안 필터를 통과시킨 후의 x에서의 초기 추정 화소값은가 된다.

따라서, 공간적 보간부(300)는 상기 일련의 과정을 아래와 같은 프로그램에 의해 수행하는 것이다.

IF(수평 혹은 수직 edge상에 존재) THEN

edge 방향 =

ELSE

gradient 계산에 의한 edge 방향 검출

IF(edge 방향 =) THEN

현재 보간하고자 하는 화소를 중심으로 서브샘플링

IF(수평 혹은 수직 edge상에 존재) THEN

edge 방향 =

ELSE

gradient 계산에 의한 edge 방향 검출

ENDIF

ENDIF

ENDIF

즉, 상기의 과정을 간략하게 설명하면, 보간하려는 화소와 주변 화소간의 상관 관계를 검출하여 보간하려는 화소가 수평 또는 수직 에지상에 존재하면 에지 방향은으로 판단한다.

만일, 보간하려는 화소의 에지 방향이가 아니라면 "경사도에 의한 에지 방향 검출 방법"을 적용하여 에지 방향을 산출하고 그때의 에지 방향이인지 판단한다.

이때, 에지 방향이로 판단되면 현재 보간하고자 하는 화소를 중심으로 서브샘플링을 수행하고 상기 식(1)∼(3)을 이용하여 보간하려는 화소가 수평 또는 수직 에지상에 존재하는지 판단한다.

이에 따라, 보간하려는 화소가 수평 또는 수직 에지상에 존재하면 최종적으로 보간하려는 화소의 에지 방향을로 판단한다.

반대로, 화소의 서브샘플링후 판단 결과 보간하려는 화소가 수평 또는 수직 에지상에 존재하지 않으면 서브샘플링된 화소에 대해 경사도에 의한 에지 방향 검출 방법을 적용하여 에지 방향을 산출하게 된다.

이 후, 상기와 같은 과정은 j+1,j+2,j+3,j+4,...의 위치상에 놓이는 화소에 대해 반복 수행되어 각 화소의 방향값들Dir(j+1), Dir(j+2), Dir(j+3), Dir(j+4),...이 지속적으로 산출한다.

또한, 공간적 보간부(300)는 상기와 같은 과정으로 보간하려는 화소의 에지 방향을 검출하면 도9에 도시한 바와 같은 "계층적 규칙에 의해 에지 검출 방법"을 이용하여 초기에 잡음 성분에 의해 잘못 검출된 에지 방향을 주변 화소들이 속하는 에지 방향들과 비교, 분석함으로 올바른 에지 방향으로 보정하게 된다.

우선, 각 화소의 방향값들(Dir(j+1),Dir(j+2),Dir(j+3),Dir(j+4),Dir(j+5))을 참조하여 제1 프로그램 모듈의 연산 과정을 수행함에 의해 원래 방향값을 산출하려던 화소에 수평 방향으로 인접하여 위치한 화소의 방향값(NewDir(j+3))을 추정한다.

또한, 위의 j를 j-1로 대치함으로써 인접하여 위치한 회소의 방향값(NewDir(j+2))을 동일한 방식으로 추정한다.

이 후, 상기에서 산출된 방향값들(NewDir(j+2),NewDir(j+3))과 현재 방향값을 구하려는 화소와 이전 화소의 방향값들(OutDir(j),OutDir(j+1))을 이용하여 제2 프로그램 모듈의 연산 과정을 수행함에 의해 이후 인접 화소의 방향값(OutDir(j+2))을 산출한다.

이에 따라, 이후 인접 화소의 방향값(OutDir(j+2))과 현재 방향값을 구하려는 화소 및 이전,이후 화소의 방향값들(OutDir(j-2),OutDir(j-1),OutDir(j),OutDir(j+1))을 이용하여 제3 프로그램 모듈의 연산 과정을 수행함에 의해 현재 보간할 화소의 에지 방향(FinalDir(j))을 올바른 방향으로 보정한다.

이 후, 보간하고자 하는 화소에 대해 상기에서 거시적으로 결정된 에지 방향(FinalDir(j))에 대해 보다 세밀한 에지 방향을 검출하여 주변 화소값들을 선형 보간하여 보간값을 산출하도록 "구간 매칭(region matching) 방법"을 적용한다.

구간 매칭 방법이란 보간할 영역의 에지 부분의 화소값이 에지 방향에 따라 연속적이라는 성질을 이용하여 보간값을 추출하는 방법으로, 이를 개략적으로 설명하면 다음과 같다.

먼저, 보간할 화소가 포함된 임의의 에지 상에 존재하는 이동영역(sliding window)내에 존재하는 화소값을 검출한다.

이때, 이동 영역의 크기는 시스템에 따라 임의로 조절할 수 있다.

그리고, 상하의 이동 영역을 일정한 간격으로 서로 반대 방향으로 시프트시키면서 그 시프트된 양에 해당되는 다양한 에지 방향에 대해 상하 이동 영역내의 서로 상응하는 화소간의 차이를 지속적으로 검출한다.

동시에 지속적으로 검출된 화소값의 변화량을 참조하여 보간하고자 하는 화소가 포함되어 있는 에지의 방향을 감지한다.

예를 들어, 도10은 "경사도 및 계층적 규칙을 기반으로 한 에지 방향 검출 방법"에 의해 결정된 거시적 에지 방향(FinalDir(j))이일 경우의 세부 방향 결정을 위한 구간 매칭 방법을 도시한 것이다.

따라서, 보간할 i번째 라인을 기준으로 일정한 관측 영역(observation window)내에서 i+1번째 라인과 i-1번째 라인에 소정의 이동 영역(sliding window)을 설정한다.

그리고, i-1번째 라인의 이동 영역은 왼쪽에서 오른쪽으로 이동시키고 i+1번째 라인의 이동영역은 오른쪽에서 왼쪽으로 이동시킨다.

그리고, 이동 영역간의 서로 대각선상에 위치한 화소들의 차이값을 검출하여 그 차이를 합산하거나 혹은 상기의 합산값을 소정의 이동 영역내에서 화소당 평균 차이값으로 환산하여 화소값의 변화량을 산출한다.

여기서, 이동 영역의 이동 간격이 인접한 화소 간격의 절반 단위로 설정된 경우를 예로 하였지만, 보다 정밀하게 하기 위하여 1/4,1/8,...등의 세밀한 간격으로 이동 영역의 이동 간격을 조절할 수 있다.

이때, 관측 영역의 수평적으로 서로 인접한 화소들의 화소값을 선형적으로 보간하고 그 선형적으로 보간된 화소값을 상기 관측 영역의 수평적으로 서로 인접한 화소들 사이의 값으로 설정한다.

이 후, 아래 식(7)에 의해 이동 영역내에 위치한 화소들이 가진 화소값의 차이를 산출하거나 혹은 식(7)의을 이동 영역내에 위치한 화소들의 수로 나눈 화소당 평균 차이를 산출한다.

-------- (7)

여기서, m은 응용에 따라 구하고자 하는 대각선의 방향까지로 정할 수 있다.

예로, m의 범위를 -3에서 +3까지로 정할 수 있고 -3에서 +3사이의 m값의 간격을 이동 영역의 이동 간격에 의해 정의한다.

그 후, 상기 식(7)에 의한 값중에서 최소값을 추출하고 그 최소값에 대한값을 추출한다.

한예로서, m의 범위를 -3에서 +3까지로 정하고 이동 영역의 이동 간격을 반화소로 정의한 경우에 따라 보간값을 산출한다.

즉, "구간 매칭 방법"에 의한 보간값을 산출하는 과정을 단계적으로 설명하면 다음과 같다.

먼저, 이동 영역내에 포함된 각 화소들의 화소값을 수평적으로 서로 인접한 화소끼리 선형적으로 보간한다.

그리고, 수평적으로 서로 인접한 화소끼리 보간한 화소값을 상기 수평적으로 인접한 화소사이에 삽입하고 이동 영역간의 화소들간의 차이를 산출하여 합산한다.

그 후, 이 합산값들중 최소값을 산출하고 최소값이 산출된 대각선상에 있는 상하의 이동 영역의 중심에 존재하는 화소값을 선형 보간하여 보간값을 산출한다.

만일, 상기 식(7)에 의해 산출된 값중 최소로 되는이 2개 이상 산출되면 m이 0인 경우를 기준점으로 하여 가장 가까운 지점의 보간값을 우선한다.

그리고, m이 0인 경우를 기준점으로 하여 2개의이 동일한 거리의 지점에서 산출되면 2개의이 존재하는 이동 영역의 중심에 위치한 화소값을 필터링하여 보간값을 산출한다.

그러나, 각 대각선 방향에 따른 이동 영역간의 화소값들의 차이의 합()이 소정 문턱값 이상의 값을 가지게 되면 보간값은이 0인 경우 즉, 수직 방향으로 선형 보간할 때의 값과 동일하게 된다.

그리고, 본 발명에서 관측 영역의 크기및 그 관측 영역에 포함되는 화소의 개수도 임의로 조절할 수 있다.

물론, 관측 영역의 범위내에서 이동 영역의 크기도 임의로 조절할 수 있으며 그 이동 영역에 포함되는 화소의 개수 역시 임의로 조절할 수 있다.

그런데, 본 발명에서는 주어진 에지 방향에 따라 세부적으로 "구간 매칭 방법"을 적용할 때 다수개의 영역으로 분할하여 각각의 영역에 대해 "구간 매칭 방법"을 적용한다.

이에 따라, 각 영역의 최소 구간 매칭 에러()를 구하고 그 중 최소인 구간 매칭 에러를 나타내는 방향에 따라 현재 보간하고자 하는 화소 위치의 화소값을 보간하게 된다.

예를 들어, 도11은 "경사도 및 계층적 규칙을 기반으로 한 에지 방향 검출 방법"에 의해 결정된 거시적 에지 방향(FinalDir(j))이일 경우 크게 두 영역(A,B)으로 분할하여 각각의 영역에 대한 "구간 매칭 방법"을 도시한 것이다.

따라서, 도11을 참조하여 현재 보간하고자 하는 화소 위치의 화소값을 보간하는 과정을 설명하면 다음과 같다.

도11에서 영역(A)는 에지 방향을 기준으로 검출된영역에서 특정 에지 방향까지로 설정하고 영역(B)는방향에서 상기의 특정 에지 방향에서 관측하려는 영역의 끝까지로 설정한다.

또한, 위의 경계가 되는 특정 에지 방향은 응용 및 이동 영역의 크기등을 고려하여 임의로 적절하게 선택할 수 있다.

이때, 각각의 영역(A)(B)에 대하여 상기 식(7)과 같은 연산으로 구간 매칭 에러들을 구하고 각각의 영역(A)(B)에 대한 구간 매칭 에러들을 비교하여 각각의 영역(A)(B)에서의 최소 구간 매칭 에러()()를 구하게 된다.

이 후, 각 영역(A)(B)에 대한 최소의 구간 매칭 에러()()를 비교한다.

이때, 구간 매칭 에러()가 구간 매칭 에러()보다 작거나 같으면 현재 보간하고자 하는 화소값은 영역(A)의 최소 구간 매칭 에러()를 나타내는 방향에 따라 보간된 값이 된다.

반대로, 구간 매칭 에러()가 구간 매칭 에러()보다 크면 영역(B)의 최소 구간 매칭 에러()를 나타내는 방향에 따라 보간된 화소값을 구하여 현재 보간하고자 하는 화소의 바로 상,하에 존재하는 화소값사이에 있는지 판별한다.

이에 따라, 최소 구간 매칭 에러()를 나타내는 방향에 따라 보간된 화소값이 현재 보간하고자 하는 화소의 바로 상,하에 존재하는 화소값사이에 있으면 이 화소값이 보간하고자 하는 화소값이 된다.

만일, 최소 구간 매칭 에러()를 나타내는 방향에 따라 보간된 화소값이 현재 보간하고자 하는 화소의 바로 상,하에 존재하는 화소값사이에 있지 않으면 현재 보간하고자 하는 화소값은 영역(A)의 최소 구간 매칭 에러()를 나타내는 방향에 따라 보간된 값이 된다.

즉, 상기의 과정은 아래와 같은 프로그램에 의해 수행한다.

IF( ) THEN

ELSE

IF(Median{} =) THEN

ELSE

ENDIF

ENDIF

여기서,는 n번째 필드의 i행 j열에 있는 화소를 나타내며, 이것이 현재 보간하고자 하는 화소이다.

또한,와는 각각 A영역과 B영역의 최소 구간 매칭 에러를 나타내는 방향을 따라 보간한 값을 나타낸다.

따라서, 공간적 보간부(300)는 상기 일련의 과정과 같이, 가능한 현재 보간할 화소와 공간적으로 인접한 화소들을 사용하여 보간을 수행하고 상대적으로 멀리 떨어져 있는 화소들을 사용하여 보간하는 경우에는 보간할 화소에 인접해 있는 화소들과의 상관 관계를 검사하여 상관성이 높은 경우에만 이 화소들을 사용하여 보간함으로써 보다 정교하면서도 안정적인 보간을 실행하게 된다.

그리고, 상기에서 공간적 보간부(300)가 보간할 화소값을 결정하기 위해 기울기와 룰을 기반으로 한 방향 검출 방법을 먼저 이용하고 구간 매칭 방법을 나중에 이용하는 이유는 다음과 같다.

구간 매칭 방법은 동작 원리가 간단하나, 하나의 에지 방향을 검출하기 위한 연산 분량이 많아 보간값을 정밀하게 검출하기 어려운 단점이 있다.

반면, 기울기와 룰을 기반으로 한 방향 검출 방법은 간단한 연산으로 에지 방향을 쉽게 검출할 수 있는 장점이 있으나, 정밀하게 에지 방향을 검출하는데 어려움이 있다는 단점이 있다.

따라서, 본 발명은 상기 방법들의 장점만을 사용함으로써 에지 방향이 검출된 화소의 선형적인 보간값을 추출할 때에만 "구간 매칭 방법"을 이용하고 실제로 보간할 화소가 속한 에지 방향을 검출할 때에는 "경사도 및 규칙을 기반으로 한 에지 방향 검출 방법"을 사용하는 것이다.

이에 따라, 본 발명은 "구간 매칭 방법"만을 적용하는 경우보다는 연산량을 크게 감소시켜 효율적인 에지 검출 방법을 제공하고 "경사도 및 규칙을 기반으로 한 에지 방향 검출 방법"만을 적용한 경우보다는 정밀한 에지 방향 검출이 가능하게 된다.

이 후, 현재 필드내에서 보간할 화소의 주변 화소 특히, 선형 보간에 사용된 대각 방향의 두 화소와, 보간된 위치의 화소 그리고, 이전 필드와 이후 필드의 현재 보간된 위치의 두 화소에 대하여 메디안 필터링을 수행한다.

예를 들어, 도12는 보간 화소 결정을 위한 시간 및 공간적 필터링에 사용되는 인접화소들을 보인 예시도이다.

이때, 현재 필드(n번째 필드)내에서 보간할 화소의 주변 화소 특히, 선형 보간에 사용된 대각 방향의 두 화소(,)와, 보간된 위치의 화소(그리고, 이전 필드(n-1번째 필드)와 이후 필드(n+1번째 필드)의 현재 보간된 위치의 화소(,)에 대하여 아래 식(8)와 같은 연산으로 메디안 필터링을 수행하여 화소의 잡음 성분을 제거한다.

------ (8)

따라서, 상기 식(8)과 같은 메디안 필터링을 수행함으로써 현재 보간하고자 하는 화소를 시간적, 공간적으로 필터링하여 잡음 성분을 제거할 뿐만 아니라 움직임 확장부(700)에 의해 동화로 고려되는 정지화 부분의 시간적 보간 효과를 나타낼 수 있으며, 시간축 방향으로 일관성을 유지하여 안정도를 높일 수 있다.

그리고, 현재 필드(n번째 필드)에서 더 부드럽고 안정적인 보간값을 산출하기 위하여 상기에서 산출된 에지 방향에 따라 필드내 보간된 화소값에 소정의 가중치를 주어 아래 식(9)와 같은 메디안 필터링을 수행할 수 있다.

가중치가 감안된 메디안 필터링은 아래 식(9)와 같은 연산으로 수행된다.

------(9)

그런데, 상기와 같이 메디안 필터링이 모두 수행된 보간 화소()가 현재 보간할 위치와 공간적으로 먼 다른 화소들에 의해 결정된 경우이거나 매우 빠른 움직임상에 존재하는 경우이면 보간 화소값이 인접한 다른 화소들에 비해 두드러지게 다른 값을 나타낼 수 있다.

이러한 현상을 방지하기 위하여 본 발명에서 공간적 보간부(300)는 필드내에서 보간할 화소의 위치로부터 수직 방향으로 인접한 화소들을 참조하여 아래와 같은 프로그램에 의해 수직 방향의 메디안 필터링을 수행한다.

이러한 수직 방향 메디안 필터링의 동작을 설명하면 다음과 같다.

만약, 현재 보간할 화소의 위치로부터 수평적으로 떨어진 거리가 상기 식(7)에 의해 결정되는 m값보다 작다면 상기 식(8) 또는 식(9)에 의해 추정된 보간 화소는 보간값으로 결정된다.

그러나, 만약 현재 보간할 화소의 위치로부터 수평적으로 떨어진 거리가 상기 식(7)에 의해 결정되는 m값보다 작지 않다면 보간값은 상기 식(8) 또는 (9)에 의해 추정된 보간 화소와 보간될 화소의 수직 방향으로 인접한 화소들의 화소값을 참조하여 메디안 필터링된 값으로 결정된다.

그리고, 시간적 보간부(400)는 현재 보간을 실시할 화소와 동일한 위치에 해당하는 그 이전 필드 데이터의 화소값과 그 이후 필드 데이터의 화소값을 평균하여 필드 평균값을 추출한다.

예로, n번째 필드 영상을 새로 생성하기 위하여 i번째 라인의 j번째 화소를 보간하여야 한다면 시간적 보간부(400)는 i번째 라인의 j번째 화소의 영상 데이터를 가지고 있는 n-1번째 필드 데이터의 화소값과 n+1번째 필드 데이터의 화소값을 평균하여 필드 평균값을 추출한다.

즉, 시간적 보간부(400)에서의 필드 평균값은 아래 식(10)에 의해 산출된다.

------ (10)

이때, 소프트 스위치부(500)는 움직임 결정부(200)에서 산출된 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 입력받아 움직임 확장부(700)에서 출력된 움직임 정도값을 참조하여 공간적 보간부(300)에서 출력된 에지 방향을 고려한 필드내 보간값과 시간적 보간부(400)에서 출력된 필드 평균값을 혼합하여 출력한다.

이러한 소프트 스위치부(500)는 아래 식(11)과 같은 연산값을 출력한다.

----- (11)

여기서,는 움직임 확장부(700)에서 출력된 움직임 정도값으로서 '0 이상 1 이내'의 범위의 값이다.

이에 따라, 수직라인 변환부(800)는 소프트 스위치부(500)에서 출력된 보간값과 필드 저장부(100)에서 저장된 현재 필드 데이터값들을 참조하여 디스플레이 장치에 맞는 보간 라인을 생성하기 위하여 현재 필드 화면의 수직 라인수를 변환한다.

만일, 라인 변환이 필요없이 디인터레이싱된 필드 데이터만을 필요로 하는 경우 수직라인 변환부(800)는 필드 저장부(100) 및 소프트 스위치부(500)에서 출력된 값을 그대로 통과시켜 출력한다.

상기에서 상세히 설명한 바와 같이 본 발명은 현재 보간하고자 하는 필드의 에지 방향에 따라 필드내 보간을 수행한 후 움직임 정도에 따라 필드 평균값과 혼합함으로 종래의 디인터레이싱 방법에 비하여 더 정밀한 에지 방향 검출 및 보간을 실시함으로써 화질 성능을 향상시키는 효과가 있다.

Claims (10)

1. m개의 필드 데이터에서 보간할 화소를 포함하는 일정 영역의 영상 데이터를 검출하는 단계와,

   상기 일정 영역의 영상 데이터를 입력으로 현재 필드를 기준으로 이전 필드와 이후 필드 간의 밝기 변화 및 밝기 윤곽 패턴을 비교하여 움직임 정도를 검출하는 단계와,

   상기 일정 영역의 영상 데이터를 입력으로 현재 보간할 화소와 이전 및 이후 화소를 평균하여 필드 평균값을 산출하는 단계와,

   상기 일정 영역의 영상 데이터를 입력으로 현재 보간할 화소를 기준으로 화소간 상관 관계를 산출하여 현재 보간할 화소의 에지 방향을 검출하고 그 검출된 에지 방향을 참조하여 필드내 보간값을 산출하는 단계와,

   상기 움직임 정도에 따라 상기 필드 평균값과 보간값을 혼합하여 디스플레이 화면에 적합하게 수직 라인을 변경하는 단계를 수행하고,

   상기 필드내 보간값을 산출하는 단계는

   상기 일정 영역의 화소간 상관 관계를 산출하여 현재 보간할 화소가 수평 또는 수직 에지 상에 존재하는지 판단하는 제1 단계와,

   상기에서 현재 보간할 화소가 수평 또는 수직 에지 상에 존재하는 경우 에지 방향을로 판단하는 제2 단계와,

   상기에서 현재 보간할 화소가 수평 또는 수직 에지 상에 수평 또는 수직 에지상에 존재하지 않는 경우 현재 보간할 화소를 중심으로 임의의 영역내의 주변 화소에 대해 서브샘플링(sub-sampling)하는 제3 단계와,

   상기에서 서브샘플링된 화소 영역에서 현재 보간할 화소와 그 주변 화소의 상관 관계를 구하여 현재 보간할 화소가 수직 또는 수평 에지 상에 존재하는지의 여부에 따라 현재 보간할 화소의 에지 방향을 다시 검출하는 제4 단계와,

   상기 제2 단계 또는 제4 단계에서 검출된 현재 보간할 화소의 에지 방향을 기준으로 일정 영역을 분할하여 화소의 에지 방향에 대한 구간 매칭 에러를 구하고 그 구간 매칭 에러에 따라 필드내 보간값을 산출하는 제5 단계를 수행하는 것을 특징으로 하는 디인터레이싱 방법.
2. 제1항에 있어서, 보간할 화소를 중심으로 주변 일정 영역에 대해 서브샘플링하는 제3 단계는 보간할 화소와 주변 화소의 상관 관계를 구하는 제1 과정과, 상기 상관 관계를 참조하여 보간할 화소가 수직 또는 수평 에지상에 존재하는지 판단하는 제2 과정과, 상기에서 보간할 화소가 수직 또는 수평 에지상에 존재하지 않으면 에지 부분의 경사도를 산출하는 제3 과정과, 상기 경사도를 참조하여 보간할 화소의 변화 방향을 판별하는 제4 과정과, 상기에서 화소의 변화 방향이이면 현재 보간할 화소를 기준으로 상하측 라인의 일정 영역 화소에 대해 서브샘플링하는 제5 과정으로 이루어진 것을 특징으로 하는 디인터레이싱 방법.
3. 제2항에 있어서, 경사도를 산출하는 제3 과정은 수직 방향으로 선형 보간한 값에 대해 2차원 가우시안 필터링을 미리 수행하는 것을 특징으로 하는 디인터레이싱 방법.
4. 제2항에 있어서, 서브 샘플링하는 제5 과정은 서브샘플링전에 주파수 대역을 제한하기 위한 저역 필터링을 미리 수행하는 것을 특징으로 하는 디인터레이싱 방법.
5. 제1항에 있어서, 제4 단계는 서브샘플링된 영역에서 보간할 화소와 주변 화소의 상관 관계를 구하는 제1 과정과, 상기 상관 관계를 참조하여 보간할 화소가 수직 또는 수평 에지상에 존재하는지 판단하는 제2 과정과, 상기에서 보간할 화소가 수직 또는 수평 에지상에 존재하면 에지 방향을로 판단하는 제3 과정과, 상기에서 보간할 화소가 수직 또는 수평 에지상에 존재하지 않으면 에지 부분의 경사도를 산출하는 제4 과정과, 상기 경사도를 참조하여 보간할 화소의 변화 방향을 판별하는 제5 과정으로 이루어진 것을 특징으로 하는 디인터레이싱 방법.
6. 제1항에 있어서, 에지 방향에 따른 보간값을 산출하는 제5 단계는 현재 보간할 화소의 에지 방향을 기준으로 제1,제2 영역을 분할하는 제1 과정과, 상기에서 분할된 영역에 대한 보간할 화소의 변화 방향 에러를 구하여 그 에러 방향에 따른 보간값을 산출하는 제2 과정으로 이루어지며,

   상기 제2 과정은

   제1,제2 영역의 구간 매칭 에러를 구하여 비교하는 과정과, 제1 영역의 구간 매칭 에러가 제2 영역의 구간 매칭 에러와 같거나 보다 작으면 제1 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 과정과, 제1 영역의 구간 매칭 에러가 제2 영역의 구간 매칭 에러보다 크면 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간하여 그 보간값이 현재 보간하려는 화소의 상,하에 존재하는 화소값 사이에 있는지 비교하는 과정과, 상기에서 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 화소값이 현재 보간하려는 화소의 상,하에 존재하는 화소값사이에 있는 경우 그 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 과정과, 상기에서 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 화소값이 현재 보간하려는 화소의 상,하에 존재하는 화소값사이에 있지 않은 경우 제1 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 과정으로 이루어진 것을 특징으로 하는 디인터레이싱 방법.
7. 제6항에 있어서, 제1 영역은 에지 방향을 기준으로 경사도에 의해 검출된 에지 방향까지로 설정하고 제2 영역은 검출된 에지 방향에서 관측하려는 영역의 끝까지로 설정하는 것을 특징으로 하는 디인터레이싱 방법.
8. 삭제
9. 보간할 임의의 필드 데이터와 그 주변 필드 데이터를 입력으로 밝기 및 밝기 윤곽 패턴의 차이를 검출하여 영상의 움직임 정도를 계산하는 움직임 결정부와, 현재 보간할 필드 영상에 대해 이전 필드의 화소값과 이후 필드의 화소값을 평균하여 필드 평균값을 산출하는 시간적 보간부와, 상기 필드 저장부로부터 현재 보간을 실시한 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 산출하고 그 에지 방향을 기준으로 영역을 분할하여 현재 보간할 화소에 대한 최소 구간 매칭 에러를 구한 후 그 에러 방향에 따라 필드내 보간값을 산출하는 공간적 보간부와, 상기 움직임 확장부에서의 움직임 정도에 따라 상기 공간적 보간부에서의 필드내 보간값과 시간적 보간부에서의 필드 평균값을 혼합하여 수직라인 변환부로 출력하는 소프트 스위치를 구비하는 것을 특징으로 하는 디인터레이싱 장치.
10. 제9항에 있어서, 공간적 보간부는 필드 저장부로부터 현재 보간할 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 검출하였을 때 에지 방향이 수평 또는 수직 에지에 존재하지 않는 경우 보간할 화소를 기준으로 소정 영역을 서브샘플링(sub-sampling)하여 보간할 화소가 서브샘플링된 영역에 대해 수평 또는 수직 에지에 존재하지 않으면 경사도(gradient)에 의한 에지 방향을 검출하여 그 검출된 방향을 기준으로 임의로 설정한 관측 영역을 다수개로 분할하여 각각의 영역에 대한 최소 구간 매칭 에러를 검출한 후 그 검출된 최소 구간 매칭 에러중 에지 방향에 가장 근접하는 최소 구간 매칭 에러를 나타내는 방향에 따른 필드내 보간값을 산출하도록 구성함을 특징으로 하는 디인터레이싱 장치.