KR20050023983A - 에지 기반의 공간적 상관성을 이용한 영상 적응형디인터레이싱 방법 - Google Patents

Abstract

본 발명은 ELA(Edge-based Line Average)와 같이 유사성이 가장 높은 방향을 검출한 후 영상의 영역별 변화량과 주변 화소에서의 국소적 변화를 이용하는 2 가지의 방향 검증을 통해 잘못된 방향을 검출하는 오류를 최소화하여 화질을 향상시킨다. 이 때, 영상의 특성에 적응적인 윈도우 내 화소들의 평균 수평 변화량을 임계값으로 사용하여 고정된 임계값을 사용하는 기존 기법에 비해 안정된 성능을 보인다. 이와 같은 장치는 독립된 인터레이싱 장치로 사용될 수 있음은 물론 움직임 적응형 디인터레이싱 기법의 필드내 보간을 위한 장치로도 사용될 수 있다.

Description

에지 기반의 공간적 상관성을 이용한 영상 적응형 디인터레이싱 방법{IMAGE ADAPTIVE DEINTERLACING METHOD USING SPATIAL CORRELATION BASED ON EDGE}

본 발명은 디지털 비디오 신호 처리에 관한 것으로, 좀 더 구체적으로는 인터레이스 스캔(interlaced scan) 방식의 비디오 신호를 프로그레시브 스캔(progressive scan) 방식의 비디오 신호로 변환시켜주는 디인터레이싱 장치 및 방법에 관한 것이다.

디인터레이싱 기법은 공간적 상관성을 이용하는 필드내 보간 방법(intra-field interpolation)과, 공간적 상관성과 시간적 상관성을 이용하여 필드 내의 정보뿐만 아니라 전후 필드간의 정보를 이용하여 보간하는 필드간 보간 방법(inter-field interpolation)이 있다. 필드내 보간 방법은 공간적 상관성을 기반으로 필드 내의 정보만을 이용하여 보간하는 것으로서 대표적인 기법은 라인 반복(line repetition), 라인 평균, ELA(Edge-based Line Average) 등이 있다. 필드간 보간 방법은 공간적 상관성과 시간적 상관성을 기반으로 필드 내의 정보뿐만 아니라 전후 필드간 정보를 이용하여 보간하는 것으로서 대표적인 기법으로 움직임 보상형(motion compensated), 움직임 적응형(motion adaptive) 보간 방법 등이 있다. 일반적으로 필드간 보간 방법의 성능이 뛰어난 것으로 알려져 있지만 전후 필드 정보를 이용하기 위해서 부가적인 필드 메모리가 필요하기 때문에 구조가 복잡해지고 가격이 비싼 단점이 있다. 반면에 필드내 보간 방법은 필드간 보간 방법보다 보간 성능은 떨어지지만 구현이 간단하고 가격이 저렴한 것이 장점이다.

필드내 보간 방법 중에서 라인 평균은 항상 위·아래 방향의 화소의 평균값으로 보간하기 때문에 저경사 에지에서 발생하는 계단 현상은 심각한 화질 열화의 원인이 된다.

ELA 기법은 영상의 에지 정보를 이용하여 보간함으로써 영상의 에지에서 발생하는 계단현상을 효과적으로 제거할 수 있기 때문에 필드내 보간 방법으로는 좋은 성능을 보이고 있다. 그러나, ELA 방식은 수직 에지가 포함된 부분이나 회소의 밝기 차이가 뚜렷하지 않은 부분 그리고 영상의 고주파 성분이 많이 포함된 영역에서는 실제 에지를 검출하지 못하고 잘못된 방향을 검출하게 되는 경우가 발생할 수 있다. 이런 경우에는 눈에 잘 띄는 고주파 성분의 오류를 발생시키기 때문에 오히려 화질을 열화시키게 된다. ELA가 뛰어난 보간 성능을 갖고 있음에도 불구하고 이러한 단점으로 인하여 독립된 디인터레이싱 장치로서 사용되기보다는 최근에 많이 사용되는 움직임 적응형 기법에서 필드내 보간 장치로서 사용되는 추세이다. 그러나 보간 오류로 인해 발생하는 화질 열화 문제는 아직도 많은 개선이 필요하기 때문에 현재에도 많은 종류의 변형된 ELA들이 개발되고 있다.

따라서 본 발명의 목적은 화질이 개선된 디인터레이싱 장치 및 방법을 제공하는데 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 일 특징에 의하면, 디인터레이싱 방법은: 보간될 화소를 중심으로 하는 NXM 크기의 윈도우의 각 방향에 대한 화소의 변화량을 구하고, 상기 화소 변화량이 최소인 방향으로 임시 에지 방향을 결정하는 단계와, 상기 임시 에지 방향에 의해 분할되는 영역들 간의 회소 차이로부터 영역간 변화량을 계산하는 단계와, 상기 영역간 변화량과 제 1 임계값을 비교해서 상기 임시 에지의 정확성을 검증하는 단계와, 상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사한 지의 여부를 판별하는 단계와, 상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사할 때 상기 임시 에지 방향으로 보간하는 단계 그리고 상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사하지 않을 때 수직 방향으로 보간하는 단계를 포함한다.

바람직한 실시예에 있어서, 상기 제 1 임계값은 상기 윈도우 내에 속한 화소들의 평균 수평 변화량(MHD)이다.

이 실시예에 있어서, 상기 영역간 변화량이 상기 평균 수평 변화량(MHD)보다 클 때 라인 평균 방식으로 보간하는 단계를 더 포함한다.

바람직한 실시예에 있어서, 상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사한 지의 여부를 판단하는 단계는, 상기 임시 에지 방향의 화소 및 상기 임시 에지 방향의 화소와 인접한 화소 간의 차와 제 2 임계값과의 차를 계산하는 단계 및 상기 임시 에지 방향의 화소 및 상기 임시 에지 방향의 화소와 인접한 화소 간의 차가 상기 제 2 임계값보다 작을 때 상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사한 것으로 판별하는 단계를 포함한다.

(실시예)

본 발명은 ELA(Edge-based Line Average)와 같이 유사성이 가장 높은 방향을 검출한 후 영상의 영역별 변화량과 주변 화소에서의 국소적 변화를 이용하는 2 가지의 방향 검증을 통해 잘못된 방향을 검출하는 오류를 최소화하여 화질을 향상시킨다. 이 때, 영상의 특성에 적응적인 윈도우 내 화소들의 평균 수평 변화량을 임계값으로 사용하여 고정된 임계값을 사용하는 기존 기법에 비해 안정된 성능을 보인다. 이와 같은 장치는 독립된 인터레이싱 장치로 사용될 수 있음은 물론 움직임 적응형 디인터레이싱 기법의 필드내 보간을 위한 장치로도 사용될 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 디인터레이싱 장치를 보여주고 있고, 도 7은 본 발명의 바람직한 실시예에 따른 디인터레이싱 방법을 보여주는 플로우차트이다. 도 1을 참조하면, 디인터레이싱 장치(100)는 임시 에지 방향 결정부(110), 방향 검증부(120) 그리고 에지 방향 보간부(130)를 포함한다.

방향 검증부(120)는 임계값 결정부(121), 1차 방향 검증부(122) 및 2차 방향 검증부(123)를 포함한다. 방향 검증부(120)는 영상의 영역별 변화량과 주변 화소에서의 국소적 변화를 이용하는 2 가지의 방향 검증 방법을 통하여 임시 에지의 결정 과정에서 잘못된 방향을 검출하여 발생하는 오류를 최소화한다. 본 발명에서는 임계값으로 사용하는 화소들의 평균 수평 변화량은 영상의 밝기 등과 같은 특성에 따라 변화하기 때문에 고정된 임계값을 사용하는 종래의 방법에 비해 안정된 성능을 보인다.

임시 방향 결정부(110)는 가장 유사성이 높은 화소들을 찾아 그 방향을 임시 에지로 결정한다(단계 S200). 에지 위에 놓여진 화소들은 높은 유사성을 갖는다는 성질을 이용하여 가장 유사성이 높은 화소들을 찾아서 그 방향을 따라 보간한다.

도 2는 보간될 화소 X를 중심으로 하는 3 X 3 윈도우를 보여주고 있다. 보간될 화소 X 주변의 화소 A, B, C, D, E 및 F의 좌표는 수학식 1과 같이 표현할 수 있다.

X = Y(i, j)

A = Y(i-1, j-1)

B = Y(i-1, j)

C = Y(i-1, j+1)

D = Y(i+1, j-1)

E = Y(i+1, j)

F = Y(i+1, j+1)

도 2에 도시된 3 X 3 윈도우에서 에지가 가질 수 있는 방향은 도 3a, 도 3b 그리고 도 3c에 도시된 바와 같다.

세 가지 방향 가운데 가장 유사한 값을 갖는 방향을 찾기 위해서 각각의 화소 차이를 구해야 한다.

방향1의 화소 차이값(AD_방향1)은 화소 A와 화소 F의 차이를 , 방향2의 화소 차이값(AD_방향2)은 화소 C와 화소 D의 차이를 그리고 방향3의 화소 차이값(AD_방향3)은 화소 B와 화소 E의 차이이다.

화소 차이값들 가운데 가장 작은 값에 대응하는 방향이 가장 유사성이 높은 방향이 되며, 이 방향으로 에지가 존재하는 것으로 판단한다. 이 때, 방향3으로 보간을 하는 경우에는 라인 평균과 같은 결과를 얻게 된다.

방향 검증부들(122, 123)은 보간될 화소의 주변 특성으로서 서로 다른 영역간의 상이성과 동일 영역 내의 유사성을 이용하여 앞 단계인 임시 에지 방향 결정부(110)에서 결정된 임시 에지 방향에 대해 검증한다. 특히, 검증부(122)는 임계값 결정부(121)에서 얻어지는 화소들의 평균 수평 변화량(mean of horizontal difference : MHD)을 임계값으로 사용하여 영상 밝기 등의 특성에 대한 적응력을 갖도록 한다. 방향 검증부(120)의 구체적인 기능은 다음과 같다.

윈도우 내에서 임시 에지에 의해 분할되는 영역에서 서로 다른 영역에 속한 화소의 값은 모두 일정값 이상씩 차이가 나야하며, 값 변화의 증감 방향은 모두 같아야 한다. 이러한 조건을 만족하지 않는 경우에는 임시 에지 결정 단계에서 구해진 임시 에지에 의해 서로 다른 영역으로 뚜렷하게 구분이 되는 영역이 아니므로, 보간 오류를 줄이기 위해서 라인 평균을 한다. 예를 들어, 임시 에지 결정부(110)에서 방향1로 결정된 경우에는 도 4a에 표시된 바와 같은 네 가지 경우 대해서 모두 임계값 이상의 차이가 나는 지와 그의 증감 방향을 검사하며, 방향2로 결졍된 경우에는 도 4b에 도시된 바와 같은 네 가지 경우를 모두 검사해야 한다(단계 S210).

수학식 4는 임시 방향으로 방향1이 결정된 경우 1차 검증을 위한 조건식이다.

수학식 5는 임시 방향으로 방향2가 결정된 경우 1차 검증을 위한 조건식이다.

수학식 4 및 수학식 5에서 사용되는 임계값 threshold1은 임계값 결정부(121)에서 구한 값이다.

임계값 결정부(121)는 도 5a와 같은 3X3 윈도우 내에서 각 화소의 평균 수평 변화량(MHD)을 구한다(단계 S220). 이 값을 1차 검증 단계에서 사용하는 임계값 threshold1으로 사용한다(단계 S230).

평균 수평 변화량(MHD)의 특징은 다음과 같다.

1) 화소의 수평 방향 변화를 측정한 값으로서 수직 에지 또는 경사가 큰 에지에서 큰 값을 갖는다.

2) 영상 내 화소 값의 변화가 심한 고주파 영역에서 큰 값을 갖는다.

3) 평균값이 제거된 값이기 때문에 영상 밝기 변화에 영향을 받지 않는다.

4) 차이 값에 대한 임계값으로 사용되기 때문에 콘트라스트 비(Contrast Ratio)의 높고 낮음에 관계없이 좋은 성능을 유지한다.

이 임계값(threshold1)은 위의 특징 1), 2)에 서술된 바와 같이 수직 에지와 경사가 큰 에지, 그리고 고주파 영역에서 큰 값을 갖기 때문에 이러한 영역에서는 1차 검증 조건을 만족하지 못하고 라인 평균이 될 확률이 커진다. 따라서 ELA의 보간 오류가 발생할 확률을 낮출 수 있다. 그리고 특징 3), 4)에 서술된 바와 같이 밝기 변화나 콘트라스트 비의 변화에 대해 적응적인 특성을 갖는다. 따라서 고정된 임계값을 사용하는 기존의 기법에서는 영상에 따라 성능에 차이가 발생하는 문제점이 있는 반면, 이 임계값을 사용하면 영상의 특성에 관계없이 안정된 성능을 유지할 수 있다.

실제 영상에서는 영상의 고주파 영역에서 화소 값이 점차적으로 변화하는 경우가 있다. 이런 경우에 위의 임계값은 거리가 짧은 화소들간의 차이만 구하기 때문에 작은 값으로 나타날 수 있으며, 이 때 보간 오류가 발생할 가능성이 있다. 이런 경우에는 도 5b 및 수학식 7과 같이 경계의 특성을 더 뚜렷하게 나타내는 값을 임계값으로 사용하여 문제점을 보완할 수 있다.

2차 검증부(123)는 임시 에지로 결정된 영역 내의 화소 값은 유사해야 한다는 조건에 따라 임시로 결정된 에지 방향을 검증한다. 즉, 임시 에지로 결정된 영역 내의 화소 값은 일정값 이상의 차이가 나지 않아야 한다. 그렇지 않은 경우에는 화소 값의 변화가 심한 고주파 영역으로 간주하고 라인 평균을 한다.

도 6a는 방향1에 대하여 비교가 될 화소들을 표시한 것으로 수학식 8은 방향1을 따라서 최종 보간하기 위해서 만족해야 할 조건식이다(단계 S240).

도 6b는 방향2에 대하여 비교가 될 화소들을 표시한 것이고, 수학식 9는 그에 대한 조건식이다.

위의 두 검증 단계를 모두 거친 후의 결과가 최종 에지 방향이 되며, 이 방향에 따라 에지 방향 보간부(130)에서 보간을 한다.

에지 방향 보간부(130)는 임시 방향 결정부(110)와 방향 검증부(120)에 의해서 최종 결정된 방향에 따라 해당 방향의 양쪽 끝에 있는 화소의 평균 값으로 보간한다(단계 S250). 즉, 임시 에지와 인접한 회소 간의 차이값이 임계값(threshold2)보다 작으면 임시 에지 방향으로 보간(단계 S260)하고, 임시 에지와 인접한 회소 간의 차이값이 임계값(threshold2)보다 크면 수직 방향으로 보간한다(단계 S270).

예시적인 바람직한 실시예들을 이용하여 본 발명을 설명하였지만, 본 발명의 범위는 개시된 실시예들에 한정되지 않는다는 것이 잘 이해될 것이다. 따라서, 청구범위는 그러한 변형 예들 및 그 유사한 구성들 모두를 포함하는 것으로 가능한 폭넓게 해석되어야 한다.

이와 같은 본 발명에 의하면, ELA(Edge-based Line Average)와 같이 유사성이 가장 높은 방향을 검출한 후 영상의 영역별 변화량과 주변 화소에서의 국소적 변화를 이용하는 2 가지의 방향 검증을 통해 잘못된 방향을 검출하는 오류를 최소화하여 화질을 향상시킨다. 이 때, 영상의 특성에 적응적인 윈도우 내 화소들의 평균 수평 변화량을 임계값으로 사용하여 고정된 임계값을 사용하는 기존 기법에 비해 안정된 성능을 보인다. 이와 같은 장치는 독립된 인터레이싱 장치로 사용될 수 있음은 물론 움직임 적응형 디인터레이싱 기법의 필드내 보간을 위한 장치로도 사용될 수 있다. 본 발명은 종래에 비해 단순한 구조를 채택하여 제품의 제조 비용을 감소시킨다.

도 1은 본 발명의 바람직한 실시예에 따른 디인터레이싱 장치를 보여주는 도면;

도 2는 보간될 화소 X를 중심으로 하는 3 X 3 윈도우;

도 3a 내지 도 3c는 도 2에 도시된 3 X 3 윈도우에서 에지가 가질 수 있는 방향을 각각 보여주는 도면들;

도 4a 및 도 4b는 임시 에지 결정부에서 결정된 임시 에지 방향에 의해 분할된 영역들 간의 화소 차를 계산하는 방법들을 보여주는 도면들;

도 5a 내지 도 5b는 평균 수평 변화량을 계산하는 방법들을 보여주는 도면들;

도 6a 내지 도 6b는 2 차 검증 단계에서 임시 에지와 인접한 화소 간의 차를 계산하는 방법을 보여주는 도면들; 그리고

도 7은 본 발명의 바람직한 실시예에 따른 디인터레이싱 방법을 보여주는 플로우차트이다.

*도면의 주요부분에 대한 설명

100 : 디인터레이싱 장치 110 : 임시 에지 방향 결정부

120 : 방향 검증부 121 : 임계값 결정부

122 : 1차 검증부 123 : 2차 검증부

130 : 에지 방향 보간부

Claims (4)

1. 보간될 화소를 중심으로 하는 NXM 크기의 윈도우의 각 방향에 대한 화소의 변화량을 구하고, 상기 화소 변화량이 최소인 방향으로 임시 에지 방향을 결정하는 단계와;

   상기 임시 에지 방향에 의해 분할되는 영역들 간의 회소 차이로부터 영역간 변화량을 계산하는 단계와;

   상기 영역간 변화량과 제 1 임계값을 비교해서 상기 임시 에지의 정확성을 검증하는 단계와;

   상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사한 지의 여부를 판별하는 단계와;

   상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사할 때 상기 임시 에지 방향으로 보간하는 단계; 그리고

   상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사하지 않을 때 수직 방향으로 보간하는 단계를 포함하는 디인터레이싱 방법.
2. 제 1 항에 있어서,

   상기 제 1 임계값은 상기 윈도우 내에 속한 화소들의 평균 수평 변화량(MHD)인 디인터레이싱 방법.
3. 제 2 항에 있어서,

   상기 영역간 변화량이 상기 평균 수평 변화량(MHD)보다 클 때 라인 평균 방식으로 보간하는 단계를 더 포함하는 디인터레이싱 방법.
4. 제 1 항에 있어서,

   상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사한 지의 여부를 판단하는 단계는,

   상기 임시 에지 방향의 화소 및 상기 임시 에지 방향의 화소와 인접한 화소 간의 차와 제 2 임계값과의 차를 계산하는 단계; 및

   상기 임시 에지 방향의 화소 및 상기 임시 에지 방향의 화소와 인접한 화소 간의 차가 상기 제 2 임계값보다 작을 때 상기 임시 에지가 상기 윈도우 내의 인접한 화소들과 유사한 것으로 판별하는 단계를 포함하는 디인터레이싱 방법.