KR100616164B1 - 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법 - Google Patents

Abstract

본 발명은 라인 평균값, 메디안 필터링 값 및 움직임 보상 값을 이용하는 메디안 필터링 기법을 통해 인트라/인터 영상의 선택 적용을 위한 복잡한 계산량을 배제할 수 있도록 한다는 것으로, 이를 위하여 본 발명은, 인트라 또는 인터 영상으로의 디인터레이스를 위해 정방향 및 역방향의 인터 프레임간 차분값 및 차분 총합값과 인트라 및 인터 프레임간 차분값 및 차분 총합값을 산출하는 종래 방식과는 달리, 라인 평균값을 이용한 디인터레이스 영상의 픽셀값, 메디안 필터를 이용한 디인터레이스 영상의 픽셀값 및 움직임 보상을 이용한 디인터레이스 영상의 픽셀값들 중 중간값을 최종 픽셀 값으로 취하는 메디안 필터링을 통해 인터 프레임의 디인터레이스 영상을 생성하고, 움직임 추정/보상을 통해 인터 프레임을 생성할 때 발생하는 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기 및 움직임 탐색 영역의 크기)에 의거하여 라인 교차 삽입에 의한 인트라 영상 또는 인터 영상으로의 디인터레이스를 실행하도록 함으로써, 복잡한 계산량을 필요로 하지 않으면서도 영상의 움직임에 적응적인 영상 디인터레이싱을 실현할 수 있으며, 또한 재생 영상에서의 화질 열화를 야기시키는 블록 아티팩트의 발생을 억제할 수 있는 것이다.

Description

메디안 필터를 이용한 적응적인 영상 디인터레이스 장치 및 그 방법{APPARATUS AND METHOD FOR DE-INTERLACING ADAPTIVELY FIELD IMAGE BY USING MEDIAN FILTER}

도 1은 본 발명의 바람직한 실시 예에 따른 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치의 블록구성도,

도 2는 도 1에 도시된 제3인터 프레임 발생 블록의 세부 블록구성도,

도 3은 라인 평균, 메디안 필터, 움직임 추정/보상을 통해 얻어지는 세 값 중의 하나를 메디안 필터링으로 선택하는 과정을 설명하기 위해 도시한 도면,

도 4는 종래의 움직임 보상 기법을 이용한 영상 디인터레이스 장치의 블록구성도.

＜도면의 주요부분에 대한 부호의 설명＞

102 : 인트라 프레임 발생 블록 104 : 제1인터 프레임 발생 블록

106 : 제2인터 프레임 발생 블록 108 : 제3인터 프레임 발생 블록

110 : 메디안 필터링 블록 112 : 인트라/인터 결정 블록

114 : 프레임 생성 블록 1081 : 필드 메모리 블록

1083 : 움직임 추정 블록

1085 : 정방향 인터 프레임 생성 블록

1087 : 역방향 인터 프레임 생성 블록

1089 : MC 인터 프레임 발생 블록

본 발명은 영상신호를 디인터레이스하는 기법에 관한 것으로, 더욱 상세하게는 오드(홀수) 필드와 이븐(짝수) 필드로 된 인터레이스 영상에 대해 인트라 또는 인터 프레임의 디인터레이스 영상으로 변환하는데 적합한 움직임 카운트를 이용한 영상 디인터레이스 장치 및 그 방법에 관한 것이다.

통상적으로, 디스플레이를 위한 영상신호는 인터레이스 영상과 디인터레이스 영상으로 구분할 수 있는데, 인터레이스 영상은 오드 필드와 이븐 필드로 이루어져 격행 주사를 통해 디스플레이되는 영상을 나타내고, 디인터레이스 영상은 하나의 프레임으로 이루어져 순차 주사를 통해 디스플레이되는 영상을 나타낸다.

잘 알려진 바와 같이, NTSC 방송의 영상신호는 인터레이스 영상(즉, 오드 필드와 이븐 필드의 격행 주사를 통해 하나의 영상 프레임을 표현하는 방식)으로 이루어져 있는데, 최근 들어 보급이 확산되고 있는 PDP, LCD 등의 디스플레이 소자는 디인터레이스 방식(즉, 즉, 영상을 한 라인씩 순차적으로 주사하여 한 프레임을 표현하는 방식)의 영상 모드를 지원하고 있다. 따라서, 이러한 PDP 등에서는 NTSC 방송의 인터레이스 영상을 디인터레이스 영상으로 재배열하는 수단을 채용하고 있다.

전형적인 종래 디인터레이스 방식으로는 두 라인 데이터를 그대로 이용하여 디인터레이스 영상을 생성하는 방법과 픽셀(화소) 단위의 움직임을 추정 결과에 의거하여 인터레이스 영상을 생성하는 방법이 있다.

상기한 종래 방법들 중 라인 데이터를 그대로 이용하는 방식은 오드 필드 라인 데이터와 이븐 필드 라인 데이터를 라인별로 겹쳐서 끼워 넣는 방식(라인 교차 삽입 방식)으로 디인터레이스 영상을 생성하는 기법인데, 이러한 기법의 경우 프레임용 보간 데이터의 생성을 위한 계산량이 간단하다는 장점을 갖는 반면에 필드별로 움직임이 심한 동영상일 경우 필드간의 영상 차이가 심하기 때문에 에지 근처에서 영상의 화질 열화를 필연적으로 수반되는 문제가 있다.

또한, 상기한 종래 방법들 중 픽셀 단위의 움직임을 추정하는 방식은 픽셀 단위의 움직임을 추정하고, 이 움직임 추정 결과에 의거하여 현재 필드의 인접하는 픽셀들 및/또는 이전 필드의 대응하는 위치의 인접 픽셀들을 이용하는 방식으로 디인터레이스 영상을 생성하는 기법인데, 이러한 기법의 경우 영상의 움직임에 매우 강한 특성을 갖는 반면에 하드웨어적인 구성 및 계산량이 매우 복잡하다는 문제가 있으며, 이러한 문제는 결국 디인터레이스 장치의 상용화 및 저가격화를 저해시키는 요인으로 작용하고 있는 실정이다.

한편, 상기한 종래 기술의 문제점을 해결하기 위한 하나의 방편으로서, 라인 삽입 방식과 움직임 추정/보상을 이용한 보간(interpolation) 방식을 혼합하여 사용하는 새로운 방법이 제안되었으며, 이러한 새로운 방법을 실현하는 하드웨어적인 구성이 도 4에 도시되어 있다.

도 4는 종래의 영상 디인터레이스 장치의 블록구성도로서, 필드 데이터 전처 리 블록(402), 인트라 프레임 발생 블록(404), 정방향 인터 프레임 생성 블록(406), 역방향 인터 프레임 생성 블록(408), 인터 프레임 발생 블록(410), 제1차분 발생 블록(412), 제2차분 발생 블록(414), 인트라/인터 결정 블록(416) 및 프레임 선택 블록(418)을 포함한다.

도 4를 참조하면, 필드 데이터 전처리 블록(402)은, 비록 도면에서의 상세한 도시는 생략하였으나, 다수의 필드 메모리와 움직임 추정 블록을 포함하는 것으로, 외부로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 인트라 프레임 발생 블록(404)으로 제공하고, 시간축 상으로 연속하는 한쪽의 필드 데이터(예를 들면, 오드 필드)들 이용하여 N×N 블록 단위로 움직임을 추정하여 각 블록 단위의 움직임 벡터를 발생하며, 이와 같이 발생된 움직임 벡터들을 선택된 필드 데이터(예를 들면, 오드 필드 데이터)와 함께 정방향 및 역방향 인터 프레임 생성 블록(406, 408)으로 각각 제공하는 등의 기능을 수행한다.

다음에, 인트라 프레임 발생 블록(404)은 필드 데이터 전처리 블록(402)으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 이용하여 라인 데이터를 순차 삽입하는 방식으로 인트라 프레임 데이터, 즉 인트라 프레임의 디인터레이스 영상 데이터를 생성하는 것으로, 여기에서 생성된 인트라 프레임 데이터(디인터레이스 영상 데이터)는 라인 L41을 통해 제2차분 발생 블록(414) 및 프레임 선택 블록(418)으로 각각 제공된다.

또한, 정방향 인터 프레임 생성 블록(406)은 필드 데이터 전처리 블록(402)으로부터 제공되는 n번째 필드 데이터(예컨대, n번째 오드 필드 데이터)와 n-1번째 및 n번째 필드 데이터간의 N×N 블록의 단위 움직임 추정을 통해 얻어진 움직임벡터들을 이용하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 n번째 필드를 이용하는 라인 데이터 삽입 방식을 통해 정방향의 인터 프레임, 즉 정방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 정방향의 인터 프레임은 라인 L42를 통해 인터 프레임 발생 블록(410)과 제1차분 발생 블록(412)으로 각각 제공된다.

이어서, 역방향 인터 프레임 생성 블록(408)은 필드 데이터 전처리 블록(402)으로부터 제공되는 n-1번째 필드 데이터(예컨대, n-1번째 오드 필드 데이터)와 n-1번째 및 n번째 필드 데이터간의 N×N 블록의 단위 움직임 추정을 통해 얻어진 움직임벡터들을 이용하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 n-1번째 필드를 이용하는 라인 데이터 삽입 방식을 통해 역방향의 인터 프레임, 즉 역방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 역방향의 인터 프레임은 라인 L43을 통해 인터 프레임 발생 블록(410)과 제1차분 발생 블록(412)으로 각각 제공된다.

이에 응답하여, 인터 프레임 발생 블록(410)에서는 라인 L42를 통해 제공되는 정방향의 인터 프레임과 라인 L43을 통해 제공되는 역방향의 인터 프레임의 대응하는 각 픽셀 값들을 가산한 후 다시 평균(즉, 1/2)을 취하는 방식으로 인터 프레임(즉, 움직임 보상(MC) 인터 프레임)을 생성하며, 여기에서 생성된 인터 프레임은 라인 L44를 통해 제2차분 발생 블록(414)과 프레임 선택 블록(418)으로 각각 제공된다.

또한, 제1차분 발생 블록(412)에서는 라인 L42를 통해 제공되는 정방향의 인터 프레임과 라인 L43을 통해 제공되는 역방향의 인터 프레임간의 차분값(에러신호들)들을 추출, 즉 모든 픽셀들에 대한 픽셀 차분값들을 추출하고, 이 추출된 차분값들을 모두 가산하여 인터 프레임 차분 총합값을 산출한 후 다음 단의 인트라/인터 결정 블록(416)으로 제공한다.

다음에, 제2차분 발생 블록(414)에서는 라인 L41을 통해 제공되는 인트라 프레임과 라인 L44를 통해 제공되는 인터 프레임간의 차분값(에러신호들)들을 추출, 즉 모든 픽셀들에 대한 픽셀 차분값들을 추출하고, 이 추출된 차분값들을 모두 가산하여 인트라/인터 프레임 차분 총합값을 산출한 후 다음 단의 인트라/인터 결정 블록(416)으로 제공한다.

이에 응답하여, 인트라/인터 결정 블록(416)에서는 제1차분 발생 블록(412)으로부터 제공되는 인터 프레임 차분 총합값과 제2차분 발생 블록(414)으로부터 제공되는 인트라/인터 프레임 차분 총합값을 비교하고, 그 비교 결과에 의거하여 디인터레이싱된 인트라 영상 혹은 디인터레이싱된 인터 영상을 선택하기 위한 절환신호를 발생하여 라인 L45를 통해 프레임 선택 블록(418)으로 제공한다. 예를 들어, 인터 프레임 차분 총합값이 인트라/인터 프레임 차분 총합값보다 적어도 클 때 인터 모드로 디인터레이싱된 영상을 선택하도록 하고 반대의 경우 인트라 모드로 디인터레이싱된 영상을 선택하도록 하는 절환신호를 발생하여 라인 L45를 통해 프레임 선택 블록(418)으로 제공한다.

그 결과, 프레임 선택 블록(418)에서는, 라인 L45를 통해 제공되는 절환신호 에 응답하여, 라인 L41 상의 디인터레이싱된 인트라 영상을 출력으로 선택하거나 혹은 라인 L44 상의 디인터레이싱된 인터 영상(움직임 보상 인터 영상)을 출력으로 선택한다. 여기에서, 디인터레이싱된 영상의 출력 선택은 하나의 프레임 단위로 이루어진다.

즉, 종래의 디인터레이스 장치에서는 정방향의 인터 프레임 및 역방향의 인터 프레임간의 인터 프레임 차분값을 산출하고, 인트라 프레임 및 인터 프레임간의 인트라/인터 프레임 차분값을 산출하며, 이와 같이 산출된 두 차분값들에 의거하여 인터레이스 영상을 인트라 영상으로 디인터레이스할 것인지 혹은 움직임 보상(MC) 인터 영상으로 디인터레이스 할 것인지를 판단 및 결정한다.

그러나, 상술한 바와 같은 종래의 디인터레이스 장치의 경우, 인터레이스 영상을 인트라 영상으로 디인터레이스할 것인지 또는 움직임 보상 인터 영상으로 디인터레이스할 것인지를 판단하기 위해서는, 정방향 및 역방향의 인터 프레임간 차분값 및 차분 총합값을 산출하고 인트라 및 인터 프레임간 차분값 및 차분 총합값을 산출해야만 하기 때문에, 별도의 복잡한 계산을 필요로 한다는 문제가 있다.

또한, 움직임이 없는 부분에서는 움직임 보상 인터 영상을 주로 취하고, 움직임이 있는 부분에서는 인트라 영상을 주로 취하는 전술한 종래 방식의 경우, 움직임이 상대적으로 큰 경우에 제대로 된 값을 찾지 못하게 되는 문제가 있으며, 또한 비록 움직임이 없는 부분에서 움직임 보상 인터 영상을 취한다고 하더라도 여전히 블록 아티팩트(block artifact)가 잔존하게 되는 문제가 있으며, 이러한 문제들은 결국 화질 열화를 초래하는 원인을 제공하고 있다.

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 라인 평균값, 메디안 필터링 값 및 움직임 보상 값을 이용하는 메디안 필터링 기법을 통해 인트라/인터 영상의 선택 적용을 위한 복잡한 계산량을 배제할 수 있는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 라인 평균값, 메디안 필터링 값 및 움직임 보상 값을 이용하는 메디안 필터링 기법을 통해 블록 아티팩트의 발생을 억제할 수 있는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치 및 그 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 일 관점에 따른 본 발명은, 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 장치로서, 오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 수단과, 상기 오드 필드와 이븐 필드의 라인 평균값을 이용하여 디인터레이스된 제 1 인터 영상을 발생하는 제 1 수단과, 인접하는 주변 N개의 픽셀값들을 이용하는 메디안 필터링을 통해 디인터레이스된 제 2 인터 영상을 발생하는 제 2 수단과, 시간적으로 연속하는 필드간의 움직임 추정/보상을 통해 예측 필드를 생성하고, 이 생성된 예측 필드와 해당 필드를 이용하여 디인터레이스된 움직임 보상 인터 영상을 발생하는 제 3 수단과, 제 1 수단 내지 제 3 수단으로부터의 각 출력을 이용하는 메디안 필터링을 수행하여 최종 인터 영상을 결정하는 수 단과, 상기 움직임 추정/보상시에 발생하는 기 설정된 각 블록의 움직임 정보에 의거하여 상기 인트라 영상 또는 최종 인터 영상의 출력을 디인터레이스 영상으로 선택하는 수단을 포함하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치를 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 방법으로서, 오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 제 1 과정과, 라인 평균값을 이용하여 생성한 제 1 인터 영상, 인접하는 다수 픽셀값을 이용하는 메디안 필터링을 통해 생성한 제 2 인터 영상 및 필드간의 움직임 추정/보상을 통해 생성한 제 3 인터 영상에 대해 메디안 필터링을 수행하여 최종 인터 영상을 결정하는 제 2 과정과, 상기 움직임 추정/보상시에 발생하는 움직임 정보에 의거하여 상기 인트라 영상 또는 최종 인터 영상의 출력을 디인터레이스 영상으로 선택하는 제 3 과정을 포함하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법을 제공한다.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.

본 발명의 핵심 기술요지는, 인트라 또는 인터 영상으로의 디인터레이스를 위해 정방향 및 역방향의 인터 프레임간 차분값 및 차분 총합값과 인트라 및 인터 프레임간 차분값 및 차분 총합값을 산출하는 전술한 종래 방식과는 달리, 라인 평균값을 이용한 디인터레이스 영상의 픽셀값, 메디안 필터를 이용한 디인터레이스 영상의 픽셀값 및 움직임 보상을 이용한 디인터레이스 영상의 픽셀값들 중 중간값을 최종 픽셀 값으로 취하는 메디안 필터링을 통해 인터 프레임의 디인터레이스 영상을 생성하고, 움직임 추정/보상을 통해 인터 프레임을 생성할 때 발생하는 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기 및 움직임 탐색 영역의 크기)에 의거하여 라인 교차 삽입에 의한 인트라 영상 또는 인터 영상으로의 디인터레이스를 실행한다는 것으로, 이러한 기술적 수단을 통해 본 발명에서 목적으로 하는 바를 쉽게 달성할 수 있다.

도 1은 본 발명의 바람직한 실시 예에 따른 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치의 블록구성도로서, 인트라 프레임 발생 블록(102), 제 1 인터 프레임 발생 블록(104), 제 2 인터 프레임 발생 블록(106), 제 3 인터 프레임 발생 블록(108), 메디안 필터링 블록(110), 인트라/인터 결정 블록(112) 및 프레임 생성 블록(114)을 포함한다.

도 1을 참조하면, 본 발명의 적응적인 영상 디인터레이스 장치는, 라인 교차 삽입 방식을 이용하여 인트라 프레임을 발생하고, 라인 평균값을 이용하여 인터 프레임을 발생하며, 주변 픽셀값들을 이용하는 메디안 필터링을 이용하여 인터 프레임을 발생하고, 움직임 추정/보상 기법을 이용하여 인터 프레임을 발생하도록 하는 데이터 처리 경로를 갖는다는 점에 첫 번째 기술적 특징을 가지며, 또한 라인 평균값을 이용한 디인터레이스 영상, 메디안 필터를 이용한 디인터레이스 영상 및 움직임 보상을 이용한 디인터레이스 영상에 대해 다시 한번 메디안 필터링을 수행하여 원하는 인터 프레임의 디인터레이스 영상을 생성한다는 점에 두 번째 기술적 특징을 가지며, 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기 및 움직임 탐색 영역의 크기)를 이용하여 인트라 영상 또는 메디안 필터링을 통해 얻은 인터 영상을 최종 디인터레이스 영상으로 선택하도록 한다는 점에 세 번째 기술적 특징을 갖는다.

먼저, 인트라 프레임 발생 블록(102)은, 도시 생략된 필드 메모리 블록으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 이용하여 오드 라인과 이븐 라인을 교차 삽입하는 방식으로 인트라 프레임 데이터, 즉 인트라 프레임의 디인터레이스 영상 데이터를 생성하는 것으로, 여기에서 생성된 인트라 프레임 데이터(디인터레이스 영상 데이터)는 라인 L11을 통해 프레임 생성 블록(114)으로 전달된다.

다음에, 제 1 인터 프레임 발생 블록(104)은 도시 생략된 필드 메모리 블록으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 이용하여 라인 평균값을 취하는 방식으로 인터 프레임 데이터, 즉 인터 프레임의 디인터레이스 영상 데이터를 생성하는 것으로, 여기에서 생성된 인터 프레임 데이터(디인터레이스 영상 데이터)는 라인 L12를 통해 메디안 필터링 블록(110)으로 제공된다.

또한, 제 2 인터 프레임 발생 블록(106)은 도시 생략된 필드 메모리 블록으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)에 대해 메디안 필터링을 적 용, 즉 오드 필드와 이븐 필드 내 인접하는 다수의 픽셀, 일 예로서 도 3에서 참조부호 A로서 도시된 바와 같이, 대상 픽셀의 상하 픽셀((X, Y-1), (X, Y+1)), 대각 방향의 좌상 및 우하 픽셀((X-1, Y), (X+1, Y+1)), 다른 대각 방향의 우상 및 좌하 픽셀((X+1, Y-1), (X-1, Y+1))로 된 6개의 인접하는 픽셀을 이용하는 메디안 필터링을 통해 디인터레이스 영상용 픽셀을 발생하여 라인 L13을 통해 메디안 필터링 블록(110)으로 제공하는 것으로, 여기에서 해당 픽셀 값은 인접하는 6개 픽셀의 평균값을 취하는 방식으로 얻어지며, 오드 필드와 이븐 필드 각각에 대해 수행되어 디인터레이스 영상을 위한 두 라인의 해당 픽셀 값들을 얻게 된다.

이어서, 제 3 인터 프레임 발생 블록(108)은 시간적으로 인접하는 필드(오드 필드 또는 이븐 필드)간의 블록 매칭 알고리즘을 이용한 움직임 추정/보상을 통해 움직임 보상(MC)된 인터 프레임을 발생, 예를 들어 N×N(예컨대, 4×4)의 움직임 추정 블록, (N+M)×(N+M)(예컨대, 20×20)의 움직임 탐색 영역, 움직임 추정을 통해 얻어지는 각 블록별 움직임 벡터 등을 이용하여 움직임 보상된 인터 프레임을 발생하여 라인 L14를 통해 메디안 필터링 블록(110)으로 전달하는데, 그 구체적인 과정에 대해서는 상세 블록구성도를 보여주는 도 2를 참조하여 보다 상세하게 설명한다.

도 2는 도 1에 도시된 제3인터 프레임 발생 블록의 세부 블록구성도로서, 필드 메모리 블록(1081), 움직임 추정 블록(1083), 정방향 인터 프레임 생성 블록(1085), 역방향 인터 프레임 생성 블록(1087) 및 MC 인터 프레임 발생 블록(1089)을 포함한다.

도 2를 참조하면, 필드 메모리 블록(1081)은 디인터레이스를 위해 외부로부터 입력되는 필드 데이터들을 저장하는 것으로, 라인 L21 상에 n번째 필드(예컨대, n번째 오드 필드)를 발생하여 움직임 추정 블록(1083) 및 정방향 인터 프레임 생성 블록(1085)으로 제공하고, 라인 L23 상에 n-1번째 필드(예컨대, n번째 필드에 시간적으로 인접하는 n-1번째 오드 필드)를 발생하여 움직임 추정 블록(1083) 및 정방향 인터 프레임 생성 블록(1087)으로 제공한다.

다음에, 움직임 추정 블록(1081)은 시간축 상으로 연속하는 한쪽의 필드 데이터(예를 들면, 오드 필드), 즉 라인 L23 상의 n-1번째 오드 필드(이전 오드 필드)와 라인 L21 상의 n번째 오드 필드(현재 오드 필드)에 대해 N×N 블록(예를 들면, 4×4 블록) 단위로 (N+M)×(N+M)(예를 들면, 20×20)의 움직임 탐색 영역에서 움직임을 추정하여 각 블록 단위의 움직임 벡터를 발생하며, 이와 같이 발생된 움직임 벡터들은 라인 L25를 통해 정방향 인터 프레임 생성 블록(1085) 및 역방향 인터 프레임 생성 블록(1087)으로 각각 전달되고, 또한 라인 l25 상의 움직임 정보(즉, 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기)는 인트라/인터 결정 블록(112)으로 제공된다.

이어서, 정방향 인터 프레임 생성 블록(1085)은 라인 L21을 통해 필드 메모리 블록(1081)으로부터 제공되는 n번째 필드 데이터(예컨대, n번째 오드 필드 데이터)와 라인 L25를 통해 움직임 추정 블록(1083)으로부터 제공되는 움직임 벡터를 이용하는 움직임 보상을 수행하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 n번째 필드를 이용하는 라인 데이터 교차 삽입 방식으로 정방향 의 인터 프레임, 즉 정방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 정방향의 인터 프레임은 라인 L26을 통해 MC(움직임 보상) 인터 프레임 발생 블록(1089)으로 제공된다.

또한, 역방향 인터 프레임 생성 블록(1087)은, 상기한 정방향 인터 프레임 생성 블록(1085)과 유사하게, 라인 L23을 통해 필드 메모리 블록(1081)으로부터 제공되는 n-1번째 필드 데이터(예컨대, n-1번째 오드 필드 데이터)와 라인 L25를 통해 움직임 추정 블록(1083)으로부터 제공되는 움직임 벡터를 이용하는 움직임 보상을 수행하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 n-1번째 필드를 이용하는 라인 데이터 교차 삽입 방식으로 역방향의 인터 프레임, 즉 역방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 역방향의 인터 프레임은 라인 L27을 통해 MC 인터 프레임 발생 블록(1089)으로 제공된다.

이에 응답하여, MC 인터 프레임 발생 블록(1089)에서는 라인 L26을 통해 정방향 인터 프레임 생성 블록(1085)으로부터 제공되는 정방향의 인터 프레임과 라인 L27을 통해 역방향 인터 프레임 생성 블록(1087)으로부터 제공되는 역방향의 인터 프레임의 대응하는 각 픽셀 값들을 가산한 후 다시 평균(즉, 1/2)을 취하는 방식으로 움직임 보상(MC)된 인터 프레임(즉, MC 인터 모드의 디인터레이스 영상)을 생성하며, 여기에서 생성된 인터 프레임(인터 영상)은 도 1의 메디안 필터링 블록(110)으로 전달된다.

다시 도 1을 참조하면, 메디안 필터링 블록(110)은 라인 L12를 통해 제공되는 라인 평균값을 이용한 픽셀값, 라인 L13을 통해 제공되는 메디안 필터링된 픽셀 값 및 라인 L14를 통해 제공되는 움직임 보상된 픽셀값을 이용하는 메디안 필터링을 수행하여 최종적인 인터 프레임을 생성, 즉 일 예로서 도 3에 도시된 바와 같이, 라인 평균값을 이용한 픽셀값(LA), 메디안 필터링을 이용한 픽셀값(X,Y) 및 움직임 보상을 이용한 픽셀값(MC) 중에 중간값을 선택하는 방식으로 메디안 필터링을 수행하여 최종적인 인터 프레임용 픽셀값들을 생성하며, 여기에서 생성된 인터 프레임용 픽셀값들은 라인 L16을 통해 프레임 생성 블록(114)으로 제공된다. 여기에서, X,Y값이 인접하는 주변 6픽셀의 평균값을 취한 픽셀값이라는 점을 고려할 때 움직임이 상대적으로 큰 영상일수록 X,Y값이 최종 픽셀값으로 선택될 확률은 증가하게 될 것이다.

한편, 인트라/인터 결정 블록(112)은 L15를 통해 제 3 인터 프레임 발생 블록(108)으로부터 제공되는 움직임 정보(즉, 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기 정보)를 이용하여 아래의 수학식과 같이 인트라 또는 인터 모드 결정용의 계수 k를 산출하고, 이 산출된 계수 k와 기 설정된 기준값 간을 비교하며, 그 비교 결과에 의거하여 디인터레이싱된 인트라 영상(라인 L11 상의 영상) 혹은 디인터레이싱된 인터 영상(라인 L16 상의 영상)을 선택하기 위한 절환신호를 발생하여 라인 L17을 통해 프레임 선택 블록(114)으로 제공한다. 예를 들어, 산출된 계수 k값이 기 설정된 기준값 이상일 때 인트라/인터 결정 블록(112)에서는 인트라 영상을 선택하도록 하는 절환신호를 라인 L17 상에 발생하고, 산출된 계수 k값이 기 설정된 기준값보다 작을 때 인트라/인터 결정 블록(112)에서는 인터 영상을 선택하도록 하는 절환신호를 라인 L17 상에 발생한다. 여기에서, 계수 k값이 크다는 것은 상대적으로 움직임이 많다는 것을 의미하고, 반대로 작다는 것은 상대적으로 움직임이 많지 않다는 것을 의미하기 때문에 계수 k값이 기준값보다 클 때 인트라 영상을 선택하도록 하고 기준값보다 작을 때 인터 영상을 선택하도록 한다.

상기한 수학식 1에서, Vx는 x축상의 움직임 좌표 값을, Vy는 y축상의 움직임 좌표 값을, SR은 (움직임 탐색 영역(또는 움직임 보상용 확장 블록)의 크기 - 움직임 추정 블록의 크기)/2를 각각 의미한다.

한편, 본 발명의 디인터레이스 장치는 인트라 또는 인터 영상으로 디인터레이스를 할 때, 인트라 또는 인터 모드의 선택을 움직임 탐색 영역 크기(단위)로 하거나, 움직임 탐색 영역의 라인 수와 대응하는 다수의 라인 단위로 하거나 혹은 한 프레임 단위로 할 수 있다. 여기에서, 움직임 탐색 영역의 라인 수에 대응하는 다수의 라인 단위로 인트라 모드 또는 인터 모드를 선택한다는 것은, 예를 들어 움직임 탐색 영역이 20×20 크기라고 가정할 때 20 라인 단위로 모드를 선택한다는 것을 의미하며, 이 경우 20 라인에 존재하는 모든 움직임 벡터에 대해 계수 k를 산출하고, 산출된 모든 계수 k를 가산한 후 움직임 벡터의 개수로 나눔으로서 최종 계수 k를 계산할 수 있을 것이다.

따라서, 프레임 선택 블록(114)에서는, 라인 L17을 통해 인트라/인터 결정 블록(112)으로부터 제공되는 절환신호에 응답하여, 라인 L11 상의 디인터레이싱된 인트라 영상을 출력으로 선택하거나 혹은 라인 L16 상의 디인터레이싱된 인터 영상을 출력으로 선택한다. 여기에서, 디인터레이싱된 영상의 출력 선택은 움직임 탐색 영역(또는 움직임 보상용 확장 블록) 단위, 움직임 탐색 영역의 라인 수와 대응하는 다수의 라인 단위로 이루어질 수 있다.

즉, 상술한 바와 같이, 본 발명의 영상 디인터레이스 장치에서는 움직임 추정/보상을 통해 인터 프레임을 생성할 때 발생하는 움직임 벡터, 움직임 추정 블록의 크기 및 움직임 탐색 영역의 크기 정보에 의거하여 인트라 영상 또는 인터 영상으로의 디인터레이스를 결정한다.

이상 설명한 바와 같이 본 발명에 따르면, 인트라 또는 인터 영상으로의 디인터레이스를 위해 정방향 및 역방향의 인터 프레임간 차분값 및 차분 총합값과 인트라 및 인터 프레임간 차분값 및 차분 총합값을 산출하는 전술한 종래 방식과는 달리, 라인 평균값을 이용한 디인터레이스 영상의 픽셀값, 메디안 필터를 이용한 디인터레이스 영상의 픽셀값 및 움직임 보상을 이용한 디인터레이스 영상의 픽셀값들 중 중간값을 최종 픽셀 값으로 취하는 메디안 필터링을 통해 인터 프레임의 디인터레이스 영상을 생성하고, 움직임 추정/보상을 통해 인터 프레임을 생성할 때 발생하는 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기 및 움직임 탐색 영역의 크기)에 의거하여 라인 교차 삽입에 의한 인트라 영상 또는 인터 영상으로의 디 인터레이스를 실행하도록 함으로써, 복잡한 계산량을 필요로 하지 않으면서도 영상의 움직임에 적응적인 영상 디인터레이싱을 실현할 수 있으며, 또한 재생 영상에서의 화질 열화를 야기시키는 블록 아티팩트의 발생을 억제할 수 있다.

Claims (18)

1. 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 장치로서,

   오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 수단과,

   상기 오드 필드와 이븐 필드의 라인 평균값을 이용하여 디인터레이스된 제 1 인터 영상을 발생하는 제 1 수단과,

   인접하는 주변 N개의 픽셀값들을 이용하는 메디안 필터링을 통해 디인터레이스된 제 2 인터 영상을 발생하는 제 2 수단과,

   시간적으로 연속하는 필드간의 움직임 추정/보상을 통해 예측 필드를 생성하고, 이 생성된 예측 필드와 해당 필드를 이용하여 디인터레이스된 움직임 보상 인터 영상을 발생하는 제 3 수단과,

   제 1 수단 내지 제 3 수단으로부터의 각 출력을 이용하는 메디안 필터링을 수행하여 최종 인터 영상을 결정하는 수단과,

   상기 움직임 추정/보상시에 발생하는 기 설정된 각 블록의 움직임 정보에 의거하여 상기 인트라 영상 또는 최종 인터 영상의 출력을 디인터레이스 영상으로 선택하는 수단

   을 포함하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
2. 제 1 항에 있어서,

   상기 주변 N개 픽셀은, 대상 픽셀의 상하 픽셀 및 대각 4방향의 픽셀인 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 제 2 수단은, 상기 오드 필드의 라인과 이븐 필드의 라인 각각에 대해 상기 메디안 필터링을 수행하여 상기 제 2 인터 영상을 발생하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
4. 제 1 항에 있어서,

   상기 제 3 수단은,

   시간적으로 연속하는 이전 필드와 현재 필드를 이용하여 N×N의 움직임 추정 블록 단위로 (N+M)×(N+M)의 움직임 탐색 영역에서의 움직임 추정을 통해 움직임 벡터들을 발생하는 수단과,

   상기 움직임 벡터들과 상기 현재 필드를 이용한 움직임 보상을 수행하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 상기 현재 필드를 이용하여 정방향의 인터 프레임을 생성하는 수단과,

   상기 움직임 벡터들과 상기 이전 필드를 이용한 움직임 보상을 수행하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 상기 이전 필드를 이용하여 역방향의 인터 프레임을 생성하는 수단과,

   상기 생성된 정방향 및 역방향의 인터 프레임을 이용하여 상기 움직임 보상 인터 영상을 발생하는 수단

   을 포함하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
5. 제 4 항에 있어서,

   상기 움직임 보상 인터 영상 발생 수단은, 상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 대응하는 각 픽셀별로 가산한 후 각 픽셀의 평균값을 취하여 상기 움직임 보상 인터 영상을 발생하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
6. 제 1 항에 있어서,

   상기 움직임 정보는, 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기 정보를 포함하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
7. 제 1 항 또는 제 6 항에 있어서,

   상기 디인터레이스 영상 선택 수단은, (N+M)×(N+M)의 움직임 탐색 영역 단위로 상기 인트라 영상 또는 최종 인터 영상을 선택하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
8. 제 1 항 또는 제 6 항에 있어서,

   상기 디인터레이스 영상 선택 수단은, (N+M)×(N+M)의 움직임 탐색 영역의 라인수에 대응하는 다수의 라인 단위로 상기 인트라 영상 또는 최종 인터 영상을 선택하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치.
9. 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 방법으로서,

   오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 제 1 과정과,

   라인 평균값을 이용하여 생성한 제 1 인터 영상, 인접하는 다수 픽셀값을 이용하는 메디안 필터링을 통해 생성한 제 2 인터 영상 및 필드간의 움직임 추정/보상을 통해 생성한 제 3 인터 영상에 대해 메디안 필터링을 수행하여 최종 인터 영상을 결정하는 제 2 과정과,

   상기 움직임 추정/보상시에 발생하는 움직임 정보에 의거하여 상기 인트라 영상 또는 최종 인터 영상의 출력을 디인터레이스 영상으로 선택하는 제 3 과정

   을 포함하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
10. 제 9 항에 있어서,

    상기 제 2 과정은, 상기 오드 필드의 라인과 이븐 필드의 라인 각각에 대해 상기 메디안 필터링을 수행하여 상기 제 2 인터 영상을 발생하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
11. 제 9 항에 있어서,

    상기 제 2 과정은,

    시간적으로 연속하는 이전 필드와 현재 필드를 이용하여 N×N의 움직임 추정 블록 단위로 (N+M)×(N+M)의 움직임 탐색 영역에서의 움직임 추정을 통해 움직임 벡터들을 발생하는 제 21 과정과,

    상기 움직임 벡터들과 상기 현재 필드를 이용한 움직임 보상을 수행하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 상기 현재 필드를 이용하여 정방향의 인터 프레임을 생성하는 제 22 과정과,

    상기 움직임 벡터들과 상기 이전 필드를 이용한 움직임 보상을 수행하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 상기 이전 필드를 이용하여 역방향의 인터 프레임을 생성하는 제 23 과정과,

    상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 이용하여 상기 제 3 인터 영상을 발생하는 제 5 과정

    을 포함하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
12. 제 11 항에 있어서,

    상기 제 3 인터 영상은, 상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 대응하는 각 픽셀별로 가산한 후 각 픽셀의 평균값을 취한 영상인 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
13. 제 9 항에 있어서,

    상기 움직임 정보는, 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기 정보를 포함하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
14. 제 9 항 또는 제 13 항에 있어서,

    상기 제 3 과정은, (N+M)×(N+M)의 움직임 탐색 영역 단위로 상기 인트라 영상 또는 최종 인터 영상을 선택하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
15. 제 9 항 또는 제 13 항에 있어서,

    상기 제 3 과정은, (N+M)×(N+M)의 움직임 탐색 영역의 라인수에 대응하는 다수의 라인 단위로 상기 인트라 영상 또는 최종 인터 영상을 선택하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.
16. 제 9 항 또는 제 13 항에 있어서,

    상기 제 3 과정은,

    상기 움직임 정보에 의거하여 상기 인트라 영상 또는 최종 인터 영상의 출력 선택을 위한 계수 k를 산출하는 제 31 과정과,

    상기 산출된 계수 k와 기 설정된 기준값을 비교하는 제 32 과정과,

    상기 비교 결과에 의거하여, 상기 발생된 인트라 영상 또는 최종 인터 영상을 상기 디인터레이스 영상으로 선택하는 제 33 과정

    을 포함하며,

    상기 계수 k는, 다음의 수학식과 같이 결정되는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.

    

    (상기 수학식에서, Vx는 x축상의 움직임 좌표 값을, Vy는 y축상의 움직임 좌표 값을, SR은 상기 움직임 탐색 영역의 크기에서 상기 움직임 추정 블록의 크기를 뺀 값을 2로 나눈 값을 각각 의미함)
17. 삭제
18. 제 16 항에 있어서,

    상기 방법은, 상기 계수 k가 기 설정된 기준값 이상일 때 상기 발생된 인트라 영상을 디인터레이스 영상으로 선택하는 것을 특징으로 하는 메디안 필터를 이용한 적응적인 영상 디인터레이스 방법.

Images