KR101026298B1

KR101026298B1 - 화상 처리 장치 및 화상 처리 방법

Info

Publication number: KR101026298B1
Application number: KR1020040070516A
Authority: KR
Inventors: 다나까데쯔로
Original assignee: 소니 주식회사
Priority date: 2003-09-03
Filing date: 2004-09-03
Publication date: 2011-03-31
Also published as: KR20050025086A; CN1620131A; US20050195325A1; US7432979B2

Abstract

인터레이스 신호가 통상의 60 필드/초의 신호를 포함하더라도, 3-2 또는 2-2 풀다운에 의해 생성된 인터레이스 신호를, 그 인터레이스 신호로 나타낸 화질의 열화 없이 프로그레시브 신호로 변환할 수 있는 화상 처리 장치가 제공된다. 장치는 프로그레시브 변환부(11)를 갖는다. 프로그레시브 변환부(11)는, 필드내 보간 신호 및 움직임 적응형 보간 신호를 생성하여, 3-2 또는 2-2 풀다운 처리에 의해 생성되고 통상의 60 필드/초의 신호를 포함하는 인터레이스 신호를 프로그레시브 신호로 변환한다. 그 후, 프로그레시브 변환부(11)는 화소 단위로, 필드내 보간 신호가 2중 화상 에러를 포함하는지를 판단한다. 2중 화상 에러가 검출되면, 프로그레시브 변환부(11)는 화소 단위로, 필드내 보간 신호를 움직임 적응형 보간 신호로 치환한다.

필드내 보간 신호, 움직임 적응형 보간 신호, 프로그레시브, 인터레이스, 플립플롭

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

도 1a는 인터레이스 신호에 대한 주사선을 도시하는 도면.

도 1b는 프로그레시브 신호에 대한 주사선을 도시하는 도면.

도 1c는 인터레이스 신호에 대해 주사선 보간을 수행하여 생성된 프로그레시브 신호에 대한 주사선을 도시하는 도면.

도 2는 필드간 보간(inter-field interpolation) 및 필드내 보간(intra-field interpolation)을 설명하는 도면.

도 3은 3-2 풀다운 처리를 설명하기 위한 도면.

도 4는 2-2 풀다운 처리를 설명하기 위한 도면.

도 5는 2-2 풀다운 처리에 의해 인터레이스로 변환된 신호이고 60 필드/초의 화상 부분을 포함하는 입력 신호를 프로그레시브 신호로 변환하는 경우의 문제점을 설명하기 위한 도면.

도 6은 본 발명에 따른 화상 처리 장치의 개략적 구성을 도시하는 블록도.

도 7은 도 6에 도시된 화상 처리 장치내에 포함될 수 있는 프로그레시브 변환부의 내부 구성을 도시하는 블록도.

도 8은 도 7의 프로그레시브 변환부내에 제공되는 풀-다운-에러 검출부의 내부 구조를 도시하는 블록도.

도 9는 다양한 라인 지연 신호의 위치를 도시하는 도면.

도 10은 도 7의 프로그레시브 변환부내에 제공되는 풀-다운-에러 검출부의 내부 구조를 도시하는 블록도.

도 11은 5개의 라인에 대한 2치 패턴을 도시하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 화상 처리 장치

10 : 프론트 화상 처리부

11 : 프로그레시브 변환부

12 : 표시 장치 구동 회로

13 : 표시 장치

20, 21 : 필드 지연기

22 : 움직임 검출부

23 : 메모리

24 : 움직임 적응형 보간 데이터 생성부

31∼33, 60∼63 : 라인 지연기

34∼37, 44∼46 : 차분 절대값 연산부

38 : 1 라인 차분 절대값 평균 연산부

39∼42, 48∼51, 67∼70 : 플립플롭

43 : 주변 평균 연산부

47 : 2 라인 차분 절대값 평균 연산부
52: 평균 화소값 연산부

53 : 2중 화상 검출부

54, 72 : 2 라인 지연기

55 : 출력 선택부

64 : 평균값 연산부

65 : 2치화부

66 : 2중 화상 검출부

71 : 주변 총합 2중 화상 검출부

73 : 출력 선택부

본 발명은 신호를, 3-2 풀다운 처리나 2-2 풀다운 처리에 의해 인터레이스로 변환된 신호와 예컨대 60 필드/초의 레이트에서 인터레이스된 통상의 신호가 혼재된 신호를 프로그레시브(progressive) 신호로 변환하도록 설계된 화상 처리 장치 및 그 방법에 관한 것이다.
본 출원은 2003년 9월 3일자로 출원된 일본 특허 출원 제2003-311627호를 우선권 주장하며, 그 전체 내용이 이하 참조된다.

NTSC 신호나 고-해상도 신호 등의 표준 텔레비전 신호는 인터레이스(interlaced) 신호이다. 도 1a는 인터레이스 신호의 주사선 구조를 나타낸다. 도 1b는 프로그레시브 신호에 대한 주사선을 나타내고, 도 1c는 주사선 보간에 의해 인터레이스 신호를 프로그레시브 신호로 변환한 신호를 나타내고 있다. 도 1a, 1b 및 1c의 동그라미는 주사선을 나타내며, × 표시는 보간된 주사선을 나타낸다.

이 도 1a 내지 1c에서, 수직 방향 V는 화면의 수직 방향이며, 수평 방향 t는 시간 방향이다. 인터레이스 신호의 각 프레임은, 도 1a에 도시한 바와 같이, 시간축 및 수직 방향으로 서로 벗어난 2개의 필드로 구성되어 있다. 이것에 대하여, 프로그레시브 신호는, 도 1b에 도시한 바와 같이, 필드에서 벗어나지 않는다. 인터레이스 신호에서는, 화상의 수직 방향으로 높은 주파수 성분이 많아지면, 라인 깜박임(flicker)이 발생하는 등의 인터레이스 방해가 존재한다. 한편, 프로그레시브 신호에서는 인터레이스 방해는 존재하지 않는다.

인터레이스 방해를 제거하는 처리 방법이 있다. 그 방법은, 도 1c에 도시한 바와 같이, 인터레이스 처리에서 추출된 주사선을 주위의 주사선에 의해 보간한다. 이러한 방법을 "프로그레시브 변환" 또는 "배밀도(double-density) 변환"이라 한다.

프로그레시브 변환을 위한 주사선 보간은 움직임 적응형(motion-adaptive) 보간 처리로 행하여졌다. 즉, 도 2에 도시한 바와 같이, 필드간 보간을 행함으로써, 새로운 주사선을 생성한다. 보다 구체적으로, 화상이 정지하고 있는 경우에는 수평 방향으로 인접하는 2개의 필드의 화소를 나타내는 신호 PA 및 PB의 평균값을 획득하여 × 표시로 나타내는 새로운 화소의 신호 PQ를 생성한다. 한편, 화상이 움직이고 있는 경우에는, 필드내 보간을 행함으로써, 새로운 주사선을 생성한다. 수직 방향으로 인접하는 2개의 필드의 화소를 나타내는 신호 PC 및 PD의 평균값을 획득하여 × 표시로 나타내는 새로운 화소의 신호 PQ를 생성한다. 화상이 정지하고 있는 경우에는, 프로그레시브 변환은 중첩 왜곡이 적어서 해상도도 높은 양호한 변환 화질이 얻어지지만, 화상이 움직이고 있는 경우에는 프로그레시브 변환은 중첩 왜곡이 많아서 해상도도 낮은 열화된 변환 화질로 된다.

여기서, 프로그레시브 신호로 변환해야 할 입력 신호가 3-2 풀다운처리나 2-2 풀다운처리에 의해 생성된 인터레이스 신호인 경우에는, 움직임 적응형 보간 처리와 상이한 방법을 채용함으로써, 프로그레시브 변환은 화상이 움직인 경우에도 양호한 변환 화질을 얻을 수 있다. 여기서, 3-2 풀다운처리란, 도 3에 도시한 바와 같은 프레임 레이트 변환된 것이다. 구체적으로는, 24 프레임/초의 필름 데이터 등의 프로그레시브 신호 A, B, C,...,를 60 필드/초의 NTSC 방식 등의 인터레이스 신호 a, a', a, b', b, c', c, c'…로 변환하기 위한 방법으로서 이용된다. 도 3에서, 프라임「'」의 유무는 홀수 필드와 짝수 필드에 대한 신호인지를 나타내고 있다. 한편, 2-2 풀다운 처리란, 도 4에 도시한 바와 같은 프레임 레이트 변환된 것이다. 구체적으로는, 2-2 풀다운 처리는 30 프레임/초의 필름 데이터 등의 프로그레시브 신호 A, B, C…를 60 필드/초의 NTSC 방식 등의 인터레이스 신호 a, a', b, b', c, c'…로 변환하기 위한 방법으로서 이용된다.

도 3에 도시된 바와 같이, 3-2 풀다운 처리에서는 원래 1 프레임이었던 화상이 3 또는 2 필드로 분류되어 있다. 도 4에서 알수 있는 바와 같이, 2-2 풀다운 처리에서는 원래 1 프레임이었던 화상이 2 필드로 분류되어 있다. 따라서, 3-2 풀다운 또는 2-2 풀다운처리에 의해 취득된 입력 신호의 3-2 패턴 또는 2-2 패턴을 알면, 동일한 1 프레임의 화상으로부터 생성된 인접 필드에서만, 화상의 정지·움직임에 관계없이 필드내 보간을 행하여 프로그레시브 신호로 변환할 수 있다. 여기서, 필드내 보간은 도 2에 나타내는 필드간 보간과는 다른 처리이다. 그럼에도 불구하고, 전술한 필드에 대한 신호 PA 또는 다음 필드에 대한 신호 PB는 새로운 화소를 나타내는 신호 PQ로서 이용되는 것과 유사하여, 새로운 주사선을 생성하게 된다. 따라서, 필드간 보간은 중첩 왜곡이 적고 해상도가 높은 화질을 제공한다.

그런데, 3-2 풀다운처리나 2-2 풀다운처리에 의해 생성된 인터레이스 신호에 통상의 60 필드/초의 신호가 편집에 의해 삽입되는 경우가 있다. 60 필드/초의 신호를 포함하는 이러한 인터레이스 신호를 프로그레시브 신호로 변환하는 경우, 필드간 보간에 의해 최적의 프로그레시브 신호로 변환될 수 없다. 이는, 통상의 60 필드/초의 신호에서, 특히 통상의 60 필드/초의 신호가 동화상을 나타내는 경우, 동일한 화상에서 생성된 2개의 인접 필드 사이에 1개의 화상에서 생성된 필드가 존재하지 않기 때문에 불가피하다. 결과적으로, 이러한 인터레이스 신호는 화질이 낮게 나타난다. 예를 들면, 도 5에 도시한 바와 같이, 2-2 풀다운에 의해 획득되고 둥근 물체로 나타나는 60 필드/초의 신호를 포함하는 인터레이스 신호를 프로그레시브 신호로 변환한다고 가정한다. 또한, 2-2 풀다운 처리에서 필드간 보간이 행해진다고 가정한다. 그 후, 단순히 통상의 60 필드/초의 신호는 둥근 물체가 움직이는 것을 나타내기 때문에, 최종 화상은 서로 중첩되는 둥근 물체의 2개의 동일한 화상을 포함하여, 화질이 크게 손상되게 된다.

이러한 문제 등을 해결하기 위해, 일본 특개평 제2000-78535에는 신호가 3-2 풀다운처리나 2-2 풀다운처리에 의해 획득된 인터레이스 신호와 통상의 60 필드/초의 신호로 구성되더라도, 화질의 열화없이 양호하게 프로그레시브 신호로 변환되는 기술이 개시되어 있다. 여기 기재된 기술에서는, 3개의 신호들 중 최소 절대값을 갖는 신호를 움직임 신호 K로서 선택하여 사용한다. 3개의 신호들은, (i) 현 필드에 대하여 시간적으로 나중에 위치하는 필드의 피보간 주사선과 동일한 위치의 주사선 신호인 후 필드내 보간 신호와, (ii) 현 필드에 대하여 시간적으로 앞에 위치하는 필드의 피보간 주사선과 동일한 위치의 주사선 신호인 전 필드내 보간 신호와, (iii) 후 필드내 보간 신호 및 전 필드내 보간 신호 간의 차의 절대값을 나타내는 프레임간 매칭 신호이다. 최적의 신호를 얻기 위해 움직임 신호 K가 인가된다. 보다 구체적으로, 이 움직임 신호 K에 따라, 후 필드내 보간 신호와 전 필드내 보간 신호 간의 혼합 비율이 변화된다. 필드내 보간 신호는 후 필드내 보간 신호와 전 필드내 보간 신호로 구성된다. 현 필드에 대한 필드내 보간 신호는 현 필드의 피보간 주사선의 상하의 2개의 주사선을 각각 가산하여 생성된다.

전술한 일본 특개평 제2000-78535호에 개시된 기술에서는, 필드가 상이한, 즉 시간이 상이한 화소의 데이터를 비교하여 판정하고 있기 때문에, 삽입된 화상 부분이 움직이고 있는 경우에는 동일한 화소의 값이 서로 달라, 필드내 보간을 우선하는 처리로 된다. 이 때문에, 삽입된 화상 부분 이외의, 본래 화질의 열화없이 양호하게 프로그레시브로 변환할 수 있는 부분에 대해서는 화질이 열화된다는 문제가 있었다.

본 발명은 이러한 종래의 실정을 감안하여 제안된 것으로, 인터레이스 신호가 통상의 60 필드/초의 신호를 포함하더라도, 3-2 풀다운 처리이나 2-2 풀다운 처리 등에 의해 생성된 인터레이스 신호를, 인터레이스 신호에 의해 나타낸 화질의 열화없이 양호하게 프로그레시브 신호로 변환하는 것이 가능한 화상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다. 즉, 이러한 장치 및 방법은 60 필드/초의 신호와 인터레이스 신호의 나머지를 화질의 열화없이 프로그레시브 신호로 변환할 수 있다. 인터레이스 신호는 전술한 시퀀스내의 원래의 화상 프레임(예컨대, 프레임 또는 필름)을 재배열하여 조정되는 프레임 레이트를 가짐을 알아야한다.

상술한 목적을 달성하기 위해, 본 발명에 따른 화상 처리 장치는 인터레이스된 신호를 프로그레시브 신호로 변환하고, 변환된 신호를 포함하는 인터레이스 신호는 전술한 시퀀스내에 배열된 원래 화상 프레임을 포함하는 화상 신호와 동일한 프레임 레이트를 갖는다. 본 발명의 장치는, 필드내 보간을 행하여, 현 필드에 대하여 시간적으로 나중에 위치하며 현 필드의 피보간 주사선과 동일한 위치에 있는 주사선, 또는 현 필드에 대하여 시간적으로 앞에 위치하며 피보간 주사선과 동일한 위치에 있는 주사선으로부터, 프로그레시브 필드내 보간 신호를 생성하는 신호 생성 수단; 필드내 보간 신호에 포함된 주목 화소가 필드내 보간 신호의 2중 화상(double-image) 부분을 구성하는 화소들 중 하나인지를 각 화소마다 판단하는 2중 화상 검출 수단을 포함한다.

이 화상 처리 장치에서, 2중 화상 검출 수단은, 주목 화소가 2중 화상 부분을 구성한다고 판단하는 경우에는, 신호 생성 수단에 의해 생성되며 주목 화소에 대응하는 필드내 보간 신호를, 주목 화소에 대응하는 미리 정해진 변환 신호로 치환한다.

여기서, 이 화상 처리 장치는, 필드내 보간을 수행하여, 현 필드 내의 피보간 주사선의 상하에 위치하는 주사선으로부터 프로그레시브 보간 신호를 생성하거나, 또는 필드간 보간을 수행하여, 현 필드에 대하여 시간적으로 나중에 위치하며 피보간 주사선과 동일한 위치에 있는 주사선과, 현 필드에 대하여 시간적으로 앞에 위치하며 피보간 주사선과 동일한 위치에 있는 주사선으로부터, 프로그레시브 보간 신호를 생성하는 보간 신호 생성 수단을 더 포함할 수 있다. 이 경우, 2중 화상 검출 수단은, 주목 화소가 2중 화상 부분을 구성한다고 판단하는 경우에는, 필드내 보간 신호에 포함되는 주목 화소를 보간 신호 중 주목 화소와 동일한 위치의 화소로 치환한다.

또한, 상술한 목적을 달성하기 위해, 본 발명에 따른 화상 처리 방법은 인터레이스 신호를 프로그레시브 신호로 변환하도록 설계되고, 변환된 신호를 포함하는 인터레이스 신호는 전술한 시퀀스에 배열된 원래 이미지 프레임으로 구성되는 화상 신호와 동일한 프레임 레이트를 갖는다. 본 발명의 방법은, 피드내 보간을 수행하여, 현 필드에 대하여 시간적으로 나중에 위치하며 현 필드의 피보간 주사선과 동일한 위치의 주사선, 또는 현 필드에 대하여 시간적으로 앞에 위치하며 피보간 주사선과 동일한 위치의 주사선으로부터, 프로그레시브 필드내 보간 신호를 생성하는 필드내 보간 신호 생성 단계; 필드내 보간 신호에 포함되는 주목 화소가 필드내 보간 신호의 2중 화상 부분을 구성하는 화소들 중 하나인지를 각 화소마다 판단하는 2중 화상 검출 단계를 포함한다.

이러한 화상 처리 방법에서는, 필드내 보간 신호를 생성 단계에서 생성되고, 주목 화소에 대응하는 필드내 보간 신호는, 2중 화상 검출 단계에서, 주목 화소가 2중 화상 부분을 포함하는 것으로 판정되면, 주목 화소에 대응하는 미리 정해진 변환 신호로 치환된다.

여기서, 이 화상 처리 방법은, 필드내 보간을 수행하여, 현 필드 내의 피보간 주사선의 상하에 위치하는 주사선으로부터, 또는 필드간 보간을 수행하여, 현 필드에 대하여 시간적으로 나중에 위치하고 현 필드의 피보간 주사선과 동일한 위치의 주사선과, 현 필드에 대하여 시간적으로 앞에 위치하며 현 필드의 피보간 주사선과 동일한 위치의 주사선으로부터, 프로그레시브 보간 신호를 생성하는 보간 신호 생성 단계를 더 포함한다. 이 경우, 2중 화상 검출 단계에서, 주목 화소가 2중 화상 부분을 구성하는 화소라고 판단한 경우에는, 필드내 보간 신호에 포함되는 주목 화소를 보간 신호에 포함되며 주목 화소와 동일한 위치의 화소로 치환한다.

이러한 화상 처리 장치 및 그 방법에서는, 임의의 필드내 보간 신호내에서, 3-2 풀-다운 처리, 2-2 풀다운 처리 등에 의해 생성되고, 통상의 60 필드/초 인터레이스 신호를 포함하는 인터레이스 신호를, 필드내 보간에 의해 프로그레시브 필드내 보간 신호로 변환하기 위해, 각각의 픽셀에 대해 2중 화상이 검출된다. 2중 화상이 검출되면, 2중 화상을 구성하는 화소는 예컨대, 모션-적응 보간 수단에 의해 생성된 다른 신호내에 포함된 대응하는 화소로 치환된다.

본 발명에 따른 화상 처리 장치 및 방법은 필드내 보간을 수행하여, 3-2 풀다운 처리, 2-2풀다운 처리 등에 의해 생성된 인터레이스 신호 및 통상의 60필드/초 인터레이스 신호로 구성되는 혼합 신호를 프로그레시브 필드내 보간 신호로 변환한다. 본 발명의 장치 및 방법은 각각의 화소에 대해, 인터레이스 신호 및 통상의 60필드/초의 인터레이스 신호로 서로 용이하게 구별된다. 필드내 보간 신호가 2중 화상 부분을 포함하면, 2중 화상 부분을 포함하는 임의의 화소는 예컨대, 모션-적응 보간 수단에 의해 생성된 다른 신호내에 포함된 대응하는 화소로 치환된다. 따라서, 인터레이스 신호 및 통상의 60필드/초의 인터레이스 신호는 화상의 품질을 열화시키지 않고 프로그레시브 신호로 변환될 수 있다.

<실시예>

이하, 본 발명을 적용한 구체적인 실시예에 대하여, 도면을 참조하면서 상세하게 설명한다. 이 실시예는, 본 발명을 인터레이스 신호가 3-2 풀다운이나 2-2 풀다운에 의해 생성되고 통상의 60 필드/초의 신호를 포함하는 경우에도, 화질의 열화없이 인터레이스 신호를 프로그레시브 신호로, 즉, 통상의 60 필드/초의 신호와 인터레이스 신호의 나머지를 원하는 프로그레시브 신호로 변환할 수 있는 화상 처리 장치 및 화상 처리 방법이다.

먼저 본 실시예에서의 화상 처리 장치(100)의 개략적 구성의 일례를 도 6에 도시한다. 도 6에 도시한 바와 같이, 본 실시예에서의 화상 처리 장치(100)는 프론트 화상 처리부(10)와, 프로그레시브 변환부(11)와, 표시 장치 구동 회로(12)와, 표시 장치(13)로 구성되어 있다.

프론트 화상 처리부(10)는, 예를 들면 NTSC 신호, PAL 신호, BS 디지털 튜너로부터의 HDTV 신호 등, 여러가지 신호 소스로부터의 화상 신호를 입력받는다. 또, 화상 신호의 포맷은 525i(라인 수 525개의 인터레이스 신호), 625i, 1125i 등의 인터레이스 신호이다.

프로그레시브 변환부(11)는 525i 신호를 525p 신호(라인 수 525개의 프로그레시브 신호)로, 625i 신호를 625p 신호로, 1125i 신호를 1125p 신호로 각각 변환한다. 이 때, 프로그레시브 변환부(11)는, 인터레이스 신호가 3-2 풀다운이나 2-2 풀다운에 의해 생성되고 통상의 60 필드/초의 신호를 포함하는 경우에도, 화질의 열화없이 인터레이스 신호를 프로그레시브 신호로 변환할 수 있다. 즉, 프로그레시브 변환부(11)는 통상의 60 필드/초의 신호와 인터레이스 신호의 나머지 부분 모두를 변환할 수 있으므로 화질의 열화가 없다. 프로그레시브 변환부(11)는 얻어진 프로그레시브 신호를 표시 장치 구동 회로(12)로 공급한다.

표시 장치 구동 회로(12)는 표시 장치(13)를 구동하여, 표시 장치(13)가 프로그레시브 변환부(11)로부터 공급된 프로그레시브 신호에 의해 표시된 화상을 표시하게 한다. 이 표시 장치(13)로서는, 음극선관, 액정 디스플레이, 플라즈마 디스플레이 등, 여러가지의 표시 장치를 이용할 수 있다.

표시 장치 구동 회로(12)에는, 표준 해상도 또는 저해상도의 화상을, 거기에 포함되어 있지 않은 고대역 성분도 포함하는 고해상도의 화상으로 변환하는 해상도 변환 회로를 포함시키도록 하여도 무방하다. 이러한 해상도 변환 회로에 대해서는, 예를 들면 일본 특개평7-193789호 공보나 일본 특개평11-55630호 공보 등에 기재되어 있다.

계속해서, 상술한 프로그레시브 변환부(11)의 내부 구성의 일례를 도 7에 도시한다. 도 7에 도시된 바와 같이, 프론트 화상 처리부(10)로부터 입력된 인터레이스 신호는 현재 신호로서 프로그레시브 변환부(11)의 일부 부품들로 공급된다. 프로그레시브 변환부(11)는 필드 지연기들(20 및 21)을 갖는다. 이 현재 신호는 필드 지연기(20)에 의해 1 필드분의 시간만큼 지연되어 과거 1 신호로 변환된다. 과거 1 신호는 필드 지연기(20)에 공급된다. 이 필드 지연기(21)에 의해 1 필드분의 시간만큼 더 지연되어 과거 2 신호로 변환된다.

프로그레시브 변환부(11)는 움직임 검출부(22), 메모리(23), 모션-적응 유형의 보간 신호 생성부(24), 풀다운 검출부(25), 보간 신호 선택부(26), 배속 변환부(27) 및 풀 다운 에러 검출부(28)를 포함한다. 움직임 검출부(22)는 과거 1 신호와 과거 2 신호를 비교하여 움직임 검출을 행한다. 움직임 검출부(22)는 메모리(23)에 기억된, 주목 화소가 움직였었는지 정지하였는지의 움직임의 이력을 사용한다. 움직임 검출부(22)는 움직임 검출 결과를 보간 신호 생성부(24)로 공급한다. 그리고, 보간 신호 생성부(24)는, 이 움직임 검출 결과에 기초하여 필드간 보간 또는 필드내 보간을 행하여, 프로그레시브의 움직임 적응형 보간 신호를 생성한다. 구체적으로는, 화상이 정지하여 움직임이 전혀 없는 경우에는 수평 방향으로 인접하는 임의의 2개의 화소들의 평균값으로부터 새로운 화소가 생성되는 필드간 보간을 행함으로써, 새로운 주사선을 생성한다. 한편, 화상이 움직이고 있는 경우에는, 수직 방향으로 인접하는 임의의 2개의 화소들의 평균값으로부터 새로운 화소가 생성되는 필드내 보간을 행함으로써, 새로운 주사선을 생성한다. 움직임 적응형 보간 신호 생성부(24)는 움직임 적응형 보간 신호를 생성하여 보간 신호 선택부(26) 및 풀다운 에러 검출부(28)에 공급한다.

풀다운 검출부(25)는 현재 신호, 과거 1 신호 및 과거 2 신호로부터, 3-2 풀다운 처리 또는 2-2 풀다운 처리의 검출을 행한다. 구체적으로는, 입력 신호가 3-2 풀다운 또는 2-2 풀다운에 의해 인터레이스로 변환된 신호인 경우, 임의의 필드에 인접하는 필드는 동일한 프레임의 화상으로부터 생성된 필드이어야 하므로, 풀다운 검출부(25)는 필드 사이의 움직임의 유무를 검출함으로써, 3-2 풀다운 처리 또는 2-2 풀다운 처리를 검출할 수 있다. 즉, 풀다운 검출부(25)는 필드를 상관 시켜, 필드의 시퀀스를 검출한다. 3-2 또는 2-2 풀다운 처리에 의해 인터레이스된 신호는 통상적인 신호를 포함한다. 이러한 인터레이스된 신호는 신호가 현재의 임계값 이상의 값을 갖는 경우로 판정된 경우에만 이용될 수 있고, 이에 따라 필드가 상관되었는지가 판정된다. 풀다운 검출부(25)는 풀다운 처리를 검출한 결과를 나타내는 풀다운 검출 신호를 생성한다. 이러한 신호는 보간 신호 선택부(26) 및 풀다운 에러 검출부(28)에 공급된다.

보간 신호 선택부(26)는 어떤 종류의 보간 신호가 움직임 적응형 보간 신호, 현재 신호, 과거 2 신호 및 풀다운 검출 신호로부터 배속 변환부(27)에 공급되는지를 결정한다. 즉, 입력 신호가 3-2 풀다운 처리 또는 2-2 풀다운 처리에 의해 인터레이스된 신호인 경우, 동일한 프레임의 화상으로부터 생성된 인접 필드가 반드시 존재하기 때문에, 보간 신호 선택부(26)는 이 인접 필드를 나타내는 신호(현재 신호 또는 과거 2 신호)를 보간 신호로서 배속 변환부(27)에 공급한다. 또한, 입력 신호가 3-2 풀다운 또는 2-2 풀다운에 의해 인터레이스로 변환된 신호가 아닌 경우, 보간 신호 선택부(26)는 보간 신호 생성부(24)의 출력 신호를 나타내는 신호를 보간 신호로서 배속 변환부(27)에 공급한다. 배속 변환부(27)는 이 보간 신호와 과거 1 신호를 입력 신호의 2배의 속도로 교대로 판독함으로써 프로그레시브 필드내 보간 신호로 생성하여, 이 프로그레시브 필드내 보간 신호를 풀다운 에러 검출부(28)로 공급한다.

종래의 프로그레시브 변환부는, 필드내 보간 신호를 그대로 표시 장치 구동 회로로 공급한다는 점에 주목한다. 종래의 프로그레시브 변환부에 입력된 화상 신호는 3-2 또는 2-2 풀다운 처리에 의해 생성되고 60 필드/초의 신호를 포함하는 인터레이스 신호일 수 있다. 이 경우, 60 필드/초의 신호는 서로 중첩하는 2개의 동일한 화상을 불가피하게 나타낼 것이다. 이로 인해 화질이 크게 손상될 우려가 있다.

따라서, 본 실시예에서의 도 7에 도시된 프로그레시브 변환부(11)는 배속 변환부(27)의 출력에 접속되는 풀다운 에러 검출부(28)를 구비한다. 풀다운 에러 검출부(28)는 입력된 필드내 보간 신호를 평가한다. 풀다운 에러 검출부(28)가 2중 화상 에러를 검출하면, 필드내 보간 신호를 움직임 적응형 보간 신호로 치환한다. 특히, 풀다운 에러 검출부(28)는 풀다운 처리에서의 에러를 검출하기 위해 화소 단위로 필드내 보간 신호를 평가한다. 따라서, 2중 화상 에러를 검출한 경우에는 풀다운 에러 검출부(28)는 화소 단위로 필드내 보간 신호를 움직임 적응형 보간 신호로 치환한다. 풀다운 검출부(25)에 의해 입력 신호가 3-2 또는 2-2 풀다운 처리에 의해 인터레이스된 신호라고 판단되고, 보간 신호 선택부(26)에 의해 현재 신호 또는 과거 2 신호가 보간될 화소로서 사용되면 2중 화상이 검출된다.

이 풀다운 에러 검출부(28)의 내부 구성의 일례를 도 8에 도시한다. 풀다운 에러 검출부(28)는 배속 변환부(27)로부터 공급된 필드 보간 신호를 수신한다. 풀다운 에러 검출부(28)에서, 라인 지연기(30)에 의해 필드 보간 신호가 1 라인만큼 지연된다. 또한, 라인 지연기(31, 32, 33)에 의해 필드 보간 신호가 각각 1 라인만큼 지연되어, 최종적으로 A, B, C, D, E의 각 신호가 얻어진다. 배속 변환부(27)로부터 공급된 신호는 신호 E로서 사용된다. 신호 A, B, C, D, E의 위치 관계는 도 9에 도시한 바와 같다. 도 9에서, 쇄선은 필드간 보간에 의해 생성된 주사을 표시하고, 실선은 풀다운 에러 검출부(28)로 입력된 신호에 대한 주사선을 표시한다.

여기서, 3-2 또는 2-2 풀다운 처리에 의해 생성된 임의의 인터레이스 신호에 대하여, 수평 방향으로 서로 인접하는 라인은 동일한 프레임의 화상과 관련되기 때문에, 이러한 라인은 상관이 강할 것이다. 반대로 임의의 60 필드/초의 신호에 대하여는, 수직 방향으로 서로 인접하는 라인(즉, 프로그레시브 필드 보간 신호에 관련되는 라인)이 상관이 강해야 한다. 도 8에 도시하는 구성의 풀다운 에러 검출부(28)는 이 상관의 차이를 이용하여, 3-2 또는 2-2 풀다운 처리에 의해 인터레이스된 신호와 60 필드/초의 신호를 식별한다.

도 8에 도시된 바와 같이, 풀다운 에러 검출부(28)는 차분 절대값 연산부(34 내지 37), 1 라인 차분 절대값 평균 연산부(38), 플립 플롭(FF) 회로(39 내지 42), 평균 화소값 연산부(43), 및 2중 화상 검출부(53)를 포함한다. 차분 절대값 연산부(34∼37)는, 인접 라인 사이의 화소 데이터의 차분 절대값을 계산한다. 즉, 차분 절대값 연산부(34)는 신호 A와 신호 B의 차분 절대값을 계산하며, 차분 절대값 연산부(35)는 신호 B와 신호 C의 차분 절대값을 계산한다. 마찬가지로, 차분 절대값 연산부(36)는 신호 C와 신호 D의 차분 절대값을 계산하며, 차분 절대값 연산부(37)는 신호 D와 신호 E의 차분 절대값을 계산한다. 1 라인 차분 절대값 평균 연산부(38)는 이 차분 절대값 연산부(34∼37)에 의해 계산된 차분 절대값의 평균값을 구하여, 이 평균값을 플립플롭(FF) 회로(39)로 공급한다. 플립플롭(39∼42)에 의해 인접하는 5 화소들분의 차분 절대값의 평균값을 평균 화소값 연산부(43)에 공급한다. 평균 화소값 연산부(43)는 인접하는 5 화소분의 평균값을 구한다. 평균 화소값 연산부(43)에 의해 계산된 평균값을 2중 화상 검출부(53)에 공급한다.

도 8에 도시된 바와 같이, 풀다운 에러 검출부(28)는 차분 절대값 연산부(44 내지 460), 2개의 라인 차분 절대값 평균 연산부(47), 플립 플롭(FF) 회로(48 내지 51), 평균 화소값 연산부(52)를 포함한다. 차분 절대값 연산부(44∼46)는 1 라인 떨어진 라인 사이의 화소 데이터의 차분 절대값을 계산한다. 즉, 차분 절대값 연산부(44)는 신호 A와 신호 C의 차분 절대값을 계산하며, 차분 절대값 연산부(45)는 신호 B와 신호 D의 차분 절대값을 계산하고, 차분 절대값 연산부(46)는 신호 C와 신호 E의 차분 절대값을 계산한다. 2 라인 차분 절대값 평균 연산부(47)는 이 차분 절대값 연산부(44∼46)에 의해 계산된 평균값을 구한다. 2 라인 차분 절대값 평균 연산부(47)에 의해 구해진 평균값을 플립플롭(48) 회로로 공급한다. 플립플롭(48∼51)에 의해 인접하는 5 화소분의 차분 절대값의 평균값을 평균 화소값 연산부(52)에 공급한다. 평균 화소값 연산부(52)는 인접하는 5 화소분의 평균값을 구한다. 평균 화소값 연산부(52)에 의해 계산된 평균값을 2중 화상 검출부(53)에 공급한다.

2중 화상 검출부(53)는 평균 화소값 연산부(43)로부터 공급된 평균값과 평균 화소값 연산부(52)로부터 공급된 평균값을 비교한다. 평균 화소값 연산부(52)로부터 공급된 평균값은 평균 화소값 연산부(43)로부터 공급된 평균값보다 작다. 이것은 임의의 라인과 다음 라인간의 상관이 임의의 2 인접 라인간의 상관보다 더 현저하다는 것을 의미한다. 이 경우에, 평균 화소값 연산부(53)는 서로 중첩하는 2개의 동일한 이미지가 생성된다고 판정한다. 평균 화소값 연산부(53)는 이러한 결정을 표시하는 2중 화상 신호를 생성한다. 2중 화상 신호는 풀 다운 에러 검출부(28) 내에 포함되는 출력 선택부(55)에 공급된다.

풀다운 에러 검출부(28)는 2개의 라인의 지연 디바이스(54)를 갖는다. 2 라인 지연기(54)는 보간 신호 생성부(24)로부터 움직임 적응형 보간 신호를 수신하여, 그 신호를 2 라인 만큼 지연시킨다. 따라서, 2 라인 지연기(54)는 움직임 적응형 보간 신호뿐만 아니라 2중 화상 검출부(53)로부터의 2중 화상 신호, 풀다운 검출부(25)로부터의 풀다운 검출 신호 및 라인 지연기(31)로부터의 신호 C를 수신한다. 출력 선택부(55)가 2중 화상 검출부(53)로부터 2중 화상 신호를 수신하는 경우, C 신호(필드내 보간 신호)로 나타내는 화소를 움직임 적응형 보간 신호로 나타내고 동일한 위치에 위치되는 화소로 치환하여, 2중 화상 에러를 방지한다.

도 8에 도시된 회로에 대신하여, 도 7의 프로그레시브 변환부(11) 내에 제공되는 풀다운 에러 검출부(11)에 대하여 도 10을 참조하여 설명한다. 도 8과 마찬가지로, 배속 변환부(27)로부터 공급된 필드내 보간 신호는 라인 지연기(60)에 의해 1 라인만큼 지연된다. 또한, 라인 지연기(61, 62, 63)에 의해 각각 1 라인만큼 지연되어, 최종적으로 A, B, C, D, E의 각 신호가 얻어진다.

도 10에 도시된 바와 같이, 풀 다운 에러 검출부(28)는 평균값 연산부(64), 2진 데이터 생성부(65), 2중 화상 검출부(66), 플립 플롭 회로(67 내지 70), 통합된 2중 화상 검출부(71), 2 라인 지연기(72), 출력 선택 회로(73)를 포함한다. 평균값 연산부(64)는 신호 A, B, C, D, E의 평균값을 계산하며, 2진 데이터 생성부(65)는 신호 A, B, C, D, E를 2진 신호 A', B', C', D', E'로 각각 변환한다. 구체적으로는, 화소 데이터가 신호 A, B, C, D, E의 평균값보다도 크면 "1"을 생성하고, 작으면 "0"을 생성한다. 2중 화상 검출부(66)는 5 라인분의 2치 패턴이 소정의 패턴과 일치하는 경우에는 2중 화상 에러가 발생하였다고 판단한다.

5 라인분의 2치 패턴의 예를 도 11에 나타낸다. 도 11에 도시한 바와 같이, 2치 패턴은 "1, 0, 1, 0, 1" 또는 "0, 1, 0, 1, 0"일 수 있다. 이는, 임의의 라인과 그 다음 라인이 보다 상관된다는 것을 의미한다. 이 경우, 2중 화상 검출부(66)는 2중 화상 에러가 발생했다고 판단한다. 따라서, 2중 화상 검출부(66)는 판단 결과를 나타내는 신호를 플립 플롭(FF) 회로(67)에, 그리고 집적된 2중 화상 검출부(71)에도 공급한다. FF 회로(67∼70)는 인접하는 화소들에 대한 4개의 판단 결과 신호들을 통합된 2중 화상 검출부(71)에 공급한다. 따라서, 인접하는 5 화소분에 대한 5개의 판단 결과는 통합된 2중 화상 검출부(71)에 공급된다. 5개의 판단 결과 신호들로부터, 통합된 2중 화상 검출부(71)는 2중 화상 에러가 실제 발생하고 있는지를 판단한다. 통합된 2중 화상 검출부(71)는 예를 들어, 5개의 인접하는 화소들의 2치 패턴이 상술한 2중 화상의 패턴과 동일한 경우, 2중 화상 에러가 발생되었다고 판단한다.

출력 선택부(73)에는 2 라인 지연기(72)에 의해 2 라인만큼 지연된 움직임 적응형 보간 신호가 공급된다. 출력 선택부(73)는 움직임 적응형 보간 신호뿐만 아니라 통합된 2중 화상 검출부(71)로부터의 2중 화상 신호, 풀다운 검출부(25)로부터의 풀다운 검출 신호 및 라인 지연기(31)로부터의 C 신호를 수신한다. 출력 선택부(73)가 통합된 2중 화상 검출부(71)로부터 2중 화상 신호를 수신하는 경우, C 신호(필드내 보간 신호)로 나타내는 화소를 움직임 적응형 보간 신호로 나타내고 동일한 위치에 위치되는 화소로 치환하여, 2중 화상 에러를 방지한다.

이상 설명한 바와 같이, 본 실시예에서의 프로그레시브 변환부(11)는, 입력 신호 즉, 3-2 또는 2-2 풀다운 처리에 의해 생성되고 통상의 60 필드/초의 신호를 포함하는 인터레이스 신호를 프로그레시브 신호로 변환한다. 입력 신호를 프로그레시브 신호로 변환할 때, 프로그레시브 변환부(11)는 필드내 보간 신호와 움직임 적응형 보간 신호를 생성하여, 화소 단위로 필드내 보간 신호가 2중 화상 에러를 갖는지를 판단한다. 2중 화상 에러가 검출되면, 화소 단위로 필드내 보간 신호는 움직임 적응형 보간 신호로 치환된다. 따라서, 프로그레시브 변환부(11)는 화질이 크게 손상되는 2중 화상 에러를 피하여, 통상의 60 필드/초의 신호와 입력 신호의 나머지 부분 모두를, 화질의 열화없이, 프로그레시브로 변환하는 것이 가능해진다.

본 발명은 상술한 실시예에만 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위 내에서 여러가지 변경이 가능한 것은 물론이다.

예를 들면, 상술한 실시예에서는 수직 5 라인, 수평 5 화소분의 정보를 이용하여 2중 화상 에러 검출을 행하였지만, 이것에 한정되는 것은 아니며, 라인 수나 화소 수를 증감시켜도 상관없다.

이상 설명한 본 발명에 따르면, 프레임 레이트는 60 필드/초이다. 그럼에도불구하고, 본 발명은 50 필드/초의 프레임 레이트를 갖는 PAL 신호와 같은 임의의 다른 포맷의 신호에 적용될 수 있다.
또한, 본 발명은 3-2 풀다운 처리 및 2-2 풀다운 처리에 의해 생성된 신호뿐만 아니라, 특정 시퀀스로 원래 화상의 프레임을 배열함으로써 변경된 프레임 레이트를 갖는 신호에 적용될 수 있다.
상술한 바와 같이, 풀다운 검출부(25)가 2중 화상 에러를 검출하는 경우, 필드내 보간 신호는 움직임 적용형 보간 신호로 치환된다. 대신, 필드내 보간 신호는 본 발명의 임의의 다른 종류의 신호로 치환될 수 있다. 예를 들어, 필드내 보간 신호는 다른 필드내 보간 신호로 치환될 수 있다.

상술한 바와 같이, 본 발명에서 필드내 보간 신호 또는 움직임 적응형 보간 신호는 화소 단위로 선택될 수 있기 때문에, 3-2 또는 2-2 풀다운 처리에 의해 생성되고 예를 들어, 통상의 60 필드/초의 신호를 포함하는 인터레이스 신호를 화질 열화 없이 프로그레시브 신호로 변환하는 것이 가능해진다. 즉, 본 발명은 60 필드/초의 신호 및 보간 신호의 나머지 모두를 화질 열화 없이 프로그레시브 신호로 변환할 수 있다.
본 발명은 설명을 위해 선택된 특정 실시예에 대하여 설명했지만, 본 발명의 기본 개념에서 벗어나지 않고 본 기술 분야의 당업자들에 의해 다수의 수정이 이루어질 수 있다는 점은 명백하다.

Claims

규정된 시퀀스로 배열된 원 화상(original-image) 프레임으로 구성되는 화상 신호와 동일한 프레임 레이트를 갖도록 변환된 신호를 포함하는 인터레이스 신호를 프로그레시브 신호로 변환하기 위한 화상 처리 장치로서,

필드내 보간(intra-field interpolation)을 행하여, 현 필드에 대하여 시간적으로 나중에 위치하며 상기 현 필드의 피보간 주사선과 동일한 위치에 있는 주사선, 또는 상기 현 필드에 대하여 시간적으로 앞에 위치하며 상기 현 필드의 상기 피보간 주사선과 동일한 위치에 있는 주사선으로부터, 프로그레시브 필드내 보간 신호를 생성하는 신호 생성 수단과,

상기 필드내 보간 신호에 포함되는 주목 화소가 상기 필드내 보간 신호의 2중 화상 부분을 구성하는 화소들 중 하나인지를 각 화소마다 판단하는 2중 화상 검출 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 인터레이스 신호에 포함되는 신호는 3-2 풀다운 처리 또는 2-2 풀다운 처리에 의해 인터레이스 신호로 변환되는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 2중 화상 검출 수단이 상기 주목 화소가 상기 2중 화상 부분을 구성한다고 판단하는 경우에는, 상기 신호 생성 수단에 의해 생성되며 상기 주목 화소에 대응하는 상기 필드내 보간 신호를, 상기 주목 화소에 대응하는 미리 정해진 변환 신호로 치환하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서,

필드내 보간을 수행하여, 상기 현 필드 내의 피보간 주사선의 상하에 위치하는 주사선으로부터 프로그레시브 보간 신호를 생성하거나, 또는 필드간 보간(inter-field interpolation)을 수행하여, 상기 현 필드에 대하여 시간적으로 나중에 위치하며 상기 피보간 주사선과 동일한 위치에 있는 주사선과, 상기 현 필드에 대하여 시간적으로 앞에 위치하며 상기 현 필드의 상기 피보간 주사선과 동일한 위치에 있는 주사선으로부터, 상기 프로그레시브 보간 신호를 생성하는 보간 신호 생성 수단을 더 포함하며,

상기 2중 화상 검출 수단이 상기 주목 화소가 상기 2중 화상 부분을 구성한다고 판단하는 경우에는, 상기 주목 화소에 대응하는 상기 필드내 보간 신호를 상기 주목 화소에 대응하는 상기 보간 신호로 치환하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 보간 신호 생성 수단은 상기 현 필드의 움직임을 검출하는 움직임 검출 수단을 포함하고, 상기 움직임 검출 수단이 상기 현 필드의 움직임을 검출하는 경우에는 필드내 보간을 수행하여 상기 보간 신호를 생성하고, 상기 움직임 검출 수단이 상기 현 필드의 움직임을 검출하지 않은 경우에는, 상기 필드간 보간을 수행하여 상기 보간 신호를 생성하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서,

상기 화상 신호가 상기 변환된 신호와 동일한지를 판단하는 변환 신호 검출부와,

상기 신호 생성 수단에 의해 생성된 필드내 보간 신호와 상기 보간 신호 생성 수단에 의해 생성되며 상기 보간 신호로서 사용되는 보간 신호를 수신하며, 상기 변환 신호 검출부가, 상기 화상 신호가 상기 변환된 신호와 동일하다고 판단할 때, 상기 필드내 보간 신호의 상기 2중 화상 부분을 검출하고 상기 2중 화상 검출 수단에 의해 이루어진 결정에 따라 상기 2중 화상 부분을 상기 보간 신호로 치환하도록 구성된 2중 화상 검출/치환부를 더 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 2중 화상 검출 수단은, 상기 주목 화소를 포함하는 인접하는 주사선들중 하나에 교차하는 직선 상의 화소들 중, 미리 정해진 화소들의 상관에 기초하여, 상기 필드내 보간 신호에 포함되는 상기 주목 화소가 상기 2중 화상 부분을 구성하는지를 판단하고, 상기 인접하는 주사선들은 주목 화소가 존재하는 주사선을 포함하는 것을 특징으로 하는 화상 처리 장치.
제7항에 있어서,

상기 2중 화상 검출 수단은, 임의의 2개의 인접하는 주사선 상의 화소들의 상관보다도 임의의 라인과 그 다음 라인의 화소들의 상관이 큰 경우에, 상기 주목 화소가 상기 2중 화상 부분을 구성한다고 판단하는 것을 특징으로 하는 화상 처리 장치.
제7항에 있어서,

상기 2중 화상 검출 수단은, 상기 주목 화소와, 동일한 주사선 상의 다른 화소가 얼마나 상관되는지를 검출하여, 상기 주목 화소가 상기 2중 화상 부분을 구성하는지를 판단하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 2중 화상 검출 수단은, 상기 주목 화소를 포함하는 인접하는 주사선들중 하나에 교차하는 직선 상의 화소들 중 2치 패턴의 화소들을 구하고 - 상기 인접하는 주사선들은 상기 주목 화소가 존재하는 상기 주사선을 포함함 - , 상기 2치 패턴에 기초하여, 상기 필드내 보간 신호에 포함되는 상기 주목 화소가 상기 2중 화상 부분을 구성하는지를 판단하는 것을 특징으로 하는 화상 처리 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제