KR100587263B1

KR100587263B1 - 비디오 신호의 프레임 율 변환 방법

Info

Publication number: KR100587263B1
Application number: KR1019990010685A
Authority: KR
Inventors: 조택일
Original assignee: 엘지전자 주식회사
Priority date: 1999-03-27
Filing date: 1999-03-27
Publication date: 2006-06-08
Also published as: KR20000061568A

Abstract

24프레임/초의 프레임 율을 30프레임/초의 프레임 율로 변환하는 프레임율 변환 방법에 관한 것으로서, 특히 시간 편차를 줄이는 방향으로 필드 반복을 수행하여 새로운 필드를 보간하거나 또는, 디스플레이 시간을 기준으로 인접한 기준 필드들의 평균값으로 새로운 필드를 보간하거나 또는, 움직임 추정을 이용하여 새로운 필드를 보간함으로써, 플리커 현상 및 부자연스러운 디스플레이 현상을 줄이며, 특히 움직임이나 영상의 변화 정도에 따라 상기된 풀 다운 방법들 중 어느 하나를 선택하여 새로운 필드를 보간함으로써, 가장 자연스러운 화질을 얻을 수 있다.

풀 다운

Description

비디오 신호의 프레임 율 변환 방법{Method for frame rate conversing of video signal}

도 1은 종래의 3:2 풀 다운 변환 과정을 나타낸 도면

도 2는 도 1의 3:2 풀 다운 변환 과정에서의 시간적 편차의 예를 보인 도면

도 3은 본 발명의 일 실시예에 따른 3:2 풀 다운 변환 과정을 나타낸 도면

도 4는 도 3의 3:2 풀 다운 변환 과정에서의 시간적 편차의 예를 보인 도면

도 5는 본 발명의 다른 실시예에 따른 3:2 풀 다운 변환 과정을 나타낸 도면

도 6은 도 5의 풀 다운 방법에서 기준 필드들을 이용한 보간 과정을 보인 도면

도 7은 본 발명의 또 다른 실시예에 따른 3:2 풀 다운 변환 과정을 나타낸 도면

도 8은 도 3 내지 도 7에서 제안한 풀 다운 방법들 중 어느 하나를 선택하는 과정을 나타낸 흐름도

본 발명은 비디오 신호의 프레임 율을 변환하는 방법에 관한 것으로서, 특히 24프레임/초의 프레임 율을 30프레임/초의 프레임 율로 변환하는 프레임율 변환 방법에 관한 것이다.

일반적으로 비디오 신호를 디스플레이함에 있어서 전송되어 오는 비디오의 프레임 율이 디스플레이하고자 하는 프레임 율과 다를 경우에는 이를 맞추어 주어야만 자연스러운 디스플레이가 이루어질 수 있다. 예를 들어, 전송되어 오는 프레임 율이 24 프레임/초(second)이고, 디스플레이해야 할 프레임 율이 30 프레임/초인 경우에 24 프레임의 정보만을 가지고 30 프레임으로 바꾸어 디스플레이해야 한다. 따라서, 풀 다운(pull down) 방법이 이를 위해 사용되고 있다.

3:2 풀 다운 방법은 도 1에서와 같이 24 프레임/초의 2프레임에 해당하는 4 필드의 정보를 가지고 5 필드로 디스플레이할 수 있도록 하는 것이다.

이때, 3:2 풀 다운이라고 불리는 이유는 다음과 같다. 즉, 4 필드의 정보를 가지고 5 필드를 만들 때 우선 2 필드에 해당하는 톱(top)과 바텀 필드(bottom field)에 대하여 톱 또는 바텀 필드 중의 한 필드를 반복시키면 결국 2 필드의 정보가 3 필드로 만들어지며, 나머지 2 필드에 대해서는 그대로 디스플레이시키면 최종적으로 5 필드의 정보가 만들어진다. 이와 같은 작업을 수행할 때 처음 2 필드는 3 필드가 되고 나머지 2 필드는 2 필드가 되므로 결과적으로 2:2 필드가 3:2 필드로 바뀌게 되므로 3:2 풀 다운이라고 부른다.

종래의 3:2 풀 다운 변환 방법을 자세히 설명하면 다음과 같다. 도 1의 (a)에는 4 프레임(8 필드)이 준비되어 있다. 각각의 필드 이름을 N-1

, N-1

, N

, N+1

, N+2

이라 할 때, 각각의 필드가 3:2 풀 다운 과정을 거치면 도 1의 (b)에서와 같이 매핑이 이루어진다. 매핑이 이루어지는 형식은 도 1에서 화살표로 나타낸 것과 같다.

그리고, 3:2 풀 다운이 수행되었을 때 필연적으로 디스플레이의 편차가 수반된다. 도 2는 이러한 3:2 풀 다운 전후에서의 시간적 편차를 숫자로 나타낸 것이다.

여기서, 시간 편차의 총합은 풀 다운이 행해지기 이전의 8개 필드에 대하여 풀 다운이 진행된 이후의 10개의 필드간의 디스플레이되는 시점간의 시간적 차이의 절대값을 모두 합한 것이며, 이를 식으로 나타내면 하기의 수학식 1과 같다.

디스플레이 시간 편차의 총합 = |1-0.8| + |2-1.6| + |3-2.4| + |4-3.2| + |4-3| + |6-4.8| + |5.6-5| + |8-6.4| + |7.2-7| + |8-8|

= 0.2 + 0.4 + 0.6 + 0.8 + 1 + 1.2 + 0.6 + 1.6 + 0.2 + 0

= 6.6

즉, 상기 수학식 1에 나타난 바와 같이 디스플레이 시간 편차의 총합은 6.6이 되는데, 이것은 10개 필드를 디스플레이하는 동안에 총체적으로 6.6 필드에 해당하는 시간적 차이가 나는 것을 의미한다. 이는 디스플레이 화면이 부자연스럽게 보이는 수치로 간주할 수가 있다. 이러한 이유로 인하여 실제로 3:2 풀 다운이 일어난 영상을 보게되면 눈에 거스르게 된다. 즉, 플리커 현상 및 부자연스러운 디스 플레이 현상이 나타난다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 반복하는 필드 순서를 종래와 다르게 하여 새로운 필드를 보간함으로써, 디스플레이 시간 편차를 줄이는 비디오 신호의 프레임 율 변환 방법을 제공함에 있다.

본 발명의 다른 목적은 디스플레이 시간축을 중심으로 하여 가장 가까운 기준 필드들의 평균값으로 새로운 필드를 보간하는 비디오 신호의 프레임 율 변환 방법을 제공함에 있다.

본 발명의 또 다른 목적은 상응하는 두 필드를 매크로 블록 단위로 나누어 움직임 벡터를 구한 다음 상기 움직임 벡터의 값을 기준으로 새로운 필드를 보간하는 비디오 신호의 프레임 율 변환 방법을 제공함에 있다.

본 발명의 또 다른 목적은 영상의 움직임 정도에 따라 상기된 프레임 율 변환 방법 중 가장 최적의 프레임 율 변환 방법으로 새로운 필드를 보간하는 비디오 신호의 프레임 율 변환 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 비디오 신호의 프레임 율 변환 방법은, 시간 편차가 작은 쪽의 기준 필드를 반복하여 새로운 필드를 보간하는 단계와, 디스플레이 시간 축을 중심으로 하여 가장 인접한 기준 필드들의 평균값으로 새로운 필드를 보간하는 단계와, 기준 필드를 매크로 블록 단위로 나누어 움직임 벡터를 구한 다음 상기 움직임 벡터를 기준으로 새로운 필드를 보간하는 단계와, 보간 단계들 중 영상의 움직임 정도에 따라 최적의 프레임 율 변환방법을 선택하여 새로운 필드를 보간하는 단계를 포함한다.

상기 필드 보간 선택 단계는 영상의 움직임 정도에 따라 상기 보간 단계들 중 어느 하나를 선택하는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

본 발명은 개선된 여러 가지 3:2 풀 다운 방법을 제안하며 영상의 움직임 정도에 따라 가장 최적의 풀 다운 방법을 선택하여 24프레임/초의 프레임 율을 30프레임/초의 프레임 율로 변환하는데 있다.

먼저, 개선된 여러 가지 풀 다운 방법을 설명하고 마지막에 가장 최적의 풀 다운 방법을 선택하는 과정을 설명한다.

도 3은 본 발명의 일 실시예에 따른 3:2 풀 다운 과정을 나타낸 것으로서, 반복하는 필드를 종래의 방식과 다르게 하여 디스플레이 시간 편차를 줄임으로써, 자연스러운 디스플레이를 유도하는 것이다.

즉, 도 3의 (a)에 나타나 있는 8개의 필드는 24프레임/초의 프레임 율로 되어 있는 원래 영상을 나타낸다. 각각의 필드에 표기되어 있는 숫자(N-1, N, N+1, N+2,...) 및

,

기호는 순차적으로 진행되는 8개의 필드를 나타낸다. 그리고, 도 3의 (b)에 나타나 있는 10개의 필드는 3:2 풀 다운 과정이 끝나고 난 후 30프레임/초의 프레임 율로 변환된 각각의 필드는 나타낸다.

본 발명에서는 우선 3:2 풀 다운이 이루어질 때의 매핑 방식이 다르다. 8 필 드로부터 10 필드로의 매핑 과정은 도 3에 나타난 바와 동일하며 다음에 나열한 것과 같다.

N-1톱 <- N-1

, N-1바텀 <- N-1

, N톱 <- N

, N바텀 <- N

,

N+1톱 <- N

, N+1바텀 <- N+1

, N+2톱 <- N+1

,

N+2바텀 <- N+1

, N+3톱 <- N+2

, N+3바텀 <- N+2

즉, 종래에는 N+2바텀을 보간할 때 N+2

을 반복하였는데, 본 발명은 N+1

을 반복함으로써, 시간 편차를 줄이고 있다.

이 과정에서 수반되는 디스플레이의 편차를 구하는 과정은 도 4에 나타나있다. 도 4에서 시간 편차의 총합의 의미는 풀 다운이 진행되기 이전의 8개 필드에 대하여 풀 다운이 진행된 이후의 10개의 필드가 디스플레이될 때의 시점과의 대응되는 시간적 차이의 절대값을 모두 합한 것이며, 이를 식으로 나타내면 하기의 수학식 2과 같다.

디스플레이 시간 편차의 총합 = |1-0.8| + |2-1.6| + |3-2.4| + |4-3.2| + |4-3| + |6-4.8| + |5.6-5| + |6.4-6| + |7.2-7| + |8-8|

= 0.2 + 0.4 + 0.6 + 0.8 + 1 + 1.2 + 0.6 + 0.4 + 0.2 + 0

= 5.4

상기 수학식 2에서 나타난 바와 같이 디스플레이 시간 편차의 총합은 5.4가 되는데, 이것은 10개의 필드를 디스플레이하는 동안에 총체적으로 5.4 필드에 해당 하는 시간적 차이가 발생함을 의미한다.

종래의 방법에 비하면, 이 수치가 6.6에서 5.4로 줄었으므로 눈에 거스르게 되는 정도가 최소한 1필드 이상 개선되었음을 알 수 있다.

도 5는 본 발명의 다른 실시예에 따른 3:2 풀 다운 과정을 나타낸 것으로서, 반복해야 하는 필드가 지정될 경우 해당 필드를 직접 반복하지 않고 디스플레이 시간축을 중심으로 하여 가장 가까운 두 개의 톱 필드 또는 바텀 필드를 이용하여 새로운 필드를 보간하고 이를 반복 필드 대신 이용하는 방법이다.

도 5의 (a), (b)를 보면, 상측은 새로운 필드를 보간할 때 대상이 되는 두 개의 기준 필드를 나타낸 것으로서, 반복해야 할 디스플레이 시점이 되었을 때 시간축을 기준으로 하여 가장 가까운 두 필드를 선택한 다음 선택된 두 필드의 정보를 이용한다. 여기서, 반복해야 할 필드를 N+1톱이라 가정하면 두 개의 기준 필드는 도 5의 (a)와 같이 각각 N

과 N+1

이 된다. 또한, 반복해야할 필드가 N+1바텀인 경우에는 두 개의 기준 필드는 도 5의 (b)와 같이 N

과 N+1

이 된다.

이때, 보간할 필드는 나머지 두 개의 기준 필드의 정 중앙의 위치에 있으므로 각각의 픽셀에 대하여 평균을 구하면 된다. 식으로 나타내면 도 6의 (d)의 6-5 위치에 해당하는 픽셀의 값은 (a)의 6-1 위치의 값과 (c)의 6-4 위치의 값을 하기의 수학식 3과 같이 평균한 것이다.

또한, 디스플레이되는 시점에 초점을 맞추면, 반복되어야 할 필드는 톱 또는 바텀 필드 여부와 상관없이 가장 가까운 필드로부터 정보를 얻을 수 있다. 도 6의 (d)에서 6-5 위치의 값은 도 6의 (b)의 6-2와 6-3의 위치에 있는 바텀 값을 함께 이용하여 구할 수도 있다.

이 경우에 최종적으로 계산되는 6-5 위치에서의 값은 다음의 수학식 4와 같이 구할 수 있다.

이때, α값은 실험적으로 가장 자연스러운 영상이 재현이 되도록 조정해주는 값이다.

그런데, 움직임이나 영상이 변화가 심할 경우에는 상기와 같은 방법이 잘 적용되지 않을 때도 있다. 이런 경우에는 두 복원하고자 하는 위치에 대하여 두 개의 기준 필드 사이의 움직임 벡터를 추정하여 움직임 벡터를 기준으로 최종의 값을 계산한다.

도 7은 이 방법을 이용한 3:2 풀 다운 과정을 나타낸 것으로서, 보간 대신에 상응하는 두 필드를 매크로 블록 단위로 나누어 MPEG(Moving Picture Experts Group) 비디오 압축 알고리즘에서처럼 움직임 벡터를 구한 다음 상기 움직임 벡터의 값을 기준으로 양쪽 필드 사이의 보간을 수행하는 것이다.

즉, 새로운 보간 필드를 구성하기 위한 두 개의 기준 필드 1과 기준 필드 2가 있을 때 기준 필드에서 구하고자 하는 위치의 값은 이에 대응하는 기준 필드 1과 2의 위치 상에서 서로 다른 기준 필드에로의 움직임 벡터를 계산한다. 움직임 벡터를 계산하는 방법은 정해진 위치(7-1)를 중심으로 매크로 블록을 정의하고 이 매크로 블록이 다른 기준 필드에로의 최소 오차를 가지는 위치(7-4)까지의 움직임 벡터를 찾아낸다. 이번에는 반대 방향으로의 움직임 벡터를 추정하는데 위치(7-2)를 중심으로 같은 방법으로 최소 오차를 가지는 위치(7-3)까지의 움직임 벡터를 찾아낸 다음 이 두 개의 움직임 벡터가 가리키는 위치의 값을 평균하여 사용하여 새로운 필드를 보간한다.

이상과 같은 방법을 모두 고려할 때 보간 필드는 제안한 방법 중에서 하나를 선택하거나 또는, 임의의 선택 조건을 이용하여 하나를 선택하여 구할 수 있다.

도 8은 본 발명에서 제안한 풀 다운 방법 중 최적의 풀 다운 방법을 선택하는 과정을 나타낸 흐름도로서, 먼저 두 기준 필드에 대하여 상관 관계를 계산한다(단계 801). 즉, 두 기준 필드 간의 차이를 계산하고 이 계산 값을 m1이라고 할 때, 두 기준 필드가 서로 비슷한 경우에는 m1의 값이 작게되고, 서로 상이한 경우에는 m1 값이 커진다.

따라서, 상관값 m1을 제 1 문턱값 th1과 비교하는데(단계 802), 상관값 m1이 제 1 문턱값 th1보다 작은 경우에는 움직임이나 영상의 변화가 거의 없는 상태로 판단하여 도 3과 같이 필드 반복으로 새로운 필드를 보간한다(단계 803).

만일, 상기 단계 802에서 상관값 m1이 제 1 문턱값 th1보다 크다고 판별되면 움직임의 정도를 판별하기 위하여 다시 상관값 m1을 제 2 문턱값 th2과 비교한다(단계 804).

상기 단계 804에서 상관값 m1이 제 2 문턱값 th2보다 크다고 판별되면 이는 움직임이나 영상의 변화가 아주 심한 경우로 판단하여 도 7과 같이 움직임 추정을 이용하여 새로운 필드를 보간한다(단계 809).

한편, 상기 단계 804에서 상관값 m1이 제 2 문턱값 th2보다 작다고 판별되면 움직임이 아주 많지는 않지만 어느 정도 있는 경우로서, 이때는 도 6과 같이 기준 필드들의 평균으로 새로운 필드를 보간한다.

이때, α값을 정의해야 하므로 또다른 상관값 m2를 구한다(단계 805).

즉, 상관값 m2는 두 개의 기준 필드와 나머지 한 필드(보간하고자 하는 시점에서 가장 가까운 필드로 두 기준 필드가 모두 톱이라면 그 사이의 바텀 필드가 된다. 도 6에서는 N

필드가 이에 해당한다.) 사이의 차 값이다.

이렇게 계산된 상관값 m2를 제 3 문턱값 th3과 비교한다(단계 806).

상기 단계 806에서 상관값 m2이 제 3 문턱값 th3보다 작다고 판별되면 α값은 0보다 크고 1보다 작은 값(0 < α < 1)이 되며, 이때는 상기 수학식 4와 같이 기준 필드들의 평균으로 새로운 필드를 보간한다(단계 807).

만일, 단계 806에서 상관값 m2가 제 3 문턱값 th3보다 크다고 판별되면 α값은 1로 되며, 이때는 상기 수학식 3과 같이 기준 필드들의 평균으로 새로운 필드를 보간한다(단계 808). 여기서, 상기 제 1 내지 제 3 문턱값 th1∼th3은 실험을 통해 결정되며, 설계자에 따라 달라질 수 있다.

이러한 3:2 풀 다운 방법은 24 프레임/초로 제작된 필름 소스(film source)로부터 30프레임/초의 일반적인 TV 비월주사(interlace) 신호로의 변환시에 유용하게 사용되기 때문에 송신부에서 많이 쓰인다. 그러므로, 송신단에서 이와 같은 방법을 적용하면 비디오 신호를 송신하거나 동영상 압축이 행해지기 직전에 자연스럽고 높은 질의 화상을 만들 수 있다.

이와 병행하여 수신부에서도 효과적으로 사용할 수 있다. 그 이유는 MPEG과 같은 규격을 이용하여 동영상을 수신하였을 경우에 애초에 24프레임/초로 되어 있는 동영상의 경우 프레임 율(frame rate)을 변경하지 않고 직접 압축하여 보내는 것이 압축율을 높일 수 있는 방법이 되기 때문이다.

이러한 상황에서 수신부는 본 발명에서 제안한 3:2 풀 다운 방법을 사용하면 압축율 및 영상의 자연스러움 모두에 대하여 만족할 만한 결과를 얻을 수 있다.

즉, 본 발명에 따른 3:2 풀 다운 방법은 송신부나 수신부 모두의 경우에 대하여 효과적으로 사용할 수 있다.

이상에서와 같이 본 발명에 따른 비디오 신호의 프레임 율 변환 방법에 의하면, 종래와 다른 순서 즉, 시간 편차를 줄이는 방향으로 필드 반복을 수행하여 새로운 필드를 보간하거나 또는, 디스플레이 시간을 기준으로 인접한 기준 필드들의 평균값으로 새로운 필드를 보간하거나 또는, 움직임 추정을 이용하여 새로운 필드를 보간함으로써, 플리커 현상 및 부자연스러운 디스플레이 현상을 줄이는 효과가 있다.

또한, 움직임이나 영상의 변화 정도에 따라 상기된 풀 다운 방법들 중 어느 하나를 선택하여 새로운 필드를 보간함으로써, 자연스러운 화질을 얻을 수 있다.

특히, 본 발명은 송신측에서 전송하기 전에 필름 소스를 변환하는 경우에도 이용할 수 있으며, MPEG 방식으로 압축하여 영상을 전송하는 경우에 필름 모드로 복원한 다음 최종적으로 디스플레이하기 바로 전에 적용할 수도 있으므로 송신기, 또는 수신기의 성능을 높일 수 있다.

Claims

시간 편차가 작은 쪽의 기준 필드를 반복하여 새로운 필드를 보간하는 단계와,

디스플레이 시간 축을 중심으로 하여 가장 인접한 기준 필드들의 평균값으로 새로운 필드를 보간하는 단계와,

기준 필드를 매크로 블록 단위로 나누어 움직임 벡터를 구한 다음 상기 움직임 벡터를 기준으로 새로운 필드를 보간하는 단계와,

상기 보간 단계들 중 영상의 움직임 정도에 따라 최적의 프레임 율 변환방법을 선택하여 새로운 필드를 보간하는 단계를 포함하는 비디오 신호의 프레임 율 변환 방법.
제 1 항에 있어서, 상기 기준 필드들의 평균값을 이용한 보간 단계는

디스플레이 시간을 기준으로 하여 톱 필드가 디스플레이될 경우라면 가장 인접한 두 개의 톱 필드를 이용하여 보간을 수행하는 것을 특징으로 하는 비디오 신호의 프레임 율 변환 방법.
제 1 항에 있어서, 상기 기준 필드들의 평균값을 이용한 보간 단계는

디스플레이 시간을 기준으로 하여 바텀 필드가 디스플레이될 경우라면 가장 인접한 두 개의 바텀 필드를 이용하여 보간을 수행하는 것을 특징으로 하는 비디오 신호의 프레임 율 변환 방법.
제 1 항에 있어서, 상기 기준 필드들의 평균값을 이용한 보간 단계는

디스플레이 시간을 기준으로 하여 가장 인접한 세 개의 톱,바텀 필드를 이용하여 보간을 수행하는 것을 특징으로 하는 비디오 신호의 프레임 율 변환 방법.
삭제