KR100508799B1 - 이미지 예측 방법 - Google Patents

Abstract

본 발명은 이미지 예측 방법에 관한 것으로 특히, 현재 코딩하려는 픽쳐에 관련된 시간적 정보를 고려하여 현재 코딩하려는 픽쳐의 이미지 블록을 예측함으로써 코딩 효율을 향상시킬 수 있도록 함에 그 목적이 있다. 이러한 목적의 본 발명은 동영상 스트림을 부호화하는 방법에 있어서, 제1, 제2 이미지 블록, 현재 영상의 디스플레이 순서 정보 및 제1, 제2 이미지 블록 중 하나에 관련된 적어도 하나의 레퍼런스 픽쳐의 시간적 정보를 이용하여 현재의 이미지 블록을 예측하는 단계를 포함하며, 상기 이미지 블록 예측 단계는 현재 영상과 레퍼런스 픽쳐 간의 시간적 정보로부터 얻어진 시간적 거리 차를 이용하여 현재의 이미지 블록을 예측하는 과정을 포함하여 구성함을 특징으로 한다.

Description

이미지 예측 방법{METHOD FOR PREDICTING IMAGE}

본 발명은 동영상 코딩 시스템에 관한 것으로 특히, 이미지 예측 방법에 관한 것이다.

B 픽쳐의 큰 특징 중 하나는 오버헤드(overhead) 정보가 필요없는 다이렉트 예측 모드를 다른 예측 모드 즉, 순방향 예측(forward prediction), 역방향 예측(backward prediction), 양방향 예측(bi-directional prediction), 인트라 예측(intra prediction) 등에 비해 많이 선택함으로써 P 픽쳐보다 높은 코딩 효율을 보여준다.

종래 기술의 다이렉트 모드는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(backward reference picture for direct mode)의 동일 위치의 매크로블록이 갖는 움직임 벡터로부터 다이렉트 모드의 순방향 움직임 벡터와 역방향 움직임 벡터를 계산하고, 이 값들을 사용하여 움직임 보상된 블록들을 얻고, 최종적으로 두개의 움직임 보상 값을 평균 연산하여 예측된 매크로블록을 얻는 모드이다.

이를 도1의 움직임 벡터 예시도를 참조하여 설명하기로 한다.

도1에서 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(forward reference picture for direct mode, P1)와 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7) 사이의 시간적 거리, 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 현재 B 픽쳐(B5) 사이의 시간적 거리, , 는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)의 동일 위치에 있는 매크로블록이 갖는 움직임 벡터, 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)로부터 구한 다이렉트 모드의 순방향 움직임 벡터, 는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)로부터 구한 다이렉트 모드의 역방향 움직임 벡터이다.

다이렉트 모드의 순방향 움직임 벡터()는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)의 매크로블록()의 움직임 벡터(MV)와 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)가 참조하는 레퍼런스 픽쳐 즉, 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)로부터 아래의 [수학식 1]을 적용하여 구한다.

그리고, 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)의 매크로블록()이 갖는 움직임 벡터(MV)로부터 역방향 움직임 벡터()를 아래의 [수학식 2]에 의해 구한다.

따라서, 상기 [수학식 1][수학식 2]와 같은 움직임 벡터()()를 이용하여 움직임 보상된 매크로블록()()을 구한 후 아래의 [수학식 3]과 같이 평균 연산하여 현재 코딩하려는 B 픽쳐의 매크로블록()을 예측()한다.

그러나, 종래의 기술은 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐의 현재 매크로블록과 동일 위치에 있는 매크로블록이 갖는 움직임 벡터로부터 다이렉트 모드의 순방향 움직임 벡터를 구하게 되므로 이 값은 B 픽쳐의 현재 매크로블록의 정확한 움직임 벡터라기보다 근사치라고 볼 수 있다. 한편, 시간적으로 B 픽쳐에서 가까운 레퍼런스 픽쳐일수록 B 픽쳐와의 유사성이 높을 것이므로 이 레퍼런스 픽쳐에서의 순방향 움직임 벡터를 구할 필요가 있다.

또한, B 픽쳐가 매크로블록 예측을 레퍼런스 픽쳐 사이의 시간적 거리를 고려하지 않고 단순히 순방향, 역방향 각각의 움직임 보상된 블록의 평균으로 구하게 됨에 따라 예측된 매크로블록의 정확도가 감소되어지는 문제점이 있다. 예를 들어, 페이딩 장면(fading scene)이 있는 영상에서는 연속된 B 픽쳐들의 밝기가 차츰 어두워지거나 반대로 밝아지게 되어 종래 기술과 같이 각 방향의 움직임 보상된 매크로블록을 단순히 평균하여 얻은 예측값은 실제값과 큰 차이를 보이게 되고 이것은 코딩 효율을 크게 떨어뜨리는 요인이 된다.

따라서, 본 발명은 종래의 문제점을 개선하여 코딩 효율을 향상시킬 목적으로 창안된 이미지 예측 방법에 관한 것으로, 현재 코딩하려는 픽쳐 및 레퍼런스 픽쳐에 관련된 시간적 정보를 고려하여 현재 코딩하려는 픽쳐의 이미지 블록을 예측함으로써 코딩 효율을 향상시킬 수 있도록 하는 목적을 달성하기 위한 것이다.

본 발명은 상기의 목적을 달성하기 위하여 동영상 스트림을 부호화하는 방법에 있어서, 제1, 제2 이미지 블록, 현재 영상의 디스플레이 순서 정보 및 제1, 제2 이미지 블록 중 하나에 관련된 적어도 하나의 레퍼런스 픽쳐의 시간적 정보를 이용하여 현재의 이미지 블록을 예측하는 단계를 포함하여 수행함을 특징으로 한다.

상기 이미지 블록 예측 단계는 현재 영상과 레퍼런스 픽쳐 간의 시간적 정보로부터 얻어진 시간적 거리 차를 이용하여 현재의 이미지 블록을 예측하는 과정을 포함한다.

상기 이미지 예측은 디코더 연산의 다이렉트(direct) 모드로 현재의 이미지를 예측하는 과정을 포함한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

본 발명은 도1의 예시도와 도2의 예시도에 모두 적용할 수 있다.

도1은 종래 기술의 다이렉트 모드를 설명하기 위한 움직임 벡터의 예시도이다. 본 발명을 도1에 적용하는 경우에도 순방향 움직임 벡터, 역방향 움직임 벡터 그리고, 그 순방향과 역방향 움직임 벡터를 이용하여 움직임 보상된 블록을 구하는 과정은 종래 기술과 동일함으로 상세한 설명은 생략하기로 한다.

우선, 본 발명의 실시 예에서는 유사성이 높을 확률이 있는 B 픽쳐에서 가장 가까운 거리의 레퍼런스 픽쳐로부터 움직임 벡터를 유도하여 움직임을 보상하고 또한, 높은 정확도를 갖는 매크로블록의 예측을 위해 B 픽쳐와 다이렉트 모드의 순방향 움직임 벡터를 위해 사용된 레퍼런스 픽쳐(다이렉트 모드를 위한 순방향 레퍼런스 픽쳐 또는 B 픽쳐에서 가장 가까운 레퍼런스 픽쳐), 그리고 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐 사이의 시간적 거리를 고려한 보간 예측을 수행하는 과정을 설명하기로 한다.

즉, 본 발명의 실시 예에서는 현재 코딩(또는 복호)하려는 B 픽쳐에 대해 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 구하는 제1 단계와, 현재 코딩(또는 복호)하려는 B 픽쳐에 대해 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐로부터 역방향 움직임 벡터를 구하는 제2 단계와, 상기에서 구한 순방향 및 역방향의 움직임 벡터를 이용하여 움직임 보상된 블록을 구하는 제3 단계와, 상기에서 구한 움직임 보상된 블록들을 시간적 거리를 고려하여 보간 연산함으로써 현재 코딩(또는 복호)하려는 B 픽쳐의 매크로 블록을 예측하는 제4 단계를 수행하도록 구성한다.

상기 제1 단계는 현재 코딩(또는 복호)하려는 B 픽쳐에 대해 순방향 레퍼런스 픽쳐 중 가장 가까운 거리의 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 구하는 단계로 대치할 수 있다.

상기 제4 단계는 움직임 보상된 블록에 대해 각 레퍼런스 픽쳐들의 시간적 거리를 고려하여 보간 연산함으로써 현재 코딩(또는 복호)하려는 B 픽쳐의 매크로블록을 예측하는 단계로 대치할 수 있다.

먼저, 본 발명의 실시예에서의 블록 예측 과정을 도2를 참조하여 설명하면 다음과 같다.

도2는 본 발명의 실시예에서 다이렉트 모드를 설명하기 위한 움직임 벡터의 예시도이다.

도2에서 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7) 간의 시간적 거리, 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 현재 B 픽쳐(B5) 사이의 시간적 거리, 은 B 픽쳐에서 가장 가까운 거리에 있는 레퍼런스 픽쳐(P4)와 B 픽쳐 사이의 시간적 거리, 는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)가 갖는 움직임 벡터, 는 B 픽쳐에서 가장 가까운 레퍼런스 픽쳐(P4)로부터 구한 다이렉트 모드의 순방향 움직임 벡터, 는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)로부터 구한 다이렉트 모드의 역방향 움직임 벡터이다.

여기서, 현재 코딩하려는 B 픽쳐의 블록()과 동일 위치에 있는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)의 블록()이 갖는 움직임 벡터()는 B 픽쳐가 부호화(또는 복호화)되기 전에 이미 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐를 부호화(또는 복호화)하는 과정에서 구한 값이다.

우선, 순방향 레퍼런스 픽쳐 중 시간적 거리(temporal distance)가 가장 가까운 레퍼런스 픽쳐로부터 순방향 움직임 벡터()를 아래의 [수학식 4]와 같은 연산으로 구한다.

그리고, 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)로부터 역방향 움직임 벡터()를 종래 기술과 동일하게 아래의 [수학식 5]와 같은 연산에 의해 구한다.

이에 따라, [수학식 4],[수학식 5]에 의해 구한 움직임 벡터()()를 이용하여 움직임 보상된 블록()()을 구한다.

한편, B 픽쳐 원 영상의 블록()에 대한 예측값()은 움직임 보상된 두 블록 ( , )으로부터 구해진다. 이때 B 픽쳐는 움직임 보상된 블록()이 존재하는 레퍼런스 픽쳐와 움직임 보상된 블록()이 존재하는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐 중 어느 한 픽쳐에 더 가깝게 위치할 수 있다. 본 발명은 도1과 도2의 예시도에 모두 적용할 수 있으므로 상기 움직임 보상된 블록()이 존재하는 레퍼런스 픽쳐는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐 예로, 도1에서 P1 픽쳐 또는 B 픽쳐에서 가장 가까운 레퍼런스 픽쳐 예로, 도2에서 P4 픽쳐이다.

더욱이 페이딩 장면(fading scene)이 있는 영상에서는 연속된 B 픽쳐들의 밝기가 차츰 어두워지거나 또는 반대로 밝아지게 되어, 종래 기술과 같이 각 방향의 움직임 보상된 블록 ( , )을 단순히 평균하여 얻은 예측 값은 실제 입력된 값과 큰 차이를 보이게 된다. 이는 코딩 효율을 크게 떨어뜨리는 요인이 된다.

따라서, 다이렉트 모드에 의해 예측된 매크로블록의 정확도(accuracy)를 높이기 위하여, 평균 연산 대신 B 픽쳐와 움직임 보상된 블록()이 존재하는 레퍼런스 픽쳐(즉, 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐 또는 B 픽쳐에서 가장 가까운 레퍼런스 픽쳐), 그리고 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐 사이의 시간적 거리를 고려한 보간 예측(interpolative prediction)을 수행하도록 한다.

만일, 도3의 예시도에 도시한 바와 같이 종래 기술에 의해 다이렉트 모드의 순방향 움직임 벡터를 구한 경우, 움직임 보상된 블록( )은 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)에 존재하고 움직임 보상된 블록( )은 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)에 존재하게 된다. 따라서, 아래의 [수학식 6]과 같은 보간 예측이 수행된다. 여기서 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7) 간의 시간적 거리, 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 현재 B 픽쳐(B5) 사이의 시간적 거리이다. 이러한 보간 예측 방법은 종래의 평균 연산도 포함하게 되는데, 그 경우는 B 픽쳐가 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐와 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐 사이의 중앙에 위치할 때이다.

또한, 도4의 예시도에 도시한 바와 같이 본 발명에서 제시한 기술에 의해 다이렉트 모드의 순방향 움직임 벡터를 구하는 경우, 움직임 보상된 블록( )은 B 픽쳐에서 가장 가까운 레퍼런스 픽쳐(P4)에 존재하고 움직임 보상된 블록( )은 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7)에 존재하게 된다. 따라서 아래의 [수학식 7]과 같은 보간 예측이 수행된다. 여기서 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐(P7) 간의 시간적 거리, 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐(P1)와 현재 B 픽쳐 사이의 시간적 거리, 은 B 픽쳐에서 가장 가까운 거리에 있는 레퍼런스 픽쳐(P4)와 B 픽쳐 사이의 시간적 거리이다.

한편, 각 픽쳐는 디스플레이 순서 정보인 Picture order count 값을 이용하여 표현할 수 있다.

따라서, 상기 [수학식 6],[수학식 7]은 각 픽쳐의 디스플레이 순서 정보인 picture order count 값들을 이용하여 아래와 같은 [수학식 8]로 표현할 수 있다. 여기서 는 현재 B 픽쳐에 할당된 디스플레이 순서 정보인 picture order count 값 , 는 다이렉트 모드를 위한 순방향 레퍼런스 픽쳐에 할당된 디스플레이 순서 정보인 picture order count 값 또는 상기 [수학식 4]에 의해 다이렉트 모드의 순방향 움직임 벡터를 구한 경우 B 픽쳐에서 가장 가까운 레퍼런스 픽쳐에 할당된 디스플레이 순서 정보인 picture order count 값, 는 다이렉트 모드를 위한 역방향 레퍼런스 픽쳐에 할당된 디스플레이 순서 정보인 picture order count 값을 의미한다.

즉, 본 발명은 레퍼런스 픽쳐 간의 시간적 거리가 아닌 디스플레이 순서 정보를 이용하여 현재의 이미지 블록을 예측할 수도 있는 것이다.

상기에서 상세히 설명한 바와 같이, 본 발명은 현재 코딩(또는 복호)하려는 B 픽쳐와 유사성이 높은 확률을 갖는, 가장 가까운 거리에 위치한 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 벡터를 구하고, 이로부터 움직임 보상된 블록 값들을 시간적 거리를 고려한 보간 예측을 통해 예측된 매크로블록을 얻게 된다. 이러한 방법은 종래의 기술을 이용한 다이렉트 모드보다 더욱 향상된 코딩 효율을 달성할 수 있는 효과가 있다

도1은 종래의 다이렉트 모드에서의 움직임 벡터 예시도.

도2는 본 발명의 실시예에서의 움직임 벡터 예시도.

도3 및 도4는 본 발명의 실시예에서 보간 예측 방법을 보인 예시도.

* 도면의 주요부분에 대한 부호 설명 *

P1,P4,P7 : P 픽쳐 B2,B3,B5,B6 : B 픽쳐

Claims (12)

1. 제1, 제2 이미지 블록과, 현재 영상의 시간적 정보와 제1, 제2 이미지 블록 중 하나에 연관된 적어도 하나의 레퍼런스 픽쳐의 시간적 정보를 이용하여 현재의 이미지 블록을 예측하는 단계를 포함하여,

   상기 이미지 예측 단계는 현재 영상과 레퍼런스 픽쳐 각각의 시간적 정보로부터 얻어진 시간적 거리 차를 이용하여 현재의 이미지 블록을 예측하는 것을 특징으로 하는 이미지 예측 방법.　
2. 제1항에 있어서,

   현재의 이미지 블록에 대하여 제1, 제2 움직임 벡터를 결정하는 단계와,

   제1, 제2 움직임 벡터 각각을 이용하여 제1, 제2 이미지 블록을 결정하는 단계를 더 포함하여 구성함을 특징으로 하는 이미지 예측 방법.
3. 제2항에 있어서, 제1, 제2 움직임 벡터 각각은 순방향 움직임 벡터와 역방향 움직임 벡터이고, 제1, 제2 이미지 블록 각각은 순방향 이미지 블록과 역방향 이미지 블록임을 특징으로 하는 이미지 예측 방법.
4. 제3항에 있어서, 순방향 이미지 블록은 순방향 움직임 보상된 이미지 블록이고, 역방향 이미지 블록은 역방향 움직임 보상된 이미지 블록임을 특징으로 하는 이미지 예측 방법.
5. 제1항에 있어서, 이미지 예측 단계는

   제1, 제2 이미지 블록의 가중치 조합을 기반으로 현재의 이미지 블록을 예측하는 것을 특징으로 하는 이미지 예측 방법.

   여기서, 가중치는 상기 시간적 거리 차를 기반으로 하는 제1, 제2 이미지 블록 각각에 차별적으로 적용되는 값이다.
6. 제5항에 있어서, 하나의 가중치는 또 다른 가중치의 함수임을 특징으로 하는 이미지 예측 방법.
7. 제5항에 있어서,

   현재의 이미지 블록에 대하여 제1, 제2 움직임 벡터를 결정하는 단계와,

   제1, 제2 움직임 벡터 각각을 사용하여 제1, 제2 이미지 블록을 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 예측 방법.
8. 제7항에 있어서, 제1, 제2 움직임 벡터 각각은 순방향 움직임 벡터와 역방향 움직임 벡터이고, 제1, 제2 이미지 블록 각각은 순방향 이미지 블록과 역방향 이미지 블록임을 특징으로 하는 이미지 예측 방법.　
9. 제8항에 있어서, 순방향 이미지 블록은 순방향 움직임 보상된 이미지 블록이고, 역방향 이미지 블록은 역방향 움직임 보상된 이미지 블록임을 특징으로 하는 이미지 예측 방법.
10. 제1항에 있어서, 이미지 예측 단계는

    제1, 제2 이미지 블록의 가중치 조합을 기반으로 현재의 이미지 블록을 예측하는 것을 특징으로 하는 이미지 예측 방법.

    여기서, 가중치는 상기 시간적 거리 차를 기반으로 하는 제1, 제2 이미지 블록 각각에 차별적으로 적용되는 값이다.
11. 제1항에 있어서, 이미지 예측 단계는

    제1, 제2 함수를 기반으로 현재의 이미지 블록을 예측하는 것을 특징으로 하는 이미지 예측 방법.

    여기서, 제1 함수는 제1 가중치 함수와 제1 이미지 블록으로 표현되고, 제2 함수는 제2 가중치 함수와 제2 이미지 블록으로 표현되며, 제1 가중치는 상기 시간적 거리 차의 함수이고, 제2 가중치는 제1 가중치의 함수이다.
12. 제1항에 있어서, 이미지 예측 단계는

    디코더 연산의 다이렉트(direct) 모드로 현재의 이미지 블록을 예측하는 것을 특징으로 하는 이미지 예측 방법.