KR100378795B1 - 동영상에서 ｂ픽쳐의 신축적인 다이렉트 모드 코딩 방법 - Google Patents

Abstract

본 발명은 동영상 코딩 시스템에서 B 픽쳐의 다이렉트 스킵 모드를 사용하여 보다 효과적으로 비트 세이빙을 구현하는 기술에 관한 것이다. 이러한 본 발명은, B 픽쳐의 타겟 매크로블록에서 다이렉트 모드가 최적의 예측모드로 결정되는 제1과정과; B 픽쳐를 기준으로 넥스트 P 픽쳐(P2)의 동일 위치에 있는 매크로블록에서 사용된 예측 모드를 조사하는 제2과정과; 상기의 조사 결과 P2 픽쳐의 모드가 스킵 모드이거나 16 ×16 모드인 경우에는 상기 다이렉트 모드를 스킵으로 간주하여 나머지 데이터를 전송하지 않고, P2 픽쳐의 모드가 다른 모드인 경우에는 레지듀얼 코딩을 통해 나머지 데이터를 전송하게 하는 제3과정에 의해 달성된다.

Description

동영상에서 Ｂ픽쳐의 신축적인 다이렉트 모드 코딩 방법{FLEXIBLE DIRECT MODE CODING METHOD FOR B PICTURES IN MOVING PICTURE}

본 발명은 동영상 코딩 시스템에서 오브젝트 모션에 기반한 B 픽쳐의 다이렉트 스킵모드를 정의하는 기술에 관한 것으로, 특히 넥스트 P 픽쳐의 엔코딩 과정에 적용되는 루미넌스 제한 조건 및 크로미넌스 제한조건을 제시 함으로써 완전한 복원을 보장하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법에 관한 것이다.

통상적으로, H.26L은 하나의 VLC(VLC: Variable Length Code)를 사용하고 있다. 따라서, B 픽쳐를 위한 코드 테이블에는 다이렉트 스킵(direct skip) 모드를 사용할 수 없는 문제점을 가지고 있다. 다시 말하면, 다이렉트 모드를 갖는 매크로블록이 나머지 데이터(residual data)의 존재와 관계없이 무조건 CBP(CBP: Coded Block Pattern) 및 양자화 계수(quantized coefficient) 값을 전송해야만 한다. 여기서, 나머지 데이터란 원래의 매크로블록에서 예측된 매크로블록을 감산한 결과를 의미한다.

예를 들어, 현재의 매크로블록이 다이렉트 모드를 사용하고 있고, 원래의 매크로블록과 다이렉트 모드에 의해 예측된 매크로블록의 차인 나머지 데이터 값이 "0"일 경우, 엔코더는 매크로블록 레이어(macroblock layer)에서 매크로블록 타입으로 다이렉트 모드를 가르키는 코드 번호 0(1bit)와 블록 레이어에서 cbp=0를 반드시 비트 스트림(bit stream)에 포함시켜야 한다.

이와 같이 종래 기술에 의한 H.26L의 B 픽쳐에서의 코딩 방법에 있어서는 다이렉트 모드를 갖는 매크로블록이 나머지 데이터(residual data)의 존재와 관계없이 무조건 CBP 및 양자화 계수 값을 전송하게 되어 있어 결과적으로 불필요하게 비트 레이트를 증가시키게 되는 문제점이 있었다.

따라서, 본 발명의 목적은 H.26L의 B 픽쳐 코드 테이블에 다이렉트 스킵 모드를 새로이 정의하지 않는 대신 넥스트(next) P 픽쳐의 예측 모드를 바탕으로 다이렉트 스킵 모드를 선택적으로 결정하는 방법을 제공함에 있다.

본 발명의 또 다른 목적은 B 픽쳐의 매크로블록이 다이렉트 모드로 결정된 상태에서, 넥스트 P 픽쳐의 모드가 스킵 모드이거나 16 ×16 모드인 경우에는 다이렉트 스킵으로 간주하여 나머지 데이터를 전송하지 않고, 넥스트 P 픽쳐가 다른 모드일 경우에는 나머지 데이터를 전송하게 하는 방법을 제공함에 있다.

도 1은 넥스트 픽쳐(P2)의 스킵모드 설명도.

도 2의 (a),(b)는 P2가 스킵모드일 때 B 픽쳐에서 타겟 매크로블록이 다른 분포를 갖는 예를 보인 설명도.

도 3의 (a)-(h)는 P1,B,P2 픽쳐의 동일 위치에 있는 매크로블록 사이의 오브젝트 모션을 보인 예시도.

도 4는 다이렉트 모드의 모션 벡터 설명도.

***도면의 주요 부분에 대한 부호의 설명***

P1,P2 : P 픽쳐 B : B 픽쳐

본 발명에 의한 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법은, B 픽쳐의 타겟 매크로블록에서 다이렉트 모드가 최적의 예측모드로 결정되는 제1과정과; B 픽쳐를 기준으로 이웃하는 넥스트 P 픽쳐(P2)의 동일 위치에 있는 매크로블록에서 사용된 예측 모드를 조사하는 제2과정과; 상기의 조사 결과 P2 픽쳐의 모드가 스킵 모드이거나 16 ×16 모드인 경우를 기준으로 하여 상기 다이렉트 모드를 스킵일 경우와 아닐 경우로 구분하여 스킵일 경우에는 나머지 데이터를 전송하지 않고, 스킵이 아닐 경우에는 나머지 데이터를 전송하게 하는 제3과정으로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 1 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.

본 발명에서는 엔코더 및 디코더에서 B 픽쳐 코드 테이블에 존재하지 않는 다이렉트 스킵 모드를 넥스트 P 픽쳐에서 사용된 예측 모드로부터 선택적으로 결정하여 가능한 한 많은 비트 세이빙이 이루어지도록 하였다. 따라서, B 픽쳐의 현재 코딩하려는 매크로블록(target macroblock)이 인트라 예측(intra prediction), 전방 예측(forward prediction), 후방 예측(backward prediction), 양방향 예측(bi-direction prediction), 다이렉트 예측(direct prediction) 중 가장 작은 SAD(SAD: Sum of Absolute Difference) 값을 갖는 최적의 예측 모드로서 다이렉트 모드를 결정하였다고 가정한다.

이와 같이 현재 B 픽쳐의 임의의 매크로블록에서 다이렉트 모드가 최적의 예측모드로 결정되었다고 가정할 때, 선택된 다이렉트 모드에 대해 레지듀얼 코딩을 수행할 것인지 수행하지 않을 것인지를 넥스트 P 픽쳐의 동일 위치에 있는 매크로블록에서 사용된 예측 모드를 보고 결정하도록 하였다. 만일 사용된 예측모드가 스킵이거나 16 ×16이었다면 B 픽쳐의 매크로블록은 다이렉트 스킵을 사용하고, 다른 예측모드를 넥스트 P 픽쳐에서 사용하였다면 B 픽쳐는 레지듀얼 코딩을 하는 신축적인 다이렉트 모드를 사용하게 되는 것으로 이를 상세히 설명하면 다음과 같다.

먼저, 넥스트 P 픽쳐의 매크로블록이 스킵 모드일 경우에 대해 설명하면 다음과 같다.

넥스트 P 픽쳐에서 타겟 매크로블록과 동일한 위치에 있는 매크로블록이 스킵 모드를 사용하였다고 가정하자. 이때, 넥스트 P 픽쳐의 스킵 모드는 16 ×16 블록 사이즈를 사용하고 제로 모션 및 나머지 데이터가 "0"일 때 정의되는 P 픽쳐에서 사용되는 예측 모드이다.

도 1에서 P2 픽쳐의 매크로 블록은 P1 픽쳐의 매크로블록과 동일하고, 시간적으로 B 픽쳐의 타겟 매크로블록은 P1 픽쳐와 P2 픽쳐의 매크로블록과 동일한 특성을 갖을 확률이 높기 때문에 타겟 매크로블록은 다이렉트 스킵으로 사용될 가능성이 매우 높다. 따라서, 타겟 매크로블록과 동일한 위치에 있는 넥스트 P픽쳐(P2)의 매크로블록이 스킵으로 선언되었을 경우에 타겟 매크로블록은 다이렉트 스킵을 사용하도록 정의한다.

그러나, 타겟 매크로블록이 P1과 P2의 매크로블록과 다른 특성을 갖는 경우도 존재할 수 있는데, 도 2는 그 예를 나타낸 것이다.

도 2에서와 같이 B 픽쳐가 인접된 P 픽쳐(P1,P2)와 다른 분포를 갖는 경우, B 픽쳐의 타겟 매크로블록은 다이렉트 스킵 대신 레지듀얼 코딩을 하는 다이렉트 모드를 사용해야 디코더에서 타겟 매크로블록에 가깝게 재구성할 수 있다. 하지만, 이것은 본 발명의 다이렉트 스킵 정의에 위배되는 사항이다. 왜냐하면, 비록 P2 픽쳐가 스킵 모드를 사용할지라도 B 픽쳐의 타겟 매크로블록은 다이렉트 스킵 모드를 선택해서는 안되기 때문이다. 따라서, 본 발명의 다이렉트 스킵 정의를 보장받기 위한 방법으로 P2 픽쳐의 각 매크로블록을 디코딩할 때 도 2와 같은 경우에 대해서는 제한 조건을 두었다.

도 2와 같은 경우를 검출하기 위한 방법으로 움직임 검출(Motion detection)기법을 사용한다. 예를 들어 P1 픽쳐와 B 픽쳐(또는 B와 P2)를 비교하여 두 매크로블록 사이에 변화가 발생(object motion)한 것을 인식할 할 수 있다. 이러한 오브젝트 모션을 검출하기 위한 방법으로 두 매크로블록의 픽셀 대 픽셀 사이의 절대치 차를 각기 구하여 이 값들 중에 어느 하나라도 임계치(예: 20) 이상의 값이 검출되면 오브젝트 모션이 발생되었다고 정의한다.

따라서, 도 2의 경우 P1 픽쳐와 B 픽쳐의 두 매크로블록 사이에 모션이 존재하고 또한 B 픽쳐와 P2 픽쳐 사이에 모션이 존재하는 것이다. 따라서, P2 픽쳐의 각 매크로블록을 엔코딩할 때 움직임 검출과정에서 도 2와 같은 움직임이 검출되면 16 ×8 모드 이하로 예측하도록 강제적인 제한을 가하게 된다.

이것은 P2 픽쳐가 본래 스킵 모드로 사용할 수 있음에도 불구하고 사용하지 못하게 함으로써 본 발명의 다이렉트 스킵 정의를 보장받을 수 있도록 하기 위함이다. 단, 엔코더에서 P1 픽쳐는 이미 디코딩된 매크로블록을 사용하고, P2 픽쳐는 코딩하려는 원래의 매크로블록, 그리고 B 픽쳐의 타겟 매크로블록은 P2 픽쳐 후에 코딩하기 위해 버퍼에 저장되어 있는 원래의 타겟 매크로블록을 사용한다.

한편, P2 픽쳐의 매크로블록이 스킵을 사용하지 않는 경우에도 B 픽쳐의 타겟 매크로블록과 동일한 위치에 있는 P1과 P2 픽쳐의 매크로블록 사이의 오브젝트 모션으로부터 다이렉트 스킵을 결정하는 다른 기법에 대해 도 3을 참조하여 설명한다.

도 3의 (a)는 세 개의 매크로블록의 특성이 모두 비슷한 경우이고, (b)(c)는 B 픽쳐의 타겟 매크로블록과 P2 또는 P1 픽쳐의 각 매크로블록이 유사한 특성을 가지고 있는 경우이다. 이때, 타겟 매크로블록의 예측 모드는 다이렉트 모드로 선택되어 있음을 상기하면, 다른 예측 모드 특히 (a)의 경우에는 타겟 매크로블록과 같은 위치의 두 매크로블록이 유사한 특성을 가졌음에도 불구하고 전방 예측, 후방 예측 또는 양방향 예측이 아닌 다이렉트 예측 모드로 선택되었다는 사실은 다이렉트 모드로 예측한 결과가 다른 예측 모드에 비해 원래의 타겟 매크로블록에 가장 유사하게 예측됨을 의미한다. 마찬가지로, (b)의 경우는P2 픽쳐의 매크로블록이 타겟 매크로블록과 유사한 특성을 가졌지만 후방 예측이 아닌 다이렉트 모드로, (c)의 경우에는 P1 픽쳐의 매크로블록이 타겟 매크로블록과 유사한 특성을 가졌지만 전방 예측이 아닌 다이렉트 모드로 선택되어졌고 그 의미는 동일하다.

따라서, 이와 같은 경우는 레지듀얼 코딩을 하는 다이렉트 모드 대신 다이렉트 스킵 모드를 사용하여 비트 레이트(bit rate)를 감소시키는 것이 가능하다. 물론, 레지듀얼 코딩에 비해 어느 정도의 화질 저하현상이 발생될 수 있지만 다이렉트 스킵 모드에 의해 절약되는 비트량에 비하면 무시할 만하다. 본 발명에서는 이와 같이 B 픽쳐의 타겟 매크로블록과 유사한 특성을 갖는 매크로블록이 P1 또는 P2 픽쳐에 존재하는 경우 다이렉트 스킵모드로 사용하고자 한다.

이와 반대로, 도 3의 나머지 경우(d∼h)를 보면, 공통적으로 P1 픽쳐와 B 픽쳐, B 픽쳐와 P2 픽쳐 사이에 오브젝트 모션이 존재함을 알 수 있다. 이와 같이 오브젝트 모션이 존재한다는 것은 두 매크로블록 사이에 유사한 특성을 갖고 있지 않다는 것을 의미한다. 따라서, 다이렉트 모드에 의해 예측된 결과가 원래의 타겟 매크로블록에 얼마나 유사하게 예측되었는지를 판단할 근거가 없게 된다. 따라서,(d)∼(h)와 같은 경우에 대해서는 반드시 나머지 코딩을 통한 다이렉트 예측을 해야 한다.

본 발명에서는 도 3의 오브젝트 모션을 기반으로 한 다이렉트 스킵 모드를 정의하기 위해, P2 픽쳐의 매크로블록이 (a)∼(c)를 만족하면서 동시에 16 ×16으로 예측 모드를 사용하는 경우에 타겟 매크로블록은 다이렉트 스킵 모드로 예측하도록 하였다. 이때, 도 4에서와 같이 16 ×16 모드는 제로 또는 넌제로 모션 벡터를 갖게 되고, 이들로부터 다이렉트 전방 움직임 벡터(direct forward motion vector) 및 다이렉트 후방 움직임 벡터(direct backward motion vector)가 유도되어진다.

만일 P2 픽쳐의 매크로블록이 도 3의 (d)∼(h)와 같은 경우라면 본 발명의 오브젝트 모션에 기반한 다이렉트 스킵 정의를 보장하기 위하여, P2 픽쳐를 엔코딩할 때 움직임 검출 방법으로 도 3의 (d)∼(h) 경우를 검출한 후, B 픽쳐의 타겟 매크로블록이 다이렉트 스킵으로 선언되지 않도록 하기 위해 16 ×8 모드 이하로 예측하도록 강제적인 제한을 두었다.

한편, 다이렉트 스킵 모드 선택을 위한 루미넌스(luminance) 제한 조건 및 컬러 정보 보존을 위한 크로미넌스(chrominance) 제한 조건에 대해 설명하면 다음과 같다.

H.26L에서 사용되는 비디오는 움직임을 포함한 모든 비디오 정보를 제공하는 루미넌스 성분(Y)과 컬러 정보를 제공하는 크로미넌스 성분(U,V)로 나누어진다.

상기의 설명에서와 같이, 본 발명에서는 비트 세이빙을 위해 다이렉트 스킵모드를 P2 픽쳐의 매크로블록에서 사용된 예측 모드에 따라 선택적으로 결정하도록 하였다. 즉, P2 픽쳐의 매크로블록이 스킵 모드나 16 ×16 예측 모드를 사용하였다면, B 픽쳐의 타겟 매크로블록은 다이렉트 스킵 모드로 예측을 수행하게 하였다.

단, 도 2의 경우와 같이 P1 픽쳐와 B 픽쳐간에서 오브젝트 움직임이 검출되고 B 픽쳐와 P2 픽쳐간에서도 오브젝트 움직임이 검출되는 경우에는 설령 P2 픽쳐의 매크로블록이 스킵 모드일지라도 강제적으로 16 ×8 이하의 예측 모드를 결정하도록 제한하였다. 또한, P2 픽쳐의 매크로블록이 16 ×16 모드를 사용할 경우에 도 3의 (d)∼(h)와 같이 오브젝트 모션이 모두 검출될 때에는 스킵 모드 때와 마찬가지로 강제적으로 16 ×8 이하의 모드로 예측 모드를 결정하도록 제한을 두었다.

이러한 오브젝트 모션에 기반한 다이렉트 스킵 모드의 선택은 비디오의 루미넌스 성분을 이용하게 되므로, 다이렉트 스킵 정의를 보장하기 위한 제한 조건들은 루미넌스 제한 조건이 되는 것이다.

만일, 영상 프레임 사이에 급격한 컬러 전환이 있고, 루미넌스 성분에서 다이렉트 스킵 조건을 만족하여 B 픽쳐의 타겟 매크로블록이 다이렉트 스킵 모드를 사용할 경우, 컬러 성분을 제대로 재 구성하지 못하게 되는 문제점이 발생된다. 따라서, B 픽쳐의 타겟 매크로블록과 동일 위치에 있는 P1과 P2 픽쳐의 매크로블록의 크로미넌스를 조사하여 한 픽셀이라도 임계치(예: 60) 이상의 변화를 보이면 루미넌스 제한 조건과 동일하게 P2 픽쳐의 매크로블록에서 강제적으로 16 ×8 이하의 모드로 예측 모드를 결정하도록 제한을 두었다.

이상에서 상세히 설명한 바와 같이 본 발명은 H.26L의 B 픽쳐 코드 테이블에 다이렉트 스킵 모드를 새로이 정의하지 않는 대신 넥스트 P 픽쳐의 예측 모드를 바탕으로 다이렉트 스킵 모드를 선택적으로 결정하도록 함으로써, 다이렉트 스킵을 정의할 수 없는 H.26L의 부호화 효율을 극대화 할 수 있는 효과가 있다.

또한, 오브젝트 모션에 기반한 B 픽쳐의 다이렉트 스킵 모드를 정의하기 위해 루미넌스 제한 조건 및 크로미넌스 제한 조건을 제시 함으로써, 허용 가능한 범위의 화질을 보장할 수 있는 효과가 있다.

Claims (8)

1. B 픽쳐의 타겟 매크로블록에서 다이렉트 모드가 최적의 예측모드로 결정되는 제1과정과; B 픽쳐를 기준으로 넥스트 P 픽쳐(P2)의 동일 위치에 있는 매크로블록에서 사용된 예측 모드를 조사하는 제2과정과; 상기의 조사 결과 P2 픽쳐의 모드가 스킵 모드이거나 16 ×16 모드인 경우에는 상기 다이렉트 모드를 스킵으로 결정하여 나머지 데이터를 전송하지 않고, P2 픽쳐가 다른 모드를 사용하는 경우에는 레지듀얼 코딩을 통해 나머지 데이터를 전송하게 하는 제3과정으로 이루어지는 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
2. 제1항에 있어서, 넥스트 P 픽쳐를 엔코딩할 때, P1 픽쳐와 B 픽쳐, 또는 B 픽쳐와 P2 픽쳐 상에서 동일 위치에 있는 두 매크로블록의 픽셀 대 픽셀 사이의 절대치 차를 각기 구하여 이 값들 중에 어느 하나라도 임계치 이상의 값이 검출되면 오브젝트 모션이 발생된 것으로 판단하여 P2 픽쳐의 매크로블록이 스킵 모드일지라도 16 ×8 모드 이하로 예측하도록 강제적인 제한을 가하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
3. 제2항에 있어서, 두 매크로블록의 픽셀 대 픽셀 사이의 절대치 차를 구할 때, P1 픽쳐는 이미 디코딩된 매크로블록을 사용하고, P2 픽쳐는 코딩하려는 원래의 매크로블록을 사용하며, B 픽쳐의 타겟 매크로블록은 P2 픽쳐 후에 코딩하기 위해 버퍼에 저장되어 있는 원래의 타겟 매크로블록을 사용하는 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
4. 제2항에 있어서, 임계치는 20인 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
5. 제1항에 있어서, 제3과정은 P2 픽쳐의 모드가 스킵 모드가 아닐지라도, B 픽쳐의 타겟 매크로블록과 유사한 특성을 갖는 매크로블록이 P1 픽쳐 또는 P2 픽쳐에 존재하고, 동시에 16 ×16 으로 예측 모드를 사용하는 경우 타겟 매크로블록은 다이렉트 스킵으로 예측되도록 하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
6. 제1항에 있어서, 제3과정은 P2 픽쳐의 매크로블록이 16 ×16 모드를 사용할 경우, P1 픽쳐 및 P2 픽쳐에서 오브젝트 모션이 모두 검출되면 강제적으로 16 ×8 이하의 모드로 예측 모드를 결정하도록 제한하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
7. 제1항에 있어서, 제3과정은 B 픽쳐의 타겟 매크로블록과 동일 위치에 있는 P1과 P2 픽쳐의 매크로블록의 크로미넌스를 조사하여 한 픽셀이라도 임계치 이상의변화를 보이면 P2 픽쳐의 매크로블록에서 강제적으로 16 ×8 이하의 모드로 예측 모드를 결정하도록 제한하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.
8. 제7항에 있어서, 임계치는 60인 것을 특징으로 하는 동영상에서 B 픽쳐의 신축적인 다이렉트 모드 코딩 방법.