KR100718133B1 - 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법 - Google Patents

움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법 Download PDF

Info

Publication number
KR100718133B1
KR100718133B1 KR1020050064505A KR20050064505A KR100718133B1 KR 100718133 B1 KR100718133 B1 KR 100718133B1 KR 1020050064505 A KR1020050064505 A KR 1020050064505A KR 20050064505 A KR20050064505 A KR 20050064505A KR 100718133 B1 KR100718133 B1 KR 100718133B1
Authority
KR
South Korea
Prior art keywords
block
layer
motion
motion compensation
encoding
Prior art date
Application number
KR1020050064505A
Other languages
English (en)
Other versions
KR20060053844A (ko
Inventor
김주희
김혜연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060053844A publication Critical patent/KR20060053844A/ko
Application granted granted Critical
Publication of KR100718133B1 publication Critical patent/KR100718133B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및 방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법이 개시된다. 움직임정보 부호화장치는 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 움직임 데이터와 제2 계층의 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 부호화규칙 결정부; 및 상기 결정된 부호화규칙에 의거하여 상기 제2 계층의 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 움직임보상 모드 부호화부를 포함한다.

Description

움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및 방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법 {Motion information encoding/decoding apparatus and method and scalable video encoding apparatus and method employing the same}
도 1은 본 발명의 일실시예에 따른 스케일러블 영상 부호화장치의 구성을 나타낸 블록도이다.
도 2a 및 도 2b는 도 1에 도시된 스케일러블 영상 부호화장치에 의해 일예의 스케일러블 비트스트림이 생성되는 과정을 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 움직임정보 부호화장치의 구성을 나타낸 블록도이다.
도 4는 본 발명에 의한 움직임정보 부호화방법이 적용될 수 있는 스케일러블 비트스트림의 다른 예를 나타낸 도면이다.
도 5는 도 3에 도시된 부호화부의 세부적인 구성을 나타낸 블록도이다.
도 6은 움직임 데이터를 생성하는데 사용되는 움직임추정 방향을 설명하기 위한 도면이다.
도 7은 도 3에 도시된 기본 움직임데이터 생성부에서 기본 움직임 데이터를 생성하는데 사용되는 제1 블럭의 파티션 형태를 설명하기 위한 도면이다.
도 8은 도 3에 도시된 향상 움직임데이터 생성부에서 향상 움직임 데이터를 생성하는데 사용되는 제2 블럭의 파티션 형태를 설명하기 위한 도면이다.
도 9a 내지 도 9c는 도 3에 도시된 부호화부에서 향상 움직임 데이터 부호화시 적용되는 새로운 움직임 보상모드를 설명하는 도면이다.
도 10은 본 발명의 일실시예에 따른 스케일러블 영상 복호화장치의 구성을 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 움직임 복호화장치의 구성을 나타낸 블록도이다.
도 12a 및 도 12b는 각 계층에 시간적 스케일러빌리티를 제공하는 경우 종래기술에 의한 스케일러블 비트스트림과 본 발명에 의한 스케일러블 비트스트림에 있어서 각 계층에서의 움직임 정보의 부호화상태를 비교하는 도면이다.
도 13a 및 도 13b는 각각 버스(BUS) 시퀀스에서 24번째 프레임을 96 Kbps로 각각 종래기술와 본 발명에 의한 스케일러블 부호화 알고리즘에 의해 복원시킨 영상의 주관적 화질을 비교한 도면으로서, 복원한 영상을 서로 비교한 것이다.
도 14a 및 도 14b는 각각 풋볼(FOOTBALL) 시퀀스에서 258번째 프레임을 192 Kbps로 종래기술와 본 발명에 의한 스케일러블 부호화 알고리즘에 의해 복원시킨 영상의 주관적 화질을 비교한 도면이다.
도 15a 및 도 15b는 각각 포맨(FOREMAN) 시퀀스에서 92번째 프레임을 32 Kbps로 종래기술와 본 발명에 의한 스케일러블 부호화 알고리즘에 의해 복원시킨 영상의 주관적 화질을 비교한 도면이다.
본 발명은 스케일러블 영상 부호화 및 복호화에 관한 것으로서, 특히 낮은 비트레이트로 복원된 영상에 대한 주관적인 화질을 개선시키기 위한 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및 방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법에 관한 것이다.
일반적으로 움직임보상 영상 부호화방식의 부호화 효율은 움직임 데이터와 잔차 즉 텍스쳐 데이터에 대하여 비트를 어떻게 할당하느냐에 따라서 크게 달라진다. 최적의 비트 할당을 위해서는 비트레이트 뿐만 아니라 시공간적인 해상도를 고려할 필요가 있다. 단일한 움직임 필드를 가질 경우, 시공간적인 해상도와 비트레이트의 다양한 스케일에 대하여 최적인 부호화효율을 제공하는 스케일러블 비트스트림을 생성하는 것이 어렵다. 따라서, 움직임 데이터에 대해서도 스케일러블한 표현을 포함시킬 필요가 있다.
AVC(Advanced Video Coding) 기반 MCTF(Motion Compensated Temporal Filtering) 방법에서는, SNR(Signa-to-Noise Ratio) 스케일러빌리티와 공간적 스케일러빌리티를 제공하기 위하여 두가지 서로 다른 개념을 사용하고 있다. SNR 스케일러빌리티를 얻기 위해서는, MCTF의 결과 얻어지는 저역통과 픽쳐 및 고역통과 픽쳐를 계층화된 표현(layed representation)을 사용하여 부호화한다. 각 향상계층에서는, 원래의 서브밴드 픽쳐들과 기본계층 및 이전 향상계층들의 복호화 이후 얻 어지는 복원된 서브밴드 픽쳐들간에 계산된 잔차 데이터의 근사치를 전송한다. 동일한 공간적 스케일러빌리티를 갖는 모든 SNR 계층에 대해서는 동일한 움직임 필드가 사용되고, 잔차 데이터는 이전 SNR 계층으로부터 예측된다. 그러나, 각 공간적 계층에 대해서는 서로 별개의 움직임 필드가 예측되고 전송된다. 즉, 서로 다른 공간적 계층의 각 움직임 필드는 독립적으로 부호화되고, 잔차 데이터는 이전 공간적 계층으로부터의 예측없이 전송된다. 하위 공간적 계층으로부터의 예측은 인트라 매크로블럭들의 부호화를 위해서만 이용된다. 이와 같이 움직임 데이터 및 잔차 데이터의 예측으로 인하여 AVC 기반 MCTF 방법의 부호화효율을 개선시킬 수 있다.
그러나, 상기와 같은 방법에 의거하여 얻어지는 스케일러블 비트스트림 중에서, 낮은 비트레이트를 사용하는 계층에서는 잔차 데이터와 비교할 때 움직임 데이터의 양이 상대적으로 많음으로 인하여 화질저하를 심화시키는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는 낮은 비트레이트로 복원된 영상에 대한 주관적인 화질을 개선시키기 위한 움직임정보 부호화장치 및 방법과 움직임정보 복호화장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 움직임정보 부호화장치 및 방법과 움직임정보 복호화장치 및 방법을 채택하는 스케일러블 영상 부호화장치 및 방법과 복호화장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 부호화장치 는 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 움직임 데이터와 제2 계층의 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 부호화규칙 결정부; 및 상기 결정된 부호화규칙에 의거하여 상기 제2 계층의 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 움직임보상 모드 부호화부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 부호화장치는 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 기본 움직임 데이터와 향상 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 부호화규칙 결정부; 및 상기 결정된 부호화규칙에 의거하여 상기 향상 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 움직임보상 모드 부호화부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 부호화방법은 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 움직임 데이터와 제2 계층의 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 단계; 및 상기 결정된 부호화규칙에 의거하여 상기 제2 계층의 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 부호화방법은 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 기본 움직임 데이터와 향상 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 단계; 및 상기 결정된 부호화규칙에 의거하여 상기 향상 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 복호화장치는 스케일러블 비트스트림으로부터 분리된 제1 계층과 제2 계층의 비트스트림에 대하여, 상기 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 지시자 해석부; 및 상기 지시자 해석부에서 결정된 복호화규칙에 근거하여 상기 제2 계층의 움직임보상 모드를 복호화하는 움직임보상 모드 복호화부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 복호화장치는 스케일러블 비트스트림으로부터 분리된 기본 움직임 데이터를 포함하는 제1 계층의 비트스트림에 대하여, 상기 제1 계층의 향상 움직임 데이터를 포함하는 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 지시자 해석부; 및 상기 지시자 해석부에서 결정된 복호화규칙에 근거하여 상기 향상 움직임데이터의 움직임보상 모드를 복호화하는 움직임보상 모드 복호화부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 복호화방법 은 스케일러블 비트스트림으로부터 분리된 제1 계층과 제2 계층의 비트스트림에 대하여, 상기 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 단계; 및 상기 결정된 복호화규칙에 근거하여 상기 제2 계층의 움직임보상 모드를 복호화하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 움직임정보 복호화방법은 스케일러블 비트스트림으로부터 분리된 기본 움직임 데이터를 포함하는 제1 계층의 비트스트림에 대하여, 상기 제1 계층의 향상 움직임 데이터를 포함하는 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 단계; 및 상기 결정된 복호화규칙에 근거하여 상기 향상 움직임데이터의 움직임보상 모드를 복호화하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 스케일러블 영상 복호화장치는 스케일러블 비트스트림을 역다중화하여 각 계층의 비트스트림으로 분리하는 역다중화부; 분리된 제1 계층의 비트스트림을 1차적으로 기본 움직임데이터를 참조하고, 2차적으로 기본 움직임데이터와 향상 움직임 데이터를 참조하여 복호화하는 제1 계층 복호화부; 및 분리된 제2 계층의 비트스트림을 상기 제1 계층 복호화부에서 복호화된 영상과 움직임 데이터를 참조하여 복호화하는 제2 계층 복호화부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 스케일러블 영상 복호화방법은 스케일러블 비트스트림을 역다중화하여 각 계층의 비트스트림으로 분리하는 단계; 분리된 제1 계층의 비트스트림을 1차적으로 기본 움직임데이터를 참조하 고, 2차적으로 기본 움직임데이터와 향상 움직임 데이터를 참조하여 복호화하는 단계; 및 분리된 제2 계층의 비트스트림을 상기 제1 계층의 비트스트림으로부터 복호화된 영상과 움직임 데이터를 참조하여 복호화하는 단계를 포함한다.
상기 움직임정보 부호화방법 및 복호화방법과 스케일러블 영상 부호화방법 및 복호화방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다. 또한, 상기 움직임정보 부호화방법 혹은 스케일러블 영상 부호화방법에 의해서 생성되는 스케일러블 비트스트림은 바람직하게는 컴퓨터로 읽을 수 있는 기록매체에 기록 혹은 저장될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1는 본 발명의 일실시예에 따른 스케일러블 영상 부호화장치의 구성을 보여주는 블럭도로서, 스케일러블 부호화부(110) 및 다중화부(130)를 포함하여 이루어진다.
도 1을 참조하면, 스케일러블 부호화부(110)는 소정의 스케일러블 부호화방식에 의거하여, 각각 움직임 데이터와 텍스쳐 데이터를 갖는 복수의 계층의 비트스트림들로 이루어지는 스케일러블 비트스트림을 생성한다.
제1 실시예에서 스케일러블 부호화부(110)는 도 2a에 도시된 바와 같이 낮은 비트레이트를 사용하는 계층의 경우 움직임 데이터를 기본 움직임 데이터와 향상 움직임 데이터로 구성하고, 텍스쳐 데이터를 위해 미리 결정된 비트수와 비교할 때 향상 움직임 데이터에 할당되는 비트수만큼 증가된 비트수를 텍스쳐 데이터에 할당한다. 한편, 낮은 비트레이트를 사용하는 계층 이후의 높은 비트레이트를 사용하는 계층의 경우, 텍스쳐 데이터를 위해 미리 결정된 비트수와 비교할 때 낮은 비트레이트를 사용하는 계층의 향상 움직임 데이터에 할당되는 비트수만큼 감소된 비트수를 텍스쳐 데이터에 할당한다. 이와 같이 할당된 비트수에 의거하여 부호화를 수행하여, 기본계층(base layer) 비트스트림과 적어도 하나 이상의 향상계층(enhancement layer) 비트스트림을 생성하고, 다중화부(130)로 제공한다. 도 2b에 도시된 바와 같이 생성되는 비트스트림 중 낮은 비트레이트를 사용하는 계층의 경우 기본 움직임 데이터와 텍스쳐 데이터로 비트스트림을 구성하고, 낮은 비트레이트보다 높은 비트레이트를 사용하는 계층인 경우 움직임 데이터, 낮은 비트레이트를 사용하는 계층의 향상 움직임 데이터 및 텍스쳐 데이터로 비트스트림을 구성한다. 사용되는 비트레이트는 기본계층 비트스트림에서부터 점진적으로 증가된다. 따라서, 기본계층 비트스트림은 가장 낮은 비트레이트로 전송된다. 여기서, 기본계층 비트스트림은 독립적으로 복호 가능한 비트스트림이며, 향상계층 비트스트림은 기본계층 비트스트림을 개선하기 위해 사용되는 비트스트림이다. 향상계층 비트스트림은 비트스트림의 스케일러빌리티의 레벨에 대응하여 적어도 하나 이상 생성될 수 있다.
제2 실시예에서, 스케일러블 부호화부(110)는 제1 실시예에서와 마찬가지로 낮은 비트레이트를 사용하는 계층의 경우 움직임 데이터를 기본 움직임 데이터와 향상 움직임 데이터로 구성한다. 아울러, 기본 움직임 데이터와 향상 움직임 데이터간의 서로 대응하는 블록에 대하여, 기본 움직임 데이터를 위한 움직임보상 모드와 향상 움직임 데이터를 위한 움직임보상 모드에 따라서 향상 움직임 데이터를 위한 움직임보상 모드를 부호화한다. 그 결과, 향상 움직임 데이터를 위한 움직임보상 모드를 부호화하는데 사용되는 비트수가 대폭 감소될 수 있다. 이후, 제1 실시예에서와 마찬가지로, 기본 움직임 데이터와 텍스쳐 데이터로 비트스트림을 구성하고, 낮은 비트레이트보다 높은 비트레이트를 사용하는 계층인 경우 움직임 데이터, 낮은 비트레이트를 사용하는 계층의 향상 움직임 데이터 및 텍스쳐 데이터로 비트스트림을 구성한다.
제3 실시예에서, 스케일러블 부호화부(110)는 도 6에 도시된 바와 같이 각각 단일 움직임필드와 텍스쳐 필드로 이루어지는 복수 계층의 비트스트림을 생성한다. 아울러, 제1 계층과 제 2 계층 간의 서로 대응하는 블록에 대하여, 제1 계층의 블록에 대한 움직임보상 모드와 제2 계층의 블럭에 대한 움직임보상 모드에 따라서 제2 계층의 움직임보상 모드를 부호화한다. 그 결과, 제2 계층의 각 블록에 대한 움직임보상 모드를 부호화하는데 사용되는 비트수가 대폭 감소될 수 있다. 제1 계층과 제2 계층은 서로 밀접하게 위치하고 있으며, 도 6에서 계층 0와 계층 1, 계층 1과 계층 2, 혹은 계층 2와 계층 3에 해당한다.
스케일러블 부호화부(110)에서 사용되는 스케일러블 부호화방식에는 공간적(spatial) 스케일러블 부호화방식, 시간적(temporal) 스케일러블 부호화방식, SNR(Siganl-to-Noise Ratio) 스케일러블 부호화방식, FGS(fine granularity scalability) 부호화방식 등이 널리 알려져 있다. 예를 들어, 공간적 스케일러블 부호화방식에 따른 기본계층 비트스트림은 해상도가 낮거나 크기가 작은 비트스트림이며, 향상계층 비트스트림은 해상도나 크기를 크게 하기 위해 필요한 비트스트림이다. TV 방송에 공간적 스케일러블 부호화방식을 사용하는 경우, 기존의 TV 수신 장치 및 HDTV 수신 장치 모두에서 재생할 수 있는 기본계층 비트스트림과 HDTV 수신 장치에서만 재생할 수 있는 향상계층 비트스트림을 생성하여, 이들 비트스트림을 다중화함으로써, 기존의 TV 수신기 및 HDTV 수신기 모두와 호환되는 비트스트림을 만드는 것이 가능하다.
시간적 스케일러블 부호화방식은 시간적인 해상도를 선택적으로 높일 수 있도록 하기 위한 스케일러블 부호화 방식이다. 예를 들어, 기본계층 비트스트림의 시간 해상도가 초당 30 프레임인 경우, 향상계층 비트스트림을 이용하여 초당 60 프레임으로 시간 해상도를 높이는 것이 가능하다. SNR 스케일러블 부호화방식은 재생 영상의 화질을 선택적으로 높일 수 있도록 하기 위한 스케일러블 부호화 방식이다. 예를 들어, 재생시 저화질의 부호화된 비트스트림을 담고 있는 기본계층 비트스트림을 복호한 후, 이에 기초하여 향상계층 비트스트림을 복호함으로써, 고화질의 영상 재생이 가능하도록 하는 방식이다. FGS 부호화방식은 보다 많은 단계의 스케일러빌리티를 보장하기 위한 것이다. FGS 부호화 방식은 급변하는 전송환경 속에서, 송신자가 전송환경이 보증하는 최소한의 대역폭으로 만든 기본 품질의 영상 정보인 기본계층 비트스트림과, 최대 대역폭으로 만든 향상된 영상 정보인 향상 계층 비트스트림을 전송하고, 수신측에서 기본계층 비트스트림을 수신한 상태에서, 향상계층 비트스트림을 수신하지 못하는 경우, 그때까지 수신된 비트스트림을 이용하여 향상된 영상 정보를 복원할 수 있도록 하는 스케일러블 부호화 방식이다.
다중화부(130)는 스케일러블 부호화부(110)로부터 제공되는 기본계층 비트스트림과 적어도 하나의 향상계층 비트스트림을 다중화하여 도 2b 혹은 도 6에 도시된 바와 같은 구조의 스케일러블 비트스트림을 출력한다. 여기서, 다중화부(130)는 생성된 스케일러블 비트스트림을 복호화장치로 전송하기에 앞서 일시적으로 저장 또는 기록하는 메모리 등과 같은 기록매체(미도시)를 더 포함할 수 있다.
도 2a 및 도 2b는 도 1에 도시된 스케일러블 영상 부호화장치에 의해 일예의 스케일러블 비트스트림이 생성되는 과정을 설명하기 위한 것으로서, 스케일러블 비트스트림은 시간적 스케일러블 부호화방식에 의거하여 4개의 계층으로 구성되며, 낮은 비트레이트에 해당하는 계층의 움직임 필드의 스케일러빌리티 레벨이 1인 경우를 예로 든 것이다. 물론, 낮은 비트레이트에 해당하는 계층의 움직임 필드의 스케일러빌리티 레벨은 2 이상이 될 수도 있다. 계층 0(211)은 QCIF(Quarter Common Intermediate Format) 영상이 1초에 7.5 프레임, 계층 1(231)은 QCIF 영상이 1초에 15 프레임, 계층 2(251)는 CIF(Common Intermediate Format) 영상이 1초에 30 프레임, 계층 3(271)은 4CIF 영상이 1초에 60 프레임이 제공된다. 여기서, 계층 0(211)은 기본계층 비트스트림에 해당하고, 계층 1 내지 계층 3(231,251,271)은 향상계층 비트스트림에 해당한다. 계층 0(211)은 96 Kbps로, 계층 1(231)은 192 Kbps로, 계층 2(251)은 384 Kbps로, 계층 3(211)은 750 Kbps로 비트레이트로 전송된다.
본 발명에 의한 일예의 스케일러블 비트스트림은 낮은 비트레이트에 해당하는 계층, 예를 들면 계층 0(211)과 계층 1(231)의 경우 움직임 필드가 스케일러빌리티를 갖도록 설계한다. 이를 도 1에 도시된 부호화장치와 결부시켜 보다 세부적으로 설명하기로 한다.
도 2a를 참조하면, 스케일러블 부호화부(110)에서는 계층 0(211)에 대하여 기본 움직임 데이터와 향상 움직임 데이터를 생성하여 각각 제1 기본 움직임 필드(M_BL0, 212)와 제1 향상 움직임 필드(M_EL0, 213)로 구성하고, 텍스쳐 데이터를 생성하여 제1 텍스쳐 필드(T_L0, 214)로 구성한다. 마찬가지로 계층 1(231)에 대하여 기본 움직임 데이터와 향상 움직임 데이터를 생성하여 각각 제2 기본 움직임 필드(M_BL1, 232)와 제2 향상 움직임 필드(M_EL1, 233)로 구성하고, 텍스쳐 데이터를 생성하여 제2 텍스쳐 필드(T_L1, 234)로 구성한다. 한편, 계층 2(251)와 계층 3(271)에 대해서는, 각각 움직임 데이터를 생성하여 단일한 제1 움직임 필드(M_L2, 252)와 제2 움직임 필드(M_L3, 272)로 구성하고, 텍스쳐 데이터를 생성하여 제3 텍스쳐 필드(T_L2, 253)와 제4 텍스쳐 필드(T_L3, 273)로 구성한다.
도 2b를 참조하면, 스케일러블 부호화부(130)에서는 도 2a에 도시된 계층 0(211) 및 계층 1(231)의 제1 및 제2 향상 움직임 필드(M_EL0, 213)(M_EL1, 233)가 계 층 2(251) 및 계층 3(271)의 제3 및 제4 텍스쳐 필드(T_L2, 253)(T_L3, 273)로 분산되도록 다중화하여 스케일러블 비트스트림을 생성한다. 이에 따르면, 계층 0(211)은 제1 기본 움직임 필드(M_BL0, 212)와 제1 텍스쳐 필드(T_L0, 215)로, 계층 1(231)은 제2 기본 움직임 필드(M_BL1, 232)와 제2 텍스쳐 필드(T_L1, 235)로, 계층 2(251)는 제1 움직임 필드(M_L2, 252), 제1 향상 움직임 필드(M_EL0, 213)와 제3 텍스쳐 필드(T_L2, 254)로, 계층 3(271)는 제2 움직임 필드(M_L3, 272), 제2 향상 움직임 필드(M_EL1, 233)와 제4 텍스쳐 필드(T_L3, 274)로 이루어진다. 한편, 계층 0 내지 계층 3에는 각각 할당되는 비트수가 결정되어 있으므로, 계층 0(211)의 경우 제1 향상 움직임 필드(M_EL0, 213)에 할당하는 비트수가 제1 텍스쳐 필드(T_L0, 215)에 더 할당될 수 있고, 마찬가지로 계층 1(231)의 경우 제2 향상 움직임 필드(M_EL1, 233)에 할당하는 비트수가 제2 텍스쳐 필드(T_L1, 235)에 더 할당될 수 있으므로, 낮은 비트레이트인 계층 0(211), 혹은 계층 0(211)과 계층 1(231)을 이용하여 영상을 복원하는 경우 종전에 비해 화질이 향상될 수 있음을 알 수 있다. 반면, 계층 2(251)및 계층 3(271)의 경우, 제3 및 제4 텍스쳐 필드(T_L2, 254)(T_L3, 274)가 계층 0(211) 및 계층 1(231)의 제1 및 제2 향상 움직임 필드(M_EL0, M_EL1)(213, 233)에 해당하는 비트수 만큼 비트수가 감소될 수 있으나, 화질 변화를 초래할 정도는 아니다. 한편, 낮은 비트레이트를 사용하는 계층의 움직임 필드의 스케일러빌리티 레 벨이 2 이상인 경우, 향상 움직임 필드가 2개 이상이 되고, 각 향상 움직임 필드가 낮은 비트레이트를 사용하는 계층 이후의 계층에 대하여 순차적으로 분산시켜 배치될 수 있다.
도 3는 본 발명의 일실시예에 따른 움직임정보 부호화장치의 구성을 보여주는 블록도로서, 도 1에 도시된 스케일러블 부호화부(110)에 포함된다. 도 3에 도시된 움직임정보 부호화장치는, 제1 움직임 추정부(310), 제2 움직임 추정부(330), 및 부호화부(350)를 포함하여 이루어진다. 제1 움직임 추정부(310)는 기본 움직임데이터 생성부(311) 및 향상 움직임데이터 생성부(313)를 포함하여 이루어진다. 여기서, 향상 움직임데이터 생성부는(310)는 움직임 필드의 스케일러빌리티 레벨에 따라서 적어도 하나 이상 구비할 수 있다.
도 3을 참조하면, 제1 움직임 추정부(310)는 미리 설정된 낮은 비트레이트에 해당하는 적어도 하나의 계층에 대한 움직임 필드를 구성하는 기본 움직임 데이터와 향상 움직임 데이터를 생성하기 위한 것이다. 제1 움직임 추정부(310)에 있어서, 기본 움직임데이터 생성부(311)는 제1 블록에 대하여 제1 파티션 단위로 현재 프레임과 적어도 하나 이상의 이전 프레임 및/혹은 적어도 하나 이상의 이후 프레임과 같은 참조 프레임들을 이용한 움직임 추정을 수행하여 각 파티션별로 움직임 벡터를 생성한다. 이때, 도 7에 도시된 바와 같이 제1 블록은 16 × 16의 크기를 가지며, 4 가지의 파티션 형태를 가질 수 있으며, 가장 큰 제1 파티션 단위는 16 × 16이고, 가장 작은 제1 파티션 단위는 4 × 4이 된다. 제1 블록의 움직임 추정 방향 및 파티션 형태는 다음 수학식 1에서 정의되는 비용함수
Figure 112005038531324-pat00001
를 최소화시 킬 수 있도록 결정된다.
Figure 112005038531324-pat00002
여기서, I는 4 가지의 파티션 형태 중 각 경우에 대하여 제1 블록을 구성하는 파티션을 의미한다. 예를 들면, 도 7의 (a)의 경우 16 × 16인 1개의 파티션이 제1 블록을 구성하므로 I는 1, (b)의 경우 16 × 8인 2개의 파티션이 제1 블록을 구성하므로 I는 2, (c)의 경우 8 × 16인 2개의 파티션이 제1 블록을 구성하므로 I는 2, (d)의 경우 8 × 8인 4개의 파티션이 제1 블록을 구성하므로 I는 4가 된다. 한편,
Figure 112005038531324-pat00003
는 각 파티션 형태에 대하여, 파티션(i)별로 움직임 추정방향 및 움직임벡터(
Figure 112005038531324-pat00004
)를 적용한 경우 SAD(Sum of Absolute Differences)를 나타낸다.
Figure 112005038531324-pat00005
는 각 파티션(i)에서의 움직임 추정방향 및 움직임벡터를 나타내고,
Figure 112005038531324-pat00006
는 라그랑즈 배수(Lagrange multiplier)를 나타내고,
Figure 112005038531324-pat00007
는 각 파티션(i)에 대하여 움직임 추정방향 및 움직임벡터(
Figure 112005038531324-pat00008
)에 할당되는 비트수를 의미한다.
기본 움직임데이터 생성부(311)에서는 한 프레임에 걸쳐서 16 × 16 크기인 제1 블록 단위로 파티션 형태와, 제1 파티션 단위로 각 파티션의 움직임 추정 방향 즉, 참조 프레임들의 인덱스 및 각 파티션의 움직임 벡터를 포함하는 기본 움직임데이터를 생성한다.
향상 움직임데이터 생성부(313)는 제1 블록에 대응하는 위치의 제2 블록에 대하여, 제2 파티션 단위로 현재 프레임과 적어도 하나 이상의 이전 프레임 및/혹은 이후 프레임과 같은 참조 프레임들을 이용한 움직임 추정을 수행하여 각 파티션별로 움직임 벡터를 생성한다. 이때, 도 8에 도시된 바와 같이 제2 블록은 16 × 16의 크기를 가지며, 가장 큰 제2 파티션 단위는 16 × 16이고, 가장 작은 제2 파티션 단위는 4 × 4가 된다. 제2 블록의 움직임 추정 방향 및 파티션 형태는 상기 수학식 1에서와 마찬가지로 비용함수를 최소화시킬 수 있도록 결정된다. 단지, 기본 움직임 데이터를 위한 제1 블록의 움직임 추정 방향 및 파티션 형태를 결정할 때와 향상 움직임 데이터를 위한 제2 블록의 움직임 추정 방향 및 파티션 형태를 결정할 때 서로 다른 라그랑즈 배수의 값을 갖게 된다. 이에 따라서 움직임 정보의 스케일러빌리티가 얻어질 수 있다.
마찬가지로, 향상 움직임데이터 생성부(313)에서는 한 프레임에 걸쳐서 16 × 16 크기인 제2 블록 단위의 파티션 형태와, 제2 블록 단위 혹은 제2 파티션 단위로 각 파티션의 움직임 추정 방향 즉, 참조 프레임들의 인덱스 및 각 파티션 단위로 움직임 벡터를 포함하는 향상 움직임데이터를 생성한다.
여기서, 제1 블록과 제2 블록의 사이즈는 동일하나, 제2 블록의 파티션 형태가 제1 블록에 비하여 더 세밀하다. 따라서, 기본 움직임 데이터는 거친 움직임 예측에 의해, 향상 움직임 데이터는 세밀 움직임 예측에 위해 얻어진다.
제2 움직임 추정부(330)는 낮은 비트레이트에 해당하는 계층 이후의 계층의 비트스트림을 구성하는 움직임 데이터를 생성하기 위한 것으로서, 움직임 데이터는 현재 프레임과 적어도 하나 이상의 이전 프레임 및/혹은 적어도 하나 이상의 이후 프레임 영상을 이용한 통상적인 움직임 추정 과정을 통하여 생성된다. 움직임 데이터에는 한 프레임에 걸쳐서 16 × 16 크기인 제2 블록 단위의 파티션 형태와, 제2 파티션 단위로 각 파티션의 움직임 추정 방향 즉, 참조 프레임들의 인덱스 및 각 파티션 단위로 움직임 벡터가 포함된다.
부호화부(350)는 제1 움직임 추정부(310) 혹은 제2 움직임 추정부(330)로부터 제공되는 움직임 데이터를 부호화한다. 특히, 부호화부(350)는 대응하는 제1 및 제2 블록간의 움직임보상 모드에 대하여 3가지 형태를 미리 설정하고, 각 형태에 대하여 제2 블록의 부호화규칙을 미리 설정한다. 부호화부(350)는 프레임 단위로 제1 움직임 추정부(310)로부터 제공되는 기본 움직임 데이터와 향상 움직임 데이터의 대응하는 제1 및 제2 블록간의 움직임보상 모드의 형태를 카운트하고 각 형태에 따른 부호화규칙을 이용하여 한 프레임내 제2 블록들의 움직임보상 모드를 부호화한다. 한 프레임에 대한 부호화 결과, 제2 블록의 움직임보상 모드를 부호화하는데 필요한 비트수를 감소시킬 수 있도록, 부호화부(350)는 제2 블록의 움직임보상 모드를 부호화하는 필요로 하는 누적된 비트수가 가장 작은 형태에 해당하는 부호화규칙을 해당 프레임에서의 제2 블록의 움직임보상 모드의 부호화규칙으로 결정한다. 부호화부(350)는 결정된 부호화규칙을 나타내는 지시자를 가변길이부호화하고, 결정된 부호화규칙에 기초하여 제2 블록의 움직임보상 모드를 가변길이부호화한다.
도 4는 본 발명에 의한 움직임정보 부호화방법이 적용될 수 있는 스케일러블 비트스트림의 다른 예를 나타낸 도면으로서, 각 계층(411,431,451,471)은 비트레이트에 상관없이 단일한 움직임 필드(412,432,452,472)와 텍스쳐 필드(413,433,453,473)를 가진다.
도 4를 참조하면, 제1 블록은 예를 들면, 계층 0(411)에 존재하는 움직임 필드(412)의 움직임 데이터에 해당하고, 제2 블록은 예를 들면, 계층 1(431)에 존재하는 움직임 필드(432)의 움직임 데이터에 해당한다. 이와 같이 도 3에 도시된 부호화부(350)에서의 부호화 원리는 도 2a에서와 같이 하나의 계층에서 스케일러빌리티를 갖는 움직임 데이터 혹은 도 4에서와 같이 두개의 계층에 각각 포함된 움직임 데이터에 대해서도 경우 모두 적용될 수 있다.
도 5는 도 3에 도시된 부호화부(350)의 세부적인 구성을 나타낸 블록도로서, 부호화규칙 결정부(510) 및 움직임보상 모드 부호화부(530)를 포함하여 이루어진다.
도 5를 참조하면, 부호화규칙 결정부(510)는 프레임 단위로 제1 움직임 추정부(310)로부터 제공되는 기본 움직임 데이터와 향상 움직임 데이터의 대응하는 제1 및 제2 블록간의 움직임보상 모드의 형태를 카운트하고 각 형태에 따른 부호화규칙을 이용하여 한 프레임내 제2 블록들의 움직임보상 모드를 부호화한다. 부호화규칙 결정부(510)는 제2 블록의 움직임보상 모드를 부호화하는 필요로 하는 원래의 비트수와 누적된 비트수간의 차이가 가장 큰 형태에 해당하는 부호화규칙을 해당 프레임에서의 제2 블록의 움직임보상 모드의 부호화규칙으로 결정한다.
움직임보상 모드 부호화부(530)는 결정된 부호화규칙을 나타내는 지시자를 가변길이부호화하고, 결정된 부호화규칙에 기초하여 제2 블록의 움직임보상 모드를 가변길이부호화한다.
도 6는 도 3에 도시된 기본 움직임데이터 생성부(311) 혹은 향상 움직임데이터 생성부(313)에서 기본 움직임 데이터 혹은 향상 움직임 데이터를 생성하는데 사용되는 움직임추정 방향 즉, 움직임보상 모드를 설명하기 위한 것으로서, (a)는 제1 스킵(SkiP) 모드, (b)는 직접(DitecT) 모드, (c)는 양방향(BiD) 모드, (d)는 순방향(FwD) 모드, (e)는 역방향(BwD) 모드를 각각 나타낸다.
도 7은 도 3에 도시된 기본 움직임데이터 생성부(311)에서 기본 움직임 데이터를 생성하는데 사용되는 제1 블럭의 파티션 형태를 설명하기 위한 것으로서, (a)는 1개의 16×16, (b)는 2개의 16×8, (c)는 2개의 8×16, (d)는 4개의 8×8로 제1 블럭을 구성하는 것을 나타낸다. 즉, 제1 블럭을 구성하는 가장 큰 제1 파티션 단위는 16×16 이고 가장 작은 제1 파티션 단위는 8×8 이다.
도 8은 도 3에 도시된 향상 움직임데이터 생성부(313)에서 향상 움직임 데이터를 생성하는데 사용되며, 제1 블록에 대응되는 제2 블록의 파티션 형태를 설명하기 위한 것으로서, (a)는 1개의 16×16, (b)는 2개의 8×16, (c)는 2개의 l6×8, (d)는 4개의 8×8를 나타내며, 8×8 파티션은 다시 2개의 4×8, 2개의 8×4, 4개의 4×4개로 더 세밀하게 구성하는 것을 나타낸다. 즉, 제2 블럭을 구성하는 가장 큰 제2 파티션 단위는 16×16이고, 가장 작은 제2 파티션 단위는 4×4이다.
도 9a 내지 도 9c는 도 3에 도시된 부호화부(350)에서 향상 움직임 데이터 부호화시 추가되는 새로운 움직임보상 모드 즉, 제2 블록단위의 제2 스킵 (New_SkiP) 모드를 설명하는 도면이다. 여기서, 기본 움직임 데이터를 위한 제1 블록의 파티션 형태는 도 7의 (a)에서와 같이 가장 큰 제1 파티션 단위인 16 × 16를 갖고, 향상 움직임 데이터를 위한 제2 블록의 파티션 형태는 도 8의 (d)에서와 같이 8 × 8의 제2 파티션 단위를 갖는 경우를 예로 든 것이다. 먼저, 프레임 전체의 기본 움직임데이터와 향상 움직임데이터에 포함된 움직임보상 모드를 제1 블록 및 제2 블록을 참조하여 비교하고, 낮은 비트레이트에 해당하는 각 계층 혹은 각각 움직임 필드를 갖는 두 계층에 대하여 한 프레임의 제2 블록의 움직임보상 모드의 형태를 나타내는 지시자(Skip_indicator)를 결정하며, 이 지시자는 가변길이부호화되어 매 프레임에서 제2 블록과 관련된 움직임필드의 시작 부분에 기록된다. 한 프레임의 움직임보상 모드의 타입을 나타내는 지시자(Skip_indicator)는 도 9a 내지 도 9c의 각 형태에 따라서 3 가지가 있으며, 도 9a의 경우 'Skip_indicator'가 '0', 도 9b의 경우 'Skip_indicator'가 '10', 도 9c의 경우 'Skip_indicator'가 '11' 값으로 가변길이부호화한다. 이를 좀 더 세부적으로 설명하기로 한다.
도 9a는 향상 움직임 데이터를 위한 제2 블록(913)의 4개의 파티션의 움직임보상 모드가 모두 동일하고, 4개의 제2 블록(713)에 대응하는 기본 움직임 데이터를 위한 제1 블록(711)의 움직임 보상모드와 제2 블록(713)의 움직임 보상모드가 동일한 형태를 나타내며, 이 형태로 인하여 제2 블록의 움직임보상 모드의 비트수가 감소되는 경우 'Skip_indicator'를 '0'으로 할당된다. 이 경우, 기본 움직임 데이터를 위해서는 제1 블록(911)에 대하여 제1 파티션 단위로 움직임 보상모드를 가변길이부호화한다. 한편, 향상 움직임 데이터를 위해서는 제1 블록에 대응하는 제2 블록(913)을 제2 파티션 단위로 움직임 보상모드를 별도로 가변길이부호화할 필요없이 제2 스킵모드에 대한 가변길이부호만을 전송한다. 즉, 'Skip_indicator'가 '0'인 경우, 제2 스킵모드에 대한 가변길이부호를 제2 블록의 움직임보상 모드로 전송한다. 이에 따르면, 움직임보상 모드를 부호화하기 위하여 할당되는 비트수가 종래에 비하여 대폭 감소될 수 있음을 알 수 있다. 한편, 한 프레임에서 제2 블록의 움직임보상모드의 형태를 도 9A로 결정한 경우, 제1 블록과 제2 블록간의 움직임보상 모드의 형태가 도 9A 이외의 형태를 가지는 경우에는 제2 블록의 모든 파티션에 대한 움직임보상 모드를 부호화한다.
이를 복호화 측면에서 살펴보면, 스케일러블 비트스트림의 움직임 데이터를 가변길이복호화하고, 낮은 비트레이트에 해당하는 각 계층의 프레임마다 프레임 전체의 움직임보상 모드의 타입을 나타내는 지시자(Skip_indicator)를 체크하여 'Skip_indicator'가 '0'이고, 제2 스킵모드가 수신된 경우에는 제1 블록에 대하여 복호화된 가변길이부호에 해당하는 움직임보상 모드를 제1 블록에 대응하는 제2 블록의 4개의 파티션에도 동일하게 적용하는 것으로 해석한다. 즉, 'Skip_indicator'가 '0'이고, 제2 스킵모드가 수신되면, 제1 블럭의 움직임 보상모드를 참조하여 제2 블럭의 움직임 보상모드를 결정한다.
도 9b는 향상 움직임 데이터를 위한 제2 블록(933)의 4개의 파티션의 움직임보상 모드가 모두 동일하고, 제2 블록(733)에 대응하는 제1 블록(731)의 움직임 보상모드와 제2 블록(933)의 움직임 보상모드가 서로 다른 경우를 나타내며, 이 형태로 인하여 제2 블록의 움직임보상 모드의 비트수가 감소되는 경우 'Skip_indicator'가 '10'이 할당된다. 이 경우, 기본 움직임 데이터를 위해서는 제1 블록(931)에 대하여 제1 파티션 단위로 움직임 보상모드를 가변길이부호화한다. 한편, 향상 움직임 데이터를 위해서는 제1 블록에 대응하는 4개의 제2 블록(933)을 제2 파티션 단위로 움직임 보상모드를 별도로 가변길이부호화할 필요없이 제2 스킵모드에 대한 가변길이부호와 제2 블록의 움직임보상 모드에 대한 가변길이부호를 전송한다. 즉, 'Skip_indicator'가 '10'인 경우, 제1 블록의 움직임보상 모드의 가변길이부호, 제2 스킵모드에 대한 가변길이부호 및 제2 블록의 움직임보상 모드에 대한 가변길이부호를, 제1 블록 및 대응하는 4개의 제2 블록의 움직임보상 모드로 전송한다. 이에 따르면, 움직임보상 모드를 부호화하기 위하여 할당되는 비트수가 종래에 비하여 감소될 수 있음을 알 수 있다. 한편, 한 프레임에서 제2 블록의 움직임보상모드의 형태를 도 9B로 결정한 경우, 제1 블록과 제2 블록간의 움직임보상 모드의 형태가 도 9A 및 도 9B 이외의 형태를 가지는 경우에는 제2 블록의 모든 파티션에 대한 움직임보상 모드를 부호화한다.
이를 복호화 측면에서 살펴보면, 스케일러블 비트스트림의 움직임 데이터를 가변길이복호화하고, 저비트레이트에 해당하는 각 계층의 프레임마다 프레임 전체의 움직임보상 모드의 타입을 나타내는 지시자(Skip_indicator)를 체크하여 'Skip_indicator'가 '10'이고, 제2 스킵모드가 수신된 경우에는 제2 블록에 대하여 복호화된 가변길이부호에 해당하는 움직임보상 모드를 제2 블록의 각 파티션에 모두에 동일하게 적용하는 것으로 해석한다. 즉, 'Skip_indicator'가 '10'이고, 제2 스킵모드가 수신되면, 제1 블럭의 움직임 보상모드는 참조하지 않고 제2 블럭 자체 의 움직임보상 모드를 이용하여 제2 블럭의 각 파티션의 움직임 보상모드를 결정한다.
도 9c는 향상 움직임 데이터를 위한 제2 블록(953)의 4개의 파티션의 움직임보상 모드가 서로 상이한 경우를 나타내며, 'Skip_indicator'가 '11'로 할당된다. 이 경우, 기본 움직임 데이터를 위해서는 제1 블록(951)에 대하여 제1 파티션 단위로 움직임 보상모드를 가변길이부호화한다. 한편, 향상 움직임 데이터를 위해서는 제1 블록에 대응하는 제2 블록을 제2 파티션 단위로 움직임보상 모드를 각각 가변길이부호화한다.
다음 표 1은 기본 움직임 데이터를 위한 제1 블록의 움직임보상 모드의 종류와 각 움직임보상 모드에 할당되는 가변길이부호를 예로 나타낸다.
Figure 112005038531324-pat00009
여기서, 제1 스킵(SkiP) 모드, 직접(DitecT) 모드, 양방향(BiD) 모드, 순방향(FwD) 모드, 및 역방향(BwD) 모드는 모두 제1 파티션 단위로 설정된다.
다음 표 2는 향상 움직임 데이터를 위한 제2 블록의 움직임보상 모드의 종류와 각 움직임보상 모드에 할당되는 가변길이부호의 예를 나타낸다. 표 1과 비교해 볼 때, 제2 스킵 모드가 추가된 것을 알 수 있다.
Figure 112005038531324-pat00010
여기서, 제1 스킵(SkiP) 모드, 직접(DitecT) 모드, 양방향(BiD) 모드, 순방향(FwD) 모드, 및 역방향(BwD) 모드는 모두 제2 파티션 단위로 설정되고, 제2 스킵(New_SkiP) 모드는 제2 블록 단위로 설정된다.
도 10은 본 발명의 일실시예에 따른 스케일러블 영상 복호화장치의 구성을 보여주는 블럭도로서, 역다중화부(1010), 기본계층 복호화부(1030) 및 향상계층 복호화부(1050)를 포함하여 이루어진다. 여기서, 향상계층 복호화부(1050)는 부호화장치에서 설정된 비트스트림의 스케일러빌리티의 레벨에 대응하여 적어도 하나 이상 구비할 수 있다.
도 10을 참조하면, 역다중화부(1010)는 입력된 스케일러블 비트스트림으로부터 각 계층별로 비트스트림을 분리하고, 기본계층 비트스트림과 향상계층 비트스트림을 각각 기본계층 복호화부(1030) 및 향상계층 복호화부(1050)로 제공한다. 여기서, 역다중화부(1010)는 부호화장치로부터 제공되는 스케일러블 비트스트림을 복호화하기에 앞서 일시적으로 저장 또는 기록하는 메모리 등과 같은 기록매체를 더 포함할 수 있다.
기본계층 복호화부(1030)는 분리된 기본계층 비트스트림을 복호화한다. 기본계층 복호화부(1030)에서 복호화된 영상은 저화질의 복원영상으로서, 독립적으로 디스플레이될 수 있다. 만약, 스케일러블 비트스트림이 도 2b와 같은 경우, 기본계층 복호화부(1030)는 1차적으로 먼저 기본 움직임 데이터를 참조하여 텍스쳐 데이터를 복호화하고, 나중에 분리되는 향상 움직임 데이터를 더 참조하여 텍스쳐 데이터를 복호화한다.
향상계층 복호화부(1050)는 분리된 향상계층 비트스트림을 기본계층 복호화부(1030)에서 복호화된 영상을 참조하여 복호화한다. 향상계층 복호화부(1050)에서 복호화된 영상은 향상계층의 수가 증가할수록 고화질의 복원영상에 해당한다.
기본계층 복호화부(1030) 및 향상계층 복호화부(1050)에는 부호화장치의 스케일러블 부호화부(110)에서 수행된 스케일러블 부호화방식에 대응되는 복호화방식에 의거하여 복호화과정을 수행한다.
도 11은 본 발명의 일실시예에 따른 움직임 복호화장치의 구성을 나타낸 블록도로서, 지시자 해석부(1110) 및 움직임보상 모드 복호화부(1130)을 포함하여 이루어지며, 도 2a에 도시된 스케일러블 비트스트림인 경우 낮은 비트레이트를 사용하는 기본계층 복호화부(1030)에 포함되고, 도 4에 도시된 스케일러블 비트스트림인 경우 낮은 비트레이트를 사용하는 향상계층 복호화부(1050)에 포함될 수 있다.
도 11을 참조하면, 지시자 해석부(1110)는 한 프레임의 시작부분, 예를 들면 헤더에 포함된 지시자를 해석하여, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정한다. 예를 들어, 지시자 즉 'Skip_indicator'가 '0'인 경우, 제2 스킵모드만 사용된 부호화규칙에 대응되는 복호화규칙을 제2 블록의 움직임보상 모드 복호화에 대하여 적용하고, 지시자 즉 'Skip_indicator'가 '10'인 경우, 제2 스킵모드와 제2 블록의 움직임보상 모드가 사용된 부호화규칙에 대응되는 복호화규칙을 제2 블록의 움직임보상 모드 복호화에 대하여 적용한다. 한편, 지시자 즉 'Skip_indicator'가 '11'인 경우, 제2 스킵모드가 사용되지 않기 때문에 미리 정의된 가변길이복호화 규칙을 제2 블록의 움직임보상 모드 복호화에 대하여 적용한다.
움직임보상 모드 복호화부(1130)는 지시자 해석부(1110)에서 결정된 복호화규칙에 근거하여 제2 블록의 움직임보상 모드를 복호화한다.
도 12a 및 도 12b는 각 계층에 시간적 스케일러빌리티를 제공하는 경우 각 계층에서의 움직임 정보의 부호화상태를 비교하기 위한 것으로서, 도 12a는 종래기술(Anchor)에 의한 스케일러블 비트스트림을, 도 12b는 본 발명에 의한 스케일러블 비트스트림을 나타낸다.
도 12a를 참조하면, 각 시간적 계층(temporal layer)에 모두 단일 움직임 필드가 사용된다. 즉, 계층 0에는 시간적 계층 0 및 1에 단일 움직임 필드(S)가, 계층 1에는 시간적 계층 2에 단일 움직임 필드(S)가, 계층 4에는 시간적 계층 3에 단일 움직임 필드(S)가 전송되며, 계층 2 및 계층 3의 경우 움직임 필드가 전송되지 않는다. 한편, 도 12b를 참조하면, 가장 높은 시간적 계층 4에 대해서만 단일 움직임 필드(S)가 전송되며, 도 12a와는 달리 계층 0에는 시간적 계층 0 및 1에 기본 움직임필드(B)가, 계층 1에는 시간적 계층 2에 기본 움직임 필드(B)가, 계층 2에는 시간적 계층 0 및 1에 분산된 향상 움직임 필드(E)가 전송되며, 계층 3에는 시간적 계층 2에 분산된 향상 움직임 필드(E)가 전송된다.
도 13a 및 도 13b는 각각 종래기술(Anchor)와 본 발명에 의한 스케일러블 부호화 알고리즘에 의해 복원된 영상의 주관적 화질을 비교한 도면으로서, 버스(BUS) 시퀀스에서 24번째 프레임을 96 Kbps로 복원한 영상을 서로 비교한 것이다. 도 14a 및 도 14b는 각각 종래기술(Anchor)와 본 발명에 의한 스케일러블 부호화 알고리즘에 의해 복원된 영상의 주관적 화질을 비교한 도면으로서, 풋볼(FOOTBALL) 시퀀스에서 258번째 프레임을 192 Kbps로 복원한 영상을 서로 비교한 것이다. 도 15a 및 도 15b는 각각 종래기술(Anchor)와 본 발명에 의한 스케일러블 부호화 알고리즘에 의해 복원된 영상의 주관적 화질을 비교한 도면으로서, 포맨(FOREMAN) 시퀀스에서 92번째 프레임을 32 Kbps로 복원한 영상을 서로 비교한 것이다. 이에 따르면, 도 13b, 도 14b, 및 도 15b에 도시된 본 발명에 의해 복원된 영상의 화질이 도 13a, 도 14a, 및 도 15a에 도시된 종래기술에 의해 복원된 영상의 화질에 비하여 훨씬 개선된 것을 주관적 혹은 시각적으로 확인할 수 있다.
본 발명에 따른 움직임정보 부호화방법 및 복호화방법과 스케일러블 영상 부호화방법 및 복호화방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램, 코드 혹은 코드 세그먼트를 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다. 또한, 본 발명에 따른 움직임정보 부호화방법 혹은 스케일러블 영상 부호화방법에 의해서 생성되는 비트스트림은 바람직하게는 컴퓨터로 읽을 수 있는 기록매체에 기록 혹은 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명에 따른 스케일러블 움직임정보 부호화방법 및 복호화방법과 스케일러블 영상 부호화방법 및 복호화방법을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 낮은 비트레이트로 복원된 영상에 대한 주관적인 즉 시각적인 화질을 개선시킬 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (34)

  1. 제1 계층의 움직임 데이터를 기본 움직임 데이터와 향상 움직임 데이터로 이루어지는 스케일러블 움직임 데이터로 생성하고, 상기 향상 움직임 데이터를 제2 계층으로 분산시켜 각 계층별로 움직임 데이터와 텍스쳐 데이터로 구성되는 복수개의 비트스트림을 생성하는 스케일러블 부호화부; 및
    상기 복수개의 비트스트림을 다중화하여 스케일러블 비트스트림을 출력하는 다중화부를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  2. 제1 항에 있어서, 상기 제1 계층은 제1 비트레이트를 사용하는 계층이고, 상기 제2 계층은 상기 제1 비트레이트보다 높은 제2 비트레이트를 사용하는 계층인 것을 특징으로 하는 스케일러블 영상 부호화장치.
  3. 제1 항에 있어서, 상기 스케일러블 부호화부는
    상기 제1 계층에 대하여, 제1 블록 단위로 움직임 추정을 수행하여 기본 움직임 데이터를 생성하고, 제2 블록 단위로 움직임 추정을 수행하여 향상 움직임 데이터를 생성하는 제1 움직임 추정부;
    상기 제2 계층에 대하여, 상기 제2 블록 단위로 움직임 추정을 수행하여 향상 움직임 데이터를 생성하는 제2 움직임 추정부; 및
    상기 제1 움직임 추정부로부터 제공되는 기본 움직임 데이터와 향상 움직임 데이터 혹은 제2 움직임 추정부로부터 제공되는 움직임 데이터를 부호화하는 부호화부를 구비하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  4. 제3 항에 있어서, 상기 제2 블록의 파티션은 상기 제1 블록의 파티션보다 세밀한 것을 특징으로 하는 스케일러블 영상 부호화장치.
  5. 제4 항에 있어서, 상기 제1 블록은 16×16, 16×8, 6×16, 및 8×8 파티션 중 적어도 하나 이상을 포함하고, 상기 제2 블록은 16×16, 16×8, 6×16, 8×8, 8×4, 4×8, 및 4×4 파티션 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  6. 제3 항에 있어서, 상기 부호화부는 상기 제1 계층의 기본 움직임 데이터와 향상 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하여 상기 향상 움직임 데이터의 움직임보상 모드를 부호화하는데 필요한 비트수를 감소시키는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  7. 제6 항에 있어서, 상기 부호화부는 상기 제2 블록의 움직임보상 모드의 부호화규칙을 프레임 단위로 결정하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  8. 제6 항에 있어서, 상기 부호화부는 상기 제2 블록에 대하여 결정된 움직임보상 모드의 부호화규칙을 나타내는 지시자를 부호화하여 각 비트스트림에 포함시키는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  9. 제3 항에 있어서, 상기 제2 블럭의 움직임 보상모드는 파티션 단위로 결정되는 제1 스킵 모드, 직접 모드, 양방향 모드, 순방향 모드, 및 역방향 모드와 제2 블록 단위로 결정되는 제2 스킵모드 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  10. 제9 항에 있어서, 상기 부호화부에서는 상기 제1 블록과 상기 제2 블록의 움직임보상 모드가 동일한 경우에 기반하여 상기 제2 블록의 움직임보상 모드의 부호화에 필요한 비트수 감소가 이루어지는 경우, 상기 제2 블록의 움직임보상 모드를 상기 제2 스킵모드로 부호화하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  11. 제9 항에 있어서, 상기 부호화부에서는 상기 부호화부에서는 상기 제2 블록에 속하는 모든 파티션들의 움직임보상 모드는 동일하고, 상기 제1 블록과 제2 블록의 움직임보상 모드가 상이한 경우에 기반하여 상기 제2 블록의 움직임보상 모드의 부호화에 필요한 비트수 감소가 이루어지는 경우, 상기 제2 블록의 움직임보상 모드를 상기 제2 스킵모드와 상기 제2 블록의 하나의 움직임보상 모드로 부호화하 는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  12. 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 기본 움직임 데이터와 향상 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 부호화규칙 결정부; 및
    상기 결정된 부호화규칙에 의거하여 상기 향상 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 움직임보상 모드 부호화부를 포함하는 것을 특징으로 하는 움직임정보 부호화장치.
  13. 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 움직임 데이터와 제2 계층의 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 부호화규칙 결정부; 및
    상기 결정된 부호화규칙에 의거하여 상기 제2 계층의 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 움직임보상 모드 부호화부를 포함하는 것을 특징으로 하는 움직임정보 부호화장치.
  14. 제13 항에 있어서, 상기 부호화규칙 결정부는
    상기 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하여 상기 향상 움직임 데이터의 움직임보상 모드를 부호화하는데 필요한 비트수를 감소시키는 것을 특징으로 하는 움직임정보 부호화장치.
  15. 제14 항에 있어서, 상기 제2 블록의 파티션은 상기 제1 블록의 파티션보다 세밀한 것을 특징으로 하는 움직임정보 부호화장치.
  16. 제14 항에 있어서, 상기 제1 블록은 16×16, 16×8, 6×16, 및 8×8 파티션 중 적어도 하나 이상을 포함하고, 상기 제2 블록은 16×16, 16×8, 6×16, 8×8, 8×4, 4×8, 및 4×4 파티션 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 움직임정보 부호화장치.
  17. 제13 항에 있어서, 상기 부호화규칙 결정부는 상기 제2 블록의 움직임보상 모드의 부호화규칙을 프레임 단위로 결정하는 것을 특징으로 하는 움직임정보 부호화장치.
  18. 제13 항에 있어서, 상기 부호화규칙 결정부는 상기 제2 블록에 대하여 결정된 움직임보상 모드의 부호화규칙을 나타내는 지시자를 부호화하여 각 비트스트림에 포함시키는 것을 특징으로 하는 움직임정보 부호화장치.
  19. 제13 항에 있어서, 상기 제2 블럭의 움직임 보상모드는 파티션 단위로 결정되는 제1 스킵 모드, 직접 모드, 양방향 모드, 순방향 모드, 및 역방향 모드와 제2 블록 단위로 결정되는 제2 스킵모드 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 움직임정보 부호화장치.
  20. 제19 항에 있어서, 상기 부호화규칙 결정부에서는 상기 제1 블록과 상기 제2 블록의 움직임보상 모드가 동일한 경우에 기반하여 상기 제2 블록의 움직임보상 모드의 부호화에 필요한 비트수 감소가 이루어지는 경우, 상기 제2 블록의 움직임보상 모드를 상기 제1 블록의 움직임보상 모드를 참조하는 상기 제2 스킵모드로 부호화하는 것을 특징으로 하는 움직임정보 부호화장치.
  21. 제19 항에 있어서, 상기 부호화규칙 결정부에서는 부에서는 상기 부호화부에서는 상기 제2 블록에 속하는 모든 파티션들의 움직임보상 모드는 동일하고, 상기 제1 블록과 제2 블록의 움직임보상 모드가 상이한 경우에 기반하여 상기 제2 블록의 움직임보상 모드의 부호화에 필요한 비트수 감소가 이루어지는 경우, 상기 제2 블록의 움직임보상 모드를 상기 제2 스킵모드와 상기 제2 블록의 움직임보상 모드로 부호화하는 것을 특징으로 하는 움직임정보 부호화장치.
  22. 제1 계층의 움직임 데이터를 기본 움직임 데이터와 향상 움직임 데이터로 이루어지는 스케일러블 움직임 데이터로 생성하고, 상기 향상 움직임 데이터를 제2 계층으로 분산시켜 각 계층별로 움직임 데이터와 텍스쳐 데이터로 구성되는 복수개의 비트스트림을 생성하는 단계; 및
    상기 복수개의 비트스트림을 다중화하여 스케일러블 비트스트림을 제공하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화방법.
  23. 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 기본 움직임 데이터와 향상 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 단계; 및
    상기 결정된 부호화규칙에 의거하여 상기 향상 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 단계를 포함하는 것을 특징으로 하는 움직임정보 부호화방법.
  24. 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 움직임 데이터와 제2 계층의 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드에 따라서 상기 제2 블록의 움직임보상 모드의 부호화규칙을 결정하는 단계; 및
    상기 결정된 부호화규칙에 의거하여 상기 제2 계층의 움직임 데이터를 위한 상기 제2 블럭의 움직임보상 모드를 부호화하는 단계를 포함하는 것을 특징으로 하는 움직임정보 부호화방법.
  25. 스케일러블 비트스트림을 역다중화하여 각 계층의 비트스트림으로 분리하는 역다중화부;
    분리된 제1 계층의 비트스트림을 1차적으로 기본 움직임데이터를 참조하고, 2차적으로 기본 움직임데이터와 향상 움직임 데이터를 참조하여 복호화하는 제1 계층 복호화부; 및
    분리된 제2 계층의 비트스트림을 상기 제1 계층 복호화부에서 복호화된 영상과 움직임 데이터를 참조하여 복호화하는 제2 계층 복호화부를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화장치.
  26. 스케일러블 비트스트림으로부터 분리된 제1 계층과 제2 계층의 비트스트림에 대하여, 상기 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 지시자 해석부; 및
    상기 지시자 해석부에서 결정된 복호화규칙에 근거하여 상기 제2 계층의 움직임보상 모드를 복호화하는 움직임보상 모드 복호화부를 포함하는 것을 특징으로 하는 움직임정보 복호화장치.
  27. 스케일러블 비트스트림으로부터 분리된 기본 움직임 데이터를 포함하는 제1 계층의 비트스트림에 대하여, 상기 제1 계층의 향상 움직임 데이터를 포함하는 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙 에 대응되는 복호화규칙을 결정하는 지시자 해석부; 및
    상기 지시자 해석부에서 결정된 복호화규칙에 근거하여 상기 향상 움직임데이터의 움직임보상 모드를 복호화하는 움직임보상 모드 복호화부를 포함하는 것을 특징으로 하는 움직임정보 복호화장치.
  28. 스케일러블 비트스트림을 역다중화하여 각 계층의 비트스트림으로 분리하는 단계;
    분리된 제1 계층의 비트스트림을 1차적으로 기본 움직임데이터를 참조하고, 2차적으로 기본 움직임데이터와 향상 움직임 데이터를 참조하여 복호화하는 단계; 및
    분리된 제2 계층의 비트스트림을 상기 제1 계층의 비트스트림으로부터 복호화된 영상과 움직임 데이터를 참조하여 복호화하는 단계를 포함하는 스케일러블 영상 복호화방법을 컴퓨터에서 실행시킬 수 있는 코드를 기록하고 있으며 컴퓨터에서 읽을 수 있는 기록매체.
  29. 스케일러블 비트스트림으로부터 분리된 제1 계층과 제2 계층의 비트스트림에 대하여, 상기 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 단계; 및
    상기 결정된 복호화규칙에 근거하여 상기 제2 계층의 움직임보상 모드를 복호화하는 단계를 포함하는 움직임정보 복호화방법을 컴퓨터에서 실행시킬 수 있는 코드를 기록하고 있으며 컴퓨터에서 읽을 수 있는 기록매체.
  30. 스케일러블 비트스트림으로부터 분리된 기본 움직임 데이터를 포함하는 제1 계층의 비트스트림에 대하여, 상기 제1 계층의 향상 움직임 데이터를 포함하는 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 단계; 및
    상기 결정된 복호화규칙에 근거하여 상기 향상 움직임데이터의 움직임보상 모드를 복호화하는 단계를 포함하는 움직임정보 복호화방법을 컴퓨터에서 실행시킬 수 있는 코드를 기록하고 있으며 컴퓨터에서 읽을 수 있는 기록매체.
  31. 스케일러블 비트스트림을 역다중화하여 각 계층의 비트스트림으로 분리하는 단계;
    분리된 제1 계층의 비트스트림을 1차적으로 기본 움직임데이터를 참조하고, 2차적으로 기본 움직임데이터와 향상 움직임 데이터를 참조하여 복호화하는 단계; 및
    분리된 제2 계층의 비트스트림을 상기 제1 계층의 비트스트림으로부터 복호화된 영상과 움직임 데이터를 참조하여 복호화하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화방법.
  32. 스케일러블 비트스트림으로부터 분리된 제1 계층과 제2 계층의 비트스트림에 대하여, 상기 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자 에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 단계; 및
    상기 결정된 복호화규칙에 근거하여 상기 제2 계층의 움직임보상 모드를 복호화하는 단계를 포함하는 것을 특징으로 하는 움직임정보 복호화방법.
  33. 스케일러블 비트스트림으로부터 분리된 기본 움직임 데이터를 포함하는 제1 계층의 비트스트림에 대하여, 상기 제1 계층의 향상 움직임 데이터를 포함하는 제2 계층의 비트스트림에 포함된 지시자를 해석하고, 해석된 지시자에 따른 부호화규칙에 대응되는 복호화규칙을 결정하는 단계; 및
    상기 결정된 복호화규칙에 근거하여 상기 향상 움직임데이터의 움직임보상 모드를 복호화하는 단계를 포함하는 것을 특징으로 하는 움직임정보 복호화방법.
  34. 스케일러블 영상 부호화에 의해 생성된 스케일러블 비트스트림에서, 제1 계층의 움직임 데이터와 제2 계층의 움직임 데이터에 대하여 서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드가 동일한 경우, 상기 제2 블럭의 움직임 보상모드를 위한 단일 모드를 할당하는 부호화규칙 결정부; 및
    서로 대응하는 제1 블록과 제2 블럭간의 움직임보상 모드가 동일한 경우 상기 제2 블럭의 움직임 보상모드로 상기 단일 모드를 전송하는 움직임 보상모드 부호화부를 포함하는 것을 특징으로 하는 움직임정보 부호화장치.
KR1020050064505A 2004-07-15 2005-07-15 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법 KR100718133B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US58787804P 2004-07-15 2004-07-15
US60/587,878 2004-07-15

Publications (2)

Publication Number Publication Date
KR20060053844A KR20060053844A (ko) 2006-05-22
KR100718133B1 true KR100718133B1 (ko) 2007-05-15

Family

ID=35784147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050064505A KR100718133B1 (ko) 2004-07-15 2005-07-15 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법

Country Status (6)

Country Link
US (1) US20060013306A1 (ko)
EP (1) EP1769640A1 (ko)
JP (1) JP2008507194A (ko)
KR (1) KR100718133B1 (ko)
CN (1) CN1985520A (ko)
WO (1) WO2006006835A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536451A (ja) * 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CA2692224C (en) * 2007-07-02 2016-01-12 Nippon Telegraph And Telephone Corporation Scalable video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
KR100944333B1 (ko) * 2007-07-30 2010-03-02 한국과학기술원 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법
US8165209B2 (en) * 2007-09-24 2012-04-24 General Instrument Corporation Method and apparatus for providing a fast motion estimation process
BRPI0818665A2 (pt) * 2007-10-25 2015-09-08 Nippon Telegraph & Telephone método de codificação e método de decodificação de vídeo escalável, aparelho para os mesmos, programas para os mesmos e meio de gravação onde os programas são gravados
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
CN101534437B (zh) * 2008-03-12 2012-10-10 财团法人工业技术研究院 可调性视频编码标准的比特流分配***与方法
WO2010019169A1 (en) * 2008-08-15 2010-02-18 Lsi Corporation Rom list-decoding of near codewords
KR101321487B1 (ko) 2009-04-21 2013-10-23 에이저 시스템즈 엘엘시 기입 검증을 사용한 코드들의 에러-플로어 완화
KR101712351B1 (ko) * 2009-06-26 2017-03-06 에스케이 텔레콤주식회사 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
KR101604032B1 (ko) * 2010-04-13 2016-03-17 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 예측 단위를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법 및 그 장치
US8464142B2 (en) 2010-04-23 2013-06-11 Lsi Corporation Error-correction decoder employing extrinsic message averaging
US8499226B2 (en) * 2010-06-29 2013-07-30 Lsi Corporation Multi-mode layered decoding
US8458555B2 (en) 2010-06-30 2013-06-04 Lsi Corporation Breaking trapping sets using targeted bit adjustment
US8504900B2 (en) 2010-07-02 2013-08-06 Lsi Corporation On-line discovery and filtering of trapping sets
JP2012019447A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置および方法
JP5085762B2 (ja) 2011-04-25 2012-11-28 株式会社東芝 画像処理装置および画像処理方法
US8768990B2 (en) 2011-11-11 2014-07-01 Lsi Corporation Reconfigurable cyclic shifter arrangement
US20130322516A1 (en) * 2012-05-31 2013-12-05 Broadcom Corporation Systems and methods for generating multiple bitrate streams using a single encoding engine
RU2012146685A (ru) 2012-11-01 2014-05-10 ЭлЭсАй Корпорейшн База данных наборов-ловушек для декодера на основе разреженного контроля четности
US9319678B2 (en) * 2012-12-20 2016-04-19 Hulu, LLC Keyframe alignment for encoding video at multiple bitrates
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9691133B1 (en) * 2013-12-16 2017-06-27 Pixelworks, Inc. Noise reduction with multi-frame super resolution

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030029961A (ko) * 2001-07-10 2003-04-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 스케일불가능한 코딩된 비디오 신호로부터 스케일가능한코딩된 비디오 신호를 생성하기 위한 방법 및 장치
JP2004173246A (ja) 2002-11-07 2004-06-17 Victor Co Of Japan Ltd 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム
KR20040062659A (ko) * 2001-11-29 2004-07-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간적으로 스케일링된 미세 입상 엔코딩된 비디오신호들을 디코딩하기 위한 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR100319916B1 (ko) * 1995-10-24 2002-04-22 윤종용 계층구조를갖는스케일러블디지탈화상압축/복원방법및장치
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
KR100418141B1 (ko) * 1997-04-01 2004-06-09 소니 가부시끼 가이샤 화상부호화장치,화상부호화방법,화상복호화장치및화상복호화방법
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
KR100295798B1 (ko) * 1997-07-11 2001-08-07 전주범 스케일러빌리티를구현한이진현상신호부호화장치
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
KR20040046890A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 동영상 코덱의 공간 스케일러빌리티 구현방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030029961A (ko) * 2001-07-10 2003-04-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 스케일불가능한 코딩된 비디오 신호로부터 스케일가능한코딩된 비디오 신호를 생성하기 위한 방법 및 장치
KR20040062659A (ko) * 2001-11-29 2004-07-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간적으로 스케일링된 미세 입상 엔코딩된 비디오신호들을 디코딩하기 위한 방법 및 장치
JP2004173246A (ja) 2002-11-07 2004-06-17 Victor Co Of Japan Ltd 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム

Also Published As

Publication number Publication date
CN1985520A (zh) 2007-06-20
KR20060053844A (ko) 2006-05-22
US20060013306A1 (en) 2006-01-19
WO2006006835A1 (en) 2006-01-19
JP2008507194A (ja) 2008-03-06
EP1769640A1 (en) 2007-04-04

Similar Documents

Publication Publication Date Title
KR100718133B1 (ko) 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법
US8406294B2 (en) Method of assigning priority for controlling bit rate of bitstream, method of controlling bit rate of bitstream, video decoding method, and apparatus using the same
KR101053628B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CA2547891C (en) Method and apparatus for scalable video encoding and decoding
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100596706B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US20050117640A1 (en) Method and apparatus for scalable video encoding and decoding
US20090274214A1 (en) Method for providing and using information about inter-layer prediction for video signal
EP1766998A1 (en) Scalable video coding method and apparatus using base-layer
KR20150043220A (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR20150043217A (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
GB2509998A (en) Providing a prediction mode for image encoding based on a first set of most probable modes (MPMs) and a selected second, restricted number of prediction modes
EP1897377A1 (en) Method for providing and using information about inter-layer prediction for video signal
KR20060070400A (ko) 영상 신호의 인코딩 및 디코딩 방법
AU2004310917B2 (en) Method and apparatus for scalable video encoding and decoding
KR100791453B1 (ko) 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
AU2007221795B2 (en) Method and apparatus for scalable video encoding and decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee